手机本地跑大模型+知识库：从选型到部署的完整RAG实践

去年年底我出差途中遇到一个很尴尬的场景：笔记本电脑没电，高铁上的信号时有时无，想查一份自己整理的旧项目资料，云端笔记转圈圈刷不出来。当时我就在想，如果这台手机本地就装着一个知识库和一套能跟我对话的大模型，是不是就不用看网络脸色了？回来后我认真折腾了大半个月，把"移动端部署本地知识库 + 大模型"这条链路完整跑通了。这篇教程就按我的实操过程拆开讲，从手机选型、模型选择、环境搭建到知识库接入，每一步怎么做、为什么这么做、踩过哪些坑，尽量交代得清清楚楚。适合两类人看：一类是手里有大量笔记、PDF、技术文档，想随时离线检索问答的普通用户；另一类是刚接触大模型部署，想拿手机当实验田，用最低成本理解"模型 + 知识库"整套逻辑的开发者。

1. 先把话说清楚：手机跑大模型，边界到底在哪里

1.1 为什么手机也能跑大模型

先破除一个流传很广的误解：很多人觉得大模型是"数据中心专属"，手机这种小身板不可能跑得动。这个说法在四五年前成立，但现在的旗舰手机确实已经具备本地推理的能力。大模型推理的本质可以粗略理解为反复进行矩阵乘法运算——把输入的向量和模型的权重矩阵做一次又一次计算。手机SoC里的GPU和NPU（神经网络处理单元）恰好就是干这个活的，尤其是NPU，专门为这类算子做了硬件加速。所以算力本身不是最要命的瓶颈，真正的瓶颈是另外两样：内存容量和内存带宽。

内存容量的逻辑很简单：模型文件必须先完整加载到内存里，推理时才能被读取。一个70亿参数的模型，如果用FP16精度存储，权重文件大约占14GB，这对手机来说完全不现实。但量化技术把这个大麻烦解决了一大半。量化就是原本用16位浮点数存权重，压缩成8位、4位表示，精度的损失在可接受范围内。一个7B模型用4bit量化后，体积能压到4GB左右，手机完全塞得下。内存带宽则决定模型生成文字的速度，同样是7B模型，在不同手机上跑出来的token/s（每秒生成token数）能差好几倍，这就是原因。

这里给一个参考估算：4bit量化后的7B模型，实际运行时大概需要4.5GB到5GB内存（包括上下文缓存和激活值），所以手机运行内存在8GB以上才能比较从容；3B、1.5B这类更小的模型，三四GB内存也能跑。所谓"跑得动"和"跑得舒服"是两码事，往下看你就会知道怎么取舍。

1.2 你的手机属于哪一档：动手前先判断

动手之前，花三分钟确认三件事：运行内存（RAM）、可用存储空间、芯片平台。运行内存直接决定你能跑多大模型，建议至少8GB起步；可用存储空间至少要留10GB，因为一个模型文件少说三四GB，后面知识库的向量数据也会占掉几百MB；芯片平台影响推理速度和稳定性，高通骁龙8系、联发科天玑9000系、苹果A系列/M系列在NPU和驱动适配上都更成熟。

怎么判断你的手机属于哪一档？打开设置找到"关于手机"，看"运行内存"和"存储"这两行就行。我把档位和选型建议整理成一张表：

实测下来的经验是：内存不足的时候，手机系统会开始杀后台进程，大模型推理很容易被"截胡"，表现就是等半天刚出答案，结果输出到一半被系统中断。所以正式跑之前，先清理一遍后台App和通知栏应用，能明显提高成功率。

1.3 移动端真正值得选的模型清单

我把目前移动端比较现实的模型选择整理成了一张表，你自己对照着挑就行：