努力忏悔修行在本地模型这条路上折腾了这么久，我一直觉得LangChain加Ollama的组合是被低估的一套方案。很多人以为LangChain只是用来对接GPT这类云端大模型的，实际上它和Ollama配合，能把本地模型的能力迅速包装成一个标准化API服务，供团队或自己的其他项目调用。这篇内容就是围绕"如何把LangChain和Ollama封装成一套可用的API接口"展开的实战记录，包含完整代码、踩坑过程和排查思路，适合正在做本地大模型应用开发、想给内部系统接上私有模型能力的读者参考。
我当时的需求很明确：公司内部有个文档问答系统，需要接一个本地部署的模型服务，但又不想让业务方直接面对Ollama那条既原始又不稳定的调用链路，而且业务方需要的是OpenAI风格的接口，方便前端和业务后端无缝切换。所以我就用LangChain做中间编排层，Ollama做推理引擎，外面再包一层FastAPI，做成了一套统一API网关。整个过程下来，踩了不少坑，尤其是那个高频出现的400上下文长度超限报错，整整折磨了我两天。这次把完整思路和代码都整理出来，希望能帮你少走弯路。
1. 为什么要把LangChain和Ollama封装成API服务
1.1 这组技术栈到底解决了什么问题
先说结论：这套组合适合"模型私有化部署 + 应用层统一接入"这一类场景。
Ollama负责把你下载好的开源模型跑成本地服务，默认监听11434端口，提供一套自己的HTTP接口。但问题在于，Ollama的接口偏向底层，没有复杂的会话管理、工具调用、文档检索这些能力，而且模型切换、参数控制都比较裸。如果你只是自己在终端里curl两下，那完全没问题，可一旦要面向业务系统，就需要在模型之上加一层业务逻辑。
LangChain恰好补上这一层。它把"模型调用""提示词管理""文档切分""向量检索""工具调用"这些能力抽象成标准组件，我可以在LangChain里把Ollama的模型实例封装进来，再往外提供统一接口。至于最外层为什么还要包一个FastAPI，理由更直接——LangChain本身不是Web服务框架，它管的是AI能力编排，不负责HTTP路由。要让外部系统真正用起来，就需要一个能暴露HTTP端点、处理并发、做参数校验的服务层。
所以这套架构拆开看就是三层：Ollama是引擎，LangChain是大脑，FastAPI是门面。
1.2 从"本地跑模型"到"统一API"的差距
直接用Ollama的/API/chat接口，和通过LangChain封装后对外提供接口，差距在哪里？我用一次实际调用来说明。
Ollama原生接口长这样，你需要自己拼请求体，自己处理响应，而且它不做会话历史管理：
bash复制curl http://localhost:11434/api/chat -d '{
"model": "qwen2.5:7b",
"messages": [
{"role": "user", "content": "你好"}
]
}'
这个接口能跑，但有几个明显痛点。第一，每个调用方都得知道Ollama的接口规范，业务方还得关心模型名称、请求体格式这些细节。第二，Ollama默认不保留对话上下文，多轮对话需要调用方自己把历史消息全部传进来，很啰嗦。第三，没有鉴权、限流这些生产环境必备的能力，裸奔状态。
而封装之后，业务方只需要发送一个标准的POST请求，带上问题就行，会话管理、历史拼接、模型路由全都在服务端完成。从业务方的视角看，他根本不用关心背后跑的是Ollama还是别的什么引擎。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与基础搭建
2.1 Ollama本地部署的关键细节
Ollama的安装本身不复杂，去官网下载对应平台的安装包即可，Windows和macOS都有图形化安装程序，Linux用官方脚本一行命令搞定。但有几个细节操作不当会特别难受。
第一个是模型下载路径。Ollama默认会把模型放在C盘用户目录下，一个7B模型的量化版大概4到5GB，如果你装了好几个模型，C盘很容易爆。建议提前把模型路径迁移到其他盘。
Linux下设置环境变量：
bash复制export OLLAMA_MODELS=/data/ollama/models
Windows下直接设置系统环境变量OLLAMA_MODELS，指向你想要存放模型的目录。
第二个是监听地址。默认只监听127.0.0.1，如果模型服务部署在一台服务器上，而你的业务服务在另一台机器，就需要让Ollama监听所有网卡：
bash复制export OLLAMA_HOST=0.0.0.0
第三个是模型下载慢的问题。Ollama默认从官方仓库拉取模型，国内网络环境下经常几百KB每秒，甚至直接超时。我实测下来，可以通过设置镜像地址来加速，比如配置OLLAMA_HOST的同时，给Ollama配置国内可用的镜像源。具体做法是在启动Ollama之前设置环境变量OLLAMA_BASE_URL指向一个可用的镜像站点，然后重启Ollama服务再拉模型。你如果遇到下载太慢的情况，优先检查这步。
我是直接用ollama pull qwen2.5:7b拉取模型，装好之后先跑通一次原生接口，确认本地推理没问题，再进入下一步。这一步千万别跳，如果Ollama本身都没配好，后面LangChain排查起来会多一层干扰。
2.2 LangChain环境配置与版本选择
LangChain的版本迭代很快，不同版本之间的API差异挺大。我写这篇内容时用的是LangChain 0.2.x版本线，langchain-ollama集成包已经拆分出来单独维护了。
创建虚拟环境并安装依赖：
bash复制python -m venv llm-api-env
source llm-api-env/bin/activate
pip install langchain
pip install langchain-ollama
pip install fastapi
pip install uvicorn
pip install pydantic
这里特意说明一下为什么用langchain-ollama而不是老的langchain_community.llms import Ollama。LangChain 0.2之后，官方把主流模型的集成逐渐收拢到独立的langchain-{provider}包中，langchain-ollama是官方维护的集成包，API设计上更贴合新版本，也不容易出现兼容性告警。虽然社区版那个类目前还能用，但既然官方已经给了标准解，就没必要在新项目里继续用旧接口。
安装完成后，快速验证一下LangCh