告别云端API:用Ollama+Flask快速搭建你的本地大模型问答服务(附完整代码)
在AI技术快速发展的今天,大模型能力正从云端逐步走向本地。对于开发者而言,将大模型部署在本地不仅能避免API调用限制和隐私泄露风险,还能实现更灵活的定制化开发。本文将带你一步步实现一个基于Ollama和Flask的本地大模型问答服务,从环境配置到API设计,再到性能优化,提供一套完整的解决方案。
1. 环境准备与模型部署
1.1 硬件与软件需求
在开始之前,确保你的开发环境满足以下基本要求:
-
硬件配置:
- CPU:推荐Intel i5及以上或同等性能的AMD处理器
- 内存:至少16GB,推荐32GB以获得更流畅的体验
- 存储:SSD硬盘,至少20GB可用空间
-
软件环境:
- 操作系统:Windows 10/11或Linux发行版
- Python 3.8+
- Ollama最新版本
- Flask 2.0+
1.2 安装Ollama与模型导入
Ollama是一个轻量级的本地大模型运行框架,支持多种量化模型格式。安装过程非常简单:
bash复制# Windows用户下载安装包
curl -L https://ollama.ai/download/OllamaSetup.exe -o OllamaSetup.exe
./OllamaSetup.exe
# Linux用户使用命令行安装
curl -fsSL https://ollama.ai/install.sh | sh
模型导入是本地部署的关键步骤。以WizardCoder-Python-13B模型为例:
python复制# 创建Modelfile
with open('Modelfile', 'w') as f:
f.write('FROM ./wizardcoder-python-13b-v1.0.Q5_K_M.gguf')
# 创建模型
ollama create wizardcoder-13b -f Modelfile
1.3 测试模型运行
安装完成后,可以通过简单的Python代码测试模型是否正常运行:
python复制import ollama
response = ollama.chat(
model='wizardcoder-13b',
messages=[{'role': 'user', 'content': '用Python实现快速排序算法'}]
)
print(response['message']['content'])
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Flask API基础架构设计
2.1 项目结构规划
一个良好的项目结构能大大提高代码的可维护性。建议采用以下目录结构:
code复制/local_llm_api/
│── app.py # 主应用入口
│── requirements.txt # 依赖列表
│── config.py # 配置文件
│── utils/ # 工具函数
│ └── model_utils.py
│── tests/ # 测试代码
│ └── test_api.py
2.2 核心API路由设计
Flask的路由设计需要考虑RESTful原则和实际使用场景。以下是基础的API设计:
python复制from flask import Flask, request, jsonify
import ollama
app = Flask(__name__)
@app.route('/v1/chat/completions', methods=['POST'])
def chat_completion():
data = request.get_json()
# 参数校验
if not data or 'messages' not in data:
return jsonify({'error': 'Invalid request format'}), 400
try:
response = ollama.chat(
model='wizardcoder-13b',
messages=data['messages'],
stream=data.get('stream', False)
)
return jsonify(response)
except Exception as e:
return jsonify({'error': str(e)}), 500
if __name__ == '__main__':
app.run(host='0.0.0.0', port=5000)
