使用mitmproxy反向代理抓包分析大模型请求全链路

1. 项目概述与核心价值

作为一名长期从事AI应用开发的工程师，我经常需要深入分析大模型服务的请求响应过程。最近在调试Dify平台与Ollama本地模型的交互时，发现直接抓包存在诸多不便。经过多次实践，我总结出一套基于mitmproxy的反向代理抓包方案，能够完整捕获并分析大模型请求的全链路数据。

这个方案的核心价值在于：

1. 透明化模型交互：清晰展示Dify与Ollama之间的完整通信过程
2. 调试效率提升：实时查看请求参数和响应内容，快速定位问题
3. 协议分析能力：支持HTTP/HTTPS协议的详细解析，适用于各类模型服务
4. 跨环境适配：无论是本地部署还是远程服务，都能稳定工作

2. 技术原理与架构设计

2.1 核心工作机制

mitmproxy作为中间人代理，其工作流程可分为四个关键阶段：

1. 请求拦截：监听指定端口（如8003）的所有入站请求
2. 协议解析：对HTTP/HTTPS流量进行解码和规范化处理
3. 请求转发：根据反向代理规则将请求重定向到目标服务（Ollama）
4. 响应回传：将目标服务的响应按原路径返回给客户端（Dify）

2.2 关键技术选型

选择mitmproxy而非其他抓包工具（如Wireshark、Fiddler）主要基于以下考量：

2.3 网络拓扑设计

对于本地Ollama服务的典型部署架构：

code复制[Dify Client] 
    ↓ (请求代理端口)
[mitmproxy:8003] 
    ↓ (反向代理)
[Ollama:11434]
    ↑ (响应返回)

关键设计要点：

1. 保持Host头传递（--set keep_host_header=true）
2. 禁用SSL验证（--ssl-insecure）
3. 分离控制台端口（--web-port 8004）

3. 详细实施步骤

3.1 环境准备与验证

3.1.1 Ollama服务检查

首先确认Ollama服务正常运行：

bash复制# 启动Ollama服务（后台模式）
ollama serve &

# 验证服务可用性
curl -v http://127.0.0.1:11434/api/tags

预期应返回类似响应：

json复制{
  "models": [
    {
      "name": "qwen:7b",
      "modified_at": "2024-03-15T08:00:00Z"
    }
  ]
}

3.1.2 mitmproxy安装验证

建议使用Python虚拟环境安装：

bash复制python -m venv mitm-env
source mitm-env/bin/activate
pip install mitmproxy==9.0.1

# 验证安装
mitmweb --version

3.2 代理服务启动

3.2.1 本地服务配置

完整启动命令示例：

bash复制mitmweb -m reverse:http://127.0.0.1:11434 \
  -p 8003 \
  --web-port 8004 \
  --ssl-insecure \
  --set keep_host_header=true \
  --set flow_detail=3 \
  --verbose

参数详解：

• -p 8003：业务流量入口端口
• --web-port 8004：Web控制台访问端口
• flow_detail=3：显示完整请求/响应详情
• --verbose：输出详细调试日志

3.2.2 远程服务配置

当Ollama部署在远程服务器时：

bash复制mitmweb -m reverse:http://<remote_ip>:11434 \
  -p 8003 \
  --web-host 0.0.0.0 \  # 允许远程访问控制台
  --web-port 8004 \
  --ssl-insecure

重要安全提示：生产环境暴露控制台端口时，务必配置--web-host指定可信IP范围，避免未授权访问。

3.3 Dify配置详解

3.3.1 模型提供商配置

1. 登录Dify管理后台
2. 导航至「设置」→「模型提供商」
3. 选择Ollama卡片点击「配置」

关键配置项说明：

3.3.2 连接测试技巧

点击「保存并测试」时常见问题处理：

1. 连接超时：

   • 检查防火墙规则：sudo ufw allow 8003/tcp
   • 验证端口监听：netstat -tulnp | grep 8003

2. 证书错误：

   • 确保已添加--ssl-insecure参数
   • 在Dify配置中尝试使用http而非https

3. Host头问题：

   • 确认已设置keep_host_header=true
   • 在Ollama服务端检查Nginx/Apache配置

4. 抓包分析与实战技巧

4.1 控制台功能解析

访问http://localhost:8004进入控制台后，重点关注：

1. 请求列表区：

   • 按时间倒序排列所有捕获的请求
   • 颜色标识（蓝色成功/红色失败）

2. 详情面板：

   • Headers：查看Content-Type、Authorization等
   • Request/Response：完整消息体内容
   • Timing：各阶段耗时分析

4.2 典型请求分析

以聊天接口为例，正常请求应包含：

http复制POST /api/chat HTTP/1.1
Content-Type: application/json
Host: 127.0.0.1:11434

{
  "model": "llama3",
  "messages": [
    {"role": "user", "content": "你好"}
  ],
  "temperature": 0.7
}

关键参数说明：

• temperature：控制生成随机性（0-2）
• top_p：核采样概率（默认0.9）
• max_tokens：最大生成token数

4.3 高级过滤技巧

使用-f参数实现请求过滤：

bash复制# 只捕获/api/chat路径的请求
mitmweb -m reverse:http://127.0.0.1:11434 \
  -p 8003 \
  -f "~u /api/chat"

常用过滤表达式：

• ~u /api/chat：URL路径匹配
• ~b "temperature"：请求体内容匹配
• ~m POST：请求方法过滤

5. 常见问题排查指南

5.1 连接类问题

症状：Dify测试连接失败，mitmproxy无请求记录

排查步骤：

1. 验证端口连通性：

   bash复制telnet 127.0.0.1 8003
   

2. 检查mitmproxy运行状态：

   bash复制ps aux | grep mitmweb
   

3. 查看系统防火墙：

   bash复制sudo iptables -L -n -v | grep 8003
   

5.2 数据解析问题

症状：请求可见但响应内容乱码

解决方案：

1. 确保使用最新mitmproxy版本
2. 添加解码参数：

   bash复制--set http2_priority=true \
   --set proxy_debug=true
   

3. 检查Ollama的Content-Type头是否为application/json

5.3 性能优化建议

当处理大量请求时：

1. 启用流式模式：

   bash复制--set stream_large_bodies=1m
   

2. 调整缓存大小：

   bash复制--set proxy_buffer_size=8k
   

3. 限制捕获流量：

   bash复制--set intercept="~d example.com"
   

6. 扩展应用场景

6.1 请求/响应修改

通过编写addon脚本实现内容修改：

python复制# modify_requests.py
from mitmproxy import http

def request(flow: http.HTTPFlow) -> None:
    if "/api/chat" in flow.request.pretty_url:
        flow.request.query["temperature"] = "0.5"

def response(flow: http.HTTPFlow) -> None:
    if "application/json" in flow.response.headers.get("content-type", ""):
        flow.response.content = flow.response.content.replace(
            b'"model":', b'"modified_model":'
        )

启动时加载脚本：

bash复制mitmweb -s modify_requests.py ...

6.2 自动化测试集成

结合pytest实现自动化验证：

python复制import requests

def test_model_response():
    proxy = {"http": "http://127.0.0.1:8003"}
    resp = requests.post(
        "http://127.0.0.1:11434/api/chat",
        json={"model": "llama3", "messages": [...]},
        proxies=proxy
    )
    assert resp.status_code == 200
    assert "content" in resp.json()

6.3 流量录制与回放

1. 录制流量：

   bash复制mitmdump -w traffic.mitm -p 8003
   

2. 回放测试：

   bash复制mitmproxy -n -c traffic.mitm
   

在实际项目中使用这套方案后，我们成功发现了几个关键问题：

1. 温度参数未正确传递导致的生成结果不稳定
2. Docker网络配置错误引起的偶发性超时
3. 模型版本不一致造成的输出差异

通过持续监控模型请求，团队显著提升了调试效率和系统稳定性。这套方法同样适用于其他AI服务的协议分析场景，只需调整反向代理目标地址即可快速适配。