为DeepSeek-R1-Distill-Qwen-32B定制Function calling支持的实战指南-代码聚汇网

为DeepSeek-R1-Distill-Qwen-32B定制Function calling支持的实战指南

新起点加油·2026-04-17·阅读 47 GEO检测（免费）

DeepSeek-R1-Distill-Qwen-32BFunction calling大语言模型

|难度：普通|阅读约 13 分钟

1. 为什么需要为DeepSeek-R1-Distill-Qwen-32B添加Function calling支持

在实际开发中，Function calling功能可以让大语言模型具备调用外部工具的能力。想象一下，你正在开发一个智能天气查询系统，用户问"北京今天天气如何"，如果模型只能回答"我不知道具体天气"，这样的体验显然不够好。而通过Function calling，模型可以自动调用天气API，返回真实的温度、湿度等数据。

DeepSeek-R1-Distill-Qwen-32B原版并不支持这个功能，这就像给了一辆跑车但没有方向盘。我在实际项目中就遇到过这个问题：明明模型能力很强，却因为缺少Function calling支持，导致很多场景无法实现自动化。特别是在离线环境下，这种限制更加明显。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 准备工作：环境与工具检查

2.1 硬件与基础环境

首先确认你的硬件配置。我测试时使用的是2张NVIDIA A6000显卡，每张48GB显存。vLLM对显存要求较高，建议至少有一张24GB以上的显卡。操作系统我用的是Ubuntu 20.04，Python版本3.8。

安装基础依赖：

bash复制pip install vllm==0.9.1 openai

2.2 模型准备

确保你已经下载了DeepSeek-R1-Distill-Qwen-32B模型。这个模型大约需要60GB存储空间。我通常会把模型放在/mnt/data/models/目录下，这样方便管理。

3. 核心改造：定制chat-template模板

3.1 分析原始模板的问题

最初尝试直接调用时，发现模型完全忽略了tools参数。通过检查prompt发现，原始模板根本没有处理tools相关的内容。这就好比给厨师提供了高级食材，但他只用了最基础的几样。

3.2 编写新的jinja模板

我创建了一个名为qwen32_nonthinking.jinja的文件，内容如下：

jinja复制{%- if tools %}
{{- '<|im_start|>system\n' }}
{%- if messages[0].role == 'system' %}
{{- messages[0].content + '\n\n' }}
{%- endif %}
{{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
{%- for tool in tools %}
{{- "\n" }}
{{- tool | tojson }}
{%- endfor %}
{{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
{%- else %}
{%- if messages[0].role == 'system' %}
{{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}
{%- endif %}
{%- endif %}

这个模板的关键点在于：

当检测到tools参数时，会自动添加系统提示
将tools列表转换为JSON格式并嵌入XML标签
明确告诉模型如何返回函数调用结果

4. 配置vLLM服务参数

4.1 启动命令详解

完整的启动命令如下：

bash复制vllm serve "/mnt/data/models/DeepSeek-R1-Distill-Qwen-32B" \
--host "0.0.0.0" \
--port 9400 \
--gpu-memory-utilization 0.9 \
--served-model-name "qwen32b" \
--max-model-len 8192 \
--enable-auto-tool-choice \
--tool-call-parser "hermes" \
--chat-template "/mnt/data/models/qwen32_nonthinking.jinja" \
--chat-template-content-format "auto" \
--tensor-parallel-size 2

几个关键参数说明：

--enable-auto-tool-choice：启用自动工具选择
--tool-call-parser "hermes"：使用特定格式解析工具调用
--chat-template：指定我们自定义的模板文件

4.2 参数调优经验

在多次测试中，我发现--gpu-memory-utilization设置为0.9是个平衡点。设置太低会浪费显存，太高可能导致OOM。--max-model-len根据你的应用场景调整，对话类应用8192足够，但文档处理可能需要更大值。

5. 实际调用与验证

5.1 Python客户端代码

完整的调用示例：

python复制from openai import OpenAI
import json
import re

client = OpenAI(api_key="EMPTY", base_url="http://127.0.0.1:9400/v1")

def get_weather(location: str, unit: str):
    """模拟天气查询函数"""
    return f"{location}的气温是27{unit},晴天。"

tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "获取给定位置的当前天气",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {"type": "string", "description": "城市和州，例如'北京市海淀区'"},
                "unit": {"type": "string", "enum": ["摄氏度", "华氏度"]}
            },
            "required": ["location", "unit"]
        }
    }
}]

response = client.chat.completions.create(
    model="qwen32b",
    messages=[{"role": "user", "content": "北京市房山区的天气怎么样?"}],
    tools=tools,
    tool_choice="auto"
)

5.2 结果解析技巧

模型返回的内容会包含XML标签包裹的JSON数据。我习惯用正则表达式提取：

python复制content = response.choices[0].message.content
match = re.search(r'<tool_call>\n(.*?)\n</tool_call>', content, re.DOTALL)
if match:
    tool_call = json.loads(match.group(1))
    func_name = tool_call["name"]
    args = tool_call["arguments"]
    print(f"调用{func_name}，参数：{args}")

6. 常见问题排查

6.1 模型不返回工具调用

如果发现模型仍然不返回工具调用，检查以下几点：

确认模板文件路径正确
检查启动命令是否包含--enable-auto-tool-choice
确保tools参数格式正确

6.2 性能优化建议

当处理大量并发请求时，可以调整这些参数：

--tensor-parallel-size：增加GPU数量
--max-parallel-loading-workers：提高模型加载并行度
--block-size：调整内存块大小

我在实际部署中发现，适当降低--temperature值（如0.3）能让工具调用更稳定。

7. 进阶应用场景

7.1 多工具组合调用

你可以定义多个工具函数，比如：

python复制tools = [
    weather_tool,
    calendar_tool,
    calculator_tool
]

模型会自动选择最合适的工具组合。

7.2 复杂参数处理

对于嵌套参数，确保在模板中正确定义。例如：

json复制"parameters": {
    "type": "object",
    "properties": {
        "user_info": {
            "type": "object",
            "properties": {
                "name": {"type": "string"},
                "age": {"type": "number"}
            }
        }
    }
}

8. 安全与稳定性考量

在离线环境中使用需要注意：

做好输入验证，防止恶意构造的tools参数
设置合理的超时时间
监控GPU显存使用情况

我通常会添加一个看门狗进程，当显存超过95%时自动重启服务。