1. 项目概述
DeepSeek-R1-Distill-Qwen-1.5B是一个基于Qwen2.5-Math-1.5B模型蒸馏而来的开源语言模型，由DeepSeek-AI团队开发。这个1.5B参数的模型特别适合在本地环境部署和测试，尤其适合那些想要体验大模型能力但硬件资源有限的开发者。
作为从DeepSeek-R1这个大型推理模型蒸馏而来的轻量级版本，它继承了原模型在数学推理、代码生成等方面的优势，同时大大降低了硬件门槛。在我的实际测试中，这个模型可以在消费级GPU（如RTX 3060 12GB）上流畅运行，甚至在某些优化配置下也能在CPU上勉强使用。
2. 环境准备
2.1 硬件要求
对于1.5B参数的模型，以下是推荐的硬件配置：
-
最低配置：
- CPU：Intel i7或同等性能的AMD处理器
- 内存：16GB
- 存储：至少10GB可用空间（用于模型下载和缓存）
-
推荐配置：
- GPU：NVIDIA RTX 3060 12GB或更高
- 内存：32GB
- 存储：SSD硬盘
注意：如果没有独立GPU，也可以使用CPU运行，但推理速度会明显下降。在我的测试中，RTX 3060上的推理速度大约是CPU的15-20倍。
2.2 Python环境配置
建议使用Python 3.8-3.10版本，这是目前主流深度学习框架最稳定的支持范围。以下是创建隔离环境的步骤：
bash复制# 创建虚拟环境
python -m venv deepseek_env
source deepseek_env/bin/activate # Linux/Mac
deepseek_env\Scripts\activate # Windows
# 安装基础依赖
pip install --upgrade pip
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据CUDA版本调整
3. 模型下载与加载
3.1 使用Hugging Face Transformers
这是最简单直接的加载方式：
python复制from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
首次运行时会自动下载模型文件（约3GB）。下载完成后，模型会缓存在~/.cache/huggingface/hub目录。
3.2 量化版本加载（节省显存）
如果你的GPU显存有限，可以考虑使用4-bit量化：
python复制from transformers import BitsAndBytesConfig
import torch
quant_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_comp