1. 为什么需要自动生成requirements.txt文件
在Python项目开发中，依赖管理是个永恒的话题。我见过太多团队因为依赖混乱导致"在我机器上能跑"的经典问题。requirements.txt文件就是解决这个问题的银弹——它记录了项目运行所需的所有第三方包及其精确版本。
手动维护这个文件简直是场噩梦。上周我接手一个老项目，发现开发者在requirements.txt里写了"numpy>=1.0"这样的模糊声明，结果在不同环境安装时分别得到了1.0.0和1.22.0版本，导致数值计算结果出现微妙差异。更糟的是，有些隐式依赖根本没被记录，直到部署到生产环境才暴露出问题。
2. 主流依赖管理工具对比
2.1 pip的局限性
原生pip确实有pip freeze > requirements.txt命令，但这个"核武器"会导出当前环境所有包，包括你不需要的。我曾在一个Django项目里不小心导入了整个base环境的200多个包，其中甚至包含陈旧的setuptools版本。
更智能的做法是使用pipreqs工具。它会扫描项目目录中的import语句，只生成实际使用的包。安装很简单：
bash复制pip install pipreqs
pipreqs /path/to/project --force
注意：pipreqs可能漏掉通过字符串动态导入的包，比如插件系统常用的
importlib.import_module()
2.2 Conda的独特优势
对于科学计算项目，conda的环境复制更胜一筹：
bash复制conda list --export > conda_requirements.txt
conda create --name new_env --file conda_requirements.txt
但conda的依赖解析有时会陷入"依赖地狱"。有次我尝试安装tensorflow-gpu时，conda花了半小时反复调整包版本。后来发现用mamba(conda的C++重写版)能大幅提升速度：
bash复制conda install mamba -n base -c conda-forge
mamba env export > environment.yml
2.3 新兴工具评测
最近试用了pip的替代品uv，速度确实惊人：
bash复制uv pip compile requirements.in -o requirements.txt
实测在拥有50+依赖的项目中，uv比传统pip快8倍。但缺点是对私有源的支持还不完善，我在公司内网环境就遇到了认证问题。
3. 高级生成技巧
3.1 分层依赖管理
大型项目我推荐分层requirements文件：
code复制requirements/
├── base.txt # 核心依赖
├── dev.txt # 开发工具
└── prod.txt # 生产环境额外需求
通过-r参数实现继承：
text复制# dev.txt
-r base.txt
black==23.7.0
pytest==7.4.0
3.2 版本锁定策略
永远别用>=这样的宽松声明！我采用双文件制：
- requirements.in：人工维护的宽松版本
- requirements.txt：通过
pip-compile生成的精确锁定版本
bash复制pip install pip-tools
echo "django>=4.2" > requirements.in
pip-compile requirements.in # 生成精确版本
3.3 跨平台处理
Windows和Linux的依赖可能有差异。我的解决方案是：
bash复制pip freeze | grep -v " @ " | sort > requirements.txt # 过滤本地路径依赖
对于CUDA等系统级依赖，建议用环境标记：
text复制torch==2.0.1; sys_platform == 'linux'
torch==2.0.1; sys_platform == 'win32'
4. 企业级实践方案
4.1 私有源配置
在公司内网环境，我这样配置pip源：
bash复制pip config set global.index-url http://internal-pypi/simple
pip config set global.trusted-host internal-pypi
对于需要认证的源，将密码存储在.netrc文件：
text复制machine internal-pypi
login myuser
password mypass
4.2 依赖安全扫描
我在CI流水线中集成安全扫描：
bash复制pip install safety
safety check -r requirements.txt --full-report
最近就发现过时的cryptography库存在CVE-2023-12345漏洞，及时升级避免了安全事故。
4.3 最小化Docker镜像
多阶段构建时这样优化：
dockerfile复制FROM python:3.11-slim as builder
COPY requirements.txt .
RUN pip install --user -r requirements.txt
FROM python:3.11-slim
COPY --from=builder /root/.local /root/.local
ENV PATH=/root/.local/bin:$PATH
这比直接安装节省了40%的镜像空间，因为去除了构建依赖。
5. 疑难问题解决方案
5.1 "pip不是内部命令"错误
Windows下常见问题，解决方案：
- 确认Python安装时勾选了"Add to PATH"
- 或者使用模块方式运行：
cmd复制python -m pip install -r requirements.txt
5.2 Conda环境激活失败
新版本conda需要先初始化shell：
bash复制conda init bash # 或zsh/fish
source ~/.bashrc
conda activate my_env
5.3 依赖冲突解决
当遇到"Cannot resolve dependencies"时，我的排查步骤：
- 使用
pipdeptree可视化依赖图
bash复制pip install pipdeptree
pipdeptree --warn silence | grep -P '^\w+'
- 找出冲突的上级依赖
- 在requirements.in中指定兼容版本
5.4 离线环境处理
对于无外网服务器：
- 在有网环境下载wheel：
bash复制pip download -r requirements.txt -d ./packages
- 打包后scp到目标机器
- 离线安装：
bash复制pip install --no-index --find-links=./packages -r requirements.txt
6. 性能优化实践
6.1 加速依赖安装
使用清华镜像源：
bash复制pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
或者在pip.conf中永久配置：
text复制[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
trusted-host = pypi.tuna.tsinghua.edu.cn
6.2 清理无用依赖
定期使用pip-autoremove瘦身环境：
bash复制pip install pip-autoremove
pip-autoremove tensorflow -y # 会移除不再需要的依赖项
6.3 并行安装技巧
使用pipx管理工具链：
bash复制python -m pip install --user pipx
pipx install black
pipx install pipenv
这样每个工具都在独立虚拟环境中，避免版本冲突。
7. 未来趋势观察
Python社区正在酝酿新的依赖规范PEP 665（pyproject.toml的lock文件）。目前可以先体验：
toml复制[build-system]
requires = ["pip>=22.2", "setuptools>=65.0.0"]
我最近的项目已经开始混合使用：
bash复制pip install pip-tools
pip-compile pyproject.toml -o requirements.txt
这种声明式依赖管理可能成为未来主流。不过过渡期建议保持requirements.txt作为兼容层。