xuliagn1. 项目背景与需求拆解
在量化投资和金融数据分析领域，获取高质量的股票历史数据是开展研究的基础。最近我在分析A股市场风格轮动时，需要获取过去5年市值前500股票的全套日线数据。这个需求看似简单，但实际操作中会遇到几个关键问题：
首先，"市值前500"是一个动态概念。不同时间点的成分股会发生变化，我们需要固定一个观察基准。我选择以2021年首个交易日为锚定点，这样可以保证分析标的的一致性。
其次，Tushare的免费接口有调用频率限制（每分钟500次）。直接批量获取500只股票5年数据（约60万条记录）容易触发限流。需要设计合理的请求间隔和断点续传机制。
最后，数据存储格式需要兼顾处理效率和存储空间。CSV格式虽然通用，但在处理千万级数据时性能较差。不过考虑到本次数据量在可接受范围（约50MB），优先选择兼容性最好的CSV格式。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与工具选型
2.1 核心工具栈
选择以下工具组合主要基于三个考量：接口稳定性、处理效率和可维护性：
python复制import os
import time # 精确控制请求间隔
import tushare as ts # 数据获取核心工具
import pandas as pd # 数据处理标准库
from tqdm import tqdm # 进度可视化
-
Tushare Pro：相比免费的Tushare基础版，Pro版提供更稳定的API服务和更完整的数据字段。虽然需要注册获取token，但基础权限完全够用本次需求。
-
Pandas：处理表格数据的实际行业标准。其DataFrame结构天然适配金融时间序列数据，且内置的IO工具支持多种存储格式。
-
tqdm：在长时间运行的批量任务中，进度可视化能有效提升操作体验。特别是在Jupyter环境下，进度条可以直观反映程序状态。
2.2 关键参数设置
python复制TS_TOKEN = '你的token' # 建议通过环境变量管理
ts.set_token(TS_TOKEN)
pro = ts.pro_api()
YEAR = 2021 # 锚定年份
start_date = f'{YEAR}0101' # 区间起点
end_date = f'{YEAR}123