1. 项目概述
作为一名长期从事数据采集工作的开发者,我经常需要从各类商业平台获取企业数据。天眼查作为国内知名的企业信息查询平台,包含了大量有价值的工商数据。但对于新手来说,直接从这类平台采集数据存在一定技术门槛。
最近我发现,结合AI工具可以大幅降低Python爬虫的学习成本。本文将分享一个完整的实战案例:如何使用Python+Selenium+AI工具链从天眼查采集企业数据。这个方案特别适合没有编程基础但急需获取商业数据的市场分析人员、创业者或学术研究者。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与工具链搭建
2.1 ChromeDriver安装与配置
ChromeDriver是Selenium控制Chrome浏览器的桥梁,安装时需要注意版本匹配问题:
-
查看Chrome浏览器版本:
- 在Chrome地址栏输入:chrome://settings/help
- 或点击右上角菜单 > 帮助 > 关于Google Chrome
-
下载对应版本的ChromeDriver:
- 官方下载地址:https://chromedriver.chromium.org/downloads
- 对于Chrome 115+版本,需要下载"Chrome 115及更高版"
重要提示:Chrome和ChromeDriver的主版本号必须完全一致,否则会出现兼容性问题。比如Chrome 120.0.6099.199必须搭配ChromeDriver 120.0.6099.x
- 配置环境变量:
将下载的chromedriver.exe放在固定目录(如D:\webdriver),并将该目录添加到系统PATH环境变量中。这样Python代码中就不需要写绝对路径了。
2.2 Python环境配置
推荐使用Anaconda创建独立的Python环境:
bash复制conda create -n tianyancha python=3.9
conda activate tianyancha
pip install selenium beautifulsoup4 pandas
核心库说明:
- selenium:浏览器自动化工具
- beautifulsoup4:HTML解析库
- pandas:
