1. 项目背景与需求分析
最近在帮朋友装机时遇到一个头疼的问题：市面上显卡型号繁多，评测数据分散，很难横向对比不同型号的实际表现。作为技术爱好者，我决定用Python写个爬虫来自动采集太平洋电脑网（PConline）的显卡评测数据。
太平洋电脑网作为国内老牌IT门户，其显卡评测包含3DMark跑分、游戏帧率、温度功耗等关键指标，数据维度完整且更新及时。但手动收集这些数据需要反复翻页、复制粘贴，效率极低还容易出错。通过自动化采集，我们可以：
- 建立本地显卡性能数据库
- 制作动态对比图表
- 设置价格波动提醒
- 为装机推荐提供数据支持
重要提示：爬虫开发必须遵守robots.txt协议，控制请求频率（建议间隔2秒以上），避免对目标服务器造成负担。实测太平洋电脑网的评测版块未禁止爬取，但商业用途需获得授权。
2. 技术选型与环境准备
2.1 核心工具链
经过对比测试，最终选择以下技术方案：
python复制# 主要依赖库
import requests # HTTP请求（比urllib更友好）
from bs4 import BeautifulSoup # HTML解析
import pandas as pd # 数据存储
import time # 请求间隔控制
import random # 随机延时
选择理由：
- Requests：相比标准库urllib，API更简洁，自动处理编码问题。实测在太平洋电脑网的复杂重定向场景下更稳定。
- BeautifulSoup4：支持多种解析器（这里用lxml），能处理不规范的HTML。测试发现PConline部分页面存在未闭合标签，用html.parser会报错。
- 随机延时：通过
time.sleep(random.uniform(1,3))模拟人工操作，避免触发反爬。
2.2 开发环境配置
推荐使用VSCode + Python虚拟环境：
bash复制# 创建虚拟环境
python -m venv pconline_spider
source pconline_spider/bin/activate # Linux/Mac
pconline_spider\Scripts\activate # Windows
# 安装依赖
pip install requests beautifulsoup4 pandas lxml
避坑指南：太平洋电脑网的部分页面使用GB2312编码，但Requests可能误判为ISO-8859-1。需要在获取响应后手动检查：
python复制if response.encoding == 'ISO-8859-1':
response.encoding = 'gb2312'
3. 网页结构分析与爬取策略
3.1 评测列表页解析
通过浏览器开发者工具分析，发现评测列表页URL规律：
code复制http://diy.pconline.com.cn/vga/hangqing/第N页.html
关键数据位于<div class="article-list">下的<li>标签中，每个评测包含：
- 标题（含显卡型号）
- 发布时间
- 详情页链接
- 摘要（部分含关键指标）
示例代码获取所有评测链接：
python复制def get_article_links(page_url):
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
response = requests.get(page_url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
links = []
for item in soup.select('div.article-list li'):
link = item.find('a')['href']
if 'http' not in link: # 处理相对路径
link = 'http://diy.pconline.com.cn' + link
links.append(link)
return links
3.2 详情页数据提取
评测详情页的核心数据分布规律：
- 基础参数表：位于
<div class="parameter">，包含显存、位宽等 - 性能数据：多在
<div class="content">的表格中 - 温度/功耗：通常以图表形式存在，需提取原始数据
示例代码解析参数表：
python复制def parse_parameters(soup):
params = {}
table = soup.find('div', class_='parameter').find('table')
for row in table.find_all('tr'):
cols = row.find_all('td')
if len(cols) == 2:
key = cols[0].get_text(strip=True)
value = cols[1].get_text(strip=True)
params[key] = value
return params
实战技巧：太平洋电脑网的评测文章结构不统一，建议用
try-except处理缺失字段：
python复制try:
fps_data = soup.select('div.content table')[1].find_all('tr')[1:]
except IndexError:
fps_data = []
4. 反爬应对与数据存储
4.1 反爬虫策略破解
实测遇到的防护措施及解决方案：
| 防护类型 | 现象 | 解决方案 |
|---|---|---|
| 请求频率检测 | 返回503错误 | 随机延时 + 代理IP轮换 |
| User-Agent检查 | 返回空白页 | 模拟主流浏览器UA |
| 参数签名 | 动态生成token | 分析JS生成逻辑或使用Selenium |
推荐请求头配置：
python复制headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Referer': 'http://diy.pconline.com.cn/',
'Accept-Language': 'zh-CN,zh;q=0.9'
}
4.2 数据存储优化
采用分块存储策略：
- 原始HTML：保存为文件，方便后续复查
- 结构化数据：使用Pandas存储到CSV
python复制def save_to_csv(data, filename):
df = pd.DataFrame(data)
# 处理已有文件的情况
try:
old_df = pd.read_csv(filename)
df = pd.concat([old_df, df])
except FileNotFoundError:
pass
df.to_csv(filename, index=False, encoding='utf_8_sig') # 支持中文
进阶方案：可存入SQLite数据库，便于复杂查询：
python复制import sqlite3
conn = sqlite3.connect('gpu.db')
df.to_sql('benchmarks', conn, if_exists='append', index=False)
5. 完整代码实现与运行示例
5.1 主爬虫逻辑
python复制import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import random
from tqdm import tqdm # 进度条
class PConlineSpider:
def __init__(self):
self.base_url = "http://diy.pconline.com.cn"
self.data = []
def crawl(self, start_page=1, end_page=5):
for page in range(start_page, end_page+1):
url = f"{self.base_url}/vga/hangqing/{page}.html"
print(f"正在抓取第{page}页: {url}")
links = self.get_article_links(url)
for link in tqdm(links):
self.process_article(link)
time.sleep(random.uniform(1, 3)) # 随机延时
self.save_to_csv(f"gpu_data_page{page}.csv")
def get_article_links(self, page_url):
# 实现见前文
pass
def process_article(self, article_url):
try:
response = requests.get(article_url, headers=self.headers)
soup = BeautifulSoup(response.text, 'lxml')
item = {
'title': soup.find('h1').get_text(strip=True),
'url': article_url,
'date': self.parse_date(soup),
**self.parse_parameters(soup),
**self.parse_benchmarks(soup)
}
self.data.append(item)
except Exception as e:
print(f"处理 {article_url} 出错: {str(e)}")
# 其他方法实现...
5.2 数据清洗示例
采集到的原始数据需要清洗：
python复制def clean_data(df):
# 统一单位
df['显存容量'] = df['显存容量'].str.replace('GB', '').astype(float)
# 提取数字
df['3DMark分数'] = df['3DMark'].str.extract('(\d+,?\d+)')[0].str.replace(',','').astype(float)
# 处理温度数据
df['满载温度'] = df['温度'].str.extract('满载(\d+)°C')[0].astype(float)
return df
6. 数据分析与应用案例
6.1 性能对比可视化
使用Matplotlib生成对比图表：
python复制import matplotlib.pyplot as plt
def plot_performance(df):
plt.figure(figsize=(12, 6))
df = df.sort_values('3DMark分数', ascending=False)
plt.barh(df['型号'], df['3DMark分数'], color='skyblue')
plt.xlabel('3DMark分数')
plt.title('显卡性能对比')
plt.tight_layout()
plt.savefig('gpu_benchmark.png')
6.2 性价比计算模型
定义性价比指数：
python复制def calculate_value(df):
# 假设已有价格数据
df['性价比'] = (df['3DMark分数'] / df['价格']) * 100
return df.sort_values('性价比', ascending=False)
7. 法律合规与优化建议
7.1 合法爬取要点
- 遵守robots.txt：检查
http://diy.pconline.com.cn/robots.txt - 控制请求频率：单线程+随机延时
- 限制数据用途：仅用于个人研究
- 标注数据来源：在成果中声明数据出处
7.2 性能优化方向
- 异步请求：改用aiohttp提高效率
python复制import aiohttp
async with aiohttp.ClientSession() as session:
async with session.get(url) as response:
html = await response.text()
- 分布式爬取：使用Scrapy+Redis
- 断点续爬：记录已抓取URL
- 验证码处理：接入打码平台
我在实际运行中发现，太平洋电脑网的评测页会在晚8点至早6点期间负载较低，此时爬取成功率更高。另外建议定期（如每周）增量更新数据，而非全量抓取。