1. 项目背景与需求分析
最近在整理学院网站上的师资队伍信息时，发现手动收集这些数据既耗时又容易出错。作为一名Python开发者，我决定设计一个自动化爬虫系统来解决这个问题。这个项目不仅能高效获取师资信息，还能通过可视化展示数据洞察。
师资信息爬虫的核心价值在于：
- 自动化采集教师姓名、职称、研究方向等关键数据
- 解决人工收集效率低下和格式不统一的问题
- 为后续的人才分析、学科评估提供数据基础
2. 技术方案设计
2.1 整体架构设计
系统采用三层架构：
- 数据采集层：使用Scrapy框架构建爬虫
- 数据处理层：用Pandas进行数据清洗
- 数据展示层：通过Pyecharts实现可视化
选择Scrapy而非Requests的原因：
- 内置的异步处理机制更适合大规模爬取
- 完善的中间件系统便于扩展
- 自带的去重机制避免重复请求
2.2 关键技术选型
python复制# 核心依赖库
requirements = [
'scrapy>=2.6.0', # 爬虫框架
'pandas>=1.3.0', # 数据处理
'pyecharts>=1.9.0', # 可视化
'fake-useragent', # 随机UA
'redis', # 分布式支持
]
3. 爬虫实现细节
3.1 遵守robots协议
在项目根目录创建robots.txt：
code复制User-agent: *
Crawl-delay: 5
Disallow: /admin/
代码中设置下载延迟：
python复制class TeacherSpider(scrapy.Spider):
custom_settings = {
'DOWNLOAD_DELAY': 3,
'CONCURRENT_REQUESTS_PER_DOMAIN': 2
}
3.2 反爬应对策略
- UserAgent轮换：
python复制from fake_useragent import UserAgent
ua = UserAgent()
def start_requests(self):
headers = {'User-Agent': ua.random}
yield scrapy.Request(url, headers=headers)
- IP代理池方案：
python复制# settings.py
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
}
# 中间件实现
class ProxyMiddleware(object):
def process_request(self, request, spider):
proxy = get_random_proxy() # 从Redis获取
request.meta['proxy'] = proxy
4. 数据处理与存储
4.1 数据清洗流程
python复制def clean_data(df):
# 统一职称格式
df['title'] = df['title'].str.replace('教授', '教授')
# 提取研究方向关键词
df['keywords'] = df['research'].apply(
lambda x: jieba.analyse.extract_tags(x, topK=3))
return df
4.2 存储方案选择
根据数据量选择存储方式：
- 小规模(<1000条)：SQLite
- 中等规模：MySQL
- 大规模：MongoDB
python复制# MongoDB存储示例
import pymongo
client = pymongo.MongoClient("mongodb://localhost:27017/")
db = client["university"]
collection = db["teachers"]
def process_item(self, item, spider):
collection.insert_one(dict(item))
return item
5. 可视化实现
5.1 职称分布分析
python复制from pyecharts.charts import Pie
title_dist = df['title'].value_counts()
pie = Pie()
pie.add("", list(title_dist.items()))
pie.render("title_dist.html")
5.2 研究方向词云
python复制from pyecharts.charts import WordCloud
wordcloud = WordCloud()
wordcloud.add("", word_freq, word_size_range=[20, 100])
wordcloud.render("research_wc.html")
6. 性能优化技巧
- 启用缓存减少重复请求：
python复制# settings.py
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 86400
- 使用布隆过滤器去重：
python复制from pybloom_live import ScalableBloomFilter
bf = ScalableBloomFilter(initial_capacity=1000)
def parse(self, response):
if url in bf:
return
bf.add(url)
- 分布式爬虫配置：
python复制# 使用Scrapy-Redis
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
7. 常见问题与解决方案
7.1 反爬封锁应对
症状：返回403状态码或验证码
解决方案：
- 增加随机延迟(2-5秒)
- 使用高质量代理IP
- 模拟浏览器行为：
python复制from selenium.webdriver import ChromeOptions
options = ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
7.2 数据解析失败
典型错误：XPath失效
排查步骤：
- 检查页面结构是否变更
- 使用浏览器开发者工具验证XPath
- 改用CSS选择器或正则表达式
python复制# 更健壮的解析方式
name = response.css('.teacher-name::text').get() or \
response.xpath('//h2/text()').get()
8. 项目扩展方向
- 定时任务集成：
python复制from apscheduler.schedulers.twisted import TwistedScheduler
scheduler = TwistedScheduler()
scheduler.add_job(spider_runner, 'cron', day_of_week='mon')
scheduler.start()
- 自动化报告生成：
python复制from pyecharts.render import make_snapshot
from snapshot_selenium import snapshot
make_snapshot(snapshot, pie.render(), "title_dist.png")
- 数据异常监测：
python复制# 监控数据量变化
alert_threshold = 0.8 # 数据量下降20%触发告警
current_count = collection.count_documents({})
if current_count < last_count * alert_threshold:
send_alert_email()
这个项目从设计到实现大约花费了两周时间，最大的收获是认识到一个健壮的爬虫系统需要考虑的维度远比想象中多。在实际部署时，建议先从少量页面开始测试，逐步扩大爬取范围。对于学术机构网站，特别要注意控制请求频率，避免对正常服务造成影响。