李管春1. 项目概述：爬取HTML试卷并统计未满分情况
这个项目本质上是一个结合了网络爬虫技术与AI辅助编程的教育数据分析工具。它的核心功能是通过自动化手段抓取HTML格式的试卷文件，然后对试卷中的得分情况进行统计分析，最终筛选出所有未获得满分的学生答卷。
在实际教学场景中，教师经常需要分析学生的考试情况，特别是那些没有获得满分的试卷。传统的手工统计方式效率低下且容易出错。通过这个自动化工具，教师可以快速获取关键数据，为后续的教学改进提供依据。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术选型与工具准备
2.1 爬虫框架选择
对于HTML文档的爬取，Python生态中有多个成熟的选择：
- Requests + BeautifulSoup组合：适合简单的静态页面抓取
- Scrapy框架：适合大规模、复杂的爬取任务
- Selenium：适合需要模拟浏览器行为的动态页面
考虑到试卷文件通常是静态HTML，我们选择轻量级的Requests+BeautifulSoup组合。这种方案具有以下优势：
- 学习曲线平缓
- 依赖库少
- 执行效率高
安装必要的Python库：
bash复制pip install requests beautifulsoup4 pandas
2.2 AI辅助编程工具
AI辅助编程可以显著提高开发效率，特别是在处理HTML解析这类模式化任务时。推荐使用以下工具：
- GitHub Copilot：实时代码建议
- ChatGPT：解决特定编程问题
- Amazon CodeWhisperer：AWS提供的AI编程助手
这些工具可以帮助快速生成XPath选择器、CSS选择器等HTML解析代码，减少手动编写的工作量。
3. HTML试卷结构分析与爬取策略
3.1 典型试卷HTML结构
教育类HTML试卷通常具有以下结构特征：
html复制<div class="exam-paper">
<div class="student-info">
<span class="student-name">张三</span>
<span class="student-id">2023001</span>
</div>
<div class="questions">
<div class="question" id="q1">
<div class="question-content">题目1内容...</div>
<div class="student-answer">学生答案...</div>
<div class="score">5</div>
<div class="full-score">5</div>
</div>
<!-- 更多题目 -->
</div>
<div class="total-score">
<span>总分：95</span>
<span>满分：100</span>
</div>
</div>
3.2 爬取策略设计
- 识别试卷容器：通过class或id定位包含整个试卷的div
- 提取学生信息：获取学生姓名、学号等标识信息
- 遍历题目：逐个题目分析得分情况
- 计算总分：汇总各题得分并与满分对比
关键点在于准确定位HTML中的得分信息，这需要分析目标HTML的具体结构。AI工具可以帮助快速生成合适的选择器。
4. 核心代码实现
4.1 基础爬取功能
python复制import requests
from bs4 import BeautifulSoup
import pandas as pd
def fetch_html(url):
"""获取HTML内容"""
headers = {'User-Agent': 'Mozilla/5.0'}
try:
response = requests.get(url, headers=headers)
response.raise_for_status()
return response.text
except requests.exceptions.RequestException as e:
print(f"获取HTML失败: {e}")
return None
def parse_exam(html):
"""解析HTML试卷"""
soup = BeautifulSoup(html, 'html.parser')
exam_data = []
# 定位试卷容器 - 这部分选择器需要根据实际HTML结构调整
papers = soup.select('div.exam-paper')
for paper in papers:
student_info = {
'name': paper.select_one('span.student-name').text.strip(),
'id': paper.select_one('span.student-id').text.strip()
}
# 分析每个题目
questions = paper.select('div.question')
total_score = 0
full_score = 0
for q in questions:
score = float(q.select_one('div.score').text)
full = float(q.select_one('div.full-score').text)
total_score += score
full_score += full
student_info['total_score'] = total_score
student_info['full_score'] = full_score
student_info['is_full'] = total_score == full_score
exam_data.append(student_info)
return exam_data
4.2 AI辅助优化选择器
在实际开发中，确定正确的CSS选择器往往需要反复尝试。这时可以使用AI辅助：
- 将HTML片段提供给AI工具
- 询问类似："如何选择包含学生姓名的元素？"
- AI通常会返回多个可能的选择器方案，如：
span.student-namediv.student-info > span:first-child[class^="student-"]:contains("name")
通过这种方式可以快速获得可靠的选择器方案，大大减少调试时间。
5. 未满分试卷统计与分析
5.1 数据筛选与统计
python复制def analyze_results(exam_data):
"""分析考试结果"""
df = pd.DataFrame(exam_data)
# 筛选未满分试卷
not_full = df[df['is_full'] == False]
# 计算统计指标
stats = {
'total_students': len(df),
'not_full_count': len(not_full),
'not_full_ratio': len(not_full) / len(df),
'avg_score': df['total_score'].mean(),
'min_score': df['total_score'].min(),
'max_score': df['total_score'].max()
}
return not_full, stats
5.2 结果可视化
使用pandas和matplotlib可以方便地生成统计图表：
python复制import matplotlib.pyplot as plt
def visualize_results(df, stats):
"""可视化分析结果"""
# 成绩分布直方图
plt.figure(figsize=(10, 6))
df['total_score'].hist(bins=20)
plt.title('Score Distribution')
plt.xlabel('Score')
plt.ylabel('Number of Students')
plt.grid(True)
plt.show()
# 未满分原因分析（示例）
if not df.empty:
plt.figure(figsize=(10, 6))
df['total_score'].plot(kind='box')
plt.title('Score Analysis for Non-full-mark Papers')
plt.ylabel('Score')
plt.grid(True)
plt.show()
6. 实际应用中的问题与解决方案
6.1 常见问题排查
-
选择器失效问题
- 现象：代码在测试时工作正常，但实际运行时无法获取数据
- 原因：目标网站的HTML结构发生变化
- 解决方案：使用更宽松的选择器，或添加多重选择逻辑
-
反爬机制应对
- 现象：请求被拒绝或返回异常内容
- 解决方案：
- 设置合理的请求头
- 添加请求延迟
- 使用会话保持
-
编码问题
- 现象：获取的内容出现乱码
- 解决方案：
- 检查响应头中的编码信息
- 尝试多种编码方式(utf-8, gbk等)
6.2 性能优化建议
-
并发请求控制
python复制import concurrent.futures def fetch_multiple(urls, max_workers=5): """并发获取多个HTML""" with concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor: futures = {executor.submit(fetch_html, url): url for url in urls} results = {} for future in concurrent.futures.as_completed(futures): url = futures[future] results[url] = future.result() return results -
缓存机制
- 对已爬取的HTML进行本地缓存
- 使用hash值判断内容是否变更
- 避免重复请求相同内容
7. 项目扩展与进阶应用
7.1 功能扩展方向
- 错题分析：不仅统计未满分试卷，还分析具体错题分布
- 趋势分析：对比多次考试结果，分析学生进步情况
- 自动化报告生成：将统计结果自动生成PDF报告
7.2 与其他系统集成
- 与LMS(学习管理系统)集成：直接从教学平台获取试卷数据
- 数据库存储：将结果存入MySQL等数据库便于长期跟踪
- API服务化：将功能封装为REST API供其他系统调用
8. 安全与合规注意事项
-
数据隐私保护
- 对学生信息进行匿名化处理
- 确保数据存储安全
- 遵守相关教育数据保护规定
-
爬虫伦理
- 遵守robots.txt协议
- 控制请求频率
- 仅爬取授权范围内的数据
-
版权问题
- 尊重试卷内容的版权
- 仅用于教学分析目的
- 不进行未经授权的传播
在实际开发中，我发现AI辅助确实能显著提高开发效率，特别是在HTML解析这种模式化任务上。但需要注意，AI生成的代码往往需要根据具体场景进行调整，不能完全依赖。最好的方式是先用AI生成基础代码，然后人工进行优化和测试。