里小咸1. 项目背景与核心目标
新闻文本分类系统是自然语言处理（NLP）领域的一个经典应用场景。随着互联网新闻信息的爆炸式增长，人工分类已经无法满足实际需求。我在山东大学计算机系的毕业设计中选择了这个课题，主要基于以下考虑：
首先，新闻文本具有结构化程度高、领域特征明显的特点，非常适合作为NLP初学者的实践项目。其次，新闻分类在内容推荐、舆情监控等场景有广泛应用价值。最后，Python生态中的机器学习工具链已经非常成熟，从数据采集到模型部署都有完善的支持。
这个毕设的核心目标是构建一个端到端的新闻分类系统，要求实现：
- 支持至少5个新闻类别（如体育、财经、科技等）的自动分类
- 分类准确率达到85%以上
- 提供Web界面展示分类结果
- 实现分类结果的可视化分析
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 技术选型与架构设计
2.1 整体技术栈
经过对同类项目的调研和技术验证，最终确定的技术栈如下：
前端展示层：
- Django框架（2.2 LTS版本）
- Bootstrap 5前端组件库
- ECharts数据可视化
数据处理层：
- Jieba中文分词工具
- Scikit-learn特征工程工具
- Gensim词向量训练
模型层：
- TensorFlow 2.x深度学习框架
- Keras高级API
- 预训练BERT模型（哈工大版）
数据存储：
- MySQL 8.0关系型数据库
- Redis缓存加速
2.2 为什么选择Django+MySQL组合
Django作为Python生态最成熟的Web框架，提供了完善的ORM系统和Admin后台，特别适合快速开发数据驱动的应用。其内置的模板引擎和表单验证机制可以大幅减少前端开发工作量。
MySQL在文本分类项目中的优势主要体现在：
- 对长文本字段的良好支持（TEXT类型最大支持65,535字符）
- 成熟的全文本索引功能
- 与Python生态的无缝集成（通过mysqlclient或PyMySQL）
提示：Django配置MySQL时需要特别注意字符集设置，建议统一使用utf8mb4以支持完整的Unicode字符（包括emoji）。
3. 数据采集与预处理
3.1 新闻数据来源
项目使用了三个主要数据源：
- 新浪新闻RSS订阅（通过Python的feedparser库抓取）
- 腾讯新闻API（需要申请开发者权限）
- 公开的中文新闻分类数据集（如THUCNews）
3.2 文本预处理流程
原始新闻文本需要经过以下处理步骤：
python复制import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
# 1. 清洗特殊字符
def clean_text(text):
text = re.sub(r'[^\w\s]', '', text)
return text.strip()
# 2. 中文分词
def chinese_segment(text):
return ' '.join(jieba.cut(text))
# 3. 停用词过滤
stopwords = [line.strip() for line in open('stopwords.txt', encoding='utf-8')]
def remove_stopwords(words):
return [w for w in words if w not in stopwords]
# 4. TF-IDF向量化
vectorizer = TfidfVectorizer(max_features=5000)
X = vectorizer.fit_transform(corpus)
预处理中的关键点：
- 中文分词需要加载自定义词典（如财经专业术语）
- 停用词表需要根据新闻特点进行定制
- TF-IDF的max_features参数需要平衡效果和性能
4. 机器学习模型实现
4.1 模型选型对比
测试了三种主流文本分类模型：
| 模型类型 | 准确率 | 训练时间 | 适用场景 |
|---|---|---|---|
| 朴素贝叶斯 | 82% | 5min | Baseline模型 |
| SVM | 86% | 15min | 小规模数据 |
| BERT | 91% | 2h | 高精度需求 |
最终选择BERT作为主力模型，主要考虑：
- 对上下文语义的理解能力更强
- 支持迁移学习（基于中文预训练模型微调）
- 对长文本的分类效果更稳定
4.2 BERT模型微调实战
使用HuggingFace的Transformers库实现：
python复制from transformers import BertTokenizer, BertForSequenceClassification
# 加载预训练模型
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=5)
# 数据转换为BERT输入格式
inputs = tokenizer(texts, padding=True, truncation=True, max_length=512, return_tensors="pt")
# 模型训练
optimizer = AdamW(model.parameters(), lr=5e-5)
loss_fn = torch.nn.CrossEntropyLoss()
for epoch in range(3): # 通常3-5个epoch足够
outputs = model(**inputs, labels=labels)
loss = outputs.loss
loss.backward()
optimizer.step()
关键参数说明：
- max_length=512 是BERT的最大输入长度限制
- lr=5e-5 是经过实验验证的较优学习率
- 3个epoch通常可以达到较好的微调效果
5. 系统集成与部署
5.1 Django后端实现
创建核心的API接口：
python复制# views.py
from django.http import JsonResponse
from .models import NewsArticle
from .ml_model import predict_category
def classify_news(request):
if request.method == 'POST':
text = request.POST.get('text', '')
category = predict_category(text) # 调用训练好的模型
article = NewsArticle.objects.create(
content=text,
category=category
)
return JsonResponse({'category': category})
5.2 MySQL表结构设计
sql复制CREATE TABLE news_article (
id INT AUTO_INCREMENT PRIMARY KEY,
title VARCHAR(200) NOT NULL,
content TEXT NOT NULL,
category VARCHAR(50) NOT NULL,
publish_time DATETIME DEFAULT CURRENT_TIMESTAMP,
INDEX idx_category (category)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
5.3 性能优化技巧
- 使用Django的select_related/prefetch_related优化查询
- 对分类结果添加Redis缓存
- 使用Celery异步处理批量分类任务
- 前端实现懒加载分页
6. 效果评估与改进
6.1 评估指标
除了常规的准确率，还采用了：
- 混淆矩阵分析各类别区分度
- F1-score评估不平衡数据表现
- 推理延迟（RT）评估线上性能
6.2 常见问题解决方案
- 类别不平衡：采用过采样(SMOTE)或调整类别权重
- 新词识别：定期更新分词词典
- 领域迁移：使用领域自适应(Domain Adaptation)技术
- 模型漂移：建立定期重训练机制
7. 项目扩展方向
完成基础功能后，可以考虑：
- 实现多标签分类（一篇新闻可能属于多个类别）
- 添加情感分析维度
- 构建个性化推荐系统
- 开发移动端应用
这个项目从技术选型到最终实现共耗时3个月，其中最大的收获是对NLP完整流程的实践理解。特别建议后来者在模型部署环节多花时间，这是学校课程中较少涉及但实际工作中至关重要的部分。