CVE检索工具开发：多源漏洞数据聚合与报告自动化

1. 项目背景与核心价值

去年在甲方做渗透测试时，我每天至少要查几十个CVE编号。每次都要在浏览器里反复切换NVD、Exploit-DB、SecurityFocus这些网站，复制粘贴到手抽筋。更崩溃的是不同平台的数据格式不统一，整理报告时还得手动对齐漏洞名称、CVSS评分和影响范围。当时就想：要是能有个工具把这些信息聚合起来，一键生成标准格式的报告该多好？

这就是我开发CVE检索工具的初衷——一个能同时查询多个漏洞数据库，自动标准化输出结果，并支持报告导出的效率工具。经过三个月的迭代，现在这个工具已经能实现：

• 跨平台检索（NVD、CVE Details、Vulners等）
• 本地缓存高频查询结果
• 自定义漏洞报告模板
• CVSS风险矩阵可视化

实测下来，原先需要20分钟的手动查询工作，现在30秒就能搞定。下面分享从技术选型到功能实现的完整过程，特别会重点讲解多源数据聚合时的那些坑。

2. 技术架构设计

2.1 核心组件拆解

整个系统采用微服务架构，主要分为四个模块：

mermaid复制graph TD
    A[前端] -->|REST API| B[API Gateway]
    B --> C[查询服务]
    B --> D[缓存服务]
    C --> E[第三方API适配器]

（注：实际开发中移除了mermaid图表，改用文字说明）

前端选择微信小程序+Web双端适配方案，主要考虑：

• 微信小程序方便移动端快速查询
• Web版适合深度分析时大屏操作
• Taro框架实现一次开发多端部署

后端技术栈：

• API网关：Spring Cloud Gateway（路由鉴权）
• 查询服务：Python + FastAPI（数据处理快）
• 缓存：Redis（高频CVE缓存）
• 数据库：PostgreSQL（结构化存储报告模板）

2.2 第三方API对接

目前集成的数据源及对应处理方式：

特别说明：CVE Details没有开放API，需要通过以下方式模拟合法请求：

python复制headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36',
    'Accept-Language': 'en-US,en;q=0.5',
    'Referer': 'https://www.cvedetails.com/'
}

3. 关键功能实现

3.1 多源数据聚合

核心挑战在于不同平台的字段映射。例如"漏洞名称"这个字段：

• NVD中叫cve.description.description_data[0].value
• Vulners中叫bulletinFamily
• CVE Details则是vulnerability_name

解决方案是建立统一的数据模型：

python复制class StandardVulnerability:
    def __init__(self):
        self.cve_id = ""       # CVE-2023-1234
        self.title = ""        # 标准化后的漏洞名称
        self.cvss_v3 = 0.0     # 最高版本分数
        self.affected_products = []  # 影响产品列表
        self.references = []   # 参考链接

数据聚合流程：

1. 并行请求各平台API
2. 根据来源平台选择解析器
3. 填充StandardVulnerability对象
4. 去重合并（优先采用NVD数据）

3.2 本地缓存策略

为避免频繁查询第三方API，设计三级缓存：

1. 内存缓存：高频CVE存于Redis，TTL=1小时
2. 磁盘缓存：SQLite存储历史查询，TTL=7天
3. 预加载缓存：每日凌晨同步TOP1000漏洞

缓存更新策略：

python复制def get_cve(cve_id):
    # 优先查Redis
    if result := redis.get(cve_id):
        return result
    
    # 其次查本地数据库
    if result := sqlite.query(cve_id):
        redis.setex(cve_id, 3600, result)
        return result
    
    # 最后查第三方API
    result = fetch_from_api(cve_id)
    sqlite.insert(result)
    redis.setex(cve_id, 3600, result)
    return result

4. 典型问题与解决方案

4.1 数据不一致问题

现象：同一个CVE在不同平台评分不一致
案例：CVE-2021-44228（Log4j）

• NVD评分：10.0（CVSS v3.1）
• Vulners评分：9.8（CVSS v3.0）
• CVE Details：9.3（CVSS v2）

处理方案：

1. 优先采用NVD的CVSS v3.1分数
2. 在报告中标明各平台差异
3. 增加评分计算器说明悬浮提示

4.2 反爬虫对抗

CVE Details会检测以下特征：

• 连续相同User-Agent访问
• 无Referer的请求
• 高频相同IP访问

我们的应对措施：

1. 轮换User-Agent池（内置20+常见UA）
2. 随机延迟（0.5s~3s）
3. 代理IP池自动切换
4. 关键请求带Referer链

python复制def get_random_delay():
    return random.uniform(0.5, 3.0)

def get_random_ua():
    ua_list = load_ua_file('user_agents.txt')
    return random.choice(ua_list)

5. 安全防护措施

由于涉及大量漏洞数据查询，特别需要注意：

1. 输入过滤：

   • CVE ID正则校验：^CVE-\d{4}-\d{4,}$
   • SQL参数化查询防止注入

2. 权限控制：

   • API网关层校验JWT令牌
   • 敏感操作（如报告删除）需二次验证

3. 日志审计：

   • 记录所有查询的CVE_ID、IP、时间戳
   • 异常行为检测（如单IP高频查询）

python复制# CVE ID验证示例
def is_valid_cve_id(cve_id):
    pattern = r'^CVE-\d{4}-\d{4,}$'
    return re.match(pattern, cve_id) is not None

6. 实际使用建议

经过半年生产环境运行，总结出这些最佳实践：

1. 查询优化：

   • 批量查询时使用/api/batch端点（最高支持50个CVE/请求）
   • 关注X-RateLimit-Remaining响应头

2. 报告模板技巧：

   • 使用{{ cvss_score }}等占位符
   • 自定义CSS支持深色模式打印

3. 移动端适配：

   • 小程序版本支持扫码录入CVE
   • 快捷短语："严重漏洞"、"需紧急修复"等

这个工具目前已在Github开源，对于企业用户我们还提供私有化部署方案，特别适合：

• 安全服务团队快速生成报告
• 甲方运维人员日常漏洞排查
• 红队作战时的信息收集阶段

最后分享一个实用技巧：在查询结果页面长按CVSS分数，可以快速查看该评分对应的攻击复杂度、影响范围等明细参数。这个隐藏功能是我们给专业审计人员留的快捷入口。