1. 项目背景:为什么我要用AI重构漏洞扫描
先说结论:我不是拿AI去替代Nessus或者AWVS这类传统扫描器,而是把LLM作为蓝队弱点发现流程里的“分析大脑”,把原本割裂的资产收集、漏洞验证、风险评估、修复建议串成一条自动化链路。这个项目做完之后,我最直观的感受是——漏报率不一定比传统工具低多少,但整个团队从“发现漏洞”到“知道该干什么”的时间,压缩了大概60%。
先交代一下背景。我所在的是甲方的安全团队,日常工作里有很重要的一块叫“蓝队防御”,说白了就是站在防守方的角度,提前把自己家的大门、窗户、通风管道都摸一遍,看看哪里能被人钻进来。以前这套流程是这么跑的:用扫描器把全量资产扫一遍,导出一份几百页的PDF,然后安全工程师花两三天人工翻报告,挑出高危漏洞,再逐个去验证是不是真的可以利用,最后才写修复工单发给对应团队。问题显而易见:扫描器只会告诉你“这里有个CVE-2024-XXXX”,但不会告诉你这个漏洞到底危不危险、业务影响多大、攻击者会怎么利用它,更不会告诉你应该怎么修最省事。而把这些信息翻译成人话,恰恰是最耗时、最烧脑的部分。
这几年LLM的能力大家有目共睹,尤其是在代码理解、逻辑推理、长文本分析这些方向上。我就一直在想:如果把漏洞扫描里“人脑分析”的那一段交给LLM来做,理论上完全可行。扫描器负责把原始数据吐出来,LLM负责理解这些数据的上下文,比如这个漏洞跑在什么框架上、对应的业务模块是什么、有没有现成的利用链、修复的优先级该怎么定。于是一个项目就这么启动了——自己动手在本地搭建一套AI漏洞扫描分析平台,内部代号就叫“L构建”,这里的L指的是LLM里的Language,实际上就是一套以语言模型为中枢的扫描分析链路。
这个项目适合谁来参考?我觉得最对口的是一线安全工程师,尤其是蓝队成员、安全运维、渗透测试人员。另外如果你是做安全工具研发的,或者你在甲方负责安全平台建设,这套思路也能给你不少启发。退一步讲,就算你完全不懂代码,只想知道“AI到底能帮安全团队干什么活”,这篇博文里讲到的场景和坑也值得你读完。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 整体设计思路:红队、蓝队与白盒透视的三个视角
2.1 三种视角的定位差异
讲具体实现之前,我想先把一个概念掰扯清楚,因为很多人一开始就把方向搞偏了。红队演练、蓝队防御、白盒透视,这三个词经常混在一起说,但它们对漏洞扫描的需求其实完全不一样。
红队演练是模拟攻击者去打你,关注的是“能不能打穿”,所以红队要的是攻击路径和利用链,强调的是“怎么利用漏洞达成目标”。蓝队防御是站在防守方的角度找问题,关注的是“哪里有弱点会被打”,所以蓝队要的是弱点的完整地图,强调的是“覆盖面和优先级”。而白盒透视是拥有全部源码和配置信息的前提下做审计,关注的是“根因在代码的哪个位置”,所以白盒要的是更细粒度的代码级解释。
我做的这套AI漏洞扫描,本质上是为蓝队服务的,但同时借鉴了红队和白盒的思路。具体来说:扫描器先帮我们做全量资产的弱点发现(蓝队视角),然后AI把这些原始漏洞数据放到攻击链里去模拟,评估一下如果被红队盯上会怎么走(红队视角),最后再往代码层面深挖一层,给出根因分析和修复建议(白盒透视)。这三个视角合在一起,其实就是蓝队平时最需要的那份“弱点分析报告”。
2.2 选型理由:为什么用LLM而不是传统规则引擎
可能有人会问:传统漏洞扫描器难道没有分析能力吗?有,但是很有限。Nessus有插件描述,有CVSS评分,有解决方案参考,但它的输出是结构化的、死的,它不会针对你的业务场景做推理。比如一个CVSS 9.8的远程代码执行漏洞跑在一个内网测试环境上,和一个CVSS 7.5的中间件漏洞跑在对外业务入口上,哪个更该优先修?传统扫描器不会告诉你,它只会冷冰冰地列出来,让工程师自己判断。
LLM恰好擅长这种“语义级的推理”。它能把漏洞描述、受影响资产的指纹信息、业务标签、现有防护措施这些输入揉在一起,形成一份带上下文的判断。这不是规则匹配能做到的,因为上下文组合几乎是无限的,你不可能把所有情况都写成if-else规则。
我的架构选型是这样的:底层用开源扫描工具做数据采集(我选的是 nuclei 加 wappalyzer,原因后面细说),中间层用LangChain作为编排框架,把工具调用、数据清洗、提示词管理串起来,最上层是LLM推理引擎,我这里用的是本地部署的Qwen2.5-14B-Instruct。选择14B的原因很简单,本地一张A100就能跑起来,不需要上集群,而且实测下来这个尺寸的模型在漏洞描述理解、代码片段分析上已经够用了。
为什么不直接用GPT-4级别的API?两个原因:一是漏洞扫描涉及资产信息、内网拓扑这些敏感数据,出于合规考虑很多企业不允许把这类数据送到外部大模型;二是自动化扫描流程里可能一天要调几百次模型,API费用不低,自建推理服务一次调用的边际成本几乎为零。所以我从一开始就定了本地部署的路子。
2.3 整个链路的数据流
我把整个系统拆成三个阶段:采集、分析、输出。采集阶段负责“知道有什么东西”,分析阶段负责“搞清楚这些问题有多严重”,输出阶段负责“把结论翻译成人话,落到工单上”。
采集阶段是传统扫描器的主场,nuclei负责探测已知CVE,wappalyzer负责识别Web技术栈,再加上一个自写的端口和服务指纹模块做补充。这个阶段产生的原始数据量很大,一次全量扫描可能出几千条记录,但大部分是低危或者信息类的问题。
分析阶段是这套系统的核心,LLM要做的事包括:过滤误报、评估漏洞可利用性、分析业务影响面、计算修复优先级。为了让LLM的输出稳定可控,我设计了多轮对话的方式,每一轮只让模型做一件事,而不是让它一口气给出所有答案。这个设计在后面实操部分我会详细讲。
输出阶段就是把分析结果汇总成报告。但这里的报告不是简单的表格堆积,而是按业务系统和风险等级组织的“弱点地图”,每一条都带有人话版的修复建议和参考链接。另外我预留了工单系统的接口,可以自动把修复任务推给对应的开发和运维负责人。
3. 基于LLM的漏洞扫描核心实现
3.1 工具选型与实践要点
先把你最关心的工具链列出来,我把选型和踩坑一起说。
nuclei是ProjectDiscovery团队开源的漏洞扫描器,用YAML模板描述漏洞验证逻辑,社区模板更新非常快,新曝出的漏洞通常几天内就有对应的检测模板。选它的原因有三点:一是模板生态丰富,覆盖Web、网络、API各种类型;二是支持自定义模板,我可以把内网特有的一些漏洞写成自己的检测规则;三是输出格式是标准JSON,方便后续喂给LLM处理。
wappalyzer用来做技术栈识别,它原本是浏览器插件,但提供了CLI版本可以集成到命令行流程里。这个模块对LLM分析特别重要,因为同一个漏洞跑在IIS上和跑在Nginx上,修复建议是完全不同的,而技术栈信息恰恰是传统扫描报告里经常不标注的。
自写的资产指纹模块其实是一个轻量级的Python脚本,通过分析HTTP响应头、HTML特征、favicon哈希来识别资产类型。为什么还要自己写?因为很多内部系统的技术栈比较冷门,公开识别规则覆盖不到,而LLM分析需要这类“非标准信息”作为上下文,所以这部分必须自给自足。
整条数据流水线是Python写的,用了asyncio做并发控制。扫描任务启动后,nuclei和wappalyzer并行跑,结果都落到同一个JSON文件里,然后由清洗脚本统一规范化。这里有一个很重要的细节:你必须把不同来源的数据对齐到同一个资产维度上。比如目标IP是192.168.1.10,上面跑着一个ShopEx商城,nuclei扫出3个漏洞,wappalyzer识别出PHP和MySQL,清洗脚本要把这些信息合并成一条“资产漏洞记录”,而不是三条独立的记录。否则LLM看到的是一堆碎片化的JSON,分析效果会大打折扣。
3.2 为什么Prompt设计决定了扫描分析的成败
用LLM做漏洞分析,最核心的技术点是提示词工程。我在这个项目里踩了很多坑之后,总结出一条心得:不要让模型一步到位做所有事,而是把分析拆成一个多轮推理的过程。
我设计了三轮分析流程。第一轮叫“漏洞识别与误报过滤”,给模型的输入是漏洞原始描述、目标资产的指纹信息、nuclei检测到的响应特征,要求模型判断“这个漏洞是否真的存在,是否可能是误报”,输出一个置信度分数和判断理由。第二轮叫“可利用性与风险分析”,输入第一轮过滤后的漏洞信息,再加上我对目标业务场景的描述(比如这是支付网关、那是内容管理系统),要求模型评估攻击者利用该漏洞的难度、可能的攻击路径、波及的业务范围。第三轮才进入“修复建议生成”,结合前面所有上下文,要求模型给出具体的修复方案,包括升级版本、配置修改、代码层面的Patch建议。
这种分轮设计的好处是:每一轮模型的输入输出边界清晰,大大降低了幻觉概率;同时每一轮我都可以在提示词里加入不同的few-shot示例来约束输出风格。坏处是调用成本变高了,一次完整分析要调3次模型,但本地部署模型以后这个成本根本算不上什么。
提示词模板里几个我反复强调的点:一是明确角色定位,我会告诉模型“你是一名资深安全工程师,正在对一次扫描结果进行人工研判”;二是要求给出推理过程,我会说“先分析判断依据,再给出最终结论”;三是严格约束输出格式,我会要求JSON结构包含confidence、reason、action等固定字段。格式约束这一点上,Qwen2.5对这种指令遵循得还算好,但偶尔也会返回Markdown包裹的JSON,所以在解析层我做了容错处理——先尝试json.loads,失败后用正则把最外层的JSON代码块剥出来再解析。
3.3 数据清洗与知识库增强
模型不是万能的,尤其是对特定漏洞的细节判断,有时候还不如插件描述里写清楚。所以我在流水线里加了一层知识库增强模块,做法是把NVD、CNVD的漏洞库数据、nuclei模板里的描述信息、以及历史工单的处理记录,全部灌进一个向量数据库(我用的ChromaDB),在每一轮分析前先把相关文档检索出来拼进上下文。这样做的好处非常直接:模型回答的不再是“大而全”的通用知识,而是带上了CVE的具体细节、历史修复经验,准确率明显提升。
举个例子,扫描发现一个Drupal的远程执行漏洞,模型第一遍分析可能只会说“该漏洞风险较高,建议升级Drupal版本”。但如果知识库里检索到了这个漏洞对应的利用POC和某个业务团队以前处理该漏洞的具体记录,模型就能进一步指出:这个站点的Drupal版本是8.7.10,受影响模块是RESTful Web Services,临时修复方案可以先禁用该模块,再安排版本升级。这种级别的分析深度,没知识库增强之前根本做不到。
3.4 场景化配置参数速查
| 参数维度 | 推荐配置 | 说明 |
|---|---|---|
| 并发扫描数 | 20 | 超过容易触发目标源限流,造成结果缺失 |
| 扫描超时 | 10s | Web请求超时,延长会拖慢整体进度 |
| 模型温度 | 0.1 | 分析任务要的是确定性输出,温度必须低 |
| 上下文窗口 | 8K | Qwen2.5-14B支持32K,但实测8K内效果最稳 |
| 向量检索TopK | 5 | 每轮分析检索5条相关知识片段,信息量刚好 |
| 漏洞置信度过滤线 | 0.7 | 低于此分数直接标记为“待人工复核” |
4. 实操过程:从一次真实扫描看全链路表现
4.1 目标环境与扫描前置准备
为了把整个流程讲清楚,我准备了一个完整的实操案例。这是一个我在内网搭的测试环境,模拟的是一个小型电商系统的架构:一台Nginx反向代理,后面挂着一个Java开发的订单服务,数据库用MySQL,管理后台部署在一个单独的子目录里,表面上还有一个基于PHP的客户反馈页面。
正式扫描前有几个准备动作不能省。一是资产清单的梳理,我把这个系统涉及的所有IP和域名整理到一个txt文件里,一行一个目标。二是模板选择,nuclei默认会跑全量模板,但这会把扫描时间拖到几小时,我一般会先跑一遍技术栈识别,再根据结果选择关联模板集,把扫描范围缩小到和Web、Java框架、PHP相关的模板。实际项目中第一次全量扫描可以接受慢,但日常巡检一定要做裁剪。
扫描命令大致是这样的:
bash复制# 第一步:技术栈识别
wappalyzer -i targets.txt -o tech.json
# 第二步:基于识别结果运行精确扫描
nuclei -l targets.txt -tags tech,web -json -o raw_results.json
# 第三步:调用自研指纹增强模块
python fingerprint_enhance.py --input raw_results.json --output enriched.json
说明一下,这里的tags参数是nuclei里的模板过滤机制,可以根据模板的Tag字段做筛选。我的习惯是先跑一套带tech标签的基础扫描,再根据结果决定要不要追加更重型的Web模板。
4.2 核心扫描与AI分析实录
扫描结束后,raw_results.json里一共产生了47条漏洞记录,其中大部分是低危的信息泄露、版本不匹配、Cookie安全属性缺失之类的问题。我把数据喂给AI分析链路后,第一轮过滤直接砍掉了11条明显误报,比如某些模板基于响应头中的Server字段做出的判定,实际目标并没有对应的漏洞版本。剩下36条进入第二轮分析。
第二轮分析的结果里有几条给我留下了很深的印象。有一条是订单服务上报了一个Fastjson反序列化漏洞的检测结果,置信度只有0.62,模型给出的判断是:“目标响应中出现了Fastjson的报错堆栈特征,但该特征也可能是JSONP接口的报错信息,需进一步验证。”这个判断相当保守,但也相当准确。我让人工复核了一下,发现这其实是一个自研的JSON解析器,报错格式恰好和Fastjson相似。如果按传统扫描器的逻辑,这条至少会被标记为高危并进入人工复核流程,白白浪费一个工程师半天时间。
另一条是真漏洞。管理后台的PHP反馈页面上报了一个文件上传类型限制绕过的漏洞,模型分析后给出的判定是“基于表单中缺失文件类型白名单校验,攻击者可通过修改Content-Type字段上传恶意脚本”。这其实已经超出了nuclei模板本身的描述范围,是模型基于响应内容和表单结构的推断。我让人工验证了一下,果然可以上传一个PHP一句话木马。这条漏洞如果没有AI的深度分析,大概率会被当成普通的“文件上传无限制”问题低优先级处理掉,但实际上它能直接拿到Webshell,属于严重漏洞。
第三轮修复建议输出时,我特意对比过AI建议和厂商公告的差异。对于那个Java订单服务的Fastjson问题,模型给的建议是“升级到Fastjson 2.0.26及以上版本,并临时开启safeMode;如果业务不允许升级,建议在入口WAF层添加针对JdbcRowSetImpl链的拦截规则”。跟我后来查的最优修复方案基本一致,说明模型确实从知识库里检索到了有效信息。
4.3 输出报告形态与工单对接
所有分析完成后,系统会生成一份HTML格式的“弱点地图”报告。为什么用HTML而不是PDF?因为HTML可以内嵌交互图表,支持按资产、按漏洞等级、按责任团队三种维度筛选,比静态PDF实用得多。
报告首页是一个按风险等级着色的资产列表,每个资产旁边有弱点数、平均风险分、待处理工单数。点进单个资产,能看到这个资产的完整技术栈画像、漏洞清单、每一条漏洞的AI分析理由、置信度、修复建议。最底下还有一个“修复记录”时间线,记录了哪些漏洞是什么时候发现、什么时候关闭的。这套报告模板我调了很久,现在基本能满足管理层和技术团队双向的阅读需求。
工单对接这块,我预留了两种方式。第一种是导入Jira,通过REST API把每条漏洞转成一条Jira任务,带上严重的描述和修复建议。第二种是对接飞书群机器人,扫描发现高危漏洞后直接在群里推送一条卡片消息。实际使用下来飞书这种方式最受欢迎,因为研发团队本来就在飞书上沟通,消息推过去顺手就能点开看,沟通成本低了一大截。
5. 常见问题与排查技巧实录
5.1 误报率控制不住怎么办
这是所有做AI漏洞扫描的人第一个会碰到的问题。你要明白,LLM本身不是漏洞扫描器,它只会对送到面前的数据做语义判断,所以一旦前端的扫描数据质量差,后面再怎么分析都是白搭。我在前几轮测试里误报率大概有30%,那会的主要原因不是模型不行,而是nuclei模板的匹配逻辑太宽松。比如有的模板只要响应头里出现某个版本号就直接标记漏洞,完全不check版本号和漏洞影响范围的对应关系。
解决办法有两个方向。一是前端做严格的版本比对,我在清洗脚本里增加了一个模块,专门从响应头和响应体中提取版本号,和漏洞影响版本范围做比对,版本不匹配的直接打上“版本不符”的标签,不会再送进LLM。二是后端做多轮确认,模型如果对某条漏洞的置信度低,我可以让它调用一个验证函数,重新发起一次HTTP请求,带上测试Payload,根据响应内容判断漏洞是否真实存在。这一步把误报率拉到了10%以下。
5.2 模型输出内容不稳定怎么处理
哪怕把温度调到0.1,同一个漏洞描述在不同批次的扫描中还是可能出现略微不同的表述。这本身不一定是坏事,但如果你拿模型输出直接去和前一版报告做对比,就会看到大量“格式漂移”。我的处理方式是在输出层定义一个标准Schema,模型返回的JSON必须经过这个Schema校验,不合法就重试一次,两次都失败就标记为“待人工处理”。
另外一个偏门技巧:在系统提示词里加一句“保持回答简洁,直接输出结论而不是解释你为什么得出这个结论”。很多人写提示词喜欢让模型各种发挥,但对漏洞分析这种任务来说,你需要的不是长文本,而是精确的判断结果和必要依据,说得越多出错概率越高。加了这句之后,输出稳定性明显好了很多。
5.3 上下文窗口不够用怎么办
处理大型应用的扫描结果时,一次可能涉及几十个漏洞、上百条证据数据,不可能全部塞进模型上下文。我的做法是把“全局分析”和“单点分析”分开处理:先对每个漏洞做独立的单点分析(每轮只传一条漏洞的相关数据),然后把该资产下所有单点分析结果汇总成一个摘要,再让模型做一次“资产级综合研判”。这样做不仅解决了窗口限制,还有一个额外的好处:单点分析可以并行执行,大幅缩短整体处理时间。
5.4 本地模型的部署优化细节
最后分享一个部署阶段的坑。Qwen2.5-14B-Instruct直接跑默认的FP16权重,一张A100 40G是放得下的,但推理速度慢得让人崩溃。后来我改用AWQ量化版本,显存占用降到大概10G,推理速度提升了5倍左右,而分析质量几乎没有下降。对于本地部署模型做批量分析这个场景,我强烈建议选择量化版本,而不是追求满血精度。另外要把批处理尺寸调大一点,我实测batch_size=16比batch_size=1的总吞吐量高出将近10倍,延迟虽然略微升高,但单条分析任务本身对实时性要求不高,完全值得。
还有一个容易被忽略的点:LLM推理环境最好和扫描环境分开部署。扫描器本身是IO密集型的,大量HTTP请求会占用网络和CPU;而模型推理是计算密集型的,两者混在一起会互相干扰,导致扫描变慢、推理也变慢。我最后是把扫描服务和推理服务放在两台物理机上,中间通过HTTP接口通信,两边都稳了。
6. 蓝队视角下的AI扫描值得投入吗
我在实际使用这套系统几个月之后,最大的体会是AI不会让扫描器变得更会扫描,但会让扫描结果变得更像一份“人写的分析报告”。传统工具给你的是数据,AI给你的是情报,这个差别在蓝队日常运营里是决定性的。蓝队最缺的从来不是扫描器,而是能把海量漏洞数据转化成行动优先级的人。而LLM最擅长的事情,恰好是把这种“翻译”工作自动化。
另外一个很实在的价值是,这套系统可以把资深安全工程师的经验固化下来。我在提示词和知识库里沉淀了大量历史漏洞的处理方式、不同业务场景的风险判断标准,这些以前只存在于老员工的脑子里。哪怕有一天这位老员工离职了,系统依然能输出和他风格接近的分析判断。这一点对团队可持续运营的意义甚至比漏报率下降还大。
如果你也想在自己团队里搭建类似的系统,我建议从小处着手,不要一上来就追求大而全。找一个每天最耗人力的环节,比如漏洞报告研判,先用脚本加LLM把它自动化,跑顺了再往资产测绘、工单自动派发这些方向延展。这套东西的学习曲线不算陡,Python基础加上一点LangChain的基本用法就能跑起来,真正的门槛在于你对自己业务的梳理——你得先想清楚哪些判断逻辑是你团队的核心经验,然后才能把这些经验教给模型去执行。
