高级子域名发现技术：CT日志与智能爬虫实战

1. 为什么需要高级子域名发现技术

在网络安全评估和渗透测试中，子域名发现是最基础也最关键的一环。传统的子域名爆破工具（如subbrute、dnsenum）主要依赖字典攻击，这种方式存在明显的局限性：

• 字典覆盖率不足：即使维护了百万级字典，面对大型企业的域名体系仍可能遗漏关键子域名
• 效率低下：需要发送大量DNS查询请求，容易被防护系统检测和拦截
• 无法发现新创建的临时子域名：很多业务系统会动态生成临时子域名

现代Web应用的架构演进使得这些问题更加突出：

1. 微服务架构下，单个业务可能分散在数十个子域名
2. 云原生环境中，自动生成的临时域名（如k8s的pod域名）生命周期短暂
3. CDN和云服务的普及使得传统IP反查方法失效

实战经验：在一次金融系统的渗透测试中，我们通过证书透明度日志发现了一个被遗漏的staging.api子域名，该子域名上的接口存在未授权访问漏洞，而这个子域名在常规字典中从未出现过。

2. 证书透明度(CT)日志挖掘技术

2.1 CT日志工作原理

证书透明度(Certificate Transparency)是Google推动的一项安全标准，要求CA机构公开所有颁发的SSL/TLS证书。这些日志包含了丰富的子域名信息：

• 数据源：包括Google的CT日志、Cloudflare的CT监控、crt.sh等聚合平台
• 数据特点：包含证书中所有的SAN(Subject Alternative Name)条目
• 更新频率：近乎实时（新证书通常在几分钟内出现在日志中）

2.2 实战采集方法

推荐使用以下工具链进行CT日志采集：

bash复制# 使用certspotter监控特定域名
certspotter -d example.com watch

# 使用ct-exposer进行批量查询
python ct-exposer.py -d example.com -o results.json

# 使用crt.sh的API接口
curl -s "https://crt.sh/?q=%.example.com&output=json" | jq '.[].name_value' | sed 's/"//g' | sort -u

数据处理技巧：

1. 过滤掉通配符证书(*.example.com)
2. 提取多级子域名（如dev.api.example.com应拆分为dev.api和api）
3. 注意证书中的IP地址信息（可能指向内部系统）

避坑指南：某些CA会为同一域名颁发多个证书（如不同有效期版本），需要做去重处理。建议使用sort -u配合awk '!seen[$0]++'进行高效去重。

3. 智能爬虫技术在子域名发现中的应用

3.1 爬虫策略设计

传统爬虫只能发现显式链接，我们需要改进爬虫策略：

1. 静态资源分析：

   • 提取HTML中的JavaScript/CSS文件链接
   • 解析favicon.ico等资源的引用路径
   • 捕获所有重定向响应(30x)

2. 动态内容捕获：

   • 使用Headless Chrome渲染页面
   • 拦截XHR/Fetch请求
   • 解析JavaScript中的API端点

python复制# 使用Playwright实现高级爬虫
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    
    def log_request(request):
        if 'example.com' in request.url:
            print(request.url)
    
    page.on('request', log_request)
    page.goto('https://example.com')
    browser.close()

3.2 爬虫优化技巧

1. 请求去重：使用Bloom Filter高效处理海量URL
2. 速率控制：随机延迟(0.5-3秒)避免触发WAF
3. 伪装策略：
   • 轮换User-Agent
   • 模拟常见浏览器指纹
   • 使用住宅代理IP池

实战发现：某电商网站的移动端子域名m.example.com在PC端页面没有任何链接，但在JavaScript中存在硬编码的API调用地址，只有通过动态执行分析才能发现。

4. JS文件深度分析方法

4.1 JS文件中的宝藏

JavaScript文件中通常包含以下关键信息：

• 硬编码的API端点（如const API_HOST = 'https://api.internal.example.com'）
• 第三方服务配置（Sentry、Analytics等）
• 环境变量和功能开关
• WebSocket连接地址

4.2 自动化分析流程

推荐工具链：

1. 使用subjs提取页面中的所有JS文件：

   bash复制echo https://example.com | subjs | tee js_files.txt
   

2. 使用grep进行模式匹配：

   bash复制cat js_files.txt | while read url; do
     curl -s $url | grep -E 'example.com|api|endpoint'
   done
   

3. 高级模式匹配（正则表达式示例）：

   javascript复制// 匹配常见的URL模式
   /(https?:\/\/)?([a-zA-Z0-9_-]+\.)*example\.com(\/[\w\/-]+)?/g
   

4.3 源码映射(Source Map)分析

现代前端工程通常会生成source map文件，通过解析这些文件可以获取：

• 原始未压缩的源代码
• 完整的项目目录结构
• 开发环境配置信息

解析方法：

bash复制# 安装source-map工具
npm install -g source-map

# 解析source map
source-map resolve bundle.js.map

5. 数据聚合与验证

5.1 数据清洗流程

1. 格式标准化：

   • 统一转为小写
   • 移除协议头(http://)
   • 处理通配符(*.)

2. 有效性验证：

   python复制import socket
   
   def check_dns(domain):
       try:
           return bool(socket.gethostbyname(domain))
       except:
           return False
   

3. 服务指纹识别：

   bash复制# 使用httpx进行批量验证
   cat domains.txt | httpx -title -status-code -tech-detect -o results.json
   

5.2 结果可视化

推荐使用以下方式呈现结果：

1. 关系图谱：使用Maltego或Gephi展示子域名关联
2. 资产表格：包含状态码、标题、技术栈等字段
3. 风险评级：根据暴露面大小进行分级

6. 企业级解决方案设计

6.1 自动化监控系统架构

code复制数据采集层(CT日志/爬虫/JS分析) 
  → 数据处理层(去重/验证/分类) 
    → 存储层(Elasticsearch) 
      → 展示层(Kibana/Grafana)

6.2 性能优化方案

1. 分布式爬虫：使用Scrapy+Scrapy-Redis实现
2. 增量采集：基于时间戳的增量更新
3. 缓存机制：对DNS查询结果进行TTL缓存

6.3 防御对抗措施

1. 针对反爬虫：

   • 使用Puppeteer-extra的stealth插件
   • 实现自动验证码识别

2. 针对IP封锁：

   • 使用代理池轮换
   • 设置熔断机制（失败率>20%时暂停）

7. 实战案例：某金融系统子域名梳理

在一次合规审计中，我们对某银行系统进行了全面子域名发现：

1. 初始发现：

   • 传统工具：发现43个子域名
   • CT日志：新增28个（主要来自移动端API）

2. 深度挖掘：

   • JS分析：发现7个内部管理系统
   • 爬虫捕获：3个测试环境域名

3. 关键发现：

   • legacy.transfer.example.com存在未更新的Struts2漏洞
   • mobile.api.example.com的CORS配置错误

最终资产清单从43个扩展到89个，发现高危漏洞4个，中危漏洞12个。

8. 法律与合规注意事项

1. 授权要求：

   • 必须获得书面授权才能扫描
   • 明确约定扫描时间和范围

2. 敏感数据处理：

   • 不保存页面内容快照
   • 自动过滤掉个人数据(PII)

3. 扫描策略调整：

   • 避开业务高峰时段
   • 设置较低的并发请求数

在实际操作中，我们通常会准备两份报告：技术细节报告给安全团队，高管摘要给管理层，用业务风险语言描述技术问题。