1. 项目背景与目标拆解
某排排网是国内知名的金融数据服务平台，其网站上包含了大量基金、私募等产品的净值、收益率、排名等关键数据。这些数据对于金融从业者、投资者和量化研究人员具有极高的参考价值。然而，该平台对核心数据接口进行了严格的加密保护，直接通过HTTP请求获取的响应数据是经过加密处理的密文。
这个逆向工程项目的核心目标是破解其数据加密机制，主要包括三个关键环节：
- 识别前端数据请求的触发链路
- 定位数据解密的核心JavaScript代码段
- 逆向出完整的解密算法流程
提示：在实际操作中发现，该网站2023年Q2进行了一次重大安全升级，旧版的AES-ECB模式加密已升级为AES-CBC模式，并加入了动态密钥生成机制。
2. 加密机制逆向分析过程
2.1 请求链路追踪技巧
使用Chrome开发者工具的Network面板进行抓包时，需要特别注意：
- 开启"Preserve log"选项防止页面跳转丢失记录
- 使用XHR/fetch筛选器聚焦API请求
- 对疑似数据接口右键选择"Copy as cURL"获取完整请求信息
通过对比多个数据请求，发现关键特征：
- 请求路径包含"/api/fund/list"
- 响应头中content-type为"application/octet-stream"
- 原始响应体为不可读的二进制数据
2.2 关键JS文件定位方法
在Sources面板使用以下策略定位加密逻辑：
javascript复制// 搜索关键词策略
Ctrl+Shift+F 全局搜索：
- decrypt
- AES
- CryptoJS
- 响应字段名如"dataList"
最终在vendor.1a2b3c4d.js中发现核心加密模块，该文件经过webpack打包且进行了变量名混淆。通过调试发现解密入口函数为：
javascript复制function _0xabcd(a, b) {
return CryptoJS.AES.decrypt(a, b, {
iv: _0x1234,
mode: CryptoJS.mode.CBC,
padding: CryptoJS.pad.Pkcs7
});
}
2.3 密钥生成机制破解
密钥并非硬编码在JS中，而是通过以下流程动态生成：
- 获取设备指纹（包含屏幕分辨率、UA、时区等）
- 使用MD5哈希生成32位字符串
- 取前16字节作为AES密钥
具体实现代码逆向后为：
javascript复制function genKey() {
const fingerprint = navigator.platform +
screen.width +
new Date().getTimezoneOffset();
return CryptoJS.MD5(fingerprint).toString().substr(0, 16);
}
3. 完整解密方案实现
3.1 Python还原解密流程
基于逆向结果，Python实现需要以下组件：
python复制from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad
import hashlib
def decrypt_data(ciphertext: bytes, iv: bytes) -> str:
# 模拟浏览器端密钥生成
fingerprint = "Win326001440" # 需根据实际环境调整
key = hashlib.md5(fingerprint.encode()).hexdigest()[:16].encode()
cipher = AES.new(key, AES.MODE_CBC, iv=iv)
plaintext = unpad(cipher.decrypt(ciphertext), AES.block_size)
return plaintext.decode()
3.2 动态密钥处理方案
针对密钥动态生成的问题，提供三种解决方案：
| 方案 | 实现方式 | 稳定性 | 复杂度 |
|---|---|---|---|
| 固定指纹 | 模拟固定设备参数 | 低 | 简单 |
| 请求密钥接口 | 调用网站内部密钥API | 高 | 复杂 |
| 环境仿真 | 完整模拟浏览器环境 | 最高 | 最难 |
推荐采用方案3的简化版实现：
python复制from selenium import webdriver
def get_dynamic_key():
driver = webdriver.Chrome()
driver.get('https://www.example.com')
key = driver.execute_script('return genKey()')
driver.quit()
return key
4. 反爬对抗策略应对
4.1 常见检测点与绕过方法
该网站部署了以下反爬机制：
-
请求头校验：缺失Referer或特定Cookie会导致403
- 解决方案：完整复制浏览器请求头
python复制headers = { 'User-Agent': 'Mozilla/5.0...', 'Referer': 'https://...', 'X-Requested-With': 'XMLHttpRequest' } -
行为验证：短时间内高频请求触发验证码
- 解决方案：随机延迟+代理IP池
python复制import random time.sleep(random.uniform(1, 3)) -
环境检测：对非浏览器环境返回假数据
- 解决方案：使用Pyppeteer等无头浏览器
4.2 请求参数逆向技巧
关键请求参数往往需要逆向：
-
时间戳参数：
_t=162123456789- 实际是当前时间戳 + 随机偏移量
python复制import time timestamp = str(int(time.time()*1000) + random.randint(100,999)) -
签名参数：
sign=1a2b3c4d- 逆向发现是MD5(参数排序拼接+盐值)
python复制params = {'a':1, 'b':2} sign_str = ''.join([f'{k}{v}' for k,v in sorted(params.items())]) + 'salt' sign = hashlib.md5(sign_str.encode()).hexdigest()
5. 数据解析与存储方案
5.1 解密后数据处理
典型的数据解析流程：
-
解压缩：部分响应先经gzip压缩
python复制import zlib data = zlib.decompress(response.content, 16+zlib.MAX_WBITS) -
JSON解析：注意处理特殊编码
python复制import json data = json.loads(decrypted_text, strict=False) -
字段清洗：处理HTML实体和特殊符号
python复制from html import unescape clean_str = unescape(raw_str)
5.2 数据存储优化建议
针对金融数据特点推荐存储方案：
| 数据类型 | 推荐存储方式 | 优势 |
|---|---|---|
| 历史净值 | MySQL分区表 | 查询效率高 |
| 实时行情 | MongoDB | 灵活扩展 |
| 机构信息 | Elasticsearch | 全文检索 |
| 关系数据 | Neo4j | 关联分析 |
示例MySQL建表语句：
sql复制CREATE TABLE `fund_data` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`fund_code` varchar(10) COLLATE utf8mb4_bin NOT NULL,
`net_value` decimal(10,4) NOT NULL,
`stat_date` date NOT NULL,
`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (`id`),
UNIQUE KEY `idx_code_date` (`fund_code`,`stat_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin
PARTITION BY RANGE (YEAR(stat_date)) (
PARTITION p2020 VALUES LESS THAN (2021),
PARTITION p2021 VALUES LESS THAN (2022),
PARTITION p2022 VALUES LESS THAN (2023),
PARTITION pmax VALUES LESS THAN MAXVALUE
);
6. 项目演进与优化方向
6.1 解密性能优化
实测发现解密环节的三种优化方案对比：
| 优化方式 | 耗时(100次) | CPU占用 | 内存占用 |
|---|---|---|---|
| 纯Python实现 | 12.3s | 85% | 120MB |
| PyCryptodome | 8.7s | 65% | 90MB |
| C扩展模块 | 3.2s | 45% | 50MB |
推荐使用cffi构建C扩展：
c复制// aes_decrypt.c
#include <openssl/aes.h>
void decrypt(const unsigned char *ciphertext,
const unsigned char *key,
const unsigned char *iv,
unsigned char *plaintext) {
AES_KEY aes_key;
AES_set_decrypt_key(key, 128, &aes_key);
AES_cbc_encrypt(ciphertext, plaintext,
AES_BLOCK_SIZE, &aes_key, iv, AES_DECRYPT);
}
6.2 分布式爬虫架构
当需要大规模采集时，建议采用以下架构：
code复制任务调度中心（Redis）
|
+------+------+
| | |
Worker1 Worker2 Worker3
（动态IP） （无头浏览器） （API请求）
关键组件配置：
python复制# Celery配置示例
app = Celery('tasks', broker='redis://localhost:6379/0')
app.conf.update(
task_serializer='pickle',
result_serializer='pickle',
event_serializer='json',
accept_content=['pickle', 'json']
)
@app.task(bind=True)
def crawl_task(self, url):
try:
# 爬取逻辑
return process_data(data)
except Exception as e:
self.retry(exc=e, countdown=60)
在实际部署中发现，使用Kubernetes进行Worker的动态扩缩容能有效应对网站访问频率限制。通过HPA（Horizontal Pod Autoscaler）配置，当任务队列积压超过阈值时自动增加Worker节点。