深入解析stealth.min.js:如何巧妙隐藏Selenium特征以绕过反爬检测

不妧

1. 为什么需要隐藏Selenium特征

用Selenium做自动化测试或者爬虫的朋友应该都遇到过这样的问题:明明代码写得没问题,但目标网站就是能识别出你在用Selenium,然后直接拒绝访问或者返回假数据。这种情况在爬取一些大型电商平台、社交媒体网站时特别常见。

我刚开始用Selenium时也踩过不少坑。记得有一次爬某电商网站,明明浏览器能正常访问,但用Selenium就是打不开页面。后来才发现是因为网站检测到了navigator.webdriver这个属性。普通浏览器这个属性是undefined,但Selenium会把它设为true,相当于直接告诉网站"我是自动化工具"。

除了navigator.webdriver,网站还会通过很多其他特征来检测Selenium,比如:

  • 检查浏览器指纹(WebGL渲染器、字体列表等)
  • 监控异常的用户行为(鼠标移动太规律、点击速度太快)
  • 检测特殊的浏览器API(如自动化扩展)

这就是为什么我们需要stealth.min.js这样的工具。它能帮我们把这些"自动化特征"隐藏起来,让Selenium看起来就像普通浏览器一样。原理其实很简单,就是通过JavaScript的Proxy和Reflect API来拦截和修改这些特征值。

2. stealth.min.js的核心工作原理

2.1 Proxy对象的神奇用法

stealth.min.js的核心技术就是JavaScript的Proxy对象。Proxy可以理解为对象的"中间人",它能拦截对目标对象的所有操作。比如我们想隐藏navigator.webdriver属性,就可以这样写:

javascript复制const navigatorProxy = new Proxy(navigator, {
  get(target, prop) {
    if (prop === 'webdriver') {
      return undefined // 隐藏webdriver属性
    }
    return Reflect.get(...arguments) // 其他属性正常返回
  }
})

这段代码创建了一个navigator的代理对象。当有人访问navigator.webdriver时,代理会拦截这个操作并返回undefined,就像普通浏览器一样。而对于其他属性访问,则通过Reflect API正常返回。

2.2 全面模拟浏览器环境

stealth.min.js不只是隐藏webdriver这么简单,它还模拟了大量浏览器特征:

  1. WebGL指纹:通过重写WebGLRenderingContext.prototype.getParameter方法,返回与普通浏览器一致的渲染器信息
  2. 硬件信息:修改navigator.hardwareConcurrency返回合理的CPU核心数(通常是4或8)
  3. 语言设置:标准化navigator.languages返回的值,避免暴露异常的语言偏好
  4. 插件列表:清理navigator.plugins中的异常插件信息
  5. Chrome扩展API:模拟chrome.runtime等扩展API的行为

这些修改都是通过Proxy和Reflect API动态完成的,不会直接修改原生对象,因此很难被检测到。

3. 实战:在Selenium中使用stealth.min.js

3.1 基础配置方法

要在Selenium中使用stealth.min.js,我们需要做几件事:

  1. 首先下载stealth.min.js文件。可以通过npm安装:
bash复制npx extract-stealth-evasions
  1. 然后在Python代码中加载这个文件并注入到浏览器:
python复制from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option("useAutomationExtension", False)

# 其他推荐配置
chrome_options.add_argument("--disable-extensions")
chrome_options.add_argument("--disable-popup-blocking")
chrome_options.add_argument("--disable-default-apps")

driver = webdriver.Chrome(options=chrome_options)

# 注入stealth.min.js
with open('stealth.min.js', 'r') as f:
    stealth_js = f.read()
    
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": stealth_js
})

driver.get("https://target-website.com")

3.2 关键配置参数解析

这些Chrome选项不是随便加的,每个都有特定作用:

  • --disable-blink-features=AutomationControlled:禁用Blink引擎的自动化控制特征
  • excludeSwitches: ["enable-automation"]:隐藏"Chrome正受到自动测试软件控制"的提示
  • useAutomationExtension: False:禁用自动化扩展

我建议把这些配置都加上,因为它们能消除最明显的自动化特征。不过要注意,不同版本的Chrome可能需要不同的配置组合,有时候需要根据实际情况调整。

4. 检测隐藏效果的方法

4.1 使用专业检测网站

最方便的检测方法是访问专门的反爬检测页面,比如:

  • https://bot.sannysoft.com/
  • https://arh.antoinevastel.com/bots/areyouheadless

如果stealth.min.js工作正常,这些页面应该显示你是普通浏览器。我经常用sannysoft的检测页面做测试,它能检查几十种不同的浏览器特征。

4.2 自定义检测脚本

除了用现成的检测网站,我们也可以自己写检测脚本:

javascript复制// 检查webdriver属性
if(navigator.webdriver) {
    console.log('检测到自动化工具!')
}

// 检查插件数量
if(navigator.plugins.length === 0) {
    console.log('插件列表异常!')
}

// 检查语言设置
if(!navigator.languages || navigator.languages.length === 0) {
    console.log('语言设置异常!')
}

把这些脚本放到目标网站中执行,就能知道哪些特征可能暴露我们。在实际项目中,我建议先手动访问目标网站,用开发者工具执行这些检测脚本,了解网站的检测机制,然后再针对性地调整stealth.min.js的配置。

5. 高级技巧与注意事项

5.1 动态调整指纹信息

虽然stealth.min.js提供了很好的默认配置,但有时候我们需要更精细的控制。比如,不同地区的用户通常有不同的语言设置和时区。我们可以修改stealth.min.js,让这些信息更"自然":

javascript复制// 修改语言设置
const languages = ['zh-CN', 'zh', 'en-US', 'en']
navigator.__defineGetter__('languages', () => languages)

// 修改时区
const timezone = 'Asia/Shanghai'
Intl.DateTimeFormat().resolvedOptions().timeZone = timezone

5.2 处理WebSocket检测

一些高级的反爬系统会通过WebSocket检测自动化工具。普通浏览器的WebSocket连接会有特定的头信息和握手过程,而Selenium的WebSocket实现可能不太一样。这时候我们需要额外的工作:

python复制# 修改WebSocket行为
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {
    "headers": {
        "User-Agent": "Mozilla/5.0...",
        "Accept-Language": "zh-CN,zh;q=0.9"
    }
})

5.3 避免过度使用

虽然stealth.min.js很强大,但也不要过度依赖它。我见过有人把所有反反爬技术都堆上去,结果反而因为行为太"完美"而被识别。实际上,普通用户的行为是有很多随机性和不完美之处的。建议:

  1. 适当添加随机延迟(但不要太规律)
  2. 模拟真实的鼠标移动轨迹
  3. 不要一次性爬取太多数据
  4. 轮换不同的User-Agent和IP地址

记住,最好的隐藏不是完全消失,而是融入环境。就像变色龙不是变得透明,而是变得和周围环境一样。

内容推荐

CAPL脚本控制LIN总线休眠唤醒?一个linStopScheduler/linStartScheduler的实战案例就够了
本文详细介绍了如何使用CAPL脚本控制LIN总线的休眠唤醒功能,通过linStopScheduler和linStartScheduler函数的实战案例,帮助工程师实现ECU低功耗管理的自动化测试。文章涵盖了测试原理、环境搭建、CAPL脚本实现及工程化方案设计,适用于汽车电子测试领域。
别再只盯着代码了!深入剖析霍尔测速模块A3144与LM393的硬件电路设计
本文深入解析霍尔测速模块A3144与LM393的硬件电路设计,从霍尔传感器工作原理到比较器信号调理,详细讲解外围元件选型与系统抗干扰设计。通过实战案例展示如何优化测速仪表电路,解决信号抖动等常见问题,提升转速调速系统的稳定性和精度。
深入解析TSNE参数设置:从sklearn.manifold到实战降维
本文深入解析了TSNE算法在sklearn.manifold中的参数设置与实战降维技巧。从数学原理到应用场景,详细介绍了perplexity、learning_rate等核心参数的调优方法,并提供了数据预处理和可视化增强的实用技巧,帮助读者高效实现高维数据的降维与可视化。
从零构建Paraformer语音识别模型:FunASR实战指南与中文分角色识别优化
本文详细介绍了如何从零构建Paraformer语音识别模型,结合FunASR工具包实现中文分角色识别优化。内容涵盖环境配置、模型下载与测试、数据集准备、训练调优及部署应用全流程,特别针对多说话人场景提供实用技巧,帮助开发者快速掌握这一先进的语音识别技术。
Windows下用Python玩转Orbbec Gemini相机:手把手教你结合深度流与RGB图实现测距
本文详细介绍了在Windows系统下使用Python操作Orbbec Gemini RGB-D相机的完整流程,包括驱动安装、SDK配置、深度流与RGB图像采集、坐标转换与测距实现。通过手把手教程和代码示例,帮助开发者快速掌握3D视觉开发技巧,实现高精度的深度测量功能。
Stable Diffusion新手必看:从加噪到去噪,一文搞懂AI绘画背后的扩散模型原理
本文深入解析Stable Diffusion的核心技术——扩散模型,从加噪到去噪的全过程,揭示AI绘画背后的原理。通过Latent空间压缩和U-Net架构的创新,Stable Diffusion实现了高效、高质量的图像生成,适合新手快速掌握AI绘画技术。
CVAT标注工具Docker部署实战:从零搭建高效标注环境
本文详细介绍了如何使用Docker部署CVAT标注工具,从零搭建高效的计算机视觉标注环境。通过Docker-compose实现快速部署,解决多用户协作、视频标注等需求,提升标注效率。文章涵盖硬件配置、软件环境设置、高级权限管理及性能优化等实战技巧,适合AI项目团队快速搭建专业标注平台。
考研复试逆袭指南:中传通信网络面试,如何准备科研设想与应对导师连环问?
本文详细解析了中国传媒大学通信网络专业考研复试的备战策略,重点涵盖科研设想撰写、专业基础复习、综合素质展示和英语口语准备四大核心环节。特别针对5G/6G、物联网等通信领域前沿热点,提供科研选题技巧与文献调研方法,帮助考生在面试中展现学术潜力与专业素养。
华为---RSTP(四)---P/A机制实战解析与网络拓扑优化策略
本文深入解析华为RSTP中的P/A机制,通过实战案例展示其在网络快速收敛中的关键作用。文章详细拆解P/A协商流程,提供网络拓扑优化策略,并分享典型故障排查方法,帮助网络工程师实现秒级故障切换,提升网络稳定性与性能。
深入解析IOU(Jaccard系数)在目标检测中的关键作用与优化实践
本文深入解析了IOU(Jaccard系数)在目标检测中的关键作用与优化实践。从IOU的数学原理到在训练阶段损失函数计算和预测阶段非极大抑制(NMS)中的应用,详细介绍了其核心场景。同时,提供了IOU计算的高效实现和特殊情况处理技巧,并探讨了针对不同形状目标的改进指标和进阶损失函数,帮助开发者提升目标检测模型的精度和效率。
别再只用欧拉角了!用MATLAB/Simulink+四元数搞定ABB机器人姿态平滑规划(附避坑指南)
本文详细介绍了如何在MATLAB/Simulink环境中利用四元数实现ABB机器人的姿态规划,避免传统欧拉角方法中的万向节死锁问题。通过四元数插值、SimMechanics模型导入和七段S型曲线规划等关键技术,实现工业机器人姿态的平滑控制,提升运动精度和效率。
别再死记硬背了!用Python代码帮你秒懂离散数学的命题逻辑(附真值表生成脚本)
本文通过Python代码实践,帮助读者轻松理解离散数学中的命题逻辑。从基础命题实现到真值表生成,再到范式转换和逻辑等价验证,提供了完整的编程解决方案。附带的真值表生成脚本让学习命题逻辑变得更加直观和高效。
TSMaster E2E校验双模式详解:固定DID用配置,动态DID写代码,你的项目该选哪种?
本文详细解析了TSMaster平台中E2E校验的两种实现模式:固定DID的图形化配置和动态DID的代码自定义。通过对比分析配置模式的高效性与代码模式的灵活性,帮助开发者根据项目需求选择最佳方案,提升汽车电子系统开发中的报文校验效率与可靠性。
告别路径依赖:手把手教你打造一个真正可复用的TMS320F28377S CCS9.3工程模板
本文详细介绍了如何为TMS320F28377S芯片在CCS9.3环境下创建可移植的工程模板,解决传统开发中的路径依赖问题。通过科学的目录结构设计、相对路径配置和模板制作,实现工程在不同电脑和环境中的无缝迁移,显著提升团队协作效率和项目可维护性。
从CAD到游戏角色动画:B样条曲线在Unity/Blender中的实战应用与参数调优指南
本文深入探讨B样条曲线在Unity和Blender中的实战应用,涵盖从CAD设计到游戏角色动画的全流程。通过分析均匀B样条、准均匀B样条和分段Bezier曲线的核心差异,提供参数调优策略与性能优化技巧,帮助开发者实现流畅动画与高质量曲面建模。特别针对B-Spline在武器轨迹和工业设计中的关键应用场景给出具体解决方案。
CesiumJS进阶:掌握3D Tiles加载与tileset对象操作
本文深入探讨了CesiumJS中3D Tiles的加载与tileset对象操作技巧,包括基础加载方法、场景定位、性能优化、模型交互及高级应用。通过详细解析tileset对象的属性和方法,帮助开发者高效管理3D模型,提升WebGL场景的交互体验与性能表现。
USB协议里的‘暗号’:手把手教你用Python验证CRC-5校验码(附抓包实例)
本文详细解析了USB协议中CRC-5校验码的计算原理与Python实现方法。通过抓包实例演示,手把手教你如何验证Token包中的CRC-5校验码,涵盖位序反转、模2除法等关键步骤,并提供完整的Python代码实现和调试技巧,帮助开发者深入理解USB协议的数据校验机制。
【进阶指南】Kylin-Desktop-V10-SP1 麒麟系统更新策略深度配置与优化
本文深入解析了Kylin-Desktop-V10-SP1系统的更新策略,指导用户超越图形界面,通过命令行深度配置更新服务器源、精细化管理下载行为与自动更新计划。内容涵盖APT工具高级用法、网络性能优化及故障排除,旨在帮助企业运维与资深用户实现安全、稳定且高效的更新设置,确保系统更新贴合实际工作流,避免网络拥堵与兼容性问题。
three.js进阶-用shader模拟L7热力图扩散与交互
本文深入探讨了如何使用three.js和shader技术模拟antv L7热力图的扩散效果与交互功能。通过详细解析距离计算、颜色插值、多热源叠加等核心原理,并结合鼠标交互与数据驱动的实现技巧,帮助开发者掌握高性能热力图开发。文章还分享了3D热力扩散、移动端优化等进阶方案,为可视化项目提供实用参考。
Git SSH连接故障排查:从“Could not resolve hostname”到顺畅推送的实战修复
本文详细解析了Git SSH连接中常见的“Could not resolve hostname”报错问题,提供了从网络诊断、SSH密钥检查到仓库URL格式修改的完整解决方案。特别针对gitee.com等平台,给出实战修复步骤和最佳实践,帮助开发者快速恢复代码推送功能。
已经到底了哦
精选内容
热门内容
最新内容
别再手动点GUI了!用TCL脚本自动化你的Modelsim仿真流程(附完整.do/.bat文件)
本文详细介绍了如何使用TCL脚本自动化Modelsim仿真流程,提升FPGA和数字IC开发效率。通过工程化脚本架构设计、波形配置智能管理和一键式批处理集成,实现可复用、可移植的仿真解决方案,大幅减少手动操作时间。
EtherCAT BRD报文实战:从0x0130/0x0131状态读取看主站拓扑发现机制
本文深入解析EtherCAT BRD报文在工业自动化中的应用,重点探讨0x0130/0x0131状态寄存器读取与主站拓扑发现机制。通过实战案例和报文分析,详细介绍了从站状态监控、网络拓扑变化检测及调试技巧,为工程师提供高效的EtherCAT通信解决方案。
从美术到代码:深度解析HSL、HSV、RGBA与Alpha预乘在图像合成中的核心原理与应用
本文深入解析HSL、HSV、RGBA与Alpha预乘在图像合成中的核心原理与应用,探讨色彩模型如何连接美术与代码实现。通过实战案例展示HSL/HSV在UI设计中的差异,详解Alpha通道的透明合成技术,并揭示Alpha预乘在性能优化中的关键作用,帮助开发者高效处理图像渲染与色彩管理。
[技术解析]StruQ:基于结构化指令调优的提示注入防御实战
本文深入解析了StruQ如何通过结构化指令调优有效防御提示注入攻击(Prompt Injection)。通过特殊标记区分指令区、输入区和响应区,结合前端过滤和模型免疫双重机制,StruQ在Llama-7B等模型上实现了98%以上的防御成功率。文章还提供了实战案例和部署优化建议,帮助开发者在实际应用中提升大语言模型的安全性。
从JDBC驱动升级说起:为什么你的老项目一换MySQL Connector/J 8.0就报‘Could not create connection’?
本文详细解析了MySQL Connector/J从5.x升级到8.0版本时常见的‘Could not create connection’报错问题,提供了时区处理、安全策略和认证协议等核心变化的解决方案。通过实战案例和全链路检查清单,帮助开发者顺利完成驱动升级,避免常见陷阱。
别再为模型格式发愁了!手把手教你用在线工具把CAD的STEP文件转成Web能用的GLB
本文详细介绍了如何将工业CAD模型的STEP文件转换为Web友好的GLB格式,解决设计评审中的跨平台协作难题。通过对比不同在线转换工具的性能和实测数据,提供分步转换指南及常见问题解决方案,帮助用户实现高效模型Web化,提升设计沟通效率。
Linux服务器上Apache Superset的从零到一部署实战
本文详细介绍了在Linux服务器上从零开始部署Apache Superset的完整流程,包括环境准备、Python虚拟环境配置、Superset初始化及生产环境优化。通过实战步骤和常见问题解决方案,帮助用户高效完成安装部署,并提升系统性能与安全性。
从零构建RS-485通信:硬件选型与Modbus-CRC实战解析
本文详细解析了从零构建RS-485通信系统的关键步骤,包括硬件选型、电路设计避坑指南、Modbus-RTU协议应用及CRC校验算法优化。特别针对RS-485通信中的常见问题提供实战解决方案,如隔离设计、终端电阻配置和信号完整性保障,帮助工程师高效实现稳定可靠的工业通信网络。
VScode调试Python进阶:活用Step Over与Step Out跳出循环与函数
本文深入探讨了VScode调试Python时的进阶技巧,重点介绍了Step Over(F10)与Step Out(Shift+F11)的高效使用方法。通过实际案例演示如何快速跳出循环与函数,提升调试效率,特别适合处理多层嵌套代码和复杂逻辑的场景。掌握这些技巧可以显著减少调试时间,尤其适用于数据分析、算法验证等Python开发工作。
告别警告!用Python脚本自动生成Verilog $readmemh所需的Hex/Mem文件
本文详细介绍了如何使用Python脚本自动化生成Verilog $readmemh系统任务所需的Hex/Mem文件,解决手工准备存储器初始化数据效率低、易出错的问题。通过灵活的Python类设计和多种数据生成模式,帮助数字IC验证工程师提升工作效率,确保文件格式完全兼容Verilog要求。