冰川思想库“你的用户，可能根本不是人”，这句话我第一次认真对待，是在某个活动大促之后的复盘会上。我们连夜盯着数据看板，发现从凌晨三点到早上六点，有一个“用户群体”的访问量大得离谱，点击路径完美得像是照着产品手册走了一遍，但转化率是零，注册量是零，连页面滚动深度都惊人地一致。当时我就意识到，盯着这块看板的我们，和这些“用户”之间，有一方肯定是机器。
这不是什么都市传说，而是每一个网站、App、小程序运营者早晚都会撞上的现实。所谓的“非人用户”，指的就是爬虫、脚本机器人、僵尸网络、刷量程序这类自动化流量。它们会消耗你的服务器资源，污染你的数据报表，薅走你的优惠券，甚至把你的整站内容搬走。这篇文章，我就想把这些年识别、分析、对抗这些“假用户”的经验整理出来，从怎么认出来，到怎么处置，再到怎么避免误杀真用户，一次性讲透。内容主要面向做产品、做运营、做数据分析的朋友，后端开发也能在其中找到可以直接落地的思路。
1. 流量里的“幽灵”：这些非人用户到底从哪来
1.1 爬虫不只有搜索引擎那一类
很多人一说爬虫，第一反应是搜索引擎的蜘蛛。像百度蜘蛛、谷歌的Googlebot，它们日夜不停地在互联网上抓取内容，这是整个搜索生态正常运转的基础。绝大多数网站对这类搜索引擎爬虫是持欢迎态度的，因为它决定了你的站点能不能被别人搜到。
但问题是，爬虫这个物种远远不止搜索引擎蜘蛛这一种。
我见过大量的恶意爬虫，它们的目标通常是这几类：
- 内容搬运：把你的原创文章、商品详情、图片视频批量抓走，然后搬到别的站点，直接做个“镜像站”来抢你的流量。
- 价格监控：电商平台的竞争对手用爬虫实时抓你的价格和库存，然后动态调价，让你在价格战里永远被动。
- 票务与库存抢购：演唱会门票、限量球鞋、补贴券，机器脚本比人手快得多，普通人还在加载页面的时候，机器已经把库存清空了。
- 数据收集：批量抓取用户公开信息、企业信息，整合成所谓的“大数据产品”去卖。
- AI训练数据采集：这两年特别突出，一些大模型公司需要海量语料，会派出专门的爬虫（比如常见的GPTBot、ClaudeBot等）抓取开放网页内容。
如果你发现公司的接口请求量比平时翻了好几倍，但业务量纹丝不动，那就要警惕，可能已经被某个团队盯上了。
1.2 机器流量占比远比想象中庞大
根据一些第三方安全机构和云厂商发布的数据，全球互联网流量里，机器人流量长期在四成到五成之间徘徊，其中还有相当比例是恶意机器人。这意味着你的网站每收到10个请求，可能有4个根本不是人发出来的。
这不是危言耸听。我自己维护过一个小型的行业资讯站点，日活用户只有几千人，但服务器日志里显示的请求量是真实用户请求量的七八倍。扒开日志一看，绝大部分是各种爬虫，有来抓文章的，有来扫漏洞的，有来测你后台地址的，还有纯粹乱逛的。
所以说，流量数据里的“水分”是常态。如果不把这些非人用户识别出来，你看KPI、看留存、看转化，本质上是在给机器人做报表分析。
1.3 为什么“假用户”的生意经久不衰
有人可能会问，为什么会有这么多机器人？核心原因就三个字：有利益。
薅羊毛是利益。某平台发了一张满199减100的券，脚本就可以批量注册新号来领券，转手低价卖掉。刷量也是利益。内容平台的阅读量、电商的销量、短视频的点赞，都是可以直接或间接变现的资产。就连最简单的撞库攻击，背后也是利益链——拿着在其他平台泄露的账号密码，批量试探你平台的账号，能登进去就是一套新数据。
要理解对抗非人用户这件事，必须先理解对手的动机。他们不是闲得无聊，他们是在用程序化手段降低成本、放大收益。而我们要做的，就是提高他们