机器人检测 (Bot Detection) 是判别网站或服务的访问来自真实用户还是自动化程序 (机器人) 的技术。
据 Imperva 2024 年报告,互联网流量中近 50% 来自非人类来源 (机器人),恶意机器人 (爬虫、撞库攻击、DDoS 攻击等) 占全部流量的近三分之一。
对短链接服务而言,机器人检测也很重要。机器人的虚假点击会损害点击分析数据的可信度。如果广告活动的短链接被机器人大量点击,就会高估实际用户数,导致营销决策失误。
主要的机器人检测手法包括:行为分析 (鼠标移动、滚动模式、点击间隔的自然度)、指纹分析 (浏览器特征是否符合真人的典型模式)、频率分析 (同一 IP 的异常高频访问)、JavaScript 挑战 (排除无法执行 JavaScript 的机器人)、CAPTCHA (对人类容易、对程序困难的验证)。
高级机器人会模拟人类行为,单一手法难以检测。AWS WAF Bot Control、reCAPTCHA Enterprise、Cloudflare Bot Management 等服务提供基于机器学习的机器人检测。