热门问题
时间线
聊天
视角
Anubis (软件)
反網路爬蟲軟體 来自维基百科，自由的百科全书
Remove ads
Anubis（阿努比斯）是一款Web应用防火墙，用于用户访问网站之前，添加一个基于JavaScript的工作量证明（POW）挑战（根据信息，为SHA-256散列值计算[4]），以阻止网路爬虫抓取网页数据，尤其是来自人工智能公司的网页抓取[5]。一些免费开源软件项目，例如Forge，已经使用这套程序来保护其网站。[6][7]
.png)
该应用的作者为Xe Iaso，他提到之所以创造这个程序，是因为亚马逊的网路爬虫不遵守robots.txt文件并尝试绕过这些限制，导致他的Git服务器超载。[6][8][9][10]
作者撰文提到，之所以使用卡通化的阿努比斯角色，是因为为了确保其不是唯一一个支撑整个互联网大部分内容的无偿依赖者；尽管其不会阻止复刻这套程序并移除掉这个角色，但更希望有人愿意为此购买付费授权，令这个项目具有可持续性；同时，这个卡通形象也带有病毒性营销的特性，会因为这个卡通形象而了解这个项目。[11]在接受关于这些爬虫流量问题的采访中提到，这个软件通过提高攻击者的计算成本来帮助减轻许多恶意的访问行为，迫使这些攻击者调整他们的抓取行为——使用无头浏览器，而不是一股脑地盲目抓取；至少增加这些滥用网络流量的抓取工具的基础设施成本，使其这些不道德行为在财务上难以为继，而去投入更多硬件成本。[12][13]
尽管如此，白帽骇客塔维斯·奥曼迪批评了这个项目，认为这种基于计算哈希值的挑战，对于抓取网站数据的科技公司来说，财务成本太低了，不足以起到阻碍作用，而对于一些人类访问者来说太难了（例如其提到一些使用手机访问的，由于老旧手机性能限制而被阻拦；或者其不希望使用桌面浏览器来为此计算挑战，并且给出代码例子来绕过挑战）。[4]
Remove ads
已知使用的项目
参考资料
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads