热门问题
时间线
聊天
视角
Anubis (軟件)
反網路爬蟲軟體 来自维基百科，自由的百科全书
Remove ads
Anubis（阿努比斯）是一款Web應用防火牆，用於用戶訪問網站之前，添加一個基於JavaScript的工作量證明（POW）挑戰（根據信息，為SHA-256散列值計算[4]），以阻止網路爬蟲抓取網頁數據，尤其是來自人工智能公司的網頁抓取[5]。一些免費開源軟件項目，例如Forge，已經使用這套程序來保護其網站。[6][7]
.png)
該應用的作者為Xe Iaso，他提到之所以創造這個程序，是因為亞馬遜的網路爬蟲不遵守robots.txt文件並嘗試繞過這些限制，導致他的Git服務器超載。[6][8][9][10]
作者撰文提到，之所以使用卡通化的阿努比斯角色，是因為為了確保其不是唯一一個支撐整個互聯網大部分內容的無償依賴者；儘管其不會阻止復刻這套程序並移除掉這個角色，但更希望有人願意為此購買付費授權，令這個項目具有可持續性；同時，這個卡通形象也帶有病毒性營銷的特性，會因為這個卡通形象而了解這個項目。[11]在接受關於這些爬蟲流量問題的採訪中提到，這個軟件通過提高攻擊者的計算成本來幫助減輕許多惡意的訪問行為，迫使這些攻擊者調整他們的抓取行為——使用無頭瀏覽器，而不是一股腦地盲目抓取；至少增加這些濫用網絡流量的抓取工具的基礎設施成本，使其這些不道德行為在財務上難以為繼，而去投入更多硬件成本。[12][13]
儘管如此，白帽駭客塔維斯·奧曼迪批評了這個項目，認為這種基於計算哈希值的挑戰，對於抓取網站數據的科技公司來說，財務成本太低了，不足以起到阻礙作用，而對於一些人類訪問者來說太難了（例如其提到一些使用手機訪問的，由於老舊手機性能限制而被阻攔；或者其不希望使用桌面瀏覽器來為此計算挑戰，並且給出代碼例子來繞過挑戰）。[4]
Remove ads
已知使用的項目
參考資料
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads