热门问题
时间线
聊天
视角
Anubis (軟體)
反網路爬蟲軟體 来自维基百科，自由的百科全书
Remove ads
Anubis（阿努比斯）是一款Web應用防火牆，用於使用者造訪網站之前，添加一個基於JavaScript的工作量證明（POW）挑戰（根據資訊，為SHA-256雜湊值計算[4]），以阻止網路爬蟲抓取網頁資料，尤其是來自人工智慧公司的網頁抓取[5]。一些免費開源軟體專案，例如Forge，已經使用這套程式來保護其網站。[6][7]
.png)
該應用的作者為Xe Iaso，他提到之所以創造這個程式，是因為亞馬遜的網路爬蟲不遵守robots.txt檔案並嘗試繞過這些限制，導致他的Git伺服器超載。[6][8][9][10]
作者撰文提到，之所以使用卡通化的阿努比斯角色，是因為為了確保其不是唯一一個支撐整個網際網路大部分內容的無償依賴者；儘管其不會阻止復刻這套程式並移除掉這個角色，但更希望有人願意為此購買付費授權，令這個專案具有可持續性；同時，這個卡通形象也帶有病毒性行銷的特性，會因為這個卡通形象而了解這個專案。[11]在接受關於這些爬蟲流量問題的採訪中提到，這個軟體通過提高攻擊者的計算成本來幫助減輕許多惡意的訪問行為，迫使這些攻擊者調整他們的抓取行為——使用無頭瀏覽器，而不是一股腦地盲目抓取；至少增加這些濫用網路流量的抓取工具的基礎設施成本，使其這些不道德行為在財務上難以為繼，而去投入更多硬體成本。[12][13]
儘管如此，白帽駭客塔維斯·奧曼迪批評了這個專案，認為這種基於計算雜湊值的挑戰，對於抓取網站資料的科技公司來說，財務成本太低了，不足以起到阻礙作用，而對於一些人類訪問者來說太難了（例如其提到一些使用手機訪問的，由於老舊手機效能限制而被阻攔；或者其不希望使用桌面瀏覽器來為此計算挑戰，並且給出代碼例子來繞過挑戰）。[4]
Remove ads
已知使用的專案
參考資料
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads