Scrapy

Scrapy（[ˈskreɪpaɪ] SKRAY-peye）はPythonで開発されたフリーでオープンソースのクロールフレームワーク。元々はウェブスクレイピング用に設計されたが、 APIを使用したデータの抽出や、汎用のクローラーとしても使用できる^[2]。現在、ウェブスクレイピングの開発およびサービス会社であるScrapinghub Ltd.で管理されている。 Scrapyプロジェクトアーキテクチャは、「スパイダー」を中心に構築されている。DjangoなどのフレームワークをDRY^[3]他の精神を踏襲し、開発者がコードを再利用できるようにしている。 さらに、サイトの動作に関する想定をテストするために開発者が使用できるWebクロールシェルを提供する^[4]。 Scrapyを使用している有名な会社と製品には、Lyst^[5][6]、Parse.ly^[7]、Sayone Technologies^[8]、Sciences Po Medialab^[9]、Data.gov.ukの世界政府データサイト^[10]がある^[11]。

Scrapy

開発元	Scrapinghub, Ltd.
初版	2008年6月26日 (2008-06-26)
最新版	2.13.3[1]  - 2025年7月2日 (17日前) [±]
リポジトリ	github.com/scrapy/scrapy
プログラミング 言語	Python
対応OS	Windows, macOS, Linux
種別	Web crawler
ライセンス	BSD License
公式サイト	scrapy.org

Scrapyは、ロンドンを拠点とするアグリゲーターおよびEC会社のMydecoで開発がスタートした。Mydecoは、MydecoおよびInsophia（ウルグアイのモンテビデオに拠点を置くWebコンサルティング会社）の従業員によって開発および管理されている。 最初の公開リリースはBSDライセンスに基づく2008年8月で、マイルストーン1.0のリリースは2015年6月に行われた。 2011年に、Scrapinghubが新しい公式メンテナになった^[12][13]。