Scrapy

Scrapy（/ˈskreɪpi/ SKRAY-pee^[2]是一个用Python编写的自由且开源的网络爬虫框架。它在设计上的初衷是用于爬取网络数据，但也可用作使用API来提取数据，或作为生成目的的网络爬虫^[3]。该框架目前由网络抓取的开发与服务公司Scrapinghub公司（英语：Scrapinghub Ltd.）维护。

Scrapy

开发者	Scrapinghub, Ltd.（英语：Scrapinghub, Ltd.）
首次发布	2008年6月26日 (2008-06-26)
当前版本	2.13.3（2025年7月2日；稳定版本）[1]
源代码库	github.com/scrapy/scrapy
编程语言	Python
操作系统	Windows、macOS、Linux
类型	网络爬虫
许可协议	BSD许可证
网站	scrapy.org

Scrapy项目围绕“蜘蛛”（spiders）建构，蜘蛛是提供一套指令的自包含的爬网程序（crawlers）。遵循其他如Django框架的一次且仅一次精神^[4]，允许开发者重用代码将便于构建和拓展大型的爬网项目。Scrapy也提供一个爬网shell，开发者可用它测试对网站的效果。^[5]

使用Scrapy的知名公司和产品有：Lyst^[6][7]、Parse.ly（英语：Parse.ly）^[8]、Sayone Technologies（英语：Sayone Technologies）^[9]、Sciences Po Medialab^[10]、Data.gov.uk（英语：Data.gov.uk）的世界政府数据网站^[11]等。

历史

Scrapy诞生于网络聚合和电子商务公司Mydeco，它由Mydeco和Insophia公司的员工开发和维护。2008年8月首次以BSD许可证公开发布，2015年6月发布有里程碑意义的1.0版本^[12]。2011年，Scrapinghub成为新的官方维护者^[13][14]。