Scrapy

 Nota: Não confundir com Scrapie.

Scrapy ([ˈskreɪpaɪ] SKRAY-peye) é um framework de web-crawling gratuito e código aberto desenvolvido em Python. Originalmente idealizado para web scraping, também pode ser utilizado para extração de dados usando APIs ou como web crawler de forma mais abrangente.^[1] Atualmente é mantido pela Zyte (antiga Scrapinghub Ltd.) uma empresa de desenvolvimento e serviços relacionados a web-scraping.

Scrapy
Desenvolvedor	Zyte (antiga Scrapinghub)
Lançamento inicial	26 de junho de 2008
Lançamento estável	2.4.1 / 17 de novembro de 2020
Repositório	github.com/scrapy/scrapy
Escrito em	Python
Sistema operacional	Windows, macOS, Linux
Tipo	Web crawler
Licença	BSD License
Website	scrapy.org

A arquitetura do Scrapy é construída em torno de "spiders", que são crawlers autônomos que recebem um conjunto de instruções. Seguindo o exemplo de outros frameworks DRY (don't repeat yourself), como Django,^[2] tornando mais fácil o desenvolvimento e evolução de projetos de larga escala, que utilizam o crawling, pois permite a reutilização de código. Scrapy também fornece um shell para web-crawling, que pode ser utilizado pelos desenvolvedores para testar suas suposições sobre o comportamento de um site.^{[carece de fontes?]}

Algumas empresas, produtos e projetos bem conhecidos que usam o Scrapy são: Querido Diário,^[3] Lyst,^[4][5] Parse.ly,^[6] Sayone Technologies,^[7] Sciences Po Medialab,^[8] Data.gov.uk’s World Government Data site.^[9]

História

Scrapy nasceu na Mydeco, empresa de agregação da web e comércio eletrônico sediada em Londres, onde foi desenvolvido e mantido por empregados da Mydeco e Insophia (uma empresa de consultoria web sediada em Montevideu, Uruguay). A primeira versão pública foi disponibilizada em Agosto de 2008 sob uma Licença BSD, e a sua versão 1.0 lançada em Junho de 2015.^[10] Em 2011, Zyte (antiga Scrapinghub) tornou-se oficialmente responsável pelas manutenções do projeto.^[11][12]

Referências

1. Scrapy at a glance.
2. «Frequently Asked Questions». Consultado em 20 de janeiro de 2020
3. «Querido Diario». queridodiario.ok.org.br. Consultado em 6 de setembro de 2021
4. Bell, Eddie; Heusser, Jonathan. «Scalable Scraping Using Machine Learning». Consultado em 28 de julho de 2015
5. Scrapy | Companies using Scrapy
6. Montalenti, Andrew. «Web Crawling & Metadata Extraction in Python»
7. «Scrapy Companies». Scrapy website
8. Hyphe v0.0.0: the first release of our new webcrawler is out!
9. Ben Firshman [@bfirsh] (21 de janeiro de 2010). «World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords bit.ly/5jU3La #opendata #datastore» (Tweet) – via Twitter
10. Medina, Julia (19 de junho de 2015). «Scrapy 1.0 official release out!». scrapy-users (Lista de grupo de correio)
11. Pablo Hoffman (2013). List of the primary authors & contributors. [S.l.: s.n.] Consultado em 18 de novembro de 2013
12. Interview Scraping Hub.