Scrapy

Scrapy, Python'da yazılmış açık kaynaklı bir kazıma ve tarama çerçevesidir. Şu anda web kazıma ürünleri ve hizmetleri sağlayan bir şirket olan Scrapinghub Ltd. tarafından yönetilmektedir. En basit şekilde bir web sitesinden istenilen bilgileri çekmeye yarar.

Scrapy proje mimarisi, bir dizi talimat verilen bağımsız tarayıcılar olan "örümcekler" etrafında inşa edilmiştir. Django gibi diğerlerinin kendini tekrar etme çerçevelerini takip ederek, geliştiricilerin kodlarını yeniden kullanmalarına izin vererek büyük tarama projeleri oluşturmayı ve ölçeklendirmeyi kolaylaştırır.

Tarihçe

Scrapy başlangıçta Mydeco adlı bir Londra e-ticaret şirketinde geliştirildi ve daha sonra Mydeco ve Insophia (Montevideo, Uruguay merkezli bir web danışmanlığı) çalışanları tarafından geliştirildi ve sürdürüldü.^[1]

İlk sürüm, Ağustos 2008'de bir BSD lisansı altında halka sunulurken, sürüm 1.0, Haziran 2015'te yayınlandı.^[2] 2011 itibarıyla Scrapinghub resmi olarak bakımdan sorumlu oldu.^[3]