Common Crawl

Common Crawl — некоммерческая организация, которая сканирует Интернет и бесплатно предоставляет публике свои архивы и наборы данных^[2][3]. Веб-архив Common Crawl на ноябрь 2024 года имеет более 250 миллиардов страниц, собранных с 2008 года^[4].

Common Crawl
Дата основания	2007
Основатели	Гил Эльбаз[англ.]
Расположение	Сан-Франциско, Лос-Анжелес Калифорния США
Ключевые фигуры	Питер Норвиг, Ричард Скрента
Сфера деятельности	издательское дело и сбор данных
Доход	▲1,3 млн $ (2023)[1]
Сайт	commoncrawl.org

Common Crawl был основан Гилом Эльбазом^{[англ.][5]}. Консультантами некоммерческой организации являются Питер Норвиг и Джой Ито^[6]. Поисковики организации придерживаются политики nofollow и robots.txt. Открытый исходный код для обработки набора данных Common Crawl находится в открытом доступе.

Набор данных Common Crawl включает работы, защищенные авторским правом, и распространяется из США на условиях добросовестного использования. Исследователи в других странах использовали такие методы, как перетасовка предложений или обращение к набору данных общего сканирования, чтобы обойти закон об авторском праве в других правовых юрисдикциях^[7].

По состоянию на июнь 2022 года в наборах данных Common Crawl 46-47 % документов английский был основным языком (за ним следовали русский, немецкий, китайский, французский, японский, испанский, причём только русский достигал доли в 6 %, остальные не более 4% каждый)^[8]. Но со временем доля английского постепенно падает и на ноябрь 2024 года составляет уже 43-44 %^[9].

История

Amazon Web Services начала размещать архив Common Crawl в рамках своей программы общедоступных наборов данных в 2012 году^[10].

Организация начала выпускать файлы метаданных и текстовые выходные данные сканеров вместе с файлами .arc в июле 2012 года. Ранее архивы Common Crawl включали только файлы .arc^[11].

В декабре 2012 года blekko пожертвовала поисковой системе Common Crawl метаданные, которые blekko собрала с февраля по октябрь 2012 года^[12]. Пожертвованные данные помогли Common Crawl "улучшить свой обход, избегая при этом спама, порнографии и влияния чрезмерного SEO"^[12].

В 2013 году Common Crawl начал использовать веб-сканер Nutch от Apache Software Foundation вместо пользовательского сканера^[13]. Common Crawl переключился с использования файлов .arc на .файлы warc с проверкой в ноябре 2013 года^[14].

Отфильтрованная версия Common Crawl использовалась для обучения языковой модели OpenAI GPT-3, анонсированной в 2020 году^[15].