Лучшие вопросы
Таймлайн
Чат
Перспективы
Web ARChive
Из Википедии, свободной энциклопедии
Remove ads
Формат архива Web ARChive (WARC) определяет метод объединения нескольких цифровых ресурсов в совокупный архивный файл вместе с сопутствующей информацией. Формат WARC является пересмотром формата ARC_IA File Format архива интернета, который традиционно использовался для хранения данных "поисковых роботов", как последовательностей блоков контента, собранных из всемирной паутины. Формат WARC обобщает старый формат, чтобы лучше поддерживать потребности архивных организаций в сборе, доступе и обмене данными. Помимо первичного контента, который записывается в настоящее время, пересмотр вмещает связанный вторичный контент, такой как назначенные метаданные, сокращенные события, обнаружение дубликатов и преобразования более поздних дат. Формат WARC вдохновлен HTTP/1.0, с похожим заголовком и использованием CRLF в качестве разделителей, что делает его очень удобным для реализации.
Впервые указанный в 2008 году WARC теперь признан большинством национальных библиотечных систем в качестве стандарта для веб-архивирования.
Remove ads
Программное обеспечение
- Веб-архиватор Heritrix на Java
- wget (начиная с версии 1.14)
- Webrecorder
- StormCrawler
- Apache Nutch
- Tar
Примечания
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads