WebCrawler

この項目では、検索エンジンについて説明しています。ウェブを巡回して情報収集するボット全般については「クローラ」をご覧ください。

WebCrawler（ウェブクローラ）は、Google、Yahoo!、Bing、Ask.com、About.com、MIVA、LookSmart など有名な検索エンジンの検索結果を混合するメタ検索エンジン。オプションで画像、音声、動画、ニュース、イエローページ、ホワイトページの検索もできる。WebCrawler は InfoSpace, Inc. の登録商標である^[1]。

WebCrawlerはかつて、初めて全文検索を提供したウェブ検索エンジンだった。ワシントン大学のブライアン・ピンカートンが開発し、1994年4月20日にネット上で稼働開始した^[2]。1995年6月1日にAOLが買収し、1997年4月1日にはExciteに転売された。2001年にExciteが倒産すると、（その時点では Excite@Home と呼ばれていた）WebCrawlerはInfoSpaceが取得した。InfoSpaceは他に Dogpile と MetaCrawler というメタ検索エンジンを運営している。

本来のWebCrawlerは独自のデータベースを持つ検索エンジンで、広告的検索結果はページの別の領域に表示していた。その後メタ検索エンジンに転向し、有名な検索エンジンの検索結果を合成し、広告とそうでないものに分けて表示するようになった。

2008年までクモをマスコットにしていたが、今ではそれを廃止している。

2012年1月現在、アレクサによれば、アメリカ合衆国内で1441位のウェブサイトであり、全世界では6164位である。Quantcast は1カ月のアメリカ国内の訪問者数を約91万人と推定し、Compete は約612万人と推定している^[3][4][5]。