クローラ

インターネット内のホームページを巡回し、ページ内に記述されている文章、画像、文書などの情報を収集して、随時データベースに反映させていくプログラムの事です。データーベースに反映される際、それぞれの検索エンジンのアルゴリズムで判断され、検索結果が表示されます。
クローラの移動はリンクをたどり、ページからページへ、ホームページからホームページへ移動し情報を収集していきます。ですので、自然リンク、人工リンクにかかわらず、たくさんのサイトからリンクされていれば、クローラもよく巡回してくるようになるのではないかと勝手に推測しています。
また、巡回頻度は、ページの更新頻度やその検索エンジンにおいての検索結果の表示位置でも変ってきているように思います。

各検索エンジンごとに呼び方も違います。

• Google → Googlebot
• Yahoo → Yahoo! Slurp
• MSN → MSNBot
• ASK → Teoma、Ask Jeeves

クローラは、他に検索ロボット、ボット、スパイダーなどと呼ばれます。