クローラー Crawler
検索エンジンの検索結果に表示するリスト、データを集積しにインターネット上にある全てのWEBページを収集するソフトウェアやプログラムの事。
WEBディレクトリ型検索エンジンでは、常に新しいWEBサイトが生まれる、現在では限界があり、現在の検索エンジンの主流となっている。
ロボットは人間と違って各サイトやページに書かれている内容の意味や相互の関連までは把握できないが、Googlebotに代表されるように、ロボット型検索エンジンは、独自のアルゴリズムを修正し、検索キーワードとの合致性を改善する事でユーザービリティを高めている。
同義語
代表的な検索ロボット
- Googlebot
- Yahoo! Slurp
- MSNBot
- Baiduspider
[…] クローラー […]
[…] 今では、クローラーと呼ばれる検索ロボットが、検索エンジンのリストを構築していますが、ヤフーのような優良サイトのディレクトリに登録されているWEBサイトは、検索ロボットから […]