副収入生活初心者入門
Topへ
■アクセスアップ
検索エンジンの仕組み

 ・検索エンジンはどのようにホームページを収集するのか?

 例えばGoogleは30億以上のホームページを検索対象としています。これらの全ページを人手で登録することはどう考えても不可能です。実際にはロボットと呼ばれるプログラムがインターネット上を24時間365日自動循環(クローリング)し、膨大なホームページを収集する作業を行っています。ロボットはスパイダーやクローラーと呼ばれることもあります。

 少し専門的になりますが、誰でもホームページを訪れると必ず【環境変数】と呼ばれる根拠を訪問先のサーバに残していきます。人がブラウザでホームページを見たときもこの環境変数を足跡として残し、ロボットがホームページをクローリングしている最中と同じです。

 ホームページを訪問中の情報を見ることができるしくみは、一般的に【環境変数チェック】と呼ばれ、無料で自分自身の情報をみることができます。興味のある方は、それらのホームページを訪問してみてください。

 例えば、jikenbo.netというサイトを訪問すると、自分の環境変数を見ることができます。通常は訪問した瞬間の情報しかわからないので、他人が訪問したときにどのような環境変数になっているのかをのぞきみることはできません。

 しかし、Googleにはキャッシュという機能があって、Googleロボットが訪問した瞬間を記録したホームページを見ることができます。Googleで【環境変数チェック】という検索結果ページで該当ホームページの横に【キャッシュ】と表示されている箇所をクリックしてください。Googleロボット自身が残した環境変数が表示されます。これがGoogleロボットの正体です。
 ここから、ロボットの番号やプログラムバージョン、訪問した時間をみることができます。