第9回 Mediapartners-GoogleはGooglebotの役割を持っている?
[2004/03/06]
GoogleのAdSenseを付けると、Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html) というクローラが頻繁にアクセスしてきます。この Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html) と通常の Googlebot/2.1 (+http://www.googlebot.com/bot.html) は同じ役割を持っているのか?と言う質問をいただきましたので検証してみました。
まず、アクセスログのスクリプトは以前から用意していましたので、ページにアクセスしてきたときに日時を出力するスクリプトを埋め込みました。そうすると、Googleのキャッシュを見ればキャッシュを取得した日時がわかりますので (キャッシュのソースを見て、一番下のコメントを見れば日時が表示されます)、アクセスログからその日時にアクセスしてきたクローラがMediapartners-GoogleかGooglebotかを見分ければ良いわけです。
もし同じ役割を果たしているのであれば、AdSenseを付けるだけでフレッシュクロールされるサイト (検索結果に日付が出るサイト) ができあがることになります。
しかし、検証の結果Mediapartners-GoogleはGooglebotと同じ役割を果たしていないようです。キャッシュの取得は今回検証した限りGooglebotが行っています。と言うことで、「Mediapartners-Googleが頻繁に訪れる = フレッシュクロール対象サイト」ではないと言うことがわかりました。Mediapartners-Googleは毎日来るのにインデックスされないのはGooglebotと役割が違うためです。
Google キャッシュ | クローラの アクセス日時 | クローラホスト | クローラ種類 |
| 3月1日 | 2004/03/02 14:44:38 | crawler13.googlebot.com | Googlebot/2.1 |
| 3月2日 | 2004/03/03 14:46:03 | crawler14.googlebot.com | Googlebot/2.1 |
| 3月3日 | 2004/03/04 14:51:20 | crawler14.googlebot.com | Googlebot/2.1 |
| 3月4日 | 2004/03/05 14:57:39 | crawler14.googlebot.com | Googlebot/2.1 |
このMediapartners-Googleはアクセスログを見る限り、AdSenseを貼っているページを表示した直後に訪れるようです。AdSenseはページのテーマを判断して、自動でそのテーマにあった広告を表示すると言う仕組みですので、ページのテーマを判断するだけのクローラと言うことになります。
では、フレッシュクロール対象サイトにしたい場合はどうすれば良いでしょうか?検証して次回のコラムで書いてみたいと思います (あまり期待しないでください)。
|