SEOの表と裏:::クローラーについて

• 07月07日・・・Googleモバイルはサイト開設後、約4日でインデックスした
• 04月16日・・・YST IPとHOSTとUAの関係

当サイトの更新情報をRSSで配信しています。

2008年7月 7日

【2008/06/30】
モバイルサイトを開設して、どこからも被リンクのない状態でGoogleサイトマップへ登録。

Googleウェブマスターツールにモバイルサイトとして登録するには、<urlset> タグを
下記のように記述する

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:mobile="http://www.google.com/schemas/sitemap-mobile/1.0">

この記述がなかったため、サイトマップでエラーがでる。


【2008/07/01】
サイトマップの<urlset> タグを変更し再送信。
（再送信する前も定期的にGooglebotはsitemap.xmlを訪問。ステータス:304）

sitemap.xmlのステータスが、304から200に変わると同時にrobots.txtを探す。（ステータス:404）

その後、1から数時間おきにsitemap.xmlを見に来る。（ステータス:304）

【2008/07/01 10:42:00】
sitemap.xml の変更を認識(ステータス:200)

【2008/07/02 17:29:00】
トップページのクロールに来る。
UA:Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

サイト内の全ページ（6ページ）をクロール

【2008/07/06 2:03:00】
再度Googlebotが、訪問。
UA：DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

トップページではなく末端ページからクロールははじまった。

【2008/07/06 6:16:00】
再度Googlebotが、訪問。
UA:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
からクロールが来る。末端ページ1ページだけに訪問

【2008/07/06 8:11:00】
UA:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
全ページクロール


【2008/07/06】
Googleモバイルで2ページのインデックスを確認
GooglePC版で全ページインデックスを確認


ウェブマスターツールにsitemap.xmlを登録することで、Googlebotは
すばやくサイトをインデックスする。

sitemap.xml は、再送信しなくても常にGooglebotは見に来る。

<urlset> タグを正確に記述することで、
モバイルサイトとして認識しモバイルをUAに持つクローラーが訪問する。

PCサイトとモバイルサイトを同一URLで運用する場合、
Nokiaに対する振り分けを忘れないようにする。

モバイルサイトと認識していてもPC版Googleにインデックスする。

Googleモバイルへのインデックスは、今回トップページを発見してから
約4日間。被リンクが0でもインデックスはしてもらえる。

2008年4月16日

おもしろい実験や（yahooのクローラ　ljとrzだけのお話）、
 YST Slurp 3.0 が公式に発表された ことに影響されて、
いままで放置していたIPとHOSTとUAの関係をまとめてみました。

今回の更新でクローラーにどんな変化があるか楽しみです。
IPとHOSTとUAの関係一覧→ 期間は、2008年3月2日から2008年4月6日です。

（公開できないのが残念ですが、ont系のクローラーはリファラがちょっと変わってます。）

また、、4/12か4/13にYahoo! Site Explorer上で小さな変化がありました。

YSE上で、複数サイトにページ削除依頼をだしていたのですが、
 すべてが『padding』から『In Effect』に変わりました。

YSEのアカウントも違いますので、一斉に削除依頼が処理されたようです。

また、YSE上でURLを入力してサイト情報を調べたときに以前まで、
www.domain.com
のように表記されていたのが、
http://www.domain.com/
のようにプロトコル付きで表示されるようになりました。

さらに、ファイルの種類が、『text/html』などと表示されるようになっています。

多くのサイトで調べたわけではないのですが、
YSEのキャッシュと『search.yahoo.co.jp』で表示されるキャッシュは違うクローラーが
取得しているようです。

 『cache.yahoofs.jp』のほうが日付が新しいと感じています。

• YST
• クローラー