robots.txtもmetaもちゃんとしてるのに、サイトがGoogleにクロールされない。Googleウェブマスターツールのサイト確認もできない!

とあるサイトで、ページがGoogleのデータベースにクロールされないという現象が起きました。
webで調べてみると、そういうときに考えられる原因としては「robots.txt」や「meta」の設定で検索エンジンのロボットをはじいてしまっているというもの。

だが、今回それに関しては何度もチェックして問題ないことを確認している。
状況を確認しようと思ってGoogleウェブマスターツールの導入を試みる。
が、どの方法で試してもサイトの確認ではじかれる。(サーバーに接続できませんというエラーが出る)

なんだか、ウェブマスターツールでサイトの確認ができないことと、クロールされないことは根っこが同じ気がする。。。

で、結局のところ原因は、別の方が設置していた.htaccessによるIPでアクセスを制限する設定でした。
なんでも海外からのおかしなアクセスをはじきたかったと言うことで、ばっさりアクセスを拒否していた(というか、許可リスト以外は全て拒否にしていた)ので、Googleもアクセスできなかったのですね。

.htaccessの設定を見直して晴れてウェブマスターツールの確認も通り、状況みてみたところ、その.htaccessを入れた時期からクロールができなくなっていたことも確認できましたとさ。
いやはや。ウェブの世界にはいろいろなことが起こるものです。

コメント