Google検索ペナルティからの復活（Google検索のペナルティを回避するために）

2009/05/末よりGoogle検索のペナルティを受け、2009/07/初頭から対策に乗り出し、本日2009/07/13 正午頃、ようやくペナルティ状態から脱出することが出来た。

ヤレヤレ・・・。

この対応は、原因が不明の中、また、施した対策が反映しているのか反映していないのか、それぞれの時点のGoogle側のステータスがどのようになっているのかが分からない中、対応を検討し続けなければならず、とても苦しい対応が続いた。

まだ、断言はできないが、恐らく、ペナルティは回避出来たとみて良いだろうと認識している。

そこで、締め括りとして、今回問題点について、まとめておくことにする。

結論

今回のペナルティーにおいて有効だった対応

robots.txtに重複コンテンツを発生させているページをクローラーの巡回対象外と指定したこと。

今回のペナルティーの原因

膨大な量の重複コンテンツを発生させてしまっていたモジュールを導入し、重複コンテンツに対して対策を施していなかったこと。

最も怪しいモジュール

• Last Node 6.x-2.3

これは、最新のコンテンツへのリンクを表示するモジュールだと思い込んでいたのだが、それに留まらず、サイトの全コンテンツを最新から古いものへと全て、別URLを用いて表示させてしまう性質があった。

次に怪しいモジュール

• Relevance 6.x-2.x-dev

このモジュールを機能させるためにタクソノミーに専用のボキャブラリを登録し、各ノードにキーワードとしてタームを山のように登録していた。

そのタームごとに、該当するノードの中身を全て別URLで表示させる性質を持っている。

ただ、このモジュールをリリースして直ぐに、各ページにタームが沢山表示されることが鬱陶しいので、それらが表示されないように、ボキャブラリの設定だったか、テーマのテンプレートだったか忘れたのだが、調整して表示されないようにしたつもり。

よって、意識としては重複コンテンツのURLは公開されていないはずなのだが、この調整終了前にGoogleのクローラーがタームをたどってしまったことによって、Googleに公開したつもりのないページをキャッシュされてしまった可能性はある。

また、私が意識できていないリンクをたどることによって、Googleは認識出来てしまっていたのかもしれない。

怪しかったけど、たぶんペナルティの原因ではなかったモジュール

• blog
  タイトル・タグの重複
• Mobile Theme 6.x-1.x-dev
  クローキング

何となくだが、無関係だったように思う。

Drupalの問題点

Drupalを使用するようになってずっと感じていた違和感があった。

登録済みのノード（情報）に対して、某かの分類を施そうとしたときに、それに関連するタイトルと該当ページへのリンクさえハンドリングしてくれれば良いだけなのに、コンテンツの中身まで引っ張り出してきて、別URLで表示してしまうということ。

これはDrupal本体側が持つ特徴なのかもしれない。

提供されるようなモジュールは、作ろうと思っても私には到底作ることはできない。だが、それらにセンスがあるかというと、センスの無いモジュールが沢山含まれていると感じる。

だから、新しいモジュールを導入する際は、そのモジュールが、元ノードのURLとは別のURLに重複コンテンツを発生させてしまう機能があるかどうかを確認し、もし、発生させてしまうようなら、直ちに、robots.txtに、クローラーが巡回してキャッシュしないように記述を追加すべき。

そうすれば、私が、今回陥ったような状況には陥らないで済むだろう。

また、今回のペナルティとは関係ないと思われるのだが、危機分散の意味で、blogは、Drupalの機能を使わずに、アメブロやFC2などが提供するものを活用する方が良いだろうと感じた。