http://b.hatena.ne.jp/entry/9231961
経由。
Robots.txtが脚光を浴びている……わけじゃなく、コトの経緯が注目されているわけですが。
http://www.itmedia.co.jp/news/articles/0806/25/news107.html
http://itpro.nikkeibp.co.jp/article/NEWS/20080708/310423/
……とか、ニュースソースは色々です。
そもそも、何でこんなことを始めた（Robot対策ではなく……元の元の記事の配信）のか、報道に携わるメディアとして非常に疑問です。モラルとかそういうレベルの問題じゃないでしょう。
ちなみに、こんなことにもなっています（情報ははてなブックマーク経由です。気が疲れた気が付かれた方に感謝いたします）。
ところでこの「Robots.txt」という呪文書に書かれた魔法のコトバ。
User-agent: * Disallow: /
このファイルをWebサーバにおいておくと、検索に引っかからない＝問題の記事が検索エンジンのキャッシュ（検索用に検索エンジンが一時的に作る、Webサイトの簡易コピーのようなものですね）から消える＝証拠隠滅……そういう意味です。でも、読者の記憶までは消去できないのですよ。
