robots.txt.Makerリリースのお知らせ

僕の運営するSEO対策TIPSというサイトで、新たにrobots.txt.Makerというサービスを開始したのでお知らせします。

robots.txtとは何かというと、検索エンジンにWebサイトの情報をインデックスされたくない時に指定する為のテキストファイルになります。
robots.txtで指定しておけば検索エンジンクローラーが回ってきません。

テストサイトが検索エンジンにインデックスされてしまった！というのは気を付けいても良くある事。
このrobots.txtでテストサイトがあるディレクトリへの検索エンジンクローラーを拒否しておけば、検索エンジンにテストサイトの情報がインデックスされることはありません。

meta要素のname属性robotsでも検索エンジンクローラーの巡回を指定することができますが、テストサイトと本番サイトでhtmlが異なるのはあまりよろしくありません。

その他にも管理画面のインデックスを拒否したり、画像ファイルやCSSファイル、JSファイルなどを格納しているディレクトリなどもインデックスを拒否することができます。

結構、便利だと思うのでぜひ試してください。

スポンサードリンク

«Webに関わるすべての人の基礎知識 - 「Web検定」 | メイン | アルファ画像を扱うalphafilter.jsライブラリ»