検索エンジンに対する指示「robots.txt」

アイキャッチ「案内図」

robots.txtは「ロボッツ・テキスト」、または「ロボット・テキスト」と読みます。
ロボット型検索エンジンに対する命令を記述するためのファイルです。
ウェブサイトのトップフォルダに設置します。

※全ての検索エンジンに効く訳ではありません。

ファイルやフォルダの指定
末尾が/で終わる場合フォルダ名の指定となる。
末尾に/を入れない場合は、指定された文字で始まるファイル名全て指定された文字で始まるフォルダ全体の指定となる。

命令文

サンプル例と合わせて記述方法をご紹介します。

adminとcgi-binのフォルダにアクセスしない。

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

一行目:* =全てのエージェント(検索ロボット)に命令する
二行目
三行目:Disallow=アクセスを許可しない。この場合指定したフォルダにアクセスを許可しない。

noフォルダにはアクセスしてはいけない、yesフォルダにアクセスしてもよい。

User-agent: *
Disallow: /no/
Allow: /yes/

一行目:全てのエージェント(検索ロボット)に命令する
三行目:Disallow=アクセスを許可しない。この場合、noフォルダへのアクセスを許可しない。
三行目:Allow=アクセスを許可する。この場合指、yesフォルダにアクセスを許可する。

全てのページにアクセスを許可しない

User-agent: *
Disallow: /

サイトマップの場所を指定する

User-agent: *
sitemap: https://website.argento-luce.jp/sitemap.xml

※サイトマップが https://website.argento-luce.jp/sitemap.xml にある場合です。
sitemap.xml自動作成ツールはこちら

  • このエントリーをはてなブックマークに追加

関連記事

ピックアップ記事

  1. アイキャッチ「4色の糸」
  2. アイキャッチ「付箋付ノートと( ..)φメモメモ」

アーカイブ

ページ上部へ戻る