Webサイトをより多くの人に見てもらうには、SEO（検索エンジン最適化）が重要です。ただ、中には見てもらいたくないページもありますよね？
そんな時に役立つのが「robots.txt」の設定です。 robots.txtのファイルを利用すると、特定のページを検索結果に表示しないように設定できます。
検索エンジンは、様々なページを確認する際に、robots.txtを参照してから内容を取得します。この時に、robots.txtに指定されているページは検索対象から除外します。
つまり、あなたから検索エンジンに対して、「このページは見ないでね☆」というメッセージを伝えることができるのです 😀
以下、robots.txtについて簡単に説明します。 robots.txtに記載する情報以下の情報を記載します。
- どの検索エンジンがWebサイトを参照できるか
- どのページを検索の対象から除外するか
robots.txtの作り方作り方は簡単です。メモ帳などのテキストエディターで作成できます。 なお、ファイル名はすべて小文字にするように注意してください。 作ったファイルは、Webサイトの一番上の階層のフォルダーに起きます。
例えば、WebサイトのURLが http://www.yourdomainname.com の場合、
robots.txtのパスは http://www.yourdomainname.com/robots.txt となります。
記載する内容は主に以下の2つです。
- User-agent…対象の検索エンジン
- Disallow…検索対象から除外するページ
例えば、次のように記載します。
User-agent: * Disallow: /
この例の場合、すべての検索エンジンが対象になります（「*」はすべてを表します）。また、「/」は、一番上の階層を表します。つまり、どの検索エンジンであってもすべてのページを検索対象から除外する設定になっています。 別の例を見てみましょう。 特定の検索エンジンだけを許可するには次のように設定します。
User-agent: Googlebot Disallow:
User-agent: * Disallow: /
特定のフォルダーだけを検索対象から除外する場合は次のように設定します。 この例の場合、「directory」というフォルダーを除外しています。
User-agent: * Disallow: /directory/
特定の拡張子のファイルだけを検索対象から除外する場合は次のように設定します。この例の場合、「.gif」という画像形式のファイルのみを除外しています。
User-agent: Googlebot Disallow: /*.gif$
特定のファイルだけを検索対象から除外する場合は次のように設定します。この例の場合、「images」というフォルダーの中の「dogs.jpg」というファイルのみを除外しています。
User-agent: Googlebot-Image Disallow: /images/dogs.jpg
METAタグの設定robots.txtを利用できないような場合、上記に相当するような設定を、各ページのヘッダーに記載することができます。 構文は次のとおりです。
<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”> <META NAME=”ROBOTS” CONTENT=”INDEX, NOFOLLOW”>
INDEX/NOINDEXは、該当のページを検索対象とするかどうかを表す内容です。INDEXだと対象とし、NOINDEXだと除外します。 FOLLOW/NOFOLLOWは、ページ内のリンクをたどってリンク先のページも検索対象とするかどうかについての記述です。NOFOLLOWと記載すると、検索エンジンにリンクをたどらないように指示できます。 もし何も指定しない場合は、INDEXでFOLLOWだと解釈されます（つまり、該当のページを検索対象とし、ページ内のすべてのリンクをたどります）。 Zoho Sitesの設定 さてさて、こうした設定は、Zoho Sitesではできるのでしょうか？ もちろんできるんです！（自問自答） 
設定ページの「SEO」の欄で、robots.txtの内容を編集できます。 ここで設定した内容は、自動でrobots.txtというファイルとして保存されます。 ぜひご利用ください！ Zoho Sitesについて
※ Zoho Sitesは現在英語版のみの提供です。今後、日本語化を予定しています。 ただし、日本語の入力は可能で、日本語のWebサイト作成は可能です。 なお、このブログは、英語版の Zoho Blogs の記事翻訳・加筆・修正したものです。
元の記事：Elementary SEO: All about robots.txt
