「あえて検索エンジンにページをインデックスさせない」その意味を理解してない人へ理由と対策をわかりやすいイラストを用いて解説

こんな質問を頂きました↓open

たぬきちさん　はじめまして
レポートをダウンロードした事をきっかけにメルマガ拝読してます
凄く深い内容の検証をされている方にこんな単純な質問で
申し訳ないのですが、どうしても知りたいので教えてください
検索エンジンにインデックスさせない　とはどういうことですか？
こちらとしては検索結果に表示されるならどんな形でもいい
それくらい登録されたい気持ちですが、あえてインデックスさせない事に
何の意味があるんでしょうか？

いい質問です(´∀｀)９ ﾋﾞｼｯ!　Σ(ﾟДﾟ;)ﾃﾞﾀ!!
↓　↓　↓　本文で回答　↓　↓　↓

検索エンジンに登録されることからすべては始まる

ネット上での情報発信活動って趣味だろうが、商売だろうが
何はなくともまず「存在認知」
検索エンジンに認識してもらってなんぼです
だから、最初は　welcome( ﾟ∀ﾟ)ﾉおいでませ～クローラー
最近はその「インデックスまでの道」がとてつもなく遠くなったんだけどね・・
検索エンジンにインデックスされない事より怖いのは・・
「site:」と「info:」と「ページオーソリティ」との関係性
さて、このクローラーとの付き合い方が今回の重要テーマ
わかりやすくイラストと例え話で再現しよう

クローラーという友達ができました

最初は「はじめまして」から始まったクローラーとの付き合いが
毎回会うたびに「どうも」「よっ！」「まいど～」と距離感も縮まり
だんだんと訪れる頻度が上がっていく（クローラーの常駐）
例えるなら友達の家に遊びに来て
友達そっちのけで、ねっころがって漫画本読んで
読み終わったら知らないうちに帰っていくずうずうしい奴　みたいな・・

でもね、親しき仲にも礼儀ありって奴でして・・
あんまり親しい関係になりすぎるのも考え物なのです

プライバシーの侵害を防げ！（インデックスコントロール）

本当は人に見せたくない・・知られたくない
いわゆるプライバシーって誰にでもあるもの
でも、それって自分が思ってるだけであって
実際は「鍵」をかけたり、「隠したり」なんらかの処置が必要です
当然、思ってるだけでは侵害されてしまうものなのです

自分から見れば「大事なものが入ってる箱」
他人から見れば、「ただの箱」
悪気はないんですよね、しいて言うなら
ただそこに「箱があったから開けてみた」って話です

これはWEB上でドメイン/・・サブドメイン/・・ディレクトリ　→　htmlページ
と、運営するURL内にあるページをくまなくクロールされるという事です
だた一度、場所と中身を覚えられてしまうとこんな事が起きてしまいます

公開されたくない情報がWEBに公開された時の対処

このクローラーという友人はとにもかくにも口が軽い・・
見つけた情報を外に漏らしてしまう訳です（検索結果に表示）

一度こうなってしまうと、もう時すでに遅しで・・
見られたくないものが他人に見られてしまうのです
ほっとくと、その状態が延々と続くので
これ以上、外に広げないために「口封じ」をします

指定したURLを検索結果に表示しない

URL削除ツール

URL 削除ツールは、誤って機密情報が公開されているページなど
すぐに削除する必要があるページに使用します
※Googleウェブマスターツールで登録しているサイトに利用可能です
しかし、このクローラーという友人の行動力は侮れません
いつ、他の見られたくない物が勝手に公開されるかひやひやもの・・
そこで、大事なものをクローラーから守る方法を実践しないといけません

鍵（パスワード）をかけて進入を防ぐ

一番単純な方法なのですが、鍵（パスワード）をかけて
そのドメイン内の特定のディレクトリにアクセス不能にする方法です
一番合理的な進入ブロックの方法だけど・・
これでは、クローラーさんの情報収集は防げません

検索結果上でURLをクリックするとパスワードを求められるという
アクセス不能なのに表示されてしまうという悲劇・・
そこで、鍵をかけるよりも確実なクローラー対策があります

クローラーに事前にインデックスしないでと伝える

至極簡単なことで話し合いです

事前に、やってほしくない事を意思表示します
これをインデックスコントロール（ロボット制御）といいます
WEB上で意思を事前通達するには以下のタグを「head」に入れます

実はこの「content=」の中に入る項目によって
クローラーへの指示も大きく変わります

content="ALL" … その文書の収集を許可し、リンクを辿ることも許可する
content="INDEX, FOLLOW" … その文書の収集を許可し、リンクを辿ることも許可する
content="INDEX, NOFOLLOW" … その文書の収集は許可するが、リンクを辿ることは拒否する
content="NOINDEX, FOLLOW" … その文書の収集は拒否するが、リンクを辿ることは許可する
content="NOINDEX, NOFOLLOW" … その文書の収集を拒否し、リンクを辿ることも拒否する
content="NONE" … その文書の収集を拒否し、リンクを辿ることも拒否する

引用元

それぞれ意味が違うので、利用する際は理解してご利用ください

WordPressならAllinOneSEOPackの項目で利用可能

また、ワードプレステーマによってはプラグインなしで
このインデックスコントロールの仕組みに対応してるものもあります

※私が利用してるDigipressは完全対応

プラグインいらずのシステムテーマ　Digipressテーマとは？

インデックスコントロール対策は「SIRIUS」でもできる

バージョン1.2以降から搭載されたheadタグ挿入要素の追加機能として
個別ページの上級設定のプルダウンから選択が可能
SIRIUSバージョン1.2　追加機能と変更点まとめ
このページは検索結果に表示されたくない
そういった場合にのみにしか利用用途がない
わかりやすい機能です
これで頻繁に家に出入りする友人（クローラー）がいても
「自分のプライバシー」を守りつつ上手に付き合えます
結局の所、こういった問題を事前に防ぐには
検索エンジンクローラーとWEBサイトオーナーとの話し合い
＝お互いが認識できるルールの活用
あえてインデックスさせない・・というケースも往々にしてある！
という事を頭の片隅にでも記憶しておくといいです

使う理由がなければ無理に使わない

このインデックスコントロールは意味を理解しないで使うと
「全ページがインデックスされなくなる」など大きなリスクを伴いますので
使う際は「使うべき理由」をしっかりと考えてから使ってね(*´∀｀*)
手っ取りはやいのは鍵をかけて入れなくするでも問題ないけど
鍵つきページも普通にインデックスされるから不思議┐(´∀｀)┌ﾔﾚﾔﾚ