пособие о том, как самостоятельно раскрутить сайт и заработать в Интернете

 

Как запретить индексацию сайта поисковым системам.

 

 

Как запретить индексацию сайта поисковым системам Ранее я говорил о методах позволяющих значительно ускорить индексацию сайта в поисковых системах. Но несмотря на это, в некоторых случаях просто необходимо закрывать какие-то определенные разделы своего сайта от индексации поисковиками. Что это за разделы? Это служебные части ресурса. Это могут быть страницы профилей пользователей и регистраций, админская часть, различные формы для ввода информации и т.п. В некоторых случаях бывают секретные или скрытые страницы на сайте, которые не должны индексироваться системами поиска. Иногда нужно закрыть от поисковиков не всю страницу целиком, а лишь ее часть, к примеру, какой-то абзац текста либо ссылку.

Исходя из этого, лично я разделяю запрет на индексацию сайта на два типа – запрет индексации части страниц и запрет индексации всей страницы.

Запрет индексации сайта в файле robots.txt 

Запрет индексации сайта в файле robots.txtДля начала рассмотрим закрытие на индексацию полной страницы сайта. Наилучшим для этого способом является, закрытие индексации страниц по средствам специального файла robots.txt. Его предназначение – указание инструкций для поисковых систем по индексации сайта. Делается он при помощи стандартного блокнота ОС Windows и сохраняется под именем robots с расширением txt. Здесь прописываются необходимые указания, после чего этот файл загружается в корневую папку вашего сайта. Для одного сайта создается только один файл robots.txt. Более подробно вы можете прочитать в разделе файл robots.txt, поэтому не хочу тратить свое время на то, что уже подробно описывал, единственное сделаю напоминание - как запретить индексацию с помощью robots.txt.

User-agent: *
Disallow: /file.html
Disallow: /papka/

Где, * - говорит о том, что данная инструкция распространяется на все поисковые системы

Disallow: /file.html – запрещает индексировать файл file.html
Disallow: /papka/ - запрещает индексировать все файлы находящиеся в папке papka.

Запрещаем индексацию сайта через мета-тег robots.

Запрещаем индексацию сайта через мета-тег robotsМета-тег robots дает нам возможность управлять индексацией нужной нам страницы сайта. В этом мета теге прописывается инструкция по управлению индексацией страницы для всех ботов-поисковиков. Здесь не получится указать для какого-то конкретного поискового бота, инструкцию. Данный тег располагается, как и все остальные, в заголовке документа между тегами <head> </head>. Формат записи следующий:

<meta name="robots" content="noindex, nofollow">

В атрибуте content можно задать такие условия:

index – допускает индексацию данной страницы сайта;
noindex – не разрешает индексировать данную страницу сайта;
follow – допускает к индексации ссылки размещенные на данной странице;
nofollow – не допускает к индексации ссылки размещенные на данной странице;
all – включает в себя оба параметра index и follow (разрешает индексировать все);
none – включает nofollow и noindex (запрещает индексировать и ссылки и страницу).

Запрет индексации ссылки через инструкцию rel.

Запрет индексации ссылки через инструкцию relИнструкция rel распространяется не на все поисковые системы. Точнее сказать не все ее учитывают. Здесь мы можем запретить индексировать ссылку Yahoo и Google. Что касается Яндекса – он ее игнорирует. Прописывается следующим образом:

<a href=http://simple.ru rel="nofollow">ссылка</a>

Данной конструкцией пользуются в основном в тех случаях, когда не желают передачу ссылочного веса ссылке, а так же PR на тот сайт, куда ведет эта ссылка.

Запрет индексации некоторых частей страницы при помощи тега <noindex>

Запрет индексации некоторых частей страницы при помощи тега <noindex>При помощи тега мы можем запретить индексировать какую-то определенную часть страницы, при чем это может быть не только скрипты или ссылки, но и текст. Прописывается следующим образом:

<noindex>
здесь должна находиться часть страницы либо ссылка, которую вы хотите запретить к индексации.
</noindex>

В сравнении с инструкцией rel, на которую обращают внимание Яху и Гугл, тег ноиндекс применяется в тех случаях, когда необходимо запретить индексацию сайта для Рамблер и Яндекс. Чаще всего таким тегом закрываются ненужные для индексации ссылки и коды счетчиков рейтингов.

Далее рекомендую прочитать это – почему не индексируется сайт.

made by seozar. Отправить сообщение
Rambler's Top100