Как бързо да премахнете от индексната страница на търсачката на сайта

Днес ще ви покажа резултатите от малък експеримент, за да се отстранят всички страници на търсачките Yandex и Google. Неговите открития ще помогнат в избора на един от методите, за да забраните индексирането на всички ресурси или на отделни негови части.

Аз изправена пред задачата - да затвори сайта, за да индекс, без да губи своята функционалност. Това е, ресурс, за да работят, но оставят на индекса на търсачките. Разбира се, най-сигурният начин да се премахне просто проекта от страната-домакин. Документите ще даде 404-грешка, и в крайна сметка "изчезват" от търсачката на база данни. Но проблемът имах друг.

експериментални данни

определи кой метод е забраната за индексиране приоритет за търсачките;
наблюдава динамиката на скоростта на отстраняване на страници от индекса;
в действителност, за да се отстранят проекти от основата на СС.

Тя участва в сайта на експеримент 2 (всичко повече от една година). На първо място, в индекса Yandex 3000 страници, Google - 2090. На второ място, Yandex - 734, Google - 733. Ако не изтриете ресурс с хостинга, вие сте 2-популярните възможности: етикет мета име = »роботи» и забраната в robots.txt.

За първи ред е добавен в сайта на всяка страница:

<Мета име = »роботи» съдържание = »Noindex, Nofollow» >

Вторият е бил съставен след robots.txt:

резултати

Следващите графики динамиката на броя на индексираните страници. На пръв сайт №1 (премахване таг мета име = »роботи»).

Site №2 (начин да забраните файла - robots.txt).

Тук ситуацията се развива интересно. Yandex бързо (по-малко от един месец), премахнете всички страници. Google също така този месец изхвърлиха индексът на около 100 документа, а след това месец по-късно все още 200 и почти замръзна.

Друг забележителен момент. Въпреки факта, че страниците са премахнати от индекса за дълго време, трафик от търсачките започна да пада по-бързо.

Оказва се, че СС се разбере, че ресурсът уебмастъра забранен или документи за индексиране, но по някаква причина да продължи да ги държи там.

Yandex обича да работи с robots.txt;
Google обича да работи с мета име = »роботи». Поради факта, че Google не е много любители на robots.txt, а след това ще бъде универсален метод маркер. методи Комбиниране не може да бъде, защото за забрана на ресурсите в robots.txt, търсачките не могат да четат правилата за мета име = »роботи».
Runet огледало бързо изтрива документи с всеки метод. Чуждестранна търсачката го прави с неохота - много трудно да се постигне пълно отстраняване на основата.

Ето един малък експеримент се оказа. Да, разбира се, пробата е много малък, но беше в състояние да потвърди моите предположения. В приложените условия, това може да се използва, когато е необходимо, за да затворите някои документи, за да бъде индексиран: За предпочитане е да се използват мета име = »роботи» вместо директиви в robots.txt.

По мое мнение, като късмет, а роботи евентуално да помогнат, но може би не винаги. Опитах се роботи, и по мое мнение това е дълъг период от време и не е ясно как търсачките реагират.
За себе си, сключен валиден начин е да се забрани от IP в .htaccess за всички с изключение на мен, работи точно.

Ако искате сайта отлетя и забрани на мястото на достъп за всички IP в .htaccess файл, като опция, ако роботите не работят или не искат да чакат дълго.

Александър, да, добър метод, но имах задачата да работи за всички сайтове

И защо да не се даде отговор на сървъра 404? Чрез .htaccess или PHP можете да го направите, дори и за съществуващи страници.

NMitra, и как те ще работят за обикновения потребител?

Sosnovskij, точно като нормални страници. Един момент на всички конференции тръба: не съществуват в страницата за отговор 404, а не 200. От друга страна nakosyachit толкова лесно

NMitra, точно така. Не в тази степ ", че" Благодаря ви за възможността, но най-вероятно това е, бих отговарят съвсем точно.

Благодаря ви за материала.
Sosnovskij, но не казвай на забраните директива: * и забрани: / еквивалент?

Николай, по правило трябва да започва с наклонена черта. Вашата първа опция е неправилно.

Какво е един от начините, че второто показа доста бързи резултати. Тук мисля, че особено да се избере и няма нищо ...

Получаване на актуализации в блога на първо място!

Благодарим ви за вашата подкрепа за блога! )