Как да изтриете сайт или неговите фрагменти от индекса на Google

Съгласно концепцията за индексиране, приета от Google, са взети предвид пълнотата, обективността на информацията и спазването на нейната заявка за търсене при предаването на резултатите. Ако даден сайт с незаконно съдържание влиза в индекса или ресурсът е предназначен за спам, тогава страниците на такъв сайт няма да бъдат маркирани в общата база данни на търсачката. За нас е важно да научим, как да изтриете сайт от издаването на сървъра въз основа на резултатите от търсенето.

Опции за нулиране на индексирането за Google

Веднага след като роботът - програмата за събиране на информация за нови ресурси - сканира сайта на страница, тогава ако отговаря на изискванията на правилата на Google относно анализа, той ще бъде индексиран. Но също така ще опишем как да изтриете вашия сайт или отделни фрагменти за търсачките, като използвате robots.txt - показалец и в същото време терминатор за търсене.

За да изключим целия ресурс от проблема, в основната папка на сървъра, на който се намира сайтът, се създава определена зона за текст - горепосоченият файл robots.txt. Тази зона се обработва от търсачките и работи в съответствие с инструкциите.

Имайте предвид, че търсещата машина на Google ще индексира страницата, дори ако потребителят няма право да я преглежда. Когато браузърът издава отговор 401 или 403, "Достъпът не е валиден", това важи само за посетителите, а не за строителите за това търсачката.

За да разберем, как да премахнете сайт от индекса за търсене, в показалеца на текста трябва да бъдат включени следните редове:

Потребителски агент: Googlebot

Забрана: /

Това показва на робота за търсене, че е забранено да се индексира цялото съдържание на сайта. тук как да изтриете сайт Google, така че последният да не кешира ресурса в списъка.

Опции за сканиране за различни протоколи

Ако трябва да посочите отделни стандарти за комуникация, за които бихте искали да приложите конкретни правила за индексиране на Google, например, отделно за хипертекст http / https, Това също трябва да бъде зададено в robots.txt по следния начин (пример).

(https://yourserver.com/robots.txt) - името на домейна на вашия сайт (всяко)

Потребителски агент: * - за всяка търсачка

Позволява: / - позволи пълно индексиране

Как да премахнете напълно сайта от издаването за https протокола

(Https://yourserver.com/robots.txt):

Потребителски агент: *

Забрана: / пълна забрана на индексирането

Неотложено премахване на URL адреса на ресурса от търсенето с Google на Google

Ако не искате да чакате повторно индексиране и сайтът трябва да бъде скрит възможно най-скоро, препоръчваме да използвате услугата https://services.google.com/urlconsole/controller. Предварително-robots.txt трябва вече да бъде поставен в основната директория на сървъра на сайта. Инструкциите трябва да бъдат написани в него.

Ако указанието по някаква причина не е налице за редактиране в основната директория, достатъчно е да го създадете в папката с обекти, за които искате да се скриете от търсачките. Щом го направите и се свържете с услугата за автоматично премахване на хипертекст, Google няма да сканира папките, изписани в robots.txt.

Периодът на такава невидимост е фиксиран за 3 месеца. След този период директорията, премахната от издаването, ще бъде обработена отново от сървъра на Google.

KКак да изтриете сайт за сканиране отчасти

Когато ботът за търсене прочита съдържанието на robots.txt, а след това въз основа на съдържанието му, се вземат определени решения. Например, трябва да изключите от дисплея цялата директория, наречена anatom. За това е достатъчно да напишете такива инструкции:

Потребителски агент: Googlebot

Забранете: / анатом

Или, например, не искате да индексирате всички снимки като .jpg. За да направите това, добавете следния списък:

Потребителски агент: Googlebot

Забрана: /*.jpg$

Ето още един пример. Нека изтрием информацията за динамично генерираните страници от анализа, след което добавете следния запис към показалеца:

Потребителски агент: Googlebot

Забрана: / *?

Така че, приблизително, и правилата за търсачките са предписани. Друго нещо е, че е много по-удобно за всичко това да използвате маркера META. И уебмастърите често използват точно такъв стандарт, който регулира работата на търсачките. Но ние ще говорим за това в следващите статии.