Posted by: Wojciech Cyprys, Consumer Operations Coordinator

Webmaster ma pełną kontrolę nad materiałami ze swojej witryny, które trafiają do indeksów wyszukiwarek. Najprostsze metody wykluczania stron z procesu indeksacji to standardowy plik robots.txt i meta tagi, ale czasem zachodzi potrzeba usunięcia czegoś, co zostało zindeksowane w wyszukiwarce już wcześniej. Jak się za to zabrać i jakie metody są najlepsze?

Odpowiedź jest jak zwykle złożona i zależy od treści, które chcemy usunąć. Centrum pomocy dla webmasterów zawiera szczegółowe informacje na ten temat, podając przykłady dla różnych typów zawartości strony. Po dokonaniu zmiany, należy tylko zaczekać aż Googlebot przemierzy ponownie naszą witrynę i niepożądane dane znikną z indeksu. Czasem jednak zdarza się, że sytuacja jest pilna i nie chcemy czekać do następnego cyklu indeksacji. Od kilku dni oferujemy Wam proste narzędzie, które rozwiązuje ten problem.

Dla witryn, które zostały zweryfikowane na koncie narzędzi dla webmasterów, u dołu strony w zakładce „Diagnostyka”, uaktywni się nowa funkcja o nazwie „Usunięcia adresów URL”. Po jej wybraniu, klikamy przycisk „Nowe żądanie usunięcia” w środkowej części ekranu. Mamy teraz do wyboru szereg opcji.



Poszczególne adresy URL
Opcja służąca do usuwania adresów URL lub grafik z indeksu. Możemy usunąć wybrany materiał z Google tylko, jeśli choć jeden z poniższych warunków jest spełniony:

  • Adres URL zwraca rzeczywisty błąd 404 lub 410.
  • Dostęp do adresu URL jest zablokowany przez plik robots.txt na serwerze.
  • Dostęp do adresu URL jest zablokowany przez odpowiedni meta tag.

Jeśli choć jeden z powyższych warunków jest spełniony, możemy wpisać adres URL w polu na ekranie i zaznaczyć odpowiednią opcję w zależności od tego, czy link odnosi się do wyników wyszukiwania stron WWW czy też wyszukiwarki grafiki. Następnie klikamy „Dodaj”. Można w ten sposób przesłać do 100 adresów URL w jednym zgłoszeniu. Na koniec potwierdzamy klikając przycisk „Prześlij żądanie usunięcia”.

Katalog

Opcja „Katalog” umożliwia usunięcie wszystkich plików i folderów znajdujących się w obrębie określonego katalogu na serwerze. Przykładowo, możemy usunąć całą zindeksowaną zawartość strony http://www.przyklad.com/moj_folder

Spowoduje to usunięcie wszystkich adresów URL rozpoczynających się od podanej ścieżki:

http://www.przyklad.com/moj_folder
http://www.przyklad.com/moj_folder/strona1.html
http://www.przyklad.com/moj_folder/obraz.jpg

Można usuwać tylko te katalogi, które zostały odpowiednio zablokowane przy użyciu pliku robots.txt. Dla powyższego przykładu, plik robots.txt zawierałby następujący tekst:

User-agent: Googlebot
Disallow: /moj_folder


Cała witryna

Tej opcji należy użyć tylko wtedy, jeśli chcemy usunąć całą witrynę z indeksu Google. Usunięcie obejmie również wszystkie podkatalogi i pliki. Przykładowo, jeśli chcemy, aby w wyszukiwarce znajdowały się tylko nasze adresy URL z przedrostkiem www (czyli http://www.przyklad.com), nie należy używać tej opcji do usuwania stron w formacie http://przyklad.com ponieważ spowoduje to usunięcie wszystkich zindeksowanych stron. Preferowaną domenę można ustawić według wskazówek zawartych tutaj i w miarę możliwości ustawić przekierowania 301 na pozostałych stronach. Tak jak poprzednio, aby skorzystać z opcji usuwania całej witryny, musimy zablokować do niej dostęp robotom Google poprzez plik robots.txt.

Kopia wyniku wyszukiwania Google z pamięci podręcznej

Opcja przydatna do usuwania kopii określonych stron z indeksu Google. Dostępne są dwa sposoby:

Usunięcie kopii przy zastosowaniu meta tagu noarchive

Jeśli nie chcemy, aby roboty wyszukiwarek robiły kopie naszych stron, można ustawić meta tag noarchive dla wybranych adresów URL, a następnie użyć opisywanego narzędzia do usunięcia bieżących kopii z Google. Kopie nie będą pojawiały się w wyszukiwarce, dopóki tag noarchive będzie umieszczony w kodzie strony.

Modyfikacja zawartości strony

Jeśli usunięto ze strony określone informacje i chcemy jak najszybciej usunąć je także z wyszukiwarki, najprostszym sposobem powiadomienia nas o tym jest przesłanie zgłoszenia za pomocą tego narzędzia. Na podstawie wypełnionego formularza, nasi pracownicy zweryfikują czy zawartość strony uległa zmianie i usuną nieaktualną kopię z pamięci podręcznej. Po upływie sześciu miesięcy automatycznie przywrócimy do indeksu ostatnio zindeksowaną kopię strony (do tego czasu prawdopodobnie będziemy już mieli jej aktualną wersję). Opcjonalnie, jak tylko nasze roboty przemierzą Twoją witrynę, możesz przesłać do nas żądanie przywrócenia do indeksu bieżącej kopii strony.


Sprawdzanie stanu zgłoszenia

Główna strona narzędzia zawiera informacje o zgłoszonych żądaniach tak długo, aż zostaną one przeanalizowane. Stan zgłoszenia określa, czy żądanie zostało zaakceptowane (lub też odrzucone). Przyczyną odrzucenia żądania jest zazwyczaj niezgodność z kryteriami usuwania stron, o których wspomniałem powyżej.


Przywracanie treści do indeksu

Jeśli żądanie usunięcia zostało zaakceptowane, stosowny komunikat pojawi się w zakładce „Usunięta treść”. W każdej chwili mamy możliwość przywrócenia usuniętego adresu URL klikając przycisk „Przywróć” po prawej stronie ekranu. Warto pamiętać, że po upływie sześciu miesięcy automatycznie przywrócimy do indeksu wszystkie usunięte treści, które nadal są dostępne w sieci (nie zwracają błędów 404, 410 przez nagłówki HTTP) lub, które nie zostały odpowiednio zablokowane (robots.txt, meta tagi). Innymi słowy, jeśli strona jest dostępna dla naszych robotów, zostanie automatycznie zindeksowana po 6 miesiącach.

Żądanie usunięcia treści z innej witryny

Pozostaje jeszcze jedna kwestia – jak usunąć stronę (lub jej część) z domeny, która nie należy do nas? Ponieważ jest to dość częsta prośba z Waszej strony, pomyśleliśmy także i o tym. Narzędzie do usuwania stron internetowych z Google ułatwia tę czynność, redukując cały proces do kilku prostych kroków.


Ponieważ Google nie ma kontroli nad zawartością stron internetowych, które są przez nas indeksowane, nie możemy usuwać wybranych treści, jeśli nadal znajdują się one w ogólnodostępnej witrynie. Jeśli chcemy usunąć cokolwiek z indeksu Google, musimy najpierw porozumieć się z webmasterem witryny, na której znajduje się określony tekst lub podstrona, i poprosić o usunięcie niepożądanego materiału. Dopiero kiedy webmaster spełni nasze żądanie, możemy przesłać odpowiednie zgłoszenie do Google przy użyciu powyższego narzędzia.

Istnieją oczywiście wyjątki od tej reguły i w określonych sytuacjach możemy usunąć pewne dane osobowe z indeksu, jeśli kontakt z webmasterem jest niemożliwy. Ponieważ są to przypadki wymagające dokładnej analizy, prosimy o podanie adresu email umożliwiającego nam bezpośredni kontakt z użytkownikiem.


Co się stanie z dotychczasowym narzędziem do usuwania adresów URL?

Wszystkie uprzednio zgłoszone żądania będą przyjęte i przeanalizowane w standardowy sposób, jednak nowe zgłoszenia należy przesyłać za pomocą nowej wersji aplikacji.


Na podstawie: Requesting removal of content from our index, by Vanessa Fox.