W Google Webmaster Tools pojawiła się funkcjonalność, która powinna bardzo ułatwić badanie Naszego serwisu (czy tez tego audytowanego) pod kątem indeksowania podstron, które już nie istnieją.
W zakładce „Diagnostyka” -> „Błędy indeksowania” naszym oczom ukazuje się:
– błędy witryny związane ze stanem DNSów, połączenia z serwerem oraz pobieraniem pliku robots.txt
– błędy adresów URL – mamy do dyspozycji wizualizację w postaci wykersów oraz spis błędnych adresów URL (pierwsze 1000)
Dlaczego o tym piszę ? Jednym z istotnych elementów przy audycie/optymalizacji serwisu WWW jest wyszukanie i znalezienie takich stron, które nie niosą ze sobą żadnych treści (np puste karty produktowe) jak również wyszukanie błędnie zaindeksowanych podstron.
Klikając w dowolny adres URL pozyskujemy informację szczegółową o błędzie, a w zakładce „Link z domeny” mamy dokładny adres pod którym wystąpił wskazany błąd.
Całość zagadnienia jest opisana pod adresem: https://developers.google.com/search/blog/2012/03/crawl-errors-next-generation
Dzięki za informację 😉 Sprawdziłem i faktycznie – zapowiada się ciekawie, odświeżają coraz bardziej GWT 🙂
A też macie błędy indeksowania w panelu nawigacyjnym w różnych językach? Komunikaty raz są po niemiecku, raz po hiszpańsku, a czasem w jeszcze innych, nieznanych mi językach..
Przykład: http://img542.imageshack.us/img542/3871/gwt.jpg
Tak, problem z tłumaczeniami błędów jest powszechny. Napotkałem m.in. niderlandzki i turecki 🙂 Jeden z inżynierów Google zapowiedział na G+ szybkie naprawienie tego błędu, ale widać nie jest to taka bułka z masłem, skoro nadal w GWT widzę różne języki.
Fajne te ostatnie zmiany w GWT (poza tymi błędami z tłumaczeniami;])
Skąd się tylko te błędy biorą? Mam ich sporo, ale wszystkie wskazywane podstrony działają. Google Bot w czasie testu również dobrze je pobiera.
Może w trakcie pracy serwisu przy większym obciążeniu googlebot nie moze się dobić do stron ?
Właśnie nie jestem pewny. Ledno wykasowałem błędy wszystkie, a tu znowu 1000 nowych. Wszystkie mają to samo:
„Googlebot nie mógł zaindeksować Twojego URL-a, ponieważ Twój serwer albo wymaga uwierzytelnienia, by uzyskać dostęp do strony, albo blokuje Googlebotowi dostęp do Twojej witryny. Więcej informacji”
Zobacz skąd prowadza linki do danego URLa (też w GSC). Ewentualnie zrób „Pobierz jako Google”.
Teraz pobieram niektóre strony, które miały błąd indeksowania i Google pokazuje że są przekierowywane, a najdziwniejsze jest to, ze wchodzi się na nie normalnie.
Nagromadzenie błędów 404 nie szkodzi – analizuj to wszystko powoli. Czasem Google w GSC potrafi pokazywać jakieś stare rzeczy i nei musza sie zgadzać ze stanem faktycznym. Reakcja GSC na zmiany mogą być nawet po kilku tygodniach.