Pozycjonerzy, którzy chcą ukryć swoje zaplecza zawsze blokowali roboty Yahoo. Po pojawieniu się Ahrefa i MajesticSEO przyszła pora na oba roboty. Blokadę można zastosować w pliku robots.txt, htaccess lub też bezpośrednio w pliku httpd.conf – w tym ostatnim przypadku jest to blokada globalna.
1. Identyfikacja robotów:
Ahrefs: (compatible; AhrefsBot/2.0; +http://ahrefs.com/robot/) MajesticSEO: (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)
2. Blokada w pliku httpd.conf
Na samym końcu pliku dodajemy:
# Bots blocked SetEnvIfNoCase User-Agent "DotBot" bad_bot SetEnvIfNoCase User-Agent "MJ12bot" bad_bot SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot SetEnvIfNoCase User-Agent "sitebot" bad_bot SetEnvIfNoCase User-Agent "LexxeBot" bad_bot SetEnvIfNoCase User-Agent "Yandex" bad_bot SetEnvIfNoCase User-Agent "Ezooms" bad_bot SetEnvIfNoCase User-Agent "ichiro" bad_bot SetEnvIfNoCase User-Agent "AppEngine-Google" bad_bot
< Location / > Order Allow,Deny Deny from env=bad_bot Allow from all < / Location >
I na koniec oczywiście restart apache.
Klikając przycisk “Opublikuj komentarz” potwierdzasz, że zapoznałeś się z Regulaminem i akceptujesz jego postanowienia. Będziemy przetwarzać Twoje dane podane w formularzu w celu publikacji komentarza w serwisie. Administratorem Twoich danych osobowych jest SEMGENCE Sp. z o.o. Szczegółowe informacje znajdziesz w naszej Polityce prywatności.