Menu
Wróć do listy wpisów
Marketing Optymalizacja stron (SEO) Pozycjonowanie Strategie SEO
Strona główna > Blog > Plik robots.txt – jakie ma znaczenie w SEO?

Plik robots.txt – jakie ma znaczenie w SEO?

Plik robots.txt – jakie ma znaczenie w SEO?

Wchodząc do świata SEO, z pewnością spotkasz się z kilkoma istotnymi pojęciami, które trzeba znać. Jednym z nich jest plik robots.txt. Nie jest absolutnie obowiązkowym punktem w procesie pozycjonowania strony, ale jego zastosowanie może bardzo Ci się przydać. Na przykład kiedy nie chcesz, by określona część twojej strony www wyświetlała się wyszukiwarce internetowej. W jaki sposób ten plik wpływa na SEO? Co powinieneś o nim wiedzieć? Na te pytania odpowiadamy poniżej.

Robots.txt – co to jest i do czego służy?

Jest to plik tekstowy umieszczany w głównym katalogu strony internetowej na serwerze FTP. Możesz go stworzyć samodzielnie, w najprostszym edytorze tekstowym. Jego podstawowym zadaniem jest sugerowanie robotom wyszukiwarek (które analizują treści stron www), czego nie powinny robić na danej stronie.

Kluczowe jest tutaj słowo: sugerowanie, a nie zakazywanie. Na przykład roboty Google będą przestrzegać przekazanych w pliku sugestii, natomiast nie ma żadnej gwarancji na to, że inne, pochodzące z mniej uznanych źródeł, również. Jeśli więc chcesz ukryć poufne informacje na Twojej stronie www przed oszustami i spamerami, lepiej skorzystaj z funkcji ukrytego katalogu (.htaccess).

Z drugiej strony, gdy nie masz nic przeciwko temu, by boty pobrały całą zawartość strony do wyszukiwarki, wcale nie musisz wprowadzać pliku robots.txt do katalogu.

googlebot

Bądź uważny – wyjątki i porady

  • Ukrywanie poufnych informacji

Jak już wspomnieliśmy, plik robots.txt nie daje Ci stuprocentowej pewności na to, że Twoje poufne informacje będą chronione. Jeśli chcesz zabezpieczyć dane, skorzystaj z innych sposobów. Co więcej, musisz wiedzieć, że zawartość robots.txt nie jest w żaden sposób utajniona i zaszyfrowana, może być publicznie dostępna. Plik służy tylko do nakierowywania wyszukiwarek, co mają pobierać, a czego nie.

  • Indeksowanie przez Google

Jeśli zablokujesz stronę www w pliku robots.txt, pozostanie ukryta przed wyszukiwarką Google. Natomiast nie oznacza to, że nie może być w niej zaindeksowana. Adresy URL twojej strony, które zostaną umieszczone na innych stronach w Internecie oraz będą odnalezione przez Google podczas pobierania ich treści, i tak mogą być zaindeksowane.

  • Odciążenie serwera

Zdarza się, że automaty bardzo szybko pobierają treści stron i tym samym obciążają serwer. Żeby temu zapobiec, w pliku robots.txt zastosuj dyrektywy blokujące ich user agenta lub ich adresy IP.

Znaczenie dla SEO

Wyobraź sobie, że strona internetowa ma setki, a nawet i tysiące podstron – na przykład dlatego że jest sklepem internetowym o bogatym asortymencie. Część podstron z ważnymi dla właściciela produktami zawiera wartościowe treści, które mają szansę na wybicie się wyszukiwarce. Inne są mniej istotne. I tu pojawiają się dwa problemy.

Po pierwsze, zaindeksowanie całej witryny może potrwać bardzo długo, co źle wpływa na SEO. Po drugie, jak Google ma szybko odnaleźć te najbardziej wartościowe podstrony, które dla SEO będą najbardziej istotne.

Rozwiązanie tych dwóch problemów jest proste: niech Google pominie te podstrony, które są niewarte uwagi, czyli pozbawione treści wartościowych dla algorytmów wyszukiwarki. A w jaki sposób te podstrony mogą zostać pominięte, czyli kiedy roboty Google „nie zauważą” ich podczas pobierania treści strony? Kiedy zostaną zablokowane w robots.txt!

Mamy nadzieję, że to proste wyjaśnienie pomogło Ci dostrzec, jak robots.txt może wpływać na SEO i zechcesz wykorzystać go na swoją korzyść.

    Bezpłatna wycena