Co to jest plik robots.txt?

Gdy zasób internetowy już działa, pierwszą rzeczą, jaką należy zrobić, jest poinformowanie o nim wyszukiwarek i zaindeksowanie go. Dlaczego? Aby wiedzieli, że w sieci pojawiła się nowa witryna. Dzięki temu wiedzą, co można indeksować, a co jest zabronione. Wszystko to jest realizowane w bardzo prosty sposób — za pomocą pliku tekstowego robots.txt. Robots txt — co to jest? Po co mi to? Jak się go tworzy? Te i inne pytania rozważymy w tym artykule.

Co to jest plik robots txt?

Wyobraź sobie, że masz małe pudełko. A w nim najróżniejsze rzeczy. Na przykład:

• ważne dokumenty (paszport, karta ubezpieczenia społecznego);
• osobisty pamiętnik;
• listy od przyjaciół, znajomych, krewnych;
• dary z przeszłości;
• albumy ze zdjęciami itp.

Niektórych rzeczy nie chce się nikomu pokazywać. Niektóre rzeczy są utrzymywane w tajemnicy przed najbliższymi. W przypadku innych na pudełku znajduje się naklejka „Nie patrzeć”. I dobrze wychowani ludzie będą to robić.

Jeśli przełożysz to wszystko na strony internetowe, okaże się, że naklejka „Nie patrz” to plik robots.txt, a „wykształceni ludzie” to roboty Google, które indeksują zasoby internetowe (czyli przekopują się przez nie).

Jak utworzyć plik robots.txt?

Plik ten jest zwykle tworzony w Notatniku. Lub w dowolnym innym edytorze tekstu. Algorytm jest elementarny:

• utworzyć plik tekstowy w dogodnym miejscu;
• wpisać wymagane polecenia;
• zapisać plik, podając nazwę roboty (rozszerzenie zostanie ustawione automatycznie).

Pozostaje tylko wypełnić go w katalogu głównym witryny (np. za pomocą programu FileZilla lub innego) i gotowe.

Dla leniwych istnieją alternatywne rozwiązania. Pierwszym krokiem jest pobranie gotowego pliku. Po drugie — utworzyć online. To prawda, w obu przypadkach należy dokładnie sprawdzić plik i zobaczyć, co jest w nim napisane. W przeciwnym razie można zablokować indeksowanie ważnych stron i pozwolić na skanowanie niepotrzebnych stron. Trzeba to jednak zrozumieć, dlatego lepiej jest samemu napisać polecenia.

Czy mogę edytować plik robots txt?

Plik robots.txt można edytować w dowolnym momencie (zobacz jak to zrobić: https://sempai.pl/blog/robots-txt-czym-jest-plik-robots-i-do-czego-sluzy/). Nie przejmuj się więc, jeśli zapomnisz coś napisać lub określisz coś niepotrzebnego. Wystarczy edytować plik, a następnie przesłać jego zaktualizowaną wersję do katalogu głównego witryny i poinformować o tym wyszukiwarki (dzięki temu będą one ponownie sprawdzać witrynę i pamiętać o nowych zasadach).