Co to jest plik robots.txt

Plik robots.txt jest plikiem tekstowym, który służy do informowania robotów internetowych (znanych również jako pająki lub crawlery), które strony w witrynie nie powinny być dostępne. Jest to przydatne, jeśli istnieją części witryny, które nie chcesz, aby były indeksowane przez wyszukiwarki.