Robots.txt

Tiedosto, joka on luoto ohjaamaan hakukoneiden indeksointia. Se sisältää ohjeet, mitä sivuja hakukoneet voivat indeksoida tai eivät.

File guiding search engine crawlers on what can or cannot be indexed.