Robots.txt
Robots.txt er en fil som alle søgemaskinernes crawlere kigger efter inden de indekserer et website I robots.txt kan man angive sider som man ikke ønsker indekseret. Dette kan fx. være printvenlige versioner af siderne så man undgår duplicate content problemer.