Crawler
En crawler er et program som søgemaskinerne anvender til at indeksere websites på internettet. Crawlere starter typisk på sitets forside, analyserer html‘en og følger alle de links de finder på siden.
Skriv dig bag øret at crawlere IKKE anvender cookies, IKKE forstår javascript, IKKE forstår Flash, IKKE udfylder felter i formularer. Du skal derfor som udgangspunkt gøre alt dit indhold tilgængeligt med links skrevet som <a> tags.