Kategori: Uncategorized
Hvad er en robots.txt fil og 3 gode tips til opsætning af robots.txt
skrevet af
En robots.txt fil er en lille tekstfil, der ligger i roden af din hjemmeside (ditdomæne.dk/robots.txt). Den bruges til at give instruktioner til webcrawlere (som f.eks. Googlebot) om, hvilke dele af din hjemmeside du ønsker at de skal og ikke skal besøge. Med andre ord så styrer robots.txt-filen, hvilke sider søgemaskinerne må crawle. Den kan bruges til at
