Hvad er X-Robots-Tag?
X-Robots-Tag er en HTTP-header, der gør det muligt at styre, hvordan søgemaskiner indekserer og crawler dine websider og filer. Hvor meta robots-tagget indsættes direkte i HTML-koden, placeres X-Robots-Tag i serverens svarheader og kan derfor anvendes til alt fra billeder, PDF’er og dokumenter til sider uden adgang til kildeteksten. Det giver dig langt mere fleksibilitet i håndteringen af filer end med det klassiske meta-tag. For eksempel kan du hurtigt blokere bestemte filtyper fra at blive indekseret, uden at der skal ændres i selve filen.
Sådan fungerer X-Robots-Tag
En X-Robots-Tag indsættes i HTTP-headeren som fx: X-Robots-Tag: noindex, nofollow. Det fortæller søgemaskiner, at indholdet ikke skal indekseres, og at links ikke skal følges. Mulighederne er mange, for du kan tildele tags som noindex, nofollow, noarchive, nosnippet og flere på både enkelte filer eller flere på én gang. Det er især brugbart, når du eksempelvis vil forhindre søgemaskiner i at indeksere printervenlige versioner af sider, mellemregninger, downloadbare filer eller sider med følsomt indhold. Husk, kun søgemaskiner, som læser HTTP-headeren, vil respektere X-Robots-Tagget.
Hvornår giver det mening at bruge X-Robots-Tag?
Du bør overveje at benytte X-Robots-Tag, når du skal styre indeksering af filer, der ikke er HTML-sider – eksempelvis billeder eller dokumenter. Hvis du har sider, hvor du ønsker at kontrollere, hvem der kan se og finde indholdet i søgemaskiner, kan du med fordel benytte dette tag. Typiske situationer er: – Blokering af PDF’er, eksempelvis rapporter eller præsentationer, fra søgeresultater. – Udelukkelse af test- eller staging-områder fra indeksering. – Kontrol over duplicate content, hvor flere sider har identisk indhold.
Typiske fejl og best practices
En uheldig opsætning kan hurtigt føre til, at vigtige sider ikke bliver fundet eller at følsomme dokumenter alligevel ligger åbent for alle. Tjek altid, at dine tags er sat præcist og test dine implementationer – både på serversiden og med værktøjer som fx Ahrefs. Det anbefales at have en fast rutine for at gennemgå brugen af X-Robots-Tag på dit domæne, særligt hvis du ofte uploader nye filer eller får ændret serverkonfigurationen. Overvej, om det også giver mening at supplere med andre metoder såsom adgangsbegrænsninger eller robots.txt, så du undgår utilsigtede indekseringer.
Sådan kommer du i gang med bedre indeksering
X-Robots-Tag dækker et behov, som ikke altid kan klares med klassisk meta robots-tag. Gennem en simpel ændring på serversiden kan du styre, hvordan både sider og filer optræder i søgemaskiner – og dermed opnå stærke resultater for både synlighed og kontrol over dit indhold. Vil du arbejde endnu mere med teknisk optimering, kan du også tage skridtet videre med SEO-ydelser, hvor du får et mere komplet setup omkring alle dele af din synlighed online.