Indekserbarhed: robots.txt og meta robots
Hvad er robots.txt og meta robots?
robots.txt er en tekstfil, der findes i webstedets rodmappe (f.eks. https://example.com/robots.txt) og fortæller søgemaskinernes bots, hvilke mapper eller sider de må indeksere (crawl). Meta robots-tagget findes derimod i sidens HTML <head> del og styrer, om en side skal indekseres i søgeresultaterne, selvom den allerede er blevet indekseret. De to fungerer på forskellige niveauer: Den ene besvarer spørgsmålet »må du komme ind ad denne dør?«, den anden »kan du tilføje dette rum til kataloget, når du er kommet ind?«.
Denne skelnen forveksles ofte, fordi begge emner diskuteres under overskriften »styring af bots«, men deres anvendelsesområder er helt forskellige, og en forkert kombination kan føre til uønskede resultater.
robots.txt er faktisk en »regelanmodning«, ikke en sikkerhedsforanstaltning: velmenende bots (som Googlebot) overholder disse regler, men ondsindede bots kan ignorere filen fuldstændigt. Derfor er det en forkert sikkerhedsantagelse at forsøge at »skjule« fortroligt eller følsomt indhold ved hjælp af robots.txt.
Hvorfor er det vigtigt?
At forveksle disse to mekanismer kan alvorligt skade webstedets synlighed. Hvis en side blokeres for indeksering via robots.txt, kan søgemaskinen slet ikke se noindex -taget på den pågældende side — fordi den først skal indeksere siden for at se taget — og siden kan ved en fejl forblive i indekset (typisk som en post uden titel eller beskrivelse).
Når de bruges korrekt, giver disse to værktøjer dig mulighed for nøjagtigt at styre, hvilket indhold der vises i søgeresultaterne: robots.txt holder indekseringsbudgettet væk fra irrelevante områder (f.eks. kontrolpanelet, søgeresultatsider), mens meta robots-taget sikrer, at bestemte sider (f.eks. takkesiden, filtrerede listevarianter) fjernes fra indekset.
På store websteder er crawl-budgettet en begrænset ressource: botten crawler kun en del af webstedet ved hvert besøg. Ved at blokere irrelevante områder (f.eks. interne søgeresultatsider, filterkombinationer) med robots.txt sikrer du, at botten bruger sin tid på de virkelig vigtige sider.
Hvordan løses det?
- Bloker kun de mapper, som du virkelig ikke ønsker skal indekseres (f.eks. administrationspaneler, indkøbskurvsider), ved hjælp af robots.txt.
- Hvis du vil fjerne en side fra indekset, skal du ikke gøre det via robots.txt,
<meta name="robots" content="noindex">. - Husk, at siden skal være åben for indeksering via robots.txt, for at noindex kan fungere.
- Følg princippet om én eneste korrekt kilde: gentag ikke det samme signal på modstridende vis ved hjælp af flere metoder.
- Tjek robots.txt-filen regelmæssigt; der kan være test- eller staging-begrænsninger, der ved en fejl er blevet siddende i den live-miljø.
- Brug dækningsrapporten i Google Search Console til regelmæssigt at kontrollere, hvilke sider der er markeret som »ikke indekseret« eller »ekskluderet på grund af noindex«.
Eksempel
User-agent: *
Disallow: /admin/
Allow: /
<meta name="robots" content="noindex, follow">Dårligt eksempel: En side, der først Disallow: /kampanya/ i robots.txt og derefter tilføje den til selve siden <meta name="robots" content="noindex"> — da botten aldrig vil indeksere siden, virker noindex-mærket ikke, og siden kan stadig vises i indekset.
Almindelige fejl
Disallow: /ved at lukke hele webstedet for indeksering ved en fejl.- At både blokere en side via robots.txt og tilføje et noindex-tag (taget ses slet ikke, og siden kan forblive i indekset).
- At glemme at overføre den restriktive robots.txt-fil fra test-/staging-miljøet til det live websted.
- Ved en fejl at tilføje vigtige sider til Disallow-listen.
- At overføre de gamle robots.txt-regler til det nye websted efter en flytning eller et redesign uden at gennemgå dem først; en begrænsning, der gav mening på det gamle websted, kan i den nye struktur også omfatte vigtige sider.
- Manglende fastlæggelse af en konsekvent indekseringspolitik for sider, der genererer paginerings-, filter- eller sorteringsparametre; når nogle af disse sider forbliver i indekset, mens andre udelades, skaber det et forvirrende signal på tværs af hele webstedet.
- At bruge canonical-tagget og noindex på samme side på en modstridende måde; f.eks. at markere en side som noindex, mens en anden side angives som kanonisk, skaber forvirrende signaler.
- At glemme, at en enkelt robots.txt-fil er tilstrækkelig for hele webstedet, og i stedet forsøge at indføre separate adgangsbegrænsninger i undermapper; robots.txt gælder kun i rodmappen.
- I Seoraporu.co-rapporten markeres modstridende signaler som »blokeret med robots.txt, men der er også noindex« separat; vælg kun én af dem i stedet for at have begge på samme side.