Indexerbarhet: robots.txt och meta robots
Vad är robots.txt och meta robots?
robots.txt är en textfil som finns i webbplatsens rotkatalog (t.ex. https://example.com/robots.txt) och som anger för sökmotorrobotar vilka kataloger eller sidor de får genomsöka (crawl). Meta robots-taggen å sin sida finns i sidans HTML <head> del och styr om en sida ska indexeras i sökresultaten även om den redan har genomsökts. De fungerar på olika nivåer: den ena svarar på frågan ”får du komma in genom den här dörren?”, den andra på frågan ”får du lägga till det här rummet i katalogen efter att du har kommit in?”.
Denna skillnad förväxlas ofta eftersom båda diskuteras under rubriken ”hantering av botar”, men deras tillämpningsområden är helt olika och en felaktig kombination kan leda till oönskade resultat.
robots.txt är i själva verket en ”begäran om regler”, inte en säkerhetsåtgärd: välmenande botar (som Googlebot) följer dessa regler, men illvilliga botar kan helt ignorera filen. Därför är det en felaktig säkerhetsantagning att försöka ”dölja” hemligt eller känsligt innehåll med hjälp av robots.txt.
Varför är detta viktigt?
Att blanda ihop dessa två mekanismer kan allvarligt skada webbplatsens synlighet. Om en sida blockeras från att indexeras via robots.txt kan sökmotorn aldrig se noindex -taggen på den sidan – eftersom den först måste indexera sidan för att se taggen – och sidan kan av misstag förbli i indexet (oftast som en post utan titel eller beskrivning).
När de används korrekt gör dessa två verktyg det möjligt för dig att noggrant styra vilket innehåll som ska visas i sökresultaten: robots.txt håller indexeringsbudgeten borta från oviktiga områden (t.ex. administratörspanelen, sökresultatsidor), medan meta robots ser till att vissa sidor (t.ex. tacksidan, filtrerade listvarianter) tas bort från indexet.
På stora webbplatser är indexeringsbudgeten en begränsad resurs: boten indexerar endast en del av webbplatsen vid varje besök. Genom att blockera oviktiga områden (t.ex. interna sökresultatsidor, filterkombinationer) med robots.txt säkerställer du att boten ägnar sin tid åt de sidor som verkligen är viktiga.
Hur åtgärdar man detta?
- Blockera endast de kataloger som du verkligen inte vill ska genomsökas (t.ex. administrationspaneler, varukorgssidor) med robots.txt.
- Om du vill ta bort en sida från indexet ska du inte göra det med robots.txt,
<meta name="robots" content="noindex">med noindex. - Kom ihåg att sidan måste vara tillgänglig för indexering via robots.txt för att noindex ska fungera.
- Använd principen om en enda källa till sanning: upprepa inte samma signal på flera olika sätt som står i konflikt med varandra.
- Kontrollera robots.txt-filen regelbundet; det kan finnas test- eller staging-begränsningar som av misstag hamnat i den live-miljön.
- Använd täckningsrapporten (coverage) i Google Search Console för att regelbundet kontrollera vilka sidor som har markerats som ”inte indexerade” eller ”uteslutna på grund av noindex”.
Exempel
User-agent: *
Disallow: /admin/
Allow: /
<meta name="robots" content="noindex, follow">Dåligt exempel: att först lägga till Disallow: /kampanj/ i robots.txt och sedan lägga till <meta name="robots" content="noindex"> på själva sidan — eftersom boten aldrig kommer att indexera sidan fungerar inte noindex-taggen, och sidan kan fortfarande visas i indexet.
Vanliga misstag
- Att skriva
Disallow: /och därmed av misstag stänga av indexeringen av hela webbplatsen. - Att både blockera en sida med robots.txt och lägga till en noindex-tagg (taggen ignoreras helt, sidan kan finnas kvar i indexet).
- Att glömma att flytta den restriktiva robots.txt-filen från test-/stagingmiljön till den live-webbplatsen.
- Att av misstag lägga till viktiga sidor i Disallow-listan.
- Att flytta gamla robots.txt-regler till den nya webbplatsen efter en flytt eller omdesign utan att granska dem; en begränsning som var meningsfull på den gamla webbplatsen kan i den nya strukturen även omfatta viktiga sidor.
- Att inte fastställa en konsekvent indexeringspolicy för sidor som genererar paginerings-, filter- eller sorteringsparametrar; när en del av dessa sidor finns kvar i indexet medan andra utesluts skapas en förvirrande signal för hela webbplatsen.
- Att använda canonical-taggen och noindex på samma sida på ett motstridigt sätt; t.ex. att markera en sida som noindex samtidigt som man anger en annan sida som kanonisk skapar motstridiga signaler.
- Att glömma bort att en enda robots.txt-fil räcker för hela webbplatsen och istället försöka införa separata åtkomstbegränsningar i underkataloger; robots.txt gäller endast i rotkatalogen.
- I rapporten från Seoraporu.co markeras motstridiga signaler som ”blockerad med robots.txt men noindex finns också” separat; välj endast en av dem istället för att ha båda på samma sida.