Spis treści
Biorąc pod uwagę ilość stron znajdujących się w przestrzeni Internetu, możemy zadać sobie pytanie, czy roboty wyszukiwarek są w stanie dotrzeć do każdej z nich. Niestety, jest to niemożliwe. Nawet roboty mają swoje ograniczenia i potrzebują ukierunkowania, które strony powinny skanować, a które niekoniecznie.
Co tak naprawdę określa limit crawlowania i jak mądrze zarządzać dostępnym ‘budżetem’?
Co to jest crawl budget?
Crawl budget nie ma konkretnie określonej definicji i często jest pojęciem trudnym do wyjaśnienia. Możemy go jednak zidentyfikować jako liczbę podstron, którą roboty Google są w stanie zeskanować i zaindeksować jednorazowo w obrębie danej witryny. Crawl budget bazuje na dwóch wskaźnikach – Crawl Rate Limit oraz Crawl Demand.
Crawl Rate Limit to ilość połączeń jakie mogą wystąpić jednocześnie podczas crawlowania witryny. Został on wprowadzony aby ograniczyć przeciążenia serwera i utrzymać odpowiednią wydajność strony podczas crawlowania. Na CRL, oprócz ogólnej jakości strony pod kątem SEO wpływa także tzw. crawl health czyli czas reakcji serwera na działania robota Google, który w praktyce przekłada się również na częstotliwość indeksowania. W celu sprawdzenia i analizy wskaźników dotyczących Crawl Rate Limit warto zajrzeć do Google Search Console.
Crawl Demand jest wskaźnikiem, opartym na ocenie działań prowadzonych w witrynie. Jeśli na stronie regularnie pojawiają się treści i aktualizacje oraz witryna cieszy się dużą popularnością roboty uznają ją za wartą uwagi, przez co jest crawlowana częściej.
Jest to kolejny dowód na to, że regularność w działaniu oraz jakościowy content jest pomocny w procesie indeksowania i pozycjonowania strony w wynikach wyszukiwania.
Co zrobić żeby dobrze wykorzystać crawl budget?
Jeśli Twoja witryna składa się z małej ilości podstron prawdopodobnie crawl budget jest wystarczający, żeby zeskanować i zaindeksować większość z nich. Problem pojawia się w przypadku bardziej rozbudowanych serwisów lub sklepów internetowych z dużą ilością kategorii i produktów.
Jakie kroki musisz podjąć, żeby dobrze wykorzystać dostępny crawl budget?
Plik robots.txt i Sitemap
Zwróć uwagę na plik robots.txt Twojej witryny. Upewnij się, czy jego zawartość jest odpowiednia i aktualna. Pamiętaj, że dyrektywy umieszczone w pliku robots.txt stanowią tylko sugestię dla robotów wyszukiwarek. Sprawdź zatem jakie adresy mimo sugerowanej blokady są nadal indeksowane.
W pliku robots.txt powinien znaleźć się również adres mapy witryny w formacie XML.
Warto zweryfikować czy adresy URL znajdujące się w sitemapie są aktualne, poprawne i podzielone na odpowiednie kategorie i typy podstron. Ułatwia to indeksację oraz kontrolę nad plikiem.
Odpowiedzi serwera
Przeanalizuj swoją stronę pod kątem błędów i przekierowań. Informacje na ten temat możesz uzyskać w Google Search Console i zakładce ‘Indeks’. Monitorowanie pojawiających się tam błędów jest podstawową kwestią w pozycjonowaniu witryny, więc jeśli nie jesteś na bieżąco w kwestii komunikatów dotyczących indeksacji, warto się tym zainteresować.
Jeśli w obrębie serwisu występują błędy typu 404, błędy serwera lub łańcuchy przekierowań należy wdrożyć odpowiednie rozwiązania i wyeliminować je ze strony.
Architektura informacji
Dobrze uporządkowane dane umożliwiają łatwe i szybkie poruszanie się po stronie zarówno użytkownikom, jak i robotom wyszukiwarek. Planując architekturę informacji warto uwzględnić dane dotyczące naszego celu biznesowego, ważnych dla nas podstron oraz tego co chcemy wyeksponować na stronie głównej naszej witryny. Odpowiedni podział na kategorie, intuicyjne menu i nawigacja oraz reguła ‘trzech kliknięć” przyniesie korzyści nie tylko pod kątem UX ale również pozwoli na lepsze wykorzystanie crawl budgetu.
Wydajność strony
Temat optymalizacji wskaźników Core Web Vitals przewija się niemal w każdym zagadnieniu dotyczącym SEO. Nie bez powodu.
Doprowadzenie ich do pożądanej wartości wpływa na wiele aspektów. Między innymi crawl budget. Szybsze ładowanie strony i jej wydajność pozwalają na przeskanowanie większej ilości podstron, co z przypadku crawl budgetu jest niezwykle istotne.
Duplikacja i kanibalizacja
Duplicate content oraz treści, które się kanibalizują to problemy do rozwiązania w trybie natychmiastowym. Jeśli nie mamy wpływu na to, jaki adres URL wyświetli się na daną frazę kluczową, nie mamy też kontroli nad crawl budgetem, który może być marnowany na mało istotne dla nas strony.
Unikalne i regularnie publikowane treści wpływają pozytywnie na odbiór strony, ale nie należy zapominać również o ich recyklingu. Google z reguły nie chce tracić czasu na skanowanie i indeksowanie zduplikowanych treści lub tych nieaktualnych i niskiej jakości. Warto więc zainwestować swój czas na rozwój contentu w obrębie witryny.
Linkowanie wewnętrzne i zewnętrzne
Zdobywanie wartościowych linków do strony zawsze będzie działaniem, które się opłaci w procesie pozycjonowania.
Backlinki z domen o dobrych parametrach, prowadzące do Twojej witryny będą pozytywnie wpływać na profil linków, autorytet oraz ocenę strony przez narzędzia typu Majestic SEO czy Ahrefs. Dobrze zaplanowana strategia link buildingowa to fundament działań w kierunku wysokich pozycji w wyszukiwarce.
Równie ważne dla crawl budgetu jest linkowanie wewnętrzne w obrębie witryny. Stanowi ono swego rodzaju scieżkę dla robotów, po której poruszają się między stronami. Jest to szczególnie przydatne w przypadku witryn o dużej ilości podstron. Umieszczając linki w formie dodatkowych modułów, poprzez stosowanie breadcrumbs lub bezpośrednio w tekście, pokazujemy robotom na jakie strony warto zajrzeć i ułatwiamy skanowanie i indeksację. Minimalizujemy również ryzyko tzw. orphan page czyli stron, które nie posiadają łączy wewnętrznych przez co roboty nie mają do nich dostępu.
Dlaczego warto optymalizować crawl budget?
Optymalizacja crawl budgetu powinna stanowić podstawowy element pracy nad pozycjonowaniem strony w wyszukiwarce. Bez dobrej indeksacji witryny nie mamy szans na pojawienie się w wynikach wyszukiwania oraz pozyskanie nowych odbiorców. Regularne monitorowanie wyżej omówionych aspektów jest niezbędne aby jak najlepiej wykorzystać budżet indeksowania.
Wiele z tych czynników to kwestie stricte techniczne. Jeśli potrzebujesz wsparcia w ich optymalizacji, z pewnością współpraca z agencją SEO to dobry krok w stronę osiągnięcia jak najlepszych efektów.
