Googlebot Crawl Csökkenés? Müller Server Hibákra Figyelmeztet

A Googlebot más néven a Google keresőmotorjának „robotja”, amely a weboldalakat bejárja, hogy információkat gyűjtsön róluk. Az utóbbi időben aggodalomra adhat okot, hogy a Googlebot aktivitása jelentősen csökkent. Egy Reddit beszélgetés során John Mueller, a Google munkatársa felhívta a figyelmet arra, hogy a hirtelen csökkenés mögött általában nem a 404-es hibák állnak, hanem sokkal inkább a szerveroldali problémák, mint például a 429-es, 500-as vagy 503-as válaszok.

A Googlebot aktivitásának csökkenése

Az egyik felhasználó arról számolt be, hogy a Googlebot keresési kéréseinek száma körülbelül 90%-kal csökkent, miután hibás hreflang URL-eket telepítettek a HTTP fejlécbe. Ezek az URL-ek 404-es hibát adtak vissza, amikor a Googlebot próbálta őket elérni. A felhasználó megjegyezte: „Múlt héten egy telepítés véletlenül hibás hreflang URL-eket adott hozzá a Link: HTTP fejlécben az oldalon: a Googlebot azonnal bejárta őket, és mindegyik 404-es hibát adott vissza. 24 órán belül a keresési kérések 90%-kal csökkentek. Az indexelt oldalak stabilak, de a bejárási volumen még nem állt helyre.”

Mueller hangsúlyozta, hogy a 404-es hibák önmagukban nem magyarázzák meg a hirtelen csökkenést, és valószínűbb, hogy szerveroldali problémák állnak a háttérben. Szerinte a bejárási arány ilyen gyors reagálása csak akkor várható, ha a szerver a 429-es, 500-as vagy 503-as válaszokat küldött, vagy ha időtúllépés történt. Azt tanácsolta, hogy érdemes ellenőrizni, hogy mi történt valójában a szerveroldalon, mivel a Googlebot általában újra megpróbálkozik a 404-es hibákkal, miután felfedezte őket.

Mit tegyünk, ha csökken a bejárási aktivitás?

Amennyiben a bejárási kérelmek drámaian csökkennek, fontos, hogy ellenőrizzük, mit is visszaadott a szerver és a CDN (Content Delivery Network) a Googlebotnak az adott időszakban. Ehhez érdemes átnézni a naplókat és a Google Search Console bejárási statisztikáit, hogy lássuk, voltak-e kiugró számok a 429-es, 500-as vagy 503-as válaszokban. Továbbá meg kell bizonyosodni arról is, hogy egy CDN, WAF (Web Application Firewall) vagy a sebességkorlátozó nem blokkolta-e a Googlebotot. Fontos, hogy a jelentett 404-es hibák valóban domináló jelek legyenek, és ne véletlen egybeesések.

Mueller figyelmeztetett arra is, hogy a helyreállás nem azonnali folyamat. A bejárási arányok automatikusan normális szintre térnek vissza, miután a szerveroldali problémákat megoldották, de nincs meghatározott időkeret erre. A keresőoptimalizálás szempontjából tehát elengedhetetlen, hogy folyamatosan figyelemmel kísérjük a szerver működését és a Googlebot aktivitását, hogy időben reagálhassunk a felmerülő problémákra.

Császár Viktor véleménye a Googlebot tevékenységéről

Megkérdeztük Császár Viktor SEO szakértőt, hogy kommentálja a Googlebot aktivitásának csökkenésével kapcsolatos híreket. Viktor elmondta:

„A Googlebot aktivitásának csökkenése sok weboldal tulajdonos számára aggasztó lehet, különösen, ha hirtelen tapasztalják ezt a jelenséget. Az, hogy a 404-es hibák önmagukban nem okoznak drámai csökkenést, fontos figyelmeztetés, amit érdemes komolyan venni. A szerveroldali hibák, mint a 429-es és 500-as válaszok, sokkal nagyobb hatással vannak a bejárási rátákra. Ebből kifolyólag a weboldalak fenntartásakor figyelni kell a szerver teljesítményére és a CDN beállításaira is. Amennyiben ilyen problémák merülnek fel, javaslom a naplók alapos átvizsgálását, hogy gyorsan be lehessen azonosítani a hibák forrását.”

További információkért látogasson el Császár Viktor weboldalára: csaszarviktor.hu.

Forrás: SearchEngineJournal.com