Cloudflare blokkolja Perplexity-t a weboldalak másolásával kapcsolatos csalások miatt

Cloudflare legújabb bejelentése szerint a Perplexity nevű keresőmotor crawlerei letiltásra kerültek, mivel a cég több felhasználói panasz alapján megállapította, hogy a Perplexity nem tartotta be a robots.txt protokollt, és agresszív módon próbált bejutni a weboldalakra. A Cloudflare Verified Bots Program keretében a botoknak meg kell felelniük bizonyos irányelveknek, amelyek közé tartozik a robots.txt szabályainak betartása, ellenkező esetben elveszíthetik a megbecsült státuszukat.

A Perplexity viselkedése

A Cloudflare felfedezte, hogy a Perplexity crawlerei különféle taktikákat alkalmaztak a blokádok megkerülésére, például forgó IP-címeket és a felhasználói ügynökök hamisítását. Az egyik módszerük az volt, hogy váltogatták az IP-címeket, így elkerülhették a korlátozásokat. Ezen kívül a Perplexity a felhasználói ügynököket is manipulálta, megpróbálva úgy feltüntetni magát, mint egy átlagos böngésző, például Chrome. Ezzel a viselkedésükkel nemcsak a Cloudflare irányelveit sértették meg, hanem a weboldalak üzemeltetőinek bizalmát is aláásták.

Az ilyen típusú „stealth crawling” viselkedés nemcsak etikai kérdéseket vet fel, hanem komoly hatással van a weboldalak SEO-jára is. Ha a crawlers nem tartják be a meghatározott szabályokat, akkor a weboldalak tulajdonosai nem tudják biztosítani, hogy az adataik és tartalmuk megfelelően védett legyen. A keresőoptimalizálás szempontjából ez különösen érzékeny terület, hiszen a keresőmotorok megbízhatósága és a weboldalak láthatósága szorosan összefonódik.

A Cloudflare reakciója

A Cloudflare bejelentette, hogy a Perplexityt törlik a hitelesített botok listájáról, és új blokkolási szabályokat vezetnek be, hogy megakadályozzák a további észlelt „stealth crawling” tevékenységeket. A cég hangsúlyozta, hogy az internet alapja a bizalom, és a crawlers-nek átláthatónak kell lenniük, világos célt kell szolgálniuk, és követniük kell a weboldalak irányelveit. A Perplexity viselkedése, amely ellentétes ezekkel az elvekkel, vezetett a botok letiltásához.

Ez a döntés nemcsak a Perplexity számára jelent problémát, hanem a weboldalak üzemeltetői számára is, akik esetleg szeretnék, hogy a Perplexity crawerei hozzáférjenek az oldalaikhoz. Ennek érdekében érdemes ellenőrizniük a Cloudflare beállításaikat, hogy megbizonyosodjanak arról, hogy az oldalakat nem blokkolják a Perplexity crawerei. A felhasználók számára fontos, hogy tisztában legyenek a weboldaluk SEO stratégiájával és azzal, hogy milyen hatással van a crawler viselkedése a láthatóságra.

Mit mond a szakértő?

Megkérdeztük Császár Viktor SEO szakértőt, hogy mit gondol a Perplexity és a Cloudflare közötti konfliktusról. Viktor elmondta: „Ez a helyzet rávilágít arra, mennyire fontos, hogy a weboldalak üzemeltetői tisztában legyenek a crawlers viselkedésével. A Perplexity által alkalmazott technikák nemcsak etikátlanok, hanem komoly fenyegetést jelentenek a weboldalak biztonságára nézve is. A Cloudflare lépése helyes, hiszen a bizalom megőrzése alapvető fontosságú az online környezetben. A jövőben a weboldalaknak még inkább figyelniük kell arra, hogy milyen crawlers férhetnek hozzá az adataikhoz, és hogyan biztosíthatják a megfelelő védelmet.”

További információkért látogasson el Császár Viktor weboldalára: csaszarviktor.hu.

Forrás: SearchEngineJournal.com