Cloudflare legújabb bejelentése szerint a Perplexity nevű keresőmotor crawlerei letiltásra kerültek, mivel a cég több felhasználói panasz alapján megállapította, hogy a Perplexity nem tartotta be a robots.txt protokollt, és agresszív módon próbált bejutni a weboldalakra. A Cloudflare Verified Bots Program keretében a botoknak meg kell felelniük bizonyos irányelveknek, amelyek közé tartozik a robots.txt szabályainak betartása, ellenkező esetben elveszíthetik a megbecsült státuszukat. A Perplexity viselkedése A Cloudflare felfedezte, hogy a Perplexity crawlerei különféle taktikákat alkalmaztak a blokádok megkerülésére, például forgó IP-címeket és a felhasználói ügynökök hamisítását. Az egyik módszerük az volt, hogy váltogatták az IP-címeket, így elkerülhették a korlátozásokat. Ezen kívül a Perplexity a felhasználói ügynököket is manipulálta, megpróbálva úgy feltüntetni…