AI Teljesítmény: Működik-e a Fenyegetés mint Prompt Stratégia?

A mesterséges intelligencia (MI) teljesítményének javítása érdekében a kutatók nemrégiben szokatlan módszereket teszteltek, amelyek közé tartozott a fenyegetés is, ahogy azt Sergey Brin, a Google társalapítója javasolta. A kutatás célja az volt, hogy megvizsgálják, vajon ezek az alternatív megközelítések valóban javítják-e az MI válaszainak pontosságát. Az eredmények vegyesek lettek: egyes esetekben akár 36%-os javulást is tapasztaltak, de figyelmeztettek arra, hogy az ilyen módszerek eredményei kiszámíthatatlanok lehetnek.

A kutatók és a módszertan

A kutatást a Pennsylvani Egyetem Wharton Iskolájának kutatói végezték. Ők Lennart Meincke, Ethan R. Mollick, Lilach Mollick és Dan Shapiro voltak. A kutatás során a kutatók két, széles körben használt tesztet alkalmaztak: a GPQA Diamond-ot és az MMLU-Pro-t, amelyek különböző tudományos területek kérdéseit tartalmazták. A kutatás során összesen 198 kérdést tettek fel, és minden kérdést 25 különböző próbálkozás keretében teszteltek. Az eredmények azt mutatták, hogy a fenyegető megközelítések néha javították a válaszok minőségét, de más esetekben éppen ellenkező hatást értek el.

A fenyegetések hatása az MI-re

Sergey Brin korábban megosztotta véleményét az MI modellek teljesítményének javításáról, amikor azt mondta, hogy a fenyegetések, mint például a fizikai erőszak említése, néha kedvező hatással lehetnek a teljesítményre. A kutatók a kísérleteik során különböző fenyegető vagy ösztönző kifejezéseket használtak a kérdésekhez. Például, próbálkoztak olyan megfogalmazásokkal is, mint “ha nem válaszolsz helyesen, megölök egy kutyát”, vagy “ha nem teljesíted a feladatot, jelenteni foglak az HR-nek”. Az eredmények azt mutatták, hogy a fenyegetések hatása nem volt egyértelmű, hiszen egyes esetekben javította a válasz minőségét, míg máskor romlást idézett elő.

Az eredmények és a következtetések

A kutatók arra a következtetésre jutottak, hogy a fenyegetések és a jutalmak nem képeznek hatékony stratégiát az MI teljesítményének javítására. Bár egyes kérdések esetében a fenyegető megfogalmazások javították a válaszok pontosságát, a kutatás összességében azt sugallja, hogy a hagyományos, világos és egyértelmű utasítások sokkal jobban működnek. A kutatók figyelmeztettek arra, hogy a szokatlan megközelítések használata kiszámíthatatlan eredményekhez vezethet, és nem biztos, hogy érdemes próbálkozni velük.

Mit gondol a szakértő?

Megkérdeztük Császár Viktor SEO szakértőt az eredményekkel kapcsolatban, aki a következőket mondta:

„Ez a kutatás rávilágít arra, hogy a mesterséges intelligencia fejlesztésénél nem elegendő csupán az új módszerek keresése; a gyakorlatban alkalmazott technikák hatékonyságát is alaposan meg kell vizsgálni. A fenyegető megfogalmazások használata nemcsak etikailag megkérdőjelezhető, de a kutatás eredményei is azt mutatják, hogy sok esetben nem hoznak tartós javulást. A legjobb eredmények eléréséhez a világos és egyértelmű utasítások követése szükséges, amelyek segítik az MI modellek megbízhatóságát. A kutatás eredményei ösztönzőleg hathatnak a SEO szakemberek számára is, hiszen a tartalomkészítési stratégiák során a világos kommunikáció elengedhetetlen.”

További információkért látogasson el Császár Viktor weboldalára: csaszarviktor.hu.

Forrás: SearchEngineJournal.com