Új lapon nyílik meg
Illusztráció – AI-val készült

OpenAI biztonsági vezető távozása: „messze nem elég óvatosak"

David Robinson, az OpenAI biztonsági jelentéseinek írója lemondott, és nyilvánosan bírálta a céget. Szerinte a vállalati kultúra megromlott, és az MI-cégek nem elég óvatosak a fejlesztések során.

Az OpenAI biztonsági vezető távozása ismét felhívja a figyelmet a mesterséges intelligencia fejlesztésének kockázataira. David Robinson, aki a ChatGPT fejlesztői csapatában dolgozott és az új modellek biztonsági jelentéseit írta, a héten jelentette be távozását. A The Verge és a TechCrunch beszámolója szerint Robinson egy The Atlantic-ban megjelent cikkben fejtette ki aggodalmait, amelyben a „megromlott kultúráról" beszélt. Robinson nem az első, aki így távozik az OpenAI-tól. A Guardian összefoglalója szerint a biztonsági szakember csatlakozott azokhoz a korábbi munkatársakhoz, akik már korábban figyelmeztettek: a technológiát fejlesztő cégek közel sem elég óvatosak. Robinson azonban úgy véli, hogy a probléma mélyebb, mint amit konkrét szabályokkal vagy új törvényekkel meg lehetne oldani – a teljes vállalati kultúráról kell beszélni. Miért aggódik a biztonsági szakember? Az OpenAI biztonsági vezető távozása mögött konkrét tapasztalatok állnak. Robinson szerint a cég fejlesztési ütemére jellemző, hogy egyik újításról a másikra ugrálnak, miközben nem érik el azt a biztonsági szintet, ami szükséges lenne. Ez azt jelenti, hogy a modellek gyorsabban kerülnek piacra, mint ahogy alaposan letesztelnék őket minden lehetséges kockázatra. A biztonsági jelentések azok a dokumentumok, amelyek minden nagyobb modellkiadás előtt összefoglalják, milyen veszélyeket hordozhat az új rendszer – például félretájékoztatást, visszaélési lehetőségeket vagy váratlan viselkedést. Ha ezeket a jelentéseket írja valaki, és úgy érzi, hogy a cég nem veszi elég komolyan a figyelmeztetéseket, az komoly jelzés. Érdekesség, hogy az OpenAI az utóbbi hetekben mintha lassítana: a Telex szerint a héten be is jelentették, hogy elhalasztják egy új generációs modell kiadását, miután belső tesztelés közben biztonsági aggályok merültek fel. Ez azt mutatja, hogy a nyilvános kritikák talán hatnak. Más szakértők is megszólaltaknnRobinson nem egyedül áll az aggodalmával. Geoffrey Irving, aki korábban az OpenAI-nál és a Google DeepMind-nál is dolgozott, szombaton a Time magazinban jelentetett meg cikket. Irving szerint a mesterséges intelligencia potenciális pusztító erejéről szóló figyelmeztetések még mindig alábecsülik a helyzet súlyosságát. Sőt, 50 százalékos esélyt lát arra, hogy az embernél okosabb MI-rendszerek fejlesztése végzetes lehet az emberiségre nézve. Szerinte a következő 2-10 évben tett lépések fogják meghatározni a jövőt. Az OpenAI biztonsági vezető távozása és Irving figyelmeztetése egyaránt arra mutat, hogy a terület belső szakértői komolyan veszik a kockázatokat. Ugyanakkor vannak szkeptikusok is: a 2008-as pénzügyi válságot megjósoló Steve Eisman szerint az MI-ben érdekelt cégek érdeke, hogy pánikot keltsenek a biztonság kérdésével – így ugyanis szabályozást érhetnek el, ami a kisebb versenytársakat kiszoríthatja. Mit javasol Robinson?nnDavid Robinson két konkrét biztonsági változtatást szorgalmazott. Először is, az MI-cégeknek támaszkodniuk kellene más területek – például a nukleáris energia vagy a repülés – biztonsági szakértelmére. Ezek az iparágak évtizedek óta dolgoznak olyan rendszerekkel, ahol a hiba katasztrofális lehet, és kidolgozták a megfelelő biztonsági kultúrát és ellenőrzési mechanizmusokat. Másodszor, Robinson szerint egy teljesen új tudományágra van szükség, amely biztosítja, hogy a nagy teljesítményű MI-rendszereket önálló működésük során is kordában lehessen tartani. Ez azért fontos, mert a legfejlettebb modellek egyre inkább képesek önállóan dönteni és cselekedni, és ha egyszer elindul egy folyamat, nem biztos, hogy meg lehet állítani. Az utóbbi időben egyre több MI-fejlesztő kongatja a vészharangot, hogy éppen most dől el az emberiség sorsa, és a szabályozatlan fejlesztés veszélyes lehet. Az OpenAI biztonsági vezető távozása és nyilvános figyelmeztetése újabb jel, hogy a terület belülről is komoly aggodalmakat lát.

Mit jelent ez neked?

Ha AI-t tanulsz vagy használsz, ez a hír azt jelenti, hogy a legnagyobb cégek belső szakértői is aggódnak a fejlesztések üteme miatt. Nem arról van szó, hogy az AI rossz lenne, hanem hogy túl gyorsan haladnak a biztonsági ellenőrzésekhez képest. Ez fontos, mert a modellek, amiket te is használsz, csak akkor megbízhatók, ha alaposan tesztelték őket.

Forrás: Telex – Távozott az OpenAI egyik biztonsági vezetője, szerinte az MI-cégek messze nem elég óvatosak · TechCrunch – OpenAI safety employee resigns, claiming the company’s ‘culture is broken’ · The Verge – An OpenAI safety employee has quit and is sounding the alarm

Megosztás:FacebookLinkedInX

További hírek

Az összes AI-hír →