Il DEF CON AI Village di quest’anno ha invitato gli hacker a emergere e ad immergersi per scoprire errori e pregiudizi nei Language Large Models (LLM) creati da OpenAI, Google, Anthropic e altri.

L’evento collaborativo, che gli organizzatori dell’AI Village hanno descritto come “il più grande esercizio di gruppo rosso mai realizzato per qualsiasi gruppo di modelli di intelligenza artificiale”, ospiterà “migliaia” di persone, tra cui “centinaia di studenti provenienti da istituzioni e comunità trascurate”, tutte di chi avrà il compito di ricercare i difetti negli odierni LLM basati su chatbot e intelligenza artificiale generativa.

Pensa: bug tradizionali nel codice, ma anche problemi più specifici dell’apprendimento automatico, come pregiudizi, allucinazioni e jailbreak, che i professionisti etici e della sicurezza devono affrontare ora che queste tecnologie si stanno espandendo.

DEF CON si svolgerà dal 10 al 13 agosto di quest’anno a Las Vegas, USA.

I vari problemi con questi modelli non saranno risolti finché più persone non sapranno come progettare e valutare un team

Sven Katel, fondatore di AI Village, ha dichiarato: dichiarazione. “I vari problemi con questi modelli non saranno risolti finché più persone non sapranno come progettare e valutare un team”.

Il data scientist desidera vedere le ricompense per i bug e gli eventi di hacking dal vivo generalmente adattati per i sistemi basati su modelli ML. “Questi soddisfano due esigenze con un’azione, curando il danno e facendo crescere la comunità di ricercatori che sanno come aiutare”, ha detto Cattell.

Per coloro che fanno parte del Red Team quest’estate, l’AI Village fornirà laptop e accesso programmato a LLM di vari fornitori. Questo attualmente include modelli di Anthropic, Google, Hugging Face, Nvidia, OpenAI e Stability. L’annuncio di Villagers menziona anche che questo è “con la partecipazione di Microsoft”, quindi gli hacker potrebbero ottenere l’accesso a Bing. Abbiamo chiesto chiarimenti in merito.

Le Red Team avranno inoltre accesso alla piattaforma di valutazione sviluppata da Scale AI.

Ci sarà un sistema di punti in stile cattura la bandiera per migliorare i test di “un’ampia gamma di danni”, secondo AI Village. Chi ottiene il maggior numero di punti vince una GPU Nvidia di fascia alta.

L’evento è sostenuto anche dall’Ufficio per la scienza, la tecnologia e la politica della Casa Bianca; il Directorate of Computer and Information Sciences and Engineering della US National Science Foundation; e la conferenza congressuale sull’intelligenza artificiale.

Inoltre, l’annuncio arriva quando il vicepresidente degli Stati Uniti Kamala Harris e altri alti funzionari dell’amministrazione Biden hanno incontrato i capi di OpenAI, Anthropic, Microsoft e Google per discutere I rischi posti dall’intelligenza artificiale personale e sicurezza nazionale.

Separatamente, Roman Choudhury, che ha co-fondato un gruppo di esperti che si definiscono Biased Hackers che sostengono la trasparenza degli algoritmi, ha discusso la necessità di squadre rosse AI in una conferenza RSA il mese scorso.

L’AI Village ha ospitato il suo primo Machine Learning Public Bias Award al DEF CON due anni fa. ®