L’IA generativa getta i semi dello scetticismo nella scienza seria

Lo scrittore è un commentatore scientifico

I grandi modelli linguistici come ChatGPT sono sostenitori della ragionevolezza. I chatbot, molti dei quali si basano sulla cosiddetta intelligenza artificiale generativa, sono addestrati a rispondere alle domande degli utenti raccogliendo informazioni pertinenti online e compilando risposte coerenti, elaborando avvincenti saggi per studenti, documenti legali autorevoli e notizie credibili.

Ma poiché i dati pubblicamente disponibili contengono informazioni errate e disinformazione, alcuni dei testi generati dalla macchina potrebbero non essere accurati o corretti. Ciò ha portato a una corsa allo sviluppo di strumenti per determinare se un testo è stato redatto da un essere umano o da una macchina. Anche la scienza sta lottando per adattarsi a questa nuova era, con vivaci dibattiti sull’opportunità che i chatbot possano scrivere articoli scientifici o addirittura creare nuove ipotesi.

L’importanza di distinguere tra intelligenza artificiale e intelligenza umana sta aumentando di giorno in giorno. Gli analisti di UBS hanno rivelato questo mese che ChatGPT è stata l’applicazione web in più rapida crescita nella storia, attirando 100 milioni di utenti attivi mensili a gennaio. Alcuni settori hanno deciso che non ha senso chiudere la porta statica: lunedì, l’International Baccalaureate ha dichiarato che gli alunni sarebbero stati autorizzati a utilizzare ChatGPT per scrivere saggi, a condizione che fossero referenziati.

In tutta onestà, il creatore della tecnologia è in anticipo sui suoi limiti. Il CEO di OpenAI Sam Altman ha avvertito a dicembre che ChatGPT è “abbastanza buono in qualche modo da creare un’impressione fuorviante di grandezza… Abbiamo molto lavoro da fare su robustezza e affidabilità”. L’azienda sta sviluppando una filigrana crittografata per l’output, che è una sequenza segreta di punteggiatura, ortografia e ordine delle parole leggibile dalla macchina; E rifinisce una “cartella di lavoro” per imparare la differenza tra testo sintetico e testo generato dall’uomo, usando esempi di entrambi per addestrarlo.

Eric Mitchell, uno studente laureato alla Stanford University, pensava che il classificatore avrebbe richiesto molti dati di addestramento. Insieme ai suoi colleghi, è venuto Rilevamento GPT, che è un approccio “fuoco” per individuare la differenza, il che significa che il metodo non richiede un apprendimento precedente. Invece, questo metodo riaccende il chatbot su se stesso, per scoprire il proprio output.

Funziona così: DetectGPT chiede a un chatbot quanto gli piace un testo di esempio, con “mi piace” l’abbreviazione di quanto il campione sia simile alle sue creazioni. Quindi DetectGPT fa un ulteriore passo avanti: “confonde” il testo, cambiando leggermente la formulazione. Il presupposto è che un chatbot sia più diversificato nei “mi piace” del testo modificato generato dall’uomo rispetto al testo generato dalla macchina. Nei primi test, i ricercatori hanno affermato che il metodo distingueva correttamente tra paternità umana e macchina il 95% delle volte.

Ci sono avvertimenti: i risultati non sono stati ancora sottoposti a revisione paritaria; Il metodo, sebbene migliore dell’ipotesi casuale, non ha funzionato in modo affidabile in tutti i modelli di intelligenza artificiale generativa. DetectGPT può essere indotto ad apportare modifiche umane al testo sintetico.

Cosa significa tutto questo per la scienza? Editoria scientifica È la linfa vitale della ricerca, iniettando idee, ipotesi, argomentazioni e prove nel canone scientifico globale. Alcuni si sono affrettati a unirsi a ChatGPT come assistente di ricerca, con alcuni documenti controversi che elencano AI come coautore.

Meta ha persino lanciato un generatore di testi scientifici chiamato Galactica. È stato ritirato dopo tre giorni. Tra gli ululati che ha prodotto c’era una storia immaginaria di orsi che viaggiano nello spazio.

Il professor Michael Black del Max Planck Institute for Intelligent Systems di Tubinga ha twittato all’epoca di essere stato “disturbato” dalle risposte del Galactica a molteplici domande sul suo campo di ricerca, inclusa l’attribuzione di documenti falsi a veri ricercatori. “comunque, [Galactica] Era sbagliato o prevenuto ma sembrava corretto e affidabile. Penso che sia pericoloso”.

Il pericolo deriva dal testo plausibile che scivola in autentiche osservazioni accademiche, riempiendo la letteratura di citazioni false e distorcendo per sempre il canone. La scienza ora proibisce la creazione esplicita di testo; La natura consente l’uso se reso pubblico ma vieta il credito come coautore.

Inoltre, la maggior parte delle persone non consulta riviste all’avanguardia per guidare il proprio pensiero scientifico. Se i truffatori sono così inclini, questi chatbot possono scatenare un flusso di pseudoscienza su richiesta pieno di citazioni sul perché la vaccinazione non ha funzionato o sul perché il riscaldamento globale è una bufala. Questo materiale fuorviante, pubblicato online, può quindi essere inghiottito dalla futura IA generativa per produrre nuove iterazioni delle bugie che inquinano il discorso pubblico.

Gli scettici devono torcersi le mani.