A lungo atteso, il nuovo modello GPT-4 di OpenAI è stato lanciato ufficialmente e, stando alle informazioni fornite dall’azienda, è una nuova rivoluzione. Ne abbiamo parlato in maniera approfondita nel nostro articolo dedicato mentre adesso vogliamo focalizzarci sulle capacità di GPT-4 di superare gli esami universitari.
GPT-4 riesce a superare i principali esami universitari
Secondo il white paper di ricerca pubblicato da OpenAI, GPT-4 può superare un esame di avvocato simulato con un punteggio intorno al 10% più alto dei partecipanti al test; al contrario, il punteggio di GPT-3.5 era intorno al 10% inferiore.
L’esame di avvocato è diverso in ogni stato e paese, ma di solito ha due parti: una parte con domande a scelta multipla e una parte con saggi. Le domande e i saggi riguardano diverse aree del diritto, come i contratti, il diritto penale, il diritto di famiglia e le prove. L’esame di abilitazione è molto duro e lungo; ci vogliono due giorni per finirlo.
Le persone che sostengono l’esame di abilitazione devono studiare molto prima di poterlo superare. Se superano l’esame di avvocato, possono esercitare la professione legale in quello stato o paese (ad esempio essere un avvocato).
GPT-4 non solo supera gli esami di avvocato professionista, ma anche gli esami di ammissione all’università (pre-universitari), inclusi ma non limitati agli esami AP e agli esami SAT.
Esami pre-universitari come SAT, AP, GCE A Levels, Diploma e International Baccalaureate IB Diploma, vengono utilizzati dalle università di tutto il mondo per valutare se un individuo può essere ammesso al corso di laurea dell’università.
Per comprendere la differenza tra i due modelli (GPT 3.5 e GPT 4), OpenAI ha testato GPT-4 su una varietà di benchmark, inclusa la simulazione di esami originariamente progettati per gli esseri umani.
OpenAI ha dichiarato che GPT-4 sta sostenendo i test disponibili pubblicamente più recenti (nel caso delle Olimpiadi e delle domande a risposta libera AP) o le edizioni 2022-2023 degli esami pratici acquistati da OpenAI.
Va notato che gli esami testati da OpenAI sono per lo più incentrati sugli Stati Uniti, come gli esami SAT e AP, gli equivalenti globali di entrambi gli esami includono il GCE Cambridge A Levels o un diploma equivalente.
Gli esami superati da GPT-4
I principali risultati di questi risultati sono i seguenti:
- GPT-4 ha terminato e superato l’Uniform Bar Exam (MBE+MEE+MPT) nel 10% più alto di tutti i punteggi con un punteggio di 298/400, rispetto al 10% più basso di GPT 3.5.
- Per i SAT, GPT-4 si è posizionato nel 12% più ricco dell’LSAT (test di ammissione alla scuola di legge), nel 7% più alto in Lettura e scrittura basata su prove SAT e nell’11% più alto in Matematica SAT
- Negli esami AP, GPT-4 si colloca tra i primi 15% in AP Biology, i primi 30% in AP Chemistry, i primi 34% in AP Physics 2, i primi 15% in AP Statistics, i primi 18% in AP Macroeconomia, il 17% più ricco in Psicologia AP, il 14% più ricco in Storia dell’arte AP e il 10% più ricco in Scienze ambientali.
- Si colloca nell’1% dei migliori marcatori nella semifinale delle Olimpiadi di biologia degli Stati Uniti. La USA Biolympiad (USABO) è una competizione nazionale per studenti delle scuole superiori negli Stati Uniti che sono interessati alla biologia. Si compone di tre turni: un esame libero, un esame semifinale e una finale nazionale. I primi quattro studenti delle finali nazionali rappresentano gli Stati Uniti alle Olimpiadi internazionali di biologia (IBO), una competizione mondiale che coinvolge squadre di studenti provenienti da oltre settanta paesi.
