In questa sezione, trattiamo le più recenti tecniche dii prompt engineering per GPT-4, inclusi suggerimenti, applicazioni, limitazioni e materiali di lettura aggiuntivi.
Più recentemente, OpenAI ha rilasciato GPT-4, un grande modello multimodale che accetta input di immagini e testo ed emette output di testo. Raggiunge prestazioni a livello umano su vari benchmark professionali e accademici.
Di seguito i risultati dettagliati di una serie di esami:
GPT-4 raggiunge un punteggio che lo colloca intorno al 10% più alto dei partecipanti al test in un esame di abilitazione simulato. Raggiunge anche risultati impressionanti su una varietà di benchmark difficili come MMLU e HellaSwag.
OpenAI afferma che GPT-4 è stato migliorato con le lezioni del loro programma di test contraddittorio e ChatGPT, portando a risultati migliori su fattualità, guidabilità e migliore allineamento.
Le API GPT-4 attualmente supportano solo input di testo, ma in futuro è prevista la capacità di input di immagini. OpenAI afferma che rispetto a GPT-3.5 (che alimenta ChatGPT), GPT-4 può essere più affidabile, creativo e gestire istruzioni più sfumate per attività più complesse. GPT-4 migliora le prestazioni in tutte le lingue.
Sebbene la capacità di input dell'immagine non sia ancora disponibile al pubblico, GPT-4 può essere potenziata con tecniche come few-shot e cot prompt per migliorare le prestazioni su queste attività relative alle immagini.
Qual è la somma del consumo medio giornaliero di carne per la Georgia e l'Asia occidentale? Fornisci un ragionamento passo dopo passo prima di fornire la tua risposta.
Nota il prompt "Fornisci un ragionamento passo dopo passo prima di fornire la tua risposta" che guida il modello ad entrare in una modalità di spiegazione passo dopo passo.
Questo è un risultato impressionante poiché il modello segue le istruzioni corrette anche quando sono disponibili altre informazioni sull'immagine. Ciò apre una gamma di funzionalità per esplorare grafici e altri input visivi ed essere più selettivi con le analisi.
Un'area di sperimentazione è la capacità di guidare il modello per fornire risposte in un certo tono e stile tramite i messaggi di "sistema". Ciò può accelerare la personalizzazione e ottenere risultati accurati e più precisi per casi d'uso specifici.
Ad esempio, supponiamo di voler creare un assistente AI che generi dati da sperimentare. Possiamo usare i messaggi di `sistema` per guidare il modello a generare dati in un certo stile.
Per raggiungere questo obiettivo con i precedenti modelli GPT-3, era necessario essere molto dettagliati nelle istruzioni. La differenza con GPT-4 è che hai istruito lo stile una volta tramite il messaggio di "sistema" e questo persisterà per qualsiasi interazione successiva. Se ora proviamo a sovrascrivere il comportamento, ecco cosa ottieni.
"risposta": "In qualità di assistente AI, sono programmato per seguire le istruzioni e fornire l'output nel formato richiesto. In questo caso è richiesto il formato JSON. Se hai bisogno di aiuto con il formato XML o qualsiasi altra assistenza, non esitare a chiedere."
Secondo la versione del blog, GPT-4 non è perfetto e ci sono ancora alcune limitazioni. Può avere allucinazioni e commette errori di ragionamento. La raccomandazione è di evitare l'uso ad alto rischio.
Sul benchmark TruthfulQA, il post-addestramento RLHF consente a GPT-4 di essere significativamente più preciso di GPT-3.5. Di seguito i risultati riportati nel post del blog.
La risposta dovrebbe essere "Elvis Presley". Ciò evidenzia quanto fragili possano essere questi modelli per alcuni casi d'uso. Sarà interessante combinare GPT-4 con altre fonti di conoscenza esterne per migliorare l'accuratezza di casi come questo o persino migliorare i risultati utilizzando alcune delle tecniche di prompt engineering che abbiamo appreso qui come l'apprendimento contestuale o il suggerimento della catena di pensiero .
Tieni presente che non ho testato a sufficienza questo approccio per sapere quanto sia affidabile o quanto bene si generalizzi. Questo è qualcosa che il lettore può sperimentare ulteriormente.
Un'altra opzione è quella di creare un messaggio di `sistema` che guidi il modello a fornire una risposta passo dopo passo e l'output "Non conosco la risposta" se non riesce a trovare la risposta. Ho anche cambiato la temperatura a 0,5 per rendere il modello più sicuro nella sua risposta a 0. Ancora una volta, tieni presente che questo deve essere testato ulteriormente per vedere quanto bene si generalizza. Forniamo questo esempio per mostrarti come puoi potenzialmente migliorare i risultati combinando diverse tecniche e funzionalità.
Scopri altri risultati nel loro [post sul blog principale](https://openai.com/research/gpt-4) e nel [rapporto tecnico](https://arxiv.org/pdf/2303.08774.pdf).
Riassumeremo molte applicazioni di GPT-4 nelle prossime settimane. Nel frattempo, puoi dare un'occhiata a un elenco di applicazioni in questo [thread Twitter](https://twitter.com/omarsar0/status/1635816470016827399?s=20).
- [Capabilities of GPT-4 on Medical Challenge Problems](https://www.microsoft.com/en-us/research/uploads/prod/2023/03/GPT-4_medical_benchmarks.pdf) (Marzo 2023)
