RAG e fine-tuning: 2 metodi per migliorare la pertinenza dei chatbot di IA generativa

Che cos’è un modello pre-addestrato?

Quando si parla di modelli di IA, si parla generalmente di algoritmi che utilizzano reti neurali. Questa tecnologia è utilizzata dai Large Language Models (LLM) come ChatGPT o Mistral Large, dagli algoritmi di generazione di immagini o di riconoscimento visivo. Questi modelli sono addestrati su set di dati molto grandi, che consentono loro di acquisire una solida base nel campo di competenza che andranno a padroneggiare. È possibile regolare molti parametri sui diversi strati di una rete per modificare il modo in cui le informazioni vengono elaborate. Si arriva a diversi miliardi di parametri quando i modelli sono davvero grandi (il che lascia spazio alla personalizzazione…).

Che cosa sono il fine-tuning e il RAG?

Il fine-tuning consiste nel prendere un modello pre-addestrato e adattarlo per compiti o aree specifiche con meno dati. Questo metodo permette di migliorare le prestazioni del modello su compiti particolari, affinando i pesi delle connessioni neurali e i suoi parametri per rispondere meglio alle esigenze specifiche, mantenendo le conoscenze acquisite in precedenza.

La generazione aumentata dal recupero (RAG, Retrieval-Augmented Generation) è una tecnica in cui un modello linguistico è combinato con un sistema di recupero delle informazioni. Durante la generazione delle risposte, il modello utilizza un motore di ricerca per trovare informazioni pertinenti da un database o da un corpus documentario esterno, quindi integra queste informazioni nel processo di generazione del testo. L’obiettivo è quello di arricchire le risposte del modello con informazioni attuali e specifiche che non sono necessariamente contenute nel suo addestramento iniziale. Ciò consente al modello di fornire risposte più informate, precise e dettagliate di quanto potrebbe fare un modello tradizionale.

Pertanto, il fine-tuning allena un modello in un campo specifico, come uno studente che ripassa in particolare le macchine termiche per l’esame di termodinamica. D’altra parte, il RAG (Retrieval-Augmented Generalization) fornisce informazioni al modello al momento della generazione della risposta, come un esame di termodinamica che fornirebbe agli studenti il nuovo concetto di macchina termica per rispondere alle domande.

Infine, esiste una combinazione dei due metodi: il RAFT (Retrieval-Augmented Fine-Tuning). Il metodo RAFT combina i punti di forza del fine-tuning e del RAG per migliorare ulteriormente la pertinenza dei chatbot di IA generativa. Integrando l’accesso in tempo reale a informazioni esterne e perfezionando il modello con dati specifici, il RAFT consente un adattamento più preciso alle esigenze dell’utente. Questo innovativo approccio ibrido massimizza le prestazioni del chatbot sfruttando i vantaggi di entrambe le tecniche.

Il fine-tuning è particolarmente utile nei settori in cui la raccolta di grandi quantità di dati annotati è costosa o poco pratica. Sono così emersi numerosi modelli specializzati, come LEGAL-BERT per il settore legale, BloombergGPT per la finanza, Meditron di Meta per la salute o Codestral di Mistral per il codice informatico. L’azienda francese Mistral ha inoltre lanciato un’interfaccia chiamata “La Plateforme” su cui è possibile personalizzare i propri modelli.

Anche molti grandi gruppi come Axa o Capgemini hanno adottato internamente il RAG per sfruttare al massimo i loro numerosi documenti. I modelli sono ospitati sui loro server, il che permette loro di non condividere alcun documento online. Hanno così a disposizione un agente conversazionale specificamente adattato alle loro conoscenze, che facilita notevolmente la ricerca di informazioni.

Nel 2024, gli investimenti di Amazon, Microsoft, Google e Meta negli stabilimenti di server sono stimati in 200 miliardi di dollari1. Questi investimenti sono in gran parte necessari proprio per migliorare l’affidabilità dei modelli esistenti e approfondire la loro specializzazione.

Scoprite come il nostro team di data può supportarvi nei vostri progetti legati all’intelligenza artificiale >

I limiti e le sfide della specializzazione dei LLM

La specializzazione dei modelli di IA non è ovviamente esente da sfide. Le principali sono le seguenti:

• Qualità e quantità dei dati: il fine-tuning richiede dati etichettati in quantità sufficiente e di buona qualità per garantire un efficace addestramento dei modelli. Questi set di dati sono spesso difficili da ottenere ed elaborare.
• Overfitting: l’overfitting si verifica quando un modello impara a memorizzare i dati di addestramento piuttosto che generalizzare i modelli. È necessario prendere precauzioni per evitare questo fenomeno.
• Preoccupazioni legate ai bias: i modelli specializzati possono ereditare i bias presenti nei modelli pre-addestrati o nei dati di addestramento, portando a risultati ingiusti o discriminatori. Le aziende devono dare priorità all’equità, alla trasparenza e alle considerazioni etiche quando implementano sistemi di IA in ambienti reali.
• Vincoli di risorse: il fine-tuning può essere costosa in termini di calcolo, soprattutto per modelli e set di dati di grandi dimensioni. È quindi necessario valutare attentamente le risorse informatiche e le capacità infrastrutturali per garantire un addestramento e un’implementazione efficaci dei modelli.
• Adattamento ai formati dei dati: durante il fine-tuning su dati specifici di un’azienda, le differenze di formato o struttura rispetto agli standard utilizzati nei modelli pre-addestrati possono creare problemi. Spesso è necessario un lavoro aggiuntivo per adattare il modello a queste specificità, al fine di garantire una buona integrazione con i sistemi interni esistenti.

Mentre l’IA si sta sempre più diffondendo, la specializzazione dei modelli addestrati rappresenta un progresso significativo in questo campo. Consente una personalizzazione senza precedenti e una maggiore efficienza in molti settori, adattandosi alle esigenze specifiche dell’utente. Superando le sfide attuali, possiamo sperare in un futuro in cui il fine-tuning e il RAG apriranno la porta a innovazioni ancora più mirate e di grande impatto, ad esempio nel campo della salute o dell’industria. L’esplorazione continua di questo campo non farà che rafforzare la nostra capacità di plasmare l’IA in base alle nostre esigenze, segnando così un’era di vera collaborazione tra uomo e macchina. Alcimed può accompagnarvi nei vostri progetti, non esitate a contattare il nostro team!

Informazioni sull’autore,

Paul-Emile, Data Scientist del team Life Sciences di Alcimed in Francia.