Modelli predittivi

Prima di intraprendere la costruzione di una modellizzazione predittiva, è fondamentale riformulare il caso d’uso aziendale per definire meglio l’obiettivo dell’analisi e come il modello verrà utilizzato dalle vostre squadre operative. In effetti, a seconda della natura del vostro obiettivo (qualitativo o quantitativo), sarà necessario preferire algoritmi di classificazione o di regressione.

Ad esempio, per ottimizzare le vendite della vostra azienda, i modelli di regressione vi permetteranno di prevedere l’effetto di nuove campagne di marketing sulla vostra quota di mercato (basandosi su osservazioni storiche), mentre la classificazione potrà aiutarvi a segmentare meglio la vostra clientela e quindi guidare meglio la vostra strategia commerciale. Una volta effettuata questa scelta, sarà necessario riconoscere il modello teorico più adatto alla vostra problematica.

Infatti, esistono moltissimi algoritmi in ciascuna di queste due categorie, e fare la scelta giusta non è sempre facile: come scegliere tra una regressione lineare o polinomiale e una regressione logistica, come scegliere tra un albero decisionale, una SVM o una rete neurale… Le loro caratteristiche tecniche renderanno queste tecniche più o meno adatte non solo in base al vostro tema (tipo di dati in ingresso, numero di dimensioni, risultato atteso…), ma anche alle vostre esigenze (rapidità, potenza…).

La capacità di interpretare i risultati dell’algoritmo è un aspetto essenziale da integrare nel capitolato di molte soluzioni offerte per i casi d’uso aziendali, poiché il nostro obiettivo non è introdurre opacità tecnica nei vostri processi con questi nuovi strumenti, ma semplificarli e garantire una buona utilizzo e adozione del modello nelle operazioni quotidiane della vostra azienda.

Identificare l’algoritmo giusto richiede quindi sia un’esperienza tecnica che una buona conoscenza e comprensione delle sfide aziendali.

Come selezionare il modello più adatto alla vostra problematica e alle vostre esigenze di analisi?

Una volta selezionato l’algoritmo giusto, una sfida tecnica successiva è adattarne la configurazione e calibrazione per evitare di sovradattare il modello ai dati esistenti, un fenomeno noto come overfitting. Infatti, la qualità del modello viene testata attraverso diversi indicatori che valutano l’affidabilità della previsione, come la precisione (tasso di rilevamento corretto), la sensibilità (capacità di rilevare correttamente i “veri”) e la specificità (capacità di rilevare correttamente i “falsi”).

Cercare di massimizzare questi indicatori può portare a includere moltissime variabili nell’analisi predittiva o a utilizzare modelli sempre più complessi. È importante mantenere un campione dei dati non per addestrare il modello, ma per testarlo. Poiché i dati di addestramento sono spesso più omogenei rispetto ai dati reali, è anche importante limitare la complessità del modello di machine learning scelto al minimo necessario. Combinare i risultati di più modelli è un’altra tecnica per limitare i bias intrinseci a ciascun modello.

Come garantire la qualità della propria configurazione? Come adattare un modello di previsione per anticipare scenari con eventi mai verificatisi in passato?

Durante la calibrazione e l’addestramento del modello, i dati in ingresso rappresentano un aspetto cruciale. Oltre alla quantità di dati, che rimane spesso una delle sfide principali quando si costruisce un modello di machine learning, la loro qualità e rappresentatività sono fondamentali per poter trarre conclusioni pertinenti. In particolare, dati mal bilanciati o “imbalanced” possono distorcere l’apprendimento. Se si cerca di addestrare un algoritmo per classificare immagini di gatti e cani basandosi su 1000 immagini di gatti e 100 di cani, la maggiore frequenza di occorrenza dei gatti emergerà nella classificazione delle nuove immagini.

Questo squilibrio può essere facile da identificare se riguarda l’obiettivo principale di rilevamento, ma molto meno se si tratta di un elemento tra gli altri, come ad esempio una sovra-rappresentazione di gattini tra le immagini. Le basi di dati storiche possono essere distorte, come nel caso delle banche dati di studi clinici in cui gli uomini caucasici sono sovra-rappresentati rispetto al rapporto della popolazione generale. Durante la raccolta dei dati, è quindi importante individuare questi bias nelle fonti di dati e correggerli riducendo la dimensione del campione sovra-rappresentato (undersampling) o aumentando artificialmente quella del campione sotto-rappresentato (oversampling).

Come selezionare meglio le fonti dei dati in ingresso per evitare di distorcere l’apprendimento dei nostri algoritmi?

Oltre alla selezione iniziale delle fonti di dati in ingresso, una pulizia successiva dei dati raccolti in massa è spesso necessaria. Questa fase cruciale di ogni processo di Data Science determina il successo dell’analisi a livello tecnico ma anche il suo valore a livello interpretativo. Può richiedere scelte specifiche per aumentare il rapporto segnale/rumore, il che potrebbe portare a eliminare una parte del segnale. In particolare, nel campo della Data Science focalizzato sull’analisi dei dati testuali, il Natural Language Processing (NLP), potrebbe essere necessario un intervento di pulizia particolarmente significativo dei dati a seconda della fonte utilizzata. La raccolta di informazioni dai social media, ad esempio, richiede un lavoro considerevole per riuscire a rilevare e interpretare parole mal scritte o abbreviazioni.

Quali dati sono sufficientemente ricchi affinché la loro analisi porti valore? Come estrarre valore da basi di dati interne o esterne che possediamo?