Modèles prédictifs

Avant de se lancer dans la construction d’une modélisation prédictive, il est primordial de reformuler votre cas d’usage métier pour mieux définir le but de l’analyse et la manière dont le modèle sera utilisé par vos équipes opérationnelles. En effet, en fonction de la nature de votre objectif (qualitatif ou quantitatif), il faudra préférer les algorithmes de classification ou les algorithmes de régression.

Par exemple, pour optimiser les ventes de votre entreprise, des modèles de régression vous permettront de prédire l’effet de nouvelles campagnes marketing sur votre part de marché (en se basant sur des observations historiques), tandis que la classification pourra vous aider à mieux segmenter votre clientèle et ainsi à mieux guider votre stratégie commerciale par exemple. Une fois ce choix réalisé, il faudra ensuite reconnaître le modèle théorique le plus adapté à votre problématique.

En effet, il existe une multitude d’algorithmes dans chacune de ces deux catégories et faire le bon choix n’est pas toujours aisé : comment choisir entre une régression linéaire ou polynomiale et une régression logistique, comment choisir entre un arbre de décision, une SVM ou un réseau de neurones… Leurs caractéristiques techniques rendront ces techniques plus ou moins adéquates non seulement en fonction de votre sujet (type de données en entrée, nombre de dimensions, résultat attendu…) mais aussi de vos besoins (rapidité, puissance…).

La capacité à interpréter les résultats de l’algorithme est notamment un aspect essentiel à intégrer dans le cahier des charges de la plupart des solutions apportées aux cas d’usage métier, car notre objectif n’est alors pas d’introduire de l’opacité technique dans vos process avec ces nouveaux outils mais bien au contraire de les simplifier et d’assurer une bonne utilisation et adoption du modèle dans les opérations quotidiennes de votre entreprise.

Identifier le bon algorithme nécessite donc à la fois une expertise technique et une bonne connaissance et compréhension des enjeux métiers.

Comment sélectionner le modèle le plus adapté à votre problématique et à vos besoins d’analyse ?

Une fois le bon algorithme sélectionné, un autre enjeu technique est d’adapter son paramétrage et calibrage pour éviter de suradapter le modèle au jeu de données existant, qu’on appelle le phénomène d’overfitting. En effet, la qualité du modèle est testée par différents indicateurs qui rendent compte de la fiabilité de la prédiction telle que la précision (taux de détection correct), la sensibilité (capacité à bien détecter les « vrais ») et la spécificité (capacité à bien détecter les « faux »).

Essayer de maximiser ces indicateurs peut conduire à inclure énormément de variables dans l’analyse prédictive ou d’utiliser des modèles toujours plus complexes. Il est important de garder un échantillon de son jeu de données non pas pour entraîner le modèle mais pour le tester. Sachant que les données d’entraînement sont souvent plus homogènes que les données réelles, il est aussi important de limiter la complexité du modèle de machine learning choisi au minimum requis. Assembler les résultats de plusieurs modèles est aussi une technique pour limiter les biais inhérents à chacun des modèles.

Comment assurer la qualité de son paramétrage ? Comment adapter un modèle de forecast pour anticiper des scenarios avec des évènements n’ayant jamais eu lieu dans le passé ?

Lors du calibrage et de l’entraînement du modèle, les données d’entrée sont également un enjeu crucial. Au-delà de la quantité de données, qui reste souvent l’un des défis principaux lorsque l’on se lance dans la construction d’un modèle de machine learning, leurs qualités et représentativité sont aussi clés pour pouvoir tirer des conclusions pertinentes. En particulier, des données mal équilibrées ou « imbalanced », peuvent biaiser l’apprentissage. Si on cherche à entraîner un algorithme à classifier des images de chats et de chiens sur la base de 1000 images de chats et 100 de chiens, la notion d’une plus grande fréquence d’occurrence de chats va ressortir dans la classification des nouvelles images.

Ce déséquilibre peut être facile à identifier s’il concerne l’objectif principal de détection mais beaucoup moins s’il s’agit d’un élément parmi d’autres, par exemple une surreprésentation de chatons parmi les images. Les bases de données historiques peuvent être biaisées, comme par exemple les bases de données d’essais cliniques dans lesquels les hommes caucasiens sont surreprésentés par rapport au ratio de la population générale. Lors de la récolte de données, il s’agit donc de repérer ces biais dans nos sources de données et de les corriger en diminuant la taille de l’échantillon surreprésenté (undersampling) ou en augmentant artificiellement celle de l’échantillon sous-représenté (oversampling).

Comment mieux sélectionner les sources de données d’entrée pour ne pas biaiser l’apprentissage de nos algorithmes ?

Au-delà de la sélection en amont des sources de données d’entrée, un nettoyage en aval des données collectées en masse est souvent nécessaire. Cette étape cruciale de tout processus de Data science conditionne la réussite de l’analyse au niveau technique mais aussi sa valeur au niveau interprétatif. Elle peut nécessiter de faire des choix afin d’augmenter le ratio signal sur bruit qui peuvent conduire à éliminer une partie du signal. En particulier, le domaine de la Data science focalisé sur l’analyse de données textuelles, le Natural Langage Processing, ou NLP, peut nécessiter un nettoyage particulièrement important des données en fonction de la source utilisée. La récolte d’informations sur les réseaux sociaux par exemple requiert un travail important si l’on veut réussir à détecter et à interpréter des mots mal orthographiés ou des abréviations.

Quelles données sont suffisamment riches pour que leur analyse apporte de la valeur ? Comment tirer de la valeur de bases de données internes ou externes que l’on possède ?