Les 6 avantages de l’apprentissage automatique interprétable

Nous semblons être à l’âge d’or de l’IA. Chaque semaine, il y a un nouveau service qui peut tout faire, de la création d’histoires courtes à des images originales. Ces innovations sont alimentées par l’apprentissage automatique. Nous utilisons des ordinateurs puissants et de grandes quantités de données pour former ces modèles. Le problème est que ce processus nous laisse une mauvaise compréhension de leur fonctionnement réel.

Capacités toujours croissantes ? Aucune idée de leur fonctionnement ? On dirait que nous voulons un soulèvement de robot ! Ne vous inquiétez pas, un effort parallèle est fait pour passer sous le capot de ces bêtes. Cela vient du domaine de l’apprentissage automatique interprétable (IML). Cette recherche est motivée par les nombreux avantages qu’une meilleure compréhension de nos modèles peut apporter.

Non, IML n’arrêtera pas une apocalypse d’IA. Cela peut cependant contribuer à accroître la confiance dans l’apprentissage automatique et conduire à une plus grande adoption dans d’autres domaines. Vous pouvez également acquérir des connaissances sur votre ensemble de données et raconter de meilleures histoires sur vos résultats. Vous pouvez même améliorer la précision et les performances en production. Nous discuterons de ces 6 avantages en profondeur. Pour finir, nous aborderons les limites de l’IML.

Qu’est-ce que l’IML ?

Dans un article précédent , nous avons discuté en profondeur de l’IML. Pour résumer, c’est le domaine de la recherche visant à construire des modèles d’apprentissage automatique compréhensibles par l’homme. Cela implique également de développer des outils qui peuvent nous aider à comprendre des modèles complexes. Les deux principales approches pour y parvenir sont les suivantes :

• Modèles intrinsèquement interprétables – méthodologies de modélisation pour construire des modèles faciles à interpréter
• Méthodes indépendantes du modèle – appliquées à tous les modèles de boîte noire après leur formation

Les avantages exacts dépendront de l’approche que vous adopterez. Nous nous concentrerons sur ce dernier. Les méthodes indépendantes du modèle peuvent être appliquées à n’importe quel modèle après qu’il a été formé. Cela nous donne de la flexibilité dans notre choix de modèle. C’est-à-dire que nous pouvons utiliser des modèles compliqués tout en ayant un aperçu de leur fonctionnement.

Les avantages de l’IML

L’avantage évident est l’objectif de l’IML – une compréhension d’un modèle. C’est ainsi qu’il fait des prédictions individuelles ou son comportement général sur un groupe de prédictions. De cela découlent de nombreux autres avantages.

Précision accrue

La première est que l’IML peut améliorer la précision de l’apprentissage automatique. Sans méthodes indépendantes du modèle, nous étions confrontés à un compromis :

• Option 1 – utiliser un modèle de boîte noire précis que nous ne comprenons pas.
• Option 2 — construire un modèle moins précis qui est intrinsèquement interprétable.

Maintenant, nous pouvons modéliser notre gâteau et le prédire aussi. En appliquant des méthodes telles que SHAP , LIME ou PDP après la formation du modèle, nous pouvons interpréter nos modèles de boîte noire. Nous n’avons plus à échanger l’exactitude contre l’interprétabilité. En d’autres termes, grâce à une flexibilité accrue dans le choix du modèle, l’IML peut améliorer la précision.

Plus directement, les méthodes indépendantes du modèle peuvent également améliorer la précision des modèles de boîte noire. En comprenant comment un modèle fait des prédictions, nous pouvons également comprendre pourquoi il fait des prédictions incorrectes . Grâce à ces connaissances, nous pouvons améliorer notre processus de collecte de données ou créer de meilleures fonctionnalités.

Améliorer les performances en production

Nous pouvons pousser cette idée un peu plus loin. C’est-à-dire que la précision d’un jeu de données d’entraînement n’est pas la même que celle des nouvelles données en production. Les biais et les variables indirectes peuvent entraîner des problèmes imprévus. Les méthodes IML peuvent nous aider à identifier ces problèmes. En d’autres termes, ils peuvent être utilisés pour déboguer et construire des modèles plus robustes.

Un exemple vient d’un modèle utilisé pour alimenter une voiture automatisée. Il fait des prédictions pour tourner à gauche ou à droite en fonction des images d’une piste. Il a bien fonctionné à la fois sur la formation et sur un ensemble de validation. Pourtant, lorsque nous avons déménagé dans une nouvelle pièce, la voiture automatisée a horriblement mal tourné. Les diagrammes SHAP de la figure 1 peuvent nous aider à comprendre pourquoi. Notez que les pixels en arrière-plan ont des valeurs SHAP élevées.

Cela signifie que le modèle utilise des informations de base pour faire des prédictions. Il a été formé sur les données d’une seule pièce et les mêmes objets et arrière-plan sont présents dans toutes les images. Par conséquent, le modèle les associe aux virages à gauche et à droite. Lorsque nous avons déménagé dans un nouvel endroit, le contexte a changé et nos prédictions sont devenues peu fiables.

La solution est de collecter plus de données. Nous pouvons continuer à utiliser SHAP pour comprendre si cela a conduit à un modèle plus robuste. En fait, nous le faisons dans l’article ci-dessous. Découvrez-le si vous voulez en savoir plus sur cette application. Sinon, si vous voulez les bases, vous pouvez suivre mon cours Python SHAP . Bénéficiez d’un accès gratuit en vous inscrivant à ma Newsletter .

Diminuer les dommages et augmenter la confiance

Le débogage ne consiste pas seulement à faire des prédictions correctement. Cela signifie également s’assurer qu’ils sont fabriqués de manière éthique.

(le créateur de SHAP), discute d’un exemple dans cette présentation . Une capture d’écran est illustrée à la figure 2 . À l’aide de SHAP, il montre que le modèle utilise des mois d’historique de crédit pour prédire le défaut. Il s’agit d’un proxy pour l’âge – une variable protégée.

Cela montre que les clients retraités étaient plus susceptibles de se voir refuser des chargements. Cela était dû à leur âge et non à de véritables facteurs de risque (par exemple, une dette existante). En d’autres termes, le modèle discriminait les clients en fonction de leur âge.

Si nous faisons aveuglément confiance aux modèles de boîte noire, ces types de problèmes passeront inaperçus. L’IML peut être utilisé dans votre analyse de l’équité pour s’assurer qu’il ne sera pas utilisé pour prendre des décisions qui nuiront aux utilisateurs. Cela peut aider à renforcer la confiance dans nos systèmes d’IA.

L’IML peut également renforcer la confiance en fournissant la base d’ explications conviviales . Nous pouvons vous expliquer pourquoi on vous a refusé un prêt ou pourquoi une recommandation de produit a été faite. Les utilisateurs seront plus enclins à accepter ces décisions si on leur donne une raison. Il en va de même pour les professionnels qui utilisent des outils d’apprentissage automatique.

Étendre la portée du ML

L’apprentissage automatique est partout. Il améliore ou remplace les processus en finance, en droit ou même en agriculture. Une application intéressante est d’évaluer immédiatement la qualité de l’herbe utilisée pour nourrir les vaches laitières. Un processus autrefois à la fois invasif et long.

Vous ne vous attendriez pas à ce que votre agriculteur moyen ait une compréhension des réseaux de neurones. La nature de la boîte noire rendrait difficile pour eux d’accepter les prédictions. Même dans des domaines plus techniques, on peut se méfier des méthodes d’apprentissage en profondeur.

De nombreux scientifiques de la télédétection hydrologique, de la télédétection atmosphérique et de la télédétection océanique, etc. ne croient même pas aux résultats de prédiction de l’apprentissage en profondeur, car ces communautés sont plus enclines à croire aux modèles ayant une signification physique claire. — Prof. Dr. Lizhe Wang

L’IML peut être considéré comme un pont entre l’informatique et d’autres industries/domaines scientifiques. Fournir une lentille dans la boîte noire les rendra plus susceptibles d’accepter les résultats. Cela augmentera l’adoption des méthodes d’apprentissage automatique.

Améliore votre capacité à raconter des histoires

Les deux avantages précédents visaient à instaurer la confiance. La confiance des clients et des professionnels. Vous devrez peut-être encore instaurer la confiance, même dans des environnements où le ML est facilement adopté. C’est pour convaincre vos collègues qu’un modèle fera son travail.

Les scientifiques des données le font grâce à la narration de données. Il s’agit de relier les résultats trouvés dans les données à l’expérience de collègues moins techniques. En fournissant un lien entre l’exploration des données et les résultats de la modélisation, IML peut y contribuer.

Prenez le nuage de points ci-dessous. Lorsqu’un salarié est diplômé (diplôme = 1), sa prime annuelle a tendance à augmenter avec ses années d’ expérience. Cependant, lorsqu’ils n’ont pas de diplôme, leur bonus est stable . En d’autres termes, il y a une interaction entre le diplôme et l’expérience.

Prenez maintenant le graphique ICE ci-dessous. Il provient d’un modèle utilisé pour prédire les bonus à l’aide d’un ensemble de fonctionnalités comprenant l’expérience et le diplôme. Nous pouvons voir que le modèle capture l’interaction. Il utilise la relation que nous avons observée dans les données pour faire des prédictions.

Avec IML, nous passons de l’expression « Nous pensons que le modèle utilise cette relation que nous avons observée dans les données » à « Regardez ! Voir!! Le modèle utilise cette relation. Nous pouvons également comparer les résultats du modèle à l’expérience de nos collègues. Cela leur permet d’utiliser leur connaissance du domaine pour valider les tendances capturées par le modèle. Parfois, nous pouvons même apprendre quelque chose de complètement nouveau.

Connaissances de gain

Les modèles de boîte noire peuvent modéliser automatiquement les interactions et les relations non linéaires dans les données. En utilisant IML, nous pouvons analyser le modèle pour révéler ces relations dans notre ensemble de données. Ces connaissances peuvent être utilisées pour :

• Informez l’ingénierie des fonctionnalités pour les modèles non linéaires.
• Aide lors de la prise de décisions qui vont au-delà des modèles.

En fin de compte, IML aide l’apprentissage automatique à devenir un outil d’exploration de données et de génération de connaissances. Au moins, il peut être fascinant de se plonger dans un modèle pour comprendre son fonctionnement.

Limites de l’IML

Avec tous ces avantages, l’IML a encore ses limites. Nous devons en tenir compte lorsque nous tirons des conclusions à l’aide des méthodes. Les plus importantes sont les hypothèses faites. Par exemple, SHAP et PDP supposent qu’il n’y a pas de dépendances de fonctionnalités (c’est-à-dire que les fonctionnalités du modèle ne sont pas corrélées). Si cette hypothèse n’est pas vraie, les méthodes peuvent ne pas être fiables.

Une autre limitation est que les méthodes peuvent faire l’objet d’abus. C’est à nous d’interpréter les résultats et nous pouvons imposer des histoires à l’analyse. Nous pouvons le faire inconsciemment en raison du biais de confirmation. Cela peut également être fait de manière malveillante pour soutenir une conclusion qui profitera à quelqu’un. Ceci est similaire au p-hacking – nous torchons les données jusqu’à ce qu’elles nous donnent les résultats que nous voulons.