Partagez

Linkedin

Twitter

Facebook

email

Print

Innovations en machine learning et intelligence artificielle IA.

Les innovations en IA (Intelligence Artificielle) vont sans doute être très nombreuses ces prochaines années. Sans vouloir être exhaustif, il nous a paru intéressant, dans cet article de veille, de dessiner les tendances et nouvelles technologies que l’on voit apparaître et qui, pour certaines, pourraient se développer assez rapidement. Nous ne rappellerons pas les principes du Machine Learning et du Deep Learning, déjà traités dans d’autres articles de MetalBlog et auxquels le lecteur pourra se référer. Dans cet article, nous discuterons majoritairement des réseaux de neurones et des CNN (Convolutionnal Neural Networks), qui constituent la technologie leader en IA actuellement.

Les verrous actuels de l’IA

Si elle est très efficace, l’IA n’en demeure pas moins perfectible et possède encore de nombreux verrous que les innovations futures peuvent lever. L’effet « boite noire » et le manque d’explicabilité est pointé par de nombreux spécialistes. Si cet effet est de moindre importante pour une application grand public, il devient très problématique pour piloter un process industriel. Le grand nombre de données nécessaires en phase d’apprentissage peut être aussi limitatif. L’IA est également pointé du doigt pour son absence de « sens commun » et son incapacité à reproduire des phénomènes physiques même très simples.

On notera également la nécessité de labelliser les données (en apprentissage supervisé), ce qui peut s’avérer long et complexe pour de grands data-sets. De plus, l’IA est en général très spécialisée pour une tâche qu’elle réalise assez bien, mais doit être reprogrammée spécifiquement pour une autre tâche, ce qui implique de développer un très grand nombre d’applications diverses. On pourra également reprocher également aux techniques algorithmiques (ML et DL) d’être encore peu accessibles aux PME étant donné la maitrise nécessaire d’outils très spécifiques (langage Python, librairies TensorFlow, données structurées en Data Lake, …) ou l’embauche de data-scientists limitant les applications aux grands donneurs d’ordre.

Les innovations en machine learning

Les innovations majeurs à ce jour en Machine Learning et en Deep Learning sont la data augmentation et le transfert learning, les synthetic data, les rule based ML, l’Automated Machine Learning (ou AutoML) avec le no-code ou le low-code, les PINNs (Physics-Informed Neural Networks), les CapsNets, les transformers et des avancés conceptuelles à termes attendues. Cette liste n’est évidemment pas exhaustive tant le domaine est foisonnant et dynamique.

La data augmentation et le transfert learning pour accélérer les développements

Si la base d’apprentissage nécessite un grand nombre d’exemples pour fiabiliser le modèle, on peut assez facilement limiter le nombre de données avec la data augmentation qui consiste à générer des données artificielles. En partant des données réelles et en les transformant (rotation, ajout de bruit, …), on peut en effet multiplier facilement le jeu de données. Le transfert Learning permet d’utiliser, quant-à-lui, des réseaux de neurones déjà existants et pré-entrainés. On n’y aura ainsi plus à développer le réseau de neurones « from scratch » et on « adaptera » à l’aide d’une base d’apprentissage plus réduite ce réseau de neurones pré-entrainés.

De nombreux réseaux de neurones pré-entrainés en open-source existent (VGG16, VGG19, Inception, ResNet, …) pour la reconnaissance d’images en particulier. Le TL (Transfert Learning) est l’un des principaux driver de l’IA commerciale en autorisant le développement de multiples applications très rapidement grâce à l’utilisations de réseaux de neurones déjà existants et optimisés.

Le synthetic data

De la même façon que la date augmentation permet de s’affranchir du verrou lié à un grand nombre de données nécessaires dans la base d’apprentissage, la technologie synthetic data est une autre piste très intéressante et en forte croissance. Cette technologie consiste à générer des données synthétiques (pour l’apprentissage) non plus issues du monde réel mais du monde numérique (réalité virtuelle, CAO, simulation, …).

Le Gartner Group pense qu’en 2024, 60 % des données d’apprentissage utilisées dans le monde seront des synthetic data. L’acquisition discrète par Facebook de la startup AI.reverie en 2021 spécialisée dans le domaine des synthetic data est emblématique de l’importance de ce domaine. Si on peut imaginer que la technologie prendra son essor pour les applications grand public (visage, avatar, conduite autonome, …), des utilisations industrielles sont probables (données synthétiques de machines, d’usines, …).

Le rule based ML vers l’explicabilité

Le rule based Machine Learning, permet, à partir de la base d’apprentissage, de générer en automatique, des règles logiques lisibles par l’utilisateur de type « IF Température < 600°C AND Température-moule < 125°C THEN risque-de-défaut-pièce ». Les Systèmes Experts fonctionnaient de la même manière, mais les bases de règles étaient écrites « à la main » par l’Expert à partir de sa connaissance du domaine, ce qui excluait la rédaction de règles complexes (avec plus de 4 à 5 paramètres) faute de données fiables. A contrario, avec les rule based ML, les règles sont déduites automatiquement du jeu de données d’apprentissage. Ce type d’algorithme permet de lutter contre l’effet boite noire. Il n’est à notre connaissance pas applicable à des images, mais davantage à des données numériques.

AutoML : les outils no-code ou low code pour rendre l’IA plus accessible

Coder une application de DL en Python en utilisant des librairies open-source n’est pas donné à tout le monde en particulier dans les PME où l’utilisateur cherche des outils plus intuitifs et simples d’utilisation. La tendance en ML est aux applications no-code (aucune ligne de code) ou low-code (quelques lignes de code au lieu de plusieurs centaines) où l’ensemble des étapes est automatisé (workflow) et l’utilisateur guidé. C’est aussi ce que l’on appelle l’AutoML (Automated Machine Learning). L’utilisateur n’a plus à coder son programme mais va décrire son besoin et le résultat attendu et le programme va automatiquement pré-traiter les données (nettoyage, normalisation, …), …, chercher le meilleur modèle (en affichant le taux de prédiction) et optimiser les hyper-paramètres des modèles (nombre de couches de neurones, neurones/couche, modèle de rétropropagation, …). Il existe de très nombreuses plateformes de ML no-code (Google Cloud Auto ML, PyCaret, H2O AutoML, CreateML, Azure Machine Learning, Auto-Keras, …) dont certaines sont en open-source.

Signalons en particulier auto-sklearn, l’une des AutoML les plus simples à mettre en œuvre et qui se base sur la très populaire librairie scikit-learn (dont nous avons déjà parlé sur MetalBlog) pour automatiser l’entraînement des modèles natifs à Scikit-learn. En combinant avec les pipelines de scikit-learn, il est possible d’automatiser le pipeline ML dans son intégralité avec peu de modifications du code source. Tous ces outils d’AutoML sont intéressants pour le déploiement rapide de projets simples. L’AutoML ne semble pas pouvoir se substituer, à ce jour, au développement de modèles ML personnalisés pour les projets à fort enjeux et à forte intensité de données. En revanche, l’AutoML permet d’aller vite et d’explorer en première approche un grand nombre de modèles et d’hyperparamètres. Il a donc toute sa place parmi les outils à connaître.

Les Physics Informed Neural Networks pour donner au ML du sens physique

De très nombreuses informations sont intuitives pour l’homme (et résultent souvent de ses longues années d’apprentissage ou de sens innées), mais elles ne le sont pas pour un réseau de neurones. Ainsi, les notions de gravité, de poids, de non-passage au travers d’un obstacle, de conservation de la masse (énergie, …) ne sont pas intuitives pour un algorithme, rendant les réponses quelquefois peu pertinentes lorsque les données du problème s’éloignent sensiblement des données de la base d’apprentissage. Les PINNs, technologie algorithmique récente (2019) couple réseau de neurones et équations différentielles du domaine concerné (fluidique, thermique). Un article récent sur MetalBlog en explique plus en détail le principe de fonctionnement. Les PINNs sont sans doute très intéressantes pour les sciences de l’ingénieur, là où des modèles de comportement (sous forme d’équations différentielles) sont disponibles.

Les CapsNets pour rendre plus fiable la reconnaissance d’images

Les CapsNets (pour Capsule Neural Network) sont assez récents (article « Dynamic Routing Between Capsules » 2017 par Geoffrey E. Hinton du Google Brain / Toronto). Ils permettent d’améliorer l’efficacité des réseaux de neurones en Deep Learning et d’aller au-delà des CNN (réseau de neurones convolutifs). Les CapsNets sont inspirés des mini colonnes de neurones du cortex (découverts dans les années 2000) et permettent d’introduire des relations spatiales hiérarchiques entre les éléments reconnus dans une image.

Dans la pratique les CapsNets sont ajoutées en sortie de CNN (réseau de neurones convolutionnels). Les CapsNets permettent de résoudre en particulier le « problème Picasso » : des images de visages qui ont toutes les bonnes parties (œil, bouche, nez, …) mais qui ne sont pas dans la bonne relation spatiale (par exemple, dans un « visage », les positions de la bouche et d’un œil sont inversées). Un CNN conventionnel reconnait un visage humain alors qu’un CapsNet ne se laisse par « berner ».

Sur la base d’images de référence MNIST (chiffres manuscrits), l’utilisation de CapsNet a permis de diminuer le taux d’erreur. De plus, cette nouvelle architecture obtient les mêmes performances que les CNN mais avec un nombre réduit d’images. L’approche Dynamic routing (utilisée dans les CapsNets) est basée sur la suppression de certaines connections entre neurones de deux couches consécutives. L’arbre de connexion est ainsi « sculpté » de façon dynamique à partir d’un réseau de neurone multicouches.

Les Transformers

Même si les principales briques technologiques étaient déjà disponibles, l’engouement de la communauté de l’IA pour les Transformers date de l’article « Attention Is All You Need » publié en 2017 par les équipes de Google Brain/Google Research. Les Transformers utilisent une architecture de type Encoder-Decoder avec l’ajout de mécanismes d’attention (Encoder-Decoder with Attention). Par rapport aux réseaux de neurones récurrents, anciennement utilisés pour la traduction automatique en NLP (Natural Langage Processing) et en particulier les LSTM (Long Short Term Memory), avec les Transformers, les différents mots d’une phrase ne sont plus traités en séquentiel (l’un après l’autre), mais tous en même temps (Multi-Head Attention) avec la prise en compte de leur position dans la phrase (Positional Encoding). Ce papier a permis de mettre en évidence que l’on avait plus besoin de coupler les mécanismes d’attention avec une autre technologies (CNN) et qu’ils se suffisaient à eux même pour donner des résultats fiables.

La vitesse d’entrainement est significativement plus rapide avec les Transformers comparée aux réseaux de neurones convolutifs ou aux réseaux de neurones récurrents. Enfin, en NLP, l’une des qualités des Transformers est de pouvoir réaliser une grande partie de leur apprentissage de manière non supervisée, c’est-à-dire en partant de textes bruts (anglais/français par exemple pour la traduction) sans annotation sur leur contenu alors que les anciennes techniques (CNN, RNN, …) nécessitaient un apprentissage supervisé. Les Transformers ont changé assez radicalement la façon dont on traitait le NLP, mais commencent à impacter d’autres domaines (traitement d’images ou de signaux, …). Même si la recherche en est à un stade plutôt exploratoire, les premiers résultats semblent encourageants.

Le Reinforcement Learning

L’apprentissage par renforcement (Reinforcement Learning ou RL) consiste à apprendre les actions performantes, à partir d’expériences (essais/erreurs), de façon à optimiser une récompense quantitative au cours du temps. Par rapport à l’apprentissage supervisé, ce type d’algorithme possède l’avantage de ne plus nécessiter d’intervention humaine pour labeliser les données, tâche très consommatrice dans le cas de grands data-sets. L’apprentissage par renforcement est utilisé dans le domaine de la robotique, pour la planification stratégique, la finance et le trading, …, les systèmes de pilotage automatique (véhicules autonomes). Les algorithmes génétiques, font également partie des techniques de Reinforcement Learning.

On distingue deux principaux types d’apprentissage par renforcement : le Reinforcement Learning positif basé sur une récompense lors d’un succès de la réponse et le Reinforcement Learning négatif qui consiste au contraire à renforcer un comportement survenant à cause d’une condition qui aurait dû être arrêtée ou évitée. Le Reinforcement Learning suscite beaucoup d’espoir. Dans un article « Reward is Enough » publié dans le journal Artificial Intelligence en Octobre 2021, des chercheurs de DeepMind (Google) conjecturent ainsi que l’apprentissage par renforcement pourrait être la clé au développement d’une IA dite généraliste en reproduisant des mécanismes de la nature et en laissant l’IA apprendre seule.

Des avancées conceptuelles en IA nécessaires

Selon Yann LeCunff, directeur scientifique de Facebook, des progrès majeurs en IA ne pourront être obtenus que si des avancées conceptuelles importantes sur « ce qu’est l’intelligence » sont réalisées dans les prochaines années. Au vu du grand nombres de programmes de R&D et des budgets alloués à l’IA, il est possible que de telles avancées voient le jour dans les 10 ans à venir et se répandent assez rapidement.

L’IA, une GPT en puissance

Les caractéristiques d’une GPT (General Purpose Technology) sont nombreuses : ce sont des technologies génériques et reconnaissables, elles ont en général un démarrage lent, mais au final sont utilisées très largement et ont un impact économique majeur dans différents usages. Elles créent de plus de nombreux effets d’entrainement : l’écriture a ainsi favorisé les échanges commerciaux, les codes de lois et la pérennisation des connaissances. Dans le passé lointain ou plus récent, l’homme a connu de nombreuses GPT.

Ainsi, dans les temps anciens, on peut citer la maitrise du feu, la métallurgie du cuivre et du fer, la domestication des plantes et des animaux, l’invention de la roue ou encore l’écriture. A l’époque moderne, les GPT les plus emblématiques sont l’imprimerie, les moyens de transport (bateau, train, voiture, avion, …), la domestication des énergies (machine à vapeur, moteur à explosion, électricité) et enfin les technologies de l’information (ordinateur, internet). De nombreux spécialistes du domaine pensent que l’IA est aussi une GPT en devenir.

Le cycle de Hype des technologies de l’IA

Le cycle de Hype des nouvelles technologies mis à jour annuellement par le Gartner Group permet de visualiser les innovations émergentes, les technologies qui font le buzz (tout en haut du cycle de Hype), le creux des désillusions (où l’on mesure les limites d’une technologie) et la lente remontée vers la maturité et le « plateau de productivité ». On voit ainsi que les Physics-Informed Neural Network, objet d’un précédent article sur MetalBlog, sont encore tout en bas du cycle et mettront donc encore quelques années pour atteindre leur maturité et trouver des applications industrielles. Les Transformers, sont eux, tout en haut et font le buzz dans la communauté de l’IA. A contrario, la vision industrielle (à base de DL) est en train de trouver un vrai marché et de gagner en maturité.

Conclusions

On l’aura compris, les innovations en ML et DL récentes pour certaines, sont nombreuses et rapides. Il est clair que certaines technologies algorithmiques citées se développeront alors que d’autres auront sans doute un avenir plus incertain. Néanmoins, l’écosystème de l’IA, basé sur l’open-source, favorise très fortement la diffusion des connaissances parmi la communauté des utilisateurs, des laboratoires académiques ou industriels. Comme on l’a vu aussi, l’IA est vraisemblablement une GPT qui aura des retombées dans de nombreux secteurs grand public et industriels.