Partagez

Linkedin

Twitter

Facebook

email

Print

ChatGPT - une révolution avec chatbot conversationnel issu de GPT-3.

ChatGPT est un chatbot conversationnel développé à l’aide de la technologie des Transformers (GPT-3) par la société nord-américaine OpenAI. ChatGPT semble avoir un potentiel énorme et ses résultats sont très impressionnants dans de multiples domaines à tel point que les médias mainstream ont largement communiqué sur cet outil en début 2023. ChatGPT apparaît pour de nombreux utilisateurs comme un éventuel challenger ou successeur de Google.

Les possibilités du chatbot d’OpenAI

ChatGPT offre de très nombreuses possibilités dans de multiples domaines : la traduction, la synthèse ou la correction de texte, la réponse à de nombreuses questions, la composition de poème sur un thème donné, la génération de code (C++, python, …) pour résoudre une problématique, l’élaboration de tableaux, la proposition de solutions, la rédaction d’un texte de type dissertation, … Comme le précise le site Internet d’OpenAI « ChatGPT n’est pas connecté à l’Internet et peut occasionnellement produire des réponses incorrectes. Il a une connaissance limitée du monde et des événements survenus après 2021 et peut également produire occasionnellement des instructions préjudiciables ou un contenu biaisé ». L’utilisateur est incité à donner un feed-back à l’algorithme en précisant les réponses incorrectes (bouton « pouce vers le bas »).

OpenAI, le développeur de chatGPT

OpenAI est une société nord-américaine fondée fin 2015 par Elon Musk (qui a depuis quitté l’entreprise) et Sam Altman avec des investisseurs comme Amazon ou Microsoft. Le modèle GPT-2 a d’abord été mis au point en 2019 et était capable d’écrire des articles de presse et des œuvres de fiction. La version Beta de GPT-3 est paru en juillet 2020 et a constitué une rupture avec un nombre d’hyperparamètres entraînés important. GPT-3 (pour Generative Pre-trained Transformers) a été entrainé sur la base de plusieurs centaines de millions de documents. GPT-3 comprend 175 milliards de paramètres qui ont été ajustés pendant l’entrainement du modèle. Puis DALLE-2 a été ouvert aux utilisateurs en 2022 et permet de générer des images à partir d’un descriptif textuel. Enfin, ChatGPT, chatbot conversationnel, a été mis en ligne en novembre 2022 et fait le buzz depuis.

Le développement avec du Feedback humain

Comme le précise le site internet du produit, ChatGPT a été entraîné à l’aide de l’apprentissage par renforcement (RLHF pour Reinforcement Learning from Human Feedback) à partir de rétroaction humaine. Pour créer un « modèle de récompense » pour l’apprentissage par renforcement, plusieurs réponses alternatives de ChatGPT ont été classées par des formateurs humains qui ont donné leur feedback au modèle. En utilisant ces modèles de récompense, le modèle a été optimisé avec plusieurs itérations.

La traduction avec ChatGPT

Comme d’autres algorithmes (Google traduction, Deepl), ChatGPT réalise la traduction de texte. Nous avons d’abord comparé ces 3 outils dans une traduction du français vers l’anglais sur un texte court prêtant à confusion « pierre jette une pierre à pierre » où il est évident pour nous que le premier et le dernier « pierre » sont des hommes prénommés Pierre, mais que nous avons orthographié à dessein sans majuscule. Google Traduction comme Deepl « tombent dans le panneau » et traduisent littéralement n’arrivent pas à inférer que le dernier et le premier pierre sont des hommes alors que ChatGPT interprète bien le texte.

En revanche, sur un texte technique de fonderie de quelques lignes, Deepl s’avère clairement plus performant (1 faute) alors que ChatGPT et Google Traduction sont clairement moins performants et sensiblement au même niveau (3 fautes).

De l’avis de certains collègues traducteurs, ChatGPT serait cependant très performant, sans atteindre cependant le niveau des outils utilisés par les traducteurs professionnels qui incluent notamment des termes métiers spécifiques aux entreprises.

GPT et la culture générale

Globalement, ChatGPT répond de manière assez pertinente aux questions en lien avec la culture et les connaissances générales que cela soit en histoire, géographie, science du vivant, … ou histoire de l’art.

Ainsi, à la question « les grands singes ont-ils une culture qui leur est propre ? », la réponse affirmative de ChatGPT semble très pertinente. ChatGPT rappelle en effet certaines espèces de grands singes et ce que l’on appelle une culture (des traditions, des rituels, …, transmis de générations en générations et variant entre différents groupes), ce qui recoupe le constat de primatologues de renom comme Frans de Waals. ChatGPT est même assez prudent dans sa réponse.

ChatGPT, la réalité historique et l’uchronie

Sur la question d’histoire, en mode complotiste (ou mal informé),  « Pourquoi les forces de l’axe ont gagnés la seconde guerre mondiale ? », ChatGPT n’hésite pas à corriger la question et à préciser que ce ne sont pas les forces de l’axe qui ont gagnés mais bien les Alliés. Par contre, à la question « Dans quelles oeuvres de fiction les forces de l’axe ont-ils gagnés la seconde guerre mondiale ? », ChatGPT donne une réponse assez peu pertinente en répondant «Il est difficile de répondre à cette question car dans la réalité, les forces de l’Axe (Allemagne, Italie et Japon) ont perdu la Seconde Guerre mondiale. Cependant, il est possible qu’il y ait des œuvres de fiction dans lesquelles les forces de l’Axe aient été présentées comme ayant gagné la guerre. Je ne suis pas au courant de telles œuvres de fiction ». ChatGPT ne semble pas connaitre les classiques du roman de SF comme « Le Maître du Haut Château » de Philip K. Dick (1962), ni l’uchronie très réaliste « Fatherland » de Robert Harris (1992).

Pourtant, à la question suivante « Cites moi une uchronie où les alliés ont perdus la seconde guerre mondiale ? » ChatGPT montre qu’il connaît bien de telles œuvres par la réponse suivante « Voici quelques exemples d’uchronies dans lesquelles les Alliés ont perdu la Seconde Guerre mondiale : « Le Triomphe de la Liberté » de Jean Raspail, dans lequel l’Allemagne nazie a gagné la guerre grâce à une technologie de pointe et a établi un régime totalitaire dans le monde entier. « Fatherland » de Robert Harris, dans lequel l’Allemagne nazie a gagné la guerre et a établi un régime totalitaire en Europe. « L’Allemagne Perdue » de William Shatner et Chris Kreski, dans lequel l’Allemagne nazie a gagné la guerre et a établi un régime totalitaire en Europe et en Amérique du Nord. Il est important de noter que ces oeuvres de fiction ne reflètent pas la réalité historique et sont destinées à être utilisées uniquement à des fins de divertissement ». Lorsqu’on analyse les réponses, seul « Fatherland » existe réellement. Les 2 autres romans n’existent pas !

Lorsqu’on lui montre ses 2 réponses successives contradictoires, ChatGPT reconnait ne pas avoir compris la première question en expliquant «Je suis désolé pour cette confusion. En répondant à votre première question, je n’avais pas compris que vous parliez d’uchronies, c’est-à-dire de récits de fiction qui imaginent un avenir différent de celui qui s’est réellement produit en modifiant un événement du passé. Je vous ai donc répondu en me basant sur la réalité historique. Dans ma deuxième réponse, j’ai cité des exemples d’uchronies dans lesquelles les Alliés ont perdu la Seconde Guerre mondiale. Je suis désolé pour cette erreur de compréhension. Si vous avez d’autres questions, n’hésitez pas à me les poser. »

La manière dont les questions sont posées conditionne donc largement les réponses de ChatGPT. Par contre, on pourra noter que l’utilisateur peut avoir un fil de conversation avec ChatGPT avec un échange qui semble très réaliste et qui offre la possibilité de rebondir sur les réponses du chatbot. L’algorithme garde le souvenir des échanges, sauf si l’utilisateur engage un « New Chat » qui permet de reprendre à zéro l’échange et d’oublier les conversations précédentes. Enfin, l’utilisateur devra vérifier les réponses données par ChartGPT, qui a tendance à mélanger allègrement réalité et « inventions ».

ChatGPT, la puissance des Transformers et de GPT-3

ChatGPT est un modèle de langage basé sur GPT-3, un réseau de transformers (Transformer Neural Network) entraîné sur une très vaste corpus de textes dont Wikipedia ne constitue qu’environ 0.6 % du contenu total. Les Transformers sont une innovation récente dans le domaine de l’AI dont nous vous parlions en mai 2022 sur MetalBlog dans un article sur les innovations en IA. Les Transformers étaient alors presque tout en haut du cycle de Hype.

Un transformer est un modèle d’apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (NLP pour Natural language processing). Comme les réseaux de neurones récurrents (RNN, LSTM) qu’ils ont remplacés pour le traitement du langage, les Transformers gèrent des données séquentielles. Cependant, contrairement aux RNN, les Transformers n’exigent pas que les données séquentielles soient traitées dans l’ordre. Grâce à cette spécificité, le Transformer permet une parallélisation beaucoup plus importante que les RNN et donc des temps d’entraînement très réduits. Cela autorise le développement de très importants réseaux contenants plusieurs dizaines/centaines de milliards de Transformers.

Intrinsèquement, l’objectif du modèle est de compléter une chaine de caractères (une phrase) à partir du corpus de textes appris et non pas de répondre précisément à une question. Le Playground ChatGPT (version interactive) en anglais, à l’interface différente, permet de se rendre compte de la complétion de phrase. La version grand public de ChatGPT possède une interface de type Question/Réponse qui fait penser que le chabot répond à une question, ce qui n’est pas réellement le cas. ChatGPT cherche à prédire les mots suivants en respectant le contexte donné (la question) et avec les consignes de l’apprentissage par Reinforcement du feed-back humain. ChatGPT imite le langage humain.

Dall-E, avant chatGPT

En 2022, Dall-E 2, développé également par OpenAI et basé sur GPT-2, était mis en ligne, sur inscription, et permettait déjà de générer des images (dessin, photo-réaliste, en imitant un style, …) à partir d’une description textuelle en anglais précisant le contenu de cette image (les couleurs dominantes, le style, …).

La description textuel “a foundryman casting some blue magic” produit ainsi une image qui rappelle la fonderie (EPI de protection, four) avec un « objet » bleu qui semble étrange et peut être interprété comme « magic ». On peut également uploader une images et DALL-E reproduit une série d’images synthétiques proches plus ou moins réussis et réalistes. On peut générer également des variations d’une image dite « Original ». Nous avons testé le concept sur des images de microstructures d’alliage et de poudre atomisé de SLM.

Le nombre d’images générées gratuitement (« free credit ») est limité pour une période (15 images/mois) et ensuite les images ultérieures sont payantes (achat de crédits). Dalle-2 fut salué par les utilisateurs, mais son potentiel était clairement beaucoup plus limité que ChatGPT. Depuis, de nombreux outils concurrents ont été développés (NightCafe, Deep Dream Generator, Jasper, …) sur le même principe.

ChatGPT et la comparatif masse de la terre et du soleil

A la question « Pourquoi la masse de la terre est-elle supérieure à la masse du soleil ? », Chat GPT répond : « La Terre est en effet beaucoup moins massive que le Soleil. La masse de la Terre est d’environ 5,97 × 10^24 kg, tandis que la masse du Soleil est d’environ 1,989 × 10^30 kg. Cela signifie que le Soleil est environ 330 000 fois plus massif que la Terre. Il y a plusieurs raisons pour lesquelles le Soleil est beaucoup plus massif que la Terre. Tout d’abord, le Soleil est beaucoup plus grand que la Terre. La Terre a un diamètre de 12 756 km, tandis que le Soleil a un diamètre de 1 392 000 km.

Cela signifie que le Soleil est environ 110 fois plus large que la Terre. En raison de sa taille beaucoup plus grande, le Soleil a également beaucoup plus de matière et donc une masse beaucoup plus grande. En outre, le Soleil est composé de matières plus lourdes que celles qui composent la Terre. Le Soleil est principalement composé d’hydrogène et d’hélium, alors que la Terre est principalement composée de roches et de métaux lourds tels que le fer et le nickel. Comme l’hydrogène et l’hélium sont des éléments beaucoup plus légers que le fer et le nickel, ils ont une masse beaucoup moins grande pour une quantité donnée. Cela signifie que même si le Soleil et la Terre ont une quantité similaire de matière, la masse totale de la Terre sera inférieure à celle du Soleil en raison de la composition de cette matière. »

Remarquons qu’en 2023, GPT3 affirme que « la terre est moins massive que le soleil » sans explicitement contredire l’énoncé comme il le faisait sur la question d’histoire précédente. En revanche, une interrogation en fin 2022 avec la même question confortait l’hypothèse que « la terre est plus massive que le soleil ». L’algorithme a donc évolué en quelques mois et répond de manière plus pertinente. Ensuite, si le premier argument (le ratio entre les diamètres) est valable, le second (« le Soleil est composé de matières plus lourdes que celles qui composent la Terre » ) est , quant-à-lui, complètement faux.

Lorsqu’on lui demande de continuer (par la commande « continue »), les autres arguments avancées sont également faux « En outre, le Soleil se trouve beaucoup plus près du centre de notre galaxie, la Voie lactée, que la Terre. Cela signifie qu’il a été exposé à des quantités plus importantes de matière interstellaire au cours de sa formation, ce qui lui a permis d’accumuler encore plus de matière et donc d’augmenter sa masse. » Il est clair qu’à l’heure actuelle, il vaut mieux contrôler les réponses de ChatGPT.

ChatGPT résout les problèmes de mathématiques

ChatGPT peut réaliser des opérations arithmétiques, mathématiques (calcul de dérivés, …). Ainsi, la résolution d’un système d’équations à deux inconnues « 2X + Y = 5 et 5X + 4Y = 11 » est réalisée en utilisant la méthode de substitution. Le raisonnement est expliqué pas à pas par ChatGPT, ce qui est très formateur pour un élève, mais un peu long pour un utilisateur adulte. Le résultat est exact (X = 3 et Y = -1). Précisons que le résultat du même système d’équation, testé en fin 2022, était faux (X = 19/7 et Y = -23/7), preuve de corrections du code en quelques mois.

De la même manière, ChatGPT trouve bien les 2 racines (-3 et -2) de l’équation du second degré X² + X – 6 = 0 en expliquant la méthode de résolution et en donnant la formule de calcul.

ChatGPT peut calculer la dérivée ou l’intégrale de diverses fonctions. Ainsi, ChatGPT précise «La dérivée de la fonction sin(x)/x est cos(x)/x – sin(x)/(x^2). Vous pouvez la trouver en utilisant la règle de dérivation du quotient, qui est la suivante: (f(x) / g(x))’ = (f'(x)g(x) – f(x)g'(x)) / (g(x))^2. En utilisant cette règle et en dérivant sin(x) et cos(x) comme des fonctions simples, vous pouvez trouver la dérivée de la fonction sin(x)/x ». ChatGPT peut également calculer le développement limité, par exemple de cos(x) pour x proche de 0 : 1 – x^2/2 + x^4/24 – x^6/720 + O(x^8).

ChatGPT et les tableaux de chiffre

Le chatbot peut également tracer des tableaux en les renseignant avec des données inconnues comme le montre l’interrogation suivante «Tracer un tableau double entrée avec en colonnes les 5 premiers mois de 2019 et en ligne les 5 premiers jours du mois et dans les cases au croisement le jour de le semaine ».

Le tableau généré est exact au niveau de la forme mais pas du contenu et on peut le signaler à ChatGPT en lui précisant son erreur (le 1^er janvier 2019, qui est un mardi et non un jeudi comme dans la première réponse). A partir de là, ChatGPT recalcule les jours de la semaine et regénère un tableau qui est cette fois exact.

Nous avons ajouté de la complexité avec la requête « Traces un tableau qui permette de comparer les procédés de fonderie conventionnels du point de vue des défauts internes, du coût d’outillage, de la précision dimensionnelle et des familles d’alliages réalisables par ces procédés.».

Le tableau généré est tout à fait correct au niveau de la forme mais présente des erreurs sur le fond en particulier pour la taille des pièces. La précision et le coût de réalisation sont un peu plus pertinents mais encore très imprécis.

ChatGPT et le codage informatique

ChatGPT peut coder des programmes ou corriger du code. Nous l’avons testé sur du code Python.

A la requête : «Ecris un code python qui fasse la somme des 10 premiers nombres premiers ne se terminant pas par le chiffre 7 », ChatGPT génère un code avec 3 blocs qui sont commentés ainsi : Cette fonction vérifie si un nombre est premier, Cette fonction retourne la liste des n premiers nombres premiers et enfin calculons la somme des 10 premiers nombres premiers qui ne se terminent pas par le chiffre 7. Le programme fonctionne et donne le résultat exact.

Ensuite, nous lui avons demandé de tracer un graphique en lui communiquant des séries de valeurs X et Y1 et Y2. ChatGPT va importer la librairie matplotlib (pour le tracé graphique) puis va créer des listes avec les valeurs de X, Y1 et Y2 et afficher le résultat sur le graphique.

Enfin, nous lui avons demandé de générer le code d’un algorithme génétique qui en partant d’une population de 50 mots en français et en 100 générations de générer des mots dont les lettres sont dans l’ordre alphabétique. ChatGPT a créé 50 mots initiaux, créé des opérateurs de croisement, de mutation, une fitness fonction et à itérer le programme. Le programme final présentait quelques bugs mais nous l’avons assez facilement corrigé. Le même code demandé en utilisant la librairie DEAP (utilisé pour coder des algorithmes génétiques) n’a pas été au bout.

Si le texte descriptif n’est pas assez précis, trop complexe ou fait appel explicitement à certaines librairies auxquels le code n’a pas accès, ChatGPT plante, ne va pas au bout et dans certains cas le précise. Les nombreux utilisateurs ayant testé ChatGPT sur du code informatique sont assez bluffé de la compréhension général du problème et de la pertinence du code. De plus, le code est systématiquement commenté, ce qui peut être un réel avantage.

ChatGPT et le point de fusion des alliages

A la question «Lequel de ces 2 alliages possède-t-il le point de fusion le plus bas : l’acier ou l’aluminium ? » , ChatGPT répond « Le point de fusion de l’aluminium est environ 660 degrés Celsius, tandis que le point de fusion de l’acier varie selon le type d’acier. En général, les aciers au carbone ont un point de fusion compris entre 1 350 et 1 500 degrés Celsius, tandis que les aciers inoxydables ont un point de fusion compris entre 1 400 et 1 450 degrés Celsius. Le point de fusion de l’aluminium est donc nettement inférieur à celui de l’acier, quel que soit le type d’acier considéré. Par conséquent, l’aluminium a le point de fusion le plus bas de ces deux alliages. Il est important de noter que le point de fusion d’un alliage dépend de sa composition chimique et de sa structure cristalline. Les alliages d’aluminium et d’acier peuvent contenir différents éléments de métaux et peuvent être fabriqués de différentes manières, ce qui peut affecter leur point de fusion. Cependant, en général, l’aluminium a un point de fusion plus bas que l’acier. » Là encore, la même question posée en 2022 conduisait à une réponse invalide en concluant que «L’acier possède un point de fusion plus bas ».

Lorsque la question est trop pointue, ChatGPT ne sait en général pas répondre. Ainsi, à la question « Quelle est la température de liquidus d’un alliage AlSi9Cu3(Fe) ? », l’algorithme rappelle la définition de la température de liquidus, précise que la température de liquidus est fonction de la composition mais ne donne pas de valeurs numériques et finalement répond « Il est recommandé de consulter des sources spécialisées ou de contacter le fabricant de l’alliage pour obtenir des informations précises sur sa température de liquidus ». Ce type de réponse (« consulter un spécialiste ») revient assez souvent pour des questions pointues techniquement.

Les limites de chatGPT

Si ChatGPT donne des résultats en général assez pertinents dans de très nombreux domaines, il n’est pas exempt de limitations et de bugs, comme le reconnait d’ailleurs OpenAI en avertissement aux utilisateurs. En particulier, il est très verbeux, avec dans certains cas une argumentation très approximative, mais qui peut sembler crédible (pour les non spécialistes) car s’appuyant sur un vocabulaire du domaine concerné.

Les risques d’utilisation frauduleuse de chatGPT

De nombreux chercheurs pointent le risque que de tels outils soient utilisés massivement pour la désinformation (fabrication de fake-news), le spam et le phishing, les attaques informatiques, la fraude ou la rédaction frauduleuse d’essais universitaires. D’autres universitaires travaillent sur des algorithmes qui permettraient de distinguer une prose « humaine » de celle générée en automatique par de tels outils.

Google peut être couplé à ChatGPT

De nombreux média s’interrogent sur le futur des moteurs de recherche et supposent qu’à terme ChatGPT – ou des outils similaires – remplaceront les moteurs actuels (Google) et les modes de recherche d’informations conventionnels où l’utilisateur doit chercher sa réponse sur plusieurs sites identifiés comme pertinent par le moteur de recherche. Signalons tout d’abord que l’on peut dès à présent coupler Google à ChatGPT en installant une application « ChatGPR for Google ». Cette extension pour Chrome et Firefox permet de lancer simultanément une requête dans Google et ChatGPT et d’afficher les résultats sur la même page.

Google est-il dépassé ?

La différence entre Google et ChatGPT est importante. Google trouve les sources d’informations (sites, blog, …), mais ne donne pas une réponse à un problème. A contrario, ChatGPT donne une réponse, mais ne cite pas ses sources. Il est cependant incontestable que ChatGTP est un Game-changer qui introduit une rupture technologique qui semble majeure. Il y a fort à parier qu’il y aura un « avant » ChatGPT et un « après ». Si OpenAI a sorti cet outil le premier, les équipes de Google ont développé depuis 2020, mais sans le mettre à disposition du grand public, LaMDA, chat conversationnel, lui aussi à base de Transformers. D’or et déjà, plus d’un million d’utilisateurs se sont inscrits sur OpenAI et l’ont au moins testés, à défaut de l’utiliser au quotidien. La valorisation d’OpenAI a grimpé à 29 milliards de dollars en janvier 2023, ce qui donne un indice de son potentiel. ChatGPT est gratuit pour le moment. Le restera-t-il ? Quel sera son modèle économique ? Sera t-il intégré au moteur de recherche Bing de Microsoft, ou dans une future version de Word, comme certains le prédisent ? Les moteurs de recherche conventionnels existeront ils encore en parallèle avec des outils inspirés de ChatGPT ? Les chatbots conversationnels dopés aux Transformers (ou à d’autres techniques de l’IA) rafleront ils l’essentiel du marché ?

Autant de questions qui dépendent de nombreux facteurs : l’appétence du grand public pour de tels outils, la politique de développement des GAFAM, les nouveaux entrants sur le marché ou encore l’évolution très rapide des technologies de Machine Learning (dont les Transformers).

Un outil d’avenir

Tous ceux qui eut l’occasion de tester ChatGPT ont été surpris de sa compréhension du langage naturel, de l’étendue de ses connaissances et de sa « relative » fiabilité. Les réponses données ne sont pas parfaites, loin de là. Elles ont tendances à être excessivement verbeuses, comme le précise OpenAI. Dans certains cas, les réponses sont peu fiables lorsque le sujet est pointu où la question trop complexe. ChatGPT donne souvent des réponses exactes mélangées à des réponses fausses, ce qui nécessite de vérifier les réponses. Dans le cas général, cependant, la qualité des réponses étonne. Et l’outil est encore très jeune avec des fortes évolutions encore à venir en Intelligence Artificielle tant en développement de modèles qu’en puissance informatique. La 4ème version de GPT ainsi est annoncée par exemple pour dans un an avec une puissance multipliée par 500, ce qui devrait augmenter encore les performances de ChatGPT.

La possibilité de pouvoir engager un dialogue (ChatGPT se souvient des questions précédentes) de type chatbot est également très intéressante car cela permet de rectifier ou de faire préciser les réponses. De plus, on l’aura noté, ChatGPT semble évoluer assez rapidement et nous avons noté des corrections en l’espace de quelques mois pour la même question posée.

Il est clair que ce type d’outil va probablement s’imposer car on pressent de nombreuses utilisations potentielles, soient grand public, soient davantage professionnelles (rédactionnel, codage, analyse de documents ou de data, …) dans de nombreux domaines.