ChatGPT a été mis en ligne en novembre 2022 et a tout de suite connu un succès mondial. À peine deux mois après son lancement, il comptait déjà 100 millions d’utilisateur·ices (janvier 2023), ce qui en fait l’une des applications avec le taux de croissance le plus élevé à son lancement.
Mais comment fonctionne-t-il ? Quelles sont les perspectives que nous offrent ces technologies ? Quelles sont également leurs limites et quels pièges éviter lorsqu’on les utilise ?
État des lieux et entretien avec Jean-François Raskin, chercheur au département des sciences informatiques de l’ULB, Faculté des Sciences.
ChatGPT…en bref
ChatGPT est un modèle de langage présenté comme un agent conversationnel (chat bot). L’algorithme GPT-3 (pour Generative Pre-trained Transformer) a été développé par OpenAI, une entreprise américaine spécialisée dans le développement d’intelligences artificielles (IA). OpenAI est également connue pour avoir développé DALL-E, une IA capable de générer des images à partir de texte.
Très schématiquement, ChatGPT a une fonction similaire à celle de la fonction « prédiction » du clavier de nos smartphones : prédire quel sera le prochain mot. Pour cela, l’algorithme est basé sur ce que l’on nomme un modèle de langage. Le modèle de langage est un modèle statistique permettant de modéliser la distribution de séquences de mots dans une langue donnée. Son but est donc de déterminer quelle séquence de mots serait la plus probable dans un contexte donné.
De manière très schématique et simplifiée, voici comment le modèle fonctionne :
Chaque ramification possède un score de probabilité. La transition avec la probabilité la plus élevée (ici, en noir), sera privilégiée par l’algorithme. Les transitions les moins probables (en gris) seront quant à elles mises de côté.
Pour pouvoir calculer la probabilité des transitions, l’algorithme de ChatGPT a été entrainé sur de très gros corpus de textes (environ 500 milliards de mots pour l’anglais) desquels ont été extraits des modèles statistiques permettant de produire des phrases inédites. Autrement dit, GPT-3 analyse de manière statistique la construction des phrases et les enchainements de mots dans une langue donnée pour pouvoir reproduire des constructions plausibles.
La puissance étonnante de ChatGPT réside principalement dans ses paramètres qu’il peut ajuster pour répondre aux différentes tâches qu’il doit exécuter. L’algorithme GPT-3 possède environ 175 milliards de paramètres ajustables d’après OpenAI, ce qui lui permet donc de s’adapter à un grand nombre de tâches et de contraintes.