Qu'est-ce que GPT-3 : comment ça marche et pourquoi ça vous intéresse

Qu'est-ce que GPT-3 : comment ça marche et pourquoi ça vous intéresse

Non, les robots ne sont pas en train de conquérir le monde (tout du moins pas encore). Cependant, grâce à Generative Pre-trained Transformer 3 (GPT-3), ils sont sur la bonne voie pour ce qui est d'écrire du texte numérique aussi bien que des humains – voire mieux, dans certains cas.

L'écriture quasi humaine semble être une étape majeure vers un avenir digne de Terminator... mais tout cynisme mis à part, GPT-3 repousse les limites de ce que l'IA et l'apprentissage automatique peuvent accomplir.

Qu'est-ce que GPT-3 ?

GPT-3 est un nouveau modèle de langage développé par les génies d'OpenAI, générant du texte écrit par une IA qui pourrait être quasiment impossible à différencier de phrases, paragraphes, articles, nouvelles, dialogues ou encore paroles écrits par un humain.

Entraîné par OpenAI sur un énorme corpus de texte et plus de 175 milliards de paramètres (oui oui, vous avez bien lu), GPT-3 constitue le plus grand modèle de langage jamais créé.

Je vous ai perdu ? En termes non techniques, OpenAI a montré à GPT-3 comment des millions de personnes écrivaient, et lui ont appris à s'inspirer de modèles d'écriture en fonction de l'entrée utilisateur. Il suffit de lui donner du contenu en entrée, et le modèle générera un texte intelligent suivant le modèle et la structure soumis.

Par exemple, Drew Baumann (Directeur technique de Repeat) a obtenu la recette décadente ci-dessous en alimentant le modèle à l'aide d'une invite et d'un peu de contenu en entrée:

Recette générée par une IA

J'adore le milk-shake à la banane. J'ai dû en goûter mille différents au fil des ans. Donc quand j'ai voulu en ajouter un au menu du café, j'ai un peu fait le difficile. Je voulais quelque chose qui soit bon sans être trop sucré. Je voulais vraiment que les saveurs de banane et de vanille ressortent.

Comme j'utilisais des bananes fraîches, je voulais qu'elles soient les plus mûres et les plus sucrées possible. J'utilise une ou deux bananes (selon la taille), une tasse de lait d'amande à la vanille, 3/4 de tasse de glace, 3/4 de tasse de lait, 1/4 de tasse de yaourt grec nature allégé, 2 cuillères à soupe de crème de lait d'amande, 1 cuillère à soupe de cacao en poudre, 1/2 cuillère à café de cannelle, 1/4 de cuillère à café de muscade et 1/8 de cuillère à café de poudre de clous de girofle. Pour le milk-shake à l'Oreo, j'ajoute 1/2 tasse de yaourt grec nature allégé. C'est tout ! Si simple et si bon à la fois.

C'est une recette simple, mais c'est ça le plus beau. Les ingrédients frais font toute la différence. Les bananes, la vanille et le cacao s'accordent vraiment à merveille.

Ingrédients

• 1 banane congelée
• 1/2 tasse de café froid (ou 1/2 tasse d'eau froide + 1/2 cuillère à café de café soluble)
• 1/2 tasse de glace à la vanille
• 1 cuillère à café de cacao en poudre
• 1/4 de tasse d'Oreo concassés
• 1/4 de tasse de myrtilles
• 1/4 de tasse de glace

Instructions

1. Placez tous les ingrédients dans un blender et mixez jusqu'à ce que le mélange soit lisse.

Découvrez Soulless Food pour plus de suggestions de recettes générées par une IA de la part de Drew.

Il semble que GPT-3 sache cuisiner, chanter, répondre, traduire, résumer, programmer, informer et même écrire un article – comme je le fais en ce moment. Ce qui pose la question : cet article a-t-il été écrit par une intelligence artificielle, ou par un humain ? Si vous vous posez ce genre de questions, c'est que vous commencez à prendre la mesure de tout le potentiel de GPT-3.

Comment GPT-3 fonctionne-t-il ?

GPT-3 est un modèle de langage, c'est-à-dire un programme statistique qui prédit la séquence probable de mots. Entraîné sur un vaste jeu de données (issues de sources telles que Common Crawl, Wikipédia et bien d'autres), GPT-3 a vu des millions de conversations et peut calculer le prochain mot (voire le prochain caractère) qui devrait être utilisé en fonction des mots qui l'entourent.

Si vous saisissiez un premier ensemble de mots, comme « allez au magasin pour acheter... », GPT-3 commencerait à prédire ce qui viendrait naturellement ensuite, sur la base de son entraînement. Ce qui serait sans doute quelque chose comme :

• des œufs
• du lait
• du pain
• des fruits
• des légumes
• un encas
• des boissons
• etc.

Multipliez cette complexité par des milliers de scénarios et tâches potentiels, et vous obtenez GPT-3.

Ce qui rend GPT-3 spécial, c'est sa capacité à répondre intelligemment à des données d'entrées minimales. Entraîné de manière approfondie sur des milliards de paramètres, il ne nécessite plus aujourd'hui qu'une poignée d'invites ou d'exemples pour effectuer la tâche précise que vous souhaitez. C'est ce qu'on appelle l'«apprentissage à partir de peu d'exemples, ou few-shot learning ».

Par exemple, après avoir analysé des milliers de poèmes et de poètes, il suffit de saisir le nom d'un poète pour que GPT-3 crée un poème original semblable au style de l'auteur. GPT-3 reproduit la structure, le rythme, le genre, la cadence, le vocabulaire et le style des œuvres précédentes du poète afin de générer un poème totalement inédit.

GPT-3 se présente sous la forme d'une offre LMaas (language-mode-as-a-service) basée sur le cloud, plutôt que d'un téléchargement. En faisant de GPT-3 une API, OpenAI entend contrôler de manière plus sécurisée l'accès et les fonctions de retour arrière en cas de manipulation de la technologie par des utilisateurs malveillants.

Cas d'usage de GPT-3

GPT-3 présente plusieurs applications concrètes potentielles. Les développeurs et entreprises commencent tout juste à explorer les cas d'usage potentiels, mais il est passionnant de voir tout ce qu'ils ont déjà découvert. Voici quelques exemples de la manière dont GPT-3 révolutionne les communications.

Recherche sémantique

Que vous cherchiez la réponse à une question précise ou des résultats de recherche plus pertinents, GPT-3 peut vous aider. Au lieu de se contenter de simples associations de mots-clés, il est possible d'utiliser les connaissances approfondies de GPT-3 afin de répondre rapidement et précisément à des questions de langage naturel complexes.

Par exemple, Miguel Grinberg, développeur chez Twilio, vous montre comment construire un bot fournissant des définitions de tout ce que vous pouvez lui donner en entrée, dans son Guide ultime du modèle de langage GPT-3 d'OpenAI.

Chat

Donnez à vos chatbots les moyens de communiquer efficacement et intelligemment, plutôt que de discuter, vous savez, comme un bot. Que vous deviez fournir des réponses, des recommandations ou des conseils, les agents intelligents basés sur GPT-3 peuvent échanger plus efficacement avec vos clients.

Par exemple, Diane Phan, développeuse chez Twilio, a construit un chef étoilé au Guide Michelin WhatsApp qui répond à toutes vos questions en matière de cuisine. Le « chef » a travaillé sous les ordres de Gordon Ramsay et dans un restaurant étoilé au Guide Michelin, au sens où il a été entraîné sur des données illustrant la manière de penser de Gordon Ramsay et sur du texte décrivant le savoir-faire du chef étoilé en matière de gestion de restaurants.

Miguel Grinberg a construit un chatbot capable d'avoir avec les utilisateurs des discussions utiles et dignes d'une interaction humaine. Découvrez comment le bot de Miguel permet à un client d'apprendre à écrire une application Web et de choisir le langage qu'il devrait utiliser.

Génération de contenu

Que vous ayez besoin d'un contenu créatif, de supports pédagogiques, de jeux d'aventure, de pages produits ou de paroles pour votre prochaine chanson punk, GPT-3 sait tout faire. Ce n'est certes pas une API à laquelle vous devriez laisser totalement carte blanche, mais après un entraînement de base, elle fait effectivement un travail décent dès lors qu'il s'agit de créer du contenu original. Toujours est-il qu'un travail de fond reste nécessaire afin de vérifier les faits et d'éliminer les idées les plus disparates qu'elle pourra produire.

Découvrez comment ce programme basé sur GPT-3 crée des légendes susceptibles de faire le buzz pour toutes vos publications sur Instagram, ou comment cette app d'écriture fantôme raconte d'effrayantes histoires d'Halloween originales.

Accélérateurs de productivité

GPT-3 peut être utilisé pour améliorer et peaufiner tout votre travail, de vos e-mails à votre code.

Par exemple, Gmail est capable de terminer automatiquement vos phrases et de suggérer des réponses. GPT-3, pour sa part, permet également de résumer des articles plus longs, ou encore de bénéficier d'un retour sur quelque chose que vous avez écrit.

Perfectionnée à partir de milliers de référentiels GitHub open source, l'API d'OpenAI est même capable de compléter du code et de fournir des suggestions en contexte.

Traduction

L'API de GPT-3 peut être utilisée pour traduire des conversations, ou même pour discuter avec des utilisateurs dans leur langue préférée. Cela permet aux entreprises de créer des chatbots plus sophistiqués afin d'interagir avec tout un éventail de clients et de traduire du contenu pour d'autres marchés.

Vous ne voudrez sans doute pas faire de GPT-3 votre seul traducteur, mais il pourra vous être utile en tant qu'outil de vérification de secours lors de la relecture des traductions.

GPT-3 contre BERT

Google a développé sa propre solution de traitement du langage naturel (NLP), connue sous le nom de Bidirectional Encoder Representations (BERT). Google utilise BERT pour comprendre le contexte des recherches effectuées par les utilisateurs, au lieu de se concentrer uniquement sur les associations de mots-clés dans les requêtes de recherche.

Voici les principales nuances entre les deux :

• GPT-3 a été entraîné sur 175 milliards de paramètres, contre 340 millions pour BERT.
• BERT nécessite des réglages complexes, tandis que GPT-3 apprend à partir de peu d'exemples pour prédire rapidement les résultats en sortie avec un minimum de données en entrée.
• GPT-3 n'est pas disponible publiquement (vous devez être accepté sur la liste d'attente d'OpenAI), alors que BERT est un modèle open source accessible au grand public.

Avec les bons paramètres, BERT peut obtenir d'excellents résultats sur certaines tâches, mais n'est tout simplement pas une solution de NLP aussi prête à l'emploi que GPT-3.

Inconvénients de GPT-3

GPT-3 n'en est encore qu'à ses débuts, donc il est loin d'être parfait. Certes, il offre de solides résultats, mais il possède encore une forte marge de progression. Sam Altman, l'un des fondateurs d'OpenAI, l'a bien résumé sur Twitter :

Tout ce battage médiatique autour de GPT-3, c'est beaucoup trop. Il est certes impressionnant (merci pour les beaux compliments !), mais il présente encore de graves lacunes et fait parfois des erreurs très stupides. L'IA va changer le monde, mais GPT-3 n'en est qu'un tout premier aperçu. Il nous reste encore beaucoup de choses à comprendre.

— Sam Altman (@sama) 19 juillet 2020

Voici quelles sont à l'heure actuelle les « graves lacunes » de GPT-3 :

Points négatifs

GPT-3 peut sembler être la solution idéale pour des communications basées sur une IA, mais il n'est pas dénué d'imperfections. Cette puissante technologie de machine learning présente quelques inconvénients :

• Manque de véritable intelligence : GPT-3 est un modèle de deep learning utilisant des algorithmes de machine learning, mais il n'est pas encore question d'« intelligence ». Cette IA utilise uniquement le texte existant afin de prédire les résultats futurs. Elle n'invente pas nécessairement grand-chose de vraiment original, car il lui manque une vraie compréhension et une signification (contrairement à une approche telle que l'intelligence artificielle forte (IAF)).
• Risque lié à la confidentialité : on ne peut clairement dire si GPT-3 conserve ou non une partie quelconque des données d'entraînement, ce qui en fait un problème potentiel de confidentialité.
• Biais : GPT-3 peut être dupé et amené à créer du contenu incorrect, raciste, sexiste et partial, dépourvu à la fois de bon sens et de sensibilité par rapport au monde réel. La sortie produite par le modèle dépend de l'entrée : à données défectueuses en entrée, déchets en sortie.

Ce que GPT-3 pense de lui-même

Au-delà de la création de nouvelles chansons de Taylor Swift et d'intéressantes théories du complot, je me suis dit qu'il fallait que je sois un peu plus concret dans l'application du GPT-3, c'est pourquoi je l'ai aussi laissé contribuer à cet article.

C'est ainsi qu'aux données d'entrée « Risques de GPT-3 d'OpenAI », GPT-3 a répondu :

La création de GPT-3 s'accompagne de nombreux risques. Le premier et le plus important est le risque que l'IA soit utilisée afin de créer une IA encore plus avancée.

Ce n'est pas un risque nouveau – cela en a toujours fait partie. En fait, c'est le risque qui a donné naissance à l'IA en premier lieu.

La peur que l'IA primitive des années 60, 70 et 80 prenne le contrôle du monde est ce qui a conduit à la création des principes d'Asilomar sur l'IA, à la naissance d'OpenAI, et de toutes les autres initiatives qui existent aujourd'hui pour empêcher l'IA de suivre la voie de Terminator.

Aujourd'hui, au lieu de nous inquiéter de l'intelligence artificielle primitive, nous devons nous inquiéter de l'intelligence artificielle avancée.

Le risque qu'une IA prenne le contrôle du monde existe encore, mais il a évolué.

Les autres inquiétudes entourant la création de GPT-3 sont les mêmes que celles qui entourent toutes les recherches sur l'IA. La crainte qu'il soit utilisé par des agents malveillants en vue de nuire.

Ces inquiétudes sont valables et doivent être abordées. Il existe cependant une autre crainte propre à GPT-3, à savoir celle que l'on crée une IA si avancée qu'elle puisse prédire l'avenir.

... Waouh. C'est là une éventualité tout à fait dystopique.

Aller de l'avant avec GPT-3

Vous avez hâte de mettre les mains dans le cambouis avec GPT-3 ? Eh bien, malheureusement, vous allez devoir faire la queue. Ce modèle de langage de deep learning est actuellement très médiatisé, si bien que vous devrez rejoindre une longue liste d'attente avant de pouvoir essayer la version bêta privée.

Il n'est pas prévu qu'il soit placé en disponibilité générale de sitôt, mais si vous ne pouvez attendre la version bêta, vous pouvez vous amuser avec la version précédente, GPT-2. Bien qu'elle ne soit pas aussi robuste que GPT-3, elle vous donnera une bonne idée du fonctionnement du modèle de langage.

Vous souhaitez explorer davantage de possibilités offertes par GPT-3 ? Découvrez toutes les façons remarquables dont nos développeurs ont utilisé GPT-3 afin de créer des applications utiles basées sur Twilio. Voici un aperçu des applications qu'ils ont construites :

• Construire un chatbot avec le moteur GPT-3 d'OpenAI, Twilio SMS et Python par Miguel Grinberg
• Générer un fan fiction Dragon Ball avec GPT-3 d'OpenAI et Twilio SMS par Sam Agnew
• Le guide ultime du modèle de langage GPT-3 d'OpenAI par Miguel Grinberg
• Générer des recettes de cuisine avec GPT-3 d'OpenAI et Ruby par Drew Baumann (membre de la communauté Twilio Champions)
• Construire un chatbot téléphonique avec GPT-3 et Twilio Autopilot par Steve Tingiris (membre de la communauté Twilio Champions)