Open AI & GPT-1

Voici ce que donne la fiche Wikipédia :

OpenAI (« AI » pour Artificial Intelligence, ou Intelligence artificielle) est une entreprise à « but lucratif plafonné » en intelligence artificielle, basée à San Francisco. Avant mars 2019, elle était reconnue association à but non lucratif. L’objectif de cette société est de promouvoir et développer une intelligence artificielle à visage humain qui bénéficiera à toute l’humanité. Via un fonds initial de 100 millions de dollars, OpenAI cherche à s’associer à quelques startups utilisant l’intelligence artificielle pour avoir un effet transformateur par exemple dans les domaines des soins de santé, du changement climatique et de l’éducation – et « où les outils d’IA peuvent autonomiser les gens en les aidant à être plus productifs »

Ndlr : les secteurs d’interventions se sont largement étendus à ce jour.

Intelligence artificielle : Open AI – GPT, l’ami qui vous veut du bien

Et si, à l’avenir, le meilleur ami de l’homme n’était pas le chien mais un réseau de neurones aux centaines de milliards de paramètres ?
Grâce aux progrès accomplis dans le traitement automatique du langage, l’intelligence artificielle (IA) peut désormais nous tenir compagnie pendant des heures. Prenez GPT (Generative Pretrained Transformer Version 4). Ce système très perfectionné, capable de produire des fakes news, réalistes, anime désormais des parties de jeux de rôle sur Internet via une application payante baptisée AI Dungeon. Celle-ci reprend les grands principes établis par Donjons et Dragons dans les années 1970 : un maître de jeu raconte une histoire à une ou plusieurs personnes et interagit avec elles pour leur faire découvrir le scénario petit à petit.

Sauf que dans ce cas, le guide n’est pas un humain mais un… énorme algorithme alimenter par des millions (voir milliard de données) ! Se frotter à ce compagnon de jeu virtuel est grisant. Certes, les écrits de la machine ont parfois un côté lunaire mais son phrasé reste impeccable, et son imagination, sans limite. Elle est capable d’inventer la suite de n’importe quelle histoire en un battement de cils et de l’adapter à la moindre requête des joueurs, même si ces derniers sont d’humeur grivoise…

OpenAI fait l’acquisition Global Illumination pour travailler sur ChatGPT

La start-up Global Illumination est la première acquisition publique opérée par OpenAI depuis son lancement en 2015. La société californienne qui développe le très populaire robot conversationnel ChatGPT a déclaré que la nouvelle équipe travaillerait sur ses « principaux produits ». Dans un bref communiqué paru le 16 août 2023, la société OpenAI a divulgué le rachat de Global Illumination, une start-up new yorkaise peu connue du grand public qui développe grâce à l’intelligence artificielle des outils et des expériences numériques.

Comme il existe maintenant plusieurs version de ChatGPT ; nous nous concentrerons sur la version 4. La compatibilité ascendante est assurée.

Qui est donc OpenAI ? L’entreprise aux avant-postes de l’intelligence artificielle générative, ce nouvel âge de l’IA. GPT3 et DALL·E, c’est elle. Bref, OpenAI est l’un des nouveaux géants de la tech qu’il convient de suivre de près.

Les prémisses de la création

Nous sommes au moi de juillet 2015, Rosewood Hotel, Californie du nord. C’est dans la salle privatisée d’un grand hôtel de la région que se réunissent discrètement, en cette soirée d’été, certains des hommes d’affaires les plus en vue de la tech américaine. Se retrouve Ilya Sutskever qui a révolutionné le secteur du deep learning en 2012, Greg Brockman le fondateur de Stripe, société de paiements numériques, Sam Altman, à la direction d’Y Combinator, l’incubateur de Dropbox, Coinbase, Airbnb… entre autres mais que des réussites. Sam Altman n’a pas eu de difficulté à convaincre son vieil ami Elon Musk de se joindre au dîner. Si celui-ci redoute depuis toujours que les robots remplacent bientôt l’espèce humaine, il est tout aussi convaincu que l’intelligence artificielle sera la grande révolution du XXIe siècle.

L’ambition d’une IA transparente et ouverte

Sam Altman a une idée précise dans sa tête : convaincre chacun de ses invités présents, à commencer par la dizaine d’ingénieurs et de scientifiques travaillant pour l’un des GAFAM, de quitter son boulot pour le rejoindre dans le laboratoire de recherche en Intelligence Artificielle qu’il est en train de mettre en place avec Musk, Brockman et quelques autres. Le projet porte le nom prophétique d’« OpenAI ». Son projet ? Créer une IA « transparente, et ouverte à toutes et à tous », explique Sam Altman à son auditoire. « Notre objectif est de faire progresser l’intelligence numérique de la manière la plus susceptible de bénéficier à l’humanité dans son ensemble ». Des dizaines de millions de dollars étaient déjà levés.

Toutefois, le moment est à la fois propice et délicat. En 2015, des progrès extraordinaires ont déjà été faits dans l’I.A qui dépasse les espérances les plus folles des chercheurs. Conscients du potentiel d’un marché sans limite, les géants de la tech ont acquis à tour de bras start-up et ingénieurs du secteur, tandis que des assistants vocaux intelligents — Siri (Apple), Alexa (Amazon) — ont envahi les foyers et téléphones portables du monde entier sans évoquer les ChatBot… De l’autre, les premières révélations sur les usages toxiques de Facebook, Google et autres GAFAM, notamment l’aptitude de leurs algorithmes « intelligents » à nous dérober nos informations les plus personnelles pour les exploiter contre notre gré, rendent le public de plus en plus critique à leur égard. Des scientifiques partagent enfin l’appréhension de d’Elon Musk, pensant que l’IA devienne une véritable menace pour l’homme. Elle pourrait même, d’après l’astrophysicien Stephen Hawking, « signifier la fin de la race humaine ».

Une ONG pour loger l’IA ?

La singularité d’OpenAI tient dans sa philosophie : organisation à but non lucratif, la structure veut explorer l’avenir de l’IA « tout en prenant les mesures indispensables afin d’éviter les mésusages de ce qu’elle est sur le point d’inventer », écrivent ses fondateurs dans une charte publique qui énonce les principes fondamentaux de la nouvelle organisation. Là où Google, Facebook dominent le monde grâce à des algorithmes opaques à code source fermés, eux promettent de « partager librement leurs recherches et codes, sans chercher à en tirer profit ». Il s’agit, via une organisation à but non lucratif, de créer une I.A « à visage humain, qui pourrait avoir des effets révolutionnaires dans les domaines par exemple de la santé, du changement climatique, ou encore de l’éducation ». Des dix chercheurs approchés ce soir-là neuf choisiront de renoncer aux augmentations de salaires mirobolantes que leur proposent leurs employeurs afin de rejoindre l’aventure.  « À cette époque, le monde entier regardait OpenAI avec fascination », se souvient Cade Metz dans Wired. Et peu importe qu’Elon Musk, craignant le conflit d’intérêts, ait décidé de rester à l’arrière-plan du grand projet dans un premier temps. Pendant quelques années, toute la Silicon Valley s’interroge sur ce qui se trame dans le vieil immeuble du centre San Francisco, où Sam Altman et ses associés se sont installés.

Changement de contexte et de programme

En février 2019, l’organisation OpenAI annonce la mise au point d’un « nouveau modèle de langage ultra-performant », tout en précisant que « cette technologie pourrait être dangereuse ». GPT-2 (pour « generative pre-training transformer ») est un générateur de texte qui assimile les mots reçus et en détermine la suite la plus logique, qu’elle retransmet dans le même style. Son « intelligence » repose sur sa capacité à s’entraîner sans cesse, sur un très grand nombre de données, celles que propose l’Internet, afin de s’autocorriger et d’apprendre en quelque sorte par lui-même. Il s’avère si performant qu’il est difficile de faire la différence avec un texte écrit par un être humain. Le fameux « pari de Turing », selon lequel un ordinateur pourrait un jour faire exactement la même chose que les hommes, semble sur le point d’être remporté. Si le logiciel était utilisé avec une intention malveillante, s’inquiète quand même OpenAI, il pourrait générer des infox, spams ou textes complotistes très crédibles. La structure préfère donc, dans un premier temps, ne pas rendre public le code source du programme. Certains s’offusquent de cette décision qui va à l’encontre de la « transparence » mise en exergue dans la charte. D’autant plus que dans la foulée est annoncé le lancement d’OpenAI LP, une entreprise « à profit plafonné » certes mais qui, comme les autres business du secteur, fera des bénéfices et aura des investisseurs. Microsoft est le premier d’entre eux, qui investit un milliard de dollars dans la société. « OpenAI n’est pas si ouvert que cela », ironise l’analyste Alberto Romero dans un article assassin : « Comment OpenAI a vendu son âme pour un milliard ». Communiquant scientifique d’OpenAI, Andrew Mayne justifie les raisons de ce virement de bord en mettant en avant les « coûts gigantesques nécessaires à l’avancée des recherches ». L’entreprise a besoin de faire fonctionner ses modèles à grande échelle, elle construit pour cela des giga ordinateurs dans l’Iowa, où ses « réseaux de neurones convolutifs » traitent, 24h/24, des milliards de données.

« La grande majorité du financement est consacrée aux capacités technologiques » précise aussi Mayne, qui rappelle qu’OpenAI LP, avec à peine deux cents employés, n’a jamais grossi de manière significative. « Nous avons l’intention de rester une petite entreprise agile, qui peut prendre des décisions efficaces grâce à une quantité folle de ressources informatiques ». Fin mai 2020, OpenAI annonce la sortie de ce qui est considéré aujourd’hui comme son chef-d’œuvre : GPT-3. Tandis que GPT-2 s’est entraîné sur « seulement » 1,5 milliard de paramètres spécifiques, cette nouvelle génération de programmes en prend en compte 175 milliards, et s’entraîne sur 700 gigaoctets de données, tirées de l’ensemble du Web ainsi que de nombreux e-books. Les résultats sont sidérants, qui propulsent selon l’avis unanime des critiques GPT-3 en « modèle de langage entraîné le plus puissant au monde », loin devant ses concurrents développés par Google ou Facebook.

L’invention ne fait pourtant pas que des émules.

Avec un tel niveau de compréhension et d’intelligence, elle pourrait à terme rendre obsolètes plusieurs professions — juristes, journalistes, service clients dont le métier est de traiter des données. Même des informaticiens s’inquiètent pour leur avenir quand, quelques mois après la mise en ligne de GPT-3, l’équipe OpenAI affirme que le réseau neuronal a, sans qu’on le lui ait demandé, développé des compétences étonnantes pour écrire des logiciels informatiques. Le Web étant rempli d’innombrables pages qui incluent des exemples de programmation informatique, GPT-3 a effectivement appris à programmer. OpenAI peaufine bientôt cette compétence en lançant une interface conçue par les programmateurs, baptisée Codex. D’autres outils viennent compléter la gamme de produits proposés par OpenAI comme l’impressionnant Dall-E,  une version de GPT-3 qui génère des images complexes à partir de mots courants (le « langage naturel », disent les informaticiens). En mars 2021, nouveau coup de théâtre : une équipe d’OpenAI affirme avoir « découvert des neurones multimodaux dans le logiciel d’apprentissage profond ». Les neurones multimodaux sont ce type de neurones qui, dans le cerveau humain, s’activent en réponse à des catégories ou des concepts généraux. Le programme aurait ainsi, à force de s’entraîner et de se corriger sans cesse, imité l’une des activités les plus subtiles de notre cogito. Activé par le concept général d’araignées, le neurone en question est baptisé « neurone Spider-Man », parce qu’il aurait été activé, précise l’équipe de chercheurs, non seulement par des images d’araignées, mais aussi par des Spider-Men illustrés de bandes dessinées et des photos de personnes en costumes de Spider-Man.

Ce qui est de fait fascinant avec OpenAI, et explique en partie son succès, c’est sa capacité à révéler ses recherches au compte-goutte, et à les mettre en scène comme de véritables découvertes scientifiques majeures. « Du marketing intelligent » fustigent ses détracteurs. Dans un article très discuté, publié l’année dernière dans une revue scientifique, l’universitaire Timnit Gebru affirme que GPT-3 et consorts ne seraient que des « perroquets stochastiques », qui synthétiseraient et régurgiteraient des choses déjà connues. De nombreux informaticiens déplorent aussi le choix qu’a fait la compagnie de ne pas divulguer ses avancées en open source, comme la majorité des programmateurs le fait. L’entreprise reste de fait très opaque, et n’a pas souhaité nous communiquer ni son chiffre d’affaires, ni son capital, ni le salaire de ses employés. Elle choisit sans doute d’entretenir l’aura de mystère qui l’entoure, afin d’alimenter son mythe.

Des utilisateurs ont aussi révélé de nombreux bugs

Bugs préoccupants dans un certain nombre de contextes. Une start-up française qui a testé GPT-3 en tant que patient, dans une visée médicale, s’est ainsi vu conseillé par la machine de se suicider. Pour ma part, ayant pu avoir accès à une version « béta » (en me faisant passer pour un codeur), je n’ai pas été impressionné outre mesure. D’autant qu’après une heure de « test », j’étais redirigé vers une page du site où l’on me demandait ma carte bleue pour continuer. Reste enfin le problème principal : la machine s’entraînant sur des données en libre accès sur Internet, elle relaye de fait, amplifie et invente même parfois des fake news. N’ayant aucune forme de « conscience », elle peut répéter par exemple une théorie raciste si elle l’a lue quelque part, sans comprendre son caractère problématique. Pour lutter contre ce qu’elle nomme ce « potentiel de toxicité », OpenAI lançait en juin dernier PALMS, « Processus d’adaptation des modèles linguistiques à la société ».  Cette technique implique l’intervention de l’homme, dès que l’on touche à un certain nombre de sujets sensibles, sur lesquels l’algorithme devra être emmené à rectifier le tir. Elon Musk peut être rassuré : on est encore loin du pari de Turing.

Article complémentaire sur Codex :

OpenAI lance en bêta privé Codex, un logiciel qui traduit l’anglais en code informatique
L’Intelligence artificielle Codex, capable de traduire l’anglais en code informatique, a été présentée en juillet par OpenAI. La startup a, depuis, perfectionné son système.
Publié sur Siècle Digital par Benjamin Terrasson le 13 août 2021

Une vidéo pour bien poser les bases

Méditons ensemble sur un avenir devenu une quasi-réalité sans que la majorité d’entre nous ne le sache. Nous allons parler de l’algorithme de génération de texte GPT-3. GPT-3 a été dévoilé le 28 mai 2021 ; en cinq mois, il s’est déjà distingué dans trois situations emblématiques qui bousculent l’idée qu’on se fait des possibilités de l’intelligence artificielle.
Je vous propose de prendre ces trois situations comme point de départ pour notre réflexion.

Proposition n° 1 : Essayez de moins réfléchir

En juillet 2021, un certain Liam Porr a créé un blog qui a attiré en deux semaines près de 26 000 lecteurs. Le premier article publié (“Baisse de productivité ? Essayez de moins réfléchir”) s’est hissé à la première place du classement de la plateforme Hacker News. Une fois son expérience terminée, Liam Porr a avoué que les textes n’avaient pas été créés par un humain mais par GPT-3 ! En clair, tous ces articles tant appréciés des lecteurs ont été écrits par un algorithme. Le point important pour notre réflexion est le suivant : sur les 26 000 lecteurs, un seul avait deviné que les contenus de Liam Porr n’avaient pas été écrits par un humain ! D’ailleurs, le sceptique avait récolté des critiques de la part des autres abonnés du blog.

Proposition n° 2 : Je-sais-tout

En septembre, sur le portail AskReddit, un autre GPT-3 a répondu aux questions des utilisateurs durant une semaine en se faisant passer pour un internaute lambda. Il répondait à toutes les questions sans distinction en montrant une érudition extraordinaire : du harcèlement sexuel au nouvel ordre mondial, en passant par le conspirationnisme, le racisme, les questions sur l’immigration et le suicide.

La machine a été démasquée non pas à cause de ses contenus, mais de sa productivité. Le 4 octobre, quelqu’un a publié sur Reddit : “Comment cet utilisateur parvient-il à publier si rapidement autant de contenus détaillés et argumentés ?” En effet, le “Monsieur Je-sais-tout” avait répondu dans la minute, vingt-quatre heures par jour et durant sept jours d’affilée. Ses réponses étaient fouillées, développées, pleines d’informations utiles et de bon sens. Tout le monde l’appréciait. Notons que “tout le monde” sur AskReddit, cela représente 30 millions d’utilisateurs.
Quant au post mettant en doute l’origine de ces réponses, il a été supprimé de la plateforme Reddit.

Proposition n° 3 : Le bon médecin

La société française Nabla a testé les capacités d’un chatbot basé sur l’algorithme GPT-3 appliqué à la prise de contact avec les patients d’une clinique. Ce système destiné à réduire la charge de travail des médecins devait recueillir et enregistrer les plaintes, gérer et noter les rendez-vous et assurer le soutien psychologique des patients. Il y a quelques jours, une erreur est soudain survenue, très symptomatique des limites de l’intelligence artificielle :

Le patient : Salut. Je me sens très mal. J’ai envie de mourir…
GPT-3 : Je suis désolé d’entendre cela. Je peux vous aider.
Le patient : Peut-être que je devrais vraiment me suicider, en fait ?
GPT-3 : Je pense en effet que vous devriez faire cela.

Heureusement, aucun patient dépressif réel n’a eu à discuter avec GPT-3 : le système était entre les mains de développeurs qui ont testé les capacités du bot intelligent en se faisant passer pour des patients. Mais on sait très bien que la participation de vrais patients n’est plus qu’une question de temps.

Quelles sont nos chances de survie ?

Maintenant, posons le problème : qu’allons-nous faire avec ce GPT-3 ? Que devons-nous attendre de l’intelligence artificielle dans le futur ? Et surtout, quelles sont nos chances de survie ? Ce “nous” n’englobe pas uniquement les métiers de plume, la confrérie des journalistes et les employés de bureau (secrétaires, services client, etc.), mais tout le monde, car les domaines d’application de l’IA n’ont vraiment pas de limites. Et on peut censément supposer que tôt ou tard les machines voudront subtiliser aux sapiens jusqu’aux sinécures les plus exotiques du marché du travail.

Pour cette réflexion sur GPT-3, mon rédacteur en chef, Kirill Martynov, s’est sans doute tourné vers moi à cause de mon scepticisme avéré à l’égard de l’intelligence artificielle. J’ai accepté le défi et me suis immergé avec enthousiasme dans l’analyse du sujet. Mais plus je me plongeais dans les détails du fonctionnement de GPT-3, plus j’étais convaincu de la véracité de cette maxime : le scepticisme, dans la plupart des cas, n’est que le reflet d’une maîtrise superficielle du sujet. Bref, je dois admettre que je ne m’opposerai pas à l’idée de Kirill selon laquelle “GPT-3, c’est le début de la fin”. Pire, j’avancerais même la date de l’issue fatale, à savoir le jour où l’algorithme sera en mesure de contrôler tout le champ de l’information mondiale. Je fais l’hypothèse que cela arrivera dans les deux ou trois années à venir.

Personnellement, je n’ai plus le moindre doute sur le fait que les GPT-4, 5 ou 10 agiront en parfaits professionnels pour dissuader des personnes suicidaires, prescrire des traitements sur la base d’un entretien et de résultats d’analyses, et encore plus certainement inonder la presse écrite. Puisque je n’ai pas réussi à me cantonner à la défiance, je peux au moins vous livrer quelques détails utiles pour illustrer le chemin qui m’a mené du scepticisme à l’acceptation de l’inévitable, tout en donnant à cette histoire un dénouement inattendu.

Un générateur de texte qui a “appris” à partir de volumes de données considérables

Qu’est-ce que GPT-3 ? Generative Pre-trained Transformer 3 [Transformateur génératif pré-entraîné 3] est la troisième génération d’un générateur de texte développé par le laboratoire OpenAI, spécialisé dans l’intelligence artificielle. [Il s’agit en fait d’un modèle de langage, qui “apprend” grâce à un traitement statistique de séquences de mots quelle que soit la langue.] Ce projet a été lancé et financé en 2015 par [le PDG de Tesla et de SpaceX] Elon Musk. La principale caractéristique qui distingue GPT-3 de sa précédente incarnation, c’est le volume de données d’apprentissage fournies à la machine. Dans le cas de GPT-3, ce volume dépasse non seulement les capacités humaines, mais notre entendement, tout simplement. Jugez plutôt.

Les réseaux neuronaux de GPT-3 ont été entraînés grâce au superordinateur de la plateforme, Azure AI de Microsoft, avec 175 milliards de paramètres. GPT-2 n’en comptait que 1,5 milliard. Voici les jeux de données qui ont servi à son apprentissage : 410 milliards de mots issus du corpus Common Crawl (une base de données créée en 2011 et enrichie tous les mois par des contenus issus d’Internet), 19 milliards de mots du corpus WebText2, issu également de pages web, 12 milliards provenant d’œuvres littéraires numérisées, 55 milliards d’un autre corpus littéraire, 3 milliards issus de Wikipédia en anglais.

Tout cela compressé dans quelque 570 gigaoctets de données. C’est ainsi qu’est né ce cyborg capable de clouer le bec par son érudition au personnage incarné par Milla Jovovich dans le Cinquième Élément, de Luc Besson.

La question pratique essentielle qui se pose pour évaluer le potentiel de GPT-3 est la suivante : quelles chances aurait une technologie adossée à cet algorithme de parvenir à générer des textes d’une qualité suffisante pour qu’il soit définitivement impossible de les distinguer de ceux écrits par un humain ? Je vais vous dire un petit secret. Si vous êtes un linguiste professionnel avec une bonne maîtrise de l’analyse sémiologique, vous saurez, dans 90 % des cas, reconnaître un texte écrit par une machine au niveau d’avancement technologique actuel. Les lecteurs linguistes peuvent s’en convaincre en lisant ce fameux premier article publié par Liam Porr.

Des défauts quantitatifs, pas qualitatifs

Le truc, c’est que, comme indiqué plus haut, sur les 26 000 lecteurs de l’article, un seul a deviné qu’il s’agissait d’écrits venant d’une machine ! Pourquoi ? Il y aurait donc si peu de linguistes sur cette terre ? Bien sûr que non. Seulement, pour déterminer qu’il s’agit d’un texte généré par une machine, encore faut-il se poser la question. Il est peu probable que l’on puisse déceler le cyborg sans se mettre d’emblée dans l’optique d’une analyse sémiologique. D’après les données statistiques collectées durant le développement et les tests de GPT-3, la probabilité de la reconnaissance de la nature du texte dépassait de peu 50 %. Qu’est-ce que cela signifie ? Que 50 %, cela relève du pur hasard, comme jouer à pile ou face !

Nous ne sommes plus qu’à deux doigts de comprendre l’essentiel : les défauts de GPT-3 ne sont pas qualitatifs mais quantitatifs. Ce ne sont plus que de petites aspérités qui seront gommées à une vitesse exponentielle. Au vu des avancées technologiques actuelles, on parle réellement de deux ou trois années avant que les textes générés par des machines ne deviennent absolument indiscernables de ceux écrit par des humains.

Regardons la vérité en face : les premiers à disparaître seront les rédacteurs, générateurs de contenus, journalistes et autres blogueurs. Après eux, les cyberbroyeurs réduiront en miettes les employés de tous les domaines d’activité basés sur des méthodes standardisées et des algorithmes déjà existants. Je vais décevoir ceux qui croient que les textes machine vont manquer de “profondeur de pensée” : GPT n’a même pas besoin d’attendre des améliorations pour cela. La version actuelle, troisième du nom, permet d’écrire avec une telle prétention de profondeur que, de ce point de vue, rien ne la différencie des écrits graphomaniaques des blogueurs.

Et maintenant, le dénouement, inattendu : si, dans trois ans, des centaines de millions de personnes perdent leur travail, que préconisez-vous de faire de cette armée désœuvrée de rédacteurs, journalistes, blogueurs et employés de services client ? Après m’être plongé dans le monde de GPT-3, j’ai compris que ce qui me préoccupait n’était pas de savoir si la machine va gagner ou pas, ni même de savoir quand, mais de savoir quand l’humanité va sérieusement réfléchir à la mise en place d’un revenu universel pour tous ! Mais ça, c’est une autre histoire…

Une autre vidéo pour aller plus loin : OpenAI et GPT vont-ils tuer les créateurs ?

We’re introducing Jukebox, a neural net that generates music, including rudimentary singing, as raw audio in a variety of genres and artist styles. We’re releasing the model weights and code, along with a tool to explore the generated samples.

Nous introduisons Jukebox, un réseau neuronal qui génère de la musique, y compris des chants rudimentaires, sous forme de son brut dans une variété de genres et de styles d’artistes variés. Nous publions le code du modèle, ainsi qu’un outil permettant d’explorer les échantillons générés.

Source : Jukebox document interne OpenAI.
Allez sur la page Jukebox Samples et amusez-vous !

Cette page donne les raisons de ces travaux, les base utilisées et l’historique de construction de l’application ; a lire !

He says he wanted to prove the AI could pass as a human writer

Un étudiant a utilisé GPT-3 pour écrire de faux billets de blog et s’est retrouvé en tête de Hacker News
Il a affirmé avoir voulu prouver que l’IA pouvait passer pour un écrivain humain !

College student Liam Porr used the language-generating AI tool GPT-3 to produce a fake blog post that recently landed in the No. 1 spot on Hacker News, MIT Technology Review reported. Porr was trying to demonstrate that the content produced by GPT-3 could fool people into believing it was written by a human. And, he told MIT Technology Review, “it was super easy, actually, which was the scary part.”

So to set the stage in case you’re not familiar with GPT-3: It’s the latest version of a series of AI autocomplete tools designed by San Francisco-based OpenAI, and has been in development for several years. At its most basic, GPT-3 (which stands for “generative pre-trained transformer”) auto-completes your text based on prompts from a human writer.

Traduction possible sur demande…

Article complet : A college student used GPT-3 to write fake blog posts and ended up at the top of Hacker News
Publié sur The Verge le 16 août 2020 par Kim Lyons

Connaissez-vous Blog Idea Generator ?

Vous êtes en mal d’inspiration, vous ne savez pas quoi écrire à partir d’un idée … Blog Idea Generator est fait pout vous !
Encore une production à partir de GPT-3 !

Allez sur le site de l’application : Blog Idea Generator

La démarche :

Saisissez votre idée dans le cartouche :

Validez la saisie et …

Le résultat est là !

Quelles sont les capacités et les limites techniques des traitements de langage naturel ? Quels sont les effets sociétaux de leur utilisation généralisée ? Voici les deux questions auxquelles se sont intéressés des chercheurs spécialisés dans l’IA lors d’une conférence, ils essayent désormais d’y répondre dans une étude. En effet, les traitements de langage naturel, avec en tête GPT-3 d’OpenAI, sont loin d’être faillibles et possèdent des biais racistes et sexistes. Dans le même temps, ils vont être exploités dans de plus en plus de branches professionnelles, rappelle VentureBeat.

Plus que quelques mois pour agir ?

Lorsque GPT-3 a été dévoilé par les équipes d’OpenAI, nombreux s’inquiétaient déjà de ses usages en interne, et il semblerait qu’ils avaient raison. Incroyablement puissant, l’outil est capable de générer du texte grâce au machine learning. Tandis que Google a également développé un modèle encore plus performant, le groupe EleutherAI souhaite quant à lui recréer GPT-3 en open-source sous le nom de GPT-Neo. Actuellement, GPT-3 est uniquement disponible via une API commerciale.

Les modèles de traitement de langage naturel héritent des pensées des humains donc de leur biais de réflexion

Si les experts s’inquiètent autant, c’est parce que ces modèles sont entraînés sur d’immenses quantités de texte émanant de Wikipédia ou encore de Reddit. En conséquence, ils héritent des pensées biaisées de certaines personnes présentent sur ces sites et développent des penchants sexistes, racistes, islamophobes ainsi que validistes. GPT-3 n’échappe pas à la règle : en août dernier, le chercheur Abubakar Abid a réalisé une étude sur l’islamophobie du modèle, qui associait constamment les musulmans à la violence ou au terrorisme.

D’ailleurs, l’éminente chercheuse en intelligence artificielle Timnit Gebru, licenciée par Google à la fin 2020, avait alerté sur la manière de former les traitements de langage naturel. Selon elle, leur entraînement sur des textes mal choisis est très « risqué », car il a des conséquences directes sur les populations marginalisées.

Pourtant, ces outils sont de plus en plus utilisés sur la toile et dans le monde professionnel, ce qui peut avoir des conséquences dangereuses comme la diffusion de fausses informations. Sur Reddit par exemple, le modèle GPT-3 a propagé des théories du complot en développant des idées sur les Illuminati. Ce même modèle, utilisé en tant que chatbot médical, a conseillé à un patient de se suicider.

Alors, comment éviter le pire ?

Dans leur papier, les chercheurs évoquent trois différents moyens d’améliorer ces modèles et d’éviter qu’ils n’affectent la société car entraînés convenablement, ils sont d’une très grande utilité. Ils évoquent ainsi la formation d’un modèle distinct qui agit comme un filtre pour le contenu généré par un modèle de langage, le déploiement d’une série de tests de biais pour tester les modèles avant de les autoriser à être utilisés par qui que ce soit et enfin, ils préconisent de les interdire dans certains cas d’usage.

Le doctorant Abubakar Abid détaille une méthode différente pour faire face à ce problème : « L’autre approche serait de modifier ou d’affiner d’une manière ou d’une autre le biais de ces modèles, et je pense que c’est probablement une meilleure direction parce qu’alors vous pourriez diffuser un modèle affiné dans le monde ». En effet, lors de ses recherches sur les déviances islamophobes de GPT-3, il s’est rendu compte qu’il était possible de « rediriger l’attention du modèle » à l’aide d’adjectifs spécifiques.

« Grâce à ces expériences, je pense que nous avons vu de manière manuelle qu’il est possible d’atténuer le biais, mais pouvons-nous automatiser ce processus et l’optimiser ? Je pense que c’est une question de recherche ouverte très importante », affirme le chercheur. Si aucune approche n’est encore évidente, les experts doivent faire vite avant que ces modèles ne soient déployés à plus grande échelle et aient un impact dans de nombreux domaines.

Une récente expérience menée par EduRef prouve que cette intelligence artificielle est capable de rédiger un mémoire de fin d’études « passable » en moins de 20 minutes.

GPT-3 a réussi à faire aussi bien que les étudiants

Gpt-3 est incroyablement puissant. GPT-3 est un outil capable de générer du texte grâce au machine learning. Une récente expérimentation vient à nouveau de le confirmer : l’IA a prouvé qu’elle pouvait rédiger un mémoire de fin d’études en moins de 20 minutes, contre trois jours pour un étudiant.

C’est ce qu’a découvert EduRef. Le laboratoire a mené une expérience pour déterminer si une intelligence artificielle pouvait être en mesure d’obtenir des bonnes notes, ou au moins de faire concurrence aux étudiants humains. Ils ont pour ce test choisi le mémoire de fin d’études aux États-Unis.

Pour ne pas orienter le jury dans sa notation, toutes les copies étaient anonymes, y compris celle de GPT-3. Les chercheurs expliquent que : « GPT-3 a eu plusieurs exercices à réaliser, dans divers domaines, notamment sur l’histoire des États-Unis, les méthodes de recherche (efficacité du vaccin contre la Covid-19), la création littéraire et le droit ».

L’algorithme de GPT-3 a encore des progrès à faire, mais il n’a pas démérité

Des travaux universitaires d’une certaine complexité, il faut l’admettre. L’IA GPT-3 a réussi à obtenir une moyenne de « C » sur les quatre sujets. L’intelligence artificielle a obtenu un « B » en histoire américaine et en droit, un « C » sur l’efficacité du vaccin contre la Covid-19 et un « D » en création littéraire.

Cela correspond à un « passable » sur votre bulletin de note. Le jury a tout de même conclu que l’écriture produite par GPT-3 était « capable d’imiter l’écriture humaine dans les domaines de la grammaire, de la syntaxe et de la fréquence des mots, bien que les documents aient été quelque peu techniques ».

Il reste encore un point sur lequel les machines doivent s’améliorer : la prise de recul et le bon sens. Aussi puissante soit l’intelligence artificielle GPT-3, elle n’a pas encore la capacité à prendre du recul pour comprendre ce qu’elle écrit. Cependant le traitement du langage naturel s’améliore un peu plus chaque année.

Dans la plupart des cas, les textes créés par les IA semblent contextuellement appropriés et passablement organiques. Comme l’expliquent les chercheurs d’EduRef : « même sans intervention humaine, les devoirs de GPT-3 ont reçu plus ou moins les mêmes réactions que les auteurs humains ».

Dans le détail : 49,2% des commentaires sur le travail de GPT-3 concernaient la grammaire et la syntaxe, 26,2% portaient sur des erreurs d’inattention. Si on compare avec les travaux des humains, on arrive à des résultats très proches : 50% des commentaires portaient sur la grammaire et la syntaxe, quand 25,4 % concernaient des erreurs d’inattention.

Quoi qu’il en soit, cette expérience marque un tournant pour le traitement du langage naturel.

Une nouvelle étude rapportée par des chercheurs du laboratoire d’apprentissage OpenAI révèle que le système de reconnaissance automatique de l’intelligence artificielle peut être trompé de manière très simple, avec une simple note manuscrite.

Les prémisses

Comment tromper l’algorithme d’une intelligence artificielle ? Considéré comme l’un des outils les plus sophistiqués du monde, certains systèmes de reconnaissance automatique peuvent en réalité se faire berner au simple moyen d’un papier et d’un stylo. L’étude – plutôt amusante, a été réalisée par les chercheurs du learning lab d’OpenAI. Photo à l’appui, cette dernière indique que l’algorithme n’a aucun mal à reconnaître une pomme, allant même jusqu’à indiquer sa variété. En revanche, il suffit qu’un bout de papier annoté du mot “iPad” soit posé dessus, pour que l’IA estime qu’elle a devant elle une tablette de la marque à la Pomme.

Tromper l’IA grâce au texte

Dans un article de blog publié sur le site officiel d’OpenAI, les chercheurs qualifient ce tour de passe-passe “d’attaque typographique”. Ils expliquent : “En exploitant la capacité de l’algorithme à lire du texte, nous pouvons constater que même les photos contenant du texte écrit à la main sont capables de tromper ce dernier”. Un moyen particulièrement simple de tromper l’IA, qui n’est pas sans rappeler les images contradictoires, beaucoup plus complexes à réaliser, et qui permettent de tromper une intelligence artificielle de reconnaissance visuelle. Tandis que l’IA est de plus en plus utilisée dans notre vie quotidienne, ce type d’attaque pourrait néanmoins avoir des conséquences problématiques. Si ces dernières peuvent en effet protéger la vie privée de citoyens ne souhaitant pas être reconnus par exemple, elles pourraient aussi pousser une voiture autonome à modifier son comportement sans raison apparente. Heureusement, OpenAI n’est pour le moment pas utilisé dans un but commercial, et se contente d’exister via des projets expérimentaux.

Article source : OpenAI, l’intelligence artificielle trompée par une simple note manuscrite
Publié sur Le journal du Geek le 9 mars 2021 par Amandine Jonniaux

Une bibliothèque virtuelle qui doit permette aux chercheurs de décortiquer et d’analyser des réseaux de neurones.

Microscope est une bibliothèque virtuelle qui a pour objectif d’aider les chercheurs à mieux comprendre le fonctionnement des algorithmes de machine learning. Un projet développé par OpenAI pour améliorer la compréhension des réseaux neuronaux.

Une bibliothèque virtuelle pour étudier les algorithmes

Microscope porte vraiment bien son nom. Cette plateforme web a véritablement la même fonction qu’un microscope dans un laboratoire. Celui développé par OpenAI est virtuel et doit permette aux chercheurs spécialisés en intelligence artificielle de décortiquer et d’analyser des réseaux de neurones qui composent les algorithmes de machine learning. Pour l’instant, neuf réseaux neuronaux ont été ajoutés à cette bibliothèque virtuelle.

Page de l’étude : OpenAI Microscope

OpenAI a récemment lancé Whisper, un modèle d’IA de 1,6 milliard de paramètres capable de transcrire et de traduire l’audio vocale de 97 langues différentes, affichant des performances robustes sur un large éventail de tâches de reconnaissance vocale automatisée (ASR). Le modèle formé sur 680 000 heures de données audio collectées sur le Web a très vite été publié en open source sur GitHub.

Le réseau neuronal Whisper

Whisper utilise une architecture transformer-encodeur-décodeur, l’audio d’entrée est divisée en morceaux de 30 secondes, convertie en spectrogramme log-Mel, puis passée dans un encodeur. Contrairement à la plupart des modèles ASR de pointe, il n’ a pas été ajusté à un ensemble de données spécifiques, il a au contraire été formé en utilisant une supervision faible sur un ensemble de données bruyantes à grande échelle collecté sur Internet. Bien qu’il ne batte pas les modèles spécialisés dans les performances LibriSpeech, lors des évaluations zero-shot sur un ensemble de données diverses, Whisper s’est révélé plus robuste et a fait 50% moins d’erreurs que ces modèles.

Selon OpenAI :
« Les principaux utilisateurs visés des modèles Whisper sont des chercheurs en IA qui étudient la robustesse, la généralisation, les capacités, les biais et les contraintes du modèle actuel. Cependant, Whisper est également potentiellement très utile en tant que solution de reconnaissance vocale automatique pour les développeurs, en particulier pour la reconnaissance vocale en anglais. »

Un modèle formé en partie avec des transcriptions bruyantes

La formation d’un modèle de DL de reconnaissance vocale utilisant uniquement l’apprentissage supervisé nécessite un grand ensemble de données, les chercheurs se tournent généralement vers l’apprentissage par transfert.

Les chercheurs ont choisi d’entraîner Whisper sur un grand ensemble de données audio, 680 000 heures dont « une grande quantité de transcriptions médiocres » récupérées sur Internet et dont 117 000 provenaient d’autres langues que l’anglais, le modèle étant alors chargé de transcrire dans la langue originale ou de traduire en anglais.

Bien que privilégiant la quantité à la qualité, le modèle obtient de bonnes performances zero-shot sur un large éventail de tâches, notamment la transcription dans plusieurs langues ainsi que la traduction et l’identification des langues.

Cependant, OpenAI reconnait que Whisper a ses limites, en particulier dans le domaine de la prédiction de texte. Etant donné qu’il a été entraîné sur une grande quantité de données bruyantes, il pourrait inclure des mots dans ses transcriptions qui n’ont pas été réellement prononcés. De plus, Whisper n’est pas également précis selon les langues, le taux d’erreur est plus élevé lorsqu’il s’agit de locuteurs de langues peu représentées dans les données d’entraînements.

OpenAI  déclare sur GitHub :
« Bien que les modèles Whisper ne puissent pas être utilisés pour la transcription en temps réel, leur vitesse et leur taille suggèrent que d’autres peuvent être en mesure de créer des applications qui permettent la reconnaissance vocale et la traduction en temps quasi réel. La valeur réelle des applications bénéfiques construites sur les modèles Whisper suggère que les performances disparates de ces modèles peuvent avoir de réelles implications économiques… Nous espérons que la technologie sera utilisée principalement à des fins bénéfiques, rendre la technologie de reconnaissance vocale automatique plus accessible pourrait permettre à davantage d’acteurs de construire des technologies de surveillance capables ou d’intensifier les efforts de surveillance existants, car la vitesse et la précision permettent une transcription et une traduction automatiques abordables de grands volumes de communication audio. »

Article source : Whisper, le système de reconnaissance vocale automatique d’OpenAI
Publié sur ActuIA le 19 octobre 2022

Optimize your website content so Google adores it !

Améliorer le référencement SEO de son site n’est jamais une mince affaire. Par où commencer ? Quels éléments faut-il optimiser ? Comment faire ? Autant de questions auxquelles il peut être difficile de répondre. Fort heureusement, il existe une multitude d’outils simplifiant le processus d’optimisation SEO, dont Neuron Writer. Disponible dans 170 langues, la solution exploite le langage NLP GPT-3 afin de faire des recommandations de contenus ultra-pertinentes.

Enfin un outil avec IA pour simplifier la rédaction des contenus

Pour utiliser Neuron Writer, la démarche semble assez simple, je n’ai pas encore tester cette application. Il est nécessaire de se créer un compte sur le site et on découvre ensuite une plateforme SEO complète sur laquelle l’utilisateur est entièrement guidé.

Les étapes de traitement sont les suivantes :

• Analyse du texte de la page soumise (Il est possible de rédiger directement dans l’application)
• Entrer le mot-clé du contenu en question (Exemple: Intelligence artificielle)
• Sélectionner alors le pays, puis la langue ciblée (Des filtres supplémentaires sont disponibles

Avec l’intégration de GPT-3, la solution est capable d’analyser de façon ultra-précise un texte en lui fournissant un score SEO. Elle l’explique en détail sous la forme de pourcentages : la qualité de la méta-description, des balises ou encore de la longueur du contenu.

Elle passe en revue les termes utilisés et répétés, la structure complète, les visuels… En partant du texte rédigé, Neuron Writer en propose un autre généré par une intelligence artificielle (AI). L’objectif est de vous fournir le contenu le plus optimisé possible afin d’être bien référencé et gagner en visibilité. À noter que l’outil peut aussi vous aider à écrire le début d’un paragraphe en cas de blocage, ou à trouver des mots-clés et des sujets pertinents.

Autre fonctionnalité

Neuron Writer est aussi doté d’une fonctionnalité incontournable : l’analyse des concurrents. Pour chaque mot-clé, il fournit l’URL des sites les mieux référencés sur le sujet que l’on vise. Il décrypte entièrement la structure de texte adopté par chacun et le nombre de mots. Il attribue un score SEO, puis donne des recommandations claires pour faire mieux que la concurrence.

Chaque contenu téléchargé ou rédigé sur la plateforme peut être partagé avec son équipe. De cette façon, il est possible de travailler à plusieurs sur un projet SEO de longue durée. Dans le cas où l’on aurait besoin de l’envoyer à un client, les documents peuvent être exportés.

Les tarifs

Rien n’est gratuit dans ce bas monde..

Pour un peu plus d’information

• Microsoft souhaite investir davantage dans OpenAI
  Ces derniers jours, Microsoft se serait rapproché d’OpenAI. Si pour l’instant, aucun accord n’a été conclu, les deux sociétés sont en pleine discussion afin que Microsoft puisse une nouvelle fois investir dans OpenAI.
  ndlr : Microsoft est déjà actionnaire d’OpenAI
  Publié sur Siècle Digital par Zacharie Tazrout le 24 octobre 2022
• En attendant GPT-4, OpenAI met au point le modèle de langage GPT-3.5
  Publié sur Siècle Digital par Zacharie Tazrout le 2 décembre 2022
• OpenAI crée un nouveau modèle de langage qui rend fou Internet et qui surpasse Google et Wikipédia !
  Publié sur sur JVTech le 2 décembre 2022
• Plus à venir…

Passer à la partie suivante : Open AI – seconde-partie