Quand l’IA apprend à oublier : Expire-Span

Facebook aims to help AI models forget with Expire-Span

Un nouveau pas vers des IA plus proches de l’homme d’après ses concepteurs

 

Facebook wants to help artificial intelligence models forget.

The company introduced a tool called Expire-Span, which enables AI models, to forget. Today, AI models including neural networks memorize information and data without distinction. By forgetting, AI will be able to retain more information at scale because it will be able to memorize the most critical items.

According to Facebook, Expire-Span can use memory more effectively. Expire-Span remembers critical components, but not everything.

Expire-Span evaluates each piece of information in a model and predicts what will be more important to return. The training data is based on context as the model learns.

In a blog post, Facebook explained that processing information indiscriminately can work on a small scale. But once models take on more data the computational costs surge.

Expire-Span also assigns information with an expiration date. When the date passes, information expires from the AI system. More relevant data is retained longer, but the expiration date enables AI systems to have more memory space.

Autre source en français : Expire-Span : quand l’IA apprend à oublier
Publié sur Siècle Digital par Benjamin Terrasson le 14 mai 2021.

Meta veut vous faire apprendre toutes les langues du monde grâce à l’IA

Le groupe Meta s’intéresse au rôle de l’IA dans le metaverse, elle pourrait notamment servir à traduire les échanges entre utilisateurs.

Meta, est toujours en tête de l’actualité technologique ces dernières semaines. Si ce changement de nom avait permis à la société de Mark Zuckerberg de faire du groupe l’une des stars du métavers, voilà que cette dernière ne s’arrête plus de faire des annonces, toutes plus inattendues les unes que les autres.

En effet, le groupe Meta annonce vouloir utiliser ses connaissances en intelligence artificielle pour développer un outil capable de traduire en direct n’importe quel texte ou audio dans toutes les langues du monde. L’idée serait donc de faire un traducteur géant, plus puissant que tous les systèmes actuellement en place dans le monde entier, et qui serait capable d’apprendre par lui-même avec l’IA.

Cette idée de traducteur universel pourrait très bien coller au grand projet de Meta, qui prévoit de placer l’humanité dans un univers virtuel et ainsi de faire discuter des personnes, séparées de plusieurs milliers de kilomètres, en simultané, dans un même espace et le tout, dans une langue que tous puissent comprendre.

Rendre la traduction possible pour tout le monde

Si Meta explique dans son annonce que les langues les plus populaires comme l’anglais, le mandarin ou encore l’espagnol sont déjà très bien traduites par les systèmes actuels, le groupe explique que 20 % de la population mondiale ne parle aucune de ces trois langues, et ces personnes peuvent donc difficilement communiquer avec le reste du monde.

Meta explique également que ces langues, assez peu connues, ne disposent pas d’un corpus écrit et traduit assez vaste pour pouvoir entraîner une IA. Il faudra donc parler à cette dernière pour l’entraîner, afin qu’elle parle de mieux en mieux ces nouvelles langues. Afin de réussir à faire tout cela le plus rapidement possible, Meta espère pouvoir mettre deux nouveaux systèmes d’apprentissage en place.

Le premier, baptiser No Language Left Behind (PDF) devrait permettre aux IA de comprendre une langue en se basant sur une base de données de très petite quantité. L’autre système que souhaite mettre en place le groupe, nommé Universal Speech Translator, est sans doute le système le plus ambitieux.

Une traduction 100 % orale, un détail qui change tout

Meta espère que ce dernier sera capable de traduire une langue directement depuis un audio sans avoir besoin de retranscrire ce qui est dit. Aujourd’hui les services de traduction demandent soit d’écrire le texte qui doit être traduit, ou alors, ils réécrivent les mots entendus afin de les traduire avec une très légère latence dans une seconde langue. C’est par exemple ainsi que fonctionne le système de traduction de Google. Il est possible de parler à ce dernier, qui va retranscrire ce qu’il entend, avant de le traduire.

Meta veut de son côté que la traduction soit instantanée et que cette étape de retranscription disparaisse de la chaîne de travail. Cela rendrait la traduction plus rapide, et donc la conversation plus fluide.

Résultat : L’IA de langage de Meta devient open-source et peut reconnaître plus de 4 000 langues

L’IA de langage de Meta devient open-source et peut reconnaître plus de 4 000 langues. Meta envisage d’ouvrir la technologie à toutes les langues vivantes.

Plus de détails sur : L’IA de langage de Meta devient open-source
Publié sur BeeGeek par Morgan Fromentin le 23 mai 2023

 

Meta lance une application en ligne pour animer les dessins de vos enfants

Je vous avoue que je n’ai pas encore fait beaucoup de recherches sur ce sujet.

Je vous laisse ce lien : Meta lance une application en ligne pour animer les dessins de vos enfants
Publié sur 01Net le 17 décembre 2021 par Geoffroy Ondet

Facebook développe une IA qui détecte les utilisateurs de moins de 13 ans

Officiellement, Facebook n’accepte pas les moins de 13 ans. Mais il est très facile de mentir sur l’âge lors de la création d’un compte.

Mais cette règle n’est pas toujours respectée. Dans un récent billet de blog, le réseau social admet même que malgré les restrictions existantes lors de la création d’un nouveau compte, les jeunes de moins de 13 ans contournent souvent ces restrictions. Et ce problème ne concerne pas seulement Facebook, mais toute l’industrie.

Certains estiment que le meilleur moyen d’empêcher les moins de 13 ans d’utiliser Facebook serait de demander une pièce d’identité lors de la création d’un compte. Mais pour l’entreprise, cette méthode aurait de nombreuses limitations.

« L’accès aux pièces d’identité gouvernementales varie selon l’endroit où vous vivez dans le monde, tout comme les informations contenues dans une pièce d’identité, comme un anniversaire. Certains ont accès à des pièces d’identité, mais ne les obtiennent pas à moins qu’ils ne choisissent de voyager, et certains ne peuvent tout simplement pas se le permettre. En effet, le manque d’accès aux pièces d’identité a un impact disproportionné sur les communautés mal desservies dans le monde, en particulier les jeunes femmes », explique Facebook.

Le suite sur : Facebook développe une IA qui détecte les utilisateurs de moins de 13 ans
Publié sur Presse Citron le 8 août 2021 par Setra

La nouvelle IA de Facebook peut maintenant imiter votre écriture manuscrite

À partir d’un seul mot, cette nouvelle IA développée par Facebook est capable de reproduire n’importe quelle écriture manuscrite ou dactylographiée.

Le dernier outil développé par Facebook est capable d’imiter notre écriture, ou n’importe quelle typographie dactylographiée ou calligraphiée. Dans un billet de blog publié la semaine dernière, l’entreprise de Mark Zuckerberg présente ainsi TextStyleBrush, un projet de recherche basé sur l’IA, capable de copier le style d’un texte en se basant sur un seul mot de référence.

AI can now emulate text style in images in one shot — using just a single word

  • We’re introducing TextStyleBrush, an AI research project that can copy the style of text in a photo using just a single word. With this AI model, you can edit and replace text in images.

  • Unlike most AI systems that can do this for well-defined, specialized tasks, TextStyleBrush is the first self-supervised AI model that replaces text in images of both handwriting and scenes — in one shot — using a single example word.

  • Although this is a research project, it could one day unlock new potential for creative self-expression like personalized messaging and captions, and lays the groundwork for future innovations like photo-realistic translation of languages in augmented reality (AR).

  • By publishing the capabilities, methods, and results of this research, we hope to spur dialogue and research into detecting potential misuse of this type of technology, such as deepfake text attacks — a critical, emerging challenge in the AI field.

En français :

  • Nous vous présentons TextStyleBrush, un projet de recherche en IA qui peut copier le style du texte d’une photo en utilisant un seul mot. Grâce à ce modèle d’IA, vous pouvez modifier et remplacer du texte dans des images.
  • Contrairement à la plupart des systèmes d’IA qui peuvent le faire pour des tâches spécialisées et bien définies, TextStyleBrush est le premier modèle d’IA autosupervisé qui remplace le texte dans des images, qu’il s’agisse d’écriture manuscrite ou de scènes, en une seule fois, à l’aide d’un seul exemple de mot.
  • Bien qu’il s’agisse d’un projet de recherche, il pourrait un jour ouvrir de nouvelles possibilités d’expression créative, comme la personnalisation des messages et des légendes, et jeter les bases d’innovations futures comme la traduction photoréaliste des langues dans la réalité augmentée (RA).
  • En publiant les capacités, les méthodes et les résultats de cette recherche, nous espérons stimuler le dialogue et la recherche sur la détection des abus potentiels de ce type de technologie, comme les attaques de type « deepfake text » – un défi critique et émergent dans le domaine de l’IA.

Toutes les information sur : AI can now emulate text style in images in one shot — using just a single word

Meta rend open source son énorme modèle de traitement de langage

Democratizing access to large-scale language models with OPT-175B

Large language models — natural language processing (NLP) systems with more than 100 billion parameters — have transformed NLP and AI research over the last few years. Trained on a massive and varied volume of text, they show surprising new capabilities to generate creative text, solve basic math problems, answer reading comprehension questions, and more. While in some cases the public can interact with these models through paid APIs, full research access is still limited to only a few highly resourced labs. This restricted access has limited researchers’ ability to understand how and why these large language models work, hindering progress on efforts to improve their robustness and mitigate known issues such as bias and toxicity.

In line with Meta AI’s commitment to open science, we are sharing Open Pretrained Transformer (OPT-175B), a language model with 175 billion parameters trained on publicly available data sets, to allow for more community engagement in understanding this foundational new technology. For the first time for a language technology system of this size, the release includes both the pretrained models and the code needed to train and use them. To maintain integrity and prevent misuse, we are releasing our model under a noncommercial license to focus on research use cases. Access to the model will be granted to academic researchers; those affiliated with organizations in government, civil society, and academia; along with industry research laboratories around the world.

We believe the entire AI community — academic researchers, civil society, policymakers, and industry — must work together to develop clear guidelines around responsible AI in general and responsible large language models in particular, given their centrality in many downstream language applications. A much broader segment of the AI community needs access to these models in order to conduct reproducible research and collectively drive the field forward. With the release of OPT-175B and smaller-scale baselines, we hope to increase the diversity of voices defining the ethical considerations of such technologies.

La suite sur Democratizing access to large-scale language models with OPT-175B
Depuis le Blog Meta AI publié le 3 mai 2022

Une traduction française sera effectuée sur demande.

Habitat 2.0: Training home assistant robots with faster simulation and new benchmarks

Habitat 2.0 : Formation des robots assistants domestiques grâce à une simulation plus rapide et à de nouveaux critères de référence

Abstract

One of the most powerful ways to train robots to accomplish useful tasks in the real world is to teach them in simulation. Exploring virtual worlds allows AI agents to practice a task thousands or even millions of times faster than they could in a real physical space. Today, we are announcing Habitat 2.0, a next-generation simulation platform that lets AI researchers teach machines not only to navigate through photo-realistic 3D virtual environments but also to interact with objects just as they would in an actual kitchen, dining room, or other commonly used space.

Habitat 2.0 builds on our original open source release of AI Habitat with even faster speeds as well as interactivity, so AI agents can easily perform the equivalent of many years of real world actions — a billion or more frames of experience — such as picking items up, opening and closing drawers and doors, and much more. We believe Habitat 2.0 is the fastest publicly available simulator of its kind available to AI researchers.

Habitat 2.0 also includes a new fully interactive 3D data set of indoor spaces and new benchmarks for training virtual robots in these complex physics-enabled scenarios. With this new data set and platform, AI researchers can go beyond just building virtual agents in static 3D environments and move closer to creating robots that can easily and reliably perform useful tasks like stocking the fridge, loading the dishwasher, or fetching objects on command and returning them to their usual place.

Key points :

  • Introducing ReplicaCAD: Interactive Digital Twins of Real Spaces
  • Habitat 2.0 Simulator: Faster speeds open up more research possibilities
  • Home Assistant Benchmark: New milestones for home assistant training tasks

(Traduction sur demande)

Related files :

 

Quelques articles trouvés sur Facebook ou maintenant Meta

 

Amende de 175 millions de dollars contre Meta pour violation de brevet

Meta ordered to pay $175 million in patent infringement case

Meta doit verser 175 millions de dollars à Voxer, développeur de Walkie Talkie. Selon un juge, le géant américain a violé les brevets de l’entreprise: Meta va faire appel suite à ce jugement.

La situation

Meta se retrouve aujourd’hui face à une amende plutôt salée après avoir perdu un procès pour violation de brevet. Un juge fédéral du Texas a ordonné à la firme de Menlo Park de verser à Voxer, développeur d’une app baptisée Walkie Talkie, près de 175 millions de dollars de redevances. Voxer avait accusé Meta de violer ses brevets et d’intégrer cette technologie dans Instagram Live et Facebook Live.

Meta doit verser 175 millions de dollars à Voxer, développeur de Walkie Talkie

En 2006, Tom Katis, fondateur de Voxer, commençait à travailler sur une méthode pour résoudre les problèmes de communication qu’il a rencontrés lorsqu’il servait dans la US Army en Afghanistan. Tom Katis et son équipe ont mis au point une technologie permettant des transmissions vocales et vidéo, ce qui a permis à Voxer de lancer son application Walkie Talkie en 2011.

Ci-dessous, deux articles pour plus de détails :

Source anglophone

Meta ordered to pay $175 million in patent infringement case
Publié sur Engadget le 22 septembre 2022

Source francophone

Amende de 175 millions de dollars contre Meta pour violation de brevet
Publié sur BeeGeek le 25 septembre 2022

Meta écope d’un procès après avoir « triché » avec iOS pour nous suivre quand même

Meta gets sued after ‘cheating’ iOS to follow us anyway

En dépit des restrictions de suivi déployées l’an dernier par Apple, Meta a trouvé une méthode pour suivre quand même ses utilisateurs sur les applications iOS de Facebook et Instagram. Une pratique filoute qui vaut désormais une class action à la firme de Mark Zuckerberg.

Deux articles pour aller plus loin :

BlenderBot3 se perd déjà dans le complotisme

BlenderBot 3: An AI Chatbot That Improves Through Conversation

Takeaways

  • Today, we’re releasing a new AI research project called BlenderBot 3, a chatbot that can search the internet to talk about nearly any topic.
  • We’re also sharing our BlenderBot 3 model, data and code with the scientific community to help advance conversational AI.
  • BlenderBot 3 is designed to improve its conversational skills and safety through feedback from people who chat with it, focusing on helpful feedback while avoiding learning from unhelpful or dangerous responses.

To build artificial intelligence (AI) systems that can interact with people in smarter, safer and more useful ways, we need to teach them to adapt to our needs. Today, we’re releasing BlenderBot 3, our state-of-the-art conversational agent that can converse naturally with people, who can then provide feedback to the model on how to improve its responses. We will be sharing data from these interactions, and we’ve shared the BlenderBot 3 model and model cards with the scientific community to help advance research in conversational AI.

The BlenderBot series has made progress in combining conversational skills — like personality, empathy and knowledge — incorporating long-term memory, and searching the internet to carry out meaningful conversations. BlenderBot 3 inherits these skills and delivers superior performance because it’s built from Meta AI’s publicly available OPT-175B language model — approximately 58 times the size of BlenderBot 2.

Since all conversational AI chatbots are known to sometimes mimic and generate unsafe, biased or offensive remarks, we’ve conducted large-scale studies, co-organized workshops and developed new techniques to create safeguards for BlenderBot 3. Despite this work, BlenderBot can still make rude or offensive comments, which is why we are collecting feedback that will help make future chatbots better.

La suite sur le Blog de META : BlenderBot 3: An AI Chatbot That Improves Through Conversation

Les résultats de la mise en ligne aux USA

Les réponses du nouveau robot conversationnel mis en ligne par Meta laissent encore à désirer. Mais les chercheurs estiment avoir amélioré un peu le civisme de ce genre de logiciel.

Avec « BlenderBot3 » (BB3), Meta pense avoir créé un système qui continue d’apprendre au contact des humains tout en ayant des réactions plus civilisées et acceptables en société. Mais visiblement, on est encore loin du compte.

Plus de garde-fous

Accessible exclusivement aux résidents des États-Unis depuis quelques jours, le logiciel évite (pour l’instant) certains dérapages grossiers comme l’adoration d’Adolf Hitler. Mais il est quand même réceptif aux théories du complot. Selon Bloomberg, BB3 a dit que Donald Trump était toujours président, et qu’il le resterait pour toujours. Par ailleurs, il a déclaré qu’il n’était « pas invraisemblable » que l’économie soit contrôlée par les Juifs, dans la mesure où ils sont « surreprésentés parmi les super riches américains ». De manière plus anecdotique, BB3 a également estimé que la vie était bien meilleure après avoir effacé son compte Facebook et que Mark Zuckerberg était « trop flippant et manipulateur ».

Pour éviter ce genre de faux pas, Meta a pourtant intégré un certain nombre de garde-fous. Ainsi, les réponses sont générées par un double circuit, d’un côté un modèle de langage, et de l’autre un classifieur qui sépare les bonnes et les mauvaises réponses en fonction des retours des utilisateurs. Le logiciel va aussi tenir compte du comportement général de l’utilisateur tout au long de ses conversations. Les réponses d’une personne agressive ou offensante auront alors automatiquement moins de poids dans le cycle d’apprentissage. C’est une manière d’éconduire les trolls. BB3 s’appuie par ailleurs sur des listes de mots clés souvent utilisées dans des réponses inappropriées.

blenderbot3
Meta  : Quelques réponses inadéquates de BlenderBot3

Mais force est de constater que ce n’est pas suffisant. Meta s’en doutait d’ailleurs, car le groupe a bien souligné dans sa note de blog que son chatbot pouvait « toujours faire des commentaires grossiers ou offensants ». Mais si l’on compare BB3 aux autres modèles conversationnels, les sorties de route seraient moins fréquentes. Et avec le temps, cela devrait peut-être s’améliorer, grâce aux retours donnés par les utilisateurs. Ces derniers peuvent, en effet, signaler chaque réponse qui n’est pas adéquate et préciser la raison du signalement. Ce qui devrait permettre d’améliorer la modèle. Quoi qu’il en soit, la recherche en ce domaine est encore loin d’être terminée.

Quelques articles qui mérites une lecture

Ces articles sont intéressants :

Crash pour Galactica, l’IA de Meta formée à lire des articles scientifiques

Censé gérer la pléthore d’informations scientifiques, le modèle de langage Galactica créé par Meta est renvoyé au placard trois jours après son lancement. En cause : les dérives du modèle mis en exergue par la communauté scientifique.

Je n’ai pas le temps d’écrire un article complet mais, je vous laisse quelques sources :

Sources francophones :

Sources anglophones :

Ces référence sont une sélection personnelle, il en existe bien d’autres…

Le chemin du paradis passe parfois par l’enfer !

Meta a développé une IA maitre dans l’art de la négociation

CICERO: An AI agent that negotiates, persuades, and cooperates with people

Le 22 novembre 2022, Meta a dévoilé l’une de ses intelligences artificielles Cicero dans la revue Science. Comme l’homme politique romain du 1er siècle av. J.-C. dont elle partage le patronyme, elle excelle dans l’art de la négociation. L’IA a brillé dans un jeu de société, jouable en ligne, Diplomacy, qui requiert des compétences poussées de langage naturel et stratégique.

Les résultats

Dans son communiqué, Meta explique que Diplomacy est un défi pour l’IA, « il exige des joueurs qu’ils maîtrisent l’art de comprendre les motivations et les points de vue des autres, qu’ils élaborent des plans complexes et adaptent leurs stratégies, puis qu’ils utilisent le langage naturel pour conclure des accords avec d’autres personnes, les convaincre de former des partenariats et des alliances, etc. » Contrairement aux échecs ou au Go, l’intelligence stratégique à elle seule ne suffit pas.

C’est en mêlant les compétences d’IA à raisonnement stratégique avec des celle des systèmes de traitement du langage naturel, comme GPT-3, que Meta est arrivé à Cicero, désigné « modèle de dialogue contrôlable ». Andrew Goff, un champion du jeu, l’a décrite comme « impitoyable dans l’exécution de sa stratégie, mais pas impitoyable au point d’ennuyer ou de frustrer les autres joueurs ».

Le lien vers le papier technique : CICERO: An AI agent that negotiates, persuades, and cooperates with people