Qui est NVidia ?

Nvidia Corporation est une entreprise américaine spécialisée dans la conception de processeurs graphiques, de cartes graphiques et de puces graphiques pour PC et consoles de jeux (Xbox, PlayStation 3, Nintendo Switch). Son siège est à Santa Clara en Californie.

Nvidia est une société de type « fabless », c’est-à-dire qu’elle conçoit ses puces dans ses centres de recherches, mais qu’elle sous-traite leur production à d’autres sociétés de semi-conducteurs.

L’entreprise conçoit principalement des circuits graphiques allant du modèle pour netbook aux puissants modèles destinés aux gamers (GeForce), voire au monde professionnel (Nvidia Quadro et autres). Pour prouver la qualité et la puissances de ses cartes graphiques, l’entreprise met à disposition de outils et des exemples.

En même temps, l’entreprise performe en bourse au point de devenir une des premières capitalisation mondiale !« https://www.gov.uk/government/publications/proposed-acquisition-of-arm-limited-by-nvidia-corporation-public-interest-intervention

Une IA capable de créer des faux paysages

L’entreprise Nvidia propose une IA capable de créer des vidéos qui ressemblent à s’y méprendre à la réalité … sans l’être.

Comment passer de l’hiver à l’été !

Sur la gauche : la vidéo source
Sur la droite : le résultat

Nvidia présente une IA capable de créer des images réalistes à partir de croquis

Si vous ne savez pas dessiner, ce n’est pas grave.
Avec ce service Nvidia il vous suffira de tracer quelques lignes pour qu’une intelligence artificielle soit capable de créer une image quasi parfaite.
Cet outil, baptisé GauGan est capable de transformer un simple croquis dessiné en une véritable image réaliste. Le logiciel peut transformer en quelques clics de simples lignes dessinées en une image que l’on pourrait confondre avec une photo, c’est bluffant.

Démarré comme projet interne le résultat fut si fabuleux que l’entreprise le propose en ligne : GauGan

GauGAN est multimodal. Concrètement, cela signifie que si deux utilisateurs créent une même esquisse en utilisant les mêmes paramètres, les algorithmes qui régissent l’outil feront que les résultats proposés par GauGAN seront différents.

Ce nouvel outil peut être utilisé dans le domaine des jeux vidéo. Les concepteurs pourraient s’en servir pour imaginer des environnements immersifs.

L’IA de Nvidia a recréé Pac Man simplement en regardant des parties

Demain, ce sont les intelligences artificielles qui créeront les jeux vidéo ! Les chercheurs de Nvidia ont mis au point une IA qui a pu reproduire le mythique jeu Pac Man, simplement… en regardant des parties.

Regarder et recréer

Le modèle sur lequel l’intelligence artificielle s’est appuyé pour recréer le jeu a été entraîné en « regardant » des parties de Pac Man. 50.000 parties, pour être précis ! Devant la difficulté de trouver des humains capables de jouer autant de fois, c’est une autre IA qui a pris le joystick. Celle-ci a rapidement compris les mécanismes du jeu et est devenue très forte, à tel point qu’il a été difficile au modèle de comprendre le concept de « mort », comme l’explique Sanja Fidler, le directeur du labo de recherche de Nvidia.

Malgré cette fausse note, le résultat est plutôt convaincant. Uniquement en regardant des parties, l’IA de Nvidia a pu reproduire le jeu et ses mécanismes ! Certes, les graphismes sont un peu flous et le modèle n’a pas vraiment enregistré les comportements exacts des fantômes, mais les bases sont là et le jeu est jouable par un humain. Cette version IA de Pac Man sera d’ailleurs mise en ligne dans un proche avenir.

Le programme utilisé par Nvidia s’appelle GameGAN (GAN pour « generative adversarial network »). Il présente une architecture similaire à d’autres projets d’apprentissage automatique, dont le principe est assez simple : la première moitié essaie de répliquer les données, la seconde compare ce travail à la source d’origine. Si les deux parties ne correspondent pas, les données générées sont rejetées et le cycle reprend du début.

Pour Nvidia, ce projet montre comment l’intelligence artificielle pourra être utilisée à l’avenir dans le secteur du game design : les développeurs pourront utiliser l’IA pour créer des variations pour les niveaux de leurs jeux. « Vous pouvez vous servir de cette IA pour combiner différents jeux entre eux », indique Fidler, ce qui pourrait apporter des concepts complètement nouveaux.

Fugatto : World’s Most Flexible Sound Machine Debuts

Fugatto : Le nouveau modèle d’IA de NVIDIA crée de la musique à partir de textes et de prompts audio

A team of generative AI researchers created a Swiss Army knife for sound, one that allows users to control the audio output simply using text.

While some AI models can compose a song or modify a voice, none have the dexterity of the new offering.

Called Fugatto (short for Foundational Generative Audio Transformer Opus 1), it generates or transforms any mix of music, voices and sounds described with prompts using any combination of text and audio files.

For example, it can create a music snippet based on a text prompt, remove or add instruments from an existing song, change the accent or emotion in a voice — even let people produce sounds never heard before.

“This thing is wild,” said Ido Zmishlany, a multi-platinum producer and songwriter — and cofounder of One Take Audio, a member of the NVIDIA Inception program for cutting-edge startups. “Sound is my inspiration. It’s what moves me to create music. The idea that I can create entirely new sounds on the fly in the studio is incredible.”

Une équipe de chercheurs en IA générative a créé un couteau suisse pour le son, qui permet aux utilisateurs de contrôler la sortie audio simplement à l’aide d’un texte.

Si certains modèles d’IA peuvent composer une chanson ou modifier une voix, aucun n’a la dextérité de ce nouveau modèle.

Baptisé Fugatto (abréviation de Foundational Generative Audio Transformer Opus 1), il génère ou transforme n’importe quel mélange de musique, de voix et de sons décrits à l’aide de messages-guides utilisant n’importe quelle combinaison de textes et de fichiers audio.

Par exemple, il peut créer un extrait musical à partir d’un texte, supprimer ou ajouter des instruments à une chanson existante, modifier l’accent ou l’émotion d’une voix – et même permettre à des personnes de produire des sons qu’elles n’avaient jamais entendus auparavant.

« Cette chose est folle », a déclaré Ido Zmishlany, producteur et compositeur multi-platine et cofondateur de One Take Audio, membre du programme Inception de NVIDIA pour les start-ups de pointe. « Le son est mon inspiration. C’est ce qui me pousse à créer de la musique.

La suite de l’article :  Now Hear This: World’s Most Flexible Sound Machine Debuts

A partir de sa version 2D Nvidia anime un visage en 3D

Transforming Paintings and Photos Into Animations With AI

Sans faire de grands discours, le plus simple est de prendre connaissance de la page consacrée à ce sujet : Transforming Paintings and Photos Into Animations With AI

La vidéo est d’une clarté limpide, ci-dessous le schéma de fonctionnement :

Publié sur le site NVidia Developer le 8 janvier 2019

NVIDIA Research Achieves AI Training Breakthrough Using Limited Datasets

NVIDIA Research réalise une percée en matière de formation à l’IA en utilisant des ensembles de données limités

Data augmentation technique enables AI model to emulate artwork from a small dataset from the Metropolitan Museum of Art — and opens up new potential applications in fields like healthcare.

La technique d’augmentation des données permet à un modèle d’IA d’émuler une œuvre d’art à partir d’un petit ensemble de données provenant du Metropolitan Museum of Art – et ouvre la voie à de nouvelles applications potentielles dans des domaines tels que les soins de santé.

Nvidia présente GANverse 3D et GauGAN2

GANverse 3D, une technologie de virtualisation 3D rapide à partir d’une simple photo

GANverse 3D, un outil basé sur l’intelligence artificielle développé par Nvidia Research, vient d’être annoncé en ce début 2021. Il permet de faciliter la création de modèles 3D à partir d’une simple image 2D, et ce, en quelques clics seulement.

NVIDIA Research’s latest model, featuring GANs under the hood, turns 2D images into 3D objects for game developers, artists, designers, architects.

La vidéo, sur la droite, explique le principe.

Developed by the NVIDIA AI Research Lab in Toronto, the GANverse3D application inflates flat images into realistic 3D models that can be visualized and controlled in virtual environments. This capability could help architects, creators, game developers and designers easily add new objects to their mockups without needing expertise in 3D modeling, or a large budget to spend on renderings.

A single photo of a car, for example, could be turned into a 3D model that can drive around a virtual scene, complete with realistic headlights, tail lights and blinkers.

Source : Knight Rider Rides a GAN (lien cassé)

A ce stade, le logiciel est assez limité il faut l’avouer.
Il apparaît très performant avec la création de voitures en 3D, mais c’est une des seules tâches qui à l’air d’être au point. En effet, pour entraîner l’IA, il faut la nourrir d’une grande quantité d’images, et la base de données de photos de voitures est énorme — les chercheurs lui en ont donné 55 000. GANverse 3D peut également simuler des oiseaux ou des chevaux par exemple, mais certaines parties des animaux peuvent être légèrement étranges ou carrées à cause d’un entraînement plus limité de l’IA. De fait, l’intelligence artificielle ne peut recréer que des choses qu’elle connaît ; or il existe peu d’images du dessus d’un cheval par exemple, et l’IA a donc du mal à retranscrire cela correctement.

Si lors de la phase d’entraînement, différentes photos et différents angles sont nécessaires pour l’IA, utiliser GANverse 3D s’avère a priori très simple pour les utilisateurs puisqu’il suffit de lui fournir une photo d’un véhicule en 2D pour que le logiciel crée le modèle 3D en un temps record. Merci les data !

 

GauGAN2  peut générer des scènes photoréalistes avec une simple phrase

 

Avec GauGAN2, NVIDIA emmène son IA plus loin encore en lui permettant de générer des scènes photoréalistes sur la seule et unique base non plus de dessins, mais de mots ou phrases. Cela signifie que, au lieu de devoir esquisser ce que vous voulez, il suffit de l’écrire à l’intelligence artificielle et l’algorithme va générer une scène photoréaliste sur cette seule description.

Et le meilleur dans tout ceci, si vous êtes curieux, c’est que vous n’avez pas besoin d’avoir une machine superpuissante avec la toute dernière carte graphique de NVIDIA pour en profiter. Vous pouvez tester les pouvoirs de GauGAN2 directement via sa démonstration sur le site de NVIDIA.

Nvidia a développé une IA qui crée, en quelques secondes, une scène 3D à partir de photos

Nvidia vient de présenter une nouvelle technologie d’intelligence artificielle capable de générer presque instantanément une scène 3D à partir de « quelques douzaines de photos ».

Baptisée Instant neural radiance fields (Instant NeRF), elle est capable d’entraîner « un petit réseau neuronal » en l’espace de quelques secondes à partir d’une flopée de photos, à condition toutefois de bien connaître les angles de prises de vue. Le modèle résultant permet ensuite de générer toutes les données nécessaires pour créer l’environnement 3D de la scène en question. Un calcul qui, selon Nvidia, ne nécessite que quelques « dizaines de microsecondes ».

Dans la vidéo YouTube de droite, l’entreprise américaine fait la démonstration de cette nouvelle technologie, qui s’appuie évidemment sur des outils internes comme Cuda Toolkit .

Ainsi, on voit une personne au milieu d’une salle qui est photographiée de plusieurs côtés, et, magie de la technologie, on navigue autour d’elle dans un espace tridimensionnel.

Créer des scènes 3D à partir de photos n’est pas nouveau. L’innovation principale, selon Nvidia, est la vitesse d’exécution. Le calcul serait plus de mille fois plus rapide qu’avec les technologies habituelles, qui nécessiteraient des heures pour aboutir au même résultat.

Les usages envisageables seraient multiples.

« La technologie pourrait être utilisée pour entraîner des robots et des voitures autonomes à comprendre la taille et la forme d’objets du monde réel en capturant des images 2D ou des séquences vidéo.
Elle pourrait également être utilisée dans l’architecture et le divertissement pour générer rapidement des représentations numériques d’environnements réels que les créateurs peuvent modifier et développer », explique Nvidia dans une note de blog.

Cette transformation n’a pas non plus besoin d’une grande puissance de calcul. Une seule carte graphique serait suffisante, dans la mesure où le réseau neuronal est de petite taille. Mais il y a quand même un bémol : il est préférable que la scène photographiée soit immobile.

« S’il y a trop de déplacements pendant le processus de capture d’images 2D, la scène 3D générée par l’intelligence artificielle sera floue », prévient l’entreprise.

Mais le futur ne l’est-il pas toujours un peu ?

Quelques source :

Les Promesses de la nouvelle puce d’IA de Nvidia

Le groupe américain Nvidia a dévoilé sa nouvelle puce d’intelligence artificielle H100. Avec 80 milliards de transistors, un record de densité pour un circuit de traitement monolithique.

Depuis le site NVidia :

Le choix incontournable pour le déploiement de l’IA dans les entreprises

Repoussez les limites de l’innovation et de l’optimisation avec NVIDIA DGX™ H100. Nouvelle itération des systèmes DGX à hautes performances de NVIDIA et fondation de l’architecture NVIDIA DGX SuperPOD™, le système NVIDIA DGX H100 vous offre des performances d’IA sans précédent grâce aux performances révolutionnaires du GPU NVIDIA H100 Tensor Core.

Accélération sécurisée de vos charges de travail, des applications d’entreprise à l’Exascale

Entraînement jusqu’à 3 fois plus rapide avec les modèles les plus complexes

Mise en œuvre d’une IA transformationnelle

Les GPU NVIDIA H100 intègrent des cœurs Tensor de quatrième génération et un moteur de transformation à précision FP8 permettant un entraînement jusqu’à 9 fois plus rapide qu’avec les modèles MoE (Mixture of Experts) de génération précédente. Des petites infrastructures d’entreprise aux grands clusters de GPU unifiés, vous pouvez bénéficier d’un maximum de performance et d’évolutivité grâce à la combinaison de la technologie NVlink de quatrième génération (offrant une interconnexion GPU-vers-GPU à 900 Go/s), de NVSwitch (qui accélère les communications collectives entre chaque GPU sur tous les nœuds), de la norme PCIe Gen5 et du logiciel NVIDIA Magnum IO.

La fiche complète : GPU NVIDIA H100 Tensor Core

 Une vidéo époustouflante de réalisme : Unreal Engine 5

Cette vidéo 3D présentant le quai d’une gare n’a pas été prise dans la vraie vie, mais existe uniquement grâce à Unreal Engine 5.

Cette vidéo a été créée par l’artiste Lorenzo Drago qui a fait une reproduction 3D de la gare d’Etchū-Daimon au Japon. On y voit le quai de nuit et de jour, ce qui permet de voir les contrastes applicables dans chaque situation. Le résultat est tout simplement époustouflant tant les jeux d’ombre et de lumière sont réalistes. Si ce n’est pas exactement ce qui nous attend dans nos prochains jeux vidéo, cela reste tout de même très prometteur. Évidemment, les performances en temps réel dans un jeu ne pourront jamais égaler le travail produit pour une vidéo de moins de 3 minutes, spécialement créée pour présenter le moteur.

Mais cela nous donne un aperçu de ce que l’on peut faire en termes de cinématique grâce à Unreal Engine 5.

IA : Dans le dernier test de performance, Nvidia évince la concurrence

Pour la première fois depuis le début du test de référence MLPerf sur l’entraînement de l’IA en 2018, Nvidia n’avait pratiquement aucune concurrence à ses puces dominantes.

Introduction

Le géant des puces Nvidia projetait déjà une longue ombre sur le monde de l’intelligence artificielle. Et pourtant, sa capacité à évincer la concurrence du marché pourrait s’accroître, si l’on en croit les derniers résultats des tests de référence.

Le MLCommons, le consortium industriel qui supervise un test populaire des performances du machine learning, MLPerf, a publié mercredi les derniers chiffres concernant la « formation » des réseaux neuronaux artificiels. En trois ans, Nvidia a eu un seul concurrent : le géant des processeurs Intel.

Lors des tours précédents, y compris le plus récent, en juin, Nvidia avait deux concurrents ou plus. Parmi eux, Intel bien sûr, mais aussi Google, avec sa puce « Tensor Processing Unit » (ou TPU), ainsi que la start-up britannique Graphcore. Par le passé, le géant chinois des télécommunications Huawei lui faisait également concurrence.

Nvidia rafle les meilleurs scores

Par manque de concurrence, Nvidia a cette fois-ci raflé tous les meilleurs scores alors qu’en juin, la société avait partagé la première place avec Google.

Nvidia a présenté des systèmes utilisant son GPU A100, sorti depuis plusieurs années, ainsi que son tout nouveau H100, connu sous le nom de GPU « Hopper » – en l’honneur de la pionnière de l’informatique Grace Hopper. Le H100 a obtenu le meilleur score dans l’un des huit tests de référence, pour les systèmes dits de recommandation couramment utilisés pour suggérer des produits sur le web.

Intel a proposé deux systèmes utilisant ses puces Habana Gaudi2, ainsi que des systèmes étiquetés « preview » qui présentaient sa prochaine puce Xeon sever, dont le nom de code est « Sapphire Rapids ». Les systèmes Intel se sont révélés beaucoup plus lents que ceux de Nvidia.

Des records mondiaux

« Les GPU H100 (aka Hopper) ont établi des records mondiaux en entraînant des modèles dans les huit charges de travail d’entreprise MLPerf. Ils ont fourni jusqu’à 6,7 fois plus de performances que les GPU de la génération précédente lorsqu’ils ont été soumis pour la première fois à l’entraînement MLPerf. Par la même comparaison, les GPU A100 d’aujourd’hui sont 2,5 fois plus puissants, grâce aux progrès des logiciels », souligne Nvidia dans un communiqué de presse.

Dave Salvator, chef de produit senior pour l’IA et le cloud de Nvidia, a insisté lors d’une conférence de presse sur les améliorations des performances de Hopper et les modifications logicielles apportées à l’A100, montrant à la fois comment Hopper accélère les performances par rapport à l’A100 – un test de Nvidia contre Nvidia, en d’autres termes – et comment elle est capable de piétiner en même temps les puces Intel Gaudi2 et les Rapids Sapphire.

L’article complet : IA : Dans le dernier test de performance, Nvidia évince la concurrence
Publié sur ZDNet par Tiernan Ray le 14 novembre 2022

NVIDIA Broadcast

L’application NVIDIA Broadcast transforme votre PC de jeu en véritable studio personnel. Faites passer vos livestreams et vos appels visio au niveau supérieur avec de puissantes capacités d’IA qui améliorent la qualité de l’audio et de la vidéo.

The NVIDIA Broadcast app transforms any room into a home studio. Take your livestreams, voice chats, and video conference calls to the next level with AI-enhanced voice and video.

Découvrez NVIDIA Broadcast

NVIDIA Broadcast

Essayez et amusez vous bien !

NVIDIA Broadcast

Quelques nouvelles de plus…

 

Chat avec Nvidia RTX

Chat with RTX de nVidia propose aux utilisateurs de traiter des données sensibles en local sur leur PC, sans avoir à les partager avec un tiers ou même disposer d’une connexion Internet. Plus besoin de s’appuyer sur des services cloud ; pas de problème de réutilisation de vos donnée. Donc pas de partage de vos données avec un tiers ni même disposer d’une connexion Internet.

Chat with RTX, permet de faire tourner un chatbot basé sur un grand modèle de langage en local sur un PC disposant d’une carte graphique suffisamment puissante de la maison nVidia.

Trois modèles sont proposés par défaut : celui de Nvidia, entraîné par l’entreprise sur une vaste base de documents publics, Llama 2 13B, et Mistral 7B.

Faire tourner un LLM en local en toute simplicité

Chat with RTX nécessite une carte graphique dotée d’une puce GeForce RTX 30 ou supérieure avec au moins 8 Go de RAM. Mieux vaut également avoir un bon CPU et 32 Go de RAM.

Le système utilise la technique RAG (retrieval-augmented generation) pour l’entraînement des LLM avec les données de l’utilisateur.

L’accélération se fait par le biais de TensorRT-LLM. Nvidia indique vouloir ouvrir le projet à terme notamment pour les entreprises désireuses de se l’approprier pour des d’usage spécifiques.

La vidéo à droite montre la simplicité de la démarche.

Téléchargez NVIDIA Chat With RTX par le lien en bas de la page NVIDIA Chat With RTX

Deux vidéos de démonstration

Installer ChatGPT en LOCAL à la MAISON pour TOUS
Raynox

How to install and first impressions of NVIDIA Chat with RTX AI Chatbot
leksicon

NVIDIA veut faire de l’ombre à ses clients (et à ChatGPT) avec ses nouveaux modèles d’IA open source

En lançant NVLM 1.0, une famille de modèles de langage multimodaux open source, l’entreprise se positionne comme un acteur majeur de l’IA générative, au risque de faire de l’ombre à ses propres clients.

NVIDIA sort l’artillerie lourde avec NVLM 1.0

Le fleuron de cette famille, NVLM-D-72B, est un monstre de puissance avec ses 72 milliards de paramètres. Il excelle dans les tâches combinant vision et langage, comme l’interprétation de mèmes, l’analyse d’images ou la résolution pas à pas de problèmes mathématiques. Mais ce n’est pas tout, car l’entraînement multimodal a aussi boosté ses performances sur les tâches purement textuelles, avec un gain moyen de 4,3 points sur les benchmarks clés.

A lire sur : NVIDIA veut faire de l’ombre à ses clients Publié sur ClubIC par Naïm Bada le 05 octobre 2024