NVidia

Nvidia Corporation est une entreprise américaine spécialisée dans la conception de processeurs graphiques, de cartes graphiques et de puces graphiques pour PC et consoles de jeux (Xbox, PlayStation 3, Nintendo Switch). Son siège est à Santa Clara en Californie.

Nvidia est une société de type « fabless », c’est-à-dire qu’elle conçoit ses puces dans ses centres de recherches, mais qu’elle sous-traite leur production à d’autres sociétés de semi-conducteurs.

L’entreprise conçoit principalement des circuits graphiques allant du modèle pour netbook aux puissants modèles destinés aux gamers (GeForce), voire au monde professionnel (Nvidia Quadro et autres). Pour prouver la qualité et la puissances de ses cartes graphiques, l’entreprise met à disposition de outils et des exemples.

En même temps, l’entreprise performe en bourse au point de devenir une des premières capitalisation mondiale !« https://www.gov.uk/government/publications/proposed-acquisition-of-arm-limited-by-nvidia-corporation-public-interest-intervention

L’entreprise Nvidia propose une IA capable de créer des vidéos qui ressemblent à s’y méprendre à la réalité … sans l’être.

Comment passer de l’hiver à l’été !

Sur la gauche : la vidéo source
Sur la droite : le résultat

Si vous ne savez pas dessiner, ce n’est pas grave.
Avec ce service Nvidia il vous suffira de tracer quelques lignes pour qu’une intelligence artificielle soit capable de créer une image quasi parfaite.
Cet outil, baptisé GauGan est capable de transformer un simple croquis dessiné en une véritable image réaliste. Le logiciel peut transformer en quelques clics de simples lignes dessinées en une image que l’on pourrait confondre avec une photo, c’est bluffant.

Démarré comme projet interne le résultat fut si fabuleux que l’entreprise le propose en ligne : GauGan

GauGAN est multimodal. Concrètement, cela signifie que si deux utilisateurs créent une même esquisse en utilisant les mêmes paramètres, les algorithmes qui régissent l’outil feront que les résultats proposés par GauGAN seront différents.

Ce nouvel outil peut être utilisé dans le domaine des jeux vidéo. Les concepteurs pourraient s’en servir pour imaginer des environnements immersifs.

Demain, ce sont les intelligences artificielles qui créeront les jeux vidéo ! Les chercheurs de Nvidia ont mis au point une IA qui a pu reproduire le mythique jeu Pac Man, simplement… en regardant des parties.

Regarder et recréer

Le modèle sur lequel l’intelligence artificielle s’est appuyé pour recréer le jeu a été entraîné en « regardant » des parties de Pac Man. 50.000 parties, pour être précis ! Devant la difficulté de trouver des humains capables de jouer autant de fois, c’est une autre IA qui a pris le joystick. Celle-ci a rapidement compris les mécanismes du jeu et est devenue très forte, à tel point qu’il a été difficile au modèle de comprendre le concept de « mort », comme l’explique Sanja Fidler, le directeur du labo de recherche de Nvidia.

Malgré cette fausse note, le résultat est plutôt convaincant. Uniquement en regardant des parties, l’IA de Nvidia a pu reproduire le jeu et ses mécanismes ! Certes, les graphismes sont un peu flous et le modèle n’a pas vraiment enregistré les comportements exacts des fantômes, mais les bases sont là et le jeu est jouable par un humain. Cette version IA de Pac Man sera d’ailleurs mise en ligne dans un proche avenir.

Le programme utilisé par Nvidia s’appelle GameGAN (GAN pour « generative adversarial network »). Il présente une architecture similaire à d’autres projets d’apprentissage automatique, dont le principe est assez simple : la première moitié essaie de répliquer les données, la seconde compare ce travail à la source d’origine. Si les deux parties ne correspondent pas, les données générées sont rejetées et le cycle reprend du début.

Pour Nvidia, ce projet montre comment l’intelligence artificielle pourra être utilisée à l’avenir dans le secteur du game design : les développeurs pourront utiliser l’IA pour créer des variations pour les niveaux de leurs jeux. « Vous pouvez vous servir de cette IA pour combiner différents jeux entre eux », indique Fidler, ce qui pourrait apporter des concepts complètement nouveaux.

NVIDIA annonce son premier CPU sous le nom de code Grace.

NVIDIA states that its Grace is a highly specialized processor targeting workloads such as training next-generation NLP models that have more than 1 trillion parameters. When tightly coupled with NVIDIA GPUs, a Grace CPU-based system will deliver 10x faster performance than today’s state-of-the-art NVIDIA DGX-based systems, which run on x86 CPUs.

NVIDIA is introducing Grace as the volume of data and size of AI models are growing exponentially. Today’s largest AI models include billions of parameters and are doubling every two-and-a-half months. Training them requires a new CPU that can be tightly coupled with a GPU to eliminate system bottlenecks.

NVIDIA built Grace by leveraging the incredible flexibility of Arm’s data center architecture. By introducing a new server-class CPU, NVIDIA is advancing the goal of technology diversity in AI and HPC communities, where choice is key to delivering the innovation needed to solve the world’s most pressing problems.

Site Nvidia : Grace

NVIDIA déclare que son Grace est un processeur hautement spécialisé ciblant des charges de travail telles que l’entraînement des modèles NLP de nouvelle génération qui ont plus de 1 trillion de paramètres. Lorsqu’il est étroitement couplé aux GPU NVIDIA, un système basé sur le CPU Grace fournira des performances 10 fois plus rapides que les systèmes actuels basés sur le NVIDIA DGX, qui tournent sur des CPU x86.

NVIDIA introduit Grace alors que le volume de données et la taille des modèles d’IA augmentent de façon exponentielle. Les plus grands modèles d’IA d’aujourd’hui comprennent des milliards de paramètres et doublent tous les deux mois et demi. Leur formation nécessite un nouveau CPU qui peut être étroitement couplé à un GPU pour éliminer les goulots d’étranglement du système.

NVIDIA a construit Grace en exploitant l’incroyable flexibilité de l’architecture de centre de données d’Arm. En introduisant un nouveau CPU pour serveur, NVIDIA fait avancer l’objectif de diversité technologique dans les communautés IA et HPC, où le choix est essentiel pour apporter l’innovation nécessaire à la résolution des problèmes les plus urgents du monde.

Ce nouveau processeur à architecture ARM, conçu pour accélérer la puissance de calcul des algorithmes d’intelligence artificielle, Nvidia entre sur le terrain de jeu d’Intel. Cette nouvelle puce a tout pour séduire sur le papier ; attendons les premiers tests.

Grace permettra, selon Nvidia, de rendre un modèle de traitement du langage naturel dix fois plus rapide qu’il ne l’est aujourd’hui. Jensen Huang, fondateur et CEO de Nvidia, a déclaré que : « l’intelligence artificielle de pointe et la science des données poussent l’architecture informatique actuelle au-delà de ses limites, en obligeant le traitement d’énormes quantités de données. Couplé à notre GPU et à notre DPU (Data Processing Units), Grace va avoir la capacité de faire progresser l’intelligence artificielle » (source Wall Street Journal).

En résumé, Grace, est destinés au data center pour dex calculs massifs et avec optimisation pour l’intelligence artificielle.

Transforming Paintings and Photos Into Animations With AI

Sans faire de grands discours, le plus simple est de prendre connaissance de la page consacrée à ce sujet : Transforming Paintings and Photos Into Animations With AI

La vidéo est d’une clarté limpide, ci-dessous le schéma de fonctionnement :

Publié sur le site NVidia Developer le 8 janvier 2019

NVIDIA Research réalise une percée en matière de formation à l’IA en utilisant des ensembles de données limités

Data augmentation technique enables AI model to emulate artwork from a small dataset from the Metropolitan Museum of Art — and opens up new potential applications in fields like healthcare.

La technique d’augmentation des données permet à un modèle d’IA d’émuler une œuvre d’art à partir d’un petit ensemble de données provenant du Metropolitan Museum of Art – et ouvre la voie à de nouvelles applications potentielles dans des domaines tels que les soins de santé.

GANverse 3D, une technologie de virtualisation 3D rapide à partir d’une simple photo

GANverse 3D, un outil basé sur l’intelligence artificielle développé par Nvidia Research, vient d’être annoncé en ce début 2021. Il permet de faciliter la création de modèles 3D à partir d’une simple image 2D, et ce, en quelques clics seulement.

NVIDIA Research’s latest model, featuring GANs under the hood, turns 2D images into 3D objects for game developers, artists, designers, architects.

La vidéo, sur la droite, explique le principe.

Developed by the NVIDIA AI Research Lab in Toronto, the GANverse3D application inflates flat images into realistic 3D models that can be visualized and controlled in virtual environments. This capability could help architects, creators, game developers and designers easily add new objects to their mockups without needing expertise in 3D modeling, or a large budget to spend on renderings.

A single photo of a car, for example, could be turned into a 3D model that can drive around a virtual scene, complete with realistic headlights, tail lights and blinkers.

Source : Knight Rider Rides a GAN (lien cassé)

GauGAN2  peut générer des scènes photoréalistes avec une simple phrase

Nvidia vient de présenter une nouvelle technologie d’intelligence artificielle capable de générer presque instantanément une scène 3D à partir de « quelques douzaines de photos ».

Baptisée Instant neural radiance fields (Instant NeRF), elle est capable d’entraîner « un petit réseau neuronal » en l’espace de quelques secondes à partir d’une flopée de photos, à condition toutefois de bien connaître les angles de prises de vue. Le modèle résultant permet ensuite de générer toutes les données nécessaires pour créer l’environnement 3D de la scène en question. Un calcul qui, selon Nvidia, ne nécessite que quelques « dizaines de microsecondes ».

Dans la vidéo YouTube de droite, l’entreprise américaine fait la démonstration de cette nouvelle technologie, qui s’appuie évidemment sur des outils internes comme Cuda Toolkit .

Ainsi, on voit une personne au milieu d’une salle qui est photographiée de plusieurs côtés, et, magie de la technologie, on navigue autour d’elle dans un espace tridimensionnel.

Créer des scènes 3D à partir de photos n’est pas nouveau. L’innovation principale, selon Nvidia, est la vitesse d’exécution. Le calcul serait plus de mille fois plus rapide qu’avec les technologies habituelles, qui nécessiteraient des heures pour aboutir au même résultat.

Les usages envisageables seraient multiples.

« La technologie pourrait être utilisée pour entraîner des robots et des voitures autonomes à comprendre la taille et la forme d’objets du monde réel en capturant des images 2D ou des séquences vidéo.
Elle pourrait également être utilisée dans l’architecture et le divertissement pour générer rapidement des représentations numériques d’environnements réels que les créateurs peuvent modifier et développer », explique Nvidia dans une note de blog.

Cette transformation n’a pas non plus besoin d’une grande puissance de calcul. Une seule carte graphique serait suffisante, dans la mesure où le réseau neuronal est de petite taille. Mais il y a quand même un bémol : il est préférable que la scène photographiée soit immobile.

« S’il y a trop de déplacements pendant le processus de capture d’images 2D, la scène 3D générée par l’intelligence artificielle sera floue », prévient l’entreprise.

Mais le futur ne l’est-il pas toujours un peu ?

Quelques source :

• Nvidia Instant NeRF : une IA d’imagerie transforme des images 2D en modèles 3D Publié sur KultureGeek par Frédéric L.

• Nvidia’s Instant NeRF AI renders 3D scenes from 2D photos in just seconds Publié sur TechSpot le 25 mars 2022

• L’IA NeRF de NVIDIA transforme instantanément des photos 2D en objet 3D Publié sur BeeGeek le 27 mars 2022 par Morgan Fromentin

Le groupe américain Nvidia a dévoilé sa nouvelle puce d’intelligence artificielle H100. Avec 80 milliards de transistors, un record de densité pour un circuit de traitement monolithique.

Depuis le site NVidia :

Le choix incontournable pour le déploiement de l’IA dans les entreprises

Entraînement jusqu’à 3 fois plus rapide avec les modèles les plus complexes

Mise en œuvre d’une IA transformationnelle

Les GPU NVIDIA H100 intègrent des cœurs Tensor de quatrième génération et un moteur de transformation à précision FP8 permettant un entraînement jusqu’à 9 fois plus rapide qu’avec les modèles MoE (Mixture of Experts) de génération précédente. Des petites infrastructures d’entreprise aux grands clusters de GPU unifiés, vous pouvez bénéficier d’un maximum de performance et d’évolutivité grâce à la combinaison de la technologie NVlink de quatrième génération (offrant une interconnexion GPU-vers-GPU à 900 Go/s), de NVSwitch (qui accélère les communications collectives entre chaque GPU sur tous les nœuds), de la norme PCIe Gen5 et du logiciel NVIDIA Magnum IO.

La fiche complète : GPU NVIDIA H100 Tensor Core

Cette vidéo 3D présentant le quai d’une gare n’a pas été prise dans la vraie vie, mais existe uniquement grâce à Unreal Engine 5.

Cette vidéo a été créée par l’artiste Lorenzo Drago qui a fait une reproduction 3D de la gare d’Etchū-Daimon au Japon. On y voit le quai de nuit et de jour, ce qui permet de voir les contrastes applicables dans chaque situation. Le résultat est tout simplement époustouflant tant les jeux d’ombre et de lumière sont réalistes. Si ce n’est pas exactement ce qui nous attend dans nos prochains jeux vidéo, cela reste tout de même très prometteur. Évidemment, les performances en temps réel dans un jeu ne pourront jamais égaler le travail produit pour une vidéo de moins de 3 minutes, spécialement créée pour présenter le moteur.

Mais cela nous donne un aperçu de ce que l’on peut faire en termes de cinématique grâce à Unreal Engine 5.

Pour la première fois depuis le début du test de référence MLPerf sur l’entraînement de l’IA en 2018, Nvidia n’avait pratiquement aucune concurrence à ses puces dominantes.

Introduction

Le géant des puces Nvidia projetait déjà une longue ombre sur le monde de l’intelligence artificielle. Et pourtant, sa capacité à évincer la concurrence du marché pourrait s’accroître, si l’on en croit les derniers résultats des tests de référence.

Le MLCommons, le consortium industriel qui supervise un test populaire des performances du machine learning, MLPerf, a publié mercredi les derniers chiffres concernant la « formation » des réseaux neuronaux artificiels. En trois ans, Nvidia a eu un seul concurrent : le géant des processeurs Intel.

Lors des tours précédents, y compris le plus récent, en juin, Nvidia avait deux concurrents ou plus. Parmi eux, Intel bien sûr, mais aussi Google, avec sa puce « Tensor Processing Unit » (ou TPU), ainsi que la start-up britannique Graphcore. Par le passé, le géant chinois des télécommunications Huawei lui faisait également concurrence.

Nvidia rafle les meilleurs scores

Par manque de concurrence, Nvidia a cette fois-ci raflé tous les meilleurs scores alors qu’en juin, la société avait partagé la première place avec Google.

Nvidia a présenté des systèmes utilisant son GPU A100, sorti depuis plusieurs années, ainsi que son tout nouveau H100, connu sous le nom de GPU « Hopper » – en l’honneur de la pionnière de l’informatique Grace Hopper. Le H100 a obtenu le meilleur score dans l’un des huit tests de référence, pour les systèmes dits de recommandation couramment utilisés pour suggérer des produits sur le web.

Intel a proposé deux systèmes utilisant ses puces Habana Gaudi2, ainsi que des systèmes étiquetés « preview » qui présentaient sa prochaine puce Xeon sever, dont le nom de code est « Sapphire Rapids ». Les systèmes Intel se sont révélés beaucoup plus lents que ceux de Nvidia.

Des records mondiaux

« Les GPU H100 (aka Hopper) ont établi des records mondiaux en entraînant des modèles dans les huit charges de travail d’entreprise MLPerf. Ils ont fourni jusqu’à 6,7 fois plus de performances que les GPU de la génération précédente lorsqu’ils ont été soumis pour la première fois à l’entraînement MLPerf. Par la même comparaison, les GPU A100 d’aujourd’hui sont 2,5 fois plus puissants, grâce aux progrès des logiciels », souligne Nvidia dans un communiqué de presse.

Dave Salvator, chef de produit senior pour l’IA et le cloud de Nvidia, a insisté lors d’une conférence de presse sur les améliorations des performances de Hopper et les modifications logicielles apportées à l’A100, montrant à la fois comment Hopper accélère les performances par rapport à l’A100 – un test de Nvidia contre Nvidia, en d’autres termes – et comment elle est capable de piétiner en même temps les puces Intel Gaudi2 et les Rapids Sapphire.

L’article complet : IA : Dans le dernier test de performance, Nvidia évince la concurrence
Publié sur ZDNet par Tiernan Ray le 14 novembre 2022

L’application NVIDIA Broadcast transforme votre PC de jeu en véritable studio personnel. Faites passer vos livestreams et vos appels visio au niveau supérieur avec de puissantes capacités d’IA qui améliorent la qualité de l’audio et de la vidéo.

The NVIDIA Broadcast app transforms any room into a home studio. Take your livestreams, voice chats, and video conference calls to the next level with AI-enhanced voice and video.

Découvrez NVIDIA Broadcast

NVIDIA Broadcast

Essayez et amusez vous bien !

NVIDIA Broadcast

• NVIDIA présente le GH200 Grace Hopper nouvelle génération dédié à l’IA générative
  Le GH200 Grace Hopper, annoncé en juin dernier, réunit les architectures CPU Nvidia Grace et GPU Hopper basées sur Arm, via la technologie d’interconnexion Nvidia NVLink-C2C à bande passante élevée, faible latence et faible consommation. La superpuce booste 4 PetaFLOPS TE, 72 processeurs Arm connectés par liaison puce à puce, 96 Go de mémoire HBM3 et 576 GPU.
  Publié sur ActuIA par Thierry Maubant 2e 11 août 2023
• NVIDIA Neuralangelo est un modèle IA capable de générer des objets 3D à partir de vidéos 2D
  NVIDIA Neuralangelo est un modèle IA capable de générer des objets 3D à partir de vidéos 2D. Le potentiel d’une telle technologie est énorme.
  Publié sur BeGeek par Morgan Fromentin le publié le 3 juin 2023
• Nvidia rachète OctoAI et domine désormais les solutions d’IA générative pour les entreprises
  Dans une démarche audacieuse qui consolide sa position de leader en matière d’infrastructure d’intelligence artificielle (IA), Nvidia a racheté OctoAI, une start-up basée à Seattle et spécialisée dans les outils d’IA générative. Cette transaction de 250 millions de dollars marque la cinquième acquisition de Nvidia en 2024, soulignant la stratégie agressive de l’entreprise visant à construire une plateforme d’IA générative complète de bout en bout pour les entreprises.
  Publié sur Forbes le 1er octobre 2024
• NVIDIA AI Foundry intègre Llama 3.1 pour aider les entreprises à créer des modèles personnalisés
  NVIDIA annonce le lancement d’un nouveau service NVIDIA AI Foundry qui permettra aux entreprises d’utiliser la nouvelle famille Llama 3.1 pour créer des modèles personnalisés avec leurs données propriétaires ainsi que des données synthétiques générées par Llama 3.1 405B et le modèle NVIDIA Nemotron.
  Publié sur ActuIA le 25 juillet 2024 par Thomas Calvi

Chat with RTX de nVidia propose aux utilisateurs de traiter des données sensibles en local sur leur PC, sans avoir à les partager avec un tiers ou même disposer d’une connexion Internet. Plus besoin de s’appuyer sur des services cloud ; pas de problème de réutilisation de vos donnée. Donc pas de partage de vos données avec un tiers ni même disposer d’une connexion Internet.

Chat with RTX, permet de faire tourner un chatbot basé sur un grand modèle de langage en local sur un PC disposant d’une carte graphique suffisamment puissante de la maison nVidia.

Trois modèles sont proposés par défaut : celui de Nvidia, entraîné par l’entreprise sur une vaste base de documents publics, Llama 2 13B, et Mistral 7B.

Faire tourner un LLM en local en toute simplicité

Chat with RTX nécessite une carte graphique dotée d’une puce GeForce RTX 30 ou supérieure avec au moins 8 Go de RAM. Mieux vaut également avoir un bon CPU et 32 Go de RAM.

Le système utilise la technique RAG (retrieval-augmented generation) pour l’entraînement des LLM avec les données de l’utilisateur.

L’accélération se fait par le biais de TensorRT-LLM. Nvidia indique vouloir ouvrir le projet à terme notamment pour les entreprises désireuses de se l’approprier pour des d’usage spécifiques.

La vidéo à droite montre la simplicité de la démarche.

Téléchargez NVIDIA Chat With RTX par le lien en bas de la page NVIDIA Chat With RTX

Deux vidéos de démonstration

Installer ChatGPT en LOCAL à la MAISON pour TOUS
Raynox

How to install and first impressions of NVIDIA Chat with RTX AI Chatbot
leksicon

NVIDIA veut faire de l’ombre à ses clients (et à ChatGPT) avec ses nouveaux modèles d’IA open source

En lançant NVLM 1.0, une famille de modèles de langage multimodaux open source, l’entreprise se positionne comme un acteur majeur de l’IA générative, au risque de faire de l’ombre à ses propres clients.