Depuis le site interne de Samsung : Samsung Newsroom
Samsung a développé une mémoire avec traitement IA intégré
Samsung Electronics, the world leader in advanced memory technology, today announced that it has developed the industry’s first High Bandwidth Memory (HBM) integrated with artificial intelligence (AI) processing power — the HBM-PIM. The new processing-in-memory (PIM) architecture brings powerful AI computing capabilities inside high-performance memory, to accelerate large-scale processing in data centers, high performance computing (HPC) systems and AI-enabled mobile applications.
Kwangil Park, senior vice president of Memory Product Planning at Samsung Electronics stated, “Our groundbreaking HBM-PIM is the industry’s first programmable PIM solution tailored for diverse AI-driven workloads such as HPC, training and inference. We plan to build upon this breakthrough by further collaborating with AI solution providers for even more advanced PIM-powered applications.”
Rick Stevens, Argonne’s Associate Laboratory Director for Computing, Environment and Life Sciences commented, “I’m delighted to see that Samsung is addressing the memory bandwidth/power challenges for HPC and AI computing. HBM-PIM design has demonstrated impressive performance and power gains on important classes of AI applications, so we look forward to working together to evaluate its performance on additional problems of interest to Argonne National Laboratory.”
Most of today’s computing systems are based on the von Neumann architecture, which uses separate processor and memory units to carry out millions of intricate data processing tasks. This sequential processing approach requires data to constantly move back and forth, resulting in a system-slowing bottleneck especially when handling ever-increasing volumes of data.
Instead, the HBM-PIM brings processing power directly to where the data is stored by placing a DRAM-optimized AI engine inside each memory bank — a storage sub-unit — enabling parallel processing and minimizing data movement. When applied to Samsung’s existing HBM2 Aquabolt solution, the new architecture is able to deliver over twice the system performance while reducing energy consumption by more than 70%. The HBM-PIM also does not require any hardware or software changes, allowing faster integration into existing systems.
Samsung’s paper on the HBM-PIM has been selected for presentation at the renowned International Solid-State Circuits Virtual Conference (ISSCC) held through Feb. 22. Samsung’s HBM-PIM is now being tested inside AI accelerators by leading AI solution partners, with all validations expected to be completed within the first half of this year.
Samsung Electronics, leader mondial des technologies de mémoire avancées, a annoncé aujourd’hui avoir développé la première mémoire à large bande passante (HBM) intégrée à la puissance de traitement de l’intelligence artificielle (IA) – la HBM-PIM. Cette nouvelle architecture de traitement en mémoire (PIM) apporte de puissantes capacités de traitement de l’IA au sein d’une mémoire haute performance, afin d’accélérer le traitement à grande échelle dans les centres de données, les systèmes de calcul haute performance (HPC) et les applications mobiles basées sur l’IA.
Kwangil Park, vice-président senior de la planification des produits de mémoire chez Samsung Electronics, a déclaré : « Notre révolutionnaire HBM-PIM est la première solution PIM programmable du secteur conçue pour diverses charges de travail axées sur l’IA, telles que le HPC, la formation et l’inférence. Nous prévoyons de nous appuyer sur cette percée en collaborant davantage avec les fournisseurs de solutions d’IA pour des applications encore plus avancées alimentées par le PIM. »
Rick Stevens, directeur associé du laboratoire d’Argonne pour l’informatique, l’environnement et les sciences de la vie, a déclaré : « Je suis ravi de voir que Samsung relève le défi de la bande passante et de la puissance de la mémoire pour le calcul intensif et l’IA. La conception HBM-PIM a démontré des gains de performance et de puissance impressionnants sur d’importantes classes d’applications d’IA, nous sommes donc impatients de travailler ensemble pour évaluer ses performances sur d’autres problèmes d’intérêt pour l’Argonne National Laboratory. »
La plupart des systèmes informatiques actuels sont basés sur l’architecture de von Neumann, qui utilise des processeurs et des unités de mémoire séparés pour effectuer des millions de tâches complexes de traitement de données. Cette approche de traitement séquentiel exige que les données se déplacent constamment dans un sens et dans l’autre, ce qui entraîne un goulot d’étranglement dans le système, surtout lorsqu’il s’agit de traiter des volumes de données toujours plus importants.
Au lieu de cela, le HBM-PIM apporte la puissance de traitement directement à l’endroit où les données sont stockées en plaçant un moteur AI optimisé par la DRAM à l’intérieur de chaque banque de mémoire – une sous-unité de stockage – permettant un traitement parallèle et minimisant le mouvement des données. Lorsqu’elle est appliquée à la solution Aquabolt HBM2 existante de Samsung, la nouvelle architecture est capable de fournir plus de deux fois les performances du système tout en réduisant la consommation d’énergie de plus de 70 %. Le HBM-PIM ne nécessite également aucun changement de matériel ou de logiciel, ce qui permet une intégration plus rapide dans les systèmes existants.
L’article de Samsung sur le HBM-PIM a été sélectionné pour être présenté lors de la célèbre conférence internationale ISSCC (International Solid-State Circuits Virtual Conference) qui se tient jusqu’au 22 février. Le module HBM-PIM de Samsung est actuellement testé à l’intérieur d’accélérateurs d’intelligence artificielle par les principaux partenaires de solutions d’intelligence artificielle, et toutes les validations devraient être achevées au cours du premier semestre de cette année.
The new architecture will deliver over twice the system performance and reduce energy consumption by more than 70%
La nouvelle architecture permettra de doubler les performances du système et de réduire la consommation d’énergie de plus de 70 %.
