AMDs Instinct MI300X GPU verfügt über mehrere GPU-„Chiplets“ sowie 192 Gigabyte HBM3-DRAM-Speicher und 5,2 Terabyte pro Sekunde Speicherbandbreite. Das Unternehmen sagte, es sei der einzige Chip, der große Sprachmodelle mit bis zu 80 Milliarden Parametern im Speicher verarbeiten könne. AMD
Lisa Su, CEO von Advanced Micro Devices, stellte am Dienstag in San Francisco einen Chip vor, der ein Herzstück der Unternehmensstrategie für künstliche Intelligenz darstellt und sich durch einen enormen Speicher- und Datendurchsatz für sogenannte generative KI-Aufgaben wie große Sprachmodelle auszeichnet.
Der Instinct MI300X, wie das Teil genannt wird, ist ein Nachfolger des zuvor angekündigten MI300A. Der Chip ist eigentlich eine Kombination aus mehreren „Chiplets“, einzelnen Chips, die durch gemeinsame Speicher- und Netzwerkverbindungen in einem einzigen Paket verbunden sind.
Auch: 5 Möglichkeiten, den Einsatz generativer KI am Arbeitsplatz zu erkunden
Su, der vor einem geladenen Publikum im Fairmont Hotel in der Innenstadt von San Francisco auf der Bühne stand, bezeichnete das Teil als „generativen KI-Beschleuniger“ und sagte, dass die darin enthaltenen GPU-Chiplets, eine Familie namens CDNA 3, „speziell entwickelt“ seien für KI und HPC [high-performance computing] Arbeitsbelastungen.“
Der MI300X ist eine „Nur-GPU“-Version des Teils. Der MI300A ist eine Kombination aus drei Zen4-CPU-Chiplets mit mehreren GPU-Chiplets. Beim MI300X werden die CPUs jedoch gegen zwei zusätzliche CDNA 3-Chiplets ausgetauscht.
Auch: Nvidia stellt neue Art von Ethernet für KI vor, den Grace Hopper „Superchip“ in voller Produktion
Beim MI300X erhöht sich die Transistorzahl von 146 Milliarden Transistoren auf 153 Milliarden, und der gemeinsam genutzte DRAM-Speicher wird von 128 Gigabyte beim MI300A auf 192 Gigabyte erhöht.
Die Speicherbandbreite wird von 800 Gigabyte pro Sekunde auf 5,2 Terabyte pro Sekunde erhöht.
„Unsere Verwendung von Chiplets in diesem Produkt ist sehr, sehr strategisch“, sagte Su, wegen der Möglichkeit, verschiedene Arten von Rechenleistung zu kombinieren und CPU oder GPU auszutauschen.
Su sagte, dass der MI300X die 2,4-fache Speicherdichte von Nvidias H100 „Hopper“-GPU und die 1,6-fache Speicherbandbreite bieten wird.
„Die generative KI und große Sprachmodelle haben die Landschaft verändert“, sagte Su. „Der Bedarf an mehr Rechenleistung wächst exponentiell, egal ob es um Training oder Inferenz geht.“
Um den Bedarf an leistungsstarkem Computing zu demonstrieren, zeigte Sue den Teil, der an dem ihrer Meinung nach derzeit beliebtesten großen Sprachmodell arbeitet, dem Open-Source-Falcon-40B. Sprachmodelle erfordern mehr Rechenleistung, da sie mit immer mehr sogenannten neuronalen Netzwerk-„Parametern“ erstellt werden. Der Falcon-40B besteht aus 40 Milliarden Parametern.
Auch: GPT-3.5 vs. GPT-4: Ist ChatGPT Plus seine Abonnementgebühr wert?
Der MI300X, sagte sie, sei der erste Chip, der leistungsstark genug sei, um ein neuronales Netzwerk dieser Größe vollständig im Speicher zu betreiben, anstatt Daten hin und her zum und vom externen Speicher verschieben zu müssen.
Su demonstrierte den MI300X beim Erstellen eines Gedichts über San Francisco mit Falcon-40B.
„Ein einzelner MI300X kann Modelle mit bis zu etwa 80 Milliarden Parametern im Speicher ausführen“, sagte sie.
„Wenn man MI300X mit der Konkurrenz vergleicht, bietet MI300X 2,4-mal mehr Speicher und 1,6-mal mehr Speicherbandbreite, und mit all dieser zusätzlichen Speicherkapazität haben wir tatsächlich einen Vorteil bei großen Sprachmodellen, weil wir größere Modelle direkt im Speicher ausführen können.“ .”
Auch: Wie ChatGPT Ihren vorhandenen Code umschreiben und verbessern kann
Das gesamte Modell im Speicher ausführen zu können, sagte Su, bedeute, dass „bei den größten Modellen tatsächlich die Anzahl der benötigten GPUs reduziert wird, was die Leistung, insbesondere für Inferenzen, erheblich beschleunigt und die Gesamtkosten senkt.“ des Eigentums.“
„Ich liebe diesen Chip übrigens“, schwärmte Su. „Wir lieben diesen Chip.“
„Mit MI300X können Sie die Anzahl der GPUs reduzieren, und da die Modellgrößen weiter wachsen, wird dies noch wichtiger.“
„Mit mehr Speicher, mehr Speicherbandbreite und weniger benötigten GPUs können wir mehr Inferenzjobs pro GPU ausführen als zuvor“, sagte Su. Das werde die Gesamtbetriebskosten für große Sprachmodelle senken und die Technologie zugänglicher machen, sagte sie.
Auch: Für den „iPhone-Moment“ von AI stellt Nvidia einen großen Sprachmodell-Chip vor
Um mit den DGX-Systemen von Nvidia zu konkurrieren, stellte Su eine Familie von KI-Computern vor, die „AMD Instinct Platform“. Die erste Instanz davon wird acht MI300X mit 1,5 Terabyte HMB3-Speicher kombinieren. Der Server entspricht der branchenüblichen Open Compute Platform-Spezifikation.
„Kunden können all diese KI-Rechenkapazitäten im Speicher einer branchenüblichen Plattform nutzen, die sich direkt in ihre bestehende Infrastruktur einfügt“, sagte Su.
Im Gegensatz zum MI300X, bei dem es sich nur um eine GPU handelt, tritt der bestehende MI300A gegen Nvidias Grace-Hopper-Combo-Chip an, der Nvidias Grace-CPU und dessen Hopper-GPU nutzt, von denen das Unternehmen letzten Monat bekannt gab, dass sie in voller Produktion sind.
MI300A werde in den Supercomputer El Capitan eingebaut, der in den Lawrence Livermore National Laboratories des Energieministeriums im Bau sei, bemerkte Su.
Auch: So verwenden Sie ChatGPT zum Erstellen einer App
Der MI300A wird AMD-Kunden derzeit als Muster gezeigt, und der MI300X wird im dritten Quartal dieses Jahres mit der Musterung an Kunden beginnen, sagte Su. Beide werden im vierten Quartal in Serie gehen, sagte sie.
Eine Aufzeichnung der Präsentation können Sie sich auf der von AMD für die Neuigkeiten eingerichteten Website ansehen.
source – www.zdnet.com
