Den här morgonen är en viktig för AMD – kanske årets viktigaste. Efter nästan ett och ett halvt år av uppbyggnad, och ännu längre för faktisk utveckling, lanserar AMD sin nästa generations GPU/APU/AI-acceleratorfamilj, Instinct MI300-serien. Baserat på AMD:s nya CDNA 3-arkitektur, och genom att kombinera den med AMD:s beprövade Zen 4-kärnor, kommer AMD att göra en fullbordspress för high-end GPU- och acceleratormarknaden med sin nya produkt, med sikte på att leda i både stormetall-HPC. såväl som den växande marknaden för generativ AI-träning och slutledning.
På scenen för AMD:s lanseringsevenemang kommer AMD:s VD Dr. LIsa Su, samt ett flertal AMD-chefer och ekosystempartners, för att äntligen detaljera AMD:s senaste generationens GPU-arkitektur och de många former den kommer att komma i. Med båda MI300X-acceleratorn och MI300A APU, siktar AMD på att täcka större delen av acceleratormarknaden, oavsett om kunderna bara behöver en kraftfull GPU eller en tätt kopplad GPU/CPU-parning.
Insatserna för dagens tillkännagivande är betydande. Marknaden för generativ AI är nästan hårdvara begränsad för tillfället, mycket till fördel för (och vinster för) AMD:s rival NVIDIA. Så AMD hoppas kunna dra nytta av detta ögonblick för att skära av en del – kanske en mycket stor del – av marknaden för generativa AI-acceleratorer. AMD har gjort att bryta sig in i serverutrymmet till sin högsta prioritet under det senaste halvt decenniet, och nu tror de att det är dags att ta en stor del av marknaden för server-GPU.
12:56PM EST – Vi är här i San Jose för AMD:s sista och viktigaste lanseringsevenemang för året: Advancing AI
12:57PM EST – Idag gör AMD den efterlängtade lanseringen av nästa generations MI300-serie av acceleratorer
12:58PM EST – Inklusive MI300A, deras första chiplet-baserade server APU, och MI300X, deras grepp om den mest kraftfulla GPU/acceleratorn som är möjlig för AI-marknaden
12:59 EST – Jag skulle säga att evenemanget hålls i AMD:s bakgård, men eftersom AMD sålde sitt campus här i Bay-området för flera år sedan, är detta mer som NVIDIAs bakgård. Vilket är passande med tanke på att AMD vill fånga en del av den mycket lönsamma marknaden för generativ AI från NVIDIA
12:59 EST – Vi ska börja kl 10 lokal tid här – så om en minut eller så
12:59 PM EST – Och hej, nu kör vi. Precis i tid
01:00PM EST – Börjar med en öppningstrailer
01:00 EST – (Och med mig på morgonens liveblogg är den alltid fantastiska Gavin Bonshor)
13:00 EST – Avancerar AI… tillsammans
01:01PM EST – Och här är AMD:s VD, Dr. Lisa Su
01:01PM EST – Idag “handlar allt om AI”
01:01PM EST – Och Lisa dyker direkt in
01:02PM EST – Det har bara gått lite över ett år sedan ChatGPT lanserades. Och det har vänt datorbranschen på huvudet ganska snabbt
01:02PM EST – AMD ser AI som den enskilt mest transformativa tekniken under de senaste 50 åren
01:02PM EST – Och med en ganska snabb adoptionshastighet, trots att man var i början av AI-eran
01:02 EST – Lisas listar över några av användningsfallen för AI
01:03PM EST – Och nyckeln till det? Generativ AI. Vilket kräver betydande investeringar i infrastruktur
01:03PM EST – (som NVIDIA har tagit lejonparten av hittills)
01:03PM EST – År 2023 beräknade AMD att CAGR för AI-marknaden skulle vara 350 miljarder dollar år 2027
01:04PM EST – Nu tror de att det kommer att vara $400B+ till 2027
01:04PM EST – En sammansatt årlig tillväxttakt på mer än 70 %
01:04PM EST – AMD:s AI-strategi är centrerad kring 3 stora strategiska prioriteringar
01:05PM EST – En bred hårdvaraportfölj, ett öppet och beprövat mjukvaruekosystem och partnerskap att saminnovera med
01:05PM EST – (AMD har historiskt kämpat med särskilt programvara)
01:05PM EST – Nu till produkter, som börjar med molnet
01:06PM EST – Generativ AI kräver tiotusentals acceleratorer i high-end
01:06PM EST – Ju mer beräkna, desto bättre modell, desto snabbare svar
01:06PM EST – Lanseras idag: AMD Instinct MI300X accelerator
01:06PM EST – “Högsta prestandaaccelerator i världen för generativ AI”
01:07PM EST – CDNA 3 kommer med en ny beräkningsmotor, sparsitetsstöd, branschledande minnesbandbredd och kapacitet, etc.
01:07PM EST – 3,4x mer perf för BF16, 6,8x INT8 perf, 1,6x minnesbandbredd
01:07 EST – 153B transistorer för MI300X
01:08PM EST – Ett dussin 5nm/6nm chiplets
01:08PM EST – 4 I/O dör i basskiktet
01:08PM EST – 256MB AMD Infinity Cache, Infinity Fabric Support, etc
13:08 EST – 8 XCD-beräkningsmatriser staplade ovanpå
13:08 EST – 304 CDNA 3 beräkningsenheter
01:08PM EST – Kopplad till IOD:erna via TSV:er
01:09PM EST – Och 8 högar HBM3 kopplade till IOD:erna, för 192 GB minne, 5,3 TB/sekund bandbredd
01:09PM EST – Och hoppar omedelbart till H100-jämförelserna
01:10PM EST – AMD har fördelen i minneskapacitet och bandbredd på grund av att de har fler HBM-stackar. Och de tror att det kommer att hjälpa dem att vinna över H100
01:10 EST – AMD finner att de har prestandafördelen i FlashAttention-2 och Llama 2 70B. På kärnnivå i TFLOPS
01:11PM EST – Och hur skalas MI300X?
01:11PM EST – Jämför en enda 8 acceleratorserver
01:12PM EST – Bloom 176B (genomströmning) och Llama 2 70B (latens) slutledningsprestanda.
01:12PM EST – Och nu AMD:s första gäst av många, Microsoft
13:13 EST – MS CTO, Kevin Scott
01:14PM EST – Lisa frågar Kevin om hans tankar om var branschen är på denna AI-resa
01:15PM EST – Microsoft och AMD har byggt grunden i flera år här
01:16 EST – Och MS kommer att erbjuda MI300X Azure-instanser
01:16PM EST – MI300X virtuella datorer är tillgängliga i förhandsvisning idag
01:17 EST – (Så MS har tydligen redan en meningsfull mängd acceleratorer)
01:17 EST – Och det är MS. Tillbaka till Lisa
01:17PM EST – Nu pratar vi om Instinct-plattformen
01:18PM EST – Som är baserad på en OCP (OAM) hårdvarudesign
01:18PM EST – (Inget snyggt namn på plattformen, till skillnad från HGX)
01:18PM EST – Så här är ett helt 8-vägs MI300X-kort
01:18PM EST – Kan släppas in i nästan vilken OCP-kompatibel design som helst
01:19PM EST – Gör det enkelt att installera MI300X
01:19PM EST – Och påpekar att AMD stöder alla samma I/O- och nätverksmöjligheter som konkurrenterna (men med bättre GPU:er och minne, förstås)
01:20 PM EST – Kunder försöker maximera inte bara utrymmet utan även kapitalutgifter och driftskostnader
01:20PM EST – På OpEx-sidan betyder mer minne att man kan köra antingen fler modeller eller större modeller
01:21PM EST – Vilket sparar på CapEx-kostnader genom att köpa färre hårdvaruenheter totalt sett
01:21PM EST – Och nu till nästa partner, Oracle. Karan Batta, SVP för Oracle Cloud Infrastructure
01:22PM EST – Oracle är en av AMD:s stora cloud computing-kunder
01:23PM EST – Oracle kommer att stödja MI300X som en del av deras erbjudanden om bara metal
01:23PM EST – Och MI300X i en generativ AI-tjänst som är under arbete
13:24 EST – Nu på scen: AMD:s president Victor Peng för att prata om mjukvaruframsteg
01:25PM EST – AMD:s mjukvarustack är traditionellt deras akilleshäl, trots ansträngningar att förbättra den. Pengs stora projekt har varit att äntligen få ordning på saker och ting
01:25PM EST – Inklusive att bygga en enhetlig AI-mjukvarustack
01:25PM EST – Dagens fokus ligger på ROCm, AMD:s GPU-mjukvarustack
01:26PM EST – AMD har fast fäst sin häst till öppen källkod, vilket de anser är en stor fördel
01:26PM EST – Förbättrat ROCm-stöd för Radeon GPU:er fortsätter
01:26 EST – ROMc 6-leverans senare denna månad
01:27PM EST – Den har optimerats för generativ AI, för MI300 och annan hårdvara
01:27PM EST – “ROCm 6 ger ett kvantsprång i prestanda och kapacitet”
01:28 EST – Exempel på mjukvaruoptimering med LLM
01:28PM EST – 2,6x från optimerade bibliotek, 1,4x från HIP Graph, etc
01:28PM EST – Detta, i kombination med hårdvaruförändringar, är hur AMD levererar 8x mer GenAI-perf på MI300X jämfört med MI250 (med ROCm 5)
01:29PM EST – Sammanfattning av de senaste förvärven också, såsom nod AI-kompilatorn
01:30PM EST – Och på ekosystemnivå har AMD ett ökande antal partners
01:30PM EST – Hugging Face är utan tvekan den viktigaste, med 62K+ modeller igång på AMD-hårdvara
01:31PM EST – AMD GPU:er kommer att stödjas i OpenAI Triton 3.0-versionen
01:32 EST – Nu för fler gäster: Databricks, Essential AI och Lamini
01:33PM EST – De fyra har en kort pratstund om AI-världen och deras erfarenhet av AMD
01:34PM EST – Pratar om utvecklingen av stora verktyg som vLLM
01:34 EST – Kostnaden är en enorm drivkraft
01:36PM EST – Det var väldigt lätt att inkludera ROCm i Databricks stack
01:36PM EST – Samtidigt tar Essential AI en fullstack-strategi
01:37PM EST – Lättheten att använda för AMD:s programvara var “mycket trevlig”
01:38PM EST – Och slutligen, Laminis VD, som har en doktorsexamen i generativ AI
01:39PM EST – Kunderna får äga sina modeller fullt ut
01:39 PM EST – Ge LLN:er verklig kunskap
01:39PM EST – Hade ett AMD-moln i produktion under det senaste året på MI210s/MI250s
13:40 EST – Lamini har nått mjukvaruparitet med CUDA
01:41PM EST – Många av genAI-verktygen som finns tillgängliga idag är öppen källkod
01:41PM EST – Många av dem kan köras på ROCm idag
01:43PM EST – AMD:s Instinct-produkter är avgörande för att stödja framtiden för affärsprogramvara
01:46PM EST – Och det är mini-rundbordsbordet
13:47 EST – Sammanfattning av de senaste 6 månadernas arbete med programvara
01:47 EST – ROCm 6 skickas snart
01:47 EST – 62K-modeller körs idag, och fler kommer snart
01:48PM EST – Och det är en wrap för Victor Peng. Tillbaka till Lisa Su
01:49PM EST – Och nu till en annan gästplats: Meta
13:49 EST – Ajit Mathews, Senior Director of Engineering på Meta AI
13:50 EST – Meta öppnade åtkomst till Llama 2-modellfamiljen i juli
01:50PM EST – “Ett öppet förhållningssätt leder till bättre och säkrare teknik på lång sikt”
01:51PM EST – Meta har arbetat med EPYC-processorer sedan 2019. Och nyligen distribuerat Genua i stor skala
01:51PM EST – Men det partnerskapet är mycket bredare än CPU:er
01:52PM EST – Har använt instinkten sedan 2020
01:53PM EST – Och Meta är ganska exalterade över MI300
01:53PM EST – Utvidgar sitt partnerskap till att inkludera Instinct i Facebooks datacenter
01:53PM EST – MI300X är ett av deras snabbaste design-att-installera-projekt
01:54PM EST – Och Meta är nöjd med de optimeringar som gjorts för ROCm
01:55PM EST – (Alla dessa gäster är här av en anledning: AMD vill visa att deras plattform är klar. Att kunder använder den idag och har framgång med den)
01:55PM EST – Nu en annan gäst: Dell
13:56 EST – Arthur Lewer, VD för Core Business Operations för Global Infrastrucutre Solutions Group
01:56PM EST – (Att köpa NVIDIA är det säkra spelet; AMD vill visa att köp av AMD inte är ett osäkert spel)
01:57PM EST – Kunder behöver en bättre lösning än dagens ekosystem
01:58PM EST – Dell tillkännager en uppdatering av Poweredge 9680-servrarna. Erbjuder dem nu med MI300X-acceleratorer
01:58PM EST – Upp till 8 acceleratorer i en låda
01:58PM EST – Hjälper kunder att konsolidera LLM-utbildning till färre boxar
01:59PM EST – Redo att citera och ta emot beställningar idag
02:01PM EST – Och det är Dell
02:02PM EST – Och här är en annan gäst: Supermicro (vi har nu växlat från moln till företag)
02:02 EST – Charles Liang, grundare, VD och VD för Supermicro
02:03PM EST – Supermicro är en mycket viktig AMD-serverpartner
14:05 EST – Vad har Supermicro planerat för MI300X?
02:05 PM EST – 8U luftkylt system och 4U-system med vätskekylning
02:05PM EST – Upp till 100kW rack av den senare
02:05PM EST – Och det är Supermicro
02:06PM EST – Och en annan gäst: Lenovo
02:06PM EST – Kirk Skaugen, VD för Lenovos Infrastructure Solutions Group
02:07PM EST – Lenovo tror att genAI kommer att vara en hybrid strategi
02:07PM EST – Och AI kommer att behövas vid kanten
02:08PM EST – 70 AI-förberedda server- och infrastrukturprodukter
02:09PM EST – Lenovo har också ett AI-innovatörsprogram för viktiga vertikaler för att förenkla saker för kunder
02:10PM EST – Lenovo tror att slutsatser kommer att vara den dominerande AI-arbetsbelastningen. Träning behöver bara ske en gång; slutsatser händer hela tiden
02:11PM EST – Lenovo tar med MI300X till sin ThinkSystem-plattform
02:11PM EST – Och tillgänglig som en tjänst
02:12PM EST – Och det är Lenovo
02:13PM EST – Och det är fortfarande bara toppen av isberget för antalet partners AMD har ställt upp för Mi300X
02:13PM EST – Och nu tillbaka till AMD med Forrest Norrod för att prata om nätverk
02:14PM EST – Beräkningen som krävs för att träna de mest avancerade modellerna har ökat med stormsteg under det senaste decenniet
02:14PM EST – Ledande AI-kluster är tiotusentals GPU:er, och det kommer bara att öka
02:14PM EST – Så AMD har arbetat för att skala upp saker på flera fronter
02:14PM EST – Internt med Infinity Fabric
02:15PM EST – Nära linjär skalningsprestanda när du ökar antalet GPU:er
02:15PM EST – AMD utökar tillgången till Infinity Fabric till innovatörer och strategiska partners över hela branschen
02:15PM EST – Vi kommer att höra mer om detta initiativ nästa år
02:16PM EST – Samtidigt är back-end-nätverket som kopplar samman servrarna lika viktigt
02:16PM EST – Och AMD anser att nätverket måste vara öppet
02:17PM EST – Och AMD stödjer Ethernet (i motsats till InfiniBand)
02:17PM EST – Och Ethernet är öppet
02:18PM EST – Nu kommer till scenen några nätverksledare, inklusive Arista, Broadcom och Cisco
14:19 EST – Att ha en paneldiskussion om Ethernet
02:21PM EST – Vilka är fördelarna med Ethernet för AI?
02:22 EST – Majoriteten av hyperskalare använder Ethernet eller har en hög önskan om det
02:23PM EST – NIC är kritiskt. Människor vill ha val
14:24 EST – “Vi måste fortsätta att förnya”
02:24PM EST – AI-nätverk måste vara baserade på öppna standarder. Kunderna behöver val
02:25PM EST – Ultra Ethernet är ett kritiskt nästa steg
02:26 EST – https://www.anandtech.com/show/18965/ultra-ethernet-consortium-to-adapt-ethernet-for-ai-and-hpc-needs
02:28PM EST – UEC löser ett mycket viktigt tekniskt problem med modern RDMA i stor skala
02:28PM EST – Och det är nätverkspanelen
02:28PM EST – Nu vidare till högpresterande datoranvändning (HPC)
02:29PM EST – Sammanfattning av AMDs erfarenhet så här långt, inklusive den senaste MI250X
02:29PM EST – MI250X + EPYC hade ett sammanhängande minnesutrymme, men fortfarande GPU och CPU separerade av en något långsam länk
02:29PM EST – Men nu är MI300A här med ett enhetligt minnessystem
02:29 EST – Volymproduktion började tidigare detta kvartal
14:30 EST – MI300-arkitektur, men med 3 Zen 4 CCD:er skiktade ovanpå några av IOD:erna
14:31 EST – 128 GB HBM3-minne, 4 IOD, 6 XCD, 3 CCD
02:31PM EST – Och verkligt enhetligt minne, eftersom både GPU- och CPU-plattor går igenom de delade IOD:erna
02:32PM EST – Prestandajämförelser med H100
02:32 EST – 1,8x prestanda för FP64 och FP32 (vektor?)
02:33PM EST – 4x uppträdande på OpenFOAM med MI300A kontra H100
02:33PM EST – De flesta av förbättringarna kommer från ett enhetligt minne, och slipper kopiera runt minnet innan det kan användas
02:34PM EST – 2 gånger perf-per-watt än Grace Hopper (oklart med vilket mått)
02:35 EST – MI300A kommer att finnas i superdatorn El Capitan. Över 2 EFLOPS FP64-beräkning
02:35PM EST – Nu rullar en video från HPE och Lawrence Livermore National Lab
02:35PM EST – “El Capitan kommer att vara den mest kapabla AI-maskinen”
02:36PM EST – El Capitan kommer att vara 16 gånger snabbare än LLNL:s nuvarande superdator
02:37PM EST – Och nu en annan gäst på scenen: HPE
14:37 EST – Trish Damkroger, SVP och Chief Product Officer
02:38PM EST – Frontier var fantastiskt. El Capitan kommer att bli ännu bättre
02:39PM EST – AMD och HPE driver ett stort antal av de mest energieffektiva superdatorerna
02:40 EST – (Stackars Forrest är lite knuten)
02:40 EST – ElCap kommer att ha MI300A-noder med SlingShot-tyg
02:41PM EST – Ett av de mest kapabla AI-systemen i världen
02:41PM EST – Supercomputing är grunden som behövs för att köra AI
02:42PM EST – Och det är HPE
02:43PM EST – MI300A: En ny nivå av högpresterande ledarskap
14:43 EST – MI300A-system är snart tillgängliga från partners runt om i världen
02:43PM EST – (Så det låter som att MI300A släpar efter MI300X lite)
14:43 EST – Nu tillbaka till Lisa
02:44PM EST – För att avsluta dagen: Avancerade AI-datorer
02:44PM EST – AMD började inkludera NPU:er i år med Ryzen Mobile 7000-serien. Det första x86-företaget att göra det
02:44PM EST – Använder AMD:s XDNA-arkitektur
02:45PM EST – En stor datormatris som är extremt presterande och effektiv
02:45PM EST – Skickade miljontals NPU-aktiverade datorer i år
02:46PM EST – Visar upp några av mjukvaruapplikationerna där ute som erbjuder AI-acceleration
02:46PM EST – Adobe, Windows studioeffekter, etc
02:46PM EST – Tillkännager Ryzen AI 1.0-programvara för utvecklare
02:46 EST – Så AMD:s mjukvaru-SDK är äntligen tillgänglig
02:47 EST – Distribuera bevarade och kvantiserade modeller med ONNX
02:47PM EST – Tillkännage Ryzen Mobile 8040-seriens processorer
14:47 EST – Hawk Point
02:47 EST – Det här är (fortfarande) Phoenix-döden
02:48PM EST – Med en rynka: snabbare AI-prestanda tack vare en högre klockad NPU
02:48PM EST – AMD:s egna prestandariktmärken visar 1,4x över 7040-serien
02:48PM EST – Nu är det dags för en annan gäst: Microsoft
02:49PM EST – Pavan Davuluri, CVP för Windows och enheter
02:49 EST – Pratar om arbetet AMD och MS gör tillsammans för klient AI
14:50 EST – Microsofts tältprojekt är Copilot
02:52 EST – MS vill kunna load-shift mellan molnet och klienten. Sömlös datoranvändning mellan de två
02:52PM EST – Visar AMD:s NPU-färdplan
02:53PM EST – Nästa generations Strix Point-processorer på gång. Använder en ny NPU baserad på XDNA 2
02:53PM EST – Lanseras 2024
02:53PM EST – XDNA 2 designad för “ledarskap” AI-prestanda
02:53PM EST – AMD har kisel. Det gör MS också
02:54PM EST – Mer än 3 gånger genAI-perf (mot Hawk Point?)
02:55PM EST – Och det är AI på datorn
02:55PM EST – Nu sammanfattar dagens meddelanden
14:55 EST – MI300X, frakt idag. MI300A, i volymproduktion
14:55 EST – Ryzen Mobile 8040-serien, skickas nu
02:56PM EST – “Idag är ett otroligt stolt ögonblick för AMD”
02:57PM EST – Och det var allt för Lisa, och för dagens presentation
02:58PM EST – Tack för att du gick med oss, och se till att kolla in vår utökade täckning av AMD:s tillkännagivanden
02:58PM EST – https://www.anandtech.com/show/21177/amd-unveils-ryzen-8040-mobile-series-apus-hawk-point-with-zen-4-and-ryzen-ai
02:58PM EST – https://www.anandtech.com/show/21178/amd-widens-availability-of-ryzen-ai-software-for-developers-xdna-2-coming-with-strix-point-in -2024
