Microsoft Maia 200: de nieuwe interne AI-accelerator die inferentie op grote schaal herdefinieert.

Home » Python » Microsoft Maia 200: de nieuwe interne AI-accelerator die inferentie op grote schaal herdefinieert.

De Microsoft Maia 200 is gearriveerd als de nieuwste AI-accelerator van het bedrijf, een chip die van de grond af is ontworpen om grootschalige inferentieworkloads in de cloud aan te kunnen. Deze processor is niet gericht op alledaagse consumentenapparaten, maar is gebouwd voor veeleisende datacenteromgevingen waar modellen met miljarden parameters continu worden uitgevoerd om vragen te beantwoorden, content te genereren en bedrijfsapplicaties aan te drijven.

Microsoft omschrijft Maia 200 als een soort “Siliconen werkpaard” voor AI-inferentieDe chip is specifiek afgestemd om reeds getrainde modellen snel, efficiënt en op grote schaal uit te voeren. De chip wordt gepositioneerd als een hoeksteen van de Azure-infrastructuur van het bedrijf en vormt de basis voor services zoals Microsoft 365 Copilot, Microsoft Foundry en de nieuwste generaties van grote taalmodellen die zowel intern als in samenwerking met OpenAI zijn ontwikkeld.

Architectuur, procesknooppunt en pure prestaties

De kern van de nieuwe accelerator is een TSMC 3-nanometer productieprocesDe Maia 200 is afgestemd op de meest geavanceerde fabricagetechnologieën die momenteel beschikbaar zijn voor high-performance computing. Microsoft heeft met behulp van deze node volgens sommige publicaties meer dan 100 miljard transistors op één enkele Maia 200-chip weten te plaatsen, terwijl andere technische rapporten een cijfer noemen dat dichter bij ligt. 140 miljard transistorsHoewel het exacte aantal per bron verschilt, zijn alle berichten het erover eens dat het hier om een ​​zeer compact en geavanceerd ontwerp gaat.

Qua prestaties is de Maia 200 duidelijk geoptimaliseerd voor dataformaten met lage precisie die standaard zijn geworden in moderne inferentieworkloads. Microsoft meldt dat de accelerator meer dan 10 petaflops (10) kan halen.¹⁵ drijvende-komma-bewerkingen per seconde) bij gebruik in 4-bits precisie (FP4), een gecomprimeerd numeriek formaat dat wat nauwkeurigheid opoffert voor een zeer hoge doorvoer en een betere energie-efficiëntie. In 8-bits modus (FP8) zou de chip ongeveer 5 petaflops leveren, wat aanzienlijke ruimte biedt voor veeleisende inferentietaken die nog steeds meer precisie vereisen dan FP4.

Deze cijfers zijn niet van academische aard: Een Maia 200-node wordt beschreven als geschikt om de grootste modellen van vandaag te draaien. terwijl er ruimte overblijft voor nog grotere architecturen die waarschijnlijk in de nabije toekomst zullen verschijnen. Dat verklaart mede waarom Microsoft de Maia 200 aanprijst als de meest capabele eigen chip voor inferentie tot nu toe, specifiek gericht op workloads die de bestaande infrastructuur al tot het uiterste drijven.

In interne en openbare vergelijkingen beweert Microsoft dat Maia 200 behaalt drie tot vier keer de FP4-prestaties. De Maia 200 presteert beter dan Amazons Trainium-accelerator van de derde generatie en overtreft in bepaalde opzichten Googles TPU van de zevende generatie. Hoewel directe vergelijkingen tussen chips altijd complex zijn, wijzen de cijfers erop dat Microsoft voldoende vertrouwen heeft om de Maia 8 te positioneren als een leider onder de huidige accelerators die door hyperscalers zijn ontworpen.

Belangrijk is dat het bedrijf niet alleen de nadruk legt op pure snelheid, maar ook op... efficiëntie en kostenVolgens Microsoft biedt de Maia 200 ongeveer 30% betere prestaties per dollar dan de eerste generatie Maia 100, ondanks een hoger thermisch vermogen. Voor zowel cloudproviders als klanten is een dergelijke prijs-prestatieverhouding een cruciale factor bij de beslissing hoe AI-diensten op te schalen.

Geheugensubsysteem en gegevensverwerking

Een van de meest opvallende aspecten van Maia 200 is zijn geheugenconfiguratie, die specifiek is afgestemd op grote AI-modellenDe accelerator integreert 216 GB HBM3E high-bandwidth geheugen, gekoppeld aan een totale HBM-bandbreedte van ongeveer 7 TB/s. Deze bandbreedte is bedoeld om enorme hoeveelheden modelgewichten en activaties zonder knelpunten te verwerken, een cruciale vereiste voor inferentie met hoge doorvoer. moderne opslagsysteemarchitecturen.

Naast HBM bevat de chip ongeveer 272 MB on-die SRAMHet geheugen is georganiseerd in een hiërarchie met meerdere lagen, die Microsoft beschrijft in termen van Cluster-level SRAM (CSRAM) en Tile-level SRAM (TSRAM). Dit gelaagde ontwerp zorgt ervoor dat veelgebruikte data dichter bij de rekeneenheden worden opgeslagen, waardoor de latentie wordt verminderd en de beschikbare bandbreedte effectiever wordt benut. Een groot deel van de onderzoeks- en ontwikkelingsinspanningen voor de Maia 200 lijkt te zijn geïnvesteerd in deze geheugenhiërarchie, die essentieel is om de rekeneenheden van de accelerator optimaal te benutten.

De algehele architectuur is gericht op Het lokaal houden van modelparameters en tussengegevens Zo veel mogelijk lokaal, zodat een inferentietaak niet constant via een server of netwerk verbinding hoeft te maken voor de benodigde informatie. Deze lokale focus betekent dat er mogelijk minder accelerators nodig zijn om een ​​bepaald model te hosten, wat potentieel zowel het aantal hardware als de operationele complexiteit kan verlagen voor klanten die grote workloads implementeren.

Naast het ingebouwde geheugen ondersteunt Maia 200 aanzienlijke schaalvergroting van de bandbreedte tussen chipsDe gerapporteerde bandbreedte bedraagt ​​tot wel 2.8 TB/s. Deze interconnectiecapaciteit is ontworpen om meerdere accelerators te laten functioneren als een nauw geïntegreerde pool van resources binnen een server of rack, waardoor ze bijzonder grote of complexe inferentietaken kunnen uitvoeren die de capaciteit van een enkel apparaat zouden kunnen overschrijden.

Hoewel Microsoft nog geen uitgebreide details heeft vrijgegeven over de exacte configuratie van een rack met Maia 200-acceleratoren of de totale petaflop-waarde van een volledig uitgerust systeem, geeft het bedrijf aan dat deze acceleratoren zullen worden ingezet naast andere soorten AI-hardware. In de praktijk betekent dat het volgende: Maia 200 maakt deel uit van een heterogene Azure-infrastructuur., in samenwerking met GPU's en andere accelerators in plaats van ze volledig te vervangen.

Focus op inferentie en werkbelasting in de praktijk

In tegenstelling tot trainingsversnellers die geoptimaliseerd zijn voor het helemaal vanaf nul opbouwen van modellen, is Maia 200 gericht op Inferentie — het proces waarbij modellen worden uitgevoerd nadat ze zijn getraind.Deze fase van AI-gebruik domineert vaak de lopende operationele kosten, omdat modellen na de training miljoenen of miljarden keren kunnen worden geraadpleegd. Naarmate organisaties steeds complexere systemen implementeren, is de behoefte aan stroomlijning van inferentieprocessen urgenter geworden.

Door zich te richten op de FP4- en FP8-formats, probeert Maia 200 een ideale balans te vinden tussen... nauwkeurigheid, snelheid en energieverbruikFP4 is weliswaar minder nauwkeurig, maar maakt een uitzonderlijk hoge doorvoer mogelijk en kan zeer geschikt zijn voor modellen die kwantisering tolereren zonder significante kwaliteitsvermindering van de uitvoer. FP8 biedt een optie met hogere precisie voor scenario's waar nauwkeurigheid een grotere rol speelt, terwijl het toch efficiënter is dan traditionele 16-bits of 32-bits floating-point formaten.

Microsoft is begonnen met het gebruik van Maia 200 voor de dienstverlening. Het GPT-5.2-model van OpenAI en andere geavanceerde LLM's via Azure. De accelerator is ook geïntegreerd in Microsoft Foundry, een platform voor het bouwen van aangepaste AI-oplossingen, en drijft workloads aan voor Microsoft 365 Copilot, de productiviteitsgerichte assistent van het bedrijf. In deze rollen is Maia 200 bedoeld om de responstijden te verbeteren, de doorvoer te verhogen en geavanceerdere functies mogelijk te maken zonder een evenredige kostenstijging.

Intern Maia 200 ondersteunt al projecten van Het Superintelligence-team van MicrosoftEen ambitieuze divisie die zich richt op de ontwikkeling van geavanceerde AI-systemen. Het bedrijf stelt een vroege preview van de Maia 200 software development kit (SDK) beschikbaar aan geselecteerde partners, waaronder academici, ontwikkelaars, AI-laboratoria en bijdragers aan open-source modellen. Deze SDK-preview is bedoeld om externe teams te helpen hun workloads aan te passen aan de chip en te onderzoeken hoe de architectuur ervan optimaal kan worden benut.

Vanuit het perspectief van de gebruiker zal de introductie van Maia 200 niet direct de manier veranderen waarop de meeste mensen dagelijks met AI-diensten omgaan. Naarmate er echter meer inferentietaken naar de nieuwe accelerator worden gemigreerd, Eindgebruikers kunnen snellere reacties, een soepelere gebruikerservaring en nieuwe mogelijkheden opmerken. in tools zoals Copilot, op Azure OpenAI gebaseerde applicaties en andere Microsoft-services die op de achtergrond veel gebruikmaken van inferentie.

Implementatie in Azure-datacenters en beschikbaarheid

Maia 200 wordt al in productie gebruikt binnen de cloudinfrastructuur van Microsoft. Het bedrijf bevestigt dat De eerste implementaties zijn live in de Azure-regio Centraal-VS.in de buurt van Des Moines, Iowa. Verdere uitrolprojecten staan ​​gepland, waarbij US West 3 in de regio Phoenix, Arizona, is aangewezen als een van de volgende regio's die Maia 200-capaciteit zullen ontvangen, en er worden in de loop der tijd meer regio's verwacht naarmate de productie toeneemt.

Voorlopig wordt Maia 200 uitsluitend ingezet als onderdeel van Microsoft-beheerde datacentersystemenIn tegenstelling tot GPU's of sommige externe accelerators die rechtstreeks aan klanten worden verkocht, wordt de chip niet aangeboden als een los component voor aankoop en installatie in on-premises omgevingen. Organisaties krijgen in plaats daarvan indirect toegang tot de mogelijkheden van Maia 200 via Azure-services, API's en beheerde platforms.

Microsoft heeft laten doorschemeren dat er iets gaat gebeuren. bredere beschikbaarheid voor klanten in de toekomstDit suggereert dat meer klanten zich expliciet zullen kunnen richten op instanties of services binnen Azure die ondersteund worden door Maia 200 naarmate het ecosysteem volwassener wordt. Of dit zich uiteindelijk ook zal uitbreiden naar standalone systemen buiten de cloud van Microsoft, is nog een open vraag, maar de huidige focus ligt duidelijk op gehoste oplossingen.

Wat de praktische voordelen betreft, zouden Azure OpenAI-klanten, wetenschappers, ontwikkelaars en grote bedrijven geleidelijk aan de voordelen hiervan moeten gaan inzien. hogere doorvoer en lagere latentie voor complexe inferentieworkloads naarmate Maia 200 breder wordt ingezet. Dat kan met name belangrijk zijn voor toepassingen zoals financiële modellering, zoeksystemen, autonome agenten of realtime generatieve systemen die zowel snelheid als consistentie vereisen.

Microsoft suggereert dat, naast commerciële gebruikers, de infrastructuur die draait op Maia 200 mogelijk ook grootschalige toepassingen kan ondersteunen. onderzoeksprojecten op gebieden zoals klimaatmodellering, biowetenschappen en chemie.Deze vakgebieden zijn sterk afhankelijk van gedetailleerde simulaties en complexe modellen, die aanzienlijk kunnen profiteren van accelerators die geoptimaliseerd zijn voor snelle inferentie op enorme datasets.

Efficiëntie, thermische prestaties en positionering ten opzichte van de omgeving

Naarmate de aandacht voor de milieukosten van AI-infrastructuur toeneemt, presenteert Microsoft Maia 200 als een efficiëntiebewuste versneller In plaats van een ontwerp dat extreem veel stroom verbruikt. De chip heeft een thermisch ontwerpvermogen (TDP) van ongeveer 750 watt, wat aanzienlijk lager is dan sommige van de meest energieverslindende GPU's op de markt, zoals Nvidia's Blackwell B300 Ultra, die naar verluidt ongeveer 1,400 watt verbruikt.

Ondanks dit hogere TDP in vergelijking met zijn voorganger, de Maia 100, zou de nieuwe accelerator volgens de specificaties goede prestaties leveren. Ongeveer 30% betere prestaties per dollar. dan de vorige generatie. Die verbetering wordt toegeschreven aan de overstap naar een geavanceerder fabricageproces, architectonische verfijningen en een efficiënter geheugensubsysteem. Eerdere berichten gaven aan dat, hoewel de Maia 100 technisch ontworpen was voor een vermogen van 700 watt, Microsoft het in de praktijk beperkte tot ongeveer 500 watt. Dit suggereert dat de Maia 200, afhankelijk van de implementatiekeuzes, mogelijk ook onder zijn theoretische limiet zal blijven.

De boodschap van Microsoft rondom Maia 200 sluit aan bij een bredere bedrijfsstrategie om te laten zien dat het bedrijf zich bewust zijn van de impact van grootschalige datacenters op de omliggende gemeenschappen en het milieu. Bestuurders hebben publiekelijk betoogd dat de ontwikkeling van AI concrete voordelen voor de samenleving moet aantonen om de publieke steun te behouden en een mogelijke tegenreactie op AI te voorkomen.

In de praktijk kan een hogere efficiëntie per watt en per dollar helpen om het aantal accelerators te verminderen dat nodig is om een ​​bepaald serviceniveau te ondersteunen, waardoor zowel het energieverbruik als de benodigde hardware-voetafdruk worden beperkt. Dat kan hyperscalers op hun beurt helpen om tegemoet te komen aan zorgen over energieverbruik, waterverbruik voor koeling en bredere duurzaamheidsdoelstellingen.

Hoewel Microsoft nog geen volledige details over de stack heeft gedeeld, zoals Het totale stroomverbruik en de prestaties van een volledig gevuld Maia 200-rack.De nadruk op inferentie-efficiëntie suggereert dat de chip een sleutelrol moet spelen bij het beheersbaar houden van de operationele kosten van AI-diensten op de lange termijn, zowel financieel als ecologisch.

Concurrentiel landschap: Trainium, TPU en het ecosysteem van Nvidia

Maia 200 komt op een moment dat grote cloudproviders een race aan het voeren zijn om hun eigen AI-versnellers ontwikkelen Om de afhankelijkheid van externe leveranciers, met name Nvidia, te verminderen, hebben de TPU-lijn van Google en de Trainium-serie van Amazon al een centrale rol gespeeld in deze trend door alternatieven te bieden die diep geïntegreerd zijn in hun respectievelijke cloudplatformen.

Met Maia 200 positioneert Microsoft zijn chip openlijk als een Een directe concurrent van Amazons Trainium3 en Googles zevende generatie TPU.Het bedrijf beweert dat zijn accelerator niet alleen Trainium3 drie tot vier keer overtreft qua FP4-doorvoer, maar ook FP8-prestaties levert die de TPU v7 overtreffen en Trainium3 in bepaalde FP8-statistieken meer dan verdubbelen.

Geheugencapaciteit en bandbreedte spelen ook een rol in dit concurrentieverhaal. Maia 200's 216 GB HBM3E-geheugen en 7 TB/s bandbreedte Dit staat in contrast met de openbare specificaties voor Trainium3 (144 GB en 4.9 TB/s) en TPU v7 (192 GB en 7.4 TB/s). Wat betreft schaalbaarheid, is de geclaimde interconnectbandbreedte van 2.8 TB/s voor Maia 200 te vergelijken met maximaal 2.56 TB/s voor Trainium3 en ongeveer 1.2 TB/s voor TPU v7.

Het concurrentielandschap is echter complexer dan de cijfers alleen doen vermoeden. Nvidia blijft de dominante leverancier. voor AI-training en in veel gevallen ook voor inferentie, grotendeels dankzij het volwassen CUDA-gebaseerde software-ecosysteem en het brede hardwareaanbod. Zelfs nu Microsoft, Amazon en Google hun eigen chipportfolio's uitbreiden, blijven ze samenwerken met Nvidia aan nieuwe architecturen en geïntegreerde systemen.

Amazon werkt inderdaad samen met Nvidia om de aankomende Trainium4 te integreren met technologieën zoals NVLink 6 en MGX-referentieontwerpen. Ook Microsoft blijft Nvidia GPU's inzetten in zijn datacenters, waardoor de Maia 200 onderdeel is van een heterogene omgeving in plaats van een universele vervanging.

Voor klanten zullen de belangrijkste vragen draaien om: totale eigendomskosten en software-integratieHoe gemakkelijk workloads kunnen worden geporteerd of geoptimaliseerd voor Maia 200, en hoe de prijs zich verhoudt tot Nvidia- of TPU-gebaseerde instanties, zal een grote invloed hebben op de keuze voor de acceleratorstack. De nadruk die Microsoft legt op prestaties per dollar en per watt geeft aan dat deze overwegingen centraal staan ​​in hun strategie.

Van Maia 100 naar Maia 200: evolutie en een vooruitblik op de toekomst

Maia 200 bouwt voort op de fundament gelegd door de Maia 100die Microsoft in 2023 introduceerde als zijn eerste eigen AI-accelerator. Hoewel het bedrijf weinig direct vergelijkbare cijfers tussen de twee generaties heeft vrijgegeven, is de nieuwere chip duidelijk gericht op hogere prestaties, met ambitieuzere ontwerpdoelstellingen en uitgebreidere geheugenbronnen.

Rapporten suggereren dat Maia 200, intern codenaam “Braga”De ontwikkeling en implementatie van de chip verliepen langer dan oorspronkelijk gepland. De eerste verwachtingen waren dat de chip in 2025 zou verschijnen, mogelijk zelfs eerder dan sommige GPU's van de volgende generatie. Uiteindelijk werd de releasedatum verschoven, maar Microsoft lijkt nu vastbesloten om zijn positie als serieuze speler op de markt voor hyperscale AI te verstevigen.

Ondanks de hogere TDP van ongeveer 750 watt, stelt het bedrijf dat de De algehele economische efficiëntie van de Maia 200 is aanzienlijk beter. dan die van de Maia 100, mede dankzij het geavanceerdere proces en de architectonische updates. Het toegenomen energieverbruik wordt gezien als een acceptabele afweging om een ​​hogere continue doorvoer te realiseren en de inferentiekosten per bewerking te verlagen.

Vooruitkijkend geven brancherapporten aan dat Toekomstige Microsoft-acceleratoren zouden mogelijk geproduceerd kunnen worden met behulp van Intels 18A-proces.Dit duidt erop dat het bedrijf meerdere samenwerkingspartnerschappen met chipfabrikanten onderzoekt voor toekomstige ontwerpen. Deze diversificatie zou Microsoft meer flexibiliteit kunnen bieden bij het afwegen van prestaties, levering en kosten in toekomstige generaties.

Voorlopig vertegenwoordigt Maia 200 een belangrijke stap in Microsofts bredere transformatie van een voornamelijk softwaregedreven bedrijf naar een bedrijf dat cruciale hardwarecomponenten ontwerpt die de basis vormen voor zijn toonaangevende AI-producten. De uitrol ervan zal waarschijnlijk bepalen hoe agressief Microsoft diensten zoals Copilot, Foundry en Azure OpenAI de komende jaren kan opschalen.

Als we al deze elementen samen bekijken, komt Maia 200 naar voren als een speciaal gebouwde inferentieversneller Deze chip combineert een hoge FP4- en FP8-doorvoer, een uitgebreid geheugensubsysteem en een cloudgerichte integratie in de heterogene infrastructuur van Azure. Hoewel veel van de diepere architectonische details en volledige systeemstatistieken nog moeten worden onthuld, markeert de chip duidelijk een belangrijke stap in Microsofts streven om meer controle te krijgen over zijn AI-stack, de kosten te beheersen en rechtstreeks te concurreren met andere hyperscalers in de race om de volgende golf van grootschalige AI-toepassingen aan te drijven.