Microsoft kündigt den ersten KI-Chip Maia 100 an

Auf der Ignite 2023-Konferenz hat Microsoft erstmals über die Entwicklung eines eigenen KI-Beschleunigerchips mit dem Namen Maia gesprochen und kurz vor der Veranstaltung die Spezifikationen des Maia 100 bekannt gegeben. Maia 100 ist einer der größten TSMC-Prozessoren mit 5nm-Knoten und wurde speziell für hohe Arbeitslasten in Azure entwickelt.

Maia 100 hat die folgenden Eigenschaften:

• Chipgröße - 820 mm2;
• Gehäuse - TSMC N5-Prozess mit COWOS-S-Interposer-Technologie;
• HBM BW/Cap - 1,8 TB/s bei 64 GB HBM2E;
• Peak Dense Tensor POPS - 6 Bits: 3, 9 Bits: 1,5, BF16: 0,8;
• L1/L2 - 500 MB;
• Backend-Netzwerk-BW - 600 GB/s (12X400 GB);
• Host-BW (PCIe) = 32 GB/s PCIe Gen5X8;
• TDP-Anforderungen - 700W;
• TDP - 500W.

Microsoft Maia 100 zeichnet sich durch vertikale Integration zur Kosten- und Leistungsoptimierung aus, sowie durch kundenindividuelle Server Boards mit speziell entwickelten Racks und einem Software-Stack zur Leistungssteigerung.

Der SoC Maia 100 hat die folgende Architektur:

• Hochgeschwindigkeits-Tensorblock für Training und Ausgabeverarbeitung mit Unterstützung für eine breite Palette von Datentypen 16xRx16.
• Vektorprozessor als lose gekoppelter superskalarer Motor, der mit einer Befehlssatzarchitektur (ISA) entwickelt wurde, um eine breite Palette von Datentypen einschließlich FP32 und BF16 zu unterstützen.
• Direkter Speicherzugriff (DMA), der verschiedene Tensor-Segmentierungsschemata unterstützt.
• Asynchrone Programmierung durch Hardware-Semaphoren.
• L1 und L2 werden durch Software verwaltet, um eine bessere Datennutzung und Energieeffizienz zu erreichen.
• Maia 100 nutzt eine Ethernet-basierte Verbindung mit einem benutzerdefinierten RoCE-ähnlichen Protokoll für Berechnungen mit extrem hoher Bandbreite und unterstützt eine All-Gather- und Scatter-Reduction-Bandbreite von bis zu 4800 Gbit/s sowie eine All-to-All-Bandbreite von bis zu 1200 Gbit/s.

Das Maia SDK ermöglicht eine schnelle Portierung von PyTorch- und Triton-Modellen auf Maia, mit Tools für eine einfache Bereitstellung auf Azure OpenAI Services. Entwickler können entweder die Triton-Programmiersprache für DNNs oder die Maia-API für optimierte Leistung verwenden. Das SDK unterstützt auch PyTorch-Modelle von Haus aus.