Das amerikanische Startup Etched hat einen neuen Chip namens Sohu angekündigt, den sie herausbringen werden. Der Chip ist strikt auf KI-Modelle spezialisiert, die auf der Transformers-Architektur basieren, die auf dem modernen KI-Markt am weitesten verbreitet ist, und wird im 4-nm-Prozess von TSMC hergestellt. Die Transformationsarchitektur ist direkt in den Chip geschrieben, was seine Effizienz für darauf aufbauende Modelle deutlich erhöht, den Chip aber für andere Modelle mit anderen Architekturen, wie CNN, LSTM oder SSM, ungeeignet macht. Nach Angaben von Etched kann ein 8-facher Sohu-Server so leistungsfähig sein wie 160 NVIDIA H100-Server.
Der Sohu-Prozessor soll 10-mal schneller und billiger als NVIDIA Blackwell-Chips sein. Ein Sohu-Server kann beispielsweise Llama 70B-Token 20 Mal schneller verarbeiten als ein H100-Server (23.000 Token pro Sekunde) und 10 Mal schneller als ein B200-Server (~45.000 Token pro Sekunde).
Das Motiv hinter der Entwicklung eines solchen Chips ist die Verlangsamung des Moore'schen Gesetzes, das zu einer Verringerung der Effizienz von Allzweck-Chips führt. Derzeit sind die wichtigsten Chiphersteller damit beschäftigt, die Größe des Chips zu erhöhen. Die einzige Lösung, die Etched sieht, besteht darin, sich auf spezialisierte Chips zu konzentrieren, die viel billiger, einfacher herzustellen und effizienter sein können. Ein ähnlicher Ansatz wurde bei ASIC-Chips für das Mining von Kryptowährungen verfolgt, die sich als 10 bis 100 Mal schneller als herkömmliche GPUs erwiesen.
Das Hauptprinzip hinter der Leistung von Sohu-Chips ist die Vereinfachung der Hardware- und Software-Pipeline - die Hersteller entfernen sowohl bei den Software- als auch bei den Hardware-Komponenten alles, was für das Hauptziel nicht relevant ist, und machen den Chip so hoch spezialisiert.
