Amazon hat am 19. Oktober TorchNeuron angekündigt. Mit der Software sollen Entwickler bestehenden PyTorch-Code für künstliche Intelligenz durch eine einzige Konfigurationsänderung auf AWS-Trainium-Chips ausführen können. Laut Unternehmen entfällt beim Wechsel auf die eigene Hardware das Umschreiben des Codes, was eine Hürde für deren Nutzung senkt.
Die Ankündigung zielt auf einen wichtigen Vorteil von Nvidia, dessen CUDA-Software KI-Entwicklern die Nutzung seiner Prozessoren erleichtert. Reuters zufolge entwickelt Nvidia dieses Software-Ökosystem seit mehr als einem Jahrzehnt. Auch Google entwirft eigene KI-Chips und versucht, Entwickler mit besseren PyTorch-Werkzeugen zu gewinnen.
Amazon zufolge nutzt TorchNeuron den üblichen PyTorch-Mechanismus zur Registrierung neuer Hardware. Dadurch sollen vertraute Werkzeuge für Tests, Fehlersuche und Skalierung ohne Änderungen auf Trainium funktionieren. Bei einer Amazon-Vorführung lief dasselbe Trainingsskript auf einem herkömmlichen Chip und auf Trainium, nachdem die Einstellung für das Gerät geändert war.
Colin Brace, Softwaremanager bei Amazons Chipsparte Annapurna Labs, sagte Reuters, mehr als 30 frühe Kunden nutzten die Software unter anderem für Robotik, Weltmodelle und Sprach-KI. Ziel sei es, die nötigen Schritte zum Ausprobieren von Amazons Prozessoren zu verringern; ein Wechsel könne erhebliche Einsparungen ermöglichen. Diese Einsparungen sind eine Unternehmensangabe und keine allgemeine Leistungsgarantie.
Amazon trägt nach eigenen Angaben auch Änderungen zu PyTorch bei, um Abhängigkeiten von bestimmten Chips zu reduzieren. Hugging Face hat laut Amazon native Trainium-Unterstützung in seine Entwicklungswerkzeuge aufgenommen. TorchNeuron integriert sich zudem in TorchTitan und bietet einen üblichen Weg, das Modelltraining auf mehrere Trainium-Instanzen zu verteilen.
Das Unternehmen plant die Veröffentlichung von TorchNeuron unter der Open-Source-Lizenz Apache 2.0 bei der PyTorch Conference North America am 20. Oktober. Die Software unterstützt laut Amazon Trainium2 und Trainium3. Damit erhalten mehr Entwickler Zugang, um die Eignung der Hardware für ihre eigenen KI-Aufgaben zu prüfen.
Kommentare