Amazon a annoncé le 19 octobre TorchNeuron, un logiciel destiné à exécuter le code d’intelligence artificielle PyTorch existant sur ses puces AWS Trainium en modifiant un seul réglage. L’entreprise affirme que cette méthode évite de réécrire le code lors du passage à son matériel, réduisant ainsi un obstacle à son adoption.
L’annonce vise un atout majeur de Nvidia, dont le logiciel CUDA aide les développeurs d’IA à utiliser ses processeurs. Selon Reuters, Nvidia développe cet écosystème logiciel depuis plus de dix ans. Google, qui conçoit également ses propres puces d’IA, cherche aussi à attirer les développeurs grâce à de meilleurs outils PyTorch.
Selon Amazon, TorchNeuron utilise le mécanisme standard de PyTorch pour enregistrer de nouveaux matériels. Cela permettrait aux outils habituels de test, de débogage et de mise à l’échelle de fonctionner sur Trainium sans modification. Lors d’une démonstration d’Amazon, le même script d’entraînement a fonctionné sur une puce classique et sur Trainium après modification du réglage du périphérique.
Colin Brace, responsable logiciel de la division de puces Annapurna Labs d’Amazon, a indiqué à Reuters que plus de 30 premiers clients utilisaient le logiciel, notamment en robotique, dans les modèles du monde et l’IA vocale. L’objectif est de réduire les étapes nécessaires pour essayer ces processeurs, avec de possibles économies substantielles. Ces économies restent une affirmation de l’entreprise et ne constituent pas une garantie universelle de performance.
Amazon indique aussi contribuer à PyTorch pour réduire les dépendances envers certaines puces. Selon l’entreprise, Hugging Face a ajouté une prise en charge native de Trainium à ses outils de développement. TorchNeuron s’intègre également à TorchTitan, offrant une méthode standard pour répartir l’entraînement des modèles entre plusieurs instances Trainium.
L’entreprise prévoit de publier TorchNeuron sous licence libre Apache 2.0 lors de PyTorch Conference North America, le 20 octobre. Elle précise que le logiciel prend en charge Trainium2 et Trainium3. Cette publication permettra à davantage de développeurs d’évaluer si le matériel d’Amazon convient à leurs propres charges de travail en IA.
Commentaires