Amazon anunció el 19 de octubre TorchNeuron, una herramienta para ejecutar código existente de inteligencia artificial en PyTorch sobre sus chips AWS Trainium con un único cambio de configuración. La empresa afirma que evita reescribir el código al pasar a su hardware, reduciendo una barrera para su adopción.
El anuncio apunta a una ventaja clave de Nvidia, cuyo software CUDA ayuda a los desarrolladores de IA a utilizar sus procesadores. Según Reuters, Nvidia lleva más de una década desarrollando ese ecosistema. Google, que también diseña sus propios chips de IA, busca atraer a los desarrolladores con mejores herramientas para PyTorch.
Según Amazon, TorchNeuron se conecta mediante el mecanismo estándar de PyTorch para registrar nuevo hardware. La compañía afirma que las herramientas habituales de pruebas, depuración y ampliación de escala funcionan así en Trainium sin modificaciones. En una demostración de Amazon, el mismo programa de entrenamiento se ejecutó en un chip convencional y en Trainium tras cambiar la selección del dispositivo.
Colin Brace, directivo de software de Annapurna Labs, la división de chips de Amazon, dijo a Reuters que más de 30 clientes iniciales utilizaban la herramienta en ámbitos como robótica, modelos del mundo e IA de voz. Explicó que el objetivo es reducir los pasos necesarios para probar los procesadores de Amazon y que el cambio puede generar ahorros importantes. Esos ahorros son una afirmación empresarial, no una garantía universal de rendimiento.
Amazon señala que también contribuye a PyTorch para reducir la dependencia de chips específicos. Según la empresa, Hugging Face ha añadido compatibilidad nativa con Trainium a sus herramientas de desarrollo. TorchNeuron también se integra con TorchTitan y ofrece una vía estándar para distribuir el entrenamiento de modelos entre múltiples instancias de Trainium.
La compañía prevé publicar TorchNeuron con la licencia de código abierto Apache 2.0 en PyTorch Conference North America el 20 de octubre. Afirma que el software admite Trainium2 y Trainium3. La publicación permitirá a más desarrolladores evaluar si el hardware de Amazon se ajusta a sus propias cargas de trabajo de IA.
Comentarios