Amazon ha annunciato il 19 ottobre TorchNeuron, un software con cui sarà possibile eseguire codice di intelligenza artificiale già scritto in PyTorch sui chip AWS Trainium cambiando una sola impostazione. La società afferma che non sarà più necessario riscrivere il codice per passare al suo hardware: così si ridurrà un ostacolo all’adozione.
L’annuncio punta a un vantaggio chiave di Nvidia, il cui software CUDA aiuta gli sviluppatori di IA a usare i suoi processori. Secondo Reuters, Nvidia sviluppa questo ecosistema da più di dieci anni. Anche Google, che progetta già propri chip IA, cerca di attirare sviluppatori con strumenti PyTorch più efficaci.
Secondo Amazon, TorchNeuron usa il meccanismo standard di PyTorch per registrare nuovo hardware. La società afferma che così gli strumenti abituali per test, debug e aumento della scala possono funzionare su Trainium senza modifiche. In una dimostrazione di Amazon, lo stesso programma di addestramento è stato eseguito su un chip convenzionale e su Trainium cambiando l’impostazione del dispositivo.
Colin Brace, dirigente software della divisione chip Annapurna Labs di Amazon, ha detto a Reuters che più di 30 clienti iniziali usano già il software in attività come robotica, modelli del mondo e IA vocale. L’obiettivo è ridurre i passaggi necessari per provare i processori Amazon; il cambio potrà offrire risparmi sostanziali. Si tratta però di un’affermazione della società, non di una garanzia universale sulle prestazioni.
Amazon afferma che sta contribuendo anche a PyTorch perché dipenda meno da chip specifici. Secondo la società, Hugging Face ha già aggiunto il supporto nativo per Trainium ai suoi strumenti di sviluppo. TorchNeuron è inoltre integrato con TorchTitan: ciò offre una modalità standard per distribuire l’addestramento dei modelli su più istanze Trainium.
La società pubblicherà TorchNeuron con licenza open source Apache 2.0 alla PyTorch Conference North America il 20 ottobre, secondo i piani annunciati. Il software è compatibile con Trainium2 e Trainium3. Il rilascio darà a più sviluppatori la possibilità di valutare se l’hardware Amazon è adatto alle proprie attività di IA.
Commenti