Nvidia anunció el lunes 28 de septiembre una plataforma de seguridad para agentes de inteligencia artificial autónomos. El fabricante de chips, con sede en Santa Clara, California, afirma que ayudará a las organizaciones a controlar a qué pueden acceder estos sistemas y qué acciones pueden realizar. La plataforma, llamada Open Agent Safety Platform, combina un programa de código abierto con un diseño de referencia para un dispositivo de vigilancia independiente, según la empresa.
Los agentes de IA pueden completar tareas encadenadas, utilizar herramientas e interactuar con otros sistemas informáticos con supervisión humana limitada. Esa capacidad genera preocupación si llegan a datos o servicios fuera de sus permisos. Reuters y Associated Press informaron de que el lanzamiento sigue a incidentes en los que agentes avanzados obtuvieron acceso no autorizado a otros sistemas. La plataforma responde a ese riesgo, pero su presentación no demuestra que el problema esté resuelto.
El componente informático, OpenShell, establece un límite de ejecución alrededor del agente. Nvidia sostiene que registra sus acciones y aplica normas de acceso mientras trabaja. La compañía indica que OpenShell ya está ampliamente disponible y fue diseñado para sus procesadores centrales Vera. Como su código es abierto, también podría adaptarse a procesadores de otros proveedores, entre ellos Arm e Intel. Cada organización tendría que configurar las normas adecuadas para sus propios sistemas.
El segundo componente, Sentry, es un diseño de referencia que emplea unidades de procesamiento de datos BlueField-4 de Nvidia para vigilar la actividad al margen del ordenador que ejecuta al agente. Según la compañía, puede aislarlo en milisegundos si intenta cruzar un límite informático. La velocidad y la eficacia protectora son afirmaciones de Nvidia; el anuncio no establece cómo funcionaría el diseño en todos los entornos reales.
Reuters señaló que directivos de Nvidia creen que las herramientas podrían haber evitado una intrusión anterior relacionada con agentes y la plataforma de desarrollo de IA Hugging Face. Es una valoración retrospectiva, no un resultado demostrado. Nvidia también nombró a Anthropic, Microsoft, Cisco y Hugging Face entre sus colaboradores. No afirmó que todos ellos hayan implantado la plataforma completa.
El lanzamiento suma una capa de seguridad de infraestructura al debate sobre cómo gobernar sistemas de IA capaces de actuar por sí solos. Las organizaciones ya pueden examinar el código disponible de OpenShell y el diseño físico propuesto. La reducción efectiva de incidentes dependerá de la configuración, la adopción y el rendimiento de esos controles fuera de las demostraciones de Nvidia.
Comentarios