Mediante la nueva IA generativa basada en OpenUSD y los marcos de desarrollo acelerados por NVIDIA integradas en la plataforma NVIDIA Omniverse, más industrias ahora pueden desarrollar aplicaciones para visualizar proyectos de diseño industrial e ingeniería para simular entornos y crear la nueva generación de IA física y robots.
Las nuevas ofertas incluyen microservicios NVIDIA NIM para modelos de IA que pueden generar lenguaje OpenUSD para responder consultas de usuarios, generar código Python OpenUSD, aplicar materiales a objetos 3D, y comprender el espacio y la física 3D para ayudar a acelerar el desarrollo de gemelos digitales. Además, los nuevos conectores USD para formatos de datos y herramientas de desarrollo para robótica y simulaciones industriales permiten que los usuarios transmitan grandes conjuntos de datos con trazado de rayos NVIDIA RTX a Apple Vision Pro.
“El boom de la IA generativa para la industria pesada ya está aquí”, dice Rev Lebaredian, vicepresidente de Omniverse y tecnología de simulación en NVIDIA. “Hasta hace poco, los mundos digitales eran usados principalmente por la industria creativa; ahora, con las mejoras y la accesibilidad que los microservicios NVIDIA NIM brindan a OpenUSD, todos los tipos de industria pueden crear mundos virtuales con base física y gemelos digitales para impulsar la innovación mientras se preparan para la próxima fase de la IA: la robótica”.
La IA generativa llega a USD con NVIDIA NIM
Los primeros modelos de IA generativa para desarrollo de OpenUSD, desarrollados por NVIDIA, estarán disponibles como microservicios NVIDIA NIM. Los modelos permiten que los desarrolladores incorporen copilotos y agentes de IA generativa a los flujos de trabajo de USD, expandiendo las posibilidades en los universos 3D y ayudando a acelerar la adopción de USD en una gran variedad de sectores industriales, como manufactura, industria automotriz y robótica.
Los microservicios disponibles en la presentación preliminar son:
- Microservicio USD Code NIM: responde preguntas generales de OpenUSD y genera automáticamente código OpenUSD-Python con base en avisos de texto que pueden introducirse en una aplicación de visualización de OpenUSD, como usdview de Pixar, o una aplicación basada en el kit NVIDIA Omniverse para visualizar los datos 3D correspondientes.
- Microservicio USD Search NIM: permite que los desarrolladores hagan búsquedas en grandes bibliotecas de OpenUSD, 3D y datos de imagen usando lenguaje natural o entradas de imagen.
- Microservicio USD Validate NIM: verifica la compatibilidad de los archivos cargados con versiones de lanzamiento de OpenUSD y genera una imagen totalmente renderizada por RTX con seguimiento completo de la ruta mediante API en la nube NVIDIA Omniverse o interfaces de programación de aplicaciones.
Los microservicios recientemente anunciados que pronto estarán disponibles son:
- Microservicio USD Layout NIM: permite que los usuarios ensamblen escenas basadas en OpenUSD de una serie de mensajes de texto basados en inteligencia espacial.
- Microservicio USD SmartMaterial NIM: predice y aplica material realista a un objeto diseñado con asistencia de computación.
- Microservicio fVDB Mesh Generation NIM: genera una malla basada en OpenUSD, renderizada por API de nube Omniverse, de datos de nube de puntos.
- Microservicio fVDB Physics Super-Res NIM: realiza un proceso de superresolución de IA en un cuadro o secuencia de cuadros para generar una simulación de física de alta resolución basada en OpenUSD.
- Microservicio fVDB NeRF-XL NIM: genera un campo de radiación neuronal en gran escala en OpenUSD usando API de nube Omniverse.
“Estamos viviendo un momento transformador en la industria con la integración de la IA generativa y los microservicios NVIDIA NIM en OpenUSD. Estas innovaciones no solo amplían la adopción de nuestro framework 3D universal en sectores como la robótica y el diseño industrial, sino que también aceleran la creación de gemelos digitales y simulaciones físicas avanzadas”, dice Marcio Aguiar, director de la división Enterprise de NVIDIA para Latinoamérica.
Los conectores USD llevan la IA generativa a más industrias
Una serie de nuevos conectores USD para formatos de datos para robótica y transmisión a Apple Vision Pro abre las puertas de la interoperabilidad y la creación avanzada con OpenUSD en más industrias.
NVIDIA y Siemens, un líder global en automatización y software industrial, están ampliando su colaboración para facilitar más cargas de trabajo industriales usando OpenUSD. Siemens integrará pipelines de OpenUSD en su portafolio Simcenter de tecnologías de simulación para apoyar toma de decisiones basada en evidencias y colaboración entre los principales interesados.
La integración permite visualización fotorrealista de alta fidelidad en tiempo real de datos de simulación complejos, lo que proporciona una visión más profunda del desempeño del producto dentro del entorno operativo en el mundo real. El trabajo se suma a los esfuerzos de Siemens para incorporar Omniverse en su portafolio Teamcenter Product Lifecycle Management.
NVIDIA también lanzó un conector de Unified Robotics Description Format en OpenUSD, permitiendo que los robotistas usen sus datos de robótica en todas las aplicaciones, incluidas las de diseño, simulación y aprendizaje por refuerzo.
Para hacer avanzar aún más una expansión del Ecosistema de OpenUSD, NVIDIA anunció el kit de desarrollo de software OpenUSD Exchange, permitiendo a los desarrolladores crear sus propios conectores de datos OpenUSD robustos.
Ya están disponibles nuevas herramientas para desarrolladores y API para transmitir escenas OpenUSD a gran escala desde una aplicación creada en la plataforma Omniverse a Apple Vision Pro a través de la NVIDIA Graphics Delivery Network en acceso anticipado.
DisponibilidadLos microservicios USD Search, USD Code y USD Validate NIM están disponibles en la presentación preliminar en el catálogo de API NVIDIA. El conector de OpenUSD a URDF ahora está disponible con NVIDIA Isaac Sim.
Los desarrolladores pueden comenzar a iintegrar la IA generativos en los flusjo de trabajo de OpenUSD con las nuevas herramientas para desarrolladores de Omniverse y un flujo de trabajo de referencia para crear un canal de datos sintéticos generativos basados en IA con OpenUSD.
Desarrollo de la robótica humanoide
Para acelerar el desarrollo de humanoides en escala global, NVIDIA anuncia que proveerá a los fabricantes de robots, desarrolladores de modelos de IA y fabricantes de software líderes mundiales, un conjunto de servicios, modelos y plataformas de computación para desarrollar, entrenar y crear la próxima generación de robots humanoides.
Entre las nuevas ofertas de microservicios NVIDIA NIM y marcos para aprendizaje y simulación robótica, el servicio de orquestación NVIDIA OSMO para gestión de cargas de trabajo de robótica de etapas múltiples, y un flujo de trabajo de teleoperación habilitado para IA y simulación que permite a los desarrolladores entrenar robots usando pequeñas cantidades de datos de demostración de humanos.
“La próxima ola de IA es la robótica, y uno de los desarrollos que más entusiasman son los robots humanoides”, dice Jensen Huang, fundador y CEO de NVIDIA. “Estamos haciendo avanzar toda la pila de robótica de NVIDIA, abriendo acceso para desarrolladores de humanoides y empresas de todo el mundo para el uso de plataformas, bibliotecas de aceleración y modelos de IA más adecuados para sus necesidades”.
Aceleración del desarrollo con NVIDIA NIM y OSMO
Los microservicios NIM proporcionan contenedores prediseñados impulsados por el software de inferencia NVIDIA, que permiten a los desarrolladores reducir los tiempos de implementación de semanas a minutos. Dos nuevos microservicios de IA permitirán que los robotistas mejoren los flujos de trabajo de simulación para IA generativa física en NVIDIA Isaac Sim, una aplicación de referencia para simulación robótica incorporada en la plataforma NVIDIA Omniverse.
El microservicio MimicGen NIM genera datos de movimiento sintéticos basados en datos teleoperados registrados desde dispositivos de computación espacial como Apple Vision Pro. El microservicio Robocasa NIM genera tareas robóticas y entornos listos para simulación en OpenUSD, un marco universal para desarrollar y colaborar en universos 3D.
NVIDIA OSMO, ya disponible, es un servicio gestionado nativo de la nube que permite a los usuarios organizar y escalar flujos de trabajo de desarrollo de robótica complejos a través de recursos de computación distribuidos, ya sea en las instalaciones o en la nube.
OSMO simplifica en gran medida el entrenamiento de robots y flujos de trabajo de simulación, reduciendo el ciclo de implementación y desarrollo, de meses a menos de una semana. Los usuarios pueden visualizar y gestionar diversas tareas —como generar datos sintéticos, entrenar modelos, conducir aprendizaje por refuerzo — e implementar pruebas de software-in-the-loop en escala para robots humanoides, robots móviles autónomos y manipuladores industriales.
“Al acelerar el desarrollo de la robótica humanoide, estamos ofreciendo a los principales fabricantes de robots y desarrolladores de IA una gama incomparable de servicios y herramientas. Con los microservicios NVIDIA NIM y el servicio OSMO, estamos haciendo que el proceso de creación y entrenamiento de robots humanoides sea más rápido y eficiente, permitiendo que más industrias y desarrolladores adopten tecnologías avanzadas para innovar y avanzar en el campo de la robótica”, afirma Marcio Aguiar.
Mejoras en los flujos de trabajo de captura de datos para desarrolladores de robots humanoides
El entrenamiento de modelos de base para robots humanoides requiere una cantidad increíble de datos. Una manera de capturar datos de demostración de humanos es mediante la teleoperación, pero este proceso se está volviendo cada vez más largo y costoso.
Un flujo de trabajo de referencia para teleoperación habilitado para NVIDIA AI y Omniverse demostrado en la conferencia de computación gráfica SIGGRAPH, permite que los investigadores y desarrolladores de IA generen cantidades enormes de datos de movimiento sintético y percepción a partir de una cantidad mínima de demostraciones humanas capturadas de forma remota.
Primero, los desarrolladores usan Apple Vision Pro para capturar un pequeño número de demostraciones teleoperadas. Después, simulan los registros en NVIDIA Isaac Sim y usan el microservicio MimicGen NIM para generar conjuntos de datos sintéticos de los registros.
Los desarrolladores entrenan el modelo de base humanoide del Project GR00T con datos sintéticos y reales, lo que les permite ahorrar tiempo y reducir costos. Después, usan el microservicio Robocasa NIM en Isaac Lab, un marco de aprendizaje para robótica, a fin de generar experiencias y reentrenar el modelo de robot. En todo el flujo de trabajo, NVIDIA OSMO asigna con perfección tareas de computación a diferentes recursos, ahorrando a los desarrolladores semanas de tareas administrativas.
Expansión del acceso a tecnologías de desarrollador de humanoides de NVIDIA
NVIDIA proporciona tres plataformas de computación para facilitar el desarrollo de robots humanoides: supercomputadoras NVIDIA AI para entrenar los modelos; NVIDIA Isaac Sim incorporado en Omniverse, donde los robots pueden aprender y refinar sus habilidades en mundos simulados; y computadoras NVIDIA Jetson™ Thor para robótica humanoide, para gestionar los modelos. Los desarrolladores pueden acceder y usar todas —o cualquier parte de— las plataformas según sus necesidades específicas.
A través de un nuevo Programa de desarrollador de robots humanoides NVIDIA, los desarrolladores pueden obtener acceso anticipado a las nuevas ofertas, además de los últimos lanzamientos de NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor y Project GR00T (modelos básicos de propósito general para robots humanoides).
Disponibilidad
Los desarrolladores pueden unirse al Programa de desarrollador de robots humanoides NVIDIA ahora, para obtener acceso a NVIDIA OSMO, Isaac Lab y, muy pronto, a los microservicios NVIDIA NIM.
Más información
Acceso a las charlas del fundador y CEO de NVIDIA, Jensen Huang, en SIGGRAPH, la principal conferencia sobre computación gráfica, hasta el 1 de agosto en Denver.
Autor
