Desarrolle pipelines de simulación de sensores físicamente exactas para robótica.
Fraunhofer IML
Cargas de Trabajo
Robótica
Simulación, Modelado, Diseño
Industrias
Todas las Industrias
Objetivo Comercial
Innovación
Productos
NVIDIA Isaac Sim
NVIDIA Omniverse
Los robots físicos que funcionan con IA necesitan detectar, planificar y realizar tareas complejas de forma autónoma en el mundo físico. Estas incluyen el transporte y la manipulación de objetos de forma segura y eficiente en entornos dinámicos e impredecibles.
Para lograr este nivel de autonomía, se necesita un enfoque de “simulación primero”.
La simulación de robots les permite a los desarrolladores entrenar, simular y validar estos sistemas avanzados a través del aprendizaje y las pruebas de robots virtuales. Todo sucede en representaciones digitales de entornos basadas en la física, como almacenes y fábricas, antes de la implementación.
Impulse el entrenamiento de modelos de IA con datos sintéticos generados a partir de entornos de gemelos digitales cuando los datos del mundo real sean limitados o restringidos.
Pruebe un solo robot, o una flota de robots industriales, en tiempo real, en diversas condiciones y configuraciones.
Optimice el desempeño de los robots y reduzca el número de prototipos físicos necesarios para las pruebas y la validación.
Pruebe escenarios potencialmente peligrosos de forma segura sin tener riesgos de seguridad para los humanos o de daños en los equipos.
Enlaces Rápidos
NVIDIA Isaac Sim™ es una aplicación de referencia basada en NVIDIA Omniverse™ que le permite construir, entrenar, probar y validar robots que funcionan con IA, como humanoides, robots móviles autónomos (AMR) y brazos robóticos, totalmente en entornos simulados.
La simulación puede habilitar casos de uso novedosos al impulsar el entrenamiento de modelos fundamentales o acelerar el proceso de ajuste fino de modelos de IA preentrenados mediante la generación de datos sintéticos, o SDG. Puede consistir en texto, imágenes 2D o 3D, en el ámbito visual o no visual, e incluso datos de movimiento que se pueden usar junto con datos del mundo real para entrenar modelos de IA física multimodales.
La aleatorización de dominios es un paso clave en el workflow de SDG, en el que se pueden cambiar muchos parámetros de una escena, como la ubicación, el color, las texturas y la iluminación de los objetos, para generar un conjunto de datos diverso. El aumento en la fase de posprocesamiento diversifica todavía más los datos generados al agregar defectos como desenfoque localizado, pixelación, recortes aleatorios, sesgo y fusiones.
Además, las imágenes generadas se anotan de forma automática y pueden incluir RGB, cuadros de delimitación, segmentación de instancia y semántica, profundidad, nube de puntos de profundidad, nube de puntos lidar y más.
El aprendizaje de robots es fundamental para garantizar que estos puedan usar habilidades sólidas de forma reiterada y eficiente en el mundo físico. La simulación de alta fidelidad proporciona un campo de entrenamiento virtual para que los robots perfeccionen sus habilidades mediante la imitación o a través de ensayo y error. Esto garantiza que los comportamientos aprendidos por el robot en la simulación se puedan transferir más fácilmente al mundo real.
NVIDIA Isaac™ Lab, un framework de código abierto, unificado y modular para el aprendizaje de robots, basado en NVIDIA Isaac Sim, simplifica los workflows comunes en el aprendizaje de robots, como el aprendizaje por refuerzo, el aprendizaje por demostraciones y la planificación de movimiento.
El software en bucle (SIL) es una etapa de prueba y validación esencial en el desarrollo de software para sistemas robóticos que funcionan con IA. En SIL, el software que controla al robot se prueba en un entorno simulado en lugar de en el hardware real.
SIL, con simulación, garantiza un modelado exacto de la física del mundo real, que incluye entradas de sensores, dinámica de accionadores e interacciones ambientales. Esto asegura que la pila de software del robot se comporte en la simulación como lo haría en el robot físico, lo que mejora la validez de los resultados de las pruebas.
La generación de datos sintéticos, el aprendizaje de robots y las pruebas de robots son workflows altamente interdependientes y requieren una orquestación cuidadosa en una infraestructura heterogénea. Los workflows de robótica también necesitan especificaciones amigables para con los desarrolladores, que eliminen la complejidad de la configuración de la infraestructura y brinden maneras sencillas de rastrear los datos y el linaje del modelo, así como una forma segura de implementar estas cargas de trabajo.
NVIDIA OSMO le ofrece una plataforma de orquestación nativa de la nube para escalar cargas de trabajo complejas, con múltiples etapas y múltiples contenedores de robótica en las instalaciones locales y privadas y en la nube pública.
Enlaces Rápidos