Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Nvidia ha arrojado Cosmos-transfer1un maniquí de IA reformador que permite a los desarrolladores crear simulaciones enormemente realistas para capacitar a robots y vehículos autónomos. Acondicionado ahora Al abrazar la cara, el maniquí aborda un desafío persistente en el explicación de la IA física: cerrar la brecha entre los entornos de entrenamiento simulados y las aplicaciones del mundo vivo.
“Introducimos Cosmos-Transfer1, un maniquí condicional de concepción mundial que puede producir simulaciones mundiales basadas en múltiples entradas de control espacial de varias modalidades, como segmentación, profundidad y borde”, afirman los investigadores de Nvidia en un papel publicado adyacente con el tirada. “Esto permite la concepción mundial enormemente controlable y encuentra el uso en varios casos de uso de transferencia de mundo a mundo, incluido Sim2Real”.
A diferencia de los modelos de simulación anteriores, Cosmos-transfer1 Introduce un sistema de control multimodal adaptativo que permite a los desarrolladores pescar diferentes entradas visuales, como la información de profundidad o los límites de los objetos, con frecuencia en varias partes de una suceso. Este avance permite un control más matizado sobre entornos generados, mejorando significativamente su realismo y utilidad.
Cómo el control multimodal adaptativo transforma la tecnología de simulación de IA
Los enfoques tradicionales para capacitar a los sistemas físicos de IA implican compendiar cantidades masivas de datos del mundo vivo, un proceso costoso y que requiere mucho tiempo, o el uso de entornos simulados que a menudo carecen de la complejidad y la variabilidad del mundo vivo.
Cosmos-transfer1 Aborda este dilema al permitir que los desarrolladores utilicen entradas multimodales (como imágenes borrosas, detección de bordes, mapas de profundidad y segmentación) producir simulaciones fotorrealistas que preservan aspectos cruciales de la suceso diferente al tiempo que agrega variaciones naturales.
“En el diseño, el esquema condicional espacial es adaptativo y personalizable”, explican los investigadores. “Permite ponderar diferentes entradas condicionales de guisa diferente en diferentes ubicaciones espaciales”.
Esta capacidad resulta particularmente valiosa en robótica, donde un desarrollador podría querer ayudar un control preciso sobre cómo aparece un remo robótico y se mueve al tiempo que permite una excarcelación más creativa para producir diversos entornos de fondo. Para vehículos autónomos, permite la preservación del diseño de la carretera y los patrones de tráfico, al tiempo que varían las condiciones climáticas, la iluminación o los entornos urbanos.
Aplicaciones físicas de IA que podrían trocar la robótica y la conducción autónoma
Dr. Ming-Yu Liuuno de los principales contribuyentes al plan explicó por qué esta tecnología es importante para las aplicaciones de la industria.
“Un maniquí de política tutela el comportamiento de un sistema de IA físico, asegurando que el sistema funcione con seguridad y de acuerdo con sus objetivos”, señalan Liu y sus colegas en el publicación. “Cosmos-Transfer1 se puede entrenar en modelos de políticas para producir acciones, ahorrando el costo, el tiempo y las deposición de datos de la capacitación de políticas manuales”.
La tecnología ya ha demostrado su valencia en las pruebas de simulación de robótica. Cuando se usan Cosmos-Transfer1 para mejorar los datos de robótica simulada, los investigadores de NVIDIA encontraron que el maniquí perfeccionamiento significativamente el fotorrealismo al “amplificar más detalles de la suceso y sombreado enredado e iluminación natural” al tiempo que preservan la dinámica física del movimiento autómata.
Para el explicación de vehículos autónomos, el maniquí permite a los desarrolladores “maximizar la utilidad de los casos de borde del mundo vivo”, ayudando a los vehículos a educarse a manejar situaciones raras pero críticas sin escazes de encontrarlos en carreteras reales.
Interiormente del ecosistema de IA decisivo de Nvidia para aplicaciones mundiales físicas
Cosmos-transfer1 representa solo un componente de la nvidia es más amplia Cosmos Plataforma, un conjunto de modelos World Foundation (WFM) diseñado específicamente para el explicación de IA física. La plataforma incluye Cosmos-predicto1 para la concepción mundial de uso caudillo y Cosmos-Rason1 Para el razonamiento físico de sentido popular.
“Nvidia Cosmos es una plataforma de maniquí de la Fundación Mundial del desarrollador diseñada para ayudar a los desarrolladores de IA físicos a construir sus sistemas físicos de IA mejor y más rápido”, afirma la compañía en su Repositorio de Github. La plataforma incluye modelos previamente capacitados bajo el Deshonestidad de maniquí despejado NVIDIA y entrenamiento de guiones bajo el Deshonestidad Apache 2.
Esto posiciona a NVIDIA para capitalizar el creciente mercado de herramientas de IA que pueden acelerar el explicación de sistemas autónomos, particularmente a medida que las industrias desde la fabricación hasta el transporte invierten en gran medida en robótica y tecnología autónoma.
https://www.youtube.com/watch?v=0yr5sdrvnxc
Reproducción en tiempo vivo: cómo el hardware de Nvidia impulsa la simulación de IA de próxima concepción
Nvidia incluso demostrado Cosmos-transfer1 ejecutando en tiempo vivo en su postrero hardware. “Demostramos encima una logística de escalera de inferencia para conquistar la concepción mundial en tiempo vivo con un rack NVIDIA GB200 NVL72”, señalan los investigadores.
El equipo logró aproximadamente 40x celeridad al ascender de una a 64 GPU, lo que permite la concepción de 5 segundos de video de incorporación calidad en solo 4.2 segundos, efectivamente el rendimiento en tiempo vivo.
Este rendimiento a escalera aborda otro desafío crítico de la industria: la velocidad de simulación. La simulación rápida y realista permite pruebas más rápidas y ciclos de iteración, acelerando el explicación de sistemas autónomos.
Innovación de código despejado: democratizando la IA descubierta para los desarrolladores de todo el mundo
La osadía de Nvidia de propagar tanto el Maniquí Cosmos-Transfer1 y es código subyacente en GitHub elimina las barreras para los desarrolladores de todo el mundo. Este tirada notorio brinda a equipos más pequeños e investigadores independientes paso a tecnología de simulación que anteriormente requerían posibles sustanciales.
El movimiento se ajusta a la logística más amplia de NVIDIA de construir comunidades de desarrolladores sólidas en torno a sus ofertas de hardware y software. Al poner estas herramientas en más manos, la compañía expande su influencia y potencialmente acelera el progreso en el explicación físico de IA.
Para la robótica y los ingenieros de vehículos autónomos, estas herramientas recientemente disponibles podrían acortar los ciclos de explicación a través de entornos de capacitación más eficientes. El impacto práctico puede sentirse primero en las fases de prueba, donde los desarrolladores pueden exponer sistemas a una escala más amplia de escenarios ayer de la implementación del mundo vivo.
Si acertadamente el código despejado pone a disposición la tecnología, ponerla en un uso efectivo aún requiere experiencia y posibles computacionales, un recordatorio de que en el explicación de IA, el código en sí es solo el eclosión de la historia.