Video egocéntrico frente a datos de teleoperación: qué enseña cada uno a un robot

Cuatro términos, definidos

Los datos de teleoperación se graban mientras un operador humano controla un robot, a distancia o con un dispositivo guía que el robot imita. Si la demostración se registra bien, cada fotograma de la cámara del robot queda unido a la orden que ejecutó, y los datos ya están en el espacio de acción de ese robot.

El video egocéntrico se graba desde el punto de vista de la persona, casi siempre con una cámara en la cabeza, mientras hace una tarea con sus propias manos. En nuestra guía sobre qué es el video egocéntrico (POV) explicamos cómo se graba y cuáles son los datasets más conocidos.

La brecha de embodiment es la diferencia entre el cuerpo que aparece en los datos y el del robot que tiene que aprender de ellos. Una mano humana, una pinza de dos dedos y una mano robótica de cinco dedos no alcanzan, agarran ni ven la escena de la misma forma. Por eso el video humano necesita una traducción antes de que un robot pueda actuar con él.

Las etiquetas de acción registran, fotograma a fotograma, la acción que se hizo. En teleoperación son las órdenes a las articulaciones o a la pinza del robot. En videojuegos grabados con entradas, son los eventos de teclado, mouse o control. El video egocéntrico simple no trae ninguna, así que hay que deducir las acciones a partir de lo que hacen las manos.

Qué son los datos de teleoperación y para qué sirven

Para el robot que los grabó, los datos de teleoperación son lo más cercano a una verdad de referencia. Una persona maneja el hardware real, así que la demostración registrada muestra qué vio ese robot y qué órdenes recibió. No hay que traducir nada del cuerpo humano al del robot. Por eso encajan con el aprendizaje por imitación, en el que una política aprende a copiar demostraciones. ALOHA es el ejemplo conocido: un sistema bimanual de bajo costo que aprende manipulación fina de principio a fin con demostraciones reales, recolectadas con una interfaz de teleoperación propia. Sus autores llaman al algoritmo Action Chunking with Transformers.

Lo que se paga es la cobertura. Cada hora pide un robot, un operador y un lugar donde trabajar. DROID muestra cuánto cuesta la amplitud: 76.000 trayectorias de demostración en 564 escenas y 84 tareas, recolectadas por 50 recolectores de datos en Norteamérica, Asia y Europa durante 12 meses. Según sus autores, entrenar con esos datos más diversos dio políticas con mejor rendimiento y mejor generalización.

El otro camino es juntar datos de varios laboratorios. Open X-Embodiment reunió datos de 22 robots distintos en una colaboración de 21 instituciones, con 527 habilidades. Al juntar datos aparece otra brecha de embodiment, porque la demostración de un robot no está en el espacio de acción de otro. En nuestro mapa de de dónde vienen los datos de entrenamiento para robots ponemos la teleoperación junto a las demás fuentes, y nuestro resumen de aprendizaje por imitación e investigación en modelos VLA repasa los modelos entrenados con estos datasets.

Cómo entra el video humano en el aprendizaje de robots

El video egocéntrico pone la amplitud que le falta a la teleoperación. La gente ya hace en cocinas, almacenes y talleres las tareas que los robots tienen que aprender, y una cámara en la cabeza capta la interacción natural entre manos y objetos sin un robot en el lugar. El artículo de Ego4D reporta 3.670 horas de video de la vida diaria de 931 personas con cámara en 74 lugares de 9 países.

Los investigadores usan ese video al menos de tres maneras. Ninguna quita la necesidad de datos de robot.

• R3M lo usó para representaciones visuales. Preentrenó con Ego4D y reportó un aprendizaje más eficiente en datos para tareas posteriores de manipulación que entrenar desde cero. El robot sigue aprendiendo sus acciones con sus propias demostraciones; el video humano moldea cómo ve.
• VIP sacó del video humano de Ego4D recompensas y señales de progreso. Sin ajuste fino con datos de la tarea, produjo una representación congelada que da una recompensa visual densa para tareas simuladas y de robots reales.
• MimicPlay apuntó a los planes de alto nivel. Aprendió planes latentes de datos de juego humano (video de personas que interactúan libremente con el entorno con las manos) y con ellos guio un controlador de bajo nivel entrenado con pocas demostraciones teleoperadas.

En los tres casos, el video humano puede ayudar porque hace rendir más los datos de robot. Nuestra guía sobre cómo el video humano puede ayudar a los robots a aprender repasa esta investigación y sus límites. Qué contiene cada dataset y cómo se licencia está en nuestra comparación de los datasets egocéntricos públicos.

Datos de teleoperación frente a video egocéntrico, de un vistazo

Videojuegos con entradas: video con las acciones adjuntas

Un videojuego grabado con cada entrada de teclado, mouse o control es un tercer tipo de dato. La pantalla muestra lo que pasó y el registro de entradas muestra, fotograma a fotograma, la acción que lo provocó. El video egocéntrico simple no tiene esa pareja.

Video PreTraining (VPT) muestra por qué importa. Sus autores entrenaron un modelo de dinámica inversa con una pequeña cantidad de datos etiquetados y luego lo usaron para etiquetar una gran fuente de videos en línea de gente jugando Minecraft. Los agentes que entrenaron actúan con la interfaz nativa de mouse y teclado. Por eso el juego con acciones etiquetadas les sirve a los agentes y modelos que tienen que aprender qué hace una acción en pantalla.

TaskCapture graba las sesiones de videojuegos así: la pantalla del juego en sincronía con cada entrada de teclado, mouse o control, sin cámara y sin voz, chat, nombres de jugador ni telemetría del juego.

Cuándo usar cada uno

Los dos enfoques se complementan. Elige los datos según el trabajo:

Si un dataset público ya cubre tu entorno es otra pregunta, y la responde nuestra guía sobre cuándo bastan los datos públicos y cuándo encargar recolección a medida.

Errores frecuentes

• Muchos equipos tratan ambos como sustitutos. El video humano no trae acciones de robot y la teleoperación rara vez llega a muchos lugares: si el robot va a trabajar en sitios variados, planifica los dos.
• Es fácil suponer que los datos reunidos de varios robots no tienen brecha. Pero la demostración de un robot no está en el espacio de acción de otro, aunque estén en el mismo dataset.
• Hay quien juzga un dataset por sus horas, y las horas no dicen nada del encuadre, de la cobertura de tareas ni de si los metadatos coinciden con el video. Antes de comprar, usa una lista para juzgar un dataset de video.
• Otros se saltan la licencia. Los datasets egocéntricos públicos tienen sus propias condiciones, y algunos, como EPIC-KITCHENS, se publican solo para uso no comercial.
• Un error más discreto es preentrenar con lugares que no se parecen al destino: el video de casas puede no preparar a un robot para un almacén. Graba o elige material parecido al lugar donde trabajará el robot.

Consentimiento y preguntas para cualquier proveedor de datos

Le compres a quien le compres, estas cinco preguntas separan los datos que sirven de los que son un riesgo:

1. ¿Quién lo grabó, dónde y con qué acuerdo?
2. ¿Cada persona identificable firmó una autorización? ¿Cada local comercial dio permiso por escrito?
3. ¿Cómo revisan la calidad antes de entregar y con qué criterios?
4. ¿Qué metadatos vienen con el video: dispositivo, marcas de tiempo, ubicación, registros de acciones?
5. ¿Qué te permite hacer la licencia? ¿Le prohíbe a alguien identificar a las personas que aparecen?

Nuestras respuestas son cortas. Cada persona identificable en cámara firma una autorización, y cada local comercial da permiso por escrito. El material llega a los compradores solo después de la revisión de calidad, y el contrato les prohíbe identificar a cualquier persona que aparezca en él. La Política de Privacidad detalla todas estas reglas. La página de recolección de datos egocéntricos a medida cubre tipos de datos, metadatos y formatos.

Preguntas frecuentes