- Las demostraciones teleoperadas pueden apoyar el aprendizaje por imitación a partir de la experiencia del robot.estudio de teleoperación y aprendizaje por imitación
- La simulación física puede correr junto con el entrenamiento de políticas para producir experiencia simulada.estudio de simulación física en GPU
- La investigación en entornos generativos explora mundos virtuales controlables por acciones, aprendidos a partir de video.estudio de entornos generativos
- El video humano puede apoyar el aprendizaje de representaciones visuales; los datasets compartidos pueden reunir experiencia de distintos robots.estudios de preentrenamiento visual y de datasets entre robots
Cinco categorías, sin clasificar proveedores
La comparación de preentrenamiento egocéntrico separa las observaciones humanas de las demostraciones con robots. No pierdas esa separación cuando leas una propuesta de datos. Pregunta qué se grabó o se generó, qué supervisión trae y qué parte de tu sistema de aprendizaje lo va a usar.
Las categorías se cruzan. Una demostración teleoperada puede terminar en un dataset público, y un repositorio puede alojar video humano o trayectorias de robots. "Público" habla del acceso. No es un tipo de sensor y no te promete nada sobre el uso permitido.
Qué aporta cada categoría
| Categoría | Insumo o experiencia | La pregunta que hay que resolver |
|---|---|---|
| Flotas de teleoperación | Demostraciones producidas por personas que controlan robots | ¿Las observaciones y acciones grabadas son compatibles con la política prevista? |
| Simulación y datos sintéticos | Experiencia u observaciones renderizadas de un entorno modelado | ¿Qué aspectos de la tarea real hay que comprobar por separado? |
| Modelos del mundo generativos | Entornos virtuales aprendidos y controlables por acciones | ¿Cómo se validarán las transiciones generadas para el experimento previsto? |
| Video de actividad humana | Observaciones de personas que interactúan con su entorno | ¿El método necesita rasgos visuales, señales de avance o planes? |
| Datasets y repositorios públicos | Colecciones existentes distribuidas para reutilizarse | ¿Cuáles son el tipo de datos, el alcance, la versión y los términos de fondo? |
Hazle las mismas preguntas a cada propuesta. "Datos de entrenamiento", así a secas, deja demasiado abierto. Una colección de observaciones humanas y un conjunto de trayectorias de acción de robots pueden servir los dos y cumplir papeles muy distintos.
Teleoperación y simulación: define la evidencia de control
Un estudio de aprendizaje por imitación con demostraciones teleoperadas graba demostraciones reales con una interfaz propia y aprende secuencias de acciones. Si estás comprando, de ahí sale una especificación concreta: flujos de observación, definición de las acciones, tiempos, configuración del robot y la tarea que se demuestra. Cada colección expone esos campos a su manera.
La investigación en simulación física corre la simulación y el entrenamiento de políticas juntos en una GPU. El simulador le da a la política un entorno modelado donde actuar. Ya sea que compres o que construyas, la pregunta es qué condiciones puedes modelar y cuáles necesitan evidencia aparte, tomada del lugar donde va a trabajar el robot.
No elijas ninguna de las dos por un video de muestra impresionante. Pide el insumo de entrenamiento en sí y que te expliquen cómo entra en el método. La guía de investigación en aprendizaje robótico trae una lista de lectura para separar una política de sus datos y de su evaluación.
Entornos generados y video humano: papeles de aprendizaje distintos
La investigación en entornos generativos aprende mundos virtuales controlables por acciones a partir de video sin etiquetar. Es un ejemplo de investigación sobre un entorno aprendido. No demuestra que cada interacción generada sirva como evidencia para una tarea física de un robot. Tampoco hay que contar los cuadros generados como experiencia real recolectada.
Para cualquier uso que te propongan, pregunta qué significan los controles, qué representa la secuencia generada y cómo la vas a probar. Anota el método de generación y sus insumos en el registro del experimento. Aunque un resultado se vea verosímil, tiene que pasar tu evaluación antes de que lo aceptes.
La investigación sobre preentrenamiento con video humano estudia otro papel: aprender una representación visual sobre la que después se apoye el aprendizaje de políticas de robots. La guía sobre cómo aprenden los robots del video humano explica por qué eso ayuda aunque no aporte todo el controlador. Ten claro ese papel antes de decidir qué actividades grabar.
Colecciones y repositorios públicos: revisa lo que hay debajo
Un estudio de datasets entre robots combina experiencia de distintas plataformas robóticas en formatos estandarizados. Muestra lo que se gana al documentar qué datos lo forman y cómo están organizados. Otra colección pública puede no tener acciones compatibles, ni la tarea que necesitas, ni el mismo permiso para reutilizar el material.
Revisa la versión y los términos de la fuente original, aunque el repositorio te haga fácil encontrar y bajar los datos. Nuestra comparación de datasets egocéntricos públicos muestra cuánto cambian el alcance de las actividades, las vistas de cámara y los términos de acceso dentro de un solo rincón del panorama.
En tu propio inventario, etiqueta dos cosas: el tipo de datos y la vía de acceso. "Video existente de actividad humana, obtenido mediante un acuerdo de investigación" dice mucho más que "datos abiertos de robots". Deja en la lista las dudas de cobertura o de derechos hasta que las responda quien tenga que revisarlas.
Combina fuentes en torno a un experimento explícito
- 01
Define el comportamiento objetivo
Nombra la tarea y las condiciones en las que planeas evaluarla.
- 02
Asigna un papel a cada fuente
Separa el preentrenamiento visual, la supervisión de acciones del robot y cualquier experiencia simulada o generada.
- 03
Anota lo que falta
Enumera actividades, observaciones, señales de control y documentación faltantes.
- 04
Elige una adición acotada
Compara datos a medida y datos ya disponibles para esa carencia específica.
- 05
Evalúa el cambio
Mantén una línea base y prueba si la adición ayudó en las condiciones elegidas.
Como ejemplo ilustrativo, un plan podría partir de un preentrenamiento visual existente y después sumar demostraciones en el robot objetivo. Es un experimento que hay que correr. No es una receta universal y no predice ninguna mejora. Una solicitud de datos para compradores debería decir qué insumo buscas y qué evidencia mostraría que sirve.
Errores comunes
- Comparar cantidades en unidades distintas. Las horas de video humano, las trayectorias de robots y los episodios generados no se suman entre sí.
- Tratar las categorías como excluyentes, cuando la distribución pública puede aplicarse a varios tipos de datos.
- Elegir una fuente antes de nombrar la etapa de aprendizaje y la señal que falta.
- Creerle a la ficha de un repositorio sin mirar qué hay detrás. Rastrea la colección real, la versión y los permisos.
- Dar por hecho que un plan híbrido va a mejorar los resultados. Evalúa el cambio y cuenta dónde ayudó y dónde no.
Preguntas
¿Qué categoría es la mejor para entrenar robots?
Depende de la tarea y del método de aprendizaje. Te damos preguntas para evaluar insumos. No clasificamos proveedores ni decimos que una categoría sea la mejor para cualquier experimento.
¿Los datasets públicos son un tipo aparte de experiencia de robots?
No. "Público" describe el acceso. Un dataset público puede tener video humano, demostraciones con robots u otro material, así que averigua qué tipo de datos contiene y bajo qué términos antes de compararlo con otra fuente.
¿El video generado puede reemplazar las demostraciones reales con robots?
El estudio de entornos generativos que citamos no respalda esa idea como regla general. Especifica qué aportaría la experiencia generada y pruébala contra lo que pide la tarea objetivo.
¿Qué debería pedirle primero a un proveedor?
Pide el método de recolección o de generación, archivos de muestra, definiciones de campos, una descripción de la cobertura, información de la versión y los términos que aplican. Pregunta también cómo eligieron la muestra y qué relación tiene la entrega propuesta con tu objetivo de aprendizaje.