¿Qué es el video egocéntrico (POV)?

Video egocéntrico frente a video en tercera persona

Casi todo el video es en tercera persona: una cámara en un trípode, un teléfono en manos de otra persona o una cámara de seguridad en la pared miran a alguien desde fuera. El video egocéntrico invierte eso. La cámara la lleva puesta quien hace la tarea, así que el encuadre se mueve con su cabeza y suele mostrar lo que tiene enfrente: qué alcanzan sus manos y en qué orden. En nuestra página de datos de video egocéntrico verás cómo recolectamos este material a pedido para equipos de IA.

Algunos datasets graban las dos vistas a la vez. Ego-Exo4D captura video egocéntrico y exocéntrico de actividades especializadas en el mismo momento, para que la misma acción se pueda estudiar desde dentro y desde fuera. Por eso es un dataset de vistas pareadas, con material en primera persona y desde fuera de cada actividad.

Cómo se graba el video egocéntrico

La cámara va cerca de los ojos para que el material coincida con lo que ve quien la lleva. Lo más común es una de estas opciones:

1. Una cámara en la cabeza, por ejemplo una cámara de acción pequeña en una correa o una gorra. La página del proyecto Ego4D enumera siete cámaras comerciales distintas para la cabeza usadas en su recolección, desde GoPro hasta gafas con cámara.
2. Gafas inteligentes o con cámara, es decir, monturas con una cámara integrada y a veces sensores extra.
3. Equipos de investigación con sensores de profundidad o de movimiento. HOI4D, por ejemplo, reúne 2,4 millones de fotogramas egocéntricos RGB-D en 4.000 secuencias de personas manipulando objetos.

Algunas colecciones graban sesiones largas y continuas mientras quien lleva la cámara hace la tarea como siempre; otras usan secuencias de tareas o clips más cortos. EPIC-KITCHENS-100 registra actividad sin guion a largo plazo en 45 entornos de cocina, con cámaras en la cabeza.

Por qué la investigación en IA usa video egocéntrico

El video egocéntrico es un tipo de datos de entrenamiento, es decir, ejemplos de los que aprende un modelo. Nuestra guía sobre qué son los datos de entrenamiento de IA lo explica con palabras simples. Los investigadores valoran la vista en primera persona por tres razones:

• Muestra manos y objetos de cerca. En el encuadre se ven el agarre, la herramienta y el objeto a distancia de trabajo.
• Mantiene los pasos en orden. El material continuo muestra cómo avanza una tarea de un paso al siguiente.
• Ofrece un punto de vista cercano al de un robot. La cámara de un robot también mira hacia abajo, a sus manos y al objeto que tiene enfrente.

Esa última razón explica por qué lo usa la investigación en aprendizaje de robots. R3M preentrenó una representación visual con video humano de Ego4D y reportó un aprendizaje más eficiente en datos para tareas posteriores de manipulación. Eso muestra que el video humano puede ayudar a los robots a aprender. No demuestra que el video por sí solo le enseñe a un robot a actuar. Nuestra guía sobre cómo el video humano puede ayudar a los robots a aprender cubre la evidencia y sus límites, y video egocéntrico comparado con datos de teleoperación explica dónde siguen entrando las demostraciones de robots.

Datasets egocéntricos conocidos

Los dos conteos de participantes de Ego4D vienen de fuentes distintas: el artículo de Ego4D dice 931 personas con cámara y la página del proyecto dice 923 participantes únicos. Si usas una de esas cifras, cítala con su fuente. Nuestra comparación de los principales datasets egocéntricos públicos cubre licencias y acceso, que cambian de un dataset a otro.

Errores y conceptos equivocados frecuentes

• Mucha gente cree que el video POV es lo mismo que un vlog. Los clips POV de creadores se editan para la audiencia, pero POV solo describe el punto de vista. Las colecciones de investigación pueden usar sesiones continuas o clips de tareas, con documentación y anotaciones adecuadas a sus preguntas de investigación.
• No cualquier clip en primera persona sirve para entrenar. Importa qué se ve en cuadro y si la tarea se ve de principio a fin. Nuestra lista de especificaciones para un dataset egocéntrico enumera los campos a definir.
• Egocéntrico no siempre significa solo primera persona. Algunos datasets conocidos, como Ego-Exo4D, combinan vistas en primera persona y externas.
• Las cifras grandes no siempre miden lo mismo, porque horas, fotogramas y secuencias son unidades distintas. HOI4D cuenta fotogramas; Ego4D cuenta horas.
• No esperes que el video por sí solo le enseñe a un robot a actuar. El video humano puede ayudar, pero la investigación todavía lo combina con datos de robot.

Cómo TaskCapture graba video egocéntrico

Para trabajo físico, nuestros recolectores llevan una cámara pequeña en una correa para la cabeza o una gorra, con las manos libres. Graban tres tipos de datos: residencial, comercial y videojuegos. En videojuegos se graba la pantalla junto con cada entrada de teclado, mouse o control en sincronía, sin cámara. Cada persona identificable en cámara firma una autorización, y los locales comerciales dan permiso por escrito, como detalla la Política de Privacidad. Si quieres grabar tu propio trabajo, la página para recolectores explica cómo funcionan los proyectos.

Preguntas frecuentes