Datasets públicos de video egocéntrico, comparados

Compara el alcance antes que el tamaño

La guía de preentrenamiento egocéntrico separa las observaciones humanas de los datos de acción de robots. Las tres colecciones de abajo registran actividad humana. Un experimento de robótica puede usarlas, pero sus horas siguen sin ser horas de demostraciones con robots.

Cada cifra viene de un diseño de recolección distinto. Las vistas combinadas de Ego-Exo4D, en particular, no se pueden contar como horas solo en primera persona. Si la perspectiva te resulta nueva, lee la explicación sencilla del video egocéntrico antes de decidir qué flujos de cámara necesita tu método. Usa la tabla como lista corta y después abre la versión y el subconjunto de tareas que te interesan.

Ego4D: actividad cotidiana amplia

El artículo de Ego4D cubre video de la vida diaria en escenarios del hogar, al aire libre, de trabajo y de ocio. Reporta 3 670 horas captadas por 931 personas con cámara. El sitio web de Ego4D da otra cifra: 923 participantes. Citamos cada número con su fuente y no los juntamos en un conteo único corregido.

La amplitud es un motivo para ir a mirar las actividades que te importan. No prueba que una tarea concreta esté bien cubierta. Para un estudio propuesto, enumera las interacciones que necesitas y comprueba si el material y las anotaciones disponibles las respaldan. Pon el identificador de la versión al lado de cada afirmación de cobertura en tus notas del experimento.

Según el sitio del proyecto, para obtener el dataset o las anotaciones tienes que revisar y aceptar su acuerdo de licencia. Ese paso va en tu planificación. Tener el enlace al artículo no te da acceso.

EPIC-KITCHENS: actividad detallada en la cocina

El artículo de EPIC-KITCHENS-100 reporta 100 horas, 20 millones de cuadros y 90 000 acciones en 45 entornos. Las grabaciones muestran actividad sin guion, filmada con cámaras montadas en la cabeza. Entre sus retos de investigación están el reconocimiento, la anticipación y la detección de acciones, entre otros.

Si tu pregunta es sobre acciones en la cocina, es una colección concreta para revisar. No dice nada sobre una tarea de fábrica ni sobre los controles de un robot en particular. Empieza por las definiciones de las acciones, mira ejemplos y anota cualquier diferencia entre el alcance de la colección y el uso que planeas.

Los términos publicados del dataset indican la licencia Creative Commons Atribución-NoComercial 4.0 Internacional, que prohíbe el uso comercial del material bajo esa licencia publicada. No lo presentes como datos de entrenamiento comerciales sin restricciones. Otro arreglo se resuelve con el titular de los derechos y con la revisión propia de cada organización.

Ego-Exo4D: actividades de destreza desde varias vistas

El artículo de Ego-Exo4D describe grabaciones simultáneas egocéntricas y exocéntricas de actividades de destreza como deportes, música, baile y reparación de bicicletas. Las 1 286 horas reportadas combinan vistas. Tenlo en cuenta al planear el almacenamiento, elegir flujos o estimar cuánto material en primera persona le sirve a tu método.

La página oficial del proyecto dice que hay que firmar las licencias de Ego-Exo4D y aclara que haber firmado las de Ego4D no te exime de firmar otra vez. Los nombres se parecen, pero los acuerdos de acceso son distintos.

Las instrucciones oficiales de licencia describen uso de investigación y comercial, con restricciones sobre la redistribución y otras actividades. Un resumen en la documentación no es un permiso sin restricciones, así que lee el acuerdo completo pensando en el uso que propones.

Si el experimento es sobre una destreza en particular, decide si necesitas vistas externas sincronizadas además de la vista del participante. Nuestra guía de investigación en aprendizaje robótico explica por qué los insumos de datos y el objetivo de aprendizaje posterior se describen por separado.

Revisa el acceso y los términos antes de descargar

1. 01

   Identifica la versión

   Anota la versión del dataset, los flujos que quieres, las anotaciones y el subconjunto de tareas.

2. 02

   Lee los términos de origen

   Usa el acuerdo o la licencia del dueño del dataset. Un resumen en un sitio de alojamiento no alcanza.

3. 03

   Registra el uso previsto

   Distingue experimentos internos, desarrollo de productos y preguntas de redistribución para la revisión.

4. 04

   Confirma el proceso de acceso

   Deja tiempo para firmar acuerdos y para cualquier aprobación antes de agendar el experimento.

5. 05

   Conserva la decisión

   Guarda los términos revisados y la información de la versión junto con tu inventario de datos.

Los borradores de acuerdos de Ego4D describen un Propósito limitado y ningún derecho a sublicenciar. Incluyen el desarrollo de productos comerciales dentro de usos permitidos específicos, lo que tampoco da permiso para redistribuir el material libremente. Revisa los términos que de verdad firmes. Comparamos términos publicados y no damos asesoría legal; la lista de licencias de datos de entrenamiento ordena las preguntas para quien revise.

Cuando los datos públicos dejan un hueco

Antes de decidir que un dataset no alcanza, arma una hoja breve de requisitos. Separa actividades faltantes, vistas faltantes, anotaciones que no sirven y derechos sin resolver. Cada uno es un motivo distinto para frenar y cada uno lleva a un paso siguiente diferente.

Piensa en un equipo ilustrativo que estudia un procedimiento de trabajo. Una colección pública puede darle un buen punto de partida y aun así no incluir ese procedimiento. El equipo debería dejar el hueco por escrito antes de evaluar recolección a medida frente a datos ya disponibles. Luego puede describir las actividades y entregables necesarios en las especificaciones del dataset y usar la solicitud de datos para compradores para plantear la necesidad.

Errores comunes

• Elegir solo por el total de horas. Las horas no son equivalentes entre sí; compara las actividades y los flujos que te sirven.
• Mezclar los conteos de participantes. Las cifras del artículo y del sitio de Ego4D se citan cada una con su fuente.
• Creer que público quiere decir libre para uso comercial. La licencia publicada de EPIC-KITCHENS es no comercial.
• Tomar el acceso como prueba de que el dataset te sirve. Una descarga aprobada no valida tu modelo ni tu diseño de evaluación.
• Llamar al video humano datos de acción de robots. El panorama de los datos de entrenamiento separa las categorías para que tu experimento nombre sus insumos reales.

Preguntas