- Los clips canónicos de Ego4D corren a 30 FPS constantes, y su variante "540ss" se reduce para que el lado más corto mida 540 píxeles.documentación de video de Ego4D
- La publicación de video de EPIC-KITCHENS de abril de 2018 documenta 1080p a 59,94 FPS, y nota que algunos videos se grabaron con otras resoluciones o tasas de fotogramas.readme de EPIC-KITCHENS de la Universidad de Bristol
- Datasheets for Datasets propone que cada dataset documente su motivación, composición, proceso de recolección y usos recomendados.Gebru et al., arXiv 1803.09010
- Las Data Cards documentan fuentes previas, métodos de recolección y anotación de datos, y uso previsto.Pushkarna et al., arXiv 2204.01075
Para qué sirve una especificación de dataset
Con "necesitamos video de cocina" un proveedor no sabe qué grabar. La especificación lo convierte en un trabajo que puede grabar, revisar y entregar, y que tú puedes comprobar cuando llega. También te deja medir un dataset público y una recolección a medida con la misma vara. En nuestra página de datos de video egocéntrico está la solicitud que alimenta esta lista, y nuestra guía sobre qué es el video egocéntrico (POV) explica el formato.
Casi todos los campos entran en tres grupos. Unos dicen qué se graba (tareas, entornos, encuadre), otros cómo se entrega (archivos, fotogramas por segundo, metadatos) y el resto, con qué condiciones (documentación, consentimiento, licencia).
La lista de especificaciones
| Campo | Por qué importa | Qué escribir |
|---|---|---|
| Tareas | Decide qué puede aprender el modelo | Actividades nombradas, de principio a fin: "cortar y emplatar en una línea de preparación", no "cocinar" |
| Entornos y regiones | El material de un tipo de lugar puede no transferirse a otro | Tipo de local, y países o regiones si importan |
| Volumen y tiempos | Define alcance y calendario | Horas de material, número de tareas o sesiones, y una fecha límite |
| Punto de vista y encuadre | Que manos y objetos salgan del cuadro vuelve inútiles los clips para manipulación | Posición de la cámara, y qué debe mantenerse a la vista |
| Formato de video | Los archivos deben cargar en tu flujo sin sorpresas de recodificación | Contenedor, códec, resolución y tasa de fotogramas de los archivos entregados |
| Versión o variante | Muchos datasets publican varias codificaciones del mismo material | Qué variante compras, por su nombre |
| Metadatos | Permiten filtrar, sincronizar y auditar clips | Dispositivo, marcas de tiempo, ubicación, y registros de acciones o entradas |
| Anotaciones | Etiquetar toma tiempo; hay que saber quién lo hace | Ninguna, del proveedor, o de tu equipo después |
| Documentación | Responde las preguntas que si no harías por correo | Una hoja de datos (datasheet) o tarjeta de datos (data card) con la entrega |
| Consentimiento y licencia | Decide si puedes usar los datos | Autorizaciones, permisos de locales, usos permitidos |
| Muestra y aceptación | Detecta problemas antes de la entrega completa | Una muestra primero, y las revisiones que un clip debe pasar |
Las dos últimas filas tienen su propia guía: nuestra lista de licencia de datos de entrenamiento y consentimiento enumera qué preguntarle a cualquier proveedor.
Resolución, tasa de fotogramas y versiones
El video egocéntrico no tiene una resolución ni una tasa de fotogramas correcta. Lo que cuenta es que la especificación nombre los archivos que vas a recibir, y los datasets públicos muestran por qué.
La documentación de video de Ego4D describe clips canónicos a 30 FPS constantes y una variante "540ss" reducida para que el lado más corto mida 540 píxeles. Esos valores corresponden a archivos distribuidos concretos; la grabación original de la cámara puede ser otra. Las notas de publicación de EPIC-KITCHENS de 2018 dan 1080p a 59,94 FPS con una GoPro Hero 5 y luego enumeran excepciones: algunos videos se grabaron con otras resoluciones, campos de visión o tasas de fotogramas por error del participante o de la cámara.
Escribe la especificación en términos de archivos entregados: resolución, tasa de fotogramas, si esa tasa es constante, códec y qué pasa con los archivos que no cumplan. Pregunta también cómo te van a avisar de las excepciones, además del formato nominal.
Metadatos y documentación
Los metadatos viajan con cada grabación. En trabajo egocéntrico suelen servir el dispositivo de grabación, las marcas de tiempo, la ubicación cuando la grabación la incluye y, si hay interacción, un registro de acciones o entradas sincronizado con el video. Nombra los campos y su formato, por ejemplo un archivo por clip con el ID del clip como clave.
La documentación describe el dataset completo. Datasheets for Datasets propone una hoja de datos con la motivación, la composición, el proceso de recolección y los usos recomendados de un dataset. Las Data Cards suman fuentes previas, métodos de recolección y anotación, métodos de entrenamiento y evaluación, y uso previsto. La Dataset Nutrition Label plantea la misma idea como un resumen de los "ingredientes" de un dataset antes de desarrollar el modelo. Acepta el formato que use tu proveedor y contrástalo con lo que entrega.
Cobertura de tareas y muestreo
Donde más fallan las especificaciones es en la cobertura. Para dejarla clara:
- Enumera las tareas que tu modelo tiene que manejar, con las palabras que usaría un operador.
- Di cuánto debe variar cada tarea: personas, locales, herramientas e iluminación distintos.
- Decide cómo se muestrean las sesiones: turnos completos o solo los segmentos de tarea, y quién los marca.
- Acuerda una muestra y las revisiones de aceptación antes de que arranque la recolección completa.
Qué tan amplio ir es una decisión de diseño. El artículo de Ego4D describe video que abarca cientos de escenarios en entornos de hogar, exteriores, trabajo y ocio. Una recolección a medida suele ser más acotada y profundizar en las tareas que te importan. Nuestra comparación de los principales datasets egocéntricos públicos muestra qué cubren las opciones públicas, y nuestra guía de video egocéntrico comparado con datos de teleoperación explica qué le enseña cada tipo de datos a un robot.
Errores frecuentes
- Pedir una categoría en vez de una tarea. "Video de almacén" no se puede delimitar; "recoger artículos de estanterías y ponerlos en contenedores", sí.
- Especificar la cámara cuando lo que necesitas son los archivos. El formato nominal de la cámara puede no ser el que llega, así que fija resolución, tasa de fotogramas y códec entregados.
- Olvidar las versiones. Dos codificaciones del mismo dataset son dos especificaciones distintas: nombra la variante.
- Dar los metadatos por sobrentendidos. Si necesitas marcas de tiempo o registros de entradas, escríbelos con su formato.
- Saltarte los criterios de aceptación. Sin ellos, cada desacuerdo queda en opiniones. Nuestra lista para juzgar un dataset de video te da un punto de partida.
- Escribir una especificación a medida cuando los datos públicos alcanzaban. Lee primero cuándo bastan los datos públicos.
Cómo TaskCapture maneja las especificaciones
Ofrecemos tres tipos de datos: residencial, comercial y videojuegos, donde los videojuegos son la pantalla más cada entrada de teclado, mouse o control en sincronía. Las grabaciones llevan metadatos como el dispositivo usado, marcas de tiempo y datos de ubicación o GPS cuando la grabación los incluye; los videojuegos suman el registro de entradas. El video y los metadatos se entregan en el formato que pides, después de la revisión de calidad. La resolución, la tasa de fotogramas, los volúmenes mínimos y los plazos se acuerdan en cada solicitud.
Preguntas frecuentes
¿Qué resolución y tasa de fotogramas debería tener un dataset de video egocéntrico?
No hay una respuesta universal. Los datasets públicos cambian según publicación y variante; los clips canónicos de Ego4D son de 30 FPS, y la publicación de EPIC-KITCHENS de 2018 es 1080p a 59,94 FPS. Di qué necesita tu pipeline y pide por escrito los valores que se van a entregar.
¿Qué metadatos deberían acompañar al video egocéntrico?
Normalmente el dispositivo, las marcas de tiempo y la ubicación cuando la grabación la incluye, más cualquier registro de acciones o entradas sincronizado con el video. Nombra cada campo y su formato en la especificación.
¿Qué es una hoja de datos (datasheet) de un dataset?
Es un documento, propuesto por Gebru et al., que cuenta por qué se creó un dataset, qué contiene, cómo se recolectó y para qué se recomienda. Las Data Cards son un formato parecido.
¿Debería pedir primero una muestra?
Sí. Con una muestra corta ves el encuadre, la cobertura de tareas y el formato de archivo más rápido que con una hoja de especificaciones, y puedes fijar las revisiones de aceptación antes de la recolección completa.