- Datasheets for Datasets propone documentar la motivación, la composición, la recolección y los usos recomendados de un dataset.Datasheets for Datasets
- Data Cards describe una documentación estructurada que cubre el origen del dataset, sus métodos y su uso previsto.Data Cards
- EPIC-KITCHENS-100 incluye una evaluación de la generalización a grabaciones hechas dos años después.Rescaling Egocentric Vision
- Una auditoría de licencias de datasets de texto encontró información de licencia faltante o mal clasificada. No estudió la calidad del video.Data Provenance Initiative
Lee la documentación antes de ver el video de muestra
La comparación de preentrenamiento egocéntrico arranca por el uso previsto, porque el preentrenamiento visual y el aprendizaje de acciones de un robot piden evidencias distintas. Anota ese uso al principio de tu revisión. Luego pídele al proveedor que describa la versión concreta que recibirías.
Datasheets for Datasets propone una estructura que funciona bien: por qué existe el dataset, qué tiene, cómo se recolectó y qué usos recomiendan sus autores. Data Cards lleva la conversación sobre documentación a todas las personas que intervienen en el ciclo de vida del dataset. Ninguno de los dos artículos certifica que un dataset en particular le sirva a tu modelo.
Con esa estructura arma tu pedido de documentos: identificador de la versión, alcance de la recolección, inventario de archivos, definiciones de las anotaciones, limitaciones conocidas y usos permitidos. La guía de especificaciones de un dataset convierte esas preguntas en campos que un proveedor puede llenar. Consigue lo que falte antes de dejar que una muestra muy pulida hable por toda la colección.
Una lista práctica para revisar la calidad
| Qué revisar | Cómo inspeccionarlo | Motivo para investigar más |
|---|---|---|
| Visibilidad de la tarea | Mira ejemplos completos, incluidos la preparación y el resultado | La interacción decisiva queda fuera del cuadro |
| Imagen utilizable | Revisa los originales con el flujo de decodificación que vas a usar | Las muestras difieren de los archivos entregados |
| Sincronización | Compara marcas de tiempo y cualquier flujo emparejado | La alineación no está documentada o es inconsistente |
| Significado de las anotaciones | Lee las definiciones y revisa los límites en ejemplos | Distintos revisores interpretan la misma etiqueta de forma diferente |
| Cobertura | Agrupa las muestras por tarea, entorno y sesión de grabación | Una categoría anunciada no tiene ejemplos que se puedan revisar |
| Manejo de duplicados | Pregunta cómo se relacionan los clips y las sesiones | Aparece material casi idéntico en distintas particiones de evaluación |
| Procedencia | Rastrea los archivos hasta la recolección y los términos documentados | El proveedor no puede explicar el origen ni los permisos |
La tabla es un método de revisión y no trae un umbral de aprobación universal, así que fija los tuyos según la tarea. Antes de pedir una resolución mínima, define qué detalle tiene que poder distinguir un anotador. Una etiqueta de resolución, por sí sola, no prueba que la interacción se vea.
Revisa la cobertura y la distribución aparte de la calidad del archivo
Arma una hoja de cobertura con las actividades, los objetos y los entornos que necesita tu evaluación, y marca cada celda como presente, ausente o desconocida. Deja lo "desconocido" a la vista: no cuenta como cubierto. Pregunta si la muestra se eligió para lucir variedad o se tomó de manera que refleje la entrega propuesta.
El artículo de EPIC-KITCHENS-100 trata el tiempo como un eje de evaluación: prueba la generalización desde grabaciones anteriores hacia material captado dos años después. Esa división es parte del diseño de investigación de ese dataset. Nadie está obligado a dividir su video de la misma forma.
En tu experimento, decide si vas a dejar fuera personas, sesiones, lugares o fechas, y anótalo antes de ver los resultados del modelo. Un dataset puede decodificarse sin un solo error y aun así no cubrir una condición de evaluación que te importa. Si la carencia es puntual, compara datos a medida y datos ya disponibles pensando en esa carencia. No des por hecho que más video de la misma actividad la va a resolver.
Verifica la procedencia, las licencias y la evidencia de consentimiento
La Data Provenance Initiative auditó datasets de texto y reportó omisiones y errores en la información de licencias de los sitios que los alojan. Sus cifras no miden datasets de video, así que no las cites como si lo hicieran. Para quien compra, la lección es más acotada: lee los términos de la fuente original antes de fiarte de la etiqueta de un catálogo.
Ya en video, los términos publicados de EPIC-KITCHENS son no comerciales. Poder descargarlo no te dice si encaja en un plan de entrenamiento comercial. La lista de licencias y consentimiento te ayuda a ordenar la evidencia para que la revise una persona calificada. Sirve para documentar; no saca ninguna conclusión legal sobre tu proyecto.
Separa los derechos de la inspección visual. Un clip puede verse nítido y estar bien etiquetado y, aun así, tener el uso permitido sin aclarar. Anótalo como una decisión pendiente. Si lo promedias dentro de un puntaje general de calidad, desaparece.
Haz una revisión de muestras que puedas repetir
- 01
Congela la propuesta
Registra la versión, el uso previsto, la cobertura de tareas y los formatos de archivo que estás revisando.
- 02
Acuerda el muestreo
Incluye ejemplos comunes y casos difíciles, y deja anotado cómo se seleccionaron.
- 03
Revisa tareas completas
Anota preparaciones que faltan, interacciones ocultas, finales ambiguos y cualquier material privado que requiera revisión.
- 04
Prueba el flujo de datos
Decodifica los archivos reales, carga los metadatos y revisa la alineación de cualquier flujo emparejado.
- 05
Revisa las etiquetas
Pide a los revisores que apliquen las definiciones escritas y discutan los desacuerdos sobre los mismos ejemplos.
- 06
Toma una decisión
Separa el material aceptable, los defectos que se pueden corregir y las preguntas sin respuesta antes de aceptar una entrega.
Guarda un ejemplo de cada problema con su identificador de archivo y sus marcas de tiempo. Así el pedido de corrección señala algo concreto: "el contacto entre la mano y el objeto queda fuera del cuadro en este intervalo" es algo que quien revisa puede comprobar. Del lado de quien graba, la guía sobre qué hace que se acepten las grabaciones explica los mismos puntos desde detrás de la cámara.
Errores comunes
- Mirar solo los mejores momentos que eligió el proveedor sin preguntar qué relación tienen con la entrega propuesta.
- Meter todo en un solo puntaje. La imagen, la cobertura, las etiquetas y los derechos son decisiones separadas.
- Fijar umbrales técnicos antes de tener clara la tarea. Primero define qué tiene que verse o estar sincronizado.
- Tomar una buena documentación como validación del modelo. Igual tienes que correr la evaluación que motivó la compra.
- Comparar ofertas de categorías que no se parecen. El panorama de datos para robots muestra qué aporta cada tipo de oferta; después describe lo que necesitas en una solicitud de datos de video.
Preguntas
¿Cuál es la mejor medida de la calidad de un dataset de video?
No hay una sola. Empieza por ver si los datos sirven para un uso definido y después documenta por separado si los archivos se pueden usar, la cobertura, las anotaciones y los permisos. La decisión final tiene que mostrar qué requisitos se cumplieron y cuáles siguen en duda.
¿Todos los datasets deberían usar la misma resolución y la misma tasa de cuadros?
No. Esta lista no fija ningún umbral universal. Define el detalle visible y la sincronización que necesita tu método, prueba muestras reales y pon los requisitos que salgan en la especificación de entrega.
¿Cuánto material de muestra debería revisar?
Lo suficiente para cubrir las condiciones que piensas comprar y los problemas que necesitas detectar. Anota lo que la muestra no puede decirte. Una muestra chica puede revelar un defecto sin mostrar con qué frecuencia aparece en toda la colección.
¿La página pública de un dataset garantiza derechos comerciales?
No. Lee los términos del propio dataset. EPIC-KITCHENS está disponible al público y su licencia publicada es no comercial. Haz revisar el uso que planeas antes de apoyarte en una etiqueta general como "público".