Dataset personalizado frente a datos de entrenamiento ya existentes: cómo elegir

Qué te dan los datasets ya existentes

Los datasets listos para usar ya existen. Los datasets egocéntricos públicos los armaron consorcios de investigación, con protocolos, anotaciones y benchmarks documentados, así que puedes empezar a entrenar y comparar tus resultados con lo publicado. En nuestra página de datos de video egocéntrico verás estos datasets públicos y la recolección a medida en una misma tabla.

Lo que atrae es la escala y la variedad. El artículo de Ego4D describe 3.670 horas en cientos de escenarios (hogar, exteriores, trabajo, ocio) de 931 personas con cámara. EPIC-KITCHENS-100 reúne 100 horas de actividad de cocina sin guion en 45 entornos, con unas 90.000 acciones anotadas. Para preentrenar, fijar líneas base o correr benchmarks, pocos equipos podrían grabar algo así por su cuenta. En nuestra comparación de los principales datasets egocéntricos públicos está lo que trae cada uno.

Sus límites

Lo que ya existe no se puede cambiar, y hay tres límites que aparecen una y otra vez.

• El alcance es lo que se grabó: esas tareas, esos lugares, esas personas. Si tu modelo tiene que manejar un flujo de trabajo concreto, como la línea de preparación de un restaurante o una estación de recogida en un almacén, puede que salga unos segundos o que no salga nunca.
• Las condiciones de licencia cambian según el dataset. EPIC-KITCHENS dice "You may not use the material for commercial purposes" en su licencia pública, aunque ofrece un contacto para licencias comerciales. El acuerdo de licencia de Ego4D permite desarrollo de productos comercial o no comercial dentro de su finalidad, pero "without the right to sublicense". En nuestra lista de licencias y consentimiento tienes qué revisar.
• El formato viene con la publicación. La resolución, los fotogramas por segundo, los metadatos y las anotaciones son los que se publicaron, y tu pipeline se tiene que adaptar a ellos.

Los datos públicos pueden ser la opción correcta igual. Estos límites te dicen si te alcanzan por sí solos.

Cambio de distribución: cuando tu entorno no está en los datos

Si entrenas un modelo con una distribución y lo usas en otra, puede perder precisión. El conjunto de referencia WILDS dice que los cambios de distribución, cuando la distribución de entrenamiento difiere de la de prueba, "can substantially degrade the accuracy" de sistemas de aprendizaje automático usados en el mundo real. WILDS trata del aprendizaje automático en general y no evalúa video de robots. Aun así, el razonamiento vale para cualquier entorno que tus datos de entrenamiento no muestren.

En video egocéntrico pasa lo mismo. EPIC-KITCHENS-100 armó un reto con esa pregunta: ¿un modelo entrenado con material de 2018 generaliza a material grabado dos años después? Haz una prueba parecida antes de comprar. Evalúa un modelo entrenado con datos públicos en material que se parezca a tu despliegue y mide cuánto baja.

Cuándo vale la pena la recolección a medida

La recolección a medida no es automáticamente mejor. Cubre menos, tarda más en arrancar y solo rinde si la especificación apunta al hueco que mediste. Escríbela con nuestra lista de especificaciones para un dataset egocéntrico.

Un enfoque híbrido

Puedes usar las dos cosas. Un esquema común:

1. Empieza con datos públicos para preentrenar y fijar líneas base, dentro de su licencia.
2. Mide el hueco evaluando en material de tu entorno objetivo.
3. Encarga material a medida para ese hueco: las tareas, los locales o las regiones que faltan en los datos públicos.
4. Lleva cada fuente por separado en tus registros, con su propia licencia y documentación.

Con los distintos tipos de datos funciona igual. Nuestra guía de video egocéntrico comparado con datos de teleoperación muestra cómo los equipos combinan video humano amplio con demostraciones de robot más acotadas para el aprendizaje de robots.

Errores frecuentes

• Comprar datos a medida sin haber probado los públicos. Mide primero el hueco; quizá necesites menos de lo que crees.
• Dar por hecho que una descarga pública permite uso comercial. Lee la licencia y fíjate si existe una opción comercial aparte.
• Encargar con una especificación vaga. "Más video de cocina" repite lo que los datos públicos ya tienen, así que di qué tareas y qué lugares faltan.
• Juzgar un dataset solo por sus horas. Mejor aplica una lista para juzgar un dataset de video sobre una muestra.
• Olvidarte de las demás fuentes. La simulación, las flotas de robots y la teleoperación también dan datos de entrenamiento, y nuestro mapa de de dónde vienen los datos de entrenamiento para robots los pone en orden.

Cómo TaskCapture recolecta datos a medida

Recolectamos a pedido: nos envías una solicitud, buscamos recolectores que ya hacen esas tareas, ellos graban el trabajo y tú recibes el material después de la revisión de calidad. Ofrecemos tres tipos de datos: residencial, comercial y videojuegos con entradas sincronizadas. El video y los metadatos vienen en el formato que pides, y la resolución, la tasa de fotogramas, los volúmenes mínimos y los plazos se acuerdan en cada solicitud. Confirmamos la cobertura cuando delimitamos tu solicitud.

Preguntas frecuentes