Dataset personalizado ou pronto: como escolher dados de treinamento

O que os datasets prontos oferecem

Datasets prontos já existem. Os datasets egocêntricos públicos foram montados por consórcios de pesquisa, com protocolos, anotações e benchmarks documentados, então você pode começar a treinar e comparar seus números com o que já foi publicado. Na nossa página de dados de vídeo egocêntrico, esses datasets públicos e a coleta personalizada aparecem lado a lado numa tabela só.

O atrativo é a escala e a variedade. O artigo do Ego4D descreve 3.670 horas em centenas de cenários (domésticos, ao ar livre, de trabalho, de lazer), de 931 pessoas com câmera. O EPIC-KITCHENS-100 tem 100 horas de atividade de cozinha sem roteiro em 45 ambientes, com cerca de 90 mil ações anotadas. Para pré-treinamento, linhas de base e benchmarks, poucas equipes conseguiriam gravar algo assim por conta própria. Nossa comparação dos principais datasets egocêntricos públicos mostra o que vem em cada um.

Os limites deles

Um dataset pronto não muda, e três limites aparecem com mais frequência.

• O escopo é o que foi gravado: aquelas tarefas, aqueles lugares, aquelas pessoas. Se o seu modelo precisa lidar com um fluxo específico, como a bancada de preparo de um restaurante ou uma estação de separação num galpão, ele pode aparecer por alguns segundos ou nem aparecer.
• Os termos de licença mudam de um dataset para outro. O EPIC-KITCHENS diz "You may not use the material for commercial purposes" sob sua licença pública, embora ofereça um contato para licenças comerciais. O acordo de licença do Ego4D permite desenvolvimento de produtos comercial ou não comercial dentro da finalidade, mas "without the right to sublicense". Nosso checklist de licenciamento e consentimento lista o que verificar.
• O formato vem com a versão publicada. Resolução, taxa de quadros, metadados e anotações são os que saíram na publicação, e o seu pipeline é que tem de se adaptar.

Dados públicos ainda podem ser a escolha certa. Esses limites mostram se eles bastam sozinhos.

Mudança de distribuição: quando o seu ambiente não está nos dados

Se você treina um modelo numa distribuição e o coloca para rodar em outra, ele pode perder precisão. O benchmark WILDS diz que mudanças de distribuição, quando a distribuição de treinamento difere da de teste, "can substantially degrade the accuracy" de sistemas de aprendizado de máquina em uso no mundo real. O WILDS trata de aprendizado de máquina em geral e não testa vídeo de robôs. Mesmo assim, o raciocínio vale para qualquer ambiente que os seus dados de treinamento não mostram.

Com vídeo egocêntrico acontece o mesmo. O EPIC-KITCHENS-100 montou um desafio com essa pergunta: modelos treinados com imagens de 2018 generalizam para imagens gravadas dois anos depois? Faça um teste parecido antes de comprar. Avalie um modelo treinado com dados públicos em imagens parecidas com o seu ambiente de uso e meça quanto ele cai.

Quando a coleta personalizada vale a pena

Coleta personalizada não é automaticamente melhor. Ela cobre menos, demora mais para começar e só compensa se a especificação mirar a lacuna que você mediu. Escreva essa especificação com nosso checklist de especificações de dataset egocêntrico.

Uma abordagem híbrida

Dá para usar os dois. Um esquema comum:

1. Comece com dados públicos para pré-treinamento e linhas de base, dentro da licença deles.
2. Meça a lacuna avaliando em imagens do seu ambiente alvo.
3. Encomende imagens personalizadas para essa lacuna: as tarefas, os locais ou as regiões que faltam nos dados públicos.
4. Registre cada fonte separadamente, com sua própria licença e documentação.

Entre tipos de dados, a lógica é a mesma. Nosso guia sobre vídeo egocêntrico comparado a dados de teleoperação mostra como as equipes combinam vídeo humano amplo com demonstrações de robô mais estreitas na aprendizagem de robôs.

Erros comuns

• Comprar dados personalizados sem testar os públicos antes. Meça a lacuna primeiro; talvez você precise de menos do que imagina.
• Achar que um download público libera uso comercial. Leia a licença e veja se existe uma opção comercial à parte.
• Encomendar com uma especificação vaga. "Mais vídeo de cozinha" repete o que os dados públicos já têm, então diga quais tarefas e quais lugares estão faltando.
• Julgar um dataset só pelas horas. Use um checklist para avaliar um dataset de vídeos numa amostra.
• Esquecer as outras fontes. Simulação, frotas de robôs e teleoperação também fornecem dados de treinamento, e nosso mapa de de onde vêm os dados de treinamento de robôs organiza todas elas.

Como a TaskCapture coleta dados personalizados

Coletamos sob encomenda: você manda um pedido, nós encontramos coletores que já fazem essas tarefas, eles gravam o trabalho, e você recebe as imagens depois da revisão de qualidade. Oferecemos três tipos de dados: residencial, comercial e gaming com entradas sincronizadas. Vídeo e metadados vêm no formato que você pedir, e resolução, taxa de quadros, volumes mínimos e prazos de entrega são combinados por pedido. A cobertura fica confirmada quando definimos o escopo do seu pedido.

Perguntas frequentes