Datasets públicos de vídeo egocêntrico comparados

Compare o escopo antes do tamanho

O guia de pré-treinamento egocêntrico separa observações humanas de dados de ação de robôs. As três coleções abaixo registram atividade humana. Um experimento de robótica pode usá-las, mas as horas delas continuam não sendo horas de demonstrações com robôs.

Cada número vem de um desenho de coleta diferente. As visões combinadas do Ego-Exo4D, em especial, não podem ser contadas como horas só em primeira pessoa. Se a perspectiva for nova para você, leia a explicação simples de vídeo egocêntrico antes de decidir de quais fluxos de câmera o seu método precisa. Use a tabela como lista curta e depois abra a versão e o subconjunto de tarefas que interessam.

Ego4D: atividade cotidiana ampla

O artigo do Ego4D cobre vídeos da vida diária em cenários domésticos, ao ar livre, de trabalho e de lazer. Ele relata 3.670 horas captadas por 931 pessoas usando a câmera. O site do Ego4D traz outro número: 923 participantes. Citamos cada número com a sua fonte e não juntamos os dois numa contagem única corrigida.

A amplitude do dataset é um motivo para ir olhar as atividades que importam para você. Ela não prova que uma tarefa específica está bem coberta. Para um estudo proposto, liste as interações de que você precisa e confira se o material e as anotações a que você tem acesso dão conta delas. Deixe o identificador da versão ao lado de cada afirmação de cobertura nas notas do experimento.

Pelo site do projeto, para obter o dataset ou as anotações você precisa revisar e aceitar o acordo de licença. Coloque essa etapa no planejamento. Ter o link do artigo não dá acesso a nada.

EPIC-KITCHENS: atividade detalhada na cozinha

O artigo do EPIC-KITCHENS-100 relata 100 horas, 20 milhões de quadros e 90 mil ações em 45 ambientes. As gravações mostram atividade sem roteiro, filmada com câmeras presas à cabeça. Entre os desafios de pesquisa estão reconhecimento, antecipação e detecção de ações, entre outros.

Se a sua pergunta é sobre ações na cozinha, é uma coleção concreta para inspecionar. Ela não diz nada sobre uma tarefa de fábrica nem sobre os controles de um robô específico. Comece pelas definições das ações, assista a exemplos e anote qualquer diferença entre o escopo da coleção e o uso que você planeja.

Os termos publicados do dataset indicam a licença Creative Commons Atribuição-NãoComercial 4.0 Internacional, que proíbe o uso comercial do material sob essa licença publicada. Não apresente o dataset como dados de treinamento comerciais sem restrições. Se uma organização quiser outro arranjo, precisa resolver isso com o titular dos direitos e passar pela própria revisão.

Ego-Exo4D: atividades de habilidade em várias visões

O artigo do Ego-Exo4D descreve gravações simultâneas egocêntricas e exocêntricas de atividades de habilidade, como esportes, música, dança e conserto de bicicletas. As 1.286 horas relatadas combinam visões. Leve isso em conta ao planejar armazenamento, escolher fluxos ou estimar quanto material em primeira pessoa o seu método pode usar.

A página oficial do projeto diz que é preciso assinar as licenças do Ego-Exo4D e deixa claro que ter assinado as do Ego4D não dispensa uma nova assinatura. Os nomes são parecidos, mas os acordos de acesso são outros.

As instruções oficiais de licença descrevem uso em pesquisa e comercial, com restrições à redistribuição e a outras atividades. Um resumo na documentação não é uma permissão irrestrita, então leia o acordo inteiro pensando no uso que você propõe.

Se o experimento é sobre uma habilidade específica, decida se você precisa de visões externas sincronizadas além da visão do participante. Nosso guia de pesquisa em aprendizado robótico explica por que os insumos de dados e o objetivo de aprendizado posterior devem ser descritos separadamente.

Verifique o acesso e os termos antes de baixar

1. 01

   Identifique a versão

   Anote a versão do dataset, os fluxos desejados, as anotações e o subconjunto de tarefas.

2. 02

   Leia os termos de origem

   Use o acordo ou a licença do dono do dataset. Um resumo num site de hospedagem não basta.

3. 03

   Registre o uso pretendido

   Diferencie experimentos internos, desenvolvimento de produto e questões de redistribuição para a revisão.

4. 04

   Confirme o processo de acesso

   Reserve tempo para assinar acordos e obter aprovações antes de agendar o experimento.

5. 05

   Preserve a decisão

   Guarde os termos revisados e as informações da versão junto do seu inventário de dados.

Os rascunhos dos acordos do Ego4D descrevem um Propósito limitado e nenhum direito de sublicenciar. Eles incluem desenvolvimento de produtos comerciais dentro de usos permitidos específicos, o que também não libera a redistribuição do material. Confira os termos que você de fato assinar. Aqui comparamos termos publicados, sem dar aconselhamento jurídico; o checklist de licenciamento de dados de treinamento organiza as perguntas para o seu revisor.

Quando os dados públicos deixam uma lacuna

Antes de concluir que um dataset não basta, monte uma pequena planilha de requisitos. Separe os problemas em atividades ausentes, visões ausentes, anotações que não servem e direitos não resolvidos. Cada um é um motivo diferente para parar e leva a um próximo passo diferente.

Pense numa equipe ilustrativa que estuda um procedimento de trabalho. Uma coleção pública pode dar a ela um bom ponto de partida e mesmo assim não ter aquele procedimento. A equipe deve registrar a lacuna antes de considerar coleta sob medida versus dados prontos. Depois, pode colocar as atividades e entregas necessárias nas especificações do dataset e usar o pedido de dados para compradores para descrever a necessidade.

Erros comuns

• Escolher só pelo total de horas. As horas não são equivalentes; compare as atividades e os fluxos que servem para você.
• Misturar as contagens de participantes. Os números do artigo e do site do Ego4D são citados cada um com a sua fonte.
• Achar que público quer dizer liberado para uso comercial. A licença publicada do EPIC-KITCHENS é não comercial.
• Tomar o acesso como prova de que o dataset serve. Um download aprovado não valida o seu modelo nem o desenho da avaliação.
• Chamar vídeo humano de dados de ação de robôs. O panorama dos dados de treinamento separa as categorias para que o seu experimento nomeie os insumos reais.

Perguntas