- Os clipes canônicos do Ego4D rodam a 30 FPS constantes, e a variante "540ss" dele é reduzida para o lado mais curto ter 540 pixels.documentação de vídeos do Ego4D
- A versão em vídeo do EPIC-KITCHENS de abril de 2018 documenta 1080p a 59,94 FPS, e observa que alguns vídeos foram gravados em outras resoluções ou taxas de quadros.readme do EPIC-KITCHENS da Universidade de Bristol
- Datasheets for Datasets propõe que todo dataset documente motivação, composição, processo de coleta e usos recomendados.Gebru et al., arXiv 1803.09010
- Os Data Cards documentam fontes de origem, métodos de coleta e de anotação, e uso pretendido.Pushkarna et al., arXiv 2204.01075
Para que serve uma especificação de dataset
Com "precisamos de vídeo de cozinha", o fornecedor não sabe o que gravar. A especificação transforma isso num trabalho que ele consegue gravar, revisar e entregar, e que você consegue conferir quando chega. Ela também deixa você comparar um dataset público e uma coleta sob encomenda pelos mesmos critérios. Nossa página de dados de vídeo egocêntrico mostra o pedido que este checklist alimenta, e nosso texto sobre o que é vídeo egocêntrico (POV) explica o formato.
Quase todos os campos cabem em três grupos. Uns dizem o que é gravado (tarefas, ambientes, enquadramento), outros como sai a entrega (arquivos, taxa de quadros, metadados), e o resto trata dos termos (documentação, consentimento, licença).
O checklist da especificação
| Campo | Por que importa | O que escrever |
|---|---|---|
| Tarefas | Decide o que o modelo pode aprender | Atividades nomeadas, do início ao fim: "cortar e montar pratos numa bancada de preparo", não "cozinhar" |
| Ambientes e regiões | Imagens de um tipo de lugar podem não se transferir para outro | Tipo de local, e países ou regiões se importarem |
| Volume e prazos | Define escopo e cronograma | Horas de imagens, número de tarefas ou sessões, e uma data limite |
| Ponto de vista e enquadramento | Mãos e objetos saindo do quadro tornam clipes inúteis para manipulação | Posição da câmera, e o que deve permanecer visível |
| Formato de vídeo | Os arquivos precisam abrir no seu pipeline sem surpresas de recodificação | Contêiner, codec, resolução e taxa de quadros dos arquivos entregues |
| Versão ou variante | Muitos datasets distribuem várias codificações das mesmas imagens | Qual variante você está comprando, pelo nome |
| Metadados | Permitem filtrar, sincronizar e auditar clipes | Aparelho, marcações de tempo, localização, e registros de ações ou entradas |
| Anotações | Rótulos custam tempo; saiba quem os acrescenta | Nenhuma, acrescentadas pelo fornecedor, ou pela sua equipe depois |
| Documentação | Responde às perguntas que você faria por e-mail | Uma ficha técnica (datasheet) ou data card junto com a entrega |
| Consentimento e licença | Decide se você pode usar os dados | Autorizações, permissões dos locais, usos permitidos |
| Amostra e aceitação | Detecta problemas antes da entrega completa | Uma amostra primeiro, e as verificações que um clipe precisa passar |
As duas últimas linhas têm guia próprio: nosso checklist de licenciamento e consentimento de dados de treinamento lista o que perguntar a qualquer fornecedor.
Resolução, taxa de quadros e versões
Vídeo egocêntrico não tem uma resolução nem uma taxa de quadros certa. O que importa é a especificação dizer quais arquivos você vai receber, e os datasets públicos mostram por quê.
A documentação de vídeos do Ego4D descreve clipes canônicos a 30 FPS constantes e uma variante "540ss" reduzida para o lado mais curto ter 540 pixels. Esses valores são de arquivos específicos distribuídos; a gravação original da câmera pode ser diferente. As notas da versão do EPIC-KITCHENS de 2018 indicam 1080p a 59,94 FPS numa GoPro Hero 5 e depois listam exceções: alguns vídeos foram gravados em resoluções, campos de visão ou taxas de quadros diferentes, por erro do participante ou da câmera.
Escreva a especificação pensando nos arquivos entregues: resolução, taxa de quadros, se essa taxa é constante, codec e o que acontece com arquivo fora do padrão. Além do formato nominal, pergunte como o fornecedor avisa das exceções.
Metadados e documentação
Os metadados acompanham cada gravação. Em trabalho egocêntrico, costumam servir o aparelho de gravação, as marcações de tempo, a localização quando a gravação a embute e, em material interativo, um registro de ações ou entradas sincronizado com o vídeo. Diga quais campos quer e em que formato, por exemplo um arquivo por clipe, indexado pelo ID do clipe.
A documentação descreve o dataset inteiro. Datasheets for Datasets propõe uma ficha com motivação, composição, processo de coleta e usos recomendados de um dataset. Os Data Cards acrescentam fontes de origem, métodos de coleta e de anotação, métodos de treinamento e de avaliação, e uso pretendido. O Dataset Nutrition Label apresenta a mesma ideia como um panorama dos "ingredientes" de um dataset antes do desenvolvimento do modelo. Aceite o formato que o fornecedor usa e compare com o que ele entrega.
Cobertura de tarefas e amostragem
É na cobertura que as especificações mais erram. Para deixá-la clara:
- Liste as tarefas que o seu modelo precisa dominar, com as palavras que um operador usaria.
- Diga quanto cada tarefa deve variar: pessoas, locais, ferramentas e iluminação diferentes.
- Decida como as sessões são amostradas: turnos inteiros ou só os trechos da tarefa, e quem marca esses trechos.
- Combine uma amostra e as verificações de aceitação antes de a coleta completa começar.
Até onde ir em amplitude é uma decisão de desenho. O artigo do Ego4D descreve vídeo que abrange centenas de cenários em ambientes domésticos, ao ar livre, de trabalho e de lazer. Uma coleta sob encomenda costuma ser mais estreita e ir mais fundo nas tarefas que importam para você. Nossa comparação dos principais datasets egocêntricos públicos mostra o que as opções públicas cobrem, e nosso guia sobre vídeo egocêntrico comparado a dados de teleoperação explica o que cada tipo de dado ensina a um robô.
Erros comuns
- Pedir uma categoria no lugar de uma tarefa. "Vídeo de galpão" não dá para delimitar; "separar itens de prateleiras para caixas" dá.
- Especificar a câmera quando o que você precisa são os arquivos. O formato nominal da câmera pode não ser o que chega, então defina resolução, taxa de quadros e codec da entrega.
- Esquecer as versões. Duas codificações do mesmo dataset são duas especificações diferentes: diga qual variante você quer.
- Deixar os metadados subentendidos. Se você precisa de marcações de tempo ou registros de entradas, escreva isso com o formato.
- Pular os critérios de aceitação. Sem eles, toda divergência vira questão de opinião. Nosso checklist para avaliar um dataset de vídeos dá um ponto de partida.
- Escrever uma especificação sob encomenda quando dados públicos resolveriam. Leia antes quando dados públicos bastam.
Como a TaskCapture trata especificações
Oferecemos três tipos de dados: residencial, comercial e gaming, em que gaming é a tela com cada entrada de teclado, mouse ou controle em sincronia. As gravações trazem metadados como o aparelho usado, marcações de tempo e dados de localização ou GPS quando a gravação os embute; o gaming acrescenta o registro de entradas. Vídeo e metadados são entregues no formato que você pedir, depois da revisão de qualidade. Resolução, taxa de quadros, volumes mínimos e prazos de entrega são combinados por pedido.
Perguntas frequentes
Quais resolução e taxa de quadros um dataset de vídeos egocêntricos deve ter?
Não há resposta universal. Datasets públicos variam por versão e variante; os clipes canônicos do Ego4D são de 30 FPS, e a versão do EPIC-KITCHENS de 2018 é 1080p a 59,94 FPS. Diga do que o seu pipeline precisa e peça por escrito os valores da entrega.
Quais metadados devem acompanhar vídeo egocêntrico?
Normalmente o aparelho, as marcações de tempo e a localização quando a gravação a embute, além de registros de ações ou entradas sincronizados com o vídeo. Nomeie cada campo e o formato dele na especificação.
O que é um datasheet de um dataset?
É um documento, proposto por Gebru et al., que diz por que um dataset foi criado, o que ele contém, como foi coletado e para que é recomendado. Data Cards são um formato parecido.
Devo pedir uma amostra primeiro?
Sim. Uma amostra curta mostra enquadramento, cobertura de tarefas e formato de arquivo mais rápido do que uma ficha técnica, e você já define as verificações de aceitação antes da coleta completa.