- Datasheets for Datasets propõe documentar a motivação, a composição, a coleta e os usos recomendados de um dataset.Datasheets for Datasets
- Data Cards descreve uma documentação estruturada que cobre a origem do dataset, seus métodos e o uso pretendido.Data Cards
- O EPIC-KITCHENS-100 inclui uma avaliação de generalização para gravações feitas dois anos depois.Rescaling Egocentric Vision
- Uma auditoria de licenças de datasets de texto encontrou informações de licença ausentes ou mal classificadas. Ela não avaliou qualidade de vídeo.Data Provenance Initiative
Leia a documentação antes de ver o vídeo de destaques
A comparação de pré-treinamento egocêntrico parte do uso pretendido, porque pré-treinamento visual e aprendizado de ações de robô pedem evidências diferentes. Escreva esse uso no topo da revisão. Depois peça ao fornecedor uma descrição da versão específica que você receberia.
O Datasheets for Datasets traz uma estrutura que funciona: por que o dataset existe, o que tem nele, como foi coletado e quais usos os criadores recomendam. O Data Cards leva a conversa sobre documentação para todas as pessoas envolvidas no ciclo de vida do dataset. Nenhum dos dois artigos certifica que um dataset específico serve para o seu modelo.
Use essa estrutura para montar o pedido de documentos: identificador da versão, escopo da coleta, inventário de arquivos, definições das anotações, limitações conhecidas e usos permitidos. O guia de especificações de dataset transforma essas perguntas em campos que o fornecedor consegue preencher. Consiga o que falta antes de deixar uma amostra caprichada falar pela coleção inteira.
Um checklist prático de qualidade
| O que verificar | Como inspecionar | Motivo para investigar mais |
|---|---|---|
| Visibilidade da tarefa | Assista a exemplos completos, incluindo a preparação e o resultado | A interação decisiva fica fora do quadro |
| Imagem utilizável | Inspecione os originais no fluxo de decodificação que você vai usar | As amostras diferem dos arquivos entregues |
| Sincronização | Compare carimbos de tempo e quaisquer fluxos pareados | O alinhamento não está documentado ou é inconsistente |
| Significado das anotações | Leia as definições e confira os limites nos exemplos | Revisores interpretam o mesmo rótulo de formas diferentes |
| Cobertura | Agrupe as amostras por tarefa, ambiente e sessão de gravação | Uma categoria anunciada não tem exemplos que possam ser inspecionados |
| Tratamento de duplicatas | Pergunte como os clipes e as sessões se relacionam | Material quase idêntico aparece em diferentes partições de avaliação |
| Procedência | Rastreie os arquivos até a coleta e os termos documentados | O fornecedor não consegue explicar a origem nem as permissões |
A tabela é um método de revisão e não traz uma nota de corte universal, então defina os seus limites pela tarefa. Antes de exigir uma resolução mínima, decida que detalhe o anotador precisa conseguir distinguir. Um rótulo de resolução sozinho não prova que a interação aparece.
Verifique cobertura e distribuição separadamente da qualidade do arquivo
Monte uma planilha de cobertura com as atividades, os objetos e os ambientes que a sua avaliação exige, e marque cada célula como presente, ausente ou desconhecida. Deixe o "desconhecido" à vista: ele não conta como cobertura. Pergunte se a amostra foi escolhida para mostrar variedade ou tirada de um jeito que reflita a entrega proposta.
O artigo do EPIC-KITCHENS-100 trata o tempo como um eixo de avaliação: ele testa a generalização de gravações anteriores para material captado dois anos depois. Essa divisão faz parte do desenho de pesquisa daquele dataset. Ninguém precisa dividir os próprios vídeos do mesmo jeito.
No seu experimento, decida se pessoas, sessões, locais ou datas vão ficar de fora do treino, e anote a escolha antes de olhar os resultados do modelo. Um dataset pode decodificar sem nenhum erro e mesmo assim deixar de fora uma condição de avaliação que importa para você. Se a lacuna é específica, compare dados sob medida e dados prontos pensando nela. Não conte que mais vídeo da mesma atividade vai fechar essa lacuna.
Confira procedência, licenças e evidência de consentimento
A Data Provenance Initiative auditou datasets de texto e relatou omissões e erros nas informações de licença dos sites de hospedagem. Os números dela não medem datasets de vídeo, então não os cite como se medissem. Para quem compra, a lição é mais estreita: leia os termos da fonte original antes de confiar no rótulo de um catálogo.
Em vídeo, os termos publicados do EPIC-KITCHENS são não comerciais. Conseguir baixar o dataset não diz se ele cabe num plano de treinamento comercial. O checklist de licenciamento e consentimento ajuda a organizar a evidência para um revisor qualificado. Ele serve para documentar e não tira nenhuma conclusão jurídica sobre o seu projeto.
Separe os direitos da inspeção visual. Um clipe pode estar nítido e bem rotulado e, mesmo assim, ter o uso permitido indefinido. Registre isso como uma decisão em aberto. Se entrar na média de uma nota geral de qualidade, ninguém mais vê.
Faça uma revisão de amostras que possa ser repetida
- 01
Congele a proposta
Registre a versão, o uso pretendido, a cobertura de tarefas e os formatos de arquivo em revisão.
- 02
Combine a amostragem
Inclua exemplos comuns e casos difíceis, com o método de seleção registrado.
- 03
Inspecione tarefas completas
Anote preparações ausentes, interações escondidas, finais ambíguos e qualquer material privado que precise de revisão.
- 04
Teste o fluxo de dados
Decodifique os arquivos reais, carregue os metadados e confira o alinhamento de qualquer fluxo pareado.
- 05
Revise os rótulos
Peça aos revisores que apliquem as definições escritas e discutam as divergências sobre os mesmos exemplos.
- 06
Tome uma decisão
Separe material aceitável, defeitos corrigíveis e perguntas sem resposta antes de aceitar uma entrega.
Guarde um exemplo de cada problema com o identificador do arquivo e os carimbos de tempo. Assim o pedido de correção aponta para algo concreto: "o contato entre a mão e o objeto fica fora do quadro neste intervalo" é uma afirmação que o revisor consegue conferir. Do lado de quem grava, o guia sobre o que faz uma gravação ser aceita trata dos mesmos pontos de trás da câmera.
Erros comuns
- Assistir só aos destaques que o fornecedor escolheu, sem perguntar como essa amostra se relaciona com a entrega proposta.
- Juntar tudo numa nota só. Imagem, cobertura, rótulos e direitos são decisões separadas.
- Definir limites técnicos antes de ter a tarefa clara. Primeiro decida o que precisa estar visível ou sincronizado.
- Achar que uma boa documentação valida o modelo. Você ainda precisa rodar a avaliação que motivou a compra.
- Comparar ofertas de categorias que não se comparam. O panorama de dados para robôs mostra o que cada tipo de oferta fornece; depois descreva o que você precisa num pedido de dados de vídeo.
Perguntas
Qual é a melhor medida de qualidade de um dataset de vídeo?
Não existe uma só. Comece vendo se os dados servem para um uso definido e depois documente separadamente se os arquivos são utilizáveis, a cobertura, as anotações e as permissões. A decisão final precisa mostrar quais requisitos foram atendidos e quais continuam incertos.
Todo dataset deve usar a mesma resolução e a mesma taxa de quadros?
Não. O checklist não define nenhum limite universal. Defina o detalhe visível e a sincronização que o seu método exige, teste amostras reais e coloque os requisitos que saírem disso na especificação de entrega.
Quanto material de amostra devo revisar?
O suficiente para cobrir as condições que você pretende comprar e os problemas que precisa pegar. Anote o que a amostra não consegue dizer. Uma amostra pequena pode revelar um defeito sem mostrar com que frequência ele aparece na coleção inteira.
A página pública de um dataset garante direitos comerciais?
Não. Leia os termos do próprio dataset. O EPIC-KITCHENS está disponível ao público e a licença publicada é não comercial. Peça uma revisão do uso que você planeja antes de se apoiar num rótulo genérico como "público".