03Compradores
Fatos principais
- Três tipos de dados: egocêntrico residencial, egocêntrico comercial e gaming com entradas sincronizadas.seção de dados do site; Acordo do Coletor de Dados §1.2
- Toda pessoa identificável nas imagens assinou uma autorização, e todo local comercial deu permissão por escrito.Política de Privacidade §2, "If you appear in footage"
- As imagens só chegam aos compradores depois de passar pela revisão de qualidade.Política de Privacidade §4
- Os datasets nunca incluem nome, contato ou dados de pagamento dos coletores, e os contratos proíbem os compradores de identificar qualquer pessoa nas imagens.Política de Privacidade §4
- A TaskCapture trabalha com centenas de coletores de dados em mais de 50 países.bloco da rede na página inicial; ficha de fatos F6
O que é vídeo egocêntrico e por que equipes de robótica o usam
Vídeo egocêntrico é gravado do ponto de vista de quem faz a tarefa, normalmente com uma câmera na cabeça. Dá para ver mãos, ferramentas e objetos na distância e no ângulo em que o trabalho acontece, e as etapas aparecem na ordem em que a pessoa fez. Para começar do básico, leia nosso texto sobre o que é vídeo egocêntrico.
A câmera do próprio robô vê algo muito parecido quando ele manipula objetos, e é por isso que pesquisadores de aprendizagem de robôs usam esse material no pré-treinamento. O R3M fez o pré-treinamento de uma representação visual com vídeo humano do Ego4D e relatou que isso ajudou robôs a aprender tarefas de manipulação com poucas demonstrações. O que se busca é eficiência de dados: com uma representação aprendida em vídeo humano variado, um robô pode aprender uma tarefa nova com menos demonstrações próprias. Nosso guia sobre como o vídeo humano pode ajudar robôs a aprender mostra essa pesquisa e até onde ela vai.
Três tipos de dados
Cada pedido pode usar um tipo ou vários.
| Residencial | Comercial | Gaming | |
|---|---|---|---|
| Ambientes | A casa do próprio coletor | Bancadas de restaurantes, galpões, varejo, oficinas e serviços, hotéis, fazendas | O setup de jogos do próprio coletor |
| Tarefas típicas | Cozinhar, lavar louça, lavar roupa, limpar | O trabalho normal do turno do coletor | Uma sessão de jogo |
| O que aparece | As mãos do coletor e a tarefa, de uma câmera na cabeça | As mãos do coletor e a tarefa, de uma câmera na cabeça, no local com permissão por escrito | A tela do jogo (sem câmera) |
| Sinais extras | Metadados da gravação | Metadados da gravação | Todas as entradas de teclado, mouse ou controle, em sincronia com a tela. Sem voz, chat, nomes de jogador ou dados do jogo |
Do pedido às imagens
Não vendemos um catálogo fixo. A TaskCapture coleta de acordo com a sua especificação.
- 01
Você diz o que precisa
Tarefas, ambientes, horas e prazo.
- 02
Nós encontramos os coletores
Pessoas que já fazem essas tarefas, nos lugares de que você precisa.
- 03
Eles gravam o trabalho
No trabalho físico, uma câmera pequena na cabeça durante as tarefas normais; no gaming, a tela com todas as entradas.
- 04
Você recebe as imagens
Vídeo e metadados no formato que você pedir, depois da revisão de qualidade.
Um exemplo prático: o escopo de um pedido de cozinha comercial
A equipe deste exemplo é inventada, e o caso não usa nenhum número da TaskCapture.
Pense numa equipe de robótica que está pré-treinando uma política de manipulação para preparo comercial de alimentos. No pedido, ela informa o tipo de dado (comercial) e as tarefas ("cortar, porcionar e montar pratos numa bancada de preparo"). Também coloca uma meta de horas, um prazo e os países que importam. Por fim, define o formato: vídeo com marcações de tempo e metadados do aparelho, na resolução e na taxa de quadros que a equipe escolher.
Nós encontramos coletores que já trabalham em bancadas de preparo nesses países. Cada um consegue a permissão por escrito do local e a autorização de cada colega que aparece na câmera. As imagens passam pela revisão de qualidade antes da entrega, e a equipe recebe tudo no formato que pediu. Nem o pedido nem a entrega dizem quem são os coletores: os datasets nunca incluem nome, contato ou dados de pagamento deles.
Consentimento, autorizações e procedência
Toda pessoa identificável na câmera assinou uma autorização. Os coletores precisam obter uma autorização assinada de cada pessoa identificável que gravam e, em qualquer ambiente comercial, a permissão por escrito do dono ou gerente do local. Uma pessoa menor de 18 anos só aparece com autorização assinada de um pai, mãe ou responsável; sem isso, as imagens são rejeitadas e apagadas.
A TaskCapture não faz reconhecimento de rosto ou de voz e não cria identificadores biométricos. Os coletores aceitam cada projeto antes de gravar, e imagens de fornecedores de dados seguem as mesmas regras de consentimento que as dos coletores da própria TaskCapture. Os contratos dos compradores limitam o uso a desenvolver, treinar, avaliar e melhorar modelos de IA e de aprendizado de máquina, e proíbem identificar qualquer pessoa que aparece. As regras completas estão na nossa Política de Privacidade.
Confira a procedência de qualquer dataset, público ou sob encomenda. Quando a Data Provenance Initiative auditou datasets de texto muito usados, encontrou omissão de licença acima de 70% e taxas de erro acima de 50% em sites populares de hospedagem de datasets. Datasets egocêntricos públicos também vêm com termos próprios. O EPIC-KITCHENS, por exemplo, é publicado sob uma licença não comercial. No nosso guia de licenciamento e consentimento de dados de treinamento estão as perguntas para fazer a qualquer fornecedor.
Metadados e formatos
As gravações trazem metadados como o aparelho usado, marcações de tempo e dados de localização ou GPS quando a gravação os embute. As sessões de gaming acrescentam o registro de entradas: cada evento de teclado, mouse ou controle, em sincronia com a tela.
Entregamos vídeo e metadados no formato que você pedir. Resolução, taxa de quadros, volumes mínimos e prazos de entrega são combinados por pedido: indique os seus no formulário. Nosso checklist de especificações de dataset egocêntrico lista os campos que as equipes costumam especificar.
Coleta sob encomenda comparada a datasets públicos
Boa parte da pesquisa começa com datasets egocêntricos públicos. O artigo do Ego4D relata 3.670 horas de vídeo do dia a dia de 931 pessoas com câmera, em 74 locais de 9 países. O EPIC-KITCHENS-100 tem 100 horas de atividade de cozinha sem roteiro, em 45 ambientes, gravadas com câmeras na cabeça, com 90 mil ações anotadas.
| Datasets públicos de pesquisa | Coleta sob encomenda (TaskCapture) | |
|---|---|---|
| Tarefas e ambientes | Fixos: o que foi gravado | Suas tarefas e ambientes, gravados sob pedido |
| Volume | Fixo | Combinado por pedido |
| Licença | Definida por cada dataset; alguns são não comerciais | Combinada no seu contrato |
| Consentimento | Definido pelo protocolo de cada projeto | Autorizações assinadas; permissão do local por escrito |
| Melhor para | Benchmarks, linhas de base, pré-treinamento de pesquisa | Cobrir as tarefas e os lugares que o seu modelo vai encontrar |
Muitos projetos usam os dois: um dataset público para as linhas de base e material sob encomenda para as tarefas que o modelo vai encontrar. Nosso guia sobre os principais datasets egocêntricos públicos compara as opções públicas, e o texto sobre dataset personalizado ou pronto ajuda a escolher entre os dois caminhos.
Como avaliar dados egocêntricos antes de comprar
Peça uma amostra e a documentação antes de fechar. O Datasheets for Datasets propõe as perguntas que a documentação de um dataset deveria responder: por que ele foi criado, o que contém, como foi coletado e para o que não deve ser usado. Em vídeo egocêntrico, veja também se as mãos e a tarefa continuam no quadro, se cada tarefa aparece do início ao fim e se os metadados batem com o vídeo. Nosso guia para avaliar a qualidade de um dataset de vídeos junta essas conferências num checklist.
Erros comuns em pedidos de dados
- Pedir "vídeo de cozinha". Uma categoria assim é difícil de delimitar; "cortar e montar pratos numa bancada de preparo" já é uma tarefa para a qual dá para encontrar coletores.
- Deixar o formato para depois. Indique formato de vídeo, resolução, taxa de quadros e metadados desde o início, porque eles são combinados por pedido.
- Não dizer onde o robô vai trabalhar. Se ele vai operar num tipo específico de local ou num país em particular, coloque isso no pedido.
- Tratar consentimento como burocracia. Além de confirmar que as autorizações e as permissões dos locais existem, pergunte como elas foram coletadas.
- Pular a amostra. Alguns clipes mostram enquadramento e cobertura de tarefas mais rápido do que uma ficha técnica.
O que incluir num pedido
Conseguimos definir o escopo rápido quando o pedido traz estes pontos:
- O tipo de dado: residencial, comercial, gaming ou uma mistura.
- As atividades e os lugares, com o máximo de detalhe que você puder (por exemplo, "preparo em restaurante: cortar e montar pratos").
- Quantas horas de imagens e quantas tarefas você precisa, e a sua data limite.
- Formato de vídeo, resolução, taxa de quadros e os metadados de que você precisa.
- Países ou regiões, se eles importarem para o seu modelo.
Perguntas frequentes
Isto é um dataset pronto ou coleta sob encomenda?
A TaskCapture coleta sob encomenda. Você descreve tarefas, ambientes, horas e prazo, e nós encontramos coletores que já fazem esse trabalho nos lugares de que você precisa.
Como o consentimento é tratado?
Toda pessoa identificável na câmera assina uma autorização, os locais comerciais dão permissão por escrito e pessoas menores de 18 anos só aparecem com autorização de um pai, mãe ou responsável. A TaskCapture não faz reconhecimento de rosto ou de voz, e os contratos proíbem os compradores de identificar qualquer pessoa nas imagens.
Vocês coletam num país ou ambiente específico?
Indique no pedido os países e ambientes de que você precisa. A TaskCapture trabalha com centenas de coletores de dados em mais de 50 países, em ambientes comerciais e residenciais, e nós confirmamos o que conseguimos cobrir ao definir o escopo do seu pedido.
Em quais formatos vocês entregam?
Vídeo e metadados no formato que você pedir. Resolução, taxa de quadros, volumes mínimos e prazos de entrega são combinados por pedido.
Quanto tempo leva uma coleta?
Os prazos de entrega são combinados por pedido. Coloque a sua data limite no formulário, e nós confirmamos o que conseguimos cobrir, e até quando, ao definir o escopo do seu pedido.
Para o que podemos usar os dados?
Os contratos limitam o uso a desenvolver, treinar, avaliar e melhorar modelos de IA e de aprendizado de máquina, e proíbem os compradores de identificar qualquer pessoa nas imagens.
Os dados de gaming incluem câmera ou voz?
Não. Os dados de gaming são a tela do jogo com todas as entradas de teclado, mouse ou controle em sincronia. Não há câmera, nem voz, chat, nomes de jogador ou dados do jogo.
Como isso se compara a dados de teleoperação?
Na teleoperação, uma pessoa conduz o robô pela tarefa e é isso que fica gravado. No vídeo egocêntrico, a própria pessoa faz a tarefa com as mãos dela. Nosso guia de comparação explica quando cada um pode ajudar.