03Compradores
Quem escreveu isto
Somos a TaskCapture e coletamos vídeo egocêntrico sob encomenda para equipes de IA. Tentamos tratar as duas abordagens com justiça. Elas resolvem problemas diferentes, e todo resultado de pesquisa citado abaixo vem de um artigo publicado. A TaskCapture não contrata ninguém para conduzir robôs.
Fatos principais
- O Open X-Embodiment reuniu dados de 22 robôs diferentes, coletados numa colaboração entre 21 instituições.Open X-Embodiment, arXiv 2310.08864
- O DROID tem 76 mil trajetórias de demonstração teleoperada, ou 350 horas de dados de interação, de 564 cenas, coletadas por 50 coletores ao longo de 12 meses.DROID, arXiv 2403.12945
- O artigo do Ego4D relata 3.670 horas de vídeo do dia a dia de 931 pessoas com câmera.artigo do Ego4D, arXiv 2110.07058
- O R3M fez o pré-treinamento de uma representação visual com vídeo humano do Ego4D e relatou aprendizagem mais eficiente em dados, em tarefas de manipulação com robôs.R3M, arXiv 2203.12601
- O MimicPlay usou vídeo de brincadeira humana para aprender planos que orientam um controlador de robô treinado com poucas demonstrações teleoperadas.MimicPlay, arXiv 2302.12422
Quatro termos, definidos
Dados de teleoperação são gravados enquanto um operador humano controla um robô, à distância ou por um aparelho líder que o robô espelha. Se a demonstração for registrada direito, cada quadro da câmera do robô fica pareado com o comando que ele executou, e os dados já estão no espaço de ações daquele robô.
Vídeo egocêntrico é gravado do ponto de vista da própria pessoa, quase sempre com uma câmera na cabeça, enquanto ela faz uma tarefa com as próprias mãos. Nosso texto sobre o que é vídeo egocêntrico (POV) explica como ele é gravado e os datasets mais conhecidos.
A distância de embodiment (embodiment gap) é a diferença entre o corpo que aparece nos dados e o corpo do robô que precisa aprender com eles. Uma mão humana, uma pinça de dois dedos e uma mão robótica de cinco dedos alcançam, agarram e enxergam a cena de jeitos diferentes. Por isso o vídeo humano precisa de um mapeamento antes que um robô consiga agir a partir dele.
Rótulos de ação registram, quadro a quadro, a ação executada. Na teleoperação, são os comandos das juntas ou da pinça do robô. No gameplay gravado com entradas, são os eventos de teclado, mouse ou controle. Vídeo egocêntrico comum não traz nenhum, então as ações têm de ser inferidas a partir do que as mãos fazem.
O que são dados de teleoperação e para que servem
Para o robô que os gravou, dados de teleoperação são o mais perto de uma verdade de referência. Uma pessoa conduz o hardware de verdade, então a demonstração registrada mostra o que aquele robô viu e quais comandos recebeu. Não há nada para traduzir do corpo humano para o robô. Por isso eles combinam com o aprendizado por imitação, em que uma política aprende a copiar demonstrações. O ALOHA é o exemplo conhecido: um sistema bimanual de baixo custo que aprende manipulação fina de ponta a ponta com demonstrações reais, coletadas por uma interface de teleoperação própria. Os autores chamam o algoritmo de Action Chunking with Transformers.
O preço é a cobertura. Cada hora exige um robô, um operador e um lugar para trabalhar. O DROID mostra quanto custa ter amplitude: 76 mil trajetórias de demonstração em 564 cenas e 84 tarefas, coletadas por 50 coletores na América do Norte, na Ásia e na Europa ao longo de 12 meses. Segundo os autores, treinar com esses dados mais variados rendeu políticas com desempenho mais alto e generalização melhor.
O outro caminho é juntar dados de vários laboratórios. O Open X-Embodiment reuniu dados de 22 robôs diferentes numa colaboração de 21 instituições, cobrindo 527 habilidades. Só que juntar dados cria outra distância de embodiment, porque a demonstração de um robô não está no espaço de ações de outro. Nosso mapa de de onde vêm os dados de treinamento de robôs coloca a teleoperação ao lado das outras fontes, e nosso panorama de aprendizado por imitação e pesquisa em VLAs mostra os modelos treinados nesses datasets.
Como o vídeo humano entra na aprendizagem de robôs
O vídeo egocêntrico traz a amplitude que falta à teleoperação. As pessoas já fazem, em cozinhas, galpões e oficinas, as tarefas que os robôs precisam aprender, e uma câmera na cabeça pega a interação entre mãos e objetos sem robô por perto. O artigo do Ego4D relata 3.670 horas de vídeo do dia a dia de 931 pessoas com câmera, em 74 locais de 9 países.
Os pesquisadores usam esse vídeo de pelo menos três jeitos. Nenhum deles dispensa dados do próprio robô.
- O R3M usou o vídeo para representações visuais. Fez o pré-treinamento no Ego4D e relatou aprendizagem mais eficiente em dados, em tarefas de manipulação com robôs, do que treinar do zero. O robô continua aprendendo as ações com as próprias demonstrações; o vídeo humano molda o jeito como ele enxerga.
- O VIP tirou do vídeo humano do Ego4D recompensas e sinais de progresso. Sem ajuste fino com dados específicos da tarefa, gerou uma representação congelada que fornece uma recompensa visual densa para tarefas simuladas e com robôs reais.
- O MimicPlay foi atrás de planos de alto nível. Aprendeu planos latentes com dados de brincadeira humana (vídeo de pessoas interagindo livremente com o ambiente, com as mãos) e com eles orientou um controlador de baixo nível treinado com poucas demonstrações teleoperadas.
Nos três casos, o vídeo humano pode ajudar porque faz os dados do robô renderem mais. Nosso guia sobre como o vídeo humano pode ajudar robôs a aprender detalha essa pesquisa e os limites dela. O conteúdo e a licença de cada dataset estão na nossa comparação dos datasets egocêntricos públicos.
Dados de teleoperação ou vídeo egocêntrico, de relance
| Dados de teleoperação | Vídeo egocêntrico humano | |
|---|---|---|
| O que é capturado | Quadros da câmera do robô mais as ações do próprio robô | Vídeo em primeira pessoa de alguém fazendo a tarefa |
| Rótulos de ação | Embutidos, no espaço de ações do robô | Nenhum; inferidos do movimento de mãos e objetos |
| Compatibilidade de embodiment | Exata para o robô que foi conduzido | Corpo humano; exige um mapeamento do humano para o robô |
| O que a coleta exige | Um robô, um operador e um local a cada hora | Uma pessoa e uma câmera na cabeça |
| Variedade de lugares e tarefas | Limitada a onde os robôs estão | Tão ampla quanto os lugares e as pessoas que você gravar |
| Trabalho de consentimento e privacidade | Em geral, o laboratório ou o local de uso | Autorizações de todos na câmera e permissão de cada local |
| Uso típico na pesquisa | Aprendizado por imitação e ajuste fino de uma política para um robô específico | Pré-treinamento de representações, recompensas e planos em muitas tarefas |
Gameplay com entradas: vídeo com as ações anexadas
Gameplay gravado com cada entrada de teclado, mouse ou controle é um terceiro tipo de dado. A tela mostra o que aconteceu, e o registro de entradas mostra, quadro a quadro, a ação que causou aquilo. O vídeo egocêntrico comum não tem esse pareamento.
O Video PreTraining (VPT) mostra por que isso importa. Os autores treinaram um modelo de dinâmica inversa com uma quantidade pequena de dados rotulados e depois usaram esse modelo para rotular uma fonte grande de vídeos on-line de gente jogando Minecraft. Os agentes que eles treinaram agem pela interface nativa de mouse e teclado. Por isso gameplay com rótulos de ação serve para agentes e modelos que precisam aprender o que uma ação faz na tela.
A TaskCapture grava sessões de gaming assim: a tela do jogo em sincronia com cada entrada de teclado, mouse ou controle, sem câmera e sem voz, chat, nomes de jogador ou dados do jogo.
Quando usar cada um
As duas abordagens se complementam. Escolha os dados de acordo com o objetivo:
| Se o seu objetivo é | Comece com | Por quê |
|---|---|---|
| Pré-treinamento amplo de representações visuais | Vídeo egocêntrico humano | Muitos lugares, pessoas e tarefas sem um robô em cada um |
| Ajuste fino de uma política para o seu robô, no local de uso | Dados de teleoperação | Embodiment exato e rótulos de ação embutidos |
| Um modelo que aprende o que uma ação faz na tela | Vídeo com ações registradas, como gameplay com entradas | Cada quadro vem pareado com a ação que o produziu |
| Um robô que trabalha em muitos lugares reais | Os dois: vídeo egocêntrico pela amplitude, teleoperação para fechar a distância de embodiment | Cada um cobre a fraqueza do outro |
Se um dataset público já cobre o seu ambiente é outra pergunta, e quem responde é nosso guia sobre quando dados públicos bastam e quando encomendar coleta sob encomenda.
Um exemplo prático: um conjunto pequeno de teleoperação com pré-treinamento egocêntrico
A equipe deste exemplo é inventada, e deixamos os números de fora de propósito.
Uma equipe quer que um robô de dois braços recolha e acomode louças em cozinhas comerciais. Levar o robô a cada cozinha possível consumiria meses de operador, então a equipe divide o problema.
- Numa cozinha de testes, operadores conduzem o robô pelas habilidades centrais, como pegar um prato e colocá-lo num escorredor. Isso dá dados estreitos e exatos, no espaço de ações do próprio robô.
- Para ter amplitude, a equipe reúne vídeo em primeira pessoa de lavadores de pratos e cozinheiros de preparo fazendo as mesmas tarefas em muitas cozinhas, com autorização de todos na câmera e permissão de cada local.
- Ela faz o pré-treinamento da representação visual do robô com o vídeo egocêntrico, no padrão do R3M descrito acima, e depois faz o ajuste fino da política com as demonstrações teleoperadas.
- Ela testa o robô em cozinhas que não aparecem em nenhum dos dois datasets. O vídeo servia para cobrir os lugares aonde a teleoperação não chegou, então é lá que se avalia.
A metade egocêntrica é o tipo de pedido cujo escopo a TaskCapture define: as tarefas, os ambientes, as horas e o prazo, com resolução, taxa de quadros, volumes mínimos e prazo de entrega combinados por pedido.
Erros comuns
- Muita equipe trata os dois como substitutos. Vídeo humano não carrega ações de robô, e a teleoperação raramente chega a muitos locais: se o robô vai trabalhar em lugares variados, planeje os dois.
- É fácil supor que dados reunidos de vários robôs não têm distância. Só que a demonstração de um robô não está no espaço de ações de outro, mesmo dentro do mesmo dataset.
- Tem quem julgue um dataset pelas horas, e horas não dizem nada sobre enquadramento, cobertura de tarefas ou se os metadados batem com o vídeo. Antes de comprar, use um checklist para avaliar um dataset de vídeos.
- Outros pulam a licença. Datasets egocêntricos públicos têm termos próprios, e alguns, como o EPIC-KITCHENS, são publicados só para uso não comercial.
- Um erro mais discreto é pré-treinar com lugares que não se parecem com o destino: vídeo gravado em casas pode não preparar um robô para um galpão. Grave ou escolha imagens parecidas com o local de trabalho do robô.
Consentimento, e perguntas para qualquer fornecedor de dados
Seja qual for o fornecedor, estas cinco perguntas separam dados aproveitáveis de um risco:
- Quem gravou, onde e com qual acordo?
- Cada pessoa identificável assinou uma autorização? Cada local comercial deu permissão por escrito?
- Como a qualidade é conferida antes da entrega, e com quais critérios?
- Que metadados vêm com o vídeo: aparelho, marcações de tempo, localização, registros de ação?
- O que a licença deixa você fazer com os dados? Alguém fica proibido de identificar as pessoas que aparecem?
Nossas respostas são curtas. Toda pessoa identificável na câmera assina uma autorização, e todo local comercial dá permissão por escrito. As imagens só chegam aos compradores depois da revisão de qualidade, e o contrato proíbe os compradores de identificar qualquer pessoa nelas. A Política de Privacidade traz essas regras completas, e a página de coleta de dados egocêntricos sob encomenda mostra tipos de dados, metadados e formatos.
Perguntas frequentes
O que é teleoperação em robótica?
É uma pessoa controlando um robô à distância, por um controle ou por um aparelho líder que o robô espelha. Na aprendizagem de robôs, também é assim que se coletam demonstrações: os quadros da câmera do robô e os comandos que ele executou são gravados juntos, como dados de treinamento.
Robôs podem aprender com vídeo humano?
Pode ajudar. O R3M e o VIP fizeram pré-treinamento com vídeo humano do Ego4D e relataram ganhos em tarefas de robô, e o MimicPlay usou vídeo de brincadeira humana para orientar um controlador. Nos três casos, o robô ainda precisou de dados no próprio espaço de ações, ou de uma recompensa, para agir.
O vídeo egocêntrico pode substituir dados de teleoperação?
Sozinho, não. Ele não tem rótulos de ação de robô, e o corpo que aparece nele não é o do robô. A pesquisa citada usa esse vídeo para fazer um conjunto menor de demonstrações de robô render mais.
Vídeo egocêntrico é mais barato de coletar do que teleoperação?
Por hora de imagens, ele exige menos: uma pessoa e uma câmera na cabeça, no lugar de um robô, um operador e um local. Se sai mais barato para o seu objetivo depende de quantos dados específicos do robô você ainda precisa para fechar a distância de embodiment.
O que é a distância de embodiment?
É a diferença entre o corpo que produziu os dados e o robô que aprende com eles, como uma mão humana e uma pinça de dois dedos. Para o robô que os produziu, dados de teleoperação não têm distância. Dados de um robô usados em outro robô têm.
Por que gravar gameplay com entradas, em vez de só a tela?
O registro de entradas já é o rótulo de ação. O VPT precisou de uma quantidade pequena de dados rotulados para treinar o modelo que rotulou seu conjunto mais amplo de vídeos de Minecraft. Se você grava as entradas, cada quadro já vem com o rótulo.
Quais datasets públicos essa pesquisa usa?
O Ego4D é a fonte de vídeo humano do R3M e do VIP. O Open X-Embodiment e o DROID são coleções públicas de demonstrações de robôs. Cada um tem a própria licença; leia antes de qualquer uso comercial.
A TaskCapture coleta dados de teleoperação?
Não. A TaskCapture não contrata ninguém para conduzir robôs. Ela coleta vídeo em primeira pessoa de trabalho real e gameplay gravado com todas as entradas.