Pesquisa em aprendizado robótico: modelos VLA, imitação e dados

Aprendizado por imitação: comece pela demonstração

Comece olhando com o que o modelo é treinado. A comparação entre vídeo egocêntrico e teleoperação mostra por que isso pesa tanto. Quando você grava uma demonstração pela interface de controle de um robô, cada observação fica amarrada a uma ação daquele robô. O vídeo de atividade humana mostra uma pessoa, e cabe ao método de aprendizado dizer o que fazer com essas imagens.

O artigo do ACT, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, treina por imitação com demonstrações reais gravadas numa interface de teleoperação própria. O método, Action Chunking with Transformers, aprende sequências de ações. O resultado vale para aquele hardware e aquelas tarefas. Ele não mostra que demonstrações resolvem qualquer problema de controle.

Quando for revisar um artigo de imitação, anote de onde vêm as demonstrações, quais fluxos de observação existem, como uma ação é definida e qual é a tarefa. Com isso em mãos, dá para ver se o que mudou foi a arquitetura, os dados ou a avaliação. Sem esse contexto, não leve um resultado publicado para o seu caso.

Modelos de visão, linguagem e ação e modelos generalistas para robôs

O RT-2 estuda como levar o pré-treinamento em visão e linguagem para o controle de robôs. Ele escreve as ações do robô como tokens de texto e faz um ajuste fino conjunto com trajetórias de robôs e tarefas web de visão e linguagem. Os dados de ação do robô continuam na receita, ao lado dos dados da web.

O OpenVLA é um VLA aberto treinado com demonstrações de robôs reais, e o artigo testa como adaptá-lo a novos ambientes. O artigo do π0 monta uma arquitetura de flow matching sobre um modelo pré-treinado de visão e linguagem e treina com dados de várias plataformas robóticas. São projetos diferentes, e não dá para trocar a receita de um pela do outro.

O Octo é uma política generalista baseada em transformers. Dá para instruí-lo com linguagem ou com uma imagem de objetivo, e ele se adapta a novos espaços de observação e ação. "Política generalista para robôs" nomeia um objetivo mais amplo que qualquer formato de tokens de ação. Guarde a definição de cada artigo junto do rótulo e não presuma que todo modelo de fundação para robôs tem a mesma interface.

Uma linha do tempo curta de leitura

Cada ano é o da primeira versão do preprint. A tabela não é um ranking e deixa de fora o que veio depois. Métodos e avaliação estão nas versões citadas.

Leia nesta ordem: primeiro o sinal de aprendizado, depois a mistura de dados e, por último, adaptação e avaliação. Um método mais novo não vai necessariamente funcionar melhor na sua tarefa.

Os datasets por trás dos modelos

O Open X-Embodiment reúne dados de 22 robôs em formatos padronizados e estuda como aprender políticas que funcionem em robôs diferentes. O conteúdo é experiência de robôs. Gravações em primeira pessoa de gente fazendo suas atividades são outra categoria, então separe as duas quando descrever o que uma política pré-treinada já viu.

O DROID apresenta um dataset de manipulação com robôs reais gravado em cenas e tarefas variadas, e coloca o escopo da coleta no centro da discussão. Se você vai comprar, pergunte quais tarefas, ambientes e observações batem com o seu experimento. Dois datasets com o rótulo de "robótica" podem ter muito pouco em comum.

As coleções de atividade humana formam outra categoria de dados, tratada na comparação de datasets egocêntricos públicos. O panorama dos dados para treinar robôs mostra como as duas cabem num mesmo plano de treinamento, cada uma com sua função.

Onde o vídeo humano se encaixa

O R3M pré-treina uma representação visual com o Ego4D e depois a usa para aprender políticas de robôs. O VIP aprende recompensas e representações visuais a partir de vídeo humano. São dois usos diferentes do vídeo humano: a representação define como as imagens são codificadas, e a recompensa mede quanto se avançou rumo a um objetivo.

O MimicPlay aprende planos com pessoas brincando livremente e os combina com um controle de baixo nível treinado com demonstrações teleoperadas. Lembre disso ao ler o resultado. O vídeo humano é uma parte do sistema, e o controlador aprende com dados de teleoperação.

O guia sobre como os robôs aprendem com vídeos humanos aprofunda esses papéis. Se a sua dúvida é a perspectiva da câmera, comece por o que é vídeo egocêntrico. Gravar em primeira pessoa não torna os dados adequados, e o rótulo VLA também não.

Leia um resultado antes de transformá-lo em requisito de dados

1. 01

   Liste os insumos

   Separe dados web de visão e linguagem, vídeo humano e demonstrações com robôs.

2. 02

   Nomeie a saída

   Anote se o método produz ações, características visuais, recompensas ou planos de alto nível.

3. 03

   Examine a adaptação

   Registre as demonstrações específicas da tarefa ou o ajuste fino necessários depois do pré-treinamento.

4. 04

   Leia a avaliação

   Confira o robô, as tarefas, as condições iniciais e a definição de sucesso.

5. 05

   Escreva o teste proposto

   Especifique o que o seu experimento manteria fixo e o que os dados adicionais mudariam.

Erros comuns

• Ranquear artigos pelos números de destaque sem antes ver se as tarefas, o hardware e os protocolos de avaliação são comparáveis.
• Chamar um pré-treinamento de "só vídeo" quando o método também usa demonstrações com robôs.
• Achar que um modelo aberto dá permissão sobre os dados dele. Os termos do modelo e os do dataset se conferem separadamente.
• Comprar uma categoria vaga. Um pedido de dados de vídeo precisa dizer o objetivo de aprendizado e as observações de que você precisa antes de falar em volume.

Perguntas