- A equipe do EPIC-KITCHENS usa "em primeira pessoa" e "egocêntrico" como o mesmo termo, para gravações sem roteiro feitas nas casas das próprias pessoas com câmera.página do EPIC-KITCHENS-100
- O artigo do Ego4D relata 3.670 horas de vídeo do dia a dia de 931 pessoas com câmera, em 74 locais de 9 países.artigo do Ego4D, arXiv 2110.07058
- A página do projeto Ego4D diz que seus dados foram capturados com sete câmeras de cabeça diferentes, compradas prontas no mercado.ego4d-data.org
- O R3M fez o pré-treinamento de uma representação visual para manipulação com robôs usando vídeo humano do Ego4D.R3M, arXiv 2203.12601
Vídeo egocêntrico ou em terceira pessoa
Quase todo vídeo é em terceira pessoa. Uma câmera num tripé, um celular na mão de outra pessoa ou uma câmera de segurança na parede observam alguém de fora. No vídeo egocêntrico é o contrário: quem faz a tarefa usa a câmera, então o quadro se move com a cabeça da pessoa e costuma mostrar o que está à frente dela, como o que as mãos alcançam e em que ordem. Nossa página de dados de vídeo egocêntrico mostra como coletamos essas imagens sob encomenda para equipes de IA.
| Egocêntrico (primeira pessoa, POV) | Terceira pessoa (exocêntrico) | |
|---|---|---|
| Onde fica a câmera | Na pessoa: cabeça, boné ou óculos | Fixa no ambiente, ou na mão de outra pessoa |
| O que preenche o quadro | Mãos, ferramentas e o objeto sendo trabalhado | A pessoa inteira e o entorno dela |
| Ponto de vista | Move-se com a cabeça de quem usa | Em geral fixo, ou em movimento suave |
| O que mostra bem | Como uma tarefa é feita, passo a passo, de perto | Postura do corpo e por onde a pessoa se move |
| O que ele perde | O rosto de quem usa e boa parte do corpo | Detalhes finos das mãos, muitas vezes atrás do corpo |
Alguns datasets gravam as duas vistas ao mesmo tempo. O Ego-Exo4D captura vídeo egocêntrico e exocêntrico de atividades especializadas no mesmo instante, e assim dá para estudar a mesma ação por dentro e por fora. Por isso ele é um dataset de vistas pareadas, com imagens em primeira pessoa e de fora de cada atividade.
Como o vídeo egocêntrico é gravado
A câmera fica perto dos olhos para que a imagem mostre o que a pessoa vê. As montagens mais comuns são estas:
- Uma câmera na cabeça, como uma câmera de ação pequena numa faixa ou num boné. A página do projeto Ego4D lista sete câmeras de cabeça diferentes, compradas prontas, que foram usadas na coleta, de GoPro a óculos com câmera.
- Óculos inteligentes ou com câmera, ou seja, armações com câmera embutida e às vezes sensores extras.
- Equipamentos de pesquisa que somam dados de profundidade ou de movimento. O HOI4D, por exemplo, tem 2,4 milhões de quadros de vídeo egocêntrico RGB-D em 4.000 sequências de pessoas manuseando objetos.
Algumas coleções gravam sessões longas e contínuas enquanto a pessoa faz a tarefa como faria normalmente; outras usam sequências de tarefas ou clipes mais curtos. O EPIC-KITCHENS-100 registra atividade longa e sem roteiro em 45 ambientes de cozinha, com câmeras na cabeça.
Por que a pesquisa de IA usa vídeo egocêntrico
Vídeo egocêntrico é dado de treinamento, ou seja, exemplos com os quais um modelo aprende. Nosso guia sobre o que são dados de treinamento de IA explica a ideia em linguagem simples. Os pesquisadores valorizam a vista em primeira pessoa por três motivos:
- Ela mostra mãos e objetos de perto. No quadro aparecem a pegada, a ferramenta e o objeto na distância de trabalho.
- Ela mantém os passos em ordem. Imagens contínuas mostram como uma tarefa avança de um passo para o outro.
- Ela oferece um ponto de vista perto do de um robô. A câmera do próprio robô também olha para baixo, para as mãos dele e para o objeto à frente.
É por esse último motivo que a pesquisa em aprendizagem de robôs usa esse tipo de vídeo. O R3M fez o pré-treinamento de uma representação visual com vídeo humano do Ego4D e relatou aprendizagem mais eficiente em dados em tarefas posteriores de manipulação com robôs. Isso mostra que vídeo humano pode ajudar robôs a aprender. Não mostra que vídeo sozinho ensina um robô a agir. Nosso guia sobre como o vídeo humano pode ajudar robôs a aprender cobre as evidências e os limites delas, e vídeo egocêntrico comparado a dados de teleoperação explica onde as demonstrações de robô ainda entram.
Datasets egocêntricos conhecidos
| Dataset | O que ele contém, segundo a sua fonte | Só em primeira pessoa? |
|---|---|---|
| Ego4D | O artigo relata 3.670 horas de 931 pessoas com câmera em 74 locais de 9 países; a página do projeto fala em 923 participantes únicos | Sim |
| EPIC-KITCHENS-100 | 100 horas, 20 milhões de quadros e 90 mil ações em 45 ambientes de cozinha, de câmeras na cabeça | Sim |
| Ego-Exo4D | Atividades especializadas filmadas em primeira pessoa e em vistas externas ao mesmo tempo | Não: vistas pareadas |
| HOI4D | 2,4 milhões de quadros egocêntricos RGB-D em 4.000 sequências de manuseio de objetos | Sim, com profundidade |
As duas contagens de participantes do Ego4D vêm de fontes diferentes: o artigo do Ego4D fala em 931 pessoas com câmera e a página do projeto fala em 923 participantes únicos. Se for citar, use cada número com a fonte dele. Nossa comparação dos principais datasets egocêntricos públicos cobre licenças e acesso, que variam de um dataset para outro.
Erros e equívocos comuns
- Muita gente acha que vídeo POV é a mesma coisa que vlog. Clipes POV de criadores são editados para quem assiste, mas POV só descreve o ponto de vista. Coleções de pesquisa podem usar sessões contínuas ou clipes de tarefas, com documentação e anotações adequadas às suas perguntas de pesquisa.
- Nem todo clipe em primeira pessoa serve para treinamento. O que importa é o que está em quadro e se a tarefa vai do início ao fim. Nosso checklist de especificações de dataset egocêntrico lista os campos a especificar.
- Egocêntrico nem sempre significa só em primeira pessoa. Alguns datasets conhecidos, como o Ego-Exo4D, juntam vistas em primeira pessoa e externas.
- Números grandes nem sempre medem a mesma coisa, porque horas, quadros e sequências são unidades diferentes. O HOI4D conta quadros; o Ego4D conta horas.
- Não espere que vídeo sozinho ensine um robô a agir. Vídeo humano pode ajudar, mas a pesquisa ainda o combina com dados do robô.
Como a TaskCapture grava vídeo egocêntrico
No trabalho físico, nossos coletores usam uma câmera pequena numa faixa de cabeça ou num boné, com as mãos livres. Eles gravam três tipos de dados: residencial, comercial e gaming. No gaming, a gravação é a tela junto com cada entrada de teclado, mouse ou controle em sincronia, sem câmera. Toda pessoa identificável na câmera assina uma autorização, e os locais comerciais dão permissão por escrito, como diz a Política de Privacidade. Se você quiser gravar seu próprio trabalho, a página para coletores explica como os projetos funcionam.
Perguntas frequentes
O que significa vídeo POV?
Vídeo de ponto de vista: imagens filmadas dos olhos de quem faz algo, normalmente com uma câmera na cabeça. Na pesquisa, ele é chamado de vídeo egocêntrico ou em primeira pessoa.
Vídeo egocêntrico é o mesmo que vídeo em primeira pessoa?
Sim. A equipe do EPIC-KITCHENS, por exemplo, descreve seu trabalho como "first-person (egocentric) vision".
Qual câmera grava vídeo egocêntrico?
Normalmente uma câmera de ação na cabeça ou óculos com câmera. O Ego4D usou sete câmeras de cabeça diferentes, compradas prontas.
Por que o vídeo egocêntrico é útil para robôs?
O ponto de vista é parecido com o da câmera do próprio robô, que olha para mãos e objetos. O R3M mostrou que o pré-treinamento com esse tipo de vídeo pode tornar a aprendizagem de robôs mais eficiente em dados, junto com as demonstrações do próprio robô.