Inglês 
Espanhol 
Pesquisa mostra como um pegador barato com iPhone ajudou cientistas a transformar casas reais em fonte de dados para robôs domésticos. Projeto Dobb·E usa demonstrações humanas para aproximar máquinas de tarefas cotidianas, como abrir gavetas, manipular objetos e interagir com móveis.
Pesquisadores ligados à Universidade de Nova York e à Meta desenvolveram o Dobb·E, sistema aberto de robótica doméstica que usa demonstrações humanas em casas reais para treinar robôs a abrir gavetas, fechar armários, manipular objetos e executar tarefas comuns do dia a dia.
A pesquisa foi apresentada no artigo técnico “On Bringing Robots Home”, publicado no arXiv em 27 de novembro de 2023, e propõe uma forma mais barata de coletar dados físicos para máquinas que precisam atuar fora de laboratórios controlados.
No centro do projeto está o The Stick, ferramenta criada com um pegador manual do tipo reacher-grabber de US$ 25, peças impressas em 3D e iPhones usados para registrar imagens, profundidade e movimentos durante tarefas domésticas.
-
Adeus medo da ressonância? Scanner corporal por ultrassom promete mapear o corpo em 60 segundos dentro de uma piscina, sem radiação, sem contraste e com inteligência artificial para transformar exames preventivos em experiência mais rápida e confortável
-
Praia de São Paulo está entre as melhores do mundo, mas tem um problema: para chegar até ela, turista precisa enfrentar uma trilha desafiadora
-
Apresentador brasileiro se disfarça de morador de rua na Cracolândia, é reconhecido durante gravação e quase apanha enquanto tentava mostrar a realidade das ruas
-
Mariana Bueno, menina de 10 anos de Limeira, usou ciência para investigar moedas falsas do Brasil Colônia, criou um método de análise com orientação de um físico da Unicamp e publicou o resultado na revista Ciência Hoje das Crianças
Robôs domésticos aprendem com demonstrações reais
Em vez de treinar apenas em simulações ou mesas organizadas, o Dobb·E usa interações feitas por pessoas dentro de residências, onde móveis, objetos, iluminação e obstáculos mudam de um cômodo para outro com pouca previsibilidade.
Durante a coleta, uma pessoa segura o The Stick, executa uma ação simples e deixa que o iPhone registre os dados visuais e espaciais que depois ajudam o sistema a orientar a garra robótica em situações semelhantes.
Essa escolha reduz a distância entre o ambiente de treinamento e o local onde o robô precisa funcionar, já que cozinhas, salas e armários reais apresentam variações difíceis de reproduzir de forma completa em laboratório.
The Stick transforma gestos em dados para IA
A ferramenta foi desenhada para tornar a coleta de demonstrações mais acessível, confortável e escalável, sem exigir que cada voluntário controle diretamente um robô completo para ensinar uma tarefa doméstica.
De acordo com o artigo técnico, modelos compatíveis com iPhone Pro 12 ou versões posteriores permitem capturar vídeos RGB, dados de profundidade e informações espaciais a 30 quadros por segundo durante as demonstrações.
Como o The Stick tem aparência visual semelhante à garra do robô usado nos testes, os pesquisadores buscaram diminuir a diferença entre o que aparece na demonstração humana e o que a máquina enxerga ao executar a tarefa.
Casas de Nova York viraram base de treinamento
Batizada de Homes of New York, ou HoNY, a base de dados criada pelo projeto reúne 13 horas de interações coletadas em 22 casas de Nova York, com 5.620 trajetórias registradas em 216 ambientes domésticos.
O conjunto soma cerca de 1,5 milhão de frames e inclui vídeos RGB-D, além de anotações sobre posição, orientação e abertura da garra, usadas para treinar representações visuais voltadas ao ambiente doméstico.
Essas representações, chamadas de Home Pretrained Representations, ou HPR, servem como base para políticas robóticas que precisam aprender novas tarefas com poucas demonstrações em ambientes diferentes dos usados na coleta inicial.
Stretch foi usado nos testes do Dobb·E
Nos experimentos físicos, o Dobb·E foi aplicado ao Stretch, robô móvel da Hello Robot usado pela equipe para executar tarefas aprendidas a partir de demonstrações gravadas com o pegador e o iPhone.
Segundo a página oficial do projeto, o sistema tentou 109 tarefas em 10 casas de Nova York e arredores, alcançando 81% de taxa de sucesso nos testes apresentados pelos pesquisadores.
A equipe também informa que o Dobb·E pode aprender uma nova tarefa com cinco minutos de demonstração e cerca de 15 minutos de adaptação do modelo antes da execução pelo robô.
Entre os exemplos exibidos pelo projeto estão abrir persianas, puxar gavetas de cozinha, fechar portas de armário, mover pratos, manipular garrafas e interagir com eletrodomésticos em residências diferentes.
Aprendizado por imitação sai do laboratório
A base do Dobb·E é o aprendizado por imitação, método em que o robô aprende observando demonstrações humanas, em vez de depender apenas de tentativa e erro para descobrir como agir.
Dentro de uma casa, essa abordagem ajuda a lidar com tarefas que parecem simples para pessoas, mas exigem da máquina reconhecimento do cenário, estimativa de distância, posicionamento correto e controle físico da garra.
Para ampliar a coleta, os pesquisadores priorizaram eficiência, segurança e conforto do usuário, já que um sistema doméstico precisa registrar demonstrações em ambientes reais sem depender de infraestrutura complexa ou de operadores especializados.
Limites ainda afastam robôs generalistas
Apesar dos resultados, o artigo técnico aponta obstáculos como sombras fortes, iluminação variável, qualidade desigual das demonstrações, limitações dos sensores e restrições físicas do hardware usado nos testes.
Tarefas longas, com várias etapas encadeadas, também aparecem como desafio para o Dobb·E, porque exigem memória, adaptação durante a execução e capacidade de lidar com mudanças no ambiente.
O projeto foi disponibilizado com código, modelos, dados e desenhos de hardware, medida que permite a outros pesquisadores testar o sistema e ampliar estudos sobre robôs capazes de atuar em casas reais.
Ao transformar movimentos cotidianos em registros estruturados, o Dobb·E mostra como a próxima etapa da inteligência artificial pode depender não apenas de textos, imagens e vídeos online, mas também de dados físicos capturados no mundo real.
