Na semana passada, pesquisadores da Microsoft Anunciado uma estrutura experimental para controlar robôs e drones usando as habilidades de linguagem do ChatGPT, um popular modelo de linguagem de IA criado pela OpenAI. Usando comandos de linguagem natural, o ChatGPT pode escrever um código especial que controla os movimentos do robô. Um humano então visualiza os resultados e os ajusta conforme necessário até que a tarefa seja concluída com sucesso.

A investigação veio em um artigo intitulado “ChatGPT para robótica: Princípios de design e habilidades de modeloescrito por Sai Vemprala, Rogério Bonatti, Arthur Bucker e Ashish Kapoor do Grupo de Robótica e Sistemas Autônomos da Microsoft.

em um vídeo de demonstraçãoA Microsoft mostra robôs, aparentemente controlados por código escrito pelo ChatGPT enquanto seguem instruções humanas, usando um braço robótico para colocar blocos em um logotipo da Microsoft, pilotando um drone para inspecionar o conteúdo de uma prateleira ou encontrando objetos usando um robô com recursos de visão.

Para que o ChatGPT interaja com a robótica, os pesquisadores ensinaram ao ChatGPT uma API de robótica personalizada. Ao receber instruções como “pegue a bola”, o ChatGPT pode gerar um código de controle robótico da mesma forma que escreveria um poema ou completaria um ensaio. Depois que um humano inspeciona e edita o código para verificar sua precisão e segurança, o operador humano pode executar a tarefa e avaliar seu desempenho.

Desta forma, o ChatGPT agiliza a programação do controle robótico, mas não é um sistema autônomo. “Enfatizamos que o uso do ChatGPT para robótica não é um processo totalmente automatizado”, diz o artigo, “mas atua como uma ferramenta para aumentar a capacidade humana”.

Embora pareça que a maior parte do feedback sobre o ChatGPT (em termos de sucesso ou fracasso de suas ações) vem de humanos em forma de texto, os pesquisadores também afirmam ter tido algum sucesso ao alimentar dados visuais no ChatGPT. Em um exemplo, os pesquisadores incumbiram o ChatGPT de comandar um robô para pegar uma bola de basquete com feedback de uma câmera: “O ChatGPT pode estimar a aparência da bola e do céu na imagem da câmera usando código svg. Esse comportamento sugere a possibilidade de que o LLM esteja rastreando um modelo de mundo implícito que vai além das probabilidades baseadas em texto”.

Embora os resultados pareçam rudimentares por enquanto, eles representam as primeiras tentativas de aplicar a tecnologia mais avançada do momento (grandes modelos de linguagem) ao controle robótico. De acordo com a Microsoft, uma interface ChatGPT pode abrir a robótica para um público muito mais amplo no futuro.

“Nosso objetivo com esta pesquisa é ver se o ChatGPT pode pensar além do texto e raciocinar sobre o mundo físico para ajudar nas tarefas de robótica”, diz a Microsoft Research. postagem no blog. “Queremos ajudar as pessoas a interagir com os robôs de forma mais fácil, sem ter que aprender linguagens de programação complexas ou detalhes sobre sistemas robóticos”.