Alternativement, Google Deepmind semble développer un modèle de Vision Language Action (VLA) combinant à la fois le LLM Visuel et le réseau neuronal de manipulation dans un seul modèle.
Alternativement, Google Deepmind semble développer un modèle de Vision Language Action (VLA) combinant à la fois le LLM Visuel et le réseau neuronal de manipulation dans un seul modèle. Celui-ci peut prendre en entrée a la fois l’instruction, les images des caméras et l’état du robot (position des membres, orientation, etc..) et sortir directement les commandes des actionneur.