Celui-ci peut prendre en entrée a la fois l’instruction, les images des caméras et l’état du robot (position des membres, orientation, etc..) et sortir directement les commandes des actionneur.
Alternativement, Google Deepmind semble développer un modèle de Vision Language Action (VLA) combinant à la fois le LLM Visuel et le réseau neuronal de manipulation dans un seul modèle. Celui-ci peut prendre en entrée a la fois l’instruction, les images des caméras et l’état du robot (position des membres, orientation, etc..) et sortir directement les commandes des actionneur.