Les images des caméras du robot et les instructions transcrites de la parole capturées par les microphones embarqués sont soumises à un LLM Visuel.
Les images des caméras du robot et les instructions transcrites de la parole capturées par les microphones embarqués sont soumises à un LLM Visuel. Celui-ci est ensuite capable d’identifier les éléments et leurs positions, et générer un set d’instructions pour effectuer la tâche, e.g.