Celui-ci est ensuite capable d’identifier les éléments et leurs positions, et générer un set d’instructions pour effectuer la tâche, e.g.
Les images des caméras du robot et les instructions transcrites de la parole capturées par les microphones embarqués sont soumises à un LLM Visuel. Celui-ci est ensuite capable d’identifier les éléments et leurs positions, et générer un set d’instructions pour effectuer la tâche, e.g.