Ces modèles, capables de comprendre des instructions et de générer des réponses cohérentes, sont actuellement en train de transformer notre manière de travailler.
Quand un Transformer est entraîné sur du texte, on parle alors de modèle de langage à grande échelle (LLM). Ces modèles, capables de comprendre des instructions et de générer des réponses cohérentes, sont actuellement en train de transformer notre manière de travailler. En arrière-plan se prépare une révolution encore plus grande, car ces LLM ont rapidement évolués vers des fonctionnalités multimodales, i.e. capables de traiter et générer non seulement du texte mais aussi des images, des vidéos, de la musique, et des actions motrices ! En effet, le voici notre “cerveau” robotique généraliste que l’on attendait tant. Les LLM sont capable de donner aux robots humanoïdes une capacité à interagir avec le monde réel et d’apprendre à faire des tâches concrètes sans avoir été rigidement programmé pour. On parle alors de capacité “Zéro-shot”. On demande au robot de faire une tâche, e.g. “Fais-moi un café” ou “Fait la vaisselle” et celui-ci s’exécute sans pour autant avoir déjà été spécifiquement à notre modele de machine à café ou au type de vaisselle utilisé, comme en témoigne cette impressionnante vidéo de démonstration du Figure 01 augmenté avec GPT 4 Vision.