Ce modèle est tellement efficace qu’il est a l’origine de tous les outils d’IA générative que l’on connait aujourd’hui, dont GPT4, pour Generative Pre-trained Transformer v4.
C’est alors qu’en 2018, des chercheurs de Google publièrent un article de recherche qui allait tout changer : Attention is all you need. Cet article présente une nouvelle architecture d’IA appelée le Transformer, qui présente de nombreux atouts face aux modèles existants, dont une haute capacité de parallélisation. Ce modèle est tellement efficace qu’il est a l’origine de tous les outils d’IA générative que l’on connait aujourd’hui, dont GPT4, pour Generative Pre-trained Transformer v4.