Transformers et BERT : la révolution du traitement de texte
Le traitement de texte, autrefois réduit à des méthodes simples d’analyse syntaxique et statistique, a connu une profonde mutation avec l’avènement des modèles Transformer. Ces architectures d’intelligence artificielle, introduites en 2017 par Vaswani et ses collaborateurs, ont permis de repousser les limites du traitement du langage naturel (NLP). L’intégration de mécanismes d’attention complexes a bouleversé ...