Brèves

Dans une étude publiée dans Nature, des chercheurs britanniques et canadiens ont mis en évidence un processus dégénératif qu’ils appellent « l’effondrement des modèles ». Lorsque les IA apprennent à partir de données produites par d’autres modèles, elles perdent progressivement la représentation de la distribution réelle des données sous-jacentes.

Prenons un exemple concret. Les modèles de langage comme GPT-3 génèrent du contenu en se basant sur les patterns les plus courants dans leurs données d’entraînement. Si le web est saturé de contenus créés par ces IA, et que de nouveaux modèles s’entraînent dessus, un décalage progressif s’opère. Les modèles produisent alors des réponses de plus en plus biaisées et déconnectées de la réalité, jusqu’à « l’effondrement ».