Zahra Monfared: Dynamical Systems Theory for Deep Learning

Valeur des informations & solidité de l’argumentation

La valeur informative est élevée : l’exposé combine des résultats théoriques originaux (théorèmes sur le lien entre chaos et gradient) avec des applications pratiques (GTF, SHLRN). L’argumentation est solide, appuyée par des preuves mathématiques et des démonstrations expérimentales. L’oratrice répond à une question sur le gradient clipping en montrant ses limites, ce qui renforce la rigueur de l’analyse.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est exemplaire : les travaux cités ont été publiés dans des conférences majeures (NeurIPS 2022, NeurIPS 2023, ICML 2023, TMLR 2026). Les références sont transmises dans la description. Le titre est fidèle au contenu, qui se concentre sur l’application de la théorie des systèmes dynamiques au deep learning, avec une attention particulière aux RNN.

Le titre correspond parfaitement au contenu : la conférence applique effectivement la théorie des systèmes dynamiques à l'apprentissage profond, en se concentrant sur les RNN.

9/10

La présentation s'appuie sur des travaux publiés dans des conférences de premier plan (NeurIPS, ICML, TMLR) et propose des résultats mathématiques rigoureux avec preuves, ce qui garantit une haute fiabilité.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 01:00Introduction et rappel sur les systèmes dynamiques.
• 05:00Explication de la vision des modèles de deep learning comme systèmes dynamiques discrets.
• 10:00Introduction aux bifurcations, notamment border collision et dégénérées.
• 15:00Présentation des PLRN et de leurs propriétés analytiques.
• 20:00Lien entre exposants de Lyapunov et problème de gradient évanescent/explosif.
• 25:00Théorèmes sur l'impossibilité de résoudre ces problèmes par simple changement d'architecture.
• 30:00Présentation du Generalized Teacher Forcing (GTF) et de ses preuves.
• 35:00Discussion sur les SHLRN et applications sur données EEG.

• Koopman-informed recurrent neural networks — Référence [1] de la description, TMLR 2026.
• Bifurcations and loss jumps in RNN training — Référence [2] de la description, NeurIPS 2023.
• Generalized Teacher Forcing for Learning Chaotic Dynamics — Référence [3] de la description, ICML 2023.
• On the difficulty of learning chaotic dynamics with RNNs — Référence [4] de la description, NeurIPS 2022.