Lec 35: Large Language Models - I

Lec 35: Large Language Models - I

Lec 35 : Grands modèles de langage - I

par Prof. Arijit Sur, IIT Guwahati · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 Prof. Arijit Sur, IIT Guwahati 👥 230K 📅 24 septembre 2026 ⏱ 41 min 👁 1 📄 tutoriel 🧭 2026-09-24
Disponible en : Français (actuel) English

Mots-clés

large language modeltransformerself-attentionloss functiontokenization

Résumé

Cette leçon, première partie d’une série sur les grands modèles de langage (LLM), introduit les concepts fondamentaux. Le professeur Arijit Sur explique que les LLM sont des réseaux de neurones profonds apprenant la structure statistique et sémantique du langage à partir de corpus massifs. Il rappelle l’architecture Transformer, notamment le mécanisme d’auto-attention, et distingue trois types d’architectures : encodeur seul (BERT), encodeur-décodeur (T5, Whisper) et décodeur seul (GPT). Le principe de la modélisation auto-régressive est détaillé, où la probabilité d’une séquence est factorisée en produit de probabilités conditionnelles. La fonction de perte utilisée est la cross-entropie, qui minimise la log-vraisemblance négative. La tokenisation est présentée comme étape clé, avec différents niveaux (caractère, mot, sous-mot) et l’exemple de l’encodage par paires d’octets (BPE). Le cours explique également le pipeline d’inférence : tokenisation, prédiction du token suivant, échantillonnage et détokenisation. Enfin, il introduit la notion de pré-entraînement par prédiction du token suivant. La leçon se termine en annonçant la suite pour la prochaine séance.

162 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée pour un public étudiant en informatique, car elle fournit une base solide et structurée sur les LLM. L’argumentation est rigoureuse : chaque concept est introduit logiquement, des formules mathématiques sont présentées (règle de la chaîne, cross-entropie) et des exemples concrets illustrent la tokenisation et l’inférence. Le cours s’appuie sur des connaissances préalables en transformeurs et en RNN, qu’il rappelle brièvement. La démarche est pédagogique et progressive, même si certains passages sont denses. La solidité de l’argumentation repose sur la clarté des explications et la cohérence du raisonnement, sans recours à des arguments d’autorité superflus.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est acceptable pour un cours de niveau universitaire. Les concepts sont présentés avec précision, et le professeur s’appuie sur des références classiques comme GPT, BERT, T5. Cependant, la transcription est très bruitée (mots manquants, phrases incorrectes), ce qui peut nuire à la compréhension fine, mais le contenu verbal reste correct. Les sources citées ne sont pas explicitées dans la vidéo, mais les liens de la description pointent vers le cours NPTEL et la playlist, qui sont des ressources fiables. L’adéquation titre/contenu est parfaite : le titre décrit exactement la première partie de la leçon sur les LLM. Aucune publicité ni sponsor n’est présent dans la vidéo.

224 mots

Adéquation titre / contenu

Le titre correspond exactement au contenu : première partie d'une leçon sur les grands modèles de langage, couvrant les bases, l'architecture, la perte et la tokenisation.

Qualité & fiabilité

7/10

Cours universitaire structuré, présenté par un professeur, couvrant les concepts fondamentaux des LLM (architecture, fonctions de perte, tokenisation). Transcription comportant de nombreuses erreurs d'orthographe et de transcription, mais le contenu est cohérent et pédagogiquement solide, sans affirmation exagérée ni source non vérifiée.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Sources concordantes

Apport & nouveautés

Cette leçon constitue une introduction didactique aux LLM, ne présentant pas de recherche originale mais offrant une synthèse claire des fondamentaux. Son apport réside dans la pédagogie : elle distingue explicitement les architectures encodeur/décodeur et explique pas à pas le processus de tokenisation et de pré-entraînement. Elle est utile pour un étudiant débutant.

Pour aller plus loin :

  • Transformer (modèle) — Article de synthèse sur l’architecture Transformer.
  • Auto-attention — Explication des mécanismes d’attention.
  • BPE (Byte Pair Encoding) : algorithme de tokenisation sous-mot utilisé par GPT — Peut être approfondi via cet article .
  • BERT — Exemple d’architecture encodeur seul.
  • GPT — Famille de modèles décodeur seul.

106 mots

Profil radar

Le profil radar montre des scores élevés en quantité et niveau technique, indiquant un contenu dense et formateur. La qualité d'information est bonne, mais la fiabilité globale est légèrement inférieure en raison de la transcription bruitée. Le tout forme un cours universitaire pertinent pour débutants en IA.

Fiabilité 7/10