Très clair merci, référencement en tête des vidéos LSTM mérité. Un petit complément sur la backpropagation dans les cellules LSTM aurait peut-être pu compléter le tout
Slt , Merci Beaucoup pour cette très claire vulgarisation des LSTM, c'est vraiment très bien expliquer ! Merci encore pour tout ton travail, et la qualité d'information partagée.
très bonne vidéo pédagogique ! un commentaire pour la mettre en lumière pour d'autres personnes en recherche de vidéos pédagogiques de qualité sur le sujet
Je viens de terminer la formation de andrew NG sur les LSTM j'avais quelque flou a propos de ça, en regardant ta vidéo j'ai pu combler mes lacunes a ce sujet. Bien joué.
Excellent vidéo. Cependant j'ai du mal à voir comment les gains de toutes ces matrices sont entrainés comparés à un réseau feedforward. Un prochain vidéo :) ?
Thibault, si tu lis encore les commentaires : merci pour cette vidéo qui m'a aidé à comprendre les LSTM. Deux remarques bienveillantes et constructives toutefois : pense à rappeler que tu parles de la multiplication numpy de vecteurs (ie membre à membre) et non d'une multiplication mathématique de vecteurs qui n'existe pas ! Par ailleurs mais c'est plus anecdotique j'en conviens, je pense que ce serait plus clair si tu évitais oralement certains termes anglais ou abréviations (exemple : biais et non "bias" avec une prononciation pas intuitive, tangente hyperbolique et non "tanh"). Bravo pour le reste 🙂
1) Les matrices pour l'étape d'oublie, d'ajout et de sortie sont donc toutes des matrices (9,5) mais pour chacune on attribue des valeurs aléatoires différentes ? 2) quant à C lors de la partie sortie il s'agit de l'addition de la mémoire obtenue dans l'étape oublie + celle dans l'étape ajout ? 3) dernière question comment fonctionne le t0 ? avec C-1 = vecteur nulle ? En tous cas merci d'expliquer avec tant d'explication ça rend le sujet vraiment abordable
Bonjour et merci pour la clarté de ce cours. Je voudrai si possible savoir si on peut avec cette technique LSTM créer un système d'enregistrement, d'identification et de gestion de terminaux mobiles à l'aide de deux catégories de codes et d'une valeur fixe? Si oui, existe-t-il un survey sur cette préoccupation?
Un grand bravo pour ta vidéo, avec des explications très claire. Penses-tu que dans un avenir proche il serait possible de faire une vidéo sur les Memory Network, qui est une version amélioré des LSTM ? Encore un grand bravo pour ta vidéo et continue comme ça !
Très instructif et très pédagogique (la qualité des slides aide énormément ^^) Par contre, j'anticipe peut-être le sujet d'une prochaine vidéo, mais comment fait-on pour paramètrer ce genre de cellules ? Merci encore pour ce travail pédagogique qui arrive à enlever la "magie" derrière les technologies à la base de l'intelligence artificielle.
En utilisant de la backpropagation, chaque matrice W et les bias b montré vont être modifié pour converger vers une solution. J'en parle dans ma série sur le deep learning.
@@ThibaultNeveu Une retro-propagation classique fonctionne donc ... ça doit pas être simple à mettre en œuvre à la main mais certain framework doivent faire ça je suppose ? Il faut donc avoir plusieurs, un pour chaque pas de temps ?
Non, un seul en réalité, car le calcul réalisé à t+10 par exemple dépend de t+9 qui dépend de t+8 qui dépend de ..... t. Donc par la rétropopagation un seul optimizer suffit pour optimiser la même céllule qui est utilisé sur toute les steps, et ainsi faire en sorte que à chaque step la céllule est bien une représentation et une série d'opération (foget gate, input gate, output gate) qui lui permette de faire la bonne prédiction.
Super vidéo on comprend facilement grâce aux illustrations ! Je me demandais seulement : est-ce que la taille du vecteur de mémoire de la cellule doit être égale à la taille du vecteur de sortie ?
Je réponds à cette question pour les prochains lecteurs mais je ne pense pas que la mémoire soit de même taille que l’output. Pour n’avoir par exemple qu’un output avec une matrice de 5 valeurs, on pourrait implémenter à la fin une couche pour relier chaque valeur de la mémoire à la sortie. Reprenez moi si j’ai faux. ;)
@@mmdrlolfr2612 Alors, 3 ans de PyTorch plus tard je peux répondre à moi-même du passé : ce qu'on fait en pratique c'est qu'on ramène le hidden_state de la dernière couche LSTM à la dimension souhaitée grâce à une projection linéaire.
merciii beaucoup pour cette vidéo vous explique bien ! avez vous un email . je suis en train de faire ma mémoire de recherche qui s' intérésse sur le deep learnig pour prédir la tendance du prix d'un indice bourcier avec analyse numérique(prix de l'action ) et une analyse textuelle (analyse de sentiment) . je suis dans la phase de modéliser le modele avec le logiciel Matlab .Si je trouve un probléme ou une tache pas claire je peut vous contacter par email ?
