for lots of java codes，any embedding model is good for RAG, or we have to use fine-tuning on a model?

聊VLMo，”视觉训练的transformer能直接用在语言上”。 厉害

沐神 视频不能停啊， 没有你的 视频 Research 搞不下去啊， 线上导师

回头看，模型切割放在GPU就是现在LLM的情况，实属远见

讲得太好了，牛

老师好，虽然但是，我不清楚老师是哪里人哈，褒义词的读音建议老师查一下哈~（继续听讲）

这位老哥去搞 LLama 3.1 了，不得了

33:11 GPT2

19:08~23"00 3.1 Unsupervised pre-training 20:30 為什麼要相加 ?? 24:52 看不懂式(3)(4)

ru-vid.comdBQ-UdlIEoE?si=ef4x2WosplWwDYG0 这种视频有大佬知道是怎么做出来的吗？萌新求教

23:35 殘差連接 ?? 51:41 第三個注意力層??

Allen Sarah Miller Steven Anderson Steven

牛逼了，最喜欢听李老师讲业界八卦，小组内斗，撕逼日常。大佬，多来点。

现在看来，这种级别的先进运算集群可不是小打小闹。meta的这个集群，论算力，特别是考虑核间通讯损耗的真正有效算力，让前不久还排在榜首的超算中心，现在看来也就像少儿中心了。不看好国内小绵羊运营商最近上马的运算中心了。要为这种完全没有标准的基建做验收，还得靠真正懂行的赤子，写高水平的代码，从而检测不断移动的指标，加之需要妥善的部署并评估运维损耗的问题，这又涉及到设计实验并统计。定力不足或责任心不足的人，要搞点水分虚报参数，或在采购上以次充好，实在容易且难以察觉。所以，靠关系拿公帑的，国企这种权责不清的，根本不适合这类业务。只看好华为字节阿里这种，兼具财力和狼性的公司。

NB

讲的太好了，感谢老师，感谢互联网！！！！！！

我认真听了的。褒义词和裹义词。

what! 沐神更新视频了？

懂了 我这就去买ipad(狗头

老师 如何评价Qwen2？

这个地方data parallel应该是指fsdp，不是训练的data。fsdp和model parallel (tensor parallel)之间的差别很细微。

你的专业应该就不是大语言模型方面，讲解的技术洞察力方面极度一般。

大佬的讲解真是入木三分，对大模型的学习太有帮助了

刚做LLM就看到沐神回归！

AI会不会构建出一种全新的语言体系，来取代目前的中文和英文？

沐大师 11分41秒显示FFN dimension 是12288(70B), 是8192*1.5但huggingface model 对应70B model的intermediate size 是28672=8192*3.5. 12288好像是gpt 3.5的size。 论文中7B和405B也和HF上的intermediate size不一样。这里是我看错了还是笔误了？

李老师生二胎了

1:26:50, 这里我有点不理解，有大神能解释一下吗？ 听起来好像是说如果把CLIP再结合上自监督（self-supervision）和 伪标签（self-training ）这两种方法的话，他会更强。但在我理解里CLIP就是用自监督（self-supervision）做出来的，是我理解错了吗？虽然CLIP跟一般的自监督不一样，但总归就是用不是绝对正确的label+contrastive learning去完成这个学习。 如果CLIP不能定义为用的self-supervision的话， 那他要怎么用上self-supervision这个方法在这种mutimodal的setup呢？ 另一个方式去理解这句话是，CLIP正是因为结合了这两个方法，所以比传统的监督学习（supervised learning）更强。但这么理解的话，CLIP是怎么用上了self-training了呢。。

一下放出来三个，收益良多

终于来了 激动

看完這個有想到之前也有看過李老師介紹pathways的影片，但其實還是沒很懂 但pathways的設計好像真的很厲害

👍

如沐春风🎉

Thanks

沙发。好好学习。

Thanks!

褒(果)义词是什么梗?

请问一下李沐博士, Palm achieves a training efficiency of 57.8% hardware FLOPs utilization, 视频说达到了“理论峰值一倍以上”，57.8%不应该是“一半以上”吗？谢谢你的分享。

super master

Llama 3.1最差劲。问，回锅肉的做法，居然说回锅肉是广东省的一道名菜。做发，完完全全是广东的炸五花肉。简直不要提了。

感谢沐神分享

大神有时间讲一下Mixtral MoE?

李老师,能不能讲一下matmul free架构的论文😊😊

这种看了一个小时，知识进不了脑子的感觉太奇妙了😍

李老师终于更新了，等了好久了

感谢老师的详细讲解和无私分享！小白学到了很多🌹

老师讲的真的很好，常看常新

不过随口说一句，稀疏W不一定是好事情。如果你的w变稀疏了，应该考虑一下离散化。 Edit: 忘了这边说的是机器学习了。。。深度学习手感不一样，不好意思。

沐神沐神沐神，我云过cmu 15 213

爷爷你关注的up主更新了