《M2 Ultra：干翻英伟达！决战AI之巅》 

感謝你讓我看到新的思維模式，你的格局真的與別不同！再次感謝你的分享～

刚看了另外的小林对于英伟达的影片 感叹老黄真是又有远见又有运气还有耐力和专一 又看了小林对于M2 Ultra的解读 又不禁感叹 苹果的战略和运气 这一轮硬件仗感觉会非常的精彩！感谢分享！

感謝林哥的分享！林哥的ai影片很有意思也很深入，沒有一般頻道的瞎捧亂吹，很是接地氣的說ai能做的以及ai不能做的，支持這樣優質的頻道和影片！不過還是私以為語言模型只是第一步，指出語言才是作為資料壓縮表示的最佳方式而不是現有的各種模型，所以這不是終點--恰恰相反--這才是起點。

謝謝分享,內容真的很精采,也很充實

Nice video! Can't wait to give it a try myself, thanks for putting it together!

你这期讲得很让人兴奋，讲得很好，感谢！

Thanks for all the detailed explanation. Love the video!

又等到林哥的影片了，我覺得這樣的模式也不錯，讓我們可以了解林哥的想法，也可以增加一些知識。

想聽林老師多談「精調」的細節，我未來想開發遊戲，本身也有在撰寫劇本，想了解AI如何幫助編劇和演員創作，又如何加入到遊戲之中。

期待林老師可以做一個懶人包，讓我們這些人工弱智也能在本地跑跑您演示的那套AI聊天。

很有誠意的交流

對於我這種技術小白，還是帶來了滿滿的收穫，感謝您

"讓人類在即將到來的AI時代多幾分勝算"，這句我直接起雞皮疙瘩!!

蘋果這顆CPU社群越來越活躍，猛

不錯哦，挺有深度

挖到宝了,感觉来晚了,你的视频很好,请坚持分享! 👍

絕對是ChatGPT出現之後最讓人震撼的突破之一…… 感謝大哥分享🙏🙏

太厲害，謝謝分享~~ 但要達到一般人都能使用的價格，還要一段時間，畢竟現在還是幾家龍頭控制，AI發展過速，不同國家都只會立不同的圍牆，控制使用~~

Can we get M2 Ultra Max Ram vs Intel 13900k + Nvidia 4090 + Max Ram video comparison doing AI video? Compare from the cost, time taken to run the ai simulation between 2 devices? As well run any ai generation images?

老哥终于来了

真的很喜歡實打實的人做的影片。比起某些up主整天不去實作搞清楚，一下說好一下說壞，真的懂就寫個程式測測不就明白了。 網路上知道怎麼用mac做AI的大佬跟開源真的很多，但是總有那種不想搞懂的跟你說mac不能做AI，pytorch跟tensorflow在還沒真的支援前，m1 max就已經在一些指標網站上，跑出最佳能耗與性價的優勢，加上你能點到64GB，算起來省電無聲，那真的很好用，還沒算上NPU真的更猛這件事，現在只算慢慢支援GPU 的MPS與CoreML的玩具越來越多，又是另一個不同視野，Apple 從沒認真打廣告AI，但大家都很清楚，他直接做了一個合適的東西。

感谢分享这么详细的测试，目前这方面的比较很少有人做，很有帮助。请问mac studio vs mac pro 对于同样是M2‌ Ultra chip 有什么区别吗？

謝謝您的分享

林哥～謝謝你的分享，每次都獲益良多。能否聊聊統一內存這件事的細節，上網查總覺得沒辦法搞很懂，像是為什麼蘋果會想做統一內存這件事，ps5也做了統一內存，那其他架構跟蘋果架構統一內存體現出來的差異又在哪？以及為什麼以前要把內存分開，許願希望做相關題材～ＸＤ

其實業內都是鬥而不破，業內很清楚很多方法能完虐GPU，所以NVIDIA得用很多廣告與網軍來洗，看留言就知道有些人就是來洗的，不過林哥說破，我真是覺得你很有勇氣，你會遇到一堆攻擊

您的视野和局面都很大，欣赏。我也是特别希望并相信本地运行和调教“大”模型是特别需要的。未来人们都有运行在自己设备上的私人ai助理。一方面设备的内存提高，如苹果的统一架构，将来会更加便宜；另一方面“大”模型可以瘦身，个人设备运行基于基础大模型训练的瘦身版。

无意中刷到这个视频，打开了我的新世界，感谢

thanks for sharing! 内容非常硬核

我非常羡慕你对各种AI信手拈来+超强的动手能力。 我怎么能学成你那样？

真是想不到有這種進展啊

感謝林亦的無私分享

林哥，入門學習AI你會更推薦組普通GPU x86還是直接用M2 MAC？我只有一台3060的筆記本，運行過一些object detection的視覺AI。如果要更系統更深入學習AI開發，你會建議購置x86還是m2？

事實證明壟斷是一件多麼可怕的事，看看發布的4060就是噁心消費者。回顧過去的intel，沒競爭就是這樣

UP 主不要误导， SD Ai 作图以上面的 demo 10:51 ，4万多的macstudio 一共用 2分51秒， 而 1/2价格的 4090显卡 + 13700k 同样绘图参数只要需要 14秒 是 Macstudio 的 12倍 。也就是4090PC是128GMacStudio 1/2的价格但提供12倍的生成速度。

長知識了，謝謝

终于有人讲M2 Ultra的AI功能了！！！！！感谢！！！

期待『林大仙』用兩套系統訓練同一個ai下棋還是對打遊戲，看是不是在同一個ai但不同訓練之後有差異……

16:51 这句话真的太特么对了。 保持开放，兼容并包，比画一个小圈子大家互相赞同好太多了。（B 站和 Y 站都关注了

这两天搞了下LLaMA3，回头再来听林哥的讲座，终于听懂了！！

你的视频 我有订阅😂虽然我听不懂 但是 我就爱听 真的！

终于等到林亦谈这个主题了！ 从M1晶片问世我就欣喜若狂地觉得世界改变了，可是只能和圈内几个朋友聊。现在林亦这个影片完整且完美地展示了M系列晶片所带来的新革命！ 好的影片必须留言按赞！

算力肯定是比不上nv的，但大模型要的不是算力，是内存带宽以及容量，这个纯属剑走偏锋了。nv游戏卡的算力：内存带宽容量比值是按照游戏那套管线优化的，但大模型的需求完全不是一回事。比苹果这种统一内存再进一步的解决方案或许是3060这种低配核心配上几百GB显存，但要找平衡点也挺复杂的

牛逼 等到了😊

謝謝分享

感觉影响还是在个人和小团队，目前Apple平台上还没办法训练比如LLaMA这样的大型基座模型，只能靠NVIDIA的大集群，不过Mac上跑起来和微调是足够了。

有点好奇 LLaMA 是怎么与中文LoRA 权重计算合并的。

请问现在有办法在apple silicon上做LLM的PEFT吗？ 如果只是30B的inference，好像不需要用到这么多RAM。可能一台MBP就够了。 一直在找让我败下去M2 Ultra的理由。

M3因該會擠一波大的提升。

系統封閉性和硬件不具擴展性，就已經不會列入商用方案考量， 沒有商用根本不可能挑戰到NV，但有人參一腳總比一家獨大好， 只有林兄這種少數的技術佬知道能怎麼用起來，但也能存在租用商業機去跑的方案， 姑且也不提GPU算力差距和4090是遊戲卡的問題了，相信大部分人真的會被封面誤導。

真羡慕，啥时候一步一步教一下大家怎么搞哇

想問一下這可以取代CUDA了嗎?

求求做个英语的版本。我很久以前就想说服老板给我配个M2 Ultra。我在一家公司当NLP 方面的研究。

出於對物理學的尊重 我建議有意買頂規mac studio來玩LLaMA的朋友 先去國外論壇看看會發生什麼事

Arm 跑docker image可不是100%兼容 時間成本上nvidia還是高很多，特別是gpu cluster的大規模應用 Apple出cluster方案就看跟linux的兼容了

這次發佈會我看中了遊戲編譯到Arm來，期望林大下次可以講一講這個，謝謝！

我实验室老板去年给我配了个m1ultra顶配 就是为了让我做这些。。

😮 16:56 这里林哥你在国内放的版本竟然也是没变啊！！！有点小担心啊

这个视角真的是blow my mind，林哥太牛了，弄得我都想自己跑一个大模型了

X86 的內顯 記憶體 最大能開多少呢？

好像Mac跑stable diffusion还是很慢，我的3080ti基本上5秒一张，看你那个进度条，估计等它跑完我这边8张也出来了。

想太多了😃

各位大神，小弟bg空白想學習machine learning和AI。請問該從何處學起呢？有推薦的資源嗎？

想請問林亦哥 這Mac Studio 能直接裝或要怎麼裝在一般win10 pc上呢？ by平常工作是AI美術的程式小白… 現在太常跑AI看到這東西簡直心動極了 怎樣都想買 就怕買了裝不上或不會裝 稍微查了一下 Mac Studio 就是一台電腦主機的意思？

丟失的數據變成熱量噴掉了，500W噴掉的熱量肯定比200W多了 自然風扇要更賣力

這樣看起來，統一架構根本超適合汽車的自動駕駛。 因為汽車既需要AI進行自動駕駛，又能提供一定的空間和負重，以及進行一定限度的穩定供電。 雖然單機遊戲可能不需要這個架構，但明顯每家運輸公司和汽車製造商都需要這個架構。 怎麼算都是比遊戲產業，更大的市場。 結論：新時代要開始了！

博主觉得个人计算设备会是未来还是人工智能云上训练会是未来啊？

花巨大的精神理解影片的內容 值得了

終於讓我看到希望了，一直很想擁有自己私人訂製AI，可是苦於沒有便宜的硬體設備 未來培養個AI來陪我打Game的日子越來越近了

我觉得不行，我提出一点疑问。不谈H100可以上到80G的显存，就算是消费级的4090显存只有24G，也是能全部用于存储参数和模型的，而M2 Ultra的192G不全是显存，操作系统和应用程序本身就需要占一部分。我没训练过大模型，但是我做的基于Transformer的小模型，在服务器上的内存占用经常达到50G左右这个量级，而我用的服务器上的内存通常是256或者512G，并且可以继续加。M2 Ultra在显存和内存共用的前提下有多少容量是纯分配给模型用的这是个问题，并且他不可扩展，再怎么牛逼也是不够用的。另外它是否支持多台Mac组多机训练？能否支持多机或者跨机训练是大模型的核心之一。

非常好讲的

Stable diffusion 類型的開源項目可以用m2嗎？

fine turning requires running training which are usually one 8x A100 in the cloud. Mac studio ultra's GPU is computation power is not even on par with 3090/4090, this is misleading. The advantage of apple's arch is the size of memory could be shared, but saying it beats Nvidia is exaggerating.

超大規格的模型推理速度同樣重要，m2u現在顯然還沒法跟nv比，而且推理這樣的場景更多是在服務器上進行的，這樣的機器無論是做訓練還是推理服務都不太適合

其实Jetson系列也是统一内存架构，比如jetson orin就有32G可供显示卡可用；如果NV愿意其实也可以加到64甚至上百G

感谢分享

現在主流是跑壓縮過後的模型 運行速度快得多 占顯存大小只有3分之一左右 模型品質差距只有千分之5左右 像65B模型4bit壓縮只要48g的ram可以跑 最近又多了exllama的黑科技 可以用更少的顯存(大概比原本少4分之一)速度卻快出2-3倍 現在AI大模型進步得很快 幾乎每天都有新技術的論文冒出來 而192GB的RAM可以給以後出現更大的模型跑 或是跑更長的上下文 過去開源模型能跑的上下文是2048T 代表你超過這個範圍的文字他就忘記了 但現在有技術把上下文大幅提高到16384T 但代價是需要用更多的RAM

所以这套方案，是给个人/小团队用的。 大企业有足够预算，还是多块NV互联，效率更高，对吗？

核心在于必须有一些小众模型没有适应于mac的底层库。有一些需要修改的东西还是在之前的NVIDIA上面

可以跑text-generation-webui和一些比较流行的开源LLM吗？ 比如MPT-30b或者Falcon-40b？ 速度如何？

補充兩點吧，training和inferencing需求的內存是不一樣的，192GB應該只夠訓練7B的llama；33b llama quantized只有20多G，不過目前應該只有cuda的實現

但苹果统一架构的缺点是意味着更新换代变得更为复杂，所以更适合的是普通个人研究者，对于商用级的来讲，技术迭代需要不停的更换显卡仍然是模块化更合算

两个问题请教下林哥 1，苹果的UMA和10多年前AMD fusion项目的APU with HSA，以及intel第六代酷睿处理器(Skylake)甚至更早的Gen5核显Arrandale/Clarkdale，有什么本质的区别？ 2，苹果的UMA+MPS+PyTorch等开源生态，能否在短时间(2~3年)内颠覆CUDA生态当前垄断地位？nvidia是不怎么依赖开源生态的，软件大多都自己开发，这两种模式有什么优劣？nvidia现在市值过万亿，是不是因为苹果没有下决心进入万亿市场空间的数据中心市场？ 感谢！

感謝分享，m1 ultra要熱銷了😂

我们的有那么多那些大顶流公司也没有看到谁说出如此深的感触。林一个人玩的就如此溜溜的。

看完以后，瞬间感觉自己买的macbook pro 32GB，显存不够用了。。。

感謝，我學到很多。

我林哥的节目永远都是这么干货满满

其实老黄的Jetson系列也是统一内存架构，只不过目前最大的是Jetson AGX Orin 64GB，是基于安培架构的。因为有CUDA生态加成，非常好用。希望M2 Ultra能够激励一下老黄，搞出更大内存版本的Jetson产品，哈哈哈~

每個人都能低成本的訓練AI模型真的是很誇張...

@lyi 配上英文字幕，應該會超多人看。我沒找其他人(英語)用M2 Ultra講這個。你是現在的唯一。👍

當然是得按讚啊!!

首先没人用4090训练大模型训练,40系消费卡是大幅阉割了显存位宽的,不适合做ai,比3090还不适合,就是个游戏卡．勉强跑跑推理还能凑合，训练就别想了．其次M2 Ultra大概1TB/s的带宽,也就跟砍完了的4090差不多，想搞大模型也就娱乐一下．大模型训练根本不可能用单卡,就算你有192GB也远远不够．NV的训练卡，卡间互联都有接近1TB/s的带宽，也能互相访问． 你真想用统一内存,Grace Hopper的显存内存也能互相用并且保证一致性. 如果只是想内存当显存用的话,CUDA也多年前就支持了锁页内存和统一内存. 至于巨大单卡显存的AI卡，在chatgpt火之前就规划了９０+GB的卡，chatgpt火了之后你猜ＮＶ有没有准备出更大的? 如果仅仅想靠几个硬件参数超越就能干掉nv的话,amd和一众ai芯片公司早就办到了．苹果的搞搞toC市场的那部分推理就行了，训练这种主要toB的市场不敢说未来不会出现新的有力竞争者，即使有，也不太可能是苹果．苹果自我为中心，用户得按我的想法使用.这套逻辑，做toB业务根本行不通．大客户们会教育你谁是大爷，就算是NV，H100/A100训练卡现在一卡难求，也得跪舔大客户．NV里面最大的团队就是服务大客户做技术支持的.

如果價錢再下來一點,AI真的要普及了。

有点好奇老师那一台windows主机的机箱和配置是啥样，这种下落led的装饰好极客，不知道往期视频里有没有介绍过？

欣赏。我是那种相当内行的外行，但佩服你的思辨和口才。谁让当年进错了行。

Mac十年老用户觉得，苹果现阶段最伟大的东西真就是M系列芯片以及它对Desktop带来的影响

全村的希望是存算一体结构。苹果统一内存感觉只是一个过渡！

林老师，能不能分享一下关于ai和金融结合的一些github的一些工具等的知识，谢谢🙏🙏

可以对比一下 AWS的INF2 吗？那个最多可以冲到384G显存

沒想到大模型已經可以縮到跟人類大腦差不多大了，看來AI機器人前景比想像中來得快