AMD MI300與AI到底有沒有搞頭? 

果然太久沒上片，說好要加章節結果完全忘記😅 00:00 開場白 02:42 AI training和inferencing 05:21 生成式AI的硬體需求與挑戰 09:00 MI300 vs H100 11:08 Nvidia DGX的通訊技術以及 Network Topology簡介 15:00 MI300的缺點 15:42 MI300失敗了嗎? 18:09 主委加碼淺談Nvidia L40 18:53 系統設計才是王道

原本還以為這頻道沒有要繼續經營下去了🥲

第一次听你的节目，感觉做的很好，条理清晰，浅显易懂。赞一个👍!

講的相當好啊 感謝 讓我了解到很多之前不知道的東西 ps:我很喜歡你的節目呢 不管講解還有語氣表情的表達都很不錯 讓我很喜歡繼續看你的影片

終於等到啦！架構型YT唯一支持

謝謝您分享您的經歷與見聞，採用深入淺出的舉例，讓我瞭解AI產業相關的聯結，系統整合的重要。

回來了真好, 很喜歡你的分析 👍

啊啊啊 爺爺公賣局更新啦 希望大大您好好準備 頻率不用高沒事的 但希望每次更新都很有品質🙏

感謝分享，每次都能學到很多。之前還以為以後都看不到您的影片了🥲

太清晰了！希望你能多發片！

內容十分充實，解開了一些不瞭解的地方，感謝。

感謝講解 , 滿滿的真材實料 !

睽違一年多 頻道突然復活了!! 🥰🥰🥰

等了好久 終於出新片了🥺

太讚了，等這個主題等好久，謝謝你

很棒ㄟ 很喜歡這樣的影片說明方式! 很有學習的感覺

MI300 的目標客戶是中小企業，一般祗用1-4張 GPU 做 fine-tune, 最緊要 VRAM 多! 這卡正好合乎要求！

WOW 歡迎回歸! 還以為你不拍了

邊看邊落淚...終於回來了

終於更新了👍

學到很多，影片製作辛苦了🙏

終於等到更新了！

等很久了!!! 快點!!!

終於回來了！🎉

終於回來了 有夠感動🥲

歡迎大哥回歸 真的是乾貨滿滿

太好了又看到你了 你的節目品質很好

歡迎回來🎉

回來了～感動

很有內容，有吸收到新知。

終於更新了！

听到过最娓娓道来，系统性能听懂的视频，赞👍

天啊 我今天才注意到你的新影片

久違的更新

Twitter有人推荐。看完感觉太厉害了。知识量强大。讲述清晰。❤

局座回歸，期待中~ 我最近也在研究MI300，特別是MI300A型採用UMA ， 看到有國外用 APPLE M2 ULTRA 192GB 跑AI訓練模型 C/P值超高，或許AMD 可以開發類似產品 不走HBM 改走 DDR5拚記憶體容量

嗚嗚嗚 終於等到更新了

終於更新了

非常感謝解說如此清楚😀 最近IBM New Analogue Chip看來是很前瞻的設計，是否能講解一下😂 存算合一使是否才是打破馮諾依曼瓶頸？

MI300 開發的時候就多是為了科學運算吧 主要科學運算的特性跟AI training 有點不同 科學運算主要都是做numerical simulation, 都是用Float64居多 而且現在的numerical code 主要都是memory bound, 所以不是用的不是CPU上DDR八通道就是GPU上HBM 如果你把MI300跟上面兩點相比一下, 就發現prefect match了

你終於回來了 等你好久

我靠，你終於回來了！你不要走啊！ #好了評論完了可以開始看影片了

感動 竟然回來了！！！！

Long time no see ! Missing you !

這頻道很專業 加油

邊看邊落淚...終於回來了+1

A great AI101 session. 👍

哇 好久没看到更新了

回歸了 感動

優質頻道，讚

未看先留言支持一下，畢竟下部片不知道要等多久😂

其實有點可惜沒有講到關於應用上MI300有多大的門檻要跨這件事。 看新聞，就知道所有在做AI的大公司都瘋狂的在搶NVIDIA的AI運算硬體，我都開玩笑說NVIDIA的產量限制了整個人類的進步XD 那為麼有更好的硬體不去用，還要跟人去搶NVIDIA的產品？ 有原因的嘛～ 真的光是硬體設計夠優秀是沒有用的，沒辦法把軟體開發環境等整個生態系建立起來，搞得大家用起來門檻很高很麻煩，沒辦法“It just works"，那就是失敗。大部份會去做AI Training的人剛開始入門的時候用就是學的某個框架，之後要大量使用的時候，也都會直覺得待在這個生態系。因為我只是要training model，專注的是思考新的訓練的方法，參數怎麼調等等，不太想花時間在轉換生態系這件事上面。舉個例子，大家用Windows，是生態系的關係，不是因為Windows有多好。Linux即使再好，再安全，再開放而且都能客製化還免費，這跟「一般使用者」沒有什麼關係，他們還是不想花時間在轉換生態系這件事上。再舉個例子，寫程式不就是有個基本的文字編輯器（notepad或vi）跟terminal就好了嗎？幹嘛要用IDE還被綁住？ 如果今天是學術機構（不像企業有那麼強的時間跟競爭壓力），或有天才型工程師，能不受框架限制把所有硬體都運用自如，那很好啊？！就可以去用MI300或其它的硬體，沒必要被NVIDIA綁架。不過很可惜的是，真正需要大量AI硬體的大企業，他們有時間跟競爭的壓力，他們就是那個會被生態系綁架的那個「一般使用者」。

您回來啦!!!!!!!!!

好久没看到这人了，嘿嘿，大佬又出来了。 不过AI训练一般用Float32， 或者NV自己的TensorFloat32（简化精度，保留动态）。推理用INT8比较多。不过LLM这些主要依靠的Attention还是需要用浮点数否说损失比较大（虽然也研究用简化的INT8）。用INT8-INT4 有2个好处 一个是计算速度变快对于便携系统来说主要是这个好处。但是对于LLM来说是另外一个好处。就是 内存访问量变小了。LLM推理速度一般是哪内存速度限制了，因为权重太多每次推理相当于要把内存都扫描一遍。 不过说到训练其实也有2种模式。一个是小模型通常采用 内存换速度。也就是在Forward的时候记录所有的数据，在BackProp的时候直接录用FW的数据计算Gradient。不过随着模型变大，要Cache就不太可行了，那么就只能记录部分数据，剩下的重新计算。 到了最后 只能用速度换内存。也就是不记录任何数据，吧整个结构设计成可逆的。算到FW终点之后，BP的时候完全再反过来随便一遍。这也是LLM常用的模型。所以LLM 非常吃频宽和计算速度。而一般的小模型带上所有的Cache可能也就10G左右。

辣個創作者回來了！

推推 優質頻道 另外可否講一下ROCm 6呢? AMD是否有持續改善在軟體開發環境上的劣勢呢?

一直期待您的分享和看法！！英特尔最新 HPC 和 AI 计划的大量更新，包括有关第五代 Emerald Rapids 和未来 Granite Rapids Xeon CPU、Guadi 3加速器、对标Nvidia H100 GPU 的新Max 系列 GPU 基准测试的新信息

強勢回歸！

大哥回來啦

NVLink is a connection between the CPUs and GPUs , so between sockets. The Infinity Fabric is many things more as it's build within the CPU/GPU, provides a link between dies and across sockets. Infinity Fabric isn't a kind of hypertransport but a superset of it. NVLink 是 CPU 和 GPU之间的连接，也是插槽之间的连接。 Infinity Fabric (AMD) 具有更多功能，因为它构建在 CPU/GPU 内，提供芯片之间和跨插槽的链接。 Infinity Fabric 不是一种超传输，而是它的超集

等你好久了

From Tom’s Hardware The MI300 3D design allows for incredible data throughput between the CPU, GPU and memory dies while also allowing the CPU and GPU to work on the same data in memory simultaneously (zero-copy), which saves power, boosts performance, and simplifies programming.

等好久了

先讚再看

昨天來翻看舊片，今天竟然更新了 😂😂

重磅回歸

回來了🎉🎉

終於回來了。我都懷疑您是不是在美國遭遇槍擊案了🤣

極端的例外： Crisis初代就是直接用未上市的G80晶片做開發平台

very well articulated

大師兄回來啦！

爺爺你喜歡的貧終於更新了xd

Actually, in LLM, higher memory is way more important. If you have to sync intermediate values, it's a lot slower. So if the chip can hold the entire model, that would be the fastest, with data sharding only.

什麼，竟然回來了 開心

之前有聽過用M2 Ultra來做成離線使用的AI（LLaMA)，因為他的統一記憶體剛好符合AI需要的大型記憶體

感谢回归！

目前超級電腦的CPU連結還是和以前的大型電腦的方式一樣，只是設備更快而已，有機會介紹超級電腦的CPU連結方式嗎？ 英國的IMS T800是用4面都有一個BUS和其他CPU連結的通訊方式，兩點間的中間CPU是By Pass ，當初看雜誌是這麼介紹，不知有無記錯。

MI300 問題除了串接成一個巨大算力之外 他的軟體生態發展晚 本質上是沒辦法跟NVIDIA比較的 現在所有訓練推理模型預設都是跑TensorFlow以及PYTORCH 在CPU市場也是一樣 過去AMD的cpu 只有支援雙路 即使他的threads 已經非常非常的龐大 但是intel早已經支援八路 多路系統最主要差異在於 串接後記憶體的容量整個上來 在傳輸上面 目前並沒有一個比較快的跨晶片傳輸 即使是nvlink記憶體延遲仍然十分龐大 主要在於要共享資料的時候 必須要穿透彼此晶片的cache或者記憶體 穿透出去就是慢 現在晶片的die與功耗越來越大 也許以後單個wafer生產製作成一個晶片的會越來越流行 另外就是更大晶圓的生產.

如果深入研究 AMD 目前的产品、MI300、其路线图和人工智能领域，人们会意识到它将成为一个重要的参与者。 十年前，英特尔在数据中心 CPU 领域的主导地位比 NVDA 在 GPU 领域的主导地位更强，前者为 100%，后者为 85%。 AMD一度濒临破产。 英特尔希望AMD能够生存下来，并借钱给AMD，这样就可以避免美国政府的垄断诉讼。 如今，AMD 正在像廉价的周日自助餐一样吃英特尔的午餐。 硬件、软件和网络是人工智能基础设施的三个主要构建模块。 1. 硬件 MI300 (AMD) 比 AH100 (NVDA) 更先进：更多内存、带宽和 TOPS（每秒万亿次操作）。 使用 16 位数学进行的 AMD 和 NVDA 基准比较测试显示了这一优势。 NVDA 通过使用 8 位数学运行相同的测试来谴责它，并显示出更好的结果。 AMD 反驳，NVDA 没有回应。 AMD 小芯片设计和 3D 内存封装比 NVDA 具有固有的硬件优势。 另一个重要事实是MI300使用了台积电5/6纳米节点，而AH100则使用了台积电4纳米节点。 AMD可以通过切换到台积电4nm节点来快速超越NVDA。 2、软件 毫无疑问，NVDA 在软件方面遥遥领先。 AMD通过收购Xilinx招募了大量软件人才。 AMD 开源方法得到了软件开发商的热烈支持--Microsoft、Meta、AWS、Oracle、PyTorch、Hugging Face……。 随着开源人工智能软件的成熟，NVDA 的市场份额将大幅输给 AMD。 3. 网络 以太网是数据中心网络的标准，但如果AI集群规模庞大，它的速度会比NVDA的NVLink慢。 网络之王正在开发高速版本的以太网来挑战 NVLink。 当它到来时，NVDA Networks的优势也将消失。

講的太精彩了，真正的戰場是 PUE

天啊 失蹤人口終於回來了

MI300 GPU chiplets share the unified memory. Can they not communicate with each other using the shared memory?

您終於想起您的yt帳號了...

!!!!想說ig跟yt都沒有更新是不是不做了竟然又有影片了!!!

博主分析的关于inference 的有误 MI300x 的推理能力很强 主要是每个gpu 有192G vram 大概 每个nose 放4个 mi300x 利用infinity fabric 连接 可以接近有800G 容量 可以舒舒服服跑GPT3类似的模型。mi300 在LLM inference 上性价比完爆H100 并且MI300x 的产能有优势。

SOC, system on chip, 系統一直在被集成一個單一晶片. 所以根本無所謂 系統重要或晶片重要 , 因為今天的系統可能就是明天的晶片.

完全同意！特斯拉的Dojo就在整个系统(Full Stack)下功夫。

獨到的見解，AI設計上的一股清流

突然看到推薦影片還以為是舊影片🥹

datacenter tax 比单纯TDP重要，软件决定系统资源的利用效率

哎呀～找到YT密碼啦

哇! 失蹤人口回歸

挖賽，這支影片讓我茅塞頓開。不然我就是發佈會台下的那些華爾街笨蛋XD

我有個突發奇想 既然nv link頻寬那麼大 有沒有可能透過nv switch 增加下級記憶體 為不影響性能的情況，大部變數還是儲存在gpu內部，常數全部放在下級記憶體，這樣的話對常數的讀取還會加快。 而且可以更改軟體，training的時候隨機鎖定部份變數然後儲存到nv switch上的ddr6 省下內的空間可以放下大一點點的模型 雖然應該不會加大很多 但再配合大量ddr5應該或許有效 當然啦，可行性未知，也會消耗大量電源

靠，还好回来了😂

现在正式发布了，能不能发一期更新？谢谢！

midjourney 大概就是自有版權model的 stable diffusion 自己機器怎麼會跑不了? 4090跑一張基本設定的SD也不過3秒 另外NVIDIA除了硬體外更大的優勢我認為是在花了20年投資出來的軟體生態

不是...也太久沒更新了，想說會不會是忘了密碼。

好久都沒更新 等你等好久 以為你被擠牙膏公司網羅上班去了 沒打算再經營此頻道 原本已取消訂閱 想不到神奇的演算法又讓我看到....重新訂閱囉!!

居然更新了😱