地表最强推理芯片Groq原理剖析&洞察

ZOMI酱

Подписаться 6 тыс.

Просмотров 2,7 тыс.

50% 1

Видео Поделиться Скачать Добавить в

地表最强推理芯片Groq原理剖析&洞察 #大模型 #Groq #推理

Опубликовано:

16 окт 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 16

@ZOMI666 6 месяцев назад

PPT免费开源在：github.com/chenzomi12/AISystem/tree/main/06Foundation/13Application

@吴梓朋 7 месяцев назад

视频和Git资料，太强了，学习

@zero-raytheaviator7395 7 месяцев назад

感谢分享~！💪

@阿才-f1x 7 месяцев назад

挖糙你這頻道也太牛皮了可惜現在演算法鍾愛體育教學而不是資料科學

@ZOMI666 7 месяцев назад

欢迎多关注

@clehaxze 7 месяцев назад

數據不對，H100的Die size是814 mm^2。但絕對不是814x814。81公分的晶圓哪裡找。Groq 的 die size是725mm^2... 沒有好多少然後SRAM Scaling很差但Groq有一堆SRAM，就算跟H100一樣用 4nm，面積一定比H100大

@ZOMI666 7 месяцев назад

是的，这里数据错了，欢迎到github上面帮忙纠错。

@geliangzhu9146 7 месяцев назад

这芯片要做成集群达到H100的能力，有人说过他的成本是10倍，电能耗用可能也是几十倍。主要是他每个芯片板对应的内存只有256M，导致要载入一个大模型到内存里面，需要千百个卡了，而同样的H100只需要4块。成本太高，不实用，所以各家也是看看而已。groq被质疑是亏本赚吆喝。

@ZOMI666 7 месяцев назад

当前而已，要往前看，就像把V100拿出来做大模型一样，会被人吐槽死。

@小兵-j1r 7 месяцев назад

@@ZOMI666 SRAM 架構沒甚麼機會啦. 機櫃的位置也是錢網線或者RACK 互連也是錢 DATA CENTER 後來流行用DAISY CHAIN接網路就是為了節省布線如果要RACK跟RACK維持高頻寬互享這麼多RACK 可想而知成本會變成怎樣

@reno6 7 месяцев назад

groq和graphcore架构差不多的

@ZOMI666 7 месяцев назад

有点类似

@zc3721 7 месяцев назад

40mins 太长了

@ZOMI666 7 месяцев назад

那怎么办，用AI浓缩。

@sharkcpt4017 7 месяцев назад

整天搞这些没用的能不能教粉丝做一个类似于chatgpt 5 我就佩服你