Тёмный

本地跑大模型,需要什么配置 

huangyihe
Подписаться 7 тыс.
Просмотров 13 тыс.
50% 1

1、在本地跑开源大模型,有什么好处?2、PC入门配置、理想配置推荐。
⭐️ 视频中提到的产品 / 项目 👇
➡︎ Ollama: ollama.com/
➡︎ Anything LLM: useanything.com/
⭐️ 更多相关视频 👇
➡︎ Ollama + Hugging Face: • Ollama + Hugging Face:...
➡︎ Ollama + Anything LLM: • 部署本地大模型和知识库,最简单的方法
➡︎ Ollama + ngrok: • 本地知识库,外网也可以访问
===========================
加入付费社群,提问 / 交流
===========================
🔥 知识星球:t.zsxq.com/19IaNz5wK
===========================
墙内用户来微信平台来找我
===========================
⚡️ 视频号:黄益贺
⚡️ 公众号:newtype 超级个体
===========================
我的理念 + 我想干什么
===========================
🤖️ 我坚定认为:1、AI是我们这代人一生一遇级别的机会。2、内容和代码是这个时代最重要的杠杆,大过资本和人力。
💥 通过分享关于AI的Why和How,通过内容和社群,聚集像我一样希望成为【超级个体】的人。

Наука

Опубликовано:

 

1 апр 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 49   
@huanyihe777
@huanyihe777 Месяц назад
Patreon已上线,欢迎加入:www.patreon.com/newtype_ai newtype是我创建的社群。之前开通了知识星球,面向国内小伙伴,已经运营三个月。现在有了Patreon,海外的小伙伴也可以加入讨论了。
@Trevor0713
@Trevor0713 3 месяца назад
我分享一下我在公司工作站上的配置, Xeon W 2123, AMD 7900XT, 64GB DRAM, 跑llama 2-chinese 13B int8是完全沒有問題的, 7900XT的VRAM夠大, 可以把整個模型都塞進GPU, 再搭配LM Studio的伺服器功能, 可以架一個LLM給四五個部門同事同時使用, 非常順暢. 我目前正在考慮改用Int 8的7B版本, 把一些VRAM騰出來給SD用. 但我說句老實話, 我目前不推薦使用AMD的GPU, 因為開源LLM如果沒有微調, 生成品質是沒辦法跟chatgpt相比的. 但微調這件事, 目前在A家平台上, 只能使用ubuntu linux, windows還不支援.
@user-bv9qr8sc1j
@user-bv9qr8sc1j 11 дней назад
amd能跑大模型吗。。。好像没见过欸。
@huanyihe777
@huanyihe777 3 месяца назад
这期一录完,我就下单了两根16G DDR4 3200内存条,明早到。可以跑更大的模型了。达芬奇也应该会更流畅。
@5204
@5204 Месяц назад
去年內存便宜的時候買了八根16g的ddr4 3200 ecc,在epyc7402上組八通道,整機價格還不到五千人民幣
@lamleo-tp7gb
@lamleo-tp7gb Месяц назад
你好我想問MacBook 18G m3pro 可以跑嗎 我想訓練一個很小的語言大模型
@ananceng-cp1vv
@ananceng-cp1vv 22 дня назад
可以 m芯片的內存是可以當顯存用的
@Ersambx
@Ersambx 3 месяца назад
你这应该叫小模型,不叫什么大模型,就像马斯克上次发布的大模型,硬件就至少需要8块h100显卡,才能跑的动。
@huanyihe777
@huanyihe777 3 месяца назад
🙃
@user-dv7xh4ji4j
@user-dv7xh4ji4j Месяц назад
你说的训练,博主说的推理,不是同一个阶段
@raze0ver
@raze0ver 3 месяца назад
请教 4060 ti 16gb 会比3060 12gb 更推荐吗?还是没必要,如果不能一步到位4090,就干脆还是3060 12gb ? 主要是针对音频生成的模型
@huanyihe777
@huanyihe777 3 месяца назад
肯定优先40系显卡。内存32G吧,不贵
@raze0ver
@raze0ver 3 месяца назад
@@huanyihe777 谢谢回复!可能没说清楚,是4060 ti vram 16gb版本和3060 vram 12gb版本,不是内存大小
@acer5504
@acer5504 3 месяца назад
4060 16G​@@raze0ver
@kenliang.clicks
@kenliang.clicks 3 месяца назад
感谢分享!非常有帮助!
@yan_yan_1995
@yan_yan_1995 3 месяца назад
想看主題的話由 3:00 開始看就可以了 😃
@user-dp1xb9pl5x
@user-dp1xb9pl5x 2 месяца назад
MBP M2 MAX 96G内存8T配置能跑吗
@huanyihe777
@huanyihe777 2 месяца назад
可以
@user-dp1xb9pl5x
@user-dp1xb9pl5x 2 месяца назад
@@huanyihe777 明天试一试
@jingxiang7830
@jingxiang7830 3 месяца назад
请问哪一款开源大模型比3.5好
@huanyihe777
@huanyihe777 3 месяца назад
比如,Alpaca,斯坦福大学基于LLaMA 7B模型微调出的新模型。还有那些MoE的,都很强
@pangzima
@pangzima 3 месяца назад
感谢😄内存够了,显存就。。。。哎~
@huanyihe777
@huanyihe777 3 месяца назад
换显卡吧😅
@pangzima
@pangzima 3 месяца назад
@@huanyihe777 4060ti16显存,您觉得怎么样,用来跑本地大语言模型
@youtube-user-offical
@youtube-user-offical 3 месяца назад
@@huanyihe777笔记本可以换显卡吗
@CreativeEnglishTeaching
@CreativeEnglishTeaching 19 дней назад
@@youtube-user-offical 有可插拔独立显卡的可以换显卡,但即便是这样,也不代表所有人的这种独立显卡都可以换,那种显卡有半高的和标准全高的,半高的显卡如果显存是最高容量了,那么就没法换了,全高的显卡还有升级的可能。通常使用全高的独立显卡的这种笔记本电脑是17寸的笔记本,这种笔记本基本上都是工作站电脑,用的人较少,对于15寸或者14寸的笔记本电脑显卡插槽基本上装不上全高的那种显卡,因为显卡占的面积太大。笔记本还可以使用外置显卡,可以通过雷电接口或者Expresscard扩展外置显卡。
@youtube-user-offical
@youtube-user-offical 19 дней назад
@@CreativeEnglishTeaching 谢谢,很专业
@star95
@star95 3 месяца назад
請問OS是應該windows 還是Linux?
@huanyihe777
@huanyihe777 3 месяца назад
都行吧,我是用Win10
@nking99t
@nking99t 3 месяца назад
mac用的unified memory,那应该多少才够?
@huanyihe777
@huanyihe777 3 месяца назад
我没关注Mac。因为我的Macbook Pro还是2017年的,反正怎么着都跑不了。等M4出了,我要换机了再看了。Mac统一内存看起来很大,但具体怎么分配,搞不清楚。还有苹果版CUDA,不知道会怎么发展。等看今年WWDC会有什么消息。
@l3nhl
@l3nhl 3 месяца назад
64 起步 128G 稳定 196最好
@Fandral2008
@Fandral2008 3 месяца назад
主要我无法忍受比gpt4弱智的大模型了,所以还是要长期续费GPTplus,局域网做一个企业知识库的话,普通大模型应该就可以了
@huanyihe777
@huanyihe777 3 месяца назад
可以混合使用。比如,像Anything LLM这种软件支持多种大模型聚合。把API Key填进去,需要用的时候随时切换。
@user-bf9jp4ue1r
@user-bf9jp4ue1r 3 месяца назад
游戏笔记本部署有什么推荐的
@huanyihe777
@huanyihe777 3 месяца назад
就照着配置推荐买咯
@user-ym6mm4se2x
@user-ym6mm4se2x 2 месяца назад
m40 12gb現在能跑啥
@huanyihe777
@huanyihe777 2 месяца назад
不了解
@bluewatercg
@bluewatercg 2 месяца назад
共享显存可以吗
@huanyihe777
@huanyihe777 2 месяца назад
我没试过,应该可以。GPU不是必须的,但最好有
@user-qg4fe2yz5b
@user-qg4fe2yz5b Месяц назад
4090起步,有条件买几块H100也行
@tinkeringpoko
@tinkeringpoko 3 месяца назад
准备组3090 x 2 nvlink的我点进来看 发现我是不是在overkill😂
@Trevor0713
@Trevor0713 3 месяца назад
是overkill了...XD
@tinkeringpoko
@tinkeringpoko 3 месяца назад
@@Trevor0713 3090 x 2应该可以跑llama 2 65b @ 4bit precision 现在缺冷头 nvlink的间距风冷是塞不下的(笑
@benjaminzhong5882
@benjaminzhong5882 3 месяца назад
个人玩票的配置
@huanyihe777
@huanyihe777 3 месяца назад
有生产力的
@allanallan6258
@allanallan6258 17 дней назад
你倒是跑来看看啊
@user-pi7yq8um8n
@user-pi7yq8um8n Месяц назад
請問如何在本地訓練自己的AI
@huanyihe777
@huanyihe777 Месяц назад
微调,挺麻烦的,成本高,成功率不高。还是用rag吧
Далее
从零开始学习大语言模型(一)
20:13
Просмотров 190 тыс.
This or That 🛍️
00:52
Просмотров 2,9 млн
What it feels like cleaning up after a toddler.
00:40
AI绘画电脑配置要求~哪里可以省钱?
13:32
《M2 Ultra:干翻英伟达!决战AI之巅》
18:38
iPhone 15 Pro в реальной жизни
24:07
Просмотров 397 тыс.
Самый быстрый пылесос!
0:30
Просмотров 21 тыс.
APPLE дают это нам БЕСПЛАТНО!
1:01
Просмотров 658 тыс.