Тёмный

Microsoft Phi-3 AI Model deploy in local pc @LM Studio,Support LLAMA3,API,similar to GPT 3.5,safe 

BKT-AIoT
Подписаться 620
Просмотров 6 тыс.
50% 1

Summary:
1. 1. Phi-3 Artificial Intelligence Small Language Model Introduction
2. LM Studio & Phi-3 Model Download and Installation Configuration
3. Running Phi-3 and Trying Phi-3 Chat bot
LM Studio download[441M]: lmstudio.ai/
Phi-3 download[2.2G]:huggingface.co/microsoft/Phi-...
Phi3 is very small, works on My test PC:
CPU: AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz
RAM: 16.0 GB
GPU: Integrated with cpu, AMD Radeon(TM) Graphics

Наука

Опубликовано:

 

1 июн 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 28   
@user-xx3ou6cg6m
@user-xx3ou6cg6m Месяц назад
您这边是什么配置的电脑?我这有台5800U的AMD小主机想拿来做测试,但不知道AMD的集成显卡在模型运行上能有什么样的效果
@BKT-AIoT
@BKT-AIoT Месяц назад
就是一个词一个词的出来,CPU,显卡实际占用也就30%多。视频下方放的有我的配置。
@ttxiaohahareveal8268
@ttxiaohahareveal8268 Месяц назад
我的m1 16GB的运行很流畅哦,和使用chatgpt一样,感觉还流畅些
@kaitaoCheng
@kaitaoCheng 29 дней назад
@@ttxiaohahareveal8268 我的m1芯片16gpu mac跑llam3可以,带phi mini好卡
@yan_yan_1995
@yan_yan_1995 18 дней назад
@@ttxiaohahareveal8268 請問 m1 還是 m1 pro ?
@BKT-AIoT
@BKT-AIoT Месяц назад
有人提出下载太慢,我正在上传到百度网盘,稍后放出地址
@allen-lee
@allen-lee 23 дня назад
发现在预设preset中选择phi3,弹框中选择保持系统设置,回答能变快一些。
@BKT-AIoT
@BKT-AIoT 22 дня назад
你的机器什么样的配置啊?显存有多少?能装下模型不
@allen-lee
@allen-lee 22 дня назад
@@BKT-AIoT 老游戏本6G显存,可以装下2G的模型
@kaitaoCheng
@kaitaoCheng 29 дней назад
很奇怪,说模型小,我的m芯片16gpu mac跑llam3可以,带phi mini好卡
@BKT-AIoT
@BKT-AIoT 29 дней назад
前面有人说m1 16GB的运行很流畅。
@BKT-AIoT
@BKT-AIoT 23 дня назад
最新一期视频有我提高运行速度的一些优化设置,看看是否对你有用。
@ttxiaohahareveal8268
@ttxiaohahareveal8268 Месяц назад
LM Studio 里面已经有phi-3的模型了哦
@BKT-AIoT
@BKT-AIoT 23 дня назад
这个和网络有关系,你用的透明梯,就应该可以看到。
@cheyohou47
@cheyohou47 Месяц назад
看来博主也是在深圳
@SGTK66668
@SGTK66668 Месяц назад
深圳+1
@masatakehayashi427
@masatakehayashi427 Месяц назад
打雷了?好大声音。
@BKT-AIoT
@BKT-AIoT Месяц назад
是的,近期豪雨
@ttxiaohahareveal8268
@ttxiaohahareveal8268 Месяц назад
阿里云不支持gguf格式的分享哦,都已经上传完了😂
@BKT-AIoT
@BKT-AIoT 23 дня назад
不知道阿里云为什么要做这种没有意义的限制。他限制格式,我就压缩再上传,这样就会存在多个不同压缩方式的文件,占用控件更大。还有百度云,竟然免费版的要限制不能大于4G,同样是没有意义的,我多卷压缩再上传就给他破掉了,而且占用他更多的磁盘空间。
@user-ec6he5jj5f
@user-ec6he5jj5f Месяц назад
既然做自媒体,拾音设备弄好点嘛
@BKT-AIoT
@BKT-AIoT Месяц назад
刚开始,还没有专业设备。设备会改进的,感谢支持!
@yangli7586
@yangli7586 Месяц назад
这个也不是本地吧
@BKT-AIoT
@BKT-AIoT Месяц назад
是在本地运行的。是不联网的。
@kavinsmith9777
@kavinsmith9777 23 дня назад
作为中文模型使用,真的比较一般,不知道有没有训练过的中文版
@BKT-AIoT
@BKT-AIoT 23 дня назад
你主要是处理哪方面的应用?
@kavinsmith9777
@kavinsmith9777 21 день назад
@@BKT-AIoT 主要是中文写作
Далее
本地跑大模型,需要什么配置
5:21
Просмотров 8 тыс.
Полезные программы для Windows
0:56