Тёмный
No video :(

【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备!| Llama2 | Gemma | Mistral 

AI白爷爷
Подписаться 8 тыс.
Просмотров 10 тыс.
50% 1

【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备!| Llama2 | Gemma | Mistral
在今天的视频中,我将演示如何在本地电脑部署市场上最强大的开源大语言模型-Llama 2, Gemma, mistral, 千问!从基础安装到高级应用,一步步教你如何在本地构建知识库并实现随时调用的AI助手。
🔥立即行动:
1. 订阅我的频道,开启通知铃铛,确保不错过任何更新。
2. 视频描述里有所有所需软件的下载链接,轻松跟上步骤!
👨‍💻视频包含:
- 如何安装和配置ollama等开源模型。
- 使用不同AI模型处理专业文档的实战演示。
- 如何为你的AI模型配置用户友好的界面。
- 开源模型与闭源模型(如ChatGPT和Kimi)的直接对比。
🤔如果你有任何关于视频的问题或需要帮助的地方,请在评论区留言,我会尽快回复你!
感谢观看,记得点赞和分享视频,让更多对AI技术感兴趣的朋友能够学习到这些知识!我们下期视频再见!
*************用到网站*******************
Ollama: ollama.com/
Open webui: github.com/ope...
Docker: www.docker.com/
**************时间轴******************
00:00 使用演示
01:55 ollama安装、优化和使用
04:11 open webui安装
05:45 使用演示2
07:54 闭源模型使用对比
#ollama #llama2 #LLM #大语言模型 #技术教程 #chatgpt #AI技术

Опубликовано:

 

17 авг 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 33   
@cpyi1
@cpyi1 6 дней назад
哈哈 謝謝分享 很有趣
@fxchesscom
@fxchesscom 2 месяца назад
非常感謝你的介紹,簡單明瞭,現在最大的問題就是顯示卡的顯存不足導致有很多大模型都無法本地運行,但是我相信並且希望未來應該要有辦法解決直接讓模型使用電腦的內存而不是用顯存,否則顯存一般無法讓user自己擴充,這就產生了一個很大的障礙
@jamesyen7288
@jamesyen7288 3 месяца назад
感謝分享~~~希望這系列的分享能持續
@user-sw5ql7fi6n
@user-sw5ql7fi6n 3 месяца назад
下模型的时候看一下模型大小,给20%左右的余量,大概就知道多大内存(显存)能跑了(如果没有桌面环境,用的linux的server系统,5~10%余量就可以)。只要模型能完整载入内存,就能跑,只是卡。如果模型能完整载入显存,那速度基本就不用担心了。
@cityturbo_EZ
@cityturbo_EZ 10 дней назад
为什么我用 ollama 下载的 llama3.1 8B模型在装了open web UI之后看不到?难道我又在 open webUI 中重新下载一遍吗
@andrewzhao7769
@andrewzhao7769 Месяц назад
感谢分享!!
@dannywolf2491
@dannywolf2491 Месяц назад
请问,这个方案如何能够调用给微信小程序的客服?有没有接口,希望得到您的支持
@jason8007
@jason8007 3 месяца назад
1、无法锁定中文回复,要不断的给中文指令。2、有字符限制,超过了就给你发一堆的符号
@grandpabai
@grandpabai 3 месяца назад
可以用llama的中文微调模型
@shengliu3501
@shengliu3501 3 месяца назад
微调需要什么配置
@grandpabai
@grandpabai 3 месяца назад
@@shengliu3501 不用自己微调,ollama里面有中文的lamama模型
@zxjason
@zxjason Месяц назад
我觉得Chatollama比open-webui更加好用。
@user-tj2vd5vq8k
@user-tj2vd5vq8k 4 дня назад
一直报错,WSL的问题
@lincodev
@lincodev 3 месяца назад
谢谢分享。 Web UI 成功下载后。报错( 如下)原因未知 (HTTP code 500) server error - Ports are not available: exposing port TCP 0.0.0.0:3000 -> 0.0.0.0:0: listen tcp 0.0.0.0:3000: bind: An attempt was made to access a socket in a way forbidden by its access permissions.
@xuanw1741
@xuanw1741 2 месяца назад
端口被占用 了 重新下载的时候 把端口号换了 在回车下载
@user-tj2vd5vq8k
@user-tj2vd5vq8k 4 дня назад
我也是 一直报错,你解决了嘛
@qikevin-qm3kw
@qikevin-qm3kw Месяц назад
安装ollama后在cmd窗口输入“ollama”回车,显示“'OLLAMA' 不是内部或外部命令,也不是可运行的程序或批处理文件。”,请问如何解决?感谢指教!
@grandpabai
@grandpabai Месяц назад
应该是安装的时候没有添加到系统变量中
@user-if5we1fi9l
@user-if5we1fi9l 2 месяца назад
'docker' 不是内部或外部命令,也不是可运行的程序 或批处理文件。这是怎么回事
@kongyutay4852
@kongyutay4852 2 месяца назад
1。检查docker 有没有加入环境变量2. 确保docker 进程有在运行
@LErik-yc5oq
@LErik-yc5oq 3 месяца назад
但 ollama 本地服务现在都不支持 tools calling
@user-uo1hp4xq4k
@user-uo1hp4xq4k 2 месяца назад
我显卡是4070,下了一个lama3,为什么输入以后就回答不了呢
@user-uo1hp4xq4k
@user-uo1hp4xq4k 2 месяца назад
我看了一下运行模型的时候gpu没有被调用,这是怎么回事呀,求解答😅
@ruingd5237
@ruingd5237 Месяц назад
​@@user-uo1hp4xq4k他有个设置,叫gpu offload 你把那个勾选上,拉满就可以显卡跑了
@user-bn2se8qv4p
@user-bn2se8qv4p 16 дней назад
@@ruingd5237 具体在哪里呀,没有看到这个设置,我这感觉还是cpu跑的
@user-qc6vc1ed4y
@user-qc6vc1ed4y 3 месяца назад
为什么之前下载了一个7b的千问模型,之后webui界面完成后又要下载模型 ,不能之前下好的吗
@grandpabai
@grandpabai 3 месяца назад
能用的,这个视频我用了两台电脑演示,所以后面的电脑又重新下载了一次模型
@shengliu3501
@shengliu3501 3 месяца назад
都是量化过的模型吗
@kejixueyuan
@kejixueyuan 3 месяца назад
Open WebUI中加载模型时出现524错误
@user-kr2ki4fo4j
@user-kr2ki4fo4j 22 дня назад
你好,请问如何让open webui运行的模型能够联网搜索内容呢
@syr1145
@syr1145 3 месяца назад
《简单礼貌的问候语》
Далее
host ALL your AI locally
24:20
Просмотров 978 тыс.
Big Baby Tape - Turbo (Majestic)
03:03
Просмотров 324 тыс.
本地跑大模型,需要什么配置
5:21
Просмотров 15 тыс.
Getting Started on Ollama
11:26
Просмотров 48 тыс.
This Llama 3 is powerful and uncensored, let’s run it
14:58
Run your own AI (but private)
22:13
Просмотров 1,3 млн