Тёмный

離線不怕隱私外洩!免費開源 AI 助手 Ollama 從安裝到微調,一支影片通通搞定! 

PAPAYA 電腦教室
Подписаться 1,5 млн
Просмотров 68 тыс.
50% 1

🔹 內容綱要
00:00 Ollama 安裝
03:02 下載語言模型
05:24 在 Ollama 使用 ChatGPT
06:37 會員與權限管理
07:16 建立特定用途的 Ollama 模型
08:10 提示詞快速啟動設定
08:58 載入外部檢索文件
09:57 語言模型微調
🔹 網站連結
Ollama ollama.com/
Docker www.docker.com/
Open WebUI docs.openwebui.com/
OpenAI API platform.openai.com/apps
Unsloth unsloth.ai/
Google Colab 複製模型語法 tinyurl.com/22qzs4jn
🔹 小額贊助 Papaya 電腦教室
方式一:加入頻道會員 (加入後可觀看會員專區的影片喔) tinyurl.com/sxt3d2b
方式二:在 RU-vid 影片右下角點擊「超級感謝」按鈕 🎉
方式三:www.buymeacoffee.com/papayaclass (請 Papaya 喝咖啡)
方式四:p.ecpay.com.tw/A1B71E8 (ECPay)
#教學 #Ollama #Llama3 #Mistral #開源語言模型 #LLM #Unsloth #模型微調

Опубликовано:

 

14 июл 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 163   
@chrischen4256
@chrischen4256 26 дней назад
這個頻道最強的就是使用短短十幾分鐘,就能把一些核心議題論述的很清楚,厲害!!
@wennie2939
@wennie2939 2 дня назад
同感,哈哈
@davidchiang2207
@davidchiang2207 Месяц назад
好厲害喔!我之前繞了很多彎路 LM studio 和 anythingLLM 都試過 ... 你教的方法比較淺顯易懂,也比較實用!
@Tesialiu
@Tesialiu 25 дней назад
感谢老师!如此精致又友好的视频实在难得,已成功下载Ollama并开始使用,十分感谢!
@yuna_tseng
@yuna_tseng Месяц назад
已經用 ollama 很長一段時間了,也大力推坑同事一起來用,沒想到居然有出教學!以後直接丟影片連結就好了XD!
@DiosLi
@DiosLi Месяц назад
木瓜大一貫優質又清晰的教學,感謝~
@kehaujung
@kehaujung Месяц назад
以為自己了解了,但每次觀看都還是有學到,厲害~!
@blackgameshow6220
@blackgameshow6220 Месяц назад
昨天才看到有人用8GB的GPU微調這個 PAPAYA老師就來了! 太讚了!
@alfhuangtw
@alfhuangtw Месяц назад
非常實用且專業的教學 感謝
@wildwallker
@wildwallker Месяц назад
這實在太讚了,感謝製作介紹影片
@hisquall0901
@hisquall0901 Месяц назад
謝謝老師的用心教學!
@lilyanli350
@lilyanli350 Месяц назад
感恩❤你的內容太棒了👏
@dpi627
@dpi627 Месяц назад
謝謝老師,影片太讚
@makisekurisu_jp
@makisekurisu_jp Месяц назад
感謝讓我學到可以用colab微調LLM模型🥹
@8994lulu
@8994lulu Месяц назад
這個太棒了!! 希望老師可以教RAG🥳🥳
@user-gy2dt2wy8n
@user-gy2dt2wy8n Месяц назад
這個教學真是太棒了。
@fish-wz4pr
@fish-wz4pr Месяц назад
這是我看過講解最清晰好懂的影片
@Vocabpass
@Vocabpass Месяц назад
影片含金量很高
@user-zn1ug3ol7o
@user-zn1ug3ol7o Месяц назад
老師也太厲害了吧!
@raechiang6665
@raechiang6665 Месяц назад
謝謝!
@AIStudio-2024
@AIStudio-2024 Месяц назад
清晰
@賴宇俊
@賴宇俊 Месяц назад
在使用colab時,免費用戶也能切換至gpu運算,會比預設的cpu快很多,不用十分鐘就搞定
@user-mk6sn9ou7l
@user-mk6sn9ou7l 5 дней назад
謝謝分享
@bookerlin7374
@bookerlin7374 Месяц назад
真的是太感謝老師分享了,這個部屬流程,安裝真的已經教的很簡化了,剩下的是我需要多高的硬體規格才能負擔常規使用了。
@terryterry8999
@terryterry8999 Месяц назад
mac另當別論,GPU的VRAM的需求取決於要跑什麼模型,從幾十M到破百G的模型都有,想跑主流模型還是建議上12Gvram
@obtrusin
@obtrusin 5 дней назад
讲得非常好,简单、明了、清晰,内容实在。希望进一步的深入讲解,比如,“載入外部檢索文件”是不是太简略了,复制粘贴,AI转换后再复制粘贴到新建的文件里面,效率低不说,恐怕容易卡顿掉,请深入地展开讲,举2个例子:1、一个比较大的文档比如PDF书籍如何加入到AI的微调当中或如何RAG;2、对视频如何用AI翻译加字幕,分两种情况,下载的(本地) 视频和实时的(直播)视频如何翻译。
@Answer1996
@Answer1996 День назад
真不错哦
@lilylily6123
@lilylily6123 Месяц назад
真的太扯太強了老師...
@chaos2810
@chaos2810 Месяц назад
Backyard AI 也是一個很好又易用的工具
@78da48
@78da48 Месяц назад
太强了吧,还有fine tune教程!
@seppfirenze
@seppfirenze Месяц назад
感謝
@yichaohsieh
@yichaohsieh Месяц назад
超級厲害,老師真的很讚!
@JianShengHou
@JianShengHou 23 дня назад
好東西!
@reiwu
@reiwu 5 дней назад
看了這麼多的介紹,還是這部最簡短又清楚,這是多難的實力表現。
@xueyuandu
@xueyuandu Месяц назад
牛逼,没一句废话!
@HorCyChang
@HorCyChang Месяц назад
Open WebUI 不只可以接ollama跟openai還可以接很多家的api,只要配合litellm就行。也是docker架一下就有。
@snowha2169
@snowha2169 Месяц назад
請問是如何在setting裡model中新增「管理LiteLLM模型」的進階設定啊? 因爲我照著步驟下載都沒有出現😢 3:15
@jeanapp_
@jeanapp_ 17 дней назад
超棒的說明!請問下次可以討論如何讓本地的模型也可以從網路搜尋資訊嗎?比方説請他藉由搜尋告訴我今天某地的天氣。
@dunliu6566
@dunliu6566 Месяц назад
厉害(๑•̀ㅂ•́)و✧!学习了。
@ryanmartin90
@ryanmartin90 26 дней назад
還是蠻推薦 Jan 的 😎
@user-kq5jj8oq9n
@user-kq5jj8oq9n Месяц назад
還有微調也太專業了吧
@user-hl1fk6lw8k
@user-hl1fk6lw8k 22 дня назад
提醒一句 在Windows 11 安裝docker需要啓動虛擬機服務程式才能正常運行 安裝后如報告WSL無法啓動的相關錯誤:1. 在主板boot頁面開啓虛擬機功能(不同廠商的主板操作各異)2. 在控制面版中「啓用或關閉Windows功能」中勾選虛擬機服務 重啓系統后 可通過任務管理器的「CPU性能」選項卡中有提示虛擬機已開啓作驗證
@Tthim627
@Tthim627 Месяц назад
太讚了吧老師,這真的是免費能看的東西嗎? 請問老師可以多分享一點有關微調 LLM 的使用心得和方法嗎?我看影片中示範只是一份簡短的 PDF file, 假如我想把自己多年來整理的行業心得導入到 AI 裡把它作為我第二個大腦使用又應該怎樣做?把所有的資料一次過換成 JSON 貼在同一個 File 裡面嗎?感謝.
@810602jay
@810602jay Месяц назад
連 Unsloth 用 custom data fine-tuning 都有教學了... 😳 該不會下一次就是教 RAG 了吧
@B.-zf2cz
@B.-zf2cz Месяц назад
老師好,請問封面羊駝的圖畫是自己做的嗎?是運用哪一款可以做到這麼可愛的圖片?
@user-br6tq9lr8l
@user-br6tq9lr8l Месяц назад
可以請老師教我們如何使用got來學習語言嗎? 或者學習一門新技術
@ArthurX0317
@ArthurX0317 Месяц назад
PAPAYA老师,能否系统来一节关于GPTs等智能体的打造课程,非常期待!
@awcrushb1653
@awcrushb1653 25 дней назад
@ayan13yxq
@ayan13yxq Месяц назад
请问我如果有很多知识要让大模型学习,微调的时候,是生成一个庞大的json文件,还是生成很多json文件,不停地训练呢?而且这种微调方式还是太麻烦,专业知识有非常多内容。而且专业文档很多并不是问答式的。这个有点难搞。请问有没有什么快捷的方法。谢谢!
@user-Shawnlin1220
@user-Shawnlin1220 Месяц назад
簽到
@zh2061
@zh2061 Месяц назад
真的就離譜,太猛了
@mark708090
@mark708090 Месяц назад
目前本地部署CP值最高的選擇就是兩張3090了,最少還是要70B以上的模型才比較實用。
@wah866sky7
@wah866sky7 Месяц назад
老師, 我安裝好 Ollama 及 llama3 Model, 不過我上傅圖片及 PDF 檔後, 他一直表示看不到已上傳的檔案, 請問會是什麼原因? (生成純文字是沒有問題) 謝謝
@putian5888
@putian5888 Месяц назад
还得你啊,还得你。
@jackytsui422
@jackytsui422 Месяц назад
我的超人
@makisekurisu_jp
@makisekurisu_jp Месяц назад
Papaya老師,ollama不允許離線模型使用網路搜尋,有沒有其他和手機上的huggingchat一樣可以讓離線模型使用網路搜尋回答問題的開源專案?
@Vocabpass
@Vocabpass Месяц назад
我愛你
@user-kk8gv5xp9b
@user-kk8gv5xp9b 22 дня назад
請問json的屬性名稱(如:instruction, input, output),這些是一定是這只有這些嗎?還是如果補一些自己隨便想的屬性,也能用於微調模型嗎?
@Jduei18Na223
@Jduei18Na223 Месяц назад
想問一下 老師或者版上大神,從docker上安裝open webui 完成後出現以下錯誤(HTTP code 500) server error - Ports are not available: exposing port TCP 0.0.0.0:3000 -> 0.0.0.0:0: listen tcp 0.0.0.0:3000: bind: An attempt was made to access a socket in a way forbidden by its access permissions. 請問這個怎麼解決😭
@aarontalk9999
@aarontalk9999 Месяц назад
这个错误可能是因为端口占用或者docker运行权限不足;可以优先检查3000端口是否被占用,或者更简单的方法是将运行open webui 的docker 命令中的3000端口改为3001或者其他端口);如果不是端口占用问题,那么可能是docker运行权限的问题,可以尝试在运行命令前加上 sudo,像这样 "sudo docker run -d -p 3000:8080...."
@neilwong3007
@neilwong3007 Месяц назад
如果Docker 顯示 docker engine stopped,可以如何處理?謝謝
@obba_qdcgo
@obba_qdcgo Месяц назад
每次微調都是一個新的語言模型嗎?
@majorkang
@majorkang Месяц назад
WIN10、11家用版用戶會遇到安裝Docker Desktop無法開啟跳出警示語的問題,原因為缺少Hyper-v,須另行安裝且至Bios設定
@yuna_tseng
@yuna_tseng Месяц назад
沒錯~也有遇到這個問題
@codebearai
@codebearai Месяц назад
要把 windows 設定裡面的虛擬化打開才能使用喔
@xlion
@xlion Месяц назад
因為要虛擬化
@Isongzhe
@Isongzhe Месяц назад
我看見活菩薩了🥺
@user-th1dg2xg3k
@user-th1dg2xg3k Месяц назад
windows用docker會吃很多記憶體喔 並且前置作業WSL安裝好像沒提到
@xlion
@xlion Месяц назад
非專業版系統不會顯示這個
@circlezsquare1626
@circlezsquare1626 10 дней назад
真的有料 但好奇9:00的時候和按+號上傳檔案的訓練模式有差嗎? 還是多一個預設的概念
@hsin-yusu9094
@hsin-yusu9094 2 дня назад
上傳檔案的方式是RAG的一種,輸入的指令會先查找上傳的index,再輸入到LLM生成回答 微調則是直接調整LLM的參數
@bingwenzhang5157
@bingwenzhang5157 Месяц назад
老师,能出chatTTS吗🎉
@wah866sky7
@wah866sky7 Месяц назад
請問安裝 Ollama 在硬件上有沒有一定要求?
@xlion
@xlion Месяц назад
至少8G的顯卡
@snowha2169
@snowha2169 Месяц назад
想要請問大家在模型那邊下面有一個叫做「LiteLLM」的設定嗎? 搞了一個晚上都叫不出來😢 拜託了🙏謝謝
@Frogking_Odessa
@Frogking_Odessa 29 дней назад
Data Prep 的部分只能用一個檔案,不然會出錯,跟大家分享
@wby9109
@wby9109 23 дня назад
老师为什么到了cmd命令提示符这里粘贴进去不会动呢?
@user-ie2bn8dt7c
@user-ie2bn8dt7c Месяц назад
請問在下載語言模型時一直跳出下載取消並跳出訊息,這個問題有解嗎?
@monicagc221
@monicagc221 3 дня назад
老師如果忘了open website的密碼該怎麼辦呢
@sheng0122
@sheng0122 Месяц назад
PAPAYA沒有極限
@user-dw8uy7px3l
@user-dw8uy7px3l Месяц назад
請問使用API金鑰後,沒有出現GPT-4,只有GPT3.5,是那方面的問題呢?
@savergame1483
@savergame1483 Месяц назад
請問,我在輸入模型標籤那輸入llama3,按下載按鈕就直接跳下載已取消,該如何解決,謝謝。
@dg5959654
@dg5959654 28 дней назад
papaya老师您好,我需要求助各位,我卡在json file那里。依据影片的格式准备了json file给colab 跑可是一直报我的格式有问题。用chatgpt换了几个不一样格式的json都一样。大家能成功通过吗?
@piinmaiw
@piinmaiw Месяц назад
老師好 如果公司電腦沒有限制Ollama的安裝 但限制Docker的安裝(需申請) 請問有什麼解方嗎?
@zhongshansun4730
@zhongshansun4730 2 дня назад
旧笔记本安装好进去一半就休眠
@XavierinCL
@XavierinCL 10 дней назад
請問我一切都用好後,我想要用我筆電訪問主機的ollama,我該怎麼做....
@mikelou8607
@mikelou8607 Месяц назад
c盘容量不够啊
@benc7910
@benc7910 20 дней назад
很屌
@junedeap
@junedeap Месяц назад
一開始就不想隱私外洩才用本地布署。 模型微調又上傳資料並使用chatgpt 不就違反第一個目標。
@jasonq96060004
@jasonq96060004 Месяц назад
請問在進行下載語言模型的步驟,出現"OpenWebUI:Server Connection Error",要如何處理?
@lhsky8551
@lhsky8551 Месяц назад
是的,我也遇到了这个问题,而且现在问题已经莫名的变成了Ollama API 已禁用🤐
@yinhong2202
@yinhong2202 Месяц назад
其实除了隐私原因,copilot 和chatgpt 所给出的答案一般比较完整和正确. 请问有什么原因我们需要本地部署AI助手呢?
@fish2468
@fish2468 Месяц назад
免費
@yinhong2202
@yinhong2202 Месяц назад
@@fish2468 chatgpt, copilot 和 bard 也有免费版吧?
@SpicyBoyd
@SpicyBoyd Месяц назад
有些公司不想要資料、數據外流,資安問題吧
@harrison_chiu
@harrison_chiu Месяц назад
小模型的本地部署運行起來其實很快,比線上的快很多
@v153351
@v153351 Месяц назад
@@fish2468 硬體其實貴不少,且弄本地AI的時間成本很高。
@fujiistar
@fujiistar Месяц назад
都出現下載取消 無法下載模型 複製不行 在MAC
@user-dw8uy7px3l
@user-dw8uy7px3l Месяц назад
所以API金鑰的方式會連網嗎? 如果不會聯網,那費用的部分是怎計算的呢?
@duzhuo
@duzhuo Месяц назад
肯定是会联网的,和你用api在python中使用是一样的
@sipayuexue
@sipayuexue Месяц назад
需要很電腦容量嗎
@freekadze
@freekadze Месяц назад
很想知道像這樣點了就馬上回答需要到甚麼等級的卡... 4080夠嗎?
@jacky2476
@jacky2476 Месяц назад
普通電腦的顯卡 + 8-12GB已經可以做到了,甚至比較新的手機也可以。因為那模型不是原始的,是壓縮過的,所以能力也有限制,但也有不錯的效果,我自己有用。
@jacky2476
@jacky2476 Месяц назад
提示詞要寫好一點,彌補模型的限制
@davidchiang2207
@davidchiang2207 Месяц назад
不用顯卡. 現在有 gguf . CPU+ 16GB記憶體就可以跑
@Alihuzzysf
@Alihuzzysf Месяц назад
主要是内存需要32至128gb才行,中等的最好64以上才行,硬盘占用率也很高,但是CPU和显卡占用反而不高
@jacky2476
@jacky2476 Месяц назад
@@Alihuzzysf 視頻中那個模型16GB已經很足夠吧
@heijun149
@heijun149 Месяц назад
很棒的教程,现阶段想要把这个local host让其他人使用,但没有什么头绪
@yan.j
@yan.j 27 дней назад
用虛擬區域網,然後看端口能不能直接用
@fujiistar
@fujiistar Месяц назад
無法下載模型 複製不行 在MAC
@janenu22
@janenu22 17 дней назад
請問老師,為什麼AI回答我的都是一些粗橫線,什麼字都沒有。🥲
@vservicesvservices7095
@vservicesvservices7095 Месяц назад
這個有比 lm studio好用嗎?
@davidchiang2207
@davidchiang2207 Месяц назад
lm 要upload file 很不人性。 不好用
@vservicesvservices7095
@vservicesvservices7095 Месяц назад
@@davidchiang2207 upload什麼?我稍稍試了下,覺得慢就是
@user-rp8rw5mm8s
@user-rp8rw5mm8s Месяц назад
請問語言模型都存到哪個資料匣,我因為導入錯誤語法裡面有不能引用的圖生文API給FOTO,結果FOTO整個就卡成狗,也瘋狂答非所問,我移除再加入,也只是移除索引,而不是整個刪除,謝謝
@user-rp8rw5mm8s
@user-rp8rw5mm8s Месяц назад
還好只有污染到Foto forge被污染,其他meta LLM沒事
@yochan1499
@yochan1499 26 дней назад
Error: listen tcp 127.0.0.1:11434: bind: address already in use Mac 怎么破?
@Resuri8
@Resuri8 17 часов назад
Why not procedures for linux user?
@lhsky8551
@lhsky8551 Месяц назад
下载的时候总是提示下载已取消是怎么回事
@mastermartin
@mastermartin Месяц назад
比較好奇這種的話 應該就可以拿來瑟瑟惹吧?😂😂😂
@harrison_chiu
@harrison_chiu Месяц назад
可以,但主要是看模型
@harrison_chiu
@harrison_chiu Месяц назад
@@Design-Enjoyment-Happiness 可以吧,就連Llama3都有機會就是很難搞而已要刷比較多次,就是技巧是大部分的都不能第一條對話就直接下,多寫幾輪對話會比較有機會
@marshalllee8488
@marshalllee8488 Месяц назад
@@Design-Enjoyment-Happiness 本來還想說終於可以做色色的事了說
@makisekurisu_jp
@makisekurisu_jp 29 дней назад
怎樣自動升級映像和容器,每次手動拉取新映像刪除舊映像,刪除舊容器創建新容器很麻煩。 自己解決了🥹
@auyeungstephen2878
@auyeungstephen2878 Месяц назад
我不能用Ubuntu 下載 docker desktop 有人有同樣問題嗎 求救
@user-hr2sh6zr7e
@user-hr2sh6zr7e День назад
沒辦法支援ios m1芯片
@user-wh4sv2vv7y
@user-wh4sv2vv7y Месяц назад
怎么都存在c盘,好浪费空间,docker的下载地址和模型的下载地址,很烦
@vincent5753-tw-roc
@vincent5753-tw-roc Месяц назад
友善提醒: 正體中文的 OS 應為"作業系統",而非操作系統(大陸用語)
@PONDER-hs5hq
@PONDER-hs5hq Месяц назад
自动设置的密码,结果密码找不到了,改密码的选项也没有,晕死!这个模型,还需要大量的训练,懂的很少觉得!
@manyes7577
@manyes7577 Месяц назад
等一下為什麼要用這個介面去接API 這樣的話不一樣?會資料外洩嗎?
Далее
마시멜로우로 체감되는 요즘 물가
00:20
Просмотров 21 млн
host ALL your AI locally
24:20
Просмотров 854 тыс.