Тёмный

Hướng dẫn chạy AI LLM miễn phí, offline trên PC, cả Windows / Mac đều dùng tốt 

Duy Luân Dễ Thương
Подписаться 373 тыс.
Просмотров 34 тыс.
50% 1

Đây là cách mà cách bạn có thể dùng LM Studio, một ứng dụng cho phép chạy nhiều model AI dạng LLM (mô hình ngôn ngữ lớn) trên máy tính cá nhân, cụ thể là laptop và desktop của mình. Nó hỗ trợ tăng tốc bằng GPU nên dùng cực ngon, và cả Windows, macOS hay Linux đều có thể dùng. Đa số các model nổi tiếng hiện nay như Llama2, CodeLlama, Mistral, Vistral, Phi-2... đều được support.
Tải về LM Studio tại đây: lmstudio.ai/
Tải app LightSum: tóm tắt thông tin công nghệ lightsum.app
Tham gia membership RU-vid để ủng hộ mình: / @duyluandethuong
Anh em có thể theo dõi mình tại:
- Facebook: / duyluandethuong
- TikTok: / duyluandethuong
Tham gia group Cùng chơi Công nghệ để hỏi đáp, chia sẻ kinh nghiệm về công nghệ, smarthome, điện gia dụng:
- Facebook: / cungchoicongnghe
Mấy món đồ mình đang dùng có thể mua tại duyluandethuong.koc.asia/. Anh em mua ủng hộ cho mình có tiền mua Porsche Taycan về review cho anh em xem nha :))

Наука

Опубликовано:

 

28 янв 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 130   
@HaiLeQuang
@HaiLeQuang Месяц назад
Nhìn quả bàn làm việc với 4 con laptop xịn đã vãi. Ước j đc như anh ấy
@HuyPham-cg3dv
@HuyPham-cg3dv 5 месяцев назад
quá tiện anh ơi anh cảm ơn anh chia sẽ những công nghệ hữu dụng cho việc học và đi làm của dev newbe như em 🥰🥰🥰🥰🥰🥰
@BuilderTV
@BuilderTV 6 месяцев назад
CẢM ƠN Duy Luân
@annguyentrong5043
@annguyentrong5043 6 месяцев назад
Cám ơn anh đã giới thiệu
@Orion-TG
@Orion-TG 3 месяца назад
Cám ơn anh về những kiến thức mà anh chia sẻ trong video, có một lưu ý là LLM Studio chỉ hỗ trợ cho dòng M1 trở về sau, hơi buồn xíu vì em đang dùng MBP 2019
@ntcz2242
@ntcz2242 5 месяцев назад
quá tuyệt vời anh ơi
@t_huystock
@t_huystock 2 месяца назад
A Luân edit với quay màn hình bằng phần mềm gì v, hay quá
@batboyboy
@batboyboy 5 месяцев назад
còn này mà chạy dạng server xong mình kết nối app riêng thì tuyệt
@monola244
@monola244 6 месяцев назад
nếu muốn chuyển văn bản thành ảnh thì tìm kiếm 1 con model có khả năng đó đúng không anh , nếu anh biết có con nào có khả năng đó thì chỉ em với ạ
@sinhnguyentruong9553
@sinhnguyentruong9553 6 месяцев назад
Cảm ơn Duy Luân và Video chia sẻ của bạn. Cho mình hỏi thêm, có thể thêm bổ xung thêm thông tin Private cho Model đang sử dụng ko ?
@duyluandethuong
@duyluandethuong 6 месяцев назад
Bạn phải tự fine tune model, rồi chuyển nó thành dạng GGUF thì sẽ dùng được nha. Fine tune thì phải làm riêng, trong phần mềm này không hỗ trợ
@NamHaVblog
@NamHaVblog 5 месяцев назад
anh Luân giới thiệu cho model để phân tích dữ liệu kế toán
@ngohoang5977
@ngohoang5977 6 месяцев назад
Em cảm ơn anh Luân đã chia sẽ, anh có thể ra tương tự phát triển chạy thử model trên điện thoại được ko ạ? Em thấy điện thoại bây h cũng có nhân NPU khá thích hợp để làm project nhỏ ạ 🎉
@duyluandethuong
@duyluandethuong 6 месяцев назад
Maấy cái trên điện thoại thì nhiều app đã làm từ lâu rồi bạn hehe
@anh2mc
@anh2mc 6 месяцев назад
Ủa anh có phần mềm ai nào dùng máy mình để tạo ảnh không ạ
@NghichDuThu
@NghichDuThu 5 месяцев назад
Có cách nào tải model AI về sau đó chuyển toàn bộ vào máy offline sau đó dạy dữ liệu cho model đó không bạn. vì mình cần tính bảo mật.
@nghiatran1509
@nghiatran1509 5 месяцев назад
Xin hỏi laptop chạy model AI thì card RTX 4090 hay card RTX™ 5000 Ada Generation Laptop GPU 16GB GDDR6 card nào tốt hơn ? Xin cám ơn.
@IDOLSKPOP68
@IDOLSKPOP68 4 месяца назад
Luân cho mình hỏi card 1080ti vs 4g vram dùng được modem nào tốt để viết tiểu thuyết vậy ak
@Pogn3855
@Pogn3855 6 месяцев назад
Anh Duy ơi làm sao để em sử dụng điện thoại android có thể xuất màn lên máy mac ạ mong anh trl
@user-dg9hg8jj8y
@user-dg9hg8jj8y 4 месяца назад
Anh cho em hỏi em muốn tạo AI giúp học tiếng hàn thì nên cài sao ạ. Em cảm ơn
@huyhandes
@huyhandes 6 месяцев назад
So về chất lượng/dung lượng thì Q5_K_M đạt chất lượng tốt hơn hẳn các model kia
@batboyboy
@batboyboy 5 месяцев назад
ăn cấu hinhf cao ko ạ?
@minhphatduong6985
@minhphatduong6985 6 месяцев назад
Hay
@nghiatran1509
@nghiatran1509 5 месяцев назад
MacBook Pro 16 inch M3 Max 128GB RAM có chạy được model có độ lớn gần bằng 128GB RAM không bạn ? Xin cám ơn.
@nguyenminhquan0112
@nguyenminhquan0112 6 месяцев назад
Dạ a Duy Luân ơi cho em hỏi , e đang xài Pro M2 13" thì có tải model Vistral giống anh để xài thì họ yêu cầu MacOS 13.6 or later thì phải update MacOS lên mới sử dụng được ạ?. Với cho em hỏi có thông tin nào để research các model để sử dụng trong LM Studio không. Em cảm ơn anh ạ
@duyluandethuong
@duyluandethuong 6 месяцев назад
Vụ macos thì cứ phải theo thôi, còn model thì nó có tên và model nền nếu có nên bạn cần thì search thêm về nó nha
@nguyenminhquan0112
@nguyenminhquan0112 6 месяцев назад
@@duyluandethuong Vâng e cảm ơn thông tin của a ạ
@tamannguyen2565
@tamannguyen2565 6 месяцев назад
Mình cũng bị, mình ở Macos monterey 12.6, vừa nâng cấp lên 14.3 xong. Tính giữ zin os máy mà giờ phải phá zin thôi kkk
@user-ft3ko7uz6j
@user-ft3ko7uz6j 6 месяцев назад
Chào anh Luân! Laptop của mình nó bị gì mà hay bị mất hình ảnh mình cài vô để làm lịch và hay bị treo máy
@nghiatran1509
@nghiatran1509 Месяц назад
Xin hỏi model LLM nào chuyên phân tích số liệu trên báo cáo tài chính của các công ty trên thị trường chứng khoán? Xin cảm ơn
@tuandac90
@tuandac90 Месяц назад
apple intel không xài được hả Luân ơi
@user-rt5gu5gj2w
@user-rt5gu5gj2w 5 месяцев назад
a Luân cho e hỏi có model nào có thể upload file lên để đọc và phân tích không a
@duyluandethuong
@duyluandethuong 5 месяцев назад
Chatgpt plus nha bạn
@vphuong2338
@vphuong2338 6 месяцев назад
A Luân cho e hỏi. Có thể setting như API để app call không. Hay chỉ type trên app LM studio thôi a
@duyluandethuong
@duyluandethuong 6 месяцев назад
Được nha bạn, nó cần phần chạy local server luôn
@nghiatran1509
@nghiatran1509 Месяц назад
Xin hỏi dung lượjng VRAM trên RTX có tương ứng với số lượng tham số mà model có thể chạy hay không ? Ví dụ 8 Gb VRAM tương ứng với 7B, 16Gb VRAM tương ứng với 13B, 128 Gb VRAM tương ứng với 128 B tỷ tham số của model ? Xin cám ơn
@HiepTran-tv1hh
@HiepTran-tv1hh 3 месяца назад
Chạy kiểu này có bị giới hạn số lượng từ như chatGPT hoặc Google Gemi không anh ?
@nhantrannguyenle5532
@nhantrannguyenle5532 4 месяца назад
mình đang xài M2 pro 12CPU-19GPU 32GB ram, số lượng tokens gen ra /s gần 15tokens, mình có thể tối ưu tốc độ hơn được không ạ? mình cảm ơn
@phamhoanganh7272
@phamhoanganh7272 11 дней назад
Mac air m2 dùng đc ko b
@LUONGTHITHUKIM
@LUONGTHITHUKIM 6 месяцев назад
sao em cài LM Studio báo lỗi javascript a có hướng giải quyết không anh.
@vietanhnguyen1146
@vietanhnguyen1146 6 месяцев назад
anh ơi, mình tự lựa dữ liệu, tự train model của riêng mình, anh nghĩ nó có khả thi không ạ 😗 em đang tính train để viết bài tối ưu SEO
@duyluandethuong
@duyluandethuong 6 месяцев назад
Bạn phải tự fine tune model, rồi chuyển nó thành dạng GGUF thì sẽ dùng được nha. Fine tune thì phải làm riêng, trong phần mềm này không hỗ trợ
@tractran1426
@tractran1426 19 дней назад
Bạn ơi, Model giúp viết tiểu thuyết là gì ạ?
@propertylevan
@propertylevan 17 дней назад
Cho mình hỏi làm sao để Model AI này chỉ dùng dữ liệu nội bộ của công ty vậy bạn. Mình cám ơn
@LittleStory88
@LittleStory88 5 месяцев назад
có cái nào vẽ được ko ạ
@MsZoozee
@MsZoozee Месяц назад
Luân cho hỏi xíu là có cần phải xài card ndivia không? Hay card amd cũng chạy được?
@duyluandethuong
@duyluandethuong Месяц назад
Amd cũng được bạn, mà amd đang beta
@Datnt.
@Datnt. 6 месяцев назад
Em cảm ơn anh. Cho em hỏi có vẻ ngu là 7b với 34b hay 70b thì nó có khác biệt về kết quả không anh, có nếu có thì nó khác biệt lớn không hay chỉ là chút ít thôi, em tải thử con code llama 34b mà nó chạy đứng máy luôn
@duyluandethuong
@duyluandethuong 6 месяцев назад
khác nhiều đó bạn :D nhưng tùy theo mức độ bạn cần mà bạn dùng thôi, chứ máy cá nhân thì hiện nay khó có con nào chạy được 34B lắm. MacBook Pro M3 Max của mình, RAM 128GB, dùng hết 60GB để chạy bản Llama 70B có quantization rồi :))
@thongle4590
@thongle4590 5 месяцев назад
Em tải về mà k thể cài đặt bấm vào vài cđặt thì nó chạy vô trình soạn ln ạ
@NguyenVietHoangHE
@NguyenVietHoangHE 6 месяцев назад
Có bạn nào dùng m1 pro mở phần mềm lên nó báo ram là NAN undefined không
@duongkechuyen1999
@duongkechuyen1999 6 месяцев назад
Chào anh Duy, anh có cách nào tuỳ biến một con AI học tập bằng cách up cho AI nó các câu hỏi và đáp án trong file PDF. Rất mong anh giải đáp khắc mắc của em, em đang muốn một con AI tối ưu quá việc học tập cho riêng em 😢😅
@duyluandethuong
@duyluandethuong 6 месяцев назад
Dùng GPT Plus, bạn tự tạo Custom GPT, rồi upload các file PDF lên để hỏi nó là được nha
@huytran2213
@huytran2213 6 месяцев назад
@@duyluandethuong nếu mình dùng local trên như video thì sao a ? Fine-tune lại hả a ?
@duongkechuyen1999
@duongkechuyen1999 6 месяцев назад
@@duyluandethuong cảm ơn anh Duy nha
@tuanvkuangvan4632
@tuanvkuangvan4632 6 месяцев назад
@@huytran2213 ollama hình như có á bác
@tuananhang1771
@tuananhang1771 6 месяцев назад
em xài con Asus vivobook i7 gen 13 đuôi H nhưng card onboard và chỉ có 16gb ram thì có dùng ổn ko ạ?
@duyluandethuong
@duyluandethuong 6 месяцев назад
vẫn được bạn, chạy mấy model nhỏ nhỏ chắc ok
@cookieman.19
@cookieman.19 6 месяцев назад
Nếu có internet thì dữ liệu được trao đổi theo client, server. Còn nếu chạy offline (không có internet) thì nó lấy dữ liệu ở đâu vậy anh Luân, em chưa hình dung ra được nó nén dữ liệu kiểu gì mà có thể chạy ở local 😨
@duyluandethuong
@duyluandethuong 6 месяцев назад
nó chỉ đơn giản là serve cái model đó ra cho giao diện sử dụng thui bạn, cũng y như client, server. Server thực chất nó cũng server model đó ra dạng API để web xài
@namduongthanhnam1446
@namduongthanhnam1446 6 месяцев назад
Các model như CodeLlama nặng không anh cỡ bao nhiêu GB vậy?
@duyluandethuong
@duyluandethuong 6 месяцев назад
nó có nhiều mức Quantize, tầm 3-4GB thôi bạn
@huynhxuandat
@huynhxuandat 6 месяцев назад
muốn con ai đọc tài liệu mình đưa vào và hỏi nó trả lời bằng những nội dung trong tài liệu và nó trả lời mình dùng model nào anh . mong anh reply
@duyluandethuong
@duyluandethuong 6 месяцев назад
Chạy local thì mình chưa thấy, còn online thì Dùng GPT Plus, bạn tự tạo Custom GPT, rồi upload các file PDF lên để hỏi nó là được nha
@phuonglion5676
@phuonglion5676 6 месяцев назад
E đang phân vân ko biết nên chọn màn hình PC 24in 2k 60hz hay Full Hd 144hz, nhờ a tư vấn giúp e ạ
@imblue1234
@imblue1234 6 месяцев назад
24' thì mình thấy FHD xài đủ r bạn+xài hz cao cho mượt
@duyluandethuong
@duyluandethuong 6 месяцев назад
4K 60Hz đi bạn, còn bí quá thì 2K ok, Full-HD vỡ tùm lum xấu lắm
@phuonglion5676
@phuonglion5676 6 месяцев назад
@@duyluandethuong Dạ 4k e thử tìm thì hầu như chỉ có màn 27in, mà e sếp chỉ cho mua đc màn 24in ạ
@phuonglion5676
@phuonglion5676 6 месяцев назад
@@duyluandethuong E đang nhắm màn Dell P2423DE
@wwk279
@wwk279 6 месяцев назад
Nếu đang phân vân chọn độ phân giải hay tần số quét cao thay vào đó chọn 1 con màn sở hữu cả 2 ưu điểm kể trên chẳng hạn như AOC Q24g2 24 inch 2k 165hz khỏi phải đắn đo
@nguyenphuong3836
@nguyenphuong3836 5 месяцев назад
@dangvutuan7209
@dangvutuan7209 6 месяцев назад
mình muốn tìm một AI để đọc thuyết minh và một IA để vẽ tranh thì làm như thế nào? IA bạn giới thiệu chỉ trả về kết quả text thôi!
@duyluandethuong
@duyluandethuong 6 месяцев назад
Phần đó không nằm trong phạm vi của video này rồi. Cái đó bạn search trên google thêm nhe
@quochoandkh
@quochoandkh 5 месяцев назад
Có con nào thông minh ngang chatgpt 3.5 k ad ơi
@duyluandethuong
@duyluandethuong 5 месяцев назад
Không bạn ơi, có thì cũng không chạy nổi tteen máy cá nhân nhe
@boquangdong
@boquangdong 5 месяцев назад
fine turn cho toàn bộ data từ document nào đó đc ko anh?
@duyluandethuong
@duyluandethuong 5 месяцев назад
nếu tìm thông tin trong document thì dùng RAG chứ đừng fine tune nha
@TuanNguyen-qu2ye
@TuanNguyen-qu2ye 6 месяцев назад
có con AI nào mình tự train nó ko a. như kiểu trong công ty mình train nó thành chatbot ý. ví dụ train nó cần file gì thông tin gì của công ty ở đâu nó sẽ trả về kết quả.
@duyluandethuong
@duyluandethuong 6 месяцев назад
Có, nhưng bạn phải code :D chứ nó không có sẵn
@meocobap5864
@meocobap5864 5 месяцев назад
@@duyluandethuong có 1 con y như yêu cầu của bạn phía trên á anh, con này tuy không phổ biến nhưng lại là hàng khủng từ IBM, tên nó là IBM watson assistant nha
@nguyenvannghia324
@nguyenvannghia324 6 месяцев назад
Là nó có lấy thông tin mới nhất trên mạng về trả lời không ta
@duyluandethuong
@duyluandethuong 6 месяцев назад
không co nha ban
@tieumarketing756
@tieumarketing756 6 месяцев назад
mac intel lại k dùng đc
@banhat5172
@banhat5172 6 месяцев назад
Có model nào hỗ trợ generate image không nhỉ
@duyluandethuong
@duyluandethuong 6 месяцев назад
Stable Diffusion nha baạn, nhưng trong LM Studio hình như chưa hỗ trợ đâu
@user-ij3up5hz6f
@user-ij3up5hz6f 4 месяца назад
Mọi ngừoi ai giúp e dới ạ, Em tải model vistral xong bấm qua chat thì nó hiện chưa tải model về :(((. E xài macbook M1
@BTRibbon
@BTRibbon 6 месяцев назад
đổi model's location sao anh , em dùng ssd rời chứ máy sắp hết dung lượng rồi
@duyluandethuong
@duyluandethuong 6 месяцев назад
mình không rõ, hình như không được
@BTRibbon
@BTRibbon 5 месяцев назад
@@duyluandethuong em làm được rồi a , bing nó bảo ko đc mà mk đổi location được
@chungvan8792
@chungvan8792 6 месяцев назад
Sao e cài model codellama giống a mà nó trả lời tiếng anh không mặc dù e input tiếng việt. Giúp e với !
@duyluandethuong
@duyluandethuong 6 месяцев назад
Naày mình cũng không rõ
@nway_noway
@nway_noway 6 месяцев назад
máy em có thêm phần n_gpu_layers nó là gì vậy anh
@duyluandethuong
@duyluandethuong 6 месяцев назад
Nó có. Ghĩ là bạn chuyển bao nhiêu layer của model xuống GPU, nếu chuyển xuống GPU hết để chạy toàn bộ bằng GPU thì bạn nhập -1 nha
@duyhoangta7988
@duyhoangta7988 6 месяцев назад
M1 max 32gb ram chạy ổn áp ko a?
@tuanvkuangvan4632
@tuanvkuangvan4632 6 месяцев назад
chạy bét tè lè nhè :v e m2 cùi bắp còn chạy được huống gì :(
@duyluandethuong
@duyluandethuong 6 месяцев назад
32GB RAM dư sức nha bạn
@Regular_Person-One
@Regular_Person-One 6 месяцев назад
Em có gpu mà vga là mx130 nó chỉ có 2g ram làm cách nào để chạy dc gpu ạ
@duyluandethuong
@duyluandethuong 5 месяцев назад
không chạy được đâu bạn :D
@hungtranqt93
@hungtranqt93 6 месяцев назад
Tính xài mà nghĩ lại mình chẳng có gì cần private thì thôi xài Bard hay GPT cho rồi
@RaptorLake13thgen
@RaptorLake13thgen 6 месяцев назад
Nó vẫn chưa tối ưu cho NPU hả anh?
@duyluandethuong
@duyluandethuong 6 месяцев назад
Chưa bạn, giờ số máy có NPU ít xỉn :))
@NMIXXLily
@NMIXXLily 6 месяцев назад
phần mềm thì miễn phí thế còn những model thì có cái nào trả phí ko anh :)))
@huyhandes
@huyhandes 6 месяцев назад
Hầu hết trên huggingface thì không, đều free cả
@duyluandethuong
@duyluandethuong 6 месяцев назад
Model thì thường free, open source cả
@tamannguyen2565
@tamannguyen2565 6 месяцев назад
Mac pro m2 2022 16/512 chạy vistral bị tràn ram liên tục a ơi :v
@duyluandethuong
@duyluandethuong 6 месяцев назад
bạn chọn quantize nhỏ nhỏ một chút là sẽ ổn nha, mình đang xài con MacBook AIr M2 RAM 16GB vẫn ngon
@tamannguyen2565
@tamannguyen2565 6 месяцев назад
​@@duyluandethuongEm nghĩ cái này chỉ là làm cho vui thôi anh nhỉ? Tại suy đi tính lại thì bard hay chatgpt sử dụng vẫn ok hơn, cả về cấu hình máy tính lẫn thông tin
@thienanhnguyenbui
@thienanhnguyenbui 6 месяцев назад
Chạy mấy AI Model này lâu ngày sẽ bị ăn RAM. Nên mình vẫn dùng Cloud Public service
@duyluandethuong
@duyluandethuong 6 месяцев назад
ăn RAM thì nó ăn lúc bạn dùng chứ đâu phải lúc nào cũng ăn đâu nên đâu có gì lo
@thienanhnguyenbui
@thienanhnguyenbui 6 месяцев назад
@@duyluandethuong bạn mình cho biết sau 1 thời gian chạy các AI Models thì RAM bị chiếm dụng khá nhiều, máy tính lag hay chậm hẳn
@buihuubao
@buihuubao 6 месяцев назад
Con chip M2 ra từ năm 2022 mà vẫn chạy LM Studios ngon hơn Core Ultra ra mắt 2024 với tiền tấn đổ vào truyền thông.
@tranvannam98
@tranvannam98 5 месяцев назад
Khi nào M2 chạy được Windows native thì tính tiếp 😂
@duyluandethuong
@duyluandethuong 5 месяцев назад
M1 còn hơn mà :D
@StevenPham2310
@StevenPham2310 5 месяцев назад
App này chắc phải máy mạnh chứ m cài trên MBA M1, chạy lag quá hicc
6 месяцев назад
có cái nàoccho dịch văn bản không nhi
@duyluandethuong
@duyluandethuong 6 месяцев назад
bạn yêu cầu nó dịch thì nó sẽ dịch thôi.
@bongbongdalazybum2894
@bongbongdalazybum2894 6 месяцев назад
em thấy koboldccp dễ dùng hơn
@duyluandethuong
@duyluandethuong 6 месяцев назад
Nhiìn qua giao diện thì mình thấy không dễ hơn :))
@ThanhPham-ny3vi
@ThanhPham-ny3vi 6 месяцев назад
Lắm máy tính thế để làm gì?
@thaisanhnguyen1967
@thaisanhnguyen1967 6 месяцев назад
???
@PhiQuocHung
@PhiQuocHung 6 месяцев назад
mình không download được bất kì model nào nó báo failed là vì sao vậy
@duyluandethuong
@duyluandethuong 6 месяцев назад
bạn kiểm tra lại đường truyền internet coi sao
@usosad3238
@usosad3238 6 месяцев назад
Ông này kiếm tiền làm RU-vid =))
@florentinoukraine
@florentinoukraine 6 месяцев назад
ko cần vậy đâu chỉ cần lệnh CMD
@duyluandethuong
@duyluandethuong 6 месяцев назад
rồi CMD với GUI thì cái nào dễ hơn bạn :D
@florentinoukraine
@florentinoukraine 6 месяцев назад
@@duyluandethuong coi YT mấy ông làm Ai bên Đại học bên Mỹ làm Ai Nhớ fake địa chỉ mới coi đc!
@vhmofficial437
@vhmofficial437 6 месяцев назад
v~ chưởng k support mac intel :')
@tuanvkuangvan4632
@tuanvkuangvan4632 6 месяцев назад
ollama đi bác :v
Далее
Chưa bao giờ LAPTOP NGON NHƯ LÚC NÀY!!!
15:27
Просмотров 35 тыс.
Samsung laughing on iPhone #techbyakram
0:12
Просмотров 6 млн