Cám ơn anh về những kiến thức mà anh chia sẻ trong video, có một lưu ý là LLM Studio chỉ hỗ trợ cho dòng M1 trở về sau, hơi buồn xíu vì em đang dùng MBP 2019
Em cảm ơn anh Luân đã chia sẽ, anh có thể ra tương tự phát triển chạy thử model trên điện thoại được ko ạ? Em thấy điện thoại bây h cũng có nhân NPU khá thích hợp để làm project nhỏ ạ 🎉
Dạ a Duy Luân ơi cho em hỏi , e đang xài Pro M2 13" thì có tải model Vistral giống anh để xài thì họ yêu cầu MacOS 13.6 or later thì phải update MacOS lên mới sử dụng được ạ?. Với cho em hỏi có thông tin nào để research các model để sử dụng trong LM Studio không. Em cảm ơn anh ạ
Xin hỏi dung lượjng VRAM trên RTX có tương ứng với số lượng tham số mà model có thể chạy hay không ? Ví dụ 8 Gb VRAM tương ứng với 7B, 16Gb VRAM tương ứng với 13B, 128 Gb VRAM tương ứng với 128 B tỷ tham số của model ? Xin cám ơn
Cảm ơn bạn, tuy nhiên khi mình cái LMStudio trên windows 10 , khi bấm load model thì báo lỗi Failed to load the model Attempt to pull a snapshot of system resources failed. Error: 'Cannot read properties of undefined (reading 'pullReport')' . Bạn có kinh nghiệm hỗ trợ với.
Em cảm ơn anh. Cho em hỏi có vẻ ngu là 7b với 34b hay 70b thì nó có khác biệt về kết quả không anh, có nếu có thì nó khác biệt lớn không hay chỉ là chút ít thôi, em tải thử con code llama 34b mà nó chạy đứng máy luôn
khác nhiều đó bạn :D nhưng tùy theo mức độ bạn cần mà bạn dùng thôi, chứ máy cá nhân thì hiện nay khó có con nào chạy được 34B lắm. MacBook Pro M3 Max của mình, RAM 128GB, dùng hết 60GB để chạy bản Llama 70B có quantization rồi :))
Nếu có internet thì dữ liệu được trao đổi theo client, server. Còn nếu chạy offline (không có internet) thì nó lấy dữ liệu ở đâu vậy anh Luân, em chưa hình dung ra được nó nén dữ liệu kiểu gì mà có thể chạy ở local 😨
nó chỉ đơn giản là serve cái model đó ra cho giao diện sử dụng thui bạn, cũng y như client, server. Server thực chất nó cũng server model đó ra dạng API để web xài
Chào anh Duy, anh có cách nào tuỳ biến một con AI học tập bằng cách up cho AI nó các câu hỏi và đáp án trong file PDF. Rất mong anh giải đáp khắc mắc của em, em đang muốn một con AI tối ưu quá việc học tập cho riêng em 😢😅
Nếu đang phân vân chọn độ phân giải hay tần số quét cao thay vào đó chọn 1 con màn sở hữu cả 2 ưu điểm kể trên chẳng hạn như AOC Q24g2 24 inch 2k 165hz khỏi phải đắn đo
có con AI nào mình tự train nó ko a. như kiểu trong công ty mình train nó thành chatbot ý. ví dụ train nó cần file gì thông tin gì của công ty ở đâu nó sẽ trả về kết quả.
@@duyluandethuong có 1 con y như yêu cầu của bạn phía trên á anh, con này tuy không phổ biến nhưng lại là hàng khủng từ IBM, tên nó là IBM watson assistant nha
@@duyluandethuongEm nghĩ cái này chỉ là làm cho vui thôi anh nhỉ? Tại suy đi tính lại thì bard hay chatgpt sử dụng vẫn ok hơn, cả về cấu hình máy tính lẫn thông tin