в данном видео рассмотрим - скачивание llm модели llama 3 7b - запуск сервера с llama 3 через LM studio - подключение сервера LM studio к anything LLM - подключение базы знаний к anything LLM - запуск RAG через anything LLM на llama 3 7b
Привет. Спасибо, что записал это видео! Очень полезно было для меня узнать про этот инструмент и понять как ты его используешь. Но лучше записывай весь экран, так как ты кликал на список документов и мне было непонятно где этот интерфейс находится. Дело в том, что в новой версии Anything LLM интерфейс немного изменился.
Скажите, а как может быть CPU в LMStudio загружен на 450% на минуте 10:36? У меня кстати GPT4All гоняет модели существеннол быстрее чем LMStudio с чем это может быть связано?
@@AlekseyIT longchain, якщо для проду то RAG тільки з розподіленням на смислові частини, а не по 1000 символів +-200. Робота з кодом напряму, як то vanna-ia для БД. Велике контексте вікно. llama3 крута штука, але не для ембедінгів які по контексту розподілити неможливо через anysingllm. Мало того що неможливо вивести точні данні з великого вбудування, ще й галюцинацій буде по всім прикладам типовим. Буде всі типові приклади брати не з RAG, а з моделі. Тому мультіагент треба для закриття цього. Та і якщо anysingllm піднімати то треба і з пам'яті гратись і з навчанням показувати що правильно, а що ні. В результаті anysingllm дасть лише відсотків 50 чогось користано все інше буде далеке від RAG.
@@AlekseyIT та і взагалі все що з RAG в проді потребує лише найкращої на ринку моделі, llama3 в такій комбінації буде працювати гірше ніж просто те саме згодувати gpt-4 напряму в чат
