Отпустил нейросеть в интернет. Вот что получилось. Вызов функций, агенты. Веб поиск

Подписаться 5 тыс.

Просмотров 4,2 тыс.

50% 1

Я покажу и расскажу свой опыт подключения локальной бесплатной нейросети к интернет поиску.
Я попробовал несколько инструментов на примере лучших бесплатных нейросетей и нашел работающее решение. AnythingLLM в комбинации с command-r успешно выполняет веб поиск.

Опубликовано:

16 май 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 28

@codedd3280 15 дней назад

все ссылки по теме видео в телеграм: t.me/+zTcoFHq7i9AyMWM6

@suneroz 4 дня назад

Подскажите пожалуйста, какую цель вы преследовали? В двух словах?

@suneroz 4 дня назад

Очень умный проект, Спасибо!

@suneroz 4 дня назад

То есть вы хотели локальную модель AI подключить к Интернету, чтобы она могла отвечать на любые вопросы с учетом самой актуальной информации из Интернета? Но ведь для этого нужен очень толстый канал Интернет, и чтобы модель обучалась в реальном времени на основе анализа контента, но для этого нужны гигатские мощности. или чтобы умно проходила по ссылкам, ища правильный ответ, задействуя только локальные ресурсы обычного домашнего компьютера, тогда наверное программить нужно, хотябы сценарии, как у Вас алгоритм на картинках. Значала вопрос, потом AI формулирует запрос к поисковику, потом получает ответы, смотрит ответы, если они AI кажутся недостаточными, формулирует новый запрос, пока не получит ответ, который сочтет достаточно правильным, чтобы показать его Вам. А какая модель локальной бесплатной AI по Вашему мнению наиболее приближенные к человеческому общению ответы выдает? Я с Llama 3 Instruct работаю

@user-lo5sh4ss6o 13 дней назад

любая нейронка работает на информации. так что можно скачать всю инфу. желательно в тексте. потом сжать текст на 90% и обучать на этом. затем удалять старую инфу и качать новую. нейронка сохраняет старую инфу ещё сильнее сжав струю инфу в собственные слои. пробуй если понял.

@mux8717 14 дней назад

Добрый день. Подскажите пожалуйста, а какие у Вас настройки LM Studio? (имеется ввиду "Frequency Scale" и другие).

@alexandr-spb 14 дней назад

Вам можно заказать настройку такой модели? и можно ли модель научить различать голоса?

@user-ui9dw9ku7u 14 дней назад

Я тоже немного копал в эту сторону, я не нашёл эти решения - спасибо, я начал копать в сторону Ollama и cat-ui. Cat-ui как чат для LLM такое себе, но в качестве написания бота неплох, все пишется на python - что даёт неплохую мобильность и можно писать свои решения и скрипты, но приходится чучуть копаться.

@berdkivi9023 13 дней назад

Так а что получилось то в итоге? ) ... На видео вы показали процесс подбора и тестирования различных нейронок и все. Но какие именно задачи они должны были решать и как они с этим справились вы не показали. Надеюсь, в следующем видео это все будет разъяснено.

@user-ug5op1cf8i 13 дней назад

В итоге стало ясно, что модель Command-R использует поиск для выдачи актуальной и новой информации в интернете, что весьма ценно

@MikeMike-zf9up 15 дней назад

Здравствуйте. Расскажите какой апгрейд? Видеокарта новая? Какая у Вас была и какую Вы купили?

@codedd3280 15 дней назад

Здравствуйте. Была tesla, купил 4090. Но это конечно и с запасом на будущее, цены растут, решил купить пока была возможность. Хочу на тему железа снять отдельный ролик, есть что рассказать.

@BuhGalteriaDizel 14 дней назад

@@codedd3280 Да, было бы отлично.

@romanioamd5319 14 дней назад

@@codedd3280 я купил бу 3090 вместо 1080ti она у меня три года проработала, заменил ее. Я правда еще рисую c помощью нейросетей там важен размер памяти и скорость работы по сути как и с любыми моделями нейросетей. Кто бы что не говорил, а 3090 занимает второе место топ второго покаления после 4090, по памяти они равны, остальные модели видеокарт кастраты их не стоит кроме этих двух либо 4090 либо 3090 покупать. Лучше на лишние деньги докупить оперативной памяти. Тем более цена 3090 была всего от 750-850 евро очень дешево цена подъемная все-таки это не более 2000 тыс евро как за 4090, 3090 в свое время так дорого стоила.

@romanioamd5319 14 дней назад

я купил бу 3090 вместо 1080ti она у меня три года проработала, заменил ее. Я правда еще рисую c помощью нейросетей там важен размер памяти и скорость работы по сути как и с любыми моделями нейросетей. Кто бы что не говорил, а 3090 занимает второе место топ второго покаления после 4090, по памяти они равны, остальные модели видеокарт кастраты их не стоит кроме этих двух либо 4090 либо 3090 покупать. Лучше на лишние деньги докупить оперативной памяти. Тем более цена 3090 была всего от 750-850 евро очень дешево цена подъемная все-таки это не более 2000 тыс евро как за 4090, 3090 в свое время так дорого стоила.

@silentage6310 13 дней назад

@@romanioamd5319 тоже после 1080 выбрал 3090 изза памяти. + не такая доррогая можно купить вторую и будет уже 48гб памяти. а это уже гораздо веселее для LLM. только для фоток конечно можно и попроще даже.

@rvsn82 4 дня назад

Command-R на LM Studio отказывается скачивать

12 дней назад

Посмотрел на перемотке и понял, что ничего не понял... Во-первых, что за 4х битные модели? Это вроде Денди и Сега Мегадрайв разрядностью процессоров мерялись... Если в названии AI модели есть что-то типа 4b, то это количество ее параметров, например, 4 миллиарда. Что касается доступа к API гугля, то он самой модели и не нужен. Сделайте запрос к API в коде своей программы/скрипта, получите результат и скормите его AI, как часть промпта.

@codedd3280 11 дней назад

видимо нужно в каждом видео подчеркивать важность контекста материала в рамках канала. Для постоянных зрителей здесь нет новой информации. Я стараюсь давать материал с постепенным усложнением и азы я рассказал в начальных роликах канала. Про апи гугла без комментариев.