Тёмный
No video :(

rag-server application with wasmedge 

Alan Poon
Подписаться 21
Просмотров 42
50% 1

bug fixed with using llama-3-chat instead of llama-2-chat
wasmedge --dir .:. \
--nn-preload default:GGML:AUTO:Meta-Llama-3-8B-Instruct-Q5_K_M.gguf \
--nn-preload embedding:GGML:AUTO:all-MiniLM-L6-v2-ggml-model-f16.gguf \
rag-api-server.wasm -p llama-3-chat,embedding --web-ui ./chatbot-ui \
--model-name Meta-Llama-3-8B-Instruct-Q5_K_M,all-MiniLM-L6-v2-ggml-model-f16 \
--ctx-size 4096,384 \
--rag-prompt "Use the following context to answer the question.
----------------
" \
--log-prompts --log-stat

Опубликовано:

 

8 июл 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии    
Далее
Linus Torvalds: Speaks on Hype and the Future of AI
9:02
The cloud is over-engineered and overpriced (no music)
14:39
НАША НАСЫЩЕННАЯ ПОЕЗДКА В КИТАЙ
1:32:55
ВОДЯНОЙ ПИСТОЛЕТ ЗА 1$ VS 10$ VS 100$!
19:09
I forced EVERYONE to use Linux
22:59
Просмотров 333 тыс.
Hacking Windows TrustedInstaller (GOD MODE)
31:07
Просмотров 510 тыс.
This AI Agent with RAG Manages MY LIFE
10:52
Просмотров 10 тыс.
Tom Swarbrick’s takedown of ‘racist’ rioter | LBC
10:13
Elon Musk STUNS The Industry With GROK 2
17:53
Просмотров 22 тыс.
AMD slayed the dragon - AMD Ryzen 9 9900X & 9950X
8:39
НАША НАСЫЩЕННАЯ ПОЕЗДКА В КИТАЙ
1:32:55