Cómo instalar llama.cpp en Windows y ejecutar en bajos recursos

Подписаться 2,1 тыс.

Просмотров 1,2 тыс.

50% 1

En este vidéo te enseño como instalar Llama.cpp en Windows y te presento un modelo ligero capáz de correr en un equipo gama baja.
Llama.cpp:github.com/gge...
w64devkit (Compilador de Llama.cpp en Windows):github.com/ske...
Instalacíón del compilador en debian/Ubuntu: apt install clang make cmake gcc g++
Compilar Llama.cpp en Linux: make
🤖Modelos🤖:
Dar clic em Files y descargar el modelo más ligero (Excepto TinyLlama)
🤖TinyLlama 1.1B:huggingface.co...
🤖Llama-2-7b:huggingface.co...
🤖Openchat:huggingface.co...

Опубликовано:

17 сен 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 11

@PLATONU 8 месяцев назад

verdadero trabajo investigativo, dejo mi like ... habrá alguno que genere imágenes de forma local sin necesitar de una pc de la nasa?

@hircoir 8 месяцев назад

Estoy en eso pero actualmente no he encontrado algo que funcione 😫. Si encuentras algo no dudes en decírmelo para compartirlo en por aquí 🤓

@thebyren 8 месяцев назад

muy buen trabajo. yo tambien estoy probando esos modelos pero yo estoy con la de 13b de parametros. consume 9.5 gb de ram pero sus respuestas son muy precisas. gracias la informacion.

@hircoir 8 месяцев назад

Gracias 🤓... Los modelos 13b son muy buenos pero no todos tienen el hardware para ejecutarlo 😅.

@MrKalashnikovGT 5 месяцев назад

Me parece muy interesante la forma de trabajar, estuve viendo otros tutoriales y me quede colgado en alguna parte pero no termino de entrenar mi IA, tienes algun correo para poder contactarte?

@hircoir 5 месяцев назад

Actualmente no estoy entrenando modelos pero hay un proyecto llamado Unsloth (En Github). En Discord estoy como hircoir

@ithanhunt3250 6 месяцев назад

*OLLAMA FUNCIONA EN UNA PC CON 4 GIGAS DE RAM SIN TARGETA DE VIDEO SOLO CPU*

@hircoir 6 месяцев назад

Si no cuentas con gráfica llama.cpp usará la CPU y la memoria RAM, los requisitos de RAM dependerá del peso del modelo y que tan cuantizado esté... En mi canal hay un video donde muestro una manera fácil de descargar Gemma (La nueva IA de Google), podría intentar usar LM Studio para interactuar con tus modelos... Es fácil de usar!

@PabloMereles 7 дней назад

actualización: la ultima versión deprecó main para iniciar, ahora usa llama-cli.exe estoy probando el modelo meta-llama-3.1-8b-instruct me dice cualquier disparate, inventa palabras y se queda loopeado en las respuestas, a alguien le pasa lo mismo?

@hircoir 7 дней назад

Puedes probar versiones anteriores de llama.cpp o usar bifurcaciones basadas en llama.cpp... Me he alejado del tema de la IA pero gracias por avisar