Qué equipo necesito para generar textos rápidamente en local con Llama-2, Mistral, etc. 

Yo con mi rtx 3060 y 32 gigas de ram funciona de maravilla

Que bien se escucha el audio , felicitaciones por mejorar el equipo , saludos

muy buen video, yo uso una 2060 con º1gb y va de maravillas con ia, con 64gb de ram,he corrido casi todo lo que sale en ias.

Que bueno que llego el Vikingo de los Hobbit con este video ... Muchas gracias🎉

Excelente video! Me lo encuentro justo cuando lo necesitaba. Me quedaron un par de dudas que espero me puedas ayudar a resolver: ¿Que hay de las tarjetas de amd? ¿Podría usar por ejemplo dos rx 7600xt para tener 32vram o no se suma la vram ni los gbps de ambas? 🤔

EXCELENTE VIDEO, GRACIAS!!

Muchas gracias por esta info tan práctica y accesible para gente que tenemos un entendimiento básico pero no hemos tocado nada todavía . El primer lote de SBC de Rockchip serán dentro de poco enviados a los usuarios “corrientes”. Sólo los desarrolladores o influencers VIP habrán tenido acceso ya a esta plataforma, el RK1. El modelo tope fue finalmente de 32GB, pero esta versión se está retrasando por los problemas de abastecimiento de chips de memoria, por lo que en el momento de salida, el modelo más grande va a ser de 16GB. Tal como está el desarrollo ahora, parece que los modelos deben adaptarse/transformarse al formato de la SDK propia que usan los Rockchip, no tienen port nativo estándar, aunque mi conocimiento de esto es casi nulo.

Magnifico, muchas gracias.

Buen día estimado hora maker, que modelo puedo correr con QUADRO p6000, 64 ram, xeon e5-2699. He usado este cpu para tender de arquitectura ,pero quisiera instalar algún LLM.

Cesar tienes un programa tentativo de los temas que vas a ir tratando? Estuve mirando los modelos TheBloke pero hay tantos que me suena a chino todo. Ayer probé el DeepSeek Coder y me gustó bastante. Estoy aprendiendo mucho con tus explicaciones!

Gracias, César. Me encantan tus vídeos. Una duda. Es un poco enrevesada. Sabes por casualidad si se podría utilizar la API en alguno de estos modelos que tengamos en el ordenador, para usarlos con un Agente IA en Make, Zapier o n8n con HTTP Request, en vez de utilizar los que hay por defecto de Openai.

¿qué seria más importante actualizar, el cpu ryzen (primera generación el más básico o la tarjeta de video gtx 570 ? la tarjeta madre acepta hata pci3.0 y acepta el cpu más potente am4 axistente. Gracias

Genial!

Después de ver este video me siento afortunado de poder acceder en la oficina a una rtx 4080 súper, y si, esa tarjeta de vídeo con 16 gb de Vram va más rápida que el mismo chatgpt en su página web, stable difusión también vuela mientras no se haga uso de scalers 4k o así. Y pensar que el que tiene esa tarjeta en su máquina ( el gerente ) solo la usa para word, excel y ver RU-vid 😂😂, pero afortunado que yo siendo el de sistemas puedo por medio de una sesion ssh andar trasteando a través la red local. Definitivamente ese potencial de procesamiento no puede desaprovecharse 😂😂

tengo 2 A100, supongo que me serviran :D

Tengo un Rig con 6 placas, se puede configurar para usar las 6 placas dedicadas a correr estos modelos?

@LaHoraMaker Buenas tardes, me gustaria empezar desde casi cero y querria que me recomendaras un hardware para seguir tus tutoriales. He visto que te has comprado una Orange Pi, me valdría tambien una Firefly con una ROC-RK3588-RT?

Si consigo un equipo con 64 gb de ram y una 3090 que modelo me funcionaria bien?

Hola tengo una 3080, en una maquina con una ryzen 5 5600x 32Gb de ram, instale el chat de oobagooba, cual modelo de los de sin censura los de mixtral y configuración podría usar para sacarle mayor rendimiento, me conformo incluso con 5/10 tokens por segundo la verdad. por cierto tengo python 3.10.6 deberia actualizarlo? gracias

Creo que con las rpi 5 subimos a 30 GB/S...

eres muy caro en tus explicaciones, no hablas carreta, de admirarrrrrr

Yo tengo un i7 6700k con oc a 4.6 y tengo 2,7 tokens por segundo con mixtral de 39gb con ddr4 a 2400

Los moletos grandes matan el rendimiento. Solución, modelos pequeños entrenados en lagares específicos de datos. La mezcla de expertos y los agentes colaborativos son la forma de plantar cara a las grandes corporaciones que tienen el dinero por castigo.