Servidor IA para tu Intranet 100% local usando Ollama y Open WebUI 

Gracias Juan Jesús por el feedback. Me alegro mucho de que te resultara útil este tutorial y espero que los próximos videos te resulten útles también.

Me encanta saber que estás utilizando este contenido para crear tu servidor. Ya nos contarás si se te ocurre algún caso o utilidad que no hayamos pensado todavía. Nos leemos!

Me alegro que te gustar el video! El nivel de sus contenidos is over 9000! :)

Con mucho gusto!

Con mucho gusto

Me alegro de que te resulte de ayuda. Gracias por comentar.

Gracias por tu comentario. Espero que sigas disfrutando los próximos videos!

Muchas gracias por tu comentario

Gracias por comentar Paulo

Gracias por el apoyo! Estoy preparando contenido con datos específicos de documentos, espero poder compartirlos en breve

Me alegro mucho de que lo hayais puesto en marcha! Gracias por comentar!

Con mucho gusto!

Ahora RU-vid posiciona los anuncios usando algoritmos para localizar los mejores momentos y poner el mejor anuncio. A veces pone de estos no saltables que son un horror, pero no me deja elegir cuáles va a mostrar. Si por mi fuera, ¡sólo pondría anuncios saltables!

Gracias por la sugerencia Guillermo. Hay varios proyectos de este tipo que sirven llamadas del Langchain utilizando Streamlit como interface. He escogido Open WebUI para esta serie porque ofrece muchas funcionalidades de base y está en constante desarrollo. Para usos más avanzados, ciertamente pueden implementarse muchas funcionalidades extras con Langchain, LlamaIndex, etc. Saludos para todos los chilenos que ven La Hora Maker!

Muchas gracias a ti por comentar. Tengo pendiente de crear un vídeo en el que levantamos uno de estos servicios en Runpod, que es un proveedor online donde se puede obtener servicio por horas con GPUs bastante más potentes. En cuanto a la parte de compartir el servidor, la principal limitación de la configuración actual con Ollama es que cuando se lanzan muchas consultas, éstas se encolan dentro del servidor y no es capaz de paralelizarlos. Si quisiéramos generar un servicio en el que podamos responder consultas de forma paralela, lo más interesante sería montar una solución como vLLM que nos permite realizar esta labor en paralelo y no encolarlas. Apuntado el video en la lista de pendientes!

Gracias a ti por comentar! Saludos!

A por ello con la ÍA local!

Hasta dónde sé AI21 Studio es un servicio alojado que no tiene licencias abiertas, por lo que no se podría implementar en esta configuración con Ollama y Open Web UI. Ahora bien, sería interesante ver qué funcionalidades ofrece este modelo de AI21 Studio y tratar de buscar el modelo abierto equivalente que pudiera dar un rendimiento similar, aunque quizás no sea tan óptimo e ideal.

Hola! Aquí te dejo el enlace al discord: discord.gg/EssKWUmCxA Vamos a ponernos en marcha y conversar sobre estos temas por allí también!

Gracias por tu comentario. En principio todos estos modelos abiertos pueden personalizarse usando fine-tuning para limitar la respuesta y adaptarla a escenarios diferentes. Lo comentaré en detalle en un próximo vídeo!

@@LaHoraMaker ok entiendo investigando un poco mas encontré un proyecto en GitHub llamado LLaMA Factory, no se si lo conoces?

Creo que la orange pi que mencionas tiene algunas cositas en su cpu para IA?. Es la mejor opción. Lamentablemente hay que esperar a que progresen más las NPU integradas en ARM

@@AlvM6428 Según veo su procesador cuenta con AI Accelerator, NPU 3.0

El único problema con la NPU de la placa es que hayq ue convertir los modelos usando el toolkit de Rockchip y parece que este está pensado más para modelos de visión que LLM. Hay una iniciativa llamada MLC que usa la GPU Mali para hacer inferencia acelerada y que consigue una mejora de rendimiento.

LM Studio requiere interfaz para funcionar, por lo que no se le puede poner en modo servidor desde linea de comandos. En cambio Ollama si que se puede configurar directamente para que escuche a través de internet, modificando las variables de entorno

En OpenWebUI se gestiona por documentos esta cuestión, aunque es posible que en futuras versiones se pueda directamente apuntar a un directorio.

Por temas de compatibilidad de drivers y soporte para distintas funcionalidades y optimizaciones recientes te recomendaría la 3060. Es muy similar a la que uso en mis vídeos y está muy bien de precio

Hola Juan, tanto Ollama como Open WebUI pueden funcionar en Mac. La configuración será similar a la de Linux en la parte servidor. (Como no tengo un Mac con mucha memoria para probar, no había contemplado el escenario). Gracias por la pregunta!

Hola Carlos, Se puede hacer con esta configuración lo que pides. Para ello, lo único que tendrías es que etiquetar los contenidos cuando los des de alta con una etiqueta, por ejemplo, medicina o tecnología. Luego, cuando vas a lanzar tu consulta, pulsas el botón almohadilla y ahí te salen las colecciones disponibles de tal forma que puedes limitar la búsqueda a cualquiera de las etiquetas que has utilizado antes. Espero que te resulte muy útil. Un saludo y nos vemos en los próximos vídeos.

Cada uno de los modelos te van a ocupar entre 5-20 GB. Lo cierto es que podrías tener un sólo modelo que te guste corriendo todo el tiempo y no dedicarle mucho más espacio. Ahora bien, si vas a probar modelos y a cambiar habitualmente de configuraciones, el disco acaba lleno en muy poco tiempo. Un factor a tener en cuenta es que la velocidad del disco influye también en el tiempo que tarda en cargarse hasta la memoria. En mi caso, reutilicé un disco NVMe 3.0 de 512 GB para uno de los equipos. Posiblemente hubiera valido con uno de 256 GB o con un SSD SATA, pero era lo que tenía a mano. Como curiosidad, este disco fue sustituido por otro de 1 TB, porque de tanto probar modelos, siempre me acabo quedando sin sitio en todos lados :D

El servidor Ollama te ofrece la posibilidad de generar los textos. Con Open Web UI puedes hacer una especie de mini RAG. Aquí tienes el ejemplo de cómo hacerlo: ru-vid.comM4rdx-MEbQQ?si=A0ubWe_Nh0aBXAiZ&t=4022 Ahora bien, si quieres algo más complejo, necesitarás usar LangChain o algo similar para tomar los documentos de origen, calcular los embeddings, almacenarlos en una BD vectorial, calcular la similaridad e inyectarlos en la consulta para la generación.

Mil gracias por tu respuesta@@LaHoraMaker

Creo que lo que requieres en tu caso es un endpoint api y la gestión de distintas claves para distintos usuarios. Dale un vistazo a LiteLLM: github.com/BerriAI/litellm

¿Te ocurre esto todas las veces o cuando llevas un tiempo chateando con el modelo?

Google Colab porque por el momento no tenemos servidores con los requisitos mínimos y queremos hacer pruebas antes de comprar/Rentar instancias

Hola, sí, me queda totalmente claro. En los últimos meses he visto algunos proyectos para trabajar de forma distribuida y creo que veremos a futuro muchos más proyectos de este tipo. Ahora bien, en estos frameworks no están soportadas todos los modelos recientes, por ejemplo, como Llama 2: github.com/X-rayLaser/DistributedLLM Otra opción posible para utilizar distintos equipos y poder sacar el máximo partido es utilizar un framework como Autogen en el que distintos agentes ejecutan distintos modelos. Uno de ellos, por ejemplo, podría dedicarse a codificación, otro podría dedicarse a planificación de tareas, revisión del código, etc. Tengo pendiente de hacer un vídeo sobre este tema, pero todavía no he cubierto las bases en los vídeos del canal para poderlo abordar. Así que te recomiendo que le des un vistazo a los próximos vídeos donde vamos a ir a escenarios un pelín más complicados y avanzados.

@@LaHoraMaker Gracias, estaré atento y mientras miro la info que me has dado, mil gracias

Muchas gracias por tu comentario. Desde mi punto de vista existen varias ventajas de este método. La primera que no sabemos si Bing Chat seguirá estando disponible a futuro o será un servicio de pago ya que como sabes todos estos procesos de inferencia requieren unas GPUs y es posible que en el futuro servicios que hoy en día son gratuitos pasen a ser servicio de suscripción o están incluidos en algún tipo de plan de precios por parte de los fabricantes. Por otra parte cada vez que estamos enviando nuestras consultas en muchos de los casos estas consultas se están utilizando para reentrenar los modelos y no queda muy claro qué se hace con nuestros datos y es por eso que creo que es importante también apostar por soluciones locales que no dependan de tener la conexión de internet y que no dependan de un proveedor externo. Es decir, si nos quedamos sin conexión a internet no podremos consultar Bing Chat y tampoco podemos consultar ChatGPT o cualquiera del resto de servicios. Así que creo que tener disponibles estos modelos locales puede ayudar aparte de otras cuestiones meramente técnicas como la latencia o en ciertos casos, aquellas relacionadas con la privacidad

Una 2060 funcionando 24/7 no saldría económico para algo hogareño, Nvidia creo que tiene gráficas especializadas para esto. La Orange no consume casi nada y está optimizado en su procesador con AI Accelerator, NPU 3.0 en el caso de la Pi 5 Plus. Yo creo que valdría más la pena la Orange PI 5/5 Plus

@@terranovich8471 Ollama no tira de ese procesador. Aún nadie a usado ese NPU en la Orange pi 5 plus. Me gustaría saber si alguien hace esto con la Orange Pi 5 Plus, cuantos usuarios al mismo tiempo es capaz de aguantar...

@@royotech Ollama es lento hasta en mi PC Gamer con una RTX 4070, sin embargo, con LM Studio me ha ido muy bien, tocará probar el LM Studio en el Orange Pi 5 Plus para ver rendimiento.

@@terranovich8471 excelente dato. LM Studio te permite hacer el uso en intranet?

@@royotech Claro puedes levantar tu localhost.

La pregunta fundamental es ¿para qué quieres usar principalmente tus modelos? Si es para uso general suelo recomendar Solar. Para algo que siga más el prompt Nous Hermes y sus variantes. Para código la serie Dolphin va bastante bien. Cada modelo tiene fecha de actualización propia y si se pueden personalizar, aunque todavía no lo hemos visto en el canal

Creo que te puede interesar mucho el último video que hemos publicado al respecto: ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-M4rdx-MEbQQ.html Si quieres revisar la parte de contenidos locales, comienza aproximadamente en el minuto 67 del video (o a las 01:07)

Muchas gracias por la pregunta. La configuración que presento aquí puede usarse tanto para una persona como para varias. LM Studio es muy comodo para una persona y la interfaz está muy pulida. Ahora bien, esta configuración de Ollama + OpenWebUI te ofrece la posibilidad de realizar consultas a tus propios documentos y sitios web, guardar prompts favoritos y algo, no menor, acceder a la interfaz web desde el móvil. En cuanto a la velocidad será la misma, si se ejecuta todo en la misma máquina con la misma GPU.

Muchas gracias por la pregunta. Comentarte que durante el video de ayer estuvimos durante el directo hablando sobre la posible solución y pasa por utilizar librerías como Langchain para transcribir estos consultas de texto a consultas SQL y devolver los datos de la base de datos local. Ahora bien, en este caso, Ollama simplemente funciona con un motor de inferencia configurado en Langchain. Y es esta librería por encima la que utiliza y ofrece los componentes que te permiten consultar la base de datos. Aquí código de ejemplo: python.langchain.com/docs/expression_language/cookbook/sql_db

Actualiza Ollama que justo han añadido soporte para tarjetas AMD esta misma semana!

Yo este tipo de cosas suelo ejecutarlo en runpod que es bastante más economico

@@LaHoraMaker voy a mirar

Hola! ¿Qué equipo estás utilizando para Ollama? ¿Con qué modelo estás probando?

@@LaHoraMaker i5 con wsl2 con ubuntou 22 sobre Windows 11

Ollama integra una API por defecto que sirve sobre http localmente en el puerto 11434. Puedes atacar el endpoint app con las librerías Python o Javascript de Ollama, o utilizando el API directamente (github.com/ollama/ollama/blob/main/docs/api.md ) o incluso utilizando el mismo código que usarías para OpenAI: (github.com/ollama/ollama/blob/main/docs/openai.md ). Eso si, en modo compatible OpenAI, temas como los modelos de visión no funcionan. Espero que te resulte muy útil.

@@LaHoraMaker Muchas gracias!!!!😍

Dale un ojo a las instrucciones para recuperar la password en la documentación de OpenWebUi. En función del tipo de instalación. Se hace de una u otra forma: docs.openwebui.com/troubleshooting/#reset-admin-password

¿Qué tipo de equipos ARM son? ¿Algo tipo Raspberry Pi?

Cuando dos usuarios lo usan a la vez, el servidor procesa primero una petición y después la otra. Si tienes muchos usuarios en paralelo es mejor buscar soluciones específicas como el servidor vLLM en lugar de Ollama. ¿Qué tipo de benchmarks te gustaría ver?

​@@LaHoraMaker Genio!! gracias por la respusesta este finde voy a armar este server siguiendo tus instruciones, justamente en mi caso es mas util que procese el request a toda velocidad y luego siga con los otros, estoy obteniendo unos 26 tk/s con Qwen 1.5 con una 3090. Al ser alta la cantidad de toquens los tiempos de espera no son altos para quien quede en cola de espera. Muchos de nosotros buscamos darle algun uso comercial asi es que siempre es bueno saber velocidad, modelo usado en el video, hardware etc,. Yo estaba bastante verde, en pocas semans APRENDI MUCHO, y gracias en gran parte a tu canal. Gracias! A los que van llegadno nuevos, datos de performance simpre seran utiles, si queda pesado repetir en todos los vidoes, podria ser algo que quede en la descripcion, ejemplo: Modelo Quantizacion Tokens/s Hardware usado. Dicho sea de paso muestra Qwen, es lo mejor que probe, pra usos generales relacionados con escritura, el modelo 14b, quantizado 8. Modelo mas pequños de Qwen 1.5, no los recomiendo para usos serios, pero es interesante sus habilidad multilingue, mejor que otros modleos gigantes incluso.

Pues es una pregunta complicada: ¿qué tarjeta gráfica tienes ahora mismo? ¿Cuanta memoria RAM tiene tu tarjeta gráfica?

@@LaHoraMaker instale un modelo de 72B en mi Notebook ryzen7 de 16GB y funciona muy lento. Veo que las cosas son como son. Tengo que comprar un PC y estaba viendo uno de 16GB con RTX de 12GB. ¿Que es mejor aumentar la RAM a 32GB o escalar en una tarjeta Gráfica inviritiendo el mismo dinero?

@@royotech el problema que tienes con ese tamaño es que ocupa quantizado 41 GB. A esto hay que sumarle el contexto. Lo ideal para correr esto sería un tarjeta gráfica de 48GB. El problema es que este tipo de tarjetas resultan todavía muy caras. Si compras una tarjeta de 12 Gb podrás cargar menos de un tercio del modelo, así que aunque se acelere una parte, vas a seguir dependiendo del procesado de la CPU. Ahora bien, el problema de base que veo es que tienes mucha menos memoria que el tamaño del modelo que quieres correr. Cuando pasa esto, el modelo empieza a descargar capas al disco, bajando la velocidad drásticamente. Así que si quieres correr modelos más grandes, te recomendaría un equipo con 64 de RAM para que se pueda ejecutar todo el modelo en memoria. Si el equipo tiene una RTX mejor que mejor, pero aquí te vendrá mejor tener cubiertas las bases.

@@LaHoraMaker muchas gracias, ahora entiendo mejor.

Gracias por el comentario. Mi intención era cubrir todos los pasos para poner a funcionar Ollama y la interfaz web para dar soporte a distintos usuarios, así que ciertamente quedo un poco largo :)

Todo depende de la frecuencia de uso y la velocidad que necesites de generación. Lo bueno es que puedes ejecutar una solución parecida en ambos entornos y elegir cuál emplear en base a tus necesidades. Muchas gracias por comentar!

De nada, que veo que hay mucho experto en RU-vid sobre todo en habla hispana

Ah gracias por el apunte, ¿cuantos tokens/s te da ollama en esa configuración con modelos tipo Mistral 7B?

De momento es lo que estamos usando, una 3090 de segunda mano. Aunque con una 3060 se puede hacer muchísimo también en local.