🔥Voy muy atento siguiendo el video. Minuto 39. Es un gran video. Comparto lo siguiente en el área del prompting: 1. Te conviene decirle que el user te escribe en un idioma, tu te lo traduces al inglés , lo analizas y lo resuelves en ingles, y el texto que entregarás al usuario como resultado sera en el idioma del usuario. ¿Por que esto? Porque lo "razona" mejor en inglés. A veces no pasa nada otras veces sí. Se deque estoy hablando.
Tienes toda la razón, en prompting de generativa se ha descubierto que además del inglés los idiomas que mejor funcionan son el japonés o el chino dado que simplifican palabras y términos por lo que la máquina entiende mejor lo que debe hacer en menos pasos.
Qué pedazo de vídeo, me faltan horas al día! Gracias Maestro! Tengo que repasar tus videos porque es mucha info para montar un RAG local funcional. Tengo un chat de whatsapp de trabajo que siempre preguntan lo mismo y quiero montar un RAG para eso porque son muy pesados 🤣
Hola Juan Miguel, me alegro mucho de que te gustara el directo. En la parte visual, he probado FlowiseAI, pero para mi gusto estaba demasiado metido en el modelo de LangChain. He probado más otra solución de código abierto llamado Rivet, que funciona también con bloques y tiene un flujo más natural para mi gusto. Me apunto la sugerencia y gracias por compartir tus intereses!
sí, cierto, que se ve algo en 1:04:24 jeje, que de todo eso solo hay info en inglés y los subtitulos y traducciones automaticas en inglés són un horror. Lastima que whisper no traduzca del inglés. Lo bueno que he visto en el video (voy por la mitad aprox) es lo de whisper desktop que lo encontré buscando cosas ya echas con whisper porque me cuesta dominarlo por python, y en su momento me ponia subtitulos de videos torrent digamos pero no cogia los de youtube, se tenian que transformar el formato y era un follón. ahora que los coje pues el follón solo seria traducir el .srt con chatgpt ni que sea a trozos si es muy largo para la ventana y no tienes premium, o automatizarlo con código o/y con otro llm local con más ventana que el chatgpt gratis y no tener que ir por chunks y toda la movida que al final te ves el video en inglés mal subtitulado. Para traducciones creo que lo mejor seria flor 7b (si encima es en catalán por mi mejor) pero no me lo descarga lmstudio y ollama no lo incorpora. Alguna idea para ahorrar trabajo y facilitar esta movida? Geminis ahora mismo también seria buena opción supongo, o Mistral large que salió ayer, o alguien piensa que para traducciones sigue siendo mejor chatgpt? o algun método, app o código con el que alguien tramita todo esto? Seria guay que la hora maker si domina python cogiera WhisperDesktop que es de código abierto y le añadiera código "back" para una llamada a una api de ollama con mistral o flor, al momento de acabar, y en el "front" un input check para traducir del inglés al español o al catalán al terminar de crear el .srt whisper. Tendria que ponerme yo pero me tienen que operar de la espalda y hace tiempo que no puedo codear mucho y aprovecho para aprender mucho con mucho video bueno como este jeje. Si nadie responde seguro que acabo hablandolo con algun modelo cargado en ollama y si hace falta pasandole el código de WhisperDesktop como contexto o alguna cosa por el estilo... madre mia... creo que he echo el post de youtube más largo de mi vida... con una kuestión ke me es muy importante quizá para ser leída y reaccionado con ayuda por parte de algo lo más normal huviera sido un texto corto... será que toy ilusionado con el video este, y que por culpa de espacio en la c estos dias tambien me peleo con ollama-docker-ollamawebui, whispers... (antes iva con python 10 y quiero probar el whisper writer que la hora maker enseño el otro dia y me cautivó pero va con python 3.11 y tengo problemas en que me detecte los dos instalados (pyton -V te da las versiones que tienes a lo fnm o vnm con node (más o menos)) pero no hay forma de desinstalar la 3.10 ni de añadir 3.11, arghh, contra más kieres algo más problemas hay jaja, venga va, que paro que quizá acabo el video me viene la solución óptima en la cabeza jeje, un abrazo, gracias por temas de IA que nadie toca en español, danos más material y seguro que youtube te dará más visiblidad que mereces!
🔥 otra cosa es que el Rag en los agentes GPT funciona mucho mejor que en la API y el ApI de ChatGPT 4 es carísima. Infiero que OpenAI quiere que la mejor experiencia de usuario sea en su plataforma.
Bueno, cuando no estás usando la API (y no borras tus consultas) al final esos datos se utilizan para entrenar sus modelos... Tampoco sabemos desde fuera si hay algún tipo de optimización.
Gracias por la observación! El caso es que tenía un open webui en el 3000 y uno remoto en el 3002. Por eso cambié de uno a otro, para ver si me dejaba entrar :) Ayer lo simplifiqué para hacer otras pruebas. Es la parte buena y mala de tener tantos entornos de pruebas y cosas a la vez.
Voy a intentar crear un vídeo causando la Orange Pi también como servidor y comprobando cuál es el rendimiento. Lo único que me gustaría hacer una prueba con un medidor de corriente para medir también los vatios que se necesitan para ejecutar las distintas alternativas. Es decir, cuál es el rendimiento en función de la velocidad, pero también en función del coste y el consumo eléctrico que generamos.
César, muy buena información la que brindas, muchas gracias! Tengo una consulta, puedo tener ollama + docker en un VPS y entrenarla con archivos PDF cargados por el administrador y que el chatbot pueda brindar ayuda, soporte a los usuarios que lo consulten? lo puedo "embeber" en una web con wordpress? Gracias por todo!
Amigo excelente video te felicito. Para el caso mio me funciona unas veces realizando consultas de LLM como llama2 con open-weui en localhost:3000 pero a veces me sale este error "Uh-oh! There was an issue connecting to Ollama." porfa colaborame que puedo hacer??.. volvia borrar ollama y volvi a montar los LLM y me sigue saliendo el error.
📌 tiempo 2:00:00 con respecto al retrieval. Me gustaría saber tu opinión, yo cuando puedo utilizó el archivo en formato JSON. Porque tengo la información ordenada. Para algunos casos. Y te puedo decir que funciona mucho mejor. El hacer preguntas a ese tipo de textos. Además que pesan mucho menos. Qué opinas tú al respecto tienes algún dato referencial?
🔥 Estoy dispuesto a poner un servidor de acceso "gratuito" para niños y jóvenes de escasos recursos. Para que se conecten a través de Internet con RAG entrenado. ¿Como puedo hacer que se conecten al servidor que tendré en mi casa conectado a Internet por fibra óptica a 600MB de ancho de banda. Me ayudan en eso por favor
Me lo apunto para revisar el escenario. Una forma fácil sería configurar tu router para redirigir un puerto externo al puerto del OpenWebUI. Para que la gente localizara tu equipo podrías emplear algo tipo dyndns. Ahora bien, no es la forma más segura de hacerlo, porque estás exponiendo un punto de tu red interna al exterior.
Me parece que este es el mejor: 💥ollama run sammcj/smaug:72b-q4_k_m también descargue: 👀 ollama run sammcj/smaug-mixtral-v0.1:70b-q3_k_m 👎ollama run mistral (rápido, pero no sirve para nada) Conclusión 1: me quedó con Mistral por la velocidad y que corren en cualquier máquina. Pero voy a ver el proceso de fine tuning y de Rag.a ver si realmente responde bien.
