Versión web experimental de La Hora Maker. La Hora Maker te ofrece semanalmente las novedades relacionadas con el mundo maker: tecnologías para la fabricación personal, herramientas para la fabricación digital, técnicas e ideas para la construcción en formato "hazlo tu mismo". Con este programa también queremos dar a conocer el movimiento maker al público general, así como destacar los principales eventos en España y el resto del mundo. En este podcast hablaremos también de los grandes cambios que se están produciendo de forma simultánea como el diseño abierto, la personalización radical, las máquinas que fabrican máquinas, el software libre, etc. Súmate a este viaje. ¡Será divertido!
Puedes subscribirte al podcast a través del siguiente enlace: itunes.apple.com/es/podcast/la-hora-maker/id1056919335?mt=2
He probado la version small en Hugging Face y tambien parece que va bien. Me gustaria echar un ojo a la posibilidad de hacerlo por streaming para no tener que esperar a terminar de hablar... Me gustaria saber, para un servicio real en produccion, cuanta maquina seria necesaria si quiero permitir concurrencia de al menos 5-10 audios... Tu que opinas?
Tengo una duda, por que cuando le doy clic a "view logs" no se abre una pantalla negra como a ti, solo me abre una carpeta con archivos de bloc, que programa debo usar o que debo hacer para que esto no ocurra?
Gracias por el vídeo, yo tengo una macbook pro m1 pro con 16gb ram y 1tb ssd, corre muy rápido todo los modelos en local. Ahora dinos como hacer un servidor de IA que procese Imágenes y genera imágenes.
Excelente video! Me lo encuentro justo cuando lo necesitaba. Me quedaron un par de dudas que espero me puedas ayudar a resolver: ¿Que hay de las tarjetas de amd? ¿Podría usar por ejemplo dos rx 7600xt para tener 32vram o no se suma la vram ni los gbps de ambas? 🤔
@@LaHoraMaker OSError: [WinError 126] No se puede encontrar el módulo especificado. Error loading "C:\FACTURAS2\facturas2json\.venv\Lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies. ...Al parecer no esta importando torch debidamente. que debo hacer ? ya instale y desinstale
Buen día estimado hora maker, que modelo puedo correr con QUADRO p6000, 64 ram, xeon e5-2699. He usado este cpu para tender de arquitectura ,pero quisiera instalar algún LLM.
Buenas, eres un crack y estamos aprendiendo mucho con tus videos. Tengo una duda y no he visto ningún video sobre ello (o no he sabido encontarlo). ¿Cuál es la mejor forma de tener múltiples peticiones a un único LLM sin que necesitemos una cantidad ingente memoria? ¿Un gestor de colas estilo RabbitMq? ¿Algo más especifico? Gracias
Algo que todavía por más que he buscado no he encontrado, es el uso de un Orange PI 5 para emular un android. Actualmente estoy teniendo que dejar mi ordenador encendido para emular un android con bluestacks, pero estoy valorando comprarme uno de los modelos orange PI 5 con Genymotion u otro software para dejarlo encendido todo el día. ¿Sabrías un poco al respecto? ¿Lo desrecomendarías por alguna razón? Gracias de antemano y saludos
me volvi loco con esta aplicacion, la verdad probé varios modelos entre ellos Llama3.1, tiene un nivel de error enorme, no es confiable, le cargue varios CSV, PDF, terrible el error, no se si hay alguna version paga o que pero mi experiencia es mala o tal vez los documentos deben cumplir cierto requisito, no se, espero saber el comentario de otros usuarios
Lo siento. Siento no estar de acuerdo, pero me parece un perdida de tiempo esta app si tienes que editar los campos que no supo recoger. En fin esto de la moda de los LLM me parece que se a pegar un castañazo importante.
Buenas, un buen trabajo, te vas un poco a veces por los cerros de Ubeda de lo que es el contexto del directo, pero aún así creo que lo explicas todo bastante bien y se ve que controlas de lo que hablas. Así que enhorabuena por el trabajo....😂😂😂 Una duda personal, entre Anything LLM y Open Webui, cual crees que es más eficiente y da mejores resultados? Propuesta: Seria interesante que hablaras de AutoGPT, considero que ese programa le vendría bien conocerlo a la mayoría de los que estamos aquí. Con respecto a AutoGPT me surge la duda de si usar Auto-GPT 5.1 con la Gui de Neuronic, o usar directamente uno con Gui integrada como podría ser el tractr/auto-gpt:4.0. Ya nos dirás cual es tu experiencia al respecto, si los probaste, o sino animate un día, considero que es un programa muy interesante. Bueno, te mando un saludo y se agradecen tus comentarios.
Hola César, ¿qué tal? Antes que nada me gustaría felicitarte por tu labor, ya son varios vídeos tuyos los que he visto y los encuentro de gran valor divulgativo, estoy aprendiendo mucho. Sin embargo, tengo una consulta específica que no he logrado resolver a día de hoy. Se me ha encargado generar una base de datos que contenga todos los conocimientos pertenecientes a artículos, libros y podcasts de un experto en neurociencia con el fin de que una ia se alimente de estos y pueda manejar información de neurociencia que pertenezca a las conclusiones de este experto. El caso es que tengo un quebradero de cabeza porque no sé cómo hacerlo. He intentado el RAG pero he descubierto que hay un máximo de tokens por interacción, cuando el objetivo final de esta ia es que con una sola pregunta pueda responder basándose en la información de todos los documentos (que son alrededor de 1000000 de palabras, lo que equivale a muchísimos tokens). Entonces contemplé el fine-tuning, pero no sé si es algo accesible para mí o se debería contratar un servicio. No sé si es una tarea que pueda solventarse con RAG ya que no llego a entender del todo cómo funciona el tema de los tokens, en el sentido de cómo lee los documentos, si lo hace todo del tirón, si va en busca de palabras clave para poder abarcar mucho más texto sin tener que analizarlo todo... Mi pregunta es, sin hacerte perder tiempo, si se te ocurre alguna forma de abarcar esta tarea, o cuál es la mejor. Mil gracias de antemano.
Hola saludos, simplemente una opinion para que lo tengas en cuenta por ejemplo: en cloud de antrop. nos dice que cuando subes un archivo sea lo mas preciso con el pront ya que "siempre se vuelve a leer el archivo entero" para poder dar una mejor respuesta. con respecto a tu aplicacion claramente (1000000 de palabras) es demasiado una base de inicio que considero es que puedas generar distintos temas resumidos por ejemplo : 300pag,200pag,300pg... ect que cada uno hable dentro de cierto contexto y cuando tengas que resivir una respuesta basada en el pensamiento de este (experto en neurociencia ) puedas conseguir dicha respuesta, teniendo en cuenta que justamente un RAG es para que el LLM "Aprenda" de tus documentos en una forma directo. simplemente es una opinion que tal vez te oriente y puedas probar. saludos!!!
Excelente y ahora en lo real como lo podríamos hacer con PHP el uplload es facil , el pasarlo a texto igual el tema es como hacemos para interinar con ollama para que tome el texto , analice y responda esperando el proximo video ojala sea con php
Hola Cesar, una pregunta. Permite Anything LLM levantar un servidor como hace LM Studio para poder beneficiarse de ese "pseudoRag" que has montado con Anything LLM y los documentos en vectorial? Muchas gracias y excelente video.
Después de ver este video me siento afortunado de poder acceder en la oficina a una rtx 4080 súper, y si, esa tarjeta de vídeo con 16 gb de Vram va más rápida que el mismo chatgpt en su página web, stable difusión también vuela mientras no se haga uso de scalers 4k o así. Y pensar que el que tiene esa tarjeta en su máquina ( el gerente ) solo la usa para word, excel y ver RU-vid 😂😂, pero afortunado que yo siendo el de sistemas puedo por medio de una sesion ssh andar trasteando a través la red local. Definitivamente ese potencial de procesamiento no puede desaprovecharse 😂😂
Hola, muchas gracias por tu vídeo, es excelente en todos los sentidos. Una pregunta, acabo de descargar GPT4All y no aparece SBert en los modelos, ¿qué puedo hacer? ¿Puedo instalarlo manualmente de forma fácil?
Si no te aparece SBert para hacer los embeddings puedes instalar el modelo de nomic para generarlos. Este aparece en la última versión y funciona muy bien.
¡Excelente video sobre el uso de agentes en IA! 👏 Como desarrollador trabajando en este campo, es fascinante ver a Andrew Ng explicar el potencial de estos sistemas. Hablando de aplicaciones prácticas, me gustaría compartir MALLO (MultiAgent LLM Orchestrator), un proyecto que he desarrollado basado en estos conceptos: github.com/bladealex9848/MALLO Pueden probarlo en vivo aquí: mallollm.streamlit.app/ MALLO implementa un sistema multi-agente que integra modelos locales, APIs de OpenAI y Together AI, junto con agentes especializados. Es emocionante ver cómo los conceptos explicados por Andrew Ng se alinean con lo que estamos logrando en la práctica. Lo que más me interesa es cómo estos sistemas de agentes pueden superar a los modelos fundacionales masivos a corto y medio plazo. En MALLO, hemos visto mejoras significativas en eficiencia y precisión, especialmente en dominios especializados como el legal y constitucional. Me pregunto, ¿alguien más está experimentando con sistemas multi-agente en sus proyectos? ¿Qué ventajas han notado en comparación con los enfoques tradicionales de IA? Este video realmente subraya el potencial de los sistemas basados en agentes para revolucionar cómo abordamos problemas complejos con IA. Estoy emocionado por seguir explorando y desarrollando estas ideas. Gracias por compartir esta valiosa información. Es un momento apasionante para estar en el campo de la IA, viendo cómo estos conceptos se materializan en soluciones prácticas y potentes. 🚀 #AgentesIA #MALLO #InnovaciónIA #AndrewNg #IAColaborativa
Muy bueno y muy claro! En la empresa donde trabajo estamos buscando desarrollar un chatbot que le sirva de soporte a los empleados de mesa de entrada (quienes reciben las llamadas y consultas) para poder dar respuesta sobre procesos muy secuenciados y procedimentados a los clientes. Para que tener un poco mas de contexto: La empresa es una incubadora de emprendedores que presta ayuda a pequeñas empresas en lo referido a aplicación a prestamos, grants, seguros necesarios para la accion, constitución de la empresa, etc. Crees que utilizar LLM Studio con Ollama + Anything LLM puede ser una buena opcion para lograr esto? Hay alguna otra opcion que creas viable u optima? En lo referido a los Inputs: se puede usar una base de datos MySQL? Audios de llamadas transcriptos? Desde ya muchas gracias!
Hola! Me gustaría poder aclarar que es tener un Hardware potente o medianamente potente, se me dificulta establecer en que rango esta mi computador para ejecutar un modelo u otro.
¡Muchas gracias por el vídeo! :) Echo en falta timestamps para las secciones en las que hablas de cada modelo, eso ayudaría a poder volver y repetir lo que más me haya interesado en el vídeo.
¿qué seria más importante actualizar, el cpu ryzen (primera generación el más básico o la tarjeta de video gtx 570 ? la tarjeta madre acepta hata pci3.0 y acepta el cpu más potente am4 axistente. Gracias
Bro, un reto. Estoy usando LM Studio con LLama 3.1 le paso un scheme de base de datos +200 tablas y convierto la paticion (lenguaje natural) a sentencia SQL y luego PY lo ejecuta. con 3 tablas es facil pero con tantas tablas los modelos fallan e inventan tablas o join de tablas que no existen. algun consejo ?
Lanzamiento de Modelos Masivos: Meta lanzó LLaMA 3.1 con 405 mil millones de parámetros, superando a GPT-4 y siendo el modelo de código abierto más grande hasta ahora. Este cambio también incluye una licencia más permisiva que permite utilizar estos modelos para generar datos sintéticos para entrenar otros modelos. Evaluación y Comparaciones: LLaMA 3.1 supera en rendimiento a GPT-4 y otros modelos grandes como Claude 3.5 y Sonet en muchas métricas. Comparaciones con modelos más pequeños, como el LLaMA 2 y Mistral, muestran mejoras significativas en eficiencia y rendimiento. Nuevos Modelos y Ampliación de Familias: Microsoft amplió su familia Phi a modelos más grandes con contextos extensos y licencias permisivas. Nvidia lanzó NeMo 4 con 340 mil millones de parámetros, optimizado para generar datos sintéticos. Competencia en el Mercado: Anthropic lanzó Claude 3.5, con una ventana de contexto de 200,000 tokens y coste reducido. OpenAI respondió con una versión más barata de GPT-4. Modelos Disponibles Localmente: Google presentó Gemini y Gemini 2, con mejoras significativas en modelos pequeños y grandes. Mistral y Nvidia colaboraron en Mistral NeMo 12b para uso empresarial. Modelos de China: Alibaba lanzó Qwen 2, entrenado en 27 idiomas y con modelos desde 0.5 hasta 72 mil millones de parámetros. Modelos como Qwen 2 demuestran un rendimiento superior en muchos aspectos comparados con otros modelos abiertos. Modelos Especializados: DeepSpeed 2 de Microsoft y CodeTStral de Mistral se destacan en la generación de código y eficiencia en procesamiento. Agentes y Uso de Herramientas: Nuevos modelos como LLaMA 3 Grok Tool Use Models permiten el uso de herramientas externas. InternLM presentó un modelo con una ventana de contexto de 1 millón de tokens. Modelos de Datos Sintéticos y Multimodalidad: Modelos como Mistral NeMo 12b y Qwen 2 usan datos sintéticos y combinan texto, imágenes y código. Apple y EPFL han trabajado en modelos multimodales que pueden segmentar, describir y modificar imágenes. Avances en Licencias y Disponibilidad: Modelos como DeepSpeed y Florence de Microsoft están disponibles bajo licencias permisivas como MIT y Apache 2.0. Modelos como CodeTStral Mamba utilizan arquitecturas nuevas que escalan mejor con contextos altos.
Lo primero, gracias por el mini-tuto :) Ahora ya está disponible el nuevo modelo, Llama 3.1, e incluso el de tamaño 8b, es bastante competente. Ya no es tan "tonto" como los anteriores ejecutados en local. Por otro lado, la interfaz web para interactuar con el modelo, ahora se llama "Open WebUI" en lugar de "Ollama WebUI". PD: para arrancar el "Open WebUI" veo que era necesario instalar Docker... y madre mía lo pesado que es y cómo ralentiza el equipo :(
He visto cientos de videos que prometen eso he probado todo y el porcentaje de éxito de la recuperación 60% si acaso Y eso estoy hablando de documentos sencillos cuando hablamos de documentos complejos ni te cuento Termina uno pagando servicios como la llamaparsw de llamaindex y usando modelos de pago porque si el proceso de Chungking y en Bing es malo pues el modelo te va a responder mal
