¿Por qué CONSUMEN tantos TOKENS los ASISTENTES con RETRIEVAL?

Подписаться 15 тыс.

Просмотров 2,6 тыс.

50% 1

En este vídeo te explico cómo funciona la técnica de Retrieval para que puedas idear soluciones que te permitan reducir el consumo de tokens y mejorar la calidad de respuesta de tu asistenet.
Links mencionados en el vídeo:
👉 Plataforma de desarrolladores de OpenAI: platform.openai.com/
👉 Langchain: www.langchain.com/
👉 Langsmith: www.langchain.com/langsmith
👉 Tokenizer: platform.openai.com/tokenizer
👉 Text Splitter: langchain-text-splitter.strea...
👨🏻‍💻 CURSO de Construcción de Asistentes de IA: productomania.io/curso-asiste...
00:00 Intro
02:25 ¿Cómo funciona un Asistente con Retrieval?
03:25 Demo
08:57 ¿Cuántos tokens consume cada Asistente?
12:57 Proceso de vectorización del contenido
21:14 ¿Cómo se obtiene el contexto?
25:52 Soluciones

Опубликовано:

27 июн 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 34

@gaarell 2 месяца назад

muy buen video, gran explicación

@SantiagoMejiaParra 3 месяца назад

Muchas gracias por tu dedicación y conocimiento! Eres bueno.

@magurtoy2k 3 месяца назад

Juan que prolija explicacion para un tema tan complejo & abstracto. Gracias y felicitaciones.

@luisc.restrepo6392 3 месяца назад

⭐⭐⭐⭐⭐. Excelente video. Contenido de mucho valor

@productomania 3 месяца назад

¡Gracias Luis!

@Investigadorinexperto-dt3ed 3 месяца назад

capo progresando en conocimientos, te sigo desde tu primer video y ver tu avance es motivador

@productomania 3 месяца назад

¡Gracias por el apoyo!

@putinninovacuna8976 Месяц назад

o sino lo ideal seria usar nlp para que sea mas consecuente el corte de chunks y tenga sentido semantico por parrafos

@gustavopereztempranillo 3 месяца назад

Es asombrosa la facilidad que tienes para explicar de manera sencilla cualquier concepto, por complicado que sea.👏👏👏 Estoy ansioso por ver el siguiente vídeo para crear una herramienta de Retrieval propia. Por cierto, el curso de Construcción de Asistentes es espectacular y me ha servido de mucho, ya he construido varios. ¡Muchas gracias!

@productomania 3 месяца назад

¡Muchas gracias Gustavo! 🤗

@cristianbejarano11 3 месяца назад

Qué pasada de contenido el que nos traes siempre! Cada video es una joya y estoy súper agradecido por el tiempo y pasión que le pones. Explicas los conceptos de manera muy clara y comprensible que facilita el aprendizaje de todos. Mi agradecimiento es inmenso por tu esfuerzo y dedicación.😁 Ya estoy deseando ver el próximo! El curso de Asistente de IA me ha dejado sin palabras, lo recomiendo muchísimo. Realmente espero que sigas sacando más cursos así, porque ya estoy aquí, esperando con muchísimas ganas. ¡Gracias por todo este esfuerzo y por enseñarnos tanto Juan!

@productomania 3 месяца назад

¡Muchísimas gracias por tu comentario Cristian! 😍

@royotech 3 месяца назад

Como siempre una joya de video. Felicitaciones JUAN. Para un catálogo de productos en un documento ¿qué crees que es mejor subirlo en JSON o en PDF?. Para las preguntas y respuestas, ¿será mejor un JSON que un PDF?

@productomania 3 месяца назад

Siempre es preferible subirlo en un formato JSON porque es un formato bien estructurado, donde queda claro qué es cada cosa porque todo la información está almacenada en pares clave-valor. Pero claro, transformar la información de PDF a JSON si tienes mucha información pues no siempre es viable. Pero no hay nada mejor que probar! :)

@Ikerposcaart 3 месяца назад

Excelente información, en mi caso uso Dify para mis RAG

@productomania 3 месяца назад

No la conocía, acabo de ver su web y tiene muy buena pinta, la probaré! Gracias :)

@Ikerposcaart 3 месяца назад

@@productomania tiene mucho LLM yo llevo tiempo usándola es de código abierto

@luisc.restrepo6392 3 месяца назад

Esperando el video de "crear nuestra propia herramienta de Retrieval. Pa cuannndddooo

@productomania 3 месяца назад

Semana que viene!

@user-rm8zb4fq1f 3 месяца назад

Excelente crack! Porque fijate que yo por "ordenado" decidí crear los asistentes dividiendo en PDFs, y en modo pregunta respuesta, como que el sentido común me lo decía y ahora entiendo porque gracias. Sin embargo, me sucede que cada 10 preguntas gpt4 me consumen casi el dólar, se me hace una barbaridad y es que si uso 3.5 0125 hay un % de alucinación que no puedo permitir por el giro del negocio. Definitivamente me ayudaría saber cómo reducir 10x este coste, soy cliente actual de tus cursos! 🎉 Lo necesito y si es sin programar y en Botpress mejor!

@productomania 3 месяца назад

En unos minutos subo vídeo explicando cómo construir una solución con Botpress, ¡a ver si te sirve!

@jorgenebra8787 3 месяца назад

Muy buen video para entender de forma clara todo el proceso de retrieval. Un punto, en estos dos casos, tanto con Langchain, como directamente sobre OpenAI, el documento vectorizado se almacena en un base de datos vectorial. ¿Correcto? Con la opción directa de OpenAI, entiendo que de esa base de datos vectorial "te olvidas". ¿Con la opción de Langchian es igual? ¿O tienes que encargarte de pagarla y gestionarla? Gracias!!

@productomania 3 месяца назад

Efectivamente! Si construyes tu sistema de Retrieval con Langchain tienes que encargarte de almacenar los vectores en alguna base de datos. Algunas de las más populares son www.pinecone.io/ y qdrant.tech/. En el caso del Asistente de OpenAI te olvidas de esa parte.

@hectorraulgarcia3246 2 месяца назад

Qué cantidad de información le puedo dar a un agente gpt de chat gpt, para entrenarlo?

@fbravoc9748 3 месяца назад

Espectacular video ! Estoy pensando en comprar tu curso de asistentes. Me podrías comentar Cuál es el valor agregado que entrega tu curso pago en comparación con tus vídeos de RU-vid, a los cuales encuentro geniales !?

@productomania 3 месяца назад

¡Gracias! Aquí explico el contenido del curso: ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-zSAb8JxymPM.html Te hago un resumen rápido: en los vídeos que subo a RU-vid no me da tiempo a explicar detenidamente todo lo que necesitas saber para poder construir un Asistente con la API de Asistentes de OpenAI, en el curso sí. Además en el curso comparto varias plantillas de Botpress para que no tengas que crear tu Asistente desde cero.

@Juan-Ballesteros 3 месяца назад

Hola Juan! ¿Es posible que el asistente en OpenAI se coma todo el contexto antes de responder cada pregunta del usuario? (sin vectorizar). Creo que los números se parecen bastante (promtp + instrucciones + contexto = tokens de entrada)

@Juan-Ballesteros 3 месяца назад

Hice la prueba con texto plano (así es como coinciden los tokens ~)

@eleagueofschoolsmx1142 3 месяца назад

¿Tienes algún código de descuento para el curso de asistentes? :)

@productomania 3 месяца назад

No, el código de descuento se agotó hace tiempo :(

3 месяца назад

Tengo varias dudas. La primera, ¿Se puede monetizar el chat utilizando Wordpress? ¿Qué tan complicado sería? Por ejemplo, un chat premium. La segunda, en el caso de un chat premium, ¿El usuario puede hacer preguntas en audio y obtener la respuesta de la misma manera? Llegado el caso, ¿Qué tan costoso sería? Tercera pregunta, ¿Chatbase y herramientas similares, funcionan como lo explica en este video? Gracias.

@productomania 3 месяца назад

Te respondo: 1. Sí, puedes intentar monetizar un chatbot con Wordpress. Tendrás que utilizar algún plugin que te permita implementar un sistema de registro (memberpress.com/) y permitir utilizar el chatbot unicamente a los usuarios que te hayan pagado. 2. Si construyes el chatbot con Botpress el usuario no podrá enviar audios, sí podrá recibirlos. Si quieres que el usuario pueda enviar audios te recomiendo crear un chatbot para Whatsapp, en vez de para Botpress. 3. Sí, las herramienta de creación de chatbots que te permiten alimenar el chatbot con documentos utilizan la misma técnica que explico en este vídeo. De hecho, en Chatbase puedes ver qué trozos de texto ha utilizado el chatbot para responder al usuario, suelen ser siempre 3 creo.

3 месяца назад

@@productomania Muchas gracias por la respuesta