LLAMA-2 🦙: la MEJOR MANERA de hacer FINE-TUNE con TUS DATOS 🔥 

Muy buenos videos, muchas gracias por el contenido y los notebooks! Estaría genial poder ver mas videos tuyos explicando cosas de RAG con langchain y gradio o streamlit o algún otro fine tuning sobre modelos como Mistral!

Buen video

Hombre debe haber algùn tutorial que explique como ahcer el fine tuning, y explique bien los paràmetros, los hiperparàmetros y otros son sencillos

osea si yo quisiera cargar un data set propio donde lo cargo en vez de guanaco o de mini guanaco?

como lo hago usando ollama en local usando de dataset unos jsonl?

Esta super tu video, mi consulta como cambio el doc train por mi propio dato, sinseramente recien estoy iniciando y bueno queria probar con otros datos y no veo donde quizas esta simple la respuesta me pueden ayudar, de antemano muchas Gracis!.

Excelente video, me parece muy interesante, tengo un proyecto experimental un poco loco en el que me gustaria probar mediante finetuning a un llm, como si clonaras tu forma de ser y forma de hablar a un llm, para esto mi idea es crear un dataset personalizado, esto realmente es lo mas complejo, ya que experimente en el pasado con gpt 2 pero me di cuenta que si la estructura del dataset no era buena.. el resultado era un kaos.. por eso, como en otros comentarios creo que seria util tu opinión sobre como hacer el dataset bien estructurado.. en mi caso creo que estos modelos se entrenan con pregunta/respuesta asi que estoy capturando mi personalidad con mucho texto pregunta/respuesta y tengo curiosidad de cuanto de mi puede simular" una vez entrenado Un saludo

Estaría bueno un ejemplo similar con LLaVA que es un proyecto muy interesante y con poca info.

Está muy bueno el vídeo, la forma de explicarlo y facilidad de aplicarlo sorprenden. Podrías dar tips para crear dataset de calidad? tenía pensado ocupar la forma que enseñas para crear un modelo personalizado de asistencia, un asistente para que asista a personas ante consultas algo díficiles

Alex parabens pelo video, uma duvida, e se eu crier criar meu proprio dataset ? tipo passar para ele Uma base de dados toda, como faria ?

Lo primero, muchísimas gracias por el video, lo explicas genial. Lo segundo, es posible descargar el modelo una vez entrenado (si lo haces en collab) o paquetizarlo haciéndolo en on premise para luego utilizarlo en text-generation-ui? Muchísimas gracias!

Muy buen tutorial! Una pregunta... ¿Cómo decidimos qué modelo de HF usar? ¿Por qué NousResearch/Llama-2-7b-chat-hf y no otro Llama-2-7b-chat de los miles que hay en HF? Gracias!

es un video bien explicado y sobre todo interesante, el problema que presento es que yo quiero limitarlo a que conteste a solo preguntas de algun archivo pero este suele responder cualquier pregunta y tambien llega a alucinar con las respuestas e inventar informacion no existente en el archivo cargado, que puedo hacer?

Hola gran video un favor me sale que no tengo nvidia y que pailas como es esa cuestion

Saludos colega, una vez hecho el fine tuning el archivo pesa 9gb aprox y al generar el fine tuning genera un archivo de 128mb como se haria para ejecutarlo en local si esto se hizo desde el colab, descarga solo los archivos generados o el archivo base

Podrias hacer un video con LLamaIndex?

Haz un video que nos permita hacer fine-tune a partir de un modelo de formato GGUF

Podrías enseñar como hacer nuestro propio dataset en vez de usar el de guanaco? he buscado bastante y nadie hace mención ni eseña a como crearlo facilmente

El archivo resultante es un LoRA?

Para el modelo, ¿cómo puedo generar un LLM con mis documentos en formato PDF?

Muy interesante! pero cuando explicas como cargar el dataset (que se supone que eso dice el título, utilizar "tus datos") no se explica y no he entendido cómo hacerlo. No entiendo para qué utilizar los dataset por defecto. Me parece que quién mira este tipo de videos lo que quiere es utilizar su propio dataset, que no hay forma de encontrar un "paso a paso" de cómo hacerlo en español (y menos en local, aunque lento es más privado y el límite de datos lo marca mi disco duro). Adoro ChatGPT 4, pero los GPT de OpenAI son unos inútiles, que no pasan casi nunca la "prueba de la aguja en el pajar" cuando tienen un volumen elevado de datos. Ojalá alguien haga un video titulado "Cómo entrenar una IA con tus propios datos, para super novatos explicado pasito a pasito". Tengo mucha información en vídeo (avi,mp4), texto (txt, pdf, doc) y audio (mp3, wav) sobre un proceso judicial muy complejo, y sería fabuloso poder crear una propia IA con estos datos y poder preguntarle cosas, en vez de perder horas y horas buscando la información entre miles de documentos de todo tipo.

hola muy bueno el video. queria saber si hay docu oficial sobre la tarea de fine-tune, estoy buscando crear un bot que pueda responder preguntas sobre documentacion especifica, por ejemplo agregar informacion sobre una organizacion (la historia del grupo scout al que pertenezco), pero al ser generativa, genera desde el total de informacion del modelo entrenado, y no sobre la documentacion propia. Entiendo que el etiquetado del texto de entrenamiento es muy importante, pero necesito ampliar la info y no encuentro la documentacion oficial. Muy bueno el video y gracias.

Hola! Hay algo que no me queda del todo claro. cuando haces inference, al cargar el modelo defines model=model, ahi lo que haces, segun veo, es cargar el modelo base y no el modelo con fine tuning, o me equivoco?

Hola, estoy teniendo un problema al finalizar con la ejecución del código se me generan estos tres archivos: adapter_model.bin adapter_config.json README.md pero ahora como vuelvo a descargar mi nuevo modelo afinado en base a esos tres archivos, ayuda please o si puedes un tutorial que vendría de perlas

Alguien sabe como se puede subir un modelo a Hugging face? La verdad no le hallo u.u

funciona con mistral?

tengo un error que me dice que he usado toda la ram del coolab

no se escucha nada, cambia tu micro por uno de calidad.

parece interesante pero no te puedo seguir. vas demasiado rapido y ansioso, una pena

Lo q seria bueno es q ya venga con la opcion quieres q me conecte a internet i aprenda

Sera q en android podria instalar este ia