Instala DeepSeek Coder para generar código localmente en tu propio equipo 

Muchas gracias por el comentario. Me alegra mucho que te ha servido para empezar a trabajar con modelos en local. En breve muchas más utilidades!

Gracias por compartir tu experiencia con el resto de personas del canal! Me alegro que al final funcionara todo correctamente!

@@LaHoraMaker tengo una duda, si la version de 7b me funciona bien, podria instalar la version de 33b, me refiero a si tendria que aumentar el poder de computo para utilizarla de la misma manera, o lo unico que cambia es el tamaño de las versiones?, saludos.

Gracias! 😊

Hola Jose, tengo pendiente grabar el video siguiente de generación de texto. Estoy evaluando las soluciones de Cody y Continue.dev para esta tarea. Si quieres puedes irle dando un vistazo a ambas alternativas para ver si alguna te convence.

Gracias por el comentario. Aunque creo que si se debería poder hacer fine tuning, es un poco peculiar el modo en el que se ha entrenado este modelo concreto, ya que emplea contextos muy amplios y no se si el dataset para afinarlo debería también reproducir este tamaño de contexto para no perder funcionalidad. Voy a estar pendiente a ver si veo algún modelo derivado de este. ¿Estás pensando en algún tipo de fine tuning particular? ¿Tu propia base de código?

Gracias por el interés! El soporte para las tarjetas AMD depende fundamentalmente del driver ROCm del propio fabricante. Inicialmente este driver sólo estaba disponible para Linux, pero poco a poco parece que el soporte va ampliandose a Windows también: www.amd.com/en/products/software/rocm.html El programa llama.cpp que usa LM Studio para cargar los modelos tiene soporte para estos drivers desde agosto, aunque hasta donde se, el driver no está tan fino como el de NVidia.

Gracias por la pregunta. El número de tokens puede configurarse en el panel de configuración en LMStudio, dentro de la ventana de chat. Este modelo se ha entrenado con fragmentos de código de hasta 16k tokens pero no he encontrado información sobre el tamaño recomendado de contexto para este modelo. Respecto a que influencia tiene: al aumentar el contexto se reserva memoria adicional al inicializar el contexto. Por otra parte, según va aumentando el contexto, el tiempo de respuesta se vuelve más largo, siguiendo una progresión cuadrática. Así que para contextos muy largos puede tardar una eternidad. El otro factor interesante a configurar es que hacer cuando se alcanza el límite de tokens. Cone LMStudio se le puede pedir que pare, como se ve en el vídeo. Pero también se puede configurar que siga generando, guardando el mensaje inicial y la primera respuesta. O que valla eliminado lo más antiguo. Según que caso puede interesar una estrategia u otra.

@@LaHoraMaker Muchas gracias.

Aparentemente sí. No tengo experiencia con el entorno, pero me ha generado sin problema un ejemplo de una implementación de quicksort en javascript en menos de un segundo...

Gracias por el feedback! En el video sólo muestro la generación de código Python, pero este modelo es multilenguaje. En el siguiete gráfico puedes ver el rendimiento del modelo con distintos lenguajes, funcionando mejor aquellos que tienen puntuación más alta: github.com/deepseek-ai/DeepSeek-Coder/raw/main/pictures/result.png Las dos líneas del modelo se corresponden a los distintos tamaños del modelo que hay disponibles.

Este vídeo es usando LM Studio en Windows. Tengo la versión de Ubuntu grabada también pero el rendimiento es entre seis y diez veces más lento con este modelo. He preguntado para ver si a más gente le pasa y estoy esperando respuesta. En breve, versión para Linux con Ollama y quizás Text Generation Webui (usando otro cargador, que con llama.cpp muere también!)