Primeras pruebas con LLM en Orange PI 5 Plus - Tiny llama, Phi, Zephyr, Nous Hermes 

En este video vamos a hacer las primeras pruebas con LLM en la placa SBC Orange PI 5 Plus equipada con el chip RK3588. Probaremos distintos modelos en orden creciente de tamaño, comenzando por Tiny Llama 1.1B, Phi 2.7, Zephyr 7B y Nous Hermes 13B. En el video hemos mantenido el tiempo de generación, así que ha quedado un video bastante largo.
Os invito a considerar este video como una primera aproximación a la Orange Pi, ya que hemos visto que sin estar equipado con ventilador externo, la placa hace Thermal Throttling. Encontramos un apaño manual, pero en futuros videos contaremos con un disipador y ventilador adaptado.
También es importante considerar que la aproximación es bastante burda, ya que sólo hemos utilizado la CPU con ocho cores de la placa Orange Pi 5 Plus. La placa también dispone de GPU y NPU, para acelerar estos procesos, que exploraremos en futuros videos.