Whisper, el OÍDO más POTENTE de la Inteligencia Artificial (y Open Source!) 

que es 👺💅

mejorar mis apuntes, para mejorar mi estudio autodidacta ya sea ingles y programación

Poder traducir algunas canciones que no tienen su letra publicada y suenan algo confusas

Con el cierre de subdivx, se hizo muy difícil conseguir los subtítulos de pelis y series. Está herramienta es genial para esa tarea porq encima genera un srt!

@@HybridTheoryXero creo los subtítulos de cualquier película es posible de manera local, literal de película antiguas que solo se necesita una grabación y ya adios a los 20 min de busqueda de un buen subtítulo :U

Y como escribiste el comentario?

@@Benaplay para escribir un comentario me imagino que se puede apañar con la función voz a texto, pero si hablamos de redactar textos más largos y a un nivel más profesional la verdad que las posibilidades al alcance se quedan cortas

@@Benaplay con el dictador

@@juanasensioalbaladejotorre5265 exacto

supongo que podrias dictar y usar a Chat GPT para que te redacte (Supongo que lo podria hacer)

Podrias explicar como lo haces? Tengo clases grabadas de 2 horas, estuve probando pero no se terminan de subir nunca en el google colab

@@RyoukenDofus Úsalo localmente y listo, si tienes un equipo gama media o alta va de lujo.

@@Crisof Se puede usar con tarjeta grafica amd?

¿Se puede distinguir entre las diferentes voces que hablan?

@@Crisof Cómo se usa localmente? He estado buscando info y no encuentro nada, gracias!

Ya lo puedes hacer en su Patreon

​@@endetalle11 ¡Bien dicho!

como un poema de Cortázar

A mí me ha pasado igual. Hace unos días andaba buscando como loca algo de esto!

¿Pudiste conseguir que Whisper traducirá áudios en inglés y los transcribira en español?

Iba a hacer un chiste con el Chang pero es orgánica jajaja

me pasa igual pero en gallego

Como lo haces ? Las clases son largas? A mi solo me transcribe los primeros minutos de un video largo de 3 horas

@Isaac Baena García que va ,lo he dejado aparcado, solo hace unas 20 frases o así, si te fijas bien en el video ,ni la canción de Rosalía que le pone, la acaba completa(fíjate en la barra desplazadora).

@Isaac Baena García Puse large en lugar de medium y solo me transcribio 8:51 de 1:30:18, a ti te lo transcribio completo?

fue lo primero que pensé jajajajajja. Solo tendrian que pasar el video a audio y pasar el audio a la IA

Los has usado en videos largos ? A mi solo me transcribe unos minutos de un video de 3 horas

Jajaja no falta el que va flipao siempre. Me recuerdas a un cliente que buscaba un desarrollador móvil para una App que con la cámara del móvil escaneara a las personas y dieran un dictamen médico real jajaja por 50 pavos claro.

No es posible detectar el origen de un sonido sin un canal estéreo. Por algo tenemos dos orejas.

Por cierto el aislamiento de sonidos en diferentes frecuencias y de diferentes voces ya se ha hecho y es muy sencillo utilizando máscaras en representaciones en el dominio de la frecuencia como spectrogramas.

@@AndresFelipe0402 Claro, podria funcionar con 3 o mas microfnos, pero lo interesante aqui seria que se entrene. hay otros aspectos aparte de la triangulaicion, por la forma que se generan los ecos se puede determinar si hay una habitacion de que dimensiones y otros aspectos, con un buen entrenamiento es posible ir mucho mas alla de lo aparente.

@@AndresFelipe0402 Si el problema es el entorno natural, donde existen ruidos, no hablamos de musica profecional, si no de un entorno por ejemplo una carretera con ruidos diversos no planificados. creo que se puede, pero enteindo que au no se ha hecho a ese nivel.

Estaba buscando si alguien había pensado lo mismo, sería una brutalidad a comparación de por ejemplo una habitación holográfica generada por stable diffusion. Así como lograron la teletransportación cuántica, un dispositivo como el que planteas no esta muy alejado en el futuro. Y transformar energía en alimento la pegada total. Saludos!

Hola! como estas? quisiera saber cual fue la herramienta que utilizaste para traducir el srt a español !

@@sebastiangonzalezgauna7350 probablemente deepl, pero tienes k convertir primero el srt a docx y traducir y luego viceversa docx a srt

Esperanto 🥵

@@lestath2345 Silbo Gomero

Claro. Lenguaje técnico, argot, o expresiones como modismos, jerga, etc.

Seria util para poder traducir el Chileno.

Pero para eso no habría que tener los audios con los textos transcritos como se entrenó a whisper? Xd para entrenar a whisper dijo que hubo aprox 700.000 hs de audio

Muchas gracias por compartir esa información

ahora un sordo con gafas te puede escuchar. leer, tecnicamente, pero incluso se puede configurar el texto para asociar el tamaño al volumen y la direccion del sonido con la posicion en la pantalla, incluso se puede asociar el timbre de la voz con un color, porque la experiencia de usuario seria tan completa que luego de años de usarlo te volverias tan experto que facilmente podrias tener una conversacion 100% fluida con cualquiera. Hasta ahora solo hablamos de como el sordo escucharia.. pero como siga avanzando la tecnologia y con esto de la interface cerebro maquina ya ni si quiera sé si haria falta. ya pronto nos van a poner wifi en el cerebro jaja

spotifAi

@@randyriverolarevalo2263 patenta el nombre que te lo roban jajaj

Y mejor,que sea gratis!!!

No por dios, no!

Terrible, imagina arruinar una canción cambiándole el idioma

Pues no, justamente en esto OpenAI hace mucho hincapié en su paper para explicarnos que han hecho un proceso de filtrado para eliminar del dataset cualquier aparición de texto generado por sistemas automáticos de reconocimiento del habla. ¿Por qué? Pues justamente para evitar que Whisper aprendiera también aquellos defectos, aquellos vicios que los otros sistemas automáticos también pudieran tener. Dicho esto, ahora que estamos hablando de Whisper y de RU-vid, hay una teoría que quiero contaros que me parece muy interesante, no es nada que esté confirmado, pero que podría explicar la razón de existir de esta herramienta y que podría tener cierta relación con un futuro GPT-4. Esta es una idea que escuché en el canal del doctor Alan Thompson y que dice que en un futuro próximo donde GPT-4 pues empezará a entrenar, Whisper podría ofrecer al sistema una enorme fuente de datos con la que sistemas anteriores no habían contado. Pensemos que un sistema como GPT-3 se ha entrenado con un montón de artículos de Wikipedia, de libros, de foros, de conversaciones de internet, pero nunca ha podido acceder a toda esa fuente hablada que puede estar en bases de datos como RU-vid. Una herramienta como Whisper podría ser utilizada para barrer por completo a RU-vid, transcribir muchos de sus audios y obtener de bloquear una nueva fuente de datos que antes no habría sido posible utilizar para entrenar a un futuro modelo del lenguaje. Este es el enorme valor que tiene una herramienta como Whisper y que creo que hace tan interesante esta tecnología. No, no resuelve una tarea que sea espectacular como generar imágenes o generar vídeo, pero resuelve una tarea muy útil y casi la resuelve hasta la perfección. Ojo, digo casi, no es perfecta, a veces algunas palabras se equivocan evidentemente y no cubre todos los lenguajes que existen en el planeta tierra y bueno, por buscar alguna limitación frente a otras herramientas comerciales, pues tampoco funciona en tiempo real, todavía procesar el audio dependiendo de la longitud pues te puede llevar unos cuantos segundos, a veces algún minuto, pero es una herramienta sólida, es madura, es útil y además open source, permitiendo que ahora cualquiera pueda acceder a una herramienta profesional de transcripción y traducción de texto, mejor que cualquier alternativa gratis. ¿Qué? Ah, que también vosotros queréis acceder a esta herramienta. Bueno, venga va, os preparo un tutorial facilito para que todos podáis utilizarlo, vamos a hacerlo en Google Collab. Pero antes y aprovechando que estamos hablando de programación, de desarrollo, de innovación, dejadme que os recuerde que quedan muy poquitos días para que se celebre el Samsung Dev Day, que es el evento tecnológico que celebra cada año la comunidad de Samsung Dev Spain, que es la comunidad oficial de Samsung para desarrolladores españoles. Este será un evento gratuito que no os podéis perder. Si estáis en Madrid podéis asistir presencialmente el día 16 de noviembre en el claustro de los gerónimos del Museo del Prado, y si no pues podéis conectaros online a través de su streaming, pero eso sí, hay que registrarse. Yo tuve la suerte el año pasado de poder participar con una ponencia sobre generación de código con inteligencia artificial y la experiencia fue genial. Así que ya lo veis, será un evento cargado de charlas geniales, hablando de tecnología, de innovación, de aplicaciones y además va a estar presentado por Midudev, que seguramente muchos de vosotros le conozcáis, así que no os lo podéis perder. Os voy a dejar abajo en la cajita de descripción un enlace a la página web de Samsung Dev Spain, donde vais a encontrar toda la información respecto a la agenda donde registraros y un montón de recursos más. Nos vemos el 16 de noviembre. Pues vamos a ver cómo podemos utilizar Whisper nosotros en nuestro propio código. Para esto vamos a utilizar Google Collab, ya sabéis que Google aquí nos está cediendo una máquina virtual gratuita que podemos utilizar y vamos a verificar siempre que tengamos activado el tipo de entorno con aceleración por hardware GPU. Vamos a darle aquí GPU, vamos a dar a guardar y ahora el primer paso será instalar a Whisper. Para ello vamos a usar estos dos comandos de aquí. Instalar, esto lo podéis encontrar en el propio repositorio de GitHub de Whisper, os voy a dejar abajo en la cajita de descripción estos comandos, le damos a ejecutar y dejamos que se instale. Una vez instalado, vamos a subir algún audio que queramos transcribir. Yo en este caso voy a probar con la canción de Rosalía de Chicken Teriyaki, vamos a colocarla para acá, la arrastramos y ahora el siguiente paso pues vamos a coger aquí y vamos a poner el comando necesario para poder ejecutarlo. Vamos a darle aquí a song.mp3, se llama el archivo que hemos subido, vale, song.mp3. La tarea va a ser transcribir el tamaño del modelo, hay diferentes tamaños según si quieres más velocidad a la hora de hacer la inferencia o si quieres más precisión en los resultados, yo por lo general trabajo con el modelo medium que es el que me da buenos resultados, hay modelos mayores, hay modelos menores, probad y en este caso pues simplemente donde vamos a colocar el archivo de salida, ejecutamos y ya está, ya está, no hay que hacer nada más, vale, ya estamos utilizando Whisper. La primera vez tardará un poco porque tiene que descargar el modelo pero a partir de este momento podéis utilizar este sistema para transcribir cualquier audio que queráis, mola. Vale, vemos que en este caso ha detectado que el idioma es español, ha hecho la inferencia automática porque no le hemos dicho que vamos a transcribir del español, lo podéis hacer si queréis y cuando ya está ejecutada esta celda pues podemos venirnos para acá, vemos que se ha generado la carpeta audio transcription y aquí tenemos las diferentes opciones, podemos abrir el song.txt y aquí le abrimos el archivo vemos que pues tenemos toda la canción perfectamente transcrita que en este caso siendo la rosalía pues tiene más mérito. Si en vez de querer hacer la transcripción quisierais hacer la traducción, es decir convertir vuestra voz, vuestro audio al inglés, pues lo único que tenéis que hacer es cambiar aquí la tarea por translate y en este caso Whisper trabajará para traducir aquello que ha transcrito. En este caso si os dais cuenta el comando que hemos utilizado ha sido el de consola pero a lo mejor queréis utilizar Whisper dentro de vuestro código, entonces también tenéis la opción de trabajar con la propia librería de Whisper, es simplemente esta línea de código de aquí, lo importamos, cargamos el modelo que queramos, aquí pues yo cargaría el modelo medium que es el que como digo funciona mejor para mi caso y con el modelo cargado, luego aquí llamamos a model.transcribe, vamos a poner aquí song.mp3, le damos a ejecutar y en cuestión de unos segundos pues ya tendremos de nuevo nuestra transcripción y aquí lo tenemos la rosalía, rosa sin tarjeta, se la mando a tu gata, te la tengo con roleta, no hizo falta serenata, pues ok. Igualmente para hacer la vida más fácil he preparado un notebook que podéis utilizar, está abajo en la cajita de descripción donde tenéis ya todo el código listo para empezar a trabajar, simplemente tenéis que entrar, comprobar que está la GPU activada, le damos a este botón de aquí para instalar pues todo lo necesario, aquí elegimos la tarea que queremos hacer, pues si es transcribir a cualquier idioma o traducir al inglés y le damos a ejecutar, en este caso la celda está preparada para que en el momento en el que empieces a ejecutarla, está grabando ahora mismo tu micrófono, es decir ahora mismo estaríamos generando un archivo de audio que luego vamos a utilizar para transcribir con Whisper, esto es por si queréis hacer una transcripción en tiempo real de cualquier clase o cualquier cosa que necesitéis.

Metamos este input en GPT-3 y se crea la segunda parte del vídeo.

Mucho no , demasiado texto

@@enriquemontero74 lo aclaro al principio, es el resultado de probar whisper con el video de dot csv

Testing the tool in the same video: 2022 will be remembered as the year of Stable Diffusion, of Dali2, of incredible text generator models like Palm or code generators like Alpha Code. And yet, chatting with Andrés Torrubia last month, he told me that he interesting thing I had seen this year was an artificial intelligence that it came from the OpenAI lab, an AI called Whisper. What is the most impressive thing that has come out of this year for you? Well curiously, look, curiously so far Whisper, I think. You know why? Curious, huh? What impresses me with Whisper is that Whisper works, it's like for me Whisper, if it were an autonomous car, it would be the first self-driving of the dictation You know? The first one that looks like a person. Good, but for what? first you understand what this Whisper thing is, I'm going to ask you to do the next exercise. I am going to play an audio in English and your task is transcribe each of the words you are hearing. Are you ready? Three, two, one. Have you understood something? Yeah, me neither. Well, in the ears of this artificial intelligence, this is the perfect transcription you have gotten. And how about your Korean? Okay, Well, it's not a problem for Whisper and you can also transcribe this audio into perfect english. And well, he also understands me. What you are seeing on the screen now is the speech to text that Whisper gets when he passed her the audio track that you are listening. Look closely, not only does he get an almost perfect transcription, understanding even specific words like whisper or speech to text, but It is also capable of generating periods, commas, and other punctuation marks that to many other business models of speech recognition as they were usually chokes And this is very interesting. Well, not this, but Whisper. Whisper in general has a lot of interesting things. and the first thing interesting is the context in which this tool appears. After a year of incredible achievements by the artificial intelligence laboratory of OpenAI, suddenly out of nowhere a collaborative initiative like Stability.ai, which in September took up open source as its flagship, many of the technologies that OpenAI for its part has decided to keep to itself and share only under paid services. This is not a problem for me either. since in the end OpenAI as a company has to pay its bills and at the less is giving us a way to access these powerful intelligences artificial. Learn Google. But of course, a new boy arrives in town and he starts giving candy to the kids and suddenly the popular guy well he begins to have displaced. And at that precise moment he arrives at OpenAI from the nothing and gives us Whisper for the benefit of all. Because yes, friends, this it is open source. I know you love hearing these words. At the end of video I will show a mini tutorial so you can see how easy it is to use this tool and I am also going to share a notebook to make it super simple for you. And this is what makes Whisper a super tool. interesting, but it's not the only thing. And this is where one of the things that What has caught my attention the most is that Whisper is not a complex system that have been designed to process audio like never before or a system super complex with a bunch of processing modules. No. Whisper is this right here A neural network of the transformer type of those of 2017. It does not have no change, no news. It is an architecture that already, well, all we know. So, if this is so, why didn't there already exist a technology like Whisper? Well, the key that makes Whisper so powerful is in the data and how they have structured their training. To train it, OpenAI has used no more and no less than 680,000 hours of audio with his corresponding text. A brutality. And it is that if you do the calculation 680,000 hours and start playing them now, you would finish listening to it in 77 years. You could be sure that at some point in the sky you would see the Halley comet. But it is also that a very interesting thing is that these audios come in multiple languages, allowing us to train a model that is multilingual, that can understand us if we speak in Spanish, in English, in Korean... It doesn't matter. But the thing does not stop there and it is that Whisper, in addition to being a multilingual system, is also a system multitask. This is a trend that, as we already saw in the cat video, in the world of deep learning is becoming more and more frequent. Do not train the artificial intelligence for a single task, but to train it for several different, thus making their learning much more solid and robust. As we have seen, Whisper can take audios in English and

En 5

Hoy

En 4,3,2,1

en -1 -2 -3

@@lista_devideos_cursoscompl1338 te saltaste el cero

Muchas gracias por compartir esa información

ya serian mas faciles los doctorados 😅

@@alandescudero1863 facilitaría mucho, pero a mí en lo personal se lleva mucho tiempo haciendo correcciones de una investigación ya realizada

Ya existe, ¿no has estado pendiente del lanzamiento de Gallactica?

@@AndresFelipe0402 gracias por la información caballero, ya cheque y si tiene razón aunque me aparece que es más una IA de consulta de información porque fue entrenada con paper científicos

Ya existen hace años, aunque hay muchos modelos que son prácticamente realistas y nada que ver con Loquendo, obviamente son servicios de pago, el mismo Google tiene uno con voces bastante realistas y hasta tiene la opción de personalizar tu propia voz si quieres o de la persona que desees.

@@Crisof Llevo buscando alguna librería para usar en python y reemplazar la voz de Windows que es muy robótica (la necesito en español), pero al parecer no existen. Quiero recrear una voz humana para mi GPT-3 simulando conversaciones

@@Crisof las he probado e incluso las de pago es fácil darse cuenta que son generadas por máquina, al menos en español, en inglés por entonación neutra medio podrían pasar pero en español siento que no suenan como un humano normal

La física no toca temas de I.A., te recomiendo estudiar directamente Ingeniería de Datos e Inteligencia Artificial, o Ingeniería de Software

@@xlgabriel si y no, gracias por la sugerencia, he analizado cuál ruta sería la mejor para mi… Me interesa hacer un doctorado en computación cuántica, hacer un grado en física y luego un máster en física computacional me acerca a mi meta, los algoritmos no de dejan de ser funciones y lógica matemática, no hay mejor forma de iniciar mi ruta de aprendizaje que desde las bases de lo que ahora es la computación moderna, matemáticas y física 😁😁😁

Mucha suerte! Física no necesariamente toca los temas de matemática necesaria para algoritmos avanzados, pero como parece que vas intersado por computación cuántica lo veo buen plan. Qué gusto.

@@everab1209 gracias 😄😄

@@xlgabriel Yo aprendi IA durante mi carrera de fisica, y ahora estoy viendo de entrar en alguna empresa del ambito, que ya varios colegas lo han hecho

Las empresas de películas o videojuegos, no tendrán excusas de no poner subtítulos aunque sea en español🤣

su implementación es fácil, pero yo prefiero usar manualmente transcriptores de srt y convertirlos a audio con un programa y están totalmente sincronizados. Sin duda que alguien ya debe haberlo hecho algo así con whisper y un modelo de text to speech, pero me da weba buscarlo

La gente de Subtitle Edit, seria genial.

¿Nadie va a pensar en los grupos de subtítulos de anime?

Eso ya lo hace RU-vid no?

Venia a comentar lo mismo.

Hay decenas, el mismo Google tiene una muy buena.

@@Crisof Muchas gracias Chistopher, lo sé, pero no son open source... :(

Y eso que no has visto lo que hace wav2vec de META que entrena con tan poco como 100 horas y hace lo mismo además de haber salido hace dos años (una eternidad en tiempo de investigación).

Exactamente, romper la barrera idiomática. Te imaginas? 🤯

Los idiomas pasarían a ser algo vulgar y sin necesidad de estudiarse

Un audifono conectado con el móvil para que lo procese, pero para eso hace muuucha potencia en un telefono. Faltaran todavía muuuchos años, aunque dada la miniaturizacion de los transistores en los procesadores actuales, no se si será posible... Con un 7G y procesamiento en nube quizás

@@truman78 Lo mismo decian hace dos años sobre la generación de imagenes a traves de texto y mira ahora, la gente tiene miedo a que las IAs les quiten el trabajo xd

😂😂😂😂😂😂😂😂

Si, eso también me puso muy furiosa!!!, me indignó la actitud de este youtuber contra los animales. Que promuevan la violencia contra los animales usando AI y ademas se atreva a publicarlo en su video con tantas cosas que se puede hacer desperdicia ese tiempo en su video. Como seres humano podemos enojarnos y frusttaenobpero hay que aprender a controlarnos para no dañar a nuestro entorno como a los hermosos animales.