Meta anunció el lanzamiento de AudioCraft, una IA generativa de código abierto la cual crea audio y música a partir de indicaciones de texto. Según han informado, AudioCraft tiene 3 modelos, MusicGen para componer música, así como también AudioGen para crear efectos de sonido y así mismo, EnCodec, que utiliza IA para ayudar en la compresión de audio que supera al formato popularmente conocido MP3.
AudioCraft: IA generativa de código abierto
En cuanto a los problemas de derechos de autor, hay que especificar que MusicGen recibió capacitación sobre música con licencia y propiedad de Meta, así que no hay de qué preocuparse.
Según el anuncio, AudioCraft ha sido diseñado pensando en músicos y así mismo en diseñadores de sonido para poder “brindar inspiración, ayudar a las personas a intercambiar ideas rápidamente e incluso, iterar sus composiciones de nuevas maneras.
Los ejemplos en la publicación del blog contienen muestras de audio del mensaje “Silbido con viento” y así mismo, “Pista de baile pop con melodías pegadizas, percusiones tropicales y ritmos alegres, perfectos para la playa”, que suenan con tanto éxito como esas descripciones.
Gran parte de los desarrollos recientes de Inteligencia Artificial Generativa se han centrado en la generación de texto e imágenes, que es un proceso más simple.
Hay que aclarar que la conversión de texto a audio es una tarea más complicada que Meta parece haber descifrado. AudioCraft consigue aprender tokens de audio a partir de señales sin procesar usando su códec de audio neuronal patentado EnCodec para crear un nuevo “vocabulario” para el modelo.
Posteriormente, entrena modelos de lenguaje sobre este vocabulario de audio para que el modelo comprenda las asociaciones entre audio y texto. Producto de que AudioCraft también es de código abierto, el código está disponible en GitHub para que los usuarios puedan explorar y probarlo por sí mismos.
