Meta lanza IA generativa AudioCraft, diseñada para generar audio y música a partir de texto

Meta Platforms ha lanzado AudioCraft, una nueva herramienta de IA que puede crear música y paisajes sonoros a partir de prompts de texto. AudioCraft incluye dos modelos de lenguaje: AudioGen y MusicGen. Y un codificador EnCodec.

AudioCraft se basa en una arquitectura de red neuronal llamada Transformer, y se ha entrenado en un conjunto de datos de más de 100.000 canciones. Esto significa que el modelo tiene una comprensión profunda de la teoría musical y la composición.

En todos los modelos de IA Generativa siempre existe la duda de los derechos de autor, de esta manera cabe recordar que Meta ha comentado que el modelo MusicGen esta entrenado con música propia y con licencia específica, que se genera música a partir de la entrada de texto del usuario. Cosa que Google con su modelo MusicLM no ha conseguido resolver ya que fue entrenada con 280.000 horas de música y alrededor del 1% de la música generada por MusicLM es una copia de material protegido por derechos de autor. Esto podría causar problemas legales para Google, por lo que están trabajando para resolver este problema antes de lanzar la herramienta al público.

¿Cómo funciona?

Cuando se le da un prompt de texto, como "una pieza de jazz con un ritmo pegadizo", AudioCraft genera una pieza de música que coincide con la descripción. AudioCraft puede generar música en una variedad de géneros, incluyendo clásica, jazz, pop y electrónica. También puede generar efectos de sonido y ruidos ambientales.

Por su parte AudioGen, ha sido entrenado con efectos de sonido para uso público y genera audio a partir de texto ingresado por el usuario. 

Finalmente, el decodificador EnCodec permite “generar música de mayor calidad con menos artificio”. 

Os dejo las páginas donde podéis encontrar ejemplos de pistas de audio realizadas con estos modelos, simplemente brutal.

• Aquí puedes encontrar ejemplos de MusicGen: https://audiocraft.metademolab.com/musicgen.html

• Aquí puedes encontrar ejemplos de AudioGen: https://audiocraft.metademolab.com/audiogen.html

• Aquí puedes encontrar ejemplos de Encodec: https://audiocraft.metademolab.com/encodec.html

AudioCraft aún se encuentra en desarrollo, pero ya se ha utilizado para crear algunos resultados impresionantes. Por ejemplo, AudioCraft se utilizó para generar la música para un cortometraje que se proyectó en el Festival de Cine de Sundance. El modelo también se utilizó para crear los efectos de sonido para un videojuego.

¿Qué posibles aplicaciones puede tener Audiocraft?

Algunas de las aplicaciones pueden ser:

• Crear nuevas y originales formas de música

• Generar paisajes sonoros para juegos, películas y otras aplicaciones

• Ayudar a las personas con discapacidades a crear música

• Enseñar a la gente sobre teoría musical y composición

AudioCraft está disponible como un proyecto de código abierto gratuito. Esto significa que cualquiera puede descargar y usar el modelo, incluso si no tiene experiencia en IA. El modelo también está disponible en GitHub, donde la gente puede contribuir a su desarrollo.

Si estás interesado en probar AudioCraft, puedes visitar el sitio web de Meta Platforms. El sitio web tiene un tutorial que explica cómo usar el modelo.

AudioCraft es una nueva y emocionante herramienta que tiene el potencial de cambiar la forma en que creamos música y sonido. Desde NextbigThing estamos emocionados de ver lo que la gente pueda crear con este modelo en los años venideros.