Google ha revelado su propia inteligencia artificial que puede generar música de alta fidelidad a partir de descripciones de texto, siendo capaz de reproducir una gran variedad de audios y melodías.
Según se detalla en un artículo académico, MusicLM se entrenó utilizando un conjunto de datos de 280,000 horas de música para que aprendiera a generar canciones coherentes a descripciones con una "complejidad significativa", por ejemplo, solicitándole una "banda sonora principal de un juego de arcade de ritmo rápido y optimista, con un pegadizo riff de guitarra eléctrica".
Lo que la IA musical de Google puede hacer
Entre sus capacidades está sí el poder generar clips de música cortos, pero también MusicLM se puede basar en melodías existentes, haciéndolas tarareadas, cantadas, silbadas o hasta tocadas con un instrumento.
También las capacidades de MusicLM permite tomar varias descripciones escritas en secuencia, como hora de meditar, despertar, correr, dar el 100% y crear una "historia o narrativa" melódica con duración de varios minutos, que bien podría servir como banda sonora de una historia o película.
But that's only one of its features.
— Product Hunt 😸 (@ProductHunt) January 27, 2023
Story Mode, for instance, generates music based on a sequence of text prompts.
time to meditate (0:00-0:15)
time to wake up (0:15-0:30)
time to run (0:30-0:45)
time to give 100% (0:45-0:60) pic.twitter.com/yTHgr5fIZo
De forma adicional MusicLM también puede recibir instrucciones para utilizando imágenes y texto, generar un audio que sea reproducido por un tipo específico de instrumento en un género determinado y se le puede establecer un nivel de experiencia a cada "músico", creando incluso melodías inspiradas en lugares, épocas o requisitos como que sea motivadora para hacer ejercicio.
Los problemas o errores de MusicLM
Sin embargo, esta IA también tiene algunos defectos, por ejemplo, que muestra calidad distorsionada en algunas de sus muestras, parte de su proceso de entrenamiento.
Aunque también puede incluir acompañamiento vocal, como armonías corales, queda a desear su desempeño, pues no son capaces de articular palabras y suenan metálicas al momento de cantar en lo que parece inglés, y que suenan como la fusión de varios artistas.
Painting Caption Conditioning generates sounds based off painting descriptions.
— Product Hunt 😸 (@ProductHunt) January 27, 2023
Here's what a Matisse would "sound" like. pic.twitter.com/yS9Phi3mDF
Los investigadores detallan que esta IA cuenta todavía con muchos desafíos éticos, pues tiene una tendencia a integrar material protegido por derechos de autor de los datos de entrenamientos en sus canciones.
Por ejemplo, descubrieron que aproximadamente el 1% de la música que generaba era directamente de las canciones con las que practicaba, lo que disuadió a los encargados de lanzar MusicLM en su estado actual.
