MusicLM

MusicLM proyecta el proceso de generación de música condicional como una tarea de modelado jerárquico de secuencia a secuencia, y genera música a 24 kHz que se mantiene constante durante varios minutos. Sus experimentos muestran que MusicLM supera a los sistemas anteriores en calidad de audio y adherencia a la descripción del texto. Además, demostramos que MusicLM se puede condicionar tanto en texto como en melodía, ya que puede transformar melodías silbadas y tarareadas de acuerdo con el estilo descrito en una leyenda de texto. Para respaldar futuras investigaciones, publicamos MusicCaps, un conjunto de datos compuesto por 5.500 pares de música y texto, con descripciones de texto enriquecido proporcionadas por expertos humanos.