La nueva IA de Google convierte el texto en música

 

Estos ejemplos proporcionados por el grupo son exactamente lo que esperaba escuchar.

Al igual que los marcos como DALL-E crean gráficos a partir de indicaciones escritas, los especialistas de Google han desarrollado una inteligencia simulada que puede construir piezas melódicas de un minuto de duración a partir de indicaciones de texto e incluso puede transformar una melodía silbada o murmurada en múltiples instrumentos (mediante TechCrunch). Si bien no podrá manipular directamente el modelo MusicLM, la compañía ha compartido los resultados de numerosos experimentos realizados en el modelo.

Estos modelos son increíbles. Hay muestras de cinco segundos hechas de dos palabras como "techno melódico", fragmentos de 30 segundos de lo que suena como música real hechos de largas representaciones de secciones que recomiendan una clase, energía y, sorprendentemente, instrumentos explícitos, y mi favorito personal, una demostración del "modo historia", donde el modelo esencialmente recibe un contenido para transformar entre indicaciones. Aquí hay uno de esos resumen:

música compuesta e interpretada digitalmente para su uso en un videojuego (0:00-0:15)

música tranquila interpretada cerca de un cuerpo de agua (0:15-0:30)

fuego (0:30-0:45) (0:30-0:45)

petardos (0:45-0:60) (0:45-0:60)

Esta área ha sido equipada con sonido audible.

Es posible que no todos lo disfruten, pero no tengo problemas para creer que se le ocurrió a un ser humano (también le presté atención en el círculo muchas veces mientras redactaba este artículo). El sitio de demostración también presenta ejemplos de la salida del modelo cuando se le indica que genere corchetes de 10 segundos de instrumentos como el violonchelo o las maracas (este último modelo es uno en el que el marco generalmente hace un trabajo desafortunado), corchetes de ocho segundos de una clasificación específica, música que encajaría con una salida de la cárcel, e incluso cómo se vería un pianista principiante en comparación con uno de alto nivel. Modern club" y "acordeón death metal" son solo dos ejemplos de las frases que se han traducido.

Si bien MusicLM tiene el potencial de imitar los sonidos humanos, sin duda hay una calidad desagradable en sus interpretaciones, a pesar de que parece tener el tono y el ritmo de las voces perfectos. La única forma en que puedo describir el sonido es que suena granulado o estático. En ese contexto, sin embargo, no creo que la calidad se vea tan claramente, pero sí creo que este sí.

Por feliz coincidencia, eso es lo que sucede cuando le dices que genere música adecuada para un gimnasio. Tal vez también hayas notado que los versos son una completa basura, del tipo que quizás no entiendas si no prestas suficiente atención, como si alguien estuviera cantando en simlish o esa canción que se supone que suena como inglés pero no lo es. .

No pretenderé saber cómo llegó Google aquí, pero si eres el tipo de persona que podría entender este número, ha publicado un artículo de investigación que explica todo en detalle:

Hay una larga historia de música creada por IA que se remonta a muchas décadas; hay marcos a los que se les atribuye la creación de canciones exitosas, imitar a Bach mejor que un humano en la década de 1990 y actuar en espectáculos en vivo. Para crear música a partir de señales de texto, una variante reciente utiliza el motor StableDiffusion de imagen de inteligencia artificial. El artículo afirma que MusicLM puede superar a otros marcos en términos de "calidad y adherencia a los subtítulos", así como en su capacidad para escuchar música y recrearla.

Esta parte final es fácilmente la mejor demostración que nuestros analistas hayan hecho jamás. Es posible que escuche cómo el modelo convierte una melodía murmurada o silbada en varios estilos musicales, como un sintetizador electrónico principal, un cuarteto de cuerdas, un solo de guitarra, etc. Basado en mis observaciones de modelos relevantes, realiza la tarea admirablemente.

Como ha sido el caso con los debuts anteriores de CBI, Google generalmente es más cauteloso con MusicLM de lo que podrían ser algunos de sus socios con tecnología comparable. Las preocupaciones sobre el "uso indebido potencial de material inventivo" (es decir, la infracción de derechos de autor) y la "distorsión o distribución social probable" llevan al artículo a concluir: "No tenemos diseños para suministrar modelos en este momento".

Es posible que la tecnología aparezca en una de las principales pruebas musicales de Google en el futuro, pero por el momento, las únicas personas que querrán usar el examen son aquellas que trabajan en marcos musicales de IA. Google afirma que proporcionará un conjunto de datos que contiene alrededor de 5500 coincidencias de música y texto de forma gratuita, que puede usarse para entrenar y evaluar otras IA melódicas.