En música, "portamento" es un término que se ha utilizado durante cientos de años, que se refiere al efecto de deslizar una nota en un tono en una nota de un tono más bajo o más alto. Pero solo los instrumentos que pueden variar continuamente en tono, como la voz humana, los instrumentos de cuerda y los trombones, pueden lograr el efecto.
Ahora, un estudiante del MIT ha inventado un algoritmo novedoso que produce un efecto de portamento entre dos señales de audio en tiempo real. En los experimentos, el algoritmo fusionó a la perfección varios clips de audio, como una nota de piano deslizándose en una voz humana, y una canción combinada con otra. Su trabajo que describe el algoritmo ganó el premio al "mejor trabajo para estudiantes" en la reciente Conferencia Internacional sobre Efectos de Audio Digital.
El algoritmo se basa en el "transporte óptimo", un marco basado en la geometría que determina las formas más eficientes de mover objetos, o puntos de datos, entre múltiples configuraciones de origen y destino. Formulado en la década de 1700, el marco se ha aplicado a cadenas de suministro, dinámica de fluidos, alineación de imágenes, modelado en 3-D, gráficos por computadora y más.
En el trabajo que se originó en un proyecto de clase, Trevor Henderson, ahora un estudiante graduado en ciencias de la computación, aplicó el transporte óptimo para interpolar señales de audio, o mezclar una señal con otra. El algoritmo primero divide las señales de audio en breves segmentos. Luego, encuentra la manera óptima de mover los tonos en cada segmento a tonos en la otra señal, para producir el deslizamiento suave del efecto de portamento. El algoritmo también incluye técnicas especializadas para mantener la fidelidad de la señal de audio a medida que transita.
"El transporte óptimo se utiliza aquí para determinar cómo mapear los tonos en un sonido a los tonos en el otro", dice Henderson, un organista con formación clásica que interpreta música electrónica y ha sido DJ en WMBR 88.1, la estación de radio del MIT. "Si está transformando un acorde en un acorde con una armonía diferente, o con más notas, por ejemplo, las notas se separarán del primer acorde y encontrarán una posición para deslizarse sin problemas en el otro acorde".
Según Henderson, esta es una de las primeras técnicas para aplicar el transporte óptimo a la transformación de señales de audio. Él ya ha usado el algoritmo para construir equipos que hacen transiciones sin interrupciones entre canciones en su programa de radio. Los DJ también podrían usar el equipo para hacer la transición entre pistas durante las presentaciones en vivo. Otros músicos podrían usarlo para mezclar instrumentos y voz en el escenario o en el estudio.
El coautor de Henderson en el documento es Justin Solomon, profesor asistente de desarrollo de carrera del Consorcio X en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación. Solomon, que también toca el violonchelo y el piano, dirige el Grupo de procesamiento de datos geométricos en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) y es miembro del Centro de Ingeniería Computacional.
Henderson tomó la clase de Solomon, 6.838 (Análisis de forma), que asigna a los estudiantes la aplicación de herramientas geométricas como el transporte óptimo para aplicaciones del mundo real. Los proyectos de los estudiantes generalmente se centran en formas tridimensionales de realidad virtual o gráficos por computadora. Entonces el proyecto de Henderson fue una sorpresa para Solomon. "Trevor vio una conexión abstracta entre la geometría y las frecuencias móviles en las señales de audio para crear un efecto de portamento", dice Solomon. "Estuvo entrando y saliendo de mi oficina todo el semestre con equipo de DJ. No era lo que esperaba ver, pero fue bastante entretenido".
Para Henderson, no fue demasiado. "Cuando veo una nueva idea, pregunto: '¿Es esto aplicable a la música?'", Dice. "Entonces, cuando hablamos sobre el transporte óptimo, me preguntaba qué pasaría si lo conectara a los espectros de audio".
Una buena manera de pensar en un transporte óptimo, dice Henderson, es encontrar "una manera perezosa de construir un castillo de arena". En esa analogía, el marco se utiliza para calcular la forma de mover cada grano de arena desde su posición en una pila sin forma a una posición correspondiente en un castillo de arena, utilizando el menor trabajo posible. En los gráficos de computadora, por ejemplo, el transporte óptimo se puede utilizar para transformar o transformar formas al encontrar el movimiento óptimo de un punto a otro.
La aplicación de esta teoría a los clips de audio implica algunas ideas adicionales del procesamiento de la señal. Los instrumentos musicales producen sonido a través de vibraciones de componentes, dependiendo del instrumento. Los violines usan cuerdas, los instrumentos de metal usan aire dentro de cuerpos huecos y los humanos usan cuerdas vocales. Estas vibraciones pueden capturarse como señales de audio, donde la frecuencia y la amplitud (altura máxima) representan diferentes tonos.
Convencionalmente, la transición entre dos señales de audio se realiza con un desvanecimiento, donde una señal se reduce en volumen mientras que la otra aumenta. El algoritmo de Henderson, por otro lado, desliza suavemente los segmentos de frecuencia de un clip a otro, sin pérdida de volumen.
Para hacerlo, el algoritmo divide dos clips de audio en ventanas de aproximadamente 50 milisegundos. Luego, ejecuta una transformación de Fourier, que convierte cada ventana en sus componentes de frecuencia. Los componentes de frecuencia dentro de una ventana se agrupan en "notas" sintetizadas individuales. El transporte óptimo luego mapea cómo las notas en la ventana de una señal se moverán a las notas en la otra.
Entonces, un "parámetro de interpolación" se hace cargo. Eso es básicamente un valor que determina dónde estará cada nota en el camino desde su tono inicial en una señal hasta su tono final en la otra. Cambiar manualmente el valor del parámetro barrerá los tonos entre las dos posiciones, produciendo el efecto de portamento. Ese único parámetro también se puede programar y controlar mediante, por ejemplo, un crossfader, un componente deslizante en la mesa de mezclas de un DJ que se desvanece suavemente entre las canciones. A medida que se desliza el crossfader, el parámetro de interpolación cambia para producir el efecto.
Detrás de escena hay dos innovaciones que aseguran una señal sin distorsiones. Primero, Henderson usó una nueva aplicación de una técnica de procesamiento de señal, llamada "reasignación de frecuencia", que agrupa los intervalos de frecuencia para formar notas individuales que pueden pasar fácilmente de una señal a otra. En segundo lugar, inventó una forma de sintetizar nuevas fases para cada señal de audio al unir las ventanas de 50 milisegundos, para que las ventanas vecinas no interfieran entre sí.
A continuación, Henderson quiere experimentar con la alimentación de la salida del efecto nuevamente en su entrada. Esto, piensa, podría crear automáticamente otro efecto de música clásica, "legato", que es una transición suave entre notas distintas. A diferencia de un portamento, que reproduce todas las notas entre una nota de inicio y una de finalización, una legato pasa sin problemas entre dos notas distintas, sin capturar ninguna nota intermedia.
FUENTE: sciencedaily
FUENTE: sciencedaily
Responderemos lo mas rápido posible.