AudioSpectrogram

Produce una visualización de datos de audio a lo largo del tiempo.

Los espectrogramas son una forma estándar de representar información de audio como una serie de porciones de información de frecuencia, una por cada ventana de tiempo. Al unirlos en una secuencia, forman una huella distintiva del sonido a lo largo del tiempo.

Esta operación espera recibir datos de audio como entrada, almacenados como flotantes en el rango de -1 a 1, junto con un ancho de ventana en muestras y un paso que especifica hasta dónde mover la ventana entre cortes. A partir de esto genera una salida tridimensional. La primera dimensión es para los canales en la entrada, por lo que una entrada de audio estéreo tendría dos aquí, por ejemplo. La segunda dimensión es el tiempo, con sucesivos cortes de frecuencia. La tercera dimensión tiene un valor de amplitud para cada frecuencia durante ese intervalo de tiempo.

Esto significa que el diseño, cuando se convierte y se guarda como imagen, se gira 90 grados en el sentido de las agujas del reloj con respecto a un espectrograma típico. El tiempo desciende por el eje Y y la frecuencia disminuye de izquierda a derecha.

Cada valor del resultado representa la raíz cuadrada de la suma de las partes real e imaginaria de una FFT en la ventana actual de muestras. De esta manera, la dimensión más baja representa la potencia de cada frecuencia en la ventana actual y las ventanas adyacentes se concatenan en la siguiente dimensión.

Para obtener una visión más intuitiva y visual de lo que hace esta operación, puede ejecutar tensorflow/examples/wav_to_spectrogram para leer un archivo de audio y guardar el espectrograma resultante como una imagen PNG.