AudioSpectrogram

Produce una visualizzazione dei dati audio nel tempo.

Gli spettrogrammi sono un modo standard di rappresentare le informazioni audio come una serie di porzioni di informazioni sulla frequenza, una porzione per ciascuna finestra temporale. Unendoli insieme in una sequenza, formano nel tempo un'impronta distintiva del suono.

Questa operazione prevede di ricevere dati audio come input, memorizzati come numeri in virgola mobile nell'intervallo da -1 a 1, insieme a una larghezza della finestra in campioni e un passo che specifica di quanto spostare la finestra tra le sezioni. Da questo genera un output tridimensionale. La prima dimensione riguarda i canali in ingresso, quindi un ingresso audio stereo ne avrebbe due qui, ad esempio. La seconda dimensione è il tempo, con sezioni di frequenza successive. La terza dimensione ha un valore di ampiezza per ciascuna frequenza durante quell'intervallo di tempo.

Ciò significa che il layout quando viene convertito e salvato come immagine viene ruotato di 90 gradi in senso orario rispetto a uno spettrogramma tipico. Il tempo scende lungo l'asse Y e la frequenza diminuisce da sinistra a destra.

Ciascun valore nel risultato rappresenta la radice quadrata della somma delle parti reale e immaginaria di una FFT nella finestra corrente dei campioni. In questo modo, la dimensione più bassa rappresenta la potenza di ciascuna frequenza nella finestra corrente e le finestre adiacenti vengono concatenate nella dimensione successiva.

Per avere uno sguardo più intuitivo e visivo su ciò che fa questa operazione, puoi eseguire tensorflow/examples/wav_to_spectrogram per leggere un file audio e salvare lo spettrogramma risultante come immagine PNG.