AudioSpectrogram

สร้างการแสดงภาพข้อมูลเสียงเมื่อเวลาผ่านไป

สเปกโตรแกรมเป็นวิธีมาตรฐานในการแสดงข้อมูลเสียงเป็นชุดข้อมูลความถี่ส่วนต่างๆ หนึ่งส่วนสำหรับแต่ละหน้าต่างเวลา เมื่อรวมสิ่งเหล่านี้เข้าด้วยกันเป็นลำดับ จะทำให้เกิดลักษณะเฉพาะของเสียงเมื่อเวลาผ่านไป

การดำเนินการนี้คาดว่าจะได้รับข้อมูลเสียงเป็นอินพุต โดยจัดเก็บเป็นแบบลอยตัวในช่วง -1 ถึง 1 พร้อมด้วยความกว้างของหน้าต่างในตัวอย่าง และการก้าวย่างโดยระบุระยะที่จะย้ายหน้าต่างระหว่างส่วนต่างๆ จากนี้จะสร้างเอาต์พุตสามมิติ มิติแรกมีไว้สำหรับช่องสัญญาณในอินพุต ดังนั้นอินพุตเสียงสเตอริโอจะมีสองช่องในที่นี้เป็นต้น มิติที่สองคือเวลา โดยมีการแบ่งความถี่ต่อเนื่องกัน มิติที่สามมีค่าแอมพลิจูดสำหรับแต่ละความถี่ในช่วงเวลานั้น

ซึ่งหมายความว่าเค้าโครงเมื่อแปลงและบันทึกเป็นรูปภาพจะหมุน 90 องศาตามเข็มนาฬิกาจากสเปกโตรแกรมทั่วไป เวลาลดต่ำลงตามแกน Y และความถี่จะลดลงจากซ้ายไปขวา

แต่ละค่าในผลลัพธ์แสดงถึงรากที่สองของผลรวมของส่วนจริงและจินตภาพของ FFT บนหน้าต่างตัวอย่างปัจจุบัน ด้วยวิธีนี้ มิติต่ำสุดแสดงถึงกำลังของแต่ละความถี่ในหน้าต่างปัจจุบัน และหน้าต่างที่อยู่ติดกันจะถูกต่อกันในมิติถัดไป

เพื่อให้เห็นภาพได้ง่ายขึ้นว่าการดำเนินการนี้ทำอะไรได้บ้าง คุณสามารถเรียกใช้ tensorflow/examples/wav_to_spectrogram เพื่ออ่านไฟล์เสียงและบันทึกสเปกโตรแกรมผลลัพธ์เป็นรูปภาพ PNG