Визуальное представление изменений частоты звука во времени, используемое в качестве входных данных для нейронной сети.Спектрограмма — это визуальное представление того, как частотное содержание сигнала меняется со временем. Вместо отображения одной формы волны она показывает двумерное изображение, где одна ось представляет время, другая — частоту, а яркость или цвет в каждой точке указывает на интенсивность (амплитуду) этой частоты в данный момент. Это делает её чрезвычайно мощным инструментом для анализа звуков, радиоволн и любых других сигналов, изменяющихся во времени, выявляя закономерности, невидимые в исходной форме волны.
Концепция развилась из ранних методов анализа звука в середине XX века, особенно с разработкой звукового спектрографа в Bell Labs в 1940-х годах, который использовался для анализа речи.
Сигнал делится на короткие перекрывающиеся временные сегменты. Каждый сегмент затем обрабатывается с помощью математической операции, называемой преобразованием Фурье, которая разлагает его на составляющие частоты. Полученные амплитуды частот отображаются в виде вертикального столбца цветных пикселей, и эти столбцы размещаются рядом друг с другом, чтобы построить полное изображение спектрограммы во времени. Этот процесс часто называют кратковременным преобразованием Фурье (STFT).
Спектрограммы используются в распознавании речи, анализе музыки, гидролокации и радиолокации, медицинской визуализации (например, в ультразвуке), а также в качестве входных данных для нейронных сетей, обрабатывающих аудио или другие изменяющиеся во времени сигналы.
Спектрограммы можно использовать для скрытия секретных сообщений в аудиофайлах — этот метод известен как аудиостеганография, когда изображение встраивается в виде спектрограммы, которая проявляется только при анализе аудио.
