点击返回网站首页

 

TacotronSTFT 提取mel(梅尔)频谱

为什么tacotron生成语音时需要先生成Mel(梅尔)频谱? 一般认为语音的频域信号(频谱)相对于时域信号(波形振幅)具备更强的一致性(相同的发音频谱上表现一致但波形差别很大),经过加窗等处理后相邻帧的频谱具备连贯性,相比于波形数据具备更好的可预测性;另外就是频谱一般处理到帧级别,而波形处理采样点,数量多很多,计算量也自然更大,所以一般会先预测频谱,然后经由vocoder重建波形,把mel(梅尔)频谱特征表达逆变换为时域波形样本。

傅立叶变换

音频信号由几个单频声波组成。 在一段时间内对信号进行采样时,我们仅捕获得到的幅度。 因为每个信号都可以分解为一组正弦波和余弦波,它们加起来等于原始信号。 这就是著名傅立叶定理。傅立叶变换是一个数学公式,它使我们可以将信号分解为单个频率和频率幅度。 换句话说,它将信号从时域转换到频域。 结果称为频谱。快速傅立叶变换(FFT)是一种可以有效计算傅立叶变换的算法。 它广泛用于信号处理。

短时傅立叶变换 - 生成频谱图

快速傅立叶变换是一种功能强大的工具,可让我们分析信号的频率成分。但是大多数音频信号的频率成分随时间变化,这些信号称为非周期性信号。 这时我们需要一种表示这些信号随时间变化的频谱的方法。 我们通过对信号的多个窗口部分执行FFT来计算多个频谱来解决这个问题,称为短时傅立叶变换。 FFT是在信号的重叠窗口部分上计算的,我们得到了所谓的频谱图。

运行例子 - TacotronSTFTExample

运行成功后,命令行应该看到下面的信息:

SDK代码下载地址:

Github链接

Gitee链接

 

点击返回网站首页