sheng的学习笔记-AI-WaveNet模型

Ai目录：sheng的学习笔记-AI目录-CSDN博客

需要先看一下这些文章，作为基础

sheng的学习笔记-AI-残差网络-Residual Networks (ResNets)_神经网络的衰变是什么-CSDN博客

sheng的学习笔记-AI-卷积神经网络_单层卷积神经网络-CSDN博客 

sheng的学习笔记-TCN时序卷积：因果卷积、空洞卷积-CSDN博客 

论文：https://arxiv.org/pdf/1609.03499 

什么是WaveNet

WaveNet是一种生成模型。能够生成模仿任何人声的语音，并且其声音比现有最佳文本转语音系统更自然，也可以用于合成其他音频信号

允许人们与机器对话是人机交互长期以来的梦想。通过应用深度神经网络（例如，谷歌语音搜索），计算机理解自然语言的能力得到了革命性的提升。然而，用计算机生成语音——通常被称为语音合成或文本转语音（TTS）——仍然主要基于所谓的拼接式TTS，其中需要从单一说话者那里录制一个非常大的短语语音片段数据库，然后将这些片段重新组合以形成完整的语句。这使得在不录制全新数据库的情况下很难修改语音（例如切换到不同的说话者，或改变他们的语音强调或情感）。

这导致了对参数式TTS的巨大需求，其中生成数据所需的所有信息都存储在模型的参数中，语音的内容和特征可以通过模型的输入来控制。然而，迄今为止，参数式TTS听起来通常比拼接式TTS更不自然。现有的参数式模型通常通过将它们的输出传递给被称为声码器的信号处理算法来生成音频信号。

用处

• 自动生成的钢琴曲（音乐）
• 根据文本生成语音
• 根据输入语音输出相同音色的语音（张三的输入，会有张三声音的输出，李四的输入，会有李四声音的输出）。
• 语音识别

原理

WaveNet是Google DeepMind 提出的一种Neural Vocoder 架构，模型主体为一个基于空洞因果卷积(Dilated Causal Convolution)的概率模型。

即基于Condition(Mel Spectrogram)，以及之前时间节点的语音生成一个概率分布，再采样得到下一采样点。反复执行该步骤，最后得到完整语音。

模型的核心是 对给定的输入序列(x_1, x_2, x_3, x_4, ..., x_n) ， 每次要根据之前的x_1 ~ x_n来预测x_n+1。然后将x_n+1添加在输入序列，再由x_2 ~ x_n+1得到 x_n+2。

由此 我们就可以由一个原始的序列(x_1, x_2, x_3, x_4, ..., x_n) 作为输入，按此模型进行构建，可以生成任意长度的序列！

架构图和解释

架构图

空洞因果卷积(Dilated Causal Convolution)

为了处理原始音频生成所需的长期时间依赖性，采用基于空洞因果卷积的架构，这些架构展示了非常大的感受野。具有因果卷积的模型没有递归连接，它们通常比RNN训练得更快，特别是当应用于非常长的序列时。

空洞因果卷积，具体见文章sheng的学习笔记-TCN时序卷积：因果卷积、空洞卷积-CSDN博客

根据这种空洞因果卷积，可以扩大视野，提取输入的特征，但是有较小的计算成本

需要注意的就是，wavenet的卷积层的设计是有一定的规律的，即每一层的膨胀率是上一层的两倍，也就是深度越深则空洞越多，当达到512的时候重复循环，例如其dilated rate如下：

1, 2, 4, . . . , 512, 1, 2, 4, . . . , 512, 1, 2, 4, . . . , 512；

然后是比较重要的部分，这样的网络设计，即1，2，4.。。。512，这样的设计可以近似看作是使用了1*1024的大小的卷积核（之所以说是近似，是因为并不是真正的对1024个维度的数据做直接计算的，而是通过多层的结构设计间接的对1024维的数据做计算的），但是确更高效（参数量更少），具有更强的非线性拟合能力。通过堆叠这些块可以进一步增大模型的容量以及感受野的大小；

网络中就没有池化层

softmax层作为输出层

wavenet最初用于解决音频问题，使用softmax层作为输出层，如果不是为了解决音频问题，可以修改最后的输出层

对个别音频样本的p(xt | x1, ..., xt-1)的条件分布进行建模的一种方法是使用混合模型，如混合密度网络或条件高斯比例混合。然而，试验表明，softmax分布往往效果更好，即使数据是隐式连续的（如图像像素强度或音频样本值）。其中一个原因是分类分布更灵活，可以更容易地模拟任意分布，因为它不对它们的形状做任何假设。

由于原始音频通常存储为16位整数值序列（每个时间步一个），softmax层需要每个时间步输出65,536个概率来模拟所有可能的值。为了使这更易于管理，我们首先对数据应用µ-law压缩变换，然后将其量化为256个可能的值：

其中-1 < xt < 1 和 µ = 255。这种非线性量化比简单的线性量化方案产生更好的重建。特别是对于语音，发现量化后的重建信号听起来与原始信号非常相似。

残差连接/跳过连接

 残差网路具体内容参考sheng的学习笔记-AI-残差网络-Residual Networks (ResNets)_神经网络的衰变是什么-CSDN博客

整个网络都使用了残差（He et al., 2015）和参数化跳跃连接，以加快收敛并使训练更深层的模型成为可能。架构图中，展示了模型的一个残差块，它在网络中被堆叠了许多次。

然后就是上面的residual block的不断地叠加，每一个residual block的输入都是上一层的输出；

每一层都有一部分网络结构直接进行skip connnection接入右边的常规的网络结构；

门控激活单元

使用了与门控PixelCNN相同的门控激活单元：

其中*表示卷积运算符，⊙表示元素乘法运算符，σ(·)是sigmoid函数，k是层索引，f和g分别表示滤波器和门控，W是可学习的卷积滤波器。

这种非线性对于模拟音频信号比修正线性激活函数效果更好

膨胀卷积的输出并没有直接通过relu而是通过了tanh和sigmoid两个分支之后进行了multiply，这是一个门控激活单元，通过这种方式来调节来自膨胀卷积的信息流，这和LSTM或GRU中使用的门控机制几乎一样，因为这些模型使用相同样式的信息门控来控制对其单元状态的调整。（例如历史的某个时刻对目标的预测完全没有帮助，模型通过这种机制可以具有辨别的能力，即完全无关的噪声则输入门保持关闭）

模型的输入和输出有相同的维度

模型的输入和输出具有相同的维度，这个通过卷积的casual的padding方式就可以了

对于这一点，进行个举例：

对于一个序列 “我是超级大帅哥”。 假如取长度为2 步长为1 作为数据进行输入和训练。

　　则训练时第一次输入模型的数据：x1 = 我是 ， 输出y1 = 是超

　　第二次：x2 =  是超， y2 = 超级；

　　第三次： x3 = 超级， y3 = 级大

　　……

　　而当训练完毕，使用训练好的模型生成数据时，送入x1 = 我是，理想情况是得到y1 = 是超

　　只要不断的将输出送到输入再进行预测，就有可能得到一个完整的序列“我是超级大帅哥”！ 

条件wavenet

给定额外的输入h，WaveNets可以模拟给定这个输入的音频的条件分布p(x | h)。方程（1）现在变为

通过将模型条件于其他输入变量，我们可以引导WaveNet的生成以产生具有所需特征的音频。例如，在多说话者设置中，我们可以通过将说话者身份作为额外输入提供给模型来选择说话者。类似地，对于TTS，我们需要将有关文本的信息作为额外输入。

我们在两种不同的方式中对模型进行其他输入的条件：全局条件和局部条件。全局条件的特点是单个潜在表示h影响所有时间步的输出分布，例如TTS模型中的说话者嵌入。方程（2）中的激活函数现在变为：

其中V*,k是可学习的线性投影，向量V^T*,kh在时间维度上广播

对于局部条件，我们有一个第二个时间序列ht，可能比音频信号的采样频率低，例如TTS模型中的语言特征。我们首先使用转置卷积网络（学习上采样）将其转换为与音频信号相同分辨率的新时间序列y = f(h)，然后在激活单元中使用： 

其中Vf,k * y现在是一个1×1卷积。作为转置卷积网络的替代方案，也可以使用Vf,k*h并在时间上重复这些值。我们在实验中发现这种方法效果稍差。 

wavenet和tcn对比

这两者都是基于空洞因果卷积实现的，但是还是有些不同

网络结构设计

WaveNet

• 核心架构: 基于 因果卷积（Causal Convolution） 和 扩张卷积（Dilated Convolution）。
• 目标领域: 初始是为生成语音波形设计的生成模型。
• 递归性: WaveNet 在输出时依赖于序列的因果关系（当前输出只依赖过去的输入），这使它适合生成任务（如语音生成）。
• 输出层: 使用概率分布建模（如 softmax），可以逐步生成每个时间步的值。

TCN

• 核心架构: 由多个堆叠的因果卷积层组成，每层通常使用扩张卷积（Dilated Convolution）以增大感受野。
• 目标领域: 通用时间序列建模（如分类和回归任务），并被广泛用于替代 RNN/LSTM。
• 递归性: 非生成模型。TCN 会直接处理整个序列，不像 WaveNet 那样逐步生成。
• 输出层: 常用于分类或回归任务，输出整个序列的预测值或单一预测值。

应用场景

WaveNet

• 语音生成: 用于 TTS（语音合成）和语音增强等。
• 音频建模: 高度灵活的生成式模型，适合高质量音频建模。

TCN

• 时间序列预测: 用于分类、回归任务，如股票预测、心电图分析等。
• 事件检测: 提取时间序列特征以进行动作或事件识别。

时间处理方式

WaveNet

• 逐步生成输出，因此适合生成式任务，但训练和推理可能较慢。
• 深度网络需要大量计算资源。

TCN

• 一次性处理整个输入序列，通常更快，训练时也能利用并行化优势。

实现参考代码

import os
import sys
import time
import numpy as np
from keras.callbacks import Callback
from scipy.io.wavfile import read, write
from keras.models import Model, Sequential
from keras.layers import Convolution1D, AtrousConvolution1D, Flatten, Dense, \Input, Lambda, merge, Activationdef wavenetBlock(n_atrous_filters, atrous_filter_size, atrous_rate):def f(input_):residual = input_tanh_out = AtrousConvolution1D(n_atrous_filters, atrous_filter_size,atrous_rate=atrous_rate,border_mode='same',activation='tanh')(input_)sigmoid_out = AtrousConvolution1D(n_atrous_filters, atrous_filter_size,atrous_rate=atrous_rate,border_mode='same',activation='sigmoid')(input_)merged = keras.layers.Multiply()([tanh_out, sigmoid_out])skip_out = Convolution1D(1, 1, activation='relu', border_mode='same')(merged)out = keras.layers.Add()([skip_out, residual])return out, skip_outreturn fdef get_basic_generative_model(input_size):input_ = Input(shape=(input_size, 1))A, B = wavenetBlock(64, 2, 2)(input_)skip_connections = [B]for i in range(20):A, B = wavenetBlock(64, 2, 2**((i+2)%9))(A)skip_connections.append(B)net = keras.layers.Add()(skip_connections)net = Activation('relu')(net)net = Convolution1D(1, 1, activation='relu')(net)net = Convolution1D(1, 1)(net)net = Flatten()(net)net = Dense(input_size, activation='softmax')(net)model = Model(input=input_, output=net)model.compile(loss='categorical_crossentropy', optimizer='sgd',metrics=['accuracy'])model.summary()return modeldef get_audio(filename):sr, audio = read(filename)audio = audio.astype(float)audio = audio - audio.min()audio = audio / (audio.max() - audio.min())audio = (audio - 0.5) * 2return sr, audiodef frame_generator(sr, audio, frame_size, frame_shift, minibatch_size=20):audio_len = len(audio)X = []y = []while 1:for i in range(0, audio_len - frame_size - 1, frame_shift):frame = audio[i:i+frame_size]if len(frame) < frame_size:breakif i + frame_size >= audio_len:breaktemp = audio[i + frame_size]target_val = int((np.sign(temp) * (np.log(1 + 256*abs(temp)) / (np.log(1+256))) + 1)/2.0 * 255)X.append(frame.reshape(frame_size, 1))y.append((np.eye(256)[target_val]))if len(X) == minibatch_size:yield np.array(X), np.array(y)X = []y = []def get_audio_from_model(model, sr, duration, seed_audio):print 'Generating audio...'new_audio = np.zeros((sr * duration))curr_sample_idx = 0while curr_sample_idx < new_audio.shape[0]:distribution = np.array(model.predict(seed_audio.reshape(1,frame_size, 1)), dtype=float).reshape(256)distribution /= distribution.sum().astype(float)predicted_val = np.random.choice(range(256), p=distribution)ampl_val_8 = ((((predicted_val) / 255.0) - 0.5) * 2.0)ampl_val_16 = (np.sign(ampl_val_8) * (1/256.0) * ((1 + 256.0)**abs(ampl_val_8) - 1)) * 2**15new_audio[curr_sample_idx] = ampl_val_16seed_audio[:-1] = seed_audio[1:]seed_audio[-1] = ampl_val_16pc_str = str(round(100*curr_sample_idx/float(new_audio.shape[0]), 2))sys.stdout.write('Percent complete: ' + pc_str + '\r')sys.stdout.flush()curr_sample_idx += 1print 'Audio generated.'return new_audio.astype(np.int16)class SaveAudioCallback(Callback):def __init__(self, ckpt_freq, sr, seed_audio):super(SaveAudioCallback, self).__init__()self.ckpt_freq = ckpt_freqself.sr = srself.seed_audio = seed_audiodef on_epoch_end(self, epoch, logs={}):if (epoch+1)%self.ckpt_freq==0:ts = str(int(time.time()))filepath = os.path.join('output/', 'ckpt_'+ts+'.wav')audio = get_audio_from_model(self.model, self.sr, 0.5, self.seed_audio)write(filepath, self.sr, audio)if __name__ == '__main__':n_epochs = 2000frame_size = 2048frame_shift = 128sr_training, training_audio = get_audio('train.wav')# training_audio = training_audio[:sr_training*1200]sr_valid, valid_audio = get_audio('validate.wav')# valid_audio = valid_audio[:sr_valid*60]assert sr_training == sr_valid, "Training, validation samplerate mismatch"n_training_examples = int((len(training_audio)-frame_size-1) / float(frame_shift))n_validation_examples = int((len(valid_audio)-frame_size-1) / float(frame_shift))model = get_basic_generative_model(frame_size)print 'Total training examples:', n_training_examplesprint 'Total validation examples:', n_validation_examplesaudio_context = valid_audio[:frame_size]save_audio_clbk = SaveAudioCallback(100, sr_training, audio_context)validation_data_gen = frame_generator(sr_valid, valid_audio, frame_size, frame_shift)training_data_gen = frame_generator(sr_training, training_audio, frame_size, frame_shift)model.fit_generator(training_data_gen, samples_per_epoch=3000, nb_epoch=n_epochs, validation_data=validation_data_gen,nb_val_samples=500, verbose=1, callbacks=[save_audio_clbk])print 'Saving model...'str_timestamp = str(int(time.time()))model.save('models/model_'+str_timestamp+'_'+str(n_epochs)+'.h5')print 'Generating audio...'new_audio = get_audio_from_model(model, sr_training, 2, audio_context)outfilepath = 'output/generated_'+str_timestamp+'.wav'print 'Writing generated audio to:', outfilepathwrite(outfilepath, sr_training, new_audio)print '\nDone!'

参考文章：

https://deepmind.google/discover/blog/wavenet-a-generative-model-for-raw-audio/

一文带你读懂深度学习之Deepmind WaveNet模型和Keras实现 - SeanLiao - 博客园

自回归生成网络--WaveNet-CSDN博客 

https://zhuanlan.zhihu.com/p/331697287