第38周：文献阅读

目录

摘要

Abstract

文献阅读

问题引入

研究背景

研究意义

研究目的 

相关工作

自回归循环网络

基于 GAN 的序列生成方法

时间序列表示学习

创新点 

提出模型 

基本原理 

代码实现

实验研究 

实验1——基准和评估

实验2——不同类型的时间序列数据

实验3——增益来源分析对比

总结

---

摘要

TimeGAN在结构上由嵌入网络、恢复网络、生成网络和判别网络构成，通过结合对抗学习和最大似然估计，将序列级目标分解为逐步目标进行训练。其特点在于兼顾无监督GAN的灵活性与自回归模型有监督训练的可控性，能有效捕捉时间序列的动态特性。优势体现在相比传统方法，在生成时间序列数据时，能更好地平衡多样性和保真度。它可应用于金融市场预测、医疗健康监测、工业过程监控等领域，用于生成合成数据以辅助模型训练、数据增强等任务。原因是传统方法在处理时间序列生成时，难以有效捕捉复杂时间相关性和生成高质量数据。实验表明，在多样性、保真度和实用性等评估指标上，TimeGAN效果显著优于现有基准方法。未来可在进一步提升模型对长序列和高维复杂时间序列的处理能力、优化模型训练效率等方面进行改进 。  

Abstract

TimeGAN consists of an embedding network, a recovery network, a generative network, and a discriminative network in structure. By combining adversarial learning and maximum likelihood estimation, sequence level targets are decomposed into stepwise targets for training. Its characteristic lies in balancing the flexibility of unsupervised GAN with the controllability of supervised training of autoregressive models, which can effectively capture the dynamic characteristics of time series. The advantage lies in the ability to better balance diversity and fidelity when generating time series data compared to traditional methods. It can be applied in fields such as financial market forecasting, healthcare monitoring, industrial process monitoring, etc., to generate synthetic data to assist in tasks such as model training and data augmentation. The reason is that traditional methods are difficult to effectively capture complex temporal correlations and generate high-quality data when processing time series generation. Experiments have shown that TimeGAN outperforms existing benchmark methods significantly in evaluation metrics such as diversity, fidelity, and practicality. In the future, improvements can be made in enhancing the model's ability to handle long and high-dimensional complex time series, optimizing model training efficiency, and other aspects. 

文献阅读

title：Time-series Generative Adversarial Networks 

Time-series Generative Adversarial Networks

问题引入

研究背景

时间序列数据的生成建模面临独特挑战，不仅要捕捉每个时间点的特征分布，还需把握变量跨时间的复杂动态。现有研究主要分为两类：一类聚焦于改进自回归模型的时间动态以用于序列预测，但该方法本质上是确定性的，无法真正从模型中随机采样生成新序列；另一类直接将生成对抗网络框架应用于序列数据，然而仅依赖对抗反馈可能无法有效捕捉训练数据中的时间相关性。 

研究意义

提出的时间序列生成对抗网络（TimeGAN）框架结合了无监督 GAN 框架的灵活性和自回归模型中有监督训练的可控性，为生成逼真的时间序列数据提供了新途径。实验表明，该框架在生成高质量时间序列数据方面显著优于现有基准方法，在多样性、保真度和实用性等评估指标上表现出色36。 

研究目的 

旨在利用训练数据学习一个能最佳逼近真实数据分布的密度函数。通过将序列级目标分解为一系列逐步目标，结合 GAN 目标和最大似然目标，训练包含嵌入函数、恢复函数、序列生成器和序列判别器的 TimeGAN 模型，生成在时间动态上与原始数据相似的时间序列数据，并通过实验验证模型的有效性45。 

相关工作

自回归循环网络

通过最大似然原理训练的自回归循环网络在多步采样时易出现较大预测误差。为此提出了诸如 Scheduled Sampling、Professor Forcing、Actor-critic 等方法。这些方法虽考虑了逐步转移动态，但本质是确定性的，无法从学习分布中显式采样，与生成合成数据的目标不符1。

基于 GAN 的序列生成方法

多项研究直接在时间序列设置中应用 GAN 框架，如 C-RNN-GAN 直接将 GAN 架构应用于序列数据，RCGAN 在此基础上进行了一些架构调整，还有研究通过添加时间戳信息处理不规则采样。然而，这些方法仅依赖二元对抗反馈进行学习，不足以保证网络有效捕捉训练数据中的时间动态。

时间序列表示学习

主要关注学习紧凑编码以利于下游任务，如预测、分类等，也有研究探索学习潜在表示用于预训练、解耦和可解释性等。在静态设置中，有研究将自动编码器与对抗训练相结合，以学习相似性度量、实现高效推理和提高生成能力，而 TimeGAN 可推广到任意时间序列数据，在每个时间步引入随机性，并使用嵌入网络学习数据的逐步分布和潜在动态。

创新点 

构建了包含嵌入函数、恢复函数、序列生成器和序列判别器的 TimeGAN 框架，将无监督 GAN 框架的灵活性与自回归模型中有监督训练的可控性相结合，有效捕捉时间序列数据的时间动态。 

提出模型 

基本原理 

下图是嵌入函数和恢复函数如何在原始特征空间和隐空间中的实现过程： 

 

通过不同损失函数对各网络组件的参数进行梯度更新，使得嵌入网络能有效提取特征，恢复网络能准确重建数据，生成网络能骗过判别网络，判别网络能准确区分真实与生成数据，最终使整个 TimeGAN 模型能够生成高质量的时间序列数据。 

代码实现

嵌入函数

Embedder 函数在 TimeGAN 模型中负责将原始特征空间映射到潜在空间

  def embedder (X, T):"""Args:- X: 输入的时间序列特征- T: 输入的时间信息Returns:- H: 输出对应的嵌入特征空间"""with tf.variable_scope("embedder", reuse = tf.AUTO_REUSE): #创建一个变量作用域，名为embeddere_cell = tf.nn.rnn_cell.MultiRNNCell([rnn_cell(module_name, hidden_dim) for _ in range(num_layers)])  #创建一个RNN单元，并将多个RNN单元堆叠在一起e_outputs, e_last_states = tf.nn.dynamic_rnn(e_cell, X, dtype=tf.float32, sequence_length = T)   #运行动态的RNN，返回每个时间步的输出结果和最后一个时间步的隐藏状态H = tf.contrib.layers.fully_connected(e_outputs, hidden_dim, activation_fn=tf.nn.sigmoid)   #全连接层处理，输入是动态RNN的输出结果，最后对输出进行非线性变化  return H

创建一个变量作用域，名为embedder，该作用域包含以下三个步骤：

step1 创建一个RNN单元，并将多个RNN单元堆叠在一起

step2 运行动态的RNN，返回每个时间步的输出结果和最后一个时间步的隐藏状态

step3 全连接层处理，输入是动态RNN的输出结果，最后对输出进行非线性变化

这个嵌入表示将在后续的模型中用于恢复原始数据、生成合成数据以及进行判别等操作。 

恢复函数 

Recovery函数是 TimeGAN 模型中主要负责将潜在空间中的表示恢复到原始特征空间。

  def recovery (H, T):   """Args:- H: 隐空间表示- T: 输入的时间信息Returns:  - X_tilde: 恢复到原始特征空间的数据"""     with tf.variable_scope("recovery", reuse = tf.AUTO_REUSE): #创建作用域，名为recovery r_cell = tf.nn.rnn_cell.MultiRNNCell([rnn_cell(module_name, hidden_dim) for _ in range(num_layers)])  #创建RNN单元，并堆叠多个RNN单元在一起r_outputs, r_last_states = tf.nn.dynamic_rnn(r_cell, H, dtype=tf.float32, sequence_length = T)   #运行动态RNNX_tilde = tf.contrib.layers.fully_connected(r_outputs, dim, activation_fn=tf.nn.sigmoid)   #全连接层处理return X_tilde

同样，也需要先创建一个作用域，该作用域recovery同样有三个步骤：创建RNN——运行RNN——全连接层 

序列生成器

#生成器网络定义  
def generator (Z, T):  """Args:- Z: 随机变量- T: 输入的时间序列信息Returns:- E: generated embedding"""        with tf.variable_scope("generator", reuse = tf.AUTO_REUSE):e_cell = tf.nn.rnn_cell.MultiRNNCell([rnn_cell(module_name, hidden_dim) for _ in range(num_layers)])e_outputs, e_last_states = tf.nn.dynamic_rnn(e_cell, Z, dtype=tf.float32, sequence_length = T)E = tf.contrib.layers.fully_connected(e_outputs, hidden_dim, activation_fn=tf.nn.sigmoid)     return E
#监督器网络的定义
def supervisor (H, T): """Args:- H: 隐空间表示- T: 输入的时间序列信息Returns:- S: 基于生成器生成的潜在表示生成序列"""          with tf.variable_scope("supervisor", reuse = tf.AUTO_REUSE):e_cell = tf.nn.rnn_cell.MultiRNNCell([rnn_cell(module_name, hidden_dim) for _ in range(num_layers-1)])e_outputs, e_last_states = tf.nn.dynamic_rnn(e_cell, H, dtype=tf.float32, sequence_length = T)S = tf.contrib.layers.fully_connected(e_outputs, hidden_dim, activation_fn=tf.nn.sigmoid)     return S
#生成器在整个模型中的使用
E_hat = generator(Z, T)   #生成潜在空间嵌入
H_hat = supervisor(E_hat, T)   #基于生成器生成的嵌入 E_hat 生成的序列
H_hat_supervise = supervisor(H, T)  #基于真实数据的嵌入 H 生成的序列X_hat = recovery(H_hat, T)   #恢复到原始空间#生成器的损失函数
# 1. 对抗损失
G_loss_U = tf.losses.sigmoid_cross_entropy(tf.ones_like(Y_fake), Y_fake)
G_loss_U_e = tf.losses.sigmoid_cross_entropy(tf.ones_like(Y_fake_e), Y_fake_e)# 2. 监督损失
G_loss_S = tf.losses.mean_squared_error(H[:,1:,:], H_hat_supervise[:,:-1,:])# 3. 短匹配损失
G_loss_V1 = tf.reduce_mean(tf.abs(tf.sqrt(tf.nn.moments(X_hat,[0])[1] + 1e-6) - tf.sqrt(tf.nn.moments(X,[0])[1] + 1e-6)))
G_loss_V2 = tf.reduce_mean(tf.abs((tf.nn.moments(X_hat,[0])[0]) - (tf.nn.moments(X,[0])[0])))G_loss_V = G_loss_V1 + G_loss_V2# 4. 总损失
G_loss = G_loss_U + gamma * G_loss_U_e + 100 * tf.sqrt(G_loss_S) + 100*G_loss_V #生成器的训练过程
G_solver = tf.train.AdamOptimizer().minimize(G_loss, var_list = g_vars + s_vars) #优化器对总损失进行最小化     
GS_solver = tf.train.AdamOptimizer().minimize(G_loss_S, var_list = g_vars + s_vars)  #优化器对监督损失进行最小化 

 生成器的训练全过程有以下几个步骤：

step1 定义生成器网络和监督器网络：多个RNN堆叠——运行RNN——全连接层处理

step2 生成器在TimeGAN模型中的使用：转换为latent space embedding——supervisor——recover feature space

step3 生成器的损失函数：对抗损失+监督损失+短匹配损失

step4 生成器的优化

Encode，Generate and Iterate

序列判别器

#判别器的定义
def discriminator (H, T):"""Args:- H: 隐空间表示- T: 输入的时间序列的信息Returns:- Y_hat: 原始数据和合成的时间序列的分类"""        with tf.variable_scope("discriminator", reuse = tf.AUTO_REUSE):   #定义变量作用域d_cell = tf.nn.rnn_cell.MultiRNNCell([rnn_cell(module_name, hidden_dim) for _ in range(num_layers)])d_outputs, d_last_states = tf.nn.dynamic_rnn(d_cell, H, dtype=tf.float32, sequence_length = T)Y_hat = tf.contrib.layers.fully_connected(d_outputs, 1, activation_fn=None) return Y_hat   #判别器的输入数据
Y_fake = discriminator(H_hat, T)  #对生成器生成的潜在表示 H_hat 进行判别的结果
Y_real = discriminator(H, T)      #对真实数据经过嵌入网络得到的潜在表示 H 进行判别 
Y_fake_e = discriminator(E_hat, T)#对生成器直接生成的潜在嵌入 E_hat 进行判别#判别器的损失函数
D_loss_real = tf.losses.sigmoid_cross_entropy(tf.ones_like(Y_real), Y_real)  #判别真实数据
D_loss_fake = tf.losses.sigmoid_cross_entropy(tf.zeros_like(Y_fake), Y_fake)  #判别生成数据
D_loss_fake_e = tf.losses.sigmoid_cross_entropy(tf.zeros_like(Y_fake_e), Y_fake_e)  #判别生成器直接生成的潜在嵌入
D_loss = D_loss_real + D_loss_fake + gamma * D_loss_fake_e#判别器的训练
# Joint Training
print('Start Joint Training')for itt in range(iterations):# Generator training (twice more than discriminator training)for kk in range(2):# ... 生成器和嵌入器的训练代码 ...# Discriminator training        # Set mini-batchX_mb, T_mb = batch_generator(ori_data, ori_time, batch_size)           # Random vector generationZ_mb = random_generator(batch_size, z_dim, T_mb, max_seq_len)# Check discriminator loss before updatingcheck_d_loss = sess.run(D_loss, feed_dict={X: X_mb, T: T_mb, Z: Z_mb})# Train discriminator (only when the discriminator does not work well)if (check_d_loss > 0.15):        _, step_d_loss = sess.run([D_solver, D_loss], feed_dict={X: X_mb, T: T_mb, Z: Z_mb})# Print multiple checkpointsif itt % 1000 == 0:print('step: '+ str(itt) + '/' + str(iterations) + ', d_loss: ' + str(np.round(step_d_loss,4)) + ', g_loss_u: ' + str(np.round(step_g_loss_u,4)) + ', g_loss_s: ' + str(np.round(np.sqrt(step_g_loss_s),4)) + ', g_loss_v: ' + str(np.round(step_g_loss_v,4)) + ', e_loss_t0: ' + str(np.round(np.sqrt(step_e_loss_t0),4))  )
print('Finish Joint Training')

判别器的训练全过程有以下几个步骤：

step1 判别器的定义（同生成器）

step2 判别器在TimeGAN模型中的使用

step3 判别器的损失：真实数据判别损失+合成数据判别损失+生成器直接生成的潜在嵌入判别损失

step4 判别器的训练

运行结果

“stock”数据集

可视化结果

得分结果

本周只进行了一个数据集的TimeGAN的代码实践，后续会将原论文中的其他数据集放入模型中得出结果进行对比，并且会将TimeGAN模型与其他前沿模型的不同数据集上的运行效果进行对比，以及不同数据集的自回归性能对比。

实验研究 

该实验研究中，采用t-SNE和PCA可视化方法和得分对比（判别得分、预测得分）的方法，用来衡量不同模型或者不同参数设置的结果性能对比。

实验1——基准和评估

得分对比

对比分析：

在鉴别分数和预测分数方面，TimeGAN始终生成比基准生成更高质量的综合数据 

实验2——不同类型的时间序列数据

可视化 

对比分析：

与TimeGAN生成的合成数据集相比，使用t-SNE进行可视化的其他基准数据集与原始数据的重叠明显更好

得分对比

对比分析：

观察到TimeGAN的预测分数几乎与原始数据集本身的预测分数相同。

实验3——增益来源分析对比

得分对比

对比分析：

1、当数据具有高时间相关性的特征时，监督损失起着特别重要的作用

2、嵌入网络和与对抗性网络的联合训练（从而对齐两者的目标）清晰且持续地全面提高了生成性能

总结

在本文中，介绍了TimeGAN，一个新的时间序列生成框架，它结合了无监督GAN方法的通用性和由监督自回归模型提供的对条件时间动力学的控制。利用监督损失和联合训练的嵌入网络的贡献，TimeGAN在生成真实的时间序列数据方面展示了与最先进的基准测试相比的一致和显著的改进。在未来，进一步的工作可能会研究将差异隐私框架纳入TimeGAN方法，以生成具有差异隐私保证的高质量时间序列数据。

        本周主要是对TimeGAN的原理进行理解，以及逐行学习了TimeGAN的代码实现，最终选择了一个数据集进行了代码实践，接下来会继续阅读有关TimeGAN的相关文献，以及代码实现该文献中的基准测试部分。