CN109525253B - 基于深度学习和集成方法的卷积码译码方法 - Google Patents

Abstract

本发明提供一种基于深度学习和集成方法的卷积码译码方法，该方法设置弱分类器和弱分类器的个数；所述弱分类器采用深度神经网络或感知器对卷积码进行译码，并对深度神经网络的深度进行设置；最后采用集成方法对弱分类器的译码结果投票得到译码输出；所述深度神经网络为全连接神经网络、卷积神经网络、GAN或LSTM。本发明方法采用了深度学习算法和集成方法来对卷积码进行译码，并从带噪的软信息序列中还原发送的信息位序列。

Description

基于深度学习和集成方法的卷积码译码方法

技术领域

本发明涉及电子通信技术领域，更具体地说，涉及一种基于深度学习和集成方法的卷积码译码方法。

背景技术

为了提高信号在信道传输的可靠性，各种纠错码技术被广泛的应用在数字通信中，卷积码(convolutional code)是一种应用广泛同时性能良好的编码方式，被应用于各种数据传输***，特别是卫星通信***中，而维特比则是针对卷积码的一种译码方法。

卷积码由爱里斯(Elias)于1955年提出，卷积码是一种循环码，循环码与分组码不同之处在于，分组码在编码和译码过程中，本组的n-k个校验元仅与本组的k个信息元有关，而与其他各组无关。而在卷积码编码和译码中，本组的n-k个校验元不仅与本组的k个信息元有关，而且还与以前各时刻输入至编码器的信息组有关。正由于在卷积码的编码过程中，充分利用了各组之间的相关性，且k和n也较小，因此，在与分组码同样的码率和设备复杂性条件下，无论从理论上还是从实际上均已证明卷积码的性能至少不比分组码差。

卷积码现有的维特比译码方法来说，维特比译码在译码效率和译码性能的平衡上还有提高的空间，当维特比的译码窗口一定时，维特比译码通过计算汉明距离来获得最优路径，大大降低了译码的效率。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于深度学习和集成方法的卷积码译码方法，该译码方法采用了深度学习算法和集成方法来对卷积码进行译码，并从带噪的软信息序列中还原发送的信息位序列。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于深度学习和集成方法的卷积码译码方法，其特征在于：设置弱分类器和弱分类器的个数；所述弱分类器采用深度神经网络或感知器对卷积码进行译码，并对深度神经网络的深度进行设置；最后采用集成方法对弱分类器的译码结果投票得到译码输出；所述深度神经网络为全连接神经网络、卷积神经网络、GAN或LSTM。

弱分类器采用深度神经网络对卷积码进行译码，并对深度神经网络的深度进行设置；最后采用集成方法对弱分类器的译码结果投票得到译码输出是指：在弱分类器中，通过建立深度神经网络模型并将半无限的卷积码序列切分为符合深度神经网络结构的训练集，训练完深度神经网络模型后，对切分后的带噪卷积码经过不同维度的译码；最后用集成方法投票将其转换成全部码字的译码输出。

包括以下步骤：

第一步，在弱分类器中确定深度神经网络的模型参数，并建立深度神经网络模型；

第二步，建立卷积码译码的数据样本集；

第三步，利用第二步数据样本集并采用softmax分类方式和批量梯度下降法对深度神经网络模型进行训练；

第四步，将需译码的卷积码输入第三步得到的深度神经网络模型中进行译码；在译码过程中，取得若干个弱分类器在不同的维度上对需译码的卷积码信息码字段对应的信息位做分类并译码输出，采用集成的方法对该信息位的译码输出进行投票产生一个强分类器以得到最终译码，完成卷积码译码。

在第一步中，所述确定深度神经网络的模型参数，并建立深度神经网络模型是指：对于任一个(n₀，k₀，m)卷积码，设定深度神经网络模型的输出层维度为n，输入层维度为n₀×n/k₀；设定隐藏层的激活函数为f(x)＝relu(x)；根据输出层维度、输入层维度和隐藏层的激活函数建立深度神经网络模型。

所述建立卷积码译码的数据样本集是指：

首先，随机生成一段长度为L的信息序列，经过(n₀，k₀，m)卷积码编码后，并通过高斯白噪声加噪得到长度为n₀×L/k₀的带噪卷积码信息序列；

其次，在带噪卷积码信息序列前加入00做为状态位，并将带噪卷积码信息序列按照第一步深度神经网络模型的输入维度进行切分，形成对应于深度神经网络模型大小的带噪卷积码信息码字段；其中，对于任一个(n₀，k₀，m)卷积码的开始状态均为00；

最后，对带噪卷积码信息码字段进行样本构建，批量生成符合深度神经网络模型的数据样本集。

所述对带噪卷积码信息码字段进行样本构建，批量生成符合深度神经网络模型的数据样本集是指：

(1)在带噪卷积码信息码字段中，前k₀×m位为原始码字的状态位，后n₀×n/k₀位为带噪卷积码信息码字段，作为第一个训练样本；

(2)设定样本获取信息位窗口大小为N，取第二个训练样本时，样本窗口在带噪卷积码信息码字段按序列方向向后滑动一位，将前一个码字段的状态位的第二个0和码字段的第一个比特作为状态位，加上滑动后样本窗口加入的码字比特，作为第二个训练样本；

(3)以此类推，根据全段的带噪卷积码信息码字段和对应的信息位批量生成符合深度神经网络模型的数据样本集。

在第三步中，深度神经网络模型训练时采用前馈计算和后向传播两个过程更新权重的方式得到最优的权重，使得该模型具有分类能力。

在第四步中，所述将需译码的卷积码输入第三步得到的深度神经网络模型中进行译码；在译码过程中，取得若干个弱分类器在不同的维度上对需译码的卷积码信息码字段对应的信息位做分类并译码输出，采用集成的方法对该信息位的译码输出进行投票产生一个强分类器以得到最终译码，完成卷积码译码是指：

(1)将需译码的卷积码进行编码加噪后得到带噪卷积码信息序列，并在带噪卷积码信息序列的信息位最后加上零信息位后输入深度神经网络模型；

(2)设定最开始状态位为00，并对第一个信息位进行译码；

(3)将带噪卷积码信息序列的状态更新，并向带噪卷积码信息序列后滑动一位，每滑动一位得到一次译码输出；当向带噪卷积码信息序列后滑动的次数达到深度神经网络模型的输出层维度大小n时，则取得了包括该信息位的n个弱分类器，这些n个弱分类器在不同的维度上对该信息位做了分类并有n次译码输出；采用集成的方法对这个信息位进行投票产生一个强分类器：即对n次译码输出进行统计，投票得到数量多的译码输出作为该信息位的译码结果；

(4)对后续带噪卷积码信息序列重复此步译码，完成卷积码译码。

与现有技术相比，本发明具有如下优点与有益效果：

1、本发明基于深度学习和集成方法的卷积码译码方法采用了深度学习算法和集成方法来对卷积码进行译码，并从带噪的软信息序列中还原发送的信息位序列。

2、本发明通过一个深度神经网络模型得到了多个弱分类器，并将其集成为一个强分类器，极大地改善了深度神经网络模型的译码性能。

附图说明

图1是本发明实施例一基于深度学习和集成方法的卷积码译码方法的流程图；

图2是本发明实施例一的深度神经网络模型的结构图；

图3是本发明实施例一方法的弱分类器的译码过程图；

图4是本发明实施例一方法的译码与维特比译码性能对比图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细的描述。

实施例一

本发明以(2，1，2)卷积码为实施例，对本发明提供的一种基于深度学习和集成方法的卷积码译码方法进行详细的说明，其中该卷积码的编码方式如下，卷积码的每一段的起始状态可由在该段之前两位的输入比特来表示，在编码最前端的起始状态可由00来表示。G(D)＝[1+D+D2,1+D2]。

如图1至4所示，本发明基于深度学习和集成方法的卷积码译码方法是这样的：设置弱分类器和弱分类器的个数；所述弱分类器采用深度神经网络对卷积码进行译码，并对深度神经网络的深度进行设置；最后采用集成方法对弱分类器的译码结果投票得到译码输出；所述深度神经网络为全连接神经网络、卷积神经网络、GAN或LSTM。

具体为通过建立深度神经网络模型并将半无限的卷积码序列切分为符合深度神经网络结构的训练集，训练完深度神经网络模型后，对切分后的带噪卷积码经过不同维度的译码，最后用集成方法投票将其转换成全部码字的译码输出。

包括以下步骤：

第一步，在弱分类器中确定深度神经网络的模型参数，并建立深度神经网络模型；

第二步，建立卷积码译码的数据样本集；

第三步，利用第二步数据样本集并采用softmax分类方式和批量梯度下降法对深度神经网络模型进行训练；

第四步，将需译码的卷积码输入第三步得到的深度神经网络模型中进行译码；在译码过程中，取得若干个弱分类器在不同的维度上对需译码的卷积码信息码字段对应的信息位做分类，采用集成的方法对该信息位进行投票产生一个强分类器，并通过强分类器进行译码，完成卷积码译码。

具体步骤如下：

(1)首先确定深度神经网络的模型参数，并建立深度神经网络模型。可将深度神经网络的输出层维度大小设定为8，对应的深度神经网络的输入层维度大小为8×2＝18，其中2为该小段卷积码的起始状态。由于(2，1，2)卷积码的构造比较简单，所以一层隐藏层已经足够，此处将隐藏层大小设为512，并设定隐藏层的激活函数为f(x)＝relu(x)。根据输出层维度、输入层维度和隐藏层的激活函数建立深度神经网络模型。

(2)对带噪卷积码信息码字段进行样本构建，批量生成符合深度神经网络模型的数据样本集。

随机生成长度为L的信息序列，经(2，1，2)卷积码编码后，由范围为1db～7db的高斯白噪声加噪，得到一个长度为2×L的带噪卷积码信息序列。取L＝1000，为方便译码，最后7位可设为零信息位，以便倒数第八位的译码后译码过程结束，构建样本的时候，将带噪卷积码信息序列按照第一步深度神经网络模型的输入维度进行切分，形成对应于深度神经网络模型大小的带噪卷积码信息码字段。取信息位滑动窗口大小为8，编码后加上高斯噪声得到16位的码字样本。第一个训练样本状态位由00开始，后面是2×8的信息序列为带噪卷积码信息码字段，作为第一个训练样本。

取第二个训练样本时，窗口在带噪卷积码信息码字段按序列方向向后滑动一位，将前一个码字段的状态位的第二个0和码字段的第一个比特做为状态位，加上滑动后窗口加入的码字比特做为输入，标签为编码前码字段的onehot形式，组成了第二个训练样本，以此类推，将长度为L的信息序列全部转化为对应输入层大小为16，输入层大小为8的神经网络的训练样本集，其中输入包含码字段的状态位和码字段，输出为码字段译码后的onehot。

(3)得到数据样本集后，隐藏层以f(x)＝relu(x)做为激活函数，采用softmax分类方式和批量梯度下降法对深度神经网络模型进行训练。深度神经网络模型训练时采用前馈计算和后向传播两个过程更新权重的方式得到最优的权重，使得该模型具有分类能力。以上步骤为一个完整的训练过程，经过训练后，误差会不断降低，也就是说深度神经网络逐渐学习对带噪的卷积码信息序列进行译码。进行多次训练直到深度神经网络的准确率和误差达到稳定即可停止训练。此处选择训练次数为2000次。

(4)将需译码的卷积码输入至训练好的深度神经网络模型中进行译码，完成卷积码译码：对训练好的深度神经网络模型，随机生成一段信息序列，经过(2，1，2)卷积码编码和范围为1db～7db的高斯白噪声加噪后，将得到的带噪软信息按深度神经网络的输入层大小输入神经网络。最开始的状态位为00，以译卷积码的第一个信息位例子，对第一个训练样本进行译码得到长为8的译码结果，第一个训练样本译码输出的最后一位是卷积码第一个信息位在第一次的译码结果。取第二个训练样本，相当于带噪码字后滑动一位，得到一个输出，而卷积码的第一个信息位在第二个码字上对应是倒数第二位置的译码输出。本例中滑动窗口大小为8，当滑动次数达到深度神经网络的输出层大小8时，取得了包括该信息位的8个弱分类器。这些8个弱分类器在不同的维度上对该信息位做了分类并有8次译码输出，采用集成的方法对这个信息位进行投票产生一个强分类器：即对8个弱分类器的8次译码输出进行统计，投票得到数量多的译码输出结果作为该信息位的译码结果，从而获得对该信息位更好的译码性能。整个过程如图3所示，颜色相同的信息位在卷积码上的位置相同，每一列都是一个样本的译码输出，所以对应着是集成了8次译码结果。对后续码字重复此步骤，从而完成了卷积码的全部译码。

实施例二

本实施例基于深度学习和集成方法的卷积码译码方法是这样的：设置弱分类器和弱分类器的个数，弱分类器采用感知器对卷积码进行译码，并对深度神经网络的深度进行设置；最后采用集成方法对弱分类器的译码结果投票得到译码输出；所述深度神经网络为全连接神经网络、卷积神经网络、GAN或LSTM。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习和集成方法的卷积码译码方法，其特征在于：包括以下步骤：

第一步，设置弱分类器和弱分类器的个数；在弱分类器中确定深度神经网络的模型参数，并建立深度神经网络模型；所述深度神经网络为全连接神经网络、卷积神经网络、GAN或LSTM；

第二步，建立卷积码译码的数据样本集；

第三步，利用第二步数据样本集并采用softmax分类方式和批量梯度下降法对深度神经网络模型进行训练；

第四步，将需译码的卷积码输入第三步得到的深度神经网络模型中进行译码；在译码过程中，取得若干个弱分类器在不同的维度上对需译码的卷积码信息码字段对应的信息位做分类并译码输出，采用集成的方法对该信息位的译码输出进行投票产生一个强分类器以得到最终译码，完成卷积码译码；

所述建立卷积码译码的数据样本集是指：

首先，随机生成一段长度为L的信息序列，经过(n₀，k₀，m)卷积码编码后，并通过高斯白噪声加噪得到长度为n₀×L/k₀的带噪卷积码信息序列；

其次，在带噪卷积码信息序列前加入00做为状态位，并将带噪卷积码信息序列按照第一步深度神经网络模型的输入维度进行切分，形成对应于深度神经网络模型大小的带噪卷积码信息码字段；其中，对于任一个(n₀，k₀，m)卷积码的开始状态均为00；

最后，对带噪卷积码信息码字段进行样本构建，批量生成符合深度神经网络模型的数据样本集；

所述对带噪卷积码信息码字段进行样本构建，批量生成符合深度神经网络模型的数据样本集是指：

(1)在带噪卷积码信息码字段中，前k₀×m位为原始码字的状态位，后n₀×n/k₀位为带噪卷积码信息码字段，作为第一个训练样本；

(2)设定样本获取信息位窗口大小为N，取第二个训练样本时，样本窗口在带噪卷积码信息码字段按序列方向向后滑动一位，将前一个码字段的状态位的第二个0和前一个码字段的第一个比特作为状态位，加上滑动后样本窗口加入的码字比特，作为第二个训练样本；

(3)以此类推，根据全段的带噪卷积码信息码字段和对应的信息位批量生成符合深度神经网络模型的数据样本集。

2.根据权利要求1所述的基于深度学习和集成方法的卷积码译码方法，其特征在于：在第一步中，所述确定深度神经网络的模型参数，并建立深度神经网络模型是指：对于任一个(n₀，k₀，m)卷积码，设定深度神经网络模型的输出层维度为n，输入层维度为n₀×n/k₀；设定隐藏层的激活函数为f(x)＝relu(x)；根据输出层维度、输入层维度和隐藏层的激活函数建立深度神经网络模型。

3.根据权利要求1所述的基于深度学习和集成方法的卷积码译码方法，其特征在于：在第三步中，深度神经网络模型训练时采用前馈计算和后向传播两个过程更新权重的方式得到最优的权重，使得该模型具有分类能力。

4.根据权利要求2所述的基于深度学习和集成方法的卷积码译码方法，其特征在于：在第四步中，所述将需译码的卷积码输入第三步得到的深度神经网络模型中进行译码；在译码过程中，取得若干个弱分类器在不同的维度上对需译码的卷积码信息码字段对应的信息位做分类并译码输出，采用集成的方法对该信息位的译码输出进行投票产生一个强分类器以得到最终译码，完成卷积码译码是指：

(1)将需译码的卷积码进行编码加噪后得到带噪卷积码信息序列，并在带噪卷积码信息序列的信息位最后加上零信息位后输入深度神经网络模型；

(2)设定最开始状态位为00，并对第一个信息位进行译码；

(3)将带噪卷积码信息序列的状态更新，并向带噪卷积码信息序列后滑动一位，每滑动一位得到一次译码输出；当向带噪卷积码信息序列后滑动的次数达到深度神经网络模型的输出层维度大小n时，则取得了包括该信息位的n个弱分类器，这n个弱分类器在不同的维度上对该信息位做了分类并有n次译码输出；采用集成的方法对这个信息位进行投票产生一个强分类器：即对n次译码输出进行统计，投票得到数量多的译码输出作为该信息位的译码结果；

(4)对后续带噪卷积码信息序列重复此步译码，完成卷积码译码。

Images