Performance Evaluation of Channel Decoding With Deep Neural Networks——论文复现总结

1、神经网络解码器具有单次解码和并行计算的能力
2、MLP、CNN、LSTM三者中LSTM具有最佳的解码性能，但以最大的计算开销为代价
3、此外，我们发现每种类型的神经网络都存在一个饱和长度，这是由于它们的学习能力受到限制而引起的。
4、结构化代码比随机代码更好训练，并解决了基于深度学习的解码器难以训练长代码的挑战。因此，提出将极坐标编码图划分为子块，每个子码字的解码器分别进行训练。

5、具体的流程就是先随机生成基带数据X,利用极码编码器对X进行编码,最后得到Y，训练的时候神经网络的输入是X,X尖尖，Y。通过神经网络来学习X尖尖与X的特征。训练好了之后的测试阶段就只需要将得到的X尖尖与原始的X算个误码率就可以了。

当然，其中还涉及到了信噪比这些，就是训练的时候用不同的信噪比去训练，测试的时候选者训练时候最好效果的SNR来测试。

6、本实验由两部分组成，无噪声部分和有噪声部分（当然无噪声部分就不用来考虑信噪比了。）

7、实验我们用来判断神经网络解码性能好坏的一个用作对比的数据就是MAP(最大似然估计)
8、K=4 无噪声

随着训练次数的增加，BER逐渐减小，最终达到一个稳定值，代表了深度神经网络的收敛性。对于所有三个深层神经网络，可以观察到较低的p会导致较高的BER，只有当p = 100％时BER才会降至0，这表明神经网络已学会了完整的编码结构。
9、K=8 无噪声

本图中、我们发现，当p = 100％时，与N = 8的情况相比，性能会变差，原因是码本的大小呈指数增长随着N的增长，它导致NND的输入和输出之间的关系更加复杂，这超出了当前神经网络的学习能力，并使其趋于不适应。但是，可以满意地看到，当p = 60％和80％时，BER下降到0，这表示MLP能够从一小部分码本推广到整个码本集。
与MLP相比，CNN的唯一区别是，当BER降至0时，p为80％和100％，这表明CNN的学习能力比MLP强
值得注意的是，由于RNN的性能与N = 8时的性能相同，因此RNN仍处于过拟合状态（也就是一个比较好的状态）。
10、
上图N = 32的情况。显然，可以推断出MLP和CNN都处于欠拟合状态。但是，由于BER随p的每个值降为0，因此RNN可以实现非常好的性能，这证明RNN优于NLP的MLP和CNN。
11、有噪声 K=4
在这一部分中，我们研究了带有噪声的情况，其中涉及对编码结构和噪声特性的同步学习，并且研究了在不同码字长度N下BER性能与测试SNR Eb / N0的关系。

上图研究了N = 8时的情况，可以观察到，当p = 100％时，MLP，CNN和RNN都可以达到MAP性能，尽管当p低于100％时，它们会过拟合。
12、有噪声K=8

同理，上图研究了N = 16的情况。对于MLP和CNN，我们发现不同训练比p的四条曲线非常接近，与MAP曲线相比有一定的差距，这说明MLP和CNN都有欠拟合的趋势，虽然CNN比MLP略好一些。然而，RNN仍然保持过拟合，当p = 100%时，RNN可以达到MAP性能。
13、有噪声K=16
而当N = 16时，RNN与MLP和CNN一样出现了拟合不充分的迹象

总结

基于以上结果，我们总结出NND中每种深度神经网络都存在一个饱和长度，这是由于它们的学习能力受限造成的。

正常情况是当码字长度N小于饱和长度时，只有训练整个码本才能很好地学习到完整的编码结构和噪声特征，即p = 100%，当p小于100%时，NND就会出现过拟合的问题。

当N接近饱和长度时，不同训练比p的性能非常接近，随着训练比p的增加，NND趋于欠拟合。当N超过饱和长度时，无论p是多少，NND都完全欠拟合。对于本文提出的神经网络架构，我们可以得出，虽然CNN的学习能力略强于MLP，但MLP和CNN的饱和长度都为16,RNN的饱和长度为32。

我们进一步研究了MLP、CNN和RNN的计算时间，如图11所示。如前所述，我们对每个神经网络保持相同的参数大小，但是由于它们各自的具体结构，实际的计算时间仍然相差很大。

训练和测试阶段时RNN的计算时间远高于MLP和CNN，而CNN的计算时间仅略高于MLP。由此我们可以得出结论，CNN和MLP的性能非常接近，虽然CNN有更好的解码性能，但在小程度上有更高的计算时间，RNN以最高的计算时间获得最好的解码性能。