【翻译】基于时频分析和卷积神经网路的模式识别

Spectrum Analysis and Convolutional Neural Network for Automatic Modulation Recognition

Yuan Zeng, Meng Zhang, Fei Han, Yi Gong , Senior Member, IEEE, and Jin Zhang

Abstract

Recent convolutional neural networks (CNNs)-based image processing methods have proven that CNNs are good at extracting features of spatial data. In this letter, we present a CNN-based modulation recognition framework for the detection of radio signals in communication systems……略

---

Introduction

​ 在通信系统中,发射的信号通常会被用不同的方式调节来达到数据更高效的传输.作为信号侦察和信号解调的中间过程,自动调制识别(AMR)能提供信号调制后的信息,并在各个领域中起到了关键的作用。

​ 在过去几十年里,已经有很多算法为AMR打下了基础,总的来说分为两大类：基于似然方法(likelihood based method)和特征匹配的方法。似然方法用了概率理论、假设检验理论和合适的决策标准(prob-ability theory, hypothesis testing theory and a proper decision criterion)来解决问题[1].而特征匹配方法通过特征提取和分类来解决问题.在特征匹配方法中识别的表现与人工设置的特征数量成正比,各种统计特征如瞬时振幅,频率相位已经被用到调制分类识别中,如高阶统计(HOS)[2],网络循环稳态特征曲线图[3].关于分类的过程(the classification process),目前存在的分类器已经有决策树(decision tree)[4]和机器学习算法，例如支持向量机(support vector machine)[5],神经网络(artificial neural network)[6]。

​ 近来，深度学习作为一个强有力的机器学习方法，已经成功在图像识别和语音识别等中取得了成功。基于深度学习的方法是基于多层非线性处理单元的连接来做到特征的提取和转换.它也能自动优化提取的特征来达到分类误差最小.深度学习也被应用于调制识别。论文[7]概述了深度学习在无线电信号处理中的新兴应用，并使用GNU无线电生成了具有同相和正交(IQ)信息的调制信号的开放数据集，用于调制识别。O’Sheaet[8]等人研究了卷积神经网络(CNN)对数据集的适应性，并比较了所提出的CNN与基于专家循环矩特征的方法的识别性能(the expert cyclic moment features based methods.)。 后来，论文根据中的数据对CNN，残差网络，深度解析，长短期记忆网络神经网络(CNN-LSTM)进行了比较，实验结果表明调制识别不受到网络深度的限制。

​ 此外，论文[10]提出了一种预处理信号表示，该信号利用IQ信息和调制信号的HOS特征来提高其呈现的深度学习架构的识别性能。

​ CNNs在提取空间数据的特征取得了显著的效果比如图像处理中的图像分类、语义分割,利用图像的光谱特征进行调制识别等方面。论文[11]使用ambiguity function(AF)把图像作为信号表示，并使用栈式自动编码器[12]执行调制识别。这个使用spectral correlation function(SCF)作为signal representation和deep belief network (DBN)作为分类器来达到自动识别调制类型的方法广受好评[13]。本文提出了一种对调制信号进行时频分析的方法，利用短时傅立叶变换将一维信号转换为二维谱图图像，并设计一个CNN网络架构进行自动调制识别。我们把这个算法命名为spectrum CNN (SCNN)。此外我们使用高斯滤波来降噪。我们将这种方法称为SCNN2。我们利用公共数据集[7]和11种常用的调制类型对所提方法的识别性能进行评估，并将SCNN2与[8]和[10]方法进行识别精度的比较。此外我们还将评估三个方法的效果：使用基于CNN来比较用短时傅里叶变换图片，AF图片，SCF图片的性能差别。并从空间复杂度、学习参数和每个信号的在实验中的训练时间等方面计算了复杂度。

TIME-FREQUENCY ANALYSIS AND NOISE REDUCTION

Time-Frequency Analysis

​ 我们来考虑一个简单只由一个发射器(transmitter)，通道(channal)，接收器(receiver)的通讯系统(Fig. 1.),设s(t)表示要发送到接收方的传输符号，首先使用调制函数F将传输符号s(t)转换为传输信号，然后该信号通过通信信道h(t)传输到接收机。设y(t)表示传输符号s(t)在接收端的观测信号，将接收信号y(t) 给定为y(t) = x(t)+v(t)，其中$x(t)=F(s(t))*h(t)$为接收到的干净信号，v(t) 是the additive white Gaussian noise(AWGN，高斯白噪)。已知观测信号y(t)，调制识别的目的是预测调制函数F，从而提供从观测信号y(t)估计s(t)的调制信息(thus to provide modulation information for estimating the transmitted symbol s(t) from the observed signal y(t).)。设y(n)表示时间采样指标n处的离散观测信号。 y(n)可以通过在时间$\frac{n}{fs}$采样连续时间信号y(t)来获得，即$y(n)= y(t)| t = \frac{n}{f_s}$，并且$n \in (-\infty,\infty)$。

​ 本文，我们使用时频图作为观察到的信号随时间变化的频率谱的视觉表示。通过计算观测信号的短时离散傅里叶变换(STFT)的平方幅值，得到了谱图。设w(·)表示长度为J的窗口函数，K为窗口位移。利用短时傅立叶变换将观测信号加窗并转换到频域，即

$$Y(f,m)=\sum_{n=mK+1}^{mK+J} y(n)w(n-mk)e^{-jw_f(n-mk)}\quad,(1)$$

​ 其中Y(f,m)是frequency bin index f和discrete-time frame index m处的DFT系数并且在f处的离散频率变量为$w_f=\frac{2\pi f}{J}$。频谱图为$\tilde{Y}(f,m)=|Y(f,m)|^2$。$\tilde{Y}(f,m)$是Y (n)的时频混合表示，因为$\tilde{Y} (f,m)$上的每个位置对应于频率和时间上的一个点。

Noise reduction

​ 附加噪声v(t)会严重影响调制识别的性能。由于发射的是基带信号，而噪声的功率谱密度与频率无关并且均匀分布于整个频域，用高斯滤波器 直接 对谱图图像进行降噪，只能得到模糊的图像，frequency rejection的能力有限。我们这里，在进行时频分析之前，使用低通滤波器来降低信号y(t)的噪声。为了降低观测信号的噪声，我们设计了一个高斯滤波器，即x(n)=y(n)G(n)，其中x(n)是滤波后的信号，$G(n)=\frac{1}{\sqrt{2\pi}}e^{-\frac{n^2}{2}}$

---

CONVOLUTIONAL NEURAL NETWORK FOR MODULATION RECOGNITION

​ Fig. 2.展示了我们提出的CNN架构，这是一个具有多层非线性的神经网络，它们能很好的表示频谱图特征与调制方法之间的映射关系这种非线性的分类函数。(which is a neural network with many levels of non-linearities allowing them to represent a highly non-linear classification function that maps spectrogram features to modulation methods)。神经网络由一个输入层，4个卷积层组成，并且前三个卷积层还包含最大池化层(max-pooling)。卷积层后还连接着一个全连接层和Softmax层。该神经网络采用ReLU作为激活函数。输入图像的维数是(100,100,3),卷积层的filter个数分别是64，32，12，8，维数都是3X3，padding和stride都是1。池化层的pooling size都是2X2。全连接层包含128个神经元。这种网络架构的设计和图片分类中的推荐参数设置比如filter，filter size， the numbers oflayer 参考了[8]和[10]实验。之后，通过对不同的参数进行多次实验，比较它们的识别精度，确定网络架构。网络的输出是频谱图图像的调制方法。此外，网络使用随机梯度下降(SGD)来减小交叉熵损失函数14:

$$W=argmin_w \frac{1}{N}\sum_{i=1}^{N}\mathcal{L}(w;x^i,t^i)$$

其中$N$是样本数量，$t^i$是正确的labels，$x^i$​​是预测的labels

---

EXPERIMENTS

Data

​ 这个实验使用RadioML2016.10a[7]作为基本数据集。它有11种被广泛应用于离散和连续二进制的实际通信系统中的调制方法：BPSK, QPSK, 8PSK, 16QAM, 64QAM, BFSK, CPFSK, PAM4, WB-FM, AM-SSB and AM-DSB。该数据集考虑20种从-20 dB到18 dB的不同的信噪比(SNRs)，每个调制模式每个信噪比有1000个信号(1000 signals per modulation mode per SNR.)。每个信号由128个包含实部和虚部的样本组成。

​ 本论文号通过基于帧的处理转换为频谱图，帧长为40个样本，有90%重叠的Hann窗口。我们使用MATLAB R2017b中的spectrogram函数生成频谱图像，并保存为(200,200,3)维度的RGB图像。然后，利用最近邻插值方法( nearest interpolation)把(200,200,3)的光谱图图像的分辨率调整为(100,100,3)。我们把这个框架称作SCNN。关于降噪，我们使用size为7的高斯滤波器(Gaussian filter)对观测信号y(n)进行预处理，我们把带有降噪预处理的SCNN方法称为SCNN2。

Experimental setup

​ 为了评估框架的识别性能，在这部分我们考虑了两个实验。首先我们将SCNN,SCNN2和CNN-IQ[8],CNN-IQFOC[10]进行了识别准确率的比较。本论文也将CNN-IQ,CNN-IQFOC在相同数据集上对模式识别进行了分类。此外，我们还将SCNN2与CNNR-IQ和CNNR-IQFOC进行了复杂度，内存消耗、学习参数个数和每个信号的训练时间等方面比较。

​ 之后，为了评估所提出的调制信号频谱分析的有效性，我们进一步使用模糊函数图像和频谱相关函数图像作为信号表示，我们分别称为AF-CNN和SCF-CNN。我们也比较了SCNN2与AF-CNN和SCF-CNN在不同信噪比下的识别性能。

我们实验随机选取700 signals/modulation/SNR (700 signals per modulation mode per SNR)作为训练数据，剩下的信号分为验证数据(100 signals\modulation\SNR)(100 signals per modulation mode per SNR)和测试数据(200 signal/modulation/SNR)(200 signals per modulation mode per SNR)。具体来说，我们用(700,11)\SNR (per SNR with 700 × 11 images)的图像训练分类模型。在处理前，先对所有图像进行正则化，学习率从0.0005开始并且每100次迭代除10。当交叉验证损失在15次迭代内不减少时停止训练并保存模型和最小的交叉验证损失。每步的SCNN2识别准确率如Fig.3.所示。

​ 然后，利用训练好的模型对每个测试图像的调制类型进行预测。实验种的CNN是基于Tensorflow的Keras和Nvidia TITAN X GPU实现的。

Experiment result

​ 图4为SCNN、SCNN2、CNNR-IQ和CNNR-IQFOC与SNRs对比识别准确率的结果。从图4中可以看出，在18db信噪比下，SCNN2方法的识别精度比SCNN方法低约4%，但当信噪比低于4d时，比SCNN高出约2%。因为在信号严重失真和接近清洁的情况下，降噪算法提高信噪比的能力有限。此外，当信噪比在4db ~ 16db之间时，识别精度提高约10%。并且，我们观察到SCNN2和CNNR-IQFOC的识别精度都优于CNNR-IQ。更具体来讲，当信噪比低于4 dB时，SCNN2的识别性能比CNNR-IQ高出约5%，当信噪比高于2 dB时，SCNN2的识别性能比CNNR-IQ高出约15% ~ 20%。当信噪比低于8 dB时，SCNN2和CNNR-IQFOC的识别性能非常相似。在8d B、6 dB和4d B时，SCNN2的准确率比CNNR-IQFOC低5%左右。然而，当信噪比在2db - 18db之间时，SCNN2的精度比CNNR-IQFOC高出约8%。这表明，在信噪比低于2 dB时，SCNN2的性能总体上与CNNR-IQFOC相似或略差，但在信噪比高于2d B时，SCNN2的性能优于CNNR-IQFOC。

​ 接下来，我们比较了SCNN2与AF-CNN和SCF-CNN的识别性能。图5中的实验结果表明，SCNN2的性能优于AF-CNN和SCF-CNN。具体来说，SCNN2的准确率比SCF-CNN高出15%左右并且当信噪比大于2 dB时比AF-CNN的精度高20%左右。当SNR电平低于8 dB时，SCNN2和SCF-CNN的识别性能非常相似。 这可以解释为，基于学习的分类方法的识别性能与输入数据的多样性成正比，而SCNN2中的频谱图分析提供了比模糊函数图像(AF-CNN)中信号更丰富的时频表示。 SCF-CNN中的频谱相关函数图像如Fig.6.所示

Computational Complexity

​ SCNN2、CNNR-IQ和CNNR-IQFOC的计算复杂度是通过比较空间消耗、学习参数的数量和每个信号的平均训练时间来评估的。从表I可以看出，SCNN2比CNNR-IQ和CNNR-IQFOC需要更多的内存，因为SCNN2、CNNR-IQ和CNNR-IQFOC的输入数据大小分别为(100,100,3)、(2,128)和(3,128)。然而，SCNN2学习参数的数量小于其他的方法，因为SCNN2少量的过滤层和使用池化访问每个卷积，而CNNR-IQ网络体系结构不包括池层，CNNR-IQFOC的每个卷积层使用更多的过滤器。另外，SCNN2的训练时间比CNNR-IQ大，但比CNNR-IQFOC小。

---

Conclusion

​ 本文，我们提出了调制无线电信号的时频分析，并设计了一种新的基于频谱分析的卷积神经网络(SCNN)框架自动调制识别…略

---

个人哔哔

个人尝试复现了一下，很多细节都没有讲所以挺难复现的。先在站在上帝视角看感觉是好水的一篇论文

References

[1] W. Wei and J. M. Mendel, “Maximum-likelihood classification for digi-tal amplitude-phase modulations,”IEEE Trans. Commun., vol. 48, no. 2,pp. 189–193, Feb. 2000.

[2] A. Swami and B. M. Sadler, “Hierarchical digital modulation clas-sification using cumulants,”IEEE Trans. Commun., vol. 48, no. 3,pp. 416–429, Mar. 2000.

[3] L. Hong, “Classification of BPSK and QPSK signals in fading environ-ment using the ICA technique,” inProc. 37th Southeastern Symp. Syst.Theory (SSST), Tuskegee, AL, USA, Mar. 2005, pp. 491–494.

[4] S. R. Safavian and D. Landgrebe, “A survey of decision tree classifiermethodology,”IEEE Trans. Syst., Man, Cybern., Syst., vol. 21, no. 3,pp. 660–674, May/Jun. 1991.

[5] B. Scholkopf, K. Tsuda, and J. Vert,Advanced Application of SupportVector Machines. London, U.K.: MIT Press, 2004, p. 275.

[6] R. Lippmann, “An introduction to computing with neural nets,”IEEEASSP Mag., vol. 4, no. 2, pp. 4–22, Apr. 1987

[7] T. J. O’Shea and N. West, “Radio machine learning dataset generationwith GNU radio,” inProc. GNU Radio Conf., vol. 1, 2016, pp. 1–6

[8] T. J. O’Shea, J. Corgan, and T. C. Clancy, “Convolutional radio modula-tion recognition networks,” inProc. Int. Conf. Eng. Appl. Neural Netw.,vol. 629. Aberdeen, U.K., 2016, pp. 213–226

[9] N. E. West and T. O’Shea, “Deep architectures for modulation recog-nition,” inProc. IEEE Int. Symp. Dyn. Spectr. Access Netw. (DySPAN),Mar. 2017, pp. 1–6

[10] M. Zhang, Y. Zeng, Z. Han, and Y. Gong, “Automatic modulationrecognition using deep learning architectures,” inProc. 19th IEEE Int.Workshop Signal Process. Adv. Wireless Commun. (SPAWC), Jun. 2018,pp. 1–5

[11] A. Dai, H. Zhang, and H. Sun, “Automatic modulation classificationusing stacked sparse auto-encoders,” inProc. IEEE 13th Int. Conf. SignalProcess. (ICSP), Chengdu, China, Nov. 2016, pp. 248–252.

[12] Q. V. Leet al., “On optimization methods for deep learning,” inProc. 28th Int. Conf. Int. Conf. Mach. Learn. (ICML), Bellevue, WA,USA, 2011, pp. 265–272

[13] G. J. Mendis, J. Wei, and A. Madanayake, “Deep learning-based auto-mated modulation classification for cognitive radio,” inProc. IEEE Int.Conf. Commun. Syst. (ICCS), Shenzhen, China, Dec. 2016, pp. 1–6.

[14]C.M.Bishop,PatternRecognitionandMachineLearning(InformationScienceandStatistics).Heidelberg,Germany:Springer-Verlag,2006.Authorized licensed use limited to: XIDIAN UNIVERSITY. Downloaded on October 01,2020 at 14:20:32 UTC from IEEE Xplore. Restrictions apply.