CN113486720B - 一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法 - Google Patents

Abstract

本发明公开了一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法，该方法利用视频播放与智能终端设备功耗的耦合性，以及设备功耗被设备的开关电源调制到高频噪声的特性，实现了从同一相供电内任意一个插座的电压信号推测目标设备视频播放内容。本发明可用于对智能终端设备的非侵入式行为监测，无需事先对智能终端设备作出改动。

Description

一种基于智能终端设备开关电源高频噪声的视频播放内容推 断方法

技术领域

本发明属于电子通信领域，涉及一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法。

背景技术

本发明涉及侧信道推断技术。由于智能终端设备在运行的时候不可避免地会产生物理信号，侧信道可以根据这些物理信号进行分类，包括电力线上的电压信号，存储设备、USB和CPU在运行时候产生的电磁信号，硬盘产生的声信号和运行时的散热信号等等。

申请号为202010393098.7的发明专利实现了远距离的用户应用程序推测，但是其对于开关电源高频噪声的研究没有考虑到开关电源释放的噪声频率会跟随其运行时温度的变化而变化，使其准确性受到了限制。

发明内容

本发明公开了一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法，该方法利用视频播放与智能终端设备功耗的耦合性，以及设备功耗被设备的开关电源调制到高频噪声的特性，实现了从同一相供电内任意一个插座的电压信号推测目标设备视频播放内容。本发明主要分为训练和检测两个阶段，训练环节的流程包括数据采集、信号预处理、特征提取、训练神经网络等步骤；检测环节的流程包括数据采集、信号预处理、特征提取、神经网络预测等步骤。

本发明采用以下技术方案实现：

一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法，具体包括如下步骤：

步骤1：目标智能终端设备上播放不同视频，在与目标智能终端设备位于同一相供电的电源插座中采集开关电源噪声，用于提取训练样本；具体包括如下步骤:

步骤1.1：在同一相供电的电源插座上采集零线对地的原始电压信号V₁。，将V₁输入至无源分压电路，得到信号V₂；

步骤1.2：在与目标终端设备同型号的设备上交替打开和关闭视频VID_i，i∈{1，2，...，M}，M为视频种类；其中每个视频开启至关闭时间t_on≥5s，从前一个视频关闭到后一个视频开启的时间间隔t_interval≥10s，共开关K次，其中K≥40；

步骤1.3：将步骤1.1中V₂用采样频率为f_s的声卡采集，采样频率f_s＞2f_n，其中f_n为预估的开关电源高频噪声的频率，得到信号序列S₁。

步骤2：对步骤1采集的开关电源噪声进行频率跟踪、带通滤波、取包络解调、低通滤波、对齐预处理操作，得到预处理后的信号；所述的频率跟踪是在不同温度下跟踪开关电源噪声的特征频率；具体步骤如下：

步骤2.1：将采集到的信号序列S₁通过中心频率为f_n的带通滤波器，带宽BW₁≥1000Hz，找到带通滤波器的输出信号中最高幅度所对应的频率，即f_noise；

步骤2.2：将采集到的信号序列S₁通过中心频率为f_noise的带通滤波器，带宽BW₂≥BW_m，其中BW_m为开关电源高频噪声主瓣宽度；每经过固定时间间隔t_adj后，根据步骤2.1调整f_noise中心频率，最后得到信号序列S₂₁，其中t_adj＝1s；

步骤2.3：对S₂₁进行取包络和低通滤波操作，具体包括：对信号序列S₂₁取绝对值，并进行窗长w_l＝1000的滑动平均，得到信号序列S₂₂；将信号序列S₂₂进行最大-最小值归一化，得到信号序列S₂₃；

步骤2.4：首先取S₂₃中前t_calibration内信号点的算术平均值S_avg，其中t_calibration为标定时间；从t_calibration开始遍历S₂₃，取长度为t_win的子信号序列，取其算术平均值S_{avg_win}；当S_{avg_win}＞S_avg·C时，记录检测到的第i个视频的第j次开启时刻t_i，j，得到视频启动时间集合T＝{t_i，j}，其中C为常数，1.7≤C≤2，t_win＝1ms，t_calibration＝2ms；

步骤2.5：根据视频启动时间集合T对信号序列S₂₃进行切分，将信号序列根据每个视频的打开时刻切分为一个样本集S＝{s₁₁，s₁₂，...，s_ij，...，s_MK}；其中，第i个视频的第j次开启的样本以t_i，j时刻为起始点，样本长度t_l＝5s。

步骤3：对预处理后的信号提取SDCT特征，具体步骤如下：

对样本集S内所有的样本提取特征：

步骤3.1：求出样本集S内所有样本的SDCT变换序列s^*，将s^*分成m段，对每段取前n个点，得到每个样本的特征

步骤3.2：对于得到的特征集合{F_s}，随机打乱顺序。

步骤4：将提取好特征的信号分为训练样本、验证样本和测试样本，训练LSTM模型；具体步骤如下：

步骤4.1：将打乱顺序后的特征集合{F_s}中所有样本特征F_s根据其对应的视频类别进行标记，类别范围为{1，2，...，M}；

步骤4.2：将标记好类别的特征集合随机分为训练集D_tr，验证集D_va和测试集D_te；

步骤4.3：训练LSTM，设置学习率系数lr＝0.00025，循环次数t_iter＝50000，隐藏层节点数n_hidden＝100，激活函数选择relu函数，得到训练好的LSTM模型。

步骤5：在与目标智能终端设备位于同一相供电的电源插座中采集开关电源噪声作为测试样本，使用训练好的LSTM模型推断目标智能终端设备上播放的视频内容；具体步骤如下：

步骤5.1：采集位于与目标终端设备同一相供电的电源插座上的零线对地的电压信号并进行分压处理，采样频率为f_s，得到未知信号序列；

步骤5.2：依次按照步骤2.1-2.5对未知信号序列进行预处理，得到预处理的未知信号序列集合X＝{x₁₁，x₁₂，...，x_MK}；

步骤5.3：提取X中各信号序列的特征，具体步骤同步骤3，得到特征集合；

步骤5.4：将步骤5.3得到的特征集合输入到训练好的LSTM模型中，得到分类结果，可知目标智能终端设备播放的视频类别。

本发明的主要原理是利用视频播放与智能终端设备功耗的耦合性，以及设备功耗被设备的开关电源调制到高频噪声的特性，实现了从同一相供电内任意一个插座的电压信号推测目标设备视频播放内容。本发明可用于对智能终端设备的非侵入式行为监测，无需事先对智能终端设备作出改动。

本发明的有益效果在于：

与现有对于高频开关电源噪声信号的处理方法不同，本发明方法可以对智能终端设备开关电源温度的环境进行自适应，从而准确采集每一时刻在不同工作温度下以及不同工作频率下开关电源的高频噪声信号。本发明解决了在温度动态变化的情况下，配电网终端设备的视频播放检测问题。

本发明方法利用视频播放与智能终端设备功耗的耦合性，以及设备功耗被设备的开关电源调制到高频噪声的特性，实现了从同一相供电内任意一个插座的电压信号推测目标设备视频播放内容。本发明还可以根据开关电源噪声特征频率随温度的变换动态调整采样设备滤波器的中心频率，从而达到环境动态自适应的目的，大大提高了推断的可行性。

本发明降低了环境温度变化对于该方法准确性的影响。由于环境温度不断变化，开关电源的噪声频率也会随之发生改变。但是，步骤2.1和步骤2.2中实现了对开关电源特征频率的跟踪，其动态地调整了带通滤波器的中心频率，提高了步骤2中预处理操作的可靠性，从而提高了整个方法的可行性。

附图说明

图1是本发明训练过程流程图；

图2是本发明视频检测过程的流程图。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明主要分为训练和预测两个阶段，训练环节的流程如图1所示，包括数据采集、信号预处理、特征提取、训练神经网络等步骤；检测环节的流程如图2所示，包括数据采集、信号预处理、特征提取、神经网络预测等步骤。

一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法，具体包括如下步骤：

步骤1：目标智能终端设备上播放不同视频，在与目标智能终端设备位于同一相供电的电源插座中采集开关电源噪声，用于提取训练样本；具体包括如下步骤：

步骤1.1：在同一相供电的电源插座上采集零线对地的原始电压信号V₁。，将V₁输入至无源分压电路，得到信号V₂；

步骤1.2：在与目标终端设备同型号的设备上交替打开和关闭视频VID_i，i∈{1，2，...，M}，M为视频种类；其中每个视频开启至关闭时间t_on≥5s，从前一个视频关闭到后一个视频开启的时间间隔t_interval≥10s，共开关K次，其中K≥40；

步骤1.3：将步骤1.1中V₂用采样频率为f_s的声卡采集，采样频率f_s＞2f_n，其中f_n为预估的开关电源高频噪声的频率，得到信号序列S₁。

步骤2：对步骤1采集的开关电源噪声进行频率跟踪、带通滤波、取包络解调、低通滤波、对齐预处理操作，得到预处理后的信号；所述的频率跟踪是在不同温度下跟踪开关电源噪声的特征频率；具体步骤如下：

步骤2.1：将采集到的信号序列S₁通过中心频率为f_n的带通滤波器，带宽BW₁≥1000Hz，找到带通滤波器的输出信号中最高幅度所对应的频率，即f_noise；

步骤2.2：将采集到的信号序列S₁通过中心频率为f_noise的带通滤波器，带宽BW₂≥BW_m，其中BW_m为开关电源高频噪声主瓣宽度；每经过固定时间间隔t_adj后，根据步骤2.1调整f_noise中心频率，最后得到信号序列S₂₁，其中t_adj＝1s；

步骤2.3：对S₂₁进行取包络和低通滤波操作，具体包括：对信号序列S₂₁取绝对值，并进行窗长w_l＝1000的滑动平均，得到信号序列S₂₂；将信号序列S₂₂进行最大-最小值归一化，得到信号序列S₂₃；

步骤2.4：首先取S₂₃中前t_calibration内信号点的算术平均值S_avg，其中t_calibration为标定时间；从t_calibration开始遍历S₂₃，取长度为t_win的子信号序列，取其算术平均值S_{avg_win}；当S_{avg_win}＞S_avg·C时，记录检测到的第i个视频的第j次开启时刻t_i，j，得到视频启动时间集合T＝{t_i，j}，其中C为常数，1.7≤C≤2，t_win＝1ms，t_calibration＝2ms；

步骤2.5：根据视频启动时间集合T对信号序列S₂₃进行切分，将信号序列根据每个视频的打开时刻切分为一个样本集S＝{s₁₁，s₁₂，...，s_ij，...，s_MK}；其中，第i个视频的第j次开启的样本以t_i，j时刻为起始点，样本长度t_l＝5s。步骤3：对预处理后的信号提取SDCT特征，具体步骤如下：

对样本集S内所有的样本提取特征：

步骤3.1：求出样本集S内所有样本的SDCT变换序列s^*，将s^*分成m段，对每段取前n个点，得到每个样本的特征

步骤3.2：对于得到的特征集合{F_s}，随机打乱顺序。

步骤4：将提取好特征的信号分为训练样本、验证样本和测试样本，训练LSTM模型；具体步骤如下：

步骤4.1：将打乱顺序后的特征集合{F_s}中所有样本特征F_s根据其对应的视频类别进行标记，类别范围为{1，2，...，M}；

步骤4.2：将标记好类别的特征集合随机分为训练集D_tr，验证集D_va和测试集D_te；

步骤4.3：训练LSTM，设置学习率系数lr＝0.00025，循环次数t_iter＝50000，隐藏层节点数n_hidden＝100，激活函数选择relu函数，得到训练好的LSTM模型。

步骤5：在与目标智能终端设备位于同一相供电的电源插座中采集开关电源噪声作为测试样本，使用训练好的LSTM模型推断目标智能终端设备上播放的视频内容；具体步骤如下：

步骤5.1：采集位于与目标终端设备同一相供电的电源插座上的零线对地的电压信号并进行分压处理，采样频率为f_s，得到未知信号序列；

步骤5.2：依次按照步骤2.1-2.5对未知信号序列进行预处理，得到预处理的未知信号序列集合X＝{x₁₁，x₁₂，...，x_MK}；

步骤5.3：提取X中各信号序列的特征，具体步骤同步骤3，得到特征集合；

步骤5.4：将步骤5.3得到的特征集合输入到训练好的LSTM模型中，得到分类结果，可知目标智能终端设备播放的视频类别。

Claims (5)

1.一种基于智能终端设备开关电源高频噪声的视频播放内容推断方法，其特征在于，包括如下步骤：

步骤1.目标智能终端设备上播放不同视频，在与目标智能终端设备位于同一相供电的电源插座中采集开关电源噪声，用于提取训练样本；

步骤2.对步骤1采集的开关电源噪声进行频率跟踪、带通滤波、取包络解调、低通滤波、对齐预处理操作，得到预处理后的信号；所述的频率跟踪是在不同温度下跟踪开关电源噪声的特征频率；

步骤3.对预处理后的信号提取SDCT特征；

步骤4.将提取好特征的信号分为训练样本、验证样本和测试样本，训练LSTM模型；

步骤5.在与目标智能终端设备位于同一相供电的电源插座中采集开关电源噪声作为测试样本，使用训练好的LSTM模型推断目标智能终端设备上播放的视频内容；

所述的步骤2具体包括以下步骤：

步骤2.1：将采集到的信号序列S₁通过中心频率为f_n的带通滤波器，带宽BW₁≥1000Hz，找到带通滤波器的输出信号中最高幅度所对应的频率，即f_noise；

步骤2.2：将采集到的信号序列S₁通过中心频率为f_noise的带通滤波器，带宽BW₂≥BW_m，其中BW_m为开关电源高频噪声主瓣宽度；每经过固定时间间隔t_adj后，根据步骤2.1调整f_noise中心频率，最后得到信号序列S₂₁；

步骤2.3：对S₂₁进行取包络和低通滤波操作，具体包括：对信号序列S₂₁取绝对值，并进行窗长w_l＝1000的滑动平均，得到信号序列S₂₂；将信号序列S₂₂进行最大-最小值归一化，得到信号序列S₂₃；

步骤2.4：首先取S₂₃中前t_calibration内信号点的算术平均值S_avg，其中t_calibratio2为标定时间；从t_valibration开始遍历S₂₃，取长度为t_win的子信号序列，取其算术平均值S_{avg_win}；当S_{avg_win}>S_avg·C时，记录检测到的第i个视频的第j次开启时刻t_i,j，得到视频启动时间集合T＝{t_i,j}，其中C为常数，1.7≤C≤3；

步骤2.5：根据视频启动时间集合T对信号序列S₂₃进行切分，将信号序列根据每个视频的打开时刻切分为一个样本集S＝{s₁₁,s₁₂,…,s_ij,…,s_MK}；其中，第i个视频的第j次开启的样本以t_i,j时刻为起始点，样本长度t_l＝5s。

2.根据权利要求1所述的基于智能终端设备开关电源高频噪声的视频播放内容推断方法，其特征在于，所述的步骤1具体包括以下步骤：

步骤1.1：在同一相供电的电源插座上采集零线对地的原始电压信号V₁，将V₁输入至无源分压电路，得到信号V₂；

步骤1.2：在与目标终端设备同型号的设备上交替打开和关闭视频VID_i，i∈{1,2,…,M}，M为视频种类；其中每个视频开启至关闭时间t_on≥5s，从前一个视频关闭到后一个视频开启的时间间隔t_interval≥10s，共开关K次，其中K≥40；

步骤1.3：将步骤1.1中V₂用采样频率为f_s的声卡采集，采样频率f_s>2f_n，其中f_n为预估的开关电源高频噪声的频率，得到信号序列S₁。

3.根据权利要求1所述的基于智能终端设备开关电源高频噪声的视频播放内容推断方法，其特征在于，所述的步骤3中，对样本集S内所有的样本提取特征，具体步骤如下：

步骤3.1：求出样本集S内所有样本的SDCT变换序列s^*，将s^*分成m段，对每段取前n个点，得到每个样本的特征

步骤3.2：对于得到的特征集合{F_s}，随机打乱顺序。

4.根据权利要求3所述的基于智能终端设备开关电源高频噪声的视频播放内容推断方法，其特征在于，所述的步骤4具体步骤如下：

步骤4.1：将打乱顺序后的特征集合{F_s}中所有样本特征F_s根据其对应的视频类别进行标记，类别范围为{1,2,…,M}；

步骤4.2：将标记好类别的特征集合随机分为训练集D_tr，验证集D_va和测试集D_te；

步骤4.3：训练LSTM，设置学习率系数lr＝0.00025，循环次数t_iter＝50000，隐藏层节点数n_hidden＝100，激活函数选择relu函数，得到训练好的LSTM模型。

5.根据权利要求4所述的基于智能终端设备开关电源高频噪声的视频播放内容推断方法，其特征在于，所述的步骤5具体步骤如下：

步骤5.1：采集位于与目标终端设备同一相供电的电源插座上的零线对地的电压信号并进行分压处理，采样频率为f_s，得到未知信号序列；

步骤5.2：依次按照步骤2.1-2.5对未知信号序列进行预处理，得到预处理的未知信号序列集合X＝{x₁₁,x₁₂,…,x_MK}；

步骤5.3：提取X中各信号序列的特征，具体步骤同步骤3，得到特征集合；

步骤5.4：将步骤5.3得到的特征集合输入到训练好的LSTM模型中，得到分类结果，可知目标智能终端设备播放的视频类别。