CN111582210A - 基于量子神经网络的人体行为识别方法 - Google Patents

Abstract

基于量子神经网络的人体行为识别方法，1：采集人体动作图像，并对每一帧图像灰度化；2：采用人体动作图像存储在量子态中形成NEQR量子图像；3：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；4：使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动作的边缘信息，形成边缘量子图像；5：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取动作的特征点，制作识别样本集；6：读取训练好的权值，构建量子BP神经网络对识别样本集进行识别。本方案具有以下几点优势：1）使得量子图像处理更加灵活；2）充分利用量子的并行计算能力；3）量子神经网络提高人体行为识别的准确性。

Description

基于量子神经网络的人体行为识别方法

技术领域

本发明方案主要用于人体行为识别领域。

背景技术

人体行为的识别研究的主要任务是对原始图像序列进行处理和分析，学习和理解人类的行为。其综合地利用计算机视觉、图像图形学、模式识别与人工智能等诸多方面的知识和技术，从连续视频序列中提取出人体运动目标，同时对提取出的运动目标进行连续地识别和跟踪，并对人的行为进行理解和描述，其最终目的是识别出人体的行为。量子计算是目前最为成熟，并被普遍认为最有可能替代经典计算的新型计算模型。在近三十年的发展研究中，人们通过对量子叠加态，量子纠缠态以及量子相干性等特性的深入研究，发现量子计算具有高效存储，并行计算和不确定计算等能力。利用量子计算模型设计的高效量子算法对信息处理领域中难解的问题均取得了惊人的性能提升，这也成功地印证了量子计算是可以突破经典计算极限的可行的新型计算模型。计算机视觉与量子计算结合将是未来的一个研究领域。

目前的很多识别方法中存在处理不灵活、不能充分利用量子的并行计算能力且识别的准确性不好的问题。

发明内容

发明目的：

本发明提供一种基于量子神经网络的人体行为识别方法，其目的是解决以往所存在的问题。

技术方案：

基于量子神经网络的人体行为识别方法，其特征在于：

第一步：采集人体动作图像，并对每一帧图像灰度化；

Gray(Y,X)＝0.299*R(Y,X)+0.587*G(Y,X)+0.114*B(Y,X) (1)

在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是(Y,X)位置的三种颜色值，*代表着乘号；

第二步：采用NEQR模型将第一步中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

第三步：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

第四步：使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动作的边缘信息，形成边缘量子图像；

第五步：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取动作的特征点，制作识别样本集；

第六步：读取NEQR模型中训练好的权值，构建量子BP神经网络对识别样本集进行识别。

第二步中：NEQR模型中训练过程如下：

第一步：是使用摄像头采集历史人体动作图像，并对每一帧图像灰度化；

Gray(Y,X)＝0.299*R(Y,X)+0.587*G(Y,X)+0.114*B(Y,X) (1)

在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是(Y,X)位置的三种颜色值，*代表着乘号；

第二步：采用NEQR模型，将第一步中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

第三步：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

第四步：是使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动作的边缘信息；

第五步：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取动作的特征点，制作训练样本集；

第六步：使用提出的改进型量子BP神经网络对样本集进行训练，保存各层之间的权值完成训练。

第二步中：

NEQR分别利用两个量子位二进制串来分别存储图像像素的位置信息和灰度信息，并同时将两者纠缠叠加起来，从而同时将图像所有像素存储下来。

采用NEQR模型存储动作图像中：一幅人体动作图像的灰度范围为[0,2^q-1]，用二进制串

编码(Y,X)位置灰度值f(Y,X)；

对于一幅2ⁿ×2ⁿ人体动作图像，NEQR表达式用式(3)表示：

其中

是量子基态|0>或|1>，q是量子的个数；

是用量子态下的灰度值与量子态下的(Y,X)位置信息进行张量积；

对所有

求和；位置Y∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的高度；位置X∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的宽度；

X)>是二进制串的缩写形式，i表示第i个量子基态，q是量子的个数。

第三步中：

量子图像前景检测，针对NEQR量子图像，采用背景差分法检测静态目标，ViBe标检测运动目标；

a.背景差分法：

(1)、一幅NEQR量子图像的大小均为2ⁿ×2ⁿ，且灰度值范围为[0,2^q-1]；|I_B>为背景量子图像，|I_K>是第k帧的量子图像；两幅图像的表达式用式(4)表示：

其中

其中|B_YX>|YX>和|K_YX>|YX>是量子态下的灰度值与(Y,X)位置信息进行张量积；

对所有张量积求和；位置Y∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的高度；位置X∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的宽度；

是二进制串的缩写形式，表示q个量子基态张量积，i表示第i个量子基态，q是量子的个数；

(2)、前景区域量子图像|I_D>用式(5)表示：

式(5)由量子减法器操作实现，其中|D_YX>|YX>是量子态下的灰度值与(Y,X)位置信息进行张量积；D_YX是第k帧K_YX与背景B_YX的差值，

对所有张量积求和，2²ⁿ是摄像头采集的图像的大小；

(3)、接着对量子图像|I_D>进行二值化处理，设定阈值T∈[0,2^q-1]；用阈值T作为灰度值构建一副新的NEQR图像|I_T>，q是量子的个数；

(4)、初始化一副空白量子图像为|I_f>，用式(6)表示：

其中

表示q个量子基态|0>张量积，i表示第i个量子基态|0>；

(5)、对|I_D>和|I_T>进行减法操作，根据差值来确定|f_YX>；

其中T_YX表示阈值量子图像|I_T>在(Y,X)位置的灰度值为T_XY。

(6)、最后得到的|I_f>是二值化的人体动作图像；其中

表示为白色，

表示为黑色；

是q个量子基态|1>张量积，

是q个量子基态|0>张量积；

b.ViBe算法：

(1)、初始化N组随机NEQR量子图像

其中

{|Iξ_>0,|I_ξ>₁,...,|I_ξ>_N-1}作为背景模型的N个样本集；初始化一副空白量子图像|I_f>用于保存前景区域，表达式用式(6)表示；

(2)、定义：

表示当前帧的图像与背景图像做差时，在(Y,X)位置计算N组中符合

条件差值的个数为N_b；假设|I_K>是第k帧的量子图像，R是取值半径；若N_b大于一个阈值N_min，代表着当前(Y,X)位置的像素值与该位置历史样本中的多个值相似，那么认为(Y,X)位置就是背景点；反之为前景点；

表示N组背景模型中第i个量子图像在(Y,X)位置的灰度值。

(3)、使用一种灰度变换操作U_G，其将对图像的(Y,X)位置像素进行变换操作；

其过程使用两种常用的量子门和一个辅助量子位来构建量子与门∩和量子或门∪；|a′>表示这些辅助量子位在完成操作之后的状态；

表示第k帧量子图像在(Y,X)位置的灰度值；

是N个样本中随机抽取第i幅样本图像(Y,X)位置的灰度值；

表示量子图像在(Y,X)位置的灰度值第l量子位于辅助量子位a进行量子与门计算。

(4)、当N_b≥N_min时，从N个样本中随机抽取第i幅样本图像，对(Y,X)位置的像素值进行更新；

其中

表示量子图像在(Y,X)位置的灰度值第l量子位；|C_VW>|VW>表示在(V,W)位置的灰度值C_VW与VW的张量积，但VW≠YX。

(5)、当N_b＜N_min时，量子图像|I_f>在(Y,X)位置的像素值

最后得到的|I_f>是二值化的人体动作图像；其中

表示为白色，

表示为黑色；其中

是q个量子基态|1>张量积，

是q个量子基态|0>张量积，i表示第i个量子基态。

第五步：设计一种基于量子黑盒的卷积法提取图像特征，使用h×w大小的卷积核对整幅量子图像进行卷积操作：

首先对整幅量子图像进行平移操作，针对NEQR量子图像模型进行平移变换，实现某位置像素对邻域像素的访问；

像素f(Y,X)变换成为像素f(Y,X+1)是对图像进行一个向右的单位平移操作；整个量子图像平移操作过程由两个变换U_(x±)和U_(y±)完成，U_(x±)操作是将整幅图像沿X轴方向平移，U_(y±)操作是将整幅图像沿Y轴方向平移；

平移操作具体为：

输入：原图像I_xy，定义为

Step 1.U_x-将图像I_xy向左平移一个单位

Step 2.U_y-将图像I_x+1y向上平移一个单位

Step 3.U_x+将图像I_x+1y+1向右平移一个单位

Step 4.U_x+将图像I_xy+1向右平移一个单位

Step 5.U_y+将图像I_x-1y+1向下平移一个单位

Step 6.U_y+将图像I_x-1y向下平移一个单位

Step 7.U_x-将图像I_x-1y-1向左平移一个单位

Step 8.U_x-将图像I_xy-1向左平移一个单位

Step 9.U_y-U_x+将图像I_x+1y-1平移到原位置

使用一个量子黑盒U_Ω操作对所有的像素位置上可以访问的邻域信息进行计算；

|Ω(Y,X)>＝|Sum/256> (17)

因此窗口内像素求和处理后的值保存在q个量子位的|Ω(Y,X)>中；量子黑盒中q＝8，那么共需要2n+17个量子位完成整个操作过程；其中存储整幅图像耗费2n+8个量子位，剩余9个是辅助量子位；其中

表示(Y,X+1)、(Y+1,X+1)、(Y+1,X)、(Y+1,X-1)、(Y,X-1)、(Y-1,X-1)、(Y-1,X)、(Y-1,X+1)8个位置像素值的张量积；mod2ⁿ是模2运算。

基于量子黑盒的卷积法中：对量子图像进行一次卷积操作过程，使用量子测量提取(Y,X)位置Ω(Y,X)，利用式(18)提取出F(J,I)；对所有像素计算得到特征值P(J,I)，其过程如下：

其中T是阈值，J是卷积后图像的高度，I是卷积后图像的宽度；w、h分别表示卷积窗口宽、高；n表示图像像素。

第六步中：量子BP神经网络的量子神经元模型输入全部用量子位|0>表示，经过受控非门翻转，量子旋转门移相，聚合后得到输出；输出用量子位|1>的概率幅表示；输入层与隐层之间的权值w_ij；激活函数是f(·)；y_j是第j个神经元的输出；输入输出关系用式(20)表示：

其中i代表输入序号，j代表神经元序号，θ₀是量子位|0>初始相位，θ_i是第i个输入改变的相位；w_ij表示第i个输入对应第j个神经元的权值。

三层QBP网络模型输入层有n个量子神经元，隐层和输出层分别有p、m个普通神经元；量子旋转门R(θ_i)改变第i个输入层量子位|0>的相位，h_j代表隐层第j个神经元输出，y_k为输出层第k个神经元的输出值，v_ij为输入层与隐层之间的连接权值；w_jk为隐层与输出层之间的连接权值；各层输入输出关系如下：

其中i＝1,2,…,n，j＝1,2,…,p，k＝1,2,…,m。

第六步中：所述量子BP神经网络中：

(1)、样本的量子旋转门描述：

令n个训练样本集或识别样本集(就是训练的时候用训练样本集，识别的时候用识别样本集)为θ＝(θ₁,θ₂,…,θ_n)，训练样本或识别样本的量子旋转门描述用式(23)表示：

R(θ)＝[R(θ₁),R(θ₂),…,R(θ_n)] (23)

(2)、更新网络参数：

定义误差函数用式(24)表示：

其中m表示输出神经元的个数；d_k表示第k个神经元期望值；y_k表示第k个神经元实际输出值。

误差E用隐层表示用式(25)表示：

误差E用输入层表示用式(26)表示：

令

对各层之间的权值求导：

权值更新过程如下：

w_jk(t+1)＝w_jk(t)+ηΔw_jk (29)

v_ij(t+1)＝v_ij(t)+ηΔv_ij (30)

其中t代表某个时间，t+1代表下一个时间。

基于量子神经网络的人体行为识别***，所述***包括图像灰度化模块、NEQR量子图像形成模块、量子图像前景检测模块、人体动作的边缘信息提取模块、动作的特征点提取模块和识别模块；

图像灰度化模块采集人体动作图像，并对每一帧图像灰度化；

NEQR量子图像形成模块采用NEQR模型将图像灰度化模块中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

量子图像前景检测模块针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

人体动作的边缘信息提取模块使用Hadamard门边缘检测算法提取出人体动作的边缘信息；

动作的特征点提取模块基于量子黑盒的卷积法对整幅量子图像进行卷积操作来提取动作的特征点，制作识别样本集；

识别模块读取NEQR模型中训练好的权值，构建量子BP神经网络对识别样本集进行识别。

优点效果：

本发明方案通过量子神经网络完成视频中人体行为进行分类，在量子计算机上完成人体行为识别。整个方案包含三个部分，分别为量子图像存储，量子图像处理和量子图像分类。总体识别流程如图1所示。

本发明解决其技术问题所采用的技术方案：第一部分是使用摄像头采集人体动作图像，并对每一帧图像灰度化处理；第二部分是采用NEQR模型将人体动作图像存储在量子态中，为量子计算机对图像进行处理提供理论基础；第三部分是量子态下的背景差分法和ViBe运动目标检测算法；第四部分是使用Hadamard门边缘检测算法提取出人体动作的边缘信息；第五部分是设计一个基于量子黑盒的卷积法对整幅量子图像进行卷积操作来提取动作的特征点；第六部分是量子BP神经网络完成训练和识别过程。

本发明是在量子计算机上实现人体行为识别。

本方案具有以下几点优势：1)用NEQR量子模型存储视频的每一帧图像，使得量子图像处理更加灵活；2)人体行为识别引入量子处理，充分利用量子的并行计算能力；3)量子神经网络提高人体行为识别的准确性。

附图说明

下面结合附图和实施例对本发明方案进一步说明。

图1 NEQR图像构建过程

图2卷积模板提取图像特征

图3 3×3像素邻域窗口

图4黑盒操作U_Ω

图5量子神经元模型

图6量子BP神经网络模型

图7训练和识别流程图。

具体实施方式

1.传统图像转变成量子图像

摄像头采集视频在经典领域对每一帧图像进行灰度化处理，操作过程用式(1)的方法。

Gray(Y,X)＝0.299*R(Y,X)+0.587*G(Y,X)+0.114*B(Y,X) (1)

其中Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是(Y,X)位置的三种颜色值，*代表着乘号。接着采用NEQR模型将人体动作图像存储在量子态中。在传统灰度图像中，每个像素都是由灰度值和位置信息构成，而灰度值则分为256个级别，从0到255。NEQR分别利用两个量子位二进制串来分别存储图像像素的位置信息和灰度信息，并同时将两者纠缠叠加起来，从而可以同时将图像所有像素存储下来。假设一幅人体动作图像的灰度范围为[0,2^q-1]，用二进制串

来编码位置(Y,X)像素色彩值f(Y,X)。

对于一幅2ⁿ×2ⁿ人体动作图像，NEQR表达式用式(3)进行表示：

其中

是量子基态|0>或|1>，q是量子的个数(对于灰度图像q＝8)；

是用量子态下的灰度值与量子态下的(Y,X)位置信息进行张量积；

对所有

求和；位置Y∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的高度；位置X∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的宽度；

是二进制串的缩写形式，i表示第i个量子基态，q是量子的个数。

2.静态目标检测

背景差分法提取静态环境中的前景动作图像，针对2ⁿ×2ⁿ大小的人体动作图像，且灰度值范围为[0,2^q-1]。|I_B>为背景量子图像，|I_K>是第k帧的量子图像，这两幅量子图像的NEQR表达式用式(4)表示：

其中

和

其中|B_YX>|YX>和|K_YX>|YX>是量子态下的灰度值与(Y,X)位置信息进行张量积；

对所有张量积求和；位置Y∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的高度；位置X∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的宽度；

和

是二进制串的缩写形式，表示q个量子基态张量积，i表示第i个量子基态，q是量子的个数(对于灰度图像q＝8)。

前景动作量子图像|I_D>用式(5)表示：

式(5)可由量子减法器操作实现，其中|D_YX>|YX>是量子态下的灰度值与(Y,X)位置信息进行张量积；D_YX是第k帧K_YX与背景B_YX的差值，

对所有张量积求和，2²ⁿ是摄像头采集的图像的大小。接着对量子图像|I_D>进行二值化处理，其步骤如下：

①设定阈值T∈[0,2^q-1]，用阈值T作为灰度值构建一副新的NEQR图像|I_T>，图1给出了NEQR图像构建过程。

②初始化一副空白量子图像为|I_f>，用式(6)进行表示：

其中

表示q个量子基态|0>张量积，i表示第i个量子基态|0>。

③对|I_D>和|I_T>进行减法操作，根据差值来确定|f_YX>。

④最后得到的|I_f>是二值化的人体动作图像。其中

表示为白色，

表示为黑色；

是q个量子基态|1>张量积，

是q个量子基态|0>张量积。

3.动态目标检测

ViBe算法是一种通用环境下的运动目标检测算法，在不同环境下具有良好的适应性和实时性，检测效果明显。本方案设计量子ViBe算法实现对运动目标提取过程，具体步骤如下：①初始化N组随机NEQR量子图像

其中

{|I_ξ>₀,|I_ξ>₁,...,|I_ξ>_N-1}作为背景模型的N个样本集。初始化一副空白量子图像|I_f>用于保存前景区域，表达式用式(6)表示。

②定义

表示当前帧的图像与背景图像做差时，在(Y,X)位置计算N组中符合

条件差值的个数为N_b。假设|I_K>是第k帧的量子图像，R是取值半径。若N_b大于一个阈值N_min，代表着当前(Y,X)位置的像素值与该位置历史样本中的多个值相似，那么认为(Y,X)位置就是背景点。反之为前景点。

③使用一种灰度变换操作U_G，其将对图像的(Y,X)位置像素进行变换操作。

其过程使用两种常用的量子门(Toffoli门和Swap门)和一个辅助量子位来构建量子与门∩和量子或门∪。|a′>表示这些辅助量子位在完成操作之后的状态。

表示第k帧量子图像在(Y,X)位置的灰度值。

是N个样本中随机抽取第i幅样本图像(Y,X)位置的灰度值。

④当N_b≥N_min时，从N个样本中随机抽取第i幅样本图像，对(Y,X)位置的像素值进行更新。

⑤当N_b＜N_min时，量子图像|I_f>在(Y,X)位置的像素值

最后得到的|I_f>是二值化的人体动作图像。其中

表示为白色，

表示为黑色。其中

是q个量子基态|1>张量积，

是q个量子基态|0>张量积，i表示第i个量子基态。

4.人体动作边缘提取

量子图像|I_f>是二值化的人体动作图像，通过量子测量对人体动作图像重建，可以将量子图像表示为：

H的作用为|0>→(|0>+|1>)/2，|1>→(|0>-|1>)/2。人体动作图像存储在量子比特列中，任意一对相邻像素的位置可以用二进制序列表示为k₁...k_n0和k₁...k_n1，其中k_l＝0或1，像素值被存储在相应基态的系数f_YX。因此，边缘探测可以通过对叠加态施加Hadamard门来实现。操作过程可写为

用式(13)表示：

其中

是2^n-1×2^n-1单位矩阵。对于量子图像

经过Hadamard操作后输出量子图像

如果两个像素处在同一区域，它们的灰度值相同，则f_N-f_N+1为0。如果两个像素处在不同区域，则f_N-f_N+1不为0，这时存在边界。相邻两个像素之间的差值被存储在操作之后态的第偶数项元素。该过程可以得到像素位置为0/1、2/3、4/5、...之间的边界，但不能得到剩余部分1/2、3/4、5/6、...之间的边界信息。因此，通过在图像编码的过程中加入一个辅助qubit，直接探测出全部的边界信息。例如，一个2-qubit的图像态(f₀,f₁,f₂,f₃)可以编码成3-qubit态(f₀,f₁,f₁,f₂,f₂,f₃,f₃,f₀)。然后施加

得到末态(f₀+f₁,f₀-f₁,f₁+f₂,f₁-f₂,f₂+f₃,f₂-f₃,f₃+f₀,f₃-f₀)。通过测量最后一个qubit为1的子空间概率分布，得到约化的态(f₀-f₁,f₁-f₂,f₂-f₃,f₃-f₀)。它包含了全部的纵向边界信息。改变图像扫描的方向，横向的边界信息可以被探测出来。整个边缘提取过程共需要2n+q+1个量子位，其时间开销不超过O(poly(2n))。

5.人体动作特征提取

设计一种基于量子黑盒的卷积法提取图像特征，使用h×w大小的卷积核对整幅量子图像进行卷积操作。首先对整幅量子图像进行平移操作，针对NEQR量子图像模型进行平移变换，实现某位置像素对邻域像素的访问。像素f(Y,X)变换成为像素f(Y,X+1)是对图像进行一个向右的单位平移操作。整个量子图像平移操作过程由两个变换U_(x±)和U_(y±)完成，U_(x±)操作是将整幅图像沿X轴方向平移，U_(y±)操作是将整幅图像沿Y轴方向平移。

平移操作具体为：

输入：原图像I_xy，定义为

Step 1.U_x-将图像I_xy向左平移一个单位

Step 2.U_y-将图像I_x+1y向上平移一个单位

Step 3.U_x+将图像I_x+1y+1向右平移一个单位

Step 4.U_x+将图像I_xy+1向右平移一个单位

Step 5.U_y+将图像I_x-1y+1向下平移一个单位

Step 6.U_y+将图像I_x-1y向下平移一个单位

Step 7.U_x-将图像I_x-1y-1向左平移一个单位

Step 8.U_x-将图像I_xy-1向左平移一个单位

Step 9.U_y-U_x+将图像I_x+1y-1平移到原位置

使用一个量子黑盒U_Ω操作对所有的像素位置上可以访问的邻域信息进行计算。

|Ω(Y,X)>＝|Sum/256> (20)

因此窗口内像素求和处理后的值保存在q个量子位的|Ω(Y,X)>中。本文使用的量子黑盒中q＝8，那么共需要2n+17个量子位完成整个操作过程；其中存储整幅图像耗费2n+8个量子位，剩余9个是辅助量子位。

对量子图像进行一次卷积操作过程，使用量子测量提取(Y,X)位置Ω(Y,X)，利用式(21)提取出F(J,I)。对所有像素计算可以得到特征值P(J,I)，其过程如下：

其中T是阈值，J是卷积后图像的高度，I是卷积后图像的宽度。

6.量子BP神经网络

量子BP神经网络对人体动作量子图像的特征点进行训练和识别。图5给出了新型量子神经元模型，其中输入全部用量子位|0>表示，经过受控非门翻转，量子旋转门移相，聚合后得到输出；输出用量子位|1>的概率幅表示；输入层与隐层之间的权值w_ij；激活函数是f(·)；y_j是第j个神经元的输出。输入输出关系用式(23)表示：

其中i代表输入序号，j代表神经元序号，θ₀是量子位|0>初始相位，θ_i是第i个输入改变的相位。

图6给出了三层QBP网络模型，其中输入层有n个量子神经元，隐层和输出层分别有p、m个普通神经元；量子旋转门R(θ_i)改变第i个输入层量子位|0>的相位，h_j代表隐层第j个神经元输出，y_k为输出层第k个神经元的输出值，v_ij为输入层与隐层之间的连接权值；w_jk为隐层与输出层之间的连接权值。各层输入输出关系如下：

令n个训练样本集或识别样本集(就是训练的时候用训练样本集，识别的时候用识别样本集)为为θ＝(θ₁,θ₂,…,θ_n)，训练样本的量子旋转门描述用式(25)表示：

R(θ)＝[R(θ₁),R(θ₂),…,R(θ_n)] (25)

误差函数用式(26)表示：

误差E用隐层表示：

误差E用输入层表示：

令

对各层之间的权值求导：

权值更新过程如下所示：

w_jk(t+1)＝w_jk(t)+ηΔw_jk (31)

v_ij(t+1)＝v_ij(t)+ηΔv_ij (32)

基于量子神经网络的人体行为识别***，所述***包括图像灰度化模块、NEQR量子图像形成模块、量子图像前景检测模块、人体动作的边缘信息提取模块、动作的特征点提取模块和识别模块；

图像灰度化模块采集人体动作图像，并对每一帧图像灰度化；

NEQR量子图像形成模块采用NEQR模型将图像灰度化模块中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

量子图像前景检测模块针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

人体动作的边缘信息提取模块使用Hadamard门边缘检测算法提取出人体动作的边缘信息；

动作的特征点提取模块基于量子黑盒的卷积法对整幅量子图像进行卷积操作来提取动作的特征点，制作识别样本集；

识别模块读取NEQR模型中训练好的权值，构建量子BP神经网络对识别样本集进行识别。

7.人体动作训练和识别

图7给出了人体动作训练和识别流程图。

a.训练过程

读取动作的每一帧图像构建NEQR量子图像，使用前景检测算法提取前景动作，提取边缘、特征点，制作训练样本集；使用量子BP神经网络对样本集进行训练，保存各层之间的权值。

具体过程如下：

第一步：是使用摄像头采集历史人体动作图像，并对每一帧图像灰度化；

Gray(Y,X)＝0.299*R(Y,X)+0.587*G(Y,X)+0.114*B(Y,X) (1)

在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是(Y,X)位置的三种颜色值，*代表着乘号；

第二步：将第一步中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像，为量子计算机对图像进行处理提供理论基础；

第三步：是量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

第四步：是使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动作的边缘信息；

第五步：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取动作的特征点，制作训练样本集；

第六步：使用提出的改进型量子BP神经网络对样本集进行训练，保存各层之间的权值完成训练。

b.识别过程

读取动作的连续帧图像构建NEQR量子图像，使用前景检测算法提取前景动作，提取边缘、特征点，制作识别样本集；最后将需要识别的动作图像经过NEQR模型、前景检测算法提取前景动作、提取边缘和特征点，特征点与读取的权值构建量子BP神经网络对样本集进行识别。

第一步：采集人体动作实时图像，并对每一帧图像灰度化(可以采用输出灰度图像的工业级相机，工业领域很常见，这里是传统的灰度化方法)；

Gray(Y,X)＝0.299*R(Y,X)+0.587*G(Y,X)+0.114*B(Y,X) (1)

在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是(Y,X)位置的三种颜色值，*代表着乘号；

第二步：采用NEQR模型(采用张毅提出的NEQR模型，请参考论文《面向计算机图像处理的量子算法研究》。)将第一步中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

第三步：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

第四步：使用Hadamard门边缘检测算法(采用王恒岩提出的Hadamard门边缘检测方法，参考论文《基于核磁共振体系的量子信息测量与图像处理应用》。)从第三步的“运动目标”中提取出人体动作的边缘信息，；

第五步：基于量子黑盒的卷积法对整幅量子图像进行卷积操作来提取动作的特征点，制作识别样本集；

第六步：基于量子BP神经网络完成识别过程，读取NEQR模型中训练好的权值，构建量子BP神经网络对样本集进行识别；最后识别出动作的类型。

Claims (10)

1.基于量子神经网络的人体行为识别方法，其特征在于：

第一步：采集人体动作图像，并对每一帧图像灰度化；

Gray(Y,X)＝0.299*R(Y,X)+0.587*G(Y,X)+0.114*B(Y,X) (1)

在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是(Y,X)位置的三种颜色值，*代表着乘号；

第二步：采用NEQR模型将第一步中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

第三步：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

第四步：使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动作的边缘信息，形成边缘量子图像；

第五步：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取动作的特征点，制作识别样本集；

第六步：读取NEQR模型中训练好的权值，构建量子BP神经网络对识别样本集进行识别。

2.根据权利要求1所述的基于量子神经网络的人体行为识别方法，其特征在于：第二步中：NEQR模型中训练过程如下：

第一步：是使用摄像头采集历史人体动作图像，并对每一帧图像灰度化；

Gray(Y,X)＝0.299*R(Y,X)+0.587*G(Y,X)+0.114*B(Y,X) (1)

在公式(1)中：Gray(Y,X)是(Y,X)位置的灰度值，R(Y,X)、G(Y,X)、B(Y,X)分别是(Y,X)位置的三种颜色值，*代表着乘号；

第二步：采用NEQR模型，将第一步中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

第三步：量子图像前景检测：针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

第四步：是使用Hadamard门边缘检测算法从第三步的“运动目标”中提取出人体动作的边缘信息；

第五步：基于量子黑盒的卷积法对第四步的“边缘量子图像”进行卷积操作来提取动作的特征点，制作训练样本集；

第六步：使用提出的改进型量子BP神经网络对样本集进行训练，保存各层之间的权值完成训练。

3.根据权利要求1或2所述的基于量子神经网络的人体行为识别方法，其特征在于：第二步中：

NEQR分别利用两个量子位二进制串来分别存储图像像素的位置信息和灰度信息，并同时将两者纠缠叠加起来，从而同时将图像所有像素存储下来。

4.根据权利要求1或2所述的基于量子神经网络的人体行为识别方法，其特征在于：采用NEQR模型存储动作图像中：一幅人体动作图像的灰度范围为[0,2^q-1]，用二进制串

编码(Y,X)位置灰度值f(Y,X)；

对于一幅2ⁿ×2ⁿ人体动作图像，NEQR表达式用式(3)表示：

其中

是量子基态|0>或|1>，q是量子的个数；

是用量子态下的灰度值与量子态下的(Y,X)位置信息进行张量积；

对所有

求和；位置Y∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的高度；位置X∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的宽度；

是二进制串的缩写形式，i表示第i个量子基态，q是量子的个数。

5.根据权利要求1或2所述的基于量子神经网络的人体行为识别方法，其特征在于：第三步中：

量子图像前景检测，针对NEQR量子图像，采用背景差分法检测静态目标，ViBe标检测运动目标；

a.背景差分法：

(1)、一幅NEQR量子图像的大小均为2ⁿ×2ⁿ，且灰度值范围为[0,2^q-1]；|I_B>为背景量子图像，|I_K>是第k帧的量子图像；两幅图像的表达式用式(4)表示：

其中

和

其中|B_YX>|YX>和|K_YX>|YX>是量子态下的灰度值与(Y,X)位置信息进行张量积；

对所有张量积求和；位置Y∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的高度；位置X∈[0,2ⁿ-1]，2ⁿ是摄像头采集的图像的宽度；

和

是二进制串的缩写形式，表示q个量子基态张量积，i表示第i个量子基态，q是量子的个数；

(2)、前景区域量子图像|I_D>用式(5)表示：

式(5)由量子减法器操作实现，其中|D_YX>|YX>是量子态下的灰度值与(Y,X)位置信息进行张量积；D_YX是第k帧K_YX与背景B_YX的差值，

对所有张量积求和，2²ⁿ是摄像头采集的图像的大小；

(3)、接着对量子图像|I_D>进行二值化处理，设定阈值T∈[0,2^q-1]；用阈值T作为灰度值构建一副新的NEQR图像|I_T>，q是量子的个数；

(4)、初始化一副空白量子图像为|I_f>，用式(6)表示：

其中

表示q个量子基态|0>张量积，i表示第i个量子基态|0>；

(5)、对|I_D>和|I_T>进行减法操作，根据差值来确定|f_YX>；

其中T_YX表示阈值量子图像|I_T>在(Y,X)位置的灰度值为T_XY；

(6)、最后得到的|I_f>是二值化的人体动作图像；其中

表示为白色，

表示为黑色；

是q个量子基态|1>张量积，

是q个量子基态|0>张量积；

b.ViBe算法：

(1)、初始化N组随机NEQR量子图像

其中

{|I_ξ>₀,|I_ξ>₁,...,|I_ξ>_N-1}作为背景模型的N个样本集；初始化一副空白量子图像|I_f>用于保存前景区域，表达式用式(6)表示；

(2)、定义：

表示当前帧的图像与背景图像做差时，在(Y,X)位置计算N组中符合

条件差值的个数为N_b；假设|I_K>是第k帧的量子图像，R是取值半径；若N_b大于一个阈值N_min，代表着当前(Y,X)位置的像素值与该位置历史样本中的多个值相似，那么认为(Y,X)位置就是背景点；反之为前景点；

表示N组背景模型中第i个量子图像在(Y,X)位置的灰度值；

(3)、使用一种灰度变换操作U_G，其将对图像的(Y,X)位置像素进行变换操作；

其过程使用两种常用的量子门和一个辅助量子位来构建量子与门∩和量子或门∪；|a′>表示这些辅助量子位在完成操作之后的状态；

表示第k帧量子图像在(Y,X)位置的灰度值；

是N个样本中随机抽取第i幅样本图像(Y,X)位置的灰度值；

表示量子图像在(Y,X)位置的灰度值第l量子位于辅助量子位a进行量子与门计算；

(4)、当N_b≥N_min时，从N个样本中随机抽取第i幅样本图像，对(Y,X)位置的像素值进行更新；

其中

表示量子图像在(Y,X)位置的灰度值第l量子位；|C_VW>|VW>表示在(V,W)位置的灰度值C_VW与VW的张量积，但VW≠YX；

(5)、当N_b＜N_min时，量子图像|I_f〉在(Y,X)位置的像素值

最后得到的|I_f〉是二值化的人体动作图像；其中

表示为白色，

表示为黑色；其中

是q个量子基态|1〉张量积，

是q个量子基态|0〉张量积，i表示第i个量子基态。

6.根据权利要求1或2所述的基于量子神经网络的人体行为识别方法，其特征在于：第五步：设计一种基于量子黑盒的卷积法提取图像特征，使用h×w大小的卷积核对整幅量子图像进行卷积操作：

首先对整幅量子图像进行平移操作，针对NEQR量子图像模型进行平移变换，实现某位置像素对邻域像素的访问；

像素f(Y,X)变换成为像素f(Y,X+1)是对图像进行一个向右的单位平移操作；整个量子图像平移操作过程由两个变换U_(x±)和U_(y±)完成，U_(x±)操作是将整幅图像沿X轴方向平移，U_(y±)操作是将整幅图像沿Y轴方向平移；

平移操作具体为：

输入：原图像I_xy，定义为

Step1.U_x-将图像I_xy向左平移一个单位

Step2.U_y-将图像I_x+1y向上平移一个单位

Step3.U_x+将图像I_x+1y+1向右平移一个单位

Step4.U_x+将图像I_xy+1向右平移一个单位

Step5.U_y+将图像I_x-1y+1向下平移一个单位

Step6.U_y+将图像I_x-1y向下平移一个单位

Step7.U_x-将图像I_x-1y-1向左平移一个单位

Step8.U_x-将图像I_xy-1向左平移一个单位

Step9.U_y-U_x+将图像I_x+1y-1平移到原位置

使用一个量子黑盒U_Ω操作对所有的像素位置上可以访问的邻域信息进行计算；

|Ω(Y,X)〉＝|Sum/256〉 (17)

因此窗口内像素求和处理后的值保存在q个量子位的|Ω(Y,X)〉中；量子黑盒中q＝8，那么共需要2n+17个量子位完成整个操作过程；其中存储整幅图像耗费2n+8个量子位，剩余9个是辅助量子位；其中

表示(Y,X+1)、(Y+1,X+1)、(Y+1,X)、(Y+1,X-1)、(Y,X-1)、(Y-1,X-1)、(Y-1,X)、(Y-1,X+1)8个位置像素值的张量积；mod2ⁿ是模2运算。

7.根据权利要求6所述的基于量子神经网络的人体行为识别方法，其特征在于：

基于量子黑盒的卷积法中：对量子图像进行一次卷积操作过程，使用量子测量提取(Y,X)位置Ω(Y,X)，利用式(18)提取出F(J,I)；对所有像素计算得到特征值P(J,I)，其过程如下：

其中T是阈值，J是卷积后图像的高度，I是卷积后图像的宽度；w、h分别表示卷积窗口宽、高；n表示图像像素。

8.根据权利要求2所述的基于量子神经网络的人体行为识别方法，其特征在于：第六步中：量子BP神经网络的量子神经元模型输入全部用量子位|0>表示，经过受控非门翻转，量子旋转门移相，聚合后得到输出；输出用量子位|1>的概率幅表示；输入层与隐层之间的权值w_ij；激活函数是f(·)；y_j是第j个神经元的输出；输入输出关系用式(20)表示：

其中i代表输入序号，j代表神经元序号，θ₀是量子位|0>初始相位，θ_i是第i个输入改变的相位；w_ij表示第i个输入对应第j个神经元的权值；

三层QBP网络模型输入层有n个量子神经元，隐层和输出层分别有p、m个普通神经元；量子旋转门R(θ_i)改变第i个输入层量子位|0>的相位，h_j代表隐层第j个神经元输出，y_k为输出层第k个神经元的输出值，v_ij为输入层与隐层之间的连接权值；w_jk为隐层与输出层之间的连接权值；各层输入输出关系如下：

其中i＝1,2,…,n，j＝1,2,…,p，k＝1,2,…,m。

9.根据权利要求8所述的基于量子神经网络的人体行为识别方法，其特征在于：第六步中：所述量子BP神经网络中：

(1)、样本的量子旋转门描述：

令n个训练样本集或识别样本集为θ＝(θ₁,θ₂,…,θ_n)，训练样本或识别样本的量子旋转门描述用式(23)表示：

R(θ)＝[R(θ₁),R(θ₂),…,R(θ_n)] (23)

(2)、更新网络参数：

定义误差函数用式(24)表示：

其中m表示输出神经元的个数；d_k表示第k个神经元期望值；y_k表示第k个神经元实际输出值；

误差E用隐层表示用式(25)表示：

误差E用输入层表示用式(26)表示：

令

对各层之间的权值求导：

权值更新过程如下：

w_jk(t+1)＝w_jk(t)+ηΔw_jk (29)

v_ij(t+1)＝v_ij(t)+ηΔv_ij (30)

其中t代表某个时间，t+1代表下一个时间。

10.基于量子神经网络的人体行为识别***，其特征在于：所述***包括图像灰度化模块、NEQR量子图像形成模块、量子图像前景检测模块、人体动作的边缘信息提取模块、动作的特征点提取模块和识别模块；

图像灰度化模块采集人体动作图像，并对每一帧图像灰度化；

NEQR量子图像形成模块采用NEQR模型将图像灰度化模块中灰度化之后的人体动作图像存储在量子态中形成NEQR量子图像；

量子图像前景检测模块针对NEQR量子图像采用背景差分法和ViBe算法分别检测静态目标和运动目标；

人体动作的边缘信息提取模块使用Hadamard门边缘检测算法提取出人体动作的边缘信息；

动作的特征点提取模块基于量子黑盒的卷积法对整幅量子图像进行卷积操作来提取动作的特征点，制作识别样本集；

识别模块读取NEQR模型中训练好的权值，构建量子BP神经网络对识别样本集进行识别。

Images