CN107895145A

CN107895145A - 基于卷积神经网络结合超高斯去噪估测手指受力的方法

Info

Publication number: CN107895145A
Application number: CN201711044262.8A
Authority: CN
Inventors: 张小瑞; 吴韵清; 孙伟; 宋爱国; 牛建伟; 蔡青
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2018-04-10

Abstract

本发明公开了基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于包含以下步骤：步骤一：利用固定的成像源相机拍摄手指的二维图像；步骤二：利用超高斯法对所摄图像去噪；步骤三：利用卷积神经网络预测去噪后的二维图像到三维手指模型的转化矩阵，构建三维手指模型；步骤四：利用高斯法基于手指及其周边皮肤的形变和颜色变化预测手指力。本方法使用一个静态的照相机从一定距离外观察获取手指的图像，使得手指力量的估算可以在没有任何对手的物理干扰下进行，力的估计全面而准确。

Description

基于卷积神经网络结合超高斯去噪估测手指受力的方法

技术领域

本发明涉及计算机视觉以及深度学习的研究领域，特别涉及一种基于卷积神经网络结合超高斯去噪估测手指受力的方法。

背景技术

为充分提高机器人手握力的稳定性、丰富其操作能力，人手经常被用作范例。而为达到估测人类的手指握力的目的，机器要理解人在抓握和操纵中的力度。对于人手抓握行为的分析和研究能够被用来发展基于阻力对抗的机器手在抓握过程中的操作技巧和力量。目前的研究多集中于手指的位置，这些研究为确定在抓握过程中手指的位置提供了关键信息，但很少有研究涉及估测手指力。目前已有的少量方法中，多使用只能简单估测表面力量的力敏电阻器，导致只能从一个预先定义的地方预测全力，所得数据非常有限；或者使用非自然的手套，该方法虽然可以得到相对全面的力学信息，但结果常常是受限的。

发明内容

本发明为了解决现有技术中存在的问题，提供一种基于卷积神经网络结合超高斯去噪估测手指受力的方法来全面准确估测手指力。

为了达到上述目的，本发明提出的技术方案为：一种基于卷积神经网络结合超高斯去噪估测手指受力的方法，包括以下步骤：

步骤一、利用固定的成像源相机拍摄手指的二维图像；

步骤二、利用超高斯法对步骤一中拍摄的图像进行去噪处理；

步骤三、对处理过的二维图像构建三维手指模型，其中二维图像到三维手指模型的转化矩阵利用卷积神经网络预测；

步骤四、利用高斯法基于手指及其周边皮肤的形变和颜色变化预测手指力。

对上述技术方案的进一步设计为：步骤一中用相机以15帧每秒的速度拍摄分辨率为 1024*768像素的图像。

步骤三中二维图像中手指位置用坐标数组a₀,b₀表示，三维图像中手指的位置用坐标数组 x,y,z表示，方向用角度α,β,γ表示，分别表示偏离角度、高出角度、转动角度；在三维模型的前视图中，x,y,z,α,β,γ全部初始化为0；手指表面一点C₀的现实坐标C₁是由公式C₁＝MC₀给出的。其中，M是转换矩阵：

其中，H是角度参量，H＝Rot_z(α)·Rot_y(β)·Rot_x(γ)，Rot_z(α)表示旋转矩阵关于z轴旋转α角度，Rot_y(β)表示旋转矩阵关于y轴旋转β角度，Rot_x(γ)表示旋转矩阵关于x轴旋转γ角度；q是位置参量，q＝(x y z)^T，x,y,z是三维图像中手指的位置坐标。

步骤三中在得到三维图像后对图像进行纹理映射对齐。

步骤四中利用高斯法估测手指力时，将对齐后得到的图像重塑为n个一维矢量(d₁,d₂,d₃,...,d_n)，并作为高斯法估测力的输入值，G＝(G₁,G₂,G₃,...,G_n)^T是相应的目标，因此高斯法估测的力f(d^*)和输入坐标矢量d的共轭转置矩阵d^*的分布如下：

其中，E[f(d^*)]是高斯法估测的力f(d^*)的数学期望；K_ij是第i个力d_i和第j个力d_j的协方差，即K_ij＝k(d_i,d_j)；λ_n是n个噪声方差超参数组成的矩阵；I是单位矩阵；k是协方差运算，k^*T表示求出共轭转置矩阵的协方差后转置；G＝(G₁,G₂,G₃,...,G_n)^T是待估计的力组成的矩阵；Var[f(d^*)]是高斯法估测的力f(d^*)的方差；k(d^*,d^*)是输入d的共轭转置矩阵d^*的协方差；噪声方差参数最优值的计算方法如下：

其中，p(G|d)是条件d下G的概率，原理上底数可取任意值，取2便于计算机运算；是n 个噪声方差超参数组成的矩阵的平方。

本发明的有益效果为：

本方法运用人手指的图片来重构握力和手指处的力。本方法不使用安装在手指上的设备，作为替代，使用一个静态的照相机从一定距离外观察获取手指的图像，这使得手指力量的估算可以在没有任何对手的物理的干扰的前提下进行，从而得到全面准确的力的估计。

具体实施方式

下面结合具体实施例对本发明进行详细说明。

本实施例采用的深度学习技术可以解决二维图像转化为三维模型的问题。深度学习技术中比较适合处理视觉信息的主要是深度卷积神经网络，它是一种监督学习的方法。本实施例中也设计了对图像进行去噪处理的环节；最后，结合目前已经比较成熟的高斯法从对齐的图像中来估测手指力。

本实施例的基于卷积神经网络结合超高斯去噪估测手指受力的方法的具体步骤为：

步骤一：前期拍摄

固定的成像源相机捕捉视频数据以15帧每秒的速度拍摄分辨率为1024*768像素的图像。

由于后期处理包含了方向的扭转和校正，本发明对于此步骤中拍摄距离、角度不作要求。

步骤二：利用超高斯法对步骤一中拍摄的图像进行去噪处理

本实施例对于图像去噪设计了DnCNN(去噪卷积神经网络)，用前馈卷积神经网络、残差学习与批处理归一化相结合的方法，将噪声与噪声图像分离。

针对一个特定任务训练深度卷积网络模型一般涉及两个步骤：网络架构设计、从训练数据中学习。

(1)网络架构设计

本方法修改了VGG网络以使它适用于图像的去噪。首先确定网络深度。本文基于最先进的去噪方法中的有效补丁大小来设定网络的深度。设计卷积滤波器尺寸为3×3但删除所有池化层，故深度为D的DnCNN的接受域(卷积网络通过在相邻两层之间强制使用局部连接模式来利用图像的空间局部特性，这些局部区域被称为空间连续的接受域)应为 (2D+1)×(2D+1)。增加接受域大小可以在更大的图像区域中利用周边信息。通过固定的噪声水平η＝25，分析了几个主要的去噪方法的去噪效果，选择深度D为17，对应接受域大小为35×35的DnCNN。对于其他一般的图像去噪任务，可采用更大的感受野，并设置深度D为 20。DnCNN的输入U是一个嘈杂的观察模型，表示为U＝U₀+V，U₀为无噪声干净的模型， V为含有标准偏差的加性高斯白噪声。可以通过隐藏层从嘈杂的观察中分离出图像结构，这种机制类似于迭代去噪策略等方法，但此方法是一个端到端的方式训练。

(2)从训练数据中学习

对于模型学习，采用残差学习方法，并将其纳入批量正规化以达到快速训练和改进去噪性能的目的。采用剩余学习公式来训练剩余映射R(U)≈V,得到U₀＝U-R(U)；剩余学习公式为：

J_t＝g(W₁f(W₂l_t+W₃j_t-1)) (4)

其中，J_t是t时刻的输出；W₁,W₂,W₃是分别连接隐含层单元和输出层单元、输入单元和隐含层单元、隐含层单元之间的3个权重矩阵；l_t是t时刻的输入，j_t-1是t-1时刻的隐层输出；

平均所需的残差图像和从噪声中估计的输入之间的均方误差可以作为损失函数在 DnCNN中训练参数Θ，噪声输入估计与理想残差之间的平均均方误差计算公式如下：

其中，代表Q对嘈杂-纯净训练图片对，U_i是第i个嘈杂图片，U_0i是第i个纯净图片；是Q对嘈杂-纯净训练图片的均方误差，|| ||符号是由线性赋范空间到非负实数的映射，用范数表示空间中的点与原点间的距离。

步骤三：利用卷积神经网络的三维建模以及图像对准

(1)三维建模(卷积神经网络的前期训练)

由于手指的位置和方向会随着时间变化，为了减小这些变化带来的影响，在估测力和力矩前，使用CNN来预测和修正手指的位置和方向，因此为训练CNN，需要在实际实验之前，从步骤一的图像中选取12-15幅手指图像，然后用AgisoftPhotoscan 0.9.1软件构建出3D模型，来训练卷积神经网络。

(2)手指检测与跟踪

由于视频流不仅包含了手指也包含了背景，故需要把手指从图像中提取出来，本发明选择常用于皮肤检测的非线性的RGB信号的YCbCr彩色空间的阈值来分割出手指，再用平均转化算法来跟踪视频中的手指。

(3)基于卷积神经网络的变换矩阵估计

原始的二维图像一旦倾斜，会导致数据的丢失，故用CNN来估计转化矩阵。

a、手指位置坐标表示

让三维图像中手指的位置用坐标数组x,y,z表示，方向用角度α,β,γ表示，分别表示偏离角度、高出角度、转动角度；在三维模型的前视图中，x,y,z,α,β,γ全部初始化为0；手指表面一点C₀的现实坐标C₁是由公式C₁＝MC₀给出的。其中，M是转换矩阵：

为简化校准的任务减少环境因素比如光、反射的干扰，本发明在手指上放了一个标记。这个方法对标记的位置不敏感，只要在训练和测试时，标记放在了同一个地方即可。该标记确定了四条线来识别指甲的方向，指甲的坐标可以通过定位二维图像中的红点来估计。左边的黑色线能明确地相互区分。

利用创建的三维模型使得40000幅二维训练图像有不同的位置z和角度α,β,γ； z∈[-2,3]，模型坐标中以0.5虚拟距离为间隔；α∈[-25,30]，β∈[-15,35]，γ∈[-23,37]，以 3.5度为间隔。虚拟距离是在z方向上的距离相对于3D模型的虚拟距离，单位取决于人手指的三维手指模型的尺寸比。

b、CNN估计转化矩阵

CNN是一种用于回归和分类的神经式网络结构，能够检测错误，相对稳健地实现转化。本发明提出的网络的组合输出方法体系结构包含六层。第一个卷积层在第一个最大池化层后，另一个卷积层在第二个最大池化层和两个全连接后，试验中使用5*5的滤波器，第一卷积层使用了8内核，第二卷积层使用了25内核。通常情况下，卷积神经网络是为了后续阶段的卷积和最大池化设计的。特征图r(a,b)的二维图像卷积计算方法如下：

其中，(a,b)是特征图上的像素位置；l₁*l₂是滤波器的尺寸；s是内核权重；u是权重矩阵第u 行；v是权重矩阵第v列；g是输入映射；b_m是偏置；

最大池化激活计算方法如下：

其中，L是最大池化层中的特征映射，l₃*l₄是池化尺寸；

最大池化是一种非线性向下采样方法，可以降低计算复杂度。这些层采取卷积层的输出作为输入，降低了输入的分辨率。全连接的MLP(多层神经网络)包含50个隐藏单元。方向θ∈{α,β,γ}计算方法如下：

其中，O₁,O₂,...,O₇是最后一层线性的7个输出，记为A＝(O₁,O₂,...O₇)^T；

首先确定输出的为O_first＝O₁,其余6个输出值贡献给三个方向。值得注意的是，由于这种形式的编码角度是可微的，可以使用链规则反向传播误差梯度回网络。

假设输出A与输入B是线性相关的，用条件概率密度，线性回归模型表示如下：

p(A|B,ξ)＝N(A|μ(B),σ²) (9)

其中，A是线性回归的输出；B是线性回归的输入和MLP的输出；ξ＝(W,σ²)是参数，W是权重矩阵，σ²是方差；N(A|μ(B),σ²)表示两者服从正态分布，μ(B)是B的期望；期望得到的输出是μ(W^TB)；

假设训练数据为独立同分布，为确定权重W的最优值，应尽量减少NLL(负对数似然)，负对数似然计算方法如下：

平方误差的总和被定义为：

其中ALL是待优化的数据点的数量；A_i是第i个输入，B_i是第i个输出；ξ是参数；

由于方向是周期性的，选择von Mises分布计算对数似然函数。本发明使用一个简单的L2 范数，成本函数计算方法如下：

其中，是待计算成本的角度，TEST是用来训练的样本个数；

通过最小化α,β,γ的成本函数和O_first的负对数似然，更新卷积神经网络的权重。

观察组合输出卷积神经网络的训练过程，位置和方向变量开始时分别收敛，α,β,γ稳定后，O_first进行收敛，本方法用唯一的连接单独训练位置和方向，输出的取向被设置为线性回归层的偏置。因此预计的O_first的输出如下：

μ(d)＝W_αα+W_ββ+W_γγ+W₁d₁+...W_nd_TEST (13)

c、纹理映射

从卷积神经网络估计的变换矩阵，图像可以使用纹理映射对齐。这是一个有效的没有繁琐的过程的从源图像到创建外观的方法，如建模或对每一个细节绘制三维曲线。它允许“粘合”源二维框架到3D手指表面的估计位置和方向。映射的三维模型手指然后通过参考位置和方位的透视投影，绘制到目标图像。源图像在纹理空间用a₀,b₀标记，在三维模型中用x,y,z标记，对准的图像在屏幕空间用(x_p,y_p)标记。

d、指甲和皮肤提取

由于不同图像在运动过程中可能有不同的遮挡区域，故对齐的手指图像边缘可能不同。然而常见的可见区域在对齐图像中具有相同的外观，这些图像包含以颜色变化形式的压力信息。为减少手指边缘和环境造成的噪声，提取整个视频流中所有可见区域的交集。

步骤四：高斯过程估测力

经过前面三个步骤得到了对齐图像，这些对齐图像将被划分成一个训练和测试集，约82％的图像数据被用于训练。一个高斯随机过程(GP)如下：

m(d)＝E[f(d)] (14)

k(d,d^T)＝E[(f(d)-m(d))(f(d^T)-m(d^T))] (15)

其中，m(d)是输入训练集的均值，k(d,d^T)是输入训练集的协方差；

假设GP有10个平均函数，平方指数协方差(SE)的推导如下：

其中，l是长度尺度；是信号方差超参数；|| ||符号是由线性赋范空间到非负实数的映射，用范数表示空间中的点与原点间的距离。

距离小于l的点可以被认为具有相似的值；训练点的输入为(d₁,d₂,d₃,...,d_n)， d_i(i＝1,2,3,...,n)是一个对齐后的图像，被重塑为一个一维矢量。此外，估计的力 G＝(G₁,G₂,G₃,...,G_n)^T是相应的目标。因此目标值f(d^*)、d的共轭转置矩阵d^*分布如下：

其中，E[f(d^*)]是高斯法估测的力f(d^*)的数学期望；K_ij是第i个力d_i和第j个力d_j的协方差，即K_ij＝k(d_i,d_j)；λ_n是n个噪声方差超参数组成的矩阵；I是单位矩阵；k是协方差运算， k^*T表示求出共轭转置矩阵的协方差后转置；G＝(G₁,G₂,G₃,...,G_n)^T是待估计的力组成的矩阵； Var[f(d^*)]是高斯法估测的力f(d^*)的方差；k(d^*,d^*)是输入d的共轭转置矩阵d^*的协方差；

最大化对数似然函数计算如下：

利用训练集得到三个超参数的最优值，以便得到较为准确的力的估计。

本发明的基于卷积神经网络结合超高斯去噪估测手指受力的方法不局限于上述各实施例，凡采用等同替换方式得到的技术方案均落在本发明要求保护的范围内。

Claims

1.基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于，包括以下步骤：

步骤一、利用固定的成像源相机拍摄手指的二维图像；

2.根据权利要求1所述基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于：步骤一中用相机以15帧每秒的速度拍摄分辨率为1024*768像素的图像。

3.根据权利要求2所述基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于：步骤三中二维图像中手指位置用坐标数组a₀,b₀表示，三维图像中手指的位置用坐标数组x,y,z表示，方向用角度α,β,γ表示，分别表示偏离角度、高出角度、转动角度；在三维模型的前视图中，x,y,z,α,β,γ全部初始化为0；手指表面一点C₀的现实坐标C₁是由公式C₁＝MC₀给出的，其中，M是转换矩阵：

4.根据权利要求3所述基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于：步骤三中在得到三维图像后对图像进行纹理映射对齐。

5.根据权利要求4所述基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于：步骤四中利用高斯法估测手指力时，将得到的三维图像的坐标进行对齐后得到的图像重塑为n个一维坐标矢量(d₁,d₂,d₃,...,d_n)，并作为高斯法估测力的输入值。

6.根据权利要求5所述基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于：高斯法估测的力f(d^*)和输入d的共轭转置矩阵d^*的分布如下：

<mrow> <mi>E</mi> <mo>&lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mo>*</mo> </msup> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>=</mo> <msup> <mi>k</mi> <mrow> <mo>*</mo> <mi>T</mi> </mrow> </msup> <msup> <mrow> <mo>(</mo> <msub> <mi>K</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>&lambda;</mi> <mi>n</mi> <mn>2</mn> </msubsup> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mi>G</mi> </mrow>

<mrow> <mi>V</mi> <mi>a</mi> <mi>r</mi> <mo>&lsqb;</mo> <mi>f</mi> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mo>*</mo> </msup> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>=</mo> <mi>k</mi> <mrow> <mo>(</mo> <msup> <mi>d</mi> <mo>*</mo> </msup> <mo>,</mo> <msup> <mi>d</mi> <mo>*</mo> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mi>k</mi> <mrow> <mo>*</mo> <mi>T</mi> </mrow> </msup> <msup> <mrow> <mo>(</mo> <msub> <mi>K</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>&lambda;</mi> <mi>n</mi> <mn>2</mn> </msubsup> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>k</mi> <mo>*</mo> </msup> </mrow>

其中，E[f(d^*)]是高斯法估测的力f(d^*)的数学期望；K_ij是第i个力d_i和第j个力d_j的协方差，即K_ij＝k(d_i,d_j)；λ_n是n个噪声方差超参数组成的矩阵；I是单位矩阵；k是协方差运算，k^*T表示求出共轭转置矩阵的协方差后转置；G＝(G₁,G₂,G₃,...,G_n)^T是待估计的力组成的矩阵；Var[f(d^*)]是高斯法估测的力f(d^*)的方差；k(d^*,d^*)是输入d的共轭转置矩阵d^*的协方差。

7.根据权利要求6所述基于卷积神经网络结合超高斯去噪估测手指受力的方法，其特征在于：噪声方差超参数最优值的计算方法为：

<mrow> <mi>log</mi> <mi> </mi> <mi>p</mi> <mrow> <mo>(</mo> <mi>G</mi> <mo>|</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msup> <mi>G</mi> <mi>T</mi> </msup> <msup> <mrow> <mo>(</mo> <msub> <mi>K</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>&lambda;</mi> <mi>n</mi> <mn>2</mn> </msubsup> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mi>G</mi> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mo>|</mo> <msub> <mi>K</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>&lambda;</mi> <mi>n</mi> <mn>2</mn> </msubsup> <mi>I</mi> <mo>|</mo> <mo>-</mo> <mfrac> <mi>n</mi> <mn>2</mn> </mfrac> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mn>2</mn> <mi>&pi;</mi> </mrow>

其中，p(G|d)是条件d下G的概率；是n个噪声方差超参数组成的矩阵的平方。