CN108154066B - 一种基于曲率特征递归神经网络的三维目标识别方法 - Google Patents

一种基于曲率特征递归神经网络的三维目标识别方法 Download PDF

Info

Publication number
CN108154066B
CN108154066B CN201611096314.1A CN201611096314A CN108154066B CN 108154066 B CN108154066 B CN 108154066B CN 201611096314 A CN201611096314 A CN 201611096314A CN 108154066 B CN108154066 B CN 108154066B
Authority
CN
China
Prior art keywords
dimensional
curvature
sequence
target
brnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611096314.1A
Other languages
English (en)
Other versions
CN108154066A (zh
Inventor
梁炜
李杨
郑萌
谈金东
彭士伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201611096314.1A priority Critical patent/CN108154066B/zh
Publication of CN108154066A publication Critical patent/CN108154066A/zh
Application granted granted Critical
Publication of CN108154066B publication Critical patent/CN108154066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术，为了有效地刻画三维目标在不同视角下的特征，针对三维目标识别过程中存在的图像噪声问题，提出了一种基于曲率特征递归神经网络的三维目标识别方法。首先，本发明通过计算目标三维模型的局部平均高斯曲率和平均均值曲率得出目标三维模型的联合曲率，并通过提取联合曲率局部极大值构成三维模型的曲率草图，利用透射投影变换生成360°二维图像序列作为训练递归神经网络的输入；其次，利用双向递归神经网络(BRNN)作为三维模型多视角序列特征学习方法，在softmax层利用softmax函数求得正确概率最大的识别类别。本发明能够自动提取三维目标与二维图像的共同特征，能够在图像噪声条件下保持较好的鲁棒性和较高的目标识别率。

Description

一种基于曲率特征递归神经网络的三维目标识别方法
技术领域
本发明涉及图像识别技术领域，具体地说是一种基于曲率特征递归神经网络的三维目标识别方法。
背景技术
三维目标识别是指从任意给定的二维图像场景中自动检测、定位、识别出指定目标模式的过程，是计算机视觉研究的关键问题之一。随着计算机视觉技术的不断发展，三维目标识别越来越广泛地应用于工业检测、增强现实和医学影像等领域。但是，由于受到光照变化、图像噪声和目标遮挡等因素的影响，难以提取三维目标及其在不同视角下二维图像的共同特征，成为三维目标识别亟待解决的问题。
三维目标识别的关键是找到三维目标模型的二维表达，提取三维目标和二维图像的共同特征。现有的三维目标识别方法主要包括基于人工标记点的方法、基于几何特征的方法和基于深度学***的图像特征融合成带有语义信息的高水平特征，能够很好地解决三维目标识别过程中二维图像的图像噪声问题，但是通常使用的深度卷积神经网络无法表达序列属性，不能有效地刻画三维目标在不同视角下的特征。因此，亟需提出一种在不同视角图像中对图像噪声问题鲁棒的自动化三维目标识别方法。
发明内容
本发明目的是能够更有效地刻画三维目标在不同视角下的特征，降低特征提取过程对图像噪声的敏感程度，提高三维目标识别准确率，本发明提出一种基于曲率特征递归神经网络的三维目标识别方法。
本发明为实现上述目的所采用的技术方案是：一种基于曲率特征递归神经网络的三维目标识别方法，包括以下步骤：
步骤1：计算目标三维模型的联合曲率
Figure BDA0001169544040000021
提取联合曲率
Figure BDA0001169544040000022
的局部极大值构成三维模型的曲率草图RSketch；再对三维模型的曲率草图RSketch利用透射投影变换生成360°二维图像Pm，其中m＝1,2,...,360；
步骤2：将360°二维图像输入BRNN，利用多角度特征进行学习计算其在多视角下的序列属性；在softmax层利用softmax函数求得序列属性的正确概率最大时的识别类别；所述BRNN为双向递归神经网络。
所述计算目标三维模型的联合曲率
Figure BDA0001169544040000023
包括以下步骤：
设
Figure BDA0001169544040000024
是目标三维模型R上给定一点(x,y,z)的法向量；令
Figure BDA0001169544040000025
则px,py,qx,qy定义为
Figure BDA0001169544040000026
计算三维模型R上每一点的法向量周围3×3邻域内的平均高斯曲率
Figure BDA0001169544040000027
和平均均值曲率
Figure BDA0001169544040000028
Figure BDA0001169544040000029
Figure BDA00011695440400000210
其中，
Figure BDA00011695440400000211
为平均曲率矩阵，trace(·)是矩阵的迹，
Figure BDA00011695440400000212
分别为p,q,px,py,qx,qy在3×3邻域内的平均值；
定义目标三维模型R的联合曲率
Figure BDA00011695440400000213
为：
Figure BDA00011695440400000214
所述将360°二维图像输入BRNN，利用多角度特征进行学习计算出其在多视角下的序列属性，包括以下步骤：
获取360°二维图像的一维特征序列TS,s＝1,2,...,360，则特征序列TS在BRNN第i层的输出分为正向输出
Figure BDA0001169544040000031
和反向输出
Figure BDA0001169544040000032
并且分别与本层BRNN上一序列的正向输出
Figure BDA0001169544040000033
本层BRNN下一序列的反向输出
Figure BDA0001169544040000034
以及上一层BRNN的正向输出
Figure BDA0001169544040000035
和反向输出
Figure BDA0001169544040000036
有如下关系：
Figure BDA0001169544040000037
Figure BDA0001169544040000038
其中，
Figure BDA0001169544040000039
为各输出间的权值矩阵，b为偏置，tanh为神经元激活函数；
则特征序列TS在BRNN的总输出Os，即为全连接层fc的输入Ifc为：
Figure BDA00011695440400000310
其中，
Figure BDA00011695440400000311
分别为正向输出和反向输出在全连接层的连接权值；
因此，特征序列TS在全连接层fc的累加输出为
Figure BDA00011695440400000312
即为序列属性。
所述在softmax层利用softmax函数求得序列属性的正确概率最大时的识别类别，包括以下步骤：
在softmax层利用softmax函数计算出识别结果为第k类的正确概率p(Ck)
Figure BDA00011695440400000313
其中，C为识别类别总数，Ak为第k类三维目标的序列属性在全连接层fc的累加输出结果；
然后利用最大似然估计方法求得损失函数最小值时，即正确概率p(Ck)最大时的识别类别k：
Figure BDA0001169544040000041
其中，δ(·)是克罗内克函数
Figure BDA0001169544040000042
r表示特征序列TS的正确识别类别。
本发明具有以下有益效果及优点：
1.本发明设计的联合曲率草图特征提取方法，能够自动提取三维模型与二维图像的共同特征，并且联合曲率所使用的局部平均高斯曲率和局部平均均值曲率可以有效的解决图像噪声问题。
2.本发明设计多角度特征学习双向递归神经网络，能够同时考虑三维模型在多角度下的特征序列，能够在任意角度的二维图像中准确识别三维目标。
附图说明
图1为本发明方法流程图；
图2为本发明方法中的多角度特征学习双向递归神经网络框架图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明主要分为两部分，如图1所示为本发明方法流程图，具体实现过程如下所述。
步骤1：计算目标三维模型的联合曲率，并通过提取联合曲率局部极大值构成三维模型的曲率草图，利用透射投影变换生成360°二维图像作为训练递归神经网络的输入；
步骤1.1：设
Figure BDA0001169544040000043
是三维模型上给定一点(x,y,z)的法向量。令
Figure BDA0001169544040000051
则px,py,qx,qy定义为
Figure BDA0001169544040000052
则三维模型的高斯曲率GK为
GK＝|C|，
其中曲率矩阵
Figure BDA0001169544040000053
三维模型的均值曲率MK为
Figure BDA0001169544040000054
trace(·)是矩阵的迹。为了消除噪声影响，本发明计算三维模型上每一点的法向量周围其3×3邻域内的平均高斯曲率
Figure BDA0001169544040000055
和平均均值曲率
Figure BDA0001169544040000056
Figure BDA0001169544040000057
Figure BDA0001169544040000058
其中
Figure BDA0001169544040000059
为平均曲率矩阵，
Figure BDA00011695440400000510
分别为p,q,px,py,qx,qy在3×3邻域内的平均值。由此，我们定义三维模型的联合曲率
Figure BDA00011695440400000511
为
Figure BDA00011695440400000512
步骤1.2：提取联合曲率
Figure BDA00011695440400000513
的局部最大值点构成三维模型R的曲率草图RSketch。通过透视投影变换，生成三维曲率草图RSketch的360°二维投影图像Pm,m=1,2,...,360，作为BRNN的输入。
步骤2：本发明采用一种深度递归神经网络(DRNN)作为曲率特征识别方法，DRNN框架如图2所示。利用多角度特征学习BRNN刻画三维模型在多视角下的序列属性，在softmax层利用softmax函数求得正确概率最大的识别类别。
步骤2.1：为了刻画三维模型在不同视角下特征的序列性，定义三维模型在多视角下的一维特征序列为TS,s＝1,2,...,360，则特征序列TS在BRNN第i层的输出分为正向输出
Figure BDA0001169544040000061
和反向输出
Figure BDA0001169544040000062
分别与本层BRNN上一序列的正向输出
Figure BDA0001169544040000063
本层BRNN下一序列的反向输出
Figure BDA0001169544040000064
以及上一层BRNN的正向输出
Figure BDA0001169544040000065
和反向输出
Figure BDA0001169544040000066
有如下关系：
Figure BDA0001169544040000067
Figure BDA0001169544040000068
其中
Figure BDA0001169544040000069
为各输出间的权值矩阵，b为偏执，tanh为神经元激活函数；则特征序列TS在BRNN的总输出Os，即为全连接层fc的输入Ifc为
Figure BDA00011695440400000610
其中，
Figure BDA00011695440400000611
分别为正向输出和反向输出在全连接层的连接权值。
步骤2.2：特征序列TS在全连接层fc的累加输出为
Figure BDA00011695440400000612
即为序列属性。在softmax层利用softmax函数计算识别结果为第k类的正确概率p(Ck)
Figure BDA00011695440400000613
其中C为识别类别总数，Ak为第k类三维目标的序列属性在全连接层fc的累加输出结果。然后利用最大似然估计方法求得损失函数最小值时，即正确概率p(Ck)最大时的识别类别k：
Figure BDA00011695440400000614
其中δ(·)是克罗内克函数
Figure BDA0001169544040000071
r表示特征序列TS的正确识别类别。

Claims (3)

1.一种基于曲率特征递归神经网络的三维目标识别方法，其特征在于，包括以下步骤：
步骤1：计算目标三维模型的联合曲率
Figure FDA0002972861850000011
提取联合曲率
Figure FDA0002972861850000012
的局部极大值构成三维模型的曲率草图RSketch；再对三维模型的曲率草图RSketch利用透射投影变换生成360°二维图像Pm，其中m＝1,2,...,360；
步骤2：将360°二维图像输入BRNN，利用多角度特征进行学习计算其在多视角下的序列属性；在softmax层利用softmax函数求得序列属性的正确概率最大时的识别类别；所述BRNN为双向递归神经网络；
所述计算目标三维模型的联合曲率
Figure FDA0002972861850000013
包括以下步骤：
设
Figure FDA0002972861850000014
是目标三维模型R上给定一点(x,y,z)的法向量；令
Figure FDA0002972861850000015
则px,py,qx,qy定义为
Figure FDA0002972861850000016
计算三维模型R上每一点的法向量周围3×3邻域内的平均高斯曲率
Figure FDA0002972861850000017
和平均均值曲率
Figure FDA0002972861850000018
Figure FDA0002972861850000019
Figure FDA00029728618500000110
其中，
Figure FDA00029728618500000111
为平均曲率矩阵，trace(·)是矩阵的迹，
Figure FDA00029728618500000112
分别为p,q,px,py,qx,qy在3×3邻域内的平均值；
定义目标三维模型R的联合曲率
Figure FDA00029728618500000113
为：
Figure FDA00029728618500000114
2.按照权利要求1所述一种基于曲率特征递归神经网络的三维目标识别方法，其特征在于，所述将360°二维图像输入BRNN，利用多角度特征进行学习计算出其在多视角下的序列属性，包括以下步骤：
获取360°二维图像的一维特征序列TS,s＝1,2,...,360，则特征序列TS在BRNN第i层的输出分为正向输出
Figure FDA0002972861850000021
和反向输出
Figure FDA0002972861850000022
并且分别与本层BRNN上一序列的正向输出
Figure FDA0002972861850000023
本层BRNN下一序列的反向输出
Figure FDA0002972861850000024
以及上一层BRNN的正向输出
Figure FDA0002972861850000025
和反向输出
Figure FDA0002972861850000026
有如下关系：
Figure FDA0002972861850000027
Figure FDA0002972861850000028
其中，
Figure FDA0002972861850000029
为各输出间的权值矩阵，b为偏置，tanh为神经元激活函数；
则特征序列TS在BRNN的总输出Os，即为全连接层fc的输入Ifc为：
Figure FDA00029728618500000210
其中，
Figure FDA00029728618500000211
分别为正向输出和反向输出在全连接层的连接权值；
因此，特征序列TS在全连接层fc的累加输出为
Figure FDA00029728618500000212
即为序列属性。
3.按照权利要求1所述一种基于曲率特征递归神经网络的三维目标识别方法，其特征在于，所述在softmax层利用softmax函数求得序列属性的正确概率最大时的识别类别，包括以下步骤：
在softmax层利用softmax函数计算出识别结果为第k类的正确概率p(Ck)
Figure FDA00029728618500000213
其中，C为识别类别总数，Ak为第k类三维目标的序列属性在全连接层fc的累加输出结果；
然后利用最大似然估计方法求得损失函数最小值时，即正确概率p(Ck)最大时的识别类别k：
Figure FDA0002972861850000031
其中，δ(·)是克罗内克函数
Figure FDA0002972861850000032
r表示特征序列TS的正确识别类别；TS为获取360°二维图像的一维特征序列，s＝1,2,...,360。
CN201611096314.1A 2016-12-02 2016-12-02 一种基于曲率特征递归神经网络的三维目标识别方法 Active CN108154066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611096314.1A CN108154066B (zh) 2016-12-02 2016-12-02 一种基于曲率特征递归神经网络的三维目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611096314.1A CN108154066B (zh) 2016-12-02 2016-12-02 一种基于曲率特征递归神经网络的三维目标识别方法

Publications (2)

Publication Number Publication Date
CN108154066A CN108154066A (zh) 2018-06-12
CN108154066B true CN108154066B (zh) 2021-04-27

Family

ID=62470160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611096314.1A Active CN108154066B (zh) 2016-12-02 2016-12-02 一种基于曲率特征递归神经网络的三维目标识别方法

Country Status (1)

Country Link
CN (1) CN108154066B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166183B (zh) * 2018-07-16 2023-04-07 中南大学 一种解剖标志点识别方法及识别设备
CN109496316B (zh) * 2018-07-28 2022-04-01 合刃科技（深圳）有限公司 图像识别***
CN109242955B (zh) * 2018-08-17 2023-03-24 山东师范大学 一种基于单幅图像的工件制造特征自动识别方法及装置
CN109493354B (zh) * 2018-10-10 2021-08-06 中国科学院上海技术物理研究所 一种基于多视角图像的目标二维几何外形重构方法
CN110287783A (zh) * 2019-05-18 2019-09-27 天嗣智能信息科技(上海)有限公司 一种视频监控图像人形识别方法
CN117315397B (zh) * 2023-10-11 2024-06-07 电子科技大学 一种基于类别曲率的含标签噪声数据分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770566A (zh) * 2008-12-30 2010-07-07 复旦大学 快速三维人耳识别方法
CN104166842A (zh) * 2014-07-25 2014-11-26 同济大学 一种基于分块统计特征与联合表示的三维掌纹识别方法
CN104463111A (zh) * 2014-11-21 2015-03-25 天津工业大学 多尺度特征区域曲率相融合的三维人脸识别方法
CN105205478A (zh) * 2015-10-23 2015-12-30 天津工业大学 人体测量学和曲线波变换融合的3d人脸识别方法
KR101592294B1 (ko) * 2014-09-03 2016-02-05 배재대학교 산학협력단 복잡한 3차원 폴리곤 메쉬 데이터의 단순화 방법
CN106097431A (zh) * 2016-05-09 2016-11-09 王红军 一种基于三维栅格地图的物体整体识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984473B2 (en) * 2014-07-09 2018-05-29 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
US10019784B2 (en) * 2015-03-18 2018-07-10 Toshiba Medical Systems Corporation Medical image processing apparatus and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770566A (zh) * 2008-12-30 2010-07-07 复旦大学 快速三维人耳识别方法
CN104166842A (zh) * 2014-07-25 2014-11-26 同济大学 一种基于分块统计特征与联合表示的三维掌纹识别方法
KR101592294B1 (ko) * 2014-09-03 2016-02-05 배재대학교 산학협력단 복잡한 3차원 폴리곤 메쉬 데이터의 단순화 방법
CN104463111A (zh) * 2014-11-21 2015-03-25 天津工业大学 多尺度特征区域曲率相融合的三维人脸识别方法
CN105205478A (zh) * 2015-10-23 2015-12-30 天津工业大学 人体测量学和曲线波变换融合的3d人脸识别方法
CN106097431A (zh) * 2016-05-09 2016-11-09 王红军 一种基于三维栅格地图的物体整体识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Study on novel Curvature Features for 3D fingerprint recognition";Feng Liu 等;《Neurocomputing》;20151130;第168卷;第599-608页 *
"基于模型的任意视点下三维目标识别研究";许俊峰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160115(第01期);全文 *

Also Published As

Publication number Publication date
CN108154066A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN108154066B (zh) 一种基于曲率特征递归神经网络的三维目标识别方法
CN110866953B (zh) 地图构建方法及装置、定位方法及装置
CN108898063B (zh) 一种基于全卷积神经网络的人体姿态识别装置及方法
Ma et al. Kinect Sensor‐Based Long‐Distance Hand Gesture Recognition and Fingertip Detection with Depth Information
CN111160297A (zh) 基于残差注意机制时空联合模型的行人重识别方法及装置
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
Wei et al. Applications of structure from motion: a survey
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN104077760A (zh) 一种航空摄影测量的快速拼接***及其实现方法
CN109325995B (zh) 基于人手参数模型的低分辨率多视角手部重建方法
CN106919944A (zh) 一种基于orb算法的大视角图像快速识别方法
CN113361542B (zh) 一种基于深度学习的局部特征提取方法
CN111832484A (zh) 一种基于卷积感知哈希算法的回环检测方法
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN105513094A (zh) 基于三维Delaunay三角剖分的立体视觉跟踪方法及***
CN111105451A (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
CN107330363B (zh) 一种快速的互联网广告牌检测方法
He et al. A generative feature-to-image robotic vision framework for 6D pose measurement of metal parts
CN116385660A (zh) 室内单视图场景语义重建方法及***
CN105787464A (zh) 一种大量图片在三维场景中的视点标定方法
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
Li et al. Sparse-to-local-dense matching for geometry-guided correspondence estimation
CN104361573B (zh) 融合颜色信息和全局信息的sift特征匹配算法
Konishi et al. Detection of target persons using deep learning and training data generation for Tsukuba challenge
CN111563423A (zh) 基于深度去噪自动编码器的无人机图像目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Liang Wei

Inventor after: Li Yang

Inventor after: Zheng Meng

Inventor after: Peng Shiwei

Inventor before: Liang Wei

Inventor before: Li Yang

Inventor before: Zheng Meng

Inventor before: Tan Jindong

Inventor before: Peng Shiwei

CB03 Change of inventor or designer information