CN103544492B - 基于深度图像三维曲面几何特征的目标识别方法和装置 - Google Patents

基于深度图像三维曲面几何特征的目标识别方法和装置 Download PDF

Info

Publication number
CN103544492B
CN103544492B CN201310339133.7A CN201310339133A CN103544492B CN 103544492 B CN103544492 B CN 103544492B CN 201310339133 A CN201310339133 A CN 201310339133A CN 103544492 B CN103544492 B CN 103544492B
Authority
CN
China
Prior art keywords
depth image
normal vector
target object
histogram
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310339133.7A
Other languages
English (en)
Other versions
CN103544492A (zh
Inventor
谭文伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201310339133.7A priority Critical patent/CN103544492B/zh
Publication of CN103544492A publication Critical patent/CN103544492A/zh
Application granted granted Critical
Publication of CN103544492B publication Critical patent/CN103544492B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度图像三维曲面几何特征的目标识别方法和装置,所述方法通过获取多个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;构建每一个包含目标物体的深度图像对应的法向量直方图;得出目标物体的法向量直方图平均值和法向量直方图平均方差;计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集,并将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像归属于目标物体;当所述交集小于或等于所述预定阈值时,待测试深度图像不归属于目标物体,从而提升了深度图像特征描述的稳健性能,提高了目标识别的准确率。

Description

基于深度图像三维曲面几何特征的目标识别方法和装置
技术领域
本发明涉及深度信息图像处理技术领域,尤其涉及的是一种基于深度图像三维曲面几何特征的目标识别方法和装置。
背景技术
随着技术的进步,越来越多的出现了能够采集深度位置信息的装置设备,比如微软的kinect摄像头,这些能够采集深度图(Depth Map)的装置设备,将图像处理技术从二维图像X、Y坐标带入到三维图像X、Y、Z坐标新时代。深度图像提供了真实三维立体数据信息,将整个场景和目标物体的几何曲面信息呈现在用户的面前,更为真实的反应出所见即所得的图像内容。利用这些三维立体数据信息,开发出人机交互的应用已成为趋势。
虽然已有的一些方法中采用梯度方向直方图来描述目标图像特征取得了一些进步,但是因为其只表达了二维纹理的特征,对于三维信息有局限性。且现有的深度图像特征描述不稳定,目标识别准确率不高,目标识别性能不强。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于深度图像三维曲面几何特征的目标识别方法和装置,旨在解决现有的深度图像特征描述不稳定及目标识别准确率不高的问题。
本发明解决技术问题所采用的技术方案如下:
一种基于深度图像三维曲面几何特征的目标识别方法,其中,包括以下步骤:
A、通过采集深度位置信息的装置采集多个包含目标物体的深度图像,对于每一个包含目标物体的深度图像,根据该包含目标物体的深度图像和尺度变换因子,得到不同尺度变换因子下对应的深度图像;并计算不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量,以获取每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;
B、统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的二维直方图,并进行归一化处理,将归一化后的不同尺度变换因子下对应的二维直方图合并为法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图;
C、对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差;
D、接收待测试深度图像,计算待测试深度图像对应的法向量直方图,并根据目标物体的法向量直方图平均值,计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集,并将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像归属于目标物体;当所述交集小于或等于所述预定阈值时,待测试深度图像不归属于目标物体。
所述的基于深度图像三维曲面几何特征的目标识别方法,其中,所述预定阈值与法向量直方图平均方差之和为1。
所述的基于深度图像三维曲面几何特征的目标识别方法,其中,所述步骤A具体包括:
A1、给定的任意一包含目标物体的深度图像,深度图像中任意一点用(x,y,d(x,y))来表示,其中,x、y分别表示图像横坐标、纵坐标;d(x,y)表示深度值;根据目标物体的深度图像(x,y,d(x,y))和尺度变换因子,得到对应尺度变换因子下的深度图像为
A2、在直角坐标系中任意一点(x,y,d(x,y))的法向量求解公式为,其中, ,,根据向量叉积公式即可求得单位法向量表达式为
A3、将深度图像数据代入单位法向量表达式可得
A4、将直角坐标系下的单位法向量变换到球坐标系下为,其中,
所述的基于深度图像三维曲面几何特征的目标识别方法,其中,所述步骤B具体包括:
B1、统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的关于的二维直方图
B2、对每一个包含目标物体的深度图像在不同尺度变换因子下生成的二维直方图进行归一化处理,将归一化到[0,1]之间,归一化到[0,π];
B3、将归一化后的不同尺度变换因子下对应的二维直方图相加,合并为该包含目标物体的深度图像对应的法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图。
所述的基于深度图像三维曲面几何特征的目标识别方法,其中,所述步骤C具体包括:
C1、选择K个择包含目标物体S的深度图像样本,将K个包含目标物体的深度图像对应的法向量直方图平均值作为目标物体S的特征模板:,其中,K为正整数,i=1,2,3…K;
C2、计算目标物体S的法向量直方图平均方差,将每个样本的法向量直方图减去特征模板,直方图的平均值即为直方图的平均方差,求解公式为:
所述的基于深度图像三维曲面几何特征的目标识别方法,其中,所述步骤D具体包括:
D1、接收待测试深度图像T,计算待测试深度图像对应的法向量直方图
D2、计算待测试深度图像T对应的法向量直方图与目标物体S的法向量直方图平均值的交集,其中,Min( )表示求其最小值;
D3、将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像T归属于目标物体S;当所述交集小于或等于所述预定阈值时,待测试深度图像T不归属于目标物体S。
一种基于深度图像三维曲面几何特征的目标识别装置,其中,包括:
单位法向量生成模块,用于对采集的多个包含目标物体的深度图像中每一个包含目标物体的深度图像,根据该包含目标物体的深度图像和尺度变换因子,得到不同尺度变换因子下对应的深度图像;并计算不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量,以获取每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;
法向量直方图生成模块,用于统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的二维直方图,并进行归一化处理,将归一化后的不同尺度变换因子下对应的二维直方图合并为法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图;
法向量直方图计算模块,用于对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差;
交集计算模块,用于计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集;
对比模块,用于将所述交集与一预定阈值进行比较。
所述的基于深度图像三维曲面几何特征的目标识别装置,其中,所述单位法向量生成模块包括:
深度图像变换单元,用于对给定的任意一包含目标物体的深度图像,用(x,y,d(x,y))来表示深度图像中任意一点,其中,x、y分别表示图像横坐标、纵坐标;d(x,y)表示深度值;根据目标物体的深度图像(x,y,d(x,y))和尺度变换因子 ,得到对应尺度下的深度图像为
直角坐标系单位法向量计算单元,用于在直角坐标系中任意一点(x,y,d(x,y))的法向量求解公式为,其中, ,,根据向量叉积公式即可求得单位法向量表达式为;将深度图像数据代入单位法向量表达式可得
球坐标系单位法向量变换单元,用于将直角坐标系下的单位法向量变换到球坐标系下为,其中,
所述的基于深度图像三维曲面几何特征的目标识别装置,其中,所述法向量直方图生成模块包括:
二维直方图生成单元,用于统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的关于的二维直方图
归一化单元,用于对每一个包含目标物体的深度图像在不同尺度变换因子下生成的二维直方图进行归一化处理,将归一化到[0,1]之间,归一化到[0,π];
合并单元,用于将归一化后的不同尺度变换因子下对应的二维直方图相加,合并为该包含目标物体的深度图像对应的法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图。
所述的基于深度图像三维曲面几何特征的目标识别装置,其中,所述法向量直方图计算模块包括:
法向量直方图平均值计算单元,用于选择K个择包含目标物体S的深度图像样本,将K个包含目标物体的深度图像对应的法向量直方图平均值作为目标物体S的特征模板:,其中,K为正整数,i=1,2,3…K;
法向量直方图平均方差计算单元,用于计算目标物体S的法向量直方图平均方差,将每个样本的法向量直方图减去特征模板,直方图的平均值即为直方图的平均方差,求解公式为:
本发明所提供的一种基于深度图像三维曲面几何特征的目标识别方法和装置,有效地解决了现有的深度图像特征描述不稳定及目标识别准确率不高的问题,其方法通过计算出多个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中每个像素位置对应的单位法向量,并构建多个包含目标物体的深度图像对应的法向量直方图,对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差,对于接收的待测试深度图像,计算待测试深度图像的法向量直方图与目标物体的法向量直方图平均值的交集,并将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像归属于目标物体;当所述交集不大于所述预定阈值时,待测试深度图像不归属于目标物体,从而提升了深度图像特征描述的稳健性能,提高了目标识别的准确率,进一步改善了目标识别的性能,其实现方法简单,通过软件实现,成本较低。
附图说明
图1为本发明提供的基于深度图像三维曲面几何特征的目标识别方法较佳实施例的流程图。
图2为本发明提供的基于深度图像三维曲面几何特征的目标识别方法应用实施例中法向量直方图的处理过程示意图。
图3为本发明提供的基于深度图像三维曲面几何特征的目标识别方法应用实施例中单位法向量的处理过程示意图。
图4为本发明提供的基于深度图像三维曲面几何特征的目标识别装置较佳实施例的结构框图。
具体实施方式
本发明提供一种基于深度图像三维曲面几何特征的目标识别方法和装置,为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,图1为本发明提供的基于深度图像三维曲面几何特征的目标识别方法较佳实施例的流程图,包括以下步骤:
步骤S100、通过采集深度位置信息的装置采集多个包含目标物体的深度图像,对于每一个包含目标物体的深度图像,根据该包含目标物体的深度图像和尺度变换因子,得到不同尺度变换因子下对应的深度图像;并计算不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量,以获取每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;
步骤S200、统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的二维直方图,并进行归一化处理,将归一化后的不同尺度变换因子下对应的二维直方图合并为法向量直方图,以构建多个包含目标物体的深度图像对应的法向量直方图;
步骤S300、对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差;
步骤S400、接收待测试深度图像,计算待测试深度图像对应的法向量直方图,并根据目标物体的法向量直方图平均值,计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集,并将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像归属于目标物体;当所述交集小于或等于所述预定阈值时,待测试深度图像不归属于目标物体。
以下结合具体的实施例对上述步骤进行详细的描述。
在步骤S100中,首先通过能够采集深度图装置设备采集多个包含目标物体的深度图像。请参阅图2,如图2所示,对于给定任意一包含目标物的深度图像,那么在深度图像中任意一点p可以用来表示,其中,x、y分别表示图像横坐标、纵坐标;d(x,y)表示深度值。如图3所示,根据目标物体的深度图像(x,y,d(x,y))和尺度变换因子 ,得到对应尺度变换因子下的深度图像为。这里可选择为0.5,1,2,4等数值。随着变大,深度图像变小,深度值变得更大,这表示目标物体离摄像头越远。这样可获得该包含目标物体的深度图像一系列在不同变换尺度下的深度图像。在实际应用时,在做图像尺度变换的时候可采用常见的近邻插值法。
然后,计算该包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量。具体来说,请继续参阅图2,在直角坐标系中任意一点(x,y,d(x,y))的法向量求解公式为,其中, ,,根据向量叉积公式即可求得单位法向量表达式为;这表示在任意一点上分别对x和y方向求导数,然后再求得两个向量的叉积即就是法向量。再将深度图数据代入单位法向量表达式可得。最后将直角坐标系下的单位法向量变换到球坐标系下,其中,。通过上述步骤便可求出每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量。由此可知,球坐标系下的单位法向量只与有关,与d(x,y)的绝对值无关。因此,单位法向量不因目标物体的深度方向位置变化而变化,在不同深度变化的场景下具有更好的稳健性。因为刚体目标运动变化过程中不会形变,而且其几何局面一般是恒定的。比如人脸,手臂,椅子等目标的几何表面是很稳定的。
在步骤S200中,统计每一个包含目标物体的深度图像在不同尺度变换因子对应的深度图像中所有像素点在球坐标系下的单位法向量,生成该包含目标物体的深度图像在相应尺度变换因子下对应的关于的二维直方图。具体来说,通过上述步骤S100获得了多个包含目标物体的深度图像在不同尺度变换因子下的深度图像对应的单位法向量,将每一个包含目标物体的深度图像在不同尺度变换因子对应的深度图像中所有像素点在球坐标系下的单位法向量统计出关于的二维直方图。然后进行归一化处理,将归一化到[0,1]之间,归一化到[0,π]。最后将归一化后的不同尺度变换因子下对应的二维直方图相加,合并为该包含目标物体的深度图像对应的法向量直方图。通过上述步骤便可获得出多个包含目标物体的深度图像对应的法向量直方图。以图3为例进行说明:最左列表示=0.5对应的直方图,中间一列表示=1对应的直方图,最右边一列表示=2对应的直方图,最下面图表示合并后的直方图;将获得的不同尺度下的直方图进行合并,合并公式如下:,即为目标物体的法向量直方图。法向量直方图包含了不同尺度下目标物体曲面的几何特征,这样能保持在不同尺度下的曲面特征的稳健性。深度图像在不同尺度下代表了目标物体跟摄像头的远近。在摄像机焦距一定的条件下,深度图像越大表明目标物体离摄像头越近。
在步骤S300中,对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差。具体来说,在步骤S200之后,可获得出多个包含目标物体的深度图像对应的法向量直方图,但单个深度图像的法向量直方图误差较大,为此,本发明还构建了目标物体S的特征模块。首先选择K个择包含目标物体S的深度图像样本,具体可通过采集深度位置信息的装置采集多个包含目标物体的深度图像,将K个包含目标物体的深度图像对应的法向量直方图平均值作为目标物体S的特征模板:,其中,K为正整数,i=1,2,3…K。也就是采集K个目标物体S的深度图像样本,分别求得对应的法向量直方图,最后求平均值,将K个包含目标物体的深度图像对应的法向量直方图的平均值作为目标物体S的特征模板,即目标物体S的法向量直方图平均值,从而大大降低了误差。在实际应用时, K要足够大,譬如K=1000或其它数字等。
并计算目标物体S的法向量直方图平均方差,将每个样本的法向量直方图减去特征模板,直方图的平均值即为直方图的平均方差,求解公式为:
在步骤S400中,具体来说,首先接收待测试深度图像T,计算待测试深度图像对应的法向量直方图;计算待测试深度图像T对应的法向量直方图与目标物体S的法向量直方图平均值的交集,其中,Min( )表示求其最小值。将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像T归属于目标物体S;当所述交集不大于所述预定阈值时,待测试深度图像T不归属于目标物体S。越大表明待测深度图像T跟目标物体归属于S类别的可能性越大,最大为1表示100%确定归属正确类别。表示了两个目标曲面几何特征的相似程度,值越大表示越相似。在实际应用时,所述预定阈值计算公式:Threshold(阈值)=1-表示了与模板相似度可容忍的偏移度。也即是所述预定阈值与法向量直方图平均方差之和为1。若测试图像与特征模板越不相似,即与特征模板偏离度越大,这就导致。所以基于以上步骤实现的目标识别性能能更加快速和稳定。
本发明提供的基于深度图像三维曲面几何特征的目标识别方法,解决了在深度信息图像中准确获取目标物体表面几何特征的问题,并提供了基于该特征描述的一种目标识别方法,利用球坐标系下的单位法向量只与有关,与深度值d(x,y)的绝对值无关,单位法向量不因目标物体的深度方向位置变化而变化的特性构建稳定的几何特征,提供了一种深度图像中更合理的目标物体特征表达方式以及目标识别方法,进一步提高了目标识别在人机交互中的应用性能,提升了深度图像特征描述稳健性能,提高了目标识别的准确率,进一步改善目标识别在用户体验上的性能。
基于上述基于深度图像三维曲面几何特征的目标识别方法,本发明还提供了一种基于深度图像三维曲面几何特征的目标识别装置,请参阅图4,图4为本发明提供的基于深度图像三维曲面几何特征的目标识别装置较佳实施例的结构框图,如图4所示,所述装置包括:
单位法向量生成模块10,用于对采集的多个包含目标物体的深度图像中每一个包含目标物体的深度图像,根据该包含目标物体的深度图像和尺度变换因子,得到不同尺度变换因子下对应的深度图像;并计算不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量,以获取每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;具体如步骤S100所述。
法向量直方图生成模块20,用于统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的二维直方图,并进行归一化处理,将归一化后的不同尺度变换因子下对应的二维直方图合并为法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图;具体如步骤S200所述。
法向量直方图计算模块30,用于对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差;具体如步骤S300所述。
交集计算模块40,用于计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集;具体如步骤S400所述。
对比模块50,用于将所述交集与一预定阈值进行比较;具体如步骤S400所述。
具体来说,所述单位法向量生成模块10对多个包含目标物体的深度图像进行处理,得到每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量。然后,经法向量直方图生成模块20统计生成每一个包含目标物体的深度图像在不同尺度变换因子对应的二维直方图,并进行归一化处理,再将归一化后的不同尺度变换因子下对应的二维直方图合并为法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图。所述法向量直方图计算模块30根据多个包含目标物体的深度图像对应的法向量直方图得出目标物体的法向量直方图平均值和法向量直方图平均方差。所述单位法向量生成模块10和法向量直方图生成模块20还用于对待测试深度图像进行处理生成相应的法向量直方图。再通过交集计算模块40计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集。然后通过对比模块50将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像归属于目标物体;当所述交集不大于所述预定阈值时,待测试深度图像不归属于目标物体,从而提升了深度图像特征描述的稳健性能,提高了目标识别的准确率,进一步改善了目标识别在用户体验上的性能,其实现方法简单,通过软件实现,成本较低。
具体来说,所述单位法向量生成模块10包括:
深度图像变换单元,用于对给定的任意一包含目标物体的深度图像,用(x,y,d(x,y))来表示深度图像中任意一点,其中,x、y分别表示图像横坐标、纵坐标;d(x,y)表示深度值;根据目标物体的深度图像(x,y,d(x,y))和尺度变换因子 ,得到对应尺度下的深度图像为
直角坐标系单位法向量计算单元,用于在直角坐标系中任意一点(x,y,d(x,y))的法向量求解公式为,其中, ,,根据向量叉积公式即可求得单位法向量表达式为;将深度图像数据代入单位法向量表达式可得
球坐标系单位法向量变换单元,用于将直角坐标系下的单位法向量变换到球坐标系下为,其中,
所述法向量直方图生成模块20包括:
二维直方图生成单元,用于统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的关于的二维直方图
归一化单元,用于对每一个包含目标物体的深度图像在不同尺度变换因子下生成的二维直方图进行归一化处理,将归一化到[0,1]之间,归一化到[0,π];
合并单元,用于将归一化后的不同尺度变换因子下对应的二维直方图相加,合并为该包含目标物体的深度图像对应的法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图。
所述法向量直方图计算模块30包括:
法向量直方图平均值计算单元,用于选择K个择包含目标物体S的深度图像样本,将K个包含目标物体的深度图像对应的法向量直方图平均值作为目标物体S的特征模板:,其中,K为正整数,i=1,2,3…K;
法向量直方图平均方差计算单元,用于计算目标物体S的法向量直方图平均方差,将每个样本的法向量直方图减去特征模板,直方图的平均值即为直方图的平均方差,求解公式为:
综上所述,本发明提供的一种基于深度图像三维曲面几何特征的目标识别方法和装置,所述方法通过获取多个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;构建每一个包含目标物体的深度图像对应的法向量直方图;得出目标物体的法向量直方图平均值和法向量直方图平均方差;计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集,并将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像归属于目标物体;从而提升了深度图像特征描述的稳健性能,提高了目标识别的准确率,进一步改善了目标识别在用户体验上的性能,其实现方法简单,通过软件实现,成本较低,可广泛应用于户外商业广告投放设备,形象、产品宣传板或海报板等等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于深度图像三维曲面几何特征的目标识别方法,其特征在于,包括以下步骤:
A、通过采集深度位置信息的装置采集多个包含目标物体的深度图像,对于每一个包含目标物体的深度图像,根据该包含目标物体的深度图像和尺度变换因子,得到不同尺度变换因子下对应的深度图像;并计算不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量,以获取每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;
B、统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的二维直方图,并进行归一化处理,将归一化后的不同尺度变换因子下对应的二维直方图合并为法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图;
C、对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差;
D、接收待测试深度图像,计算待测试深度图像对应的法向量直方图,并根据目标物体的法向量直方图平均值,计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集,并将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像归属于目标物体;当所述交集小于或等于所述预定阈值时,待测试深度图像不归属于目标物体;
所述步骤A具体包括:
A1、给定的任意一包含目标物体的深度图像,深度图像中任意一点用(x,y,d(x,y))来表示,其中,x、y分别表示图像横坐标、纵坐标;d(x,y)表示深度值;根据目标物体的深度图像(x,y,d(x,y))和尺度变换因子,得到对应尺度变换因子下的深度图像为
A2、在直角坐标系中任意一点(x,y,d(x,y))的法向量求解公式为,其中,,,根据向量叉积公式即可求得单位法向量表达式为
A3、将深度图像数据代入单位法向量表达式可得
A4、将直角坐标系下的单位法向量变换到球坐标系下为,其中,
2.根据权利要求1所述的基于深度图像三维曲面几何特征的目标识别方法,其特征在于,所述预定阈值与法向量直方图平均方差之和为1。
3.根据权利要求1所述的基于深度图像三维曲面几何特征的目标识别方法,其特征在于,所述步骤B具体包括:
B1、统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的关于的二维直方图
B2、对每一个包含目标物体的深度图像在不同尺度变换因子下生成的二维直方图进行归一化处理,将归一化到[0,1]之间,归一化到[0,π];
B3、将归一化后的不同尺度变换因子下对应的二维直方图相加,合并为该包含目标物体的深度图像对应的法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图。
4.根据权利要求3所述的基于深度图像三维曲面几何特征的目标识别方法,其特征在于,所述步骤C具体包括:
C1、选择K个择包含目标物体S的深度图像样本,将K个包含目标物体的深度图像对应的法向量直方图平均值作为目标物体S的特征模板:,其中,K为正整数,i=1,2,3…K;
C2、计算目标物体S的法向量直方图平均方差,将每个样本的法向量直方图减去特征模板,直方图的平均值即为直方图的平均方差,求解公式为:
5.根据权利要求4所述的基于深度图像三维曲面几何特征的目标识别方法,其特征在于,所述步骤D具体包括:
D1、接收待测试深度图像T,计算待测试深度图像对应的法向量直方图
D2、计算待测试深度图像T对应的法向量直方图与目标物体S的法向量直方图平均值的交集,其中,Min( )表示求其最小值;
D3、将所述交集与一预定阈值进行比较,当所述交集大于所述预定阈值时,待测试深度图像T归属于目标物体S;当所述交集小于或等于所述预定阈值时,待测试深度图像T不归属于目标物体S。
6.一种基于深度图像三维曲面几何特征的目标识别装置,其特征在于,包括:
单位法向量生成模块,用于对采集的多个包含目标物体的深度图像中每一个包含目标物体的深度图像,根据该包含目标物体的深度图像和尺度变换因子,得到不同尺度变换因子下对应的深度图像;并计算不同尺度变换因子下对应的深度图像中任意像素点在球坐标系下的单位法向量,以获取每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点的单位法向量;
法向量直方图生成模块,用于统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的二维直方图,并进行归一化处理,将归一化后的不同尺度变换因子下对应的二维直方图合并为法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图;
法向量直方图计算模块,用于对构建的多个包含目标物体的深度图像对应的法向量直方图进行平均值和方差计算,得出目标物体的法向量直方图平均值和法向量直方图平均方差;
交集计算模块,用于计算待测试深度图像对应的法向量直方图与目标物体的法向量直方图平均值的交集;
对比模块,用于将所述交集与一预定阈值进行比较;
所述单位法向量生成模块包括:
深度图像变换单元,用于对给定的任意一包含目标物体的深度图像,用(x,y,d(x,y))来表示深度图像中任意一点,其中,x、y分别表示图像横坐标、纵坐标;d(x,y)表示深度值;根据目标物体的深度图像(x,y,d(x,y))和尺度变换因子 ,得到对应尺度下的深度图像为
直角坐标系单位法向量计算单元,用于在直角坐标系中任意一点(x,y,d(x,y))的法向量求解公式为,其中, ,,根据向量叉积公式即可求得单位法向量表达式为;将深度图像数据代入单位法向量表达式可得
球坐标系单位法向量变换单元,用于将直角坐标系下的单位法向量变换到球坐标系下为,其中,
7.根据权利要求6所述的基于深度图像三维曲面几何特征的目标识别装置,其特征在于,所述法向量直方图生成模块包括:
二维直方图生成单元,用于统计每一个包含目标物体的深度图像在不同尺度变换因子下对应的深度图像中所有像素点在球坐标系下的单位法向量,生成相应尺度变换因子下对应的关于的二维直方图
归一化单元,用于对每一个包含目标物体的深度图像在不同尺度变换因子下生成的二维直方图进行归一化处理,将归一化到[0,1]之间,归一化到[0,π];
合并单元,用于将归一化后的不同尺度变换因子下对应的二维直方图相加,合并为该包含目标物体的深度图像对应的法向量直方图,以构建每一个包含目标物体的深度图像对应的法向量直方图。
8.根据权利要求7所述的基于深度图像三维曲面几何特征的目标识别装置,其特征在于,所述法向量直方图计算模块包括:
法向量直方图平均值计算单元,用于选择K个择包含目标物体S的深度图像样本,将K个包含目标物体的深度图像对应的法向量直方图平均值作为目标物体S的特征模板:,其中,K为正整数,i=1,2,3…K;
法向量直方图平均方差计算单元,用于计算目标物体S的法向量直方图平均方差,将每个样本的法向量直方图减去特征模板,直方图的平均值即为直方图的平均方差,求解公式为:
CN201310339133.7A 2013-08-06 2013-08-06 基于深度图像三维曲面几何特征的目标识别方法和装置 Expired - Fee Related CN103544492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310339133.7A CN103544492B (zh) 2013-08-06 2013-08-06 基于深度图像三维曲面几何特征的目标识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310339133.7A CN103544492B (zh) 2013-08-06 2013-08-06 基于深度图像三维曲面几何特征的目标识别方法和装置

Publications (2)

Publication Number Publication Date
CN103544492A CN103544492A (zh) 2014-01-29
CN103544492B true CN103544492B (zh) 2017-06-06

Family

ID=49967927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310339133.7A Expired - Fee Related CN103544492B (zh) 2013-08-06 2013-08-06 基于深度图像三维曲面几何特征的目标识别方法和装置

Country Status (1)

Country Link
CN (1) CN103544492B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599864B (zh) * 2016-12-21 2020-01-07 中国科学院光电技术研究所 一种基于极值理论的深度人脸识别方法
CN107169933B (zh) * 2017-04-14 2020-08-18 浙江光珀智能科技有限公司 一种基于tof深度相机的边缘反射像素校正方法
CN107273831A (zh) * 2017-06-05 2017-10-20 苏州大学 一种基于球空间的三维目标识别方法
CN109697444B (zh) * 2017-10-20 2021-04-13 ***通信有限公司研究院 基于深度图像的对象识别方法及装置、设备、存储介质
CN111539251B (zh) * 2020-03-16 2021-03-19 重庆特斯联智慧科技股份有限公司 一种基于深度学习的安检物品识别方法和***
CN112288791B (zh) * 2020-11-06 2024-04-30 浙江中控技术股份有限公司 一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置
CN113724332B (zh) * 2021-11-04 2022-01-18 贝壳技术有限公司 相机相对位姿的确定方法、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777129A (zh) * 2009-11-25 2010-07-14 中国科学院自动化研究所 一种基于特征检测的图像匹配方法
CN101888479A (zh) * 2009-05-14 2010-11-17 汉王科技股份有限公司 检测和跟踪目标图像的方法及装置
CN102663449A (zh) * 2012-03-12 2012-09-12 西安电子科技大学 基于最大几何流向直方图的人体运动跟踪方法
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150271A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888479A (zh) * 2009-05-14 2010-11-17 汉王科技股份有限公司 检测和跟踪目标图像的方法及装置
CN101777129A (zh) * 2009-11-25 2010-07-14 中国科学院自动化研究所 一种基于特征检测的图像匹配方法
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
CN102663449A (zh) * 2012-03-12 2012-09-12 西安电子科技大学 基于最大几何流向直方图的人体运动跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度图像的三维目标识别技术研究;李世飞;《中国博士学位论文全文数据库》;20120316;第18页倒数第一段-19页第3段,第68页第5段-第76页第5段 *

Also Published As

Publication number Publication date
CN103544492A (zh) 2014-01-29

Similar Documents

Publication Publication Date Title
CN103544492B (zh) 基于深度图像三维曲面几何特征的目标识别方法和装置
US10198623B2 (en) Three-dimensional facial recognition method and system
US10008005B2 (en) Measurement system and method for measuring multi-dimensions
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及***
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
CN106256124B (zh) 结构化立体
CN107016697B (zh) 一种高度测量方法及装置
CN106418847A (zh) 一种基于计算机视觉技术的人体三维尺寸测量方法
CN113077476A (zh) 一种高度测量方法、终端设备以及计算机存储介质
Chen et al. The location and identification of concentric circles in automatic camera calibration
CN109272546A (zh) 一种鱼苗长度测量方法及***
US9924865B2 (en) Apparatus and method for estimating gaze from un-calibrated eye measurement points
Angladon et al. The toulouse vanishing points dataset
CN108151647A (zh) 一种图像数据处理方法、装置及移动终端
CN110390012B (zh) 轨迹聚合方法、装置、存储介质及电子设备
CN105488798B (zh) 基于点集对比的sar图像相似性度量方法
CN109063717B (zh) 一种获取仪表中心点方法
CN106919928A (zh) 手势识别***、方法及显示设备
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和***
CN113744324A (zh) 一种多相似性测度结合的立体匹配方法
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN105423916B (zh) 一种物体尺寸的测量方法和测量***
US20220179485A1 (en) Gaze point estimation method, device, and electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170606