CN112085675A - 深度图像去噪方法、前景分割方法及人体运动监测方法 - Google Patents
深度图像去噪方法、前景分割方法及人体运动监测方法 Download PDFInfo
- Publication number
- CN112085675A CN112085675A CN202010894752.2A CN202010894752A CN112085675A CN 112085675 A CN112085675 A CN 112085675A CN 202010894752 A CN202010894752 A CN 202010894752A CN 112085675 A CN112085675 A CN 112085675A
- Authority
- CN
- China
- Prior art keywords
- point
- block
- value
- depth image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000033001 locomotion Effects 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 title claims abstract description 24
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000035772 mutation Effects 0.000 claims description 3
- 239000000945 filler Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000001914 filtration Methods 0.000 abstract description 2
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000011160 research Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000002955 isolation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 1
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种深度图像去噪方法、前景分割方法及人体运动监测方法。本发明先将深度图像分块,再对各区块基于基平面进行第一、第二特征点的标记,然后计算携带孤立信息和空间分布信息的第一参数,通过表示各区块的属性参数作为特征集,来对各区块进行聚类,进一步滤除盆地区块,保留高原区块以及判断高原区域最近延伸块第一、第二特征点灰度水平的差异进行边缘保护,完成去噪。对于去噪的ROI,利用多级别等值线进行前景分割。对于分割的人体对象,通过对分割的部位进行平面拟合及计算拟合平面与基本平面的夹角来实现对运动的监测。本发明无需进行建模或大量迭代运算,运算过程简单,处理效率高,准确性高。
Description
技术领域
本发明涉及图像处理领域,尤其是一种深度图像去噪方法、前景分割方法及人体运动监测方法。
背景技术
深度图像能够反映研究对象的深度信息,对于运动对象的研究具备良好的数据支撑。
深度图像的采集工具(如Kinect传感器)通常通过发射和接收空间中红外传感器的红外反射来计算深度图像,但是,如果被测物体离目标太远或是在目标处发生多次反射,那么研究对象周围就会出现大量不均匀的噪声,在深度图像中,噪声同样具备深度信息,并且噪声具有不规律性和不确定性,因此,噪声对于后续对研究对象的深度信息的分析计算具有极大的影响。最直接的,通常对于研究对象的分析是需要将研究对象的深度信息从深度图像中提取/分割出来的,而噪声由于同样具备深度信息,则能够影响对于研究对象的提取和分割。
现有技术中,有通过深度图像的图像熵来进行去噪的方案,例如CN105005975A所公开的基于PCNN和图像熵的各向异性扩散的图像去噪方法,CN104268844A公开的基于加权局部图像熵的小目标红外图像处理方法和CN111047521A公开的基于图像熵的红外图像非均匀性参数化校正优选方法等。但是,这些方法均需要进行建模、迭代运算等大量的数据处理工作,方法较为复杂,效率较低,并且去噪效果也不尽理想。
发明内容
本发明的发明目的在于:针对上述存在的问题,提供一种深度图像去噪方法,以提供一种简单、高效的去噪方法,对深度图像进行准确地去噪。
本发明采用的技术方案如下:
一种深度图像去噪方法,用于对深度图像的噪声区域进行去噪,该噪声区域被等尺寸划分为若干区块,所述深度图像去噪方法包括以下步骤:
分别对每一区块均进行以下A-B的计算:
A.于区块中基于基平面分别确定第一特征点和第二特征点,所述第一特征点为像素值位于基平面下方的像素点,第二特征点为像素值位于基平面上方的像素点。此步骤的目的是对每个区块的第一、第二特征点进行标记。
B.通过每个第二特征点的点权重和对应于每个第二特征点的最小位置匹配,计算第一参数。第二特征点的像素值位于基平面上方,则其携带有较为突出的特征,应用其特征可以进一步描述出区块的特征。
C.以各区块的所述第一参数,以及第一特征点、第二特征点的属性参数作为各区块的特征集,采用聚类方法将各区块分为三类:对应低灰度范围的第一类,灰度值携带突变值的第二类以及具备相对平坦表面的第三类;将第一类区块平坦化,保留第三类区块,根据第三类区块最近延伸区块的第二特征点与第一特征点的灰度差异,决定保留或平坦化对应的第二类区块。
低灰度范围区块属于背景区域,不携带研究对象的深度信息,可直接背景化处理,而灰度值携带突变值的区块极可能是研究对象与背景间的边缘区块,需要根据区块的特征做进一步的判断,而具备相对平坦表面的区块属于研究对象主体内部,携带研究对象的深度信息,可直接保留。这样,通过简单的统计分析,即可较为准确地将噪声去除,整个运算过程简单、高效。
进一步的,所述步骤A中,所述基平面的值为区块内各像素的灰度值的均值。各区块的基平面基于自身的灰度值计算得出,进而可以凸显出各个区块中较为突出的特征。
进一步的,所述步骤B中,第二特征点的点权重的计算方法包括:
分别以逻辑1和0对区块中的第一特征点和第二特征点的像素进行描述,对第二特征点邻域周围NxN区域通过下式计算出对应的点权重:
其中,w是第二特征点的点权重,aij是第二特征点在该NxN邻域内的像素逻辑值,N为大于等于3的整数。所谓的第二特征点邻域周围区域,是以该第二特征点作为中心的区域。由于第二特征点作为区块内灰度值的突出点,并且对各特征点的像素灰度进行了逻辑替换,使得上述方法可以评估出区块内第二特征点的孤立程度,便于后期统一进行逻辑运算。
进一步的,所述步骤B中,对应于第二特征点的最小位置匹配的计算方法包括:
PM=min{(|(m-xi)|+|(n-yi)|)|i=1,2,…,No}
其中PM是计算的最小位置匹配;(m,n)表示区块中的一个第二特征点的坐标位置,(xi,yi)表示除(m,n)点之外的其他第二特征点的坐标值,min为计算最小值的功能函数,No是除当前第二特征点之外的其他第二特征点的数目。最小位置匹配能够反映区块中所有第二特征点之间的空间分布关系,与点权重实现了特征描述互补。
进一步的,所述步骤B中,第一参数的计算方法为:分别计算对应于每个所述第二特征点的点权重和最小位置匹配的乘积,再取所有所述乘积的均值。
由于对第一、第二特征点的像素灰度进行了逻辑替换,使得点权重可参与逻辑运算,将点权重和最小位置匹配相乘,可以描述各第二特征点的孤立程度及与其余第二特征点间的空间分布关系,进行平均后可以描述出区块的对应特征。对应到完整方案,可以更为准确地描述出噪点。
进一步的,所述步骤C中,所述第一特征点、第二特征点的属性参数分别为:所述第一特征点和所述第二特征点的灰度均值。
本发明还提供了一种前景分割方法,用于从具备深度信息的ROI(region ofinterest,感兴趣区域)中分割前景,所述ROI应用上述的深度图像去噪方法进行去噪;所述前景分割方法包括:根据所述ROI的像素在灰度级上的分布,利用若干级别的等值线分别对所述ROI的主体轮廓进行提取,再合并各级别等值线所提取的轮廓,利用合并后的轮廓对所述ROI进行分割,即得到前景。
上述基于等值线的轮廓提取方法,可以提高所提取边缘的连续性和完整性。
进一步的,所述利用合并后的轮廓对所述ROI进行分割的方法包括:
对合并后的轮廓区域进行填充:将轮廓边缘内的区域填充逻辑1,超出边缘的区域填充逻辑0,得到填充图像;
将所述ROI与所述填充图像相乘。
对轮廓边缘内区域进行逻辑填充后,可以使得填充区域能够参与逻辑运算。而将经过逻辑填充后的区域与ROI(运算对象)直接相乘,即可直接提取出前景区域,无需进行复杂的运算,消耗的算力少,运算效率高。
本发明还提供了一种人体运动监测方法,用于对具备深度信息的人体图像的人体前景进行分析,所述人体图像中的人体前景通过上述的前景分割方法分割得到;所述人体运动监测方法包括:
A.身体部位分割的步骤;
B.对分割的各身体部位进行平面拟合及计算拟合平面与基本平面的夹角的步骤;
C.定位夹角在时间轴上的突变值以记录为有效运动的步骤。
深度信息可以反映变化区域距离或角度的变化,在深度图像中,当被观测对象的距离或方位发生变化,则深度点在三维空间中的分布也随之发生变化,通过对三维空间中角度的变化监测即可实现对监测对象运动状态的监测,且能够实现对三维运动状态的监测。
进一步的,所述步骤C包括:
C1、将夹角沿时间轴进程进行统计;
C2、保留大于夹角平均值的夹角值作为突出值,将其余夹角值置0;
C3、依据以下规则对有效运动进记录:
当由一个突出值之后连续K1帧内出现突出值时,视为一次动作的延续;
当由一个突出值之后出现超过K2帧的夹角值均置0时,记作一次运动结束,K1、K2均为正整数,K1<K 2。
一个动作往往会延续多帧的时间,即一个动作发生时,往往会在连续多帧存在相似的平面夹角,对于运动量的统计则需要对是否属于连续动作进行区分。上述方法即可根据对应的监控对象进行相应阈值的设定(或根据经验值设定),从而准确、高效地完成运动量的统计。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明的深度图像去噪方法,依据深度图像的固有特征,采用了全新的去噪设计理念,根据噪点的分布特性对噪声进行滤除,节省了传统方法中的建模、迭代数据量大等运算量极大的数据处理工作,运算效率高,去噪规则符合噪声分布特点,使得去噪更具针对性,去噪效果更好。
2、本发明的前景分割方法采用多级别等值线对主体进行边缘提取,提高了轮廓的连续性和完整性,并且能够进一步过滤掉噪声。此外,前景分割过程中,采用逻辑替换的方法,使得能够对ROI区域进行直接的逻辑运算,运算效率高,保真度高。
3、本发明的人体运动监测方法根据三维空间的运动分布特点,对主体的平面角度变化进行监控,对于运动状态的监测准确性高,对于运动量的统计结果准确。
4、本发明所设计的所有方法,均无需进行前期的建模,节省了前期大量的样本采集工作和模型训练工作。也无需对监测数据进行大量迭代运算,大幅节省了算力资源和运算时间,提高了运算结果的准确性和运算资源的可靠性。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是基于深度图像及骨骼图像的ROI提取流程示意图。
图2是噪声分布特点示图。
图3是通过熵分布定位噪声区域的流程示意图。
图4是基平面区分第一特征点和第二特征点的两个实施例。
图5是对区块中第一特征点和第二特征点进行逻辑替换的示意图。
图6是区块中第二特征点的点权重计算实施例。
图7是4个区块的第一参数计算实施例。
图8是结合均值聚类的分区块去噪流程示意图。
图9是不同级别等值线提取主体轮廓的示意图。
图10是ROI区域提取流程示意图。
图11是头部及四肢分割流程示意图。
图12是头部区域夹角统计的一个实施例。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
Kinect通过发射和接收空间中红外传感器的红外反射来计算深度图像。其在固定位点具有一定的视野范围,因此,如果被测物体离目标太远或是在目标处发生多次反射,那么研究对象周围就会出现不均匀的噪声,如图1(a)所示,人物周围出现了不同程度的噪声。对于研究对象的后续研究,为确保精确性,需要对噪声先行滤除,首先就需要定位深度图像中的噪声区域。对此,本实施例提出了一种深度图像噪声区域定位方法。
深度图像噪声区域定位方法,该方法首先从深度图像中提取ROI,以自然人作为研究对象为例,则ROI为人体所在区域。
Kinect采集得到的深度图像与骨骼图像具有相同的坐标空间。因此,如图1所示,这两种图像中的人物都可以通过相同的坐标来进行定位。图1中,(a)为原始深度图像,(b)为骨骼图像,(c)为提取的ROI。通过对深度图像中对象所在的深度区域对照骨架图像进行行、列投影,即可在深度图像中定位对象,进一步提取定位区域即得到ROI。
深度图像中噪声的分布具有不规律性和不确定性,如图2所示为深度图像中噪声的分布特点。基于该不规律性和不确定性的特点,可以进行噪声域的定位,而熵能反映一个区域内的信息量和数据点分布的不确定性,因此本实施例基于图像熵值分布来进行噪声域的定位。
在本噪声定位方法中,ROI区域被分割成一个个4x 4像素大小(或其他尺寸,以N xN表示,下同)的区块,对于每个区块,用其熵值来进行替代表示。熵的计算公式如(1):
其中H(x)是当前区块所有像素点计算得到的熵,P(*)为具有特定灰度值的元素在该区块内的出现概率,ai表示每个像素点的灰度值。
如图3所示,通过上述计算,可以得到ROI区域的熵分布图,根据该熵分布图,可以发现噪声分布区域计算得到的熵值更高。将熵分布图进行行投影,在投影曲线中,噪声区域呈现为不同的突出峰,通过对峰值区间的确定即可以确定噪声区域。对于人体研究对象而言,根据人体边缘特性,直接由均值水平确定噪声区域,通过计算熵的均值,将熵值高于均值的区块标定位噪声区域。
对于已标定的噪声区域,即可进行进一步的噪声滤除处理。为此,本实施提供了一种深度图像去噪方法,其包括:
分别对噪声区域的每一区块进行以下A-B的计算:
A.于区块中基于基平面分别确定第一特征点和第二特征点。
深度图像中的噪声表现为一些类地理分布特点,如“孤立峰”、“盆地”和“平原”。在噪声区域,一些“平原”介于“孤峰”之间,而主体分割区域表现为类“高原”的特点。基于该特点,提取完整对象边缘的关键是使“孤立峰”和“盆地”区块背景化,从而突出对象所在的深度区域。基于“孤峰”和“盆地”在灰度分布上存在差异的特点,可以基于灰度值分布建立一个基平面来对“孤峰”和“盆地”进行区分,该基平面的计算方法为:
其中Bm是基平面的值,N是一个选定区域中的像素数量,G是选定区域中每个像素的灰度值,M1和M2分别是选定区域内第一特征点和第二特征点的灰度均值,N1和N2分别表示选定区域内第一特征点和第二特征点的数目。图4给出了基平面的两个示例。
如图4所示,4x4的区块中的各像素点被区分为第一特征点和第二特征点,像素值位于基平面上方的点(像素点)为第二特征点,下方的点为第一特征点。通过基平面作为分界面,每个区块中的第一特征点和第二特征点均可以被区分出来。
B.计算区块的第一参数。
对区块中的第一特征点的灰度值使用逻辑1表示,第二特征点的灰度值使用逻辑0表示,如图5所示为对某一区块各像素点的灰度值进行逻辑数值替换后的结构,在各区块内,第一特征点标记为1,第二特征点标记为0。则区块的第一参数的计算过程包括:
B1.计算区块中每个第二特征点的点权重。
完成对所划分的区块的各像素点的灰度值标记(使用逻辑1或0进行表示),对于各像素点的标记结果可以用来计算一个第二特征点在以其为中心的3x3(或其他更大的方形尺寸,此处仅以3x3为例,同时也是为了与深度图像的分辨率进行较好的匹配)模板中的孤立程度,通过统计第二特征点在该3x3模板中周围第一特征点的数目来进行判断,通过式(5)进行计算。
其中w是每个第二特征点的点权重,aij是第二特征点邻域周围(该第二特征点为3x3区域的中心)的像素(不属于8个邻域中选定区域的像素被设置为零),因为所有的第二特征点都是0,所以w也表示第二特征点周围有效第一特征点数。如图6所示为计算一个区块中第二特征点的点权重的示例。点权重能反映每个第二特征点的孤立程度,但是不能反映所有第二特征点之间的空间分布关系。因此,还需要对第二特征点的空间分布关系进行描述。
B2.计算区块中每个第二特征点与其他第二特征点的最小位置匹配。
利用式(6)计算各区块中每个第二特征点的最小位置匹配:
PM=min{(|(m-xi)|+|(n-yi)|)|i=1,2,...,No} (6)
其中PM是计算的最小位置匹配;(m,n)表示区块中的一个第二特征点的坐标位置,(xi,yi)表示除(m,n)点之外的其他第二特征点的坐标值,min为计算最小值的功能函数,No是除当前第二特征点之外的其他第二特征点的数目。
B3.通过每个第二特征点的点权重和对应于每个第二特征点的最小位置匹配,计算第一参数。
第一参数(由MPD表示)由式(7)计算得到:
其中,N是一个区块(4x4区域)内第二特征点的数量。如图7所示分别为四个区块的第一参数的计算示例。
如图7所示,第一参数可以反映第二特征点的位置分布关系。另外,它在保护边缘方面具有较大的优势,因为具有类边缘特性的区块具有较小的第一参数值,如图7(a)和(b)所示。利用第一参数,结合噪点的孤立存在特点,可以通过评估像素的分布特性来预判当前的区域是否是噪声区块。
C.使用聚类方法滤除噪声区域中的噪声。
采用三个特征(MPD、M1和M2)作为特征集,以这个特征集描述各区块的特征。
将区块分为3组,随机选取3个区块的特征集作为初始的聚类中心,然后计算每个特征集与各个聚类中心之间的距离,把参与当前计算的特征集分配给距离它最近的聚类中心。聚类中心以及分配给它们的特征集就代表一个聚类。每分配一个样本(特征集),聚类的聚类中心会根据聚类中现有的对象被重新计算,直到聚类中心不再发生变化,误差平方和局部最小,则完成一次聚类。参与计算的各区块可分为三种类型:低灰度范围的“盆地”、携带“孤立峰”的“平原”和具有相对平坦表面的“高原”。主体的深度信息区域大部分是“高原”,而其他被分类区域则通过主体区块延伸判断是否为可能边缘块进行平坦化或保留。
如图8所示,通过聚类,结合提取的特征集可以区分具有不同分布特征的区块。根据区块标签(聚类结果),将“盆地”区块替换为平坦背景,保留检测到的“高原”区域,判断“高原”区域邻近的携带“孤立峰”的“平原”区块的第二特征点与第一特征点灰度水平是否有显著差异(M1<M2/2),进行边缘保护(若M1<M2/2,则保留,否则替换为平坦背景)。然后,消除被观测对象周围的其他噪声区块干扰。至此,完成了对ROI的去噪。
对于研究对象,在对深度图像进行去噪后,需要提取出研究对象的边缘内的深度信息(即前景分割)来进一步研究,边缘提取是深度图像中进行前景物体分割的重要环节。由于kinect是通过发射和接收红外反射来测量距离,前景物体和背景边界上的噪声就形成了边缘,且在被观察对象的边缘有许多断点。传统的边缘提取方法在这种情况下是不适用的,由于这些方法没有考虑到边缘的连续性和完整性,提取出的边缘可能存在多个断点,从而影响对象的分割。对此,本实施例提供了一种前景分割方法,该方法采用等值线来提取对象的边缘。在等值线的计算中,采用线性插值来保持边缘的连续性。使用不同深度级的等值线来提取边缘可以提高边缘的连续性和完整性。
基于上述实施例中的ROI,采用4个级别的等值线对主体轮廓进行提取,等值线的值分别为50、100、150、200。在其他实施例中,可根据ROI像素在灰度级上的分布,对等值线的级别、数值进行适应性调整。如图9所示为主体区域在不同级别等值线上的等高轮廓信息。
如图10所示为ROI区域的提取过程,图10(b)为将各等级等值线提取的轮廓进行合并(投影到同一平面)的结果,在此基础上,将边缘之间的区域用逻辑值1填充,而超出边缘的其他区域用逻辑值0标记,得到填充图像如图10(c)所示,最后将去噪后的ROI深度图像与填充图像相乘,即可提取研究对象的深度信息,如图10(d)所示。
基于上述对研究对象边缘深度信息的提取,本实施例还公开了一种人体运动监测方法。该方法能够应用到ADHD症状患者的状态分析中,以为临床医生提供更准确、客观的信息。该人体运动监测方法包括:
A.身体部位的分割步骤。
人体活动的部位包括头部、躯干和四肢,在此,本发明将人体区域分割为五个部分:
根据人体器官比例的特征,头部比例较小,根据躯干的行投影,可以从逻辑图像中快速定位到头部区域,从而根据定位将深度图像中的人体头部分割出来。然后将逻辑图像中的头部区域设置为零,计算除头部外的身体质心。根据质心(x,y)的位置,将人体区域划分为4个部分。第x行第y列中的像素被设置为零,将身体分割成四个部分,如图11所示,对应从深度图像中提取每个部分的深度信息。
B.平面拟合及夹角计算。
深度信息可以反映变化区域距离或角度的变化。在深度图像中,当被观测对象的距离或方位发生变化时,深度点在三维空间中的分布也随之发生变化。通过线性回归方法,可以对深度点的分布进行平面拟合,以反映出运动变化情况。
随机选取一个基本平面,利用线性回归方法新拟合区域平面,用式(8)计算新拟合平面与基本平面之间的夹角。
其中θ是计算的夹角,a是新拟合平面的法向量,b是基本平面的法向量。夹角的变化可以反映研究对象的运动幅度。如图12所示为头部区域中夹角随时间变化过程的一个示例。
如图12所示,线条是从时间序列中的头部区域计算出的夹角的轨迹。结果表明,大多数夹角具有相似的值,而轨迹中的某些夹角具有显著值。这意味着深度信息的分布与基本平面相比发生了变化。因此,基平面与新拟合平面之间的夹角发生了显著变化。对于发生变化的区域,通过统计运动量(动作发生次数)来反应动作的剧烈程度。
运动量的统计是基于夹角的曲线,根据时间轴上夹角的变化,利用时间序列的突变来定位运动区域,这些突变值由曲线上所有点的统计平均值来进行检测,高于平均值即视为突变。判断动作是否发生的方法如下:
1)夹角值大于整体夹角轨迹曲线均值水平,这些值被保留作为突出值,低于均值水平的夹角值置为0;
2)针对突出值,当一个动作发生时,往往会在连续多帧存在相似的平面夹角,对每一突出值,对其沿着时间轴向后进行突出值检索,当在连续K1帧(K1<10,K1为正整数)内出现突出值时,认为是同一个动作的连续,统计为一次运动;从检测到的新的突出值继续向后方判断,当出现连续K2帧(K2>=10,K2为正整数)置0值时,认为当前动作状态改变,将当前运动状态的改变计为一次运动。
例如,对每一突出值,对其后向进行突出值检索,当在连续5帧内出现突出值时,认为是同一个动作的连续;当由突出值向右检索出现超过10帧置0值时,记作两次运动,因为发生了两次夹角的突变。当然,还可根据研究对象的特点进行相应门限的设定,只要不脱离基本要求即可。
通过上述方法,即可判断出各部位(头部、四肢)的运动发生情况,无需对各部位进行姿势检测,方法更加高效且更容易实现。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (10)
1.一种深度图像去噪方法,用于对深度图像的噪声区域进行去噪,该噪声区域被等尺寸划分为若干区块,其特征在于,所述深度图像去噪方法包括以下步骤:
分别对每一区块均进行以下A-B的计算:
A.于区块中基于基平面分别确定第一特征点和第二特征点,所述第一特征点为像素值位于基平面下方的像素点,第二特征点为像素值位于基平面上方的像素点;
B.通过每个第二特征点的点权重和对应于每个第二特征点的最小位置匹配,计算第一参数;
C.以各区块的所述第一参数,以及第一特征点、第二特征点的属性参数作为各区块的特征集,采用聚类方法将各区块分为三类:对应低灰度范围的第一类,携带突变值的第二类以及具备相对平坦表面的第三类;将第一类区块平坦化,保留第三类区块,根据第三类区块最近延伸区块的第二特征点与第一特征点的灰度差异,决定保留或平坦化对应的第二类区块。
2.如权利要求1所述的深度图像去噪方法,其特征在于,所述步骤A中,所述基平面的值为区块内各像素的灰度值的均值。
4.如权利要求1所述的深度图像去噪方法,其特征在于,所述步骤B中,对应于第二特征点的最小位置匹配的计算方法包括:
PM=min{(|(m-xi)|+|(n-yi)|)|i=1,2,...,No}
其中PM是计算的最小位置匹配;(m,n)表示区块中的一个第二特征点的坐标位置,(xi,yi)表示除(m,n)点之外的其他第二特征点的坐标值,min为计算最小值的功能函数,No是除当前第二特征点之外的其他第二特征点的数目。
5.如权利要求1所述的深度图像去噪方法,其特征在于,所述步骤B中,第一参数的计算方法为:分别计算对应于每个所述第二特征点的点权重和最小位置匹配的乘积,再取所有所述乘积的均值。
6.如权利要求1所述的深度图像去噪方法,其特征在于,所述步骤C中,所述第一特征点、第二特征点的属性参数分别为:所述第一特征点和所述第二特征点的灰度均值。
7.一种前景分割方法,用于从具备深度信息的ROI中分割前景,其特征在于,所述ROI应用如权利要求1~6任一所述的深度图像去噪方法进行去噪;所述前景分割方法包括:根据所述ROI的像素在灰度级上的分布,利用若干级别的等值线分别对所述ROI的主体轮廓进行提取,再合并各级别等值线所提取的轮廓,利用合并后的轮廓对所述ROI进行分割,即得到前景。
8.如权利要求7所述的前景分割方法,其特征在于,所述利用合并后的轮廓对所述ROI进行分割的方法包括:
对合并后的轮廓进行填充:将轮廓边缘之间的区域填充逻辑1,超出边缘的区域填充逻辑0,得到填充图像;
将所述ROI与所述填充图像相乘。
9.一种人体运动监测方法,用于对具备深度信息的人体图像的人体前景进行分析,其特征在于,所述人体图像中的人体前景通过如权利要求7或8所述的前景分割方法分割得到;所述人体运动监测方法包括:
A.身体部位分割的步骤;
B.对分割的各身体部位进行平面拟合及计算拟合平面与基本平面的夹角的步骤;
C.定位夹角在时间轴上的突变值以记录为有效运动的步骤。
10.如权利要求9所述的人体运动监测方法,其特征在于,所述步骤C包括:
C1、将夹角沿时间轴进程进行统计;
C2、保留大于夹角平均值的夹角值作为突出值,将其余夹角值置0;
C3、依据以下规则对有效运动进记录:
当由一个突出值之后连续K1帧内出现突出值时,视为一次动作的延续;
当由一个突出值之后出现超过K2帧的夹角值均置0时,记作一次运动结束,K1、K2均为正整数,K1<K2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010894752.2A CN112085675B (zh) | 2020-08-31 | 2020-08-31 | 深度图像去噪方法、前景分割方法及人体运动监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010894752.2A CN112085675B (zh) | 2020-08-31 | 2020-08-31 | 深度图像去噪方法、前景分割方法及人体运动监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112085675A true CN112085675A (zh) | 2020-12-15 |
CN112085675B CN112085675B (zh) | 2023-07-04 |
Family
ID=73731231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010894752.2A Active CN112085675B (zh) | 2020-08-31 | 2020-08-31 | 深度图像去噪方法、前景分割方法及人体运动监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112085675B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112887605A (zh) * | 2021-01-26 | 2021-06-01 | 维沃移动通信有限公司 | 图像防抖方法、装置及电子设备 |
CN112907569A (zh) * | 2021-03-24 | 2021-06-04 | 北京房江湖科技有限公司 | 头部图像区域的分割方法、装置、电子设备和存储介质 |
CN115861357A (zh) * | 2023-02-27 | 2023-03-28 | 常州微亿智造科技有限公司 | 基于k均值聚类与点位规划的工件过渡边缘检测方法 |
CN117393116A (zh) * | 2023-12-12 | 2024-01-12 | 中国人民解放军空军军医大学 | 一种便携式dr设备的医疗影像数据传输***及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132803A1 (en) * | 2015-05-11 | 2017-05-11 | Boe Technology Group Co., Ltd. | Apparatus and method for processing a depth image |
CN111340824A (zh) * | 2020-02-26 | 2020-06-26 | 青海民族大学 | 一种基于数据挖掘的图像特征分割方法 |
CN111539895A (zh) * | 2020-04-30 | 2020-08-14 | 广州市百果园信息技术有限公司 | 一种视频去噪方法、装置、移动终端和存储介质 |
-
2020
- 2020-08-31 CN CN202010894752.2A patent/CN112085675B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132803A1 (en) * | 2015-05-11 | 2017-05-11 | Boe Technology Group Co., Ltd. | Apparatus and method for processing a depth image |
CN111340824A (zh) * | 2020-02-26 | 2020-06-26 | 青海民族大学 | 一种基于数据挖掘的图像特征分割方法 |
CN111539895A (zh) * | 2020-04-30 | 2020-08-14 | 广州市百果园信息技术有限公司 | 一种视频去噪方法、装置、移动终端和存储介质 |
Non-Patent Citations (3)
Title |
---|
POLIN LAI 等: "Depth map processing with iterative joint multilateral filtering" * |
YATONG XU 等: "Spatial-temporal depth de-noising for Kinect based on texture edge-assisted depth classification" * |
嵇晓强: "图像快速去雾与清晰度恢复技术研究", pages 138 - 62 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112887605A (zh) * | 2021-01-26 | 2021-06-01 | 维沃移动通信有限公司 | 图像防抖方法、装置及电子设备 |
CN112887605B (zh) * | 2021-01-26 | 2022-09-30 | 维沃移动通信有限公司 | 图像防抖方法、装置及电子设备 |
CN112907569A (zh) * | 2021-03-24 | 2021-06-04 | 北京房江湖科技有限公司 | 头部图像区域的分割方法、装置、电子设备和存储介质 |
CN112907569B (zh) * | 2021-03-24 | 2024-03-15 | 贝壳找房(北京)科技有限公司 | 头部图像区域的分割方法、装置、电子设备和存储介质 |
CN115861357A (zh) * | 2023-02-27 | 2023-03-28 | 常州微亿智造科技有限公司 | 基于k均值聚类与点位规划的工件过渡边缘检测方法 |
CN115861357B (zh) * | 2023-02-27 | 2023-06-20 | 常州微亿智造科技有限公司 | 基于k均值聚类与点位规划的工件过渡边缘检测方法 |
CN117393116A (zh) * | 2023-12-12 | 2024-01-12 | 中国人民解放军空军军医大学 | 一种便携式dr设备的医疗影像数据传输***及方法 |
CN117393116B (zh) * | 2023-12-12 | 2024-03-15 | 中国人民解放军空军军医大学 | 一种便携式dr设备的医疗影像数据传输***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112085675B (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112085675B (zh) | 深度图像去噪方法、前景分割方法及人体运动监测方法 | |
CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
CN104008553B (zh) | 融合影像梯度信息和分水岭方法的裂缝检测方法 | |
CN104299260B (zh) | 一种基于sift和lbp的点云配准的接触网三维重建方法 | |
CN102722890B (zh) | 基于光流场模型的非刚性心脏图像分级配准方法 | |
CN109658515A (zh) | 点云网格化方法、装置、设备及计算机存储介质 | |
CN110335234B (zh) | 一种基于古文物LiDAR点云的三维变化检测方法 | |
CN105868707B (zh) | 一种基于深度图像信息的坠床行为实时检测方法 | |
CN107481287A (zh) | 一种基于多标识的物体定位定姿方法及*** | |
CN104715238A (zh) | 一种基于多特征融合的行人检测方法 | |
CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
CN110148217A (zh) | 一种实时三维重建方法、装置及设备 | |
Pound et al. | A patch-based approach to 3D plant shoot phenotyping | |
CN106327451A (zh) | 一种古生物化石的图像修复方法 | |
CN113066064A (zh) | 基于人工智能的锥束ct图像生物结构识别及三维重建*** | |
CN116358449A (zh) | 一种基于双目面结构光的飞机铆钉凹凸量测量方法 | |
CN105488798B (zh) | 基于点集对比的sar图像相似性度量方法 | |
CN111259788A (zh) | 头颈拐点的检测方法、装置以及计算机设备 | |
CN106778491A (zh) | 人脸3d特征信息的获取方法及设备 | |
CN108447038A (zh) | 一种基于非局部全变分算子的网格去噪方法 | |
Niessen et al. | Error metrics for quantitative evaluation of medical image segmentation | |
Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
CN116778559A (zh) | 基于高斯过程与随机变换的面部皱纹三维评价方法及*** | |
CN110717471B (zh) | 基于支持向量机模型b超图像目标检测方法及b超扫描仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |