CN107452032A - 人体背部深度图像预处理方法 - Google Patents
人体背部深度图像预处理方法 Download PDFInfo
- Publication number
- CN107452032A CN107452032A CN201710629433.7A CN201710629433A CN107452032A CN 107452032 A CN107452032 A CN 107452032A CN 201710629433 A CN201710629433 A CN 201710629433A CN 107452032 A CN107452032 A CN 107452032A
- Authority
- CN
- China
- Prior art keywords
- mrow
- depth
- depth image
- human body
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000002146 bilateral effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 230000009977 dual effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 2
- 206010039722 scoliosis Diseases 0.000 description 25
- 239000011436 cob Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 208000007623 Lordosis Diseases 0.000 description 1
- 241001606201 Patia Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000002972 idiopathic scoliosis Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人体背部深度图像预处理方法。其采用深度相机获取人体模型的深度图像，再对获取的深度图像采用了双阈值分割方法，将待重构的人体从背景图像中分离出来，并采用联合双边滤波法对提取后的深度图像进行平滑滤波和填补空洞；再通过对深度相机进行标定将滤波后的深度图像转化为三维点云，采用基于点云距离平均值的阈值滤波方法进行滤波处理，从而大大减少了利用预处理后的人体背部深度图像进行三维重构的运算量，同时降低了背景对人体背部深度图像的干扰。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种人体背部深度图像预处理方法。
背景技术
脊柱侧弯又称脊柱侧凸，是由于人体冠状面上脊柱节段对背部中心线形成偏离，并向侧方弯曲造成的。一般还伴有脊柱旋转以及矢状面上的后凸或前凸等症状。造成脊柱侧弯的因素很多，其中原因不明确的称为特发性脊柱侧弯，刘尚礼等在脊柱侧弯的普查中发现特发性患者占96.9％。对于脊柱侧弯的衡量标准不完全相同，部分学者将在冠状面所测得的Cobb角大于5°的患者判断为脊柱侧弯，而一般是将Cobb角大于10°的患者判断为脊柱侧弯。
刘尚礼等2002年对广东87546名青少年进行了脊柱侧弯普查，患病率为0.7500。周惠清等2009年对福建省惠安县32280名中小学生脊柱侧弯进行了普查，患病率为0.73％。脊柱侧弯除了引起背部的不对称，造成体形瑕疵，严重时会导致继发性胸廓畸形，进而引起内脏功能障碍，尤其对生长发育阶段青少年的身心造成严重伤害。从上述普查的结果可知，脊柱侧弯在青少年中有一定的患病比例，如果不能尽早发现并治疗，会给很多青少年的身心发育造成危害。
传统脊柱侧弯检测用的X光线具有强放射性，对青少年生长发育不利。国外新开发的无害检测***价格高昂，很难让普通医院一般患者用的起，因为目前只是北京市有几台，西南地区华西医院尚且没有，更不用说其他医院了。因而研究简单易行的脊柱侧弯检查方法具有十分重要的社会价值和意义。
对脊柱侧弯进行检查的方法有很多，大致可分为物理测量方法及图像测量方法两类。物理测量方法是指在对脊柱侧弯进行测量时与人体背部有直接接触的方法，主要有Adams向前弯腰试验、应用脊柱侧凸尺测量躯干旋转角度、测量肋骨隆凸等方法；图像测量方法是指在检查时不与人体背部进行直接接触的方法，主要有莫尔(Moire)图像测量法、X光片测量法、结构光测量法、激光扫描仪测量法等。在普查中除了观察如双肩是否等高特征外，都使用了Adams向前弯腰试验，并对可疑患者进一步利用X光片测量法进行检查。Patias等对Adams向前弯腰试验、光学测量技术等多种测试方法的测量参数做出了说明及比较。熊龙等自制脊柱侧弯测量仪用于脊柱侧弯筛查。
目前图像处理技术己经作为一种有效的视觉检测工具引入医学界，其中X光片、莫尔图像用于脊柱侧弯的检测中相对较多。由于X光的辐射性对人体健康会造成潜在危害，X光片测量法一般不用于普查，而是用于对普查筛选出来的病例进行进一步精确的检查。另外，邱勇指出X光测量法只侧重冠状面上的Cobb角，而对于脊柱旋转引起的脊柱侧弯的检测不明显。莫尔图像为基于周期性光栅所获得的图像，对于物体细小的转动和变形比较敏感。在医学上莫尔图像又称云纹图。利用莫尔图像对脊柱侧弯进行检查开始较早，1979年Willner建立起莫尔图像的非对称性与Cobb角之间的关系，以此来判断脊柱侧弯，作者也指出在凹的部位莫尔条纹变形严重，而在凸的部位显得清晰。1983年Kamal给出了用莫尔图像中莫尔条纹上的一对非对称点信息计算Cobb角的公式。2008年郭伟等介绍了云纹图在脊柱健康普查以及矫形手术等方面的作用。在2001年一2008年期间，Kim等在利用人体背部的莫尔图像对称性特征进行脊柱侧弯判断方面做了一系列的工作。2010年Gaal等利用Kamal所提公式，对同一患者选择莫尔图像中7对非对称点，计算出7个Cobb角，将其统计平均后作为最终的Cobb角，以此对脊柱侧弯进行判断。
前两种图像测量方法都是从二维图像中提取特征信息来判断脊柱侧弯，为提高判断的准确度，人们提出了从背部的三维信息中提取特征来判断脊柱侧弯。Berryman等利用矩形结构光重建出人体背部，并提取其三维对称性特征来判断脊柱侧弯。Ramirez等利用Minolta VIVID 700激光扫描仪获取背部的三维精确数据，根据其对称性特征和支持向量机方法判断脊柱侧弯，辨别率为85％。Chong等提出一种用于户外脊柱侧弯的影像测量技术。
由于物理测量方法是基于人工的检测，在对大量的人群进行普查时，人工检测变得相当繁琐，效率较低，而且医师会由于疲劳造成错判和误判。为减少人工的参与，提高效率，避免医师主观因素带来的误差，在对脊柱侧弯进行检测问题上，图像测量方法是比较好的方法。
发明内容
本发明的发明目的是：为了解决以上问题，本发明提出了一种人体背部深度图像预处理方法。
本发明的技术方案是：一种人体背部深度图像预处理方法，包括以下步骤：
A、采用深度相机获取人体模型的深度图像；
B、采用深度双阈值方法提取步骤A中深度图像的对象；
C、对步骤B中提取后的深度图像进行联合双边滤波处理；
D、对步骤A中的深度相机进行标定，将步骤C中滤波后的深度图像转化为三维点云，得到人体点云重构图；
E、采用基于点云距离平均值的阈值滤波方法对步骤D中的人体点云重构图进行滤波处理，完成人体背部深度图像预处理。
进一步地，所述步骤A采用深度相机获取人体模型的深度图像具体包括以下分步骤：
A1、利用深度相机的Kinect传感器获取人体模型的深度信息；
A2、利用深度帧读取器读取步骤A1中的深度信息，得到距离当前时刻最近的一帧深度信息；
A3、将步骤A2中得到的深度信息转换为MAT格式，并利用opencv的imshow进行显示；
A4、回收并释放内存，得到人体模型的深度图像。
进一步地，所述步骤B采用深度双阈值方法提取步骤A中深度图像的对象具体包括以下分步骤：
B1、读取步骤A中深度图像的深度帧，并进行位操作得到深度数据；
B2、设定两个深度阈值；
B3、判断步骤B1中的深度数据是否处于两个深度阈值之间；
B4、若深度数据处于两个深度阈值之间，则保持深度数据不变；
B5、显示并获取提取后的深度图像；
B6、若深度数据不处于两个深度阈值之间，则进行步骤B5。
进一步地，所述步骤B3判断步骤B1中的深度数据是否处于两个深度阈值之间表示为：
其中，f(x,y)为深度图像的深度数据，δ1、δ2为设定的深度阈值，D为像素深度值。
进一步地，所述步骤C对步骤B中提取后的深度图像进行联合双边滤波处理的公式具体为：
g(i,j)＝∑k,jf(i,j)·w(i,j,k,l)/∑k,jw(i,j,k,l)
其中，f(i,j)和g(i,j)分别为滤波前、后深度图像中的(i,j)处值，w(i,j,k,l)为(i,j)周围(k,j)处权重，表示为
其中为参考图像。
进一步地，所述步骤D中将步骤C中滤波后的深度图像转化为三维点云的公式具体为：
其中，d(x,y)＝z为深度图像上任意一像素点(x,y)的深度值，(X,Y,Z)为像素点(x,y)在三维深度坐标系下坐标，(cx,cy)为深度相机的标定中心，f为深度相机的理想焦距。
进一步地，所述步骤E采用基于点云距离平均值的阈值滤波方法对步骤D中的人体点云重构图进行滤波处理具体包括以下分步骤：
E1、对步骤D中的人体点云空间中的点云进行遍历，设定空间中的任意一点为d(x,y,z)，搜索距离该点最近的k个点，计算k个点中每个点到该点的距离；
E2、计算步骤E1中k个点到点d(x,y,z)的距离的平均值dave，从而得到空间中每个点对应的平均值dave，计算所有点对应平均值dave的平均值得到所有点对应的平均值Dave；
E3、设定常数阈值H，判断空间中每个点对应的平均值dave与的所有点对应的平均值Dave差值是否大于常数阈值H；若是则删除该点，若否则保留该点。
进一步地，所述步骤E3中判断空间中每个点对应的平均值dave与的所有点对应的平均值Dave差值是否大于常数阈值H表示为：
本发明的有益效果是：本发明采用深度相机获取人体模型的深度图像，再对获取的深度图像采用了双阈值分割方法，将待重构的人体从背景图像中分离出来，并采用联合双边滤波法对提取后的深度图像进行平滑滤波和填补空洞；再通过对深度相机进行标定将滤波后的深度图像转化为三维点云，采用基于点云距离平均值的阈值滤波方法进行滤波处理，从而大大减少了利用预处理后的人体背部深度图像进行三维重构的运算量，同时降低了背景对人体背部深度图像的干扰。
附图说明
图1是本发明的人体背部深度图像预处理方法的流程示意图。
图2是本发明实施例中采用深度相机获取人体模型的深度图像示意图。
图3是本发明实施例中采用深度双阈值方法提取后的深度图像示意图。
图4是本发明实施例中采用联合双边滤波处理后的深度图像示意图。
图5是本发明实施例中人体点云重构图的正视图。
图6是本发明实施例中人体点云重构图的侧视图。
图7是本发明实施例中人体点云重构图的仰视图。
图8是本发明实施例中采用基于点云距离平均值的阈值滤波方法处理后的点云正视图。
图9是本发明实施例中采用基于点云距离平均值的阈值滤波方法处理后的点云侧视图。
图10是本发明实施例中采用基于点云距离平均值的阈值滤波方法处理后的点云仰视图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明的人体背部深度图像预处理方法的流程示意图。一种人体背部深度图像预处理方法，包括以下步骤：
A、采用深度相机获取人体模型的深度图像；
B、采用深度双阈值方法提取步骤A中深度图像的对象；
C、对步骤B中提取后的深度图像进行联合双边滤波处理；
D、对步骤A中的深度相机进行标定，将步骤C中滤波后的深度图像转化为三维点云，得到人体点云重构图；
E、采用基于点云距离平均值的阈值滤波方法对步骤D中的人体点云重构图进行滤波处理，完成人体背部深度图像预处理。
在步骤A中，本发明采用Mircosoft Kinect 2深度相机来获取人体模型的深度图像，Microsoft Kinect是美国微软公司于2010年11月4日推出的XBOX-360游戏机体感周边外设的正式名称，Kinect能够即时的捕捉人体动作，通过影像对动作进行识别；同时也能通过麦克风的输入，完成语音的识别。Kinect 2深度相机首先发射出激光阵列到待测量目标上，通过激光传输的时间获取传感器到待测量目标的距离的空间二维阵列。Kinect 2深度相机上的每个像素都可以接受测量信号，从而获得Kinect 2所在的平面到目标物的距离。一般比较常用的方法是基于相位差的测量方法，假设发射光与接受光的相位差其对应的飞行时间为Δt，f为激光的频率，c为光传播的速度，那么可以得到对应的测量距离d表示为：
由于Kienct 2(Xbox360)是游戏体感设备，所以使用Kinect 2所获取的深度帧数据并不完全是深度信息，它具有着特有的数据结构。在一个深度帧数据中，每个像素占用2个字节(16位)，其中深度值数据占用16位中的前13位，后三维是游戏索引。因此，在获取深度数据后想要获取待测物到Kinect 2平面的距离还需要对深度帧数据进行位操作。深度值存储在第3至15位中，若需要获取能够直接使用的深度帧数据，需要将游戏索引位移除。
采用深度相机获取人体模型的深度图像具体包括以下分步骤：
A1、利用深度相机的Kinect传感器获取人体模型的深度信息；
A2、利用深度帧读取器读取步骤A1中的深度信息，得到距离当前时刻最近的一帧深度信息；
A3、将步骤A2中得到的深度信息转换为MAT格式，并利用opencv的imshow进行显示；
A4、回收并释放内存，得到人体模型的深度图像。
如图2所示，为本发明实施例中采用深度相机获取人体模型的深度图像示意图。Kinect2深度数据与图像的对应关系为：距离Kinect越近，颜色越深；反之，则颜色越浅；纯黑色为无定义，其深度数据默认为0。
在步骤B中，由于步骤A中获取的深度图像除了人体背部的深度图像外，还有周围其他物体的深度图像；为了仅得到模型的深度信息，同时减少运算量，本发明采用深度双阈值方法去除其他物体深度信息的干扰。本发明采用深度双阈值方法提取步骤A中深度图像的对象具体包括以下分步骤：
B1、读取步骤A中深度图像的深度帧，并进行位操作得到深度数据；
B2、设定两个深度阈值；
B3、判断步骤B1中的深度数据是否处于两个深度阈值之间；
B4、若深度数据处于两个深度阈值之间，则保持深度数据不变；
B5、显示并获取提取后的深度图像；
B6、若深度数据不处于两个深度阈值之间，则进行步骤B5。
这里的深度双阈值方法采用模型的深度值作为阈值选取的对象，而不是图像灰度值。图像深度阈值化的目的是要按照深度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。在确定深度阈值时，如果深度阈值定得过高，则会将背景点认作为模型点，如果深度阈值定得过低，模型点的采集将不会完全。因此，本发明采用多阂值的方法来解决这个问题，优选地采用两个深度阈值。
本发明在判断步骤B1中的深度数据是否处于设定两个深度阈值之间时，设图像为f(x,y)，对于输入图像的各个深度值，确定两个深度阈值δ1、δ2，δ1＞δ2，当像素深度值D大于δ1或者小于δ2，则f(x,y)＝0，否则f(x,y)＝D，表示为
本发明对步骤A中深度图像的对象进行提取，深度图像中每一个像素点代表的是在深度感应器的视野中，该特定的坐标(x,y)处物体到离摄像头平面最近的物体到该平面的距离(以毫米为单位)；通过获取的深度图像，读取深度图像个点的像坐标以及对应的深度值。在实施例中，人体距离Kienct 2大约在900mm左右，人体上半身侧面厚度大约为180mm，根据实验场景可大致获取δ1、δ2的数值，设δ1＝1100mm，δ2＝800mm，利用双深度阈值法对步骤A中获取的深度图像进行处理，得到如图3所示的本发明实施例中采用深度双阈值方法提取后的深度图像示意图。。
在步骤C中，由于Kinect 2同时提供了深度和RGB两路数据，因此本发明采用联合双边滤波在增强深度信息的时候可以利用到更加完整和精确的RGB图像，通过结合相似的RGB图像，对缺失的深度信息进行补全。
本发明对步骤B中提取后的深度图像进行联合双边滤波处理的公式具体为：
g(i,j)＝∑k,jf(i,j)·w(i,j,k,l)/∑k,jw(i,j,k,l)
其中，f(i,j)和g(i,j)分别为滤波前、后深度图像中的(i,j)处值，w(i,j,k,l)为(i,j)周围(k,j)处权重，表示为
其中为参考图像。
如图4所示，为本发明实施例中采用联合双边滤波处理后的深度图像示意图。本发明对提取的深度图像进行联合双边滤(滤波参数σd＝σr＝1.6)，不仅在对图像进行了平滑处理的基础上保留了深度图像的边缘信息，并且把人体的头部以及左下角手臂任然会出现噪声以及缺失的像素所形成的空洞修复了，与处理效果良好。在不断调试的情况下，选取最优的滤波参数，可以获得处理效果更加效果好的图像。
在步骤D中，本发明首先对步骤A中的深度相机进行标定，Kinect 2的深度摄像头相当与在普通摄像头上安装了一个特殊的滤波片，只能够获取红外线成像。因此，本发明采用红外光源照射标定板对Kinect 2的深度摄像头进行标定。
对Kinect 2深度相机标定时，使用LED红外光源照射标定板，同时使用Kienct 2深度相机拍摄红外照片。此处要注意在使用深度相机拍摄红外照片的时候要使用黑胶带或者类似物体将Kinect 2的红外线发射器完全挡住，否则其发出的红外射线会在棋盘格标定板上产生一些散乱的红外亮点，不利于对棋盘格标定板进行检测。由此获取12张深度标定数据，利用matlab采用张正友标定发进行标定，得到对相机外部参数立体视觉的显示，从而完成对深度相机的标定。
深度相机内参矩阵为：
深度相机畸变参数为：
D＝[0.0409633 0.0000000 -0.004536 -0.001314]
本发明再将步骤C中滤波后的深度图像转化为三维点云，由于已经对Kinect 2设备内部RGB摄像头以及深度摄像头进行了标定，同时由于Kinect 2的RGB摄像头和深度摄像头之间存在一定的距离，当使用Kinect 2设备获取人体背部信息时，RGB相机与深度相机获取的数据之间会存在一定的偏差。因此为了包含颜色信息得到三维点云，需要将深度图像通过一定的变换，对应到RGB图像中，然后计算出空间中地点X、Y、Z坐标。经过标定后的RGB摄像头和深度摄像头可以等同为理想的针孔成像模型，获取人体背部在坐标系中的真实坐标X、Y、Z的坐标计算方法，将步骤C中滤波后的深度图像转化为三维点云的公式具体为：
其中，d(x,y)＝z为深度图像上任意一像素点(x,y)的深度值，(X,Y,Z)为像素点(x,y)在三维深度坐标系下坐标，(cx,cy)为深度相机的标定中心，f为深度相机的理想焦距。
由深度相机内参矩阵可得Kienct 2深度相机的fx＝360.1mm，fy＝360.5mm，cx＝250.3，cy＝206.3，再根据上式进行计算可以得到点云数据，根据得到的点云数据画出经过深度图像提取后的人体点云重构图。如图5-7所示，分别为本发明实施例中人体点云重构图的正视图、侧视图和仰视图。
在步骤E中，由于存在除人体背部以外环境影响和设备参数的影响，在测量过程中会存在异常点误差以及随机误差，这会导致在点云数据上出现不同程度的噪点，本发明采用基于点云距离平均值的阈值滤波方法对步骤D中的人体点云重构图进行滤波处理，具体包括以下分步骤：
E1、对步骤D中的人体点云空间中的点云进行遍历，设定空间中的任意一点为d(x,y,z)，搜索距离该点最近的k个点，计算k个点中每个点到该点的距离；
E2、计算步骤E1中k个点到点d(x,y,z)的距离的平均值dave，从而得到空间中每个点对应的平均值dave，计算所有点对应平均值dave的平均值得到所有点对应的平均值Dave；
E3、设定常数阈值H，判断空间中每个点对应的平均值dave与的所有点对应的平均值Dave差值是否大于常数阈值H；若是则删除该点，若否则保留该点。
在步骤E1中，本发明设定搜索距离该点最近的5个点，计算5个点中每个点到该点的距离d1，d2，d3，d4，d5。
在步骤E2中，本发明计算步骤E1中5个点到点d(x,y,z)的距离的平均值dave，再通过上述方法依次计算空间中每个点对应的平均值dave，计算所有点对应平均值dave的平均值得到所有点对应的平均值Dave；Dave用于估计所有点的相邻平均距离的平均值，降低此值会使滤波器对噪声更敏感，若增加此值会增加计算次数。
在步骤E3中，本发明设定一个常数阈值H，常数阈值H是与所有点的平均距离平均值Dave的一个标准偏差。判断空间中每个点对应的平均值dave与的所有点对应的平均值Dave差值是否大于常数阈值H；若是则认定该点为离群值，删除该点；若否则保留该点；表示为：
如图8-10所示，分别为本发明实施例中采用基于点云距离平均值的阈值滤波方法处理后的点云正视图、侧视图和仰视图。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (8)
1.一种人体背部深度图像预处理方法，其特征在于，包括以下步骤：
A、采用深度相机获取人体模型的深度图像；
B、采用深度双阈值方法提取步骤A中深度图像的对象；
C、对步骤B中提取后的深度图像进行联合双边滤波处理；
D、对步骤A中的深度相机进行标定，将步骤C中滤波后的深度图像转化为三维点云，得到人体点云重构图；
E、采用基于点云距离平均值的阈值滤波方法对步骤D中的人体点云重构图进行滤波处理，完成人体背部深度图像预处理。
2.如权利要求1所述的人体背部深度图像预处理方法，其特征在于，所述步骤A采用深度相机获取人体模型的深度图像具体包括以下分步骤：
A1、利用深度相机的Kinect传感器获取人体模型的深度信息；
A2、利用深度帧读取器读取步骤A1中的深度信息，得到距离当前时刻最近的一帧深度信息；
A3、将步骤A2中得到的深度信息转换为MAT格式，并利用opencv的imshow进行显示；
A4、回收并释放内存，得到人体模型的深度图像。
3.如权利要求1所述的人体背部深度图像预处理方法，其特征在于，所述步骤B采用深度双阈值方法提取步骤A中深度图像的对象具体包括以下分步骤：
B1、读取步骤A中深度图像的深度帧，并进行位操作得到深度数据；
B2、设定两个深度阈值；
B3、判断步骤B1中的深度数据是否处于两个深度阈值之间；
B4、若深度数据处于两个深度阈值之间，则保持深度数据不变；
B5、显示并获取提取后的深度图像；
B6、若深度数据不处于两个深度阈值之间，则进行步骤B5。
4.如权利要求3所述的人体背部深度图像预处理方法，其特征在于，所述步骤B3判断步骤B1中的深度数据是否处于两个深度阈值之间表示为：
其中，f(x,y)为深度图像的深度数据，δ1、δ2为设定的深度阈值，D为像素深度值。
5.如权利要求1所述的人体背部深度图像预处理方法，其特征在于，所述步骤C对步骤B中提取后的深度图像进行联合双边滤波处理的公式具体为：
g(i,j)＝∑k,jf(i,j)·w(i,j,k,l)/∑k,jw(i,j,k,l)
其中，f(i,j)和g(i,j)分别为滤波前、后深度图像中的(i,j)处值，w(i,j,k,l)为(i,j)周围(k,j)处权重，表示为
<mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mi>k</mi>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mi>j</mi>
<mo>-</mo>
<mi>l</mi>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<msub>
<mi>&sigma;</mi>
<mi>d</mi>
</msub>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>-</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mover>
<mi>f</mi>
<mo>^</mo>
</mover>
<mrow>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mi>f</mi>
<mo>^</mo>
</mover>
<mrow>
<mo>(</mo>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<msub>
<mi>&sigma;</mi>
<mi>r</mi>
</msub>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
其中为参考图像。
6.如权利要求1所述的人体背部深度图像预处理方法，其特征在于，所述步骤D中将步骤C中滤波后的深度图像转化为三维点云的公式具体为：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
<mo>=</mo>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mi>d</mi>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&times;</mo>
<mn>1</mn>
<mo>/</mo>
<mi>f</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
<mo>=</mo>
<mo>(</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mi>d</mi>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
<mo>&times;</mo>
<mn>1</mn>
<mo>/</mo>
<mi>f</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
<mo>=</mo>
<mi>d</mi>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，d(x,y)＝z为深度图像上任意一像素点(x,y)的深度值，(X,Y,Z)为像素点(x,y)在三维深度坐标系下坐标，(cx,cy)为深度相机的标定中心，f为深度相机的理想焦距。
7.如权利要求1所述的人体背部深度图像预处理方法，其特征在于，所述步骤E采用基于点云距离平均值的阈值滤波方法对步骤D中的人体点云重构图进行滤波处理具体包括以下分步骤：
E1、对步骤D中的人体点云空间中的点云进行遍历，设定空间中的任意一点为d(x,y,z)，搜索距离该点最近的k个点，计算k个点中每个点到该点的距离；
E2、计算步骤E1中k个点到点d(x,y,z)的距离的平均值dave，从而得到空间中每个点对应的平均值dave，计算所有点对应平均值dave的平均值得到所有点对应的平均值Dave；
E3、设定常数阈值H，判断空间中每个点对应的平均值dave与的所有点对应的平均值Dave差值是否大于常数阈值H；若是则删除该点，若否则保留该点。
8.如权利要求1所述的人体背部深度图像预处理方法，其特征在于，所述步骤E3中判断空间中每个点对应的平均值dave与的所有点对应的平均值Dave差值是否大于常数阈值H表示为：
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>d</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>d</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>&le;</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msub>
<mi>d</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>></mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mi>H</mi>
<mo>></mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
2
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710629433.7A CN107452032A (zh) | 2017-07-28 | 2017-07-28 | 人体背部深度图像预处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710629433.7A CN107452032A (zh) | 2017-07-28 | 2017-07-28 | 人体背部深度图像预处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107452032A true CN107452032A (zh) | 2017-12-08 |
Family
ID=60489441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710629433.7A Pending CN107452032A (zh) | 2017-07-28 | 2017-07-28 | 人体背部深度图像预处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107452032A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573502A (zh) * | 2018-03-06 | 2018-09-25 | 安徽大学 | 一种自动测量Cobb角的方法 |
| CN108861985A (zh) * | 2018-07-25 | 2018-11-23 | 深圳万发创新进出口贸易有限公司 | 一种电梯门机运行状态智能监测*** |
| CN110309787A (zh) * | 2019-07-03 | 2019-10-08 | 电子科技大学 | 一种基于深度相机的人体坐姿检测方法 |
| CN110390681A (zh) * | 2019-07-17 | 2019-10-29 | 海伯森技术（深圳）有限公司 | 一种基于深度相机的深度图物体轮廓快速提取方法及装置 |
| CN112446836A (zh) * | 2019-09-05 | 2021-03-05 | 浙江舜宇智能光学技术有限公司 | 用于tof深度相机的数据处理方法及其*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123751A (zh) * | 2014-07-24 | 2014-10-29 | 福州大学 | Kinect与关节臂结合的复合式测量和三维重建方法 |
| US20150379719A1 (en) * | 2011-06-06 | 2015-12-31 | Microsoft Technology Licensing, Llc | Object digitization |
| CN106780619A (zh) * | 2016-11-25 | 2017-05-31 | 青岛大学 | 一种基于Kinect深度相机的人体尺寸测量方法 |
| US20170161945A1 (en) * | 2015-12-04 | 2017-06-08 | Autodesk, Inc. | Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans |
| CN106846272A (zh) * | 2017-01-18 | 2017-06-13 | 西安工程大学 | 一种点云模型的去噪精简方法 |
-
2017
- 2017-07-28 CN CN201710629433.7A patent/CN107452032A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150379719A1 (en) * | 2011-06-06 | 2015-12-31 | Microsoft Technology Licensing, Llc | Object digitization |
| CN104123751A (zh) * | 2014-07-24 | 2014-10-29 | 福州大学 | Kinect与关节臂结合的复合式测量和三维重建方法 |
| US20170161945A1 (en) * | 2015-12-04 | 2017-06-08 | Autodesk, Inc. | Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans |
| CN106780619A (zh) * | 2016-11-25 | 2017-05-31 | 青岛大学 | 一种基于Kinect深度相机的人体尺寸测量方法 |
| CN106846272A (zh) * | 2017-01-18 | 2017-06-13 | 西安工程大学 | 一种点云模型的去噪精简方法 |
Non-Patent Citations (3)
| Title |
|---|
| 周致富: "基于Kinect传感器的三维点云模型重建研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 朱德海: "《点云库PCL学习教程》", 31 October 2010, 北京航空航天大学出版社 * |
| 陈晓明 等: "基于Kinect 深度信息的实时三维重建和滤波算法研究", 《计算机应用研究》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573502A (zh) * | 2018-03-06 | 2018-09-25 | 安徽大学 | 一种自动测量Cobb角的方法 |
| CN108573502B (zh) * | 2018-03-06 | 2021-07-06 | 安徽大学 | 一种自动测量Cobb角的方法 |
| CN108861985A (zh) * | 2018-07-25 | 2018-11-23 | 深圳万发创新进出口贸易有限公司 | 一种电梯门机运行状态智能监测*** |
| CN108861985B (zh) * | 2018-07-25 | 2020-10-27 | 苏州施耐德电梯有限公司 | 一种电梯门机运行状态智能监测*** |
| CN110309787A (zh) * | 2019-07-03 | 2019-10-08 | 电子科技大学 | 一种基于深度相机的人体坐姿检测方法 |
| CN110309787B (zh) * | 2019-07-03 | 2022-07-29 | 电子科技大学 | 一种基于深度相机的人体坐姿检测方法 |
| CN110390681A (zh) * | 2019-07-17 | 2019-10-29 | 海伯森技术（深圳）有限公司 | 一种基于深度相机的深度图物体轮廓快速提取方法及装置 |
| CN110390681B (zh) * | 2019-07-17 | 2023-04-11 | 海伯森技术（深圳）有限公司 | 一种基于深度相机的深度图物体轮廓快速提取方法及装置 |
| CN112446836A (zh) * | 2019-09-05 | 2021-03-05 | 浙江舜宇智能光学技术有限公司 | 用于tof深度相机的数据处理方法及其*** |
| CN112446836B (zh) * | 2019-09-05 | 2023-11-03 | 浙江舜宇智能光学技术有限公司 | 用于tof深度相机的数据处理方法及其*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107452032A (zh) | 人体背部深度图像预处理方法 | |
| CN107481228B (zh) | 基于计算机视觉的人体背部脊柱侧弯角度测量方法 | |
| Wang et al. | Patch-based output space adversarial learning for joint optic disc and cup segmentation | |
| US11020022B2 (en) | System and method for patient positioning during a medical imaging procedure | |
| CN112120736B (zh) | 三维超声成像方法和装置 | |
| CN104414680B (zh) | 一种三维超声成像方法及*** | |
| CN105188522B (zh) | 脉搏波传播速度的测定方法、测定***及摄像装置 | |
| US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| CN102542564B (zh) | 图像处理装置以及图像处理方法 | |
| CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
| CN105139447A (zh) | 基于双摄像头的坐姿实时检测方法 | |
| CN101996416B (zh) | 3d人脸捕获方法和设备 | |
| CN108618749B (zh) | 基于便携式数字化眼底照相机的视网膜血管三维重建方法 | |
| CN111368586B (zh) | 超声成像方法及*** | |
| CN103099602A (zh) | 基于光学识别的体质检测方法与*** | |
| CN108324247B (zh) | 一种指定位置皮肤皱纹评估方法及*** | |
| CN107464275A (zh) | 人体脊柱中线三维重构方法 | |
| CN115409774A (zh) | 一种基于深度学习的眼检测方法及斜视筛查*** | |
| CN107507267A (zh) | 人体背部三维重构方法 | |
| Oliveira et al. | Development of a bcct quantitative 3d evaluation system through low-cost solutions | |
| CN107680076A (zh) | 基于显著性区域的立体图像舒适度对比度范围测量方法 | |
| Magister et al. | Generative image inpainting for retinal images using generative adversarial networks | |
| KR101496198B1 (ko) | 3차원 초음파 촬영장치 및 그 운영방법 | |
| CN109009216A (zh) | 一种超声影像裸眼3d*** | |
| Oliveira et al. | Is kinect depth data accurate for the aesthetic evaluation after breast cancer surgeries? |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171208 |