CN110264425A - 基于向下倾角方向的单台tof相机人体降噪方法及*** - Google Patents
基于向下倾角方向的单台tof相机人体降噪方法及*** Download PDFInfo
- Publication number
- CN110264425A CN110264425A CN201910543913.0A CN201910543913A CN110264425A CN 110264425 A CN110264425 A CN 110264425A CN 201910543913 A CN201910543913 A CN 201910543913A CN 110264425 A CN110264425 A CN 110264425A
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- depth
- data
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001914 filtration Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000000877 morphologic effect Effects 0.000 claims abstract description 7
- 238000009499 grossing Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000000392 somatic effect Effects 0.000 abstract description 3
- 238000002366 time-of-flight method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 7
- 230000007797 corrosion Effects 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于向下倾角方向的单台TOF相机人体降噪方法，获取有人体的前景深度图像以及背景深度图像，对有人体的前景深度图像和背景深度图像进行背景差分处理；把只有人体的深度图像中的每个像素的深度数据映射到二维图像中；对二维图像进行形态学滤波处理；在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像；将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，得到相对平滑的人体点云数据。本发明用于向下倾角的TOF相机检测项目；用三维深度图像映射到二维图像进行需要的处理，避开三维点云数据的滤波，数据处理等复杂度较大的算法，最终才用三维数据做人体数据的平滑滤波。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于向下倾角方向的单台TOF相机人体降噪方法及***。
背景技术
现有技术中，TOF相机的工作原理如图1所示，TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离信息就是深度图像(以下简称深度图像)。
目前，通过TOF相机对人体进行检测也是计算机视觉领域一个重要的研究方向，目前对于人体姿态检测的方法大多基于2D图像。相比于2D图像，深度图像因具有的三维空间特征从而为消除人体检测的光照变化、表观近似和遮挡阴影等干扰因素提供了可能，其中TOF相机以其性能和原理的特点被采用较多，而用TOF相机采集深度图像又以单个TOF正面拍摄研究为主(如图1)。对于TOF相机拍摄的深度图像，人体姿态检测的方法多采用提取人体骨架的方式。
但是，在现有技术中，还存在很多缺陷：
一般情况下，现有技术中研究TOF相机多数要求相机必须正对物体拍摄，在特殊的场合不适用；
另外，现有技术中既要保持较高的姿势识别正确率，又要减少算法的复杂度以实现嵌入式技术还不成熟，而且算法复杂度高，导致耗时较多，对于需要高帧率的检测场景也不适用；
再者，单个TOF存在固有的检测精度不高，噪声较多，像素分辨率低等缺点，而且单个TOF的拍摄角度和视野范围也存在局限性，对于360度空间或更大范围空间的深度信息结合在一起目前尚没有完整的解决方案。
发明内容
本发明针对现有技术中的缺点，提供了一种基于向下倾角方向的单台TOF相机人体降噪方法及***。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种基于向下倾角方向的单台TOF相机人体降噪方法，包括以下步骤：
分别获取有人体的前景深度图像以及背景深度图像，对有人体的前景深度图像和背景深度图像进行背景差分处理，得到只有人体的深度图像；
把所述只有人体的深度图像中的每个像素的深度数据映射到二维图像中，得到映射的二维图像；
对所述二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像；
将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，对人体点云数据进行平滑处理，得到相对平滑的人体点云数据。
作为一种可实施方式，所述对有人体的前景深度图像和背景深度图像进行背景差分处理，具体为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表示背景深度图像。
作为一种可实施方式，所述在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像，具体为：
对每个人体点计算这个点和周围n*n大小的核的梯度值x，若-a<x<a，其中，a能进行调节，则认为这个梯度变化不快，能保留这个点的梯度；当周围n*n大小的核的每一个点都和中心点进行比较后，再根据权重对此点进行深度值的调节，得到梯度滤波图像。
作为一种可实施方式，所述将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，具体为：
将梯度滤波图像中的深度数据先从图像坐标(x0，y0，z0)转换到相机坐标(x1，y1，z1)，公式如下：
v＝(x0-320*0.5，y0-240*0.5，foclen
x1＝v.x*s
y1＝v.y*s
z1＝v.z*s
其中：foclen＝320*0.5/tan[(90*0.5)*π/180]
scalefactor＝0.041667
z0＝img.at(y0，x0)-147
再从相机坐标(x1，y1，z1)转换到世界坐标(x2，y2，z2)，公式如下：
pp＝remap*p
x2＝pp(0，0)
y2＝pp(1，0)
z2＝pp(2，0)
其中：P是一个[4*1]矩阵，P(0，0)＝x1，p(1，0)＝y1，p(2，0)＝z1，p(3，0)＝0，remap是变换的矩阵，图像中的每个像素点的坐标：(x0，y0，z0)，其中z0表示这个像素点深度值，以相机为原点的三维坐标表示为：x1，y1，z1)，v、s是参数，foclen、scalefoclen，是一个固定的系数，img.at(y0，x0)表示这一点的深度值。
作为一种可实施方式，所述对人体点云数据进行平滑处理，具体为：
对人体点云数据做卷积处理，得到平滑滤波器，通过平滑滤波器进行平滑处理，滤波器处理的输出像素值g(i，j，z)是输入图像像素值f(i+k，j+I，z+H)的加权和，公式如下：
g(i，j，z)＝∑f(i+k，j+I，z+H)h(k，I，H)
其中，h(k，I，H)，表示滤波器的加权系数，即滤波器的滤波系数。
一种基于向下倾角方向的单台TOF相机人体降噪***，包括差分处理模块、映射模块、第一滤波模块、梯度滤波模块和转化处理模块；
所述差分处理模块，用于分别获取有人体的前景深度图像以及背景深度图像，对有人体的前景深度图像和背景深度图像进行背景差分处理，得到只有人体的深度图像；
所述映射模块，用于把所述只有人体的深度图像中的每个像素的深度数据映射到二维图像中，得到映射的二维图像；
所述第一滤波模块，用于对所述二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
所述梯度滤波模块，用于在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像；
所述转化处理模块，用于将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，对人体点云数据进行平滑处理，得到相对平滑的人体点云数据。
作为一种可实施方式，所述差分处理模块被设置为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表示背景深度图像。
作为一种可实施方式，所述梯度滤波模块被设置为：
对每个人体点计算这个点和周围n*n大小的核的梯度值x，若-a＜x＜a，其中，a能进行调节，则认为这个梯度变化不快，能保留这个点的梯度；当周围n*n大小的核的每一个点都和中心点进行比较后，再根据权重对此点进行深度值的调节，得到梯度滤波图像。
作为一种可实施方式，所述转化处理模块被设置为：
将梯度滤波图像中的深度数据先从图像坐标(x0，y0，z0)转换到相机坐标(x1，y1，z1)，公式如下：
v＝(x0-320*0.5，y0-240*0.5，foclen)
x1＝v.x*s
y1＝v.y*s
z1＝v.z*s
其中：foclen＝320*0.5/tan[(90*0.5)*π/180]
scalefactor＝0.041667
z0＝img.at(y0，x0)-147
再从相机坐标(x1，y1，z1)转换到世界坐标(x2，y2，z2)，公式如下：
pp＝remap*p
x2＝pp(0，0)
y2＝pp(1，0)
z2＝pp(2，0)
其中：P是一个[4*1]矩阵，P(0，0)＝x1，p(1，0)＝y1，p(2，0)＝z1，p(3，0)＝0，remap是变换的矩阵，图像中的每个像素点的坐标：(x0，y0，z0)，其中z0表示这个像素点深度值，以相机为原点的三维坐标表示为：x1，y1，z1)，v、s是参数，foclen、scalefoclen是一个固定的系数，img.at(y0，x0)表示这一点的深度值。
作为一种可实施方式，所述转化处理模块被设置为：
对人体点云数据做卷积处理，得到平滑滤波器，通过平滑滤波器进行平滑处理，滤波器处理的输出像素值g(i，j，z)是输入图像像素值f(i+k，j+I，z+H)的加权和，公式如下：
g(i，j，z)＝∑f(i+k，j+I，z+H)h(k，I，H)
其中，h(k，I，H)，表示滤波器的加权系数，即滤波器的滤波系数。
本发明由于采用了以上技术方案，具有显著的技术效果：
基于本发明的方法和***，可用于向下倾角的TOF相机检测项目；用三维深度图像映射到二维图像进行需要的处理，避开三维点云数据的滤波，平滑，数据处理等时间复杂度较大的算法，最终才用三维数据做人体数据的平滑滤波。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中TOF相机工作原理示意图；
图2是垂直向下拍摄得到的深度图像；
图3是垂直向下拍摄得到的深度图像；
图4是倾斜向下拍摄得到的深度图像；
图5是本发明的整体流程示意图；
图6是膨胀操作示例图；
图7是膨胀的数学公式；
图8是腐蚀示例图；
图9是腐蚀数学公式；
图10为3*3梯度滤波权重图；
图11为二维图像均值滤波示意图；
图12为本发明***的整体结构示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1：
一种基于向下倾角方向的单台TOF相机人体降噪方法，如图5所示，包括以下步骤：
S100、分别获取有人体的前景深度图像以及背景深度图像，对有人体的前景深度图像和背景深度图像进行背景差分处理，得到只有人体的深度图像；
S200、把所述只有人体的深度图像中的每个像素的深度数据映射到二维图像中，得到映射的二维图像；
S300、对所述二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
S400、在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像；
S500、将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，对人体点云数据进行平滑处理，得到相对平滑的人体点云数据。
1.深度数据：图像中每个点的像素值就是指深度数据，即相机到这一像素点到的物体的距离(mm)。
2.深度图像：图像每个像素的值是深度数据组成的图像，(如图2-4所示，其实是把距离值转换成灰度值显示出来，而不是真正的深度)。
3.点云数据：由每个点到相机的距离转换成三维坐标形成的数据，是一连串的(x，y，z)的坐标形式。
本发明解决向下倾角方向的拍摄角度对于TOF相机成像影响的问题；解决单台TOF存在固有的检测精度不高，噪声较多，像素分辨率低，边缘信息容易出错的缺点对人体检测的影响。本发明可用于向下倾角的TOF相机检测项目；用三维深度图像映射到二维图像进行需要的处理，避开三维点云数据(x，y，z)的滤波，平滑，数据处理等时间复杂度较大的算法，最终才用三维数据做人体数据的平滑滤波。
在步骤S100中，所述对有人体的前景深度图像和背景深度图像进行背景差分处理，具体为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表示背景深度图像。在本实施例中，背景差分意思是计算前景图像(有人)和后景图像(没有人)的差。因为图像的每个像素表示深度数据，所以相减后得到只有人的深度图像，而没有人的像素因为数值近似相同，相减后近似得到0。
在步骤S200中，把人体的深度图像中每个像素的值(深度值)映射到0-255的二维图像的像素值采用的数学公式为y＝x/t*255，其中，t：深度上限，对于TOF相机可是个定值，x：TOF相机得到深度图像的该点的深度值。
在步骤S300中，开运算方式处理，即先腐蚀，后膨胀，在此，膨胀是求局部最大值的操作，从数学角度老说膨胀或者腐蚀操作是讲图像(或图像的一部分区域，称之为A))与核(称之为B)进行卷积，核可以是任何大小形状，多数情况下，核是一个小的正方形或者圆。而膨胀就是就局部最大值的操作，核B与图像卷积，即计算和B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点制定的像素，这样就会使图像的高亮区域增长，膨胀操作示例图如图6。膨胀的数学公式如图7。腐蚀和膨胀是一对反操作，是求局部最小值的操作，腐蚀示例图如图8，数学公式如图9。
在步骤S400中，所述在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像，具体为：
对每个人体点计算这个点和周围n*n大小的核的梯度值x，若-a＜x＜a，其中，a能进行调节，则认为这个梯度变化不快，能保留这个点的梯度；当周围n*n大小的核的每一个点都和中心点进行比较后，再根据权重对此点进行深度值的调节，得到梯度滤波图像。
也就是说，在此实施例中，用3*3来举例说明，对每个点(人体点)计算这个点和周围3*3大小的核的梯度(可以理解为这个点和周围某一个点的深度值的差值的绝对值)，对于梯度值x，如果-a＜x＜a(a可以调节)，则可以认为这个梯度变化不快，可以保留这个点的梯度。当周围3*3大小的核的每一个点都和中心点比较后，再根据权重(即比例系数，如图5中的0.1，0.2等)最终调节这个点的深度值。
在步骤S500中，所述将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，具体为：
将梯度滤波图像中的深度数据先从图像坐标(x0，y0，z0)转换到相机坐标(x1，y1，z1)，公式如下：
v＝(x0-320*0.5，y0-240*0.5，foclen)
x1＝v.x*s
y1＝v.y*s
z1＝v.z*s
其中：foclen＝320*0.5/tan[(90*0.5)*π/180]
scalefactor＝0.041667
z0＝img.at(y0，x0)-147
再从相机坐标(x1，y1，z1)转换到世界坐标(x2，y2，z2)，公式如下：
pp＝remap*p
x2＝pp(0，0)
y2＝pp(1，0)
z2＝pp(2，0)
其中：P是一个[4*1]矩阵，P(0，0)＝x1，p(1，0)＝y1，p(2，0)＝z1，p(3，0)＝0，remap是变换的矩阵(可理解为一个固定的参数)，图像中的每个像素点的坐标：(x0，y0，z0)，其中z0表示这个像素点深度值(相机到这一点的实际距离)，以相机为原点的三维坐标表示为：x1，y1，z1)，v、s是参数，foclen、scalefoclen是一个固定的系数，img.at(y0，x0)表示这一点的深度值。
在步骤S500中，所述对人体点云数据进行平滑处理，具体为：
对人体点云数据做卷积处理，得到平滑滤波器，如图11所示，通过平滑滤波器进行平滑处理，滤波器处理的输出像素值g(i，j，z)是输入图像像素值f(i+k，j+I，z+H)的加权和，公式如下：
g(i，j，z)＝∑f(i+k，j+I，z+H)h(k，I，H)
其中，h(k，I，H)，表示滤波器的加权系数，即滤波器的滤波系数。
实施例2：
一种基于向下倾角方向的单台TOF相机人体降噪***，如图12所示，包括差分处理模块100、映射模块200、第一滤波模块300、梯度滤波模块400和转化处理模块500；
所述差分处理模块100，用于分别获取有人体的前景深度图像以及背景深度图像，对有人体的前景深度图像和背景深度图像进行背景差分处理，得到只有人体的深度图像；
所述映射模块200，用于把所述只有人体的深度图像中的每个像素的深度数据映射到二维图像中，得到映射的二维图像；
所述第一滤波模块300，用于对所述二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
所述梯度滤波模块400，用于在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像；
所述转化处理模块500，用于将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，对人体点云数据进行平滑处理，得到相对平滑的人体点云数据。
进一步地，所述差分处理模块100被设置为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表示背景深度图像。在本实施例中，背景差分意思是计算前景图像(有人)和后景图像(没有人)的差。因为图像的每个像素表示深度数据，所以相减后得到只有人的深度图像，而没有人的像素因为数值近似相同，相减后近似得到0。
在所述映射模块200中，把人体的深度图像中每个像素的值(深度值)映射到0-255的二维图像的像素值采用的数学公式为y＝x/t*255，其中，t：深度上限，对于TOF相机可是个定值，x：TOF相机得到深度图像的该点的深度值。
在第一滤波模块300中，开运算方式处理，即先腐蚀，后膨胀，在此，膨胀是求局部最大值的操作，从数学角度老说膨胀或者腐蚀操作是讲图像(或图像的一部分区域，称之为A))与核(称之为B)进行卷积，核可以是任何大小形状，多数情况下，核是一个小的正方形或者圆。而膨胀就是就局部最大值的操作，核B与图像卷积，即计算和B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点制定的像素，这样就会使图像的高亮区域增长，膨胀操作示例图如图6。膨胀的数学公式如图7。腐蚀和膨胀是一对反操作，是求局部最小值的操作，腐蚀示例图如图8，数学公式如图9。
所述梯度滤波模块400被设置为：
对每个人体点计算这个点和周围n*n大小的核的梯度值x，若-a＜x＜a，其中，a能进行调节，则认为这个梯度变化不快，能保留这个点的梯度；当周围n*n大小的核的每一个点都和中心点进行比较后，再根据权重对此点进行深度值的调节，得到梯度滤波图像。也就是说，在此实施例中，用3*3来举例说明，对每个点(人体点)计算这个点和周围3*3大小的核的梯度(可以理解为这个点和周围某一个点的深度值的差值的绝对值)，对于梯度值x，如果-a＜x＜a(a可以调节)，则可以认为这个梯度变化不快，可以保留这个点的梯度。当周围3*3大小的核的每一个点都和中心点比较后，再根据权重(即比例系数，如图5中的0.1，0.2等)最终调节这个点的深度值。
所述转化处理模块500被设置为：
将梯度滤波图像中的深度数据先从图像坐标(x0，y0，z0)转换到相机坐标(x1，y1，z1)，公式如下：
v＝(x0-320*0.5，y0-240*0.5，foclen)
x1＝v.x*s
y1＝v.y*s
z1＝v.z*s
其中：foclen＝320*0.5/tan[(90*0.5)*π/180]
scalefactor＝0.041667
z0＝img.at(y0，x0)-147
再从相机坐标(x1，y1，z1)转换到世界坐标(x2，y2，z2)，公式如下：
pp＝remap*p
x2＝pp(0，0)
y2＝pp(1，0)
z2＝pp(2，0)
其中：P是一个[4*1]矩阵，P(0，0)＝x1，p(1，0)＝y1，p(2，0)＝z1，p(3，0)＝0，remap是变换的矩阵，图像中的每个像素点的坐标：(x0，y0，z0)，其中z0表示这个像素点深度值(相机到这一点的实际距离)，以相机为原点的三维坐标表示为：x1，y1，z1)，v、s是参数，foclen、scalefoclen是一个固定的系数，img.at(y0，x0)表示这一点的深度值。
所述转化处理模块600被设置为：
对人体点云数据做卷积处理，得到平滑滤波器，通过平滑滤波器进行平滑处理，滤波器处理的输出像素值g(i，j，z)是输入图像像素值f(i+k，j+I，z+H)的加权和，公式如下：
g(i，j，z)＝∑f(i+k，j+I，z+H)h(k，I，H)
其中，h(k，I，H)，表示滤波器的加权系数，即滤波器的滤波系数。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (10)
1.一种基于向下倾角方向的单台TOF相机人体降噪方法，其特征在于，包括以下步骤：
分别获取有人体的前景深度图像以及背景深度图像，对有人体的前景深度图像和背景深度图像进行背景差分处理，得到只有人体的深度图像；
把所述只有人体的深度图像中的每个像素的深度数据映射到二维图像中，得到映射的二维图像；
对所述二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像；
将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，对人体点云数据进行平滑处理，得到相对平滑的人体点云数据。
2.根据权利要求1所述的基于向下倾角方向的单台TOF相机人体降噪方法，其特征在于，所述对有人体的前景深度图像和背景深度图像进行背景差分处理，具体为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表示背景深度图像。
3.根据权利要求1所述的基于向下倾角方向的单台TOF相机人体降噪方法，其特征在于，所述在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像，具体为：
对每个人体点计算这个点和周围n*n大小的核的梯度值x，若-a<x<a，其中，a能进行调节，则认为这个梯度变化不快，能保留这个点的梯度；当周围n*n大小的核的每一个点都和中心点进行比较后，再根据权重对此点进行深度值的调节，得到梯度滤波图像。
4.根据权利要求1所述的基于向下倾角方向的单台TOF相机人体降噪方法，其特征在于，所述将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，具体为：
将梯度滤波图像中的深度数据先从图像坐标(x0，y0，z0)转换到相机坐标(x1，y1，z1)，公式如下：
v＝(x0-320*0.5，y0-240*0.5，foclen)
x1＝v.x*s
y1＝v.y*s
z1＝v.z*s
其中：foclen＝320*0.5/tan[(90*0.5)*π/180]
scalefactor＝0.041667
z0＝img.at(y0，x0)-147；
再从相机坐标(x1，y1，z1)转换到世界坐标(x2，y2，z2)，公式如下：
pp＝remap*p
x2＝pp(0，0)
y2＝pp(1，0)
z2＝pp(2，0)
其中：P是一个[4*1]矩阵，P(0，0)＝x1，p(1，0)＝y1，p(2，0)＝z1，p(3，0)＝0，remap是变换的矩阵，图像中的每个像素点的坐标：(x0，y0，z0)，其中z0表示这个像素点深度值，以相机为原点的三维坐标表示为：x1，y1，z1)，v、s是参数，foclen、scalefoclen是一个固定的系数，img.at(y0，x0)表示这一点的深度值。
5.根据权利要求1所述的基于向下倾角方向的单台TOF相机人体降噪方法，其特征在于，所述对人体点云数据进行平滑处理，具体为：
对人体点云数据做卷积处理，得到平滑滤波器，通过平滑滤波器进行平滑处理，滤波器处理的输出像素值g(i，j，z)是输入图像像素值f(i+k，j+I，z+H)的加权和，公式如下：
g(i，j，z)＝∑f(i+k，j+I，z+H)h(k，I，H)
其中，h(k，I，H)，表示滤波器的加权系数，即滤波器的滤波系数。
6.一种基于向下倾角方向的单台TOF相机人体降噪***，其特征在于，包括差分处理模块、映射模块、第一滤波模块、梯度滤波模块和转化处理模块；
所述差分处理模块，用于分别获取有人体的前景深度图像以及背景深度图像，对有人体的前景深度图像和背景深度图像进行背景差分处理，得到只有人体的深度图像；
所述映射模块，用于把所述只有人体的深度图像中的每个像素的深度数据映射到二维图像中，得到映射的二维图像；
所述第一滤波模块，用于对所述二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
所述梯度滤波模块，用于在滤波后的二维图像中找到人体对应的每个像素的深度数据，对所述深度数据进行梯度滤波，得到梯度滤波图像；
所述转化处理模块，用于将梯度滤波图像中的深度数据转化成世界坐标系下的人体点云数据，对人体点云数据进行平滑处理，得到相对平滑的人体点云数据。
7.根据权利要求6所述的基于向下倾角方向的单台TOF相机人体降噪***，其特征在于，所述差分处理模块被设置为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表示背景深度图像。
8.根据权利要求6所述的基于向下倾角方向的单台TOF相机人体降噪***，其特征在于，所述梯度滤波模块被设置为：
对每个人体点计算这个点和周围n*n大小的核的梯度值x，若-a＜x＜a，其中，a能进行调节，则认为这个梯度变化不快，能保留这个点的梯度；当周围n*n大小的核的每一个点都和中心点进行比较后，再根据权重对此点进行深度值的调节，得到梯度滤波图像。
9.根据权利要求6所述的基于向下倾角方向的单台TOF相机人体降噪***，其特征在于，所述转化处理模块被设置为：
将梯度滤波图像中的深度数据先从图像坐标(x0，y0，z0)转换到相机坐标(x1，y1，z1)，公式如下：
v＝(x0-320*0.5，y0-240*05，foclen)
x1＝v.x*s
y1＝v.y*s
z1＝v.z*s
其中：foclen＝320*0.5/tan[(90*0.5)*π/180]
scalefactor＝0.041667
z0＝img.at(y0，x0)-147
再从相机坐标(x1，y1，z1)转换到世界坐标(x2，y2，z2)，公式如下：
pp＝remap*p
x2＝pp(0，0)
y2＝pp(1，0)
z2＝pp(2，0)
其中：P是一个[4*1]矩阵，P(0，0)＝x1，p(1，0)＝y1，p(2，0)＝z1，p(3，0)＝0，remap是变换的矩阵，图像中的每个像素点的坐标：(x0，y0，z0)，其中z0表示这个像素点深度值以相机为原点的三维坐标表示为：x1，y1，z1)，v、s是参数，foclen、scalefoclen是一个固定的系数，img.at(y0，x0)表示这一点的深度值。
10.根据权利要求1所述的基于向下倾角方向的单台TOF相机人体降噪***，其特征在于，所述转化处理模块被设置为：
对人体点云数据做卷积处理，得到平滑滤波器，通过平滑滤波器进行平滑处理，滤波器处理的输出像素值g(i，j，z)是输入图像像素值f(i+k，j+I，z+H)的加权和，公式如下：
g(i，j，z)＝∑f(i+k，j+I，z+H)h(k，I，H)
其中，h(k，I，H)，表示滤波器的加权系数，即滤波器的滤波系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543913.0A CN110264425A (zh) | 2019-06-21 | 2019-06-21 | 基于向下倾角方向的单台tof相机人体降噪方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910543913.0A CN110264425A (zh) | 2019-06-21 | 2019-06-21 | 基于向下倾角方向的单台tof相机人体降噪方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110264425A true CN110264425A (zh) | 2019-09-20 |
Family
ID=67920351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910543913.0A Pending CN110264425A (zh) | 2019-06-21 | 2019-06-21 | 基于向下倾角方向的单台tof相机人体降噪方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264425A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488910A (zh) * | 2020-11-16 | 2021-03-12 | 广州视源电子科技股份有限公司 | 点云优化方法、装置及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014177750A1 (en) * | 2013-04-29 | 2014-11-06 | Nokia Corporation | A method and apparatus for fusing distance data from a distance sensing camera with an image |
| CN105719254A (zh) * | 2016-01-23 | 2016-06-29 | 深圳市云之梦科技有限公司 | 一种图像降噪方法及*** |
| CN108428255A (zh) * | 2018-02-10 | 2018-08-21 | 台州智必安科技有限责任公司 | 一种基于无人机的实时三维重建方法 |
| CN109003325A (zh) * | 2018-06-01 | 2018-12-14 | 网易（杭州）网络有限公司 | 一种三维重建的方法、介质、装置和计算设备 |
| US20190113606A1 (en) * | 2017-10-15 | 2019-04-18 | Analog Devices, Inc. | Time-of-flight depth image processing systems and methods |
| CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机***的深度图像校准方法及*** |
| CN109905691A (zh) * | 2017-12-08 | 2019-06-18 | 浙江舜宇智能光学技术有限公司 | 深度图像采集装置和深度图像采集***及其图像处理方法 |
-
2019
- 2019-06-21 CN CN201910543913.0A patent/CN110264425A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014177750A1 (en) * | 2013-04-29 | 2014-11-06 | Nokia Corporation | A method and apparatus for fusing distance data from a distance sensing camera with an image |
| CN105719254A (zh) * | 2016-01-23 | 2016-06-29 | 深圳市云之梦科技有限公司 | 一种图像降噪方法及*** |
| US20190113606A1 (en) * | 2017-10-15 | 2019-04-18 | Analog Devices, Inc. | Time-of-flight depth image processing systems and methods |
| CN109905691A (zh) * | 2017-12-08 | 2019-06-18 | 浙江舜宇智能光学技术有限公司 | 深度图像采集装置和深度图像采集***及其图像处理方法 |
| CN108428255A (zh) * | 2018-02-10 | 2018-08-21 | 台州智必安科技有限责任公司 | 一种基于无人机的实时三维重建方法 |
| CN109003325A (zh) * | 2018-06-01 | 2018-12-14 | 网易（杭州）网络有限公司 | 一种三维重建的方法、介质、装置和计算设备 |
| CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机***的深度图像校准方法及*** |
Non-Patent Citations (6)
| Title |
|---|
| XIA SHEN等: "Fast RGBD-ICP with Bionic Vision Depth Perception Model", 《THE 5TH ANNUAL IEEE INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL AND INTELLIGENT SYSTEMS》 * |
| 何东健等: "《数字图像处理》", 28 February 2015 * |
| 刘国华: "《HALCON数字图像处理》", 30 June 2018 * |
| 崔 超等: "基于时间域衰减滤波的全波形多尺度反演方法", 《SPG/SEG北京2016国际地球物理会议》 * |
| 杨帆等: "《精通图像处理经典算法 MATLAB版 第2版》", 31 March 2018 * |
| 赵谦等: "《智能视频图像处理技术与应用》", 30 September 2016 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488910A (zh) * | 2020-11-16 | 2021-03-12 | 广州视源电子科技股份有限公司 | 点云优化方法、装置及设备 |
| CN112488910B (zh) * | 2020-11-16 | 2024-02-13 | 广州视源电子科技股份有限公司 | 点云优化方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651938B (zh) | 一种融合高分辨率彩色图像的深度图增强方法 | |
| JP4392507B2 (ja) | ３次元サーフェス生成方法 | |
| US20160364907A1 (en) | Selective surface mesh regeneration for 3-dimensional renderings | |
| CN103440662B (zh) | Kinect深度图像获取方法与装置 | |
| CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
| KR102415505B1 (ko) | 스테레오 영상 매칭 방법 및 장치 | |
| EP3110149B1 (en) | A system and a method for depth-image-based rendering | |
| CN108235774A (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
| Lindner et al. | Sub-pixel data fusion and edge-enhanced distance refinement for 2d/3d images | |
| EP3756163B1 (en) | Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics | |
| CN106204554A (zh) | 基于多聚焦图像的景深信息获取方法、***及拍摄终端 | |
| KR20160098012A (ko) | 영상 매칭 방법 및 장치 | |
| CN111179333B (zh) | 一种基于双目立体视觉的散焦模糊核估计方法 | |
| CN115546371A (zh) | 点云优化方法、***、电子设备及存储介质 | |
| CN110264425A (zh) | 基于向下倾角方向的单台tof相机人体降噪方法及*** | |
| CN111881985A (zh) | 立体匹配方法、装置、终端和存储介质 | |
| WO2022003179A1 (en) | Lidar mapping | |
| JP6908025B2 (ja) | 画像処理装置と画像処理方法 | |
| CN114255279A (zh) | 一种基于高精度定位和深度学习的双目视觉三维重建方法 | |
| Shidanshidi et al. | A method for calculating the minimum number of cameras in a light field based free viewpoint video system | |
| CN110599407A (zh) | 基于向下倾角方向的多台tof相机人体降噪方法及*** | |
| Shmuel et al. | Occulsions and Perspective in an Image Sequence | |
| US8526760B2 (en) | Multi-scale representation of an out of focus image | |
| KR20090040515A (ko) | 적응적 탐색 기법을 이용한 이미지 공간 기반의 음영 처리장치 및 방법 | |
| KR20220088289A (ko) | 객체 포즈 추정 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190920 |
|
| RJ01 | Rejection of invention patent application after publication |