CN111008966A - 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质 - Google Patents
基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111008966A CN111008966A CN201911213033.3A CN201911213033A CN111008966A CN 111008966 A CN111008966 A CN 111008966A CN 201911213033 A CN201911213033 A CN 201911213033A CN 111008966 A CN111008966 A CN 111008966A
- Authority
- CN
- China
- Prior art keywords
- human body
- acquiring
- depth
- model
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title description 7
- 238000005259 measurement Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 35
- 210000000746 body region Anatomy 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 229910003460 diamond Inorganic materials 0.000 claims description 10
- 239000010432 diamond Substances 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 210000001217 buttock Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请提供基于RGBD的单视角人体测量方法以及装置，人体测量方法包括：获取图像：通过深度摄像机和RGB摄像机分别获取待测量人体的设定方向的深度图和彩色图；定位测量位置：确定设定方向的深度图和彩色图中的人体设定部位作为测量位置；测量位置建模：根据预设模型以及测量位置对应的深度图和彩色图的信息对测量位置进行建模；获取人体参数：根据建模的结果获取测量位置的人体参数。本申请能够降低人体参数测量的成本、测量精度比较高，并且操作起来比较简单，方便用户操作、用户体验好。
Description
技术领域
本申请涉及图像技术领域，尤其涉及基于RGBD的单视角人体测量方法、装置以及计算机可读存储介质。
背景技术
人体参数测量一直计算机视觉的重要领域之一，应用场景非常巨大，而根据使用摄像头的数量，可分为单视角以及多视角的人体参数测量。多视角的人体参数测量主要通过多个标定好摄像头，在同一时刻，获取用户的多个角度的深度数据，这样就可以得到一个相对准确的人体点云图计算人体的各个参数。而基于单视角的测量方案，需要用户或者测量设备转动，获取各个角度的人体数据以计算得到人体参数。
多视角的人体参数测量需要多台设备，***昂贵，复杂的标定过程，占地空间大，使得其难以大规模应用。基于单视角的测量方案，往往成本更低，简单的标定过程，应用也更加的灵活。但是，单视角的方案比多视角有更多的技术挑战。第一，从单个消费级别的深度获取设备得到深度图噪声很大，精度不高。第二，单视角的方案，不能在同一时刻，获取人体各个角度的数据，需要设备转动或者用户转动。在测量的过程中，用户难以避免会轻微的晃动。这两个难点使得单视角的方案难以获取到高质量的人体3D点云模型，从而需要更加复杂的算法来获取人体参数。
发明内容
本申请提供一种基于RGBD的单视角人体测量方法、装置以及计算机可读存储介质，能够在解决现在人体参数测量使用多台设备测量人体参数需要比较大的成本而且过程复杂以及采用单设备测量噪声比较大、精度不高以及需要辅助设备拍摄操作不够简单的问题。
其中，本发明所采用的技术方案为：
一种基于RGBD的单视角人体测量方法，人体测量方法包括：获取图像：通过深度摄像机和RGB摄像机分别获取待测量人体的设定方向的深度图和彩色图；定位测量位置：确定设定方向的深度图和彩色图中的人体设定部位作为测量位置；测量位置建模：根据预设模型以及测量位置对应的深度图和彩色图的信息对测量位置进行建模；获取人体参数：根据建模的结果获取测量位置的人体参数。
一种基于RGBD的单视角人体测量装置，装置包括：获取图像模块，用于通过深度摄像机和RGB摄像机分别获取待测量人体的设定方向的深度图和彩色图；定位测量位置模块，用于确定设定方向的深度图和彩色图中的人体设定部位作为测量位置；测量位置建模，用于根据预设模型以及测量位置对应的深度图和彩色图的信息对测量位置进行建模；获取人体参数，用于根据建模的结果获取测量位置的人体参数。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的人体测量方法。
本申请的有益效果在于：本申请通过获取多个角度的深度图和RGB图，确定各个角度的图片中人体各个部位的位置，提取各个测量位置的关键信息进行建模，得到各个测量位置的横截面的形状信息，从而得到各个测量位置的参数，在保持较高的测量精度的基础上能够基于单视角全自动获得人体的颈围、腰围、臀围、手腕围和臂展的参数，并且成本比较低、操作比较简单。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1根据一示例性实施例示出的一种电子设备的硬件结构框图。
图2根据一示例性实施例示出的一种基于RGBD的单视角人体测量方法的流程图。
图3是根据图2拍摄得到的深度图和彩色图。
图4是图2中立体标定矫正步骤在一个实施例的流程图。
图5是图2对应实施例中步骤S230在一个实施例的流程图。
图6是步骤S230中进行人体分割的效果示意图。
图7是步骤S230中进行测量位置定位的效果示意图。
图8是图5对应实施例中步骤S233在一个实施例的流程图。
图9是图8对应实施例中步骤S2331在一个实施例的流程图。
图10是图2对应实施例中步骤S230在一个实施例的流程图。
图11是图10对应实施例中步骤S251进行建模的效果示意图。
图12是图10对应实施例中步骤S252进行模型修正的效果示意图。
图13是采用本申请的基于RGBD的单视角人体测量方法的测量示意图。
图14是根据一示例性实施例示出的基于RGBD的单视角人体测量的原理框图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如前所述，现有技术也有通过采用多视角或者单视角进行人体参数测量，但是无论是单视角或者多视角进行测量存在以下问题：
第一，如果采用多视角进行人体参数测量则需要多台设备同时进行拍摄，成本比较高、实现起来比较复杂，难以大规模应用。
第二，如果采用单视角进行人体参数测量的话，精度不高、需要其他机械设备或者人工辅助单视角设备进行拍摄。
为了克服现有技术不足，本发明提出基于RGB-D(三维深度数据加二维纹理数据)的单视角人体参数测量算法以及基于Zynq的RGB-D数据采集***，实现了一个可以在复杂环境下测量人体参数的便捷灵活的***。该种基于RGBD的单视角人体测量方法由计算机程序实现，与之相对应的，所构建的人脸识别装置可存储于架构有冯诺依曼体系的电子设备中，以在该电子设备中执行，进而实现人脸识别。例如，电子设备可以是智能手机、平板电脑、笔记本电脑、台式电脑、服务器等等，在此并未加以限定。
图1是根据一示例性实施例示出的一种电子设备的硬件结构框架图。需要说明的是，该电子设备只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图1中示出的示例性的电子设备中的一个或者多个组件。
该电子设备的硬件结构可因配置或者性能的不同而产生较大的差异，如图1所示，电子设备100包括：电源110、接口130、至少一存储器150、摄像头传感器170、以及至少一中央处理器(CPU，Central Processing Units)190。
其中，电源110用于为电子设备100上的各硬件设备提供工作电压。
接口130包括至少一有线或无线网络接口131、至少一串并转换接口133、至少一输入输出接口135以及至少一USB接口137等，用于与外部设备通信。
存储器150作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***151、应用程序153及数据155等，存储方式可以是短暂存储或者永久存储。其中，操作***151用于管理与控制电子设备100上的各硬件设备以及应用程序153，以实现中央处理器190对海量数据155的计算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。应用程序153是基于操作***151之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图1中未示出)，每个模块都可以分别包含有对电子设备100的一系列计算机可读指令。数据155可以是存储于磁盘中的照片、图片等。
摄像头传感器170包括：一3D传感器以及一2D传感器，3D传感器用于拍摄3D图像，2D传感器用于拍摄2D图像。
中央处理器190可以包括一个或多个以上的处理器，并设置为通过总线与存储器150通信，用于运算与处理存储器150中的海量数据155。
本申请的中央处理器190选取了Xilinx的Zynq7Z020作为数据获取的平台，在FPGA上实现了3D传感器和2D传感器的配置，数据的获取缓存。对于3D传感器，在FPGA上实现了深度计算，非线性矫正，温度补偿以及灰度补偿，提高深度数据精度；对于2D传感器，在FPGA上实现了JPEG(Joint Photographic Experts Group)压缩，提高高分辨率RGB数据的采集传输。本文利用FPGA硬件加速的特性来实现深度数据的计算以及JPEG的压缩、优化功能，相比其他嵌入式设备，速度极快，帧率高。同时在Zynq7z020的PS(Processing System)端上，我们实现对PL(Progarmmable Logic)端各个IP(Intellectual Property)的控制，RGB-D数据的获取，搭建TCP(Transmission Control Protocol)服务端，实现跟电脑主机的通信以及RGB-D数据的传输。
基于Zynq的RGB-D数据采集***，深度数据以及彩色图数据帧率达到25fps，能够快速获取图像数据。
如上面所详细描述的，适用本发明的电子设备100将通过中央处理器190读取存储器150中存储的一系列计算机可读指令的形式来完成人体参数测量方法。
此外，通过硬件电路或者硬件电路结合软件也能同样实现本发明，因此，实现本发明并不限于任何特定硬件电路、软件以及两者的组合。
请参阅图2，在一示例性实施例中，一种基于RGBD的单视角人体测量方法适用于电子设备，该电子设备的结构可以如图1所示。
该种人体测量方法可以由电子设备执行，可以包括以下步骤：
步骤S210：获取图像：通过深度摄像机和RGB摄像机分别获取待测量人体的设定方向的深度图和彩色图。
本实施例中，深度摄像机和RGB摄像机分别获取待测量人体的正面、背面、左侧面的深度图和彩色图。其中，深度图包括深度点云图和深度伪彩图。请参阅图3，图3从左到右分别为深度伪彩图、2D彩色图、深度点云图。
步骤S230：定位测量位置：确定设定方向的深度图和彩色图中的人体设定部位作为测量位置。
本实施例中，人体的颈部、腰部、臀部、臂展和手腕围等可作为测量位置。
步骤S250：测量位置建模：根据预设模型以及测量位置对应的深度图和彩色图的信息对测量位置进行建模。
步骤S270：获取人体参数：根据建模的结果获取测量位置的人体参数。
具体地，如图4所示，在一实施例的具体实现中，在步骤S210前可以包括以下步骤：还包括对图像进行立体标定矫正的步骤，对图像进行立体标定矫正的步骤包括：
步骤S211：矫正深度摄像机和RGB摄像机的镜头引起的图像畸变。通过图像畸变矫正能够保证后续的测量更为准确。
步骤S212：建立具有相互映射关系的深度图和彩色图。
本实施例中，相互映射的深度图和彩色图的意思是，找到深度图上的每一个像素点对应在彩色图上的RGB值。
在一实施例的具体实现中，步骤S211可以包括以下步骤：
步骤S2111：获取深度摄像机和RGB摄像机各个角度的棋盘的图片。
步骤S2112：对获取的图片进行棋盘角点监测，得到深度摄像机和RGB摄像机的内参矩阵和外参矩阵。
步骤S2113：读取内参矩阵和外参矩阵。本步骤中通过opencv函数读取内参矩阵和外参矩阵。
步骤S2114：将深度摄像机和RGB摄像机获取的图片通过读取到的内参矩阵和外参矩阵的参数进行坐标变换以进行镜头畸变矫正。
在一实施例的具体实现中，步骤S212的具体映射过程如下：步骤S2121：首先由于两个相机的视角不同，通过标定可以找到两个相机的覆盖范围随着深度的变化关系。
具体是：两个相机同时拍摄白墙，从1m到2.6m，每隔20cm保存一次幅度图、RGB图以及深度数据，记录下每次得到的幅度图和RGB图里面相同的视野的顶部横坐标t、底部横坐标b、左纵坐标l、右纵坐标r以及深度数据d。记幅度图数据为(t0，b0，l0，r0，d)，RGB图数据为(t1，b1，l1，r1，d)，其中的t，b，l，r，d都是向量，向量的长度是保存的数据的次数，即长度为9。通过将每个向量的数据，都用线性来拟合。两个相机的覆盖范围随着深度的变化关系。比如，深度相机覆盖范围内的顶部的横坐标T0＝a*d+b；其中a，b是根据之前t0向量拟合得到的参数，d为实际中测量的距离，其他参数也一样。得到两个相机覆盖范围的顶部横坐标，底部横坐标，左纵坐标，右纵坐标，之后就可以根据以上来进行切割。
步骤S2122：然后把两个相机里面的相同的覆盖范围切割出来。
步骤S2123：最后通过双线性插值，把两张图都缩放到1280*720的大小。
具体地，如图5至图7所示，在一实施例的具体实现中，在步骤S230可以包括以下步骤：
步骤S231：对深度图中的人体区域进行粗分割。本实施例中，通过区域增长以及阈值分割的算法对深度图进行粗分割，获取大致深度图的人体区域。其中，区域增长以及阈值分割的算法大致是先在深度图最中间放一个种子进行区域增长，将区域增长的阈值设置为20即表示将与中心像素相差20cm以内并且位置连续的像素通过阈值分割的算法分割出来。
步骤S232：将粗分割后的深度图映射到彩色图。本实施例中，根据步骤S212确立的深度图和彩色图的映射关系将从深度图中大致分割出来的深度图映射至彩色图中，获取彩色图中大致的人体区域。
步骤S233：对映射得到的彩色图进行精细分割。请参阅图6，图6中的左上图为3D传感器拍摄得到的深度图、右上图为RGB传感器拍摄得到的彩色图，左下图为对深度图的人体区域进行粗分割映射至彩色图的情形，右下图是对左下图进行精细分割后的情形。可以看到，经过上述步骤，能够完整、快捷地将人体区域从图片从分离出来。
步骤S234：根据精细分割后的彩色图确定人体区域的测量位置。
本实施例中，可以根据人体比例学确定人体区域的测量位置，其中，测量位置包括：颈部、腰部和臀部。根据科学统计，颈部的位置与人体身高的比例为0.14，腰部的位置与人体身高的比例0.39，臀部的位置与人体身高的比例为0.47。因此，如果测量位置是颈部时，则找到切割后的人体区域中相对人体身高的比例在0.14位置，比如，当人体身高是2米时，则从人体区域的顶部为起点，0.28米处的位置即为颈部的位置。同理，腰部、臀部的位置也可以按照这种方式在人体区域中进行定位。而手腕围的位置确定具体是：通过从左往右对人体区域中的手臂进行扫描会发现在所有的截径中，手腕处的截径处于所有截径的极小值处。臂展的位置确定具体是：对分割出来的人体轮廓，从左往右扫描，所有截径的极大值处就是臂展。请参阅图7，图7是进行测量位置定位的结果，在人体区域找到了颈部、腰部、臀部、手腕围和臂展的位置。
具体地，如图8所示，在一实施例的具体实现中，在步骤S233中，对映射得到的彩色图可以基于优化的Grabcut算法的进行精细分割。步骤S233具体可以包括以下步骤：
步骤S2331：将映射后得到的彩色图中进行前景以及背景的标记，得到前景和背景的混合高斯模型。
步骤S2332：通过最大流算法进行前景和背景的精细分割，得到精细分割后的人体区域。
具体地，如图9所示，在一实施例的具体实现中，在步骤S2331可以包括以下步骤：
步骤S2331a：将粗分割得到的结果映射到RGB图上，可以映射到RGB图的区域标记为前景，然后通过kmeans(k均值聚类算法，k-means clustering algorithm)算法将前景的像素点分为设定个数的组别，每个组分别得到一个混合高斯模型。这样就可以的得到前景的混合高斯模型。本实施例中，设定个数的组别为5个，这样可以得到5个混合高斯模型。
步骤S2331b：将粗分割的结果膨胀设定大小映射到RGB图上，可以将没被映射到的区域标记为背景，同样通过kmeans算法将背景的像素点分为设定个数的组别，每个组分别得到一个混合高斯模型，这样就可以得到背景的混合高斯模型。本实施例中，进行膨胀运算的内核设定为3*3的大小，设定个数的组别为5个，这样可以得到5个混合高斯模型。
步骤S2331c：最后剩下标记边缘没有被分到前景和背景的。计算每个像素属于前景的高斯模型的概率以及属于背景的高斯模型的概率，根据概率将该像素点分到前景或者背景。亦既是，计算每个像素属于前景的5个高斯模型的概率以及属于背景的5个高斯模型的概率，根据概率将该像素点分到前景或者背景。
本步骤相对传统的Grabcut算法进行了优化，实现了在一般场景下的全自动的人体轮廓信息的精确提取，使得人体区域的分割更为准确。
具体地，如图10至图12所示，在一实施例的具体实现中，在步骤S250可以包括以下步骤：
步骤S251：获取并根据测量位置的设定位置的深度信息建立预设模型。本实施例中，通过获取各个测量位置正面和侧面的边界信息建立菱形，亦既是，根据各个测量位置的深度信息和像素信息，选择各个测量位置在各个面的中点作为菱形四个角的点。比如，请参阅图11，针对测量位置臀部建立一个坐标系，根据侧面获得的RGB图中的臀部位置的像素宽度以及测量的深度信息可以确定菱形的其中两个坐标点(0，-50)以及(0，50)，然后根据正面获得的RGB图中的臀部位置的像素宽度以及测量的深度可以确定菱形的另外两个坐标点(100，0)以及(-100，0)。
步骤S252：提取并根据测量位置的关键稀疏点对预设模型进行修正以获得测量位置的人体模型。具体是：选择各个测量位置的关键稀疏点，将这些关键稀疏点添加到菱形的模型中，然后进行二项式插值，这样就可以形成俯视角度的精准的人体部位模型，该模型的表达式为：
请参阅图12，本实施例中，获取关键稀疏点的方法是通过对测量位置均匀采取7个深度值作为该测量位置的关键稀疏点。
通过本步骤能够对三个角度下的RGBD数据的各个部位分析建模，避免点云对准的操作，解决人体非刚性变化的问题。
因此，在步骤S270包括：对所述人体模型的曲线进行积分，即可得到所述人体模型的周长L，所述曲线积分表达式为：
请参阅图13，图13是通过本申请的人体测量方法对人体进行测量的结果示意图，可以看到，测量的结果是身高174.14cm，腰围是74.64cm，颈围是42.73cm，臀围是85.83cm，臂展是173.34cm。测量结果与实际情况相一致，并且经过验证，最终实现的测量精度为2.08cm，可见测量结果比较准确。
请参阅图14，在一示例性实施例中，一种基于RGBD的单视角人体测量装置500包括但不限于：获取图像模块510、定位测量位置模块530、测量位置建模模块550和获取人体参数模块570。
获取图像模块510，用于通过深度摄像机和RGB摄像机分别获取待测量人体的设定方向的深度图和彩色图；
定位测量位置模块530，用于确定所述设定方向的深度图和彩色图中的人体设定部位作为所述测量位置；
测量位置建模550，用于根据预设模型以及所述测量位置的对应深度图和彩色图的信息对所述测量位置进行建模；
获取人体参数570，用于根据建模的结果获取所述测量位置的人体参数。
需要说明的是，上述实施例所提供的单视角人体测量装置在进行人脸识别处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即单视角人体测量装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例所提供的单视角人体测量装置与单视角人体测量方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
在一示例性实施例中，一种单视角人体测量装置，包括处理器及存储器。其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现上述各实施例中的基于RGBD的单视角人体测量方法。
在一示例性实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的单视角人体测量方法。
本申请的有益效果在于：本申请通过获取多个角度的深度图和RGB图，确定各个角度的图片中人体各个部位的位置，提取各个测量位置的关键信息进行建模，根据建模得到的模型获取各个测量位置的横截面的形状信息，从而得到各个测量位置的参数，在保持较高的测量精度的基础上能够基于单视角全自动获得人体的颈围、腰围、臀围、手腕围和臂展的参数，并且成本比较低、操作比较简单、方便用户操作。
上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。
Claims (10)
1.一种基于RGBD的单视角人体测量方法，其特征在于，所述人体测量方法包括：
获取图像：通过深度摄像机和RGB摄像机分别获取待测量人体的设定方向的深度图和彩色图；
定位测量位置：确定所述设定方向的深度图和彩色图中的人体设定部位作为所述测量位置；
测量位置建模：根据预设模型以及所述测量位置对应的深度图和彩色图的信息对所述测量位置进行建模；
获取人体参数：根据建模的结果获取所述测量位置的人体参数。
2.如权利要求1所述的单视角人体测量方法，其特征在于，在所述获取图像的步骤之前，还包括对所述图像进行立体标定矫正的步骤，所述对图像进行立体标定矫正的步骤包括：
矫正所述深度摄像机和RGB摄像机的镜头引起的图像畸变；
建立具有相互映射关系的深度图和彩色图。
3.如权利要求2所述的单视角人体测量方法，其特征在于，在所述定位测量位置的步骤中，包括：
对所述深度图中的人体区域进行粗分割；
将粗分割后的所述深度图映射到所述彩色图；
对映射得到的所述彩色图进行精细分割；
根据精细分割后的所述彩色图确定所述人体区域的测量位置。
4.如权利要求3所述的单视角人体测量方法，其特征在于，在所述对深度图和彩色图进行人体分割的步骤中，包括：
通过区域增长以及阈值分割的算法对所述深度图进行粗分割，获取大致的人体区域；
将粗分割后的所述人体区域映射至所述彩色图；
将映射后得到的所述彩色图进行前景以及背景的标记，得到所述前景和背景的混合高斯模型；
通过最大流算法进行所述前景和背景的分割，得到精细分割后的所述人体区域。
5.如权利要求4所述的单视角人体测量方法，其特征在于，在所述测量位置建模的步骤中，包括：
将粗分割得到的结果映射到所述RGB图上，映射到所述RGB图的区域标记为前景，然后通过kmeans算法将所述前景的像素点分为设定个数的组别，每个组分别得到一个混合高斯模型；
将粗分割得到的结果膨胀设定大小后映射到所述RGB图上，没映射到所述RGB图的区域标记为背景，同样通过kmeans算法将所述背景的像素点分为设定个数的组别，每个组分别得到一个混合高斯模型；
计算每个所述像素属于所述前景的高斯模型的概率以及属于所述背景的高斯模型的概率，根据概率将该像素点分到前景或者背景。
6.如权利要求1所述的单视角人体测量方法，其特征在于，在所述测量位置建模的步骤中，包括：
获取并根据所述测量位置的设定位置的深度信息建立预设模型；
提取并根据所述测量位置的关键稀疏点对所述预设模型进行修正以获得所述测量位置的人体模型。
7.如权利要求5所述的单视角人体测量方法，其特征在于，在所述获取人体参数的步骤中，包括：
获取各个所述测量位置的中点的深度信息以建立菱形模型；
提取各个所述测量位置的关键稀疏点，并将所述关键稀疏点通过二项式插值的方式对所述菱形模型进行修正以形成所述测量位置的人体模型，该人体模型的表达式为：
8.如权利要求6所述的单视角人体测量方法，其特征在于，在所述获取人体参数的步骤中，包括：
对所述人体模型的曲线进行积分，即可得到所述人体模型的周长，所述曲线积分表达式为：
9.一种基于RGBD的单视角人体测量装置，其特征在于，所述装置包括：
获取图像模块，用于通过深度摄像机和RGB摄像机分别获取待测量人体的设定方向的深度图和彩色图；
定位测量位置模块，用于确定所述设定方向的深度图和彩色图中的人体设定部位作为所述测量位置；
测量位置建模，用于根据预设模型以及所述测量位置的深度图的信息对所述测量位置进行建模；
获取人体参数，用于根据建模的结果获取所述测量位置的人体参数。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的人体测量方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911213033.3A CN111008966A (zh) | 2019-12-02 | 2019-12-02 | 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911213033.3A CN111008966A (zh) | 2019-12-02 | 2019-12-02 | 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111008966A true CN111008966A (zh) | 2020-04-14 |
Family
ID=70113577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911213033.3A Pending CN111008966A (zh) | 2019-12-02 | 2019-12-02 | 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111008966A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524193A (zh) * | 2020-04-17 | 2020-08-11 | 西安交通大学 | 一种物体二维尺寸的测量方法及测量装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389569A (zh) * | 2015-11-17 | 2016-03-09 | 北京工业大学 | 一种人体姿态估计方法 |
| CN106952335A (zh) * | 2017-02-14 | 2017-07-14 | 深圳奥比中光科技有限公司 | 建立人体模型库的方法及其*** |
| US20170273639A1 (en) * | 2014-12-05 | 2017-09-28 | Myfiziq Limited | Imaging a Body |
| CN107680130A (zh) * | 2017-09-30 | 2018-02-09 | 深圳市云之梦科技有限公司 | 一种基于图像人体测量的方法及*** |
| CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
-
2019
- 2019-12-02 CN CN201911213033.3A patent/CN111008966A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170273639A1 (en) * | 2014-12-05 | 2017-09-28 | Myfiziq Limited | Imaging a Body |
| CN105389569A (zh) * | 2015-11-17 | 2016-03-09 | 北京工业大学 | 一种人体姿态估计方法 |
| CN106952335A (zh) * | 2017-02-14 | 2017-07-14 | 深圳奥比中光科技有限公司 | 建立人体模型库的方法及其*** |
| CN107680130A (zh) * | 2017-09-30 | 2018-02-09 | 深圳市云之梦科技有限公司 | 一种基于图像人体测量的方法及*** |
| CN110335343A (zh) * | 2019-06-13 | 2019-10-15 | 清华大学 | 基于rgbd单视角图像人体三维重建方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524193A (zh) * | 2020-04-17 | 2020-08-11 | 西安交通大学 | 一种物体二维尺寸的测量方法及测量装置 |
| CN111524193B (zh) * | 2020-04-17 | 2022-05-03 | 西安交通大学 | 一种物体二维尺寸的测量方法及测量装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6789402B2 (ja) | 画像内の物体の姿の確定方法、装置、設備及び記憶媒体 | |
| US10726580B2 (en) | Method and device for calibration | |
| US20210383549A1 (en) | Image recognition method and related apparatus based on artificial intelligence | |
| US20200058153A1 (en) | Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media | |
| WO2022012085A1 (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
| WO2017186016A1 (zh) | 图像形变处理的方法和装置、计算机存储介质 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| WO2020034743A1 (zh) | 三维模型处理方法、装置、电子设备及可读存储介质 | |
| CN112489099B (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| CN109523622A (zh) | 一种非结构化的光场渲染方法 | |
| WO2023207379A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113724391A (zh) | 三维模型构建方法、装置、电子设备和计算机可读介质 | |
| CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
| CN111383254A (zh) | 一种深度信息获取方法、***及终端设备 | |
| CN110909571B (zh) | 一种高精度面部识别空间定位方法 | |
| CN111008966A (zh) | 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质 | |
| CN116704125B (zh) | 一种基于三维点云的映射方法、装置、芯片及模组设备 | |
| US10861174B2 (en) | Selective 3D registration | |
| CN113808185B (zh) | 图像深度恢复方法、电子设备及存储介质 | |
| US10339702B2 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
| CN116704111A (zh) | 图像处理方法和设备 | |
| US20180158194A1 (en) | Determining Optical Flow | |
| Li et al. | Color correction based on point clouds alignment in the logarithmic RGB space | |
| CN113706439A (zh) | 一种图像检测方法、装置、存储介质及计算机设备 | |
| WO2022253043A1 (zh) | 人脸深度图像的面部变形补偿方法、成像装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |