CN113177977B - 一种非接触式三维人体尺寸的测量方法 - Google Patents

Abstract

本发明涉及服装定制领域，公开了一种非接触式三维人体尺寸的测量方法，包括一、采用便携式智能终端获取以被测者为中心的视频信息；二、对所述视频信息进行预处理，从中提取关键帧图像序列；三、基于所述关键帧图像序列，先采用增量式SfM技术，计算出便携式智能终端的相机参数和三维结构，重建出相机空间位置的稀疏点云空间，再通过多视图立体视觉算法MVS对稀疏点云进行稠密点云重建；最后通过基于Graphnonmy+深度学习方法将分割后的人体轮廓区域通过稀疏点云空间重新投射到稠密点云空间上，得到人体着装轮廓分割后的稠密点云，从而重建出被测者的三维人体模型；四、基于重建出的三维人体模型，提取出相应的人体尺寸数据。

Description

一种非接触式三维人体尺寸的测量方法

技术领域

本发明涉及服装定制领域，尤其涉及一种非接触式三维人体尺寸的测量方法。

背景技术

近年来，随着人们物质生活的不断改善和提高，人们对生活的各方各面有了更高品质的追求。就服装领域而言，个性化私人量身定制和团体定制服装的需求愈演愈烈，而服装个性化定制意味着要实现一种快速、精准的人体测量方式，在此测量方式的基础上，把人体各部位尺寸数据进行数字化,用精准的数据特征来表示人体各部位的尺寸，一方面对人体体型特征有更全面和正确的认识，另一方面服装设计者在进行服装结构设计时使各部位的尺寸有准确的数据依据,使服装适合用户的体型又不失美感。因此，在个性化定制的需求下，非接触式三维人体自动测量技术作为其关键技术的重要环节之一，该技术是现代人体测量技术的重点研发内容，也是今后人体测量的方式发展的方向。

随着移动互联网的日渐发展，移动终端成为人们日常随身携带的必备物品。用相机和手机拍摄的图像是二维图像，使用三维重建技术可以从二维视图中获取三维信息。通常情况下，从单一的二维视图仅能获取目标物体某一个角度的信息，无法从中获取目标物体的三维空间结构信息，需要获取多张、多角度的二维视图从而完成高精度的三维重建工作。因此，如何从目标物体中获取多张、多视角的图像进行目标物体的三维空间结构信息，同时基于多视图的三维重建技术运用哪些算法，哪些方法，以实现高效精准地建模变得十分重要。

综上所述，如何实现一种快速、精准、低成本的人体测量方式是目前服装领域迫切需求，以满足消费者的个性化定制和特定体型客户的服装合体性需求，加快服装行业的大规模定制生产的效率，也为服装行业今后发展的提供技术和理论上的依据。

发明内容

为了解决现有问题，本发明提供了一种非接触式三维人体尺寸的测量方法，借助体感采集设备采集需要测量的人体三维RGB-D格式的点云集，利用曲率搜索法获得所有的真拐点，通过对真拐点进行连接判断，去除粘连部，从而可以计算待测围度值。

本发明可通过以下技术方案实现：

一种非接触式三维人体尺寸的测量方法，包括以下步骤：

步骤一、采用便携式智能终端获取以被测者为中心的视频信息；

步骤二、对所述视频信息进行预处理，从中提取关键帧图像序列；

步骤三、基于所述关键帧图像序列，先采用openMVG—IncrementalSFM增量式SfM技术，计算出便携式智能终端的相机参数和三维结构，重建出相机空间位置的稀疏点云空间，再通过多视图立体视觉算法MVS对稀疏点云进行稠密点云重建；最后通过基于Graphnonmy+深度学习方法将分割后的人体轮廓区域通过稀疏点云空间重新投射到稠密点云空间上，得到人体着装轮廓分割后的稠密点云，从而重建出被测者的三维人体模型；

步骤四、基于重建出的三维人体模型，提取出相应的人体尺寸数据。

进一步，所述步骤三中重建出被测者的三维人体模型的方法包括以下步骤：

步骤Ⅰ、采用SIFT技术对所述关键帧图像序列中的图像逐一进行特征点提取与匹配；

步骤Ⅱ、先选取匹配好的两幅图像进行初始化点云重建，同时对初始化生成的相机位姿和三维点云进行首次光束平差BA优化；此后，每添加一次新图像，均要进行相机空间位置点求解和特征点的三角定位，同时每添加一次新图像并重建完成后都要进行一次光束平差BA优化，直到所有图像添加完毕，整个增量式场景重建完成，从而重建出相机空间位置的稀疏点云空间；

步骤Ⅲ、先利用多视图聚类CMVS对稀疏点云空间对应的图像进行聚簇分类，再利用多视图立体视觉PMVS对每一幅图像的像簇实现独立的密集重构，获得对应的稠密点云空间；

步骤Ⅳ、通过基于Graphnonmy+深度学习方法将分割后的人体轮廓区域通过稀疏点云空间重新投射到稠密点云空间上，得到人体着装轮廓分割后的稠密点云，从而重建出被测者的三维人体模型。

进一步，所述步骤Ⅱ中进行光束平差BA优化时，所述关键帧图像序列中所有图像对应的相机位姿空间位置点要满足点阵约束规则，所述点阵约束规则设置为所有图像对应的相机位姿空间位置点沿一定圆柱面上均匀分布，用两个约束变量Ds和Dr表示，其中，Ds表示沿相机中心分布估计圆周上分布的径向离散度，Dr表示相机中心沿圆周轨迹上分布的离散度，其求解过程如下：

(1)设所述关键帧图像序列中所有图像对应的相机中心位置矩阵为{M_i,i＝1,...,K}，K表示关键帧图像，以第一帧图像对应的相机法向与Y轴夹角为参考旋转角度，将各个相机中心位置进行旋转校正，使得相机点阵圆周轴向与Y轴平行的，校正后的相机中心位置矩阵为

(2)采用容易三点估计圆法，估计

(x,y,r)分别表示采用容易三点估计圆法获得的圆心及半径；

(3)将估计的(x,y,r)圆周分为N份，计算各个分块圆周上相机分布数量

计算

若约束变量Ds和Dr均小于设置阈值，则稀疏点云空间重建结束，否则，重新进行稀疏点云空间重建。

进一步，所述步骤Ⅱ中的两幅图像设置为从已匹配好的关键帧图像序列中采用largest_stellar_configuratio()函数选择最大匹配点对的两幅图像，作为图像的“种子”进行初始化点云重建。

进一步，所述步骤二中的预处理方法包括：先采用FFmpeg程序将所述视频信息解析成多张图像序列，然后基于光流法原理，采用基于opencv开发包中稠密逆搜索DIS算法计算帧间光流能量算子，从而将拍摄视频过程中相机相对静态冗余帧去除；最后采用等间距抽样的方法，提取出关键帧图像序列。

进一步，在采用等间距抽样的方法，提取出关键帧图像序列时，首先，采用拉普拉斯算子计算静态帧剔除后的视频序列中的每帧图像的模糊能量值，然后，对静态帧剔除后的视频序列进行帧率降采样处理，设定目标帧数为T，静态帧剔除后的视频序列的帧数为Q，则采样率S＝Q/T，第i个预测关键帧为I_i＝I_[i*s]，其中，T值要根据具体重建效率来定，最后，在预测关键帧位置的指定领域范围内选取最高模糊能量值对应帧为实际的关键帧图像即目标帧图像，从而获得关键帧图像序列。

进一步，在所述步骤一中获取视频信息时，被测者双脚自然分开站立在棋盘标定板上，两脚与肩部保持同宽，双臂张开与身体角度15°～45°自然下垂，同时手掌朝内微握拳头，身体尽量不晃动，保持平衡，在所述棋盘标定板上、且处于被测者脚站位置的正前方设置有两个红色标记点，两者之间间隔预定距离，

拍摄视频信息时，拍摄人员手持便携式智能终端以指定半径的圆形围绕被测者转三圈进行环绕拍摄，分别为身体的上半部分、中间部分和下半部分，要求第一帧图像需正对人体面部方向拍摄，获得的视频信息必须包含棋盘标定板上的两个红色标记点。

进一步，所述步骤四中提取出相应的人体尺寸数据时，首先，采用基于RANSAC的点云体形状估计方法，对重建出的三维人体模型进行概率全局最大化平面估计，同时，通过定位棋盘标定板上的两个红色标记点的匹配，将空间尺度的缩放距离精确计算出来完成棋盘标定板的尺寸校正；其次，通过分割平面的图像反投影矩阵，确定棋盘标定板的中心、法向和垂直与红色标记点连线的人体站立面部指向，将三维空间点云旋转至所需取向，对人体站姿进行校正；再次，采用正、侧向投影曲线的曲率估计快速定位人体关键特征点，进而精确地提取出人体尺寸数据。

本发明有益的技术效果在于：

通过便携式智能终端如移动手机拍摄视频进行非接触式三维人体测量，弥补了传统接触式手工测量误差大、耗时久等不足，解决了非接触式三维扫描仪体积大，不便携带，成本高的问题，同时解决了目前基于拍摄正、侧、背的三张二维图像信息较为有限，重建出的人体模型往往不尽人意，最终不能提取出精准的人体尺寸数据的问题。同时，基于拍摄视频的方法是一种新型的三维非接触式测量技术，一方面视频中的序列图像在相邻帧之间间隔时间较短，目标物体运动量变化较小，另一方面通过对目标物体全方位视角拍摄，可以获取目标物体更多的信息，重建出精度更高的人体三维模型，进而能够提取更准确的人体尺寸数据。另外，本发明的方法使用普通智能手机作为拍摄设备，操作简单，成本低廉，自动化程度高等优势为服装行业的个性化定制提供了一个新的研究方向。

附图说明

图1为本发明的流程示意框图；

图2为本发明的棋盘标定板的示意图；

图3为本发明的视频信息系列帧间的光流能量曲线示意图；

图4为本发明的视频信息中的静态帧剔除后的模糊能量曲线示意图；

图5为本发明的关键帧图像序列的模糊能量曲线示意图；

图6为本发明的稀疏点云重建的结果示意图；

图7为本发明的稠密点云重建的结果示意图；

图8为本发明的人体着装分割后的稠密点云重建的结果示意图；

图9为本发明的棋盘标定板平面点云的X-Z图像重投影示意图；

图10为本发明的重投影后的棋盘标定板由RGB至Lab颜色通道模式转换后，阈值处理前后的对比示意图；

图11为本发明的棋盘标定板最优缩放尺度示意图；

图12为本发明的重建后的三维人体模型的站姿校正后的示意图。

具体实施方式

下面结合附图，对本发明的具体实施例做进一步阐述。

目前，在线测量最多的研究是通过拍摄二维图像，建立人体模型，但由于图像信息较为有限，重建出的人体模型往往不尽人意，最终不能提取出精准的人体尺寸数据。为了使得测量更加方便与精确，本发明采用基于拍摄视频的方法重建人体三维模型在目前现有的技术中还是很少见的，基于拍摄视频的方法是一种新型的三维非测量技术，一方面视频中的序列图像在相邻帧间隔时间较短，目标物体运动量变化较小，另一方面通过对目标物体全方位视角拍摄，可以获取目标物体更多的信息，重建出精度更高的人体模型，进而提取更准确的人体尺寸数据，同时，相较于三维建模软件和三维扫描仪获取人体模型的方法，这种方式较对设备要求低、具有重建约束限制条件少、自动化程度高、成本低、数据精准、人力资源投入较少、重建场景较为真实。重建范围可大可小，因此在越来越多的领域被应用。

附图1为本发明的流程图，本发明提供了一种非接触式三维人体尺寸的测量方法，包括以下步骤：

步骤一、采用便携式智能终端获取以被测者为中心的视频信息；

拍摄视频前，需打印一张黑白格的参考板做标定。参考板标定具体步骤：先打印一张101cmX105cm的棋盘标定板，如图2所示，单个棋盘方格大小为13cmX12.5cm；然后将两个红色圆形标记纸粘贴于棋盘标定板上，两者之间的距离13X4＝52cm，这两个红色标记点在被测者脚前面一点位置；最后，将棋盘标定板粘贴在实验室地平面上，供被测者站立。

视频采集使用便携式智能终端如移动相机拍摄静态场景的方式，为保证测量数据的准确性，在进行非接触式三维拍视频测量时对拍摄环境、目标人体着装及站姿都有一定要求，具体要求如下：

(1)拍摄环境

①在光线均匀的条件下拍摄视频，避免光线变化太明显时拍摄

②避免目标物体及场景中高动态的运动(如人手的晃动、窗外摇动的树枝等)

③拍摄场景需有纹理良好的图像，避免拍摄完全没有纹理的图像(如白墙、白桌子)

(2)着装要求

要求拍摄者鞋子避免穿红色及红色系的颜色，以免影响到标定板上两个红色圆形标记点的识别。

(3)拍摄姿势要求

①被测量者需身体直立、眼睛平视前方，以便精准地检测到颈部位置。

②双脚自然分开并站在指定的脚印线框里，左右脚与肩部保持同宽。

③被测量者双臂张开与身体角度15°～45°自然下垂，以便识别出腋窝的位置，同时手掌朝内微握拳头。

④身体尽量不晃动,保持平衡,以减少由于人体晃动带来的随机误差的影响。

视频采集时，首先，被测者按上述站立姿势要求站立于棋盘标定板上的脚部标示线框内，然后，拍摄人员双手手持手机以半径为1.5m的圆形围绕被测者转三圈进行环绕拍摄，要求第一帧手机需正对人体面部方向。拍摄三圈分别为身体上半部分，如头顶至胸部部位图；身体中间部位，如胸部至大腿部位图；身体下半部位，如大腿部至脚。在视频录制最后一圈时，轻扫下两个红色标记点，保证两个红色标记在采集的视频范围内，在拍摄视频要求测量者尽可能保持手机平衡，以便手机晃动带来误差。

步骤二、对视频信息进行预处理，从中提取关键帧图像序列，具体如下：

首先，采用FFmpeg程序将视频信息解析成多张图像序列；

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。这个项目是由FabriceBellard发起的，采用LGPL或GPL许可证(依据你选择的组件)，它提供了录制、转换以及流化音视频的完整解决方案。FFmpeg在Linux平台下开发，但它同样也可以在其它操作***环境中编译运行，包括Windows、MacOSX等。FFmpeg有着非常强大的功能包括对视频容器的转换、音视频的压缩、视频截取、截图、滤镜、音频提取等等，它可以轻易地实现多种视频格式之间的相互转换。

本发明的视频解析命令为：ffmpeg.exe–i文件名–f image2–vf fps＝fps＝30–s1920x1080％sout％％04d.bmp，所采集MP4格式视频分解成out0001.bmp、out0002.bmp等bmp格式的图像序列。

然后，基于光流法原理，采用基于opencv开发包中稠密逆搜索DIS算法计算帧间光流能量算子，从而将拍摄视频过程中相机相对静态冗余帧去除；

通过运动目标检测法可以把视频序列中背景图像中变化的区域提取出来，运动检测是运动分析的基础和前提。摄像机和运动目标运动关系较为复杂，按照背景是否运动大致可以把运动目标检测算法分为静态背景下的目标检测和动态背景下的目标检测两种。静态背景情况下的目标检测较动态背景下目标检测相比较简单，目前主流静态背景下目标跟踪法主要有帧差法、背景差分法(背景减弱法)以及光流法。本发明使用的是基于混合L-K流跟踪算法，应用Opencv光流检测目标人体的运动矢量，通过设计评估函数，进而估计帧间的运动矢量，从而判断出相机运动方向及幅度。

当视频流中连续两帧图像间产生运动时，则光流能量变化大，反之能量变化很小，基于此原理，可以将视频拍摄过程中相机相对静态冗余帧去除，本发明采用基于opencv开发包中稠密逆搜索(DIS)算法计算帧间光流能量算子，{E_i＝DIS(I_i,I_i+1),i＝1,...,P-1}，P为视频信息的帧总数，I_i为第i帧图像。

设运动能量阈值为E_thr，满足{E_i<E_thr,i＝1,...,P-1}，则作为静态帧剔除的条件。设剔除静态帧后的视频序列帧表示为

图3中绘制了视频系列帧间光流能量曲线，其中，红色直线为静态帧剔除阈值线，P＝868，N＝815。

最后采用等间距抽样的方法，提取出关键帧图像序列；

基于本发明视频拍摄的条件下，通过静态帧剔除后的视频序列帧数N通常大于2000帧，如果要全部计算各个序列帧的相机空间稀疏分布矩阵，目前常用计算机内存和CPU运算能力还不能胜任这项工作。考虑到计算效率和适用性因素，必须对静态帧剔除后的视频序列帧数N进行帧率降采样处理，以满足移动测体结果的准确性和实用性要求。

本发明采用等间距抽样的关键帧提取方法，首先，采用拉普拉斯算子计算静态帧剔除后的视频序列中每帧图像的模糊能量值，以D_i表示图像I_i ²的模糊能量值，其静态帧剔除后的模糊能量曲线如图4所示，D_i越大，像素变化越陡峭，图像越清晰，反之D_i越小，图像越模糊。

然后，对静态帧剔除后的视频序列进行帧率降采样处理，设定目标帧数为T，静态帧剔除后的视频序列的帧数为Q，则采样率S＝Q/T，第i个预测关键帧为I_i＝I_[i*s]，其中，T值要根据具体重建效率来定，通常K＝120。

最后，在预测关键帧位置的指定领域范围内选取最高模糊能量值对应帧为实际的关键帧图像即目标帧图像，从而获得关键帧图像序列，如图5所示，其中，采样率S＝Q/T＝6.7917，指定领域范围的半径R＝2，圆圈表示固定间隔抽样、十字表示局部领域调整。

步骤三、基于上述关键帧图像序列，基于SfM三维重建技术主要采用openMVG+openMVS技术重建三维人体模型，具体如下：

步骤Ⅰ、采用SIFT技术对所述关键帧图像序列中的图像逐一进行特征点提取与匹配；

主要步骤为先读入两幅图像，再使用SiftFeatureDetector类中的detect方法提取出图像中SIFT特征点，同时将其存入一个向量里，并使用drawKeypoints在图中标识出来，然后使用SiftDescriptorExtractor类中的compute方法对图像所有KeyPoint提取其特征描述符，结果放在一个Mat的数据结构中，再使用在BruteForceMatcher类中的match方法完成对描述符特征点的匹配，匹配结果保存由DMatch的组成的向量里，最后对两幅图像的特征向量进行匹配，得到匹配值。

步骤Ⅱ、采用openMVG—IncrementalSFM完成增量式SfM的相机空间位置稀疏点云重构，具体地，首先选取匹配好的两幅图像进行初始化点云重建，同时对初始化生成的相机位姿和三维点云进行首次光束平差BA优化；此后，每添加一次新图像，均要进行相机空间位置点求解和特征点的三角定位，同时每添加一次新图像并重建完成后都要进行一次光束平差BA优化，直到所有图像添加完毕，整个增量式场景重建完成，从而重建出相机空间位置的稀疏点云空间；

其中，由于通过bundle adjustment求解相机空间位置稀疏点阵时，容易陷入局部最优解，导致重构相机点阵出现奇异性，因此本发明通过添加相机位置空间结构约束规则，从而保证bundle adjustment求解的全局最优。

主要步骤如下：

(1)初始化重建

从步骤Ⅰ中已匹配的图像序列中采用largest_stellar_configuratio()函数选择最大匹配点对的两幅图像，作为图像的“种子”进行初始化点云重建

(2)位姿估计及三角定位

根据上述两幅图像相对尺度计算其三维坐标，继续添加新的图像，利用triangulatePoints方法计算出空间点坐标和新图像像素坐标匹配点之间的三角化，求解出相机空间坐标，即利用几何信息构建三角形来确定三维空间点的位置。同时，利用resectionGroupIndex按组(含多张image)添加剩下的所有图像的view，compute pose，即使用增量方式重建剩余图像。

将上述添加匹配后图像保存在matches_for_all列表中，再根据空间点坐标和对应的像素坐标作为参数，调用solvePnPRansac得到相机的旋转向量和位移，最后调用opencv的Rodrigues函数将旋转向量变换为旋转矩阵。

在openMVG的BundleAdjustment模块中，采用Ceres Solver方法对SfM三维重建后的内外参、点云进行BA优化，最后对所有数据进行BA优化包括所有生成的三维点、相机位姿及内参数。本发明根据拍摄规则，确定序列图像相机空间位置点阵约束规则为沿一定圆柱面上均匀分布，用两个约束变量Ds和Dr表示，其中，Ds表示沿相机中心分布估计圆周上分布的径向离散度，Dr表示相机中心沿圆周轨迹上分布的离散度，其求解过程如下：

(1)设所述关键帧图像序列中所有图像对应的相机中心位置矩阵为{M_i,i＝1,...,K}，K表示关键帧图像即目标帧图像的数量，以第一帧图像对应的相机法向与Y轴夹角为参考旋转角度，将各个相机中心位置进行旋转校正，使得相机点阵圆周轴向与Y轴平行的，校正后的相机中心位置矩阵为

(2)采用容易三点估计圆法，估计

(x,y,r)分别表示采用容易三点估计圆法获得的圆心及半径；

(3)将估计的(x,y,r)圆周分为N份，可以采用均分方式，计算各个分块圆周上相机分布数量

计算

如果估计相机阵列在圆周上相对均匀分布，则约束变量Ds和Dr相对较低，稀疏重构结束；如果约束变量Ds和Dr较大，表明重建效果越差，在大于一定阈值时，需要重新循环重构。本发明根据实际计算效率，设定约束变量Ds和Dr的阈值分别为0.1和3。经上述步骤得到结果为{M_i,i＝1,...,K}的相机空间位置稀疏点云重建，稀疏点云结果如图6所示。

步骤Ⅲ、先利用多视图聚类CMVS对稀疏点云空间对应的图像进行聚簇分类，再利用多视图立体视觉PMVS对每一幅图像的像簇实现独立的密集重构，获得对应的稠密点云空间；

根据明德基准的定量评价标准，基于贴片模型的PMVS算法在重建的准确性和完整性上是目前最好的重建算法，因此，本发明选取基于特征扩散的方法中基于面片的多视角三维立体视觉算法进行立体重建，但是经由运动恢复结构算法对图像中的匹配特征点进行恢复之后，有许多重叠的点云数据，需采用CMVS(Cluster Multi-view Stereo)聚簇分类算法对图像进行进一步优化，再进行稠密的三维重建，进而减少密集匹配时间和空间代价，以提高运算效率和重建的准确性，针对图6所示的稀疏点云进行稠密点云重构的结果如图7所示。

步骤Ⅳ、通过基于Graphnonmy+深度学习方法将分割后的人体轮廓区域通过稀疏点云空间重新投射到稠密点云空间上，得到人体着装轮廓分割后的稠密点云，从而重建出被测者的三维人体模型。

图像分割目的在于把图像分割成片段以简化图像分析，进而提取出目标的过程。通过图像分割可以将图像中的人体所在区域与背景分离，进而提取出目标人体的轮廓，为后续高级任务提供有效合理的信息。传统的图像分割方法主要有边缘检测法、K-means聚类、阈值法及图切割，但由于这些传统的方法都是使用严格的算法，需要人工干预和专业知识且时间复杂度和空间复杂度较高，效率远不如深度学习技术。本发明选择基于Graphonomy+深度学习的方法进行人体着装分割，再将分割后的人体轮廓区域通过稀疏空间点阵重新投射到稠密点云空间上，可以将非人体区域点云进行列出，进而提取出只含有目标人体的区域，同时起到人体点云的空间分割和去噪功能，人体着装轮廓分割后的重建稠密多云结果如图8所示。

步骤四、基于重建出的三维人体模型，提取出相应的人体尺寸数据。

首先，采用基于RANSAC的点云体形状估计方法，对重建出的三维人体模型进行概率全局最大化平面估计，同时，通过定位棋盘标定板上的两个红色标记点的匹配，将空间尺度的缩放距离精确计算出来完成棋盘标定板的尺寸校正。

由于在被测者所站的棋盘标定板上有两个红色标记点，位于网格黑白交叉点上，通过定位该参考点位置，可以将重建点云尺度重新校准至实际尺寸，具体方法如下：

(1)分割估计的三位空间平面局部点云，根据所估计的平面法向，将平面空间坐标校正至法向为Y向；

(2)计算分割后点云平面的立体包围盒，然后以包围盒中心为图像中心，包围盒长宽按比例缩放至1024x1024的图像尺度上，再进行平面点云的X-Z图像重投影，得到图像如图9所示；

(3)通过颜色分割算法，提取红色参考点区域，同时计算两个区域中心；

(4)计算两个红色标记点的间距l，计算实际点云缩放系数s＝L_red/l，L_red为实际标记点的间距；

(5)稠密重建点云的尺度缩放。

本发明的棋盘标定板尺寸为101cmX105cm，单个棋盘方格大小为13cmX12.5cm，两个红色圆形标记点距离为L_red＝13X4＝52cm。在标记点分割时，考虑到红色色度远高于黑白色度，所以先进行RGB至Lab颜色通道模式转换，然后对a通道进行阈值化处理，然后定位到区域中心，如图10所示。

考虑到区域中心定位低精度，本发明还采用了基于亚像素的刚性模板匹配算法，在粗定标记点一定领域范围内，以刚性模板与分割模板图像间黑白区域重叠度为优化目标函数，优化棋盘标定板最优缩放尺度，将空间尺度的缩放距离精确计算出来，其结果如图11所示，s＝0.575326。

其次，通过分割平面的图像反投影矩阵，确定棋盘标定板的中心、法向和垂直与红色标记点连线的人体站立面部指向，将三维空间点云旋转至所需取向，对人体站姿进行校正，具体如下：

棋盘标定板中两个标记点位置精确定位后，可以通过分割平面的图像反投影矩阵，确定棋盘标定板中心、法向和垂直与两个标记点连线的人体站立面部指向，将三维空间点云旋转所需取向。在棋盘标定板平面上，两个标记点的连线与人体站立平行，这两点连线的垂直方向有前后之分，面部朝向的方向为正方向。本发明设定面部朝垂直于Z轴正方向，人体身高方向为Y正向，双脚中心为原点，身体右侧为X正向，其旋转基本原理如下：

已知旋转前某个向量为n₁(x₁,y₁,z₁)旋转一定角度得到目标向量n₂(0,0,1)，固定三个轴中其中一个轴，转动其他两个轴。先固定X轴，转Y，Z旋转，绕X轴转，X轴是不发生变化的，定义在左手坐标系中，从轴的正方向往负方向看，顺时针为正方向，逆时针为负方向。从世界坐标系到与相机坐标系同向的坐标系是只经过旋转，那么旋转X轴原理如下：

和上述绕X轴旋转原理相似，绕Y轴旋转如下：

和上述绕X轴旋转原理相似，绕Y轴旋转如下：

图8旋转后的点云如图12所示。

再次，采用正、侧向投影曲线的曲率估计快速定位人体关键特征点，进而精确地提取出人体尺寸数据。

人体特征点反映着人体体型的重要信息，特征点的精准地识别及定位直接影响到后续人体尺寸计算的精度，因此，如何准确提取特征点是研究人体尺寸测量技术的关键。

由于人体轮廓可反映体型的凹凸变化，而这些变化较大的特征信息可通过曲率或向量变化来进一步确定人体各个部位的信息。本文采用正、侧向投影曲线的曲率估计快速定位人体关键特征点，该方法的基本思想是先将人体三维点云数据分别投影在X0Y平面、Z0Y平面，进而获取目标人体正侧面投影，可以初步确定人体特征点的大致区域范围。

将三维人体点云投影分别投影在XOZ平面和YOZ平面上，分别获取人体的正、侧投影轮廓，根据GB/T 23698-2009《三维扫描人体测量方法的一般要求》，从正侧投影轮廓上分别提取15个和10个特征点。

根据上述正侧投影的轮廓可以初步确定人体特征点的大致区域范围接下来需对特征点进行精确位置定位，进而完成人体关键部位的尺寸计算。长度测量是根据特征点的坐标信息计算得到，围度参数计算引用两个公开专利：一种基于切面点云的领围测量方法和基于切面点云的粘连围度测量方法。两种技术基本思想是首先将三维点云投影至二维平面上，利用曲率搜索法找到特征点精确位置进而得到近似人体围度的水平截面，找该截面内的最凸点或最凹点进而得到近似人体围度的平面点集，最后对平面点集求取人体各部位的围度值，具体如下：

长度的计算根据特征点的坐标信息计算得到，如身高是人体站直时头顶点至脚部最低点的垂距，肩宽是左右肩峰点过第七颈椎点的曲线弧长。左臂长从左肩峰点至虎口上2cm，右臂长从右肩峰点至虎口上2cm，长度测量常用的方法有模型法和参照法。本发明采用的是参照法，即选已知参考板的实际长度和其在图像中的像素数作为参照，结合图像坐标系中各人体部位尺寸的像素，对比求出实际的人体尺寸数。

领围定位及计算引用以公开专利：一种基于切面点云的领围测量方法，该技术主要包括四个技术路线，一、通过确定领围前颈围点F和后颈围点B,进而得到基准领围切面FB；二、设定阈值对上述切面FB进行平滑滤波,去除噪声点；三、利用极坐标统计方法对平面滤波后的点云集进行计算，得到领围的围度值Lc；四、利用区域最小搜索法搜索围度值Lc，得到最优领围的围度值Lco。

围度定位及计算引用以公开专利:-种基于切面点云的粘连围度测量方法，该技术主要流程是首先将三维点云投影至二维平面上，获取待测围度曲线；然后利用曲率搜索法曲率搜索法，获得所述待测围度曲线的所有检测拐点，并筛选出所有的真拐点；最后将这些真拐点进行连接，进而去除粘连的部位，即可计算出人体各部位的围度值。

在进行肩部信息定位及肩宽计算时，传统的方法是通过形状曲线估计法，但由于每个测量者张开双臂角度不同，且肩形不同，很难单用某个度数的直线进行形状匹配。在人体图像上，特征点表示的是图像极值点、线段终点、曲线曲率最大点或者水平或竖直方向上属性最大点。曲率表示曲线的弯曲程度，曲率越大，表示曲线的弯曲程度越大，曲线偏离直线的曲率半径等于曲率的倒数,即R＝1/K，曲率半径越大，圆弧越平缓，曲率越小，则曲线的弯曲程度越小，反之曲率半径越小，圆弧越陡，因此能够精确反映人体肩部的特征点。

人体肩部范围边缘轮廓曲线是有一定角度的，在服装测量时以肩斜度来表示侧颈点与肩点这两点与水平线的夹角，可在肩斜度较小的点标记为人体肩部领域轮廓曲线。为此，本发明提出了一种基于局部最大曲率法提取目标人体左右肩峰点，首先在人体肩部轮廓线区域各个点建立k邻域，然后寻找邻域中曲率最大的点即为肩部特征点，最后根据肩部特征点计算左右肩峰点过第七颈椎点的曲线弧长即肩宽。具体步骤如下：

(1)肩部特征点定位

Step1：从人体正面投影轮廓图中确定肩部区域，同时从所述肩部区域中提取肩部轮廓线。

Step2：定义肩部轮廓线为l_s，定义数据点P_i(x_i,y_i)，其中，i＝1,...,s,(P_i∈l_s)

Step3：通过最小二乘法原理求拟合曲线，近似曲线

使得近似曲线与y＝f(x)的偏差最小，近似曲线在点P_i处的偏差

Step4：由曲率公式:

有公式知，某点在曲线的曲率越大，则曲线的弯曲程度越大，计算所述肩部轮廓线l_s上所有的轮廓点的曲率，曲率最大的轮廓点即为肩部特征点。

Step5：左、右肩部特征点进行人体对称性定位，选取曲率值最大的点为肩部关键点并对另一边肩部特征点进行调整，最终确定左肩点和右肩点。

(2)肩宽计算

在左肩点和右肩点定位后特征确定后，可对肩宽的尺寸进行计算了。

本发明的人体尺寸数据测量方法，首先，完成三维非接触式视频拍摄测量，其次，采用FFmpeg将视频解析成多张图像序列，基于光流法原理的采用稠密逆搜索(DIS)算法计算帧间光流能量算子，剔除相机相对静态冗余帧，采用等间距抽样的方法提关键帧；再次采用openMVG+openMVS技术重建三维点云，重建出相机空间位置的稀疏点云重构和稠密点云，同时通过Graphnonmy+深度学习法得到人体着装轮廓分割后的重建稠密多云；最后完成提取人体关键尺寸参数工作，对标定板的尺寸校正和人体站姿进行校正，采用正、侧向投影曲线的曲率估计快速定位人体关键特征点，精确地提取出人体的特征点和尺寸计算，同时将提取的参数和手工测量数据进行对比，验证本测量方式的有效性及误差分析。

本发明实现了一种基于移动手机拍摄的三维非接触式人体测量的方式，该方法使用普通智能手机作为拍摄设备，操作简单，成本低廉，自动化程度高等优势为服装行业的个性化定制提供了一个新的研究方向。三维人体测量方式作为个性化量身定制服装中关键技术的基础工作之一，它的深入研究给三维重建及人体测量的研究者提供理论和技术的依托，同时也将推动个性化服装定制的发展。人体测量方式是目前服装领域迫切需求，以满足消费者的个性化定制和特定体型客户的服装合体性需求，加快服装行业的大规模定制生产的效率，也为服装行业今后发展的提供技术和理论上的依据。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (6)

1.一种非接触式三维人体尺寸的测量方法，其特征在于包括以下步骤：

步骤一、采用便携式智能终端获取以被测者为中心的视频信息；

步骤二、对所述视频信息进行预处理，从中提取关键帧图像序列；

步骤三、基于所述关键帧图像序列，先采用openMVG—IncrementalSFM增量式SfM技术，计算出便携式智能终端的相机参数和三维结构，重建出相机空间位置的稀疏点云空间，再通过多视图立体视觉算法MVS对稀疏点云进行稠密点云重建；最后通过基于Graphnonmy+深度学习方法将分割后的人体轮廓区域通过稀疏点云空间重新投射到稠密点云空间上，得到人体着装轮廓分割后的稠密点云，从而重建出被测者的三维人体模型；

步骤四、基于重建出的三维人体模型，提取出相应的人体尺寸数据；

所述步骤三中重建出被测者的三维人体模型的方法包括以下步骤：

步骤Ⅰ、采用SIFT技术对所述关键帧图像序列中的图像逐一进行特征点提取与匹配；

步骤Ⅱ、先选取匹配好的两幅图像进行初始化点云重建，同时对初始化生成的相机位姿和三维点云进行首次光束平差BA优化；此后，每添加一次新图像，均要进行相机空间位置点求解和特征点的三角定位，同时每添加一次新图像并重建完成后都要进行一次光束平差BA优化，直到所有图像添加完毕，整个增量式场景重建完成，从而重建出相机空间位置的稀疏点云空间；

步骤Ⅲ、先利用多视图聚类CMVS对稀疏点云空间对应的图像进行聚簇分类，再利用多视图立体视觉PMVS对每一幅图像的像簇实现独立的密集重构，获得对应的稠密点云空间；

步骤Ⅳ、通过基于Graphnonmy+深度学习方法将分割后的人体轮廓区域通过稀疏点云空间重新投射到稠密点云空间上，得到人体着装轮廓分割后的稠密点云，从而重建出被测者的三维人体模型；

所述步骤Ⅱ中进行光束平差BA优化时，所述关键帧图像序列中所有图像对应的相机位姿空间位置点要满足点阵约束规则，所述点阵约束规则设置为所有图像对应的相机位姿空间位置点沿一定圆柱面上均匀分布，用两个约束变量Ds和Dr表示，其中，Ds表示沿相机中心分布估计圆周上分布的径向离散度，Dr表示相机中心沿圆周轨迹上分布的离散度，其求解过程如下：

(1)设所述关键帧图像序列中所有图像对应的相机中心位置矩阵为{M_i,i＝1,...,K}，K表示关键帧图像的数量，以第一帧图像对应的相机法向与Y轴夹角为参考旋转角度，将各个相机中心位置进行旋转校正，使得相机点阵圆周轴向与Y轴平行的，校正后的相机中心位置矩阵为

(2)采用容易三点估计圆法，估计

(x,y,r)分别表示采用容易三点估计圆法获得的圆心及半径；

(3)将估计的(x,y,r)圆周分为N份，计算各个分块圆周上相机分布数量

计算

若约束变量Ds和Dr均小于设置阈值，则稀疏点云空间重建结束，否则，重新进行稀疏点云空间重建。

2.根据权利要求1所述的非接触式三维人体尺寸的测量方法，其特征在于：所述步骤Ⅱ中的两幅图像设置为从已匹配好的关键帧图像序列中采用largest_stellar_configuratio()函数选择最大匹配点对的两幅图像，作为图像的“种子”进行初始化点云重建。

3.根据权利要求1所述的非接触式三维人体尺寸的测量方法，其特征在于所述步骤二中的预处理方法包括：先采用FFmpeg程序将所述视频信息解析成多张图像序列，然后基于光流法原理，采用基于opencv开发包中稠密逆搜索DIS算法计算帧间光流能量算子，从而将拍摄视频过程中相机相对静态冗余帧去除；最后采用等间距抽样的方法，提取出关键帧图像序列。

4.根据权利要求3所述的非接触式三维人体尺寸的测量方法，其特征在于：在采用等间距抽样的方法，提取出关键帧图像序列时，首先，采用拉普拉斯算子计算静态帧剔除后的视频序列中的每帧图像的模糊能量值，然后，对静态帧剔除后的视频序列进行帧率降采样处理，设定目标帧数为T，静态帧剔除后的视频序列的帧数为Q，则采样率S＝Q/T，第i个预测关键帧为I_i＝I_[i*s]，其中，T值要根据具体重建效率来定，最后，在预测关键帧位置的指定领域范围内选取最高模糊能量值对应帧为实际的关键帧图像即目标帧图像，从而获得关键帧图像序列。

5.根据权利要求1所述的非接触式三维人体尺寸的测量方法，其特征在于：在所述步骤一中获取视频信息时，被测者双脚自然分开站立在棋盘标定板上，两脚与肩部保持同宽，双臂张开与身体角度15°～45°自然下垂，同时手掌朝内微握拳头，身体尽量不晃动，保持平衡，在所述棋盘标定板上、且处于被测者脚站位置的正前方设置有两个红色标记点，两者之间间隔预定距离，

拍摄视频信息时，拍摄人员手持便携式智能终端以指定半径的圆形围绕被测者转三圈进行环绕拍摄，分别为身体的上半部分、中间部分和下半部分，要求第一帧图像需正对人体面部方向拍摄，获得的视频信息必须包含棋盘标定板上的两个红色标记点。

6.根据权利要求5所述的非接触式三维人体尺寸的测量方法，其特征在于：所述步骤四中提取出相应的人体尺寸数据时，首先，采用基于RANSAC的点云体形状估计方法，对重建出的三维人体模型进行概率全局最大化平面估计，同时，通过定位棋盘标定板上的两个红色标记点的匹配，将空间尺度的缩放距离精确计算出来完成棋盘标定板的尺寸校正；其次，通过分割平面的图像反投影矩阵，确定棋盘标定板的中心、法向和垂直与红色标记点连线的人体站立面部指向，将三维空间点云旋转至所需取向，对人体站姿进行校正；再次，采用正、侧向投影曲线的曲率估计定位人体关键特征点，进而提取出人体尺寸数据。

Images