CN111199576A - 一种基于移动平台的室外大范围人体姿态重建方法 - Google Patents
一种基于移动平台的室外大范围人体姿态重建方法 Download PDFInfo
- Publication number
- CN111199576A CN111199576A CN201911360084.9A CN201911360084A CN111199576A CN 111199576 A CN111199576 A CN 111199576A CN 201911360084 A CN201911360084 A CN 201911360084A CN 111199576 A CN111199576 A CN 111199576A
- Authority
- CN
- China
- Prior art keywords
- human body
- camera
- mobile platform
- shooting
- body posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/53—Determining attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种基于移动平台上的室外大范围人体姿态重建方法,包括如下步骤:使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定,其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位***的相机;移动平台跟随拍摄人体姿态,实时建立人体模型;根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄。本发明具有以下有益效果:不需要人工对相机进行标定,操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时,结合了多种传感器的数据,因此标定具有鲁棒性。相机位于移动平台上,使得拍摄灵活。最后,***控制移动平台移动和更好的拍摄角度进行拍摄,可以得到更优的人***姿信息。
Description
技术领域
本发明涉及多传感器结合、相机自动标定、人体姿态估计、人体姿态重建等领域,尤其涉及到一种基于移动平台实时相机自动标定的室外大范围人体姿态重建技术。
背景技术
室外人体姿态重建对于危险行为分析,运动员辅助训练,战场环境分析和未来的全息通信等都有重要作用。人体姿态重建是危险行为分析、运动员辅助训练和战场环境分析的核心步骤,要获得场景内的人物行为状态,对其关节点位置的分析必不可少。但当前人体姿态分析需要复杂的标定程序,仅针对室内小范围固定场景,并且在人员调整相机位置后需要重新标定,使用效率低,场景适应性弱。
相机的便捷高精度标定和合理的拍摄方法是重建人体姿态的核心问题,但当前的对人体姿态的重建基本都是使用单个相机或者固定的多个相机。这两种方法主要面临以下困难:单个相机的方法只能获得人体的2d位姿,对3d位姿的估计误差较大,且无法处理一个视角下的遮挡关节点。使用多个固定的相机的方法虽然重建准确率较高,也能处理部分的遮挡问题,但是固定相机的标定费时费力,且一旦标定完成相机就不允许再进行移动。因为固定相机的拍摄范围受限,所以对室外的移动场景基本无能为力。以上两种方式共有的缺陷是相机位置固定,相机经常不是在理想的拍摄角度,不能根据场景内的人体自动调整拍摄角度。
发明内容
本发明的目的是通过以下技术方案实现的。
鉴于对室外场景的人体姿态重建问题,本发明的目的在于提供一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术。能够结合多种传感器数据自动进行鲁棒的计算相机位姿,完成相机间标定;能够控制多个拍摄平台移动拍摄,实时重建人体模型;能够在人体姿态重建完毕后,根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄。
根据本发明的第一个方面,提供了一种基于移动平台的室外大范围人体姿态重建方法,包括:
使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定,其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位***的相机;
移动平台跟随拍摄人体姿态,实时建立人体模型;
根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄。
进一步地,所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定,包括:
通过卫星定位***获得相机坐标,与相机固定在一起的惯性测量单元获得每个相机相对初始化位置的旋转角度和位移,每台相机调整角度拍摄其他相机的人工视觉标识,计算相对其他相机的位移和角度,结合多种数据计算相机的外参,完成标定。
进一步地,所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定,包括:
测定每台相机的内参记录到中央计算机中;
为每台相机分配人工视觉标识;
所有移动平台从同一位置,相机以同一角度出发,出发时进行惯性测量单元的初始化;
将卫星定位***、惯性测量单元和人工视觉标识的数据无线传输到中央计算机中,根据上述数据实时标定相机。
进一步地,通过惯性测量单元和人工视觉标识分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿,通过卫星定位***计算出相机的相对位移。
进一步地,所述移动平台跟随拍摄人体姿态,实时建立人体模型,包括:
利用三角测量得到人关节点的三维坐标,通过动画软件对三维人***姿进行重建。
进一步地,所述移动平台跟随拍摄人体姿态,实时建立人体模型,包括:
每台相机拍摄场景图片;
对每帧图像使用深度学习方法预测按人区分的关节点2d坐标;
每台相机将得到的2d关节点坐标无线传输到中央计算机,标定得到相机之间的转换矩阵;
中央计算机由实时计算的相机位姿解算每个视角下关节点的3d位置。
进一步地,所述根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄,包括:
根据人体姿态重建结果,判断拍摄角度是否合理,如果拍摄角度合理,则移动平台不移动,如果拍摄角度不合理,则计算合理拍摄位置;
控制移动平台到达目标位置。
进一步地,所述根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄,包括:
判断重建的人体姿态是否有遮挡或侧身;
如果有遮挡或侧身,计算能够减少遮挡或人体的正面位置作为目标位置;
控制移动平台到达目标位置。
根据本发明的第二个方面,还提供了一种基于移动平台的室外大范围人体姿态重建***,包括:
实时自标定模块,用于通过卫星定位、惯性测量单元和人工视觉标识结合的参数求出移动平台上搭载的相机之间的相对位姿,计算转移矩阵,完成相机自标定;
实时姿态检测和重建模块,用于通过对每个相机拍摄到的RGB图像分别进行人体姿态检测,得到每个相机拍摄到的人体姿态的二维关节点坐标,使用所述实时自标定模块标定的数据,利用三角测量,解算出检测到的人体关节点的三维坐标,完成姿态重建;
移动平台位置自动优化模块,用于根据视野内人***姿计算合适的拍摄角度,控制移动平台移动到合适的拍摄角度进行拍摄。
如上所述,本发明公布了一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术,具有以下有益效果:不需要人工对相机进行标定,操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时,结合了多种传感器的数据,因此标定具有鲁棒性。相机位于移动平台上,使得拍摄灵活。最后,***控制移动平台移动和更好的拍摄角度进行拍摄,可以得到更优的人***姿信息。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1显示为本发明实施例中公开的整体基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术处理流程图。
图2显示为本发明实施例中公开的结合多种传感器的实时鲁棒的相机自标定处理流程图。
图3显示为本发明实施例中公开的移动实时人体姿态重建处理流程图。
图4显示为本发明实施例中公开的移动平台位置自动优化流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明公开一种基于移动平台的室外大范围人体姿态重建技术,能够使移动平台上的相机实时自标定,以对室外大范围的人体姿态进行实时重建。无需繁琐的人工标定过程,使得对室外大范围移动的人体进行姿态重建成为可能。移动人体姿态重建***由实时自标定模块、实时姿态检测和重建模块和移动平台位置自动优化模块构成。首先,多个移动平台,如三架无人机,出发后,自标定模块通过卫星定位、IMU((英文:Inertialmeasurement unit,简称IMU)惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。)和人工视觉标识结合的参数求出移动平台上搭载的相机之间的相对位姿,计算转移矩阵,完成相机自标定。其次,实时姿态检测和重建模块通过对每个相机拍摄到的RGB图像分别进行人体姿态检测,得到每个相机拍摄到的人体姿态的二维关节点坐标,使用自标定模块当时标定的数据,利用三角测量,解算出检测到的人体关节点的三维坐标,完成姿态重建。最后,移动平台位置自动优化模块根据视野内人***姿计算合适的拍摄角度,控制移动平台移动到合适的拍摄角度进行拍摄。
一般的,一个IMU包含了三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标***独立三轴的加速度信号,而陀螺检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。
具体的,图1给出了本发明的总体流程图,其中包含3个关键步骤,分别是实时鲁棒的相机自标定、移动实时人体姿态重建、移动平台位置自动优化,本实施例将对上述3个关键步骤进行详细描述。
本发明提供一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术,处理流程如图1所示,包括如下步骤:
S1、多个移动平台(如三架无人机),每个搭载一个绑定了IMU、人工视觉标识和卫星定位***的相机,结合以上三种传感器数据自动进行鲁棒的相机位姿计算和相机间标定;
其中,首先三架无人机一次在同一个位置起飞,初始化IMU。通过卫星定位获得相机坐标,与相机固定在一起的IMU获得每个相机相对初始化位置的旋转角度和位移,每台相机调整角度拍摄其他相机的人工标志物,计算相对其他相机的位移和角度,结合多种数据计算相机的外参,完成标定。
S2、移动实时人体姿态重建。利用三角测量得到人关节点的三维坐标,通过动画软件对三维人***姿进行重建。
S3、在人体姿态重建完毕后,根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄。
其中,图2给出了结合多种传感器的实时鲁棒的相机自标定处理流程图。为了达到鲁棒得标定相机的目的,本发明采用了三种传感器共同计算位姿的方法。这三种传感器各有优势,卫星定位和视觉标识物能够对IMU长时间使用产生的漂移误差进行纠正,IMU能在卫星定位信号不良或未拍摄到视觉标识物的时候仍提供位姿信息使标定不间断。通过三种传感器优势互补,便能获得较好的标定。将相机都使用同一个夹具进行固定后初始化IMU,能够将IMU的初始化状态调整至一致。相机的内参由相机出厂自带或者在使用之前用测量工具测得,使用时内参基本不变。本发明在步骤1中需要结合三种传感器对相机位姿做综合分析并标定,关键步骤是IMU的初始化、人工视觉标识的绑定和设计多种传感器的数据结合策略。处理流程如图2所示,包括如下步骤:
S11、测定每台相机的内参记录到中央计算机中。
S12、为每台相机分配特定二维码或者其他形状的人工视觉标识,标识和相机固定在一起。拍摄到此标识就能计算出拍摄相机和被拍相机之间的相对位姿。将恰好和相机形状吻合的卡槽固定到地面,将相机摆放到卡槽。
S13、所有移动平台从同一位置,相机以同一角度出发,出发时进行IMU的初始化,做到了所有移动平台的IMU初始化参数相同。
S14、将卫星定位、IMU和人工视觉标识数据无线传输到中央计算机中,通过IMU和人工视觉标识能分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿,通过卫星定位***能计算出相机的相对位移。某一个精度被认为较低时,舍弃这个的计算结果。然后,将数据无线传输到中央计算机。综合三个来源的参数,舍弃不可靠参数,实时标定相机。如果三个精度都在可接受的阈值内时,对三个的参数进行平均得到最后的值,得到了相机之间的外参。
通过步骤S1,同时利用了卫星定位***提供的位置信息,IMU提供的相对于初始点的位置和角度信息,相机拍摄挂在除自身外其他移动平台的人工视觉标识物计算出移动平台之间的相对位姿。当某个传感器参数无法使用时,用剩下的一个或两个仍然能成功计算出相机间的相对位姿进行标定。
在步骤2中,本发明实时解算拍摄范围内的人体关节的3d坐标。如图3所示,给出了移动实时人体姿态重建处理流程图。对单张彩色图像利用深度神经网络进行2d关节点预测,能够较好的得到人体关节的2d信息。每个移动平台将分析得到的2d关节信息无线传输到中央计算机。在中央计算机中使用上一步中得到的相机位姿关系和本步中的2d关节坐标,即可使用对极集合约束求解人体关节的3d位置。关键步骤如下:
S21、每台相机拍摄场景图片;
S22、对每帧图像使用深度学习方法(神经网络)预测按人区分的关节点2d坐标;
S23、每台相机将得到的2d关节点坐标无线传输到中央计算机;标定得到相机之间的转换矩阵。
S24、中央计算机由实时计算的相机位姿解算每个视角下关节点的3d位置。由对极集合解算关节3d坐标,通过动画软件对人体姿态进行重建显示。
通过步骤S2,多个移动平台一边从多个视角跟随拍摄,一边实时的计算出了人体的位姿并进行了实时建模。从多个视角拍摄能够尽可能多的得到人体真实位姿,减少因为遮挡等因素造成等位姿不确定性。实时的分析建模具有良好的时效性并能向场景中的人及时的反馈信息。
通过步骤S1、S2,即可获得实时的人体姿态重建。因为人员处于移动状态,经常发生身体遮挡和侧身等现象,需要结合特定的场景进行拍摄位置等调整以获得精确的人体姿态信息,本发明设计基于重建结果自动分析控制的移动拍摄平台,可以根据场景中当时的情况分析相机位置是否合理,不合理时进行自动调整。如图4所示,给出了移动平台位置自动优化流程图。因为人员处于移动状态,经常发生身体遮挡和侧身等现象,这些现象发生时会导致2d关节分析困难,进而影响关节三维信息推算的准确度。本发明设计移动平台位置自动优化策略,随时判断场景中的重建对象是否被遮挡或者是否处于侧身状态。如果检测到这些状态发生,就计算减少重建对象遮挡的位置或人体的正反面位置,选择合适的位置作为当前帧的目标位置,结合之前帧的目标位置预测之后的帧的目标位置,控制移动平台抵达该位置。关键步骤如下:
S31、根据人体姿态重建结果,判断拍摄角度是否合理,例如判断重建的人体姿态是否有遮挡或侧身;
S32、如果拍摄角度合理,则无人机不移动,如果拍摄角度不合理,例如如果有遮挡或侧身,计算能够减少遮挡或人体的正面位置作为目标位置;
S33、控制移动平台到达目标位置。
通过步骤S3,由于固定的拍摄角度或者随机的拍摄角度不能应对每个具体的场景,场景内人***姿不同,能更高精度的得到人***姿的拍摄角度是不同的。本发明能够根据场景内的状况,控制移动平台自动移动到合适的拍摄位置能够更好的获得人***姿信息,重建出更加精准的人***姿。
本发明从鲁棒的相机自动标定和合理拍摄方法入手,开发基于移动平台的实时相机自标定的室外大范围人体姿态重建***,在使用该***时,只需要设定拍摄中心,无需对移动平台个体进行操作,也不需要对移动平台上的相机进行手动标定,***可以自动完成对移动平台个体的控制,自动结合卫星定位***,IMU和相机拍摄到的人工视觉标识物计算出相机位姿,完成相机标定。并且***能自动根据拍摄范围内的人***姿调整移动平台到合适的拍摄位置。
上述方法不需要人工对相机进行标定,操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时,结合了多种传感器的数据,因此标定具有鲁棒性。相机位于移动平台上,使得拍摄灵活。最后,***控制移动平台移动和更好的拍摄角度进行拍摄,可以得到更优的人***姿信息。本***可帮助进行室外的运动员运动分析,安防领域的异常行为检测等。
通过上述具体实施方案,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,包括:
使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定,其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位***的相机;
移动平台跟随拍摄人体姿态,实时建立人体模型;
根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄。
2.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,
所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定,包括:
通过卫星定位***获得相机坐标,与相机固定在一起的惯性测量单元获得每个相机相对初始化位置的旋转角度和位移,每台相机调整角度拍摄其他相机的人工视觉标识,计算相对其他相机的位移和角度,结合多种数据计算相机的外参,完成标定。
3.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,
所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定,包括:
测定每台相机的内参记录到中央计算机中;
为每台相机分配人工视觉标识;
所有移动平台从同一位置,相机以同一角度出发,出发时进行惯性测量单元的初始化;
将卫星定位***、惯性测量单元和人工视觉标识的数据无线传输到中央计算机中,根据上述数据实时标定相机。
4.根据权利要求3所述的一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,
通过惯性测量单元和人工视觉标识分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿,通过卫星定位***计算出相机的相对位移。
5.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,
所述移动平台跟随拍摄人体姿态,实时建立人体模型,包括:
利用三角测量得到人关节点的三维坐标,通过动画软件对三维人***姿进行重建。
6.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,
所述移动平台跟随拍摄人体姿态,实时建立人体模型,包括:
每台相机拍摄场景图片;
对每帧图像使用深度学习方法预测按人区分的关节点2d坐标;
每台相机将得到的2d关节点坐标无线传输到中央计算机,标定得到相机之间的转换矩阵;
中央计算机由实时计算的相机位姿解算每个视角下关节点的3d位置。
7.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,
所述根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄,包括:
根据人体姿态重建结果,判断拍摄角度是否合理,如果拍摄角度合理,则移动平台不移动,如果拍摄角度不合理,则计算合理拍摄位置;
控制移动平台到达目标位置。
8.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法,其特征在于,
所述根据视野内人***姿,计算合适的拍摄角度,控制移动平台移动到最优拍摄角度进行拍摄,包括:
判断重建的人体姿态是否有遮挡或侧身;
如果有遮挡或侧身,计算能够减少遮挡或人体的正面位置作为目标位置;
控制移动平台到达目标位置。
9.一种基于移动平台的室外大范围人体姿态重建***,其特征在于,包括:
实时自标定模块,用于通过卫星定位、惯性测量单元和人工视觉标识结合的参数求出移动平台上搭载的相机之间的相对位姿,计算转移矩阵,完成相机自标定;
实时姿态检测和重建模块,用于通过对每个相机拍摄到的RGB图像分别进行人体姿态检测,得到每个相机拍摄到的人体姿态的二维关节点坐标,使用所述实时自标定模块标定的数据,利用三角测量,解算出检测到的人体关节点的三维坐标,完成姿态重建;
移动平台位置自动优化模块,用于根据视野内人***姿计算合适的拍摄角度,控制移动平台移动到合适的拍摄角度进行拍摄。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911360084.9A CN111199576B (zh) | 2019-12-25 | 2019-12-25 | 一种基于移动平台的室外大范围人体姿态重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911360084.9A CN111199576B (zh) | 2019-12-25 | 2019-12-25 | 一种基于移动平台的室外大范围人体姿态重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111199576A true CN111199576A (zh) | 2020-05-26 |
CN111199576B CN111199576B (zh) | 2023-08-18 |
Family
ID=70746614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911360084.9A Active CN111199576B (zh) | 2019-12-25 | 2019-12-25 | 一种基于移动平台的室外大范围人体姿态重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111199576B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113432603A (zh) * | 2021-06-25 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所 | 一种复杂环境下母平台与子平台相对位姿测量方法 |
CN114283447A (zh) * | 2021-12-13 | 2022-04-05 | 凌云光技术股份有限公司 | 一种动作捕捉***及方法 |
US12026917B2 (en) | 2022-03-23 | 2024-07-02 | Sony Group Corporation | Method of 3D reconstruction of dynamic objects by mobile cameras |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101086681A (zh) * | 2006-06-09 | 2007-12-12 | 中国科学院自动化研究所 | 基于立体视觉的游戏控制***及方法 |
CN101482928A (zh) * | 2009-02-24 | 2009-07-15 | 清华大学 | 一种行为描述的方法和装置 |
US20100158354A1 (en) * | 2008-12-22 | 2010-06-24 | Electronics And Telecommunications Research Institute | Method of creating animatable digital clone from multi-view images |
CN102222361A (zh) * | 2010-04-06 | 2011-10-19 | 清华大学 | 三维模型的捕捉及重建方法和*** |
US20110267344A1 (en) * | 2010-04-30 | 2011-11-03 | Liberovision Ag | Method for estimating a pose of an articulated object model |
KR20130088507A (ko) * | 2012-01-31 | 2013-08-08 | 한국전자통신연구원 | 인체의 관절구조를 추정하기 위한 장치 및 방법 |
CN104461013A (zh) * | 2014-12-25 | 2015-03-25 | 中国科学院合肥物质科学研究院 | 一种基于惯性传感单元的人体动作重构与分析***及方法 |
CN104508704A (zh) * | 2012-05-25 | 2015-04-08 | 波可斯有限公司 | 人体测量 |
CN104700433A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种基于视觉的实时人体全身体运动捕捉方法及其*** |
CN105847684A (zh) * | 2016-03-31 | 2016-08-10 | 深圳奥比中光科技有限公司 | 无人机 |
CN106959747A (zh) * | 2017-02-14 | 2017-07-18 | 深圳奥比中光科技有限公司 | 三维人体测量方法及其设备 |
CN107154073A (zh) * | 2017-04-17 | 2017-09-12 | 嘉兴超维信息技术有限公司 | 一种三维建模设备及方法 |
CN107239728A (zh) * | 2017-01-04 | 2017-10-10 | 北京深鉴智能科技有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
WO2018103407A1 (zh) * | 2016-12-09 | 2018-06-14 | 中山大学 | 一种基于彩色立体标定物的无人机标定方法及*** |
CN109003301A (zh) * | 2018-07-06 | 2018-12-14 | 东南大学 | 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练*** |
CN109032329A (zh) * | 2018-05-31 | 2018-12-18 | 中国人民解放军军事科学院国防科技创新研究院 | 面向多人增强现实交互的空间一致性保持方法 |
CN109242960A (zh) * | 2018-09-15 | 2019-01-18 | 武汉智觉空间信息技术有限公司 | 采用双Kinect和旋转平台的人体实时建模***及其建模方法 |
CN109242887A (zh) * | 2018-07-27 | 2019-01-18 | 浙江工业大学 | 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 |
CN109801374A (zh) * | 2019-01-14 | 2019-05-24 | 盾钰(上海)互联网科技有限公司 | 一种通过多角度图像集重构三维模型的方法、介质及*** |
CN109854893A (zh) * | 2018-12-06 | 2019-06-07 | 东南大学 | 一种可调节多视点三维重建采集*** |
CN110032278A (zh) * | 2019-03-29 | 2019-07-19 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及*** |
US20190278983A1 (en) * | 2018-03-12 | 2019-09-12 | Nvidia Corporation | Three-dimensional (3d) pose estimation from a monocular camera |
CN110308459A (zh) * | 2019-06-30 | 2019-10-08 | 南京理工大学 | 不依赖模型的非合作卫星相对位姿测量方法 |
CN110322544A (zh) * | 2019-05-14 | 2019-10-11 | 广东康云科技有限公司 | 一种可视化三维扫描建模方法、***、设备及存储介质 |
US20190325209A1 (en) * | 2018-07-04 | 2019-10-24 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and system for human body tracking processing |
-
2019
- 2019-12-25 CN CN201911360084.9A patent/CN111199576B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101086681A (zh) * | 2006-06-09 | 2007-12-12 | 中国科学院自动化研究所 | 基于立体视觉的游戏控制***及方法 |
US20100158354A1 (en) * | 2008-12-22 | 2010-06-24 | Electronics And Telecommunications Research Institute | Method of creating animatable digital clone from multi-view images |
CN101482928A (zh) * | 2009-02-24 | 2009-07-15 | 清华大学 | 一种行为描述的方法和装置 |
CN102222361A (zh) * | 2010-04-06 | 2011-10-19 | 清华大学 | 三维模型的捕捉及重建方法和*** |
US20110267344A1 (en) * | 2010-04-30 | 2011-11-03 | Liberovision Ag | Method for estimating a pose of an articulated object model |
KR20130088507A (ko) * | 2012-01-31 | 2013-08-08 | 한국전자통신연구원 | 인체의 관절구조를 추정하기 위한 장치 및 방법 |
CN104508704A (zh) * | 2012-05-25 | 2015-04-08 | 波可斯有限公司 | 人体测量 |
CN104461013A (zh) * | 2014-12-25 | 2015-03-25 | 中国科学院合肥物质科学研究院 | 一种基于惯性传感单元的人体动作重构与分析***及方法 |
CN104700433A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种基于视觉的实时人体全身体运动捕捉方法及其*** |
CN105847684A (zh) * | 2016-03-31 | 2016-08-10 | 深圳奥比中光科技有限公司 | 无人机 |
WO2018103407A1 (zh) * | 2016-12-09 | 2018-06-14 | 中山大学 | 一种基于彩色立体标定物的无人机标定方法及*** |
CN107239728A (zh) * | 2017-01-04 | 2017-10-10 | 北京深鉴智能科技有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
CN106959747A (zh) * | 2017-02-14 | 2017-07-18 | 深圳奥比中光科技有限公司 | 三维人体测量方法及其设备 |
CN107154073A (zh) * | 2017-04-17 | 2017-09-12 | 嘉兴超维信息技术有限公司 | 一种三维建模设备及方法 |
US20190278983A1 (en) * | 2018-03-12 | 2019-09-12 | Nvidia Corporation | Three-dimensional (3d) pose estimation from a monocular camera |
CN109032329A (zh) * | 2018-05-31 | 2018-12-18 | 中国人民解放军军事科学院国防科技创新研究院 | 面向多人增强现实交互的空间一致性保持方法 |
US20190325209A1 (en) * | 2018-07-04 | 2019-10-24 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and system for human body tracking processing |
CN109003301A (zh) * | 2018-07-06 | 2018-12-14 | 东南大学 | 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练*** |
CN109242887A (zh) * | 2018-07-27 | 2019-01-18 | 浙江工业大学 | 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 |
CN109242960A (zh) * | 2018-09-15 | 2019-01-18 | 武汉智觉空间信息技术有限公司 | 采用双Kinect和旋转平台的人体实时建模***及其建模方法 |
CN109854893A (zh) * | 2018-12-06 | 2019-06-07 | 东南大学 | 一种可调节多视点三维重建采集*** |
CN109801374A (zh) * | 2019-01-14 | 2019-05-24 | 盾钰(上海)互联网科技有限公司 | 一种通过多角度图像集重构三维模型的方法、介质及*** |
CN110032278A (zh) * | 2019-03-29 | 2019-07-19 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及*** |
CN110322544A (zh) * | 2019-05-14 | 2019-10-11 | 广东康云科技有限公司 | 一种可视化三维扫描建模方法、***、设备及存储介质 |
CN110308459A (zh) * | 2019-06-30 | 2019-10-08 | 南京理工大学 | 不依赖模型的非合作卫星相对位姿测量方法 |
Non-Patent Citations (3)
Title |
---|
CHEN JIA等: "3D Human Body Shape and Motion Tracking by LBS and Snake", vol. 24, no. 24, pages 357 - 63 * |
王永雄等: "动态多视角复杂3D人体行为数据库及行为识别", vol. 34, no. 34, pages 68 - 79 * |
邓宝松等: "多视点图像中线特征的三维重建", pages 713 - 718 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113432603A (zh) * | 2021-06-25 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所 | 一种复杂环境下母平台与子平台相对位姿测量方法 |
CN113432603B (zh) * | 2021-06-25 | 2022-09-16 | 中国船舶重工集团公司第七0七研究所 | 一种复杂环境下母平台与子平台相对位姿测量方法 |
CN114283447A (zh) * | 2021-12-13 | 2022-04-05 | 凌云光技术股份有限公司 | 一种动作捕捉***及方法 |
CN114283447B (zh) * | 2021-12-13 | 2024-03-26 | 北京元客方舟科技有限公司 | 一种动作捕捉***及方法 |
US12026917B2 (en) | 2022-03-23 | 2024-07-02 | Sony Group Corporation | Method of 3D reconstruction of dynamic objects by mobile cameras |
Also Published As
Publication number | Publication date |
---|---|
CN111199576B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
CN106780601B (zh) | 一种空间位置追踪方法、装置及智能设备 | |
KR101645392B1 (ko) | 트랙킹 시스템 및 이를 이용한 트랙킹 방법 | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
CN103020952B (zh) | 信息处理设备和信息处理方法 | |
EP3361948B1 (en) | Integration of inertial tracking and position aiding for motion capture | |
CN104217439B (zh) | 一种室内视觉定位***及方法 | |
CN111199576B (zh) | 一种基于移动平台的室外大范围人体姿态重建方法 | |
KR101768958B1 (ko) | 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템 | |
KR101220527B1 (ko) | 센서 시스템, 이를 이용하는 환경 지도 작성 시스템 및 방법 | |
WO2022000713A1 (zh) | 一种基于航空装配的增强现实自定位方法 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
CN106370160A (zh) | 一种机器人室内定位***和方法 | |
KR20190063153A (ko) | 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법 | |
US20070076096A1 (en) | System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system | |
KR101764222B1 (ko) | 고정밀 측위 시스템 및 방법 | |
KR20110119589A (ko) | 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법 | |
CN111307146A (zh) | 一种基于双目相机和imu的虚拟现实头戴显示设备定位*** | |
Kunz et al. | Stereo self-calibration for seafloor mapping using AUVs | |
CN106959051A (zh) | 基于空间感知定位技术的武器瞄准***的自动化校准方法 | |
Muffert et al. | The estimation of spatial positions by using an omnidirectional camera system | |
EP4332631A1 (en) | Global optimization methods for mobile coordinate scanners | |
CN113587934A (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
CN112862818A (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
CN111862146B (zh) | 一种目标对象的定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |