CN109669533B - 一种基于视觉和惯性的动作捕捉方法、装置及*** - Google Patents

一种基于视觉和惯性的动作捕捉方法、装置及*** Download PDF

Info

Publication number
CN109669533B
CN109669533B CN201811303014.5A CN201811303014A CN109669533B CN 109669533 B CN109669533 B CN 109669533B CN 201811303014 A CN201811303014 A CN 201811303014A CN 109669533 B CN109669533 B CN 109669533B
Authority
CN
China
Prior art keywords
data
motion
captured object
posture
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811303014.5A
Other languages
English (en)
Other versions
CN109669533A (zh
Inventor
闫东坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yingdi Mande Technology Co ltd
Original Assignee
Beijing Yingdi Mande Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingdi Mande Technology Co ltd filed Critical Beijing Yingdi Mande Technology Co ltd
Priority to CN201811303014.5A priority Critical patent/CN109669533B/zh
Publication of CN109669533A publication Critical patent/CN109669533A/zh
Application granted granted Critical
Publication of CN109669533B publication Critical patent/CN109669533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供了一种基于视觉和惯性的动作捕捉方法、装置及***，该动作捕捉方法包括：获取被捕捉对象的图像数据、通过视觉传感器模组得到的视觉传感器模组的第一运动数据及通过惯性测量模组得到的被捕捉对象的第二运动数据；根据图像数据和第一运动数据得到被捕捉对象的第一位姿数据；根据第二运动数据得到被捕捉对象的第二位姿数据；将第一位姿数据和第二位姿数据进行融合，得到被捕捉对象的动作信息。本发明实施例提供的基于视觉和惯性的动作捕捉方法、装置及***，由于结合了基于视觉的动作捕捉和基于惯性的动作捕捉两方面内容，将基于视觉的动作捕捉和基于惯性的动作捕捉得到的位姿数据进行融合，提高了动作捕捉的精度。

Description

一种基于视觉和惯性的动作捕捉方法、装置及***
技术领域
本发明涉及动作捕捉技术领域，具体涉及一种基于视觉和惯性的动作捕捉方法、装置及***。
背景技术
惯性动作捕捉随着近年来微机电***(MEMS)技术的成熟，迎来了高速发展，其方法为将惯性测量单元(IMU)连接到待测物体，并跟随一起运动，测量待测物体的角速度信息和加速度信息，并进一步处理得到位置信息和姿态信息，但是该方法的测量精度较低。
发明内容
有鉴于此，本发明实施例提出了一种基于视觉和惯性的动作捕捉方法、装置及***，用以解决现有动作捕捉方法测量精度低的问题。
为实现上述目的，本发明采用如下技术方案：
根据第一方面，本发明实施例提供了一种基于视觉和惯性的动作捕捉方法，该动作捕捉方法包括：获取被捕捉对象的图像数据、通过视觉传感器模组得到的所述视觉传感器模组的第一运动数据及通过惯性测量模组得到的所述被捕捉对象的第二运动数据；根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据；根据所述第二运动数据得到所述被捕捉对象的第二位姿数据；将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的动作信息。
结合第一方面，在第一方面第一实施方式中，所述视觉传感器模组包括：摄像头，所述方法通过所述摄像头获取所述图像数据；根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据，包括：根据所述图像数据和第一运动数据得到所述摄像头在世界坐标系下的第三位姿数据；根据所述图像数据得到所述被捕捉对象在所述摄像头坐标系下的第四位姿数据；根据所述第三位姿数据和第四位姿数据得到所述被捕捉对象在所述世界坐标系下的所述第一位姿数据。
结合第一方面第一实施方式，在第一方面第二实施方式中，通过即时定位与建图算法得到所述摄像头在世界坐标系下的第三位姿数据。
结合第一方面第一实施方式，在第一方面第三实施方式中，通过深度学习算法得到所述被捕捉对象在所述摄像头坐标系下的第四位姿数据。
结合第一方面或第一方面中任意一种实施方式，在第一方面第四实施方式中，将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的动作信息，包括：将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的位姿信息；根据所述位姿信息进行动力学解算，得到所述被捕捉对象的动作信息。
结合第一方面第四实施方式，在第一方面第五实施方式中，通过互补滤波算法、最小二乘算法或卡尔曼滤波算法将所述第一位姿数据和第二位姿数据进行融合。
根据第二方面，本发明实施例提供了一种基于视觉和惯性的动作捕捉装置，该动作捕捉装置包括：数据获取模块，用于获取被捕捉对象的图像数据、通过视觉传感器模组得到的所述视觉传感器模组的第一运动数据及通过惯性测量模组得到的所述被捕捉对象的第二运动数据；第一位姿确定模块，用于根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据；第二位姿确定模块，用于根据所述第二运动数据得到所述被捕捉对象的第二位姿数据；动作信息确定模块，用于将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的动作信息。
根据第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面或第一方面第一实施方式至第一方面第五实施方式中任一实施方式所述的动作捕捉方法。
根据第四方面，本发明实施例提供了一种基于视觉和惯性的动作捕捉设备，该动作捕捉设备包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面或第一方面第一实施方式至第一方面第五实施方式中任一实施方式所述的动作捕捉方法。
根据第五方面，本发明实施例提供了一种基于视觉和惯性的动作捕捉***，该动作捕捉***包括：视觉传感器模组、惯性测量模组和上位机，所述视觉传感器模组包括：摄像头和惯性测量单元；所述摄像头获取被捕捉对象的图像数据，并将所述图像数据发送至所述上位机；所述惯性测量单元获取所述视觉传感器模组的第一运动数据，并将所述第一运动数据发送至所述上位机；所述惯性测量模组获取所述被捕捉对象的第二运动数据，并将所述第二运动数据发送至所述上位机；所述上位机接收图像数据、第一运动数据和第二运动数据，根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据，根据所述第二运动数据得到所述被捕捉对象的第二位姿数据，将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的动作信息。
本发明技术方案，与现有技术相比，至少具有如下优点：
本发明实施例提供了一种基于视觉和惯性的动作捕捉方法、装置及***，该动作捕捉方法根据被捕捉对象的图像数据和视觉传感器模组的第一运动数据得到被捕捉对象的第一位姿数据，通过被捕捉对象的第二运动数据得到被捕捉对象的第二位姿数据，并将第一位姿数据和第二位姿数据进行融合，最终得到被捕捉对象的动作信息，由于结合了基于视觉的动作捕捉和基于惯性的动作捕捉两方面内容，将基于视觉的动作捕捉和基于惯性的动作捕捉得到的位姿数据进行融合，提高了动作捕捉的精度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于视觉和惯性的动作捕捉方法的一个具体示例的流程图；
图2为本发明实施例中基于视觉和惯性的动作捕捉方法的另一个具体示例的流程图；
图3为本发明实施例基于视觉和惯性的动作捕捉装置的一个具体示例的原理框图；
图4为本发明实施例基于视觉和惯性的动作捕捉***的一个具体示例的示意图；
图5为本发明实施例中基于视觉和惯性的动作捕捉设备的一个具体示例的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供了一种基于视觉和惯性的动作捕捉方法，如图1所示，该动作捕捉方法包括：
步骤S1：获取被捕捉对象的图像数据、通过视觉传感器模组得到的视觉传感器模组的第一运动数据及通过惯性测量模组得到的被捕捉对象的第二运动数据；其中，第一运动数据为通过视觉传感器模组得到的视觉传感器模组的运动角速度和加速度，第二运动数据为通过惯性测量模组得到的被捕捉对象的运动角速度和加速度。
步骤S2：根据上述图像数据和第一运动数据得到被捕捉对象的第一位姿数据。
步骤S3：根据第二运动数据得到被捕捉对象的第二位姿数据。
步骤S4：将第一位姿数据和第二位姿数据进行融合，得到被捕捉对象的动作信息。
通过上述步骤S1至步骤S4，本发明实施例提供基于视觉和惯性的动作捕捉方法，根据被捕捉对象的图像数据和视觉传感器模组的第一运动数据得到被捕捉对象的第一位姿数据，通过被捕捉对象的第二运动数据得到被捕捉对象的第二位姿数据，并将第一位姿数据和第二位姿数据进行融合，最终得到被捕捉对象的动作信息，由于结合了基于视觉的动作捕捉和基于惯性的动作捕捉两方面内容，将基于视觉的动作捕捉和基于惯性的动作捕捉得到的位姿数据进行融合，提高了动作捕捉的精度。
在一较佳实施例中，上述步骤S1，视觉传感器模组包括：摄像头，该摄像头可以是采用OV580双目摄像头，通过该摄像头连续拍摄被捕捉对象的影像，从而获取上述图像数据。视觉传感器模组还包括：惯性测量单元，惯性测量单元可以是运动传感器，通过该运动传感器获取视觉传感器模组的运动角速度和加速度，即上述的第一运动数据。惯性测量模组也可以是运动传感器，通过该运动传感器获得被捕捉对象的运动角速度和加速度，即上述的第二运动数据。
如图2所示，上述步骤S2，根据图像数据和第一运动数据得到被捕捉对象的第一位姿数据，具体包括：
步骤S21：根据图像数据和第一运动数据得到摄像头在世界坐标系下的第三位姿数据；优选地，通过即时定位与建图算法(simultaneous localization and mapping，SLAM)得到摄像头在世界坐标系下的第三位姿数据。
步骤S22：根据图像数据得到被捕捉对象在摄像头坐标系下的第四位姿数据；具体地，首先对图像数据进行畸变校正，得到无畸变图像，并利用无畸变图像进行基于TensorFlow的深度学习，得到被捕捉对象的语义信息，从而得到被捕捉对象在摄像头坐标系下的第四位姿数据。需要说明的是，对图像数据进行畸变校正可以是采用现有技术中对图像进行畸变校正的方法，本发明对此不做限定。
步骤S23：根据第三位姿数据和第四位姿数据得到被捕捉对象在世界坐标系下的第一位姿数据；具体地，将被捕捉对象在摄像头坐标系下的位置和姿态，结合摄像头在世界坐标系下的位置和姿态，递推得到被捕捉对象在世界坐标系下的位置和姿态。
在一较佳实施例中，上述的步骤S3，具体可以是对被捕捉对象的角速度数据和加速度数据进行卡尔曼滤波，然后通过位姿解算得到被捕捉的对象的位置和姿态，即上述的第二位姿数据。需要说明的是，位姿解算可以是采用现有技术中的位姿解算方法，本发明对此不做限定。
在一较佳实施例中，如图2所示，上述步骤S4，将第一位姿数据和第二位姿数据进行融合，得到被捕捉对象的动作信息，包括：
步骤S41：将第一位姿数据和第二位姿数据进行融合，得到被捕捉对象的位姿信息；优选地，通过互补滤波算法、最小二乘算法或卡尔曼滤波算法将第一位姿数据和第二位姿数据进行融合，得到高精度和高稳定性的被捕捉对象的位置和姿态信息。
步骤S42：根据位姿信息进行动力学解算，得到被捕捉对象的动作信息；具体地，对上述融合得到的位姿信息进行前向动力学，得到被捕捉对象的骨骼树末端位置，然后根据该骨骼树末端位置进行反向动力学，得到连续、稳定的动作捕捉骨骼结构，从而得到被捕捉对象的动作信息。
本发明实施例还提供了一种基于视觉和惯性的动作捕捉装置，如图3所示，该动作捕捉装置包括：数据获取模块1，用于获取被捕捉对象的图像数据、通过视觉传感器模组得到的视觉传感器模组的第一运动数据及通过惯性测量模组得到的被捕捉对象的第二运动数据，详细内容可参见上述方法实施例的步骤S1的相关描述；第一位姿确定模块2，用于根据图像数据和第一运动数据得到被捕捉对象的第一位姿数据，详细内容可参见上述方法实施例的步骤S2的相关描述；第二位姿确定模块3，用于根据第二运动数据得到被捕捉对象的第二位姿数据，详细内容可参见上述方法实施例的步骤S3的相关描述；动作信息确定模块4，用于将第一位姿数据和第二位姿数据进行融合，得到被捕捉对象的动作信息，详细内容可参见上述方法实施例的步骤S4的相关描述。
通过上述数据获取模块1、第一位姿确定模块2、第二位姿确定模块3和动作信息确定模块4，本发明实施例提供基于视觉和惯性的动作捕捉装置，根据被捕捉对象的图像数据和视觉传感器模组的第一运动数据得到被捕捉对象的第一位姿数据，通过被捕捉对象的第二运动数据得到被捕捉对象的第二位姿数据，并将第一位姿数据和第二位姿数据进行融合，最终得到被捕捉对象的动作信息，由于结合了基于视觉的动作捕捉和基于惯性的动作捕捉两方面内容，将基于视觉的动作捕捉和基于惯性的动作捕捉得到的位姿数据进行融合，提高了动作捕捉的精度。
本发明实施例还提供了一种基于视觉和惯性的动作捕捉***，如图4所示，该动作捕捉***包括：视觉传感器模组5、惯性测量模组6和上位机7，视觉传感器模组5包括：摄像头51和惯性测量单元52；摄像头51获取被捕捉对象的图像数据，并将图像数据发送至上位机7；惯性测量单元52获取视觉传感器模组的第一运动数据，并将第一运动数据发送至上位机7；惯性测量模组6获取被捕捉对象的第二运动数据，并将第二运动数据发送至上位机7；上位机7接收图像数据、第一运动数据和第二运动数据，根据图像数据和第一运动数据得到被捕捉对象的第一位姿数据，根据第二运动数据得到被捕捉对象的第二位姿数据，将第一位姿数据和第二位姿数据进行融合，得到被捕捉对象的动作信息。
通过上述视觉传感器模组5、惯性测量模组6和上位机7，本发明实施例提供的基于视觉和惯性的动作捕捉***，根据被捕捉对象的图像数据和视觉传感器模组的第一运动数据得到被捕捉对象的第一位姿数据，通过被捕捉对象的第二运动数据得到被捕捉对象的第二位姿数据，并将第一位姿数据和第二位姿数据进行融合，最终得到被捕捉对象的动作信息，由于结合了基于视觉的动作捕捉和基于惯性的动作捕捉两方面内容，将基于视觉的动作捕捉和基于惯性的动作捕捉得到的位姿数据进行融合，提高了动作捕捉的精度。
在本发明的可选实施方式中，上述摄像头51可以是采用OV580双目摄像头，可以进行静态拍摄，也可以结合视觉传感器模组的第一运动数据进行运动拍摄，通过该摄像头连续拍摄被捕捉对象的影像，从而获取上述图像信息；上述惯性测量单元52可以是采用MPU6500，通过MPU6500中的三轴陀螺仪和三轴加速度计获取视觉传感器模组的角速度数据和加速度数据，即上述的第一运动数据；上述惯性测量模组6也可以是采用MPU6500，MPU6500绑定于被捕捉对象的躯干上，通过柔性绷带与被捕捉对象的躯干刚性固连，具体可以是若干个MPU6500分别绑定于被捕捉对象的左右手臂、左右腿、头部和背部等，通过MPU6500中的三轴陀螺仪和三轴加速度计惯性测量模组的角速度数据和加速度数据，从而得到上述被捕捉对象的第二运动数据。
上述基于视觉和惯性的动作捕捉***的具体细节可以对应参阅图1和图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本发明实施例还提供了一种基于视觉和惯性的动作捕捉设备，如图5所示，该电子设备可以包括处理器81和存储器82，其中处理器81和存储器82可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器81可以为中央处理器(Central Processing Unit，CPU)。处理器81还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器82作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的基于视觉和惯性的动作捕捉方法对应的程序指令/模块(例如，图4所示的数据获取模块1、第一位姿确定模块2、第二位姿确定模块3和动作信息确定模块4)。处理器81通过运行存储在存储器82中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于视觉和惯性的动作捕捉方法。
存储器82可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器81所创建的数据等。此外，存储器82可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器82可选包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至处理器81。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器82中，当被所述处理器81执行时，执行如图1和图2所示实施例中的基于视觉和惯性的动作捕捉方法。
上述基于视觉和惯性的动作捕捉设备的具体细节可以对应参阅图1和图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种基于视觉和惯性的动作捕捉方法，其特征在于，包括：
获取被捕捉对象的图像数据、通过视觉传感器模组得到的所述视觉传感器模组的第一运动数据及通过惯性测量模组得到的所述被捕捉对象的第二运动数据；
根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据；
根据所述第二运动数据得到所述被捕捉对象的第二位姿数据；
将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的动作信息，所述动作信息是根据所述被捕捉对象的骨骼结构确定的，所述骨骼结构是根据所述第一位姿数据和第二位姿数据确定的位姿信息进行动力学解算得到的；
所述视觉传感器模组包括：摄像头，所述方法通过所述摄像头获取所述图像数据；
根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据，包括：
根据所述图像数据和第一运动数据得到所述摄像头在世界坐标系下的第三位姿数据；
根据所述图像数据得到所述被捕捉对象在所述摄像头坐标系下的第四位姿数据；
根据所述第三位姿数据和第四位姿数据得到所述被捕捉对象在所述世界坐标系下的所述第一位姿数据。
2.根据权利要求1所述的动作捕捉方法，其特征在于，通过即时定位与建图算法得到所述摄像头在世界坐标系下的第三位姿数据。
3.根据权利要求1所述的动作捕捉方法，其特征在于，通过深度学习算法得到所述被捕捉对象在所述摄像头坐标系下的第四位姿数据。
4.根据权利要求1所述的动作捕捉方法，其特征在于，通过互补滤波算法、最小二乘算法或卡尔曼滤波算法将所述第一位姿数据和第二位姿数据进行融合。
5.一种基于视觉和惯性的动作捕捉装置，其特征在于，包括：
数据获取模块，用于获取被捕捉对象的图像数据、通过视觉传感器模组得到的所述视觉传感器模组的第一运动数据及通过惯性测量模组得到的所述被捕捉对象的第二运动数据；
第一位姿确定模块，用于根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据；
第二位姿确定模块，用于根据所述第二运动数据得到所述被捕捉对象的第二位姿数据；
动作信息确定模块，用于将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的动作信息，所述动作信息是根据所述被捕捉对象的骨骼结构确定的，所述骨骼结构是根据所述第一位姿数据和第二位姿数据确定的位姿信息进行动力学解算得到的；
所述视觉传感器模组包括：摄像头，通过所述摄像头获取所述图像数据；
所述第一位姿确定模块，具体用于根据所述图像数据和第一运动数据得到所述摄像头在世界坐标系下的第三位姿数据；根据所述图像数据得到所述被捕捉对象在所述摄像头坐标系下的第四位姿数据；根据所述第三位姿数据和第四位姿数据得到所述被捕捉对象在所述世界坐标系下的所述第一位姿数据。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-4任一项所述的动作捕捉方法。
7.一种基于视觉和惯性的动作捕捉设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-4任一项所述的动作捕捉方法。
8.一种基于视觉和惯性的动作捕捉***，其特征在于，包括：视觉传感器模组、惯性测量模组和上位机，所述视觉传感器模组包括：摄像头和惯性测量单元；
所述摄像头获取被捕捉对象的图像数据，并将所述图像数据发送至所述上位机；
所述惯性测量单元获取所述视觉传感器模组的第一运动数据，并将所述第一运动数据发送至所述上位机；
所述惯性测量模组获取所述被捕捉对象的第二运动数据，并将所述第二运动数据发送至所述上位机；
所述上位机接收图像数据、第一运动数据和第二运动数据，根据所述图像数据和第一运动数据得到所述被捕捉对象的第一位姿数据，根据所述第二运动数据得到所述被捕捉对象的第二位姿数据，将所述第一位姿数据和第二位姿数据进行融合，得到所述被捕捉对象的动作信息，所述动作信息是根据所述被捕捉对象的骨骼结构确定的，所述骨骼结构是根据所述第一位姿数据和第二位姿数据确定的位姿信息进行动力学解算得到的；
其中，所述上位机根据所述图像数据和第一运动数据得到所述摄像头在世界坐标系下的第三位姿数据，根据所述图像数据得到所述被捕捉对象在所述摄像头坐标系下的第四位姿数据，根据所述第三位姿数据和第四位姿数据得到所述被捕捉对象在所述世界坐标系下的所述第一位姿数据。
CN201811303014.5A 2018-11-02 2018-11-02 一种基于视觉和惯性的动作捕捉方法、装置及*** Active CN109669533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811303014.5A CN109669533B (zh) 2018-11-02 2018-11-02 一种基于视觉和惯性的动作捕捉方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811303014.5A CN109669533B (zh) 2018-11-02 2018-11-02 一种基于视觉和惯性的动作捕捉方法、装置及***

Publications (2)

Publication Number Publication Date
CN109669533A CN109669533A (zh) 2019-04-23
CN109669533B true CN109669533B (zh) 2022-02-11

Family

ID=66142534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811303014.5A Active CN109669533B (zh) 2018-11-02 2018-11-02 一种基于视觉和惯性的动作捕捉方法、装置及***

Country Status (1)

Country Link
CN (1) CN109669533B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112815923B (zh) * 2019-11-15 2022-12-30 华为技术有限公司 视觉定位方法和装置
CN111207741B (zh) * 2020-01-16 2022-01-07 西安因诺航空科技有限公司 一种基于室内视觉vicon***的无人机导航定位方法
CN111382701B (zh) * 2020-03-09 2023-09-22 抖音视界有限公司 动作捕捉方法、装置、电子设备及计算机可读存储介质
CN112097768B (zh) * 2020-11-17 2021-03-02 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN112729294B (zh) * 2021-04-02 2021-06-25 北京科技大学 适用于机器人的视觉和惯性融合的位姿估计方法及***
CN113889223A (zh) * 2021-10-25 2022-01-04 合肥工业大学 一种基于计算机视觉的手势识别康复***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279186A (zh) * 2013-05-07 2013-09-04 兰州交通大学 融合光学定位与惯性传感的多目标运动捕捉***
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉***及方法
CN106256394A (zh) * 2016-07-14 2016-12-28 广东技术师范学院 混合动作捕捉的训练装置及***
CN206990800U (zh) * 2017-07-24 2018-02-09 宗晖（上海）机器人有限公司 一种定位***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073953A1 (en) * 2014-09-11 2016-03-17 Board Of Trustees Of The University Of Alabama Food intake monitor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279186A (zh) * 2013-05-07 2013-09-04 兰州交通大学 融合光学定位与惯性传感的多目标运动捕捉***
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN104834917A (zh) * 2015-05-20 2015-08-12 北京诺亦腾科技有限公司 一种混合运动捕捉***及方法
CN106256394A (zh) * 2016-07-14 2016-12-28 广东技术师范学院 混合动作捕捉的训练装置及***
CN206990800U (zh) * 2017-07-24 2018-02-09 宗晖（上海）机器人有限公司 一种定位***

Also Published As

Publication number Publication date
CN109669533A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109669533B (zh) 一种基于视觉和惯性的动作捕捉方法、装置及***
CN107990899B (zh) 一种基于slam的定位方法和***
CN109887032B (zh) 一种基于单目视觉slam的车辆定位方法及***
US10989540B2 (en) Binocular vision localization method, device and system
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
CN103118230B (zh) 一种全景图像采集方法、装置以及***
WO2019157925A1 (zh) 视觉惯性里程计的实现方法及***
JP5946924B2 (ja) シーン構造ベース自己姿勢推定
CN105593877B (zh) 基于动态地构建的环境地图数据进行物体追踪
CN106687063B (zh) 跟踪***及利用其的跟踪方法
CN107845114B (zh) 地图的构建方法、装置及电子设备
CN108389264B (zh) 坐标***确定方法、装置、存储介质及电子设备
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机***
JP6702543B2 (ja) 情報処理装置、方法およびプログラム
CN111750853A (zh) 一种地图建立方法、装置及存储介质
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN109767470B (zh) 一种跟踪***初始化方法及终端设备
CN106023192A (zh) 一种图像采集平台的时间基准实时标定方法及***
CN111815781A (zh) 增强现实数据呈现方法、装置、设备和计算机存储介质
CN111862150A (zh) 图像跟踪的方法、装置、ar设备和计算机设备
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
CN110825079A (zh) 一种地图构建方法及装置
CN114638897A (zh) 基于无重叠视域的多相机***的初始化方法、***及装置
CN114972668A (zh) 基于高度信息的激光slam方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant