CN108765498A - 单目视觉跟踪方法、装置及存储介质 - Google Patents

单目视觉跟踪方法、装置及存储介质 Download PDF

Info

Publication number
CN108765498A
CN108765498A CN201810539448.9A CN201810539448A CN108765498A CN 108765498 A CN108765498 A CN 108765498A CN 201810539448 A CN201810539448 A CN 201810539448A CN 108765498 A CN108765498 A CN 108765498A
Authority
CN
China
Prior art keywords
camera pose
pose
camera
coordinate system
scaling board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810539448.9A
Other languages
English (en)
Other versions
CN108765498B (zh
Inventor
林�源
张永杰
李颖超
吴中勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810539448.9A priority Critical patent/CN108765498B/zh
Publication of CN108765498A publication Critical patent/CN108765498A/zh
Priority to US16/265,350 priority patent/US10984554B2/en
Application granted granted Critical
Publication of CN108765498B publication Critical patent/CN108765498B/zh
Priority to US17/231,796 priority patent/US11704833B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出一种单目视觉跟踪方法、装置及计算机可读存储介质。其中单目视觉跟踪方法包括：使用无线追踪器采集第一相机位姿；使用摄像装置拍摄标定板图像，根据所拍摄的标定板图像，计算出第二相机位姿；获取第一相机位姿和第二相机位姿之间的转换参数；在摄像装置进行场景拍摄时，通过转换参数将第一相机位姿转换为第二相机位姿；其中，在采集第一相机位姿、拍摄标定板图像以及进行场景拍摄的过程中，无线追踪器和摄像装置的相对位置保持不变。本发明实施例通过摄像装置和无线追踪器进行单目视觉相机跟踪数据库的采集和相机位姿真值构建，所用设备造价低，适用于普通预研或者初步评测，且能够很好的模拟用户使用场景。

Description

单目视觉跟踪方法、装置及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种单目视觉跟踪方法、装置及计算机可读存储介质。
背景技术
单目视觉跟踪是三维物体重建、AR(Augmented Reality，增强现实)相机跟踪等计算机视觉应用的底层核心技术。客观评价其跟踪精度是衡量算法优劣的核心指标。目前视觉跟踪技术，类似SLAM(simultaneous localization and mapping，即时定位与地图构建)或者VO(Visual Odometry，视觉里程计)几乎都采用ATE(absolute translation error，绝对位移误差)及RPE(relative pose error，相对位姿误差)衡量。目前构建单目视觉相机跟踪数据库的方式主要有：引入3D laser tracker(激光跟踪仪)、IMU(Inertialmeasurement unit，惯性测量单元)、stereo camera(立体摄影机)，或者Vicon(威康)用于确定相机真实姿态。一般来说是利用基于3D laser的ICP(Iterative Closest Point，迭代最近点算法)、stereo camera的SFM(structure from motion，运动恢复结构)或者Vicon的跟踪sensor(传感器)获取相机真实姿态。其中，3D laser tracker和Vicon造价高，不适合普通实验室的预研工作；IMU和stereo camera在达到较高的性能要求的情况下也需要较高的造价。一些常用的公开数据集采用的场景比较集中，如车载拍摄数据，或单一的几个室内场景，针对大规模多场景应用的技术，比如AR相机跟踪，用这些数据测试，不能很好的模拟用户使用场景。
现有技术的缺点主要包括以下几个方面：
1)所用设备造价高，不适用于普通预研或者初步评测；
2)所用采集设备基于硬件进行时间同步，针对一般开发者较难实现；
3)假定相机成像模型不变，而现实情况下在移动平台上由于手机硬件防抖模块使得相机焦距无法固定，由此降低相机位姿真值估计精度。
发明内容
本发明实施例提供一种单目视觉跟踪方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种单目视觉跟踪方法，包括：使用所述无线追踪器采集第一相机位姿；使用所述摄像装置拍摄标定板图像，根据所拍摄的标定板图像，计算出第二相机位姿；获取所述第一相机位姿和所述第二相机位姿之间的转换参数；在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿；其中，在采集所述第一相机位姿、拍摄所述标定板图像以及进行场景拍摄的过程中，所述无线追踪器和所述摄像装置的相对位置保持不变。
结合第一方面，本发明实施例在第一方面的第一种实现方式中，根据所拍摄的标定板图像，计算出第二相机位姿，包括：将所述摄像装置拍摄的标定板图像进行相机内参归一化处理，将基于不同时刻成像模型参数的标定板图像转化成具有相同的成像模型参数；以及根据相机内参归一化处理后的标定板图像，使用相机标定算法计算出第二相机位姿。
结合第一方面、第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，根据所拍摄的标定板图像，计算出第二相机位姿，还包括：根据图像清晰度和相机位姿差异度从拍摄的所述标定板图像中选取一组图像序列；根据选取的所述图像序列，使用相机标定算法计算出第二相机位姿。
结合第一方面、第一方面的第一种实现方式，本发明实施例在第一方面的第三种实现方式中，获取所述第一相机位姿和所述第二相机位姿之间的转换参数，包括：根据设定的摄像装置的***时间与无线追踪器的***时间的时间差，获取所述第一相机位姿和所述第二相机位姿的对应数据，利用手眼标定进行配准，获取所述时间差下的最优转换矩阵和最优重投影误差，其中，所述最优转换矩阵是所述时间差下的重投影误差最小时对应的转换矩阵，所述最优重投影误差是所述最优转换矩阵对应的重投影误差；调整所述时间差，将所述最优重投影误差值最小时对应的时间差确定为***时间差；将***时间差下的所述最优转换矩阵确定为所述第一相机位姿和所述第二相机位姿之间的转换参数；其中，所述转换矩阵包括摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵、标定板坐标系与基站坐标系之间的转换矩阵；所述基站用于跟踪所述无线追踪器的位置；在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿，包括：在使用场景中通过所述转换参数以及所述***时间差，将所述第一相机位姿转换为所述第二相机位姿。
结合第一方面的第三种实现方式，本发明实施例在第一方面的第四种实现方式中，获取所述第一相机位姿和所述第二相机位姿的对应数据，包括：按照设定的所述时间差，采用插值法从所述第一相机位姿的数据中抽取采集时间差小于预定时间差阈值的数据，所述采集时间差是所述第一相机位姿与所述第二相机位姿的采集时间的差值；将抽取出的所述第一相机位姿的数据和对应的所述第二相机位姿的数据，作为所述第一相机位姿和所述第二相机位姿的对应数据。
结合第一方面的第三种实现方式，本发明实施例在第一方面的第五种实现方式中，利用手眼标定进行配准，获取当前时间差下最优转换矩阵，包括：根据所述第一相机位姿和所述第二相机位姿的对应数据，以及所述第一相机位姿和所述第二相机位姿的转换关系，基于奇异值分解方法获取所述转换矩阵的初始值；根据重投影误差公式以及所述第一相机位姿和所述第二相机位姿的转换关系公式，采用高斯牛顿法优化重投影误差，获取当前时间差下最优转换矩阵；其中，所述第一相机位姿和所述第二相机位姿的转换关系公式为AX＝ZB，A表示所述第一相机位姿，X表示摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵，B表示所述第二相机位姿，Z表示标定板坐标系与基站坐标系之间的转换矩阵；所述重投影误差公式为：
其中，为第i帧图像对应的所述第二相机位姿，Ki|i∈[0，n-1]为相机内参，以及，为标定板上角点在标定板坐标系下的位置，为在图像i上角点检测的位置，N是标定板上的角点数目。
结合第一方面的第五种实现方式，本发明实施例在第一方面的第六种实现方式中，在基于奇异值分解方法获取所述转换矩阵的初始值之前，还包括：将摄像装置位姿坐标系与无线追踪器位姿坐标系转换为统一的坐标系。
结合第一方面的第六种实现方式，本发明实施例在第一方面的第七种实现方式中，将摄像装置位姿坐标系与无线追踪器位姿坐标系变换为统一的坐标系，包括：将无线追踪器位姿坐标系变换为右手坐标系。
第二方面，本发明实施例提供了一种单目视觉跟踪装置，包括：第一位姿获取单元，用于使用无线追踪器采集第一相机位姿；第二位姿获取单元，用于使用摄像装置拍摄标定板图像，根据所拍摄的标定板图像，计算出第二相机位姿；转换参数获取单元，用于获取所述第一相机位姿和所述第二相机位姿之间的转换参数；转换单元，用于在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿；其中，在采集所述第一相机位姿、拍摄所述标定板图像以及进行场景拍摄的过程中，所述无线追踪器和所述摄像装置的相对位置保持不变。
结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述第二位姿获取单元包括归一化子单元，用于：将所述摄像装置拍摄的标定板图像进行相机内参归一化处理，将基于不同时刻成像模型参数的标定板图像转化成具有相同的成像模型参数；以及根据相机内参归一化处理后的标定板图像，使用相机标定算法计算出第二相机位姿。
结合第二方面、第二方面的第一种实现方式，本发明实施例在第二方面的第二种实现方式中，所述第二位姿获取单元还包括：图像序列选取子单元，用于根据图像清晰度和相机位姿差异度从拍摄的所述标定板图像中选取一组图像序列；相机标定子单元，用于根据选取的所述图像序列，使用相机标定算法计算出第二相机位姿。
结合第二方面、第二方面的第一种实现方式，本发明实施例在第二方面的第三种实现方式中，所述转换参数获取单元，包括：手眼标定子单元，用于根据设定的摄像装置的***时间与无线追踪器的***时间的时间差，获取所述第一相机位姿和所述第二相机位姿的对应数据，利用手眼标定进行配准，获取所述时间差下的最优转换矩阵和最优重投影误差，其中，所述最优转换矩阵是所述时间差下的重投影误差最小时对应的转换矩阵，所述最优重投影误差是所述最优转换矩阵对应的重投影误差；时间差确定子单元，用于调整所述时间差，将所述最优重投影误差值最小时对应的时间差确定为***时间差；转换参数确定子单元，用于将***时间差下的所述最优转换矩阵确定为所述第一相机位姿和所述第二相机位姿之间的转换参数；其中，所述转换矩阵包括摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵、标定板坐标系与基站坐标系之间的转换矩阵；所述基站用于跟踪所述无线追踪器的位置；所述转换单元还用于：在使用场景中通过所述转换参数以及所述***时间差，将所述第一相机位姿转换为所述第二相机位姿。
结合第二方面的第三种实现方式，本发明实施例在第二方面的第四种实现方式中，还包括：所述手眼标定子单元包括数据抽取子单元，用于：按照设定的所述时间差，采用插值法从所述第一相机位姿的数据中抽取采集时间差小于预定时间差阈值的数据，所述采集时间差是所述第一相机位姿与所述第二相机位姿的采集时间的差值；将抽取出的所述第一相机位姿的数据和对应的所述第二相机位姿的数据，作为所述第一相机位姿和所述第二相机位姿的对应数据。
结合第二方面的第三种实现方式，本发明实施例在第二方面的第五种实现方式中，所述手眼标定子单元还包括：初始化子单元，用于根据所述第一相机位姿和所述第二相机位姿的对应数据，以及所述第一相机位姿和所述第二相机位姿的转换关系公式，基于奇异值分解方法获取所述转换矩阵的初始值；优化子单元，用于根据重投影误差公式以及所述第一相机位姿和所述第二相机位姿的转换关系，采用高斯牛顿法优化重投影误差，获取当前时间差下最优转换矩阵；其中，所述第一相机位姿和所述第二相机位姿的转换关系公式为AX＝ZB，A表示所述第一相机位姿，X表示摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵，B表示所述第二相机位姿，Z表示标定板坐标系与基站坐标系之间的转换矩阵；所述重投影误差公式为：
其中，为第i帧图像对应的所述第二相机位姿，Ki|i∈[0，n-1]为相机内参，以及，为标定板上角点在标定板坐标系下的位置，为在图像i上角点检测的位置，N是标定板上的角点数目。
结合第二方面的第五种实现方式，本发明实施例在第二方面的第六种实现方式中，所述手眼标定子单元还包括坐标系转换子单元，用于：在基于奇异值分解方法获取所述转换矩阵的初始值之前，将摄像装置位姿坐标系与无线追踪器位姿坐标系转换为统一的坐标系。
结合第二方面的第六种实现方式，本发明实施例在第二方面的第七种实现方式中，所述坐标系转换子单元，还用于：将无线追踪器位姿坐标系变换为右手坐标系。
第三方面，本发明实施例提供了一种单目视觉跟踪装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。
在一个可能的设计中，单目视觉跟踪装置的结构中包括处理器和存储器，所述存储器用于存储支持单目视觉跟踪装置执行上述第一方面中单目视觉跟踪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述单目视觉跟踪装置还可以包括通信接口，用于单目视觉跟踪装置与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：通过摄像装置和无线追踪器进行单目视觉相机跟踪数据库的采集和相机位姿真值构建，所用设备造价低，适用于普通预研或者初步评测，且能够很好的模拟用户使用场景。
上述技术方案中的另一个技术方案具有如下优点或有益效果：通过调整时间差优化重投影误差，将重投影误差最小时对应的时间差确定为摄像装置的***时间与无线追踪器的***时间的***时间差，使构建的相机位姿真值更加准确，用户使用场景模拟的效果更好。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例的单目视觉跟踪方法的整体框架图；
图2为本发明提供的单目视觉跟踪方法的一种优选实施例的步骤流程图；
图3为本发明提供的单目视觉跟踪方法的手眼标定方案示意图；
图4为本发明提供的单目视觉跟踪方法的又一优选实施例的步骤流程图；
图5为本发明提供的单目视觉跟踪方法的另一优选实施例的步骤流程图；
图6为本发明提供的单目视觉跟踪方法的再一优选实施例的步骤流程图；
图7为本发明实施例的单目视觉跟踪装置的整体框架图；
图8为本发明提供的单目视觉跟踪装置的一种优选实施例的结构框图；
图9为本发明提供的单目视觉跟踪装置的又一优选实施例的结构框图；
图10为本发明提供的单目视觉跟踪装置的另一优选实施例的结构框图；
图11为本发明实施例的单目视觉跟踪装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述的内容被认为本质上是示例性的而非限制性的。
本发明实施例提供了一种单目视觉跟踪方法。图1为本发明实施例的单目视觉跟踪方法的整体框架图。如图1所示，本发明实施例的单目视觉跟踪方法包括：步骤S110，使用无线追踪器采集第一相机位姿；步骤S120，使用摄像装置拍摄标定板图像，根据所拍摄的标定板图像，计算出第二相机位姿；步骤S130，获取所述第一相机位姿和所述第二相机位姿之间的转换参数；步骤S140，在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿；其中，在采集所述第一相机位姿、拍摄所述标定板图像以及进行场景拍摄的过程中，所述无线追踪器和所述摄像装置的相对位置保持不变。
关于单目视觉相机跟踪数据库搭建方法，现有技术的实现方案多为价格高昂的多个高性能传感器绑定在一起获取相机姿态。为了能让用户低成本地采集个性化的数据库，本发明实施例提供了一种采用摄像装置和无线追踪器的低成本单目视觉相机跟踪数据库搭建方法。其中，摄像装置可采用普通手机，无线追踪器可采用VR(Virtual Reality,虚拟现实)头显的追踪器，如HTC vive tracker。使用HTC vive tracker采集数据，输出第一相机位姿，根据手机摄像头拍摄的标定板图像，使用相机标定算法计算出第二相机位姿，再根据所述第一相机位姿和所述第二相机位姿，获取所述第一相机位姿和所述第二相机位姿之间的转换参数。获取转换参数之后，就可以在拍摄实际使用场景时，例如桌面、地面等AR用户典型的交互场景，将vive tracker的位姿进行时间及空间相应转换，即可获得图像获取时的相机姿态。
上述技术方案具有如下优点或有益效果：通过摄像装置和无线追踪器进行单目视觉相机跟踪数据库的采集和相机位姿真值构建，所用设备造价低，适用于普通预研或者初步评测，且能够很好的模拟用户使用场景。
根据本发明单目视觉跟踪方法的一种实施方式，根据所拍摄的标定板图像，计算出第二相机位姿，包括：将所述摄像装置拍摄的标定板图像进行相机内参归一化处理，将基于不同时刻成像模型参数的标定板图像转化成具有相同的成像模型参数；以及根据相机内参归一化处理后的标定板图像，使用相机标定算法计算出第二相机位姿。
在一种可能的实现方式中，整个技术方案分两步：步骤一：相机内参归一化；步骤二：相机和HTC vive tracker时间及空间位姿配准。
其中，相机内参归一化是在已知相机不同时刻成像模型参数的情况下，将相机采集图像转化到相同成像模型参数下。具体地，可将手机后置摄像头作为相机使用。
成像模型参数包括相机内参，相机内参包括相机的焦距、主点的位置信息和畸变参数。其中，相机的焦距、主点的位置信息可用相机成像矩阵表示。
在这个过程中，可使用支持相机内参实时获取功能的手机操作***。在忽略相机畸变系数的前提下，假定目标相机成像矩阵为Kt，相机获取第i帧图像时的相机成像矩阵为Ki。将当前图像记为Ii(u，v)，对应Kt的形变后的图像为It(u，v)，则有下式成立：
由于相机在不同时刻采集的图像中，其相机的焦距、主点的位置信息可能在一定的范围内变化，可以采用某种策略选取一个统一的数值，比如取中间值或取平均值，确定焦距、主点的位置信息，构建目标相机成像矩阵Kt，从而将相机采集图像转化到相同成像模型参数下。
以上完成相机模型归一化，将这些经过内参调整后的图像输入给步骤二。
另外，可固定相机成像参数的相机忽略相机内参归一化这一步骤。
在步骤二，相机和HTC vive tracker时间及空间位姿配准这一步骤中，这里假定相机成像模型不变，以下详细阐述相机和HTC vive进行时间和空间同步方案。图2为本发明提供的单目视觉跟踪方法的一种优选实施例的步骤流程图。参照图2，步骤二具体包括：
1)在环境中放置HTC vive base(基站)和棋盘格，整个标定过程中，保持基站和棋盘格二者的位置不发生变化。同样地，将HTC vive tracker和相机固定到一起，数据采集过程中相对位置也不能发生变化。以下以手机后置摄像头作为相机使用，描述采集及配准过程。
2)搭建HTC vive tracker姿态采集***，每条数据(Tj,Aj)对应一个时间戳。其中Tj是HTC vive采集第j条数据时采集***的***时间；Aj表示这一时刻***输出位置和姿态。这里的位置是轨迹信息，可将相机坐标转换为世界坐标，即做camera to world转换。
3)在手机端搭建相机数据采集平台，采集时每帧图像对应一个时间戳。手机端采集数据用(ti,Ii)表示，ti是手机端采集该帧图像的***时间，Ii是该帧图像。拍摄对象是标定板，可以是棋盘格或者其他形式的标定板。
4)自动或手动选出一组拍摄棋盘格的图像序列进行相机内参标定。
根据本发明单目视觉跟踪方法的一种实施方式，根据所拍摄的标定板图像，计算出第二相机位姿，还包括：根据图像清晰度和相机位姿差异度从拍摄的所述标定板图像中选取一组图像序列；根据选取的所述图像序列，使用相机标定算法计算出第二相机位姿。
自动选取将遵循选入图像清晰度、相机位姿(位置和姿态)差异度满足一定阈值的条件下进行。通常选取差异化较大的图像序列，其中相机位姿差异度是所选图像两两之间3个方向的位移、旋转、尺度、朝向畸变的距离。
具体地，首先获得当前图像与所有选择图像的距离，找到最小距离值，若该距离大于阈值，则选择改图像进行相机标定；反之对下一张图像进行判断。
其中，两张图像的距离，也就是指两张图像的差异度。两张图像的距离定义为：图像中角点重心点x归一化的偏移，重心点y归一化的偏移，角点围成的四边形归一化面积之差及其定义的朝向角度偏差之和。
阈值一般定义为0.2到0.4之间。阈值过高选取图像会很少，阈值过低标定图像过密，相似度太高，图像数量过多，增加无意义的计算量。
5)获取这组图像序列对应每帧的相机姿态(tk,Bk)。
在这一步骤中，使用手机拍摄棋盘格，使用相机标定算法计算出相机位姿。
6)固定时间差，进行手眼标定，利用重投影误差优化。
固定手机***时间与vive采集***时间的时间差，因为两个***独立采集，没有精确同步，因此有时间差。获取对应数据后利用手眼标定进行配准。以重投影误差为判定标准，获取当前时间差下最优对应关系(X，Z)，并记录该时间戳对应的最优重投影误差。
其中，手眼标定的目的是得到坐标系之间的转换矩阵，包括相机位姿坐标***与tracker位姿坐标系之间的转换矩阵X、棋盘格坐标系与基站坐标系之间的转换矩阵Z。
重投影误差是指的真实三维空间点在图像平面上的投影(也就是图像上的像素点)和重投影(其实是用计算值得到的虚拟的像素点)的差值，因为种种原因计算得到的值和实际情况不会完全相符，也就是这个差值不可能恰好为0，因此也就需要将这些差值的和最小化获取最优的相机参数及三维空间点的坐标。
图3为本发明提供的单目视觉跟踪方法的手眼标定方案示意图。如图3所示。HTCvive及标定板都构建了一个自己的坐标系，现要将它们统一到同一坐标系。图3中，A表示HTC vive tracker在HTC vive***中的位姿，X表示相机坐标系转换到tracker坐标系的转换矩阵，B表示相机在标定板构建的世界坐标系的位姿，Z则表示由世界坐标系到HTC vive坐标系的转换矩阵。图3中所示的“world”表示世界坐标系，也就是棋盘格坐标系或者标定板坐标系。A、X、Z、B都是4*4的矩阵。因此，由图3所示，在时间配准后vive tracker和相机的位姿满足如下关系：
AX＝ZB (1)
7)采用由粗到精的方式，重复步骤5)-6)优化重投影误差。获取最小重投影误差时对应的时间差数值。
通常vive是与电脑连接的，由于电脑的***时间与手机的***时间是不同的，通常会有一个时间差，因此vive与手机两者的数据采集时间存在时间差。参见图2，调整时间差的具体步骤如下：
7a)首先设置一个较大的时间差，同时设置对应的数据选取的间隔时间。例如设置时间差的初始值为±5s，对应的间隔时间为0.5s，在±5s之间每间隔0.5s取一个时间差数值，这时所选取的时间差数值为±5s、±4.5s、±4s、……0。按照这些选取的时间差数值重复步骤5)-6)优化重投影误差。获取最小重投影误差时对应的时间差数值。
7b)由粗到精调整时间差。例如在步骤7a)中获取的最小重投影误差时对应的时间差数值为3s，则在流程的第二次循环中根据上次的结果重新设置本次循环的时间差和对应的间隔时间。例如可设置时间差数值为2.4s-3.6s，时间间隔为0.2秒，则本次循环中所选取的时间差数值为2.4s、2.6s、2.8s、……3.6s，按照这些选取的时间差数值重复步骤5)-6)优化重投影误差。获取最小重投影误差时对应的时间差数值。
7c)依次类推，在满足精度要求的情况下，停止循环，获取最小重投影误差时对应的时间差数值。
如上7步通过手机拍摄棋盘格，进行X、Z及两个采集时间差标定。
8)拍摄实际使用场景，例如桌面、地面等AR用户典型的交互场景，将vive tracker的位姿通过以下公式进行时间及空间上的相应转换，即可获得图像获取时的相机姿态：
Bj＝Z-1AjX
至此，完成单目视觉相机跟踪数据库的搭建。
图4为本发明提供的单目视觉跟踪方法的又一优选实施例的步骤流程图；再参见图1-图4，根据本发明单目视觉跟踪方法的一种实施方式，图1中的步骤S130，获取所述第一相机位姿和所述第二相机位姿之间的转换参数，具体包括步骤S210、步骤S220和步骤S230。步骤S210，根据设定的摄像装置的***时间与无线追踪器的***时间的时间差，获取所述第一相机位姿和所述第二相机位姿的对应数据，利用手眼标定进行配准，获取所述时间差下的最优转换矩阵和最优重投影误差，其中，所述最优转换矩阵是所述时间差下的重投影误差最小时对应的转换矩阵，所述最优重投影误差是所述最优转换矩阵对应的重投影误差；步骤S220，调整所述时间差，将所述最优重投影误差值最小时对应的时间差确定为***时间差；步骤S230，将***时间差下的所述最优转换矩阵确定为所述第一相机位姿和所述第二相机位姿之间的转换参数；其中，所述转换矩阵包括摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵、标定板坐标系与基站坐标系之间的转换矩阵；所述基站用于跟踪所述无线追踪器的位置；图1中的步骤S140，在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿，包括：在使用场景中通过所述转换参数以及所述***时间差，将所述第一相机位姿转换为所述第二相机位姿。
具体地，在使用手机作为摄像装置、使用HTC vive tracker作为无线追踪器的应用场景中，获取第一相机位姿和第二相机位姿之间的转换参数的详细步骤如上述步骤6)-8)所述。
上述步骤6)固定时间差，进行手眼标定，利用重投影误差优化，又可以分成如下几步：
6a)从vive与相机采集的数据中获取对应时刻的数据。
例如，相机拍摄频率30fps，vive获取数据帧率250hz。因此，需要按照假定时间差，从vive采集的数据中抽出与相机同时刻的数据。由于二者不可避免地有时间差存在，因此，可选择插值的方式计算vive当时的位姿。
再参见图4，在一种可能的实现方式中，图4中的步骤S210中，获取所述第一相机位姿和所述第二相机位姿的对应数据，包括：按照设定的所述时间差，采用插值法从所述第一相机位姿的数据中抽取采集时间差小于预定时间差阈值的数据，所述采集时间差是所述第一相机位姿与所述第二相机位姿的采集时间的差值；将抽取出的所述第一相机位姿的数据和对应的所述第二相机位姿的数据，作为所述第一相机位姿和所述第二相机位姿的对应数据。其中，预定时间差阈值可根据精度的要求而具体设定。
6b)将相机位姿坐标系与HTC vive位姿坐标系转换为统一的坐标系。
HTC vive是左手坐标系，相机标定结果为右手坐标系。这里将vive坐标系变为右手系。左右手系变换的对应关系如下：
空间位置对应关系：
(x，y，z)→(-x，y，z)
空间姿态四元数对应关系：
(rx，ry，rz，rw)→(-rx，ry，rz，-rw)
6c)获取X和Z的初始值。
由AX＝ZB可以推导出ΔAX＝XΔB，其中i∈[0，n-1]。n是挑选出数据的个数。
因此，基于SVD(Singular value decomposition，奇异值分解)分解可获得X的初始值。
由A0X＝ZB0，获得Z的初始值。
6d)优化重投影误差
第i帧图像对应的相机姿态为记标定板上棋盘格角点在世界坐标系下位置为N是棋盘格上所用角点数目。记在图像i上角点检测的位置为相机内参Ki|i∈[0，n-1]。重投影误差公式为：
由于AiX＝ZBi，因此Bi＝Z-1AiX，，由此上式变为：
上式假定每帧图像对应相机模型K是相同的。更进一步地，先利用相机标定估计K，之后再确定X和Z。其中，X和Z都是6自由度。通常，物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度。可以用高斯牛顿法求解获得。
图5为本发明提供的单目视觉跟踪方法的另一优选实施例的步骤流程图。参见图5，在一种可能的实现方式中，图4中的步骤S210中，以重投影误差为判定标准，利用手眼标定进行配准，获取当前时间差下最优转换矩阵，包括：步骤S310，根据所述第一相机位姿和所述第二相机位姿的对应数据，以及所述第一相机位姿和所述第二相机位姿的转换关系公式，即上述公式(1)，基于奇异值分解方法获取所述转换矩阵的初始值；步骤S320，根据重投影误差公式以及所述第一相机位姿和所述第二相机位姿的转换关系，采用高斯牛顿法优化重投影误差，获取当前时间差下最优转换矩阵。
图6为本发明提供的单目视觉跟踪方法的再一优选实施例的步骤流程图。参见图6，在一种可能的实现方式中，在步骤S310，基于奇异值分解方法获取所述转换矩阵的初始值之前，还包括步骤S305：将摄像装置位姿坐标系与无线追踪器位姿坐标系转换为统一的坐标系。具体地，将摄像装置位姿坐标系与无线追踪器位姿坐标系变换为统一的坐标系，包括：将无线追踪器位姿坐标系变换为右手坐标系。
上述技术方案中以重投影误差为判定标准，具有如下优点或有益效果：通过调整时间差优化重投影误差，将重投影误差最小时对应的时间差确定为摄像装置的***时间与无线追踪器的***时间的***时间差，使构建的相机位姿真值更加准确，用户使用场景模拟的效果更好。
又一方面，本发明实施例提供了一种单目视觉跟踪装置。图7为本发明实施例的单目视觉跟踪装置的整体框架图。如图7所示，本发明实施例的单目视觉跟踪装置包括：第一位姿获取单元100，用于使用无线追踪器采集第一相机位姿；第二位姿获取单元200，用于使用摄像装置拍摄标定板图像，根据所拍摄的标定板图像，计算出第二相机位姿；转换参数获取单元300，用于获取所述第一相机位姿和所述第二相机位姿之间的转换参数；转换单元400，用于在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿；其中，在采集所述第一相机位姿、拍摄所述标定板图像以及进行场景拍摄的过程中，所述无线追踪器和所述摄像装置的相对位置保持不变。
图8为本发明提供的单目视觉跟踪装置的一种优选实施例的结构框图。如图8所示，根据本发明单目视觉跟踪装置的一种实施方式，所述第二位姿获取单元200包括归一化子单元210，用于：将所述摄像装置拍摄的标定板图像进行相机内参归一化处理，将基于不同时刻成像模型参数的标定板图像转化成具有相同的成像模型参数；以及根据相机内参归一化处理后的标定板图像，使用相机标定算法计算出第二相机位姿。
根据本发明单目视觉跟踪装置的一种实施方式，所述第二位姿获取单元200还包括：图像序列选取子单元220，用于根据图像清晰度和相机位姿差异度从拍摄的所述标定板图像中选取一组图像序列；相机标定子单元230，用于根据选取的所述图像序列，使用相机标定算法计算出第二相机位姿。
图9为本发明提供的单目视觉跟踪装置的又一优选实施例的结构框图。如图9所示，根据本发明单目视觉跟踪装置的一种实施方式，所述转换参数获取单元300，包括：手眼标定子单元310，用于根据设定的摄像装置的***时间与无线追踪器的***时间的时间差，获取所述第一相机位姿和所述第二相机位姿的对应数据，利用手眼标定进行配准，获取所述时间差下的最优转换矩阵和最优重投影误差，其中，所述最优转换矩阵是所述时间差下的重投影误差最小时对应的转换矩阵，所述最优重投影误差是所述最优转换矩阵对应的重投影误差；时间差确定子单元320，用于调整所述时间差，将所述最优重投影误差值最小时对应的时间差确定为***时间差；转换参数确定子单元330，用于将***时间差下的所述最优转换矩阵确定为所述第一相机位姿和所述第二相机位姿之间的转换参数；其中，所述转换矩阵包括摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵、标定板坐标系与基站坐标系之间的转换矩阵；所述基站用于跟踪所述无线追踪器的位置；所述转换单元400还用于：在使用场景中通过所述转换参数以及所述***时间差，将所述第一相机位姿转换为所述第二相机位姿。
图10为本发明提供的单目视觉跟踪装置的另一优选实施例的结构框图。如图10所示，根据本发明单目视觉跟踪装置的一种实施方式，还包括：所述手眼标定子单元310包括数据抽取子单元311，用于：按照设定的所述时间差，采用插值法从所述第一相机位姿的数据中抽取采集时间差小于预定时间差阈值的数据，所述采集时间差是所述第一相机位姿与所述第二相机位姿的采集时间的差值；将抽取出的所述第一相机位姿的数据和对应的所述第二相机位姿的数据，作为所述第一相机位姿和所述第二相机位姿的对应数据。
根据本发明单目视觉跟踪装置的一种实施方式，所述手眼标定子单元310还包括：初始化子单元313，用于根据所述第一相机位姿和所述第二相机位姿的对应数据，以及所述第一相机位姿和所述第二相机位姿的转换关系公式，基于奇异值分解方法获取所述转换矩阵的初始值；优化子单元314，用于根据重投影误差公式以及所述第一相机位姿和所述第二相机位姿的转换关系，采用高斯牛顿法优化重投影误差，获取当前时间差下最优转换矩阵；其中，所述第一相机位姿和所述第二相机位姿的转换关系公式为AX＝ZB，A表示所述第一相机位姿，X表示摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵，B表示所述第二相机位姿，Z表示标定板坐标系与基站坐标系之间的转换矩阵；所述重投影误差公式为：
其中，为第i帧图像对应的所述第二相机位姿，Ki|i∈[0，n-1]为相机内参，以及，为标定板上角点在标定板坐标系下的位置，为在图像i上角点检测的位置，N是标定板上的角点数目。
根据本发明单目视觉跟踪装置的一种实施方式，所述手眼标定子单元310还包括坐标系转换子单元312，用于：在基于奇异值分解方法获取所述转换矩阵的初始值之前，将摄像装置位姿坐标系与无线追踪器位姿坐标系转换为统一的坐标系。
根据本发明单目视觉跟踪装置的一种实施方式，所述坐标系转换子单元312，还用于：将无线追踪器位姿坐标系变换为右手坐标系。
本发明实施例的装置中各模块的功能可以参见上述方法的相关描述，在此不再赘述。
又一方面，本发明实施例提供了一种单目视觉跟踪装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述单目视觉跟踪方法中任一所述的方法。
在一个可能的设计中，单目视觉跟踪装置的结构中包括处理器和存储器，所述存储器用于存储支持单目视觉跟踪装置执行上述单目视觉跟踪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述单目视觉跟踪装置还可以包括通信接口，用于单目视觉跟踪装置与其他设备或通信网络通信。
图11为本发明实施例的单目视觉跟踪装置的结构框图。如图11所示，该装置包括：存储器101和处理器102，存储器101内存储有可在处理器102上运行的计算机程序。所述处理器102执行所述计算机程序时实现上述实施例中的单目视觉跟踪方法。所述存储器101和处理器102的数量可以为一个或多个。
该单目视觉跟踪装置还包括：
通信接口103，用于与外界设备进行通信，进行数据交互传输。
存储器101可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器101、处理器102和通信接口103独立实现，则存储器101、处理器102和通信接口103可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器101、处理器102及通信接口103集成在一块芯片上，则存储器101、处理器102及通信接口103可以通过内部接口完成相互间的通信。
又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述单目视觉跟踪方法中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种单目视觉跟踪方法，其特征在于，包括：
使用无线追踪器采集第一相机位姿；
使用摄像装置拍摄标定板图像，根据所拍摄的标定板图像，计算出第二相机位姿；
获取所述第一相机位姿和所述第二相机位姿之间的转换参数；
在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿；
其中，在采集所述第一相机位姿、拍摄所述标定板图像以及进行场景拍摄的过程中，所述无线追踪器和所述摄像装置的相对位置保持不变。
2.根据权利要求1所述的方法，其特征在于，根据所拍摄的标定板图像，计算出第二相机位姿，包括：
将所述摄像装置拍摄的标定板图像进行相机内参归一化处理，将基于不同时刻成像模型参数的标定板图像转化成具有相同的成像模型参数；以及
根据相机内参归一化处理后的标定板图像，使用相机标定算法计算出第二相机位姿。
3.根据权利要求1或2所述的方法，其特征在于，根据所拍摄的标定板图像，计算出第二相机位姿，还包括：
根据图像清晰度和相机位姿差异度从拍摄的所述标定板图像中选取一组图像序列；
根据选取的所述图像序列，使用相机标定算法计算出第二相机位姿。
4.根据权利要求1或2所述的方法，其特征在于，
获取所述第一相机位姿和所述第二相机位姿之间的转换参数，包括：
根据设定的摄像装置的***时间与无线追踪器的***时间的时间差，获取所述第一相机位姿和所述第二相机位姿的对应数据，利用手眼标定进行配准，获取所述时间差下的最优转换矩阵和最优重投影误差，其中，所述最优转换矩阵是所述时间差下的重投影误差最小时对应的转换矩阵，所述最优重投影误差是所述最优转换矩阵对应的重投影误差；
调整所述时间差，将所述最优重投影误差值最小时对应的时间差确定为***时间差；
将***时间差下的所述最优转换矩阵确定为所述第一相机位姿和所述第二相机位姿之间的转换参数；
其中，所述转换矩阵包括摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵、标定板坐标系与基站坐标系之间的转换矩阵；所述基站用于跟踪所述无线追踪器的位置；
在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿，包括：
在使用场景中通过所述转换参数以及所述***时间差，将所述第一相机位姿转换为所述第二相机位姿。
5.根据权利要求4所述的方法，其特征在于，获取所述第一相机位姿和所述第二相机位姿的对应数据，包括：
按照设定的所述时间差，采用插值法从所述第一相机位姿的数据中抽取采集时间差小于预定时间差阈值的数据，所述采集时间差是所述第一相机位姿与所述第二相机位姿的采集时间的差值；
将抽取出的所述第一相机位姿的数据和对应的所述第二相机位姿的数据，作为所述第一相机位姿和所述第二相机位姿的对应数据。
6.根据权利要求4所述的方法，其特征在于，利用手眼标定进行配准，获取当前时间差下最优转换矩阵，包括：
根据所述第一相机位姿和所述第二相机位姿的对应数据，以及所述第一相机位姿和所述第二相机位姿的转换关系公式，基于奇异值分解方法获取所述转换矩阵的初始值；
根据重投影误差公式以及所述第一相机位姿和所述第二相机位姿的转换关系，采用高斯牛顿法优化重投影误差，获取当前时间差下最优转换矩阵；
其中，所述第一相机位姿和所述第二相机位姿的转换关系公式为AX＝ZB，A表示所述第一相机位姿，X表示摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵，B表示所述第二相机位姿，Z表示标定板坐标系与基站坐标系之间的转换矩阵；
所述重投影误差公式为：其中，为第i帧图像对应的所述第二相机位姿，Ki|i∈[0，n-1]为相机内参，以及，为标定板上角点在标定板坐标系下的位置，为在图像i上角点检测的位置，N是标定板上的角点数目。
7.根据权利要求6所述的方法，其特征在于，在基于奇异值分解方法获取所述转换矩阵的初始值之前，还包括：将摄像装置位姿坐标系与无线追踪器位姿坐标系转换为统一的坐标系。
8.根据权利要求7所述的方法，其特征在于，将摄像装置位姿坐标系与无线追踪器位姿坐标系变换为统一的坐标系，包括：将无线追踪器位姿坐标系变换为右手坐标系。
9.一种单目视觉跟踪装置，其特征在于，包括：
第一位姿获取单元，用于使用无线追踪器采集第一相机位姿；
第二位姿获取单元，用于使用摄像装置拍摄标定板图像，根据所拍摄的标定板图像，计算出第二相机位姿；
转换参数获取单元，用于获取所述第一相机位姿和所述第二相机位姿之间的转换参数；
转换单元，用于在所述摄像装置进行场景拍摄时，通过所述转换参数将所述第一相机位姿转换为所述第二相机位姿；
其中，在采集所述第一相机位姿、拍摄所述标定板图像以及进行场景拍摄的过程中，所述无线追踪器和所述摄像装置的相对位置保持不变。
10.根据权利要求9所述的装置，其特征在于，所述第二位姿获取单元包括归一化子单元，用于：
将所述摄像装置拍摄的标定板图像进行相机内参归一化处理，将基于不同时刻成像模型参数的标定板图像转化成具有相同的成像模型参数；以及
根据相机内参归一化处理后的标定板图像，使用相机标定算法计算出第二相机位姿。
11.根据权利要求9或10所述的装置，其特征在于，所述第二位姿获取单元还包括：
图像序列选取子单元，用于根据图像清晰度和相机位姿差异度从拍摄的所述标定板图像中选取一组图像序列；
相机标定子单元，用于根据选取的所述图像序列，使用相机标定算法计算出第二相机位姿。
12.根据权利要求9或10所述的装置，其特征在于，
所述转换参数获取单元，包括：
手眼标定子单元，用于根据设定的摄像装置的***时间与无线追踪器的***时间的时间差，获取所述第一相机位姿和所述第二相机位姿的对应数据，利用手眼标定进行配准，获取所述时间差下的最优转换矩阵和最优重投影误差，其中，所述最优转换矩阵是所述时间差下的重投影误差最小时对应的转换矩阵，所述最优重投影误差是所述最优转换矩阵对应的重投影误差；
时间差确定子单元，用于调整所述时间差，将所述最优重投影误差值最小时对应的时间差确定为***时间差；
转换参数确定子单元，用于将***时间差下的所述最优转换矩阵确定为所述第一相机位姿和所述第二相机位姿之间的转换参数；
其中，所述转换矩阵包括摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵、标定板坐标系与基站坐标系之间的转换矩阵；所述基站用于跟踪所述无线追踪器的位置；
所述转换单元还用于：
在使用场景中通过所述转换参数以及所述***时间差，将所述第一相机位姿转换为所述第二相机位姿。
13.根据权利要求12所述的装置，其特征在于，还包括：所述手眼标定子单元包括数据抽取子单元，用于：
按照设定的所述时间差，采用插值法从所述第一相机位姿的数据中抽取采集时间差小于预定时间差阈值的数据，所述采集时间差是所述第一相机位姿与所述第二相机位姿的采集时间的差值；
将抽取出的所述第一相机位姿的数据和对应的所述第二相机位姿的数据，作为所述第一相机位姿和所述第二相机位姿的对应数据。
14.根据权利要求12所述的装置，其特征在于，所述手眼标定子单元还包括：
初始化子单元，用于根据所述第一相机位姿和所述第二相机位姿的对应数据，以及所述第一相机位姿和所述第二相机位姿的转换关系公式，基于奇异值分解方法获取所述转换矩阵的初始值；
优化子单元，用于根据重投影误差公式以及所述第一相机位姿和所述第二相机位姿的转换关系，采用高斯牛顿法优化重投影误差，获取当前时间差下最优转换矩阵；
其中，所述第一相机位姿和所述第二相机位姿的转换关系公式为AX＝ZB，A表示所述第一相机位姿，X表示摄像装置位姿坐标系与无线追踪器位姿坐标系之间的转换矩阵，B表示所述第二相机位姿，Z表示标定板坐标系与基站坐标系之间的转换矩阵；
所述重投影误差公式为：其中，为第i帧图像对应的所述第二相机位姿，Ki|i∈[0，n-1]为相机内参，以及，为标定板上角点在标定板坐标系下的位置，为在图像i上角点检测的位置，N是标定板上的角点数目。
15.根据权利要求14所述的装置，其特征在于，所述手眼标定子单元还包括坐标系转换子单元，用于：在基于奇异值分解方法获取所述转换矩阵的初始值之前，将摄像装置位姿坐标系与无线追踪器位姿坐标系转换为统一的坐标系。
16.根据权利要求15所述的装置，其特征在于，所述坐标系转换子单元，还用于：将无线追踪器位姿坐标系变换为右手坐标系。
17.一种单目视觉跟踪装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201810539448.9A 2018-05-30 2018-05-30 单目视觉跟踪方法、装置及存储介质 Active CN108765498B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810539448.9A CN108765498B (zh) 2018-05-30 2018-05-30 单目视觉跟踪方法、装置及存储介质
US16/265,350 US10984554B2 (en) 2018-05-30 2019-02-01 Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
US17/231,796 US11704833B2 (en) 2018-05-30 2021-04-15 Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810539448.9A CN108765498B (zh) 2018-05-30 2018-05-30 单目视觉跟踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN108765498A true CN108765498A (zh) 2018-11-06
CN108765498B CN108765498B (zh) 2019-08-23

Family

ID=64004229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810539448.9A Active CN108765498B (zh) 2018-05-30 2018-05-30 单目视觉跟踪方法、装置及存储介质

Country Status (2)

Country Link
US (2) US10984554B2 (zh)
CN (1) CN108765498B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903336A (zh) * 2019-01-18 2019-06-18 浙江工业大学 基于局部特征的飞行器姿态跨视场估计方法及装置
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110672094A (zh) * 2019-10-09 2020-01-10 北京航空航天大学 一种分布式pos多节点多参量瞬间同步标校方法
CN111176445A (zh) * 2019-12-23 2020-05-19 广东虚拟现实科技有限公司 交互装置的识别方法、终端设备及可读存储介质
CN112017242A (zh) * 2020-08-21 2020-12-01 北京市商汤科技开发有限公司 显示方法及装置、设备、存储介质
CN112129317A (zh) * 2019-06-24 2020-12-25 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
CN112347205A (zh) * 2019-08-06 2021-02-09 北京初速度科技有限公司 一种车辆误差状态的更新方法和装置
CN112348878A (zh) * 2020-10-23 2021-02-09 歌尔光学科技有限公司 定位测试方法、装置及电子设备
CN112964291A (zh) * 2021-04-02 2021-06-15 清华大学 一种传感器标定的方法、装置、计算机存储介质及终端
CN113421303A (zh) * 2021-06-18 2021-09-21 北京盈迪曼德科技有限公司 机器人位姿解算方法、装置、机器人及存储介质
CN113554711A (zh) * 2020-04-26 2021-10-26 上海欧菲智能车联科技有限公司 相机在线标定方法、装置、计算机设备和存储介质
CN113781548A (zh) * 2020-06-10 2021-12-10 华为技术有限公司 多设备的位姿测量方法、电子设备及***
CN114897994A (zh) * 2022-05-30 2022-08-12 平安普惠企业管理有限公司 相机多镜头动态标定方法、装置、设备和存储介质
CN116524022A (zh) * 2023-04-28 2023-08-01 北京优酷科技有限公司 偏移数据计算方法、图像融合方法、装置及电子设备
CN117115275A (zh) * 2023-10-25 2023-11-24 深圳明锐理想科技有限公司 畸变参数的确定方法、装置和计算机设备
CN117372548A (zh) * 2023-12-06 2024-01-09 北京水木东方医用机器人技术创新中心有限公司 跟踪***和相机对齐的方法、装置、设备以及存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260730B (zh) * 2020-01-10 2022-09-20 同济大学 一种利用基准传递原理的可变视轴视觉***标定方法
CN111489399B (zh) * 2020-03-19 2023-04-14 天津大学 一种视觉跟踪组件安装参数标定装置和方法
CN111583344B (zh) * 2020-05-09 2023-09-12 杭州易现先进科技有限公司 时空标定的方法、***、计算机设备和存储介质
CN113766209B (zh) * 2020-05-29 2024-04-30 上海汉时信息科技有限公司 相机偏移量处理方法及装置
CN111798514A (zh) * 2020-06-29 2020-10-20 山东大学日照智能制造研究院 一种海洋牧场智能运动目标跟踪监测方法及***
CN112325905B (zh) * 2020-10-30 2023-02-24 歌尔科技有限公司 一种用于识别imu的测量误差的方法、装置及介质
CN112597799B (zh) * 2020-11-24 2022-09-27 北京理工大学 一种基于视觉的固定翼飞行器飞行趋势判断方法
CN112907652B (zh) * 2021-01-25 2024-02-02 脸萌有限公司 相机姿态获取方法、视频处理方法、显示设备和存储介质
CN113590241B (zh) * 2021-06-22 2023-06-16 青岛海尔科技有限公司 可视化看板的展示方法和装置、存储介质及电子装置
KR20230064188A (ko) * 2021-11-03 2023-05-10 네이버랩스 주식회사 단안 거리 추정 모델 학습 방법 및 시스템
US11587258B1 (en) * 2021-11-10 2023-02-21 GM Cruise Holdings LLC. Focal length validation using three-dimensional pose estimates
CN114299120B (zh) * 2021-12-31 2023-08-04 北京银河方圆科技有限公司 补偿方法、注册方法和可读存储介质
CN116630412A (zh) * 2022-02-10 2023-08-22 腾讯科技（深圳）有限公司 位姿处理方法、装置、电子设备、存储介质及程序产品
CN114872039B (zh) * 2022-04-19 2023-06-27 汕头大学 一种基于改进svd算法的机械臂手眼标定方法及***
CN114886567B (zh) * 2022-05-12 2023-06-23 苏州大学 一种面向具有远心不动点约束的手术机器人手眼标定方法
CN115752442B (zh) * 2022-12-07 2024-03-12 运来智能装备(无锡)有限公司 一种基于单目视觉辅助惯性定位方法
CN116012422B (zh) * 2023-03-23 2023-06-09 西湖大学 基于单目视觉的无人机6d位姿估计跟踪方法及其应用
CN116958263B (zh) * 2023-08-09 2024-04-12 苏州三垣航天科技有限公司 一种空间观测目标姿态识别过程中单目相机智能增强方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法
CN105067011A (zh) * 2015-09-15 2015-11-18 沈阳飞机工业（集团）有限公司 一种基于视觉标定及坐标转换的测量***整体校准方法
CN105678785A (zh) * 2016-02-01 2016-06-15 西安交通大学 一种激光与相机相对位姿关系的标定方法
CN105809706A (zh) * 2016-05-25 2016-07-27 北京航空航天大学 一种分布式多像机***的全局标定方法
US9406145B2 (en) * 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107452036A (zh) * 2017-07-06 2017-12-08 北京理工大学 一种全局最优的光学***位姿计算方法
CN107509245A (zh) * 2017-07-06 2017-12-22 北京理工大学 一种基于htc‑vive的扩展跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10096161B2 (en) * 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
US9846942B2 (en) * 2013-10-09 2017-12-19 Apple Inc. Method and system for determining a pose of camera
BR112018068656A2 (pt) * 2016-03-14 2019-02-05 R Mahfouz Mohamed posicionamento de banda ultralarga para comunicação e rastreamento por ultrassom sem fio
CN108701374B (zh) * 2017-02-17 2020-03-06 深圳市大疆创新科技有限公司 用于三维点云重建的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
US9406145B2 (en) * 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
CN105014667A (zh) * 2015-08-06 2015-11-04 浙江大学 一种基于像素空间优化的相机与机器人相对位姿标定方法
CN105067011A (zh) * 2015-09-15 2015-11-18 沈阳飞机工业（集团）有限公司 一种基于视觉标定及坐标转换的测量***整体校准方法
CN105678785A (zh) * 2016-02-01 2016-06-15 西安交通大学 一种激光与相机相对位姿关系的标定方法
CN105809706A (zh) * 2016-05-25 2016-07-27 北京航空航天大学 一种分布式多像机***的全局标定方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107452036A (zh) * 2017-07-06 2017-12-08 北京理工大学 一种全局最优的光学***位姿计算方法
CN107509245A (zh) * 2017-07-06 2017-12-22 北京理工大学 一种基于htc‑vive的扩展跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于长安: "基于合作目标的单目视觉位姿跟踪技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
马志艳 等: "一种基于视觉跟踪的增强现实***的构建与实现", 《机械与电子》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903336A (zh) * 2019-01-18 2019-06-18 浙江工业大学 基于局部特征的飞行器姿态跨视场估计方法及装置
CN110146869A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN112129317A (zh) * 2019-06-24 2020-12-25 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
CN112347205B (zh) * 2019-08-06 2023-09-19 北京魔门塔科技有限公司 一种车辆误差状态的更新方法和装置
CN112347205A (zh) * 2019-08-06 2021-02-09 北京初速度科技有限公司 一种车辆误差状态的更新方法和装置
CN110672094B (zh) * 2019-10-09 2021-04-06 北京航空航天大学 一种分布式pos多节点多参量瞬间同步标校方法
CN110672094A (zh) * 2019-10-09 2020-01-10 北京航空航天大学 一种分布式pos多节点多参量瞬间同步标校方法
CN111176445A (zh) * 2019-12-23 2020-05-19 广东虚拟现实科技有限公司 交互装置的识别方法、终端设备及可读存储介质
CN111176445B (zh) * 2019-12-23 2023-07-14 广东虚拟现实科技有限公司 交互装置的识别方法、终端设备及可读存储介质
CN113554711A (zh) * 2020-04-26 2021-10-26 上海欧菲智能车联科技有限公司 相机在线标定方法、装置、计算机设备和存储介质
CN113781548A (zh) * 2020-06-10 2021-12-10 华为技术有限公司 多设备的位姿测量方法、电子设备及***
CN112017242B (zh) * 2020-08-21 2023-06-16 北京市商汤科技开发有限公司 显示方法及装置、设备、存储介质
CN112017242A (zh) * 2020-08-21 2020-12-01 北京市商汤科技开发有限公司 显示方法及装置、设备、存储介质
CN112348878A (zh) * 2020-10-23 2021-02-09 歌尔光学科技有限公司 定位测试方法、装置及电子设备
CN112348878B (zh) * 2020-10-23 2023-03-21 歌尔科技有限公司 定位测试方法、装置及电子设备
CN112964291A (zh) * 2021-04-02 2021-06-15 清华大学 一种传感器标定的方法、装置、计算机存储介质及终端
CN113421303A (zh) * 2021-06-18 2021-09-21 北京盈迪曼德科技有限公司 机器人位姿解算方法、装置、机器人及存储介质
CN114897994A (zh) * 2022-05-30 2022-08-12 平安普惠企业管理有限公司 相机多镜头动态标定方法、装置、设备和存储介质
CN116524022A (zh) * 2023-04-28 2023-08-01 北京优酷科技有限公司 偏移数据计算方法、图像融合方法、装置及电子设备
CN116524022B (zh) * 2023-04-28 2024-03-26 神力视界(深圳)文化科技有限公司 偏移数据计算方法、图像融合方法、装置及电子设备
CN117115275A (zh) * 2023-10-25 2023-11-24 深圳明锐理想科技有限公司 畸变参数的确定方法、装置和计算机设备
CN117115275B (zh) * 2023-10-25 2024-03-12 深圳明锐理想科技股份有限公司 畸变参数的确定方法、装置和计算机设备
CN117372548A (zh) * 2023-12-06 2024-01-09 北京水木东方医用机器人技术创新中心有限公司 跟踪***和相机对齐的方法、装置、设备以及存储介质
CN117372548B (zh) * 2023-12-06 2024-03-22 北京水木东方医用机器人技术创新中心有限公司 跟踪***和相机对齐的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
US20210233275A1 (en) 2021-07-29
US20190371003A1 (en) 2019-12-05
CN108765498B (zh) 2019-08-23
US11704833B2 (en) 2023-07-18
US10984554B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
US11830163B2 (en) Method and system for image generation
CN106228538B (zh) 基于logo的双目视觉室内定位方法
CN104463880B (zh) 一种rgb‑d图像获取方法
CN103150715B (zh) 图像拼接处理方法及装置
CN107113376B (zh) 一种图像处理方法、装置及摄像机
CN110296691A (zh) 融合imu标定的双目立体视觉测量方法与***
CN109559371B (zh) 一种用于三维重建的方法和装置
CN110874864A (zh) 获取对象三维模型的方法、装置、电子设备及***
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN109559349A (zh) 一种用于标定的方法和装置
CN107833181A (zh) 一种基于变焦立体视觉的三维全景图像生成方法及***
CN106774844A (zh) 一种用于虚拟定位的方法及设备
JP2023509137A (ja) パノラマ３次元画像をキャプチャ及び生成するシステム及び方法
CN106625673A (zh) 狭小空间装配***及装配方法
CN111127540B (zh) 一种三维虚拟空间自动测距方法及***
CN108537214A (zh) 一种室内语义地图的自动化构建方法
CN106705849A (zh) 线结构光传感器标定方法
CN110456904B (zh) 一种无需标定的增强现实眼镜眼动交互方法及***
WO2021005977A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN110119190A (zh) 定位方法、装置、识别跟踪***及计算机可读介质
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN110505398A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110021035B (zh) Kinect深度相机的标记物及基于该标记物的虚拟标记物跟踪方法
CN114882106A (zh) 位姿确定方法和装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant