CN106251323A - 一种裸眼立体跟踪的方法、装置及电子设备 - Google Patents

一种裸眼立体跟踪的方法、装置及电子设备 Download PDF

Info

Publication number
CN106251323A
CN106251323A CN201510970248.5A CN201510970248A CN106251323A CN 106251323 A CN106251323 A CN 106251323A CN 201510970248 A CN201510970248 A CN 201510970248A CN 106251323 A CN106251323 A CN 106251323A
Authority
CN
China
Prior art keywords
coordinate system
photographic head
coordinate
screen
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510970248.5A
Other languages
English (en)
Inventor
陈浩
郁树达
包瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Auspicious Photoelectron Of Shenzhen's Merck Research Institute
Shenzhen Super Perfect Optics Ltd
Original Assignee
Auspicious Photoelectron Of Shenzhen's Merck Research Institute
Shenzhen Super Perfect Optics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auspicious Photoelectron Of Shenzhen's Merck Research Institute, Shenzhen Super Perfect Optics Ltd filed Critical Auspicious Photoelectron Of Shenzhen's Merck Research Institute
Priority to CN201510970248.5A priority Critical patent/CN106251323A/zh
Publication of CN106251323A publication Critical patent/CN106251323A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种裸眼立体跟踪的方法、装置及电子设备,涉及裸眼立体显示技术领域,解决现有裸眼立体显示技术无法准确、高效地建立摄像头坐标系与屏幕坐标系转换关系的问题,该方法包括:建立一屏幕的屏幕坐标系;对一双目摄像头进行双目光轴平行校正;在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。本发明的方案能准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系。

Description

一种裸眼立体跟踪的方法、装置及电子设备
技术领域
本发明涉及裸眼立体显示技术领域,特别涉及一种裸眼立体跟踪的方法、装置及电子设备。
背景技术
经过多年的研究,裸眼立体显示技术已经取得了长足的进展。由于使用该类技术的立体显示产品无需佩戴专用眼镜即可观看到立体显示效果,因此逐渐受到了消费者的关注。通常,该项技术利用光栅等分光设备的分光效果,从而使得观看者左右两眼看到的内容不一样,进而形成视差并感受到立体效果。为使分光设备所投射的图像能被人眼准确的捕捉到,目前最为高效精确的做法是使用如摄像头等人眼捕捉设备首先捕捉到标记点,这里标记点是人眼或跟人眼保持固定距离的具有明显特征的物体的位置,然后根据人的左右两眼的位置自适应的调节分光设备或进行重新排图,使得人在一定范围内可自由移动的同时观察到立体显示效果。
标记点捕捉是在摄像头坐标系下完成,而分光和排图是在屏幕坐标系下进行,因此存在摄像头坐标系到屏幕坐标系转换的问题。在双目摄像头的情况下,由于装配时的误差造成摄像头坐标系与屏幕坐标系的转换不仅存在平移,还有可能存在不可控的旋转,影响立体显示效果。因此,如何准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系,成为了当前裸眼立体显示技术需要解决的难题。
发明内容
本发明要解决的技术问题是提供一种裸眼立体跟踪的方法、装置及电子设备,解决现有技术中裸眼立体显示技术无法准确、高效地建立摄像头坐标系与屏幕坐标系转换关系的问题。
为解决上述技术问题,本发明的实施例提供一种裸眼立体跟踪的方法,所述方法包括:
建立一屏幕的屏幕坐标系;
对一双目摄像头进行双目光轴平行校正;
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
其中,所述获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标,包括:
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
获取一目标点在旋转校正后的所述第一摄像头坐标系下的第一坐标;
根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正,并确定所述第一坐标在平移校正后的所述第一摄像头坐标系下的坐标为所述第二坐标。
其中,所述获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标,包括:
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正;
获取一目标点在平移校正后的所述第一摄像头坐标系下的第一坐标,并确定所述第一坐标为所述目标点在所述屏幕坐标系下的第二坐标。
其中,所述建立一屏幕的屏幕坐标系,包括:
以所述屏幕的中心为原点,所述双目摄像头的光心连线方向为X坐标轴,所述双目摄像头中的一个摄像头的光轴在所述光心连线垂直平面上的分量方向为Y坐标轴,所述第一坐标轴与所述第二坐标轴的向量积为Z坐标轴,建立所述屏幕的屏幕坐标系;
其中,所述光心连线与所述屏幕所在的平面平行。
其中,所述在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,包括:
在所述第一摄像头坐标系下,获取所述第一摄像头的光心到所述双目摄像头中的第二摄像头的光心为第一向量;
获取所述第一摄像头坐标系的Z轴为第二向量;
获取所述第一向量与所述第二向量的夹角,并根据所述第一向量与所述第二向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Y轴旋转的第一旋转变量;和/或
获取所述第一摄像头坐标系的Y轴为第三向量;
获取所述第一向量与所述第三向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Z轴旋转的第二旋转变量;和/或
获取所述第一摄像头坐标系的X轴为第四向量;
获取所述第一向量与所述第四向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的X轴旋转的第三旋转变量。
其中,所述在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量,包括:
获取预先在所述光心连线中垂线上选取的至少三个测试点中,每个所述测试点分别在所述第一摄像头坐标系下的第三坐标,并获取预先通过测量的方式获取的每个所述目标点分别在所述屏幕坐标系下的第四坐标;
根据所述第三坐标与所述第四坐标的转换关系,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量。
其中,所述根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标之后,所述方法还包括:
根据所述第二坐标及预先标定的所述目标点与人眼的位置关系,获取所述目标点对应的人眼在所述屏幕坐标系下的坐标。
其中,所述获取一目标点在所述第一摄像头坐标系下的第一坐标,包括:
获取所述目标点分别在至少两个摄像头的像素坐标系下的像素坐标及对应摄像头的内参矩阵;
根据所述像素坐标和所述内参矩阵,获取所述目标点所在的射线方程;
根据所述射线方程,并采用最小二乘准则确定所述目标点在空间中的物点;
获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
其中,所述获取一目标点在所述第一摄像头坐标系下的第一坐标,包括:
获取所述目标点分别在所述双目摄像头的两个拍摄图像上的两个像素点;
根据光路的可逆性,获取两个所述像素点分别形成的射线;
根据两条所述射线之间的公垂线,确定所述目标点在空间中的物点;
获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
为解决上述技术问题,本发明的实施例还提供一种裸眼立体跟踪的装置,所述装置包括:
建立模块,用于建立一屏幕的屏幕坐标系;
校正模块,用于对一双目摄像头进行双目光轴平行校正;
第一获取模块,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
其中,所述第一获取模块包括:
第一获取单元,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
第二获取单元,用于获取一目标点在旋转校正后的所述第一摄像头坐标系下的第一坐标;
第一平移单元,用于根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正,并确定所述第一坐标在平移校正后的所述第一摄像头坐标系下的坐标为所述第二坐标。
其中,所述第一获取模块包括:
第一获取单元,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
第二平移单元,用于根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正;
第三获取单元,用于获取一目标点在平移校正后的所述第一摄像头坐标系下的第一坐标,并确定所述第一坐标为所述目标点在所述屏幕坐标系下的第二坐标。
其中,所述建立模块包括:
建立单元,用于以所述屏幕的中心为原点,所述双目摄像头的光心连线方向为X坐标轴,所述双目摄像头中的一个摄像头的光轴在所述光心连线垂直平面上的分量方向为Y坐标轴,所述第一坐标轴与所述第二坐标轴的向量积为Z坐标轴,建立所述屏幕的屏幕坐标系;
其中,所述光心连线与所述屏幕所在的平面平行。
其中,所述第一获取单元包括:
第一获取子单元,用于在所述第一摄像头坐标系下,获取所述第一摄像头的光心到所述双目摄像头中的第二摄像头的光心为第一向量;
第二获取子单元,用于获取所述第一摄像头坐标系的Z轴为第二向量;
第三获取子单元,用于获取所述第一向量与所述第二向量的夹角,并根据所述第一向量与所述第二向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Y轴旋转的第一旋转变量;和/或
第四获取子单元,用于获取所述第一摄像头坐标系的Y轴为第三向量;
第五获取子单元,用于获取所述第一向量与所述第三向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Z轴旋转的第二旋转变量;和/或
第六获取子单元,用于获取所述第一摄像头坐标系的X轴为第四向量;
第七获取子单元,用于获取所述第一向量与所述第四向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的X轴旋转的第三旋转变量。
其中,所述第一获取单元包括:
第八获取子单元,用于获取预先在所述光心连线中垂线上选取的至少三个测试点中,每个所述测试点分别在所述第一摄像头坐标系下的第三坐标,并获取预先通过测量的方式获取的每个所述目标点分别在所述屏幕坐标系下的第四坐标;
第九获取子单元,用于根据所述第三坐标与所述第四坐标的转换关系,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量。
其中,所述装置还包括:
第二获取模块,用于根据所述第二坐标及预先标定的所述目标点与人眼的位置关系,获取所述目标点对应的人眼在所述屏幕坐标系下的坐标。
其中,所述第一获取模块包括:
第四获取单元,用于获取所述目标点分别在至少两个摄像头的像素坐标系下的像素坐标及对应摄像头的内参矩阵;
第五获取单元,用于根据所述像素坐标和所述内参矩阵,获取所述目标点所在的射线方程;
第一确定单元,用于根据所述射线方程,并采用最小二乘准则确定所述目标点在空间中的物点;
第六获取单元,用于获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
其中,所述第一获取模块包括:
第七获取单元,用于获取所述目标点分别在所述双目摄像头的两个拍摄图像上的两个像素点;
第八获取单元,用于根据光路的可逆性,获取两个所述像素点分别形成的射线;
第二确定单元,用于根据两条所述射线之间的公垂线,确定所述目标点在空间中的物点;
第九获取单元,用于获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
为解决上述技术问题,本发明的实施例还提供一种电子设备,包括:
壳体、处理器、存储器、显示屏幕、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行以下步骤:
建立一屏幕的屏幕坐标系;
对一双目摄像头进行双目光轴平行校正;
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
本发明的上述技术方案的有益效果如下:
本发明实施例的裸眼立体跟踪的方法,首先建立一屏幕的屏幕坐标系,然后对一双目摄像头进行双目光轴平行校正;在双目摄像头的第一摄像头坐标系下,获取该第一摄像头坐标系到屏幕坐标系的转换变量,及一目标点在第一摄像头坐标系下的第一坐标;最后根据转换变量及第一坐标,获取目标点在屏幕坐标系下的第二坐标。该方法能准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系,并准确获取到目标点屏幕摄像头下的空间坐标,保证了立体显示效果,解决了现有技术中裸眼立体显示技术无法准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系的问题。
附图说明
图1为本发明裸眼立体跟踪的方法流程图;
图2为本发明裸眼立体跟踪的方法摄像头坐标系第一示意图;
图3为本发明裸眼立体跟踪的方法摄像头坐标系第二示意图;
图4为本发明裸眼立体跟踪的方法测试点选取示意图;
图5为本发明裸眼立体跟踪的方法投影点射线成异面直线示意图;
图6为本发明裸眼立体跟踪的装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明实施例的裸眼立体跟踪的方法,考虑到通常摄像头的安装位置与显示屏幕的中心存在偏离,而计算机假设的世界坐标系具有不确定性,根据摄像头坐标系与屏幕坐标系的转换关系,对摄像头获得目标点所在的坐标系进行校正,最终使得屏幕显示的图像符合观众的观看习惯。
如图1所示,本发明实施例的裸眼立体跟踪的方法,包括:
步骤101,建立一屏幕的屏幕坐标系。
这里,建立屏幕的屏幕坐标系之后,可通过后续步骤获取摄像头坐标系与屏幕坐标系的转换关系,进而对摄像头坐标系进行校正,得到屏幕坐标系下的物点坐标。
步骤102,对一双目摄像头进行双目光轴平行校正。
这里,对双目摄像头的双目光轴平行校正,保证了双目摄像头的两个摄像头坐标系轴向方位的一致性,从而可通过单目摄像头坐标系与屏幕坐标系的转换关系,得到双目摄像头坐标系与屏幕坐标系的转换关系。且对双目摄像头的双目光轴进行平行校正之后,才能准确获取目标点的空间坐标。
具体的,可利用双目摄像头标定得到的双目相对位置关系(外参矩阵)对双目光轴进行平行校正。
其中,上述屏幕与双目摄像头应为安装在同一电子设备上的屏幕和摄像头。
步骤103,在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
其中,上述第一摄像头可以是双目摄像头中的任一摄像头(左摄像头或右摄像头)。
这里,获取双目摄像头的某一摄像头坐标系到屏幕坐标系的转换变量之后,根据该转换变量及目标点在摄像头坐标系下的坐标,可准确得到目标点在屏幕坐标系下的坐标,从而可根据目标点在屏幕坐标系下的坐标对显示图像进行调整,使得屏幕显示的图像符合观众的观看习惯。
本发明实施例的裸眼立体跟踪的方法,能准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系,并准确获取到目标点屏幕摄像头下的空间坐标,保证了立体显示效果,解决了现有技术中裸眼立体显示技术无法准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系的问题。
在双目摄像头的情况下,由于装配时的误差造成摄像头坐标系与屏幕坐标系的转换不仅存在平移,还有可能存在不可控的旋转,因此,应该在平移和旋转两个方面对摄像头坐标系进行校正。
作为一种优选的实现方式,上述步骤103的步骤可以包括:
步骤1031,在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正。
这里,通过获取摄像头坐标系到屏幕坐标系的旋转变量,实现了对摄像头坐标系的旋转校正,使得摄像头坐标系的轴向方位与屏幕坐标系的轴向方位一致。
步骤1032,获取一目标点在旋转校正后的所述第一摄像头坐标系下的第一坐标。
这里,对摄像头坐标系进行旋转校正之后,可在该坐标系下获取到目标点的空间坐标,当然,这不是最后的坐标,还需要对目标点的坐标系的原点进行平移,得到最终的坐标。
具体的,可利用双目立体重建方法获取目标点在空间中的物点坐标。
步骤1033,根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正,并确定所述第一坐标在平移校正后的所述第一摄像头坐标系下的坐标为所述第二坐标。
这里,对摄像头坐标系进行旋转校正之后,继续对摄像头坐标系进行平移校正,可得到目标点在屏幕坐标系下的空间坐标,进而可根据目标点在屏幕坐标系下的坐标对显示图像进行调整,保证图像的立体显示效果。
此时,首先对摄像头坐标系进行了旋转校正,然后获取目标点在该摄像头坐标系下的第一坐标,再对摄像头坐标系进行平移校正,使目标点随着摄像头坐标系也进行原点平移,最终得到目标点在屏幕坐标系下的空间坐标,从而在旋转和平移两个方面对摄像头坐标系进行了校正,充分保证了图像的立体显示效果。
上述步骤1031-1033,是对摄像头坐标系进行旋转校正后,首先确定目标点的坐标,然后再对摄像头坐标系进行平移校正,本发明实施例对确定目标点的坐标与平移校正的执行顺序不作限定,也可首先对摄像头坐标系进行平移校正,然后再确定目标点的坐标。因此,作为另一种优选的实现方式,上述步骤103的步骤也可以包括:
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正;
获取一目标点在平移校正后的所述第一摄像头坐标系下的第一坐标,并确定所述第一坐标为所述目标点在所述屏幕坐标系下的第二坐标。
此处,在对摄像头坐标系进行旋转校正后,继续对摄像头坐标系进行平移校正,然后在确定目标点的坐标为为屏幕坐标系中的空间坐标。这种方式与上述步骤1031-1033的方式都能在旋转和平移两个方面对摄像头坐标系进行校正,充分保证图像的立体显示效果。
若不考虑摄像头的安装位置与屏幕中心存在偏离,根据有效的成像模型,可通过如下公式(1)建立摄像头坐标系与屏幕坐标系之间的关系:
s·m'=A·[R|T]·M' (1);
首先需要确定摄像头的内部参数 A = f x 0 u o 0 f y v o 0 0 1 和外部参数 [ R | T ] = [ r 11 r 12 r 13 r 21 r 22 r 23 r 31 r 32 r 33 t x t y t z ] , 以便正确建立世界坐标系中目标点与它在屏幕坐标系中的关系。其中,fx、fy为两个摄像头的焦距,fy为图像坐标系的原点,R为摄像头坐标系相对于世界坐标系的旋转矩阵,T为摄像头坐标系相对于世界坐标系的平移向量,s为摄像头的缩放因子,m'为像点在图像像素坐标系中的坐标,M'为目标点在屏幕坐标系中的坐标。
基于上述公式(1)的理论基础,本发明实施例首先对双目光轴平行校正,然后通过分析摄像头坐标系与屏幕坐标系的几何位置关系,建立他们之间的转换关系,并确定目标点在屏幕坐标系下的空间坐标,使得屏幕显示的图像符合观众的观看习惯,保证图像的立体显示效果。
作为一种优选的实现方式,上述步骤101的步骤可以包括:
步骤1011,以所述屏幕的中心为原点,所述双目摄像头的光心连线方向为X坐标轴,所述双目摄像头中的一个摄像头的光轴在所述光心连线垂直平面上的分量方向为Y坐标轴,所述第一坐标轴与所述第二坐标轴的向量积为Z坐标轴,建立所述屏幕的屏幕坐标系;其中,所述光心连线与所述屏幕所在的平面平行。
其中,本发明实施例的屏幕坐标系的原点也可以任意选取,比如某一个摄像头的光心,但为了充分保证屏幕显示的准确性,此处将屏幕的中心作为屏幕坐标系的原点。
此时,基于此屏幕坐标系,可通过后续步骤准确、高效地建立摄像头坐标系到屏幕坐标系的转换关系,进而使得屏幕显示的图像符合观众的观看习惯,保证图像的立体显示效果。
基于上述屏幕坐标系,本发明实施例可通过人工标定的方法或者双目摄像头标定的方法计算出摄像头坐标系到屏幕坐标系的转换关系,下面进行详细描述。
作为一种优选的实现方式,所述在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量的步骤可以包括:
步骤10311,在所述第一摄像头坐标系下,获取所述第一摄像头的光心到所述双目摄像头中的第二摄像头的光心为第一向量;
步骤10312,获取所述第一摄像头坐标系的Z轴为第二向量;
步骤10313,获取所述第一向量与所述第二向量的夹角,并根据所述第一向量与所述第二向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Y轴旋转的第一旋转变量;和/或
步骤10314,获取所述第一摄像头坐标系的Y轴为第三向量;
步骤10315,获取所述第一向量与所述第三向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Z轴旋转的第二旋转变量;和/或
步骤10316,获取所述第一摄像头坐标系的X轴为第四向量;
步骤10317,获取所述第一向量与所述第四向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的X轴旋转的第三旋转变量。
此时,通过获取摄像头坐标系到屏幕坐标系三个轴方向的旋转变量,可对摄像头坐标系进行旋转校正,保证了图像的立体显示效果。
下面结合附图对上述三个旋转变量的获取步骤进行进一步描述。
如图2所示,假定第一摄像头为双目摄像头中的右摄像头,第二摄像头为左摄像头,在右摄像头坐标系下,左目光心OCL的坐标为(X2,Y2,Z2),该点在XZ面上的投影点坐标为(X2,Z2),右目光心OCR到左目光心OCL可以确定第一向量右目主点坐标为(X1,Y1,Z1),右目主点坐标在XZ面上的投影点坐标为(X1,Z1),右目光心OCR到右目主点可以确定第二向量该第二向量即为右摄像头坐标系的Z轴ZCR的夹角为α,可通过如下公式(2)确定的夹角为α:
t a n α = s i n α cos α = | a → × b → | a → × b → = x 1 · y 2 - x 2 · y 1 x 1 · x 2 + y 1 · y 2 - - - ( 2 ) ;
求出的夹角α如下公式(3)所示:
α = tan - 1 ( x 1 · y 2 - x 2 · y 1 x 1 · x 2 + y 1 · y 2 ) - - - ( 2 ) ;
左右摄像头坐标系需要绕屏幕坐标系的Y轴旋转的角度为β=α-90°,根据旋转角度β可以得到第一旋转变量,第一旋转变量如下公式(4)所示:
R y ( β ) = c o s β 0 s i n β 0 1 0 - s i n β 0 cos β - - - ( 4 ) ;
经过第一旋转变量旋转后,双目摄像头的光轴将同时垂直于基线(屏幕坐标系的X轴)。
如图3所示,与第一旋转变量的获取方式类似,在右摄像头坐标系下,首先获取双目光心所确定的第一向量及右摄像头坐标系的Y轴确定的第三向量然后获取的夹角γ。左右摄像头坐标系需要绕屏幕坐标系的Z轴旋转的角度为δ=γ-90°,根据旋转角度δ可以得到第二旋转变量,第二旋转变量如下公式(5)所示:
R z ( δ ) = c o s δ - s i n δ 0 s i n δ cos δ 0 0 0 1 - - - ( 5 ) ;
经过第二旋转变量旋转后,双目摄像头坐标系的X轴与基线重合。
与第一旋转变量及第二旋转变量的获取方式类似,在右摄像头坐标系下,首先获取双目光心所确定的第一向量及右摄像头坐标系的X轴确定的第四向量然后获取的夹角ω。左右摄像头坐标系需要绕屏幕坐标系的X轴旋转的角度为θ=ω-90°,根据旋转角度θ可以得到第三旋转变量,第三旋转变量如下公式(6)所示:
R x ( θ ) = 1 0 0 0 c o s θ - sin θ 0 s i n θ cos θ - - - ( 6 ) .
假设目标点在摄像头坐标系旋转校正前的坐标为mc(xp,yp,zp),则目标点在摄像头坐标系进行旋转校正后的坐标可通过如下公式(7)得出:
m'c=Rx·Rz·Ry·mc (7)。
这里,需要说明的是,理论上来讲,有可能只需要将摄像头坐标系绕X轴、Y轴、Z轴中的一个或者一个以上旋转即可达到对摄像头坐标系旋转校正的目的,但实际工程中,一般需要绕三个轴旋转。
其中,分别绕X轴、Y轴、Z轴旋转的顺序可以根据需要进行调整,不限于上述实施例描述的顺序。
作为另一种实现方式,所述在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量的步骤也可以包括:
步骤10318,获取预先在所述光心连线中垂线上选取的至少三个测试点中,每个所述测试点分别在所述第一摄像头坐标系下的第三坐标,并获取预先通过测量的方式获取的每个所述目标点分别在所述屏幕坐标系下的第四坐标。
这里,可通过双目立体重建的方法来计算测试点在摄像头坐标系下的三维坐标。
步骤10319,根据所述第三坐标与所述第四坐标的转换关系,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量。
这里,可根据第三坐标与第四坐标的转换关系,同时获取摄像头坐标系到屏幕坐标系的旋转变量和平移变量。
此时,通过获取摄像头坐标系到屏幕坐标系的转换变量,可对摄像头坐标系进行旋转校正和平移校正,保证了图像的立体显示效果。
如图4所示,在通过人工标定的测量方法中,将测量出的测试点P在屏幕坐标系下的坐标和计算得出的摄像头坐标系下的坐标分别记录下来,根据几何关系求出他们之间的转换关系,可以利用这个转换关系,将摄像头坐标系下的坐标转换到屏幕坐标系下。
上面已经提到,本发明实施例中,可利用双目立体重建方法求解目标点在空间中的坐标,下面对如何求解目标点的坐标详细描述如下。
作为一种优选的实现方式,上述步骤103中,所述获取一目标点在所述第一摄像头坐标系下的第一坐标的步骤可以包括:
步骤1034,获取所述目标点分别在至少两个摄像头的像素坐标系下的像素坐标及对应摄像头的内参矩阵。
步骤1035,根据所述像素坐标和所述内参矩阵,获取所述目标点所在的射线方程。
这里,已知一个目标点在某一个摄像头所拍摄图像上的像素坐标和摄像头内参矩阵,可通过如下公式(8)计算出目标点所在的射线方程X,这个目标点在空间中处于此射线(光线)上:
αj·uj=Aj·X(j=1...n) (8);
其中,αj为摄像头j的像素坐标系到到图像坐标系的转换因子,n为摄像头模组包含的摄像头个数,uj为目标点在摄像头j上的像素坐标,Aj为摄像头j的内参矩阵。
这个目标点在空间中处于此射线上,同理,目标点在其他摄像头上也可计算出对应其他摄像头的射线。理论上,这些射线会交于一个点上,即当前目标点的空间位置,但实际上由于摄像头的数字化误差,摄像头内参和外参标定的误差等等,这些射线不会交于同一点,因此我们需要使用三角测量(Triangulation)的方法近似计算出目标点的空间位置。
步骤1036,根据所述射线方程,并采用最小二乘准则确定所述目标点在空间中的物点。
这里,采用最小二乘准则确定距离所有光线最近的点为目标点在空间中的物点,具体可通过如下公式(9)确定物点:
X ′ = arg min X Σ j = 1 n [ ( m 1 j X m 3 j X - u 1 j ) 2 + ( m 2 j X m 4 j X - u 2 j ) 2 ] - - - ( 9 ) ;
其中,为Aj的矩阵因子,为uj的矩阵因子。
步骤1037,获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
这里,通过获取目标点对应的物点在第一摄像头坐标系下的坐标,并通过摄像头坐标系与屏幕坐标系的转换关系,可准确获取目标点在屏幕坐标系下的坐标,从而可对显示图像进行调整,保证用户的观看体验。
此时,通过最小二乘准则能够准确获取目标点对应的物点坐标,为获取目标点在屏幕坐标系下的空间坐标打下了基础。
作为另一种优选的实现方式,上述步骤103中,所述获取一目标点在所述第一摄像头坐标系下的第一坐标的步骤也可以包括:
获取所述目标点分别在所述双目摄像头的两个拍摄图像上的两个像素点;根据光路的可逆性,获取两个所述像素点分别形成的射线;根据两条所述射线之间的公垂线,确定所述目标点在空间中的物点;获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
这里,采用异面直线公垂线中点逼近目标点的方法,能够准确获取目标点对应的物点坐标,为获取目标点在屏幕坐标系下的空间坐标打下了基础。
下面对上述异面直线公垂线中点逼近目标点的方法求取目标点的物点详细描述如下。
如图5所示,像素点P1和P2是目标点在左右摄像头的CCD(Charge Coupled Device,电荷耦合元件)上所成的像点,由于光路的可逆性,在理想模型下,这些射线会交于一点上,即当前目标点的空间位置。但实际上由于摄像头的成像模型并非理想的小孔成像以及CCD成像时噪音的影响和标定参数的微小误差,摄像头的数字化误差等因素,这两条直线未必相交于一点,但这两条直线不可能平行,所以这两条直线可能是异面直线(为使求解具有普遍性,本申请将相交直线视为公垂线长度为零的特殊异面直线)。
能够证明,在几何上,使用异面直线公垂线的中点逼近空间点的误差较小。具体的,可首先计算两条异面直线的最短距离,即公垂线的长度。若公垂线的长度比较短,我们就假设公垂线的中点为待求目标点的位置(当公垂线的长度为零时,两直线相交,交点即为待求物点);若公垂线太长,那么可以断定投影点P1和P2在匹配时的误差太大,所求点可以忽略。
详细的计算方法如下,假设P1和P2所在的两条异面直线L1和L2的单位向量分别为l1和l2,Q1和Q2为在两条异面直线上滑动的点,k1为Q1在L1上的位置系数,k2为Q2在L2上的位置系数,当Q1Q2之间的距离值最小时,Q1Q2即为两条异面直线的公垂线,公垂线的中点Q为目标点在空间上的物点,(Q1+Q2)/2为Q的坐标。由于两异面直线都与公垂线垂直,因此可得:
[ ( P 1 + k 1 l 1 ) - ( P 2 + k 2 l 2 ) ] · l 1 = 0 [ ( P 1 + k 1 l 1 ) - ( P 2 + k 2 l 2 ) ] · l 2 = 0 - - - ( 10 ) ;
求解方程(10)可得:
k 1 = ( P 2 - P 1 ) · l 1 - ( ( P 2 - P 1 ) · l 2 ) · ( l 1 · l 2 ) 1 - ( l 1 · l 2 ) 2 k 2 = ( ( P 2 - P 1 ) · l 1 ) · ( l 1 · l 2 ) - ( P 2 - P 1 ) · l 2 1 - ( l 1 · l 2 ) 2 - - - ( 11 ) ;
将求出的位置系数代入Q1、Q2所在的直线方程中,求得Q1和Q2,从而得到Q的坐标(Q1+Q2)/2,这里Q即为目标点在空间中的物点。
此时,通过异面直线公垂线中点逼近目标点的方法,准确获取到了目标点对应的物点坐标,为获取目标点在屏幕坐标系下的空间坐标打下了基础。
优选的,上述步骤103之后,所述方法还可以包括:
步骤104,根据所述第二坐标及预先标定的所述目标点与人眼的位置关系,获取所述目标点对应的人眼在所述屏幕坐标系下的坐标。
此时,根据事先标定好的目标点与人眼的位置关系,可以求出人眼的空间位置,从而能够准确地根据人眼的空间位置调整屏幕显示的图像,保证用户的观看体验。
本发明实施例的裸眼立体跟踪的方法,能准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系,并准确获取到目标点屏幕摄像头下的空间坐标,保证了立体显示效果,解决了现有技术中裸眼立体显示技术无法准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系的问题。
如图6所示,本发明的实施例还提供一种裸眼立体跟踪的装置,包括:
建立模块,用于建立一屏幕的屏幕坐标系;
校正模块,用于对一双目摄像头进行双目光轴平行校正;
第一获取模块,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
本发明实施例的裸眼立体跟踪的装置,能准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系,并准确获取到目标点屏幕摄像头下的空间坐标,保证了立体显示效果,解决了现有技术中裸眼立体显示技术无法准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系的问题。
优选的,所述第一获取模块可以包括:
第一获取单元,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
第二获取单元,用于获取一目标点在旋转校正后的所述第一摄像头坐标系下的第一坐标;
第一平移单元,用于根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正,并确定所述第一坐标在平移校正后的所述第一摄像头坐标系下的坐标为所述第二坐标。
优选的,所述第一获取模块可以包括:
第一获取单元,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
第二平移单元,用于根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正;
第三获取单元,用于获取一目标点在平移校正后的所述第一摄像头坐标系下的第一坐标,并确定所述第一坐标为所述目标点在所述屏幕坐标系下的第二坐标。
优选的,所述建立模块可以包括:
建立单元,用于以所述屏幕的中心为原点,所述双目摄像头的光心连线方向为X坐标轴,所述双目摄像头中的一个摄像头的光轴在所述光心连线垂直平面上的分量方向为Y坐标轴,所述第一坐标轴与所述第二坐标轴的向量积为Z坐标轴,建立所述屏幕的屏幕坐标系;其中,所述光心连线与所述屏幕所在的平面平行。
优选的,所述第一获取单元可以包括:
第一获取子单元,用于在所述第一摄像头坐标系下,获取所述第一摄像头的光心到所述双目摄像头中的第二摄像头的光心为第一向量;
第二获取子单元,用于获取所述第一摄像头坐标系的Z轴为第二向量;
第三获取子单元,用于获取所述第一向量与所述第二向量的夹角,并根据所述第一向量与所述第二向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Z轴旋转的第一旋转变量;和/或
第四获取子单元,用于获取所述第一摄像头坐标系的Y轴为第三向量;
第五获取子单元,用于获取所述第一向量与所述第三向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Y轴旋转的第二旋转变量;和/或
第六获取子单元,用于获取所述第一摄像头坐标系的X轴为第四向量;
第七获取子单元,用于获取所述第一向量与所述第四向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的X轴旋转的第三旋转变量。
优选的,所述第一获取单元可以包括:
第八获取子单元,用于获取预先在所述光心连线中垂线上选取的至少三个测试点中,每个所述测试点分别在所述第一摄像头坐标系下的第三坐标,并获取预先通过测量的方式获取的每个所述目标点分别在所述屏幕坐标系下的第四坐标;
第九获取子单元,用于根据所述第三坐标与所述第四坐标的转换关系,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量。
优选的,所述装置还可以包括:
第二获取模块,用于根据所述第二坐标及预先标定的所述目标点与人眼的位置关系,获取所述目标点对应的人眼在所述屏幕坐标系下的坐标。
优选的,所述第一获取模块可以包括:
第四获取单元,用于获取所述目标点分别在至少两个摄像头的像素坐标系下的像素坐标及对应摄像头的内参矩阵;
第五获取单元,用于根据所述像素坐标和所述内参矩阵,获取所述目标点所在的射线方程;
第一确定单元,用于根据所述射线方程,并采用最小二乘准则确定所述目标点在空间中的物点;
第六获取单元,用于获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
优选的,所述第一获取模块可以包括:
第七获取单元,用于获取所述目标点分别在所述双目摄像头的两个拍摄图像上的两个像素点;
第八获取单元,用于根据光路的可逆性,获取两个所述像素点分别形成的射线;
第二确定单元,用于根据两条所述射线之间的公垂线,确定所述目标点在空间中的物点;
第九获取单元,用于获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
本发明实施例的裸眼立体跟踪的装置,能准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系,并准确获取到目标点屏幕摄像头下的空间坐标,保证了立体显示效果,解决了现有技术中裸眼立体显示技术无法准确、高效地建立摄像头坐标系与屏幕坐标系的转换关系的问题。
需要说明的是,该裸眼立体跟踪的装置是与上述裸眼立体跟踪的方法相对应的装置,其中上述方法实施例中所有实现方式均适用于该装置的实施例中,也能达到同样的技术效果。
为了更好的实现上述目的,本发明的实施例还提供一种电子设备,包括:
壳体、处理器、存储器、显示屏幕、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行以下步骤:
建立一屏幕的屏幕坐标系;
对一双目摄像头进行双目光轴平行校正;
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
该电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone或基于安卓操作***的手机)、多媒体手机、功能性手机,以及低端手机等;
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PC、PDA、MID和UMPC设备等,例如iPad;
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备;
(4)其他具有数据交互功能的电子装置。
需要说明的是,本发明实施例提供的电子设备是能够应用上述裸眼立体跟踪的方法的电子设备,则上述裸眼立体跟踪的方法的所有实施例及其有益效果均适用于该电子设备。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (19)

1.一种裸眼立体跟踪的方法,其特征在于,所述方法包括:
建立一屏幕的屏幕坐标系;
对一双目摄像头进行双目光轴平行校正;
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
2.根据权利要求1所述的方法,其特征在于,所述获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标,包括:
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
获取一目标点在旋转校正后的所述第一摄像头坐标系下的第一坐标;
根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正,并确定所述第一坐标在平移校正后的所述第一摄像头坐标系下的坐标为所述第二坐标。
3.根据权利要求1所述的方法,其特征在于,所述获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标,包括:
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正;
获取一目标点在平移校正后的所述第一摄像头坐标系下的第一坐标,并确定所述第一坐标为所述目标点在所述屏幕坐标系下的第二坐标。
4.根据权利要求2或3所述的方法,其特征在于,所述建立一屏幕的屏幕坐标系,包括:
以所述屏幕的中心为原点,所述双目摄像头的光心连线方向为X坐标轴,所述双目摄像头中的一个摄像头的光轴在所述光心连线垂直平面上的分量方向为Y坐标轴,所述第一坐标轴与所述第二坐标轴的向量积为Z坐标轴,建立所述屏幕的屏幕坐标系;
其中,所述光心连线与所述屏幕所在的平面平行。
5.根据权利要求4所述的方法,其特征在于,所述在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,包括:
在所述第一摄像头坐标系下,获取所述第一摄像头的光心到所述双目摄像头中的第二摄像头的光心为第一向量;
获取所述第一摄像头坐标系的Z轴为第二向量;
获取所述第一向量与所述第二向量的夹角,并根据所述第一向量与所述第二向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Y轴旋转的第一旋转变量;和/或
获取所述第一摄像头坐标系的Y轴为第三向量;
获取所述第一向量与所述第三向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Z轴旋转的第二旋转变量;和/或
获取所述第一摄像头坐标系的X轴为第四向量;
获取所述第一向量与所述第四向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的X轴旋转的第三旋转变量。
6.根据权利要求4所述的方法,其特征在于,所述在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量,包括:
获取预先在所述光心连线中垂线上选取的至少三个测试点中,每个所述测试点分别在所述第一摄像头坐标系下的第三坐标,并获取预先通过测量的方式获取的每个所述目标点分别在所述屏幕坐标系下的第四坐标;
根据所述第三坐标与所述第四坐标的转换关系,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量。
7.根据权利要求1所述的方法,其特征在于,所述根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标之后,所述方法还包括:
根据所述第二坐标及预先标定的所述目标点与人眼的位置关系,获取所述目标点对应的人眼在所述屏幕坐标系下的坐标。
8.根据权利要求1所述的方法,其特征在于,所述获取一目标点在所述第一摄像头坐标系下的第一坐标,包括:
获取所述目标点分别在至少两个摄像头的像素坐标系下的像素坐标及对应摄像头的内参矩阵;
根据所述像素坐标和所述内参矩阵,获取所述目标点所在的射线方程;
根据所述射线方程,并采用最小二乘准则确定所述目标点在空间中的物点;
获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
9.根据权利要求1所述的方法,其特征在于,所述获取一目标点在所述第一摄像头坐标系下的第一坐标,包括:
获取所述目标点分别在所述双目摄像头的两个拍摄图像上的两个像素点;
根据光路的可逆性,获取两个所述像素点分别形成的射线;
根据两条所述射线之间的公垂线,确定所述目标点在空间中的物点;
获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
10.一种裸眼立体跟踪的装置,其特征在于,所述装置包括:
建立模块,用于建立一屏幕的屏幕坐标系;
校正模块,用于对一双目摄像头进行双目光轴平行校正;
第一获取模块,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
11.根据权利要求10所述的装置,其特征在于,所述第一获取模块包括:
第一获取单元,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
第二获取单元,用于获取一目标点在旋转校正后的所述第一摄像头坐标系下的第一坐标;
第一平移单元,用于根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正,并确定所述第一坐标在平移校正后的所述第一摄像头坐标系下的坐标为所述第二坐标。
12.根据权利要求10所述的装置,其特征在于,所述第一获取模块包括:
第一获取单元,用于在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的旋转变量,并根据所述旋转变量对所述第一摄像头坐标系进行旋转校正;
第二平移单元,用于根据所述第一摄像头坐标系到所述屏幕坐标系的原点平移变量,对旋转校正后的所述第一摄像头坐标系进一步进行平移校正;
第三获取单元,用于获取一目标点在平移校正后的所述第一摄像头坐标系下的第一坐标,并确定所述第一坐标为所述目标点在所述屏幕坐标系下的第二坐标。
13.根据权利要求11或12所述的装置,其特征在于,所述建立模块包括:
建立单元,用于以所述屏幕的中心为原点,所述双目摄像头的光心连线方向为X坐标轴,所述双目摄像头中的一个摄像头的光轴在所述光心连线垂直平面上的分量方向为Y坐标轴,所述第一坐标轴与所述第二坐标轴的向量积为Z坐标轴,建立所述屏幕的屏幕坐标系;
其中,所述光心连线与所述屏幕所在的平面平行。
14.根据权利要求13所述的装置,其特征在于,所述第一获取单元包括:
第一获取子单元,用于在所述第一摄像头坐标系下,获取所述第一摄像头的光心到所述双目摄像头中的第二摄像头的光心为第一向量;
第二获取子单元,用于获取所述第一摄像头坐标系的Z轴为第二向量;
第三获取子单元,用于获取所述第一向量与所述第二向量的夹角,并根据所述第一向量与所述第二向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Y轴旋转的第一旋转变量;和/或
第四获取子单元,用于获取所述第一摄像头坐标系的Y轴为第三向量;
第五获取子单元,用于获取所述第一向量与所述第三向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的Z轴旋转的第二旋转变量;和/或
第六获取子单元,用于获取所述第一摄像头坐标系的X轴为第四向量;
第七获取子单元,用于获取所述第一向量与所述第四向量的夹角,并根据所述第一向量与所述第三向量的夹角,获取所述第一摄像头坐标系绕所述屏幕坐标系的X轴旋转的第三旋转变量。
15.根据权利要求13所述的装置,其特征在于,所述第一获取单元包括:
第八获取子单元,用于获取预先在所述光心连线中垂线上选取的至少三个测试点中,每个所述测试点分别在所述第一摄像头坐标系下的第三坐标,并获取预先通过测量的方式获取的每个所述目标点分别在所述屏幕坐标系下的第四坐标;
第九获取子单元,用于根据所述第三坐标与所述第四坐标的转换关系,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量。
16.根据权利要求10所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于根据所述第二坐标及预先标定的所述目标点与人眼的位置关系,获取所述目标点对应的人眼在所述屏幕坐标系下的坐标。
17.根据权利要求10所述的装置,其特征在于,所述第一获取模块包括:
第四获取单元,用于获取所述目标点分别在至少两个摄像头的像素坐标系下的像素坐标及对应摄像头的内参矩阵;
第五获取单元,用于根据所述像素坐标和所述内参矩阵,获取所述目标点所在的射线方程;
第一确定单元,用于根据所述射线方程,并采用最小二乘准则确定所述目标点在空间中的物点;
第六获取单元,用于获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
18.根据权利要求10所述的装置,其特征在于,所述第一获取模块包括:
第七获取单元,用于获取所述目标点分别在所述双目摄像头的两个拍摄图像上的两个像素点;
第八获取单元,用于根据光路的可逆性,获取两个所述像素点分别形成的射线;
第二确定单元,用于根据两条所述射线之间的公垂线,确定所述目标点在空间中的物点;
第九获取单元,用于获取所述物点在所述第一摄像头坐标系下的坐标为所述第一坐标。
19.一种电子设备,其特征在于,包括:
壳体、处理器、存储器、显示屏幕、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行以下步骤:
建立一屏幕的屏幕坐标系;
对一双目摄像头进行双目光轴平行校正;
在所述双目摄像头的第一摄像头坐标系下,获取所述第一摄像头坐标系到所述屏幕坐标系的转换变量及一目标点在所述第一摄像头坐标系下的第一坐标,并根据所述转换变量及所述第一坐标,获取所述目标点在所述屏幕坐标系下的第二坐标。
CN201510970248.5A 2015-12-22 2015-12-22 一种裸眼立体跟踪的方法、装置及电子设备 Pending CN106251323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510970248.5A CN106251323A (zh) 2015-12-22 2015-12-22 一种裸眼立体跟踪的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510970248.5A CN106251323A (zh) 2015-12-22 2015-12-22 一种裸眼立体跟踪的方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN106251323A true CN106251323A (zh) 2016-12-21

Family

ID=57626494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510970248.5A Pending CN106251323A (zh) 2015-12-22 2015-12-22 一种裸眼立体跟踪的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN106251323A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012139A (zh) * 2017-12-01 2018-05-08 北京理工大学 应用于真实感近眼显示的图像生成方法和装置
CN108133366A (zh) * 2017-12-22 2018-06-08 恒宝股份有限公司 一种金融卡的支付方法和支付***以及移动终端
CN109842793A (zh) * 2017-09-22 2019-06-04 深圳超多维科技有限公司 一种裸眼3d显示方法、装置及终端
CN110309486A (zh) * 2019-06-24 2019-10-08 宁波大学 坐标转换方法及激光显微切割方法
CN110390686A (zh) * 2019-07-24 2019-10-29 张天 裸眼3d显示方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103091849A (zh) * 2011-11-08 2013-05-08 原创奈米科技股份有限公司 一种三次元影像显示的方法
CN105005986A (zh) * 2015-06-19 2015-10-28 北京邮电大学 一种三维注册方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103091849A (zh) * 2011-11-08 2013-05-08 原创奈米科技股份有限公司 一种三次元影像显示的方法
CN105005986A (zh) * 2015-06-19 2015-10-28 北京邮电大学 一种三维注册方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842793A (zh) * 2017-09-22 2019-06-04 深圳超多维科技有限公司 一种裸眼3d显示方法、装置及终端
CN108012139A (zh) * 2017-12-01 2018-05-08 北京理工大学 应用于真实感近眼显示的图像生成方法和装置
CN108012139B (zh) * 2017-12-01 2019-11-29 北京理工大学 应用于真实感近眼显示的图像生成方法和装置
CN108133366A (zh) * 2017-12-22 2018-06-08 恒宝股份有限公司 一种金融卡的支付方法和支付***以及移动终端
CN110309486A (zh) * 2019-06-24 2019-10-08 宁波大学 坐标转换方法及激光显微切割方法
CN110309486B (zh) * 2019-06-24 2022-12-09 宁波大学 坐标转换方法及激光显微切割方法
CN110390686A (zh) * 2019-07-24 2019-10-29 张天 裸眼3d显示方法及***

Similar Documents

Publication Publication Date Title
CN106251323A (zh) 一种裸眼立体跟踪的方法、装置及电子设备
CN104596502B (zh) 一种基于cad模型与单目视觉的物***姿测量方法
CN103646394B (zh) 一种基于Kinect摄像机的混合视觉***标定方法
CN110617814A (zh) 单目视觉和惯性传感器融合的远距离测距***及方法
US9508146B2 (en) Automated frame of reference calibration for augmented reality
CN106447766B (zh) 一种基于移动设备单目相机的场景重建方法及装置
CN106375748A (zh) 立体虚拟现实全景视图拼接方法、装置及电子设备
CN108846867A (zh) 一种基于多目全景惯导的slam***
CN206961066U (zh) 一种虚拟现实交互设备
CN105556742B (zh) 天线工程参数的获取方法和设备及***
CN106228538A (zh) 基于logo的双目视觉室内定位方法
CN103732299B (zh) 利用虚拟触摸的三维装置及三维游戏装置
CN107449402A (zh) 一种非合作目标的相对位姿的测量方法
CN103948361B (zh) 无标志点的内窥镜定位跟踪方法和***
CN104517291B (zh) 基于目标同轴圆特征的位姿测量方法
CN108257183A (zh) 一种相机镜头光轴校准方法和装置
CN103994765B (zh) 一种惯性传感器的定位方法
CN104634248B (zh) 一种双目视觉下的转轴标定方法
Oskiper et al. Augmented reality binoculars
CN102693543B (zh) 室外环境下变焦云台摄像机全自动标定方法
CN103208122A (zh) 基于一维标定杆设计的多相机标定方法
CN106228530A (zh) 一种立体摄影方法、装置及立体摄影设备
US8509522B2 (en) Camera translation using rotation from device
CN107622525A (zh) 三维模型获得方法、装置及***
CN108174178A (zh) 一种图像显示方法、装置及虚拟现实设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161221