CN113793389B - 一种增强现实***虚实融合标定方法及装置 - Google Patents
一种增强现实***虚实融合标定方法及装置 Download PDFInfo
- Publication number
- CN113793389B CN113793389B CN202110974879.XA CN202110974879A CN113793389B CN 113793389 B CN113793389 B CN 113793389B CN 202110974879 A CN202110974879 A CN 202110974879A CN 113793389 B CN113793389 B CN 113793389B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- display screen
- calibration
- eye tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 228
- 210000001508 eye Anatomy 0.000 claims abstract description 212
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 89
- 239000011521 glass Substances 0.000 claims abstract description 50
- 239000013598 vector Substances 0.000 claims description 53
- 210000004087 cornea Anatomy 0.000 claims description 43
- 230000003287 optical effect Effects 0.000 claims description 40
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 7
- 239000013256 coordination polymer Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及提出了一种增强现实***虚实融合标定方法及装置。其中，方法包括离线标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，离线标定世界相机和增强现实眼镜装置中显示屏间的第二转换关系，实时跟踪人眼相对于增强现实眼镜装置的位置变化，在线标定人眼跟踪相机中眼球中心的坐标，得到世界相机坐标系中人眼眼球中心的坐标，最终得到真实世界三维坐标和显示屏中二维坐标的转换关系。本发明通过离线式标定方法确定世界相机和人眼跟踪相机转换关系以及世界相机和显示屏转换关系，通过在线方式标定眼球中心在人眼跟踪相机中位置，解决了不同人及不同佩戴姿态需再标定问题，提高虚实融合精度。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于离线和在线标定的增强现实***虚实融合标定方法及装置。
背景技术
虚实融合技术是增强现实***最重要的、具有挑战的关键技术，难点在于虚实融合技术涉及到适应每个人的人眼光学特性，而人眼的光学特性因人而异。必须根据每个用户的眼睛位置、瞳孔间距和不断变化的眼球运动进行校准。
目前的标定方法主要是让使用者直接观察特征点的虚实融合效果，通过对记录的虚实融合好的成对的特征点坐标解算建立现实世界和虚拟世界坐标转换关系。
然而，这种手动过程本质上有几个主要缺点，包括无法处理头部和头戴式设备相对运动导致的漂移，需要重新校准，以及耗时的初始校准。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种基于离线和在线标定的增强现实***虚实融合标定方法。
本发明解决上述技术问题的技术方案如下：
一方面，本发明提供一种增强现实***虚实融合标定方法，所述方法包括：
标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
进一步地，所述标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，具体包括：
根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；
利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
进一步地，所述利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系，具体包括：
根据以下公式计算不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：
式中，k表示不同姿态，表示姿态k下世界相机和人眼跟踪相机的转换关系，和/>分别表示姿态k下世界相机坐标系和第二标定靶标坐标系的转换关系旋转矩阵和平移向量，/>和/>分别表示姿态k下人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系旋转矩阵和平移向量，RL→R和tL→R分别表示第一标定靶标和第二标定靶标的转换关系旋转矩阵和平移向量；
将不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系进行平均，得到世界相机和人眼跟踪相机的转换关系，从而得到世界相机和人眼跟踪相机的转换关系旋转矩阵和平移向量。
进一步地，所述标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系，具体包括：
在所述显示屏上投影第一标定靶标；
调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；
调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
进一步地，所述根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系，具体包括：
根据以下公式，计算不同相对位置情况下所述世界相机坐标系和所述显示屏坐标系的转换关系：
式中，i为不同相对位置情况，表示相对位置情况i下世界相机和显示屏的转换关系，/>和/>分别表示相对位置情况i下第一标定靶标坐标系和世界相机坐标系的第三坐标系关系旋转矩阵和平移向量，/>和/>分别表示相对位置情况i下第一标定靶标坐标系和显示屏坐标系的第四坐标系关系旋转矩阵和平移向量；
将所述世界相机坐标系和所述显示屏坐标系在不同相对位置得到的转换关系平均，得到所述世界相机坐标系和所述显示屏坐标系的转换关系，从而得到所述世界相机和所述显示屏转换关系旋转矩阵和平移向量。
进一步地，所述利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标，具体包括：
利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
进一步地，所述利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，具体包括：
利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
利用所述第三转换关系，将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下，得到人眼跟踪相机坐标系下的特征点；
利用人眼跟踪相机光学中心、显示屏上的特征点和人眼跟踪相机的特征点在人眼跟踪相机坐标系下的三维坐标，求出三个点所在的平面方程，从而得到所述第二数量N的对应特征点的N个平面方程；
利用两对特征点形成的两个平面方程的法矢量的叉积得到交线的方向矢量，N对特征点形成N-1个交线的方向矢量；
对所述N-1个交线的方向矢量归一化后取平均值，得到最终交线的方向矢量；
基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以N对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，从而得到角膜球体的中心坐标。
进一步地，所述基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以N对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，具体包括：
利用所述最终交线的方向矢量、所述人眼跟踪相机光学中心T的坐标，以及光学中心T和角膜球体中心C之间的距离dTC，得到角膜球体中心C的坐标；
以所述角膜球体中心C的坐标为圆心，以角膜球体半径rc为半径在TP’iPiC平面内作圆，其中，Pi表示显示屏上的特征点，P’i表示人眼跟踪相机的特征点；
建立N对特征点形成的夹角差Δβi的和的目标函数：
式中，表示直线CP”i和直线P”iP’i之间的夹角，/>表示直线CP”i和直线P”iPi之间的夹角，其中P”i为圆与直线TP’i的交点；
以Error最小为目标，对距离dTC和角膜球体半径rc进行优化，得到最优dTC和rc。
进一步地，所述根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标，具体包括：
利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
进一步地，所述利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系，具体包括：
根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
另一方面，本发明提供一种增强现实***虚实融合标定装置，所述装置包括：
第一标定模块，用于标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
第二标定模块，用于标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
第三标定模块，用于利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
第一计算模块，用于根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
第一转换模块，用于利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
进一步地，所述第一标定模块包括：
靶标确定模块，用于根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
第一图像获取模块，用于调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
第四标定模块，用于在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；
第二计算模块，用于利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
进一步地，所述第二标定模块包括：
第二图像获取模块，用于在所述显示屏上投影第一标定靶标；调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
第五标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
第六标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
第七标定模块，用于利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
第三计算模块，用于根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
第二转换模块，用于根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
进一步地，所述第三标定模块包括：
第三图像获取模块，用于利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
第四计算模块，用于利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
第五计算模块，用于利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
进一步地，所述第一计算模块包括：
第三转换模块，用于利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
第四转换模块，用于利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
进一步地，所述第一转换模块包括：
第五转换模块，用于根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
第六计算模块，用于求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
相比于现有技术，本发明具有以下有益技术效果：
本发明通过离线式标定方法确定世界相机和人眼跟踪相机转换关系以及世界相机和显示屏转换关系，通过在线方式标定眼球中心在人眼跟踪相机中位置，该标定方法能够解决不同人、不同佩戴姿态需要再标定的问题，提高了虚实融合精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的一种增强现实***虚实融合标定方法的流程示意图；
图2是本发明实施例所述的一种增强现实***虚实融合标定方法中光学透射式增强现实眼镜组成示意图；
图3是本发明实施例所述的一种增强现实***虚实融合标定方法中光学透射式增强现实***各个坐标系示意图；
图4是本发明实施例所述的一种增强现实***虚实融合标定方法中基于3D标定组件对世界相机和人眼跟踪相机转换关系离线标定方法示意图；
图5是本发明实施例所述的一种增强现实***虚实融合标定方法中利用标定组件和标定相机对世界相机和显示屏转换关系进行离线标定示意图；
图6是本发明实施例所述的一种增强现实***虚实融合标定方法中利用显示屏投影标定图像，人眼跟踪相机通过获取角膜反射图像，实现眼球中心坐标在线标定组成示意图；
图7是人眼眼球模型及眼球中心坐标在线标定原理示意图；
图8为本发明另一实施例所述的一种增强现实***虚实融合标定装置的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
如前所述，现有技术的标定方法存在无法处理头部和头戴式设备相对运动导致的漂移，需要重新校准的缺点。
为此，本发明实施例提供了一种增强现实***虚实融合标定方法。如图1所示，该方法包括以下步骤：
步骤1，标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
如图2光学透射式增强现实眼镜组成示意图所示，增强现实眼镜包括显示屏、世界相机和人眼跟踪相机等部分，其中显示屏用来显示虚拟信息，世界相机捕捉真实世界的图像，人眼跟踪相机用来在线标定人眼和光学透射式增强现实眼镜之间的位置关系，即眼球中心坐标和增强现实眼镜的显示屏之间的位置关系。
如图3光学透射式增强现实***各个坐标系示意图所示，光学透射式增强现实***包括世界相机坐标系W、人眼跟踪相机坐标系T、显示屏坐标系S和眼球坐标系E，其中世界相机坐标系W、人眼跟踪相机坐标系T以及显示屏坐标系S之间关系保持不变，可以离线标定，眼球坐标系E和光学透射式增强现实眼镜之间的位置关系随不同的人、不同时间而改变，需要在线标定。
该步骤具体包括：
步骤11：根据光学透射式头戴增强现实装置中世界相机和人眼跟踪相机不同的光轴方向，设计并通过3D打印制作标定组件，包含两个方向不同、三维空间位置关系已知的第一标定靶标和第二标定靶标；
如图4所示，3D标定组件包括相互平行、空间位置关系已知的3D打印件以及棋盘格L和棋盘格R，棋盘格L和棋盘格R即第一标定靶标和第二标定靶标，棋盘格L和棋盘格R转换关系已知：RL→R、tL→R。
步骤12：人眼跟踪相机对标定组件棋盘格L成像，世界相机对标定组件棋盘格R成像，摆放眼镜在3D标定组件中的不同位置，获取不同位置的图像；
步骤13：利用MATLAB工具箱中的标定算法求取世界相机和人眼跟踪相机转换关系；
具体步骤包括：
步骤13a：利用人眼跟踪相机获取的多幅不同姿态标定组件棋盘格L的图像，求取人眼跟踪相机的内部参数和外部参数，外部参数为不同姿态下人眼跟踪相机坐标系和标定组件棋盘格L坐标系转换关系旋转矩阵k表示不同姿态；
步骤13b：利用世界相机获取的多幅不同姿态标定组件棋盘格R的图像，求取世界相机的内部参数和外部参数，外部参数为不同姿态下世界相机坐标系和标定组件棋盘格R坐标系转换关系旋转矩阵平移向量/>
步骤13c：利用步骤13a和步骤13b的结果以及棋盘格L和棋盘格R转换关系，求取世界相机坐标系和人眼跟踪相机坐标系转换关系旋转矩阵平移向量/>
齐次坐标表达为：
转换关系计算公式为：
将眼镜在3D标定组件中的不同位置得到的转换关系平均，得到世界相机和人眼跟踪相机转换关系：
从而得到世界相机和人眼跟踪相机转换关系旋转矩阵RT→W、平移向量tT→W。
步骤2，标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
如图5基于标定组件和标定相机对世界相机和显示屏转换关系进行离线标定示意图所示，标定相机和眼镜没有固定位置关系。
该步骤具体包括：
步骤21：在光学透射式头戴增强现实装置显示屏上显示包含特征点的图像，如棋盘格图像；
步骤22：调节光学透射式头戴增强现实装置和标定组件相对位置，头戴增强现实装置中世界相机对标定组件棋盘格L成像；
步骤23：在步骤21和步骤22基础上，调节标定相机与头戴装置、标定组件棋盘格L的相对位置，使标定相机同时获取标定组件棋盘格L和头戴装置中显示屏的棋盘格图像；
步骤24：重复步骤22和步骤23，获取标定相机、头戴装置和标定组件棋盘格L在不同相对位置情况下的世界相机中棋盘格L图像以及标定相机中棋盘格L图像和显示屏中的棋盘格图像；
步骤25：利用不同相对位置情况下标定相机获取的棋盘格L图像，根据MATLAB工具箱中的标定算法，求取不同相对位置情况下棋盘格L坐标系和标定相机坐标系关系其中i表示不同相同位置情况，1<i<N，N为自然数；
步骤26：利用不同相对位置情况下标定相机获取的显示屏中的棋盘格图像，根据MATLAB工具箱中的标定算法，求取不同相对位置情况下显示屏坐标系和标定相机坐标系关系
步骤27：利用不同相对位置情况下世界相机获取的棋盘格L图像，根据MATLAB工具箱中标定算法，求取不同相对位置情况下棋盘格L坐标系和世界相机坐标系关系
步骤28：利用步骤25-步骤26得到的不同相对位置情况下标定相机坐标系和棋盘格L坐标系相互关系、标定相机坐标系和显示屏坐标系相互关系，获取不同相对位置情况下棋盘格L坐标系和显示屏坐标系相互关系
齐次坐标表达为：
转换关系计算公式为：
步骤29：利用步骤27-步骤28得到的不同相对位置情况下棋盘格L坐标系和世界相机坐标系关系、棋盘格L坐标系和显示屏坐标系相互关系，获取不同相对位置情况下世界相机坐标系和显示屏坐标系相互关系
齐次坐标表达为：
转换关系计算公式为：
将世界相机坐标系、显示屏坐标系在不同位置得到的转换关系平均，得到世界相机和显示屏转换关系：
从而得到世界相机和显示屏转换关系旋转矩阵RW→S、平移向量tW→S。
步骤3，利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
如图7所示，人眼眼球模型由眼球球体和角膜球体两个相交球体组成，眼球球体的中心为E点，角膜球体的中心为C点，当人眼旋转时，EC连线的方向(人眼视线方向)发生改变。图7所示为眼球在某一个旋转位置时显示屏特征点和人眼跟踪相机采集角膜反射图像中的特征点对应关系，其中Pi、Pj为显示屏上特征点，P’i、P’j为人眼跟踪相机图像上特征点，P”i、P”j为人眼角膜上反射点。
人眼跟踪相机光学中心T、角膜球体中心C和显示屏上特征点Pi、人眼跟踪相机图像上特征点P’i、人眼角膜上反射点P”i为同一个平面上的点，而人眼跟踪相机光学中心T、角膜球体中心C和显示屏上特征点Pj、人眼跟踪相机图像上特征点P’j、人眼角膜上反射点P”j为另一个平面上的点，N个匹配的特征点形成N个平面，N个平面的交线为人眼跟踪相机光学中心T和角膜球体中心C的连线。
该步骤具体包括：
步骤31：利用显示屏投影标定图像，人眼跟踪相机采集眼球M个不同旋转位置的角膜反射图像；
步骤32：利用N个匹配的显示屏特征点和人眼跟踪相机图像特征点对应关系，估算眼球在M个不同旋转位置的角膜球体的中心坐标和半径，具体包括以下步骤：
步骤32a：利用公式(2)得到的转换关系RT→W、tT→W，公式(5)得到的转换关系RW→S、tW→S，求取显示屏坐标系和人眼跟踪相机坐标系转换关系：
TS→T＝[TT→WTW→S]-1 (6)；
步骤32b：利用下述公式将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下：
PT＝TS→TPS (7)
式中，PT表示人眼跟踪相机坐标系下的特征点坐标，PS表示显示屏坐标系下的特征点坐标；
步骤32c：利用人眼跟踪相机光学中心T(0，0，0)、显示屏上特征点Pi和人眼跟踪相机图像上特征点P’i在同一个平面上的三个点在人眼跟踪相机坐标系下的三维坐标求出其平面方程aix+biy+ciz+di＝0，以此原理求出N个对应特征点的N个平面方程；
步骤32d：利用两对特征点形成的两个平面方程aix+biy+ciz+di＝0和ajx+bjy+cjz+dj＝0的法矢量{ai，bi，ci}和{aj，bj，cj}的叉积得到交线的方向矢量{a1，b1，c1}为：
{a1，b1，c1}＝{ai，bi，ci}×{aj，bj，cj} (8)，
利用所有N对特征点形成{a1，b1，c1}、{a2，b2，c2}、…{aN-1，bN-1，cN-1}N-1个交线的方向矢量；
步骤32e：N-1个直线的方向矢量应该一致，对其归一化后取平均值，归一化公式为：
{a1，b1，c1}＝{1，b1/a1，c1/a1}，
{aN-1，bN-1，cN-1}→{1，bN-1/aN-1，cN-1/aN-1} (9)，
归一化后各个方向矢量取平均值，得到交线的方向矢量：
步骤32f：N个面形成的交线为过人眼跟踪相机光学中心T的直线，对人眼跟踪相机光学中心T和角膜球体中心C之间距离dTC和角膜球体半径rc进行优化。
具体通过以下过程实现优化：
利用上述得到的交线的方向矢量{a，b，c}、光学中心T的坐标(0，0，0)、TC之间距离dTC，得到C点的坐标；
以C点坐标为圆心，以角膜球体半径rc为半径在TP’iPiC平面内作圆；
求圆与直线TP’i的交点P”i；
求直线CP”i和直线P”iP’i、直线CP”i和直线P”iPi之间的夹角和/>的差/>
求N对特征点形成的夹角差的和：
以目标函数Error最小，对距离dTC和角膜球体半径rc两个变量进行优化，得到最优dTC和rc。人体角膜半径rc的典型值为7.8mm，优化时rc的取值范围限定在7.0mm-8.6mm。
步骤33：利用眼球在M个(至少4个)不同旋转位置的角膜球体的中心坐标估算人眼眼球球体的中心坐标。
具体包括以下步骤：
步骤33a：取眼球在4个不同旋转位置的角膜球体的中心坐标
则四个点满足方程：
两两相减得到方程：
其中：
/>
对应的系数行列式为：
则人眼眼球球体的中心E的坐标为：
步骤33b：将眼球在M个不同旋转位置的任意4个角膜球体的中心坐标估算出的人眼眼球球体的中心坐标求平均，得到人眼眼球球体的中心坐标(xE，yE，zE)。
步骤4，根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
该步骤具体包括：
步骤41：利用公式(2)得到的转换关系RT→W、tT→W，公式(5)得到的转换关系RW→S、tW→S，求取显示屏坐标系和人眼跟踪相机坐标系转换关系
TT→S＝TT→WTW→S
步骤42：利用步骤41得到的公式，求取显示屏坐标系中人眼眼球中心坐标(xSE，ySE，zSE)：
(xSE，ySE，zSE)T＝RT→S(xE，yE，zE)T+tT→S
步骤5，利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
该步骤具体包括：
步骤51：利用步骤2得到的世界相机和显示屏转换关系RW→S、tW→S，求取世界坐标系中某个点PW在显示屏坐标系中坐标PS：
PS＝RW→SPW+tW→S；
步骤52：求显示屏坐标系中某个实际空间点PS(xS，yS，zS)和人眼眼球中心坐标E点(xSE，ysE，zSE)之间形成的直线方程为：
步骤53：由于显示屏平面是显示屏坐标系中Z＝0的平面，令上述公式中z＝0，得到与某个实际空间点PS重合的虚拟点在显示屏平面上投影的坐标为：
基于上述实施例所提出的一种增强现实***虚实融合标定方法，包括标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系，利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，实时跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球中心的坐标，根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标，利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。本发明通过离线式标定方法确定世界相机和人眼跟踪相机转换关系以及世界相机和显示屏转换关系，通过在线方式标定眼球中心在人眼跟踪相机中位置，解决了不同人及不同佩戴姿态需再标定问题，提高虚实融合精度。
如图8所示，一种增强现实***虚实融合标定装置包括：
第一标定模块，用于标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
第二标定模块，用于标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
第三标定模块，用于利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
第一计算模块，用于根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
第一转换模块，用于利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。进一步地，第一标定模块，包括：
靶标确定模块，用于根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
第一图像获取模块，用于调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
第四标定模块，用于在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；
第二计算模块，用于利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
其中，第二计算模块，包括：
第七计算模块，用于根据以下公式计算不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：
式中，k表示不同姿态，表示姿态k下世界相机和人眼跟踪相机的转换关系，和/>分别表示姿态k下世界相机坐标系和第二标定靶标坐标系的转换关系旋转矩阵和平移向量，/>和/>分别表示姿态k下人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系旋转矩阵和平移向量，RL→R和tL→R分别表示第一标定靶标和第二标定靶标的转换关系旋转矩阵和平移向量；
第八计算模块，用于将不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系进行平均，得到世界相机和人眼跟踪相机的转换关系，从而得到世界相机和人眼跟踪相机的转换关系旋转矩阵和平移向量。
进一步地，第二标定模块，包括：
第二图像获取模块，用于在所述显示屏上投影第一标定靶标；调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
第五标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
第六标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
第七标定模块，用于利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
第三计算模块，用于根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
第二转换模块，用于根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
其中，第二转换模块，包括：
第九计算模块，用于根据以下公式，计算不同相对位置情况下所述世界相机坐标系和所述显示屏坐标系的转换关系：
式中，i为不同相对位置情况，表示相对位置情况i下世界相机和显示屏的转换关系，/>和/>分别表示相对位置情况i下第一标定靶标坐标系和世界相机坐标系的第三坐标系关系旋转矩阵和平移向量，/>和/>分别表示相对位置情况i下第一标定靶标坐标系和显示屏坐标系的第四坐标系关系旋转矩阵和平移向量；
第十计算模块，用于将所述世界相机坐标系和所述显示屏坐标系在不同相对位置得到的转换关系平均，得到所述世界相机坐标系和所述显示屏坐标系的转换关系，从而得到所述世界相机和所述显示屏转换关系旋转矩阵和平移向量。
进一步地，第三标定模块，包括：
第三图像获取模块，用于利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
第四计算模块，用于利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
第五计算模块，用于利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
其中，第四计算模块，包括：
第六转换模块，用于利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
第七转换模块，用于利用所述第三转换关系，将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下，得到人眼跟踪相机坐标系下的特征点；
第十一计算模块，用于利用人眼跟踪相机光学中心、显示屏上的特征点和人眼跟踪相机的特征点在人眼跟踪相机坐标系下的三维坐标，求出三个点所在的平面方程，从而得到所述第二数量N的对应特征点的N个平面方程；
第十二计算模块，用于利用两对特征点形成的两个平面方程的法矢量的叉积得到交线的方向矢量，N对特征点形成N-1个交线的方向矢量；
第十三计算模块，用于对所述N-1个交线的方向矢量归一化后取平均值，得到最终交线的方向矢量；
优化模块，用于基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以N对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，从而得到角膜球体的中心坐标。
进一步地，第一计算模块，包括：
第三转换模块，用于利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
第四转换模块，用于利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
进一步地，第一转换模块，包括：
第五转换模块，用于根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
第六计算模块，用于求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (16)
1.一种增强现实***虚实融合标定方法，其特征在于，所述方法包括：
标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
2.根据权利要求1所述的增强现实***虚实融合标定方法，其特征在于，所述标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，具体包括：
根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；
利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
3.根据权利要求2所述的增强现实***虚实融合标定方法，其特征在于，所述利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系，具体包括：
根据以下公式计算不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：
式中，k表示不同姿态，表示姿态k下世界相机和人眼跟踪相机的转换关系，和/>分别表示姿态k下世界相机坐标系和第二标定靶标坐标系的转换关系旋转矩阵和平移向量，/>和/>分别表示姿态k下人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系旋转矩阵和平移向量，RL→R和tL→R分别表示第一标定靶标和第二标定靶标的转换关系旋转矩阵和平移向量；
将不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系进行平均，得到世界相机和人眼跟踪相机的转换关系，从而得到世界相机和人眼跟踪相机的转换关系旋转矩阵和平移向量。
4.根据权利要求2所述的增强现实***虚实融合标定方法，其特征在于，所述标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系，具体包括：
在所述显示屏上投影第一标定靶标；
调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；
调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
5.根据权利要求4所述的增强现实***虚实融合标定方法，其特征在于，所述根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系，具体包括：
根据以下公式，计算不同相对位置情况下所述世界相机坐标系和所述显示屏坐标系的转换关系：
式中，i为不同相对位置情况，表示相对位置情况i下世界相机和显示屏的转换关系，/>和/>分别表示相对位置情况i下第一标定靶标坐标系和世界相机坐标系的第三坐标系关系旋转矩阵和平移向量，/>和/>分别表示相对位置情况i下第一标定靶标坐标系和显示屏坐标系的第四坐标系关系旋转矩阵和平移向量；
将所述世界相机坐标系和所述显示屏坐标系在不同相对位置得到的转换关系平均，得到所述世界相机坐标系和所述显示屏坐标系的转换关系，从而得到所述世界相机和所述显示屏转换关系旋转矩阵和平移向量。
6.根据权利要求2所述的增强现实***虚实融合标定方法，其特征在于，所述利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标，具体包括：
利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
7.根据权利要求6所述的增强现实***虚实融合标定方法，其特征在于，所述利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，具体包括：
利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
利用所述第三转换关系，将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下，得到人眼跟踪相机坐标系下的特征点；
利用人眼跟踪相机光学中心、显示屏上的特征点和人眼跟踪相机的特征点在人眼跟踪相机坐标系下的三维坐标，求出三个点所在的平面方程，从而得到所述第二数量N的对应特征点的N个平面方程；
利用两对特征点形成的两个平面方程的法矢量的叉积得到交线的方向矢量，N对特征点形成N-1个交线的方向矢量；
对所述N-1个交线的方向矢量归一化后取平均值，得到最终交线的方向矢量；
基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以N对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，从而得到角膜球体的中心坐标。
8.根据权利要求7所述的增强现实***虚实融合标定方法，其特征在于，所述基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以N对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，具体包括：
利用所述最终交线的方向矢量、所述人眼跟踪相机光学中心T的坐标，以及光学中心T和角膜球体中心C之间的距离dTC，得到角膜球体中心C的坐标；
以所述角膜球体中心C的坐标为圆心，以角膜球体半径rc为半径在TP’iPiC平面内作圆，其中，Pi表示显示屏上的特征点，P’i表示人眼跟踪相机的特征点；
建立N对特征点形成的夹角差Δβi的和的目标函数：
式中，表示直线CP”i和直线P”iP’i之间的夹角，/>表示直线CP”i和直线P”iPi之间的夹角，其中P”i为圆与直线TP’i的交点；
以Error最小为目标，对距离dTC和角膜球体半径rc进行优化，得到最优dTC和rc。
9.根据权利要求1所述的增强现实***虚实融合标定方法，其特征在于，所述根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标，具体包括：
利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
10.根据权利要求1所述的增强现实***虚实融合标定方法，其特征在于，所述利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系，具体包括：
根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
11.一种增强现实***虚实融合标定装置，其特征在于，所述装置包括：
第一标定模块，用于标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
第二标定模块，用于标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
第三标定模块，用于利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
第一计算模块，用于根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
第一转换模块，用于利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
12.根据权利要求11所述的增强现实***虚实融合标定装置，其特征在于，所述第一标定模块包括：
靶标确定模块，用于根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
第一图像获取模块，用于调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
第四标定模块，用于在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；
第二计算模块，用于利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
13.根据权利要求12所述的增强现实***虚实融合标定装置，其特征在于，所述第二标定模块包括：
第二图像获取模块，用于在所述显示屏上投影第一标定靶标；调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
第五标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
第六标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
第七标定模块，用于利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
第三计算模块，用于根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
第二转换模块，用于根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
14.根据权利要求12所述的增强现实***虚实融合标定装置，其特征在于，所述第三标定模块包括：
第三图像获取模块，用于利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
第四计算模块，用于利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
第五计算模块，用于利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
15.根据权利要求11所述的增强现实***虚实融合标定装置，其特征在于，所述第一计算模块包括：
第三转换模块，用于利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
第四转换模块，用于利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
16.根据权利要求11所述的增强现实***虚实融合标定装置，其特征在于，所述第一转换模块包括：
第五转换模块，用于根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
第六计算模块，用于求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974879.XA CN113793389B (zh) | 2021-08-24 | 2021-08-24 | 一种增强现实***虚实融合标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974879.XA CN113793389B (zh) | 2021-08-24 | 2021-08-24 | 一种增强现实***虚实融合标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113793389A CN113793389A (zh) | 2021-12-14 |
| CN113793389B true CN113793389B (zh) | 2024-01-26 |
Family
ID=78876361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110974879.XA Active CN113793389B (zh) | 2021-08-24 | 2021-08-24 | 一种增强现实***虚实融合标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793389B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092526B (zh) * | 2022-01-21 | 2022-06-28 | 之江实验室 | 一种基于物体3d位姿视觉跟踪的增强现实方法及装置 |
| CN114757829A (zh) * | 2022-04-25 | 2022-07-15 | 歌尔股份有限公司 | 拍摄校准方法、***、设备及存储介质 |
| CN116630443B (zh) * | 2023-07-24 | 2023-10-03 | 长春工程学院 | 基于四维动态光场的增强现实***标定方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930821A (zh) * | 2016-05-10 | 2016-09-07 | 上海青研信息技术有限公司 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
| CN110032278A (zh) * | 2019-03-29 | 2019-07-19 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及*** |
| CN110443898A (zh) * | 2019-08-12 | 2019-11-12 | 北京枭龙科技有限公司 | 一种基于深度学习的ar智能终端目标识别***及方法 |
| WO2019220464A1 (en) * | 2018-05-16 | 2019-11-21 | Cartosense Pvt. Ltd. | A system and method for alignment between real and virtual objects in a head-mounted optical see-through display |
| CN110764613A (zh) * | 2019-10-15 | 2020-02-07 | 北京航空航天大学青岛研究院 | 基于头戴式眼动模组的眼动追踪校准方法 |
| CN111638799A (zh) * | 2020-06-09 | 2020-09-08 | 京东方科技集团股份有限公司 | 一种视线追踪方法、视线追踪装置、计算机设备和介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3034644A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
| US11347054B2 (en) * | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
-
2021
- 2021-08-24 CN CN202110974879.XA patent/CN113793389B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930821A (zh) * | 2016-05-10 | 2016-09-07 | 上海青研信息技术有限公司 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
| WO2019220464A1 (en) * | 2018-05-16 | 2019-11-21 | Cartosense Pvt. Ltd. | A system and method for alignment between real and virtual objects in a head-mounted optical see-through display |
| CN110032278A (zh) * | 2019-03-29 | 2019-07-19 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及*** |
| CN110443898A (zh) * | 2019-08-12 | 2019-11-12 | 北京枭龙科技有限公司 | 一种基于深度学习的ar智能终端目标识别***及方法 |
| CN110764613A (zh) * | 2019-10-15 | 2020-02-07 | 北京航空航天大学青岛研究院 | 基于头戴式眼动模组的眼动追踪校准方法 |
| CN111638799A (zh) * | 2020-06-09 | 2020-09-08 | 京东方科技集团股份有限公司 | 一种视线追踪方法、视线追踪装置、计算机设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| "基于虚拟现实的远程双目视觉***设计";巩彦丽;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;I138-322 * |
| Bozkir, E ; Eivazi, S ; (...) ; Kasneci, E."Eye Tracking Data Collection Protocol for VR for Remotely Located Subjects using Blockchain and Smart Contracts".《Arxiv》.2021,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113793389A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113793389B (zh) | 一种增强现实***虚实融合标定方法及装置 | |
| Pujades et al. | The virtual caliper: rapid creation of metrically accurate avatars from 3D measurements | |
| WO2023011339A1 (zh) | 视线方向追踪方法和装置 | |
| US20130076884A1 (en) | Method and device for measuring an interpupillary distance | |
| Probst et al. | Automatic tool landmark detection for stereo vision in robot-assisted retinal surgery | |
| Itoh et al. | Light-field correction for spatial calibration of optical see-through head-mounted displays | |
| CN109947253B (zh) | 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 | |
| CN107145224B (zh) | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 | |
| JP2017532695A (ja) | Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム | |
| Plopski et al. | Automated spatial calibration of HMD systems with unconstrained eye-cameras | |
| KR20200006621A (ko) | 근거리 시력 지점을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| Wan et al. | Pupil-contour-based gaze estimation with real pupil axes for head-mounted eye tracking | |
| Liu et al. | Iris feature-based 3-D gaze estimation method using a one-camera-one-light-source system | |
| CN108235778A (zh) | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 | |
| JPH0351407B2 (zh) | ||
| Su et al. | Cross-validated locally polynomial modeling for 2-D/3-D gaze tracking with head-worn devices | |
| Nagamatsu et al. | Calibration-free gaze tracking using a binocular 3D eye model | |
| Chi et al. | 3-D gaze-estimation method using a multi-camera-multi-light-source system | |
| Chen et al. | A novel mirrored binocular vision sensor based on spherical catadioptric mirrors | |
| Iqbal et al. | Smart user interface for mobile consumer devices using model-based eye-gaze estimation | |
| WO2020156627A1 (en) | The virtual caliper: rapid creation of metrically accurate avatars from 3d measurements | |
| CN111915739A (zh) | 一种实时三维全景信息互动影息*** | |
| US20220395176A1 (en) | System and method for digital optician measurements | |
| Lee et al. | A calibration method for eye-gaze estimation systems based on 3D geometrical optics | |
| CN113052921B (zh) | 一种三维视线跟踪***的***标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |