CN107222689B - 基于vr镜头的实景切换方法及装置 - Google Patents

基于vr镜头的实景切换方法及装置 Download PDF

Info

Publication number
CN107222689B
CN107222689B CN201710353783.5A CN201710353783A CN107222689B CN 107222689 B CN107222689 B CN 107222689B CN 201710353783 A CN201710353783 A CN 201710353783A CN 107222689 B CN107222689 B CN 107222689B
Authority
CN
China
Prior art keywords
lens
image
plane
mapping relation
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710353783.5A
Other languages
English (en)
Other versions
CN107222689A (zh
Inventor
耿志远
吴波
吴珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710353783.5A priority Critical patent/CN107222689B/zh
Publication of CN107222689A publication Critical patent/CN107222689A/zh
Application granted granted Critical
Publication of CN107222689B publication Critical patent/CN107222689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eyeglasses (AREA)

Abstract

本申请实施例提供一种基于VR镜头的实景切换方法及装置。其中，方法包括如下的步骤：响应于用户切换实景的操作，捕获VR镜头所拍摄的图像；基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。本申请实施例的技术方案，使得用户可以在佩戴VR眼镜时，便捷地进行虚实场景的切换。

Description

基于VR镜头的实景切换方法及装置
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种基于VR镜头的实景切换方法及装置。
背景技术
VR(Virtual Reality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真***，它利用计算机生成一种模拟环境，并通过多源信息融合的、交互式的三维动态视景和实体行为的***仿真使用户沉浸到该模拟环境中。
在用户使用VR眼镜的过程中，如果用户需要观测现实环境，比如要拿桌上的水杯喝水，就需要摘下VR眼镜去取，操作比较麻烦。
发明内容
本申请实施例提供一种基于VR镜头的实景切换方法及装置，使得用户在佩戴VR眼镜时，便捷地切换到实景环境。
本申请实施例提供一种基于VR镜头的实景切换方法，包括：
响应于用户切换实景的操作，捕获VR镜头所拍摄的图像；
基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。
进一步可选地，所述方法还包括：响应于所述用户切换VR场景的操作，向所述用户展示相应的VR场景。
进一步可选地，所述投影映射关系包括：所述VR镜头在所述VR镜头处所成像的第一像平面与所述VR镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：根据所述平面单应性矩阵，对所述图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。
进一步可选地，所述方法还包括：利用所述VR镜头在所述VR镜头处拍摄实景中的参考物，以获得第一参考图像；利用所述VR镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；分别确定所述参考物所在平面与所述第一参考图像所在的第一像平面和所述第二参考图像所在的第二像平面之间的投影映射关系；根据所述参考物所在平面与所述第一像平面和所述第二像平面之间的投影映射关系，确定所述第一像平面与所述第二像平面之间的投影映射关系，作为所述VR镜头处与人眼处的成像映射关系。
进一步可选地，确定所述参考物所在平面与所述第一像平面的投影映射关系，包括：根据所述第一参考图像的外部参数以及所述VR镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；确定所述参考物所在平面与所述第二像平面的平面单应性矩阵，包括:根据所述第二参考图像的外部参数以及所述VR镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。
本申请实施例还提供一种基于VR镜头的实景切换装置，包括：
拍摄模块，用于响应于用户切换实景的操作，捕获VR镜头所拍摄的图像；
转换模块，用于基于所述VR镜头处与人眼处的成像映射关系，将所述 VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。
进一步可选地，所述装置还包括VR展示模块，所述VR展示模块用于：
响应于所述用户切换VR场景的操作，向所述用户展示相应的VR场景。
进一步可选地，所述投影映射关系包括：所述VR镜头在所述VR镜头处所成像的第一像平面与所述VR镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：根据所述平面单应性矩阵，对所述图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。
进一步可选地，所述装置还包括映射关系建立模块，所述映射关系建立模块用于：利用所述VR镜头在所述VR镜头处拍摄实景中的参考物，以获得第一参考图像；利用所述VR镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；分别确定所述参考物所在平面与所述第一参考图像所在的第一像平面和所述第二参考图像所在的第二像平面之间的投影映射关系；根据所述参考物所在平面与所述第一像平面和所述第二像平面之间的投影映射关系，确定所述第一像平面与所述第二像平面之间的投影映射关系，作为所述VR 镜头处与人眼处的成像映射关系。
进一步可选地，所述映射关系建立模块用于：根据所述第一参考图像的外部参数以及所述VR镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；所述映射关系建立模块用于:根据所述第二参考图像的外部参数以及所述VR镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。
本实施例中，响应于用户切换实景的操作，捕获VR镜头所拍摄的图像，并基于VR镜头处与人眼处的成像映射关系，将VR镜头所拍摄的图像转换为与用户的裸眼观测效果相同的图像。从而，用户可以在佩戴VR眼镜时，便捷地进行虚实场景的切换；与此同时，切换至实景之后，用户通过VR眼镜观测到的图像与裸眼观测效果相同，使得VR眼镜更加人性化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一基于VR镜头的实景切换方法的流程示意图；
图2是本申请实施例提供的另一基于VR镜头的实景切换方法的流程示意图；
图3是本申请实施例提供的又一基于VR镜头的实景切换方法的流程示意图；
图4a是本申请实施例提供的一基于VR镜头的实景切换装置的结构示意图；
图4b是本申请实施例提供的另一基于VR镜头的实景切换装置的结构示意图；
图4c是本申请实施例提供的又一基于VR镜头的实景切换装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
用户佩戴VR眼镜时，由于人眼与VR镜头之间存在一定的距离，导致人眼通过VR眼镜看到的实际环境与裸眼观测到的实际环境存在一定的误差。例如，用户在使用VR眼镜的过程中，有拿桌上的水杯喝水的需求。若用户不摘VR眼镜取水杯，该VR眼镜产生的误差将导致用户对水杯的位置做出错误的判断。针对上述缺陷，本申请实施例提出了一种解决方案，其核心在于，在用户有切换实景的需求时，捕捉VR镜头所拍摄的实景的图像，并根据预先建立的映射关系对该图像进行映射转换，将该图像转换为与裸眼观测效果相同的图像，进而用户可以在佩戴VR眼镜时，便捷地进行虚实场景的切换。
图1是本申请实施例提供的一基于VR镜头的实景切换方法的流程示意图，结合图1，该方法包括如下的步骤：
步骤101、响应于用户切换实景的操作，捕获VR镜头所拍摄的图像。
步骤102、基于VR镜头处与人眼处的成像映射关系，将VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。
针对步骤101，VR镜头所拍摄的图像，为VR镜头拍摄的实景的图像。
实景，是相对于虚拟现实(Virtual Reality，VR)场景而言的，可以是用户当前所处实际环境中包括的任何景物。
针对步骤102，VR镜头处，可以是VR镜头正常佩戴时所处的位置，例如， VR镜头正常佩戴在距离人眼10CM左右的位置。人眼处，可以将VR镜头放置在人眼所处的位置，即VR镜头放置在距离人眼0cm处以实现与裸眼观测效果相同的拍摄位置。
VR镜头处与人眼处的成像映射关系是预先建立的两个不同成像位置对应的成像平面的映射关系。本步骤的目标在于，将VR镜头在VR镜头处拍摄的图像转换成与VR镜头在人眼处拍摄的图像效果相同的图像，该图像能够满足人眼观测需求。
裸眼观测效果，即用户直接用肉眼观看实景产生的直观视觉感受。例如，实景的空间大小，实景中物体的大小以及位置等等视觉感受。与用户裸眼观测效果相同的图像，可以做如下理解：在用户通过该图像观测实景时，该图像为用户带来的视觉感受与用户直接用肉眼观看实景的视觉感受相同或者无限接近。
本实施例中，响应于用户切换实景的操作，捕获VR镜头所拍摄的图像，并基于VR镜头处与人眼处的成像映射关系，将VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。从而，用户可以在佩戴VR眼镜时，便捷地进行虚实场景的切换；与此同时，切换至实景之后，用户通过VR眼镜观测到的图像与裸眼观测效果相同，使得VR眼镜更加人性化。
图2是本申请实施例提供的另一基于VR镜头的实景切换方法的流程示意图，结合图2，该方法包括如下的步骤：
步骤201、响应于用户切换实景的操作，捕获VR镜头所拍摄的图像。
步骤202、基于VR镜头处与人眼处的成像映射关系，对VR镜头所拍摄的图像中每个像素点进行投影变换，得到与用户裸眼观测效果相同的图像。
步骤203、响应于用户切换VR场景的操作，向用户展示相应的VR场景。
针对步骤201，用户切换实景，可选的，可以通过VR眼镜上的一物理按钮实现。例如，在VR眼镜上提供一切换按钮，触发该按钮，VR展示暂停，用户可通过VR镜头观测实景。
针对步骤202，VR镜头处与人眼处的成像映射关系，可以是VR镜头在 VR镜头处所成像的第一像平面与VR镜头在人眼处所成像的第二像平面的平面单应性矩阵，该单应性矩阵表示第一像平面到第二像平面的投影映射关系
在获取VR镜头所拍摄的图像之后，基于第一像平面与第二像平面的平面单应性矩阵，对VR镜头所拍摄的图像中每个像素点进行投影变换，得到与用户裸眼观测效果相同的图像。
针对步骤203，用户观测实景之后，有继续观看VR场景的需求。响应于用户切换VR场景的操作，向用户展示相应的VR场景。用户切换VR场景的操作，可选的，可以通过VR眼镜上的一物理按钮实现。该切换VR场景的按钮和切换实景的按钮可以为一个按钮，也可以是不同的按钮，本申请实施例对此不做限制。
本实施例中，响应于用户切换实景的操作，捕获VR镜头所拍摄的图像，并基于VR镜头处与人眼处对应的成像平面的平面单应性矩阵，将VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。从而，用户可以在佩戴VR眼镜时，便捷地进行虚实场景的切换；与此同时，用户观测实景之后，还可切换至VR场景，操作路径简单，进一步提升用户体验。
图3是本申请实施例提供的又一基于VR镜头的实景切换方法的流程示意图，结合图3，该方法包括：
步骤301、利用VR镜头在VR镜头处拍摄实景中的参考物，以获得第一参考图像。
步骤302、利用VR镜头在人眼处拍摄参考物，以获得第二参考图像。
步骤303、分别确定参考物所在平面与第一参考图像所在的第一像平面和第二参考图像所在的第二像平面之间的投影映射关系。
步骤304、根据参考物所在平面与第一像平面和第二像平面之间的投影映射关系，确定第一像平面与第二像平面之间的投影映射关系。
步骤305、以第一像平面以及第二像平面的投影映射关系，作为VR镜头处与人眼处的成像映射关系。
步骤306、响应于用户切换实景的操作，捕获VR镜头所拍摄的图像。
步骤307、根据第一像平面与第二像平面的投影映射关系，对VR镜头所拍摄的图像中每个像素点进行投影变换，得到与用户的裸眼观测效果相同的图像。
步骤308、响应于用户切换VR场景的操作，向用户展示相应的VR场景。
针对步骤301，利用VR镜头在VR镜头处拍摄实景中的参考物，可以是在测试人员正常佩戴VR眼镜时进行拍摄。标记实景中的参考物的一物点坐标为M，对应的齐次坐标定义为
Figure GDA0002487015270000071
标记第一参考图像上对应物点的像点为m1，对应的齐次坐标定义为
Figure GDA0002487015270000072
针对步骤302，利用VR镜头在人眼处拍摄实景中的参考物，可以预先标定测试人员的眼睛所在的位置，待测试人员移开后，将VR眼镜放置在标定的位置处进行拍摄。需要说明的是，步骤301以及步骤302中，测试人员正常佩戴VR眼镜时以及对测试人员的眼睛所在的位置进行标定时，测试人员应当保持位置不变，以保证拍摄得到的第一参考图像以及第二参考图像的可靠性。本步骤中，标记拍摄得到的第二参考图像上对应物点的像点为m2，相关的齐次坐标定义为
Figure GDA0002487015270000081
针对步骤303，可选的，确定参考物所在平面与第一像平面的投影映射关系，可以根据第一参考图像的外部参数以及VR镜头的内部参数，基于相机模型来确定。
同理，确定参考物所在平面与第二像平面的平面单应性矩阵，可以根据第二参考图像的外部参数以及VR镜头的内部参数，基于所述相机模型来确定。
第一参考图像的外部参数，包括第一参考图像对应的旋转矩阵以及平移矩阵。第二参考图像的外部参数，包括第二参考图像对应的旋转矩阵以及平移矩阵。VR镜头的内部参数包括VR镜头的焦距f、单位像素的尺寸大小以及畸变参数。VR镜头的内部参数可通过现有的标定方法进行标定，此处不赘述。本步骤中标记VR镜头的内部参数对应的矩阵为K。
以下部分以参考物所在平面与第一参考图像所在的第一像平面为例，对投影映射关系的建立过程进行详细阐述。
因VR镜头成像是一种透视投影，3D实景中的一条射线会投影成图像上的一个点，因此可将3D的实景视为一个平面。从指定角度拍摄实景中的一平面时，根据相机原理，存在一个矩阵H1使得下式成立：
Figure GDA0002487015270000082
其中，
Figure GDA0002487015270000083
是第一参考图像上对应实景中物点
Figure GDA0002487015270000084
的像点。s1是一个标量，用于处理齐次坐标,表示任意尺度的比例。
将实景中的物点视为在一个平面上，即Z＝0平面上。得到第一参考图像的外部参数以及VR镜头的内部参数后，得到：
Figure GDA0002487015270000085
其中，K是VR镜头的内部参数对应的矩阵，R是第一参考图像对应的旋转矩阵，T是第一参考图像对应的平移矩阵。
根据公式1以及公式2，得H1＝K[R T]，该矩阵H1即为参考物所在平面与第一像平面的平面单应性矩阵。同理，可得参考物所在平面与第二参考图像所在的第二像平面的平面单应性矩阵H2。
针对步骤304，在本步骤中，假设通过对第一参考图像施加某种变化，使得第一参考图像和第二参考图像相同。于是可得如下的公式：
Figure GDA0002487015270000091
Figure GDA0002487015270000092
其中，
Figure GDA0002487015270000093
是第二参考图像上对应实景中物点
Figure GDA0002487015270000094
的像点。s2是一个标量，用于处理齐次坐标,表示任意尺度的比例，s1和s2可以相同。根据公式3-1 以及公式3-2，得到第一参考图像和第二参考图像之间的单应性关系如下：
Figure GDA0002487015270000095
结合公式3-2，可得：
Figure GDA0002487015270000096
对公式4-2变形后，得：
Figure GDA0002487015270000097
公式4-2以及公式4-3即为第一像平面以及第二像平面的投影映射关系。
针对步骤305，以第一像平面以及第二像平面的投影映射关系，作为VR 镜头处与人眼处的成像映射关系，如公式4-2以及公式4-3所示。
Figure GDA0002487015270000098
即VR 镜头在VR镜头处所拍摄的图像上的像点坐标对应的齐次坐标，映射得到的
Figure GDA0002487015270000099
与裸眼观测效果相同或无限接近。
针对步骤306，响应于用户切换实景的操作，捕获VR镜头拍摄的图像。
针对步骤307，根据步骤304中确定的
Figure GDA00024870152700000910
对VR镜头拍摄的图像
Figure GDA0002487015270000101
中的每个像素点进行投影映射，得到与用户裸眼观测效果相同的图像
Figure GDA0002487015270000102
针对步骤308、响应于用户切换VR场景的操作，向用户展示相应的VR场景。
本实施例中，通过预先根据VR眼镜正常佩戴时所拍摄的参考图像以及 VR眼镜在人眼处所拍摄的参考图像，建立VR眼镜在VR眼镜与人眼处成像的映射关系，奠定了后续的切换实景的基础，以使得用户在佩戴VR眼镜的情况下观测实际环境时，实现与裸眼相同的视觉效果，进一步提升用户体验。
图4a是本申请实施例提供的一种基于VR镜头的实景切换装置的结构示意图，如图4a所示，该装置包括：
拍摄模块401，用于响应于用户切换实景的操作，捕获VR镜头所拍摄的图像；
转换模块402，用于基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。
进一步可选地，如图4b所示，所述装置还包括VR展示模块403，所述 VR展示模块用于：响应于所述用户切换VR场景的操作，向所述用户展示相应的VR场景。
进一步可选地，所述投影映射关系包括：所述VR镜头在所述VR镜头处所成像的第一像平面与所述VR镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：根据所述平面单应性矩阵，对所述图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。
进一步可选地，如图4c所示，所述装置还包括映射关系建立模块404，所述映射关系建立模块404用于：利用所述VR镜头在所述VR镜头处拍摄实景中的参考物，以获得第一参考图像；利用所述VR镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；分别确定所述参考物所在平面与所述第一像平面和所述第二像平面的投影映射关系；根据所述参考物所在平面与所述第一像平面和所述第二像平面的投影映射关系，确定所述第一像平面以及所述第二像平面的投影映射关系；以所述第一像平面以及所述第二像平面的投影映射关系，作为所述VR镜头处与人眼处的成像映射关系。。
进一步可选地，所述映射关系建立模块404用于：根据所述第一参考图像的外部参数、所述VR镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；所述映射关系建立模块404用于: 根据所述第二参考图像的外部参数、所述VR镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。
本实施例中，响应于用户切换实景的操作，捕获VR镜头所拍摄的图像，并基于VR镜头处与人眼处的成像映射关系，将VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像。从而，用户可以在佩戴VR眼镜时，便捷地进行虚实场景的切换；与此同时，切换至实景之后，用户通过VR眼镜观测到的图像与裸眼观测效果相同，使得VR眼镜更加人性化。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于VR镜头的实景切换方法，其特征在于，包括：
响应于用户切换实景的操作，捕获VR镜头所拍摄的图像；
基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像；所述VR镜头处指正常佩戴时所述VR镜头所处的位置；所述人眼处指所述VR镜头放置在人眼所处的位置；
所述方法还包括：
利用所述VR镜头在所述VR镜头处拍摄实景中的参考物，以获得第一参考图像；
利用所述VR镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；
分别确定所述参考物所在平面与所述第一参考图像所在的第一像平面和所述第二参考图像所在的第二像平面之间的投影映射关系；
根据所述参考物所在平面与所述第一像平面和所述第二像平面之间的投影映射关系，确定所述第一像平面与所述第二像平面之间的投影映射关系，作为所述VR镜头处与人眼处的成像映射关系。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述用户切换VR场景的操作，向所述用户展示相应的VR场景。
3.根据权利要求1所述的方法，其特征在于，所述投影映射关系包括：
所述VR镜头在所述VR镜头处所成像的第一像平面与所述VR镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；
基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：
根据所述平面单应性矩阵，对所述VR镜头所拍摄的图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。
4.根据权利要求1所述的方法，其特征在于，
确定所述参考物所在平面与所述第一像平面的投影映射关系，包括：
根据所述第一参考图像的外部参数以及所述VR镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；
确定所述参考物所在平面与所述第二像平面的平面单应性矩阵，包括:
根据所述第二参考图像的外部参数以及所述VR镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。
5.一种基于VR镜头的实景切换装置，其特征在于，包括：
拍摄模块，用于响应于用户切换实景的操作，捕获VR镜头所拍摄的图像；
转换模块，用于基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像；所述VR镜头处指正常佩戴时所述VR镜头所处的位置；所述人眼处指所述VR镜头放置在人眼所处的位置；
所述装置还包括映射关系建立模块，所述映射关系建立模块用于利用所述VR镜头在所述VR镜头处拍摄实景中的参考物，以获得第一参考图像；利用所述VR镜头在所述人眼处拍摄所述参考物，以获得第二参考图像；分别确定所述参考物所在平面与所述第一参考图像所在的第一像平面和所述第二参考图像所在的第二像平面的投影映射关系；根据所述参考物所在平面与所述第一像平面和所述第二像平面之间的投影映射关系，确定所述第一像平面与所述第二像平面之间的投影映射关系，作为所述VR镜头处与人眼处的成像映射关系。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括VR展示模块，所述VR展示模块用于：
响应于所述用户切换VR场景的操作，向所述用户展示相应的VR场景。
7.根据权利要求5所述的装置，其特征在于，所述投影映射关系包括：
所述VR镜头在所述VR镜头处所成像的第一像平面与所述VR镜头在所述人眼处所成像的第二像平面的平面单应性矩阵；
基于所述VR镜头处与人眼处的成像映射关系，将所述VR镜头所拍摄的图像转换为与所述用户的裸眼观测效果相同的图像，包括：
根据所述平面单应性矩阵，对所述VR镜头所拍摄的图像中每个像素点进行投影变换，得到所述与所述用户的裸眼观测效果相同的图像。
8.根据权利要求5所述的装置，其特征在于，所述映射关系建立模块用于：根据所述第一参考图像的外部参数以及所述VR镜头的内部参数，基于相机模型，确定所述参考物所在平面与所述第一像平面的投影映射关系；
所述映射关系建立模块用于:根据所述第二参考图像的外部参数以及所述VR镜头的内部参数，基于所述相机模型，确定所述参考物所在平面与所述第二像平面的投影映射关系。
CN201710353783.5A 2017-05-18 2017-05-18 基于vr镜头的实景切换方法及装置 Active CN107222689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710353783.5A CN107222689B (zh) 2017-05-18 2017-05-18 基于vr镜头的实景切换方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710353783.5A CN107222689B (zh) 2017-05-18 2017-05-18 基于vr镜头的实景切换方法及装置

Publications (2)

Publication Number Publication Date
CN107222689A CN107222689A (zh) 2017-09-29
CN107222689B true CN107222689B (zh) 2020-07-03

Family

ID=59944976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710353783.5A Active CN107222689B (zh) 2017-05-18 2017-05-18 基于vr镜头的实景切换方法及装置

Country Status (1)

Country Link
CN (1) CN107222689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830943B (zh) * 2018-06-29 2022-05-31 歌尔光学科技有限公司 一种图像处理方法及虚拟现实设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201555986U (zh) * 2009-11-27 2010-08-18 龙礼军 一种头戴式显示器
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN104581128A (zh) * 2014-12-29 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示装置及在该装置中显示外部图像信息的方法
CN105242400B (zh) * 2015-07-10 2017-12-29 上海鹰为智能科技有限公司 虚拟现实眼镜
CN105955456B (zh) * 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN105929538A (zh) * 2016-04-26 2016-09-07 乐视控股（北京）有限公司 一种虚拟现实设备的显示方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器

Also Published As

Publication number Publication date
CN107222689A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN109064545B (zh) 一种对房屋进行数据采集和模型生成的方法及装置
CN106131530B (zh) 一种裸眼3d虚拟现实展示***及其展示方法
CN105809701B (zh) 全景视频姿态标定方法
CN108154058B (zh) 图形码展示、位置区域确定方法及装置
WO2010119852A1 (ja) 任意視点画像合成装置
CN109997175B (zh) 确定虚拟对象的大小
JPWO2017094543A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法
CN110335307B (zh) 标定方法、装置、计算机存储介质和终端设备
CN107862718B (zh) 4d全息视频捕捉方法
CN107167077B (zh) 立体视觉测量***和立体视觉测量方法
CN109752951B (zh) 控制***的处理方法、装置、存储介质和电子装置
US11039125B2 (en) Test method and system for wearable device
KR20170044318A (ko) 헤드 마운트 디스플레이를 이용한 협업 방법
EP3779892A1 (en) Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method and image display method
KR20140121529A (ko) 광 필드 영상을 생성하는 방법 및 장치
JPWO2016002656A1 (ja) 視線計測システム、視線計測方法、及びプログラム
KR101579491B1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
Rauter et al. Augmenting virtual reality with near real world objects
CN107864372B (zh) 立体拍照方法、装置及终端
WO2018000892A1 (zh) 一种全景立体影像的成像方法、装置及***
Palasek et al. A flexible calibration method of multiple Kinects for 3D human reconstruction
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN107659772B (zh) 3d图像生成方法、装置及电子设备
CN107222689B (zh) 基于vr镜头的实景切换方法及装置
Hua et al. A testbed for precise registration, natural occlusion and interaction in an augmented environment using a head-mounted projective display (HMPD)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201014

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Patentee before: GOERTEK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.