CN104253989A - 全视角图像显示装置 - Google Patents
全视角图像显示装置 Download PDFInfo
- Publication number
- CN104253989A CN104253989A CN201410251969.6A CN201410251969A CN104253989A CN 104253989 A CN104253989 A CN 104253989A CN 201410251969 A CN201410251969 A CN 201410251969A CN 104253989 A CN104253989 A CN 104253989A
- Authority
- CN
- China
- Prior art keywords
- point
- convex lens
- image display
- image
- concave mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Lenses (AREA)
Abstract
本发明公开的全视角图像显示装置,图像显示设备包括设置在图像显示设备一侧的瞳距调节机构,还包括另一侧的凹面镜、凸透镜以及透明连接件,凹面镜紧邻显示设备设置,透明连接件将凸透镜固定在凹面镜上;图像处理软件将图像处理分为分割与变换两个步骤:将原始图像分割为中心区域和外缘区域;中心区域的图像经过凸透镜折射后进入瞳孔,对应视野舒适视域;将外缘部分的图像经由计算机进行极坐标反转后,再通过凹面镜进入瞳孔。本发明的以凹面反射镜和凸透镜组合产生全视野图像,扩大了可视范围,可实现230度在内的极大视角,大大提高了虚拟现实的临场感,设计完成后,结构简单、装配及制造难度低,便于大批量生产,降低成本。
Description
技术领域
本发明涉及一种图像显示装置,尤其涉及一种观看全视角图像的显示装置。
背景技术
近年来,随着CG技术(Computer Graphic,计算机图形图像技术)和计算机性能的不断提高,针对虚拟现实的显示装置日益受到人们的广泛关注。其中,HMD(Head-Mounted Display,头戴式显示***)相对于CAVE(Computer-Aid Virtual-reality Environment,计算机辅助虚拟现实环境)及Full-Dome Projection(球幕投影)等大型设备而言,造价低廉且实施方便,更适合小型单位和个人使用。加之虚拟漫游、电脑游戏等交互媒体的日趋发展,具备姿势感应,3D立体显示功能的头戴式显示***发展前景十分广阔。
由于结构限制,现有头戴式显示***无法复原人类视域范围的全部图像,视角较为狭窄。如日本索尼公司的HMZ-T1显示器,水平可视角度仅为30度左右;美国Silicon Micro Display公司的ST1080显示器,水平可视角度约为45度;而美国Oculus公司的Oculus Rift显示器,水平可视角度约为90度。据测算,人类双眼的水平视角叠加后约为230度,要达到全视角的虚拟沉浸体验,必须将头戴式显示器的可视角度增加到180度以上,形成虚拟的半球影像。
而现有类似设备大多采用单一凸透镜或透镜组作为目镜,如图1所示,将LED、LCD等显示设备产生的原始图像放大到更大尺寸,并矫正到明视距离,该结构受限于目镜的直径,无法显示180度全视角的图像。
因此,现有技术存在缺陷,有待于进一步改进和发展。
发明内容
本发明的目的在于提供一种图像显示装置,基于凸透镜与凹面镜的配合,通过光学变换和相应算法,将全景相机或计算机产生的全景图分割为两个部分,并分别针对其图像特征进行变换,最终复原为全视角的自然图像。
本发明的技术方案如下:
全视角图像显示装置,包括图像显示装置,以及与所述图像显示装置连接的计算机,其中:所述图像显示装置包括图像显示设备,设置在所述图像显示设备一侧的瞳距调节机构;还包括设置在所述图像显示设备另一侧的凹面镜、凸透镜以及透明连接件,所述凹面镜紧邻所述显示设备设置,所述透明连接件将所述凸透镜固定在所述凹面镜上;
所述计算机包括图像处理软件以及原始图像数据;所述计算机连接所述图像显示设备;所述原始图像数据经图像处理软件分割变换后,发送给所述图像显示设备;
左右眼可观察图像显示设备显示的具有视差的2张全景图,在全视角范围内产生立体感;所述凸透镜对应的视域为舒适视域,所述凹面镜对应的视域为诱导视域;
所述图像处理软件保证外缘区域的图像和凹面镜的曲率严格匹配;
所述凹面镜和凸透镜的曲率针对原始图像的特征指定进行定制,以矫正全景图在所述凹面镜和凸透镜上的畸变;
所述图像处理软件将图像处理分为分割与变换两个步骤:第一步,将原始图像分割为中心区域和外缘区域;中心区域的图像经过凸透镜折射后进入瞳孔,对应视野舒适视域;第二步,将外缘部分的图像经由计算机进行极坐标反转后,再通过凹面镜进入瞳孔,对应视野诱导视域。
与现有技术相比,本发明提供了全视角图像显示装置,在现有头戴式显示***的基础上,增加了一组自由曲面反射镜,即凹面镜,将中央目镜的盲区图像加以利用,利用凸透镜的盲区,以凹面反射镜和凸透镜组合产生全视野图像,扩大了可视范围,可实现230度在内的极大视角,大大提高了虚拟现实的临场感。本发明通过光学变换和相应算法,将全景相机或计算机产生的全景图分割为两个部分,并分别针对其图像特征进行变换,最终复原为全视角的自然图像。本发明提供的全视角图像显示装置设计完成后,结构简单、装配及制造难度低,便于大批量生产,降低成本。
附图说明
图1为现有技术头戴式显示***的显示装置结构示意图;
图2为本发明图像显示装置的分解结构示意图;
图3为本发明图像显示装置的组装结构示意图;
图4为本发明左右眼可观察图像显示设备产生的舒适视域和诱导视域示意图;
图5本发明计算机和图像显示装置的功能结构示意图;
图6为本发明图像处理软件将原始图像分割为中心区域和外缘区域的示意图;
图7为本发明凹面镜反转外缘区域的示意图;
图8为本发明凹面镜一般曲率计算方法的原理示意图;
图9为本发明凹面镜一般曲率计算方法中,Ki的计算原理示意图;
图10为本发明球面反射镜全景图计算原理示意图;
图11为本发明抛物面反射镜全景图计算原理示意图;
图12为本发明凸透镜的一般曲率计算示意图;
图13为本发明凸透镜的一般曲率计算过程中,Li计算原理图。
具体实施方式
下面结合附图,对本发明的较佳实施例作进一步详细说明。
本发明的全视角图像显示装置,其第一个优选实施例,包括图像显示装置,以及与所述图像显示装置连接的计算机8;所述图像显示装置主要包括图像显示设备1,设置在所述图像显示设备1一侧的瞳距调节机构5;还包括设置在所述图像显示设备1另一侧的凹面镜2,凸透镜3以及透明连接件4,如图2和图3所示,所述凹面镜2紧邻所述显示设备1设置,所述透明连接件4将所述凸透镜3固定在所述凹面镜2上。
本发明图像显示装置适用于三维图像的显示,如图4所示,左右眼可观察图像显示设备1显示的具有视差的2张全景图,在全视角范围内产生立体感。凸透镜3对应的视域为舒适视域;凹面镜2对应的视域为诱导视域。
所述图像显示装置的图像显示设备1为显示器时,所述图像显示装置通过图像显示设备1接计算机8,如图5所示。所述计算机包括图像处理软件以及原始图像数据,所述原始图像指由相机或软件生成的单个全景图像、全景视频或虚拟现实场景。所述计算机8包括图像渲染单元,图像处理软件及其连接的所述图像显示设备1。所述图像渲染单元一般为游戏引擎或虚拟现实软件,所述图像渲染单元经由图像变换处理后,将视频信号传输给所述图像显示设备1。原始图像可包括静帧画面、视频影像或交互图像,如照片、视频、游戏等。所述图像渲染单元的原始图像一般通过全景相机、全景摄像机,或由游戏引擎、虚拟现实软件渲染生成后经过图像处理软件发送给所述图像显示设备1。
所述计算机8还包括与所述图像渲染单元连接的图像处理软件,所述图像处理软件连接所述图像显示设备1。所述图像处理软件将图像处理分为分割与变换两个步骤:第一步,将原始图像分割为中心区域6和外缘区域7两个部分,如图6所示;中心区域6的图像将通过凸透镜3折射后进入瞳孔,对应视野舒适视域。第二步,由于凹面镜2反转了外缘区域7的图像,因此外缘区域7部分图像需经由计算机进行如图7所示的极坐标反转。本发明计算机的图像处理软件可保证凹面镜2的曲率和外缘区域7的图像严格匹配。这样,最终进入视网膜的图像将被拼接为无反转、畸变小、视差小的全视角场景。
所述凹面镜2为表面光滑的反射镜,其形状近似于抛物面,材料为合金或者表面镀金属的高分子材料。根据原始图像的特征,凹面镜2的反射曲面必须针对该特征所定制,其曲率根据图像特征而有所区别。例如球面反射镜、双曲面反射镜、抛物面反射镜所生成的全 景图像畸变系数不同,对应的凹面镜2的曲率也相应变化,如果图像由计算机生成,也可根据其特征定制曲率。本发明提出了计算该凹面镜2曲率的通用方法。
根据原始图像获取的特征,凸透镜3是针对该特征所定制的玻璃或高分子材料透镜,其曲率根据原始图像的特征而有所区别。本发明同时提出了计算凸透镜3曲率的通用方法。
所述图像显示装置装配时,如图3所示,图像的外缘区域7需恰好被凸透镜3的盲区所遮挡,同时又能够被凹面镜2所反射。为了防止畸变,凹面镜2的成像需衔接凸透镜3的成像。如图3所示,位于图像中心区域6的A点,其虚像位于A'点;位于外缘区域7的D点,其虚像位于D'点;而位于区域交界线内外侧的B点和C点,其虚像分别位于为B'点和C'点。凹面镜2的内边缘和凸透镜3的外边缘重合,位于B'点和人眼的连接线上,或略有重合,以保证成像无缝衔接。
所述连接件4是由透明材料制成的薄厚均匀的元件,用于连接凹面镜2与凸透镜3。
所述全视角图像显示装置的第二个优选实施例,是在第一个优选实施例上的改进,其同第一个优选实施例相同的部分,这里不再赘述。
可以在所述图像显示装置的图像显示设备1可以连接传感器9,如图5所示,使本发明的全视角图像显示装置适用于交互式虚拟现实时。所述传感器9将传感数据发送给所述计算机8,计算机8可根据传感器数据,设置软件中的虚拟摄像机,以和头部姿势同步。所述传感器可包括陀螺仪、加速计、磁力计等,所获信息包括用户头部的角度、加速度、姿势与位置数据等。
本发明全视角图像显示装置提供的凹面镜2的一般畸变矫正方法下的凹面镜2的曲率计算方法:任意凸曲面反射镜全景图在凹面镜2的畸变矫正的方法,这时,凹面镜2为反射镜,无色差现象,主要为曲面反射造成的畸变。该方法可适用于任意凸曲线旋转生成的曲面反射镜的反射图像,包括软件中的类似方式生成的全景图像的畸变矫正,如凸曲面反射镜非360度旋转体,该畸变矫正方法也可由二维推广到三维。
如图8所示,凹面镜2的反射区域仅包括外缘区域7,下面介绍凹面镜2的一般曲率计算方法:
以右眼为例,设瞳孔为坐标原点O,左右眼连线为x轴,视野正前方为y轴。将所述凹面镜的剖面曲线分为n份,并将各分割点记为K0,K1,K2,K3……Kn-1,Kn,使得各曲线段K0K1,K1K2,K2K3……Kn-1Kn对应坐标原点O的张角相等;K0为诱导视域的最外侧点,Kn为诱导视域和舒适视域的分界点;假设图像显示设备的图像剖面平行于x轴,离瞳孔距离为OO',则中心区域与外缘区域的分界点为K0的反射点,记为K'0;外缘图像最右侧点为Kn的 反射点,记为K'n;类似地,将K1,K2,K3……Kn各点所反射的图像点记为K'1,K'2,K'3……K'n;将K0,K1,K2,K3……Kn-1,Kn各点切线的角度记为a0,a1,a2,a3……an-1,an。
K0O与y轴的夹角对应人眼右方最大视角,记为β;K0点与瞳孔的距离为人机尺寸m;KnO与y轴的夹角需大于人眼的舒适视角并取适度值,记为ε;图像显示设备的原始图像半径为r。(根据人机尺寸,β弧度约为2.007;m约为21毫米;ε弧度需大于1.047)。
假设原始全景图由凸曲面反射镜在环境中的正交投影获得,则原始全景图中的任意一点均来自空间中某条光射线的投影,将这条射线与凸曲面镜中心轴的夹角记为γi,以原始全景图的中心点为极坐标原点,凹面镜上任意点Ki在原始全景图上所对应的点为(ρi,θi),设γi与ρi的函数关系为f:
ρi=f(γi) (1)
将Ki的坐标记为(xi,yi),过Ki切线的角度记为ai,Ki反射的图像点记为K'i,K'i的坐标记为(x'i,y'i),OKi与y轴的夹角记为γi。
如图9,当n足够大时,Ki可被看做位于直线OKi与Ki-1切线的交点,由反射定律、余弦定理、三角形K'iOKi的性质求解方程,可得所述凹面镜各点相关数据xi、yi、x'i、ai的通用公式为
当i=0时,有:
x0=m·sinβ
y0=m·cosβ
x'0=f(ε)
y'0=r·cotε
当全景图生成函数f确定时,将所得x0、y0、x'0代入公式(2),可求出a0:
再将x0,y0,x'0及a0依次代入公式(4)、(5)、(3)、(2),可求出i=1时x1、y1、x'1、a1的数据;继而求出i=2……直至i=n时的数据;当n足够大时,所述凹面镜上的n点数据能提供足够的精度进行生产加工。
当获得i=n时的数据时,也可根据Kn点的值,以Kn点为起点进行二次矫正计算,依次求出Kn-1、Kn-2…直至K0点的数据,这样能够使得凹面镜与凸透镜的接缝更加精确。公式相同,方法相似,在此不做赘述。
综上,K0的数据仅依赖于图像显示设备1的图像大小,凹面镜2的孔径,图像显示设备1的距离以及原始图像的获取方法(如球面反射、抛物面反射等),因此,K0的数据容易求得。而K1的数据可以在K0的基础上求得,K2的数据可以在K1的基础上求得,以此类推,最终可计算出K0到Kn各点的数据。
上述方法把多阶段过程转化为一系列单阶段问题,利用各阶段之间的关系,逐个求解,易于实现计算机辅助设计,精度可控,适应范围广。
以上是基于任意旋转凸曲面镜图像,在凹面镜2上消除反射畸变,还原原始全景图的一般计算方法。
以下分别针对原始全景图不同的获取方式,以球面镜和抛物面镜的f(γ)为例,进行计算:
1、球面反射镜全景图在凹面镜2的畸变矫正时,凹面镜2的曲率计算方法
如图10,当获取全景图的凸曲面反射镜为局部球面时,根据球面的几何性质可得该***生成全景图的函数f为:
由于凹面镜反射了图像,根据公式(3)可得
当i=0时,有
y'0=r·cotε
x0=m·sinβ
y0=m·cosβ
代入公式(2),K0切线的角度a0有
将x0,y0,x'0及a0依次代入公式(4)、(5)、(2),可求出i=1时x1、y1、a1的数据;由公式(7),可求出x'1的数据;继而可求出i=2……直至i=n时的数据。当获得i=n时的数据时,也可根据Kn点的值,以Kn点为起点依次求出Kn-1、Kn-2…直至K0点的矫正数据,使得凹面镜与凸透镜的接缝更加精确,在此不做赘述。
2、抛物面反射镜全景图在凹面镜2的畸变矫正时,凹面镜2的曲率计算方法。
如图11,当获取全景图所用的凸曲面反射镜为抛物面的一部分时,由反射定律和抛物线的焦点性质,可得抛物反射面生成全景图的函数为
由于凹面镜反射了图像,代入公式(3),可得
当i=0时,γ0=β,K'0的坐标(x'0,y'0)有
y'0=r·cotε
x0=m·sinβ
y0=m·cosβ
由公式(2),K0切线的角度a0有
将x0,y0,x'0及a0依次代入公式(4)、(5)、(2),可求出i=1时x1、y1、a1的数据;由公式(9),可求出x'1的数据;继而可求出i=2……直至i=n时的数据。当获得i=n时的数据时,也可根据Kn点的值,以Kn点为起点依次求出Kn-1、Kn-2…直至K0点的矫正数据,使得凹面镜与凸透镜的接缝更加精确,在此不做赘述。
本发明凸透镜3畸变矫正的具体方法,详细介绍如下:
任意凸曲面反射镜全景图在凸透镜3的畸变矫正,凸透镜的一般曲率计算方法如下:
凸透镜3由折射率较大的透明材料制成,如玻璃、聚碳酸酯等,必须与凹面镜2共轴,并通过折射来矫正原始全景图的畸变。针对由曲线旋转生成的凸曲面镜的反射全景图,本专利提出了矫正畸变的单凸透镜的剖面曲线计算方法。
如图12所示,凸透镜3的折射区域仅包括中心区域6,考虑到眼部定位误差,可适当增加凸透镜3的半径,避免出现接缝,但可视区域需严格限定于中心区域6。
设凸透镜折射率为nr,半径为r2,将凸透镜的凸面剖线分为n份,将各分割点记为L0,L1……Ln-1,Ln,使得各曲线段L0L1,L1L2……Ln-1Ln对应坐标原点O的张角相等;由于凸透镜与凹面镜边缘紧密衔接,所以L0O与y轴的夹角等于ε。当n足够大时,通过各点的数据可确定凸透镜的剖面曲线。
在透镜上方任取一点Li,将点Li所折射的点记为L'i,其切线的角度记为bi,将透镜下方平面的对应点记为L"i;设折射后进入瞳孔的光线与y轴的角度为γi,将其未被折射前与y轴的角度记为λi。
当n足够大时,如图13,Li可被看做位于Li-1的切线上,根据折射定律,求解方程可知,凸透镜上凸面Li点对应的γi,bi,xi,yi,λi有
若公式(14)中的全景图像函数f确定,则当i=0时,L0对应的数据有:
γ0=ε
x0=r2
y0=r2·cotε
将γ0,x0,y0,λ0,b0依次代入公式(10)、(12)、(13)、(14)、(11),可求得当i=1时,所述凸透镜凸面L1点的数据γ1,x1,,y1,λ1,b1……以此类推,L2,L3……Ln-1,Ln各点均可由L0点多次迭代求得。
以上是基于任意旋转凸曲面镜图像,使凸透镜3消除畸变,还原原始全景图的一般计算方法。
以下分别针对原始全景图不同的获取方式,以球面镜和抛物面镜的f(γ)为例,进行 计算:
1、球面反射镜全景图在凸透镜3畸变矫正时,凸透镜3的曲率计算方法如下:
如图10,球面反射镜生成全景图像的函数为
当i=0时,有
γ0=ε
x0=r2
y0=r2·cotε
将i=0时的数据结果γ0,x0,y0,λ0,b0依次代入公式(10)、(12)、(13)、(14)、(11),可求得当i=1时,L1点的数据γ1,x1,,y1,λ1,b1……以此类推,可求得L2,L3……Ln-1,Ln各点基于矫正球面镜全景图畸变的凸透镜的数据。
2、抛物面反射镜全景图在凸透镜3畸变矫正,凸透镜3的曲率计算方法如下:
如图11,抛物面反射镜生成全景图像的函数为
当i=0时,有
γ0=ε
x0=r2
y0=r2·cotε
将i=0时的数据结果γ0,x0,y0,λ0,b0依次代入公式(10)、(12)、(13)、(14)、(11),可求得当i=1时,L1点的数据γ1,x1,,y1,λ1,b1……以此类推,可求得L2,L3……Ln-1,Ln各点基于矫正球面镜全景图畸变的凸透镜的数据。
综上,本发明提供的全视角图像显示装置,在现有头戴式显示***的基础上,增加了一组自由曲面反射镜,及凹面镜3,将中央目镜的盲区图像加以利用,利用凸透镜的盲区,以凹面反射镜和凸透镜组合产生全视野图像,扩大了可视范围,可实现230度在内的极大视角,大大提高了虚拟现实的临场感。本发明通过光学变换和相应算法,将全景相机或计算机产生的全景图分割为两个部分,并分别针对其图像特征进行变换,最终复原为全视角的自然图像。本装置可针对不同的全景图像获取特征进行畸变矫正,通过不同的曲面设计矫正不同的全景图像,提出一套矫正畸变的具体公式,可适用于设计相关光学器件,矫正由各种自由凸曲面反射镜的全景图畸变。设计完成后,结构简单、装配及制造难度低,便于大批量生产,降低成本。
本发明提出了针对任意凸曲面反射镜全景图的曲面设计方法,仅要求凸曲面为360度旋转对称体,表面连续可导,生成的全景图畸变系数可根据需要灵活定制,适应范围十分广泛,如球面镜、抛物面镜、双曲面镜生成的反射全景图均可适用。
本发明提供的全视角图像显示装置,于凸透镜与凹面镜的配合,本发明的全视角图像显示装置,可用于计算机渲染的全景图及基于凸面镜(Convex Mirror)生成的反射全景图, 可通过算法消除像差畸变,配合陀螺仪、加速计、磁力计等传感器以及计算机,可应用于头戴式三维显示器、虚拟沉浸头盔等设施,其优点在于视域宽广,结构简单,解决了现有设备视角狭窄的缺陷,提高了沉浸体验。
应当理解的是,上述针对本发明较佳实施例的表述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本发明的专利保护范围应以所附权利要求为准。
Claims (8)
1.全视角图像显示装置,包括图像显示装置,以及与所述图像显示装置连接的计算机,其特征在于:
所述图像显示装置包括图像显示设备,设置在所述图像显示设备一侧的瞳距调节机构;还包括设置在所述图像显示设备另一侧的凹面镜、凸透镜以及透明连接件,所述凹面镜紧邻所述显示设备设置,所述透明连接件将所述凸透镜固定在所述凹面镜上;
所述计算机包括图像处理软件以及原始图像数据;所述计算机连接所述图像显示设备;所述原始图像数据经图像处理软件分割变换后,发送给所述图像显示设备;
左右眼可观察图像显示设备显示的具有视差的2张全景图,在全视角范围内产生立体感;所述凸透镜对应的视域为舒适视域,所述凹面镜对应的视域为诱导视域;
所述图像处理软件保证外缘区域的图像和凹面镜的曲率严格匹配;
所述凹面镜和凸透镜的曲率针对原始图像的特征指定进行定制,以矫正全景图在所述凹面镜和凸透镜上的畸变;
所述图像处理软件将图像处理分为分割与变换两个步骤:第一步,将原始图像分割为中心区域和外缘区域;中心区域的图像经过凸透镜折射后进入瞳孔,对应视野舒适视域;第二步,将外缘部分的图像经由计算机进行极坐标反转后,再通过凹面镜进入瞳孔,对应视野诱导视域。
2.根据权利要求1所述的全视角图像显示装置,其特征在于,所述图像显示装置装配时,图像的外缘区域被凸透镜的盲区所遮挡,同时又能够被凹面镜所反射;凹面镜的成像需衔接凸透镜的成像。
3.根据权利要求2所述的全视角图像显示装置,其特征在于,凸曲面反射镜全景图在凹面镜畸变矫正时,所述凹面镜的曲率通用计算方法如下:
以右眼为例,设瞳孔为坐标原点O,左右眼连线为x轴,视野正前方为y轴;将所述凹面镜的剖面曲线分为n份,并将各分割点记为K0,K1,K2,K3……Kn-1,Kn,使得各曲线段K0K1,K1K2,K2K3……Kn-1Kn对应坐标原点O的张角相等;K0为诱导视域的最外侧点,Kn为诱导视域和舒适视域的分界点;假设图像显示设备的图像剖面平行于x轴,离瞳孔距离为OO',则中心区域与外缘区域的分界点为K0的反射点,记为K'0;外缘图像最右侧点为Kn的反射点,记为K'n;类似地,将K1,K2,K3……Kn各点所反射的图像点记为K'1,K'2,K'3……K'n;将K0,K1,K2,K3……Kn-1,Kn各点切线的角度记为a0,a1,a2,a3……an-1,an;
K0O与y轴的夹角对应人眼右方最大视角,记为β;K0点与瞳孔的距离为人机尺寸m;KnO 与y轴的夹角需大于人眼的舒适视角并取适度值,记为ε;图像显示设备的原始图像半径为r;
假设原始全景图由凸曲面反射镜在环境中的正交投影获得,则原始全景图中的任意一点均来自空间中某条光射线的投影,将这条射线与凸曲面镜中心轴的夹角记为γi,以原始全景图的中心点为极坐标原点,凹面镜上任意点Ki在原始全景图上所对应的点为(ρi,θi),设γi与ρi的函数关系为f:
ρi=f(γi) (1)
将Ki的坐标记为(xi,yi),过Ki切线的角度记为ai,Ki反射的图像点记为K'i,K'i的坐标记为(x'i,y'i),OKi与y轴的夹角记为γi;
当n足够大时,Ki可被看做位于直线OKi与Ki-1切线的交点,由反射定律、余弦定理、三角形K'iOKi的性质求解方程,可得所述凹面镜各点相关数据xi、yi、x'i、ai的通用公式为
当i=0时,有:
x0=m·sinβ
y0=m·cosβ
x'0=f(ε)
y'0=r·cotε
当全景图生成函数f确定时,将所得x0、y0、x'0代入公式(2),可求出a0:
再将x0,y0,x'0及a0依次代入公式(4)、(5)、(3)、(2),可求出i=1时x1、y1、x'1、a1的数据;继而求出i=2……直至i=n时的数据;
当获得i=n时的数据时,也可根据Kn点的值,以Kn点为起点进行二次矫正计算,依次求出Kn-1、Kn-2…直至K0点的数据。
4.根据权利要求3所述的全视角图像显示装置,其特征在于,当球面反射镜全景图在凹面镜畸变矫正时,凹面镜的曲率计算方法如下:
获取全景图的凸曲面反射镜为局部球面时,根据球面的几何性质可得该***生成全景图的函数f为:
由于凹面镜反射了图像,根据公式(3)可得
当i=0时,有
y'0=r·cotε
x0=m·sinβ
y0=m·cosβ
代入公式(2),K0切线的角度a0有
将x0,y0,x'0及a0依次代入公式(4)、(5)、(2),可求出i=1时x1、y1、a1的数据;由公式(7), 可求出x'1的数据;继而可求出i=2……直至i=n时的数据;
当获得i=n时的数据时,也可根据Kn点的值,以Kn点为起点依次求出Kn-1、Kn-2…直至K0点的矫正数据。
5.根据权利要求3所述的全视角图像显示装置,其特征在于,当抛物面反射镜全景图在凹面镜畸变矫正时,凹面镜的曲率计算方法如下:
当获取全景图所用的凸曲面反射镜为抛物面的一部分时,由反射定律和抛物线的焦点性质,可得抛物反射面生成全景图的函数为
由于凹面镜反射了图像,代入公式(3),可得
当i=0时,γ0=β,K'0的坐标(x'0,y'0)有
y'0=r·cotε
x0=m·sinβ
y0=m·cosβ
由公式(2),K0切线的角度a0有
将x0,y0,x'0及a0依次代入公式(4)、(5)、(2),可求出i=1时x1、y1、a1的数据;由公式(9),可求出x'1的数据;继而可求出i=2……直至i=n时的数据;
当获得i=n时的数据时,也可根据Kn点的值,以Kn点为起点依次求出Kn-1、Kn-2…直至K0点的矫正数据。
6.根据权利要求2所述的全视角图像显示装置,其特征在于,任意凸曲面反射镜全景图在凸透镜畸变矫正时,上凸下平型凸透镜的曲率通用计算方法如下:
设凸透镜折射率为nr,半径为r2,将凸透镜的凸面剖线分为n份,将各分割点记为L0,L1……Ln-1,Ln,使得各曲线段L0L1,L1L2……Ln-1Ln对应坐标原点O的张角相等;由于凸透镜与凹面镜边缘紧密衔接,所以L0O与y轴的夹角等于ε;
当n足够大时,通过各点的数据可确定凸透镜的剖面曲线;
在透镜上方任取一点Li,将点Li所折射的点记为L'i,其切线的角度记为bi,将透镜下方平面的对应点记为L"i;设折射后进入瞳孔的光线与y轴的角度为γi,将其未被折射前与y轴的角度记为λi;
当n足够大时,Li可被看做位于Li-1的切线上,根据折射定律,求解方程可知,凸透镜上凸面Li点对应的γi,bi,xi,yi,λi有
若公式(14)中的全景图像函数f确定,则当i=0时,L0对应的数据有:
γ0=ε
x0=r2
y0=r2·cotε
将γ0,x0,y0,λ0,b0依次代入公式(10)、(12)、(13)、(14)、(11),可求得当i=1时,所述凸透镜凸面L1点的数据γ1,x1,,y1,λ1,b1……以此类推,L2,L3……Ln-1,Ln各点均可由L0点多次迭代求得。
7.根据权利要求6所述的全视角图像显示装置,其特征在于,球面反射镜全景图在凸透镜畸变矫正时,凸透镜的曲率计算公式如下:
球面反射镜生成全景图像的函数为
当i=0时,有
γ0=ε
x0=r2
y0=r2·cotε
将i=0时的数据结果γ0,x0,y0,λ0,b0依次代入公式(10)、(12)、(13)、(14)、(11),可求得当i=1时,L1点的数据γ1,x1,,y1,λ1,b1……以此类推,可求得L2,L3……Ln-1, Ln各点基于矫正球面镜全景图畸变的凸透镜的数据。
8.根据权利要求6所述的全视角图像显示装置,其特征在于,抛物面反射镜全景图在凸透镜的畸变矫正时,凸透镜的曲率计算方法如下:
抛物面反射镜生成全景图像的函数为
当i=0时,有
γ0=ε
x0=r2
y0=r2·cotε
将i=0时的数据结果γ0,x0,y0,λ0,b0依次代入公式(10)、(12)、(13)、(14)、(11),可求得当i=1时,L1点的数据γ1,x1,,y1,λ1,b1……以此类推,可求得L2,L3……Ln-1,Ln各点基于矫正球面镜全景图畸变的凸透镜的数据。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410251969.6A CN104253989B (zh) | 2014-06-09 | 2014-06-09 | 全视角图像显示装置 |
PCT/CN2015/080988 WO2015188731A1 (zh) | 2014-06-09 | 2015-06-08 | 全视角图像显示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410251969.6A CN104253989B (zh) | 2014-06-09 | 2014-06-09 | 全视角图像显示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104253989A true CN104253989A (zh) | 2014-12-31 |
CN104253989B CN104253989B (zh) | 2018-05-18 |
Family
ID=52188469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410251969.6A Active CN104253989B (zh) | 2014-06-09 | 2014-06-09 | 全视角图像显示装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN104253989B (zh) |
WO (1) | WO2015188731A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104902139A (zh) * | 2015-04-30 | 2015-09-09 | 北京小鸟看看科技有限公司 | 一种头戴显示器和头戴显示器的视频数据处理方法 |
WO2015188731A1 (zh) * | 2014-06-09 | 2015-12-17 | 黄石 | 全视角图像显示装置 |
CN106097245A (zh) * | 2016-07-26 | 2016-11-09 | 北京小鸟看看科技有限公司 | 一种全景3d视频图像的处理方法和装置 |
CN106780317A (zh) * | 2017-01-25 | 2017-05-31 | 北京数码视讯科技股份有限公司 | 全景投影方法及装置 |
CN106821696A (zh) * | 2017-02-08 | 2017-06-13 | 王三铭 | 一种防治学生近视的远看写装置和使用方法 |
WO2017107444A1 (zh) * | 2015-12-21 | 2017-06-29 | 乐视控股(北京)有限公司 | 虚拟显示设备的影像播放方法和装置 |
CN107589837A (zh) * | 2017-08-22 | 2018-01-16 | 努比亚技术有限公司 | 一种ar终端画面调整方法、设备和计算机可读存储介质 |
CN107615755A (zh) * | 2015-05-19 | 2018-01-19 | 麦克赛尔株式会社 | 头戴式显示器、平视显示器和影像显示方法 |
CN109791284A (zh) * | 2016-10-04 | 2019-05-21 | 麦克赛尔株式会社 | 投影光学***以及平视显示器装置 |
CN111522193A (zh) * | 2020-04-15 | 2020-08-11 | 中国农业大学 | 一种利用凹面镜采集球形物料全部表面图像的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001013446A (ja) * | 1999-07-02 | 2001-01-19 | Olympus Optical Co Ltd | 観察光学系 |
CN201060318Y (zh) * | 2007-01-29 | 2008-05-14 | 王小光 | 一种视频放大组合镜头 |
WO2009066475A1 (ja) * | 2007-11-21 | 2009-05-28 | Panasonic Corporation | 表示装置 |
CN101589328A (zh) * | 2007-11-20 | 2009-11-25 | 松下电器产业株式会社 | 图像显示装置及其显示方法、程序、集成电路、眼镜式头戴式显示器、汽车、双筒望远镜和台式显示器 |
CN102782562A (zh) * | 2010-04-30 | 2012-11-14 | 北京理工大学 | 宽视场高分辨率拼接式头盔显示装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1161087A (zh) * | 1994-08-10 | 1997-10-01 | 实质(Ip)有限公司 | 安置在头上的光学*** |
US9720228B2 (en) * | 2010-12-16 | 2017-08-01 | Lockheed Martin Corporation | Collimating display with pixel lenses |
CN102692709A (zh) * | 2012-06-15 | 2012-09-26 | 中航华东光电有限公司 | 基于球面棱镜的头戴显示器的光学*** |
CN103018907A (zh) * | 2012-12-19 | 2013-04-03 | 虢登科 | 显示方法及头戴显示器 |
CN104253989B (zh) * | 2014-06-09 | 2018-05-18 | 黄石 | 全视角图像显示装置 |
-
2014
- 2014-06-09 CN CN201410251969.6A patent/CN104253989B/zh active Active
-
2015
- 2015-06-08 WO PCT/CN2015/080988 patent/WO2015188731A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001013446A (ja) * | 1999-07-02 | 2001-01-19 | Olympus Optical Co Ltd | 観察光学系 |
CN201060318Y (zh) * | 2007-01-29 | 2008-05-14 | 王小光 | 一种视频放大组合镜头 |
CN101589328A (zh) * | 2007-11-20 | 2009-11-25 | 松下电器产业株式会社 | 图像显示装置及其显示方法、程序、集成电路、眼镜式头戴式显示器、汽车、双筒望远镜和台式显示器 |
WO2009066475A1 (ja) * | 2007-11-21 | 2009-05-28 | Panasonic Corporation | 表示装置 |
CN102782562A (zh) * | 2010-04-30 | 2012-11-14 | 北京理工大学 | 宽视场高分辨率拼接式头盔显示装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015188731A1 (zh) * | 2014-06-09 | 2015-12-17 | 黄石 | 全视角图像显示装置 |
CN104902139B (zh) * | 2015-04-30 | 2018-10-26 | 北京小鸟看看科技有限公司 | 一种头戴显示器和头戴显示器的视频数据处理方法 |
CN104902139A (zh) * | 2015-04-30 | 2015-09-09 | 北京小鸟看看科技有限公司 | 一种头戴显示器和头戴显示器的视频数据处理方法 |
US10578868B2 (en) | 2015-04-30 | 2020-03-03 | Beijing Pico Technology Co., Ltd. | Head-mounted display and video data processing method thereof |
CN107615755A (zh) * | 2015-05-19 | 2018-01-19 | 麦克赛尔株式会社 | 头戴式显示器、平视显示器和影像显示方法 |
WO2017107444A1 (zh) * | 2015-12-21 | 2017-06-29 | 乐视控股(北京)有限公司 | 虚拟显示设备的影像播放方法和装置 |
CN106097245A (zh) * | 2016-07-26 | 2016-11-09 | 北京小鸟看看科技有限公司 | 一种全景3d视频图像的处理方法和装置 |
CN109791284A (zh) * | 2016-10-04 | 2019-05-21 | 麦克赛尔株式会社 | 投影光学***以及平视显示器装置 |
CN106780317A (zh) * | 2017-01-25 | 2017-05-31 | 北京数码视讯科技股份有限公司 | 全景投影方法及装置 |
CN106821696A (zh) * | 2017-02-08 | 2017-06-13 | 王三铭 | 一种防治学生近视的远看写装置和使用方法 |
CN106821696B (zh) * | 2017-02-08 | 2021-07-27 | 王三铭 | 一种防治学生近视的远看写装置和使用方法 |
CN107589837A (zh) * | 2017-08-22 | 2018-01-16 | 努比亚技术有限公司 | 一种ar终端画面调整方法、设备和计算机可读存储介质 |
CN111522193A (zh) * | 2020-04-15 | 2020-08-11 | 中国农业大学 | 一种利用凹面镜采集球形物料全部表面图像的方法 |
CN111522193B (zh) * | 2020-04-15 | 2021-04-23 | 中国农业大学 | 一种利用凹面镜采集球形物料全部表面图像的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104253989B (zh) | 2018-05-18 |
WO2015188731A1 (zh) | 2015-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104253989A (zh) | 全视角图像显示装置 | |
Gao et al. | Review on panoramic imaging and its applications in scene understanding | |
ES2326965T3 (es) | Metodo para capturar una imagen panoramica por medio de un captador rectangular de imagenes. | |
CN103261943B (zh) | 采用一个或多个菲涅尔透镜的头戴式显示装置 | |
US10642009B2 (en) | Method for designing off-axis aspheric optical system | |
EP3370099B1 (en) | Compound lens and display device including same | |
US20220276490A1 (en) | Near eye display apparatus | |
KR20190122258A (ko) | 디스플레이에서 가상 이미지를 제어하기 위한 방법 | |
Aggarwal et al. | Panoramic stereo videos with a single camera | |
US20180157016A1 (en) | Off-axis aspheric three-mirror optical system | |
US20230274455A1 (en) | Systems and methods for low compute high-resolution depth map generation using low-resolution cameras | |
CN207096551U (zh) | 全方向成像装置 | |
US20210183102A1 (en) | Raycast calibration for artificial reality head-mounted displays | |
US9638836B1 (en) | Lenses having astigmatism correcting inside reflective surface | |
KR20190046810A (ko) | 표시 장치용 정보 처리 장치, 표시 장치용 정보 처리 방법, 및 표시 장치용 프로그램 | |
CN110376725B (zh) | 一种鱼眼镜头*** | |
US10088692B1 (en) | Free-space lens design method | |
CN105872527A (zh) | 双目ar头戴显示设备及其信息显示方法 | |
Song et al. | Design and assessment of a 360 panoramic and high-performance capture system with two tiled catadioptric imaging channels | |
CN109084679B (zh) | 一种基于空间光调制器的3d测量及获取装置 | |
US20120002304A1 (en) | Method and System for Determining Projections in Non-Central Catadioptric Optical Systems | |
CN108931850A (zh) | 一种可穿戴式光学***、装置及方法 | |
CN108604055B (zh) | 具有奇次项非球面轮廓或多透镜的全方向折反射透镜 | |
CN105589208A (zh) | 一种内对焦虚拟现实光学*** | |
Takahashi | Development of ultrawide-angle compact camera using free-form optics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |