CN103279942A - 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法 - Google Patents
一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法 Download PDFInfo
- Publication number
- CN103279942A CN103279942A CN2013101237081A CN201310123708A CN103279942A CN 103279942 A CN103279942 A CN 103279942A CN 2013101237081 A CN2013101237081 A CN 2013101237081A CN 201310123708 A CN201310123708 A CN 201310123708A CN 103279942 A CN103279942 A CN 103279942A
- Authority
- CN
- China
- Prior art keywords
- screen
- user
- coordinate
- eyes
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于环境感受器的2D屏幕上虚拟3D展示的控制方法,其特征在于,该技术利用电子设备内嵌的环境感受器加以计算获得使用者的眼睛相对于显示屏幕的位置,通过方程进行坐标变换获得显示屏幕中所显示物体的像坐标,并代入图形程序接口进行渲染和显示,从而使相应观察位置的操作者感受到虚拟3D的成像效果。利用此方法,解决了目前市场上由于3D屏幕的造价及设备限制从而无法普及3D视觉感受的问题,充分利用了目前现有的2D平面电子显示设备,在节约成本的同时,让使用者获得更好的视觉体验。
Description
技术领域
本发明涉及屏幕展示控制方法,尤其涉及基于环境感受器的2D屏幕上虚拟3D展示的控制方法。
背景技术
随着计算机领域的不断发展,在信息化的今天,应用计算机已经不仅仅的局限在平面的显示方式,从3D电影的上映,到裸眼3D屏幕的不断面世,计算机领域将会迎来从2D走向3D的新的转折点。
通过3D技术在市场的应用不难发现人们对于3D技术体验的需求。首先,3D技术不同于常规的二维平面显示技术,通过对设备以及显示效果的改进营造出逼真的视觉效果,让使用者达到了一种真实良好的用户体验。此外,3D在电影市场以及游戏市场的应用也能看出3D技术已经能够使人们获得极佳的娱乐性体验。
然而,尽管3D技术在今后的生产生活中有较大的发展空间,通过分析却不难看出现有3D屏幕仍存在各种弊端:(1)为了达到3D视觉效果需要佩戴专用眼镜,产生佩戴不便及长时间佩戴产生的眼部不适问题;(2)最新技术裸眼3D视觉效果较差,且生产成本较高,造价昂贵;(3)3D技术需要高端的硬件,如声卡、显卡方面支持,维护成本较高;(4)考虑到技术和硬件方面因素,无法实现在可移动端小屏幕使用3D技术。
由于2D屏幕作为主流显示设备具有较大的市场占有率,以及3D技术应用的在多个方面的影响,导致3D技术尚未能够做到大规模普及。如何利用现有大量二维显示硬件实现虚拟3D展示,成为一个问题。
3D街头地画源自西方街头文化,英文:3D Street Painting,国内译为:3D街头地画、街头地画、街头立体画、三维街头地画、街头三维地画、城市立体画、城市三维立体画等。3D街头地画与普通画种比较起来最特别的地方在于它的透视原理与普通绘画不同。正常的绘画,画面的透视安排没有参照欣赏者本人站位的视点,它的画面构成只是以画面本身的透视为依据,而3D街头地画则是参照了欣赏者的站位视点,整个画面的构成以人的视点为视觉原点,使得3D街头地画不仅仅是一幅画还成为一个真实的视觉空间,欣赏者可以融入到画面当中。站在最初设计的最佳视点使用相机进行观看可以达到最佳的视觉效果,而用肉眼从其他角度进行观看画面则是拉伸变形的。只有从相机里才能正常的观看到画面的形象。这样的对比反差会让3D街头地画具有强烈的视觉震撼力,从而引起观者的视觉共鸣,加深观者印象。但收到3D街头地画的本身的限制,观看者只能从固定的角度才能观察到具有立体感的静态图像。
发明内容
本发明技术解决问题:克服现有技术的不足,提供了一种基于环境感受器的2D屏幕上虚拟3D展示的控制方法(以下简称2D虚拟3D方法),利用此方法,解决了目前市场上由于3D屏幕的造价及设备限制从而无法普及3D视觉感受的问题,充分利用了目前现有的2D平面电子显示设备,在节约成本的同时,让使用者获得更好的视觉体验。
本发明技术解决方案:一种基于环境感受器的2D屏幕上虚拟3D展示的控制方法(以下简称2D虚拟3D方法)其特征在于:
步骤1)建立屏幕直角坐标系。
步骤2)通过计算获得当前待绘帧中3D模型的所有或部分关键点分别进行坐标系变换得到屏幕直角坐标系下的各个坐标,得到“物坐标”组成的“物坐标组”。
步骤3)利用环境感受器并加以计算获得使用者的眼睛相对于屏幕的位置。包含使用者眼睛相对于屏幕的偏角及距离。可以用到的环境感受器包含重力感应芯片、摄像头但不仅限这两种环境感受器。
步骤4)利用环境感受器获得用户眼睛距离屏幕坐标系原点的距离。可以用到的环境感受器包含位移传感器或其他适用的环境感受器,若无适用的环境感受器,可根据统计数据分析取一个约定的估计值。
步骤5)利用步骤3和步骤4中获得的使用者的眼睛在屏幕直角坐标系下的坐标法向量和距离计算出屏幕直角坐标系下眼睛的坐标。
步骤6)结合步骤2中的物坐标和步骤5中的使用者眼睛坐标通过坐标变换获得“像坐标”,并代入图形程序接口进行渲染和显示。
步骤7)对于下一帧图像继续使用步骤1至步骤6进行处理
更优选的,可由用户自定义初始位置或自动识别用户初始位置。
更优选的,在步骤5中利用上一帧或前几帧获得过的使用者眼睛坐标对当前的坐标进行修正,减少由于环境感受器误差造成的画面抖动。
更优选的,对步骤2中使用者眼睛相对于屏幕的偏角向屏幕法线方向进行增强或减弱,使画面显示更合合理、使用者观察到的立体感更为真实。
更优选的,对用户视角的移动进行预测并加以预处理计算和缓存,提高其性能。
本发明与现有技术相比优点在于:
(1)本发明利用电子设备内嵌的环境感受器加以计算获得使用者的眼睛相对于显示屏幕的位置,通过方程进行坐标变换获得显示屏幕中所显示物体的“像坐标”,并代入图形程序接口进行渲染和显示,从而使相应观察位置的操作者感受到虚拟3D的成像效果,解决了目前市场上由于3D屏幕的造价及设备限制从而无法普及3D视觉感受的问题,充分利用了目前现有的2D平面电子显示设备,在节约成本的同时,让使用者获得更好的视觉体验。
(2)本发明通过该技术方法直接利用现有的2D虚拟屏幕和环境感受器展示出3D效果的图像,可以说是一种便捷的利用二维平面显示设备虚拟现实3D效果的方法。目前的智能手机、平板电脑等移动设备已遍及千家万户,其为2D虚拟3D方法提供了强大的使用平台。由于不需要其他新型设备,作为一个崭新的技术,它可以应用的领域是十分广泛的。
首先,作为一种虚拟3D显示方法,其应用并不改变一般二维平面显示设备的通用功能,也就是说并不影响2D画面的正常显示。由于虚拟3D带给使用者的逼真视觉感受,我们可以主要将其应用在带给使用者娱乐性体验方面。
该方法也可用于对于现有的2D视觉画面改造。由于该方法应用介于图形程序接口和3D模型之间,因此具有较好的兼容性,可在现有游戏引擎的基础上利用本发明进行少量修改即可达到理想的效果。
该方法可以用于广告、电影中。相对于普通二维平面广告,通过虚拟3D方法应用的动态广告可以广泛应用在手机、平板电脑等移动设备之中,并带给观看者新鲜的视觉体验。
该方法也可以在大量的公共场所得以应用。比如说,可以在博物馆、体育馆等公共场所通过2D虚拟3D方法向人们全方位、立体化的传递各项信息,使人们不再局限于空间想象,而是获得直观的视觉信息。对于普通3D街头画,具有多视角,动态的优点。
附图说明
图1为2D虚拟3D方法流程图;
图2为核心坐标变换公式原理图。
具体实施方式
下面结合附图和具体实施方式,对本发明的技术方案进行进一步详细的说明。
如图1所示,本发明具体实现步骤如下;
保证图形程序接口、环境感受器等均初始化成功并可供正常调用。
步骤1)建立屏幕直角坐标系,通常采用如下定义:与屏幕所在平面平行且指向直观上的上方的为X轴,与屏幕所在平面平行且指向直观上的右方的为Y轴,与屏幕所在平面垂直且方向指向使用者侧为z轴,屏幕中心(一般取重心)为原点。X轴、Y轴、Z轴形成右手坐标系。获得各个环境感受器的初始数据并记录。
步骤2)对于当前待绘帧的3D模型传入图形程序接口前使用2D虚拟3D方法进行处理。图形程序接口指但不仅限于OpenGL、Direct X等接口。通过计算获得待展示3D模型的所有或部分关键点分别进行坐标系变换得到屏幕直角坐标系下的各个坐标,称这些新的坐标“物坐标”,所有物坐标组成当前帧的“物坐标组”。
步骤3)利用环境感受器并加以计算获得使用者的眼睛相对于屏幕的位置,此位置包含使用者眼睛相对于屏幕的偏角及距离。可利用重力感应芯片,通过获得当前状态在屏幕直角坐标系的重力分布向量,计算获得“重力法向量”(gX,gY,gZ),重力法向量(gX,gY,gZ)可作为屏幕的偏转角度的一种衡量值,假定使用者在从初始位置到当前位置的过程中眼睛相对于地面的位置未发生明显变化,根据运动的相对性可知使用者眼睛在屏幕直角坐标系下的坐标法向量与(gX,gY,gZ)方向相反,记为(vX,vY,vZ);亦可利用可捕捉使用者面部的摄像头获取使用者面部图像,通过图形学中的识别算法定位眼球的位置并计算得出使用者眼睛相对于屏幕的坐标法向量;亦可使用其他能够直接或间接获取使用者眼部位置的环境感受器获得坐标法向量;若无适用的环境感受器,则无法实现本方法,告知使用者运行失败并结束。
步骤4)利用环境感受器获得使用者眼睛距离屏幕坐标系原点的距离d。可利用位移传感器直接人体至位移传感器的距离,修正后或直接近似作为距离d的值;亦可利用可捕捉使用者面部的摄像头获取使用者面部图像,根据使用者五官位置或身体成像大小计算出使用者眼睛距离屏幕的距离;亦可利用其它可直接或间接获得距离远近的环境感受器获得距离d;若无适用的环境感受器,可根据统计数据分析,对人眼到离屏幕的距离进行估计,取值约为25cm至40cm以30cm为宜。
步骤5)利用步骤3和步骤4中获得的使用者的眼睛在屏幕直角坐标系下的坐标法向量(vX,vY,vZ)和距离d,计算出mul((vX,vY,vZ),d)作为在屏幕直角坐标系的眼睛的坐标(viewerX,viewerY,viewerZ)。其中mul()为几何学中向量与标量的乘法运算,其结果为向量。
步骤6)对于步骤2中获得的物坐标组中的每一个物坐标(objerctX,objectY,objectZ),结合使用者眼睛坐标(viewerX,viewerY,viewerZ)进行坐标变换,获得“像坐标”(newX,newrY,newZ),并使用像坐标替换步骤2中对应的物坐标。像坐标指根据透视原理计算得出、代入图形程序接口进行渲染和显示后可使使用者在当前视角观看屏幕时产生和3D地画相同立体效果的的坐标,其计算方法为“核心坐标变换公式”:
newX=-(viewerX-objectX)*objectZ/abs(viewerZ-objectZ)+objectX
newY=-(viewerY-objectY)*objectZ/abs(viewerZ-objectZ)+objectY
newZ=objectZ
其中核心坐标变换公式与附图2中顶点定义的对应为:
1)使用者眼睛坐标(viewerX,viewerY,viewerZ)。
2)屏幕成像点。即为屏幕真实像素点的位置。
3)物坐标(objerctX,objectY,objectZ)。
4)像坐标(newX,newrY,newZ)。
步骤7)对于下一帧图像继续使用步骤1至步骤6进行处理。
本发明未详细阐述的部分属于本领域公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种基于环境感受器的2D屏幕上虚拟3D展示的控制方法,其特征在于:
步骤1)建立屏幕直角坐标系;
步骤2)通过计算获得当前待绘帧中3D模型的所有或部分关键点分别进行坐标系变换得到屏幕直角坐标系下的各个坐标,得到物坐标组成的物坐标组;
步骤3)利用环境感受器并加以计算获得使用者的眼睛相对于屏幕的位置,包含使用者眼睛相对于屏幕的偏角及距离;所述环境感受器包含重力感应芯片、摄像头;
步骤4)利用环境感受器获得用户眼睛距离屏幕坐标系原点的距离,所述环境感受器包含位移传感器,若无适用的环境感受器,可根据统计数据分析取一个约定的估计值;
步骤5)利用步骤3)和步骤4)中获得的使用者的眼睛在屏幕直角坐标系下的坐标法向量和距离计算出屏幕直角坐标系下眼睛的坐标;
步骤6)结合步骤2)中的物坐标和步骤5)中的使用者眼睛坐标通过坐标变换获得像坐标,并代入图形程序接口进行渲染和显示;
步骤7)对于下一帧图像继续使用步骤1)至步骤6)进行处理。
2.根据权利要求1所述的基于环境感受器的2D屏幕上的虚拟3D展示的控制方法,其特征在于:所述步骤2)使用者眼睛相对于屏幕的偏角向屏幕法线方向进行增强或减弱,使画面显示更合合理、使用者观察到的立体感更为真实的方法。
3.根据权利要求1所述的基于环境感受器的2D屏幕上的虚拟3D展示的控制方法,其特征在于:所述步骤5)中利用上一帧或前几帧获得过的使用者眼睛坐标对当前的坐标进行修正,减少由于环境感受器误差造成的画面抖动的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013101237081A CN103279942A (zh) | 2013-04-10 | 2013-04-10 | 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013101237081A CN103279942A (zh) | 2013-04-10 | 2013-04-10 | 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103279942A true CN103279942A (zh) | 2013-09-04 |
Family
ID=49062449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013101237081A Pending CN103279942A (zh) | 2013-04-10 | 2013-04-10 | 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103279942A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105282532A (zh) * | 2014-06-03 | 2016-01-27 | 天津拓视科技有限公司 | 3d显示方法和装置 |
CN105354874A (zh) * | 2015-11-05 | 2016-02-24 | 韩东润 | 一种数字素材的立体显示方法及装置 |
CN105745955A (zh) * | 2013-11-15 | 2016-07-06 | 微软技术许可有限责任公司 | 在基于网络的沉浸式增强现实中的保护隐私 |
WO2017024626A1 (zh) * | 2015-08-13 | 2017-02-16 | 深圳市华星光电技术有限公司 | 裸眼3d成像方法及*** |
CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
CN108076355A (zh) * | 2017-12-26 | 2018-05-25 | 百度在线网络技术(北京)有限公司 | 视频播放控制方法和装置 |
CN108182659A (zh) * | 2018-02-01 | 2018-06-19 | 周金润 | 一种基于视点跟踪、单视角立体画的裸眼3d显示技术 |
CN108269232A (zh) * | 2018-02-24 | 2018-07-10 | 夏云飞 | 一种裸眼3d图片的转化方法及裸眼3d全景图片的转换方法 |
CN108304071A (zh) * | 2018-02-02 | 2018-07-20 | 惠州学院 | 一种基于眼球跟踪实现交互式2.5d的方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663812A (zh) * | 2012-03-27 | 2012-09-12 | 南昌航空大学 | 基于变分光流的三维运动检测与稠密结构重建的直接方法 |
-
2013
- 2013-04-10 CN CN2013101237081A patent/CN103279942A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663812A (zh) * | 2012-03-27 | 2012-09-12 | 南昌航空大学 | 基于变分光流的三维运动检测与稠密结构重建的直接方法 |
Non-Patent Citations (3)
Title |
---|
ADRIAN JACOBS ET AL.: "2D/3D Switchable Displays", 《シャープ技報》, 30 April 2003 (2003-04-30), pages 15 - 18 * |
杨关良: "基于二维图像的三维信息提取研究", 《海军工程大学学报》, 31 August 2004 (2004-08-31), pages 39 - 42 * |
陈君等: "基于数字图像处理的平面图像立体化技术", 《光电子激光》, 31 December 2005 (2005-12-31), pages 19 - 22 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105745955B (zh) * | 2013-11-15 | 2019-06-04 | 微软技术许可有限责任公司 | 在基于网络的沉浸式增强现实中的保护隐私 |
CN105745955A (zh) * | 2013-11-15 | 2016-07-06 | 微软技术许可有限责任公司 | 在基于网络的沉浸式增强现实中的保护隐私 |
CN105282532A (zh) * | 2014-06-03 | 2016-01-27 | 天津拓视科技有限公司 | 3d显示方法和装置 |
CN105282532B (zh) * | 2014-06-03 | 2018-06-22 | 天津拓视科技有限公司 | 3d显示方法和装置 |
WO2017024626A1 (zh) * | 2015-08-13 | 2017-02-16 | 深圳市华星光电技术有限公司 | 裸眼3d成像方法及*** |
US9900575B2 (en) | 2015-08-13 | 2018-02-20 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | Naked-eye 3D image forming method and system |
CN105354874A (zh) * | 2015-11-05 | 2016-02-24 | 韩东润 | 一种数字素材的立体显示方法及装置 |
CN105354874B (zh) * | 2015-11-05 | 2019-11-08 | 韩东润 | 一种数字素材的立体显示方法及装置 |
CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
CN106873300B (zh) * | 2016-12-30 | 2019-12-24 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
CN108076355A (zh) * | 2017-12-26 | 2018-05-25 | 百度在线网络技术(北京)有限公司 | 视频播放控制方法和装置 |
CN108182659A (zh) * | 2018-02-01 | 2018-06-19 | 周金润 | 一种基于视点跟踪、单视角立体画的裸眼3d显示技术 |
CN108304071A (zh) * | 2018-02-02 | 2018-07-20 | 惠州学院 | 一种基于眼球跟踪实现交互式2.5d的方法 |
CN108269232A (zh) * | 2018-02-24 | 2018-07-10 | 夏云飞 | 一种裸眼3d图片的转化方法及裸眼3d全景图片的转换方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103279942A (zh) | 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法 | |
KR100953931B1 (ko) | 혼합현실 구현 시스템 및 그 방법 | |
CN102411474B (zh) | 移动终端及控制移动终端的操作的方法 | |
CN107018336A (zh) | 图像处理的方法和装置及视频处理的方法和装置 | |
CN104504671A (zh) | 一种用于立体显示的虚实融合图像生成方法 | |
CN102281455A (zh) | 图像显示***、装置以及方法 | |
CN103543830A (zh) | 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法 | |
CN103959340A (zh) | 用于自动立体三维显示器的图形呈现技术 | |
CN104464414A (zh) | 一种增强现实的教学*** | |
CN104656880B (zh) | 一种基于智能眼镜的书写***及方法 | |
CN109445598B (zh) | 一种基于视觉的增强现实***装置 | |
CN105278663A (zh) | 一种增强现实的家居体验*** | |
CN110488981A (zh) | 基于云渲染的手机端vr场景交互式显示方法 | |
CN103310045B (zh) | 一种利用增强现实技术进行晶体大分子三维可视化的方法 | |
IL299465A (en) | An object recognition neural network for predicting a missing visual information center | |
CN114419226A (zh) | 全景渲染方法、装置、计算机设备和存储介质 | |
CN106683152A (zh) | 三维视觉效果模拟方法及装置 | |
EP4272061A1 (en) | Systems and methods for generating stabilized images of a real environment in artificial reality | |
CN108205823A (zh) | Mr全息真空体验店和体验方法 | |
CN205812280U (zh) | 一种虚拟现实头盔 | |
CN106569654A (zh) | 一种虚拟现实界面显示方法及虚拟现实设备 | |
CN206115390U (zh) | 基于虚拟现实头盔的数字海滨城市虚拟漫游装置 | |
CN206002838U (zh) | 基于体感交互的360度幻影成像*** | |
CN107526566A (zh) | 一种移动终端的显示控制方法及装置 | |
CN107564066B (zh) | 一种虚拟现实眼镜与深度相机的联合标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20160914 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |