CN114942737A - 显示方法、装置、显示设备、头戴式设备及存储介质 - Google Patents
显示方法、装置、显示设备、头戴式设备及存储介质 Download PDFInfo
- Publication number
- CN114942737A CN114942737A CN202210470977.4A CN202210470977A CN114942737A CN 114942737 A CN114942737 A CN 114942737A CN 202210470977 A CN202210470977 A CN 202210470977A CN 114942737 A CN114942737 A CN 114942737A
- Authority
- CN
- China
- Prior art keywords
- target
- virtual
- virtual object
- display
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000000694 effects Effects 0.000 claims abstract description 26
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 169
- 238000012545 processing Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000003993 interaction Effects 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 8
- 230000000877 morphologic effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000005855 radiation Effects 0.000 description 5
- 239000004984 smart glass Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种显示方法、装置、显示设备、头戴式设备及存储介质,属于虚拟场景技术领域。该方法包括:检测真实场景中的目标对象;根据所述目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定所述虚拟对象对应的目标形态;根据所述真实场景和所述虚拟场景进行图像渲染,显示所述虚拟对象对应的目标形态。根据本申请实施例的技术方案,能提高虚拟对象在真实场景中的显示效果。
Description
技术领域
本申请实施例涉及虚拟场景技术领域,特别涉及一种显示方法、装置、显示设备、头戴式设备及存储介质。
背景技术
随着虚拟场景技术的快速发展,将虚拟现实和真实场景叠加并进行互动的技术越来越受到人们的青睐。相关技术中,一些电子设备可展示多款虚拟场景应用,如何提高虚拟对象在真实场景中的显示效果是亟待解决的技术问题。
发明内容
本申请实施例提供了一种显示方法、装置、显示设备、头戴式设备及存储介质。
第一方面,本申请实施例提供了一种显示方法,包括:
检测真实场景中的目标对象;
根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态;
根据真实场景和虚拟场景进行图像渲染,显示虚拟对象对应的目标形态。
第二方面,本申请实施例提供了一种显示装置,该显示装置用于执行上述第一方面所述的方法中的步骤。
第三方面,本申请实施例提供了一种显示设备,被配置为由用户穿戴,包括上述第二方面所述的显示装置。
第四方面,本申请实施例提供了一种头戴式设备,包括处理器、存储器、显示器以及一个或多个程序,该一个或多个程序被存储在存储器中,并且被配置由处理器执行,该程序包括用于执行上述第一方面所述的方法中的步骤的指令。
第五方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,该计算机程序在被处理器执行,以实现上述第一方面所述的方法中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从该计算机可读存储介质读取该计算机指令,该处理器执行该计算机指令,使得该计算机设备执行上述第一方面所述的方法。
本申请提供的技术方案可以包括以下技术效果:
根据目标对象与虚拟对象之间的形态对应关系,确定在虚拟场景中待显示的虚拟对象对应的目标形态,根据真实场景和虚拟场景进行图像渲染,显示虚拟对象对应的目标形态;如此,虚拟对象对应的目标形态,能跟随目标对象的变化而发生变化,丰富了虚拟对象对应的目标形态的多样性,进而能提高虚拟对象在真实场景中的显示效果。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请实施例提供的具有增强现实显示功能的智能交互***的架构示意图;
图2是本申请实施例提供的显示方法的流程图一;
图3是本申请实施例提供的唤起虚拟场景应用的流程示意图;
图4是本申请实施例提供的天气应用的形态示意图一;
图5是本申请实施例提供的天气应用的形态示意图二;
图6是本申请实施例提供的天气应用的形态示意图三;
图7是本申请实施例提供的射线与目标对象的相交关系示意图一;
图8是本申请实施例提供的射线与目标对象的相交关系示意图二;
图9是本申请实施例提供的显示方法的流程图二;
图10是本申请实施例提供的天气应用从第一位置切换至第二位置的示意图;
图11是本申请实施例提供的显示方法的流程图三;
图12是本申请实施例提供的显示装置的结构框图;
图13是本申请实施例提供的显示设备的结构框图;
图14是用来实现本申请实施例显示方法的电子设备的结构框图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体地限定。
图1是本申请实施例的具有增强现实显示功能的智能交互***100的架构示意图,如图1所示,智能交互***100包括电子设备101。电子设备101可安装有增强现实(Augmented Reality,AR)或混合现实(Mixed Reality,MR)应用等虚拟场景应用,并可基于用户的操作运行该AR或MR应用,这里,用户的操作可包括对电子设备101上虚拟场景应用的控制操作,如点击、触摸、滑动、抖动、声控等操作,用户的操作还可包括对能与电子设备101配对的控制器的控制操作,以通过该控制器如手柄完成对电子设备101上虚拟场景应用的控制。电子设备101可通过本地摄像头和/或传感器采集环境中任意物体的视频图像,根据采集的视频图像在显示组件上显示虚拟对象(也可称为虚拟物体)。虚拟对象相应可以为AR或MR场景中的虚拟物体(即虚拟环境中的物体)。实际应用中,电子设备101可独立完成上述交互操作,实现对虚拟对象的显示。实际应用中,电子设备101还可通过与终端设备102交互,实现对虚拟对象的显示。终端设备102可作为向电子设备101的AR或MR应用提供内容和信息支撑的平台。
需要说明的是,本申请实施例中,电子设备101中的虚拟场景应用可以是电子设备101自身内置的应用程序,也可以是用户自行安装的第三方服务商提供的应用程序,本申请实施例对此不作限定。
需要说明的是,本申请实施例中,电子设备101可以是配置有摄像头和显示组件的各种类型的设备,包括但不限于面向用户提供语音和/或其他数据传输交互的电子设备,例如电子设备101可以是手机及其他具有无线连接功能的手持式设备、平板电脑、笔记本电脑、掌上电脑、录像机等终端设备;电子设备101也可以是用于虚拟场景交互的可穿戴设备,如智能手表、智能眼镜及其他AR设备或MR互动设备等。本申请实施例对电子设备101的具体形式不作限制。
实际应用中,智能交互***100还可包括服务器103,服务器103可作为向电子设备101的AR或MR应用提供内容和信息支撑的平台。电子设备101和服务器103之间可进行通信,例如电子设备101可通过无线局域网、蓝牙或移动网络等通信方式,与服务器103进行通信。需要说明的是,本申请实施例中,服务器103具体可以是一台或多台物理服务器(例如图1中示例性地示出了一台服务器),也可以是计算机集群,还可以是云计算场景的虚拟机,本申请实施例对此不作限定。
本申请实施例提供了一种显示方法,图2是根据本申请实施例的显示方法的流程示意图,该显示方法可以应用于显示装置,例如,该显示装置可以部署于图1的智能交互***100。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。在一些可能的实现方式中,该显示方法可应用于图1所示的智能交互***中的电子设备101中,其中,电子设备101可以是用于虚拟场景交互的可穿戴设备,如智能手表、智能眼镜及其他AR设备或MR互动设备等,也可以是安装有AR或MR应用等虚拟场景应用的终端设备,如手机及其他具有无线连接功能的手持式设备、平板电脑、笔记本电脑、掌上电脑、录像机等。如图2所示,该显示方法包括:
S201,检测真实场景中的目标对象;
S202,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态;
S203,根据真实场景和虚拟场景进行图像渲染,显示虚拟对象对应的目标形态。
本申请实施例中,目标对象是预承载虚拟对象的对象。目标对象包括:目标空间或目标平面。
一些示例中,目标空间是具有一定三维形态属性的空间,如屋内、屋外、空中等。
一些示例中,目标平面是具有一定二维形态属性的平面,如桌面、墙面、地面、天花板等。
本申请实施例中,形态对应关系至少包括以下关系:
虚拟对象的形态与目标对象的形态相适应,其中,同一虚拟对象在不同目标对象下的形态可以不同。需要说明的是,不同虚拟对象在同一目标对象下的形态可以相同。比如,虚拟对象a在目标对象A下的形态为二维形态,虚拟对象b在目标对象A下的形态也为二维形态。不同虚拟对象在同一目标对象下的形态也可以不同。比如,虚拟对象a在目标对象A下的形态为二维形态,虚拟对象b在目标对象A下的形态为三维形态。
这里,形态包括但不限于二维形态(平面形态)、三维形态(立体形态)等。
这里,相适应可以理解为形态相同,或者形态相似。
这里,相适应还可以理解为相匹配,具体可以理解为:虚实结合的形态符合视觉感知、或物体认知、或美学标准、或期望效果。
举例来说,将目标对象1的形态记为形态1,目标对象2的形态记为形态2,目标对象3的形态记为形态3;相对于目标对象1的虚拟对象的形态为形态1’,相对于目标对象2的虚拟对象的形态为形态2’,相对于目标对象3的虚拟对象的形态为形态3’;则形态1’与形态1相适应或相匹配,形态2’与形态2相适应或相匹配,形态3’与形态3相适应或相匹配,也就是说,不同目标对象上显示有不同形态的虚拟对象。示例性的,在目标对象1上显示虚拟对象1时,虚拟对象1的形态应为形态1’;在目标对象1上显示虚拟对象2时,虚拟对象2的形态也为形态1’。也就是说,不同虚拟对象在同一目标对象上呈现的形态是相同的。又示例性的,虚拟对象1在目标对象1上显示时,虚拟对象1的形态应为形态1’;虚拟对象1在目标对象2上显示时,虚拟对象1的形态应为形态2’。也就是说,同一虚拟对象在不同目标对象上呈现的形态不同,即同一虚拟对象对不同的目标对象是有不同的目标形态的。
本申请实施例中,虚拟场景包括但不限于AR场景、MR场景中的任意一种。
一些示例中,AR场景是一种可以将虚拟现实和真实场景叠加并进行互动的场景。
一些示例中,MR场景是通过合并真实场景和虚拟场景而产生的新的可视化环境,并且在真实场景、虚拟场景和用户之间搭起一个交互反馈的信息回路的综合场景。
本申请实施例中,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态,包括:若虚拟对象待显示于第一目标对象的第一位置,则确认待显示的虚拟对象为第一目标形态;若虚拟对象待显示于第二目标对象的第一位置,则确认待显示的虚拟对象为第二目标形态;其中,第一目标形态与第二目标形态不同。
这里,第一位置是显示虚拟物体的位置。
本申请实施例中,确定第一位置的交互方式,包括但不限于头动交互,手势交互,语音交互,射线交互等。本申请对交互方式不作强制性限定。
本申请实施例中,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态,包括:若目标对象的属性为三维形态,则根据形态对应关系中的第一形态对应关系,确定虚拟对象对应的目标形态为三维形态。
在一些可能的实施方式中,识别目标对象的属性;在识别出目标对象的属性为三维形态的情况下,根据形态对应关系中的第一形态对应关系,确定虚拟对象对应的目标形态为三维形态。
这里,目标对象的属性包括形态属性。其中,形态属性至少分为二维形态、三维形态等。以上仅为示例性说明,不作为对形态属性包括的全部可能的内容的限定,只是这里不做穷举。
另外,目标对象的属性还可包括语义属性。其中,语义属性至少分为挂件式形态、摆件式形态等。示例性的,在目标对象为墙面时,语义属性包括挂件式形态;在目标对象为桌面时,语义属性包括摆件式形态。以上仅为示例性说明,不作为对语义属性包括的全部可能的内容的限定,只是这里不做穷举。
这里,第一形态对应关系,包括:在目标对象的属性为三维形态的情况下,虚拟对象的形态也应为三维形态。
本申请实施例中,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态,包括:若目标对象的属性为二维形态,则根据形态对应关系中的第二形态对应关系,确定虚拟对象对应的目标形态为二维形态。
在一些可能的实施方式中,识别出目标对象的属性;在识别出目标对象的属性为二维形态的情况下,根据形态对应关系中的第二形态对应关系,确定虚拟对象对应的目标形态为二维形态。
这里,第二形态对应关系,包括:在目标对象的属性为二维形态的情况下,虚拟对象的形态也应为二维形态。
本申请实施例中,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态,包括:根据形态对应关系中的第三形态对应关系,确定虚拟对象对应的目标形态为与预定义形状对应的预定义形态。
这里,第三形态对应关系包括:目标对象的虚拟对象,呈预定义形状对应的预定义形态。其中,不同目标对象对应的预定义形状不同,不同目标对象对应的预定义形态也不同。
在一些可能的实施方式中,识别目标对象的属性,包括:根据目标对象的位置、形状和大小等特征,识别目标对象的属性。在另一些可能的实施方式中,识别目标对象的属性,包括:通过预先训练好的模型,识别目标对象的属性。应理解,识别目标对象的属性的方式并不限于上述几种,本申请实施例不对如何识别出目标对象的属性进行限定。
如此,虚拟对象的目标形态,与目标对象的属性相适应。并且,虚拟对象的目标形态,能跟随目标对象的属性的变化而变化。
本申请实施例中,在第一位置显示的虚拟对象对应的目标形态,是虚实结合的图像渲染结果。这里,虚拟对象可以是虚拟应用或虚拟应用的具体内容。示例性的,目标对象为桌面,虚拟对象为播放器应用,播放器应用对应的目标形态可以是在桌面上的三维形态的虚拟音箱,其中,该虚拟音箱是播放器应用对应的一种目标形态。又示例性的,目标对象为墙面,虚拟对象为日历应用,日历应用对应的目标形态可以是在墙面上的二维形态的虚拟壁画,其中,该虚拟壁画是日历应用对应的一种目标形态。以上仅为示例性说明,不作为对目标对象与虚拟对象对应的目标形态全部可能的类型的限定,只是这里不做穷举。
以虚拟对象为一款天气应用为例,图3示出了唤起虚拟场景应用的流程示意图,如图3所示,通过控制器发出虚拟射线,指向真实场景中的一个目标对象,电子设备接收到触发唤起菜单的操作后,显示能在该目标对象上展示的应用;电子设备接收到针对在该目标对象的任一应用的选中操作后,在该目标对象上展现该应用对应的目标形态,该目标形态与该目标对象相适应。继续以虚拟对象为一款天气应用为例,当该款天气应用被放置在目标对象如桌面上时,在桌面上呈现的目标形态为桌面摆件形态,如图4所示。当该款天气应用被放置在目标对象如墙面上时,在墙面上呈现的目标形态为墙面挂件形态,如图5所示。当该款天气应用被放置在目标对象如天花板上时,在天花板上呈现的目标形态为漂浮的云朵形态,如图6所示。如此,虚拟对象的形态能随着真实场景的空间性质/平面性质的不同呈现不同的形式,虚拟对象的呈现形式更符合真实场景的物理性质。
应理解,图3~6所示的应用及其展示形态仅仅是示意性的,本领域技术人员可以基于图3~6的例子进行各种显而易见的变化和/或替换。
本申请实施例的技术方案,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态;根据真实场景和虚拟场景进行图像渲染,显示虚拟对象对应的目标形态。如此,虚拟对象对应的目标形态,能跟随目标对象的变化而发生变化,使得虚拟对象的状态更符合目标对象的性质,丰富了虚拟对象对应的目标形态的多样性,进而能提高虚拟对象在真实场景中的显示效果,使虚实结合更加灵活、多样。
本申请实施例中,在显示虚拟对象对应的目标形态之前,上述显示方法还可以包括:响应于射线的发射操作,当射线与真实场景中的目标对象显示相交时,确认目标对象对应的第一位置。这里,第一位置是目标对象上显示虚拟物体的位置。
一些示例中,射线可以是虚拟射线。需要说明的是,虚拟射线只对头戴该电子设备或操控该电子设备的用户可见,也即,只有头戴该电子设备或操控该电子设备的用户才能够看到虚拟射线。在一些实施例中,在响应射线的发射操作之前,还包括:发射射线。
一些示例中,本申请不对射线的发射方式进行限定。比如,可通过电子设备的发射按键发射射线。又比如,可通过与电子设备配对的控制器如手柄发射射线。这里,射线是具有一定长度值的射线,射线的具体长度值可根据用户需求进行设定或调整,比如,可根据用户所处环境调整射线的长度值。
在一些可能的实施方式中,若射线与目标对象之间存在相交点,将相交点确认为目标对象对应的第一位置;若射线与目标对象之间不存在相交点,将射线上距离目标对象最近的点确认为目标对象对应的第一位置。
这里,射线上距离目标对象最近的点,可以理解为射线的终点。
如此,能够确定出目标对象上显示虚拟物体的具***置,同一虚拟物体在同一目标对象上的不同位置处,显示的目标形态一致,从而使虚拟物体在同一目标对象上不同位置处的显示更加统一。
本申请实施例中,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态之前,上述显示方法还可以包括:响应于射线的发射操作,确定射线与目标对象之间的相交关系。
这里,相交关系可以理解为射线与目标对象是否有相交点。
在一些示例中,响应于射线的发射操作,确定射线与目标对象之间的相交关系,包括:在射线作用于目标对象的情况下,确定射线与目标对象之间的相交关系为:相交。
这里,“作用于”可以理解为虚拟射线能够触及到目标对象。图7示出了射线与目标对象的相交关系示意图一,如图7所示,虚拟射线打在了目标对象上,则虚拟射线与目标对象存在相交点A,即虚拟射线与目标空间或目标平面的相交关系为:相交。示例性的,以目标对象为墙面,虚拟射线的长度为10米为例,若用户站在屋内,且该用户距离墙面的距离为4米,在电子设备朝向该墙面发出10米的射线的情况下,则该射线能够触及到该墙面,即虚拟射线能作用于该墙面。
在一些示例中,响应于射线的发射操作,确定射线与目标对象之间的相交关系,包括:在射线未作用于目标对象的情况下,确定射线与目标对象之间的相交关系为:不相交。
这里,“未作用于”可以理解为虚拟射线不能够触及目标对象。图8示出了射线与目标对象的相交关系示意图二,如图8所示,发出虚拟射线后,虚拟射线无法触及目标对象,则虚拟射线与目标对象不会存在相交点,即虚拟射线与目标空间或目标平面的相交关系为:不相交。示例性的,以目标对象为天空,虚拟射线的长度为10米为例,若用户站在室外,电子设备朝向天空发射长10米的虚拟射线,则该射线不能触及到天空,即虚拟射线未作用于天空。
本申请实施例中,根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态,包括:根据形态对应关系,结合相交关系,确定虚拟对象对应的目标形态。
在一些可能的实施方式中,根据形态对应关系,结合相交关系,确定虚拟对象对应的目标形态,包括:在射线与目标对象存在相交关系的情况下,得到该目标对象与该射线的相交点。识别出相交点所在相交面为空间属性,确定该相交面属于目标空间;根据形态对应关系中的第四形态对应关系,确定该虚拟对象对应的目标形态为与该目标空间对应的空间形态。
这里,空间属性可以理解为空间性质或具有空间几何特征。
如此,真实空间被识别出空间性质后,虚拟对象的目标形态能根据空间性质反馈出最适合该真实空间的形态。不同空间形态下,虚拟对象的信息量、呈现形式也会随着空间形态的变化而发生变化,进而使得应用/虚拟对象/操作方式以更灵活多样的方式显示虚实结合,伴随真实空间的特性而呈现合适的样貌,增强了应用/虚拟对象/操作方式的空间适应性。
在一些可能的实施方式中,识别出相交点所在相交面为空间属性,包括:若相交面的空间位置、形状和大小等几何特征符合空间属性特征,则判定相交点所在相交面为空间属性。在另一些可能的实施方式中,识别出相交点所在相交面为空间属性,包括:根据预先训练好的模型的输出值,判定相交点所在相交面为空间属性。应理解,相交点所在相交面是否为空间属性的识别方式并不限于上述几种,本申请实施例不对如何识别出相交点所在相交面是否为空间属性进行限定。
这里,第四形态对应关系是目标空间与虚拟对象的对应关系。
一些示例中,第四形态对应关系可以包括目标空间与应用图标的对应关系。示例性的,第四形态对应关系包括目标空间的大小与应用图标的大小之间的对应关系。比如,目标空间的大小与应用图标的大小的比例关系为1:x,x小于等于1,具体比例关系可根据目标空间的空间性质进行适应性调整,如室内空间的大小与应用图标的大小之间的比例关系,不同于室外空间的大小与应用图标的大小之间的比例关系。又示例性的,第四形态对应关系包括目标空间的显示风格与应用图标的显示风格之间的对应关系。比如,目标空间的显示风格与应用图标的显示风格为同一款风格,如目标空间与应用图标都呈现写实风格。又比如,目标空间的显示风格与应用图标的显示风格为不同款风格,如目标空间呈现写实风格,应用图标呈现抽象风格。以上仅为示例性说明,不作为对目标空间与应用图标的对应关系全部可能的类型的限定,只是这里不做穷举。
一些示例中,第四形态对应关系可以包括目标空间与应用所展示具体内容的对应关系。这里,应用所展示具体内容是打开应用后所呈现的具体信息。示例性的,第四形态对应关系包括目标空间的大小与应用所展示具体内容的大小之间的对应关系。比如,目标空间的大小与应用所展示具体内容的大小为比例关系1:y,y小于等于1。具体比例关系可根据目标空间的空间性质以及应用所展示具体内容的性质进行适应性调整。比如,室内空间的大小与应用所展示具体内容的大小之间的比例关系,不同于室外空间的大小与应用所展示具体内容的大小之间的比例关系。又比如,应用所展示具体内容的性质为图像或文字时,目标空间的大小与应用所展示具体内容的大小为一定比例关系。又示例性的,第四形态对应关系包括目标空间的显示风格与应用所展示具体内容的显示风格之间的对应关系。比如,应用所展示具体内容的显示风格与目标空间的显示风格应为同一款风格,如目标空间与应用图标都呈写实风格。又比如,目标空间的显示风格与应用所展示具体内容的显示风格为不同款风格,如目标空间呈写实风格,应用所展示具体内容呈抽象风格。以上仅为示例性说明,不作为对目标空间与应用所展示具体内容的对应关系全部可能的类型的限定,只是这里不做穷举。
如此,在根据相交点确定相交面属于目标空间的情况下,根据目标空间与虚拟对象的第四形态对应关系,确定虚拟对象对应的目标形态为与该目标空间对应的空间形态,使虚拟对象对应的目标形态与该目标空间对应的空间形态相适应,进而有助于提高虚拟对象与真实场景下目标对象的匹配度,从而提升虚实结合的显示效果。
在一些可能的实施方式中,根据形态对应关系,结合相交关系,确定虚拟对象对应的目标形态,包括:在射线与目标对象存在相交关系的情况下,得到目标对象与射线的相交点;识别出相交点所在的相交面属于平面属性,确定相交面属于目标平面;根据形态对应关系中的第五形态对应关系,确定虚拟对象对应的目标形态为与目标平面对应的平面形态。
这里,平面属性可以理解为平面性质或具有平面几何特征。
如此,真实平面被识别出平面性质后,虚拟对象的目标形态能根据平面性质反馈出最适合该真实平面的形态。不同平面形态下,虚拟对象的信息量、呈现形式等也会随着平面形态的变化而发生变化,进而使得应用/虚拟对象/操作方式等能以更灵活多样的方式显示虚实结合,随真实平面的特性而呈现合适的样貌,增强了应用/虚拟对象/操作方式的平面适应性。
在一些可能的实施方式中,识别出相交点所在相交面为平面属性,包括:若相交面的平面位置、形状和大小等几何特征符合平面属性特征,则判定相交点所在相交面为平面属性。在另一些可能的实施方式中,识别出相交点所在相交面为平面属性,包括:根据预先训练好的模型的输出值,识别出相交点所在相交面为平面属性。应理解,相交点所在相交面是否为平面属性的识别方式并不限于上述几种,本申请实施例不对如何识别出相交点所在相交面是否为平面属性进行限定。
这里,第五形态对应关系是是目标平面与虚拟对象的对应关系。
一些示例中,第五形态对应关系可以包括目标平面与应用图标的对应关系。示例性的,第五形态对应关系包括目标平面的大小与应用图标的大小之间的对应关系。比如,目标平面的大小与应用图标的大小的比例关系为1:z,z小于等于1,具体比例关系可根据目标平面的平面性质进行适应性调整,如桌面的大小与应用图标的大小之间的比例关系,不同于墙面的大小与应用图标的大小之间的比例关系。又示例性的,第五形态对应关系包括目标平面的显示风格与应用图标的显示风格之间的对应关系。比如,目标平面的显示风格与应用图标的显示风格为同一款风格,如目标平面与应用图标都呈写实风格。又比如,目标平面的显示风格与应用图标的显示风格为不同款风格,如目标平面呈冷色风格,应用图标呈暖色风格。以上仅为示例性说明,不作为对目标平面与应用图标的对应关系全部可能的类型的限定,只是这里不做穷举。
一些示例中,第五形态对应关系可以包括目标平面与应用所展示具体内容的对应关系。这里,应用所展示具体内容是打开应用后所呈现的具体信息。示例性的,第五形态对应关系包括目标平面的大小与应用所展示具体内容的大小之间的对应关系,比如,目标平面的大小与应用所展示具体内容的大小为比例关系1:k,k小于等于1。具体比例关系可根据目标平面的平面性质以及应用所展示具体内容的性质进行适应性调整。比如,墙面的大小与应用所展示具体内容的大小之间的比例关系,不同于地面的大小与应用所展示具体内容的大小之间的比例关系。又比如,应用所展示具体内容的性质为图像或文字时,目标平面的大小与应用所展示具体内容的大小为比例关系为一定比例关系。又示例性的,第五形态对应关系包括目标平面的显示风格与应用所展示具体内容的显示风格之间的对应关系,比如,应用所展示具体内容的显示风格与目标平面的显示风格应为同一款风格,如目标平面与应用所展示具体内容都呈抽象风格。又比如,目标平面的显示风格与应用所展示具体内容的显示风格为不同款风格,如目标平面呈写实风格,应用所展示具体内容呈抽象风格。以上仅为示例性说明,不作为对目标平面与应用所展示具体内容的对应关系全部可能的类型的限定,只是这里不做穷举。
如此,在根据相交点确定相交面属于目标平面的情况下,根据目标平面与虚拟对象的第五形态对应关系,确定虚拟对象对应的目标形态为与该目标平面对应的平面形态,使虚拟对象对应的目标形态与该目标平面对应的平面形态相适应,进而有助于提高虚拟对象与真实场景下目标对象的匹配度,从而提升虚实结合的显示效果。
在一些可能的实施方式中,根据形态对应关系,结合相交关系,确定虚拟对象对应的目标形态,包括:在射线与目标对象未相交的情况下,根据形态对应关系中的第六形态对应关系,确定虚拟对象对应的目标形态为与预定义形状对应的预定义形态。
这里,第六形态对应关系是虚拟对象与预定义形状之间的对应关系。这里,虚拟对象包括但不限于应用图标、应用所展示具体内容等。示例性的,虚拟对象C与预定义形状c相对应,虚拟对象D与预定义形状d相对应。
这里,预定义形状包括但不限于云朵形状、彩虹形状、建筑物形状、动物形状、植物形状等。
示例性的,若预定义形状为云朵形状,则虚拟对象的目标形态为云朵形态;若预定义形状为动物形状,则虚拟对象的目标形态为动物形态。以上仅为示例性说明,不作为对虚拟对象与预定义形状之间的对应关系全部可能的类型的限定,只是这里不做穷举。
如此,真实场景中不存在目标空间或目标平面的情况下,根据第六形态对应关系,确定虚拟对象对应的目标形态为与预定义形状对应的预定义形态,使虚拟对象对应的目标形态和预定义形态相符合,进而有助于提高虚拟对象的可塑性,从而提升虚实结合的显示效果。
在一些实施例中,该显示方法还可以包括:识别出目标对象在真实场景中的显示参数;根据该显示参数,调整虚拟对象对应的目标形态。这里,显示参数可包括目标对象的显示尺寸、显示效果中的至少一种。
这里,显示尺寸可以理解为用于确定物体的大小的定形尺寸。以目标对象为桌面为例,目标对象的显示尺寸为桌面的长、宽尺寸。以目标对象为室内为例,目标对象的显示尺寸为室内的长、宽、高尺寸。需要说明的是,这里的目标对象的显示尺寸,是电子设备的显示组件所显示的目标对象的尺寸。
这里,显示效果可以理解为显示风格。比如写实风格、抽象风格、冷色调风格、暖色调风格等。需要说明的是,这里的目标对象的显示效果,是电子设备的显示组件所显示的目标对象的显示效果。
一些示例中,调整虚拟对象对应的目标形态,包括:调整虚拟对象的显示尺寸、显示效果中的至少一种。
一些示例中,调整虚拟对象的显示尺寸,可以是针对目标对象(如目标平面)的显示尺寸而言的。示例性的,目标对象的显示尺寸与目标形态的虚拟对象的显示尺寸,具有一定比例关系。比如,当目标对象为天花板或地面时,虚拟对象的尺寸(或大小)与目标对象的尺寸(或大小)的比例关系为1:1。又比如,当目标对象为桌面或墙面时,虚拟对象的尺寸与目标对象的尺寸的比例关系为m:1,m小于1。需要说明的是,可结合虚拟对象的特征,确定该比例关系。比如,虚拟对象为音箱时,音箱应小于目标对象(桌面)。又比如,虚拟对象为日历时,日历可小于或等于目标对象(墙面)。
一些示例中,调整虚拟对象的显示尺寸,还可以是针对目标对象(如目标空间)的显示尺寸而言的。示例性的,目标对象的显示尺寸与目标形态的虚拟对象的显示尺寸,具有一定比例关系。比如,当目标对象为屋内时,虚拟对象的显示尺寸与目标对象的显示尺寸的比例关系为n1:1,n1小于1。又比如,当目标对象为屋外时,虚拟对象的显示尺寸与目标对象的显示尺寸的比例关系为n2:1,n2小于1,n2大于n1。需要说明的是,可结合虚拟对象的特征,确定该比例关系。比如,虚拟对象为云朵时,云朵应小于屋内面积。又比如,虚拟对象为建筑物时,建筑物可小于或等于屋外空间。
一些示例中,调整虚拟对象的显示效果,可以是针对目标对象的显示风格而言的。示例性的,调整虚拟对象的显示效果,包括:根据目标对象的显示风格调整虚拟对象的显示风格,以使目标对象的显示风格与虚拟对象的显示风格相统一。比如,若目标对象的显示风格为写实风格,则将虚拟对象的显示风格也调整为写实风格。又示例性的,调整虚拟对象的显示效果,包括:根据目标对象的显示风格调整虚拟对象的显示风格,以使目标对象的显示风格与虚拟对象的显示风格形成反差。比如,若目标对象的显示风格为冷色风格,则将虚拟对象的显示风格调整为暖色风格。
如此,根据目标对象在真实场景中的显示参数,调整虚拟对象对应的目标形态,能使虚拟对象对应的目标形态与目标平面对应的显示参数相适应,进而有助于提高虚拟对象与真实场景下目标对象的匹配度,从而提升虚实结合的显示效果。
在一些实施例中,根据真实场景和虚拟场景进行图像渲染,包括:采集真实场景中的第一实景图像;将第一实景图像与虚拟场景中待显示的虚拟对象进行图像渲染,得到虚拟对象与第一实景图像对应的目标形态。
这里,通过电子设备的图像采集器如摄像组件,采集第一实景图像。
在一些可能的实施方式中,在第一实景图像为目标空间的情况下,虚拟对象与第一实景图像对应的目标形态为空间形态。示例性的,第一实景图像为室外,则虚拟对象为立体形态,如云朵形态。又示例性的,第一实景图像为桌子,则虚拟对象为立体形态,如摆件形态。
在一些可能的实施方式中,在第一实景图像为目标平面的情况下,虚拟对象与第一实景图像对应的目标形态为平面形态。示例性的,第一实景图像为墙面,则虚拟对象为平面形态,如壁画形态。又示例性的,第一实景图像为地面,则虚拟对象为平面形态,如地毯形态。
在一些可能的实施方式中,将第一实景图像与虚拟场景中待显示的虚拟对象进行图像渲染,得到虚拟对象与第一实景图像对应的目标形态,包括:根据从第一实景图像提取的三维信息,确定虚拟对象的三维信息;基于虚拟对象的三维信息创建虚拟对象,得到虚拟对象的与第一实景图像对应的目标形态。
在一些可能的实施方式中,将第一实景图像与虚拟场景中待显示的虚拟对象进行图像渲染,得到虚拟对象与第一实景图像对应的目标形态,包括:获取虚拟对象的初始三维信息,创建虚拟对象;根据从第一实景图像提取的三维信息,调整虚拟对象的大小和位置,得到虚拟对象的与第一实景图像对应的目标形态。
需要说明的是,图像渲染方式并不限于以上几种方式,具有图像渲染处理功能的图像渲染方式,即可用于图像渲染,以得到与第一实景图像对应的目标形态的虚拟对象。
如此,能使虚拟对象对应的目标形态与真实场景中的第一实景图像相适应,进而有助于提高虚拟场景与真实场景的匹配度,从而提升虚实结合的显示效果。
在一些示例中,显示虚拟对象对应的目标形态,包括:配置在显示设备的显示区域显示至少一个图像。这里,至少一个图像包括:虚拟对象对应的目标形态。
这里,显示设备可以是具有虚实显示功能的设备。示例性,显示设备可以是头戴式显示设备,如AR眼镜、AR头盔等。
这里,图像包括:二维图像和三维图像至少一种。
示例性的,在显示区域显示虚拟物体的二维图像,同时,还显示有目标物体的二维图像或三维图像。
又示例性的,在显示区域显示虚拟物体的三维图像,同时,还显示有目标物体的二维图像或三维图像。
如此,能够在真实场景的目标对象的第一位置处,显示虚拟对象对应的目标形态,使虚拟对象对应的目标形态与真实场景中的目标对象相适应,进而有助于提高虚拟场景与真实场景的融合度,从而提升虚实结合的显示效果。
在一些实施例中,该显示方法还可包括:响应于接收到将虚拟对象从第一目标对象移动至第二目标对象的切换指令,将虚拟对象的目标形态由在第一目标对象上显示的第一目标形态变更成在第二目标对象上显示的第二目标形态。如图9所示,处理步骤可包括:
S901:响应于将虚拟对象从第一目标对象的第一位置移动至第二目标对象的第二位置的切换指令,确定在虚拟场景中虚拟对象对应的第二目标形态;
S902:在第二目标对象的第二位置显示虚拟对象对应的第二目标形态。
一些示例中,上述的S901和S902可以在S203之后执行。
这里,切换指令可通过电子设备发出,如电子设备在接收到用户的语音切换指令信息后,输出切换指令。切换指令也可通过与电子设备连接的控制器如手柄发出,如手柄从第一方向被移动至第二方向,输出切换指令,第二方向与第一方向不同。
示例性的,第一目标对象是墙面,第二目标对象是桌面或地面。又示例性的,第一目标对象是室内,第二目标对象是室外。
图10示出了天气应用从第一位置切换至第二位置的示意图,如图10所示,在目标对象为墙面时,天气应用呈现挂件式形态;将天气应用从墙面移动至桌面时,在桌面上,天气应用呈现摆件式形态。可以看出,天气应用移动到不同的位置后,能顺着空间或平面语义的变化而改变其形态。虚拟物体或应用的呈现方式通过相交点处得到的平面语义(如是桌面还是墙面)的结果变化而变化。同时,呈现的效果(如大小)通过识别到的平面的大小变化而变化。应理解,图10所示的切换仅为示例性说明,不作为对切换的类型和呈现形态的类型的限定,只是这里不做穷举。
如此,在目标对象的位置发生变化时,虚拟物体的形态也跟随发生变化,虚拟物体的形态能随现实世界的空间性质/平面性质的不同呈现不同的形式,虚拟物体的呈现形式更符合现实世界的物理性质,不仅丰富了虚拟对象的呈现形态,也丰富了显示的多样性。
在一些实施例中,该显示方法还可包括:在虚拟对象从第一目标对象移动至第二目标对象的过程中,显示虚拟对象的第三目标形态,该第三目标形态是第一目标形态与第二目标形态的中间形态。如图11所示,处理步骤可包括:
S1101:生成虚拟对象的第三目标形态,该第三目标形态是第一目标形态与第二目标形态的中间形态;
S1102:在该虚拟对象从第一目标对象的第一位置移动至第二目标对象的第二位置的过程中,显示该第三目标形态。
一些示例中,上述的S1101和S1102可以在S901之后且S902之前执行。
这里,第三目标形态是不同于第一目标形态和第二目标形态的另一种目标形态。示例性的,第三目标形态是与第一目标形态或第二目标形态相关的形态,如在第一目标形态或第二目标形态基础上,通过变形得到的形态。又示例性的,第三目标形态也可以是与第一目标形态和第二目标形态不相关的形态,如预先设置好的形态。
在一些可能的实施方式中,生成虚拟对象的第三目标形态,包括:根据第一目标形态与第二目标形态,生成第三目标形态。如此,使得第三目标形态与第一目标形态和第二目标形态均相关。
在另一些可能的实施方式中,生成虚拟对象的第三目标形态,包括:基于第一目标形态进行变形,得到第三目标形态。如此,使得第三目标形态在第一目标形态的基础上发生形变,在移动至第二位置时,才显示第二目标形态。在另一些可能的实施方式中,生成虚拟对象的第三目标形态,包括:基于第二目标形态进行变形,得到第三目标形态。如此,使得第三目标形态在第二目标形态的基础上发生形变,在移动至第二位置时,才显示第二目标形态,从而使得在移动过程中显示与第二目标形态相关的形态。
在又一些可能的实施方式中,生成虚拟对象的第三目标形态,包括:从预设的第三目标形态集合中,选择一个第三目标形态集合作为虚拟对象的第三目标形态。如此,能快速获取并呈现预先设置好的第三目标形态。
如此,在虚拟对象从第一目标对象移动到第二目标对象过程中呈现中间形态,进一步丰富了虚拟对象的呈现形态,也丰富了显示的多样性。
本申请实施例提供了一种显示装置。该显示装置可以通过软件、硬件或者两者的结合实现成为终端设备的全部或一部分。图12示出了显示装置的结构框图,如图12所示,该显示装置包括:第一确定单元1210,用于检测真实场景中的目标对象;第二确定单元1220,用于根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态;控制单元1230,用于根据真实场景和虚拟场景进行图像渲染,显示虚拟对象对应的目标形态。
这里,目标对象包括目标空间或目标平面。
在一些示例中,虚拟场景包括:AR场景、MR场景中的任意一种。
在一些示例中,该第二确定单元1220,用于若虚拟对象待显示于第一目标对象的第一位置,则确认待显示的虚拟对象为第一目标形态;若虚拟对象待显示于第二目标对象的第一位置,则确认待显示的虚拟对象为第二目标形态。其中,第一目标形态与第二目标形态不同。
在一些示例中,该第二确定单元1220,用于若目标对象的属性为三维形态,则根据形态对应关系中的第一形态对应关系,确定虚拟对象对应的目标形态为三维形态。
在一些示例中,该第二确定单元1220,用于若目标对象的属性为二维形态,则根据形态对应关系中的第二形态对应关系,确定虚拟对象对应的目标形态为二维形态。
在一些示例中,该第二确定单元1220,用于根据形态对应关系中的第三形态对应关系,确定虚拟对象对应的目标形态为与预定义形状对应的预定义形态。
在一些示例中,该显示装置还可包括:发射单元1240(图中未示出),用于发射射线。
在一些示例中,该显示装置还可包括:第三确定单元1250(图中未示出),用于响应于射线的发射操作,当射线与真实场景中的目标对象显示相交时,确认目标对象对应的第一位置。
在一些示例中,该第三确定单元1250,还用于响应于射线的发射操作,得到射线与目标对象之间的相交关系。
在一些示例中,该第三确定单元1250,用于在射线作用于目标对象的情况下,确定射线与目标对象之间的相交关系为:相交。
在一些示例中,该第三确定单元1250,用于在射线未作用于目标对象的情况下,确定射线与目标对象之间的相交关系为:不相交。
在一些示例中,该第二确定单元1220,用于:在射线与目标对象相交的情况下,得到目标对象与射线的相交点;识别出相交点所在相交面为空间属性,确定相交面属于目标空间;根据形态对应关系中的第四形态对应关系,确定虚拟对象对应的目标形态为与目标空间对应的三维形态。
在一些示例中,该第二确定单元1220,用于:在射线与目标对象相交的情况下,得到目标对象与射线的相交点;识别出相交点所在的相交面属于平面属性,确定相交面属于目标平面;根据形态对应关系中的第五形态对应关系,确定虚拟对象对应的目标形态为与目标平面对应的二维形态。
在一些示例中,该第二确定单元1220,用于:在射线与目标对象不相交的情况下,根据形态对应关系中的第六形态对应关系,确定虚拟对象对应的目标形态为与预定义形状对应的预定义形态。
在一些示例中,该显示装置还包括:识别单元1260(图中未示出),用于识别出目标对象在真实场景中的显示参数;调整单元1270,用于根据显示参数,调整虚拟对象对应的目标形态。这里,显示参数包括:目标对象的显示尺寸、显示效果中的至少一种。
在一些示例中,该控制单元1230,包括:采集子单元,用于采集真实场景中的第一实景图像;渲染子单元,用于将第一实景图像与虚拟场景中待显示的虚拟对象进行图像渲染,得到虚拟对象与第一实景图像对应的目标形态。
在一些示例中,在第一实景图像为目标空间的情况下,虚拟对象与第一实景图像对应的目标形态为空间形态。
在一些示例中,在第一实景图像为目标平面的情况下,虚拟对象与第一实景图像对应的目标形态为平面形态。
在一些示例中,该控制单元1230,包括:配置子单元,用于配置在显示设备的显示区域显示至少一个图像。这里,至少一个图像包括:虚拟对象对应的目标形态。
在一些示例中,该控制单元1230,还用于响应于将虚拟对象从第一目标对象移动至第二目标对象的切换指令,将虚拟对象的目标形态由在第一目标对象上显示的第一目标形态变更成在第二目标对象上显示的第二目标形态。
在一些示例中,该控制单元1230,还用于在虚拟对象从第一目标对象移动至第二目标对象的过程中,显示虚拟对象的第三目标形态,第三目标形态是第一目标形态与第二目标形态的中间形态。
本领域技术人员应当理解,本申请实施例的显示装置中各处理模块的功能,可参照前述显示方法的相关描述而理解,本申请实施例的显示装置中各处理模块,可通过实现本申请实施例所述的功能的模拟电路而实现,也可以通过执行本申请实施例所述的功能的软件在电子设备上的运行而实现。
本申请实施例的显示装置,使呈现出的虚拟对象对应的目标形态,能跟随目标对象的变化而发生变化,丰富了虚拟对象对应的目标形态的多样性,进而能提高虚拟对象在真实场景中的显示效果。
本申请实施例提供了一种显示设备,可供用户穿戴,图13示出了显示设备的结构框图,如图13所示,该显示设备包括:包括第一传感单元1310、处理单元1320、显示单元1330,其中,第一传感单元1310,用于发射激光;处理单元1320,用于根据目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定虚拟对象对应的目标形态;显示单元1330,用于根据真实场景和虚拟场景进行图像渲染,显示虚拟对象对应的目标形态。
这里,目标对象包括目标空间或目标平面。
在一些示例中,第一传感单元1310可以是激光传感器。
在一些示例中,该显示设备可包括如下至少之一:用于显示增强现实场景或显示虚拟现实场景的一对眼镜;用于显示增强现实场景或显示虚拟现实场景的头戴式显示器。
在一些示例中,该显示单元1330,用于在显示区域上显示至少一个虚拟对象。这里,至少一个虚拟对象的类型包括:应用或应用中的应用内容。
在一些示例中,该处理单元1320,用于若目标对象的属性为三维形态,则根据形态对应关系中的第一形态对应关系,确定虚拟对象对应的目标形态为三维形态。
在一些示例中,该处理单元1320,用于若目标对象的属性为二维形态,则根据形态对应关系中的第二形态对应关系,确定虚拟对象对应的目标形态为二维形态。
在一些示例中,该处理单元1320,用于根据形态对应关系中的第三形态对应关系,确定虚拟对象对应的目标形态为与预定义形状对应的预定义形态。
在一些示例中,第一传感单元1310,用于响应针对该至少一个虚拟对象的选取操作,发射射线。
在一些示例中,该处理单元1320,还用于响应于射线的发射操作,当射线与真实场景中的目标对象显示相交时,确认目标对象对应的第一位置。
在一些示例中,该处理单元1320,用于若射线与目标对象之间存在相交点,则将相交点确认为目标对象对应的第一位置;若射线与目标对象之间不存在相交点,则将射线上距离目标对象最近的点确认为目标对象对应的第一位置。
在一些示例中,该处理单元1320,用于在射线作用于目标对象的情况下,确定射线与目标对象之间的相交关系为:相交。
在一些示例中,该处理单元1320,用于射线未作用于目标对象的情况下,确定射线与目标对象之间的相交关系为:不相交。
在一些示例中,该处理单元1320,用于:在射线与目标对象相交的情况下,得到目标对象与射线的相交点;若识别出相交点所在相交面为空间属性,则确定相交面属于目标空间;根据形态对应关系中的第四形态对应关系,确定应用或应用中的应用内容为与目标空间对应的三维形态。
在一些示例中,该处理单元1320,用于:在射线与目标对象相交的情况下,得到目标对象与射线的相交点;若识别出相交点所在的相交面属于平面属性,则确定相交面属于目标平面;根据形态对应关系中的第五形态对应关系,确定应用或应用中的应用内容为与目标平面对应的二维形态。
在一些示例中,该处理单元1320,用于:在射线与目标对象不相交的情况下,根据形态对应关系中的第六形态对应关系,确定应用或应用中的应用内容为与预定义形状对应的预定义形态。
在一些示例中,该处理单元1320,用于:识别出目标对象在真实场景中的显示参数;根据显示参数,调整虚拟对象对应的目标形态。这里,显示参数可包括:目标对象的显示尺寸、显示效果中的至少一种。
在一些示例中,该显示设备还包括:第二传感单元1340(图中未示出),用于采集真实场景中的第一实景图像。该显示单元1330,用于将第一实景图像与虚拟场景中待显示的应用或应用中的应用内容进行图像渲染,得到应用或应用中的应用内容与第一实景图像对应的目标形态。
在一些示例中,该第二传感单元1340可以是采集器,如摄像头。
在一些示例中,第一实景图像为目标空间的情况下,应用或应用中的应用内容与第一实景图像对应的目标形态为空间形态。
在一些示例中,第一实景图像为目标平面的情况下,应用或应用中的应用内容与第一实景图像对应的目标形态为平面形态。
在一些示例中,该处理单元1320,用于:配置在显示设备的显示区域显示至少一个图像。这里,至少一个图像包括:虚拟对象对应的目标形态。
在一些示例中,该显示设备还包括切换单元1340,该切换单元1340用于:响应于将虚拟对象从第一目标对象的第一位置移动至第二目标对象的第二位置的切换指令,确定在虚拟场景中虚拟对象对应的第二目标形态。该显示单元1330,还用于在第二目标对象的第二位置显示虚拟对象对应的第二目标形态。
在一些示例中,该显示设备还可包括:生成单元1350(图中未示出),用于生成虚拟物体的第三目标形态,该第三目标形态是第一目标形态与第二目标形态的中间形态。该显示单元1330,还用于在虚拟对象从第一目标对象的第一位置移动至第二目标对象的第二位置的过程中,显示第三目标形态。
本申请实施例的显示设备,使呈现出的虚拟对象对应的目标形态,能跟随目标对象的变化而发生变化,丰富了虚拟对象对应的目标形态的多样性,进而能提高虚拟对象在真实场景中的显示效果。
本申请实施例还提供了一种头戴式设备,包括处理器、存储器、显示器以及一个或多个程序,该一个或多个程序被存储在该存储器中,并且被配置由该处理器执行,该程序包括用于执行上述各实施例的显示方法中的步骤的指令。该头戴式设备包括但不限于智能眼镜、智能头盔等。
图14示出了用来实现本申请实施例显示方法的电子设备的结构框图。其可以实现成为上述实施例中的电子设备,本申请中的电子设备可以包括一个或多个如下部件:处理器1410和存储器1420。
处理器1410可以包括一个或者多个处理核心。处理器1410利用各种接口和线路连接整个电子设备内的各个部分,通过运行或执行存储在存储器1420内的指令、程序、代码集或指令集,以及调用存储在存储器1420内的数据,执行电子设备的各种功能和处理数据。可选地,处理器1410可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、神经网络处理器(Neural-network Processing Unit,NPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;NPU用于实现人工智能(Artificial Intelligence,AI)功能;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1410中,单独通过一块芯片进行实现。
存储器1420可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。可选地,该存储器1020包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1420可用于存储指令、程序、代码、代码集或指令集。存储器1420可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本)等。
本申请实施例中的电子设备还包括摄像组件1430,该摄像组件1430用于采集环境图像。在一种可能的实现方式中,当电子设备为终端时,该摄像组件1430可以是终端的前置摄像头或者后置摄像头;在另一种可能的实现方式中,当电子设备为头盔显示器(Head-Mounted Display,HMD)时,该摄像组件1430可以是设置在HMD前部的摄像头。
此外,电子设备还可以包括显示组件1440,该显示组件1440可以包括用于进行画面显示的显示屏,也可以包括用于进行图像投影的投影器件(比如智能眼镜上的投影仪)。
除此之外,本领域技术人员可以理解,上述附图所示出的电子设备的结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,电子设备中还包括射频电路、输入单元、传感器、音频电路、扬声器、麦克风、电源等部件,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,该存储介质存储有至少一条指令,至少一条指令用于被处理器执行以实现如上述实施例所述的显示方法。
本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的显示方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (19)
1.一种显示方法,其特征在于,所述方法包括:
检测真实场景中的目标对象;
根据所述目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定所述虚拟对象对应的目标形态;
根据所述真实场景和所述虚拟场景进行图像渲染,显示所述虚拟对象对应的目标形态。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定所述虚拟对象对应的目标形态,包括:
若所述虚拟对象待显示于第一目标对象的第一位置,则确认所述待显示的虚拟对象为第一目标形态;
若所述虚拟对象待显示于第二目标对象的第一位置,则确认所述待显示的虚拟对象为第二目标形态;
其中,所述第一目标形态与所述第二目标形态不同。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
响应于射线的发射操作,当所述射线与所述真实场景中的目标对象显示相交时,确认所述目标对象对应的第一位置。
4.根据权利要求3所述的方法,其特征在于,所述响应于射线的发射操作,当所述射线与所述真实场景中的目标对象显示相交时,确认所述目标对象对应的第一位置,包括:
若所述射线与所述目标对象之间存在相交点,将所述相交点确认为所述目标对象对应的第一位置;
若所述射线与所述目标对象之间不存在相交点,将所述射线上距离所述目标对象最近的点确认为所述目标对象对应的第一位置。
5.根据权利要求1或4所述的方法,其特征在于,所述根据所述目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定所述虚拟对象对应的目标形态,包括:
若所述目标对象的属性为三维形态,根据所述形态对应关系中的第一形态对应关系,确定所述虚拟对象对应的目标形态为三维形态。
6.根据权利要求1或4所述的方法,其特征在于,所述根据所述目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定所述虚拟对象对应的目标形态,包括:
若所述目标对象的属性为二维形态,根据所述形态对应关系中的第二形态对应关系,确定所述虚拟对象对应的目标形态为二维形态。
7.根据权利要求1或4所述的方法,其特征在于,所述根据所述目标对象与在虚拟场景中待显示的虚拟对象之间的形态对应关系,确定所述虚拟对象对应的目标形态,包括:
根据所述形态对应关系中的第三形态对应关系,确定所述虚拟对象对应的目标形态为与预定义形状对应的预定义形态。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
识别出所述目标对象在所述真实场景中的显示参数;
根据所述显示参数,调整所述虚拟对象对应的目标形态;
其中,所述显示参数包括:所述目标对象的显示尺寸、显示效果中的至少一种。
9.根据权利要求1-7中任一项所述的方法,其特征在于,所述根据所述真实场景和所述虚拟场景进行图像渲染,包括:
采集所述真实场景中的第一实景图像;
将所述第一实景图像与所述虚拟场景中待显示的虚拟对象进行图像渲染,得到所述虚拟对象与所述第一实景图像对应的目标形态。
10.根据权利要求9所述的方法,其特征在于,所述第一实景图像为目标空间的情况下,所述虚拟对象与所述第一实景图像对应的目标形态为空间形态;或者,
所述第一实景图像为目标平面的情况下,所述虚拟对象与所述第一实景图像对应的目标形态为平面形态。
11.根据权利要求1-7中任一项所述的方法,其特征在于,所述显示所述虚拟对象对应的目标形态,包括:
配置在显示设备的显示区域显示至少一个图像;
所述至少一个图像包括:所述虚拟对象对应的目标形态。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于将所述虚拟对象从第一目标对象移动至第二目标对象的切换指令,将所述虚拟对象的目标形态由在所述第一目标对象上显示的第一目标形态变更成在所述第二目标对象上显示的第二目标形态。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
在将所述虚拟对象从所述第一目标对象移动至所述第二目标对象的过程中,显示所述虚拟对象的第三目标形态,所述第三目标形态是所述第一目标形态与所述第二目标形态的中间形态。
14.一种显示装置,其特征在于,所述显示装置用于执行如权利要求1至13任一项方法中的步骤。
15.一种显示设备,被配置为由用户穿戴,其特征在于,所述显示设备包括权14所述的显示装置。
16.根据权利要求15所述的显示设备,其特征在于,所述显示设备包括如下至少之一:
用于显示增强现实场景或显示虚拟现实场景的一对眼镜;
用于显示增强现实场景或显示虚拟现实场景的头戴式显示器。
17.一种头戴式设备,其特征在于,包括处理器、存储器、显示器以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-13任一项所述的方法中的步骤的指令。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-13中任一项所述的方法。
19.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中;计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行如权利要求l-13中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210470977.4A CN114942737A (zh) | 2022-04-28 | 2022-04-28 | 显示方法、装置、显示设备、头戴式设备及存储介质 |
PCT/CN2022/141954 WO2023207174A1 (zh) | 2022-04-28 | 2022-12-26 | 显示方法、装置、显示设备、头戴式设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210470977.4A CN114942737A (zh) | 2022-04-28 | 2022-04-28 | 显示方法、装置、显示设备、头戴式设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114942737A true CN114942737A (zh) | 2022-08-26 |
Family
ID=82906824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210470977.4A Pending CN114942737A (zh) | 2022-04-28 | 2022-04-28 | 显示方法、装置、显示设备、头戴式设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114942737A (zh) |
WO (1) | WO2023207174A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023207174A1 (zh) * | 2022-04-28 | 2023-11-02 | Oppo广东移动通信有限公司 | 显示方法、装置、显示设备、头戴式设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240045212A1 (en) * | 2022-08-04 | 2024-02-08 | Samsung Electronics Co., Ltd. | Wearable device, method, and non-transitory computer readable storage medium for displaying visual object indicating weather condition |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021238145A1 (zh) * | 2020-05-26 | 2021-12-02 | 北京市商汤科技开发有限公司 | Ar场景内容的生成方法、展示方法、装置及存储介质 |
CN111899350A (zh) * | 2020-07-31 | 2020-11-06 | 北京市商汤科技开发有限公司 | 增强现实ar图像的呈现方法及装置、电子设备、存储介质 |
KR20220045799A (ko) * | 2020-10-06 | 2022-04-13 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
CN113178017A (zh) * | 2021-04-28 | 2021-07-27 | 深圳市慧鲤科技有限公司 | Ar数据展示方法、装置、电子设备及存储介质 |
CN114942737A (zh) * | 2022-04-28 | 2022-08-26 | Oppo广东移动通信有限公司 | 显示方法、装置、显示设备、头戴式设备及存储介质 |
-
2022
- 2022-04-28 CN CN202210470977.4A patent/CN114942737A/zh active Pending
- 2022-12-26 WO PCT/CN2022/141954 patent/WO2023207174A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023207174A1 (zh) * | 2022-04-28 | 2023-11-02 | Oppo广东移动通信有限公司 | 显示方法、装置、显示设备、头戴式设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023207174A1 (zh) | 2023-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393154B2 (en) | Hair rendering method, device, electronic apparatus, and storage medium | |
US20220245906A1 (en) | Location-based virtual element modality in three-dimensional content | |
US9607437B2 (en) | Generating augmented reality content for unknown objects | |
US10516870B2 (en) | Information processing device, information processing method, and program | |
CN106027855B (zh) | 一种虚拟摇臂的实现方法和终端 | |
CN104035760A (zh) | 跨移动平台实现沉浸式虚拟现实的*** | |
CN104915979A (zh) | 跨移动平台实现沉浸式虚拟现实的*** | |
CN114942737A (zh) | 显示方法、装置、显示设备、头戴式设备及存储介质 | |
CN109725956B (zh) | 一种场景渲染的方法以及相关装置 | |
CN112070906A (zh) | 一种增强现实***及增强现实数据的生成方法、装置 | |
JP2017188002A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP2022545598A (ja) | 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム | |
CN113398583A (zh) | 游戏模型的贴花渲染方法、装置、存储介质及电子设备 | |
US20200034011A1 (en) | Menu processing method, device and storage medium in virtual scene | |
CN108553895A (zh) | 用户界面元素与三维空间模型关联的方法和装置 | |
CN113318428A (zh) | 游戏的显示控制方法、非易失性存储介质及电子装置 | |
CN115063518A (zh) | 轨迹渲染方法、装置、电子设备及存储介质 | |
CN114401442A (zh) | 视频直播及特效控制方法、装置、电子设备及存储介质 | |
CN110889384A (zh) | 场景切换方法及装置、电子设备和存储介质 | |
CN113487662A (zh) | 画面显示方法、装置、电子设备和存储介质 | |
CN115191006A (zh) | 用于所显示的2d元素的3d模型 | |
CN111145358B (zh) | 图像处理方法、装置、硬件装置 | |
CN116912387A (zh) | 纹理贴图的处理方法及装置、电子设备、存储介质 | |
CN110597392B (zh) | 一种基于vr模拟世界的交互方法 | |
CN114816197A (zh) | 智能家居设备的控制方法、装置、存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |