CN111815786A - 信息显示方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例提供一种信息显示方法、装置、设备和存储介质，其中，所述方法包括：获取在展示界面的待增强图像上输入的触发操作；其中，所述待增强图像为基于真实场景采集到的；响应于所述触发操作，确定所述触发操作在所述展示界面上的位置信息；根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果；在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上。

Description

信息显示方法、装置、设备和存储介质

技术领域

本申请实施例涉及增强显示技术，涉及但不限于信息显示方法、装置、设备和存储介质。

背景技术

增强现实(Augmented Reality，AR)技术，通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。对AR设备呈现的增强现实场景的显示效果的优化的提升，愈发重要。

发明内容

本申请实施例提供一种信息显示方法、装置、设备和存储介质。

本申请实施例提供一种信息显示方法，所述方法包括：

获取在展示界面的待增强图像上输入的触发操作；其中，所述待增强图像为基于真实场景采集到的；

响应于所述触发操作，确定所述触发操作在所述展示界面上的位置信息；

根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果；

在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上。

在一些可能的实现方式中，所述根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果，包括：

根据所述位置信息，确定所述目标对象；

获取所述目标对象的三维虚拟模型；

确定与所述三维虚拟模型相匹配的目标虚拟效果。

在一些可能的实现方式中，所述确定与所述三维虚拟模型相匹配的目标虚拟效果，包括：

确定所述目标对象的属性信息和功能信息；

根据所述属性信息和/或所述功能信息，确定所述目标对象的虚拟效果的效果类型；其中，所述效果类型包括：虚拟标签、非交互类动画或交互类动画；

根据所述效果类型，获取与所述效果类型对应的所述目标虚拟效果。

在一些可能的实现方式中，所述确定所述触发操作在所述展示界面上的位置信息，包括：

获取展示界面所属的屏幕坐标系；

确定所述触发操作对应的触点在所述屏幕坐标系中的第一坐标值；

将所述第一坐标值，确定为所述触发操作在所述展示界面上的位置信息。

在一些可能的实现方式中，所述根据所述位置信息，确定所述目标对象，包括：

根据所述第一坐标值，确定所述触点的像素信息；

根据所述像素信息，在所述待增强图像中，确定所述目标对象。

在一些可能的实现方式中，所述根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果，包括：

获取所述三维虚拟模型所属的模型坐标系；

确定所述模型坐标系和所述屏幕坐标系之间的转换关系；

根据所述转换关系，将所述第一坐标值转换为所述触发操作对应触点在所述模型坐标系中的第二坐标值；

将与所述第二坐标值的三维虚拟模型相匹配的虚拟效果，确定为所述目标虚拟效果。

在一些可能的实现方式中，所述在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上，包括：

确定与所述目标虚拟效果的效果类型相匹配的展示方式；

采用所述相匹配的展示方式，在所述显示界面上，呈现叠加所述目标虚拟效果的增强现实图像。

在一些可能的实现方式中，所述方法还包括：

确定所述待增强图像中其他对象的位置信息；

根据所述其他对象的位置信息和所述目标对象的位置信息，确定所述其他对象与所述目标对象之间的相对位置关系；

根据所述相对位置关系，确定所述其他对象的三维虚拟模型的透明度；

采用所述透明度对所述其他对象的三维虚拟模型进行渲染，并将渲染后的所述其他对象的三维虚拟模型呈现在所述显示界面上。

在一些可能的实现方式中，所述方法还包括：

确定所述待增强图像中目标对象的色调信息；

根据所述色调信息，确定所述目标虚拟效果的色调；

将具有所述色调的目标虚拟效果叠加在所述待增强图像上，并呈现在所述显示界面上。

本申请实施例提供一种信息显示装置，所述装置包括：

第一获取模块，用于获取在展示界面的待增强图像上输入的触发操作；其中，所述待增强图像为基于真实场景采集到的；

第一响应模块，用于响应于所述触发操作，确定所述触发操作在所述展示界面上的位置信息；

第一确定模块，用于根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果；

第一呈现模块，用于在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上。

在一些可能的实现方式中，所述第一确定模块，包括：

第一确定子模块，用于根据所述位置信息，确定所述目标对象；

第一获取子模块，用于获取所述目标对象的三维虚拟模型；

第二确定子模块，用于确定与所述三维虚拟模型相匹配的目标虚拟效果。

在一些可能的实现方式中，所述第二确定子模块，包括：

第一确定单元，用于确定所述目标对象的属性信息和功能信息；

第二确定单元，用于根据所述属性信息和/或所述功能信息，确定所述目标对象的虚拟效果的效果类型；其中，所述效果类型包括：虚拟标签、非交互类动画或交互类动画；

第一获取单元，用于根据所述效果类型，获取与所述效果类型对应的所述目标虚拟效果。

在一些可能的实现方式中，所述第一响应模块，包括：

第二获取子模块，用于获取展示界面所属的屏幕坐标系；

第三确定子模块，用于确定所述触发操作对应的触点在所述屏幕坐标系中的第一坐标值；

第四确定子模块，用于将所述第一坐标值，确定为所述触发操作在所述展示界面上的位置信息。

在一些可能的实现方式中，所述第一确定子模块，包括：

第三确定单元，用于根据所述第一坐标值，确定所述触点的像素信息；

第四确定单元，用于根据所述像素信息，在所述待增强图像中，确定所述目标对象。

在一些可能的实现方式中，所述第一确定模块，包括：

第三获取子模块，用于获取所述三维虚拟模型所属的模型坐标系；

第五确定子模块，用于确定所述模型坐标系和所述屏幕坐标系之间的转换关系；

第一转换子模块，用于根据所述转换关系，将所述第一坐标值转换为所述触发操作对应触点在所述模型坐标系中的第二坐标值；

第六确定子模块，用于将与所述第二坐标值的三维虚拟模型相匹配的虚拟效果，确定为所述目标虚拟效果。

在一些可能的实现方式中，所述第一呈现模块，包括：

第七确定子模块，用于确定与所述目标虚拟效果的效果类型相匹配的展示方式；

第一呈现子模块，用于采用所述相匹配的展示方式，在所述显示界面上，呈现叠加所述目标虚拟效果的增强现实图像。

在一些可能的实现方式中，所述装置还包括：

第二确定模块，用于确定所述待增强图像中其他对象的位置信息；

第三确定模块，用于根据所述其他对象的位置信息和所述目标对象的位置信息，确定所述其他对象与所述目标对象之间的相对位置关系；

第四确定模块，用于根据所述相对位置关系，确定所述其他对象的三维虚拟模型的透明度；

第一渲染模块，用于采用所述透明度对所述其他对象的三维虚拟模型进行渲染，并将渲染后的所述其他对象的三维虚拟模型呈现在所述显示界面上。

在一些可能的实现方式中，所述装置还包括：

第五确定模块，用于确定所述待增强图像中目标对象的色调信息；

第六确定模块，用于根据所述色调信息，确定所述目标虚拟效果的色调；

第二呈现模块，用于将具有所述色调的目标虚拟效果叠加在所述待增强图像上，并呈现在所述显示界面上。

本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的方法步骤。

本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的方法步骤。

本申请实施例提供一种计算机程序，包括用于实现上述的方法步骤的计算机指令。

本申请实施例提供的技术方案，针对在待增强图像上输入的触发操作，首先，确定出该触发操作在展示界面上的位置信息；然后，基于该位置信息，在待增强图像中，确定出触发操作对应的目标对象，并且自动匹配出该目标对象的目标虚拟效果；最后，将目标虚拟效果叠加在待增强图像上，并呈现在展示界面上。如此，对于观看者输入的触发操作作用到展示界面上的位置的不同，呈现不同的目标虚拟效果，从而能够提供更加丰富且准确的增强现实效果。

附图说明

图1A是本发明实施例提供的信息显示***的一个可选的架构示意图；

图1B为本申请实施例提供的信息显示方法的实现流程示意图；

图2为本申请实施例提供的信息显示方法的另一实现流程示意图；

图3A为本申请实施例提供的信息显示方法的应用场景图；

图3B为本申请实施例提供的信息显示方法的另一应用场景图；

图3C为本申请实施例提供的信息显示方法的应用场景图；

图4为本申请实施例信息显示装置的组成结构示意图；

图5为本申请实施例计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

增强现实(Augmented Reality，AR)技术可以应用于AR设备中，AR设备可以为任何能够支持AR功能的电子设备，包括但不限于AR眼镜、平板电脑、智能手机等。当AR设备在现实场景中***作时，通过该AR设备可以观看到叠加在现实场景中的虚拟对象，比如可以看到叠加在真实的校园操场上的虚拟大树，看到叠加在天空中的虚拟飞翔小鸟，如何使得这些虚拟大树和虚拟飞翔小鸟这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果，为本申请实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种AR场景信息显示方法进行详细介绍，本公开实施例所提供的AR场景信息显示方法的执行主体可以为上述AR设备，也可以为其它具有数据处理能力的处理装置，例如本地或云端服务器等，本申请实施例中不作限定。

下面说明本申请实施例提供的信息显示的设备的示例性应用，本申请实施例提供的设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端或服务器时示例性应用。

参见图1A，图1A是本发明实施例提供的信息显示***的一个可选的架构示意图，为实现支撑一个示例性应用，首先，获取在展示界面11中待增强图像12上输入的触发操作13；然后，确定出该触发操作13在展示界面11上的位置；然后，基于该位置信息，在待增强图像12中确定出触发操作对应的目标对象14，并且自动匹配出该目标对象14的目标虚拟效果15；最后，将目标虚拟效果15叠加在待增强图像12上，得到增强现实图像16，将增强现实图像16呈现在展示界面11上。如此，触发操作触发的待显示图像中的位置不同，则触发的目标对象不同，对于不同的触发位置匹配出不同的虚拟效果，从而使得为观看者提供的增强现实场景更加符合观看者的需求。

该方法可以应用于计算机设备，在一些实施例中，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。

本申请实施例提供一种信息显示方法，下面结合图1B进行详细描述。

步骤S101，获取在展示界面的待增强图像上输入的触发操作。

在一些可能的实现方式中，待增强图像为基于真实场景采集到的；这里的现实场景可以是建筑物室内场景、街道场景、具体的物体等能够叠加虚拟对象的现实场景，通过在现实场景中叠加虚拟对象，可以在AR设备中呈现增强现实的效果。比如，基于户外场景或室内场景等采集到的红绿蓝(Red Green Blue，RGB)图像，还可以是从视频中截取的图像，比如，视频截图或者界面截图等。展示界面可以任意设备的显示单元，比如，具有采集功能的设备，电脑、手机、具有摄像头的移动屏或相机等，还可以是不具有采集功能的设备，比如，显示屏。触发操作于触发所述展示界面中显示的待增强图像，可以是触控操作、点击操作或者视线追踪等。在一个具体例中，如果检测到观看者的视线在待增强图像上同一位置停留的时间大于预设时长(比如，3秒)，那么确定该视线停留是一个触发操作。

步骤S102，响应于所述触发操作，确定所述触发操作在所述展示界面上的位置信息。

在一些可能的实现方式中，如果触发操作为触控操作或者点击操作，确定出触控或点击的展示界面上的坐标值；如果触发操作为视线追踪，而且在待增强图像上的同一位置停留时间较长，那么确定出该视线停留的位置信息，比如，在显示界面上的坐标值。

步骤S103，根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果。

在一些可能的实现方式中，得到触发操作发生的位置之后，确定出该位置下待增强图像的像素，然后该像素针对的目标对象，从而获取到目标对象匹配的目标虚拟效果。在一个具体例子中，如果待增强图像为在园区中采集到的包括多个楼宇的图像，确定出触发操作的位置之后，并且得到该位置针对的是3号楼，从而匹配出3号楼对应的目标虚拟效果。比如，介绍3号楼名称、建造时间、耗资情况、建造单位、楼内面积等基础信息和功能信息的标签。目标虚拟效果的类型与目标对象的类型相关，比如，目标对象是建筑物类，那么虚拟效果为介绍该建筑物基础信息和功能信息的标签，或者体现整个构建过程的动画，或呈现楼宇内部构造的图像等；如果目标对象是植物类，那么虚拟效果为介绍该植物的名称、所属科目、生长情况、生长环境等基础信息的标签，或者，体现整个生长过程的动画等；如果目标对象是动物类，那么虚拟效果可以是介绍该动物名称所属科目、生长情况、生长环境等基础信息的标签，或者，体现该动物活动的动画或视频，还可以是与观看者的互动等。比如，触发操作为观看者点击动物嘴巴，对应的虚拟效果可以是嘴巴展开或者闭合等。

步骤S104，在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上。

在一些可能的实现方式中，将目标虚拟效果叠加到待增强图像上，形成虚实结合的AR图像，并将该AR图像呈现在展示界面上。比如，待增强图像为在园区中采集到的包括多个楼宇的图像，确定出触发操作的位置之后，并且得到该位置针对的是3号楼，3号楼对应的目标虚拟效果为介绍3号楼基础信息的标签，那么将该标签叠加在该待增强图像中，形成AR图像，呈现在显示界面上。

在本申请实施例中，对于观看者输入的触发操作作用到展示界面上的位置的不同，呈现不同的目标虚拟效果，从而能够提供更加丰富且准确的增强现实效果，进一步提升了观看者的体验感。

在一些实施例中，为能够提供更贴合观看者心意的增强现实效果，步骤S103可以通过以下步骤实现：

步骤S131，根据所述位置信息，确定所述目标对象。

在一些可能的实现方式中，获取到触发操作的位置之后，确定该位置下的像素信息，然后，确定出具有该像素信息的目标对象。比如，待增强图像为在园区中采集到的包括多个楼宇的图像，确定出触发操作的坐标之后，确定出该坐标下的像素，然后，再确定出具有该像素的目标对象，即3号楼。

步骤S132，获取所述目标对象的三维虚拟模型。

在一些可能的实现方式中，这里三维虚拟模型用于表征现实场景，与现实场景在相同坐标系是等比例呈现的，比如，以现实场景为某条街道场景为例，该街道包含一栋高楼，则表征该现实场景的三维虚拟模型同样包括该条街道的模型以及该条街道中的该栋高楼，且三维虚拟模型与现实场景在相同坐标系中是按照1：1呈现的，即若将三维虚拟模型放入该现实场景所在的世界坐标系中，则该三维虚拟模型会与该现实场景完全重合。目标对象的三维虚拟模型可以是预先创建好的，基于位置信息直接调取对应的三维虚拟模型即可。在一些实施例中，可以通过双目立体视觉测量方法创建目标对象的三维虚拟模型，该方法模拟人类双眼的立体成像原理，左右两个有合适角度的摄像机在同一时间拍摄场景中某一物体，通过三角几何关系和视差原理，获取左右摄像机相同视角下物体表面点的坐标信息，进而构建出目标对象的位置和形状，即可得到三维虚拟模型。在本申请实施例中，还可以通过其他方法进行三维虚拟模型的创建，这里不做限定。

步骤S133，确定与所述三维虚拟模型相匹配的目标虚拟效果。

在一些可能的实现方式中，不同的目标对象需要的三维虚拟模型不同，匹配的虚拟效果也不同。

上述步骤S131值步骤S133，通过提前设置好的虚拟对象在用于表征现实场景的三维虚拟模型中的位置信息，来调取虚拟对象在现实场景中的呈现特效信息，这里，由于三维虚拟模型可以表征现实场景，基于该三维虚拟模型所构建好的虚拟对象的位置信息能够较好地融入现实场景，从该虚拟对象在三维虚拟模型中的位置信息中，确定出与该位置信息相匹配的呈现虚拟效果，即可以在AR设备中展示出逼真的增强现实场景的效果。

在以上过程的执行主体为部署在AR设备上的处理器执行的情况下，在基于以上方式确定出与触发操作的位置信息对应的虚拟效果后，可以直接通过AR设备展示AR场景图像；在以上过程的执行主体为部署在云平台服务器的情况下，在确定出与触发操作的位置信息对应的虚拟效果后，还可以将该目标虚拟效果发送至AR设备端，然后通过AR设备展示AR场景图像。

在一些实施例中，步骤S133可以通过以下过程实现：

首先，确定所述目标对象的属性信息和功能信息；其中，属性信息包括目标对象的名称、组成部分等基础信息，比如，目标对象为建筑物，属性信息包括楼盘名称、建造时间、容纳空间、占地面积等；功能信息包括目标对象具备的功能等信息，比如，目标对象为车辆，功能信息包括：车辆每一部位能够实现的功能。

然后，根据所述属性信息和/或所述功能信息，确定所述目标对象的虚拟效果的效果类型；其中，所述效果类型包括：虚拟标签、非交互类动画、视频或交互类动画；在一些可能的实现方式中，根据属性信息，确定目标对象的虚拟效果类型为虚拟标签、非交互类动画、视频等；根据功能信息，确定目标对象的虚拟效果类型为交互类动画。

最后，根据所述效果类型，获取与所述效果类型对应的所述目标虚拟效果。

在一些可能的实现方式中，每一类型的虚拟效果可以是预先配置好的，基于目标对象的虚拟效果类型，调取到该类型的虚拟效果。比如，如果效果类型为虚拟标签，那么创建标签类的虚拟效果，参见3C所示；如果效果类型为动画，那么创建动画类的虚拟效果等，参见3A所示和图3B所示，比如，待增强图像为拍摄的圣诞节当天的街道，其中包括一些圣诞老人的海报等，观看者点击图像中圣诞老人的海报，通过确定点击位置以及该位置的目标对象，即圣诞老人的海报，目标虚拟效果可以是圣诞老人像用户走来；在真实场景图像中显示的道路321上移动的圣诞老人322，圣诞老人可以按照预设运动轨迹从图3A所示的位置A，移动到图3B所示的位置B。

在本申请实施例中，基于不同的属性信息或功能信息，确定出不同类型的虚拟效果，从而能够展示出多种类型的虚拟效果，进而能够提供更贴合观看者心意的增强现实效果，提升观看者的体验感。

基于上述方式实现了对于不同的目标对象呈现不同效果类型的虚拟效果，那么在待增强图像上叠加所述目标虚拟效果，并呈现在展示界面上，可通过如下方式实现：

首先，确定与所述目标虚拟效果的效果类型相匹配的展示方式。

在一些可能的实现方式中，不同的效果类型，对应的展示方式不同。比如，如果效果类型为虚拟标签，则以图像的方式进行展示；如果效果类型为非交互类动画或交互类动画，则以视频的方式进行展示。

然后，采用所述相匹配的展示方式，在所述显示界面上，呈现叠加所述目标虚拟效果的增强现实图像。

在一些可能的实现方式中，将目标虚拟效果叠加到待增强图像上，得到增强显示图像，并且将该增强显示图像呈现在显示界面上。对于目标虚拟效果在待增强图像中所处的位置，可以是叠加在待增强图像中的背景区域中，还可以是叠加在目标对象的邻近区域中等。如此，实现了对于不同类型的虚拟效果，采用不同的展示方式进行展示，从而为观看者提供更加丰富的视觉体验。

在一些实施例中，为能够准确的确定出触发操作作用到的像素点，步骤S102可以通过以下步骤实现，参见图2，图2为本申请实施例提供的信息显示方法的另一实现流程示意图，结合图1B进行以下说明：

步骤S201，获取展示界面所属的屏幕坐标系。

在一些可能的实现方式中，将展示界面当前所在的坐标系，确定为屏幕坐标系，在一些可能的实现方式中，屏幕坐标系可以是世界坐标系。

步骤S202，确定所述触发操作对应的触点在所述屏幕坐标系中的第一坐标值。

在一些可能的实现方式中，在屏幕坐标系中，确定出触发操作对应的触点的坐标值，即第一坐标值。比如，如果触发操作为触控操作，确定出触控点在屏幕坐标系中的坐标值；如果触发操作为点击操作，确定出点击的点在屏幕坐标系中的坐标值；如果触发操作为视线追踪，确定出追踪的点在屏幕坐标系中的坐标值。

步骤S203，将所述第一坐标值，确定为所述触发操作在所述展示界面上的位置信息。

在一些可能的实现方式中，该第一坐标值即为触发操作在展示界面上的位置信息。

在上述步骤S201至步骤S203提供了一种实现“确定所述触发操作在所述展示界面上的位置信息”的方式，在该方式中，通过在屏幕坐标系中确定出点击操作的触点在该坐标系中的坐标值，从而能够准确的确定出触点的像素。

在一些实施例中，在确定出触发操作对应的触点在屏幕坐标系中的第一坐标值之后，根据所述位置信息，确定所述目标对象可以通过以下过程实现：

首先，根据所述第一坐标值，确定所述触点的像素信息。

在一些可能的实现方式中，得到触发操作的触点在屏幕坐标系中的坐标值之后，基于该坐标值，确定出该触点在待增强图像中的像素信息，比如，这一点的像素值。

然后，根据所述像素信息，在所述待增强图像中，确定所述目标对象。

在一些可能的实现方式中，得到触点的像素值之后，在待增强图像中，确定出用于该像素值的对象，从而得到目标对象。如此，对于点击操作的坐标首先要确定出相应的真实对象，从而能够匹配出该针对对象的虚拟效果，以达到为不同对象匹配不同虚拟效果的目的。

在一些实施例中，基于上述确定出触发操作的触点在屏幕坐标系的第一坐标值之后，为能够准确匹配到目标对象的目标虚拟效果，步骤S103可以通过以下步骤实现：

第一步，获取所述三维虚拟模型所属的模型坐标系。

在一些可能的实现方式中，调取到创建好的三维虚拟模型之后，确定出三维虚拟模型所在的模型坐标系。这里的模型坐标系与屏幕坐标系不同，但是二者之间存在转换关系。

第二步，确定所述模型坐标系和所述屏幕坐标系之间的转换关系。

在一些可能的实现方式中，通过首先比较屏幕坐标系和模型坐标系，确定AR设备在屏幕坐标系中相对于模型坐标系的旋转向量，和平移向量。

第三步，根据所述转换关系，将所述第一坐标值转换为所述触发操作对应触点在所述模型坐标系中的第二坐标值。

在一些可能的实现方式中，采用旋转向量对第一坐标值进行旋转，采用平移向量对屏幕坐标系的第一坐标值进行平移，确定第一坐标值在模型坐标系中的位置，即第二坐标值。

上述第一步至第三步实现了模型坐标系和屏幕坐标系的对齐过程，在一些实施例中，该对齐过程可以通过以下方式实现：

目标对象与AR设备所在的空间可以被理解成为真实空间，包含目标对象的待增强图像可以被理解为像素空间；目标虚拟效果所对应的是虚拟空间。像素空间与真实空间的对应关系，可以根据目标对象与AR设备的距离以及AR设备设备的参数确定；而真实空间与虚拟空间的对应关系，可以通过显示设备的参数以及目标虚拟效果的参数来确定。在确定了像素空间与真实空间的对应关系以及真实空间与虚拟空间的对应关系后，即可以确定像素空间与虚拟空间的对应关系，也即可以确定待增强图像与所述虚拟空间之间的映射关系。

在一些实施例中，可以以所述目标虚拟效果在所述虚拟空间中的位置为参考点，确定所述待增强图像与所述虚拟空间之间的映射关系。

首先，确定所述待增强图像的单位像素距离与虚拟空间单位距离之间的比例关系n。

其中，单位像素距离是指每个像素所对应的尺寸或者长度；虚拟空间单位距离是指虚拟空间中的单位尺寸或者单位长度。

在一个示例中，可以通过确定待增强图像的单位像素距离与真实空间单位距离之间的第一比例关系，以及真实空间单位距离与虚拟空间单位距离之间的第二比例关系来确定。其中，真实空间单位距离是指真实空间中的单位尺寸或者单位长度。

第四步，将与所述第二坐标值的三维虚拟模型相匹配的虚拟效果，确定为所述目标虚拟效果。

在一些可能的实现方式中，确定出第二坐标值之后，确定具有第二坐标值的三维虚拟模型，并且调用该三维虚拟模型相匹配的虚拟效果，即可得到目标虚拟效果。

在本申请实施例中，通过将触点坐标(即屏幕坐标)转换到三维虚拟模型的坐标系中，调用对应三维虚拟模型对应的标签并展示，从而确定出目标对象匹配的虚拟效果。

在一些实施例中，对于待增强图像中的真实对象，在不同的场景需求下，真实对象对应的三维虚拟模型可以但不局限是透明的，可以通过以下过程实现：

第一步，确定所述待增强图像中其他对象的位置信息。

在一些可能的实现方式中，在屏幕坐标系中，确定出待增强图像中其他对象(即其他真实对象)的坐标。比如，待增强图像是在园区中采集到的包括多个楼宇(比如，3至6号楼)的图像，确定出触发操作的位置之后，并且得到该位置针对的是3号楼，即目标对象为3号楼，4至6号楼即为其他对象，在屏幕坐标系中，确定出4至6号楼的坐标。

第二步，根据所述其他对象的位置信息和所述目标对象的位置信息，确定所述其他对象与所述目标对象之间的相对位置关系。

在一些可能的实现方式中，通过比较其他对象在屏幕坐标系中的坐标与目标对象的在屏幕坐标系中的坐标，确定出其他对象与目标对象之间的相对位置关系。比如，通过比较3号楼和4号楼在屏幕坐标系中的坐标，确定3号楼和4号楼在待增强图像中的相对位置关系，比如，4号楼在3号楼的前面，即完全遮挡或部分遮挡3号楼。

第三步，根据所述相对位置关系，确定所述其他对象的三维虚拟模型的透明度。

在一些可能的实现方式中，如果相对位置关系为其他对象遮挡了目标对象，可以根据遮挡程度，设定其他对象的三维虚拟模型的透明度，比如，将其他对象设置为透明或者半透明。还可以是，如果相对位置关系表明其他对象与目标对象相距甚远，比如，其他对象是远离3号楼的一棵树，那么可以将这颗树设置为透明或非透明。在其他实现方式中，如果相对位置关系为相邻，而且该位置是叠加目标对象的目标虚拟效果的位置，那么为了不遮挡目标虚拟效果，可以将该其他对象的三维虚拟模型的透明度设置为透明。

第四步，采用所述透明度对所述其他对象的三维虚拟模型进行渲染，并将渲染后的所述其他对象的三维虚拟模型呈现在所述显示界面上。

比如，如果相对位置关系为其他对象遮挡了目标对象，可以将该其他对象的三维虚拟模型渲染为透明模型，那么从观看者的角度就可以看到目标对象的三维虚拟模型，达到了目标对象防遮挡的效果，并且为观看者呈现渲染后的其他对象的三维虚拟模型，提升了观看者的视觉体验。

在本申请实施例中，通过将不需要展示的真实对象对应的三维虚拟模型设置为透明模型；从而实现三维虚拟模型透明度的自适应调整。

在一些实施例中，为了实现虚拟效果色调的自适应调整，所述方法还包括以下步骤：

第一步，确定所述待增强图像中目标对象的色调信息。

在一些可能的实现方式中，色调信息包括RGB颜色分量、中性色、基础色、色相、纯度和明度等。可以理解为是获取到目标对象的颜色和明暗程度等色调信息。

第二步，根据所述色调信息，确定所述目标虚拟效果的色调。

在一些可能的实现方式中，将目标虚拟效果的色调设置为与目标对象的色调相近(比如，属于同一色系)。可以通过目标对象的色调信息，对目标虚拟效果的原始色调信息进行调整，还可以是基于目标对象的色调信息，重新渲染目标虚拟效果，以使目标虚拟效果的色调与目标对象的色调相近。

第三步，将具有所述色调的目标虚拟效果叠加在所述待增强图像上，并呈现在所述显示界面上。

在一些可能的实现方式中，将重新渲染或者色调跳帧后的目标虚拟结果叠加在待增强图像上，并将增强现实的图像呈现在显示界面上。如此，通过获取目标对象的色调信息，实现了虚拟效果色调的自适应调整。

下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。

在本申请实施例中，通过点击屏幕上的物体，触点坐标(屏幕坐标)转换到三维虚拟模型的坐标系中，调用对应三维虚拟模型对应的标签并展示。说明：屏幕上展示真实物体对应的RGB图像，真实物体对应的三维虚拟模型可以但不局限是透明的。如此，点击展示区域中的物体触发对应的虚拟效果展示，可以是通过检测触摸屏上展示的触摸操作的像素点，基于触发的像素点来确定对应的重建的三维虚拟模型，并展示三维虚拟模型对应的预设虚拟效果。如图3C所示，图3C为本申请实施例提供的信息显示方法的应用场景图，结合图3C进行以下说明：

图像301是基于真实场景采集的RGB图像。

当点击操作针对的目标对象为楼302时，确定出楼302相匹配的虚拟效果，即介绍楼302的标签303，如图3C所示，介绍楼302的名称“××国际集团总部”、以及关于楼302的开发商的介绍信息包括：“注册资本金5亿元人民币，资产总额182亿元，所属二级经营机构40家”、“已在海外设立30多家办事处，分公司，在世界上近100多个国家和地区开展业务”、“年营业收入超200亿”和“连续23年被《XX新闻纪录》评为“全球最大的250家承包商”之一”，并且在标签303中将重要信息突出显示，比如，“182亿”、“30+”、“200亿”和“250”；然后，将标签303叠加在图像301上，并呈现在显示界面中，从而实现了基于触发操作来触发智能叠加对应的虚拟效果，生成逼真的AR特效。

本申请实施例提供一种信息显示装置，图4为本申请实施例信息显示装置的组成结构示意图，如图4所示，所述信息显示装置400包括：

第一获取模块401，用于获取在展示界面的待增强图像上输入的触发操作；其中，所述待增强图像为基于真实场景采集到的；

第一响应模块402，用于响应于所述触发操作，确定所述触发操作在所述展示界面上的位置信息；

第一确定模块403，用于根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果；

第一呈现模块404，用于在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上。

在一些可能的实现方式中，所述第一确定模块403，包括：

第一确定子模块，用于根据所述位置信息，确定所述目标对象；

第一获取子模块，用于获取所述目标对象的三维虚拟模型；

第二确定子模块，用于确定与所述三维虚拟模型相匹配的目标虚拟效果。

在一些可能的实现方式中，所述第二确定子模块，包括：

第一确定单元，用于确定所述目标对象的属性信息和功能信息；

第二确定单元，用于根据所述属性信息和/或所述功能信息，确定所述目标对象的虚拟效果的效果类型；其中，所述效果类型包括：虚拟标签、非交互类动画或交互类动画；

第一获取单元，用于根据所述效果类型，获取与所述效果类型对应的所述目标虚拟效果。

在一些可能的实现方式中，所述第一响应模块402，包括：

第二获取子模块，用于获取展示界面所属的屏幕坐标系；

第三确定子模块，用于确定所述触发操作对应的触点在所述屏幕坐标系中的第一坐标值；

第四确定子模块，用于将所述第一坐标值，确定为所述触发操作在所述展示界面上的位置信息。

在一些可能的实现方式中，所述第一确定子模块，包括：

第三确定单元，用于根据所述第一坐标值，确定所述触点的像素信息；

第四确定单元，用于根据所述像素信息，在所述待增强图像中，确定所述目标对象。

在一些可能的实现方式中，所述第一确定模块403，包括：

第三获取子模块，用于获取所述三维虚拟模型所属的模型坐标系；

第五确定子模块，用于确定所述模型坐标系和所述屏幕坐标系之间的转换关系；

第一转换子模块，用于根据所述转换关系，将所述第一坐标值转换为所述触发操作对应触点在所述模型坐标系中的第二坐标值；

第六确定子模块，用于将与所述第二坐标值的三维虚拟模型相匹配的虚拟效果，确定为所述目标虚拟效果。

在一些可能的实现方式中，所述第一呈现模块404，包括：

第七确定子模块，用于确定与所述目标虚拟效果的效果类型相匹配的展示方式；

第一呈现子模块，用于采用所述相匹配的展示方式，在所述显示界面上，呈现叠加所述目标虚拟效果的增强现实图像。

在一些可能的实现方式中，所述装置还包括：

第二确定模块，用于确定所述待增强图像中其他对象的位置信息；

第三确定模块，用于根据所述其他对象的位置信息和所述目标对象的位置信息，确定所述其他对象与所述目标对象之间的相对位置关系；

第四确定模块，用于根据所述相对位置关系，确定所述其他对象的三维虚拟模型的透明度；

第一渲染模块，用于采用所述透明度对所述其他对象的三维虚拟模型进行渲染，并将渲染后的所述其他对象的三维虚拟模型呈现在所述显示界面上。

在一些可能的实现方式中，所述装置还包括：

第五确定模块，用于确定所述待增强图像中目标对象的色调信息；

第六确定模块，用于根据所述色调信息，确定所述目标虚拟效果的色调；

第二呈现模块，用于将具有所述色调的目标虚拟效果叠加在所述待增强图像上，并呈现在所述显示界面上。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的信息显示方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令用于实现本申请实施例提供的信息显示方法中的步骤。

相应的，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令用于实现上述实施例提供的信息显示方法的步骤。

相应的，本申请实施例提供一种计算机设备，图5为本申请实施例计算机设备的结构示意图，如图5所示，所述计算机设备500包括：一个处理器501、至少一个通信接口502、存储器503和至少一个通信总线504。其中，通信总线504配置为实现这些组件之间的连接通信。其中，用户接口可以包括显示屏，通信接口502可以包括标准的有线接口和无线接口。其中所述处理器501，配置为执行存储器中图像处理程序，以实现上述实施例提供的信息显示方法的步骤。

以上计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种信息显示方法，其特征在于，所述方法包括：

获取在展示界面的待增强图像上输入的触发操作；其中，所述待增强图像为基于真实场景采集到的；

响应于所述触发操作，确定所述触发操作在所述展示界面上的位置信息；

根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果；

在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上。

2.根据权利要求1中所述的方法，其特征在于，所述根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果，包括：

根据所述位置信息，确定所述目标对象；

获取所述目标对象的三维虚拟模型；

确定与所述三维虚拟模型相匹配的目标虚拟效果。

3.根据权利要求2中所述的方法，其特征在于，所述确定与所述三维虚拟模型相匹配的目标虚拟效果，包括：

确定所述目标对象的属性信息和功能信息；

根据所述属性信息和/或所述功能信息，确定所述目标对象的虚拟效果的效果类型；其中，所述效果类型包括：虚拟标签、非交互类动画或交互类动画；

根据所述效果类型，获取与所述效果类型对应的所述目标虚拟效果。

4.根据权利要求2中所述的方法，其特征在于，所述确定所述触发操作在所述展示界面上的位置信息，包括：

获取展示界面所属的屏幕坐标系；

确定所述触发操作对应的触点在所述屏幕坐标系中的第一坐标值；

将所述第一坐标值，确定为所述触发操作在所述展示界面上的位置信息。

5.根据权利要求4中所述的方法，其特征在于，所述根据所述位置信息，确定所述目标对象，包括：

根据所述第一坐标值，确定所述触点的像素信息；

根据所述像素信息，在所述待增强图像中，确定所述目标对象。

6.根据权利要求4中所述的方法，其特征在于，所述根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果，包括：

获取所述三维虚拟模型所属的模型坐标系；

确定所述模型坐标系和所述屏幕坐标系之间的转换关系；

根据所述转换关系，将所述第一坐标值转换为所述触发操作对应触点在所述模型坐标系中的第二坐标值；

将与所述第二坐标值的三维虚拟模型相匹配的虚拟效果，确定为所述目标虚拟效果。

7.根据权利要求1至6任一项中所述的方法，其特征在于，所述在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上，包括：

确定与所述目标虚拟效果的效果类型相匹配的展示方式；

采用所述相匹配的展示方式，在所述显示界面上，呈现叠加所述目标虚拟效果的增强现实图像。

8.根据权利要求1至6任一项中所述的方法，其特征在于，所述方法还包括：

确定所述待增强图像中其他对象的位置信息；

根据所述其他对象的位置信息和所述目标对象的位置信息，确定所述其他对象与所述目标对象之间的相对位置关系；

根据所述相对位置关系，确定所述其他对象的三维虚拟模型的透明度；

采用所述透明度对所述其他对象的三维虚拟模型进行渲染，并将渲染后的所述其他对象的三维虚拟模型呈现在所述显示界面上。

9.根据权利要求1至6任一项中所述的方法，其特征在于，所述方法还包括：

确定所述待增强图像中目标对象的色调信息；

根据所述色调信息，确定所述目标虚拟效果的色调；

将具有所述色调的目标虚拟效果叠加在所述待增强图像上，并呈现在所述显示界面上。

10.一种信息显示装置，其特征在于，所述装置包括：

第一获取模块，用于获取在展示界面的待增强图像上输入的触发操作；其中，所述待增强图像为基于真实场景采集到的；

第一响应模块，用于响应于所述触发操作，确定所述触发操作在所述展示界面上的位置信息；

第一确定模块，用于根据所述位置信息，在所述待增强图像中，确定与所述触发操作对应的目标对象相匹配的目标虚拟效果；

第一呈现模块，用于在所述待增强图像上叠加所述目标虚拟效果，并呈现在所述展示界面上。

11.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至9任一项所述的方法步骤。

12.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至9任一项所述的方法步骤。

Images