CN108550190A - 增强现实数据处理方法、装置、计算机设备和存储介质 - Google Patents

增强现实数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108550190A
CN108550190A CN201810355283.XA CN201810355283A CN108550190A CN 108550190 A CN108550190 A CN 108550190A CN 201810355283 A CN201810355283 A CN 201810355283A CN 108550190 A CN108550190 A CN 108550190A
Authority
CN
China
Prior art keywords
scene
target
image
reality
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810355283.XA
Other languages
English (en)
Inventor
何金文
熊唯
肖欢
许扬
王旅波
刘天成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810355283.XA priority Critical patent/CN108550190A/zh
Publication of CN108550190A publication Critical patent/CN108550190A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种增强现实数据处理方法、装置、计算机设备和存储介质，所述方法包括：采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，获取服务器返回的所述匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示，提高了虚拟动画与现实场景展示的匹配度。

Description

增强现实数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种增强现实数据处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，出现增强现实技术(Augmented Reality，AR)，增强现实技术是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
传统的增强现实技术只是简单的将预设的虚拟动画与现实场景图像结合展示，展式方式单一。
发明内容
基于此，有必要针对上述技术问题，提供一种能够识别现实场景，并根据位置信息展示与现实场景对应的虚拟动画的增强现实数据处理方法、装置、计算机设备和存储介质，提高了虚拟动画与现实场景展示的匹配度。
一种增强现实数据处理方法，包括：
采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
获取服务器返回的所述匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源；
将虚拟资源对应的虚拟动画与现实场景图像结合展示。
一种增强现实数据处理装置，所述装置包括：
目标场景识别模块，用于采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
位置匹配模块，用于获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
资源获取模块，用于获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源；
展示模型，用于将虚拟资源对应的虚拟动画与现实场景图像结合展示。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
获取服务器返回的所述匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源；
将虚拟资源对应的虚拟动画与现实场景图像结合展示。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将所述目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源；
将虚拟资源对应的虚拟动画与现实场景图像结合展示。
上述增强现实数据处理方法、装置、计算机设备和存储介质，通过采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器验将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。上述方法能够识别现实场景，并对现实场景对应的地理位置进行验证，验证通过后才下发对应的虚拟资源，根据现实场景和地理位置动态的确定虚拟资源，根据虚拟资源生成对应的虚拟动画，将虚拟动画与现实场景图像结合展示，提高了虚拟动画与现实场景的匹配度。
一种增强现实数据处理方法，包括：
接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
一种增强现实数据处理装置，所述装置包括：
场景识别模块，用于接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
位置信息验证模块，用于接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
第一展示模块，用于发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景；
接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果；
发送匹配结果至对应的终端，以使终端在所述匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
上述增强现实数据处理方法、装置、计算机设备和存储介质，通过接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，发送匹配结果至对应的终端，以使终端在所述匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。上述方法能够识别现实场景，并对现实场景对应的地理位置进行验证，验证通过后下发对应的虚拟资源至终端，根据现实场景和地理位置动态的确定虚拟资源，根据虚拟资源生成对应的虚拟动画，将虚拟动画与现实场景图像结合展示，提高了虚拟动画与现实场景的匹配度。
附图说明
图1为一个实施例中增强现实数据处理方法的应用环境图；
图2为一个实施例中增强现实数据处理方法的流程示意图；
图3A为一个实施例中展示现实场景图像的界面示意图；
图3B为一个实施例中展示虚拟动画的界面示意图；
图4为另一个实施例中展示虚拟动画的界面示意图；
图5为一个实施例中接收提示信息步骤的流程示意图；
图6为一个实施例中展示提示信息的界面示意图；
图7为另一个实施例中展示提示信息的界面示意图；
图8为一个实施例中虚拟动画跟踪步骤的流程示意图；
图9为一个实施例中虚拟动画跟踪的界面示意图；
图10为一个实施例中绘制虚拟模型步骤的流程示意图；
图11为另一个实施例中增强现实数据处理方法的流程示意图；
图12为一个实施例中生成已训练的场景识别模型的流程示意图；
图13为一个实施例中获取模型场景步骤的流程示意图；
图14为一个实施例中发送提示信息步骤的流程示意图；
图15为一个实施例中增强现实数据处理方法的应用环境图；
图16为一个实施例中增强现实数据处理装置的结构框图；
图17为一个实施例中展示模块的结构框图；
图18为另一个实施例中展示模块的结构框图；
图19为另一个实施例中增强现实数据处理装置的结构框图；
图20为一个实施例中生成训练模型的结构框图；
图21为一个实施例中已训练的场景识别模型的结构框图；
图22为一个实施例中计算机设备的结构框图；
图23为另一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中增强现实数据处理方法的应用环境图。参照图1，包括终端110、终端130、终端150和服务器120。以终端110为例，终端110和服务器120通过网络连接。终端110采集现实场景图像，终端110将采集的现实场景图像发送至服务器120，服务器120通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，终端110获取现实场景图像对应的当前位置信息，终端110将当前位置信息发送至服务器120，服务器120将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，终端110获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示在对应的终端110上。其中终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种增强现实数据处理方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该增强现实数据处理方法具体包括如下步骤：
步骤S202，采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景。
其中，现实场景图像为图像采集设备实时采集的周围环境的图像。已训练的场景识别模型为对大量的携带场景标签的数据进行训练得到的模型，该模型能够对输入的图像进行场景识别，得到对应的目标场景。目标场景是指根据已训练的场景识别模型对现实场景图像进行场景识别得到对应的场景信息，目标场景包括但不限于办公室、酒店、电影院或游乐园等。已训练的场景识别模型对输入的现实场景图像进行特征提取，根据提取的特征确定现实场景图像对应的场景类型。如输入现实场景图像到已训练的场景识别模型中，该已训练的场景识别模型输出的场景为办公室，则目标场景为办公室。
具体地，至少一个图像采集设备采集当前位置对应的现实场景图像，通过网络将现实场景图像发送至服务器中，通过服务器中存在的已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景。
在一个实施例中，在将现实场景图像发送至服务器之前，可以从采集的图像中按照自定义规则对图像进行筛选，对筛选后的现实场景图像进行预处理，其中预处理包括但不限于图像去噪、图像尺度变化、图像归一化处理等，对图像的预处理也可以在服务器中进行。
步骤S204，获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果。
其中，当前位置信息为获取现实场景图像时终端所处的地理位置信息，该地理位置信息包括但不限于当前位置的GPS数据、通过通信网络的基站确定的当前地理位置数据或通过附近的WIFI热点确定的地理位置数据。服务器中对各个候选场景预先配置了对应的配置位置信息，如候选场景为办公室时，对应的配置位置信息包括但不限于各个城市的各个大厦、街道信息或经纬度等，配置位置信息为大厦时可以是A大厦、B大厦、C大厦等，配置位置信息为纬度信息时，经度为东经113.941049度，纬度为北纬22.546150度，配置位置信息为街道信息时，可以是深圳市南山区深南大道100号等。匹配结果包括匹配成功和匹配失败两种匹配结果。
在一个实施例中，地理位置信息可以设置为范围较大的地理位置信息，如街道信息为深圳市南山区A街道，也可以设置为较为精确度的地理位置信息，如精确的经纬度信息，或深圳市南山区A街道B大厦。
在一个实施例中，一个目标场景可以对应多个配置位置信息，一个位置信息可以对应多个目标场景。如目标场景为办公室，对应的配置位置信息包括A大厦、B大厦或C大厦等，对于配置位置信息为A大厦的目标场景可以包括办公室、餐厅或健身房等。
具体地，获取采集现实场景图像时所处的位置信息作为当前位置信息，通过网络将当前位置信息发送至用于对位置信息进行处理的服务器，该服务器与用于处理现实场景图像的服务器可以为同一个服务器，也可以为不同的服务器。通过服务器对目标场景对应的配置位置信息与当前位置信息进行验证，得到对应的匹配结果。
步骤S206，获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源。
其中，匹配成功是指当前位置信息与目标场景对应的配置位置信息相匹配，相匹配是指当前位置信息与目标场景对应的配置位置信息相同，或在预设范围内，如当前位置信息为A大厦，目标场景为办公室，配置位置信息中包含A大厦，则匹配成功。虚拟资源是指服务器中存储展示虚拟动画对应的数据，可以包括3D动画数据、视频数据或网页数据等。不同的目标场景可对应不同的虚拟资源，如办公室场景对应的虚拟资源可以是虚拟书籍数据，幼儿园场景对应的虚拟资源可以是虚拟动画人物或动物数据，健身房对应的虚拟资源可以是虚拟动画健身视频数据，舞蹈室对应的虚拟资源可以是虚拟动画舞蹈视频数据等。
具体地，获取服务器返回的目标场景对应的配置位置信息与当前位置信息的匹配结果，当目标场景对应的配置位置信息与当前位置信息成功匹配时，从服务器中获取与目标场景对应的虚拟资源。
步骤S208，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
其中，根据虚拟资源生成对应的虚拟动画。将虚拟动画与现实场景图像结合包括但不限于将展示数据与现实场景图像进行融合，或将虚拟动画覆盖在现实场景图像上等。
在一个具体的实施例中，图3为展示现实场景图像的界面图，通过已训练的场景识别模型图图3中的现实场景图像进行识别，得到对应的目标场景为办公室，获取现实场景的位置信息为A大厦，与目标场景对应的配置位置信息匹配，则下发对应的虚拟资源，根据虚拟资源生成对应的虚拟动画，将虚拟动画与现实场景结合展示，具体展示如图3B所示。在另一个具体的实施例中，如图4所示，在电影院场景中展示的动画为接下来即将播放的电影的视频。当然也可以是即将上映的电影的视频，也可以在当前位置的影院的电影票销售网址等动画信息。
在一个实施例中，虚拟动画随着终端的移动发生变化，如当手机向前移动时，动画放大显示，当手机向后移动时，动画缩小显示，向右移动时，动画跟随着向右移动等。
上述增强现实数据处理方法，包括：采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。通过终端采集的现实场景图像，将现实场景图像发送至服务器中，在服务器中对现实场景图像进行场景识别，得到对应的目标场景，获取终端所在的地理位置信息，根据目标场景和地理位置信息确定下发对应的虚拟资源，并将虚拟资源对应的虚拟动画与现实场景图像结合展示，上述方法能够识别现实场景，并对现实场景对应的地理位置进行验证，验证通过后才下发对应的虚拟资源，根据现实场景和地理位置动态的确定虚拟资源，根据虚拟资源生成对应的虚拟动画，将虚拟动画与现实场景图像结合展示，提高虚拟动画与现实场景的匹配度。
在一个实施例中，如图5所示，步骤S204之后还包括：
步骤S302，当匹配结果为匹配失败时，接收服务器返回的与目标场景对应的提示信息，提示信息包括与目标场景对应的配置位置信息。
具体地，匹配失败是指当前位置信息与目标场景对应的配置位置信息不匹配，不满足展示虚拟动画的条件。提示信息可用于提示用户目标场景对应的配置位置，如目标场景为A电影院，A电影院对应的配置位置信息为B大厦，则在终端的屏幕中显示的提示信息为B大厦。
在一个实施例中，当匹配结果为失败时，接收服务器返回的提示信息，该提示信息的展示方式可以自定义设置，可以直接将配置位置信息显示在终端屏幕中，也可以通过语音方式或视频等方式进行播放，也可以在终端屏幕中展示对应的地图路线，可以通过地图路线提示终端使用者向目标场景对应的配置位置信息移动。如目标场景为电影院，当前位置为A大厦，配置位置信息为B大厦、C大厦和D大厦，如图6所示，在终端界面中显示对应的地图导航路线，A大厦用001表示、B大厦用002表示、C大厦用003表示和D大厦用004表示，A大厦到B大厦、C大厦和D大厦的导航路线用000表示，通过导航路线000提示用户向B大厦、C大厦和D大厦移动。导航提示信息中还包括各个大厦的地理为位置信息和各个大厦与当前位置A大厦的距离。
步骤S304，接收服务器返回的与当前位置信息对应的提示信息，提示信息包括存在虚拟资源的场景信息。
具体地，一个位置可以配置多个场景信息，故当当前位置与目标场景对应的匹配位置信息失败时，将当前位置对应的其他的场景信息展示在终端屏幕中，如当前位置为A大厦，A大厦对应的候选场景信息包括1楼的A餐厅、2楼的B餐厅、3楼的C电影院、4楼的D健身房和5楼的办公室，目标场景为5楼的办公室时，由于当前位置的办公室不存在对应的虚拟资源，如图7所示，将1楼的A餐厅、2楼的B餐厅、3楼的C电影院、4楼的D健身房作为提示信息展示在终端屏幕中。提示信息包括但不限于各个候选场景具体的地理位置信息和/或候选场景名称和/或对应的导航路线等。上述提示信息的具体展示方式可以根据需求自定义设置，可以静态展示也可以动态展示。步骤S302和步骤S304中的提示信息可以选择其中一个作为最终的提示信息，提示终端使用者，也可以提供对应的接口供用户选择提示，还可以是两者都进行提示。通过提示信息提示用户，方便用户选择。
在一个实施例中，步骤S204之前还包括：
接收服务器返回的配置状态信息，当配置状态信息对应的配置状态为无需配置位置信息时，进入获取与目标场景匹配的虚拟资源的步骤。
具体地，配置状态信息是指目标场景对应的配置位置信息是否已经进行了配置，当配置状态信息对应的配置状态包括已配置目标场景对应的配置位置信息和无需配置目标场景对应的配置位置信息。无需配置目标场景对应的配置位置信息表示，在识别到目标场景之后，可以直接下发对应的虚拟资源至对应的终端，在终端上显示虚拟资源对应的虚拟动画。如对识别到目标场景为A餐厅时，接收到A餐厅对应的配置状态为无需配置位置信息时，直接展示A餐厅对应的虚拟资源。对于无需配置对应的配置位置信息的场景可以保护用户隐私，无需获取用户的位置信息依旧可以下发虚拟资源，减少配置工作量，提高工作效率。
在一个实施例中，如图8所示，步骤S208包括：
步骤S2082，当当前展示终端从第一状态变换为第二状态时，通过视觉惯性里程计获取当前展示终端对应的姿态变换信息。
具体地，第一状态变换为第二状态是表示展示终端存在状态变换过程，视觉惯性里程计(Visual-Inertial Odometry，VIO)包括摄像头和惯性测量单元组成，根据摄像头采集的视觉数据和惯性测量单元(Inertial measurement unit，IMU)的运动数据进行融合计算得到不同时刻终端的变换信息。姿态变换信息是指根据参考姿态和当前姿态之间的姿态变换关系。如当前展示终端为手机终端，第一状态为手机与水平面垂直放置，第二状态为手机与水平面成50度放置，移动位置为水平向右移动10厘米，则姿态变换信息可以用手机的旋转角度和移动位移表示。
步骤S2084，获取第一状态时虚拟动画的第一位置信息。
具体地，其中第一状态可以第一次展示虚拟动画时展示终端所处的姿态，也可以与当前时刻相隔时间为预设时间阈值的上一时刻展示终端所处的姿态。第一位置信息，即为展示终端处于第一状态时，虚拟动画的对应的在世界坐标系中的位置信息。
步骤S2086，获取采集参数，根据采集参数、第一位置信息和姿态变换信息计算得到第二状态时虚拟动画的目标位置信息。
其中，采集参数为采集现实场景图像的设备对应的设备参数，如采集设备对应的相机的内参，包括相机的焦距等，相机的内参是预先配置好的参数，目标位置信息为第二状态时虚拟动画在屏幕上展示的位置信息。
根据第一位置信息和姿态变换信息计算得到虚拟动画在相机坐标系中的位置信息，获取展示终端对应的相机的内参作为采集参数，根据采集参数和虚拟动画在相机坐标系中的位置信息计算得到在屏幕中的位置信息。
在一个具体的实施例中，设第一状态时虚拟动画的位置信息为(X，Y，Z)，旋转矩阵为R，平移向量为T，相机的焦距为f，在第二状态时在屏幕中为位置为(U，V)，则根据第一状态时虚拟动画的位置信息旋转矩阵R，平移向量T，相机的焦距f计算第二状态时在屏幕中位置(U，V)的具体公式如公式(1)所示：
步骤S2088，获取目标位置信息对应的目标位置，根据目标位置将虚拟动画叠加在现实场景图像上。
具体地，获取根据上述步骤中计算得到的目标位置信息获取对应的目标位置，根据目标位置在显示场景图像上展示虚拟动画。如图9所示，第一状态0201，第一状态对应的虚拟动画0301，终端第二状态0202，第二状态对应的虚拟动画0301，第一状态时，终端处于水平展示，第二状态时，终端与水平面呈一定倾斜角度，随着手机移动，背景雨来越来小，对应的动画也随着背景变小，即虚拟动画0301的尺寸大于虚拟动画0302的尺寸。
在一个实施例中，如图10所示，步骤S208包括：
步骤S2090，获取虚拟动画对应的虚拟模型的顶点信息，虚拟模型为三维模型。
具体地，虚拟模型为通过模型构建工具构建得到模型，包括但不限于人体三维模型、建筑、人物、植被或机械等模型。模型的顶点信息为顶点缓冲区对象或顶点数组对象(Vertex Buffer/Arrays Objects)，包括了顶点的位置、颜色、纹理坐标等信息。模型在构建时包括构成模型的顶点对应的位置坐标、顶点之间的连接关系。
步骤S2092，获取采集参数和姿态变换信息，根据采集参数和姿态变换信息将顶点信息从三维坐标转换为对应的二维顶点坐标，对二维顶点坐标进行组合，得到对应的图元。
具体地，采集参数和姿态变换信息与上述步骤S2086中的采集参数和姿态变换信息一致。图元是指模型的基本几何图形，包括点、线和面等基本图形。对三维模型的处理可以通过顶点着色器进行，顶点着色器是基于顶点的操作，可以计算位移矩阵、计算光照方程或产生贴图坐标等。如三维模型输入到计算机中时是通过一系列的三维顶点表示，而常见的屏幕都是二维显示的，故需将三维顶点转换为在2D屏幕上可见的二维坐标，具体的转换过程包括：模型坐标空间(Object Space)-世界坐标空间(World Space)-观察坐标空间(Eye Space)-屏幕坐标空间(Clip and Project Space)。对转换后的屏幕坐标进行图元装配，图元装配是指按照模型中各个顶点的链接关系对顶点进行组合，组成点、线或面等图形。
步骤S2094，对图元进行光栅处理，得到对应的二维片段。
具体地，对图元进行光栅处理，即将几何图元变为二维片段的过程，该过程包含两部分，第一部分是决定窗口坐标中的整型栅格区域被基本图元占用部分，第二部分是分配一个颜色值和一个深度值到各个区域。即将物体的数学描述以及与物体相关的颜色信息转换为屏幕上用于对应位置的像素及用于填充像素的颜色。
步骤S2096，对二维片段进行着色处理，得到着色后的二维片段。
步骤S2098，绘制着色后的二维片段。
具体地，着色处理是指对各个二维片段中的像素进行着色，着色可以通过片段着色器执行，片段着色器可以计算每个像素的颜色和其它属性，实现一种作用于片段的通用可编程方法，对光栅处理后产生的每个片段进行操作。绘制着色后的二维片段是指在屏幕中绘制与二维片段对应的图形和颜色，在屏幕中显示根据着色后的二维片段绘制得到的虚拟模型。
在一个实施例中，步骤S204包括：
步骤S2042，以使服务器获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
步骤S206包括：
步骤S2062，获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
具体地，资源供应方标识用于标识提供资源的组织或个人，其中组织包括商业组织和非商业组织。资源是指组织或个人提供的包括但不限于商业活动信息、公益信息对应的实物或虚拟物品。当资源为虚拟物品时，可以是虚拟红包、虚拟电子代金券、虚拟游戏币等等。候选资源供应方标识是指预先所有的保存在服务器中与场景对应的资源供应方数据，目标资源供应方标识是指当前时刻资源供应方存在对应的资源供应方活动信息的资源供应方数据。当资源供应方标识为商家标识时，如目标场景为肯德基，服务器中存在全部的肯德基店对应的商家标识为候选商家标识，而正在做活动的商家仅限于北京、上海、广州、深圳几个城市的肯德基店，则北京、上海、广州、深圳几个城市的肯德基店对应的商家标识为目标商家标识。资源供应方活动信息是指资源供应方正在进行的活动，如打折、套餐优惠、拆红包等。从候选资源供应方标识中根据资源供应方活动范围确定目标资源供应方标识，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。将全部目标场景对应的资源供应方信息都保存到服务器中，对于参与活动的商家的状态进行配置，则在获取到目标场景和地理位置信息之后，对当前地理位置信息进行验证时，仅对正在参与活动的资源供应方标识对应的位置信息进行验证。在验证通过后从服务器中获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。当资源供应方标识为商家标识时，如目标场景为深圳市南山区A大厦中的肯德基店，对应的商家活动信息为视频播放商家的折扣产品。
在一个实施例中，当同一目标场景对应的参与活动的部分或全部资源供应方参与活动的状态发生改变时，直接从候选资源供应方标识中根据自定义规则筛选得到对应的目标资源供应方标识，可以提高配置效率。
如图11所示，在一个实施例中，提供一种增强显示数据处理方法，本实施例主要以该方法应用于上述图1中服务器120来举例说明，具体包括如下步骤：
步骤S402，接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景。
具体地，服务器接收终端通过网络上传的现实场景图像，通过服务其中存在的已训练的场景识别模型对现实场景图像进行特征提取，得到对应的特征向量，根据特征向量确定现实场景图像对应的分类结果，将分类结果作为目标场景。
步骤S404，接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果。
具体地，接收终端上传的现实场景图像对应的当前位置信息，对目标场景对应的配置位置信息和当前位置信息进行验证，得到对应的匹配结果，匹配结果包括匹配成功和匹配失败。
步骤S406，发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
具体地，服务器将匹配结果发送根据上传的现实场景图像的识别的得到目标场景的终端，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将匹配的虚拟资源发送至终端，将虚拟资源对应的虚拟动画与现实场景图像结合并在终端上展示。
上述增强显示数据处理方法，通过接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。该方法通过接收终端上传的现实场景图像，根据服务器中存在的已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，接收终端上传的与现实场景图像对应的地理位置信息，当目标场景的配置位置信息与地理位置信息匹配时，获取对应的虚拟资源，并展示对应的虚拟资源，可以更好的根据场景和位置下发对应的虚拟资源至终端，在终端上展示更合适的虚拟资源对应的虚拟动画，提高了虚拟动画与现实场景的匹配度。
在一个实施例中，如图12所示，增强现实数据处理方法还包括：
步骤S602，获取待训练图像集合，待训练图像集合中各个图像携带标准场景标签。
步骤S604，将待训练图像集合中各个图像输入场景识别模型。
步骤S606，通过场景识别模型对待训练图像集合中各个图像进行特征提取，得到对应的特征向量，根据特征向量识别得到对应的场景识别结果。
步骤S608，根据场景识别结果与标准场景标签的匹配度调整场景识别模型的参数直至满足预设收敛条件，得到已训练的场景识别模型。
具体地，待训练图像集合为由多个携带场景标签的图像组成的图像集合，场景标签为表示图像的场景的数据，场景标签可以自定义，如可以根据现实生活中场景的生活场景确定，其中设置的场景标签包括但不限于体育馆、健身房、酒吧、电影院、学校和医院等场景识别模型用于对输入的图像进行处理得到对应的场景识别结果，将待训练图像集合中各个图像输入场景识别模型，场景识别模型可以包括但不限于卷积神经网络模型、深度学习神经网络模型等可以实现对图像的场景进行分类识别的模型。场景识别模型对待训练图像集合中各个图像进行特征提取，得到对应的特征向量，根据各个图像的特征向量输出对应的场景识别结果。
对待训练图像集合中各个图像的识别结果，与对应的待训练图像集合中各个图像携带的场景标签进行验证，验证通过表示识别正确，验证失败表示识别错误，统计识别正确的图像数目，计算识别正确的识别正确率。当识别正确率低于预设阈值时，更新模型参数，直至识别率满足预设阈值时，模型满足收敛条件，表示模型已经训练结束，得到已训练的场景识别模型。通过海量的数据训练模型得到的模型能够快速且准确的识别出对应模型，从而加速数据处理。
在一个实施例中，如图13所示，步骤S402包括：
步骤S4022，将现实场景图像作为卷积层的输入，卷积层用于对现实场景图像进行卷积运算得到第一特征矩阵。
步骤S4024，将第一特征矩阵作为池化层的输入，池化层用于根据预设池化算法对第一特征矩阵进行投影得到对应的第二特征矩阵。
步骤S4026，将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算得到目标场景。
具体地，场景识别模型包括卷积层(convolution)，池化层(pooling)和全连接层(FC)，卷积层与池化层连接，池化层与全连接层连接，卷积层的输入为现实场景图像，卷积层的输出作为池化层的输入，池化层的输出作为全连接层的输入，全连接层的输出为对应的分类识别结果。其中卷积层是用于对输入现实场景图像进行卷积运算得到第一特征矩阵，卷积运算是指利用卷积核进行乘积的运算。经过卷积核卷积可以降低特征维度，不同的卷积窗口具有不同的表达能力。
预设池化算法包括但不限于最大池化算法(max-pooling)、平均池化算法(meanpooling)或L2范数池化算法等，将卷积层输出的第一特征矩阵作为池化层的输入，根据预设池化算法对第一特征矩阵进行池化运算，得到对应的第二特征矩阵，池化运算用于对特征矩阵进行降维，实现数据筛选，进而提升数据处理效率。
在一个实施例中，采用最大池化算法对第一特征矩阵进行池化运算，第一特征矩阵是由多个向量组成的，将每个向量中最大的权重进行投影得到归一化的第二特征矩阵。
全连接层相当于一个分类器，用于根据第二特征矩阵进行分类计算得到对应的目标场景。
在一个具体的实施例中，场景识别模型是根据***的MobileNet网络模型训练得到的。MobileNet网络模运算速度快，网络模型体积小，识别率较准确。手机用户需求量大，小巧快速的网络能够快速响应用户的大量需求，减少后台负担。以输入图像的大小为224*224为例，MobileNet网络结构具体如表(1)所示：
表(1)MobileNet网络模型
操作/步幅 卷积核/通道数 特征图大小
Conv/s2 3*3/32 112*112*32
DepthSepConv/s1 3*3/64 112*112*64
DepthSepConv/s2 3*3/128 56*56*128
DepthSepConv/s1 3*3/128 56*56*128
DepthSepConv/s2 3*3/256 28*28*128
DepthSepConv/s1 3*3/256 28*28*256
DepthSepConv/s2 3*3/512 14*14*512
DepthSepConv/s1*5次 3*3/512 14*14*512
DepthSepConv/s2 3*3/1024 7*7*1024
DepthSepConv/s1 3*3/1024 7*7*1024
pooling 7*7 1*1*1024
Conv/s1 3*3*N 1*1*N
其中DepthSepConv为卷积核为3*3的深度可分离卷积结构(depthwise separableconvolution)和卷积核为1*1的点云卷积操作(point convolution)，Conv是指卷积操作，s1表示步幅参数为1，s2表示步幅参数为2，pooling是指池化，N是场景识别模型总的场景类别个数，通过是表(1)的网络结构可知，224*224的图像最终输出的数据为N为数据，将N为数据通过softmax进行计算得到对应的概率值最大的结果，进而得到对应的分类识别结果。
在一个实施例中，如图14所示，上述增强现实数据处理方法还包括：
步骤S802，当匹配结果为匹配失败时，发送与目标场景对应的提示信息至终端，提示信息包括与目标场景对应的配置位置信息。
其中，匹配结果为失败是指当前位置不存在与目标场景对应的虚拟资源。提示信息是用于提示终端使用者存在目标场景对应的配置位置信息，如当前位置为万利达大厦，目标场景对应的配置位置信息为A大厦，则在终端的屏幕中显示目标场景对应的位置为A大厦。服务器返回的提示信息，该提示信息可以根据需求制定，如提示信息包括与目标场景对应的配置位置信息，终端在接收到对应的提示信息后展示该提示信息，提示信息的展示方式可以自定义。如采用文字、视频或语音提示等。
步骤S804，发送与当前位置信息对应的提示信息至终端，提示信息包括存在虚拟资源的场景信息。
具体地，服务器返回与当前位置信息对应的提示信息至终端，与当前位置信息对应的提示信息是指在服务器中预先配置的当前位置存在虚拟资源的场景信息，即当前位置与多个场景对应。
在一个实施例中，提示信息可以是与当前位置信息的距离小于预设范围内的其他存在虚拟资源的场景信息。如当前位置为A大厦，可以将距离A大厦3km以内的全部或部分讯在虚拟资源的场景信息发送至终端，并在终端上展示该提示信息。
在一个实施例中，步骤S404包括：
步骤S4042，以使服务器获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
步骤S406包括：
步骤S4062，获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
具体地，候选资源供应方标识是指所有的保存在服务器中与场景对应的资源供应方数据，目标资源供应方标识是指当前时刻商家存在对应的资源供应方活动信息的资源供应方数据，资源供应方活动信息是指资源供应方正在进行的活动，如打折、套餐优惠、拆红包等。从候选资源供应方标识中根据资源供应方活动范围确定目标资源供应方标识，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。当前地理位置信息进行验证时，仅对正在参与活动的资源供应方标识对应的位置信息进行验证。在验证通过后从服务器中获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
在一个具体实施例中，参考图15，图中包括终端020和云服务器040，云服务器040包括云识别接入服务器、场景识别服务器、云配置***、地理位置服务器。其中云识别接入服务器用于将终端020上传的现实场景图像转发至场景识别服务器，场景识别服务器用于根据场景识别服务器存储的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，将目标场景发送至云识别接入服务器，云识别接入服务器根据目标场景从云配置戏中的云配置管理存储中获取对应的云配置，其中云配置包括目标场景对应的配置状态信息和虚拟资源，将目标场景对应的虚拟资源和配置状态信息发送至终端020，终端020根据配置状态信息确定选择执行获取本机地理位置信息或启动VIO跟踪，
当配置状态信息为无需配置位置信息时，终端020启动VIO跟踪，并在终端上展示与目标场景信息对应的虚拟资源的虚拟动画。
当配置状态信息为需配置位置信息时，终端020获取本机地理位置信息，将本机地理位置信息上传至地理位置服务器中，地理位置服务器中的地理位置检测模块对上传的本机地理位置信息和云配置管理存储中存储的目标场景对应的匹配位置信息进行检测，得到对应的检测结果，将检测结果返回终端020。
当检测结果为匹配时，终端020启动VIO跟踪，并展示与目标场景对应的虚拟资源。
当检测结果为不匹配时，从云配置管理存储中存储与目标场景对应的提示信息或与本机地理位置信息匹配的存在虚拟资源的场景信息，将与目标场景对应的提示信息或本机地理位置信息匹配的存在虚拟资源的场景信息发送至终端020，并在终端020显示对应的提示信息或场景信息。其中场景信息可以包括但不限于场景信息对应的地理位置信息等，场景信息的提示方式包括但不限于地图、语音提示等。
图5和图14为一个实施例中增强现实数据处理方法的流程示意图。应该理解的是，虽然图4和图14的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4和图14中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施中，如图16所示，提供了一种增强现实数据处理装置200，包括：
目标场景识别模块202，用于采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景。
位置匹配模块204，用于获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果。
资源获取模块206，用于获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源。
展示模块208，用于将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，上述增强现实数据处理装置200还包括：
提示模块210，用于当匹配结果为匹配失败时，接收服务器返回的与目标场景对应的提示信息，提示信息包括与目标场景对应的配置位置信息，和/或接收服务器返回的与当前位置信息对应的提示信息，提示信息包括存在虚拟资源的场景信息。
在一个实施例中，上述增强现实数据处理装置200还包括：
配置状态确定模块212，用于接收服务器返回的配置状态信息，当配置状态信息对应的配置状态为无需配置位置信息时，进入获取与目标场景匹配的虚拟资源的步骤。
在一个实施例中，如图17所示，展示模块208包括：
姿态变换信息获取单元2082，用于当当前展示终端从第一状态变换为第二状态时，通过视觉惯性里程计获取当前展示终端对应的姿态变换信息。
位置信息获取单元2084，用于获取第一状态时虚拟动画的第一位置信息。
目标位置信息计算单元2086，用于获取采集参数，根据采集参数、第一位置信息和姿态变换信息计算得到第二状态时虚拟动画的目标位置信息。
展示单元2088，用于获取目标位置信息对应的目标位置，根据目标位置将虚拟动画叠加在现实场景图像上。
在一个实施例中，如图18所示，展示模块208还包括：
模型信息获取单元2090，用于获取虚拟动画对应的虚拟模型的顶点信息，虚拟模型为三维模型。
图元确定单元2092，用于获取采集参数和姿态变换信息，根据采集参数和姿态变换信息将顶点信息从三维坐标转换为对应的二维顶点坐标，对二维顶点坐标进行组合，得到对应的图元。
光栅处理单元2094，用于对图元进行光栅处理，得到对应的二维片段。
着色单元2096，用于对二维片段进行着色处理，得到着色后的二维片段。
绘制单元2098，用于绘制着色后的二维片段。
在一个实施例中，位置获取模块204还用于以使服务器获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
在一个实施例中，资源获取模块206还用获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
如图19所示，在一个实施例中，提供一种增强显示数据处理装置400，包括：
场景识别模块402，用于接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景。
位置验证模块404，用于接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果。
第一展示模块406，用于发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，如图20所示，增强现实数据处理装置400还包括：
图像数据获取模块602，用于获取待训练图像集合，待训练图像集合中各个图像携带标准场景标签。
数据处理模块604，用于将待训练图像集合中各个图像输入场景识别模型，通过场景识别模型对待训练图像集合中各个图像进行特征提取，得到对应的特征向量，根据特征向量识别得到对应的场景识别结果。
模型确定模块606，用于根据场景识别结果与标准场景标签的匹配度调整场景识别模型的参数直至满足预设收敛条件，得到已训练的场景识别模型。
在一个实施例中，如图21所示，场景识别模块402包括：
卷积单元4022，用于将现实场景图像作为卷积层的输入，卷积层用于对现实场景图像进行卷积运算得到第一特征矩阵。
池化单元4024，用于将第一特征矩阵作为池化层的输入，池化层用于根据预设池化算法对第一特征矩阵进行投影得到对应的第二特征矩阵。
分类识别单元4026，用于将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算得到目标场景。
在一个实施例中，上述增强现实数据处理装置400还包括：
信息提示模块802，用于当匹配结果为匹配失败时，发送与目标场景对应的提示信息至终端，提示信息包括与目标场景对应的配置位置信息，和/或发送与当前位置信息对应的提示信息至终端，提示信息包括存在虚拟资源的场景信息。
在一个实施例中，位置验证模块404还用于获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
在一个实施例中，第一展示模块406还用于获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
图22示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图22所示，该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现增强现实数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行增强现实数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图23所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种增强现实数据处理方法。
本领域技术人员可以理解，图22和图23中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的增强现实数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图22所示的计算机设备上运行。计算机设备的存储器中可存储组成该增强现实数据处理装置的各个程序模块，比如，图16所示的目标场景识别模块202、位置匹配模块204、资源获取模块206和展示模型208。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的增强现实数据处理方法中的步骤。
例如，图22所示的计算机设备可以通过如图16所示的增强现实数据处理装置中的目标场景识别模块202执行采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景。计算机设备可通过位置匹配模块204执行获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果。计算机设备可通过资源获取模块206执行获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源。计算机设备可通过展示模块208执行将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，获取服务器返回的匹配结果之后，所述计算机程序还使得所述处理器执行如下步骤：当匹配结果为匹配失败时，接收服务器返回的与目标场景对应的提示信息，提示信息包括与目标场景对应的配置位置信息，和/或接收服务器返回的与当前位置信息对应的提示信息，提示信息包括存在虚拟资源的场景信息。
在一个实施例中，获取现实场景图像对应的当前位置信息之前，所述计算机程序还使得所述处理器执行如下步骤：接收服务器返回的配置状态信息，当配置状态信息对应的配置状态为无需配置位置信息时，进入获取与目标场景匹配的虚拟资源的步骤。
在一个实施例中，将虚拟资源对应的虚拟动画与现实场景图像结合展示，包括：当当前展示终端从第一状态变换为第二状态时，通过视觉惯性里程计获取当前展示终端对应的姿态变换信息，获取第一状态时虚拟动画的第一位置信息，获取采集参数，根据采集参数、第一位置信息和姿态变换信息计算得到第二状态时虚拟动画的目标位置信息，获取目标位置信息对应的目标位置，根据目标位置将虚拟动画叠加在现实场景图像上。
在一个实施例中，将虚拟资源对应的虚拟动画与现实场景图像结合展示，包括：获取虚拟动画对应的虚拟模型的顶点信息，虚拟模型为三维模型，获取采集参数和姿态变换信息，根据采集参数和姿态变换信息将顶点信息从三维坐标转换为对应的二维顶点坐标，对二维顶点坐标进行组合，得到对应的图元，对图元进行光栅处理，得到对应的二维片段，对二维片段进行着色处理，得到着色后的二维片段，绘制着色后的二维片段。
在一个实施例中，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果包括：以使服务器获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
在一个实施例中，获取与目标场景匹配的虚拟资源包括：获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
在一个实施例中，提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得所述处理器执行如下步骤：采集现实场景图像，将现实场景图像发送至服务器，以使服务器通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，获取现实场景图像对应的当前位置信息，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，获取服务器返回的匹配结果，当匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，获取服务器返回的匹配结果之后，所述计算机程序还使得所述处理器执行如下步骤：当匹配结果为匹配失败时，接收服务器返回的与目标场景对应的提示信息，提示信息包括与目标场景对应的配置位置信息，和/或接收服务器返回的与当前位置信息对应的提示信息，提示信息包括存在虚拟资源的场景信息。
在一个实施例中，获取现实场景图像对应的当前位置信息之前，所述计算机程序还使得所述处理器执行如下步骤：接收服务器返回的配置状态信息，当配置状态信息对应的配置状态为无需配置位置信息时，进入获取与目标场景匹配的虚拟资源的步骤。
在一个实施例中，将虚拟资源对应的虚拟动画与现实场景图像结合展示，包括：当当前展示终端从第一状态变换为第二状态时，通过视觉惯性里程计获取当前展示终端对应的姿态变换信息，获取第一状态时虚拟动画的第一位置信息，获取采集参数，根据采集参数、第一位置信息和姿态变换信息计算得到第二状态时虚拟动画的目标位置信息，获取目标位置信息对应的目标位置，根据目标位置将虚拟动画叠加在现实场景图像上。
在一个实施例中，将虚拟资源对应的虚拟动画与现实场景图像结合展示，包括：获取虚拟动画对应的虚拟模型的顶点信息，虚拟模型为三维模型，获取采集参数和姿态变换信息，根据采集参数和姿态变换信息将顶点信息从三维坐标转换为对应的二维顶点坐标，对二维顶点坐标进行组合，得到对应的图元，对图元进行光栅处理，得到对应的二维片段，对二维片段进行着色处理，得到着色后的二维片段，绘制着色后的二维片段。
在一个实施例中，将当前位置信息发送至服务器，以使服务器将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果包括：以使服务器获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
在一个实施例中，获取与目标场景匹配的虚拟资源包括：获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
在一个实施例中，本申请提供的增强现实数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图23所示的计算机设备上运行。计算机设备的存储器中可存储组成该增强现实数据处理装置的各个程序模块，比如，图19所示的场景识别模块402、位置验证模块404和第一展示模型406。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的增强现实数据处理方法中的步骤。
例如，图23所示的计算机设备可以通过如图19所示的增强现实数据处理装置中的场景识别模块402执行接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景。计算机设备可通过位置验证模块404执行接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果。计算机设备可通过第一展示模块406执行发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，生成已训练的场景识别模型包括：获取待训练图像集合，待训练图像集合中各个图像携带标准场景标签，将待训练图像集合中各个图像输入场景识别模型，通过场景识别模型对待训练图像集合中各个图像进行特征提取，得到对应的特征向量，根据特征向量识别得到对应的场景识别结果，根据场景识别结果与标准场景标签的匹配度调整场景识别模型的参数直至满足预设收敛条件，得到已训练的场景识别模型。
在一个实施例中，已训练的场景识别模型包括卷积层、池化层和全连接层，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景包括：将现实场景图像作为卷积层的输入，卷积层用于对现实场景图像进行卷积运算得到第一特征矩阵，将第一特征矩阵作为池化层的输入，池化层用于根据预设池化算法对第一特征矩阵进行投影得到对应的第二特征矩阵，将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算得到目标场景。
在一个实施例中，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果之后，所述计算机程序还使得所述处理器执行如下步骤：当匹配结果为匹配失败时，发送与目标场景对应的提示信息至终端，提示信息包括与目标场景对应的配置位置信息，和/或发送与当前位置信息对应的提示信息至终端，提示信息包括存在虚拟资源的场景信息。
在一个实施例中，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果包括：获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
在一个实施例中，获取与目标场景匹配的虚拟资源包括：获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
在一个实施例中，提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得所述处理器执行如下步骤：接收现实场景图像，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景，接收现实场景图像对应的当前位置信息，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果，发送匹配结果至对应的终端，以使终端在匹配结果为匹配成功时，获取与目标场景匹配的虚拟资源，将虚拟资源对应的虚拟动画与现实场景图像结合展示。
在一个实施例中，生成已训练的场景识别模型包括：获取待训练图像集合，待训练图像集合中各个图像携带标准场景标签，将待训练图像集合中各个图像输入场景识别模型，通过场景识别模型对待训练图像集合中各个图像进行特征提取，得到对应的特征向量，根据特征向量识别得到对应的场景识别结果，根据场景识别结果与标准场景标签的匹配度调整场景识别模型的参数直至满足预设收敛条件，得到已训练的场景识别模型。
在一个实施例中，已训练的场景识别模型包括卷积层、池化层和全连接层，通过已训练的场景识别模型对现实场景图像进行场景识别，得到对应的目标场景包括：将现实场景图像作为卷积层的输入，卷积层用于对现实场景图像进行卷积运算得到第一特征矩阵，将第一特征矩阵作为池化层的输入，池化层用于根据预设池化算法对第一特征矩阵进行投影得到对应的第二特征矩阵，将第二特征矩阵作为全连接层的输入，全连接层用于根据第二特征矩阵进行分类计算得到目标场景。
在一个实施例中，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果之后，所述计算机程序还使得所述处理器执行如下步骤：当匹配结果为匹配失败时，发送与目标场景对应的提示信息至终端，提示信息包括与目标场景对应的配置位置信息，和/或发送与当前位置信息对应的提示信息至终端，提示信息包括存在虚拟资源的场景信息。
在一个实施例中，将目标场景对应的配置位置信息与当前位置信息进行匹配，得到对应的匹配结果包括：获取与目标场景对应的候选资源供应方标识，从候选资源供应方标识中筛选目标资源供应方标识，目标资源供应方标识存在对应的资源供应方活动信息，获取目标资源供应方标识对应的位置信息作为目标场景对应的配置位置信息。
在一个实施例中，获取与目标场景匹配的虚拟资源包括：获取与目标场景和当前位置信息匹配的虚拟资源，虚拟资源携带与当前位置信息对应的目标资源供应方活动信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种增强现实数据处理方法，包括：
采集现实场景图像，将所述现实场景图像发送至服务器，以使所述服务器通过已训练的场景识别模型对所述现实场景图像进行场景识别，得到对应的目标场景；
获取所述现实场景图像对应的当前位置信息，将所述当前位置信息发送至服务器，以使所述服务器将所述目标场景对应的配置位置信息与所述当前位置信息进行匹配，得到对应的匹配结果；
获取所述服务器返回的所述匹配结果，当所述匹配结果为匹配成功时，获取与所述目标场景匹配的虚拟资源；
将所述虚拟资源对应的虚拟动画与所述现实场景图像结合展示。
2.根据权利要求1所述的方法，其特征在于，所述获取所述服务器返回的所述匹配结果之后，还包括：
当所述匹配结果为匹配失败时，接收所述服务器返回的与所述目标场景对应的提示信息，所述提示信息包括与所述目标场景对应的配置位置信息；和/或
接收所述服务器返回的与所述当前位置信息对应的提示信息，所述提示信息包括存在虚拟资源的场景信息。
3.根据权利要求1所述的方法，其特征在于，获取所述现实场景图像对应的当前位置信息之前，还包括：
接收所述服务器返回的配置状态信息，当所述配置状态信息对应的配置状态为无需配置位置信息时，进入所述获取与所述目标场景匹配的虚拟资源的步骤。
4.根据权利要求1所述的方法，其特征在于，所述将所述虚拟资源对应的虚拟动画与所述现实场景图像结合展示，包括：
当当前展示终端从第一状态变换为第二状态时，通过视觉惯性里程计获取当前展示终端对应的姿态变换信息；
获取所述第一状态时所述虚拟动画的第一位置信息；
获取采集参数，根据所述采集参数、第一位置信息和姿态变换信息计算得到所述第二状态时所述虚拟动画的目标位置信息；
获取所述目标位置信息对应的目标位置，根据所述目标位置将所述虚拟动画叠加在所述现实场景图像上。
5.根据权利要求1所述的方法，其特征在于，所述将所述虚拟资源对应的虚拟动画与所述现实场景图像结合展示，包括：
获取所述虚拟动画对应的虚拟模型的顶点信息，所述虚拟模型为三维模型；
获取采集参数和姿态变换信息，根据所述采集参数和所述姿态变换信息将所述顶点信息从三维坐标转换为对应的二维顶点坐标，对所述二维顶点坐标进行组合，得到对应的图元；
对所述图元进行光栅处理，得到对应的二维片段；
对所述二维片段进行着色处理，得到着色后的二维片段；
绘制所述着色后的二维片段。
6.根据权利要求1所述的方法，其特征在于，所述将所述当前位置信息发送至服务器，以使所述服务器将所述目标场景对应的配置位置信息与所述当前位置信息进行匹配，得到对应的匹配结果包括：
以使所述服务器获取与所述目标场景对应的候选资源供应方标识，从所述候选资源供应方标识中筛选目标资源供应方标识，所述目标资源供应方标识存在对应的资源供应方活动信息，获取所述目标资源供应方标识对应的位置信息作为所述目标场景对应的配置位置信息；
所述获取与所述目标场景匹配的虚拟资源包括：
获取与所述目标场景和当前位置信息匹配的虚拟资源，所述虚拟资源携带与所述当前位置信息对应的目标资源供应方活动信息。
7.一种增强现实数据处理方法，包括：
接收现实场景图像，通过已训练的场景识别模型对所述现实场景图像进行场景识别，得到对应的目标场景；
接收所述现实场景图像对应的当前位置信息，将所述目标场景对应的配置位置信息与所述当前位置信息进行匹配，得到对应的匹配结果；
发送所述匹配结果至对应的终端，以使所述终端在所述匹配结果为匹配成功时，获取与所述目标场景匹配的虚拟资源，将所述虚拟资源对应的虚拟动画与所述现实场景图像结合展示。
8.根据权利要求7所述的方法，其特征在于，生成所述已训练的场景识别模型，包括：
获取待训练图像集合，所述待训练图像集合中各个图像携带标准场景标签；
将所述待训练图像集合中各个图像输入场景识别模型；
通过所述场景识别模型对所述待训练图像集合中各个图像进行特征提取，得到对应的特征向量，根据所述特征向量识别得到对应的场景识别结果；
根据所述场景识别结果与所述标准场景标签的匹配度调整所述场景识别模型的参数直至满足预设收敛条件，得到所述已训练的场景识别模型。
9.根据权利要求7所述的方法，其特征在于，所述已训练的场景识别模型包括卷积层、池化层和全连接层，所述通过已训练的场景识别模型对所述现实场景图像进行场景识别，得到对应的目标场景，包括：
将所述现实场景图像作为所述卷积层的输入，所述卷积层用于对所述现实场景图像进行卷积运算得到第一特征矩阵；
将所述第一特征矩阵作为池化层的输入，所述池化层用于根据预设池化算法对所述第一特征矩阵进行投影得到对应的第二特征矩阵；
将所述第二特征矩阵作为全连接层的输入，所述全连接层用于根据所述第二特征矩阵进行分类计算得到所述目标场景。
10.根据权利要求7所述的方法，其特征在于，所述将所述目标场景对应的配置位置信息与所述当前位置信息进行匹配，得到对应的匹配结果之后，还包括：
当所述匹配结果为匹配失败时，发送与所述目标场景对应的提示信息至所述终端，所述提示信息包括与所述目标场景对应的配置位置信息；和/或
发送与所述当前位置信息对应的提示信息至所述终端，所述提示信息包括存在虚拟资源的场景信息。
11.根据权利要求7所述的方法，其特征在于，所述将所述目标场景对应的配置位置信息与所述当前位置信息进行匹配，得到对应的匹配结果包括：
获取与所述目标场景对应的候选资源供应方标识，从所述候选资源供应方标识中筛选目标资源供应方标识，所述目标资源供应方标识存在对应的资源供应方活动信息，获取所述目标资源供应方标识对应的位置信息作为所述目标场景对应的配置位置信息；
所述获取与所述目标场景匹配的虚拟资源包括：
获取与所述目标场景和当前位置信息匹配的虚拟资源，所述虚拟资源携带与所述当前位置信息对应的目标资源供应方活动信息。
12.一种增强现实数据处理装置，其特征在于，所述装置包括：
目标场景识别模块，用于采集现实场景图像，将所述现实场景图像发送至服务器，以使所述服务器通过已训练的场景识别模型对所述现实场景图像进行场景识别，得到对应的目标场景；
位置匹配模块，用于获取所述现实场景图像对应的当前位置信息，将所述当前位置信息发送至服务器，以使所述服务器将所述目标场景对应的配置位置信息与所述当前位置信息进行匹配，得到对应的匹配结果；
资源获取模块，用于获取所述服务器返回的所述匹配结果，当所述匹配结果为匹配成功时，获取与所述目标场景匹配的虚拟资源；
展示模型，用于将所述虚拟资源对应的虚拟动画与所述现实场景图像结合展示。
13.一种增强现实数据处理装置，其特征在于，所述装置包括：
场景识别模块，用于接收现实场景图像，通过已训练的场景识别模型对所述现实场景图像进行场景识别，得到对应的目标场景；
位置信息验证模块，用于接收所述现实场景图像对应的当前位置信息，将所述目标场景对应的配置位置信息与所述当前位置信息进行匹配，得到对应的匹配结果；
第一展示模块，用于发送所述匹配结果至对应的终端，以使所述终端在所述匹配结果为匹配成功时，获取与所述目标场景匹配的虚拟资源，将所述虚拟资源对应的虚拟动画与所述现实场景图像结合展示。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
CN201810355283.XA 2018-04-19 2018-04-19 增强现实数据处理方法、装置、计算机设备和存储介质 Pending CN108550190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810355283.XA CN108550190A (zh) 2018-04-19 2018-04-19 增强现实数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810355283.XA CN108550190A (zh) 2018-04-19 2018-04-19 增强现实数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN108550190A true CN108550190A (zh) 2018-09-18

Family

ID=63515633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810355283.XA Pending CN108550190A (zh) 2018-04-19 2018-04-19 增强现实数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN108550190A (zh)

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242981A (zh) * 2018-09-28 2019-01-18 中国科学院苏州生物医学工程技术研究所 双屏交互的增强现实康复训练***
CN109739352A (zh) * 2018-12-27 2019-05-10 斑马网络技术有限公司 景观图像的展示方法及设备
CN109858493A (zh) * 2018-12-28 2019-06-07 上海阅面网络科技有限公司 一种基于神经网络的尺度自适应核相关滤波跟踪方法
CN110085065A (zh) * 2019-04-11 2019-08-02 武汉湾流科技股份有限公司 一种基于增强现实的焊接模拟训练方法、装置和***
CN110111636A (zh) * 2019-05-16 2019-08-09 珠海超凡视界科技有限公司 一种基于vr实现灯光拨杆交互的方法、***及装置
CN110196638A (zh) * 2019-05-17 2019-09-03 中电海康集团有限公司 一种基于目标检测和空间投影的移动端增强现实方法和***
CN110221692A (zh) * 2019-03-06 2019-09-10 顶拓科技(武汉)有限公司 一种装配控制的方法、ar眼镜和***
CN110335351A (zh) * 2019-07-02 2019-10-15 北京百度网讯科技有限公司 多模态ar处理方法、装置、***、设备及可读存储介质
CN110470315A (zh) * 2019-06-27 2019-11-19 安徽四创电子股份有限公司 一种景点游客导航方法
CN110493729A (zh) * 2019-08-19 2019-11-22 芋头科技（杭州）有限公司 增强现实设备的交互方法、设备、存储介质及程序产品
CN110580445A (zh) * 2019-07-12 2019-12-17 西北工业大学 一种基于GIoU和加权NMS改进的人脸关键点检测方法
CN111016921A (zh) * 2018-10-10 2020-04-17 哈曼国际工业有限公司 用于确定车辆数据集熟悉度的***和方法
CN111127669A (zh) * 2019-12-30 2020-05-08 北京恒华伟业科技股份有限公司 一种信息处理方法及装置
CN111141217A (zh) * 2020-04-03 2020-05-12 广东博智林机器人有限公司 物体测量方法、装置、终端设备及计算机存储介质
CN111179435A (zh) * 2019-12-24 2020-05-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、***、存储介质和电子设备
CN111246118A (zh) * 2020-04-27 2020-06-05 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
CN111310049A (zh) * 2020-02-25 2020-06-19 腾讯科技（深圳）有限公司 一种信息交互方法及相关设备
CN111340557A (zh) * 2020-02-28 2020-06-26 京东数字科技控股有限公司 互动广告的处理方法、装置、终端及存储介质
CN111383344A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 一种虚拟场景的生成方法及装置、计算机设备、存储介质
CN111462341A (zh) * 2020-04-07 2020-07-28 江南造船(集团)有限责任公司 增强现实的建造辅助方法、装置、终端和介质
WO2020156487A1 (zh) * 2019-02-01 2020-08-06 华为技术有限公司 场景识别方法及装置、终端、存储介质
CN111625100A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 图画内容的呈现方法、装置、计算机设备及存储介质
CN111625103A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 雕塑展示方法、装置、电子设备及存储介质
CN111639975A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种信息推送方法及装置
CN111640190A (zh) * 2020-06-02 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、电子设备及存储介质
CN111638792A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、计算机设备及存储介质
CN111651047A (zh) * 2020-06-05 2020-09-11 浙江商汤科技开发有限公司 一种虚拟物体展示方法、装置、电子设备及存储介质
CN111815786A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 信息显示方法、装置、设备和存储介质
CN111913566A (zh) * 2019-05-10 2020-11-10 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN112034986A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 基于ar的交互方法、终端设备以及可读存储介质
CN112070906A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种增强现实***及增强现实数据的生成方法、装置
CN112148490A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 一种虚拟资源发放方法、装置、设备及存储介质
CN112214314A (zh) * 2020-09-23 2021-01-12 北京市商汤科技开发有限公司 一种虚拟资源发放方法、装置、计算机设备及存储介质
CN112233005A (zh) * 2020-09-21 2021-01-15 中国铁道科学研究院集团有限公司通信信号研究所 一种列车调度终端的三维徽标水印生成方法
CN112256537A (zh) * 2020-11-12 2021-01-22 腾讯科技（深圳）有限公司 模型运行状态的展示方法、装置、计算机设备和存储介质
CN112333498A (zh) * 2020-10-30 2021-02-05 深圳市慧鲤科技有限公司 一种展示控制方法、装置、计算机设备及存储介质
CN112328073A (zh) * 2020-10-27 2021-02-05 广东电网有限责任公司 基于增强现实设备的评标方法、装置、***和计算机设备
CN112330819A (zh) * 2020-11-04 2021-02-05 腾讯科技（深圳）有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112348933A (zh) * 2020-11-18 2021-02-09 北京达佳互联信息技术有限公司 动画生成方法、装置、电子设备及存储介质
CN112642133A (zh) * 2020-11-24 2021-04-13 杭州易脑复苏科技有限公司 基于虚拟现实的康复训练***
WO2021121306A1 (zh) * 2019-12-18 2021-06-24 北京嘀嘀无限科技发展有限公司 视觉定位方法和***
CN113284257A (zh) * 2021-05-25 2021-08-20 成都威爱新经济技术研究院有限公司 一种虚拟场景内容的模块化生成展示方法及***
CN114092546A (zh) * 2021-11-19 2022-02-25 深圳市国华识别科技开发有限公司 卡片识字方法、装置、计算机设备以及存储介质
CN114153214A (zh) * 2021-12-02 2022-03-08 浙江科顿科技有限公司 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质
CN114153315A (zh) * 2021-12-02 2022-03-08 浙江科顿科技有限公司 一种增强现实的分布式服务器智能眼镜***及控制方法
CN114422644A (zh) * 2022-01-25 2022-04-29 Oppo广东移动通信有限公司 设备控制方法、装置、用户设备和计算机可读存储介质
CN114489337A (zh) * 2022-01-24 2022-05-13 深圳市慧鲤科技有限公司 一种ar互动方法、装置、设备及存储介质
WO2023051739A1 (zh) * 2021-09-30 2023-04-06 中兴通讯股份有限公司 图像显示方法及装置、存储介质及电子装置
CN116152469A (zh) * 2023-02-16 2023-05-23 宏景科技股份有限公司 虚拟现实的三维空间数据修正方法
EP4105889A4 (en) * 2020-03-18 2023-08-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR PROCESSING AUGMENTED REALITY, STORAGE MEDIUM AND ELECTRONIC DEVICE
CN117278731A (zh) * 2023-11-21 2023-12-22 启迪数字科技(深圳)有限公司 多视频与三维场景融合方法、装置、设备及存储介质
CN117651160A (zh) * 2024-01-30 2024-03-05 利亚德智慧科技集团有限公司 光影秀的观赏方法、装置、存储介质及电子设备
US12020385B2 (en) 2019-12-24 2024-06-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Augmented reality processing method, storage medium, and electronic device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214222A (zh) * 2011-06-15 2011-10-12 中国电信股份有限公司 通过手机摄像获取景物资讯的预分类及交互***和方法
US20120116920A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality system for product identification and promotion
CN102739852A (zh) * 2011-04-11 2012-10-17 Lg电子株式会社 移动终端及其优惠券管理方法
US20150124106A1 (en) * 2013-11-05 2015-05-07 Sony Computer Entertainment Inc. Terminal apparatus, additional information managing apparatus, additional information managing method, and program
CN104933420A (zh) * 2015-07-03 2015-09-23 北京旷视科技有限公司 一种场景图像识别方法和场景图像识别设备
CN106354742A (zh) * 2016-06-16 2017-01-25 湖南拍晓科技有限公司 一种导航游览信息推送方法
CN106817568A (zh) * 2016-12-05 2017-06-09 网易（杭州）网络有限公司 一种增强现实显示方法和装置
CN107204031A (zh) * 2017-04-27 2017-09-26 腾讯科技（深圳）有限公司 信息展示方法及装置
CN107678538A (zh) * 2017-09-05 2018-02-09 北京原力创新科技有限公司 增强现实***和其中的信息处理方法、存储介质、处理器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116920A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality system for product identification and promotion
CN102739852A (zh) * 2011-04-11 2012-10-17 Lg电子株式会社 移动终端及其优惠券管理方法
CN102214222A (zh) * 2011-06-15 2011-10-12 中国电信股份有限公司 通过手机摄像获取景物资讯的预分类及交互***和方法
US20150124106A1 (en) * 2013-11-05 2015-05-07 Sony Computer Entertainment Inc. Terminal apparatus, additional information managing apparatus, additional information managing method, and program
CN104933420A (zh) * 2015-07-03 2015-09-23 北京旷视科技有限公司 一种场景图像识别方法和场景图像识别设备
CN106354742A (zh) * 2016-06-16 2017-01-25 湖南拍晓科技有限公司 一种导航游览信息推送方法
CN106817568A (zh) * 2016-12-05 2017-06-09 网易（杭州）网络有限公司 一种增强现实显示方法和装置
CN107204031A (zh) * 2017-04-27 2017-09-26 腾讯科技（深圳）有限公司 信息展示方法及装置
CN107678538A (zh) * 2017-09-05 2018-02-09 北京原力创新科技有限公司 增强现实***和其中的信息处理方法、存储介质、处理器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RUOBING YANG: "The study and improvement of Augmented reality based on feature matching", 《2011 IEEE 2ND INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE》 *
乔延军等: "面向户外增强现实的地理实体目标检测", 《地理信息世界》 *
陈金华: "《智慧学习环境构建》", 30 September 2013, 国防工业出版社 *

Cited By (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242981A (zh) * 2018-09-28 2019-01-18 中国科学院苏州生物医学工程技术研究所 双屏交互的增强现实康复训练***
CN109242981B (zh) * 2018-09-28 2021-06-18 中国科学院苏州生物医学工程技术研究所 双屏交互的增强现实康复训练***
CN111016921A (zh) * 2018-10-10 2020-04-17 哈曼国际工业有限公司 用于确定车辆数据集熟悉度的***和方法
CN109739352A (zh) * 2018-12-27 2019-05-10 斑马网络技术有限公司 景观图像的展示方法及设备
CN109858493A (zh) * 2018-12-28 2019-06-07 上海阅面网络科技有限公司 一种基于神经网络的尺度自适应核相关滤波跟踪方法
CN111383344A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 一种虚拟场景的生成方法及装置、计算机设备、存储介质
CN111598976B (zh) * 2019-02-01 2023-08-22 华为技术有限公司 场景识别方法及装置、终端、存储介质
CN111598976A (zh) * 2019-02-01 2020-08-28 华为技术有限公司 场景识别方法及装置、终端、存储介质
US11918900B2 (en) 2019-02-01 2024-03-05 Huawei Technologies Co., Ltd. Scene recognition method and apparatus, terminal, and storage medium
WO2020156487A1 (zh) * 2019-02-01 2020-08-06 华为技术有限公司 场景识别方法及装置、终端、存储介质
CN110221692A (zh) * 2019-03-06 2019-09-10 顶拓科技(武汉)有限公司 一种装配控制的方法、ar眼镜和***
CN110085065A (zh) * 2019-04-11 2019-08-02 武汉湾流科技股份有限公司 一种基于增强现实的焊接模拟训练方法、装置和***
CN111913566A (zh) * 2019-05-10 2020-11-10 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质
CN110111636A (zh) * 2019-05-16 2019-08-09 珠海超凡视界科技有限公司 一种基于vr实现灯光拨杆交互的方法、***及装置
CN110196638B (zh) * 2019-05-17 2023-10-13 中电海康集团有限公司 基于目标检测和空间投影的移动端增强现实方法和***
CN110196638A (zh) * 2019-05-17 2019-09-03 中电海康集团有限公司 一种基于目标检测和空间投影的移动端增强现实方法和***
CN110470315A (zh) * 2019-06-27 2019-11-19 安徽四创电子股份有限公司 一种景点游客导航方法
CN110335351A (zh) * 2019-07-02 2019-10-15 北京百度网讯科技有限公司 多模态ar处理方法、装置、***、设备及可读存储介质
CN110580445B (zh) * 2019-07-12 2023-02-07 西北工业大学 一种基于GIoU和加权NMS改进的人脸关键点检测方法
CN110580445A (zh) * 2019-07-12 2019-12-17 西北工业大学 一种基于GIoU和加权NMS改进的人脸关键点检测方法
CN110493729B (zh) * 2019-08-19 2020-11-06 芋头科技（杭州）有限公司 增强现实设备的交互方法、设备及存储介质
CN110493729A (zh) * 2019-08-19 2019-11-22 芋头科技（杭州）有限公司 增强现实设备的交互方法、设备、存储介质及程序产品
WO2021121306A1 (zh) * 2019-12-18 2021-06-24 北京嘀嘀无限科技发展有限公司 视觉定位方法和***
CN111179435A (zh) * 2019-12-24 2020-05-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、***、存储介质和电子设备
CN111179435B (zh) * 2019-12-24 2024-02-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、***、存储介质和电子设备
US12020385B2 (en) 2019-12-24 2024-06-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Augmented reality processing method, storage medium, and electronic device
CN111127669A (zh) * 2019-12-30 2020-05-08 北京恒华伟业科技股份有限公司 一种信息处理方法及装置
CN111310049A (zh) * 2020-02-25 2020-06-19 腾讯科技（深圳）有限公司 一种信息交互方法及相关设备
CN111310049B (zh) * 2020-02-25 2023-04-07 腾讯科技（深圳）有限公司 一种信息交互方法及相关设备
CN111340557B (zh) * 2020-02-28 2024-02-06 京东科技控股股份有限公司 互动广告的处理方法、装置、终端及存储介质
CN111340557A (zh) * 2020-02-28 2020-06-26 京东数字科技控股有限公司 互动广告的处理方法、装置、终端及存储介质
EP4105889A4 (en) * 2020-03-18 2023-08-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR PROCESSING AUGMENTED REALITY, STORAGE MEDIUM AND ELECTRONIC DEVICE
CN111141217A (zh) * 2020-04-03 2020-05-12 广东博智林机器人有限公司 物体测量方法、装置、终端设备及计算机存储介质
CN111462341A (zh) * 2020-04-07 2020-07-28 江南造船(集团)有限责任公司 增强现实的建造辅助方法、装置、终端和介质
CN111246118A (zh) * 2020-04-27 2020-06-05 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
CN111246118B (zh) * 2020-04-27 2020-08-21 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
CN111640190A (zh) * 2020-06-02 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、电子设备及存储介质
CN111625103A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 雕塑展示方法、装置、电子设备及存储介质
CN111625100A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 图画内容的呈现方法、装置、计算机设备及存储介质
CN111638792A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、计算机设备及存储介质
CN111639975A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种信息推送方法及装置
CN111651047B (zh) * 2020-06-05 2023-09-19 浙江商汤科技开发有限公司 一种虚拟物体展示方法、装置、电子设备及存储介质
CN111651047A (zh) * 2020-06-05 2020-09-11 浙江商汤科技开发有限公司 一种虚拟物体展示方法、装置、电子设备及存储介质
CN111815786A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 信息显示方法、装置、设备和存储介质
CN112070906A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种增强现实***及增强现实数据的生成方法、装置
CN112034986A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 基于ar的交互方法、终端设备以及可读存储介质
CN112233005B (zh) * 2020-09-21 2024-02-09 中国铁道科学研究院集团有限公司通信信号研究所 一种列车调度终端的三维徽标水印生成方法
CN112233005A (zh) * 2020-09-21 2021-01-15 中国铁道科学研究院集团有限公司通信信号研究所 一种列车调度终端的三维徽标水印生成方法
CN112214314A (zh) * 2020-09-23 2021-01-12 北京市商汤科技开发有限公司 一种虚拟资源发放方法、装置、计算机设备及存储介质
CN112148490A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 一种虚拟资源发放方法、装置、设备及存储介质
CN112328073B (zh) * 2020-10-27 2022-07-12 广东电网有限责任公司 基于增强现实设备的评标方法、装置、***和计算机设备
CN112328073A (zh) * 2020-10-27 2021-02-05 广东电网有限责任公司 基于增强现实设备的评标方法、装置、***和计算机设备
CN112333498A (zh) * 2020-10-30 2021-02-05 深圳市慧鲤科技有限公司 一种展示控制方法、装置、计算机设备及存储介质
CN112330819A (zh) * 2020-11-04 2021-02-05 腾讯科技（深圳）有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112330819B (zh) * 2020-11-04 2024-02-06 腾讯科技（深圳）有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112256537B (zh) * 2020-11-12 2024-03-29 腾讯科技（深圳）有限公司 模型运行状态的展示方法、装置、计算机设备和存储介质
CN112256537A (zh) * 2020-11-12 2021-01-22 腾讯科技（深圳）有限公司 模型运行状态的展示方法、装置、计算机设备和存储介质
CN112348933A (zh) * 2020-11-18 2021-02-09 北京达佳互联信息技术有限公司 动画生成方法、装置、电子设备及存储介质
CN112348933B (zh) * 2020-11-18 2023-10-31 北京达佳互联信息技术有限公司 动画生成方法、装置、电子设备及存储介质
CN112642133A (zh) * 2020-11-24 2021-04-13 杭州易脑复苏科技有限公司 基于虚拟现实的康复训练***
CN113284257A (zh) * 2021-05-25 2021-08-20 成都威爱新经济技术研究院有限公司 一种虚拟场景内容的模块化生成展示方法及***
WO2023051739A1 (zh) * 2021-09-30 2023-04-06 中兴通讯股份有限公司 图像显示方法及装置、存储介质及电子装置
CN114092546A (zh) * 2021-11-19 2022-02-25 深圳市国华识别科技开发有限公司 卡片识字方法、装置、计算机设备以及存储介质
CN114153214A (zh) * 2021-12-02 2022-03-08 浙江科顿科技有限公司 一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质
CN114153315A (zh) * 2021-12-02 2022-03-08 浙江科顿科技有限公司 一种增强现实的分布式服务器智能眼镜***及控制方法
CN114489337A (zh) * 2022-01-24 2022-05-13 深圳市慧鲤科技有限公司 一种ar互动方法、装置、设备及存储介质
CN114422644A (zh) * 2022-01-25 2022-04-29 Oppo广东移动通信有限公司 设备控制方法、装置、用户设备和计算机可读存储介质
CN116152469B (zh) * 2023-02-16 2023-10-20 宏景科技股份有限公司 虚拟现实的三维空间数据修正方法
CN116152469A (zh) * 2023-02-16 2023-05-23 宏景科技股份有限公司 虚拟现实的三维空间数据修正方法
CN117278731A (zh) * 2023-11-21 2023-12-22 启迪数字科技(深圳)有限公司 多视频与三维场景融合方法、装置、设备及存储介质
CN117278731B (zh) * 2023-11-21 2024-05-28 启迪数字科技(深圳)有限公司 多视频与三维场景融合方法、装置、设备及存储介质
CN117651160A (zh) * 2024-01-30 2024-03-05 利亚德智慧科技集团有限公司 光影秀的观赏方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108550190A (zh) 增强现实数据处理方法、装置、计算机设备和存储介质
EP3923248A1 (en) Image processing method and apparatus, electronic device and computer-readable storage medium
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN109865289B (zh) 一种基于增强现实技术的实景环境娱乐***及其方法
CN108537110A (zh) 生成三维人脸模型的基于虚拟现实的装置和方法
CN107016704A (zh) 一种基于增强现实的虚拟现实实现方法
US20040104935A1 (en) Virtual reality immersion system
CN107018336A (zh) 图像处理的方法和装置及视频处理的方法和装置
CN110610546B (zh) 视频画面显示方法、装置、终端及存储介质
CN106843460A (zh) 基于多摄像头的多目标位置捕获定位***及方法
CN107689082A (zh) 一种数据投影方法以及装置
JP2015502584A (ja) 可搬装置、仮想現実システムおよび方法
CN106982240A (zh) 信息的显示方法和装置
CN112927349B (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
CN111798562B (zh) 一种虚拟建筑空间搭建与漫游方法
CN106780707B (zh) 模拟场景中全局光照的方法和装置
CN110275968A (zh) 图像数据处理方法和装置
CN110286751A (zh) 一种虚拟场景数字化应用交互方法
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
CN107851329A (zh) 基于多个模型显示对象
CN108961423A (zh) 虚拟信息处理方法、装置、设备及存储介质
CN108597034A (zh) 用于生成信息的方法和装置
Adithya et al. Augmented reality approach for paper map visualization
CN109298776B (zh) 增强现实互动***、方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination