CN108388637A - 一种用于提供增强现实服务的方法、装置以及相关设备 - Google Patents

一种用于提供增强现实服务的方法、装置以及相关设备 Download PDF

Info

Publication number
CN108388637A
CN108388637A CN201810159281.3A CN201810159281A CN108388637A CN 108388637 A CN108388637 A CN 108388637A CN 201810159281 A CN201810159281 A CN 201810159281A CN 108388637 A CN108388637 A CN 108388637A
Authority
CN
China
Prior art keywords
scene image
augmented reality
reality scene
real
world object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810159281.3A
Other languages
English (en)
Inventor
黄蓉
钟庆华
刘立强
廖戈语
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810159281.3A priority Critical patent/CN108388637A/zh
Publication of CN108388637A publication Critical patent/CN108388637A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种用于提供增强现实服务的方法,包括:终端获取包含现实对象的现实场景图像,向服务器发送该现实场景图像,服务器将现实场景图像与预先存储的对象图像进行匹配,根据被匹配的对象图像中所包含对象对应的标识,在数据库中获取与标识对应的显示信息作为增强现实内容,并将该增强现实内容发送给终端,使得终端根据显示信息和现实场景图像显示包括现实对象及其显示信息的增强现实场景图像。该方法采用AR技术打通了线上和线下的现实对象的显示信息例如评价信息的共享渠道,方便用户在线下利用移动终端就能够体验到具有该现实对象的评价信息的增强现实的场景。本申请还公开了一种用于提供增强现实服务的装置。

Description

一种用于提供增强现实服务的方法、装置以及相关设备
技术领域
本申请涉及增强现实技术领域,尤其涉及一种用于提供增强现实服务的方法、装置、设备及计算机可读存储介质。
背景技术
增强现实(英文:Augmented Reality,简称:AR)是一种基于虚拟现实(英文:Virtual Reality,简称:VR)技术的改进技术。其中,VR技术是一种利用计算机图形***和各种接口设备,在计算机上生成可交互的三维环境,即虚拟场景,并通过该三维环境为用户提供沉浸感的技术;而AR技术则能够将现实场景与虚拟场景进行实时融合,即,AR是在现实世界输入的基础上合成虚拟信息,并提供通过仅从现实世界难以获得的附加信息所加强的合成信息,从而实现对现实的增强,以此,为用户提供更加逼真的增强现实场景,进一步增强了用户的沉浸感。
目前,AR技术已经被推广应用在人们的实际生活中,比较热门的应用是在电商平台中,电商平台为了发布营销活动,而针对特定的商品或者特定商品图像提供有增强现实服务,例如,用户使用移动设备启动电商应用的扫一扫功能扫特定的商品,则电商应用为用户播放一段增强现实画面,如预先设置好的营销活动的AR视频,从而通过AR视频为用户推广其营销活动。
但目前AR技术的应用方式比较单一,难以满足人们日益增长的个性化、便捷化的增强现实的服务需求。
发明内容
基于此,本申请提供了一种用于提供增强现实服务的方法,该方法采用AR技术打通了线上和线下的现实对象的显示信息例如评价信息的共享渠道,方便用户在线下利用终端就能够体验到具有该现实对象的显示信息例如评价信息的增强现实的场景,从而实现了能够满足用户个性化、便捷化的增强现实的服务需求。
具体的,在本申请第一方面提供了一种用于提供增强现实服务的方法,该方法可以应用于终端,该方法包括:
终端向服务器发送现实场景图像,所述现实场景图像是指包含现实对象的图像;
所述终端接收所述服务器发送的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
所述终端根据所述显示信息和所述现实场景图像显示增强现实场景图像。
在本申请第二方面提供了一种用于提供增强现实服务的方法,该方法可以应用于服务器,该方法包括:
服务器接收终端发送的现实场景图像,所述现实场景图像是指包含现实对象的图像;
所述服务器将所述现实场景图像与预先存储的对象图像进行匹配;
若所述现实场景图像与某个对象图像相匹配,则所述服务器根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
所述服务器向所述终端发送所述增强现实内容。
在本申请第三方面提供了一种用于提供增强现实服务的装置,该装置包括:
发送模块,用于向服务器发送现实场景图像,所述现实场景图像是指针对现实对象所拍摄的图像;
接收模块,用于接收所述服务器发送的增强现实内容,所述增强现实内容包括针对所述现实对象的显示信息;
增强现实模块,用于根据所述显示信息和所述现实场景图像显示增强现实场景图像。
在本申请第四方面提供了一种用于提供增强现实服务的装置,该装置包括:
接收模块,用于接收终端发送的现实场景图像,所述现实场景图像是指针对现实对象所拍摄的图像;
匹配模块,用于将所述现实场景图像与预先存储的对象图像进行匹配;
获取模块,用于若所述现实场景图像与某个对象图像相匹配,根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
发送模块,用于向所述终端发送所述增强现实内容。
在本申请第五方面提供了一种用于提供增强现实服务的设备,该设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行上述第一方面所述的用于提供增强现实服务的方法。
在本申请第六方面提供了一种用于提供增强现实服务的设备,该设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行上述第二方面所述的用于提供增强现实服务的方法。
在本申请第七方面提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述第一方面或者第二方面所述的用于提供增强现实服务的方法。
在本申请第八方面提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得所述计算机执行上述第一方面或者第二方面所述的用于提供增强现实服务的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种用于提供增强现实服务的方法,终端获取包含现实对象的现实场景图像,向服务器发送该现实场景图像,服务器将现实场景图像与预先存储的对象图像进行匹配,根据被匹配的对象图像中所包含对象对应的标识,在数据库中获取与标识对应的显示信息作为增强现实内容,并将该增强现实内容发送给终端,使得终端根据该现实对象的显示信息和现实场景图像显示包括现实对象及其相关显示信息的增强现实场景图像。
由上可知,本申请提供的方法采用AR技术打通了线上和线下的现实对象相关的显示信息例如评价信息的共享渠道,方便用户在线下利用终端就能够体验到具有该现实对象的显示信息例如评价信息的增强现实的场景,从而实现了能够满足用户个性化、便捷化的增强现实的服务需求。
附图说明
图1为本申请用于提供增强现实服务的方法在实际应用中的场景示例图;
图2为本申请实施例中用于提供增强现实服务的方法一个交互实施例示意图;
图3为本申请实施例中终端侧用于提供增强现实服务的方法一个实施例示意图;
图4为本申请实施例中终端根据评价信息和现实场景图像显示增强现实场景图像的流程示意图;
图5为本申请实施例中一个具体的应用场景下,终端与服务器交互流程示意图;
图6为本申请实施例中一个具体的应用场景下,现实场景图像的生成过程示意图;
图7为本申请实施例中一个具体的应用场景下,智能手机与服务器进行交互获取增强现实内容的过程示意图;
图8为本申请实施例中一个具体的应用场景下,生成增强现实场景图像的示意图;
图9为本申请实施例中一个具体的应用场景下,用户查看评价兴趣并对现实对象进行评价的示意图;
图10为本申请实施例中一个具体的应用场景下,查看现实对象在线上商店的网络链接的过程示意图;
图11为本申请实施例中服务器侧用于提供增强现实服务的方法的一个实施例示意图;
图12为本申请实施例中服务器侧将现实场景图像与预先存储的对象图像进行匹配的流程示意图;
图13为本申请实施例中一个具体的应用场景下,服务器获取增强现实内容的过程示意图;
图14为本申请实施例中终端一个实施例示意图;
图15为本申请实施例中终端另一个实施例示意图;
图16为本申请实施例中终端另一个实施例示意图;
图17为本申请实施例中终端另一个实施例示意图;
图18为本申请实施例中终端另一个实施例示意图;
图19为本申请实施例中终端另一个实施例示意图;
图20为本申请实施例中服务器一个实施例示意图;
图21为本申请实施例中服务器另一个实施例示意图;
图22为本申请实施例中服务器另一个实施例示意图;
图23为本申请实施例中终端的一个结构示意图;
图24为本申请实施例中服务器的一个结构示意图。
具体实施方式
目前,增强现实技术主要应用于电商平台,电商平台为了发布营销活动,而针对特定的商品或者特定商品图像提供有增强现实服务,例如,用户使用终端设备启动电商应用的扫一扫功能扫特定的商品,则电商应用为用户播放一段增强现实画面,如预先设置好的营销活动的AR视频,从而通过AR视频为用户推广其营销活动。这种应用方式比较单一,难以满足人们日益增长的个性化、便捷化的增强现实的服务需求。
有鉴于此,本申请实施例提供了一种用于提供增强现实服务的方法、装置、设备以存储介质以及相关程序产品,使得用户在在线下利用终端就能够体验到具有现实对象的显示信息例如评价信息的增强现实的场景,从而实现了能够满足用户个性化、便捷化的增强现实的服务需求。
为了便于理解本申请的技术方案,本申请提供了一种用于提供增强现实服务的方法的应用场景示意图。需要说明的是,本申请的方法是可以应用到任意一种终端中,并不局限于移动终端;例如,可以也应用于具有数据处理功能的PC设备等固定类终端中。但为了方便描述,下文实施例中仅以应用在移动终端中为例对本申请的方法进行解释说明,可以理解的是,该方法应用于其他终端类的方式与应用于移动终端中的方式是相同的,因此不再赘述。
请参见图1,图1为本申请实施例中用于提供增强现实服务的方法的应用场景示意图,如图1所示,该应用场景中包括移动终端100、服务器200和数据库300。其中,移动终端100为具有增强现实功能的移动终端设备,包括智能手机、平板电脑等设备,也可以包括AR一体式设备,如AR眼镜、AR手表等可穿戴AR设备,此处以智能手机为例进行介绍,然而并不应构成对本申请方案的限定。服务器200用于接收移动终端100发送的现实场景图像,并根据该现实场景图像,从数据库300获取对应的增强现实内容,其中,增强现实内容包括现实对象的显示信息,该现实对象的显示信息可以理解为与该现实对象相关的虚拟信息,可选的,该显示信息可以包括评价信息。当然,也不局限于评价信息,该显示信息也可以包括现实对象的相关属性信息等等。如此,移动终端可以根据包含现实对象的现实场景图像以及现实对象对应的显示信息生成并显示增强现实场景图像。为了便于理解,下面以显示信息包括针对现实对象的评价信息为例进行解释说明。
在图1所示的应用场景中,用户可以通过移动终端100触发启动增强现实应用的操作,移动终端100响应于该操作对现实对象进行扫描生成现实场景图像。对现实对象进行扫描的过程具体可以为,启动移动终端100的摄像头,对现实对象进行拍摄生成现实场景图像。例如,对于咖啡馆陈列的咖啡,从正视角度对咖啡进行拍摄,生成针对咖啡的现实场景图像。然后,移动终端100将该现实场景图像发送给服务器200。
服务器200在接收到现实场景图像后,可以根据现实场景图像从数据库300中获取现实对象的评价信息,将该评价信息作为现实对象的增强现实内容发送给移动终端100。其中,数据库300中存储有现实对象的评价信息,具体为建立现实对象的标识以及评价信息的映射关系并对映射关系进行存储。基于此,服务器200可以根据现实对象的标识在数据库300中检索以获得与标识对应的评价信息。在一些可能的实现方式中,服务器200可以将现实场景图像与预先存储的对象进行匹配,将被匹配的对象图像所包含对象的标识作为现实对象的标识,并且基于该标识在数据库300中检索以获取对应的评价信息。
移动终端100接收到服务器200发送的现实对象的评价信息后,可以将评价信息与现实场景图像融合,生成增强现实场景图像。如图1所示,对咖啡进行扫描生成的现实场景图像的基础上,融合了评价信息“超级好喝”、“口感超赞!!!味道好好~”等等,从而生成包含该咖啡的评价信息的增强现实场景图像。这些评价信息主要是来自与不同的用户的文本评论,评价信息还可以包括综合了较多用户评价的评分,其中,评分可以通过数字或者星号等方式中的至少一种体现。在有些情况下,增强现实内容还可以包括现实对象的物理名称、品牌等等,如图1所示,在增强现实场景图像所包含的现实对象的上方,可以展示现实对象的品牌,如“咖啡陪你”,如此,用户可以直观地将品牌与评价信息对应。
通过移动终端在现实场景图像上融合针对现实对象的评论信息,打通线上和线下的现实对象的评价信息共享渠道,方便用户在线下利用移动终端就能够体验到具有该现实对象的评价信息的增强现实的场景,并且增强了互动性,够满足用户个性化、便捷化的增强现实的服务需求。
需要说明,数据库300可以是独立的,也可以集成在服务器200之上,当数据库集成在服务器200之上时,可以减少服务器200和数据库300之间的传递时间,服务器能够较快地获取增强现实内容。本实施例以服务器200与数据库300相互独立对本申请的技术方案进行示例性说明,并不构成对本申请技术方案的限制。
为了便于理解,下面将从交互的角度,对本申请实施例提供的一种用于提供增强现实服务的方法进行介绍。请参见图2,图2为本申请实施例中用于提供增强现实服务方法的方法流程图,如图2所示,具体为:
S201:移动终端向服务器发送现实场景图像,该现实场景图像是包含现实对象的图像。
S202:服务器将现实场景图像与预先存储的对象图像进行匹配。若该现实场景图像与某个对象图像相匹配,则执行步骤S203。
S203:服务器根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,该增强现实内容包括该现实对象的显示信息。
S204:服务器向移动终端发送该现实对象的显示信息。
S205:移动终端根据显示信息和现实场景图像显示增强现实场景图像。
在该实施例中,移动终端与服务器进行交互,获取现实场景图像中所包含现实对象的显示信息例如评价信息的增强现实内容,将增强现实内容与现实场景图像进行融合,生成并显示增强现实场景图像,从而打通了线上和线下现实对象的显示信息例如评价信息的共享渠道,用户在线下可以利用移动终端体验包含现实对象的评价信息的增强现实场景,而不需要额外的操作,并且该方法采用了虚实结合的方式,具有较好的互动性,提高了用户体验。
以上主要从移动终端与服务器交互的角度对本申请实施例提供的一种用于提供增强现实服务方法进行了简单的介绍,为了使本申请的技术方案更清楚,接下来将分别从移动终端和服务器的角度对本申请实施例中用于提供增强现实服务的方法进行介绍。
首先从移动终端的角度,对本申请中提供增强现实服务的方法进行介绍,请参见图3,本申请实施例中提供增强现实服务的方法一个实施例包括:
S301:移动终端向服务器发送现实场景图像,所述现实场景图像是指包含现实对象的图像。
现实对象可以理解为一种与虚拟对象相对应的概念,是现实中确实存在的、看得见、摸得着的对象。现实对象可以是用于生产、办公、生活等领域的各种物件,包括贴标生产的商品和线下商店售卖的具有品牌标识性的包装商品,如星巴克的咖啡、麦当劳的汉堡等等。现实对象还可以是人,包括明星、科学家、作家等公众人物,或者医院的医生、学校的教师等等。
现实场景图像可以是针对现实对象实时拍摄所得到的图像。例如,用户在线下的超市或商场购物,意图购买某种商品时,可以使用移动终端的摄像头对该商品进行拍摄,得到针对该商品的现实场景图像。当用户在医院就诊,想要知道对该医生的业务水平等方面的评价时,可以拍摄医生的图片,得到针对该医生的现实场景图像。类似的,当用户想知道学校里的某位教师的教学水平等信息时,可以拍摄该教师的图片,得到针对该教师的现实场景图像。
需要说明,在对现实对象进行拍摄时,可以从多角度进行拍摄,得到现实场景图像。例如,针对星巴克的拿铁咖啡,可以从正视、俯视的角度分别进行拍摄,将得到的多张图像作为针对该咖啡的现实场景图像,也可以从中选取最能体现该对象特征如品牌名称、logo标识等特征的图片作为针对该对象的现实场景图像。
现实场景图像也可以是用户预先针对现实对象所拍摄的图像。例如,当网络质量状况不佳时,用户可以先针对现实对象进行拍摄,并将拍摄的图片保存在本地,当用户处于网络质量较好的区域时,可以调用该保存在本地的图片作为现实场景图像,以便获取到相应的增强现实场景图像。
在本实施例一些可能的实现方式中,移动终端可以响应于用户触发的用于启动增强现实应用的操作,利用增强现实应用扫描现实对象生成现实场景图像。其中,增强现实应用是指具有增强现实功能的应用程序或小程序。增强现实应用可以是集成增强现实功能的应用程序,如微信、QQ等,还可以是独立的、具有增强现实功能的应用程序,如scan it。以QQ作为示例,用户启动QQ,点击“扫一扫”按钮,移动终端可以响应于用户触发的启动增强现实应用的扫一扫功能的操作,执行启动摄像头的操作,通过摄像头对现实对象进行扫描,生成现实场景图像。因此,本实施例提供的用于提供增强现实服务的方法具有良好的实时性,当用户需要在线下体验具有现实对象的显示信息例如评价信息的增强现实的场景时,可以通过触发启动增强现实应用的操作,使得增强现实应用可以实时地扫描现实对象,并实时地生成具有该现实对象的显示信息例如评价信息的增强现实场景。
现实场景图像还可以是用户从网络中获取的包含现实对象的图像。例如,用户在浏览朋友圈时,对好友发出的品牌名称为“咖啡陪你”的咖啡的照片感兴趣时,可以将这张照片作为现实场景图像。
在本实施例中,增强现实服务是由增强现实服务提供***中的移动终端、服务器以及数据库协同工作而实现的,因此,移动终端在获取到现实场景图像后,还需要将现实场景图像发送给服务器,以便服务器可以对该现实场景图进行相应的处理。
S302:移动终端接收服务器发送的增强现实内容,所述增强现实内容包括针对所述现实对象的显示信息。
为了便于理解,首先对增强现实技术也即AR技术进行简单地介绍。
AR技术,是一种利用摄影机影像的位置及角度精算并结合图像、视频、3D模型的技术,对现实影像的位置进行感知和计算,再将虚拟影像叠加到现实影像上从而实现虚拟和现实结合并互动的计算机技术。因此,利用AR技术能够将现实场景与虚拟场景进行实时叠加,也即在现实世界输入的基础上合成虚拟信息,并提供通过仅从现实世界难以获得的附加信息所加强的合成信息,从而实现对现实的增强,以此,为用户提供更加逼真的增强现实场景,进一步增强用户的沉浸感。
基于此,增强现实内容可以理解为,对现实场景图像进行增强,以增强用户的沉浸感的一种信息。在本实施例中,增强现实内容主要包括针对现实对象的显示信息。在本申请实施例一些可能的实现方式中,显示信息可以是针对现实对象的评价信息。针对现实对象的评价信息可以帮助用户对现实对象进行更深入地了解,进一步地可以帮助用户作出有利的选择。例如,用户在线下购买商品时,可以先对商品进行拍摄生成现实场景图像,然后获取该商品对应的增强现实内容,具体为获取针对该商品的线上评价信息,如此,用户可以根据线上评价信息,决定是否购买该商品或者在哪里购买该商品。
需要说明,评价信息可以是服务器从预先存储有各种现实对象的评价信息的数据库中获取的。其中,数据库中的评价信息可以是基于本申请实施例中的增强现实应用获取的,例如,当存在用户通过本申请实施例提供的方法触发对现实对象的评价操作时,可以将评价信息存储到数据库,以便有用户需要获取针对现实对象的评价信息时,可以从数据库中获取。数据库中的评价信息,也可以是基于电商平台包括淘宝、京东、亚马逊等获取到的评价信息,或者是基于点评网站,包括大众点评网、Yelp等网站获取到的针对现实对象的评价信息。作为本申请的一个具体示例,可以通过网络爬虫的方式中抓取网页中对现实对象的评价内容,作为该现实对象的评价信息。
在上文中对服务器获取针对现实对象的评价信息进行了简单的介绍,关于服务器如何获取针对现实对象的评价信息的详细过程将在服务器侧实施例进行详细地介绍,在此不作重点描述。
在有些情况下,用户除了想了解针对该现实对象的评价信息外,还想知道该现实对象的价格等信息,以便根据价格等信息作出抉择。基于此,增强现实内容还可以包括现实对象的相关属性信息。可以理解的是,针对现实对象的显示信息可以包括针对该现实对象的评价信息,也可以包括现实对象的相关属性信息,当然也可以同时包含评价信息和现实对象的相关属性信息。其中,相关属性信息包括表征现实对象的属性的相关信息,相关属性信息可以包括物理名称、品牌、标识、现实对象在线上商店的网络链接至少一种信息,如此,用户可以获取到除评价信息以外的其他信息,进而从其他角度对该现实对象进行深入地了解,从而帮助用户作出更有利的抉择。
其中,物理名称可以理解为现实对象的品名,例如咖啡、水杯、键盘等等,品牌即现实对象的品牌名称,如针对咖啡,品牌可以包括星巴克、咖啡陪你等等,标识即现实对象的标志,通常由文字或图形以及色彩组成,例如,咖啡陪你的标识为,背景整体呈深棕色,中间一个字母b,b的上方存在一颗咖啡树,下方为文字“caffebene”的图案。
还需要说明,当现实对象为人时,增强现实内容除了包括对人的评价信息外,还可以包括人的履历、作品等相关属性信息。以明星为例,针对明星的增强现实内容还可以包括该明星的作品、荣誉等等。当现实对象为某医生时,针对该医生的增强现实内容还可以包括该医生的背景、履历、医学著作、医疗事迹等等。类似的,当现实对象为教师时,针对该教师的增强现实内容还可以包括该教师的背景、履历、职称、教学成果等等。
S303:移动终端根据所述显示信息和所述现实场景图像显示增强现实场景图像。
增强现实场景图像是指对现实场景图像进行增强所得到的图像。在本实施例中,增强现实场景图像是根据增强现实内容和现实场景图像生成的。具体为在真实场景图像的基础上,叠加针对现实对象的显示信息等增强现实内容,将真实场景中的现实对象与针对现实对象的评价信息等增强现实内容进行融合,现实对象的真实信息与增强现实内容中的相关信息,如针对现实对象的评价信息可以相互补充,为用户提供更好的交互体验。
其中,对增强现实内容和现实场景图像融合的方式可以根据需求灵活设置。在一些可能的实现方式中,可以将增强现实内容的全部与现实场景图像进行融合,生成增强现实图像。以显示信息为评价信息作为示例进行说明,当移动终端接收到服务器发送的针对现实对象的评价信息时,可以将全部评价信息融合到现实场景图像中,以便于用户查看。需要说明,当评价信息数量较多,当前现实场景图像无法将评价信息完全融合时,可以对采用相同或相似的现实场景图像分别融合不同的评价信息,可以通过手势控制融合后的图像切换,例如通过左滑、右滑或者上滑、下滑的手势控制融合后的图像切换。有些情况下,为了避免频繁的手势操作,还可以形成关于现实对象以及增强现实内容的影像,通过影像的方式自动控制融合后的图像切换。
在本申请实施例另一些可能的实现方式中,当增强现实内容中显示信息携带的信息量较多,而用户并不需要增强现实内容的全部信息量时,可以对增强现实内容进行筛选,将筛选后的增强现实内容与现实场景图像进行融合,生成增强现实场景图像。其中,对增强现实内容进行筛选的方式包括按时间、按热度等方式中的至少一种,还可以基于增强现实应用中的好友列表进行筛选。
作为本申请的一个具体示例,移动终端还可以从增强现实内容中筛选出用户好友针对现实对象的第一评价信息;根据第一评价信息和现实场景图像显示增强现实场景。具体地,服务器在向移动终端发送针对现实对象的评价信息时,可以同步发送与该评价信息相对应的评价者名称,评价者名称可以是评价者在增强现实应用中的昵称、用户名或者注册帐号等等,当某一评价者名称与用户好友的昵称、用户名或者注册帐号相符时,移动终端可以与该评价者名称相对应的评价信息确定为第一评价信息,根据第一评价信息与现实场景图像显示增强现实场景图像。
举例说明,若增强现实应用为QQ,服务器将评价信息以及评价者的QQ名一并发送给移动终端,移动终端对评价者的QQ名与用户好友的QQ名进行匹配,当某一评价者的QQ名与用户好友的QQ名相匹配时,将被匹配的评价者对应的评价信息确定为第一评价信息,将第一评价信息与现实场景图像进行融合,生成增强现实场景图像,并对该增强现实场景图像进行显示。
通过筛选好友针对现实对象的第一评价信息,根据第一评价信息和现实场景图像显示增强现实场景图像,可以使得用户能够快速获取好友对现实对象的评价信息,相较于陌生人对现实对象的评价信息,好友的评价信息具有更高的可信度,对用户更具有参考价值,以此提高增强现实应用的交互性,提高用户体验。
作为本申请的另一具体示例,移动终端还可以从增强现实内容中图像筛选出优先级排序靠前的第二评价信息;根据第二评价信息和现实场景图像显示增强现实场景图像。其中,优先级是指评价信息显示的优先等级,优先级高的评价信息先于优先级低的评价信息显示。在本实施例中,用户可以根据实际需求自定义设置优先级,例如,可以依据评论信息的热度,包括点赞数量、转发数量等等,确定优先级,也可以根据评论者的信誉等级等来确定优先级,也可以根据评论信息的网络来源确定优先级。具体的,服务器在在向移动终端发送针对现实对象的评价信息时,可以同步发送确定各评价信息的热度信息和/或评价信息对应的评价者等级,移动终端可以依据热度信息和/或评价者等级或者评论信息来源,确定各评价信息的优先级,然后按照优先级由高至低对评价信息进行排序,将优先级排序靠前的评价信息作为第二评价信息,对第二评价信息和现实场景图像进行融合,生成包含第二评价信息的增强现实场景图像。
举例说明,若增强现实应用为QQ,服务器将评价信息以及该评价信息对应的点赞数量一并发送给移动终端,移动终端根据点赞数量对各评价信息进行排序,将点赞数量排名前5的评价信息作为第二评价信息,对第二评价信息和现实场景图像进行融合,生成包含第二评价信息的增强现实场景图像。
通过筛选优先级排序靠前的第二评价信息,根据第二评价信息和现实场景图像显示增强现实场景图像,可以实现根据用户的需求呈现具有用户感兴趣的第二评价信息的增强现实场景,而无需用户自行从较多的评价信息中查找感兴趣的评价信息,节省了查找时间,提高了用户体验。
当对增强现实内容进行筛选,将筛选后的增强现实内容与现实场景图像进行融合,生成增强现实场景图像时,还可以在增强现实场景图像中生成跳转控件,当该跳转控件被触发时,可以调转至增强现实内容的完整页面。其中,增强现实内容为针对现实对象的评价信息时,增强现实内容的完整页面可以是评价详情页。通过上述设置,可以在提高用户获取感兴趣的信息的效率的同时,为用户获取较为全面的信息提供渠道。
在一些可能的实现方式中,移动终端可以调用增强现实内容驱动引擎,通过所述增强现实内容驱动引擎利用所述增强现实内容对所述现实场景图像进行合成处理生成增强现实场景图像。其中,移动终端生成增强现实场景图像可以通过计算机程序实现,而计算机程序实现增强现实功能的程序主体或者组件即为本实施例中的增强现实内容驱动引擎。具体地,增强现实内容引擎可以对现实场景图像和增强现实内容的数据进行合成处理,得到增强现实场景图像数据,根据增强现实场景图像数据可以生成增强现实场景图像。
在生成增强现实场景图像后,增强现实内容驱动引擎可以加载增强现实场景图像,实现对增强现实场景图像的显示。
需要说明,增强现实场景图像可以在移动终端的显示屏上进行显示,也可以独立于移动终端的显示屏进行显示。例如,该方法由智能手机、平板电脑或PDA等设备执行时,增强现实场景图像可以在该智能手机、平板电脑或PDA的显示屏上进行显示。当该方法由AR一体式设备执行时,可以通过AR一体式设备屏幕对增强现实场景图像进行显示。其中,AR一体式设备包括AR眼镜、AR手表等等。以AR眼镜为例对现实增强现实场景图像过程进行简要说明,AR眼镜一般包括透镜和屏幕,通过透镜成像原理,可以在屏幕前方形成虚像,该虚像即为增强现实场景图像,如此,可以实现对增强现实场景图像的显示。
本申请实施例中,提供了一种用于提供增强现实服务的方法,首先移动终端向服务器发送现实场景图像,现实场景图像是指针对现实图像所拍摄的图像,然后移动终端接收服务器发送的增强现实内容,增强现实内容包括针对现实对象的显示信息,移动终端根据增强现实内容和现实场景图像显示增强现实场景图像。本实施例通过采用AR技术打通了线上和线下的现实对象的显示信息例如评价信息的共享渠道,方便用户在线下利用移动终端就能够体验到具有该现实对象的显示信息例如评价信息的增强现实的场景,从而实现了能够满足用户个性化、便捷化的增强现实的服务需求。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的用于提供增强现实服务的方法第一个可选实施例中,参见图4,图4为移动终端根据评价信息和现实场景图像显示增强现实场景图像的流程示意图,具体包括:
S401:移动终端根据显示信息绘制生成包含显示信息的虚拟图像。
如上文所述,显示信息可以包括评价信息,其中,评价信息是指对现实对象的评论和/或评分,为了减少占用的资源,一般采用数据而非图像的方式存储评价信息。评价信息属于数据域,而现实场景图像属于图像域,为了更好地对评价信息和现实场景图像进行融合,移动终端可以将评价信息转换至图像域。
在图像处理领域,可以采用图像生成算法或者图像重建算法等图像处理算法,对评价信息进行绘制,生成包含评价信息的虚拟图像。需要说明,移动终端可以对评价信息进行筛选,得到第一评价信息或第二评价信息,然后对对应的第一评价信息或第二评价信息进行绘制,生成包含第一评价信息或第二评价信息的虚拟图像。
S402:移动终端定位现实场景图像中的现实对象的位置区域。
现实场景图像一般是对现实对象进行拍摄而生成的,现实对象一般并不会孤立地存在,而是依托于一定环境或者背景存在,因此,现实场景图像中除了包含用户选定的现实对象外,还包括背景、环境或者其他现实对象。
在本实施例中,移动终端可以对现实场景图像中的现实对象进行定位,定位出现实对象的位置区域。通过对现实场景图像中的现实对象进行定位,可以在虚拟图像与现实场景图像进行融合时,按照现实对象的位置区域进行融合,从而提高融合的精准度。
其中,对现实对象进行定位可以有多种实现方式。在本实施例一些可能的实现方式中,可以采用基于区域的卷积神经网络对现实场景图像进行处理,识别出现实场景图像中现实对象所在的位置区域。需要说明,由于现实场景图像中可以存在不止一个现实对象,在有些情况下,卷积神经网络可以识别出多个现实对象的位置区域,可以基于在现实图像中的位置等因素,从多个位置区域中筛选出一个,作为现实对象的位置区域,例如,可以将处于现实图像中央的位置区域,作为现实对象的位置区域。
需要说明,本实施例对S401和S402的执行顺序不做限定,可以同时执行,也可以按照设定的顺序执行。
S403:移动终端根据现实对象的位置区域,将虚拟图像与现实场景图像进行融合生成并显示增强现实场景图像。
移动终端获取到现实对象的位置区域后,可以确定现实对象的中心位置以及边缘位置。移动终端可以以现实对象的中心位置为中心,将虚拟图像均匀地放置在现实对象的边缘位置,然后将虚拟图像与现实场景图像进行融合生成增强现实场景图像,并对该增强现实场景图像进行显示。
移动终端获取到现实对象的位置区域后,也可以基于该位置区域随机地确定几个位置点,然后基于所确定的这几个位置点将虚拟图像与现实场景图像进行融合生成增强现实场景图像,并对该增强现实场景图像进行显示。
移动终端也可以监控现实对象的位置区域的变化情况,根据现实对象的位置区域的变化情况,重新融合并更新增强现实场景图像。
当显示信息还包括现实对象的品牌、价格等相关属性信息时,还可以生成相关属性信息的虚拟图像,并根据现实对象的位置区域,将这些相关属性信息的虚拟图像放置在合适位置,进行融合生成并显示包含相关属性信息的增强现实场景图像。例如,增强现实内容中还包括现实对象的品牌时,还可以将包含品牌的虚拟图像放置在现实对象位置区域的正上方,对包含品牌的虚拟图像与现实场景图像融合,生成并显示包含品牌信息的增强现实场景图像。
以上仅为根据现实对象的位置区域,将虚拟图像与现实场景图像进行融合生成并显示增强现实场景图像的一个具体示例,在本实施例中,还可以将虚拟图像放置在现实场景图像中现实对象位置区域以外的位置,进行融合,生成并显示增强现实场景图像。针对其具体实现方式,这里不再一一列举。
由上可知,本申请实施例提供了一种移动终端根据评价信息和现实场景图像显示增强现实场景图像的方法,移动终端根据评价信息绘制生成包含评价信息的虚拟图像,定位现实场景图像中的现实对象的位置区域,然后根据现实对象的位置区域,对现实场景图像和虚拟图像进行融合,生成并显示增强现实场景图像,由于对现实对象在现实场景图像中的位置区域进行了定位,因而在对现实场景图像和虚拟图像进行融合时,能够根据现实对象的位置区域进行融合,具有较高的融合精准度,融合生成的增强现实场景图像更贴近真实场景,满足了用户的需求,提高了用户体验。
可选地,在上述图4对应的一个实施例的基础上,本申请实施例提供的用于提供增强现实服务的方法第二个可选实施例中,在移动终端根据增强现实内容和现实场景图像显示增强现实场景图像,还可以包括:
移动终端接收用户输入的针对所述现实对象的第三评价信息,根据第三评价信息绘制生成第三评价信息的虚拟图像,并将包含第三评价信息的虚拟图像增强至增强现实场景图像中。
本实施例的目的之一即在于采用增强现实技术,打通线上线下评价信息的共享渠道,前述实施例主要对获取并显示针对现实对象的评价信息进行了介绍,为了实现评价信息共享,用户还可以通过移动终端对现实对象进行评价,生成第三评价信息。类似的,移动终端可以绘制包含第三评价信息的虚拟图像,将该虚拟图形与现实场景图像融合,生成包含第三评价信息的增强现实场景图像,并对该第三评价信息的增强现实场景图像进行显示。基于此,用户可以在线下利用移动终端体验具有现实对象评价信息的增强现实场景,并且还可以实时对现实对象进行评价,移动终端可以向服务器发送用户针对现实对象输入的第三评价信息,从而实现对评价信息的数据库进行更新。
需要说明,用户在针对现实对象进行评价时,可以通过打分、打星号、文字评论、图片评论等方式中的至少一种进行评价。为了方便操作,用户针对现实对象进行评价的页面,可以为评价详情页,如此,可以使得用户在查看完整评价信息的同时,对现实对象进行评价。当然,作为本实施例一种可能的实现方式,用户针对现实对象进行评价的页面也可以独立于评价详情页而存在,可以通过在增强现实场景图像界面增加评价控件,当用户通过该控件触发对现实对象进行评价的动作时,移动终端的显示界面可以跳转至独立的评价页面,如此用户可以在该独立的评价页面对现实对象进行评价。
由上可知,本实施例在提供增强现实服务的基础上,还提供了用户对现实对象进行评价的渠道,用户对现实对象的第三评价信息发送给服务器,服务器可以对评价信息的数据库进行更新。这种更新机制可以使得用户能够获取到针对现实对象较新的评价信息,较新的评价信息可以帮助用户作出更好的选择,满足用户便捷化的增强现实服务需求。
可选地,在上述图3对应的一个实施例的基础上,本申请实施例提供的用于提供增强现实服务的方法第三个可选实施例中,增强现实内容还包括现实对象在线上商店的网络链接,提供增强现实服务的方法还包括:
移动终端响应于用户针对网络链接触发的查看操作,显示现实对象对应的网页。
线上商店的网络链接是指现实对象在线上购物平台中的网页地址。需要说明,针对同一现实对象,可以存在多个网络链接,例如来自不同线上购物平台的网络链接,或者来自同一线上购物平台的不同店铺的网络链接,增强现实内容可以包括其中至少一个网络链接。需要说明,服务器可以选择交易量最高的网络链接或者来自可信任店铺的网络链接,生成针对现实对象的增强现实内容。
当用户通过点击现实对象在线上商店的网络链接触发对网络链接的查看操作,移动终端可以响应与该查看操作,显示该现实对象的网页。通过该现实对象的网页,用户可以浏览该现实对象的图片、名称、品牌、价格、尺寸等信息,并还可以通过该网页线上购买该现实对象。
由上可知,本实施例在通过增强现实技术打通了线上线下评价信息的共享渠道时,还可以现实对象在线上商店的网络链接,方便用户通过该网络链接深入了解现实对象,并且可以通过该网络链接在线上购买该现实对象,避免了用户需要打开线上购买平台,在平台中搜索现实对象,点击打开等繁琐操作,为用户带来了便利。
为便于理解,下面可以以一个具体应用场景对本申请中移动终端显示增强现实场景图像的过程进行详细描述,请参见图5,图5为本申请实施例中移动终端显示增强现实场景图像的一个交互流程示意图,具体为:
S501:用户启动智能手机上的增强现实应用,选中“扫一扫”选项,启动智能手机的摄像头。
S502:采用摄像头对现实对象进行扫描,生成现实场景图像。
S503:移动终端将现实场景图像发送给服务器。
S504:服务器根据现实场景图像,获取与现实对象相对应的增强现实内容,增强现实内容包括针对现实对象的评价信息、现实对象的物理名称、品牌、标识、价格以及现实对象在线上商店的网络链接。
S505:服务器向移动终端发送与现实对象相对应的增强现实内容。
S506:移动终端调用增强现实内容驱动引擎,通过所述增强现实内容驱动引擎利用所述增强现实内容对所述现实场景图像进行合成处理生成增强现实场景图像。
S507:移动终端显示针对现实对象的增强现实场景图像。
S508:用户点击增强现实场景图像显示界面底部的“评价详情页”按钮,打开“评价详情页”界面,输入针对现实对象的评价信息。
S509:移动终端接收用户输入的针对现实对象的评价信息,向服务器发送用户针对现实对象输入的评价信息。
S510:移动终端响应于用户针对网络链接触发的查看操作,显示所述现实对象对应的网页。
为了更容易理解本申请的技术方案,下面以一个更为具体的应用场景对本申请中用于提供增强现实服务的过程进行详细描述,具体为:
首先,用户在某商场的咖啡馆喝咖啡,想知道其他用户对该咖啡馆的咖啡的评价时,可以启动智能手机上的应用程序QQ,点击右上角的快捷键“+”,选择“扫一扫”,触发启动增强现实应用的扫一扫功能的操作,智能手机响应于该触发操作,启动摄像头,通过摄像头拍摄咖啡生成现实场景图像。图6所示为本申请应用场景中的现实场景图像的生成过程示意图;在该应用场景下,用户使用智能手机100触发用于启动增强现实应用的扫一扫功能的操作,智能手机100启动摄像头,对咖啡进行拍摄生成现实场景图像。具体的,
参见图6(a),图6(a)为用户在智能手机100点击“扫一扫”控件,触发启动QQ扫一扫功能的操作的界面示意图,接着参见图6(b),响应于用户触发的启动QQ扫一扫功能的操作,智能手机100启动摄像头,用户可以将摄像头对准咖啡,对咖啡进行拍摄,生成针对咖啡的现实场景图像,如图6(c)所示。
其次,智能手机100将生成的针对咖啡的现实场景图像发送给服务器200,服务器200根据该咖啡的现实场景图像获取对应的增强现实内容,并发送给智能手机100。请参见图7,图7为智能手机100与服务器200进行交互,获取增强现实内容的示意图。在本实施例的应用场景中,增强现实内容包括针对咖啡的评论信息以及该咖啡在线上商店的网络链接。
接着,智能手机100根据针对咖啡的现实场景图像以及接收到的针对该咖啡的评论信息和在线上商店的网络链接生成针对该咖啡的增强现实场景图像。请参见图8,图8为本实施例中生成增强现实场景图像的示意图,如图8所示,智能手机100对评论信息进行筛选,将当前用户的好友针对该咖啡的评价信息筛选出来,与针对咖啡的现实场景图像进行融合,生成了增强现实场景图像。并且,该增强现实场景图像中的底部还融合了该咖啡在线上商店的网络链接,增加了“评价详情页”控件,用于跳转至“评价详情页”。
接着,参见图9,图9为用户查看评价详情,对咖啡进行评价的界面示意图。当用户通过点击“评价详情页”的控件,触发了查看评价详情的操作时,如图9(a)所示,智能手机的显示界面可以由增强现实场景图像跳转至评价详情页,如图9(b)所示,在该评价详情页,用户可以查看更多针对咖啡的评价信息,而不限于好友对该咖啡的评价信息,用户还可以点击评价详情页上方的星号,以及输入相应的文字评论,对该咖啡进行评价,如图9(c)所示。接着,智能手机可以获取用户输入的评价信息,发送给服务器,使得服务器对评价信息的数据库进行更新。
针对图8显示的增强现实场景图像,参见图10,用户还可以点击咖啡在线上商店的网络链接,查看该咖啡的网页。具体的,在增强现实场景图像显示界面,用户点击网络链接,触发查看网络链接的操作,如图10(a)所示,然后,移动终端的显示界面将由增强现实场景图像调转至网络链接指向的咖啡线上购买网页,如图10(b)所示。
需要说明,本申请实施例对图9和图10所示步骤的执行顺序不做限定,可以根据实际需求进行设定,例如,可以在查看关于咖啡的评价详情后,再查看该咖啡的网络链接。
下面将从服务器的角度,对本申请中用于提供增强现实服务的方法进行介绍,请参见图11,本申请实施例中用于提供增强现实服务的方法一个实施例包括:
S1101:服务器接收移动终端发送的现实场景图像,所述现实场景图像是指包含现实对象的图像。
现实场景图像参见移动终端侧相关实施例描述,在此不再赘述。
在本实施例中,服务器可以通过收发端口接收移动终端发送的现实场景图像。当多个移动终端向服务器发送现实场景图像时,服务器可以接收先到达的现实场景图像,当接收队列为满时,可以将之后到达的现实场景图像先丢弃,待接收队列有足够的空间时,再接收现实场景图像。
S1102:所述服务器将所述现实场景图像与预先存储的对象图像进行匹配,若所述现实场景图像与某个对象图像相匹配,则执行步骤S1103。
对象图像是指现实对象的图像。对象图像可以是现实对象的立体图,也可以是现实对象的平面图,其中,现实对象的平面图可以包括不同视角的平面图,例如主视图、左视图、俯视图等等。对于任意一个对象,可以存储至少一张对应于该对象的对象图像,当针对某一对象的对象图像数量为多个时,有利于现实场景图像与该对象的对象图像进行匹配,避免因对象图像的角度单一导致某些现实场景图像无法匹配的情况发生,提高了现实场景图像的匹配成功率。
在本实施例中,对象图像是服务器预先存储的。作为一种可能的实现方式,可以通过网络爬虫等方式采集对象图像,存储到服务器中,也可以通过人工采集的方式采集对象图像,并存储到服务器中。为了提高匹配的效率,可以将对象图像按照对象的品类分类进行存储,使得在对现实场景图像进行匹配时,可以先确定现实场景图像所包括对象的类别,然后与服务器中对应类别的对象图像进行匹配。通过分类匹配,大大缩小了匹配范围,减少了待匹配的对象图像的数量,从而提高了匹配效率。
将现实场景图像与预先存储的对象图像匹配是指对现实图像和预先存储的对象图像进行比较,确定当前对象图像所包括的对象与现实场景图像所包括的对象是否相同。若当前对象图像所包括的对象与现实场景图像所包括的对象相同,则可以将当前对象图像确定为与现实场景图像相匹配的图像。若当前对象图像所包括的对象与现实场景图像所包括的对象不同,则可以确定当前对象图像与现实场景图像并不匹配,可以采用下一对象图像与现实场景图像进行比较,直至确定出与该现实场景图像相匹配的对象图像。
在一些可能的实现方式中,当服务器存储的对象图像中不存在与现实场景图像相匹配的图像时,还可以获取网络中的对象图像,并将该对象图像与现实场景图像相匹配。
在本实施例中,若现实场景图像与某个对象图像相匹配,则执行步骤S1103。在本实施例一些可能的实现方式中,若现实场景图像与任一对象图像均不匹配,则服务器可以向移动终端发送匹配结果消息,提示移动终端该现实场景图像匹配不成功,如此,移动终端可以重新获取现实场景图像,并将重新获取的现实场景图像发送给服务器。
S1103:所述服务器根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,所述增强现实内容包括所述现实对象的显示信息。
对象的标识是指能够标识对象身份,将对象区别于其他对象的身份信息。对象标识一般具有唯一性。当对象为产品时,对象的标识可以是产品名称、产品型号、产品的条形码或者二维码等等。当对象为明星等公众人物时,对象的标识可以是该公众人物的姓名。需要说明,存在同名的公众人物时,应当加以区分。
在本实施例中,数据库是指对象的增强现实内容的数据集合。其中,增强现实内容包括对象的显示信息,例如评价信息。基于此,可以获取对象的评价信息建立数据库。数据库一般可以预先建立,具体为,创建一个数据库,服务器在接收到用户通过移动终端输入的针对对象的评价信息,建立对象的标识与评价信息的映射关系,并将将该映射关系存储到数据库。在一些可能的实现方式中,服务器还可以从互联网中抓取针对对象的评价信息,建立对象的标识与评价信息之间的映射关系,并将映射关系存储到数据库。
在一些可能的实现方式中,显示信息也可以还包括现实对象的相关属性信息。其中,相关属性信息可以参见移动终端侧实施例相关描述。基于此,服务器还可以建立对象的标识与对象的相关属性信息之间的映射关系,和/或对象的标识与对象在线上商店的网络链接之间的映射关系,并将映射关系存储到数据库中。
可以理解,增强现实内容可以包括不同数据类型的数据,数据库可以按照增强现实内容的数据结构来组织、存储和管理数据。作为一个示例,可以按照树形结构组织、存储和管理对象的增强现实内容。还需要说明,数据库可以集成在服务器中,也可以以独立于服务器的形式存在,本申请实施例以独立于服务器的形式进行示例性说明,并不构成对本申请方案的限定。
服务器在确定某一对象图像与现实场景图像匹配后,可以获取该对象图像所包含对象对应的标识,然后基于对象的标识与增强现实内容之间的映射关系,获取与标识对应的增强现实内容,该增强现实内容可以视为针对该对象的增强现实内容。
S1104:所述服务器向所述移动终端发送所述增强现实内容。
服务器在获取到与对象对应的增强现实内容后,可以将该增强现实内容发送给移动终端,以便于移动终端根据该增强现实内容和现实场景图像生成增强现实场景图像。
需要说明,当待发送的增强现实内容的数据量较大时,例如,同时向多个移动终端发送增强现实内容,服务器可以将增强现实内容先存储到服务器的缓存中,然后从缓存中发送增强现实内容给移动终端。
由上可知,本申请实施例中,提供了一种用于提供增强现实服务的方法,服务器接收移动终端发送的现实场景图像,将现实场景图像与预先存储的对象图像匹配,若现实场景图像与某个对象图像相匹配,则服务器根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,并将该增强现实内容发送给移动终端。如此,移动终端可以根据增强现实内容和现实场景图像生成并显示增强现实场景图像,从而打通了线上和线下的现实对象的显示信息例如评价信息的共享渠道,并且通过增强现实技术使得用户通过移动终端就能够体验具有该现实对象的评价信息的增强现实场景,满足了用户个性化、便捷化的增强现实的服务需求。
可选地,在上述图11对应的一个实施例的基础上,本申请实施例提供的用于提供增强现实服务的方法第一个可选实施例中,参见图12,图12为服务器将所述现实场景图像与预先存储的对象图像进行匹配的流程示意图,具体包括:
S1201:所述服务器计算所述现实场景图像与预先存储的对象图像之间的相似度。
相似度是对相似程度进行衡量的一种指标。具体到本实施例,现实场景图像的相似度与预先存储的对象图像之间的相似度,可以为现实场景图像的所包括的现实对象与预先存储的对象图像所包括的对象的相似度。在图像处理领域,相似度可以通过采用图像相似度算法进行计算得到。
在一些可能的实现方式中,服务器可以从现实场景图像中提取现实对象部分,然后计算现实对象部分与预先存储的对象图像中对象部分之间的相似度,将现实对象部分与预先存储的对象图像中对象部分之间的相似度作为现实场景图像与对象图像之间的相似度。
其中,从现实场景图像中提取现实对象部分可以通过神经网络模型实现。具体的,服务器可以通过卷积神经网络模型对现实场景图像进行识别,识别出现实对象的类型以及在图像中的位置,然后将现实对象从现实场景图像中裁剪出来,作为现实场景图像的现实对象部分。类似的,对象图像中的对象部分也可以采用神经网络模型进行识别,然后进行裁剪得到,在此不再赘述。
现实对象部分与对象图像中对象部分之间的相似度可以通过多种方式进行计算。在一些可能的实现方式中,可以确定现实对象部分的特征点,以及对象图像中对象部分的特征点,特征点是指图像中能够体现图像特征的、比较重要的位点,例如图像中的拐点、角点等等,然后对这些特征点进行匹配,基于匹配的特征点的数量可以计算出现实对象部分与对象图像中对象部分之间的相似度。
S1202:若所述现实场景图像与某个对象图像之间的相似度最大并且大于预设相似度阈值,则所述服务器确定所述现实场景图像与所述某个对象图像相匹配。
预设相似度阈值是一种预先设定的,用于对图像是否相似进行判断的标准。具体到本实施例,预设相似度阈值是一种对现实场景图像与某个对象图像是否相似进行判断的标准。可以理解,若现实场景图像与某个对象图像的相似度大于预设相似度阈值,则可以认为该现实场景图像与该对象图像相似。
预设相似度阈值可以根据经验值进行设定,也可以通过相关实验设计确定一个较为合适的预设相似度阈值,例如,预设相似度阈值为80%或者95%,本申请实施例对此不作限定。
在有些情况下,例如针对同一品牌的同一系列不同型号产品,可能存在多个对象图像与现实场景图像的相似度大于预设阈值,可以将其中相似度最大的对象图像确定为与现实场景图像相匹配的对象图像。如此,可以使得服务器对存在微小差异的现实对象也能够进行识别。
由上可知,通过对现实场景图像与预先存储的对象图像之间的相似度进行计算,并根据相似度对图像进行匹配,具有较高的匹配准确率和匹配速率,从而提高了服务器获取增强现实内容的准确性和速率,缩短了服务器对移动终端的响应时间,能够较快并且较准确地提供增强现实内容。
可选地,在上述图11对应的一个实施例的基础上,本申请实施例提供的用于提供增强现实服务的方法第二个可选实施例中,还可以包括:
所述服务器接收所述移动终端发送的用户针对所述现实对象的评价信息;
所述服务器将所述用户针对所述现实对象的评价信息存储至所述数据库中。
可以理解,数据库中的数据可以不断更新。当服务器接收到移动终端发送的针对现实对象的评价信息时,可以将该评价信息存储至数据库中,实现对数据库的更新。其中,在对评价信息进行存储时,可以建立对象的标识与评价信息之间的映射关系,然后对映射关系进行存储。
由上可知,通过将移动终端发送的用户针对现实对象的评价信息存储到数据库,对数据库进行更新,可以使得本申请实施例中的增强现实服务提供***在提供增强现实服务时,能够提供较新的针对对象的评价信息,从而可以给用户带来帮助。
为了便于理解,下面可以以一个具体应用场景对本申请中服务器获取增强现实内容的过程进行详细描述,请参见图13,图13为本申请实施例中服务器获取增强现实内容的示意图,具体为:
首先,服务器200接收移动终端100发送的现实场景图像,在该应用场景中,现实场景图像为对咖啡进行扫描生成的图像,具体可以参见图13(a),接着,服务器200可以对现实场景图像中的现实对象进行定位,提取出现实对象部分,参见图13(b),对咖啡进行定位后提取出咖啡部分图像,再接着,服务器以类似的方式提取出预先存储的对象图像中的对象部分,如图13(c)所示,本实施例中以其中一张对象图像进行示例性地说明,对其他对象图像中的对象部分提取可以参见该示例。需要说明,本实施例对图13(b)和图13(c)的执行顺序不做限定,可以同时执行,也可以按照设定的先后顺序执行。
然后,服务器200计算图13(b)所示的现实对象部分和图13(c)所示的对象图像的对象部分的相似度,将该相似度作为现实场景图像与该对象图像的相似度,该现实场景图像与其他对象图像的相似度可以参见该现实场景图像与该对象图像的相似度的计算过程,在此不再赘述。按照与现实场景图像的相似度高低对对象图像进行排序,将相似度最大,并且大于预设阈值的对象图像确定为与现实场景图像相匹配的图像,如图13(d)所示。
接着,服务器200向数据库300发送被匹配的对象图像中所包含对象对应的标识。数据库300根据对象对应的标识进行检索,得到检索结果,其中,检索结果至少包括与该标识对应的评价信息。然后数据库300将该评价信息作为增强现实内容返回给服务器200,服务器200再将增强现实内容返回给移动终端100。
由上可知,本申请实施例中,提供了一种用于提供增强现实服务的方法,移动终端向服务器发送现实场景图像,服务器将现实场景图像与预先存储的对象图像进行匹配,根据被匹配的对象图像所包括的对象对应的标识,从数据库中获取与标识对应的增强现实内容,并将该增强现实内容发送给移动终端,使得移动终端可以根据增强现实内容和现实场景图像显示增强现实场景图像。如此,用户可以通过移动终端体验到到具有该现实对象的评价信息的增强现实的场景,实现了线上和线下的现实对象的评价信息共享,满足用户个性化、便捷化的增强现实的服务需求。
下面对本申请中的终端进行详细描述,请参见图14,本申请实施例中的终端为增强现实服务提供***中的终端,增强现实服务提供***中还包括服务器以及数据库,所述终端1400包括:
发送模块1410,用于向服务器发送现实场景图像,所述现实场景图像是指针对现实对象所拍摄的图像;
接收模块1420,用于接收所述服务器发送的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
增强现实模块1430,用于根据所述显示信息和所述现实场景图像显示增强现实场景图像。
可选地,在上述图14所对应的实施例的基础上,请参见图15,本申请实施例提供的移动终端的另一实施例中,
所述增强现实模块1430包括:
绘制子模块1431,用于根据所述显示信息绘制生成包含所述评价信息的虚拟图像;
定位子模块1432,用于所述现实场景图像中的所述现实对象的位置区域;
融合子模块1433,用于根据所述现实对象的位置区域,将所述虚拟图像与所述现实场景图像进行融合生成并显示增强现实场景图像。
可选地,在上述图14所对应的实施例的基础上,请参见图16,本申请实施例提供的终端的另一实施例中,
所述终端1400还包括第一筛选模块1440,用于:
在所述移动终端根据所述显示信息和所述现实场景图像显示增强现实场景图像之前,从所述显示信息中筛选出用户好友针对所述现实对象的第一评价信息;
则所述增强现实模块1430具体用于:
根据所述第一评价信息和所述现实场景图像显示增强现实场景图像。
可选地,在上述图14所对应的实施例的基础上,请参见图17,本申请实施例提供的移动终端的另一实施例中,
所述终端1400还包括第二筛选模块1450,用于:
在所述移动终端根据所述评价信息和所述现实场景图像显示增强现实场景图像之前,从所述增强现实内容中筛选出优先级排序靠前的第二评价信息;
则所述增强现实模块1430具体用于:
根据所述第二评价信息和所述现实场景图像显示增强现实场景图像。
可选地,在上述图14所对应的实施例的基础上,请参见图18,本申请实施例提供的移动终端的另一实施例中,
所述移动终端1400还包括扫描模块1460,用于:
响应于用户触发的用于启动增强现实应用的操作,利用所述增强现实应用扫描现实对象生成现实场景图像。
可选地,所述接收模块1420还用于接收用户输入的针对所述现实对象的第三评价信息;
则所述增强现实模块1430具体用于:
根据所述第三评价信息绘制生成包含所述第三评价信息的虚拟图像,并将包含所述第三评价信息的虚拟图像增强至所述增强现实场景图像中。
可选地,所述显示信息包括评价信息和/或所述现实对象的相关属性信息。
可选地,所述现实对象的相关属性信息包括:物理名称、品牌、标识、价格中至少一种信息。
可选地,在上述图14所对应的实施例的基础上,请参见图19,本申请实施例提供的移动终端的另一实施例中,
所述增强现实内容还可以包括所述现实对象在线上商店的网络链接;
所述终端1400还包括显示模块1470,用于:
响应于用户针对所述网络链接触发的查看操作,显示所述现实对象对应的网页。
下面对本申请中的服务器进行详细描述,请参见图20,本申请实施例中的服务器为增强现实服务提供***中的服务器,增强现实服务提供***中还包括终端以及数据库,所述服务器2000包括:
接收模块2010,用于接收终端发送的现实场景图像,所述现实场景图像是指针对现实对象所拍摄的图像;
匹配模块2020,用于将所述现实场景图像与预先存储的对象图像进行匹配;
获取模块2030,用于若所述现实场景图像与某个对象图像相匹配,根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
发送模块2040,用于向所述终端发送所述增强现实内容。
可选地,在上述图20所对应的实施例的基础上,请参见图21,本申请实施例提供的服务器的另一实施例中,
所述匹配模块2020包括:
计算子模块2021,用于计算所述现实场景图像与预先存储的对象图像之间的相似度;
确定子模块2022,用于若所述现实场景图像与某个对象图像之间的相似度最大并且大于预设相似度阈值,则确定所述现实场景图像与所述某个对象图像相匹配。
可选地,所述计算子模块2021,具体用于从所述现实场景图像中提取所述现实对象部分,并计算所述现实对象部分与预先存储的对象图像中对象部分之间的相似度,并将所述现实对象部分与预先存储的对象图像中对象部分之间的相似度作为所述现实场景图像与所述对象图像之间的相似度。
可选地,在上述图20所对应的实施例的基础上,请参见图22,本申请实施例提供的服务器的另一实施例中,
所述接收模块2010,还用于:
接收所述移动终端发送的用户针对所述现实对象的第三评价信息;
则所述服务器2000还包括:
存储模块2050,用于将所述用户针对所述现实对象的第三评价信息存储至所述数据库中。
本申请实施例还提供了一种终端设备,如图23所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参见本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称:Personal Digital Assistant,英文缩写:PDA)、销售终端(英文全称:Point of Sales,英文缩写:POS)、车载电脑等任意终端设备,以终端为手机为例。
图23示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图23,手机2300包括:射频(英文全称:Radio Frequency,英文缩写:RF)电路2310、存储器2320、输入单元2330、显示单元2340、传感器2350、音频电路2360、无线保真(英文全称:wireless fidelity,英文缩写:WiFi)模块2370、处理器2380、以及电源2390等部件。本领域技术人员可以理解,图23中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图23对手机2300的各个构成部件进行具体的介绍:
RF电路2310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器2380处理;另外,将设计上行的数据发送给基站。通常,RF电路2310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称:LowNoise Amplifier,英文缩写:LNA)、双工器等。此外,RF电路2310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(英文全称:Global System of Mobile communication,英文缩写:GSM)、通用分组无线服务(英文全称:General Packet Radio Service,GPRS)、码分多址(英文全称:CodeDivision Multiple Access,英文缩写:CDMA)、宽带码分多址(英文全称:Wideband CodeDivision Multiple Access,英文缩写:WCDMA)、长期演进(英文全称:Long TermEvolution,英文缩写:LTE)、电子邮件、短消息服务(英文全称:Short Messaging Service,SMS)等。
存储器2320可用于存储软件程序以及模块,处理器2380通过运行存储在存储器2320的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器2320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器2320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元2330可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元2330可包括触控面板2331以及其他输入设备2332。触控面板2331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板2331上或在触控面板2331附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板2331可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器2380,并能接收处理器2380发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板2331。除了触控面板2331,输入单元2330还可以包括其他输入设备2332。具体地,其他输入设备2332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元2340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元2340可包括显示面板2341,可选的,可以采用液晶显示器(英文全称:Liquid Crystal Display,英文缩写:LCD)、有机发光二极管(英文全称:Organic Light-Emitting Diode,英文缩写:OLED)等形式来配置显示面板2341。进一步的,触控面板2331可覆盖显示面板2341,当触控面板2331检测到在其上或附近的触摸操作后,传送给处理器2380以确定触摸事件的类型,随后处理器2380根据触摸事件的类型在显示面板2341上提供相应的视觉输出。虽然在图23中,触控面板2331与显示面板2341是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板2331与显示面板2341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器2350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板2341的亮度,接近传感器可在手机移动到耳边时,关闭显示面板2341和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路2360、扬声器2361,传声器2362可提供用户与手机之间的音频接口。音频电路2360可将接收到的音频数据转换后的电信号,传输到扬声器2361,由扬声器2361转换为声音信号输出;另一方面,传声器2362将收集的声音信号转换为电信号,由音频电路2360接收后转换为音频数据,再将音频数据输出处理器2380处理后,经RF电路2310以发送给比如另一手机,或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块2370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图23示出了WiFi模块2370,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器2380是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器2320内的软件程序和/或模块,以及调用存储在存储器2320内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器2380可包括一个或多个处理单元;优选的,处理器2380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器2380中。
手机还包括给各个部件供电的电源2390(比如电池),优选的,电源可以通过电源管理***与处理器2380逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器2380还具有以下功能:
向服务器发送现实场景图像,所述现实场景图像是指针对现实对象所拍摄的图像;
接收所述服务器发送的增强现实内容,所述增强现实内容包括针对所述现实对象的显示信息;
根据所述显示信息和所述现实场景图像显示增强现实场景图像。
图24是本申请实施例提供的一种服务器结构示意图,该服务器2400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(central processingunits,CPU)2422(例如,一个或一个以上处理器)和存储器2432,一个或一个以上存储应用程序2442或数据2444的存储介质2430(例如一个或一个以上海量存储设备)。其中,存储器2432和存储介质2430可以是短暂存储或持久存储。存储在存储介质2430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器2422可以设置为与存储介质2430通信,在服务器2400上执行存储介质2430中的一系列指令操作。
服务器2400还可以包括一个或一个以上电源2426,一个或一个以上有线或无线网络接口2450,一个或一个以上输入输出接口2458,和/或,一个或一个以上操作***2441,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图24所示的服务器结构。
其中,CPU 2422用于执行如下步骤:
接收终端发送的现实场景图像,所述现实场景图像是指包含现实对象的图像;
将所述现实场景图像与预先存储的对象图像进行匹配;
若所述现实场景图像与某个对象图像相匹配,则根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
向所述终端发送所述增强现实内容。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述实施例所述的一种用于提供增强现实服务方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行前述实施例所述的一种用于提供增强现实服务方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参见前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种用于提供增强现实服务的方法,其特征在于,所述方法包括:
向服务器发送现实场景图像,所述现实场景图像是指包含现实对象的图像;
接收所述服务器发送的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
根据所述显示信息和所述现实场景图像显示增强现实场景图像。
2.根据权利要求1所述的方法,其特征在于,根据所述显示信息和所述现实场景图像显示增强现实场景图像,包括:
根据所述显示信息绘制生成包含所述显示信息的虚拟图像;
定位所述现实场景图像中的所述现实对象的位置区域;
根据所述现实对象的位置区域,将所述虚拟图像与所述现实场景图像进行融合生成并显示增强现实场景图像。
3.根据权利要求1所述的方法,其特征在于,在根据所述显示信息和所述现实场景图像显示增强现实场景图像之前,还包括:
从所述显示信息中筛选出用户好友针对所述现实对象的第一评价信息;
则根据所述显示信息和所述现实场景图像显示增强现实场景图像,具体为:
则根据所述第一评价信息和所述现实场景图像显示增强现实场景图像。
4.根据权利要求1所述的方法,其特征在于,在根据所述显示信息和所述现实场景图像显示增强现实场景图像之前,还包括:
从所述显示信息中筛选出优先级排序靠前的第二评价信息;
则根据所述显示信息和所述现实场景图像显示增强现实场景图像,具体为:
则根据所述第二评价信息和所述现实场景图像显示增强现实场景图像。
5.根据权利要求1任一项所述的方法,其特征在于,所述方法还包括:
响应于用户触发的用于启动增强现实应用的操作,利用所述增强现实应用扫描现实对象生成现实场景图像。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收用户输入的针对所述现实对象的第三评价信息;
根据所述第三评价信息绘制生成包含所述第三评价信息的虚拟图像,并将包含所述第三评价信息的虚拟图像增强至所述增强现实场景图像中。
7.根据权利要求1或2所述的方法,其特征在于,所述显示信息包括针对所述现实对象的评价信息和/或者所述现实对象的相关属性信息。
8.一种用于提供增强现实服务的方法,其特征在于,所述方法包括:
接收终端发送的现实场景图像,所述现实场景图像是指包含现实对象的图像;
将所述现实场景图像与预先存储的对象图像进行匹配;
若所述现实场景图像与某个对象图像相匹配,则根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
向所述终端发送所述增强现实内容。
9.根据权利要求8所述的方法,其特征在于,将所述现实场景图像与预先存储的对象图像进行匹配,包括:
计算所述现实场景图像与预先存储的对象图像之间的相似度;
若所述现实场景图像与某个对象图像之间的相似度最大并且大于预设相似度阈值,则确定所述现实场景图像与所述某个对象图像相匹配。
10.一种用于提供增强现实服务的装置,其特征在于,所述装置包括:
发送模块,用于向服务器发送现实场景图像,所述现实场景图像是指针对现实对象所拍摄的图像;
接收模块,用于接收所述服务器发送的增强现实内容,所述增强现实内容包括针对所述现实对象的显示信息;
增强现实模块,用于根据所述显示信息和所述现实场景图像显示增强现实场景图像。
11.一种用于提供增强现实服务的装置,其特征在于,所述装置包括:
接收模块,用于接收终端发送的现实场景图像,所述现实场景图像是指针对现实对象所拍摄的图像;
匹配模块,用于将所述现实场景图像与预先存储的对象图像进行匹配;
获取模块,用于若所述现实场景图像与某个对象图像相匹配,根据被匹配的对象图像中所包含对象对应的标识,从数据库中获取与所述标识对应的增强现实内容,所述增强现实内容包括所述现实对象的显示信息;
发送模块,用于向所述终端发送所述增强现实内容。
12.一种用于提供增强现实服务的设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行权利要求1-7任一项所述的用于提供增强现实服务的方法。
13.一种用于提供增强现实服务的设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行权利要求8-9任一项所述的用于提供增强现实服务的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-9任一项所述的用于提供增强现实服务的方法。
15.一种包括指令的计算机程序产品,其特征在于,当其在计算机上运行时,使得所述计算机执行权利要求1-9任一项所述的用于提供增强现实服务的方法。
CN201810159281.3A 2018-02-26 2018-02-26 一种用于提供增强现实服务的方法、装置以及相关设备 Pending CN108388637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810159281.3A CN108388637A (zh) 2018-02-26 2018-02-26 一种用于提供增强现实服务的方法、装置以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810159281.3A CN108388637A (zh) 2018-02-26 2018-02-26 一种用于提供增强现实服务的方法、装置以及相关设备

Publications (1)

Publication Number Publication Date
CN108388637A true CN108388637A (zh) 2018-08-10

Family

ID=63069190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810159281.3A Pending CN108388637A (zh) 2018-02-26 2018-02-26 一种用于提供增强现实服务的方法、装置以及相关设备

Country Status (1)

Country Link
CN (1) CN108388637A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191180A (zh) * 2018-08-06 2019-01-11 百度在线网络技术(北京)有限公司 评价的获取方法及装置
CN109285130A (zh) * 2018-09-10 2019-01-29 珠海格力电器股份有限公司 一种景物复现方法、装置、存储介质及终端
CN109359204A (zh) * 2018-08-27 2019-02-19 中国农业大学 一种基于增强现实的花卉识别方法及设备
CN109561278A (zh) * 2018-09-21 2019-04-02 中建科技有限公司深圳分公司 一种增强现实的显示***及方法
CN110060611A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 智能互动导游方法、装置及存储介质、服务器
CN110177216A (zh) * 2019-06-28 2019-08-27 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端以及存储介质
CN110174950A (zh) * 2019-05-28 2019-08-27 广州视革科技有限公司 一种基于传送门的场景切换方法
CN110264320A (zh) * 2019-06-27 2019-09-20 北京小米移动软件有限公司 基于现实增强设备的信息显示方法、装置以及存储介质
CN110286773A (zh) * 2019-07-01 2019-09-27 腾讯科技(深圳)有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN110855601A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 Ar/vr场景地图获取方法
CN110858375A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN111028359A (zh) * 2019-05-22 2020-04-17 珠海随变科技有限公司 增强现实服务配置、请求方法、装置、设备和介质
CN111416742A (zh) * 2020-03-19 2020-07-14 福建工程学院 基于增强现实模拟透视的共享设备的质量评估方法
CN111461806A (zh) * 2019-01-21 2020-07-28 深圳增强现实技术有限公司 基于ar的营销云服务平台、ar智能设备、***及方法
CN112020710A (zh) * 2019-03-29 2020-12-01 艾思益信息应用技术股份公司 信息提供***和信息提供方法
CN112051943A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的信息显示方法和相应的电子设备
CN112270765A (zh) * 2020-10-09 2021-01-26 百度(中国)有限公司 信息处理方法、装置、终端、电子设备以及存储介质
CN112394809A (zh) * 2019-08-16 2021-02-23 ***通信有限公司研究院 一种实现增强现实的方法、装置及通信设备
CN112565165A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN113127126A (zh) * 2021-04-30 2021-07-16 上海哔哩哔哩科技有限公司 对象展示方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002410A (zh) * 2012-11-21 2013-03-27 北京百度网讯科技有限公司 用于移动终端的增强现实方法、***和移动终端
CN103412953A (zh) * 2013-08-30 2013-11-27 苏州跨界软件科技有限公司 基于增强现实的社交方法
CN103426003A (zh) * 2012-05-22 2013-12-04 腾讯科技(深圳)有限公司 增强现实交互的实现方法和***
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、***和终端
CN106846495A (zh) * 2017-01-17 2017-06-13 腾讯科技(深圳)有限公司 实现增强现实的方法与装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426003A (zh) * 2012-05-22 2013-12-04 腾讯科技(深圳)有限公司 增强现实交互的实现方法和***
CN103002410A (zh) * 2012-11-21 2013-03-27 北京百度网讯科技有限公司 用于移动终端的增强现实方法、***和移动终端
CN103412953A (zh) * 2013-08-30 2013-11-27 苏州跨界软件科技有限公司 基于增强现实的社交方法
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、***和终端
CN106846495A (zh) * 2017-01-17 2017-06-13 腾讯科技(深圳)有限公司 实现增强现实的方法与装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191180A (zh) * 2018-08-06 2019-01-11 百度在线网络技术(北京)有限公司 评价的获取方法及装置
CN110855601B (zh) * 2018-08-21 2021-11-19 华为技术有限公司 Ar/vr场景地图获取方法
CN110855601A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 Ar/vr场景地图获取方法
CN110858375A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN110858375B (zh) * 2018-08-22 2023-05-02 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN110858134A (zh) * 2018-08-22 2020-03-03 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN110858134B (zh) * 2018-08-22 2023-04-28 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN109359204A (zh) * 2018-08-27 2019-02-19 中国农业大学 一种基于增强现实的花卉识别方法及设备
CN109285130A (zh) * 2018-09-10 2019-01-29 珠海格力电器股份有限公司 一种景物复现方法、装置、存储介质及终端
CN109285130B (zh) * 2018-09-10 2020-09-22 珠海格力电器股份有限公司 一种景物复现方法、装置、存储介质及终端
CN109561278A (zh) * 2018-09-21 2019-04-02 中建科技有限公司深圳分公司 一种增强现实的显示***及方法
CN109561278B (zh) * 2018-09-21 2020-12-29 中建科技有限公司深圳分公司 一种增强现实的显示***及方法
CN111461806A (zh) * 2019-01-21 2020-07-28 深圳增强现实技术有限公司 基于ar的营销云服务平台、ar智能设备、***及方法
CN110060611A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 智能互动导游方法、装置及存储介质、服务器
CN112020710A (zh) * 2019-03-29 2020-12-01 艾思益信息应用技术股份公司 信息提供***和信息提供方法
CN111028359A (zh) * 2019-05-22 2020-04-17 珠海随变科技有限公司 增强现实服务配置、请求方法、装置、设备和介质
CN110174950B (zh) * 2019-05-28 2022-05-17 广州视革科技有限公司 一种基于传送门的场景切换方法
CN110174950A (zh) * 2019-05-28 2019-08-27 广州视革科技有限公司 一种基于传送门的场景切换方法
CN112051943A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的信息显示方法和相应的电子设备
CN110264320A (zh) * 2019-06-27 2019-09-20 北京小米移动软件有限公司 基于现实增强设备的信息显示方法、装置以及存储介质
CN110264320B (zh) * 2019-06-27 2021-06-08 北京小米移动软件有限公司 基于现实增强设备的信息显示方法、装置以及存储介质
CN110177216A (zh) * 2019-06-28 2019-08-27 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端以及存储介质
CN110286773A (zh) * 2019-07-01 2019-09-27 腾讯科技(深圳)有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN110286773B (zh) * 2019-07-01 2023-09-19 腾讯科技(深圳)有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN112394809A (zh) * 2019-08-16 2021-02-23 ***通信有限公司研究院 一种实现增强现实的方法、装置及通信设备
CN112565165A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN112565165B (zh) * 2019-09-26 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和***
CN111416742A (zh) * 2020-03-19 2020-07-14 福建工程学院 基于增强现实模拟透视的共享设备的质量评估方法
CN112270765A (zh) * 2020-10-09 2021-01-26 百度(中国)有限公司 信息处理方法、装置、终端、电子设备以及存储介质
CN113127126A (zh) * 2021-04-30 2021-07-16 上海哔哩哔哩科技有限公司 对象展示方法及装置

Similar Documents

Publication Publication Date Title
CN108388637A (zh) 一种用于提供增强现实服务的方法、装置以及相关设备
CN105933211B (zh) 一种游戏数据的分享方法和客户端及***
CN105934760B (zh) 利用计算机视觉辅助的适应性图像搜索
CN108255304A (zh) 基于增强现实的视频数据处理方法、装置和存储介质
CN108073605A (zh) 一种业务数据的加载、推送、交互信息的生成方法和装置
CN108885639A (zh) 内容集合导航和自动转发
CN108496150A (zh) 一种屏幕截图和读取的方法及终端
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN108647957A (zh) 一种支付方法、装置及移动终端
CN106713840B (zh) 虚拟信息显示方法及装置
CN108062404A (zh) 人脸图像的处理方法、装置、可读存储介质及终端
CN108596095A (zh) 一种信息处理方法及移动终端
CN108062390A (zh) 推荐用户的方法、装置和可读存储介质
CN108388630A (zh) 一种购物信息推送方法、装置及电子设备
TW202009682A (zh) 基於擴增實境的互動方法及裝置
CN107464290A (zh) 三维信息展示方法、装置和移动终端
US20160078056A1 (en) Data Processing Method and Data Processing System
CN108289057A (zh) 数据分享方法、***及移动终端
CN107864408A (zh) 信息展示方法、装置及***
CN110390569A (zh) 一种内容推广方法、装置及存储介质
CN108683850A (zh) 一种拍摄提示方法及移动终端
CN108460817A (zh) 一种拼图方法及移动终端
CN110162653A (zh) 一种图文排序推荐方法及终端设备
CN107748785A (zh) 衣橱管理方法及移动终端
CN110163051A (zh) 文本提取方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination