CN112348969A - 增强现实场景下的展示方法、装置、电子设备及存储介质 - Google Patents

增强现实场景下的展示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112348969A
CN112348969A CN202011233879.6A CN202011233879A CN112348969A CN 112348969 A CN112348969 A CN 112348969A CN 202011233879 A CN202011233879 A CN 202011233879A CN 112348969 A CN112348969 A CN 112348969A
Authority
CN
China
Prior art keywords
target object
position information
special effect
image
effect data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011233879.6A
Other languages
English (en)
Other versions
CN112348969B (zh
Inventor
刘旭
栾青
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011233879.6A priority Critical patent/CN112348969B/zh
Publication of CN112348969A publication Critical patent/CN112348969A/zh
Priority to PCT/CN2021/102191 priority patent/WO2022095467A1/zh
Priority to TW110127756A priority patent/TW202220438A/zh
Application granted granted Critical
Publication of CN112348969B publication Critical patent/CN112348969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种增强现实场景下的展示方法、装置、电子设备及存储介质,其中,本公开首先获取增强现实AR设备拍摄的当前场景图像;之后,基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息;最后,基于所述展示位置信息,控制所述AR设备播放所述特效数据;其中,所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。

Description

增强现实场景下的展示方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种增强现实场景下的展示方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。
目前的一种定位方式是通过识别AR设备当前所处的位置,映射到三维地图模型中的某一位置,进而展示该位置所在范围内的预设好的虚拟特效数据。这种方式不仅需要采集大批量图像来重构真实环境对应的三维地图模型,而且预设好的虚拟数据展示出来的效果单一,不够丰富和生动。
发明内容
本公开实施例至少提供一种增强现实场景下的展示方法、装置。
第一方面,本公开实施例提供了一种增强现实场景下的展示方法,包括:
获取增强现实AR设备拍摄的当前场景图像;
基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息;
基于所述展示位置信息,控制所述AR设备播放所述特效数据;所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。
该方面,能够基于对目标对象的识别结果,实现虚拟影像和音频的综合展示,即不仅能够展示与目标对象匹配的AR画面、视频、全息影像等虚拟影像,另外,该方面无需重新构建三维地图模型,能够直接通过目标对象的识别结果即可触发匹配的特效数据进行展示,并且,特效数据中的虚拟影像与目标对象之间的展示位置具有预设位置关系,使其展示效果能够与目标对象紧密关联,能够更有针对性的去展示特效数据。
在一种可能的实施方式中,所述基于所述当前场景图像对目标对象的识别结果,确定所述特效数据的展示位置信息,包括:
在所述当前场景图像中识别到所述目标对象的情况下,基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述特效数据的展示位置信息;
在所述当前场景图像中未识别到所述目标对象的情况下,获取世界坐标系下所述目标对象与所述AR设备之间的相对位置信息,并基于所述相对位置信息,确定所述特效数据的展示位置信息。
该实施方式,基于当前场景图像中目标对象的识别结果,切换对应的定位方式来确定特效数据的展示位置信息,可以有效避免由于其中一种定位方式定位失败而中断特效数据的展示,提高了特效数据展示的稳定性。
在一种可能的实施方式中,所述特效数据包括所述虚拟影像和音频;
所述基于所述展示位置信息,控制所述AR设备播放所述特效数据,包括:
在确定所述目标对象的至少部分在所述AR设备的图像展示范围的情况下,基于所述展示位置信息,控制所述AR设备播放至少部分所述虚拟影像和/或音频;
在确定所述目标对象未在所述AR设备的图像展示范围的情况下,基于所述展示位置信息,控制所述AR设备按照所述音频的已播放进度继续播放所述音频。
该实施方式,在AR设备的图像展示范围内包括至少部分目标对象的情况下,展示至少部分所述虚拟影像和/或音频,在AR设备的图像展示范围内不包括目标对象时,不展示虚拟影像,只展示音频,使得特效数据展示的效果更为合理,也使得特效数据的展示效果更为连贯。
在一种可能的实施方式中,所述虚拟影像包括全息影像;
所述展示方法还包括:
获取与所述目标对象匹配的待处理视频,所述待处理视频中包括与所述目标对象关联的目标关联对象;
为所述待处理视频中的每个像素点设置透明通道,得到第一视频;
基于所述透明通道,从所述第一视频中去除背景像素点,得到第二视频;
基于所述第二视频生成包括所述目标关联对象的全息影像。
该实施方式,虚拟影像还包括全息影像,展示与目标对象关联的目标关联对象对应的全息影像,进一步可以在当前场景图像中叠加显示全息影像,使得AR内容的展示效果更为丰富。
在一种可能的实施方式中,所述基于所述透明通道,从所述第一视频中去除背景像素点,得到第二视频,包括:
将第一视频中的背景像素点对应的透明通道设置为白色,得到第三视频;所述第一视频包括所述目标关联对象的目标像素点和除所述目标像素点以外的背景像素点;
将第一视频中的第一类像素点对应的透明通道设置为黑色,将第一视频中的第二类像素点对应的透明通道设置为白色,将第一视频中的第三类像素点对应的透明通道设置为预设灰色值,得到第四视频;所述第三类像素点包括与背景像素点相邻的目标像素点和与目标像素点相邻的背景像素点;所述第一类像素点包括除第三类像素点以外的背景像素点,所述第二类像素点包括除第三类像素点以外的目标像素点;
基于第三视频和第四视频,生成所述第二视频。
该实施方式通过对第一视频的不同类型像素点进行处理,可以实现将原视频调整为全息影像的展示效果。
在一种可能的实施方式中,所述虚拟影像包括多个虚拟对象的影像,以及多个虚拟对象之间的展示顺序和/或交互数据;
所述基于所述展示位置信息,控制所述AR设备播放所述特效数据,包括:
在所述展示位置信息对应的展示位置上,基于多个虚拟对象之间的展示顺序和/或交互数据,展示所述虚拟对象的影像。
该实施方式,按照多个虚拟对象之间的展示顺序,展示包括多个虚拟对象的影像以及多个虚拟对象之间的交互数据,能够进一步丰富AR展示的内容,提高AR内容的展示效果。
在一种可能的实施方式中,所述基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述特效数据的展示位置信息,包括:
基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述目标对象在世界坐标系下的位置信息;
基于所述目标对象在所述世界坐标系下的位置信息和所述AR设备在所述世界坐标系下的位置信息,确定所述特效数据的展示位置信息。
该实施方式,可以较为准确地确定出目标对象在当前场景图像中的图像位置信息,基于目标对象的图像位置信息可以较为准确地得到特效数据的展示位置信息,从而为特效数据的准确展示提供支持。
在一种可能的实施方式中,所述获取世界坐标系下所述目标对象与所述AR设备之间的相对位置信息,包括:
基于所述当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标对象在世界坐标系下的相对位置信息,确定所述AR设备在拍摄当前场景图像时,与所述目标对象之间的相对位置信息。
该实施方式,利用当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标对象在世界坐标系下的相对位置信息,能够较为准确的确定AR设备在拍摄当前场景图像时,与所述目标对象之间的相对位置信息,从而为特效数据的准确展示提供支持。
在一种可能的实施方式中,按照以下方式识别所述当前场景图像中是否包含所述目标对象:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;
基于所述多个特征点分别对应的特征信息与预先存储的所述目标对象包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述目标对象。
该实施方式,利用上述特征点的提取和比对能够较为准确的确定当前场景图像中是否存在目标对象。
第二方面,本公开实施例提供了一种增强现实场景下的展示装置,包括:
图像获取模块,用于获取增强现实AR设备拍摄的当前场景图像;
位置确定模块,用于基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息;
特效播放模块,用于基于所述展示位置信息,控制所述AR设备播放所述特效数据;所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。
在一种可能的实施方式中,所述位置确定模块在基于所述当前场景图像对目标对象的识别结果,确定所述特效数据的展示位置信息时,用于:
在所述当前场景图像中识别到所述目标对象的情况下,基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述特效数据的展示位置信息;
在所述当前场景图像中未识别到所述目标对象的情况下,获取世界坐标系下所述目标对象与所述AR设备之间的相对位置信息,并基于所述相对位置信息,确定所述特效数据的展示位置信息。
在一种可能的实施方式中,所述特效数据包括所述虚拟影像和音频;
所述特效播放模块在基于所述展示位置信息,控制所述AR设备播放所述特效数据时,用于:
在确定所述目标对象的至少部分在所述AR设备的图像展示范围的情况下,基于所述展示位置信息,控制所述AR设备播放至少部分所述虚拟影像和/或音频;
在确定所述目标对象未在所述AR设备的图像展示范围的情况下,基于所述展示位置信息,控制所述AR设备按照所述音频的已播放进度继续播放所述音频。
在一种可能的实施方式中,所述虚拟影像包括全息影像;
所述展示装置还包括全息影像生成模块,用于:
获取与所述目标对象匹配的待处理视频,所述待处理视频中包括与所述目标对象关联的目标关联对象;
为所述待处理视频中的每个像素点设置透明通道,得到第一视频;
基于所述透明通道,从所述第一视频中去除背景像素点,得到第二视频;
基于所述第二视频生成包括所述目标关联对象的全息影像。
在一种可能的实施方式中,所述全息影像生成模块在基于所述透明通道,从所述第一视频中去除背景像素点,得到第二视频时,用于:
将第一视频中的背景像素点对应的透明通道设置为白色,得到第三视频;所述第一视频包括所述目标关联对象的目标像素点和除所述目标像素点以外的背景像素点;
将第一视频中的第一类像素点对应的透明通道设置为黑色,将第一视频中的第二类像素点对应的透明通道设置为白色,将第一视频中的第三类像素点对应的透明通道设置为预设灰色值,得到第四视频;所述第三类像素点包括与背景像素点相邻的目标像素点和与目标像素点相邻的背景像素点;所述第一类像素点包括除第三类像素点以外的背景像素点,所述第二类像素点包括除第三类像素点以外的目标像素点;
基于第三视频和第四视频,生成所述第二视频。
在一种可能的实施方式中,所述虚拟影像包括多个虚拟对象的影像,以及多个虚拟对象之间的展示顺序和/或交互数据;
所述特效播放模块在基于所述展示位置信息,控制所述AR设备播放所述特效数据时,用于:
在所述展示位置信息对应的展示位置上,基于多个虚拟对象之间的展示顺序和/或交互数据,展示所述虚拟对象的影像。
在一种可能的实施方式中,所述位置确定模块在基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述特效数据的展示位置信息时,用于:
基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述目标对象在世界坐标系下的位置信息;
基于所述目标对象在所述世界坐标系下的位置信息和所述AR设备在所述世界坐标系下的位置信息,确定所述特效数据的展示位置信息。
在一种可能的实施方式中,所述位置确定模块在获取世界坐标系下所述目标对象与所述AR设备之间的相对位置信息时,用于:
基于所述当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标对象在世界坐标系下的相对位置信息,确定所述AR设备在拍摄当前场景图像时,与所述目标对象之间的相对位置信息。
在一种可能的实施方式中,所述位置确定模块还用于按照以下方式识别所述当前场景图像中是否包含所述目标对象:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;
基于所述多个特征点分别对应的特征信息与预先存储的所述目标对象包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述目标对象。
第三方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述增强现实场景下的展示装置、电子设备、及计算机可读存储介质的效果描述参见上述增强现实场景下的展示方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种增强现实场景下的展示方法的流程图;
图2A示出了本公开实施例所提供的生成全息影像的流程图;
图2B示出了本公开实施例所提供的去除第一视频中的背景像素点,得到第二视频的流程图;
图3A示出了本公开中展示的特效数据的示意图之一;
图3B示出了本公开中待处理视频中的一张图像;
图3C示出了本公开中第四视频中的一张图像;
图4A示出了本公开中展示的特效数据的示意图之二;
图4B示出了本公开中展示的特效数据的示意图之三;
图4C示出了本公开中展示的特效数据的示意图之四;
图5示出了本公开实施例所提供的识别当前场景图像中是否包含目标对象的流程图;
图6示出了本公开实施例所提供的一种增强现实场景下的展示装置的示意图;
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着AR技术的发展,逐渐将AR技术应用于多种领域中,比如可以在实体对象上叠加AR内容,通过AR内容向用户形象生动地介绍实体对象。但是目前AR设备上展示AR内容时,需要识别AR设备当前所处的位置,之后映射到三维地图模型中的某一位置,进而展示该位置所在范围内的预设好的虚拟特效数据。这种方式不仅需要采集大批量图像来重构真实环境对应的三维地图模型,而且预设好的虚拟数据展示出来的效果单一,不够丰富和生动。
针对该缺陷本公开实施例提供了一种增强现实场景下的展示方法、装置、电子设备及计算机可读存储介质,本公开实施例能够基于对目标对象的识别结果,实现虚拟影像和音频的综合展示,即不仅能够展示与目标对象匹配的AR画面、视频、全息影像等虚拟影像,另外,该方面无需重新构建三维地图模型,能够直接通过目标对象的识别结果即可触发匹配的特效数据进行展示,并且,特效数据中的虚拟影像与目标对象之间的展示位置具有预设位置关系,使其展示效果能够与目标对象紧密关联,能够更有针对性的去展示特效数据。
下面通过具体的实施例,对本公开公开的增强现实场景下的展示方法、装置、电子设备及存储介质进行说明。
如图1所示,本公开实施例公开了一种增强现实场景下的展示方法,该方法可以应用于具有计算能力的设备,可以是服务器,也可以是AR设备。具体地,该增强现实场景下的展示方法可以包括如下步骤:
S110、获取增强现实AR设备拍摄的当前场景图像。
示例性地,AR设备可以包括但不限于AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,这些AR设备中可以安装用于展示AR场景内容的应用程序,用户可以在该应用程序中体验AR场景内容。
示例性地,AR设备还可以包含用于拍摄图像的图像采集部件,比如RGB摄像头,在获取到AR设备拍摄的当前场景图像后,可以对该当前场景图像进行识别,识别是否包含触发特效数据进行展示的目标对象。
S120、基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息。
示例性地,针对不同的应用场景,目标对象可以为具有特定形态的物体,比如可以为书本、字画、建筑物等实体物体,通过特效数据可以对该实体物体进行介绍,增加用户对实体物体的了解。
示例性地,针对进行日历特效数据展示的场景,目标对象可以为具有预设形态的日历,特效数据可以为基于该日历的内容预先设计好的虚拟展示内容,可以向用户介绍日历的内容,以吸引用户查阅日历。
拍摄的当前场景图像中可能包括目标对象,也可能不包括目标对象,因此在执行此步骤之前,需要对当前场景图像进行识别,以确定当前场景图像中是否包括目标对象。
在识别到目标对象之后,可以基于目标对象的标识符等获取与目标对象相匹配的特效数据。这里的特效数据可以包括虚拟影像、视频等。虚拟影像可以包括与目标对象匹配的视频、全息影像、AR画面等。
在当前场景图像中包括目标对象时,可以直接基于当前场景图像,利用标识物(marker)进行定位的方式,确定与所述目标对象相匹配的特效数据的展示位置信息。其中,利用marker进行定位具体是,利用目标对象的图像作为marker,确定目标对象在当前场景图像中的图像位置信息,之后基于图像位置信息确定特效数据的展示位置信息。
在当前场景图像中不包括目标对象时,利用其他的定位方式,例如实时定位与地图构建(Simultaneous Localization And Mapping,SLAM)定位方式,确定目标对象对应的位置信息或相对于AR设备的相对位置信息,之后利用确定的上述位置信息或相对位置信息来确定特效数据的展示位置信息。其中,利用SLAM确定相对位置信息的步骤见下面实施例的描述。
上述展示位置信息可以包括特效数据在世界坐标系下的坐标信息。该世界坐标系为在真实空间中构建的三维坐标系,是一个绝对坐标系,在世界坐标系不随AR设备、目标对象、特效数据的位置而改变。
S130、基于所述展示位置信息,控制所述AR设备播放所述特效数据;所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。
若上述当前场景图像为识别到目标对象的首帧图像,则基于展示位置信息,控制特效数据从开始进行播放;若在AR设备之前拍摄的历史场景图像中已经识别到过目标对象,则基于特效数据当前的播放进度,继续播放特效数据。特效数据播放完之后,还可以通过点击AR设备上的显示的按钮,重新播放该特效数据。
上述实施例能够直接通过目标对象的识别结果即可触发匹配的特效数据进行展示,无需重新构建三维地图模型,相比基于当前AR设备的定位结果去触发展示特效数据的方式,展示效果能够与目标对象紧密关联,能够更有针对性的去展示特效数据。另外,该方面无需重新构建三维地图模型,能够直接通过目标对象的识别结果即可触发匹配的特效数据进行展示,并且,特效数据中的虚拟影像与目标对象之间的展示位置具有预设位置关系,使其展示效果能够与目标对象紧密关联,能够更有针对性的去展示特效数据。
AR设备图像展示范围有限,无法展示所有位置上的特效数据,因此,在基于所述展示位置信息,控制所述AR设备播放所述特效数据时,首先需要判断特效数据是否位于所述AR设备的图像展示范围内。
特效数据是与目标对象相匹配的,特效数据中的虚拟影像的展示位置与目标对象具有预设位置关系,例如,在目标对象为日历时,特效数据对应的虚拟影像的展示位置可以与日历的封面相垂直。
通过当前场景图像可以确定目标对象是否在AR设备的图像展示范围内,具体地,若当前场景图像中包括至少部分目标对象,则确定所述目标对象的至少部分在所述AR设备的图像展示范围内,此时与目标对象匹配的特效数据至少部分位于AR设备的图像展示范围内,此时在基于所述展示位置信息,控制所述AR设备播放所述特效数据时,具体可以是控制所述AR设备播放至少部分所述虚拟影像和/或音频。
若当前场景图像中不包括目标对象,则确定所述目标对象不在所述AR设备的图像展示范围内,此时与目标对象匹配的特效数据中的虚拟影像不在AR设备的图像展示范围内,此时在基于所述展示位置信息,控制所述AR设备播放所述特效数据时,具体可以是控制所述AR设备按照所述音频的已播放进度继续播放所述音频。
示例性地,上述确定当前场景图像中是否包括目标对象,或者是否包括至少部分目标对象具体可以按照如下步骤实现:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;基于所述多个特征点分别对应的特征信息与预先存储的所述目标对象包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述目标对象,或者是否包括部分目标对象。
若从当前场景图像中提取的特征点与预先存储的特征点全部匹配成功,则确定当前场景图像中包括完整的目标对象;如果从当前场景图像中提取的特征点与预先存储的特征点匹配成功的比例高于预设比例,则确定当前场景图像中包括部分目标对象;如果从当前场景图像中提取的特征点与预先存储的特征点匹配成功的比例低于或等于预设比例,则确定当前场景图像中不包括目标对象。具体的匹配过程可见下述步骤S510-S520。
在当前场景图像中包括完整的目标对象时,AR设备的图像展示范围内包括完整的目标对象,此时AR设备展示完整的所述虚拟影像和/或音频;在当前场景图像中包括部分目标对象时,AR设备的图像展示范围内包括部分目标对象,此时AR设备展示部分虚拟影像和/或音频;在当前场景图像中不包括目标对象时,AR设备的图像展示范围内不包括目标对象,此时AR设备不展示虚拟影像,只展示音频,这样提高了特效数据展示的合理性,并且保证了特效数据展示的连贯性。
为了进一步提高展示的AR内容的丰富性,提高AR内容展示的效果,还可以展示与目标对象匹配的全息影像,全息影像中包括与目标对象关联的目标关联对象。如图2A所示,在一些实施例中可以利用如下步骤生成全息影像:
S210、获取与所述目标对象匹配的待处理视频,所述待处理视频中包括与所述目标对象关联的目标关联对象。
目标关联对象与目标对象相关联,例如,如图3A所示,在目标对象为某一场所301时,目标关联对象可以是对该场所进行介绍的导游302。
如图3B所示,为待处理视频中的一张图像,该图像有背景。
S220、为所述待处理视频中的每个像素点设置透明通道,得到第一视频。
这里是为待处理视频中每张图像中的每个像素点设置透明通道,利用透明通道可以控制对应的像素点的透明程度,透明的像素点不对图像提供贡献,即该像素点不显示;不透明的像素点对图像提供贡献,即该像素点显示。
S230、基于所述透明通道,从所述第一视频中去除背景像素点,得到第二视频。
如果将某一像素点的透明通道的值设置为0,则表示该像素点为透明,此时该像素点的透明通道设置为了黑色,该像素点不对图像提供贡献;如果将某一像素点的透明通道的值设置为1,则表示该像素点为不透明,此时该像素点的透明通道设置为了白色,该像素点对图像提供贡献。利用对透明通道透明度的设置,可以从所述第一视频中去除背景像素点。
在具体实施时,如图2B所示,可以利用如下步骤去除第一视频中的背景像素点,得到第二视频:
S2301、将第一视频中的背景像素点对应的透明通道设置为白色,得到第三视频;所述第一视频包括所述目标关联对象的目标像素点和除所述目标像素点以外的背景像素点。
示例性的,将背景像素点对应的透明通道设置为1。
S2302、将第一视频中的第一类像素点对应的透明通道设置为黑色,将第一视频中的第二类像素点对应的透明通道设置为白色,将第一视频中的第三类像素点对应的透明通道设置为预设灰色值,得到第四视频;所述第三类像素点包括与背景像素点相邻的目标像素点和与目标像素点相邻的背景像素点;所述第一类像素点包括除第三类像素点以外的背景像素点,所述第二类像素点包括除第三类像素点以外的目标像素点。
示例性的,将第一类像素点对应的透明通道设置为0,将第二类像素点对应的透明通道设置为1,将第三类像素点对应的透明通道设置为0到1之间的值,即预设灰度值。将第三类像素点设置为预设灰度值是为了将目标关联对象边缘的像素的颜色与背景的透明色相接近,避免显示的目标关联对象边缘颜色比较锐利。如图3C所示为第四视频中一张图像,
S2303、基于第三视频和第四视频,生成所述第二视频。
将第三视频和第四视频进行整合,即得到了去除了背景,只保留了目标关联对象的第二视频。如图3A所示,导游302的背景是透明的。
S240、基于所述第二视频生成包括所述目标关联对象的全息影像。
生成的全息影像如图3A所示。
为了进一步提高AR内容显示的丰富性,虚拟影像中还可以包括视频、AR画面、文字等,如图4A所示,在识别到目标对象蛋糕时,显示“生日快乐”的文字,如图4B所示,在识别到目标对象日历时,显示与日历对象的AR画面,AR画面中包括龙、松鼠等虚拟对象。
另外,为了进一步丰富AR展示的内容,提高AR内容的展示效果,可以在虚拟影像中设置多个虚拟对象的影像,并预先设置多个虚拟对象之间的展示顺序和/或交互数据。在基于所述展示位置信息,控制所述AR设备播放所述特效数据时,具体可以是:
在所述展示位置信息对应的展示位置上,基于多个虚拟对象之间的展示顺序和/或交互数据,展示所述虚拟对象的影像。
如图4C所示,虚拟影像中设置虚拟对象战士一401和虚拟对象战士二402的影像,在扫描到游戏字样时,显示战士一401的虚拟影像先出现在AR设备展示的画面中,战士二402战斗的虚拟影像后出现在AR设备展示的画面中。之后,根据预设的战士一401和战士二402之间的交互数据,展示两者的战斗状态。
特效数据展示的过程中,在一些情况下,目标对象或者AR设备可能发生移动,在移动过程中,若目标对象的位置发生变化,如何能够继续确定特效数据的展示位置信息,从而对特效数据进行连贯展示,以提供更加逼真的展示效果,是值得研究的问题。
针对上述问题,本公开实施例利用两种定位方式确定特效数据的展示位置信息,在识别到当前场景图像中包含目标对象的情况下,可以利用第一定位方式,基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述特效数据的展示位置信息;在识别到当前场景图像中不包含目标对象的情况下,可以利用第二定位方式,获取世界坐标系下所述目标对象与所述AR设备之间的相对位置信息,并基于所述相对位置信息,确定所述特效数据的展示位置信息。
上述在未识别到当前场景图像中包含目标对象的情况下,可以根据第二定位方式确定出特效数据的展示位置信息,这样可以基于确定的展示位置信息控制AR设备继续对未展示的特效数据进行展示,保证了特效数据在展示过程中的连贯性,使得特效数据的展示更加逼真。
示例性地,目标对象为日历,特效数据包括动态展示的总时长为30s的视频,若在该视频展示到第10s时,AR设备拍摄的当前场景图像中识别不到目标对象,此时可以根据基于第二定位方式确定的特效数据的展示位置信息,继续控制AR设备按照视频继续从第10s处进行展示。若在继续展示过程中,基于场景图像确定出日历完全离开AR设备的图像展示范围,比如AR设备的拍摄角度完全离开日历,视频自然位于图像展示范围之外,此时尽管视频还在继续展示,但是用户无法通过AR设备观看到特效数据对应的视频。若在继续展示过程中,基于场景图像确定出日历偏离但是未全部离开AR设备的图像展示范围,比如AR设备的拍摄角度还可以拍摄到日历的部分区域,此时用户可以通过AR设备观看到视频的部分视频。
示例性地,目标对象为日历,特效数据包括动态展示的总时长为30s的视频,若在该视频展示到第10s时,AR设备拍摄的当前场景图像中识别全部目标对象,此时可以根据基于利用日历在当前场景图像中的图像位置想信息确定的展示位置信息,继续控制AR设备按照视频继续从第10s处进行展示。
示例性的,可以利用如下步骤识别日历是否在当前场景图像中:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;基于所述多个特征点分别对应的特征信息与预先存储的所述日历包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述日历。
若从当前场景图像中提取的特征点与预先存储的日历特征点全部匹配成功,则确定当前场景图像中包括完整的日历,如果从当前场景图像中提取的特征点与预先存储的日历的特征点匹配成功的比例高于预设比例,则确定当前场景图像中包括部分日历。如果从当前场景图像中提取的特征点与预先存储的日历的特征点匹配成功的比例低于或等于预设比例,则确定当前场景图像中不包括日历。
上述利用第一定位方式,基于图像识别技术,可以较为准确地确定出目标对象在当前场景图像中的图像位置信息,因此,这里基于目标对象的图像位置信息可以较为准确地得到特效数据的展示位置信息,从而为特效数据的准确展示提供支持。
第一定位方式是基于目标对象在当前场景图像中的图像位置信息,来确定的特效数据的展示位置信息,因此在基于第一定位方式对目标对象进行定位的过程中,可以同时确定出AR设备在拍摄每张场景图像时,与目标对象之间的相对位置信息,并保存该相对位置信息,这样在当前场景图像为未识别到目标对象的情况下,可以结合保存的AR设备与目标对象之间的相对位置信息,以及实时定位与地图构建(Simultaneous Localization AndMapping,SLAM)技术,确定出AR设备在拍摄当前场景图像时,与目标对象之间的相对位置信息,进一步可以基于该相对位置信息以及特效数据与目标对象的相对位置关系,确定出特效数据的展示位置信息,该过程将在后文进行详细阐述。
在一些实施例中,可以按照以下方式识别当前场景图像中是否包含目标对象,如图5所示:
S510,对当前场景图像进行特征点提取,得到当前场景图像包含的多个特征点分别对应的特征信息;多个特征点位于当前场景图像中的目标检测区域中。
示例性地,在对当前场景图像进行识别过程中,可以通过图像检测算法,定位出当前场景图像中包含实体对象的目标检测区域,然后在目标检测区域中进行特征点提取,比如可以提取目标检测区域中位于实体对象轮廓上的特征点、位于标识图案区域的特征点以及位于文字区域的特征点等,示例性地,为了使得提取到的特征点能够完整的表示目标对象,特征点可以基于目标对象在当前场景图像中对应的位置区域进行均匀提取,比如目标对象为日历的情况下,可以在日历封面在当前场景图像中对应的矩形区域中进行均匀提取。
示例性地,这里提取到的特征点包含的特征信息可以包含特征点对应的纹理特征值、RGB特征值、灰度值等能够表示该特征点特征的信息。
S520,基于多个特征点分别对应的特征信息与预先存储的目标对象包含的多个特征点分别对应的特征信息进行比对,确定当前场景图像中是否包含目标对象。
示例性地,可以按照相同的方式预先对目标对象进行拍摄,得到并保存目标对象包含的多个特征点分别对应的特征信息。
示例性地,在基于多个特征点分别对应的特征信息与预先存储的目标对象包含的多个特征点分别对应的特征信息进行比对时,可以先基于当前场景图像提取到的多个特征点分别对应的特征信息确定当前场景图像中目标检测区域对应的第一特征向量,以及基于目标对象包含的多个特征点分别对应的特征信息确定目标对象对应的第二特征向量,然后可以通过第一特征向量和第二特征向量确定目标检测区域和目标对象之间的相似度,比如可以通过余弦公式进行确定。
示例性地,在确定第一特征向量和第二特征向量之间的相似度大于或等于预设相似度阈值的情况下,确定当前场景图像中包含目标对象,反之,在确定第一特征向量和第二特征向量之间的相似度小于预设相似度阈值的情况下,确定当前场景图像中不包含目标对象。
利用上述特征点的提取和比对能够较为准确的确定当前场景图像中是否存在目标对象。
在一些实施例中,在识别到当前场景图像包括目标对象的情况下,可以利用如下步骤确定特效数据的展示位置信息:
基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述目标对象在世界坐标系下的位置信息;基于所述目标对象在所述世界坐标系下的位置信息和所述AR设备在所述世界坐标系下的位置信息,确定所述特效数据的展示位置信息。
在执行上述步骤之前,首先需要获取目标对象在当前场景图像中的图像位置信息,示例性地,可以以当前场景图像建立图像坐标系,获取目标对象包含的多个特征点在图像坐标系中的图像坐标值,得到目标对象在当前场景图像中的图像位置信息。
上述基于目标对象在当前场景图像中的图像位置信息,确定目标对象在世界坐标系下的位置信息,具体可以是,基于上述图像位置信息、图像坐标系和AR设备对应的相机坐标系之间的转换关系、以及AR设备对应的相机坐标系与世界坐标系之间的转换关系,确定目标对象在世界坐标系下的位置信息。
示例性地,AR设备对应的相机坐标系可以以AR设备包含的图像采集部件的聚焦中心为原点,以光轴为Z轴建立的三维直角坐标系,在AR设备拍摄到当前场景图像后,可以基于图像坐标系和相机坐标系之间的转换关系,确定出目标对象在相机坐标系下的位置信息。
示例性地,世界坐标系可以以目标对象的中心点为原点进行建立,比如上文提到的在目标对象为日历的情况下,可以以日历的中心为原点,以通过日历中心的长边为X轴、以通过日历中心的短边为Y轴、以通过日历中心且垂直于日历封面的直线为Z轴进行建立的。
其中,相机坐标系和世界坐标系之间的转换为刚体转换,即相机坐标系经过旋转、平移可以与世界坐标系重合的一种转换方式,相机坐标系和世界坐标系之间的转换关系可以通过目标对象中的多个位置点在世界坐标系下的位置坐标,以及在相机坐标系下对应的位置坐标进行确定,在本公开中不进行赘述,这里在得到目标对象在相机坐标系下的位置信息后,可以基于AR设备对应的相机坐标系与世界坐标系之间的转换关系,确定出目标对象在世界坐标系下的位置信息。
上述基于所述目标对象在所述世界坐标系下的位置信息和所述AR设备在所述世界坐标系下的位置信息,确定所述特效数据的展示位置信息,具体可以是,AR设备在世界坐标系下的位置信息可以通过AR设备拍摄的当前场景图像来确定,比如在当前场景图像中选定特征点,通过确定选定的特征点在以目标对象建立的世界坐标系下的位置坐标,以及选定的特征点在AR设备对应的相机坐标系下的位置坐标,可以确定出AR设备在拍摄当前场景图像时在世界坐标系下的位置信息。
考虑到特效数据与目标对象在相同坐标系下具有预设位置关系,因此这里基于目标对象和AR设备在相同的世界坐标系下的位置信息,可以确定出特效数据的展示位置信息。
上述在基于目标对象在世界坐标系下的位置信息和AR设备在世界坐标系下的位置信息,确定特效数据的展示位置信息时,具体可以是:
基于目标对象在世界坐标系下的位置信息,确定特效数据在世界坐标系下的位置信息;基于特效数据在世界坐标系下的位置信息和AR设备在世界坐标系下的位置信息,确定特效数据的展示位置信息。
示例性地,可以按照目标对象在世界坐标系下的位置信息,以及预先设置的特效数据与目标对象在相同坐标系下的预设位置关系,确定出特效数据在世界坐标系下的展示位置信息。
在一些实施例中,在识别到当前场景图像包括不目标对象的情况下,可以利用如下步骤确定特效数据的展示位置信息:
基于所述当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标对象在世界坐标系下的相对位置信息,确定所述AR设备在拍摄当前场景图像时,与所述目标对象之间的相对位置信息;基于确定的相对位置信息,确定特效数据的展示位置信息。
示例性地,下面以当前场景图像为AR设备拍摄的第三帧场景图像为例,结合SLAM技术简要说明如何确定AR设备在拍摄当前场景图像时,AR设备与目标对象之间的相对位置信息。
从AR设备拍摄第一帧包含目标对象的场景图像开始,可以基于以目标对象的中心点为原点建立的世界坐标系,以及AR设备拍摄的第一帧场景图像中选定的特征点分别在世界坐标系和AR设备对应的相机坐标系下的位置坐标,确定出AR设备在拍摄第一帧场景图像时在世界坐标系下的位置信息,同时确定的还包含目标对象在AR设备在拍摄第一帧场景图像时在世界坐标系下的位置信息,基于AR设备在拍摄第一帧场景图像时在世界坐标系下的位置信息,以及目标对象在AR设备在拍摄第一帧场景图像时在世界坐标系下的位置信息,可以确定出AR设备拍摄第一帧场景图像时与目标对象在世界坐标系下的相对位置信息。
进一步地,当AR设备拍摄第二帧场景图像时,可以在第二帧场景图像中找到第一帧场景图像中包含的目标特征点,基于目标特征点分别在AR设备拍摄这两帧场景图像时在相机坐标系下的位置信息,确定出AR设备在拍摄第二帧场景图像时相对于拍摄第一帧场景图像时的位置偏移量,然后基于该位置偏移量,以及AR设备在拍摄第一帧场景图像时与目标对象在建立的世界坐标系下的相对位置信息,确定出AR设备在拍摄第二帧场景图像时与目标对象在世界坐标系下的相对位置信息。
进一步地,可以通过相同的方式,确定出AR设备在当前场景图像时,相对于拍摄第二帧场景图像时的位置偏移量,这样可以结合AR设备拍摄当前场景图像时相比拍摄第二帧场景图像时的位置偏移量,以及AR设备在拍摄第二帧场景图像时与目标对象在世界坐标系下的相对位置信息,确定出AR设备在拍摄当前场景图像时与目标对象在世界坐标系下的相对位置信息。
利用当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标对象在世界坐标系下的相对位置信息,能够较为准确的确定AR设备在拍摄当前场景图像时,与所述目标对象之间的相对位置信息。
在确定特效数据在世界坐标系下的展示位置信息时,还可以确定特效数据在世界坐标系下的展示姿态信息,处理逻辑基本相同,这里不再赘述。在展示特效数据的时候,可以同时结合确定的展示位置信息和展示姿态信息进行展示。
对应于上述增强现实场景下的展示方法,本公开还公开了一种增强现实场景下的展示装置,该装置中的各个模块能够实现上述在服务端或AR设备上执行的各个实施例的增强现实场景下的展示方法中的每个步骤,并且能够取得相同的有益效果,因此,对于相同的部分这里不再进行赘述。具体地,如图6所示,增强现实场景下的展示装置包括:
图像获取模块610,用于获取增强现实AR设备拍摄的当前场景图像。
位置确定模块620,用于基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息。
特效播放模块630,用于基于所述展示位置信息,控制所述AR设备播放所述特效数据;所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。
对应于上述增强现实场景下的展示方法,本公开实施例还提供了一种电子设备700,如图7所示,为本公开实施例提供的电子设备700结构示意图,包括:
处理器71、存储器72、和总线73;存储器72用于存储执行指令,包括内存721和外部存储器722;这里的内存721也称内存储器,用于暂时存放处理器71中的运算数据,以及与硬盘等外部存储器722交换的数据,处理器71通过内存721与外部存储器722进行数据交换,当电子设备700运行时,处理器71与存储器72之间通过总线73通信,使得处理器71执行以下指令:
获取增强现实AR设备拍摄的当前场景图像;基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息;基于所述展示位置信息,控制所述AR设备播放所述特效数据;所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述增强现实场景下的展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述增强现实场景下的展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种增强现实场景下的展示方法,其特征在于,包括:
获取增强现实AR设备拍摄的当前场景图像;
基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息;
基于所述展示位置信息,控制所述AR设备播放所述特效数据;所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。
2.根据权利要求1所述的展示方法,其特征在于,所述基于所述当前场景图像对目标对象的识别结果,确定所述特效数据的展示位置信息,包括:
在所述当前场景图像中识别到所述目标对象的情况下,基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述特效数据的展示位置信息;
在所述当前场景图像中未识别到所述目标对象的情况下,获取世界坐标系下所述目标对象与所述AR设备之间的相对位置信息,并基于所述相对位置信息,确定所述特效数据的展示位置信息。
3.根据权利要求1或2所述的展示方法,其特征在于,所述特效数据包括所述虚拟影像和音频;
所述基于所述展示位置信息,控制所述AR设备播放所述特效数据,包括:
在确定所述目标对象的至少部分在所述AR设备的图像展示范围的情况下,基于所述展示位置信息,控制所述AR设备播放至少部分所述虚拟影像和/或音频;
在确定所述目标对象未在所述AR设备的图像展示范围的情况下,基于所述展示位置信息,控制所述AR设备按照所述音频的已播放进度继续播放所述音频。
4.根据权利要求1至3任一项所述的展示方法,其特征在于,所述虚拟影像包括全息影像;
所述方法还包括:
获取与所述目标对象匹配的待处理视频,所述待处理视频中包括与所述目标对象关联的目标关联对象;
为所述待处理视频中的每个像素点设置透明通道,得到第一视频;
基于所述透明通道,从所述第一视频中去除背景像素点,得到第二视频;
基于所述第二视频生成包括所述目标关联对象的全息影像。
5.根据权利要求4所述的展示方法,其特征在于,所述基于所述透明通道,从所述第一视频中去除背景像素点,得到第二视频,包括:
将第一视频中的背景像素点对应的透明通道设置为白色,得到第三视频;所述第一视频包括所述目标关联对象的目标像素点和除所述目标像素点以外的背景像素点;
将第一视频中的第一类像素点对应的透明通道设置为黑色,将第一视频中的第二类像素点对应的透明通道设置为白色,将第一视频中的第三类像素点对应的透明通道设置为预设灰色值,得到第四视频;所述第三类像素点包括与背景像素点相邻的目标像素点和与目标像素点相邻的背景像素点;所述第一类像素点包括除第三类像素点以外的背景像素点,所述第二类像素点包括除第三类像素点以外的目标像素点;
基于第三视频和第四视频,生成所述第二视频。
6.根据权利要求1至5任一项所述的展示方法,其特征在于,所述虚拟影像包括多个虚拟对象的影像,以及多个虚拟对象之间的展示顺序和/或交互数据;
所述基于所述展示位置信息,控制所述AR设备播放所述特效数据,包括:
在所述展示位置信息对应的展示位置上,基于多个虚拟对象之间的展示顺序和/或交互数据,展示所述虚拟对象的影像。
7.根据权利要求2所述的展示方法,其特征在于,所述基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述特效数据的展示位置信息,包括:
基于所述目标对象在所述当前场景图像中的图像位置信息,确定所述目标对象在世界坐标系下的位置信息;
基于所述目标对象在所述世界坐标系下的位置信息和所述AR设备在所述世界坐标系下的位置信息,确定所述特效数据的展示位置信息。
8.根据权利要求2所述的展示方法,其特征在于,所述获取世界坐标系下所述目标对象与所述AR设备之间的相对位置信息,包括:
基于所述当前场景图像、历史场景图像、以及所述AR设备在拍摄所述历史场景图像时与所述目标对象在世界坐标系下的相对位置信息,确定所述AR设备在拍摄当前场景图像时,与所述目标对象之间的相对位置信息。
9.根据权利要求1至8任一项所述的展示方法,其特征在于,按照以下方式识别所述当前场景图像中是否包含所述目标对象:
对所述当前场景图像进行特征点提取,得到所述当前场景图像包含的多个特征点分别对应的特征信息;所述多个特征点位于所述当前场景图像中的目标检测区域中;
基于所述多个特征点分别对应的特征信息与预先存储的所述目标对象包含的多个特征点分别对应的特征信息进行比对,确定所述当前场景图像中是否包含所述目标对象。
10.一种增强现实场景下的展示装置,其特征在于,包括:
图像获取模块,用于获取增强现实AR设备拍摄的当前场景图像;
位置确定模块,用于基于所述当前场景图像对目标对象的识别结果,确定所述目标对象匹配的特效数据以及所述特效数据的展示位置信息;
特效播放模块,用于基于所述展示位置信息,控制所述AR设备播放所述特效数据;所述特效数据包括虚拟影像和/或音频,所述虚拟影像与所述目标对象之间的展示位置具有预设位置关系。
11.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至9任一项所述的增强现实场景下的展示方法的步骤。
12.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至9任一项所述的增强现实场景下的展示方法的步骤。
CN202011233879.6A 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质 Active CN112348969B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011233879.6A CN112348969B (zh) 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质
PCT/CN2021/102191 WO2022095467A1 (zh) 2020-11-06 2021-06-24 增强现实场景下的展示方法、装置、设备、介质及程序
TW110127756A TW202220438A (zh) 2020-11-06 2021-07-28 擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011233879.6A CN112348969B (zh) 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112348969A true CN112348969A (zh) 2021-02-09
CN112348969B CN112348969B (zh) 2023-04-25

Family

ID=74428557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011233879.6A Active CN112348969B (zh) 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质

Country Status (3)

Country Link
CN (1) CN112348969B (zh)
TW (1) TW202220438A (zh)
WO (1) WO2022095467A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905014A (zh) * 2021-02-26 2021-06-04 北京市商汤科技开发有限公司 Ar场景下的交互方法、装置、电子设备及存储介质
CN112991555A (zh) * 2021-03-30 2021-06-18 北京市商汤科技开发有限公司 数据展示方法、装置、设备以及存储介质
CN113115099A (zh) * 2021-05-14 2021-07-13 北京市商汤科技开发有限公司 一种视频录制方法、装置、电子设备以及存储介质
CN113220123A (zh) * 2021-05-10 2021-08-06 深圳市慧鲤科技有限公司 一种音效控制的方法、装置、电子设备及存储介质
CN113240819A (zh) * 2021-05-24 2021-08-10 中国农业银行股份有限公司 穿戴效果的确定方法、装置和电子设备
CN113269782A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113329218A (zh) * 2021-05-28 2021-08-31 青岛鳍源创新科技有限公司 水下拍摄的增强现实结合方法、装置、设备及存储介质
CN113345108A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113359986A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113470186A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 Ar交互方法、装置、电子设备及存储介质
CN113542620A (zh) * 2021-07-06 2021-10-22 北京百度网讯科技有限公司 一种特效处理方法、装置及电子设备
CN113542891A (zh) * 2021-06-22 2021-10-22 海信视像科技股份有限公司 一种视频特效显示方法及设备
CN114153548A (zh) * 2021-12-15 2022-03-08 北京绵白糖智能科技有限公司 一种展示方法、装置、计算机设备及存储介质
WO2022095467A1 (zh) * 2020-11-06 2022-05-12 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、设备、介质及程序
CN114661398A (zh) * 2022-03-22 2022-06-24 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质
WO2022188305A1 (zh) * 2021-03-11 2022-09-15 深圳市慧鲤科技有限公司 信息展示方法及装置、电子设备、存储介质及计算机程序
WO2022252688A1 (zh) * 2021-06-03 2022-12-08 上海商汤智能科技有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
WO2023124698A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 增强现实场景的展示

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质
CN115242980B (zh) * 2022-07-22 2024-02-20 中国平安人寿保险股份有限公司 视频生成方法和装置、视频播放方法和装置及存储介质
CN115695685A (zh) * 2022-10-28 2023-02-03 北京字跳网络技术有限公司 特效处理方法、装置、电子设备及存储介质
CN116095293A (zh) * 2023-01-13 2023-05-09 北京达佳互联信息技术有限公司 虚拟道具的显示方法、装置、设备以及存储介质
CN116860114B (zh) * 2023-09-04 2024-04-05 腾讯科技(深圳)有限公司 基于人工智能的扩展现实交互方法及相关装置
CN118151806A (zh) * 2024-05-11 2024-06-07 广州欧科信息技术股份有限公司 基于增强现实的历史数据展示方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing
CN110180167A (zh) * 2019-06-13 2019-08-30 张洋 增强现实中智能玩具追踪移动终端的方法
CN110213640A (zh) * 2019-06-28 2019-09-06 香港乐蜜有限公司 虚拟物品的生成方法、装置及设备
CN111640169A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 历史事件呈现方法、装置、电子设备及存储介质
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170092001A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Augmented reality with off-screen motion sensing
CN110083238A (zh) * 2019-04-18 2019-08-02 深圳市博乐信息技术有限公司 基于增强现实技术的人机互动方法与***
CN111510701A (zh) * 2020-04-22 2020-08-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及计算机可读介质
CN111696215A (zh) * 2020-06-12 2020-09-22 上海商汤智能科技有限公司 一种图像处理方法、装置及设备
CN112348969B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing
CN110180167A (zh) * 2019-06-13 2019-08-30 张洋 增强现实中智能玩具追踪移动终端的方法
CN110213640A (zh) * 2019-06-28 2019-09-06 香港乐蜜有限公司 虚拟物品的生成方法、装置及设备
CN111640169A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 历史事件呈现方法、装置、电子设备及存储介质
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095467A1 (zh) * 2020-11-06 2022-05-12 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、设备、介质及程序
CN112905014A (zh) * 2021-02-26 2021-06-04 北京市商汤科技开发有限公司 Ar场景下的交互方法、装置、电子设备及存储介质
WO2022188305A1 (zh) * 2021-03-11 2022-09-15 深圳市慧鲤科技有限公司 信息展示方法及装置、电子设备、存储介质及计算机程序
CN112991555A (zh) * 2021-03-30 2021-06-18 北京市商汤科技开发有限公司 数据展示方法、装置、设备以及存储介质
CN113269782A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
US11995741B2 (en) 2021-04-21 2024-05-28 Qingdao Pico Technology Co., Ltd. Data generation method and apparatus, and electronic device
CN113269782B (zh) * 2021-04-21 2023-01-03 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113220123A (zh) * 2021-05-10 2021-08-06 深圳市慧鲤科技有限公司 一种音效控制的方法、装置、电子设备及存储介质
CN113115099A (zh) * 2021-05-14 2021-07-13 北京市商汤科技开发有限公司 一种视频录制方法、装置、电子设备以及存储介质
WO2022237129A1 (zh) * 2021-05-14 2022-11-17 北京市商汤科技开发有限公司 视频录制方法、装置、设备、介质及程序
CN113240819A (zh) * 2021-05-24 2021-08-10 中国农业银行股份有限公司 穿戴效果的确定方法、装置和电子设备
CN113329218A (zh) * 2021-05-28 2021-08-31 青岛鳍源创新科技有限公司 水下拍摄的增强现实结合方法、装置、设备及存储介质
WO2022252688A1 (zh) * 2021-06-03 2022-12-08 上海商汤智能科技有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
CN113359986A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113359986B (zh) * 2021-06-03 2023-06-20 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113542891A (zh) * 2021-06-22 2021-10-22 海信视像科技股份有限公司 一种视频特效显示方法及设备
CN113345108B (zh) * 2021-06-25 2023-10-20 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113345108A (zh) * 2021-06-25 2021-09-03 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113470186A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 Ar交互方法、装置、电子设备及存储介质
CN113542620A (zh) * 2021-07-06 2021-10-22 北京百度网讯科技有限公司 一种特效处理方法、装置及电子设备
CN114153548A (zh) * 2021-12-15 2022-03-08 北京绵白糖智能科技有限公司 一种展示方法、装置、计算机设备及存储介质
WO2023124698A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 增强现实场景的展示
CN114661398A (zh) * 2022-03-22 2022-06-24 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质
CN114661398B (zh) * 2022-03-22 2024-05-17 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
TW202220438A (zh) 2022-05-16
WO2022095467A1 (zh) 2022-05-12
CN112348969B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN112348969B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及***
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN111638784B (zh) 人脸表情互动方法、互动装置以及计算机存储介质
CN111638793A (zh) 飞行器的展示方法、装置、电子设备及存储介质
CN111643900A (zh) 一种展示画面控制方法、装置、电子设备和存储介质
CN111640197A (zh) 一种增强现实ar特效控制方法、装置及设备
CN108668050B (zh) 基于虚拟现实的视频拍摄方法和装置
CN112653848B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN111640202A (zh) 一种ar场景特效生成的方法及装置
CN111638797A (zh) 一种展示控制方法及装置
CN111667588A (zh) 人物图像处理方法、装置、ar设备以及存储介质
CN112637665B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111970557A (zh) 图像显示方法、装置、电子设备及存储介质
CN111639613B (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111651057A (zh) 一种数据展示方法、装置、电子设备及存储介质
CN113487709A (zh) 一种特效展示方法、装置、计算机设备以及存储介质
CN111652983A (zh) 一种增强现实ar特效生成方法、装置及设备
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN111694431A (zh) 一种人物形象生成的方法及装置
CN111651058A (zh) 历史场景的控制展示方法、装置、电子设备及存储介质
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039399

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant