CN111640202B - 一种ar场景特效生成的方法及装置 - Google Patents

一种ar场景特效生成的方法及装置 Download PDF

Info

Publication number
CN111640202B
CN111640202B CN202010531790.1A CN202010531790A CN111640202B CN 111640202 B CN111640202 B CN 111640202B CN 202010531790 A CN202010531790 A CN 202010531790A CN 111640202 B CN111640202 B CN 111640202B
Authority
CN
China
Prior art keywords
target
special effect
virtual
magic
tourist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010531790.1A
Other languages
English (en)
Other versions
CN111640202A (zh
Inventor
潘思霁
揭志伟
李炳泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202010531790.1A priority Critical patent/CN111640202B/zh
Publication of CN111640202A publication Critical patent/CN111640202A/zh
Application granted granted Critical
Publication of CN111640202B publication Critical patent/CN111640202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种AR场景特效生成的方法及装置,其中,该方法包括:获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像;在识别到现实场景图像中存在至少一个其他目标游客后,确定其他目标游客对应的虚拟角色,并确定虚拟角色的魔法特效;基于虚拟角色、虚拟角色的魔法特效,以及虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示。本公开实施例通过对获取到的现实场景图像中的其他目标游客进行识别,确定每个其他目标游客的虚拟角色以及该虚拟角色对应的魔法特效,并生成包含虚拟角色、虚拟角色对应的魔法特效以及现实场景图像的AR场景特效,丰富了展示场景。

Description

一种AR场景特效生成的方法及装置
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种AR场景特效生成的方法及装置。
背景技术
增强现实(Augmented Reality,AR)技术是通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来,AR设备的应用领域越来越广,使得AR设备在生活、工作、娱乐中起到了重要的作用,对AR设备呈现的增强现实场景的效果的优化,愈发重要。
目前,一些游乐场所会部署一些卡通人物的模型或者人偶来丰富展馆展示内容,但这些内容一方面会占用额外空间,另外还会增加设施成本。如何基于AR技术,在尽量减少设施成本、不增加额外空间浪费的情况下,满足展馆展览及用户观看的需求,是值得研究的问题。
发明内容
本公开实施例至少提供一种AR场景特效生成的方法及装置。
第一方面,本公开实施例提供了一种AR场景特效生成的方法,所述方法包括:
获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像;
在识别到所述现实场景图像中存在至少一个其他目标游客后,确定所述其他目标游客对应的虚拟角色,并确定所述虚拟角色的魔法特效;
基于所述虚拟角色、所述虚拟角色的魔法特效,以及所述虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示;其中,在所述AR场景特效中,所述其他目标游客使用对应的虚拟角色的形象进行呈现。
在上述方法中,通过对获取到的现实场景图像中的其他目标游客进行识别,确定每个其他目标游客的虚拟角色以及所述虚拟角色对应的魔法特效,将上述虚拟角色替换上述现实场景图像中的其他目标游客,生成包含虚拟角色、虚拟角色对应的魔法特效以及现实场景图像的AR场景特效,当前游客可以使用自己的AR设备观看到带有魔法特效的虚拟角色,在不增加设施成本及不带来额外空间浪费的情况下,丰富了展示场景。
在一种可能的实施方式中,在识别到所述现实场景图像中存在至少一个其他目标游客后,确定所述其他目标游客对应的虚拟角色,并确定该虚拟角色的魔法特效包括:
识别所述现实场景图像中每个所述其他目标游客的用户图像;
根据所述用户图像,确定所述其他目标游客的属性特征;基于所述属性特征,确定与所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
这里,通过提取现实场景图像中每个其他目标游客的用户图像对应的属性特征(这里,属性特征可以包括人脸属性特征和附属物属性特征),从而能够根据其他目标游客的年龄、性别、情绪、身高以及穿戴特征、手持物特征等,确定与其他目标游客匹配的虚拟角色,并根据虚拟角色原型为该虚拟角色匹配对应的魔法效果,丰富了展示场景。
在一种可能的实施方式中,在识别到所述现实场景图像中存在至少一个其他目标游客后,确定所述其他目标游客对应的虚拟角色,并确定该虚拟角色的魔法特效,包括:
根据所述当前游客的历史行为数据,确定所述当前游客的兴趣特征;
根据所述兴趣特征,确定每个所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
这里,通过提取当前游客的用户历史行为数据,结合用户历史行为数据(比如:用户历史行为数据可以包括游玩过的游乐项目、每个游乐项目对应的游玩时长以及每个游乐项目对应的游玩次数;例如,游玩过得游乐项目为迪士尼城堡游乐项目、游玩时长为5小时、游玩次数为5次、)确定当前游客的兴趣特征(比如:喜欢迪士尼卡通人物),根据确定的当前游客的兴趣特征为其他游客匹配虚拟角色,并根据虚拟角色对应的角色原型匹配对应的魔法特效,当前游客能够使用AR设备在场景图像中观看到自己喜欢的虚拟角色以及该虚拟角色对应的魔法特效,满足了用户个性化需求。
在一种可能的实施方式中,生成AR场景特效之后,通过AR设备进行展示,包括:
通过AR设备展示融入现实场景的所述虚拟角色;
在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效。
这里,当前游客能够在游玩过程中通过目标手势动作为虚拟角色添加对应的魔法特效,增加游玩过程的趣味性。
在一种可能的实施方式中,检测到所述当前游客的目标手势触发操作,包括:
根据连续获取的多张现实场景图像,识别多张现实场景图像中的所述当前游客的手势动作;
在确定所述手势动作属于目标手势类型后,确定检测到了所述当前游客的目标手势触发操作。
在一种可能的实施方式中,在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效,包括:
在存在多个其他目标游客的情况下,在检测到所述当前游客的目标手势触发操作后,根据该目标手势触发操作对应的操作位置信息,确定所述目标手势触发操作针对的目标虚拟角色;
触发展示所述目标虚拟角色的魔法特效。
这里,当现实场景图像中有多个其他目标游客时,能够根据当前游客发起目标手势动作的位置,为对应的虚拟角色添加魔法特效,丰富了展示场景,增加了游玩的趣味性。
在一种可能的实施方式中,在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效,包括:
在检测到所述当前游客的目标手势触发操作后,触发周期性展示所述虚拟角色的魔法特效,直到检测到所述当前游客的结束触发操作;或者,
在检测到所述当前游客的目标手势触发操作后,触发展示一次所述虚拟角色的魔法特效;
其中所述魔法特效每次的展示时长为根据该魔法特效的特点预先设置的。
第二方面,本公开实施例提供一种AR场景特效生成的装置,所述装置包括:
获取模块,用于获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像;
虚拟对象确定模块,用于在识别到所述现实场景图像中存在至少一个其他目标游客后,确定所述其他目标游客对应的虚拟角色,并确定所述虚拟角色的魔法特效;
AR场景特效生成模块,用于基于所述虚拟角色、所述虚拟角色的魔法特效,以及所述虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示;其中,在所述AR场景特效中,所述其他目标游客使用对应的虚拟角色的形象进行呈现。
在一种可能的实施方式中,所述虚拟对象确定模块,具体用于识别所述现实场景图像中每个所述其他目标游客的用户图像;根据所述用户图像,确定所述其他目标游客的属性特征;基于所述属性特征,确定与所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
在一种可能的实施方式中,所述虚拟对象确定模块,具体用于根据所述当前游客的历史行为数据,确定所述当前游客的兴趣特征;根据所述兴趣特征,确定每个所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
在一种可能的实施方式中,所述装置还包括:AR场景特效展示模块,用于展示融入现实场景的所述虚拟角色;在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效。
在一种可能的实施方式中,所述装置还包括:手势触发操作检测模块,用于根据连续获取的多张现实场景图像,识别多张现实场景图像中的所述当前游客的手势动作;在确定所述手势动作属于目标手势类型后,确定检测到了所述当前游客的目标手势触发操作。
在一种可能的实施方式中,所述AR场景特效展示模块,具体用于在存在多个其他目标游客的情况下,在检测到所述当前游客的目标手势触发操作后,根据该目标手势触发操作对应的操作位置信息,确定所述目标手势触发操作针对的目标虚拟角色;触发展示所述目标虚拟角色的魔法特效。
在一种可能的实施方式中,所述AR场景特效展示模块,还具体用于在检测到所述当前游客的目标手势触发操作后,触发周期性展示所述虚拟角色的魔法特效,直到检测到所述当前游客的结束触发操作;或者,在检测到所述当前游客的目标手势触发操作后,触发展示一次所述虚拟角色的魔法特效;其中所述魔法特效每次的展示时长为根据该魔法特效的特点预先设置的。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的AR场景特效生成的方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的AR场景特效生成的方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR场景特效生成的方法的流程图;
图2示出了本公开实施例所提供的一种AR场景特效展示的界面图的示意图;
图3示出了本公开实施例所提供的一种AR场景特效展示的界面图的示意图;
图4示出了本公开实施例所提供的一种AR场景特效生成的装置的示意图;
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现,目前当游客在游乐场所游玩时,若该游乐场所中有游客很喜欢人物时,仅能拍摄该人物在游乐场所下照片或视频,无法还原该人物相对应的动态效果,比如:当游客在迪士尼城堡游玩时,当游客看见自己喜欢的冰雪女王艾莎公主时,只能拍摄艾莎公主的模型或者人偶在迪士尼城堡中的照片或视频,游客无法拍摄电影素材中艾莎公主使用魔法的经典图像。
基于此,本公开提供了一种AR场景特效生成的方法及装置,通过对获取到的现实场景图像中的其他目标游客进行识别,确定每个其他目标游客的虚拟角色以及所述虚拟角色对应的魔法特效,将上述虚拟角色替换上述现实场景图像中的其他目标游客,生成包含虚拟角色、虚拟角色对应的魔法特效以及现实场景图像的AR场景特效,当前游客可以使用自己的AR设备观看到带有魔法特效的虚拟角色,丰富了展示场景,并且当前游客可以使用自己的AR设备为带有动态魔法特效的虚拟角色拍摄照片或视频,还原了人物的动态效果,增加了游玩的趣味性。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种AR场景特效生成的方法进行详细介绍,本公开实施例所提供的AR场景特效生成的方法的执行主体可以为具有一定计算能力的计算机设备,具体可以为终端设备或服务器或其他处理设备,比如可以是与AR设备连接的服务器,AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,AR设备可以通过应用程序连接服务器,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、个人数字处理(Personal DigitalAssistant,PDA)等。在一些可能的实现方式中,该AR场景特效生成的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
实施例一
下面以指向主体为服务器为例,对本公开所提供的一种AR场景特效生成的方法进行介绍。参见图1所示,为本公开实施例提供的一种AR场景特效生成的方法的流程图,所述方法包括S101~S103,具体的:
S101、获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像。
其中,增强现实AR设备可以为AR智能眼镜、AR手机,也可以为任意具有增强现实功能的电子设备;目标游乐场所为用户当前游玩的游乐场所。
这里,现实场景图像可以为用户在游乐场所出入口的拍摄的场景照片,也可以为用户在游玩过程中拍摄的该游乐场所中任一游乐项目的场景照片。
在具体实施中,游客在进入游乐场所前,可以在入口处领取AR设备(比如:AR智能眼镜),用户在游玩过程中可以使用AR设备拍摄所在游乐场所的现实场景图像,并通过分析获取为该现实场景图像中的其他游客匹配的虚拟角色。这里AR设备可以自己完成为现实场景图像中的其他游客匹配虚拟角色的过程,也可以将拍摄的现实场景图像发送给服务器,通过服务器为现实场景图像中的其他游客匹配虚拟角色。
另外,游客在进入游乐场所前,也可以在入口处使用用户的终端设备进行扫描下载使用AR设备的小程序,用户在游玩过程中可以使用自己的终端设备拍摄所在游乐场所的现实场景图像,通过安装的小程序,将拍摄的现实场景图像发送到服务器,通过服务器为该现实场景图像中的其他游客匹配虚拟角色。
S102、在识别到所述现实场景图像中存在至少一个其他目标游客后,确定所述其他目标游客对应的虚拟角色,并确定所述虚拟角色的魔法特效。
其中,现实场景图像中可以包括一个或多个其他目标游客。
这里,虚拟角色可以为米老鼠、唐老鸭、白雪公主、茉莉公主、艾莎公主、魔法师、骑士、绿巨人、雷神等人物;魔法特效为该虚拟角色对应的角色原型匹配的魔法特效,可以包括火球效果、光照效果、冰雪效果、雷电效果等;比如:艾莎公主对应的魔法特效为冰雪效果。
在具体实施中,用户使用AR设备拍摄目标游乐场所的现实场景图像之后,可以通过对现实场景图像进行人脸区域图像检测,确定现实场景图像中是否存在其他游客;当检测到现实场景图像中存在人脸区域图像时,则确定该现实场景图像中存在至少一个其他游客。
在一种可选的实施方式中,当识别到该现实场景图像中存在至少一个其他目标游客后,可以通过以下方法为每个其他目标游客匹配对应的虚拟角色,并为虚拟角色确定对应的魔法特效,具体描述如下:识别所述现实场景图像中每个所述其他目标游客的用户图像;根据所述用户图像,确定所述其他目标游客的属性特征;基于所述属性特征,确定与所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
其中,用户图像包括用户人脸区域图像和用户身体区域图像;属性特征包括人脸属性特征和附属物属性特征;这里,人脸属性特征可以包括年龄、性别、情绪、身高、体重等;附属物属性特征可以包括穿戴特征和手持物特征,其中,穿戴特征可以包括:穿长裙、戴眼镜、戴帽子、戴米老鼠头箍、戴皇冠、戴项链、戴耳环等,手持物特征可以包括:手持蜘蛛侠纸牌、手持魔法棒等。
具体的,对现实场景图像进行人脸区域图像检测,当检测到现实场景图像中存在人脸区域图像时,提取检测到的每张人脸区域图像对应的用户图像,对上述用户图像进行特征提取,得到该用户图像的人脸属性特征和附属物属性特征,根据上述人脸属性特征和附属物属性特征,确定该用户图像对应的虚拟角色,并根据该虚拟角色对应的角色原型,为上述虚拟角色匹配对应的魔法特效。
示例性地,当检测到该现实场景图像中存在两张人脸图像区域时,则确定该现实场景图像中存在两个其他目标游客(游客a和游客b),分别提取游客a和游客b的用户图像,通过特征提取,提取到游客a的属性特征为:年龄:20岁、性别:女、情绪:开心,穿戴特征:穿露肩长裙、戴项链、戴皇冠;提取到游客b的属性特征为:年龄:10岁、性别:男、情绪、开心、身高:150cm,穿戴特征:戴眼镜、穿风衣,手持物特征:手持魔法棒,根据上述游客a和游客b对应的人脸属性特征和附属物属性特征,确定为游客a匹配的虚拟角色为:贝儿公主,确定为游客b匹配的虚拟角色为魔法师;并为贝儿公主匹配跳舞旋转的魔法特效,为魔法师匹配发射魔法时的火球效果的魔法特效。
在另一种可选的实施方式中,当识别到该现实场景图像中存在至少一个其他目标游客后,还可以通过以下方法为每个其他目标游客匹配对应的虚拟角色,并为虚拟角色确定对应的魔法特效,具体描述如下:根据所述当前游客的历史行为数据,确定所述当前游客的兴趣特征;根据所述兴趣特征,确定每个所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
其中,历史行为数据可以包括用户身份信息和用户游玩历史数据;这里,用户游玩历史数据可以包括用户历史游玩过的游乐项目、历史游玩过的每个游乐项目对应的游玩时长以及历史游玩过的每个游乐项目对应的游玩次数。
其中,兴趣特征用来指示用户感兴趣的内容,可以包括:喜欢迪士尼卡通人物、喜欢魔法师、喜欢小动物等。
这里,数据库中预先存储有历史用户的用户图像、历史用户的用户身份信息、历史用户的人脸属性特征以及历史用户的历史行为数据。
在具体实施中,对现实场景图像进行人脸区域图像检测,当检测到现实场景图像中存在人脸区域图像时,则确定该现实场景图像中存在至少一个其他目标游客,则将当前游客使用的AR设备切换到前置摄像头,使用前置摄像头拍摄当前游客的用户图像,对当前游客的用户图像进行特征提取,确定当前游客的用户身份信息,并根据用户身份信息查询数据库,确定该用户身份信息下的历史行为数据,根据历史行为数据确定用户的兴趣特征,并根据兴趣特征,为该现实场景图像中的其他目标游客匹配虚拟角色,根据该虚拟角色对应的角色原型,为上述虚拟角色匹配对应的魔法特效。
示例性地,当检测到该现实场景图像中存在一张人脸图像区域时,则确定该现实场景图像中存在一个其他目标游客(游客c),则将当前游客使用的AR设备切换到前置摄像头,使用前置摄像头拍摄当前游客的用户图像,并对用户图像进行特征提取,确定游客c的用户身份信息,并根据用户身份信息确定游客c为历史用户,查询数据库,提取到该用户身份信息对应的历史行为数据为游玩过的游乐项目为:超人联盟游乐项目,历史游玩时长为:3小时,历史游玩次数为:5次,确定为游客c匹配的虚拟角色为超人;并为超人匹配起飞的魔法特效。
S103、基于所述虚拟角色、所述虚拟角色的魔法特效,以及所述虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示;其中,在所述AR场景特效中,所述其他目标游客使用对应的虚拟角色的形象进行呈现。
其中,AR场景特效为包含虚拟角色、魔法特效以及现实场景图像的AR场景图像;位置信息用来指示其他目标游客在该现实场景图像中的位置以及比例信息。
具体的,可以将虚拟角色按照对应真实用户的身材实时替换现实场景图像中的用户图像,并生成包含上述虚拟角色、该虚拟角色对应的魔法特效和现实场景图像的AR场景特效。这里,虚拟角色与用户的动作姿态实时对应,也就是说,用户做出任一动作,该用户的虚拟角色也会做出同样的动作。
在具体实施中,在通过AR设备展示上述AR场景特效时,具体展示过程可以如下:通过AR设备展示融入现实场景的所述虚拟角色;在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效。
也即,作为一种可选方式,AR设备先展示AR场景特效中的现实场景图像和位于其他目标游客所在位置的虚拟角色,当检测到当前游客的魔法特效触发操作后,展示上述虚拟角色对应的魔法特效。
另外,在具体实施中,可以通过以下方式检测当前游客的目标手势触发操作,具体描述如下:根据连续获取的多张现实场景图像,识别多张现实场景图像中的所述当前游客的手势动作;在确定所述手势动作属于目标手势类型后,确定检测到了所述当前游客的目标手势触发操作。
其中,手势动作可以包括握手、上下左右挥动手臂、丢弃动作等;目标手势类型为触发魔法特效类;目标手势触发操作为触发为虚拟角色添加魔法效果的操作,可以为左右摇摆手臂、上下挥动手臂、打响指等。
这里,数据库中预先存储有触发魔法特效类手势动作对应的手势动作特征。
具体的,当AR设备展示融入现实场景的虚拟角色之后,再次连续获取多张现实场景图像,当识别到连续获取的多张现实场景图像中均包含当前游客的手部图像时,则对多张现实场景图像中手部图像进行动作特征提取,并根据提取到的手势动作特征,确定当前游客的手势动作的类型;当识别出手势动作的类型为触发魔法特效类时,则表示当前游客发起了为虚拟角色添加魔法特效的操作。
在具体实施中,可以分别为现实场景图像中替换多个其他目标游客的虚拟角色添加对应的魔法特效,具体描述如下:当检测到当前游客发起了为AR设备展示的虚拟角色添加对应的魔法特效的操作之后,根据当前游客发起为虚拟角色添加魔法特效操作的操作位置,为与当前游客操作位置对应的AR的虚拟角色添加魔法特效,并展示添加完魔法特效后的AR场景图像。
示例性地,若当前现实场景图像为迪士尼城堡,且触发魔法特效的目标手势动作为:上下挥动手臂,根据上述方法为该现实场景图像中的游客d、游客e匹配的虚拟角色分别为超人和艾莎公主,AR设备展示上述包含有超人和艾莎公主的AR场景图像,具体展示界面如图2所示(以当前游客的AR设备为手机为例);当检测到当前游客在艾莎公主所在位置作了上下挥动手臂的动作时,则为艾莎公主添加冰雪魔法特效,并通过AR设备展示包含有超人、带有冰雪魔法特效的艾莎公主的迪士尼城堡的场景图像,具体展示界面如图3所示(以当前游客的AR设备为手机为例),当前游客能够通过AR设备观看到为虚拟角色添加特效的过程,丰富了展示场景,增加了游客在游玩过程中的与游乐项目的互动。
在具体实施中,上述虚拟角色的魔法特效在AR设备中的展示方法如下:在检测到所述当前游客的目标手势触发操作后,触发周期性展示所述虚拟角色的魔法特效,直到检测到所述当前游客的结束触发操作;或者,在检测到所述当前游客的目标手势触发操作后,触发展示一次所述虚拟角色的魔法特效。
其中,魔法特效每次的展示时长为根据该魔法特效的特点预先设置的。
具体的,在AR设备展示虚拟角色对应的魔法特效时,可以在当前游客发起触发魔法特效的目标手势过程中,按照预设的魔法特效展示时长周期性的展示魔法特效,当当前游客结束触发魔法特效的目标手势动作时,则结束魔法特效的展示;也可以是当检测到当前游客发起触发魔法特效的目标手势后,只展示一次该虚拟角色对应的魔法效果。
本公开实施例中,通过对获取到的现实场景图像中的其他目标游客进行识别,确定每个其他目标游客的虚拟角色以及所述虚拟角色对应的魔法特效,将上述虚拟角色替换上述现实场景图像中的其他目标游客,生成包含虚拟角色、虚拟角色对应的魔法特效以及现实场景图像的AR场景特效,当前游客可以使用自己的AR设备观看到带有魔法特效的虚拟角色,丰富了展示场景,并且当前游客可以使用自己的AR设备为带有动态魔法特效的虚拟角色拍摄照片或视频,在尽量减少设施成本、不增加额外空间浪费的情况下,丰富了展示场景。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与游览路线生成的方法对应的游览路线生成的装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR场景特效生成的方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例二
参照图4所示,为本公开实施例提供的一种AR场景特效生成的装置的示意图,所述装置包括:获取模块401、虚拟对象确定模块402和AR场景特效生成模块403;其中,获取模块401,用于获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像。
虚拟对象确定模块402,用于在识别到所述现实场景图像中存在至少一个其他目标游客后,确定所述其他目标游客对应的虚拟角色,并确定所述虚拟角色的魔法特效。
AR场景特效生成模块403,用于基于所述虚拟角色、所述虚拟角色的魔法特效,以及所述虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示;其中,在所述AR场景特效中,所述其他目标游客使用对应的虚拟角色的形象进行呈现。
一种可能的实施方式中,所述虚拟对象确定模块402,具体用于识别所述现实场景图像中每个所述其他目标游客的用户图像;根据所述用户图像,确定所述其他目标游客的属性特征;基于所述属性特征,确定与所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
一种可能的实施方式中,所述虚拟对象确定模块402,具体用于根据所述当前游客的历史行为数据,确定所述当前游客的兴趣特征;根据所述兴趣特征,确定每个所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效。
一种可能的实施方式中,所述装置还包括:AR场景特效展示模块,用于展示融入现实场景的所述虚拟角色;在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效。
一种可能的实施方式中,所述装置还包括:手势触发操作检测模块,用于根据连续获取的多张现实场景图像,识别多张现实场景图像中的所述当前游客的手势动作;在确定所述手势动作属于目标手势类型后,确定检测到了所述当前游客的目标手势触发操作。
一种可能的实施方式中,所述AR场景特效展示模块,具体用于在存在多个其他目标游客的情况下,在检测到所述当前游客的目标手势触发操作后,根据该目标手势触发操作对应的操作位置信息,确定所述目标手势触发操作针对的目标虚拟角色;触发展示所述目标虚拟角色的魔法特效。
一种可能的实施方式中,所述AR场景特效展示模块,还具体用于在检测到所述当前游客的目标手势触发操作后,触发周期性展示所述虚拟角色的魔法特效,直到检测到所述当前游客的结束触发操作;或者,在检测到所述当前游客的目标手势触发操作后,触发展示一次所述虚拟角色的魔法特效;其中所述魔法特效每次的展示时长为根据该魔法特效的特点预先设置的。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的AR场景特效生成的方法,本公开实施例还提供了一种电子设备500,如图5所示,为本公开实施例提供的电子设备500结构示意图,包括:包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当电子设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501执行以下指令:
获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像;在识别到所述现实场景图像中存在至少一个其他目标游客后,确定所述其他目标游客对应的虚拟角色,并确定所述虚拟角色的魔法特效;基于所述虚拟角色、所述虚拟角色的魔法特效,以及所述虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示;其中,在所述AR场景特效中,所述其他目标游客使用对应的虚拟角色的形象进行呈现。
其中,处理器501的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的AR场景特效生成的方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的AR场景特效生成的方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的AR场景特效生成的方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种AR场景特效生成的方法,其特征在于,所述方法包括:
获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像;
在识别到所述现实场景图像中存在至少一个其他目标游客后,根据所述当前游客的历史行为数据,确定所述当前游客的兴趣特征,并根据所述兴趣特征,确定每个所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效;其中,所述历史行为数据可以包括用户身份信息和用户游玩历史数据;
基于所述虚拟角色、所述虚拟角色的魔法特效,以及所述虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示;其中,在所述AR场景特效中,所述其他目标游客使用对应的虚拟角色的形象进行呈现,所述虚拟角色的魔法特效由所述当前游客的目标手势触发展示,所述目标手势基于获取的连续的多张现实场景图像确定。
2.根据权利要求1所述的方法,其特征在于,生成AR场景特效之后,通过AR设备进行展示,包括:
通过AR设备展示融入现实场景的所述虚拟角色;
在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效。
3.根据权利要求2所述的方法,其特征在于,检测到所述当前游客的目标手势触发操作,包括:
根据连续获取的多张现实场景图像,识别多张现实场景图像中的所述当前游客的手势动作;
在确定所述手势动作属于目标手势类型后,确定检测到了所述当前游客的目标手势触发操作。
4.根据权利要求2或3所述的方法,其特征在于,在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效,包括:
在存在多个其他目标游客的情况下,在检测到所述当前游客的目标手势触发操作后,根据该目标手势触发操作对应的操作位置信息,确定所述目标手势触发操作针对的目标虚拟角色;
触发展示所述目标虚拟角色的魔法特效。
5.根据权利要求2~4任一所述的方法,其特征在于,在检测到所述当前游客的目标手势触发操作后,触发展示所述虚拟角色的魔法特效,包括:
在检测到所述当前游客的目标手势触发操作后,触发周期性展示所述虚拟角色的魔法特效,直到检测到所述当前游客的结束触发操作;或者,
在检测到所述当前游客的目标手势触发操作后,触发展示一次所述虚拟角色的魔法特效;
其中所述魔法特效每次的展示时长为根据该魔法特效的特点预先设置的。
6.一种AR场景特效生成的装置,其特征在于,所述装置包括:
获取模块,用于获取当前游客使用增强现实AR设备拍摄的目标游乐场所的现实场景图像;
虚拟对象确定模块,用于在识别到所述现实场景图像中存在至少一个其他目标游客后,根据所述当前游客的历史行为数据,确定所述当前游客的兴趣特征,并根据所述兴趣特征,确定每个所述其他目标游客对应的虚拟角色,以及该虚拟角色对应的角色原型匹配的魔法特效;其中,所述历史行为数据可以包括用户身份信息和用户游玩历史数据;
AR场景特效生成模块,用于基于所述虚拟角色、所述虚拟角色的魔法特效,以及所述虚拟角色对应的其他目标游客在现实场景中的位置信息,生成AR场景特效,并通过AR设备进行展示;其中,在所述AR场景特效中,所述其他目标游客使用对应的虚拟角色的形象进行呈现,所述虚拟角色的魔法特效由所述当前游客的目标手势触发展示,所述目标手势基于获取的连续的多张现实场景图像确定。
7.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的AR场景特效生成的方法的步骤。
8.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至5任一项所述的AR场景特效生成的方法的步骤。
CN202010531790.1A 2020-06-11 2020-06-11 一种ar场景特效生成的方法及装置 Active CN111640202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010531790.1A CN111640202B (zh) 2020-06-11 2020-06-11 一种ar场景特效生成的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010531790.1A CN111640202B (zh) 2020-06-11 2020-06-11 一种ar场景特效生成的方法及装置

Publications (2)

Publication Number Publication Date
CN111640202A CN111640202A (zh) 2020-09-08
CN111640202B true CN111640202B (zh) 2024-01-09

Family

ID=72330106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010531790.1A Active CN111640202B (zh) 2020-06-11 2020-06-11 一种ar场景特效生成的方法及装置

Country Status (1)

Country Link
CN (1) CN111640202B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637665B (zh) * 2020-12-23 2022-11-04 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN113359986B (zh) * 2021-06-03 2023-06-20 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113359985A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 数据展示方法、装置、计算机设备以及存储介质
CN113282179A (zh) * 2021-06-18 2021-08-20 北京市商汤科技开发有限公司 一种交互方法、装置、计算机设备及存储介质
CN113946210B (zh) * 2021-09-16 2024-01-23 武汉灏存科技有限公司 动作交互展示***及方法
CN114155605B (zh) * 2021-12-03 2023-09-15 北京字跳网络技术有限公司 一种控制方法、装置以及计算机存储介质
CN114327059A (zh) * 2021-12-24 2022-04-12 北京百度网讯科技有限公司 手势处理方法、装置、设备以及存储介质
CN115374268B (zh) * 2022-10-25 2023-03-24 广州市明道文化产业发展有限公司 多角色去中心化协同交互方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350416A (ja) * 2005-06-13 2006-12-28 Tecmo Ltd アバターを用いた情報検索システム
CN109876450A (zh) * 2018-12-14 2019-06-14 深圳壹账通智能科技有限公司 基于ar游戏的实现方法、服务器、计算机设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110879946A (zh) * 2018-09-05 2020-03-13 武汉斗鱼网络科技有限公司 手势结合ar特效的方法、存储介质、设备及***
CN111243101A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于人工智能增加用户ar环境沉浸度方法、***及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190151758A1 (en) * 2017-11-22 2019-05-23 International Business Machines Corporation Unique virtual entity creation based on real world data sources

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350416A (ja) * 2005-06-13 2006-12-28 Tecmo Ltd アバターを用いた情報検索システム
CN110879946A (zh) * 2018-09-05 2020-03-13 武汉斗鱼网络科技有限公司 手势结合ar特效的方法、存储介质、设备及***
CN109876450A (zh) * 2018-12-14 2019-06-14 深圳壹账通智能科技有限公司 基于ar游戏的实现方法、服务器、计算机设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN111243101A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于人工智能增加用户ar环境沉浸度方法、***及装置

Also Published As

Publication number Publication date
CN111640202A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111640202B (zh) 一种ar场景特效生成的方法及装置
CN106803057B (zh) 图像信息处理方法及装置
CN111640200B (zh) 一种ar场景特效生成的方法及装置
CN111638793B (zh) 飞行器的展示方法、装置、电子设备及存储介质
CN109603151A (zh) 虚拟角色的皮肤显示方法、装置及设备
CN111652987B (zh) 一种ar合影图像生成的方法及装置
CN110021061A (zh) 搭配模型构建方法、服饰推荐方法、装置、介质及终端
CN111627117B (zh) 画像展示特效的调整方法、装置、电子设备及存储介质
CN111643900B (zh) 一种展示画面控制方法、装置、电子设备和存储介质
US11983826B2 (en) 3D upper garment tracking
US11673054B2 (en) Controlling AR games on fashion items
CN108090968B (zh) 增强现实ar的实现方法、装置和计算机可读存储介质
CN113487709A (zh) 一种特效展示方法、装置、计算机设备以及存储介质
CN111694431A (zh) 一种人物形象生成的方法及装置
WO2018135246A1 (ja) 情報処理システム及び情報処理装置
CN108525306B (zh) 游戏实现方法、装置、存储介质及电子设备
CN111639979A (zh) 一种游乐项目推荐方法及装置
CN111639613A (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111640199B (zh) 一种ar特效数据生成的方法及装置
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质
CN111651616B (zh) 多媒体资源的生成方法、装置、设备及介质
CN109200586A (zh) 基于增强现实的游戏实现方法和装置
CN111665942A (zh) 一种ar特效触发展示方法、装置、电子设备和存储介质
CN116993432A (zh) 虚拟服饰信息展示方法及电子设备
JP7187092B1 (ja) ハッシュタグシステム、ハッシュタグ付与方法、ハッシュタグ付与プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant