CN111429519B - 三维场景显示方法、装置、可读存储介质及电子设备 - Google Patents

三维场景显示方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN111429519B
CN111429519B CN202010228728.5A CN202010228728A CN111429519B CN 111429519 B CN111429519 B CN 111429519B CN 202010228728 A CN202010228728 A CN 202010228728A CN 111429519 B CN111429519 B CN 111429519B
Authority
CN
China
Prior art keywords
virtual
face
dimensional scene
pose
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010228728.5A
Other languages
English (en)
Other versions
CN111429519A (zh
Inventor
陶宁
王明远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202010228728.5A priority Critical patent/CN111429519B/zh
Publication of CN111429519A publication Critical patent/CN111429519A/zh
Application granted granted Critical
Publication of CN111429519B publication Critical patent/CN111429519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例公开了一种三维场景显示方法和装置,其中,该方法包括:获取目标人脸图像;确定目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息;基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿;将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。本公开实施例可以提高查看虚拟三维场景的灵活性和便利性,丰富了用户与虚拟三维场景交互的方式。

Description

三维场景显示方法、装置、可读存储介质及电子设备
技术领域
本公开涉及计算机技术领域,尤其是一种三维场景显示方法、装置、计算机可读存储介质及电子设备。
背景技术
目前,三维模型场景展示主要通过用户手动控制视角的变换,例如,用户使用手持移动设备(手机、平板电脑等)通过手指触摸屏幕完成视角的调整,或通过调整握持姿势(读取设备内陀螺仪传感器)来控制视角的变换,从而改变显示出来的三维模型场景内的位置。
发明内容
本公开的实施例提供了一种三维场景显示方法、装置、计算机可读存储介质及电子设备。
本公开的实施例提供了一种三维场景显示方法,该方法包括:获取目标人脸图像;确定目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息;基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿;将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
在一些实施例中,方法还包括:响应于对虚拟取景器的位姿进行手动调整的操作,基于操作,调整虚拟取景器的位姿;将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
在一些实施例中,基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿,包括:响应于确定虚拟三维场景的显示方式为第一显示方式,基于脸部位姿信息包括的脸部姿态角信息和表征目标人脸沿平行于目标视窗的平面移动的信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。
在一些实施例中,基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿,包括:响应于确定虚拟三维场景的显示方式为第二显示方式,基于脸部位姿信息包括的脸部姿态角信息和距离信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿,其中,距离信息用于表征目标人脸与目标视窗之间的距离。
在一些实施例中,方法还包括:响应于确定目标人脸与目标视窗之间的距离大于或等于预设距离阈值,停止基于脸部位姿信息调整虚拟取景器的位姿。
根据本公开实施例的另一个方面,提供了一种三维场景显示装置,该装置包括:获取模块,用于获取目标人脸图像;确定模块,用于确定目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息;第一调整模块,用于基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿;显示模块,用于将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
在一些实施例中,装置还包括:第二调整模块,用于响应于对虚拟取景器的位姿进行手动调整的操作,基于操作,调整虚拟取景器的位姿;显示模块还用于将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
在一些实施例中,第一调整模块进一步用于:响应于确定虚拟三维场景的显示方式为第一显示方式,基于脸部位姿信息包括的脸部姿态角信息和表征目标人脸沿平行于目标视窗的平面移动的信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。
在一些实施例中,第一调整模块进一步用于:响应于确定虚拟三维场景的显示方式为第二显示方式,基于脸部位姿信息包括的脸部姿态角信息和距离信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿,其中,距离信息用于表征目标人脸与目标视窗之间的距离。
在一些实施例中,装置还包括:停止模块,用于响应于确定目标人脸与目标视窗之间的距离大于或等于预设距离阈值,停止基于脸部位姿信息调整虚拟取景器的位姿。
根据本公开实施例的另一个方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序用于执行上述三维场景显示方法。
根据本公开实施例的另一个方面,提供了一种电子设备,电子设备包括:处理器;用于存储处理器可执行指令的存储器;处理器,用于从存储器中读取可执行指令,并执行指令以实现上述三维场景显示方法。
基于本公开上述实施例提供的三维场景显示方法、装置、计算机可读存储介质及电子设备,通过识别人脸图像,得到目标人脸的脸部位姿信息,再基于脸部位姿信息调整虚拟取景器的位姿,最后在目标视窗中显示虚拟取景器当前在虚拟三维场景下获取的图像,从而实现了使用户通过改变脸部位姿控制对虚拟三维场景进行查看的视角,无需通过手持调整查看视角,提高了查看虚拟三维场景的灵活性和便利性,丰富了用户与虚拟三维场景交互的方式。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的***图。
图2是本公开一示例性实施例提供的三维场景显示方法的流程示意图。
图3是本公开的实施例的三维场景显示方法的一个应用场景的示意图。
图4是本公开一示例性实施例提供的三维场景显示装置的结构示意图。
图5是本公开另一示例性实施例提供的三维场景显示装置的结构示意图。
图6是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机***、服务器等电子设备,其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于:个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境,等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
申请概述
目前的虚拟三维场景查看的方式,主要通过手动触摸屏幕,改变手持设备的姿态,使用鼠标、手柄等设备的方式,灵活性较差,无法释放用户的双手,操作不方便。
示例性***
图1示出了可以应用本公开的实施例的三维场景显示方法或三维场景显示装置的示例性***架构100。
如图1所示,***架构100可以包括终端设备101,网络102和服务器103。网络102用于在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用,例如三维模型类应用、地图类应用、拍摄类应用等。
终端设备101可以是各种包括摄像头的电子设备,包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
服务器103可以是提供各种服务的服务器,例如对终端设备101上传人脸图像进行识别的后台图像处理服务器。后台图像处理服务器可以对接收到的目标人脸图像进行处理,得到处理结果(例如脸部位姿信息、虚拟取景器的位姿等)。
需要说明的是,本公开的实施例所提供的三维场景显示方法可以由服务器103执行,也可以由终端设备101执行,相应地,三维场景显示装置可以设置于服务器103中,也可以设置于终端设备101中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。在人脸图像不需要从远程获取的情况下,上述***架构可以不包括网络,只包括服务器或终端设备。
示例性方法
图2是本公开一示例性实施例提供的三维场景显示方法的流程示意图。本实施例可应用在电子设备(如图1所示的终端设备101或服务器103)上,如图2所示,该方法包括如下步骤:
步骤201,获取目标人脸图像。
在本实施例中,电子设备可以从本地或从远程获取目标人脸图像。其中,目标人脸图像是上述电子设备上的摄像头对目标人脸进行拍摄得到的图像,目标人脸可以是当前处于上述摄像头的拍摄范围内的人脸。通常,目标人脸图像是由上述电子设备的前置摄像头拍摄的人脸图像。
步骤202,确定目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息。
在本实施例中,电子设备可以确定目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息。其中,目标视窗为用于显示虚拟三维场景的视窗,通常,目标视窗在上述电子设备的屏幕上显示。脸部位姿信息用于表征目标人脸的姿态角和目标人脸所处的位置。如图3所示,姿态角包括俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)。
具体地,电子设备可以利用现有的人脸位姿估计方法,确定目标人脸的脸部位姿信息。作为示例,可以将目标人脸图像输入预先训练的深度学习模型,得到脸部位姿信息。还可以使用3D人脸检测技术(3D Face Tracking),确定当前拍摄的人脸图像的4*4位姿矩阵,从位姿矩阵中可以提取目标人脸的姿态角和在相机坐标系下的位置。
步骤203,基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。
在本实施例中,电子设备可以基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。其中,虚拟取景器为在虚拟三维场景下获取相应的场景图像的虚拟装置。通常,虚拟取景器对应于目标视窗,相当于在虚拟三维场景下的虚拟相机,该虚拟相机拍摄的图像显示到目标视窗上。需要说明的是,虚拟取景器的原理和实现方法是目前广泛使用和研究的公知技术,这里不再赘述。
通常,虚拟取景器的位姿可以根据脸部位姿信息得到。例如虚拟取景器的位姿可以与脸部位姿相同,即在虚拟三维场景中模型真实的脸部位姿,从而实现在目标视窗上显示模拟人眼看到的景象。虚拟取景器的位姿还可以以其他方式建立与脸部位姿的对应关系,例如,可以设置缩放系数,利用缩放系数,将脸部位姿转换到相应的虚拟取景器的位姿。
步骤204,将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
在本实施例中,电子设备可以实时地将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。从而实现了将脸部姿态与虚拟取景器相对应,实时地向用户展示模拟实际视角看到的景象。如图3所示,当目标人脸301的脸部转动时,目标视窗302上显示虚拟三维场景303相应的景象。
在一些可选的实现方式中,电子设备还可以执行如下步骤:
首先,响应于对虚拟取景器的位姿进行手动调整的操作,基于操作,调整虚拟取景器的位姿。其中,手动操作包括诸如触摸屏幕、点击鼠标、使用遥控器、使用手柄等方式调整虚拟取景器的位姿。
然后,将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
本实现方式中手动调整虚拟取景器的位姿的操作的优先程度高于基于脸部位姿调整虚拟取景器位姿的方式。通常,基于脸部位姿调整虚拟取景器的位姿的范围较小,可以实现视角小幅度的变化。手动调整虚拟取景器的位姿的操作可以实现诸如移动、缩放、旋转等大幅度调整视角的操作。通过将手动调整方式和基于脸部位姿的调整方式相结合,可以更灵活地对虚拟三维场景的显示进行控制,提高查看虚拟三维场景的灵活性和便利性。
在一些可选的实现方式中,步骤203可以包括如下步骤:
响应于确定虚拟三维场景的显示方式为第一显示方式,基于脸部位姿信息包括的脸部姿态角信息和表征目标人脸沿平行于目标视窗的平面(例如图3所示的Yaw对应的轴和Pitch对应的轴所在的平面)移动的信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。其中,在第一显示方式中,基于脸部位姿调整虚拟取景器的位姿时,不使用表征目标人脸与目标视窗的距离的信息(例如图3所示的目标人脸301与目标视窗302之间的距离)进行取景器姿态调整。作为示例,第一显示方式可以为上帝视角的显示方式,即目标人脸与目标视窗的距离变化时,虚拟取景器在虚拟三维场景中不沿该距离方向移动。再例如,第一显示方式还可以是360°全景图的显示方式,目标人脸与目标视窗的距离变化时,全景图的显示比例不变。
本实现方式可以在以第一显示方式显示虚拟三维场景时,使虚拟取景器不沿上述距离方向移动,可以减少硬件处理信息的数量,提高查看虚拟三维模型的效率。
在一些可选的实现方式中,步骤203可以包括如下步骤:
响应于确定虚拟三维场景的显示方式为第二显示方式,基于脸部位姿信息包括的脸部姿态角信息和距离信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。其中,距离信息用于表征目标人脸与目标视窗之间的距离(例如图3所示的目标人脸301与目标视窗302之间的距离)。第二显示方式不限制虚拟取景器在虚拟三维模型中的位置。作为示例,第二显示方式可以用于查看建筑如内部的各种物体。在第二显示方式下,当目标人脸相对于目标视窗的位置和姿态角发生变化时,虚拟取景器的位置随着发生变化。
本实现方式可以在虚拟三维空间内任意调整虚拟取景器的位置,提高查看虚拟三维空间的精度。
在一些可选的实现方式中,电子设备还可以执行如下步骤:
响应于确定目标人脸与目标视窗之间的距离大于或等于预设距离阈值,停止基于脸部位姿信息调整虚拟取景器的位姿。当目标人脸与目标视窗之间的距离过大时,会导致确定脸部位姿信息准确率降低,进而导致调整虚拟取景器的位置发生错误,对用户查看虚拟三维场景造成影响。设置上述阈值,可以避免确定脸部位姿信息发生错误,降低用户查看虚拟三维场景时发生卡顿的可能性。
本公开的上述实施例提供的方法,通过识别人脸图像,得到目标人脸的脸部位姿信息,再基于脸部位姿信息调整虚拟取景器的位姿,最后在目标视窗中显示虚拟取景器当前在虚拟三维场景下获取的图像,从而实现了使用户通过改变脸部位姿控制对虚拟三维场景进行查看的视角,无需通过手持调整查看视角,提高了查看虚拟三维场景的灵活性和便利性,丰富了用户与虚拟三维场景交互的方式。
示例性装置
图4是本公开一示例性实施例提供的三维场景显示装置的结构示意图。本实施例可应用在电子设备上,如图4所示,三维场景显示装置包括:获取模块401,用于获取目标人脸图像;确定模块402,用于确定目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息;第一调整模块403,用于基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿;显示模块404,用于将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
在本实施例中,获取模块401可以从本地或从远程获取目标人脸图像。其中,目标人脸图像是上述三维场景显示装置上的摄像头对目标人脸进行拍摄得到的图像,目标人脸可以是当前处于上述摄像头的拍摄范围内的人脸。通常,目标人脸图像是由上述三维场景显示装置的前置摄像头拍摄的人脸图像。
在本实施例中,确定模块402可以确定目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息。其中,目标视窗为用于显示虚拟三维场景的视窗,通常,目标视窗在上述三维场景显示装置的屏幕上显示。脸部位姿信息用于表征目标人脸的姿态角和目标人脸所处的位置。如图3所示,姿态角包括俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)。
具体地,确定模块402可以利用现有的人脸位姿估计方法,确定目标人脸的脸部位姿信息。作为示例,可以将目标人脸图像输入预先训练的深度学习模型,得到脸部位姿信息。还可以使用3D人脸检测技术(3D Face Tracking),确定当前拍摄的人脸图像的4*4位姿矩阵,从位姿矩阵中可以提取目标人脸的姿态角和在相机坐标系下的位置。
在本实施例中,第一调整模块403可以基于脸部位姿信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。其中,虚拟取景器为在虚拟三维场景下获取相应的场景图像的虚拟装置。通常,虚拟取景器对应于目标视窗,相当于在虚拟三维场景下的虚拟相机,该虚拟相机拍摄的图像显示到目标视窗上。需要说明的是,虚拟取景器的原理和实现方法是目前广泛使用和研究的公知技术,这里不再赘述。
通常,虚拟取景器的位姿可以根据脸部位姿信息得到。例如虚拟取景器的位姿可以与脸部位姿相同,即在虚拟三维场景中模型真实的脸部位姿,从而实现在目标视窗上显示模拟人眼看到的景象。虚拟取景器的位姿还可以以其他方式建立与脸部位姿的对应关系,例如,可以设置缩放系数,利用缩放系数,将脸部位姿转换到相应的虚拟取景器的位姿。
在本实施例中,显示模块404可以实时地将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。从而实现了将脸部姿态与虚拟取景器相对应,实时地向用户展示模拟实际视角看到的景象。
参照图5,图5是本公开另一示例性实施例提供的三维场景显示装置的结构示意图。
在一些可选的实现方式中,三维场景显示装置还可以包括:第二调整模块405,用于响应于对虚拟取景器的位姿进行手动调整的操作,基于操作,调整虚拟取景器的位姿;显示模块404还用于将虚拟取景器当前在虚拟三维场景下获取的图像显示在目标视窗中。
在一些可选的实现方式中,第一调整模块403可以进一步用于:响应于确定虚拟三维场景的显示方式为第一显示方式,基于脸部位姿信息包括的脸部姿态角信息和表征目标人脸沿平行于目标视窗的平面移动的信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿。
在一些可选的实现方式中,第一调整模块403可以进一步用于:响应于确定虚拟三维场景的显示方式为第二显示方式,基于脸部位姿信息包括的脸部姿态角信息和距离信息,调整目标视窗对应的虚拟取景器在虚拟三维场景下的位姿,其中,距离信息用于表征目标人脸与目标视窗之间的距离。
在一些可选的实现方式中,三维场景显示装置还可以包括:停止模块406,用于响应于确定目标人脸与目标视窗之间的距离大于或等于预设距离阈值,停止基于脸部位姿信息调整虚拟取景器的位姿。
本公开上述实施例提供的三维场景显示装置,通过识别人脸图像,得到目标人脸的脸部位姿信息,再基于脸部位姿信息调整虚拟取景器的位姿,最后在目标视窗中显示虚拟取景器当前在虚拟三维场景下获取的图像,从而实现了使用户通过改变脸部位姿控制对虚拟三维场景进行查看的视角,无需通过手持调整查看视角,提高了查看虚拟三维场景的灵活性和便利性,丰富了用户与虚拟三维场景交互的方式。
示例性电子设备
下面,参考图6来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备,该单机设备可以与终端设备101和服务器103进行通信,以从它们接收所采集到的输入信号。
图6图示了根据本公开实施例的电子设备的框图。
如图6所示,电子设备600包括一个或多个处理器601和存储器602。
处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备600中的其他组件以执行期望的功能。
存储器602可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器601可以运行程序指令,以实现上文的本公开的各个实施例的三维场景显示方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如人脸图像、虚拟三维场景等各种内容。
在一个示例中,电子设备600还可以包括:输入装置603和输出装置604,这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如,在该电子设备是终端设备101或服务器103时,该输入装置603可以是摄像头等设备,用于输入人脸图像。在该电子设备是单机设备时,该输入装置603可以是通信网络连接器,用于从终端设备101和服务器103接收所输入的人脸图像。
该输出装置604可以向外部输出各种信息,包括确定出的脸部位姿信息、显示在目标视窗上的场景图像等。该输出设备604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图6中仅示出了该电子设备600中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备600还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维场景显示方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维场景显示方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种三维场景显示方法,包括:
获取目标人脸图像;
确定所述目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息;
基于所述脸部位姿信息,调整所述目标视窗对应的虚拟取景器在虚拟三维场景下的位姿;
将所述虚拟取景器当前在所述虚拟三维场景下获取的图像显示在所述目标视窗中;
所述基于所述脸部位姿信息,调整所述目标视窗对应的虚拟取景器在虚拟三维场景下的位姿,包括:
响应于确定所述虚拟三维场景的显示方式为第一显示方式,固定所述虚拟取景器在所述虚拟三维场景中的纵深方向的位置,并基于所述脸部位姿信息包括的脸部姿态角信息和表征所述目标人脸沿平行于所述目标视窗的平面移动的信息,调整所述目标视窗对应的虚拟取景器在所述虚拟三维场景下的位姿,其中,所述纵深方向为所述目标人脸与所述目标视窗的距离变化的方向;
所述方法还包括:
响应于确定所述目标人脸与所述目标视窗之间的距离大于或等于预设距离阈值,停止基于所述脸部位姿信息调整所述虚拟取景器的位姿。
2.根据权利要求1所述的方法,其中,所述方法还包括:
响应于对所述虚拟取景器的位姿进行手动调整的操作,基于所述操作,调整所述虚拟取景器的位姿;
将所述虚拟取景器当前在所述虚拟三维场景下获取的图像显示在所述目标视窗中。
3.根据权利要求1所述的方法,其中,所述基于所述脸部位姿信息,调整所述目标视窗对应的虚拟取景器在虚拟三维场景下的位姿,包括:
响应于确定所述虚拟三维场景的显示方式为第二显示方式,基于所述脸部位姿信息包括的脸部姿态角信息和距离信息,调整所述目标视窗对应的虚拟取景器在所述虚拟三维场景下的位姿,其中,所述距离信息用于表征所述目标人脸与所述目标视窗之间的距离。
4.一种三维场景显示装置,包括:
获取模块,用于获取目标人脸图像;
确定模块,用于确定所述目标人脸图像指示的目标人脸相对于目标视窗的脸部位姿信息;
第一调整模块,用于基于所述脸部位姿信息,调整所述目标视窗对应的虚拟取景器在虚拟三维场景下的位姿;
显示模块,用于将所述虚拟取景器当前在所述虚拟三维场景下获取的图像显示在所述目标视窗中;
所述第一调整模块进一步用于:
响应于确定所述虚拟三维场景的显示方式为第一显示方式,固定所述虚拟取景器在所述虚拟三维场景中的纵深方向的位置,并基于所述脸部位姿信息包括的脸部姿态角信息和表征所述目标人脸沿平行于所述目标视窗的平面移动的信息,调整所述目标视窗对应的虚拟取景器在所述虚拟三维场景下的位姿,其中,所述纵深方向为所述目标人脸与所述目标视窗的距离变化的方向;
所述装置还包括:
停止模块,用于响应于确定所述目标人脸与所述目标视窗之间的距离大于或等于预设距离阈值,停止基于所述脸部位姿信息调整所述虚拟取景器的位姿。
5.根据权利要求4所述的装置,其中,所述装置还包括:
第二调整模块,用于响应于对所述虚拟取景器的位姿进行手动调整的操作,基于所述操作,调整所述虚拟取景器的位姿;
所述显示模块还用于将所述虚拟取景器当前在所述虚拟三维场景下获取的图像显示在所述目标视窗中。
6.根据权利要求4所述的装置,其中,所述第一调整模块进一步用于:
响应于确定所述虚拟三维场景的显示方式为第二显示方式,基于所述脸部位姿信息包括的脸部姿态角信息和距离信息,调整所述目标视窗对应的虚拟取景器在所述虚拟三维场景下的位姿,其中,所述距离信息用于表征所述目标人脸与所述目标视窗之间的距离。
7.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-3任一所述的方法。
8.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-3任一所述的方法。
CN202010228728.5A 2020-03-27 2020-03-27 三维场景显示方法、装置、可读存储介质及电子设备 Active CN111429519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010228728.5A CN111429519B (zh) 2020-03-27 2020-03-27 三维场景显示方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010228728.5A CN111429519B (zh) 2020-03-27 2020-03-27 三维场景显示方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111429519A CN111429519A (zh) 2020-07-17
CN111429519B true CN111429519B (zh) 2021-07-16

Family

ID=71548916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010228728.5A Active CN111429519B (zh) 2020-03-27 2020-03-27 三维场景显示方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111429519B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572967B (zh) * 2021-09-24 2021-12-31 北京天图万境科技有限公司 虚拟场景的取景器及取景器***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681654A (zh) * 2011-03-18 2012-09-19 深圳富泰宏精密工业有限公司 3d可视视角自动调整***及方法
CN102917232A (zh) * 2012-10-23 2013-02-06 深圳创维-Rgb电子有限公司 基于人脸识别的3d显示自适应调节方法和装置
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN107643828A (zh) * 2011-08-11 2018-01-30 视力移动技术有限公司 对车辆中的用户行为进行识别和响应的方法和***
CN108170282A (zh) * 2018-01-19 2018-06-15 百度在线网络技术(北京)有限公司 用于控制三维场景的方法和装置
US10146301B1 (en) * 2015-03-26 2018-12-04 Amazon Technologies, Inc. Rendering rich media content based on head position information
CN110035270A (zh) * 2019-02-28 2019-07-19 努比亚技术有限公司 一种3d图像显示方法、终端及计算机可读存储介质
CN110728749A (zh) * 2019-10-10 2020-01-24 青岛大学附属医院 虚拟三维图像显示***及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN104503092B (zh) * 2014-11-28 2018-04-10 深圳市魔眼科技有限公司 不同角度和距离自适应的三维显示方法及设备
CN104601981A (zh) * 2014-12-30 2015-05-06 深圳市亿思达科技集团有限公司 一种基于人眼跟踪的调整观看角度的方法及全息显示装置
CN105988578B (zh) * 2015-03-04 2019-06-21 华为技术有限公司 一种交互式视频显示的方法、设备及***
CN108153422B (zh) * 2018-01-08 2023-02-17 维沃移动通信有限公司 一种显示对象控制方法和移动终端
CN109558008B (zh) * 2018-11-30 2020-10-27 腾讯科技(深圳)有限公司 控制方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681654A (zh) * 2011-03-18 2012-09-19 深圳富泰宏精密工业有限公司 3d可视视角自动调整***及方法
CN107643828A (zh) * 2011-08-11 2018-01-30 视力移动技术有限公司 对车辆中的用户行为进行识别和响应的方法和***
CN102917232A (zh) * 2012-10-23 2013-02-06 深圳创维-Rgb电子有限公司 基于人脸识别的3d显示自适应调节方法和装置
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
US10146301B1 (en) * 2015-03-26 2018-12-04 Amazon Technologies, Inc. Rendering rich media content based on head position information
CN108170282A (zh) * 2018-01-19 2018-06-15 百度在线网络技术(北京)有限公司 用于控制三维场景的方法和装置
CN110035270A (zh) * 2019-02-28 2019-07-19 努比亚技术有限公司 一种3d图像显示方法、终端及计算机可读存储介质
CN110728749A (zh) * 2019-10-10 2020-01-24 青岛大学附属医院 虚拟三维图像显示***及方法

Also Published As

Publication number Publication date
CN111429519A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN109313812B (zh) 具有上下文增强的共享体验
CN114527864B (zh) 增强现实文字显示***、方法、设备及介质
EP4198694A1 (en) Positioning and tracking method and platform, head-mounted display system, and computer-readable storage medium
CN111178191B (zh) 信息播放方法、装置、计算机可读存储介质及电子设备
CN111432119B (zh) 图像拍摄方法、装置、计算机可读存储介质及电子设备
CN112399188A (zh) 图像帧拼接方法和装置、可读存储介质及电子设备
JP2015520471A (ja) ジェスチャー入力のための指先の場所特定
CN107329671B (zh) 模型显示方法和装置
CN112907755B (zh) 三维房屋模型中的模型展示方法及装置
CN112509047A (zh) 基于图像的位姿确定方法、装置、存储介质及电子设备
CN111612842A (zh) 生成位姿估计模型的方法和装置
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN111415386A (zh) 拍摄设备位置提示方法、装置、存储介质及电子设备
WO2022166620A1 (zh) 基于操作体的动态显示方法、装置、存储介质及电子设备
CN111429519B (zh) 三维场景显示方法、装置、可读存储介质及电子设备
CN113989470A (zh) 画面的显示方法、装置、存储介质及电子设备
CN115512046B (zh) 模型外点位的全景图展示方法和装置、设备、介质
CN108874141B (zh) 一种体感浏览方法和装置
CN113438463B (zh) 正交相机图像的模拟方法和装置、存储介质、电子设备
CN112328150B (zh) 自动截图方法、装置以及设备、存储介质
CN110882537B (zh) 一种交互方法、装置、介质和电子设备
CN110263743B (zh) 用于识别图像的方法和装置
CN112817441A (zh) 一种按键与人眼识别结合的方法和装置
CN112991542B (zh) 房屋三维重建方法、装置和电子设备
CN113112613B (zh) 模型显示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200921

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 300 457 days Unit 5, Room 1, 112, Room 1, Office Building C, Nangang Industrial Zone, Binhai New Area Economic and Technological Development Zone, Tianjin

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant