CN111462338B - 一种图像处理方法、电子设备及计算机可读储介质 - Google Patents

一种图像处理方法、电子设备及计算机可读储介质 Download PDF

Info

Publication number
CN111462338B
CN111462338B CN202010232180.1A CN202010232180A CN111462338B CN 111462338 B CN111462338 B CN 111462338B CN 202010232180 A CN202010232180 A CN 202010232180A CN 111462338 B CN111462338 B CN 111462338B
Authority
CN
China
Prior art keywords
image
hierarchy
electronic device
target
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010232180.1A
Other languages
English (en)
Other versions
CN111462338A (zh
Inventor
李立锋
白保军
王科
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
MIGU Video Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
MIGU Video Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, MIGU Video Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202010232180.1A priority Critical patent/CN111462338B/zh
Publication of CN111462338A publication Critical patent/CN111462338A/zh
Application granted granted Critical
Publication of CN111462338B publication Critical patent/CN111462338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理方法、电子设备及计算机可读存储介质,其中,所述方法包括:获取一目标图像;在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。本发明能够提高合拍虚拟对象和实景对象的合拍图像效果的真实性。

Description

一种图像处理方法、电子设备及计算机可读储介质
技术领域
本发明涉及通信技术领域,尤其涉及一种图像处理方法、电子设备及计算机可读储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。通过AR技术可以实现虚拟对象和实景对象的合成拍摄,在合拍虚拟对象和实景对象时,一般是预先设定虚拟对象在图像中的显示方式;例如:将虚拟对象作为贴纸,预先设定其显示方式为悬浮在图像(如视频图像或图片)的上方,这样在虚拟对象相对于合拍设备的距离,较远于实景对象相对于合拍设备的距离的情况下,影响合拍图像效果的真实性。
发明内容
本发明提供一种图像处理方法、电子设备及计算机可读储介质,解决了现有技术中预先设定虚拟对象在图像中的显示方式,影响拍虚拟对象和实景对象的合拍图像效果的真实性的问题。
为了达到上述目的,本发明实施例是这样实现的:
第一方面,本发明实施例提供了一种图像处理方法,应用于电子设备,所述方法包括:
获取一目标图像;
在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;
根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。
可选地,所述确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,包括:
获取所述虚拟对象相对于所述电子设备的第一距离S1;
获取所述实景对象相对于所述电子设备的第二距离S2;
根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选地,所述根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系,包括:
在S1-S2≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在0≤|S1-S2|<d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在S1-S2<0,且|S1-S2|≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级;
其中,|S1-S2|为S1和S2之差的绝对值;d为常数。
可选地,d为预设常数值;或者,d为所述实景对象沿第一方向的长度值;所述第一方向为所述实景对象相对于所述电子设备的方向。
可选地,所述确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,包括:
获取所述虚拟对象沿一物理延伸方向的第一实际长度,以及获取所述虚拟对象在所述目标图像中沿所述物理延伸方向的第一画面长度;
获取所述实景对象沿所述物理延伸方向的第二实际长度,以及获取所述实景对象在所述目标图像中沿所述物理延伸方向的第二画面长度;
根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选地,所述根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,包括:
在X1>X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在X1=X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在X1<X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级。
可选地,所述根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级的步骤,包括:
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级;
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级,且所述虚拟对象与所述实景对象在所述目标图像中存在重叠部分的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级,或者调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级;
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级。
可选地,调整所述目标图像中第一图像的层级至所述第二图像的层级低于所述第一图像的层级的步骤,包括:
识别所述目标图像中所述实景对象的轮廓;
根据所述实景对象的轮廓,确定所述第一图像;
调节所述第一图像悬浮于所述第二图像上。
第二方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
获取模块,用于获取一目标图像;
确定模块,用于在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;
调整模块,用于根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。
可选地,所述确定模块包括:
第一获取子模块,用于获取所述虚拟对象相对于所述电子设备的第一距离S1;
第二获取子模块,用于获取所述实景对象相对于所述电子设备的第二距离S2;
第一确定子模块,用于根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选地,所述第一确定子模块包括:
第一确定单元,用于在S1-S2≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
第二确定单元,用于在0≤|S1-S2|<d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
第三确定单元,用于在S1-S2<0,且|S1-S2|≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级;
其中,|S1-S2|为S1和S2之差的绝对值;d为常数。
可选地,d为预设常数值;或者,d为所述实景对象沿第一方向的长度值;所述第一方向为所述实景对象相对于所述电子设备的方向。
可选地,所述确定模块包括:
第三获取子模块,用于获取所述虚拟对象沿一物理延伸方向的第一实际长度,以及获取所述虚拟对象在所述目标图像中沿所述物理延伸方向的第一画面长度;
第四获取子模块,用于获取所述实景对象沿所述物理延伸方向的第二实际长度,以及获取所述实景对象在所述目标图像中沿所述物理延伸方向的第二画面长度;
第二确定子模块,用于根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选地,所述第二确定子模块包括:
第四确定单元,用于在X1>X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
第五确定单元,用于在X1=X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
第六确定单元,用于在X1<X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级。
可选地,所述调整模块包括:
第一调整子模块,用于在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级;
第二调整子模块,用于在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级,且所述虚拟对象与所述实景对象在所述目标图像中存在重叠部分的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级,或者调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级;
第三调整子模块,用于在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级。
可选地,所述调整模块执行调整所述目标图像中第一图像的层级至所述第二图像的层级低于所述第一图像的层级的步骤包括:
识别所述目标图像中所述实景对象的轮廓;
根据所述实景对象的轮廓,确定所述第一图像;
调节所述第一图像悬浮于所述第二图像上。
第三方面,本发明实施例还提供了一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的图像处理方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
本发明的实施例,通过在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;并根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。这样根据目标图像中的虚拟对象和实景对象的实际层级关系来调整目标图像中实景对象和虚拟对象之间的层级关系,以提高合拍虚拟对象和实景对象的合拍图像效果的真实性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例的图像处理方法的流程图;
图2表示本发明实施例的目标图像的示意图;
图3表示本发明实施例的实景拍摄主体的局部示意图;
图4表示本发明实施例的脉冲波的示意图;
图5表示本发明实施例的实景对象的第二实际长度的几何示意图;
图6表示本发明实施例的电子设备的实施结构示意图之一;
图7表示本发明实施例的电子设备的实施结构示意图之二。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。另外,本文中术语“***”和“网络”在本文中常可互换使用。
具体地,本发明的实施例提供了一种图像处理方法,解决了现有技术中预先设定虚拟对象在图像中的显示方式,影响拍虚拟对象和实景对象的合拍图像效果的真实性的问题。
如图1所示,本发明实施例提供了一种图像处理方法,应用于电子设备;可选的,该电子设备可以是具有AR功能的设备,如AR相机;也可以是与具有AR功能的设备建立通信连接的处理设备,该处理设备或者具有AR功能的设备能够执行下述图像处理方法的步骤。
具体的,所述方法包括:
步骤11:获取一目标图像。
可选的,所述目标图像可以是合拍实景对象和虚拟对象时的预览图像,也可以是合拍实景对象和虚拟对象得到的初始图像;如:该目标图像可以是一张图片,也可以是视频数据中的一帧图像,或者还可以是连续多帧图像(如动图)中的一张图片等。
步骤12:在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
其中,实景对象是真实环境中实际存在的对象,如真实环境中的人物、动物、植物、建筑、食物、静物等;虚拟对象可以是通过特定程序生成的3D模型或者平面模型等。
可选的,目标层级关系表现为:虚拟对象和实景对象分别相对于电子设备的距离之间的关系。需要说明的是,这里所说的虚拟对象和实景对象分别相对于电子设备的距离不应狭义的理解为虚拟对象和实景对象分别相对于电子设备的实际距离,即可以直接通过虚拟对象和实景对象分别相对于电子设备的实际距离,来确定该目标层级关系,也可以是间接表征虚拟对象和实景对象分别相对于电子设备的实际距离,进而确定该目标层级关系。
步骤13:根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。
上述方案中,通过在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;并根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。这样根据目标图像中的虚拟对象和实景对象的实际层级关系来调整目标图像中实景对象和虚拟对象之间的层级关系,以提高合拍虚拟对象和实景对象的合拍图像效果的真实性。
可选的,作为一种实现方式:所述确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,可以具体包括:
获取所述虚拟对象相对于所述电子设备的第一距离S1;
获取所述实景对象相对于所述电子设备的第二距离S2;
根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
其中,获取所述实景对象相对于所述电子设备的第二距离,可以是获取实景拍摄主体相对于所述电子设备的第二距离;具体的确定实景拍摄主体可以包括但不限于以下至少一项:
当实景拍摄主体为人物且包含面部特征的情况下,可以通过面部识别技术识别目标图像中的实景拍摄主体;
将位于目标图像中的目标区域范围内的实景对象,确定为实景拍摄主体;例如:目标区域可以是距离目标图像中心的预定距离的区域,即超出该区域外的部分,可以不进行识别处理;
将相对于该电子设备的距离在预定范围内的实景对象确定为实景拍摄主体;例如:将相对于该电子设备的距离小于或等于预设值m的实景对象确定为实景拍摄主体。或者将相对于该电子设备的距离最近的实景对象确定为待拍摄主体。其中,实景对象相对于该电子设备的距离可以是实景对象到电子设备中的摄像头的距离,也可以是电子设备中的摄像头和实景对象正投影于目标面时,两投影之间的距离(如人站在地面进行拍照时,实景对象相对于该电子设备的距离可以是摄像头正投影于地面的位置到人站立的位置之间的距离)。
如图2所示,在目标图像201中,包括虚拟对象203以及实景对象204/205;在针对目标图像201进行实景拍摄主体的检测时,由于通常在拍摄时会选择被拍摄主***于靠近中间区域的位置,因此在识别主体时,可以仅对目标图像201的中间区域(如图2中虚线框内的区域)进行识别,以减小识别处理的时间,提高处理效率;
在实景对象204/205均为人物且存在脸部信息的情况下,通过人脸识别技术对虚线框内区域进行识别时,可能会识别到多个实景对象,如图2中的实景对象204/205;
进一步地,可以通过检测实景对象相对于电子设备的距离,例如:若当前场景为拍摄场景,则可以通过电子设备中的距离检测模块,获取实景对象204/205分别相对于电子设备的距离;若当前场景为拍摄图像后的图像处理阶段(如拍摄对象可能移动位置),则可以通过检测该目标图像201中实景对象204/205在一共同平面上,相对于目标参考对象的距离,如图2中实景对象204/205处于共同处于地面202上,可以将实景对象204在地面的位置(如图2中实景对象204对应的虚线)到图像的下侧边缘的距离(或者是模拟一个电子设备所在的位置),来等效为实景对象204到电子设备的距离,同样的方式可以等效得到等效为实景对象205到电子设备的距离。如图2中,实景对象204到电子设备的距离小于实景对象205到电子设备的距离,可以将实景对象204确定为实景拍摄主体。
当然,识别实景拍摄主体除了可以采用上述方式之一或组合外,还可以是采用其他方式,只需要能够识别目标图像中的实景拍摄主体,以便于能够确定实景拍摄主体及其对应的影子图像即可,本发明实施例不以此为限。
进一步地,在确定实景拍摄主体的情况下,获取实景拍摄主体相对于所述电子设备的第二距离的步骤,可以具体包括:
确定实景拍摄主体与参考面之间的接触位置,确定该接触位置相对于电子和设备之间的距离作为所述第二距离;(其中,该接触位置相对于电子和设备之间的距离可以是该接触位置到电子设备的距离,也可以是该接触位置到电子设备在该参考面的正投影位置的距离)。
具体的,以实景拍摄主体为站立在地面上的人为例,将该地面确定为参考面;通过物体识别技术,识别出实景拍摄主体的脚部特征(如鞋子),确定鞋子的位置为所述接触位置。例如:可以是将鞋子头部的位置作为该接触位置,也可以是将鞋子尾部的位置作为该接触位置,也可以是将鞋子中心位置作为该接触位置。
例如:在将鞋子头部的位置作为该接触位置的情况下,沿着人体高度的方向由下至上扫描(即以一水平线从地面开始向高度方向扫描),第1个与鞋子的接触点作为该接触位置;若实景拍摄主体的两只脚的距离不一致,如图3中区域301为实景拍摄主体脚部的局部示意图,实景拍摄主体的两只脚302分别对应第一位置303和第二位置304;这种情况下可以取第一位置303和第二位置304之间的中间位置305作为该接触位置,从而确定中间位置305相对于电子设备的距离,作为实景拍摄主体相对于电子设备的距离。相应地,采用与上述相类似的方法,还可以确定虚拟对象相对于电子设备的距离。
需要说明的是,上述是以人体为例说明了获取实景对象和虚拟对象相对于电子设备的距离;当实景对象和/或虚拟对象为物体的情况下,也可以通过确定实景对象和虚拟对象共同的接触面,或者等效一个共同界面等方式,同样适用上述方法,这里不再赘述。
还需要说明的是,上述是以人体为例说明了获取实景对象和虚拟对象相对于电子设备的距离,除了直接检测实景对象和虚拟对象相对于电子设备的距离之外,还可以通过间接类比的方式获得实景对象和虚拟对象分别相对于电子设备的距离之间的关系,例如:通过检测该目标图像中实景对象和虚拟对象在共同的接触面上,相对于目标参考对象的距离;如图2中实景对象204和虚拟对象203共同处于地面202上,可以将实景对象204在地面的位置(如图2中实景对象204对应的虚线)到图像的下侧边缘的距离(或者是模拟一个电子设备所在的位置),来等效为实景对象204到电子设备的距离,同样的方式可以等效得到虚拟对象204到电子设备的距离。
进一步地,所述根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,可以具体包括:
在S1-S2≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在0≤|S1-S2|<d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在S1-S2<0,且|S1-S2|≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级;
其中,|S1-S2|为S1和S2之差的绝对值;d为常数。
可选的,d为预设常数值;或者,d为所述实景对象沿第一方向的长度值;所述第一方向为所述实景对象相对于所述电子设备的方向。
具体而言,当实景对象为人体的情况下,d的值可以为人身体的厚度值。
例如:可以预先通过大数据处理的方式获得人身体的普遍厚度值,来确定人身体的厚度值作为d的值,这样可以节省检测人身体厚度值的处理过程。
又例如:通过物体识别方式,识别出实景对象的任意一只脚(或者是鞋子),然后检测得到该鞋子的长度值(如鞋子顶部到鞋子尾部的距离),来近似确定为身体的厚度值。可选的,若两只鞋子的长度值不同,则可以根据任意一只鞋子的长度值来估算身体的厚度值,也可以根据两只鞋子长度值的均值来估算身体的厚度值。当然,还可以通过检测腿部宽度、头部宽度等方式,来近似确定为身体的厚度值,本发明实施例不以此为限。
当然,实景对象为物体的情况下,也可以通过检测实景对象的厚度值来确定d的值,如:实景对象为桌子,也可以检测桌子在朝向电子设备的一端到远离电子设备的一端之间的距离,即可作为厚度值,本发明实施例不以此为限。
可选的,作为另一种实现方式:所述确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,可以具体包括:
获取所述虚拟对象沿一物理延伸方向的第一实际长度,以及获取所述虚拟对象在所述目标图像中沿所述物理延伸方向的第一画面长度;
获取所述实景对象沿所述物理延伸方向的第二实际长度,以及获取所述实景对象在所述目标图像中沿所述物理延伸方向的第二画面长度;
根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
其中,针对实景对象和虚拟对象来说,该物理延长方向为相同的方向,如该物理延长方向可以是高度、宽度、长度等;优选的,该物理延长方向可以选择对于实景对象和虚拟对象来说区别较为明显的特征,以便于检测;如对于人体来说,该物理延伸方向可以选择人的身高。
具体的,获取所述实景对象沿所述物理延伸方向的第二实际长度的步骤,可以具体包括:
获取所述实景对象沿所述物理延伸方向上的第一实景位置到所述电子设备的第一距离;
获取所述实景对象沿所述物理延伸方向上的第二实景位置到所述电子设备的第二距离;
根据所述电子设备到所述投影面的垂直距离、所述第一距离和所述第二距离,计算得到所述实景对象相对于所述投影面的目标高度。
例如:通过电子设备中的距离检测模块,可以检测电子设备到实景对象的第一实景位置(如实景对象为站立在地面上的人体的情况下,该第一实景位置可以是脚部),以及检测电子设备到实景对象的第二实景位置(如实景对象为站立在地面上的人体的情况下,该第二实景位置可以是头顶)。
可选的,通过TOF模块从上到下或者从下到上进行扫描,可以分别扫描到第一实景位置和第二实景位置;从而可以检测到电子设备到第一实景位置的距离,以及电子设备到第二实景位置的距离。
具体的,TOF模块可以基于脉冲波(paulse base)或基于连续调制波(CW)发射信号。以下以基于脉冲波为例,TOF模块发射矩形脉冲波,该矩形脉冲波发射后,光线照射到物体后并反射的反射光线对应一具有相位差的脉冲波,测量相位差的方法如图4所示。
发射的光脉冲可以设定一个频率f,并且开启两个反向的窗口DMIX0(即快门S0)、DMIX1(即快门S1)用来接收光子的数量,快门S0的频率和相位是与发射脉冲是一致的,快门S1的相位是与发射脉冲反向的,并且相位差为180°。
若快门S0收集到的电荷量为Q0,快门S1收集到的电荷量为Q1。Tp为发射脉冲高电平,Td为相位差存在的时间(即光线照射到物体后并反射光线的时间),C为光速,则电子设备通过TOF模组测量待测物体到电子设备的距离时,该距离d为:d=1/2*C*Tp*[Q1/(Q0+Q1)]。
由此,通过TOF模块可以分别测量实景对象中的第一实景位置到电子设备的第一距离,以及实景对象中的第二实景位置到电子设备的第二距离。
进一步地,如图5所示,A表示电子设备的位置,C表示第一实景位置,D表示第二实景位置;OC表示地面所在的平面,O点是A点在OC面上的正投影位置;一般情况下电子设备到O的高度h已知(或者也可以通过检测获得);A与C之间的长度a表示电子设备到第一实景位置的距离,A与D之间的长度b即为表示电子设备到第二实景位置的距离;
基于此,可以计算O点到C点之间的距离d,即:d2=a2-h2,从而可以确定A点到E点之间的距离;
进而可以通过公式:h12=b2-d2,得到D点到E点之间的距离h1;以及通过C点到E点之间的距离h2=h,可以得到C点到D点之间的距离,即目标高度h0,即:
同样的,当目标高度低于电子设备的到地面的高度h的情况下,也可以通过类似的方法,计算得到目标高度,此处不再赘述。
可选的,获取所述虚拟对象沿一物理延伸方向的第一实际长度,可以是通过3D模型确定;例如:通过3D模型模拟虚拟对象的实际长度,即虚拟对象为人的情况下,通过3D模型模拟虚拟对象按照真实比例1:1预设身高,这样通过3D模型可以直接获得虚拟对象的第一实际长度。
可选的,虚拟对象和实景对象的各自对应的画面长度,可以通过针对画面中的对象进行物体识别等处理,识别出虚拟对象和实景对象轮廓;然后通过计算虚拟对象沿一物理延伸方向的长度,以及实景对象沿以物理延伸方向的长度;
例如:该实景对象和虚拟对象为站立在地面的人体,则可以在图像中沿着实景对象人体高度的方向,确定从上至下触碰到的人体轮廓位置的第一个水平线,以及从下至上接触到人体轮廓的位置第一个水平线,并测量出两条水平线之间的距离,即为实景对象在图像中的高度,同样也可以测量出虚拟对象的高度;当然还可以通过人体检测或物体识别等技术,识别出图像中实景对象的轮廓之后,根据像素点的数量来确定实景对象在图像中的高度等,本发明实施例不以此为限。
进一步地,所述根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,可以具体包括:
在X1>X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在X1=X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在X1<X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级;
其中,X1=h11/h12,X2=h21/h22,h11为所述第一实际长度,h12为所述第二实际长度,h21为所述第一画面长度,h22为所述第二画面长度。
这样,通过虚拟对象的第一实际长度与实景对象的第二实际长度的比值,与虚拟对象的第一画面长度与实景对象的第二画面长度进行比较,可以确定实景对象与实景对象之间的层级关系。
优选的,为了保证本发明实施例具有一定的容错性,在将X1与X2进行对比时,若X1与X2之间的误差在一定范围内,可以优先确定虚拟对象的层级高于实景对象的层级。
可选的,作为又一种实现方式,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,还可以具体包括:
若实景对象在目标图像中所占的区域超出预定范围,则确定虚拟对象的层级高于实景对象的层级。
例如:实景对象为人体的情况下,如果出现实景拍摄主体的脚部特征无法识别(比如人离镜头比较近,只照到了大半身),则可以默认设定虚拟对象的层级高于实景对象的层级。
可选的,以下针对目标层级关系的不同情况,对根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级的步骤,进行具体说明:
情况一:
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级;
具体的,所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级的情况下:可以调整所述目标图像中第一图像的层级,以使所述第二图像的层级低于所述第一图像的层级;或者,还可以是调整所述第二图像的层级,以使所述第二图像的层级低于所述第一图像的层级;或者,还可以是调整所述目标图像中第一图像和所述第二图像的层级,以使所述第二图像的层级低于所述第一图像的层级。
其中,调整所述目标图像中第一图像的层级至所述第二图像的层级低于所述第一图像的层级的步骤,可以具体包括:识别所述目标图像中所述实景对象的轮廓;根据所述实景对象的轮廓,确定所述第一图像;调节所述第一图像悬浮于所述第二图像上。
例如:当实景对象与虚拟对象之间有重叠部分的情况下,若实景对象与虚拟对象之间的知己层级关系为:实景对象的层级高于虚拟对象的层级,但是在目标图像中的显示效果为实景对象的层级低于虚拟对象的层级,这就导致目标图像的显示效果不够真实。这种情况下,可以通过人物识别或物体识别技术,识别出实景对象的轮廓,对实景对象的图像区域通过分割处理(可选的,可以只将实景对象中与虚拟对象的图像区域重叠的部分进行分割处理),并对分割后的图像区域进行置顶处理,覆盖至虚拟对象的图像区域的上层,从而使得目标图像中虚拟对象和实景对象的显示效果表现为虚拟对象的层级低于实景对象的层级。
又例如:当实景对象与虚拟对象之间有重叠部分的情况下,若实景对象与虚拟对象之间的知己层级关系为:实景对象的层级高于虚拟对象的层级,但是在目标图像中的显示效果为实景对象的层级低于虚拟对象的层级,则可以确定虚拟对象中与实景对象的图像区域重叠的部分,然后将该重叠的部分擦除,以使原先实景对象中被遮挡的图像区域显露出来,避免目标图像中虚拟对象和实景对象的显示效果表现为虚拟对象的层级高于实景对象的层级。
情况二:
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级,且所述虚拟对象与所述实景对象在所述目标图像中存在重叠部分的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级,或者调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级;
作为一种实现方式,在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级的情况下,可以不进行图像处理。
作为另一种实现方式,也可以是在按照预定效果进行处理,如调整目标图像中的虚拟对象的层级高于实景对象的层级(如在虚拟对象和实景对象的图像区域之间具有重叠部分的情况下,表现为虚拟对象的图像悬浮于实景对象的图像上);或者,也可以调整目标图像中的虚拟对象的层级低于实景对象的层级(如在虚拟对象和实景对象的图像区域之间具有重叠部分的情况下,表现为实景对象的图像悬浮于虚拟对象的图像上,具体调整方法可参见上述实施例,此处不再赘述)。
情况三:
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级。
具体的,在所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级的情况下,可以调整所述目标图像中第一图像的层级,以使所述第二图像的层级高于所述第一图像的层级;或者,还可以是调整所述第二图像的层级,以使所述第二图像的层级高于所述第一图像的层级。
例如:可以直接将第二图像设置为悬浮于第一图像之上,由于虚拟对象通常由模型生成,通过调整虚拟对象对应的第二图像的方式,操作更简单。可选的,调整第一图像的层级的方式,可以采用上述实施例中类似的方法,这里不再赘述。
如图6,本发明实施例还提供了一种电子设备600,所述电子设备600包括:
获取模块610,用于获取一目标图像;
确定模块620,用于在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;
调整模块630,用于根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。
可选地,所述确定模块620包括:
第一获取子模块,用于获取所述虚拟对象相对于所述电子设备的第一距离S1;
第二获取子模块,用于获取所述实景对象相对于所述电子设备的第二距离S2;
第一确定子模块,用于根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选地,所述第一确定子模块包括:
第一确定单元,用于在S1-S2≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
第二确定单元,用于在0≤|S1-S2|<d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
第三确定单元,用于在S1-S2<0,且|S1-S2|≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级;
其中,|S1-S2|为S1和S2之差的绝对值;d为常数。
可选地,d为预设常数值;或者,d为所述实景对象沿第一方向的长度值;所述第一方向为所述实景对象相对于所述电子设备的方向。
可选地,所述确定模块620包括:
第三获取子模块,用于获取所述虚拟对象沿一物理延伸方向的第一实际长度,以及获取所述虚拟对象在所述目标图像中沿所述物理延伸方向的第一画面长度;
第四获取子模块,用于获取所述实景对象沿所述物理延伸方向的第二实际长度,以及获取所述实景对象在所述目标图像中沿所述物理延伸方向的第二画面长度;
第二确定子模块,用于根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选地,所述第二确定子模块包括:
第四确定单元,用于在X1>X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
第五确定单元,用于在X1=X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
第六确定单元,用于在X1<X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级。
可选地,所述调整模块630包括:
第一调整子模块,用于在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级;
第二调整子模块,用于在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级,且所述虚拟对象与所述实景对象在所述目标图像中存在重叠部分的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级,或者调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级;
第三调整子模块,用于在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级。
可选地,所述调整模块630执行调整所述目标图像中第一图像的层级至所述第二图像的层级低于所述第一图像的层级的步骤包括:
识别所述目标图像中所述实景对象的轮廓;
根据所述实景对象的轮廓,确定所述第一图像;
调节所述第一图像悬浮于所述第二图像上。
本发明实施例中的电子设备600可以实现以上至少一个实施例所述的图像处理方法的过程,并能达到相同的技术效果,为避免重复,此处不再赘述。
本发明的实施例中的电子设备600,通过在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;并根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。这样根据目标图像中的虚拟对象和实景对象的实际层级关系来调整目标图像中实景对象和虚拟对象之间的层级关系,以提高合拍虚拟对象和实景对象的合拍图像效果的真实性。
如图7所示,本发明实施例还提供一种电子设备,包括:处理器71,以及通过总线接口72与所述处理器71相连接的存储器73,所述存储器73用于存储所述处理器71在执行操作时所使用的程序和数据,处理器71调用并执行所述存储器73中所存储的程序和数据。
其中,收发机74与总线接口72连接,用于在处理器71的控制下接收和发送数据;处理器71用于读取存储器73中的程序。
具体地,所述处理器71用于执行所述计算机程序时实现以下步骤:
获取一目标图像;
在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;
根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域。
可选的,所述处理器71用于执行所述计算机程序时还实现以下步骤:
获取所述虚拟对象相对于所述电子设备的第一距离S1;
获取所述实景对象相对于所述电子设备的第二距离S2;
根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选的,所述处理器71用于执行所述计算机程序时还实现以下步骤:
在S1-S2≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在0≤|S1-S2|<d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在S1-S2<0,且|S1-S2|≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级;
其中,|S1-S2|为S1和S2之差的绝对值;d为常数。
可选的,d为预设常数值;或者,d为所述实景对象沿第一方向的长度值;所述第一方向为所述实景对象相对于所述电子设备的方向。
可选的,所述处理器71用于执行所述计算机程序时还实现以下步骤:
获取所述虚拟对象沿一物理延伸方向的第一实际长度,以及获取所述虚拟对象在所述目标图像中沿所述物理延伸方向的第一画面长度;
获取所述实景对象沿所述物理延伸方向的第二实际长度,以及获取所述实景对象在所述目标图像中沿所述物理延伸方向的第二画面长度;
根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
可选的,所述处理器71用于执行所述计算机程序时还实现以下步骤:
在X1>X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在X1=X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在X1<X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级。
可选的,所述处理器71用于执行所述计算机程序时还实现以下步骤:
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级;
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级,且所述虚拟对象与所述实景对象在所述目标图像中存在重叠部分的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级,或者调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级;
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级。
可选的,所述处理器71用于执行所述计算机程序时还实现以下步骤:
识别所述目标图像中所述实景对象的轮廓;
根据所述实景对象的轮廓,确定所述第一图像;
调节所述第一图像悬浮于所述第二图像上。
需要说明的是,在图7中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器71代表的一个或多个处理器和存储器73代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机74可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。针对不同的终端,用户接口75还可以是能够外接内接需要设备的接口,连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器71负责管理总线架构和通常的处理,存储器73可以存储处理器71在执行操作时所使用的数据。
本领域技术人员可以理解,实现上述实施例的全部或者部分步骤可以通过硬件来完成,也可以通过计算机程序来指示相关的硬件来完成,所述计算机程序包括执行上述方法的部分或者全部步骤的指令;且该计算机程序可以存储于一可读存储介质中,存储介质可以是任何形式的存储介质。
另外,本发明具体实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的信息处理方法中的步骤。且能达到相同的技术效果,为避免重复,这里不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。

Claims (9)

1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
获取一目标图像;
在所述目标图像中包含有虚拟对象和实景对象的情况下,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系;其中,所述目标层级关系由所述虚拟对象和所述实景对象分别相对于所述电子设备的距离确定;
根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级,其中,所述第一图像为所述目标图像中对应所述实景对象的区域,所述第二图像为所述目标图像中对应所述虚拟对象的区域;
其中,所述根据所述目标层级关系,调整所述目标图像中第一图像或第二图像的层级的步骤,包括:
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级;
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级,且所述虚拟对象与所述实景对象在所述目标图像中存在重叠部分的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级低于所述第一图像的层级,或者调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级;
在所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级的情况下,调整所述目标图像中第一图像或所述第二图像的层级至所述第二图像的层级高于所述第一图像的层级。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,包括:
获取所述虚拟对象相对于所述电子设备的第一距离S1;
获取所述实景对象相对于所述电子设备的第二距离S2;
根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
3.根据权利要求2所述的图像处理方法,其特征在于,所述根据所述S1和所述S2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,包括:
在S1-S2≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在0≤|S1-S2|<d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在S1-S2<0,且|S1-S2|≥d的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级;
其中,|S1-S2|为S1和S2之差的绝对值;d为常数。
4.根据权利要求3所述的图像处理方法,其特征在于,
d为预设常数值;或者,
d为所述实景对象沿第一方向的长度值;所述第一方向为所述实景对象相对于所述电子设备的方向。
5.根据权利要求1所述的图像处理方法,其特征在于,所述确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,包括:
获取所述虚拟对象沿一物理延伸方向的第一实际长度,以及获取所述虚拟对象在所述目标图像中沿所述物理延伸方向的第一画面长度;
获取所述实景对象沿所述物理延伸方向的第二实际长度,以及获取所述实景对象在所述目标图像中沿所述物理延伸方向的第二画面长度;
根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系。
6.根据权利要求5所述的图像处理方法,其特征在于,所述根据所述第一实际长度与所述第二实际长度的第一比值X1,以及所述第一画面长度与所述第二画面长度的第二比值X2,确定所述虚拟对象和所述实景对象分别相对于所述电子设备的层级之间的目标层级关系的步骤,包括:
在X1>X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级低于所述实景对象相对于所述电子设备的层级;
在X1=X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级等于所述实景对象相对于所述电子设备的层级;
在X1<X2的情况下,确定所述目标层级关系为:所述虚拟对象相对于所述电子设备的层级高于所述实景对象相对于所述电子设备的层级。
7.根据权利要求1所述的图像处理方法,其特征在于,调整所述目标图像中第一图像的层级至所述第二图像的层级低于所述第一图像的层级的步骤,包括:
识别所述目标图像中所述实景对象的轮廓;
根据所述实景对象的轮廓,确定所述第一图像;
调节所述第一图像悬浮于所述第二图像上。
8.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
CN202010232180.1A 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读储介质 Active CN111462338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010232180.1A CN111462338B (zh) 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010232180.1A CN111462338B (zh) 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读储介质

Publications (2)

Publication Number Publication Date
CN111462338A CN111462338A (zh) 2020-07-28
CN111462338B true CN111462338B (zh) 2024-03-22

Family

ID=71680133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010232180.1A Active CN111462338B (zh) 2020-03-27 2020-03-27 一种图像处理方法、电子设备及计算机可读储介质

Country Status (1)

Country Link
CN (1) CN111462338B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428501A (zh) * 2019-08-01 2019-11-08 北京优艺康光学技术有限公司 全景影像生成方法、装置、电子设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101748401B1 (ko) * 2016-08-22 2017-06-16 강두환 가상현실 어트랙션 제어 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428501A (zh) * 2019-08-01 2019-11-08 北京优艺康光学技术有限公司 全景影像生成方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶强强 ; 余烨 ; 张静 ; 刘晓平 ; .基于网格的球面虚拟实景空间搭建方法.华南师范大学学报(自然科学版).2012,(04),全文. *

Also Published As

Publication number Publication date
CN111462338A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
US11145038B2 (en) Image processing method and device for adjusting saturation based on depth of field information
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US10176589B2 (en) Method and system for completing point clouds using planar segments
CN103250184B (zh) 基于全局运动的深度估计
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
US11205278B2 (en) Depth image processing method and apparatus, and electronic device
Barandiaran et al. Real-time optical markerless tracking for augmented reality applications
KR20120093197A (ko) 인간 트래킹 시스템
CN101198964A (zh) 使用红外图案照射创建对象的三维图像
CN112700552A (zh) 三维物体检测方法、装置、电子设备及介质
WO2007052191A2 (en) Filling in depth results
KR102525030B1 (ko) 포인트 클라우드를 생성하는 방법 및 장치
US11908236B2 (en) Illumination detection method and apparatus for face image, and device and storage medium
US11665332B2 (en) Information processing apparatus, control method thereof and storage medium
JPWO2020179065A1 (ja) 画像処理装置、画像処理方法及びプログラム
Guomundsson et al. ToF imaging in smart room environments towards improved people tracking
JP2023546739A (ja) シーンの3次元モデルを生成するための方法、装置、およびシステム
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
US11620765B2 (en) Automatic detection of a calibration object for modifying image parameters
Mori et al. Good keyframes to inpaint
CN111462338B (zh) 一种图像处理方法、电子设备及计算机可读储介质
CN111462294B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN116071551A (zh) 图像处理方法、计算机可读存储介质及电子设备
Lee et al. Estimating scene-oriented pseudo depth with pictorial depth cues
Ogawa et al. Occlusion handling in outdoor augmented reality using a combination of map data and instance segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant