CN114693780A - 图像的处理方法、装置、设备、存储介质和程序产品 - Google Patents

图像的处理方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN114693780A
CN114693780A CN202210375988.4A CN202210375988A CN114693780A CN 114693780 A CN114693780 A CN 114693780A CN 202210375988 A CN202210375988 A CN 202210375988A CN 114693780 A CN114693780 A CN 114693780A
Authority
CN
China
Prior art keywords
image
target object
prop
depth information
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210375988.4A
Other languages
English (en)
Inventor
余煜斌
邱达裕
罗孺冲
刘慧琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210375988.4A priority Critical patent/CN114693780A/zh
Publication of CN114693780A publication Critical patent/CN114693780A/zh
Priority to PCT/CN2023/086211 priority patent/WO2023197912A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种图像的处理方法、装置、设备、存储介质和程序产品,包括:获取目标物体的掩码图像,其中,目标物体处于运动或者静止状态,道具图像处于运动状态;当道具图像在运动过程中与目标物体产生遮挡关系时,基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像,实现基于目标物体对道具图像的遮挡,保证了目标物体对道具图像的遮挡效果,提高在包括目标物体的图像中显示的道具的真实性,且减小图像处理过程中的性能损耗。

Description

图像的处理方法、装置、设备、存储介质和程序产品
技术领域
本公开涉及计算机通信技术领域,尤其涉及一种图像的处理方法、装置、设备、存储介质和程序产品。
背景技术
随着通信技术和终端设备的发展,各种终端设备例如手机、平板电脑等已经成为了人们工作和生活中不可或缺的一部分,而且随着终端设备的日益普及,图像交互应用成为一种娱乐的主要渠道。
目前,图像中添加特效,图像中目标对象对特效的遮挡方法中,基于识别的目标对象的3D模型模拟遮挡,但是由于使用3D模型模拟遮挡的过程中,3D模型无法模拟目标对象的附加特征,例如头发、裙子等特征,影响模拟遮挡效果。
现有技术中,图像的处理方法无法实现较好的遮挡效果,且性能消耗较大。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种图像的处理方法、装置、设备、存储介质和程序产品。
第一方面,本公开实施例提供一种图像的处理方法,包括:
获取目标物体的掩码图像,其中,所述目标物体处于运动或者静止状态,道具图像处于运动状态;
当所述道具图像在运动过程中与所述目标物体产生遮挡关系时,基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像。
可选的,所述道具图像为二维平面图像,所述道具图像被划分为至少两部分,每部分具有对应的显示属性,所述显示属性包括:显示或者不显示;
所述基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像,包括:
确定所述道具图像与所述目标物体的掩码图像的重叠部分;
根据所述重叠部分对应的显示属性,确定是否显示所述道具图像的所述重叠部分。
可选的,所述根据所述重叠部分对应的显示属性,确定是否显示所述道具图像的所述重叠部分,包括:
针对所述重叠部分的每个坐标点,确定所述坐标点属于所述道具图像的目标部分,若所述目标部分的显示属性为显示,则所述坐标点显示所述道具图像的像素点,若所述目标部分的显示属性为不显示,则所述坐标点显示所述目标对象的像素点。
可选的,所述道具图像为三维立体图像;
所述基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像,包括:
获取所述目标物体的掩码图像与到道具图像的重叠部分;
针对所述重叠部分的每个坐标点,获取所述掩码图像的所述坐标点的第一深度信息,并获取所述道具图像的所述坐标点的第二深度信息;
基于所述第一深度信息和所述第二深度信息的值,确定所述坐标点显示所述目标对象的像素点或者显示所述道具图像的像素点。
可选的,所述基于所述第一深度信息和所述第二深度信息的值,确定所述坐标点显示所述掩码图像的像素点或者显示所述道具图像的像素点,包括:
若所述第一深度信息大于所述第二深度信息,则确定所述坐标点显示所述道具图像的像素点,若所述第一深度信息小于所述第二深度信息,确定所述坐标点显示所述目标对象的像素点。
可选的,所述获取所述掩码图像的所述坐标点的第一深度信息,包括:
基于所述掩码图像构建目标对象盒子,所述目标对象盒子具有深度信息;
基于所述目标对象盒子的深度信息确定所述掩码图像的所述坐标点的第一深度信息。
第二方面,本公开实施例提供一种图像的处理装置,包括:
掩码图像获取模块,用于获取目标物体的掩码图像,其中,所述目标物体处于运动或者静止状态,道具图像处于运动状态;
显示模块,用于当所述道具图像在运动过程中与所述目标物体产生遮挡关系时,基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像。
第三方面,本公开实施例提供一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面中任一所述的方法。
第四方面,本公开实施例提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面中任一所述的方法。
第五方面,本公开实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面任一项所述的方法的步骤。
本公开提供的技术方案具有如下优点:
本公开实施例提供的图像的处理方法、装置、设备、存储介质和程序产品,获取目标物体的掩码图像,基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像,即本公开实施例提供的图像的处理方法,通过对图像进行处理得到目标物体的掩码图像,再基于目标物体的掩码图像与设定道具图像相对目标物体的掩码图像的显示属性,显示目标物体与道具图像,实现基于目标物体对道具图像的遮挡,保证了目标物体对道具图像的遮挡效果,提高在包括目标物体的图像中显示的道具的真实性,此外,由于本公开实施例提供的图像的处理方法基于目标物体的掩码图像对道具图像进行遮挡,相比较现有技术基于模拟目标物体的3D模型对道具图像进行遮挡,本公开实施例中无需通过算法驱动3D模型模拟目标物体,可以减小图像处理过程中的性能损耗。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中图像中添加道具图像的界面示意图;
图2是本公开实施例提供的一种图像的处理方法的流程示意图;
图2A是本公开实施例提供的一种在图像中添加道具图像的界面示意图;
图2B是本公开实施例提供的另一种在图像中添加道具图像的界面示意图;
图3是本公开实施例提供的另一种图像的处理方法的流程示意图;
图3A是本公开实施例提供的又一种在图像中添加道具图像的界面示意图;
图4是本公开实施例提供的又一种图像的处理方法的流程示意图;
图4A是本公开实施例提供的又一种在图像中添加道具图像的界面示意图;
图4B是本公开实施例提供的构建的目标对象盒子的结构示意图;
图5是本公开实施例提供的图像的处理装置的结构示意图;
图6是本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
通过在图像中添加道具图像添加特效,实现特效,使得图像交互的多样性。
图1是现有技术在图像中添加道具图像的效果,现有技术中,为实现部分道具图像通过目标物体进行遮挡,基于算法驱动模型进而模拟目标物体,然后基于模拟的目标物体与道具图像的位置关系,实现部分道具图像被目标物体遮挡,但是,由图1可知,基于算法驱动模型模拟的目标物体200'仅仅只能模拟目标物体100'的结构特征,对于目标物体100'的附加特征无法模拟,例如,目标物体为人,算法驱动模型模拟人的结构特征,例如身体结构,但是人的附加特征,例如头发、穿的衣服无法模拟,当基于模拟的目标物体与道具图像的位置关系,显示模拟的目标物体200'和道具图像300'的时候,会存在图1出现的问题,即位于模拟的目标物体200'双腿中间的道具图像应该被目标物体遮挡,但是由于算法模型模拟的目标物体无法模拟人的裙子等附加特征,因此,此部分处无法实现基于模拟的目标物体对道具图像的遮挡,降低了在包括目标物体的图像中显示图像道具的真实性。
本实施例可适用于在图像中添加图像道具的情况,该方法可以由图像的处理装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于终端设备中,例如计算机等。
终端设备可以是平板电脑、手机、可穿戴设备、车载设备、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、智能电视、智慧屏、高清电视、4K电视、智能音箱、智能投影仪等,本公开对电子设备的具体类型不作任何限制。
其中,本公开对电子设备的操作***的类型不做限定。例如,Android***、Linux***、Windows***、iOS***等。
下面以几个具体的实施例对本公开的技术方案进行描述。
图2为本公开提供的一种图像的处理方法的流程示意图,如图2所示,图像的处理方法包括:
S10、获取目标物体的掩码图像。
其中,目标物体处于运动或者静止状态,道具图像处于运动状态。
目标物体可以处于运动状态,也可以处于静止状态,当目标物体处于静止状态时,可以通过实时获取的方式获取的目标物体的掩码图像,也可以只获取一次或者间隔预设时间获取一次,以减少计算量,因为目标物体处于静止状态时,获取的掩码图像均相同,可以应用于对图片特效的处理过程中。当目标物体处于运动状态时,通过实时获取的方式获取的目标物体的掩码图像,实时获取可以是每一帧图像获取,也可以是每隔几帧图像获取,具体间隔几帧图像获取与目标物体的运动速度、幅度等有关,可根据经验值或者实际应用场景确定,以提高获取的掩码图像的准确性,可以应用于对视频特效的处理过程中。
道具图像示例性可应用于对图像进行处理的特效场景中,例如圆形道具、椭圆形道具、精灵道具等,其中,道具图像为运动状态,具体的,道具图像可以围绕包括目标物体的图像中的目标物体进行运动,道具图像也可以不围绕包括目标物体的图像中的目标物体进行运动,本公开实施例不对道具图像的具体运动状态进行限定。
获取的目标物体的掩码图像可以为某一个图像中目标物体的掩码图像,也可以为视频中目标物体的掩码图像,而视频是由一系列静态的图像帧以极快的速度连续放映形成。由此,可以将视频拆分成一系列图像帧,并对图像帧进行编辑操作,从而实现对视频的编辑操作。在本公开实施例中,图像的处理方法可以为对某一个图像进行处理的过程,也可以为对视频中的每一帧图像进行处理的过程,其中,视频可以是一个录制完成的完整视频,也可以是正在实时录制的视频。
图像是由多个像素点组成的,不同位置处的像素点的像素值不同,在获取到某个图像或图像帧后,基于该图像或图像帧对应的各像素点的像素值,确定目标物体对应的像素点,通过制备特定的掩膜(该掩膜与图像或图像帧对应的像素点相同,且掩膜中与图像或图像帧中目标物体的像素点重合位置处的掩膜值与目标物体的像素值相同),通过将图像或图像帧对应的像素值与掩膜进行运算,可以得到目标物体的掩码图像。
示例性的,某一图像对应的各像素点的像素值为
Figure BDA0003590401390000071
其中,像素点145、123、23、28、113、201为该图像中目标物体所在位置处对应的像素点,则制备的掩膜为
Figure BDA0003590401390000072
通过将图像对应的像素点与掩膜进行运算,得到目标物体的掩码图像。
需要说明的是,在具体的实施方式中,图像对应的像素点与掩膜进行运算的过程中,图像对应的像素点与掩膜的像素点相同时,则显示图像对应的像素点的像素值,当图像对应的像素点与掩膜的像素点不相同时,则显示0像素值或256像素点,此时图像中0像素值或256像素点对应显示黑色或红色。
此外,上述实施例中,像素点对应的像素值表示该位置处显示的颜色,通过设置目标物体对应的位置处显示图像对应的颜色,而设置非目标物体对应的位置处显示黑色和红色,可以确定图像中的目标物体的位置。
在其它可实施方式中,当确定图像中的目标物体的位置后,可以将目标物***置处的像素值设置为与非目标物体对应的位置处的像素值不相同,以方便确定目标物体的位置信息。
S20、当道具图像在运动过程中与目标物体产生遮挡关系时,基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像。
当道具图像处于运动状态时,若道具图像围绕目标物体进行运动,此时,道具图像在运动过程中会存在道具图像遮挡目标物体,以及道具图像被目标物体遮挡的现象,示例性的,结合图2A和图2B,道具图像300为椭圆形道具,道具图像300围绕目标物体200运动,此时,存在道具图像在运动过程中与目标物体产生遮挡关系,通过设定道具图像相对目标物体的掩码图像的显示属性,确定显示的目标物体以及道具图像。
需要说明的是,图2A和图2B示例性表示道具图像运动到目标物体的前面或道具图像运动到目标物体的后面时,道具图像与目标物体产生遮挡关系,在其它可实施方式中,道具图像与目标物体的遮挡关系也可以为其它表现形式,例如,对目标物体进行左右区分,当道具图像运动后,道具图像与目标物体的左侧部分产生遮挡(道具图像位于目标物体的前面,或道具图像位于目标物体的后面)时,此时显示目标物体,道具图像与目标物体的右侧部分产生遮挡(道具图像位于目标物体的前面,或道具图像位于目标物体的后面)时,此时显示道具图像;又例如,对目标物体进行上下区分,当道具图像运动后,道具图像与目标物体的上部分产生遮挡(道具图像位于目标物体的前面,或道具图像位于目标物体的后面)时,此时显示目标物体,当道具图像运动后,道具图像与目标物体的下部分产生遮挡(道具图像位于目标物体的前面,或道具图像位于目标物体的后面)时,此时显示道具图像。
具体的,参见图2A,图2A中,图像包括目标物体100,通过对图像进行处理,获取的图像的目标物体的掩码图像200,如图2B所示,通过在图像中添加道具图像300,例如椭圆形道具,基于图像中目标物体的掩码图像200与道具图像300的位置关系,显示目标物体和道具图像,图2B中,根据道具图像300的显示属性,确定目标物体的掩码图像与道具图像重叠的部分是否显示图像,图2B示例性表示目标物体的掩码图像与道具图像300重叠部分中,位于目标物体掩码图像前面的道具图像300显示,位于目标物体掩码图像后面的道具图像300不显示。
通过基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像,实现部分道具图像可基于目标物体的掩码图像进行遮挡,提高在包括目标物体的图像中显示的道具的真实性。
需要说明的是,上述实施例示例性说明在目标物体的掩码图像与道具图像重叠部分显示目标物体与道具图像的方式,在具体的实施方式中,图像中可能不仅仅包括目标物体,还包括其它画面,此时,其它画面与道具图像的显示方式以正常显示方式显示,本公开实施例不对此进行具体限定。
此外,由于本公开实施例提供的图像的处理方法,基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像,即获取的目标物体的掩码图像不仅仅能表示出目标物体的结构特征,对于目标物体的附加特征也进行表示,例如,目标物体为人体,目标物体不仅仅包括人体的结构特征,还包括头发、衣服等附加特征,因此,获取的目标物体的掩码图像可以将目标物体的结构特征以及附加特征等均转换成对应的掩码图像,进而在基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像的时候,实现部分道具图像可基于目标物体的掩码图像进行遮挡,提高在包括目标物体的图像中显示的道具的真实性,此外,获取目标物体的掩码图像相比较现有技术中通过模拟目标物体的3D模型对道具图像进行遮挡,本公开实施例中无需通过算法驱动3D模型模拟目标物体,可以减小图像处理过程中的性能损耗。
本公开实施例提供的图像的处理方法,获取目标物体的掩码图像,基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像,即本公开实施例提供的图像的处理方法,通过对图像进行处理得到目标物体的掩码图像,再基于目标物体的掩码图像与设定道具图像相对目标物体的掩码图像的显示属性,显示目标物体与道具图像,实现基于目标物体对道具图像的遮挡,保证了目标物体对道具图像的遮挡效果,提高在包括目标物体的图像中显示的道具的真实性,此外,由于本公开实施例提供的图像的处理方法基于目标物体的掩码图像对道具图像进行遮挡,相比较现有技术基于模拟目标物体的3D模型对道具图像进行遮挡,本公开实施例中无需通过算法驱动3D模型模拟目标物体,可以减小图像处理过程中的性能损耗。
在具体的实施方式中,道具图像包括二维平面图像和三维立体图像,示例性的,例如圆形道具或椭圆形道具,该道具图像为二维平面图像,例如精灵道具,该道具为三维立体图像,以下将通过具体的实施例说明道具图像为二维平面图像或三维立体图像时图像的处理方法。
图3是本公开实施例提供的另一种图像的处理方法的流程示意图,本公开实施例是在上述实施例的基础上,图3示例性说明道具图像为二维平面图像时图像的处理方法,如图3所示,步骤S20的一种可实现方式包括:
S21、确定道具图像与目标物体的掩码图像的重叠部分。
具体的,当道具图像为二维平面图像时,道具图像被划分为至少两部分,每部分具有对应的显示属性,显示属性包括:显示或者不显示。
其中,道具图像被划分为至少两部分的划分依据可基于自定义设置,例如道具图像按照前后进行划分,又例如按照左右划分等,本公开实施例不对此进行具体限定。
在将道具图像划分为至少两部分后,获取划分后各部分对应的显示属性。
在获取到目标物体的掩码图像后,当道具图像在运动过程中与目标物体产生遮挡关系时,首先基于道具图像的显示位置确定道具图像与目标物体的掩码图像的重叠部分,示例性的,参见图3A,图3A中,虚线部分的区域为道具图像在运动过程中与目标物体产生遮挡关系的区域,即目标物体的掩码图像与道具图像的重叠部分。
S22、根据重叠部分对应的显示属性,确定是否显示道具图像的重叠部分。
在对道具图像划分后,划分后各部分道具图像的显示属性是已知的,此时,基于划分后各部分道具图像的显示属性,确定是否显示道具图像的重叠部分。
具体的,结合图3A,道具图像为椭圆形道具,道具图像划分为前后两部分,其中,图3A中,实粗线部分表示道具图像前部分,实细线部分表示道具图像的后部分,道具图像前部分的显示属性为显示,道具图像后部分的显示属性为不显示。
由于道具图像的前部分显示属性为显示,因此,目标物体的掩码图像与道具图像前部分重叠的地方显示道具图像,目标物体的掩码图像与道具图像后部分重叠的地方显示目标物体。
作为一种可实施方式,针对重叠部分的每个坐标点,确定坐标点属于道具图像的目标部分,若目标部分的显示属性为显示,则坐标点显示道具图像的像素点,若目标部分的显示属性为不显示,则坐标点显示目标对象的像素点。
在具体的实施方式中,可以获取道具图像与目标物体的掩码图像重叠部分对应的坐标点,并基于各坐标点确定该坐标点属于道具图像的目标部分,若目标部分的显示属性为显示,则坐标点显示道具图像的像素点,若目标部分的显示属性为不显示,则坐标点显示目标对象的像素点。
示例性的,当基于前后划分对道具图像划分为前后两部分后,基于道具图像的中心点O建立平面坐标系,如图3A所示,在确定道具图像与目标物体的掩码图像重叠部分后,获取重叠部分的每个坐标点,若重叠部分对应的X轴的坐标点大于0,则表示重叠部分的显示属性为显示,若重叠部分对应的X轴的坐标点小于0,则表示重叠部分的显示属性为不显示。
需要说明的是,上述实施例示例性表示一种构建坐标系,基于坐标点确定道具图像的显示属性,本公开实施例不对构建的坐标系进行具体限定。
本公开实施例提供的图像的处理方法,当道具图像为二维平面图像时,首先获取目标物体的掩码图像,然后当道具图像在运动过程中与目标物体产生遮挡关系时,确定道具图像与目标物体的掩码图像的重叠部分,基于重叠部分对应的属性信息确定是否显示道具图像的重叠部分,实现当道具图像为二维平面图像时,基于目标物体对道具图像的遮挡,保证了目标物体对道具图像的遮挡效果,提高在包括目标物体的图像中显示的道具图像的真实性。
图4是本公开实施例提供的又一种图像的处理方法的流程示意图,本公开实施例是在上述实施例的基础上,图4示例性说明道具为三维立体图像时图像的处理方法,如图4所示,步骤S20的另一种可实现方式包括:
S23、获取目标物体的掩码图像与道具图像的重叠部分。
当道具图像为三维立体图像时,首先获取目标物体的掩码图像与道具图像的重叠部分。
具体的,道具图像为三维立体图像时,表示道具图像是有一定厚度的,图4A中示例性表示道具图像300的结构示意图。
S24、针对重叠部分的每个坐标点,获取掩码图像的坐标点的第一深度信息,并获取道具图像的坐标点的第二深度信息。
当道具图像为三维立体图像时,道具图像是有一定厚度的,即道具图像包括深度信息,因此,在获取到目标物体的掩码图像与道具图像的重叠部分后,针对重叠部分的每个坐标点,获取掩码图像的坐标点的第一深度信息以及道具图像的坐标点的第二深度信息。
可选的,获取掩码图像的坐标点的第一深度信息,包括:
基于掩码图像构建目标对象盒子,目标对象盒子具有深度信息。
基于目标对象盒子的深度信息确定掩码图像的坐标点的第一深度信息。
其中,获取掩码图像的坐标点的第一深度信息可基于获取的图像的纹理信息确定,在获取到图像的纹理信息后,基于该图像的纹理信息获取到掩码图像,然后通过掩码图像筛选该图像对应的深度信息,基于掩码图像筛选该图像对应的深度信息的过程中,基于图像中目标物体的特征进行筛选,示例性的,当图像中的目标物体为人时,可基于椭圆形筛法筛选目标物体的第一深度信息,例如,基于掩码图像构建目标对象盒子,目标对象盒子具有深度信息,而目标物体的中间部分比较厚,边缘部分比较薄,因此,对应的目标物体的第一深度信息为越靠近人的中心点的地方第一深度信息越小,越靠近人的边缘的地方第一深度信息越大。
示例性的,基于掩码图像构建目标对象盒子如图4B所示,其中,目标对象盒子的中心点为目标对象的中心点,目标对象盒子的高度信息为目标对象最高点至最低点的高度,目标对象盒子的宽度信息为目标对象从最左边到最右边的宽度,结合图4A和图4B,目标对象盒子的高度信息H为图4A中A点到B点的距离,目标对象盒子的宽度信息W为图4A中C点到D点的距离。
S25、基于第一深度信息和第二深度信息的值,确定坐标点显示目标对象的像素点或者显示道具图像的像素点。
当道具图像围绕目标对象运动时,基于道具图像的第二深度信息与目标对象的第一深度信息的关系,确定坐标点显示目标对象的像素点或显示道具图像的像素点,其中,道具图像围绕目标对象盒子的中心点运动,基于道具图像相对目标对象盒子的中心点的位置信息,确定道具图像的第二深度信息。
作为一种可实施方式,若第一深度信息大于第二深度信息,则确定坐标点显示道具图像的像素点,若第一深度信息小于第二深度信息,确定坐标点显示目标对象的像素点。
深度信息表示目标对象或道具图像相对摄像头的距离,深度信息越大,目标对象或道具图像距离摄像头的距离越远,若第一深度信息大于第二深度信息,表示道具图像距离摄像头的距离相比较目标对象距离摄像头的距离近,则确定坐标点显示道具图像的像素点,若第一深度信息小于第二深度信息,表示道具图像距离摄像头的距离相比较目标对象距离摄像头的距离远,确定坐标点显示目标对象的像素点。
本公开实施例提供的图像的处理方法,当道具图像为三维立体图像时,首先获取目标物体的掩码图像与道具图像的重叠部分,然后确针对重叠部分的每个坐标点,获取掩码图像的坐标点的第一深度信息,并获取道具图像的坐标点的第二深度信息,实现基于第一深度信息和第二深度信息的值,确定坐标点显示目标对象的像素点或者显示道具图像的像素点,实现当道具图像为三维立体图像时,基于目标物体对道具图像的遮挡,保证了目标物体对道具图像的遮挡效果,提高在包括目标物体的图像中显示的道具的真实性。
图5是本公开实施例提供的一种图像的处理装置的结构示意图,如图5所示,图像的处理装置包括:
掩码图像获取模块510,用于获取目标物体的掩码图像,其中,目标物体处于运动或者静止状态,道具图像处于运动状态。
显示模块520,用于当道具图像在运动过程中与目标物体产生遮挡关系时,基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像。
本公开实施例提供的图像的处理装置,掩码图像获取模块获取目标物体的掩码图像,显示模块基于目标物体的掩码图像与道具图像的位置关系,显示目标物体与道具图像,即本公开实施例提供的图像的处理方法,通过对图像进行处理得到目标物体的掩码图像,再基于目标物体的掩码图像与设定道具图像相对目标物体的掩码图像的显示属性,显示目标物体与道具图像,实现基于目标物体对道具图像的遮挡,保证了目标物体对道具图像的遮挡效果,提高在包括目标物体的图像中显示的道具的真实性,此外,由于本公开实施例提供的图像的处理方法基于目标物体的掩码图像对道具图像进行遮挡,相比较现有技术基于模拟目标物体的3D模型对道具图像进行遮挡,本公开实施例中无需通过算法驱动3D模型模拟目标物体,可以减小图像处理过程中的性能损耗。
可选的,显示模块包括:
第一重叠部分确定单元,用于确定道具图像与目标物体的掩码图像的重叠部分;
第一显示单元,用于根据重叠部分对应的显示属性,确定是否显示道具图像的重叠部分。
可选的,第一显示单元的一种具体可实现方式包括:
针对重叠部分的每个坐标点,确定坐标点属于道具图像的目标部分,若目标部分的显示属性为显示,则坐标点显示道具图像的像素点,若目标部分的显示属性为不显示,则坐标点显示目标对象的像素点。
可选的,显示模块还包括:
第二重叠部分确定单元,用于获取目标物体的掩码图像与道具图像的重叠部分;
第二深度信息获取单元,用于针对重叠部分的每个坐标点,获取掩码图像的坐标点的第一深度信息,并获取道具图像的坐标点的第二深度信息;
第二显示单元,用于基于第一深度信息和第二深度信息的值,确定坐标点显示目标对象的像素点或者显示道具图像的像素点。
可选的,第二显示单元的一种具体可实施方式包括:
若第一深度信息大于第二深度信息,则确定坐标点显示道具图像的像素点,若第一深度信息小于第二深度信息,确定坐标点显示目标对象的像素点。
可选的,第二深度信息获取单元的一种具体可实施方式包括:
基于掩码图像构建目标对象盒子,目标对象盒子具有深度信息;
基于目标对象盒子的深度信息确定掩码图像的坐标点的第一深度信息。
值得注意的是,上述装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
本公开还提供一种电子设备,包括:处理器,所述处理器用于执行存储于存储器的计算机程序,所述计算机程序被处理器执行时实现上述方法实施例的步骤。
图6为本公开提供的一种电子设备的结构示意图,图6示出了适于用来实现本发明实施例实施方式的示例性电子设备的框图。图6显示的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:一个或者多个处理器610,***存储器620,连接不同***组件(包括***存储器620和处理器)的总线630。
总线630表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备600典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备600访问的介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器620可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)640和/或高速缓存存储器650。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***660可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM、DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线630相连。***存储器620可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明实施例各实施例的功能。
具有一组(至少一个)程序模块670的程序/实用工具680,可以存储在例如***存储器620中,这样的程序模块670包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块670通常执行本发明实施例所描述的实施例中的功能和/或方法。
处理器610通过运行存储在***存储器620中的多个程序中的至少一个程序,从而执行各种功能应用以及信息处理,例如实现本发明实施例所提供的方法实施例。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例的步骤。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)域连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本公开还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行实现上述方法实施例的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像的处理方法,其特征在于,包括:
获取目标物体的掩码图像,其中,所述目标物体处于运动或者静止状态,道具图像处于运动状态;
当所述道具图像在运动过程中与所述目标物体产生遮挡关系时,基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像。
2.根据权利要求1所述的方法,其特征在于,所述道具图像为二维平面图像,所述道具图像被划分为至少两部分,每部分具有对应的显示属性,所述显示属性包括:显示或者不显示;
所述基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像,包括:
确定所述道具图像与所述目标物体的掩码图像的重叠部分;
根据所述重叠部分对应的显示属性,确定是否显示所述道具图像的所述重叠部分。
3.根据权利要求2所述的方法,其特征在于,所述根据所述重叠部分对应的显示属性,确定是否显示所述道具图像的所述重叠部分,包括:
针对所述重叠部分的每个坐标点,确定所述坐标点属于所述道具图像的目标部分,若所述目标部分的显示属性为显示,则所述坐标点显示所述道具图像的像素点,若所述目标部分的显示属性为不显示,则所述坐标点显示所述目标对象的像素点。
4.根据权利要求1所述的方法,其特征在于,所述道具图像为三维立体图像;
所述基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像,包括:
获取所述目标物体的掩码图像与道具图像的重叠部分;
针对所述重叠部分的每个坐标点,获取所述掩码图像的所述坐标点的第一深度信息,并获取所述道具图像的所述坐标点的第二深度信息;
基于所述第一深度信息和所述第二深度信息的值,确定所述坐标点显示所述目标对象的像素点或者显示所述道具图像的像素点。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一深度信息和所述第二深度信息的值,确定所述坐标点显示所述掩码图像的像素点或者显示所述道具图像的像素点,包括:
若所述第一深度信息大于所述第二深度信息,则确定所述坐标点显示所述道具图像的像素点,若所述第一深度信息小于所述第二深度信息,确定所述坐标点显示所述目标对象的像素点。
6.根据权利要求4或5所述的方法,其特征在于,所述获取所述掩码图像的所述坐标点的第一深度信息,包括:
基于所述掩码图像构建目标对象盒子,所述目标对象盒子具有深度信息;
基于所述目标对象盒子的深度信息确定所述掩码图像的所述坐标点的第一深度信息。
7.一种图像的处理装置,其特征在于,包括:
掩码图像获取模块,用于获取目标物体的掩码图像,其中,所述目标物体处于运动或者静止状态,道具图像处于运动状态;
显示模块,用于当所述道具图像在运动过程中与所述目标物体产生遮挡关系时,基于所述目标物体的掩码图像与道具图像的位置关系,显示所述目标物体与所述道具图像。
8.一种电子,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1~6中任一所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~6中任一所述的方法。
10.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-6任一项所述的方法的步骤。
CN202210375988.4A 2022-04-11 2022-04-11 图像的处理方法、装置、设备、存储介质和程序产品 Pending CN114693780A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210375988.4A CN114693780A (zh) 2022-04-11 2022-04-11 图像的处理方法、装置、设备、存储介质和程序产品
PCT/CN2023/086211 WO2023197912A1 (zh) 2022-04-11 2023-04-04 图像的处理方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210375988.4A CN114693780A (zh) 2022-04-11 2022-04-11 图像的处理方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN114693780A true CN114693780A (zh) 2022-07-01

Family

ID=82142405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210375988.4A Pending CN114693780A (zh) 2022-04-11 2022-04-11 图像的处理方法、装置、设备、存储介质和程序产品

Country Status (2)

Country Link
CN (1) CN114693780A (zh)
WO (1) WO2023197912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197912A1 (zh) * 2022-04-11 2023-10-19 北京字跳网络技术有限公司 图像的处理方法、装置、设备、存储介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296789A (zh) * 2016-08-05 2017-01-04 深圳迪乐普数码科技有限公司 一种虚拟植入物体在实景中穿梭的方法及终端
CN109064390A (zh) * 2018-08-01 2018-12-21 Oppo(重庆)智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112544070A (zh) * 2020-03-02 2021-03-23 深圳市大疆创新科技有限公司 视频的处理方法和装置
CN113240692A (zh) * 2021-06-30 2021-08-10 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质
WO2021238325A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 一种图像处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222830A (zh) * 2021-03-05 2021-08-06 北京字跳网络技术有限公司 图像处理方法和装置
CN113628132A (zh) * 2021-07-26 2021-11-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114693780A (zh) * 2022-04-11 2022-07-01 北京字跳网络技术有限公司 图像的处理方法、装置、设备、存储介质和程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296789A (zh) * 2016-08-05 2017-01-04 深圳迪乐普数码科技有限公司 一种虚拟植入物体在实景中穿梭的方法及终端
CN109064390A (zh) * 2018-08-01 2018-12-21 Oppo(重庆)智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112544070A (zh) * 2020-03-02 2021-03-23 深圳市大疆创新科技有限公司 视频的处理方法和装置
WO2021238325A1 (zh) * 2020-05-29 2021-12-02 华为技术有限公司 一种图像处理方法及装置
CN113240692A (zh) * 2021-06-30 2021-08-10 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197912A1 (zh) * 2022-04-11 2023-10-19 北京字跳网络技术有限公司 图像的处理方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
WO2023197912A1 (zh) 2023-10-19

Similar Documents

Publication Publication Date Title
CN107018336B (zh) 图像处理的方法和装置及视频处理的方法和装置
CN109064390B (zh) 一种图像处理方法、图像处理装置及移动终端
CN111815755A (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
WO2020248900A1 (zh) 全景视频的处理方法、装置及存储介质
CN109308734B (zh) 3d文字的生成方法及其装置、设备、存储介质
CN113658316B (zh) 三维模型的渲染方法和装置、存储介质及计算机设备
CN112734896A (zh) 环境遮蔽渲染方法、装置、存储介质及电子设备
CN112541960A (zh) 三维场景的渲染方法、装置及电子设备
CN111494945B (zh) 虚拟对象处理方法及装置、存储介质、电子设备
CN116310036A (zh) 场景渲染方法、装置、设备、计算机可读存储介质及产品
WO2023197912A1 (zh) 图像的处理方法、装置、设备、存储介质和程序产品
CN106204418A (zh) 一种虚拟现实移动端中基于矩阵逆运算的图像扭曲方法
US20230260218A1 (en) Method and apparatus for presenting object annotation information, electronic device, and storage medium
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN117205553A (zh) 信息处理方法、装置和电子设备
CN112580213A (zh) 电场线的显示图像的生成方法和装置、存储介质
CN109816791B (zh) 用于生成信息的方法和装置
CN112465692A (zh) 图像处理方法、装置、设备及存储介质
CN112528707A (zh) 图像处理方法、装置、设备及存储介质
CN107452046B (zh) 三维城市模型的纹理处理方法及装置、设备及可读介质
CN110363860B (zh) 3d模型重建方法、装置及电子设备
CN111145358B (zh) 图像处理方法、装置、硬件装置
CN113724364A (zh) 一种利用多边形实现遮挡且本体不渲染的设置方法及装置
CN111862338A (zh) 模拟眼镜佩戴图像的显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination