CN109559272A - 一种图像处理方法及装置、电子设备、存储介质 - Google Patents

一种图像处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN109559272A
CN109559272A CN201811278997.1A CN201811278997A CN109559272A CN 109559272 A CN109559272 A CN 109559272A CN 201811278997 A CN201811278997 A CN 201811278997A CN 109559272 A CN109559272 A CN 109559272A
Authority
CN
China
Prior art keywords
background area
image
input picture
filtering core
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811278997.1A
Other languages
English (en)
Inventor
任思捷
陈焜
陈晓濠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201811278997.1A priority Critical patent/CN109559272A/zh
Priority to JP2021516441A priority patent/JP2022500792A/ja
Priority to PCT/CN2018/123872 priority patent/WO2020087729A1/zh
Priority to SG11202012560XA priority patent/SG11202012560XA/en
Publication of CN109559272A publication Critical patent/CN109559272A/zh
Priority to TW108138711A priority patent/TWI777098B/zh
Priority to US17/119,918 priority patent/US20210097651A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Holo Graphy (AREA)

Abstract

本公开实施例公开了一种图像处理方法，该方法包括：确定目标滤波核；根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域；将非背景区域和虚化背景区域进行混合，获得背景虚化图像。本公开实施例的技术方案能够在较短时间内获得背景虚化且具备光斑效果的背景虚化图像，从而支持实时预览显示该背景虚化图像，实现拍摄得到的效果跟所看见的效果一致。

Description

一种图像处理方法及装置、电子设备、存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备、存储介质。
背景技术
随着电子技术的不断发展，终端早已不仅仅局限于通信的单一功能，而是集休闲、通信和娱乐等功能于一体的设备。例如，一般的终端上都具备摄像头，用于满足用户的拍照或摄像需求。
目前，由于手机、平板电脑等终端体积受限，无法配置相关光学器件，终端通常采用软件算法对图像进行后期处理，得到背景虚化的效果。而目前常见的具备光斑效果的软件算法过程较为复杂，耗时较长，无法支持实时预览。
发明内容
本公开实施例期望提供一种图像处理方法及装置、电子设备、存储介质，通过对输入图像进行滤波区分处理，将获得的虚化背景区域和输入图像的非背景区域进行混合，能够在较短时间内获得具备光斑效果的背景虚化图像，从而支持实时预览显示该背景虚化图像，实现拍摄得到的效果跟所看见的效果一致。
本公开实施例的技术方案是这样实现的：
本公开实施例提供了一种图像处理方法，包括：
确定目标滤波核；
根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域；
将所述非背景区域和所述虚化背景区域进行混合，获得背景虚化图像。在上述方案中，所述确定目标滤波核之前，所述图像处理方法还包括：
获取第一模板图像；
将所述第一模板图像缩放至预设滤波核大小，获得第二模板图像；
将所述第二模板图像对应的二维数组确定为所述目标滤波核。
在上述方案中，所述确定目标滤波核之前，包括：
接收选择指令，所述选择指令包括光斑类型；
所述获取第一模板图像包括：根据所述选择指令的光斑类型确定所述第一模板图像。
在上述方案中，所述根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域，包括：
根据所述目标滤波核，对所述输入图像进行滤波处理，获得虚化图像；
根据所述景深信息，区分所述虚化图像的背景区域和非背景区域，以及所述输入图像的背景区域和非背景区域；
将所述虚化图像的背景区域确定为所述虚化背景区域。
在上述方案中，所述根据所述目标滤波核，对所述输入图像进行滤波处理，获得虚化图像，包括：
按照预设亮度变换方式对所述输入图像进行亮度拉伸变换，获得第一图像；
根据所述目标滤波核，对所述第一图像进行滤波处理，获得第二图像；
按照所述预设亮度变化方式对所述第二图像进行亮度拉伸反变换，获得所述虚化图像。
在上述方案中，所述根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域，包括：
根据所述景深信息，区分所述输入图像的背景区域和非背景区域；
根据所述目标滤波核，对所述输入图像的背景区域进行滤波处理，获得所述虚化背景区域。
在上述方案中，所述根据所述目标滤波核，对所述输入图像的背景区域进行滤波处理，获得所述虚化背景区域，包括：
按照预设亮度变换方式对所述输入图像的背景区域进行亮度拉伸变换，获得第一背景区域；
根据所述目标滤波核，对所述第一背景区域进行滤波处理，获得第二背景区域；
按照所述预设亮度变化方式对所述第二背景区域进行亮度拉伸反变换，获得所述虚化背景区域。
本公开实施例提供了一种图像处理装置，所述图像处理装置包括：
确定模块，用于确定目标滤波核；
获取模块，用于根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域；
成像模块，用于将所述非背景区域和所述虚化背景区域进行混合，获得背景虚化图像。
在上述图像处理装置中，所述确定模块，具体用于获取第一模板图像；将所述第一模板图像缩放至预设滤波核大小，获得第二模板图像；将所述第二模板图像对应的二维数组确定为所述目标滤波核。
在上述图像处理装置中，还包括：接收模块；
所述接收模块，用于接收选择指令，所述选择指令包括光斑类型；
所述确定模块获取第一模板图像包括：根据所述选择指令的光斑类型确定所述第一模板图像。
在上述图像处理装置中，所述获取模块，具体用于根据所述目标滤波核，对所述输入图像进行滤波处理，获得虚化图像；根据所述景深信息，区分所述虚化图像的背景区域和非背景区域，以及所述输入图像的背景区域和非背景区域；将所述虚化图像的背景区域确定为所述虚化背景区域。
在上述图像处理装置中，所述获取模块，具体用于按照预设亮度变换方式对所述输入图像进行亮度拉伸变换，获得第一图像；根据所述目标滤波核，对所述第一图像进行滤波处理，获得第二图像；按照所述预设亮度变化方式对所述第二图像进行亮度拉伸反变换，获得所述虚化图像。
在上述图像处理装置中，所述获取模块，具体用于根据所述景深信息，区分所述输入图像的背景区域和非背景区域；根据所述目标滤波核，对所述输入图像的背景区域进行滤波处理，获得所述虚化背景区域。
在上述图像处理装置中，所述获取模块，具体用于按照预设亮度变换方式对所述输入图像的背景区域进行亮度拉伸变换，获得第一背景区域；根据所述目标滤波核，对所述第一背景区域进行滤波处理，获得第二背景区域；按照所述预设亮度变化方式对所述第二背景区域进行亮度拉伸反变换，获得所述虚化背景区域。
本公开实施例提供了一种电子设备，所述电子设备包括：处理器、存储器和通信总线；其中，
所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；
所述处理器，用于执行所述存储器中存储的图像处理程序，以实现上述图像处理方法。
在上述电子设备中，所述电子设备为手机或平板电脑。
本公开提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述图像处理方法。
由此可见，在本公开实施例的技术方案中，图像处理装置确定目标滤波核；根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域；将输入图像的非背景区域和虚化背景区域进行混合，获得背景虚化图像。也就是说，在本公开实施例的技术方案中，通过对输入图像进行滤波区分处理，将获得的虚化背景区域和非背景区域进行混合，能够在较短时间内获得背景虚化且具备光斑效果的图像，从而支持实时预览显示该背景虚化图像，实现拍摄得到的效果跟所看见的效果一致。
附图说明
图1为本公开实施例提供的一种图像处理方法的流程示意图；
图2为本公开实施例提供的一种确定目标滤波核的流程示意图；
图3(a)为本公开实施例提供的一种示例性的第一模板图像的示意图一；
图3(b)为本公开实施例提供的一种示例性的第一模板图像的示意图二；
图4为本公开实施例提供的一种示例性的预设亮度变换方式的变换示意曲线；
图5(a)为本公开实施例提供的一种示例性的背景虚化图像的实时预览显示示意图一；
图5(b)为本公开实施例提供的一种示例性的背景虚化图像的实时预览显示示意图二；
图5(c)为本公开实施例提供的一种示例性的背景虚化图像的实时预览显示示意图二；
图6为本公开实施例提供的一种图像处理装置的结构示意图；
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
实施例一
本公开提供了一种图像处理方法。图1为本公开提供的一种图像处理方法的流程示意图。如图1所示，主要包括以下步骤：
S101、确定目标滤波核。
在本公开的实施例中，图像处理装置可以先确定目标滤波核，用于执行后续对输入图像的处理步骤。
图2为本公开实施例提供的一种确定目标滤波核的流程示意图。如图2所示，图像处理装置确定目标滤波核的具体步骤如下：
S201、获取第一模板图像。
在本公开的实施例中，图像处理装置可以获取第一模板图像。其中，第一模板图像为目标滤波核对应的原始图像模板。
需要说明的是，在本公开的实施例中，图像处理装置在确定目标滤波核之前，可以接收用户发送的选择指令，选择指令中包括光斑类型，例如光斑的形状和朝向，图像即可根据选择指令的光斑类型，从其它存储装置，或者采用任意方式获得相应的第一模板图像。具体的选择指令和获取第一模板图像的方法本公开实施例不作限定。
图3(a)为本公开实施例提供的一种示例性的第一模板图像的示意图一。在本公开的实施例中，目标滤波核可以为五角星滤波核，图像处理装置为了确定五角星滤波核，需要先获取如图3(a)所示第一模板图像。
图3(b)为本公开实施例提供的一种示例性的第一模板图像的示意图二。在本公开的实施例中，目标滤波核可以为心形滤波核，图像处理装置为了确定五角星滤波核，需要先获取如图3(b)所示第一模板图像。
S202、将第一模板图像缩放至预设滤波核大小，获得第二模板图像。
在本公开的实施例中，图像处理装置在获取到第一模板图像之后，可以将第一模板图像缩放至预设滤波核大小，获得第二模板图像。
需要说明的是，在本公开的实施例中，图像处理装置中存储有预设滤波核大小，用于限定生成的滤波核的具体大小。具体的预设滤波核大小本公开实施例不作限定。
示例性的，在本公开的实施例中，预设滤波核大小为9×9，因此，图像处理装置在获取第一模板图像之后，将第一模板图像缩放至9×9。
可以理解的是，在本公开的实施例中，第一模板图像可能过大，也可能过小，因此，图像处理装置需要将第一模板图像缩放至实际需求的大小，即缩放至预设滤波核大小，才能进一步生成合适的滤波核。
S203、将第二模板图像对应的二维数组确定为目标滤波核。
在本公开的实施例中，图像处理装置在获得第二模板图像之后，将第二模板图像对应的二维数组确定为目标滤波核。
需要说明的是，在本公开的实施例中，第二模板图像对应的二维数组中每一个数值表示第二模板图像中对应区域的像素值。具体的第二模板图像对应的二维数组本公开实施例不作限定。
示例性的，在本公开的实施例中，目标滤波核为五角星滤波核，预设滤波核大小为9×9，因此，图像处理装置获取的第一模板图像如图3(a)所示，在将第一模板图像缩放至9×9大小，获得第二模板图像之后，将第二模板图像对对应的二维数组确定为五角星滤波核，具体的五角星滤波核如公式(1)所示：
示例性的，在本公开的实施例中，目标滤波核为心形滤波核，预设滤波核大小为9×9，因此，图像处理装置获取的第一模板图像如图3(b)所示，在将第一模板图像缩放至9×9大小，获得第二模板图像之后，将第二模板图像对对应的二维数组确定为心形滤波核，具体的心形滤波核如公式(2)所示：
可以理解的是，在本公开的实施例中，图像处理装置确定的目标滤波核可以为圆形滤波核，即具备圆形光斑效果的滤波核，由于圆形为规则图形，因此，不仅可以通过步骤S201～S203生成圆形滤波核，还可以直接调用现有技术中的关于圆形滤波核的数学式子。而对于五角星滤波核和心形滤波核等需要具备不规则形状光斑效果的滤波核，虽然可以通过大量计算采用数学式子来表达，但是较为复杂，因此，可以采用上述步骤S201～S203提供的采用模板转化的方式确定相应的滤波核。具体的确定目标滤波核的方式本公开实施例不作限定。
可以理解的是，在现有技术中，使用单反相机获得背景虚化的图像时，通常图像上会存在圆形光斑效果，提升了图像的显示美感，而在本公开的实施例中，图像处理装置不仅可以提供使图像产生圆形光斑效果的圆形滤波核，还可以提供其它各种形状的滤波核，例如，心形滤波核，五角星滤波核等，能够使图像产生心形光斑，或者五角星光斑。
S102、根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域。
在本公开的实施例中，图像处理装置在确定目标滤波核之后，还可以获取输入图像对应的景深信息，从而根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域。
需要说明的是，在本公开的实施例中，输入图像为图像处理装置当前预览界面上显示的图像，也就是图像处理装置在拍摄时，进入取景范围内的图像。具体的输入图像本公开实施例不作限定。
需要说明的是，在本公开的实施例中，图像处理装置在获取输入图像的时候，同时可以获取到输入图像对应的景深信息。其中，输入图像对应的景深信息可以表征输入图像中不同物体的远近。具体的输入图像对应的景深信息本公开实施例不作限定。
在本公开的实施例中，图像处理装置根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域，包括：根据目标滤波核，对输入图像进行滤波处理，获得虚化图像；根据景深信息，区分虚化图像的背景区域和非背景区域，以及输入图像的背景区域和非背景区域；将虚化图像的背景区域确定为虚化背景区域。
需要说明的是，在本公开的实施例中，目标滤波核可以为圆形滤波核、心形滤波核，或者，五角星滤波核，因此，图像处理装置根据这些目标滤波核，对输入图像进行处理，获得的虚化图像是具备相应光斑形状的。
具体的，在本公开的实施例中，为了获得光斑效果更好的虚化图像，图像处理装置根据目标滤波核，对输入图像进行滤波处理，获得虚化图像，包括：按照预设亮度变换方式对输入图像进行亮度拉伸变换，获得第一图像；根据目标滤波核，对第一图像进行滤波处理，获得第二图像；按照预设亮度变化方式对第二图像进行亮度拉伸反变换，获得虚化图像。
需要说明的是，在本公开的实施例中，图像处理装置中存储有预设亮度变换方式，用于对输入图像进行亮度拉伸变换，以及对第二图像进行亮度拉伸反变换，具体的预设亮度变换方式本公开实施例不作限定。
可以理解的是，在本公开的实施例中，图像处理装置对输入图像先进行亮度拉伸变化，获得第一图像，从而可以快速从第一图像中找到在滤波处理时增加光斑的区域。图像处理装置对第二图像进行拉伸反变换，实际上就是将第二图像的亮度恢复到正常显示范围内，从而获得亮度在正常显示范围内的虚化图像。
示例性的，在本公开的实施例中，预设亮度变换方式如公式(3)所示：
其中，图像处理装置在按照公式(1)对输入图像进行亮度拉伸变换，获得第一图像时，x为输入图像中像素点的亮度值，y为第一图像中像素点的亮度值，在按照公式(3)对第二图像进行亮度拉伸反变换，获得虚化图像时，y为第二图像中像素点的亮度值，x为虚化图像中像素点的亮度值。
图4为本公开实施例提供的一种示例性的预设亮度变换方式的变换示意曲线。如图4所示，对于公式(3)所示的预设亮度变换方式，当图像处理装置按照公式(3)所示的预设亮度变换方式对输入图像进行亮度拉伸变换时，输入图像中，亮度值小于等于128的像素点，在第一图像中对应的亮度值不变，亮度值大于128的像素点，在第一图像中对应的亮度值呈指数级别增大，即变换示意曲线在x小于等于128时，y较小，而在x大于128时，y迅速增大。
可以理解的是，在本公开的实施例中，由于目标滤波核可以具备光斑效果，因此，图像处理装置在获得第一图像之后，采用目标滤波核对第一图像进行滤波处理，获得的第二图像具备光斑效果，即，第二图像具备目标滤波核对应的光斑形状。进一步的，图像处理装置按照预设亮度变换方式对第二图像进行亮度拉伸反变换，获得的虚化图像也具备光斑效果。
示例性的，在本公开的实施例中，图像处理装置确定的目标滤波核为心形滤波核，心形滤波核具备心形光斑效果。图像处理装置按照公式(3)所示的亮度变换方式对输入图形进行亮度拉伸变化，获得第一图像，之后，采用心形滤波核对第一图像进行滤波处理，获得第二图像，最后，再次按照公式(3)所示的亮度变换方式对第二图像进行亮度拉伸反变换，获得虚化图像。其中，第二图像和虚化图像均具备心形光斑效果。
需要说明的是，在本公开的实施例中，图像处理装置可以获得输入图像对应的景深信息，由于虚化图像为对输入图像进行滤波后获得的图像，并未改变图像的景深，因此，虚化图像对应的景深信息实际上与输入图像对应的景深信息相同。图像处理装置可以直接根据输入图像对应的景深信息，区分虚化图像的背景区域和非背景区域，以及输入图像的背景区域和非背景区域，同时，将虚化图像的背景区域确定为虚化背景区域。
在本公开的实施例中，图像处理装置根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域，还可以包括：根据景深信息，区分输入图像的背景区域和非背景区域；根据目标滤波核，对输入图像的背景区域进行滤波处理，获得虚化背景区域。
具体的，在本公开的实施例中，图像处理装置根据目标滤波核，对输入图像的背景区域进行滤波处理，获得虚化背景区域，包括：按照预设亮度变换方式对输入图像的背景区域进行亮度拉伸变换，获得第一背景区域；根据目标滤波核，对第一背景区域进行滤波处理，获得第二背景区域；按照预设亮度变化方式对第二背景区域进行亮度拉伸反变换，获得虚化背景区域。
需要说明的是，在本公开的实施例中，图像处理装置根据目标滤波核，对输入图像的背景区域进行滤波处理的过程与上述对输入图像直接进行滤波处理的过程完全相同，预设亮度变换方式也可以如上述公式(3)所示，区别仅在于处理的对象不同，在此不再赘述。
可以理解的是，在本公开的实施例中，图像处理装置对输入图像进行滤波区分处理，可以执行区分处理，再执行滤波处理，也可以先执行滤波处理，再执行区分处理，即上述两种滤波处理过程，但是，图像处理装置均可以获得非背景区域和虚化背景区域，具体的执行方式本发明实施例不作限定。
S103、将非背景区域和虚化背景区域进行混合，获得背景虚化图像。
在本公开的实施例中，图像处理装置在获得输入图像的非背景区域和虚化背景区域之后，可以将非背景区域和虚化背景区域进行混合，从而获得背景虚化图像。
需要说明的是，在本公开的实施例中，图像处理装置中可以存储有预设混合方式，用于将非背景区域和背景区域进行混合，具体的预设混合方式本公开实施例不作限定。
可以理解的是，在本公开的实施例中，图像处理装置实际上是为了将输入图像的背景区域进行虚化处理，并且虚化后的虚化背景区域具备光斑效果。对于输入图像而言，其背景区域并未虚化，而虚化背景区域已经虚化，且具备光斑效果，因此，将非背景区域和虚化背景区域两者按照预设混合方式进行混合，获得的背景虚化图像，即实现了输入图像的背景区域进行虚化处理，而前景仍保持输入图像的清晰度，并且虚化后的背景区域具备光斑效果。
示例性的，在本公开的实施例中，预设混合方式为阿尔法透明混合处理(AlphaBlending)，图像处理装置在获得输入图像的非背景区域和虚化背景区域之后，即可按照Alpha Blending将非背景区域和虚化背景区域进行混合，获得背景虚化图像。
需要说明的是，在本公开的实施例中，Alpha Blending为一种可以使图像中的物体产生透明感的技术，可以使非背景区域和虚化背景区域和谐的融入到一起。具体的AlphaBlending为现有技术，在此不再赘述。
需要说明的是，在本公开的实施例中，由于采用了带光斑效果的滤波核和亮度拉伸变换及反变换来模拟光斑效果，并在终端上进行了加速处理，使得耗时较少，因此，图像处理装置在获得背景虚化图像之后，可以将背景虚化图像进行实时预览显示。
图5(a)为本公开实施例提供的一种示例性的背景虚化图像的实时预览显示示意图一。如图5(a)所示，背景虚化图像的背景区域已经虚化，并且具备圆形光斑，即目标滤波核为圆形滤波核。
图5(b)为本公开实施例提供的一种示例性的背景虚化图像的实时预览显示示意图二。如图5(b)所示，背景虚化图像的背景区域已经虚化，并且具备心形光斑效果，即目标滤波核为心形滤波核。
图5(c)为本公开实施例提供的一种示例性的背景虚化图像的实时预览显示示意图二。如图5(c)所示，背景虚化图像的背景区域已经虚化，并且具备五角星光斑效果，即目标滤波核为五角星滤波核。
本公开实施例提供了一种图像处理方法，图像处理装置确定目标滤波核；根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域；将非背景区域和虚化背景区域进行混合，获得背景虚化图像。也就是说，在本公开实施例的技术方案中，通过对输入图像进行滤波区分处理，将获得的虚化背景区域和非背景区域进行混合，能够在较短时间内获得具备光斑效果的背景虚化图像，从而支持实时预览显示该背景虚化图像，实现拍摄得到的效果跟所看见的效果一致。
实施例二
本公开实施例提供了一种图像处理装置。图6为本公开实施例提供的一种图像处理装置的结构示意图，如图6所示，所述图像处理装置包括：
确定模块601，用于确定目标滤波核；
获取模块602，用于根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域；
成像模块603，用于将所述非背景区域和所述虚化背景区域进行混合，获得背景虚化图像。
可选的，所述确定模块601，具体用于获取第一模板图像；将所述第一模板图像缩放至预设滤波核大小，获得第二模板图像；将所述第二模板图像对应的二维数组确定为所述目标滤波核。
可选的，所述图像处理处理装置还包括：接收模块604；
所述接收模块604，用于接收选择指令，所述选择指令包括光斑类型；
所述确定模块601获取第一模板图像包括：根据所述选择指令的光斑类型确定所述第一模板图像。
可选的，所述获取模块602，具体用于根据所述目标滤波核，对所述输入图像进行滤波处理，获得虚化图像；根据所述景深信息，区分所述虚化图像的背景区域和非背景区域，以及所述输入图像的背景区域和非背景区域；将所述虚化图像的背景区域确定为所述虚化背景区域。
可选的，所述获取模块602，具体用于按照预设亮度变换方式对所述输入图像进行亮度拉伸变换，获得第一图像；根据所述目标滤波核，对所述第一图像进行滤波处理，获得第二图像；按照所述预设亮度变化方式对所述第二图像进行亮度拉伸反变换，获得所述虚化图像。
可选的，所述获取模块602，具体用于根据所述景深信息，区分所述输入图像的背景区域和非背景区域；根据所述目标滤波核，对所述输入图像的背景区域进行滤波处理，获得所述虚化背景区域。
可选的，所述获取模块602，具体用于按照预设亮度变换方式对所述输入图像的背景区域进行亮度拉伸变换，获得第一背景区域；根据所述目标滤波核，对所述第一背景区域进行滤波处理，获得第二背景区域；按照所述预设亮度变化方式对所述第二背景区域进行亮度拉伸反变换，获得所述虚化背景区域。
本公开实施例提供了一种图像处理装置，确定目标滤波核；根据目标滤波核和输入图像对应的景深信息，对输入图像进行滤波区分处理，获得输入图像的非背景区域和虚化背景区域；将非背景区域和虚化背景区域进行混合，获得背景虚化图像。也就是说，本公开实施例提供的图像处理装置，通过对输入图像进行滤波区分处理，将获得的虚化背景区域和非背景区域进行混合，能够在较短时间内获得具备光斑效果的背景虚化图像，从而支持实时预览显示该背景虚化图像，实现拍摄得到的效果跟所看见的效果一致。
本公开实施例提供了一种电子设备。图7为本公开实施例提供的一种电子设备的结构示意图，如图7所示，所述电子设备包括：处理器701、存储器702和通信总线703；其中，
所述通信总线703，用于实现所述处理器701和所述存储器702之间的连接通信；
所述处理器701，用于执行所述存储器702中存储的图像处理程序，以实现上述图像处理方法。
可选的，所述电子设备为手机或平板电脑。
需要说明的是，在本公开的实施例中，上述图像处理装置中的确定模块601、获取模块602、成像模块603和接收模块604，实际上与上述电子设备中的处理器701相对应。上述图像处理装置中确定模块601、获取模块602、成像模块603和接收模块604执行的步骤，与上述电子设备中的处理器701执行的步骤相同。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述图像处理方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-OnlyMemory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
确定目标滤波核；
根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域；
将所述非背景区域和所述虚化背景区域进行混合，获得背景虚化图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述确定目标滤波核包括：
获取第一模板图像；
将所述第一模板图像缩放至预设滤波核大小，获得第二模板图像；
将所述第二模板图像对应的二维数组确定为所述目标滤波核。
3.根据权利要求2所述的图像处理方法，其特征在于，所述确定目标滤波核之前，包括：
接收选择指令，所述选择指令包括光斑类型；
所述获取第一模板图像包括：根据所述选择指令的光斑类型确定所述第一模板图像。
4.根据权利要求1-3中任意一项所述的图像处理方法，其特征在于，所述根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域，包括：
根据所述目标滤波核，对所述输入图像进行滤波处理，获得虚化图像；
根据所述景深信息，区分所述虚化图像的背景区域和非背景区域，以及所述输入图像的背景区域和非背景区域；
将所述虚化图像的背景区域确定为所述虚化背景区域。
5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述目标滤波核，对所述输入图像进行滤波处理，获得虚化图像，包括：
按照预设亮度变换方式对所述输入图像进行亮度拉伸变换，获得第一图像；
根据所述目标滤波核，对所述第一图像进行滤波处理，获得第二图像；
按照所述预设亮度变化方式对所述第二图像进行亮度拉伸反变换，获得所述虚化图像。
6.根据权利要求1-4中任意一项所述的图像处理方法，其特征在于，所述根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域，包括：
根据所述景深信息，区分所述输入图像的背景区域和非背景区域；
根据所述目标滤波核，对所述输入图像的背景区域进行滤波处理，获得所述虚化背景区域。
7.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述目标滤波核，对所述输入图像的背景区域进行滤波处理，获得所述虚化背景区域，包括：
按照预设亮度变换方式对所述输入图像的背景区域进行亮度拉伸变换，获得第一背景区域；
根据所述目标滤波核，对所述第一背景区域进行滤波处理，获得第二背景区域；
按照所述预设亮度变化方式对所述第二背景区域进行亮度拉伸反变换，获得所述虚化背景区域。
8.一种图像处理装置，其特征在于，所述图像处理装置包括：
确定模块，用于确定目标滤波核；
获取模块，用于根据所述目标滤波核和输入图像对应的景深信息，对所述输入图像进行滤波区分处理，获得所述输入图像的非背景区域和虚化背景区域；
成像模块，用于将所述非背景区域和所述虚化背景区域进行混合，获得背景虚化图像。
9.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；其中，
所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；
所述处理器，用于执行所述存储器中存储的图像处理程序，以实现权利要求1-7任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现权利要求1-7任一项所述的图像处理方法。
CN201811278997.1A 2018-10-30 2018-10-30 一种图像处理方法及装置、电子设备、存储介质 Pending CN109559272A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811278997.1A CN109559272A (zh) 2018-10-30 2018-10-30 一种图像处理方法及装置、电子设备、存储介质
JP2021516441A JP2022500792A (ja) 2018-10-30 2018-12-26 画像処理方法及び装置、電子機器並びに記憶媒体
PCT/CN2018/123872 WO2020087729A1 (zh) 2018-10-30 2018-12-26 一种图像处理方法及装置、电子设备、存储介质
SG11202012560XA SG11202012560XA (en) 2018-10-30 2018-12-26 Image processing method and apparatus, electronic device and storage medium
TW108138711A TWI777098B (zh) 2018-10-30 2019-10-25 一種圖像處理方法及裝置、電子設備、儲存介質
US17/119,918 US20210097651A1 (en) 2018-10-30 2020-12-11 Image processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811278997.1A CN109559272A (zh) 2018-10-30 2018-10-30 一种图像处理方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN109559272A true CN109559272A (zh) 2019-04-02

Family

ID=65865397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811278997.1A Pending CN109559272A (zh) 2018-10-30 2018-10-30 一种图像处理方法及装置、电子设备、存储介质

Country Status (6)

Country Link
US (1) US20210097651A1 (zh)
JP (1) JP2022500792A (zh)
CN (1) CN109559272A (zh)
SG (1) SG11202012560XA (zh)
TW (1) TWI777098B (zh)
WO (1) WO2020087729A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751593A (zh) * 2019-09-25 2020-02-04 北京迈格威科技有限公司 一种图像虚化处理方法及装置
CN111010514A (zh) * 2019-12-24 2020-04-14 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN112270728A (zh) * 2020-10-27 2021-01-26 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
WO2021135676A1 (zh) * 2019-12-30 2021-07-08 武汉Tcl集团工业研究院有限公司 一种拍照背景虚化方法、移动终端及存储介质
CN113570501A (zh) * 2021-09-28 2021-10-29 泰山信息科技有限公司 一种图片虚化方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法
US20130022289A1 (en) * 2011-07-23 2013-01-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image
CN104424640A (zh) * 2013-09-06 2015-03-18 格科微电子（上海）有限公司 对图像进行虚化处理的方法和装置
CN104463787A (zh) * 2014-12-11 2015-03-25 厦门美图之家科技有限公司 一种光斑虚化特效实现方法
CN107016639A (zh) * 2017-03-30 2017-08-04 努比亚技术有限公司 一种图像处理方法和装置
CN107454332A (zh) * 2017-08-28 2017-12-08 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN108156378A (zh) * 2017-12-27 2018-06-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN108230333A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机程序、存储介质和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW384419B (en) * 1997-03-06 2000-03-11 Ind Tech Res Inst Method of application of diffraction to obtain special image effect using hologram and the apparatus
JP2008310377A (ja) * 2007-06-12 2008-12-25 Namco Bandai Games Inc 画像生成システム、プログラム、及び情報記憶媒体
JP2009003858A (ja) * 2007-06-25 2009-01-08 Nikon Corp 画像処理プログラム、および画像処理装置
JP5444026B2 (ja) * 2010-02-02 2014-03-19 オリンパスイメージング株式会社 撮影装置
JP5818552B2 (ja) * 2011-07-23 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN106504220B (zh) * 2016-08-19 2019-07-23 华为机器有限公司 一种图像处理方法及装置
CN108122195B (zh) * 2018-01-10 2021-10-08 北京小米移动软件有限公司 图片处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法
US20130022289A1 (en) * 2011-07-23 2013-01-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image
CN104424640A (zh) * 2013-09-06 2015-03-18 格科微电子（上海）有限公司 对图像进行虚化处理的方法和装置
CN104463787A (zh) * 2014-12-11 2015-03-25 厦门美图之家科技有限公司 一种光斑虚化特效实现方法
CN107016639A (zh) * 2017-03-30 2017-08-04 努比亚技术有限公司 一种图像处理方法和装置
CN107454332A (zh) * 2017-08-28 2017-12-08 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN108230333A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 图像处理方法、装置、计算机程序、存储介质和电子设备
CN108156378A (zh) * 2017-12-27 2018-06-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MCINTOSH, L.等: "Efficiently Simulating the Bokeh of Polygonal Apertures in a Post-Process Depth of Field Shader", 《COMPUTER GRAPHICS FORUM》 *
李晓颖等: "基于贝叶斯抠图的图像背景虚化技术", 《电脑知识与技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751593A (zh) * 2019-09-25 2020-02-04 北京迈格威科技有限公司 一种图像虚化处理方法及装置
CN111010514A (zh) * 2019-12-24 2020-04-14 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
CN111010514B (zh) * 2019-12-24 2021-07-06 维沃移动通信（杭州）有限公司 一种图像处理方法及电子设备
WO2021135676A1 (zh) * 2019-12-30 2021-07-08 武汉Tcl集团工业研究院有限公司 一种拍照背景虚化方法、移动终端及存储介质
CN112270728A (zh) * 2020-10-27 2021-01-26 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113570501A (zh) * 2021-09-28 2021-10-29 泰山信息科技有限公司 一种图片虚化方法、装置及设备

Also Published As

Publication number Publication date
WO2020087729A1 (zh) 2020-05-07
TWI777098B (zh) 2022-09-11
TW202016876A (zh) 2020-05-01
US20210097651A1 (en) 2021-04-01
SG11202012560XA (en) 2021-01-28
JP2022500792A (ja) 2022-01-04

Similar Documents

Publication Publication Date Title
CN109559272A (zh) 一种图像处理方法及装置、电子设备、存储介质
CN105100615B (zh) 一种图像的预览方法、装置及终端
JP6047807B2 (ja) リフォーカスを実現するための方法および電子装置
CN104699842B (zh) 图片展示方法和装置
CN102741879B (zh) 由单眼图像产生深度图的方法及其***
CN110456967A (zh) 信息处理方法、信息处理设备以及程序
CN104038690A (zh) 图像处理装置、图像拍摄装置及图像处理方法
CN102957871A (zh) 一种移动终端拍摄图片的景深处理方法
CN111144491B (zh) 图像处理方法、装置及电子***
CN107690673A (zh) 图像处理方法、装置及服务器
CN109166156A (zh) 一种摄像头标定图像的生成方法、移动终端及存储介质
CN102034222A (zh) 图像处理装置及图像处理方法
CN104867125B (zh) 获取图像的方法以及装置
CN103020900B (zh) 一种图像处理方法及装置
CN106572295A (zh) 一种图片处理方法及装置
CN107133981B (zh) 图像处理方法和装置
CN103888655B (zh) 一种拍照方法及电子设备
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
CN105959593A (zh) 一种拍照设备的曝光方法及拍照设备
CN106709862B (zh) 一种图像处理方法及装置
CN104994288B (zh) 一种拍照方法及用户终端
CN110533740A (zh) 一种图像着色方法、装置、***及存储介质
CN103997607A (zh) 一种图像获取方法、对应装置及含该装置的电子移动终端
CN102176736A (zh) 图像处理设备及图像处理方法
CN105893578A (zh) 一种照片选择的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003072

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402