CN103945118B - 图像虚化方法、装置及电子设备 - Google Patents

图像虚化方法、装置及电子设备 Download PDF

Info

Publication number
CN103945118B
CN103945118B CN201410095114.9A CN201410095114A CN103945118B CN 103945118 B CN103945118 B CN 103945118B CN 201410095114 A CN201410095114 A CN 201410095114A CN 103945118 B CN103945118 B CN 103945118B
Authority
CN
China
Prior art keywords
image
depth information
background
background area
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410095114.9A
Other languages
English (en)
Other versions
CN103945118A (zh
Inventor
杨小伟
郑祖全
肖进胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410095114.9A priority Critical patent/CN103945118B/zh
Publication of CN103945118A publication Critical patent/CN103945118A/zh
Priority to EP15151927.9A priority patent/EP2919188B1/en
Priority to ES15151927.9T priority patent/ES2626174T3/es
Priority to US14/611,775 priority patent/US9215381B2/en
Priority to KR1020150023570A priority patent/KR101686926B1/ko
Priority to JP2015037951A priority patent/JP6027159B2/ja
Application granted granted Critical
Publication of CN103945118B publication Critical patent/CN103945118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像虚化方法、装置及电子设备，属于图像处理领域。所述方法包括：获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像；根据所述第一图像和所述第二图像获取深度信息；根据所述深度信息确定所述第一图像的背景区域；对所述第一图像中处于所述背景区域部分的内容进行虚化处理。本发明通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取图像内的深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域的问题，达到提高虚化效果并简化用户操作的效果。

Description

图像虚化方法、装置及电子设备
技术领域
本发明涉及图像处理领域，特别涉及一种图像虚化方法、装置及电子设备。
背景技术
背景虚化是一种常用的摄影手段，因其能迅速突出主体而被广大摄影爱好者所熟知和使用。然而，在拍摄具有背景虚化效果的照片时，必须使用专业的单反相机，并经过复杂的调整操作才能达到理想的效果。
为了满足非专业摄影用户的需求，现有一种通过软件手段对图像进行处理，以获得背景虚化效果的方法：用户在拍摄一张图像后，通过图像处理软件打开该图像，使用图像处理软件自带的工具手动框选出背景区域。图像处理软件对用户框选出的背景区域进行相同或渐变尺度的高斯模糊，输出具有背景虚化效果的图像。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
首先，现有的对图像进行处理的方法，需要用户通过软件打开图像并手动框选背景区域，人工框定的背景区域也不准确，操作过程复杂，从而导致虚化效果差且浪费用户大量时间。
发明内容
为了解决现有技术需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，本发明实施例提供了一种图像虚化方法、装置及电子设备。所述技术方案如下：
第一方面，提供了一种图像虚化方法，所述方法包括：
获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
根据所述深度信息确定所述第一图像的背景区域；
对所述第一图像中处于所述背景区域部分的内容进行虚化处理。
在第一方面的第一种可能实现方式中，所述根据所述第一图像和所述第二图像获取深度信息，包括：
获取所述相机的拍摄参数，所述拍摄参数包括：标定焦距、镜头孔径和关系参数，所述关系参数用于表征所述相机的光圈大小与虚焦时图像模糊度之间的关系；
根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定初始化深度信息；
根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，N为正整数且N≥2；
将第N次迭代计算获得的结果获取为所述深度信息。
结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，包括：
在进行第1次计算时，根据所述初始化深度信息和所述拍摄参数确定第1次计算的扩散系数和第1次计算的扩散区域；根据所述第一图像、所述第二图像、所述第1次计算的扩散系数以及所述第1次计算的扩散区域确定第1次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第1次计算时的极小值方程，所述极小值方程用于表征第一差值和第二差值之和的极小值，所述第一差值为所述第一图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值，所述第二差值为所述第二图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值；根据第1次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第1次计算时的极小值梯度；根据预设的修正公式对第1次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第1次计算后的深度信息，n为正整数且n≥2；
在进行第p次计算时，根据第p-1次计算后的深度信息和所述拍摄参数确定第p次计算的扩散系数和第p次计算的扩散区域；根据所述第一图像、所述第二图像、所述第p次计算的扩散系数以及所述第p次计算的扩散区域确定第p次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第p次计算时的极小值方程；根据第p次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第p次计算时的极小值梯度；根据预设的修正公式对第p次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第p次计算后的深度信息，2≤p≤N。
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述修正公式为：
s'(y)=s(y)-(data_reg+2ακs(y)-2α△s(y))；
其中，s’（y）为修正后的深度信息，s（y）为修正前的深度信息，data_reg为极小值梯度，α和k为预设的正则化参数。
在第一方面的第四种可能实现方式中，所述根据所述深度信息确定所述第一图像的背景区域，包括：
根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
在第一方面的第五种可能实现方式中，所述对所述第一图像中处于所述背景区域部分的内容进行虚化处理，包括：
对所述深度信息进行归一化，获得归一化后的深度信息；
将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
根据预先设置的最大模糊半径确定所述q个背景区间各自对应的的虚化参数，所述虚化参数包括模糊半径和标准差；
根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
第二方面，提供了一种图像虚化装置，所述装置包括：
图像获取模块，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
深度信息获取模块，用于根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
背景确定模块，用于根据所述深度信息确定所述第一图像的背景区域；
虚化模块，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理。
在第二方面的第一种可能实现方式中，所述深度信息获取模块，包括：
第一获取单元，用于获取所述相机的拍摄参数，所述拍摄参数包括：标定焦距、镜头孔径和关系参数，所述关系参数用于表征所述相机的光圈大小与虚焦时图像模糊度之间的关系；
初始化单元，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定初始化深度信息；
计算单元，用于根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，N为正整数且N≥2；
第二获取单元，用于将第N次迭代计算获得的结果获取为所述深度信息。
结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述计算单元，用于在进行第1次计算时，根据所述初始化深度信息和所述拍摄参数确定第1次计算的扩散系数和第1次计算的扩散区域；根据所述第一图像、所述第二图像、所述第1次计算的扩散系数以及所述第1次计算的扩散区域确定第1次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第1次计算时的极小值方程，所述极小值方程用于表征第一差值和第二差值之和的极小值，所述第一差值为所述第一图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值，所述第二差值为所述第二图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值；根据第1次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第1次计算时的极小值梯度；根据预设的修正公式对第1次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第1次计算后的深度信息，n为正整数且n≥2；
所述计算单元，用于在进行第p次计算时，根据第p-1次计算后的深度信息和所述拍摄参数确定第p次计算的扩散系数和第p次计算的扩散区域；根据所述第一图像、所述第二图像、所述第p次计算的扩散系数以及所述第p次计算的扩散区域确定第p次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第p次计算时的极小值方程；根据第p次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第p次计算时的极小值梯度；根据预设的修正公式对第p次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第p次计算后的深度信息，2≤p≤N。
在第二方面的第三种可能实现方式中，所述背景确定模块，包括：
临界深度确定单元，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
背景确定单元，用于将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
在第二方面的第四种可能实现方式中，所述虚化模块，包括：
归一化单元，用于对所述深度信息进行归一化，获得归一化后的深度信息；
分段单元，用于将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
参数确定单元，用于根据预先设置的最大模糊半径确定所述q个背景区间各自对应的虚化参数，所述虚化参数包括模糊半径和标准差；
虚化单元，用于根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
第三方面，提供了一种电子设备，所述电子设备包括：
如上述第二方面或者第二方面的任一可能实现方式所述的图像虚化装置。
本发明实施例提供的技术方案带来的有益效果是：
通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的图像虚化方法的方法流程图；
图2是本发明另一实施例提供的图像虚化方法的方法流程图；
图3是本发明一个实施例提供的图像虚化装置的装置结构图；
图4是本发明另一实施例提供的图像虚化装置的装置结构图；
图5是本发明一个实施例提供的电子设备的设备构成图；
图6是本发明另一实施例提供的电子设备的设备构成图；
图7是本发明又一实施例提供的电子设备的设备构成图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1，其示出了本发明一个实施例提供的图像虚化方法的方法流程图。该图像虚化方法用于在电子设备中对图像进行背景虚化，该电子设备可以是手机、数码相机或者平板电脑等。该图像虚化方法可以包括：
步骤102，获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，该第一图像的像距小于该第二图像的像距；
步骤104，根据该第一图像和该第二图像获取深度信息，该深度信息用于表征第一图像和第二图像内各个像素点处的景物与拍摄点之间的距离；
步骤106，根据该深度信息确定该第一图像的背景区域；
步骤108，对该第一图像中处于该背景区域部分的内容进行虚化处理。
综上所述，本发明实施例提供的图像虚化方法，通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
请参考图2，其示出了本发明另一实施例提供的图像虚化方法的方法流程图。该图像虚化方法用于在电子设备中对图像进行背景虚化，该电子设备可以是手机、数码相机或者平板电脑等。以该电子设备为包含有图像采集单元的电子设备为例，该图像虚化方法可以包括：
步骤202，获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像；
其中，该第一图像的像距小于该第二图像的像距。
电子设备可以通过自身包含的图像采集单元（即电子设备中的相机）采集包含有一组多聚焦图像，并将其中聚焦于前景（像距较小）的图像获取为第一图像，将另一聚焦于背景（像距较大）的图像获取为第二图像。
步骤204，根据该第一图像和该第二图像获取该第一图像和该第二图像内的深度信息；
其中，该深度信息用于表征该第一图像和该第二图像内各个像素点处的景物与拍摄点之间的距离。由于该第一图像和第二图像取自于同一相机拍摄的同一组多聚焦图像，因此，第一图像和第二图像内各个像素点处的景物与拍摄点之间的距离实际上是一致的，即计算出的深度信息既是第一图像的深度信息，也是第二图像的深度信息。
电子设备可以获取电子设备中的相机的拍摄参数，该拍摄参数包括：标定焦距、镜头孔径和关系参数；电子设备根据该拍摄参数以及该第一图像和该第二图像各自的像距确定初始化深度信息；电子设备根据该拍摄参数、该第一图像和该第二图像对该初始化深度信息进行N次迭代计算，N为正整数且N≥2；电子设备将第N次迭代计算获得的结果获取为该深度信息；其中，该关系参数用于表征相机的光圈大小与虚焦时图像模糊度之间的关系。
在进行第1次计算时，电子设备根据该初始化深度信息和该拍摄参数确定第1次计算的扩散系数和第1次计算的扩散区域；根据该第一图像、该第二图像、该第1次计算的扩散系数以及该第1次计算的扩散区域确定第1次计算时该第一图像和该第二图像分别对应的前向热扩散方程；确定第1次计算时的极小值方程，该极小值方程用于表征第一差值和第二差值之和的极小值，该第一差值为该第一图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值，该第二差值为该第二图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值；根据第1次计算时的该极小值方程获得该第一图像和该第二图像内各个像素点在第1次计算时的极小值梯度；根据预设的修正公式对第1次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第1次计算后的深度信息，n为正整数且n≥2；
在进行第p次计算时，电子设备根据第p-1次计算后的深度信息和该拍摄参数确定第p次计算的扩散系数和第p次计算的扩散区域；根据该第一图像、该第二图像、该第p次计算的扩散系数以及该第p次计算的扩散区域确定第p次计算时该第一图像和该第二图像分别对应的前向热扩散方程；确定第p次计算时的极小值方程；根据第p次计算时的该极小值方程获得该第一图像和该第二图像内各个像素点在第p次计算时的极小值梯度；根据预设的修正公式对第p次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第p次计算后的深度信息，2≤p≤N。
其中，该修正公式为：
s'(y)=s(y)-(data_reg+2ακs(y)-2α△s(y))；
其中，s’（y）为修正后的深度信息，s（y）为修正前的深度信息，data_reg为极小值梯度，α和k为预设的正则化参数。
相机拍摄得到的场景图像仅是场景光强的一个能量分布。将这个能量分布用在金属平板上的热扩散来描述，其中给定的点的温度代表强度，那么可以用热扩散理论来建模多聚焦成像过程。
利用各向异性热扩散理论建模多聚焦图像的成像过程，将深度信息的提取转化为带有正则化项的能量泛函极值问题，通过迭代获得场景的深度，即上述第一图像和该第二图像内的深度信息。具体的计算步骤如下：
1）获取电子设备拍摄的两张多聚焦图像I1和I2，并且获得需要的相机标定参数，包括相机焦距f，两张多聚焦图像的象距v1和v2，镜头孔径D，关系参数γ。其中，电子设备可以从图像文件头中直接读出焦距f、目标距离d1和d2以及光圈值F，则象距v1、v2可由f和d1、d2根据式（2.1）得到，镜头孔径D=f/F。若无法从图像文件头中获取上述参数，可以使用默认参数如下：f=12mm，F=2.0，d1和d2为0.52m与0.85m。
2）设定梯度阈值ε，虚拟时间△t，正则化参数α，κ和修正步长β，迭代次数N。
3）获得初始化深度信息为
此时图像中每个点的初始深度值均为此值。其中y是图像I1或I2的二维坐标。
4）依据深度信息s(y)，由以下式子计算相应的扩散系数c(y)和扩散区域Ω+、Ω-。
5）利用上述步骤中获得的各项参数模拟如下的两个图像前向热扩散方程。
式中，I1(y)是输入图像I1，I2(y)是输入图像I2，扩散系数 是梯度算子 是散度算子
6）分别求解5）中的热扩散方程2.4和2.5，得到各自经过时间△t的热扩散图像u1(y,△t)，u2(y,△t)，然后用其来模拟如下热扩散抛物线方程。
7）求解6）中的方程得到w1(y,△t)和w2(y,△t)。为了计算式（2.8）的极小值，
式中：
E1(s)=∫H(c(y))|u(y,△t)-I2(y)|2dy； （2.9）
E2(s)=∫H(-c(y))|u(y,△t)-I1(y)|2dy； （2.10）
对式（2.8）求梯度有：
在式（2.11）中，
上述各式中，H(·)表示Heaviside函数(单位阶跃函数)，δ(·)表示Dirac函数(单位冲激函数)。u1(y,△t)和u2(y,△t)是求解5）的方程得到的，w1(y,△t)和w2(y,△t)是求解6）的方程得到的，c'(s)是热扩散系数的梯度值，由式（2.2）可以计算得到为：
M(s)的计算公式如下：
将计算式（2.11）得到的结果极小值梯度记作data_reg，即然后将data_reg与事先设定的梯度阈值进行比较：
若data_reg≤ε，则该像素点的深度估计较准，无需修正。
若data_reg>ε，则该像素点的深度值估计不准，需要进行深度值的修正。
8）对7）中需要修正的深度值进行预定时间步长β(即对深度修正β次)的修正，更新深度图。设有：
E3'(s)=-2α△s(y)+2ακs(y)； （2.16）
其中，Δs（y）是对s（y）求拉普拉斯算子，即二阶导数的平方和。根据7）中计算出来的data_reg可以得到单位步长内修正后的深度s'(y)：
s'(y)=s(y)-(data_reg+2ακs(y)-2α△s(y))； （2.17）
将深度值s(y)迭代执行β次，得到最终修正后的深度值。
9）将每个点得到的修正后的深度值作为初始的深度值返回4），继续执行，直至迭代N次数结束。最终获得的各点修正后的深度值即为第一图像和该第二图像内的深度信息。
需要说明的是，为了便于进行上述计算深度信息，需要预先对第一图像和第二图像由RGB（Red、Green、Blue，红、绿、蓝）模型转化为HIS（Hue、Saturation、Intensity，色调、色饱和度、亮度）模型。
步骤206，根据该深度信息确定该第一图像的背景区域；
电子设备可以根据该拍摄参数以及该第一图像和该第二图像各自的像距确定前景区域和背景区域之间的临界深度，并将大于该临界深度的该深度信息对应在该第一图像中的像素区域确定为该第一图像的背景区域。
具体的，电子设备可以利用扩散边界处公式：
可以得到清晰与模糊边界处的深度为：
则前景与背景可以直接根据深度信息划分，如下式所述：
步骤208，对该第一图像的背景区域进行分层，确定各层背景区域的虚化参数；
具体的，电子设备可以对该深度信息进行归一化，获得归一化后的深度信息；将归一化后的深度信息中处于该背景区域的区间均分为q段，获得q个背景区间；根据预先设置的最大模糊半径确定该q个背景区间各自对应的的虚化参数，该虚化参数包括模糊半径和标准差。
对于背景，确定其高斯虚化的尺度。
首先，将求出的深度图s归一化到0-255范围内，如下。
依据归一化之后的深度信息，以q取值为2为例，将虚化尺度分为3段。令：
本发明专利将背景区域[u0，255]区间均等划分为2段，具体如下：
保持第一副图像（默认第一副图像为聚焦前景区域）中的前景区域不变，其余两段为背景区域，并选择两种递增的虚化尺度。
本实施例选取的尺度方法为先确定最大模糊半径j。j可以依据所要模拟的相机光圈的大小来确定。一般来讲，光圈越大，背景虚化效果越强烈，m的值取得越大；光圈越小，背景虚化的效果越弱，m的取值越小。
则每段的模糊半径ri选择以2为基数递减的规则确定：
ri=k-2(2-i) i∈[1,2]；
在实际应用中计算高斯函数的离散近似值时，根据高斯函数的分布性质，大概在3σ距离之外的像素权值相对已经非常小，这些像素的计算因此可以忽略。则高斯标准差可以确定为：
步骤210，根据各层背景区域的虚化参数对各层背景区域分别进行虚化。
电子设备可以根据该q个背景区间各自对应的模糊半径和标准差，分别对该q背景区间各自对应在该第一图像中的像素区域进行虚化处理。
获得高斯函数的半径和标准差之后，就可以利用高斯滤波对图像进行虚化处理。将源图像和高斯函数进行卷积处理，就可以得到模糊后的图像。
其中，g[x,y]是需要进行模糊处理的源图像，f[x,y]是二维高斯函数，x,y是图像坐标。m,n分别横向和纵向的高斯模糊半径，在本文中取ri。
二维高斯函数的定义如下：
式中，(x0,y0)为滤波的中心像素点；σx和σy分别为高斯方差水平方向和垂直方向的标准差，本文中取σ，A是归一化参数，
综上所述，本发明实施例提供的图像虚化方法，通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
此外，本发明实施例提供的图像虚化方法，根据深度信息对第一图像的背景区域进行分层，并按照不同的虚化参数对各层背景区域进行虚化，进一步提高虚化效果。
请参考图3，其示出了本发明一个实施例提供的图像虚化装置的装置结构图。该图像虚化装置用于在电子设备中对图像进行背景虚化，该电子设备可以是手机、数码相机或者平板电脑等。该图像虚化装置可以包括：
图像获取模块301，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
深度信息获取模块302，用于根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
背景确定模块303，用于根据所述深度信息确定所述第一图像的背景区域；
虚化模块304，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理。
综上所述，本发明实施例提供的图像虚化装置法，通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
请参考图4，其示出了本发明一个实施例提供的图像虚化装置的装置结构图。该图像虚化装置用于在电子设备中对图像进行背景虚化，该电子设备可以是手机、数码相机或者平板电脑等。该图像虚化装置可以包括：
图像获取模块401，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
深度信息获取模块402，用于根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
背景确定模块403，用于根据所述深度信息确定所述第一图像的背景区域；
虚化模块404，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理。
所述深度信息获取模块402，包括：
第一获取单元402a，用于获取所述相机的拍摄参数，所述拍摄参数包括：标定焦距、镜头孔径和关系参数，所述关系参数用于表征所述相机的光圈大小与虚焦时图像模糊度之间的关系；
初始化单元402b，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定初始化深度信息；
计算单元402c，用于根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，N为正整数且N≥2；
第二获取单元402d，用于将第N次迭代计算获得的结果获取为所述深度信息。
所述计算单元402c，用于在进行第1次计算时，根据所述初始化深度信息和所述拍摄参数确定第1次计算的扩散系数和第1次计算的扩散区域；根据所述第一图像、所述第二图像、所述第1次计算的扩散系数以及所述第1次计算的扩散区域确定第1次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第1次计算时的极小值方程，所述极小值方程用于表征第一差值和第二差值之和的极小值，所述第一差值为所述第一图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值，所述第二差值为所述第二图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值；根据第1次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第1次计算时的极小值梯度；根据预设的修正公式对第1次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第1次计算后的深度信息，n为正整数且n≥2；
所述计算单元402c，用于在进行第p次计算时，根据第p-1次计算后的深度信息和所述拍摄参数确定第p次计算的扩散系数和第p次计算的扩散区域；根据所述第一图像、所述第二图像、所述第p次计算的扩散系数以及所述第p次计算的扩散区域确定第p次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第p次计算时的极小值方程；根据第p次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第p次计算时的极小值梯度；根据预设的修正公式对第p次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第p次计算后的深度信息，2≤p≤N。
所述背景确定模块403，包括：
临界深度确定单元403a，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
背景确定单元403b，用于将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
所述虚化模块404，包括：
归一化单元404a，用于对所述深度信息进行归一化，获得归一化后的深度信息；
分段单元404b，用于将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
参数确定单元404c，用于根据预先设置的最大模糊半径确定所述q个背景区间各自对应的虚化参数，所述虚化参数包括模糊半径和标准差；
虚化单元404d，用于根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
综上所述，本发明实施例提供的图像虚化装置，通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
此外，本发明实施例提供的图像虚化装置，根据深度信息对第一图像的背景区域进行分层，并按照不同的虚化参数对各层背景区域进行虚化，进一步提高虚化效果。
请参考图5，其示出了本发明一个实施例提供的电子设备的设备构成图。该电子设备可以是手机、数码相机或者平板电脑等。该电子设备可以包括：
图像采集单元001以及如上述图3或图4所示的图像虚化装置002。
综上所述，本发明实施例提供的电子设备，通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
此外，本发明实施例提供的电子设备，根据深度信息对第一图像的背景区域进行分层，并按照不同的虚化参数对各层背景区域进行虚化，进一步提高虚化效果。
请参考图6，其示出了本发明另一实施例提供的电子设备的设备构成图。该电子设备可以是手机、数码相机或者平板电脑等。该电子设备可以包括：
处理器50；
用于存储处理器50可执行指令的存储器60；
其中，处理器50，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
处理器50，用于根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
处理器50，用于根据所述深度信息确定所述第一图像的背景区域；
处理器50，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理。
综上所述，本发明实施例提供的电子设备，通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
请参考图7，其示出了本发明又一实施例提供的电子设备的设备构成图。该电子设备可以是手机、数码相机或者平板电脑等。该电子设备可以包括：
处理器70；
用于存储处理器70可执行指令的存储器80；
其中，处理器70，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
处理器70，用于根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
处理器70，用于根据所述深度信息确定所述第一图像的背景区域；
处理器70，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理。
处理器70，用于获取所述相机的拍摄参数，所述拍摄参数包括：标定焦距、镜头孔径和关系参数，所述关系参数用于表征所述相机的光圈大小与虚焦时图像模糊度之间的关系；
处理器70，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定初始化深度信息；
处理器70，用于根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，N为正整数且N≥2；
处理器70，用于将第N次迭代计算获得的结果获取为所述深度信息。
处理器70，用于在进行第1次计算时，根据所述初始化深度信息和所述拍摄参数确定第1次计算的扩散系数和第1次计算的扩散区域；根据所述第一图像、所述第二图像、所述第1次计算的扩散系数以及所述第1次计算的扩散区域确定第1次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第1次计算时的极小值方程，所述极小值方程用于表征第一差值和第二差值之和的极小值，所述第一差值为所述第一图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值，所述第二差值为所述第二图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值；根据第1次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第1次计算时的极小值梯度；根据预设的修正公式对第1次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第1次计算后的深度信息，n为正整数且n≥2；
处理器70，用于在进行第p次计算时，根据第p-1次计算后的深度信息和所述拍摄参数确定第p次计算的扩散系数和第p次计算的扩散区域；根据所述第一图像、所述第二图像、所述第p次计算的扩散系数以及所述第p次计算的扩散区域确定第p次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第p次计算时的极小值方程；根据第p次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第p次计算时的极小值梯度；根据预设的修正公式对第p次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第p次计算后的深度信息，2≤p≤N。
处理器70，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
处理器70，用于将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
处理器70，用于对所述深度信息进行归一化，获得归一化后的深度信息；
处理器70，用于将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
处理器70，用于根据预先设置的最大模糊半径确定所述q个背景区间各自对应的虚化参数，所述虚化参数包括模糊半径和标准差；
处理器70，用于根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
综上所述，本发明实施例提供的电子设备，通过获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，根据该第一图像和该第二图像获取深度信息，根据该深度信息确定该第一图像的背景区域，并对该背景区域进行虚化，根据分别聚焦于前景和背景的两张图像获得图像内各个像素点处的深度信息，并根据该深度信息确定背景区域，自动完成虚化处理，解决了现有技术中需要用户通过软件打开图像并手动框选背景区域从而导致的背景区域框定不准确且操作过程复杂的问题，达到提高虚化效果并简化用户操作、节约用户时间的效果。
此外，本发明实施例提供的电子设备，根据深度信息对第一图像的背景区域进行分层，并按照不同的虚化参数对各层背景区域进行虚化，进一步提高虚化效果。
需要说明的是：上述实施例提供的图像虚化装置在在对图像进行背景虚化时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像虚化装置与图像虚化方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种图像虚化方法，其特征在于，所述方法包括：
获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
根据所述深度信息确定所述第一图像的背景区域；
对所述第一图像中处于所述背景区域部分的内容进行虚化处理；
其中，所述根据所述第一图像和所述第二图像获取深度信息，包括：
获取所述相机的拍摄参数，所述拍摄参数包括：标定焦距、镜头孔径和关系参数，所述关系参数用于表征所述相机的光圈大小与虚焦时图像模糊度之间的关系；
根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定初始化深度信息；
根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，N为正整数且N≥2；
将第N次迭代计算获得的结果获取为所述深度信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，包括：
在进行第1次计算时，根据所述初始化深度信息和所述拍摄参数确定第1次计算的扩散系数和第1次计算的扩散区域；根据所述第一图像、所述第二图像、所述第1次计算的扩散系数以及所述第1次计算的扩散区域确定第1次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第1次计算时的极小值方程，所述极小值方程用于表征第一差值和第二差值之和的极小值，所述第一差值为所述第一图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值，所述第二差值为所述第二图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值；根据第1次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第1次计算时的极小值梯度；根据预设的修正公式对第1次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第1次计算后的深度信息，n为正整数且n≥2；
在进行第p次计算时，根据第p-1次计算后的深度信息和所述拍摄参数确定第p次计算的扩散系数和第p次计算的扩散区域；根据所述第一图像、所述第二图像、所述第p次计算的扩散系数以及所述第p次计算的扩散区域确定第p次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第p次计算时的极小值方程；根据第p次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第p次计算时的极小值梯度；根据预设的修正公式对第p次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第p次计算后的深度信息，2≤p≤N。
3.根据权利要求2所述的方法，其特征在于，所述修正公式为：
s'(y)＝s(y)-(data_reg+2ακs(y)-2αΔs(y))；
其中，s’(y)为修正后的深度信息，s(y)为修正前的深度信息，data_reg为极小值梯度，α和k为预设的正则化参数，y是所述第一图像或者所述第二图像的二维坐标，Δs(y)是s(y)的二阶导数的平方和。
4.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息确定所述第一图像的背景区域，包括：
根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
5.根据权利要求1所述的方法，其特征在于，所述对所述第一图像中处于所述背景区域部分的内容进行虚化处理，包括：
对所述深度信息进行归一化，获得归一化后的深度信息；
将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
根据预先设置的最大模糊半径确定所述q个背景区间各自对应的的虚化参数，所述虚化参数包括模糊半径和标准差；
根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q个背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
6.一种图像虚化方法，其特征在于，所述方法包括：
获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
根据所述深度信息确定所述第一图像的背景区域；
对所述第一图像中处于所述背景区域部分的内容进行虚化处理；
其中，所述根据所述深度信息确定所述第一图像的背景区域，包括：
根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
7.一种图像虚化方法，其特征在于，所述方法包括：
获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
根据所述第一图像和所述第二图像获取深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
根据所述深度信息确定所述第一图像的背景区域；
对所述第一图像中处于所述背景区域部分的内容进行虚化处理；
其中，所述对所述第一图像中处于所述背景区域部分的内容进行虚化处理，包括：
对所述深度信息进行归一化，获得归一化后的深度信息；
将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
根据预先设置的最大模糊半径确定所述q个背景区间各自对应的的虚化参数，所述虚化参数包括模糊半径和标准差；
根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q个背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
8.一种图像虚化装置，其特征在于，所述装置包括：
图像获取模块，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
深度信息获取模块，用于根据所述第一图像和所述第二图像获取所述深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
背景确定模块，用于根据所述深度信息确定所述第一图像的背景区域；
虚化模块，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理；
其中，所述深度信息获取模块，包括：
第一获取单元，用于获取所述相机的拍摄参数，所述拍摄参数包括：标定焦距、镜头孔径和关系参数，所述关系参数用于表征所述相机的光圈大小与虚焦时图像模糊度之间的关系；
初始化单元，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定初始化深度信息；
计算单元，用于根据所述拍摄参数、所述第一图像和所述第二图像对所述初始化深度信息进行N次迭代计算，N为正整数且N≥2；
第二获取单元，用于将第N次迭代计算获得的结果获取为所述深度信息。
9.根据权利要求8所述的装置，其特征在于，
所述计算单元，用于在进行第1次计算时，根据所述初始化深度信息和所述拍摄参数确定第1次计算的扩散系数和第1次计算的扩散区域；根据所述第一图像、所述第二图像、所述第1次计算的扩散系数以及所述第1次计算的扩散区域确定第1次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第1次计算时的极小值方程，所述极小值方程用于表征第一差值和第二差值之和的极小值，所述第一差值为所述第一图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值，所述第二差值为所述第二图像对应的前向热扩散方程的实际输出值与理论输出值之间的差值；根据第1次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第1次计算时的极小值梯度；根据预设的修正公式对第1次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第1次计算后的深度信息，n为正整数且n≥2；
所述计算单元，用于在进行第p次计算时，根据第p-1次计算后的深度信息和所述拍摄参数确定第p次计算的扩散系数和第p次计算的扩散区域；根据所述第一图像、所述第二图像、所述第p次计算的扩散系数以及所述第p次计算的扩散区域确定第p次计算时所述第一图像和所述第二图像分别对应的前向热扩散方程；确定第p次计算时的极小值方程；根据第p次计算时的所述极小值方程获得所述第一图像和所述第二图像内各个像素点在第p次计算时的极小值梯度；根据预设的修正公式对第p次计算时的极小值梯度小于预设梯度阈值的像素点对应的深度信息进行n次迭代修正，获得第p次计算后的深度信息，2≤p≤N。
10.根据权利要求8所述的装置，其特征在于，所述背景确定模块，包括：
临界深度确定单元，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
背景确定单元，用于将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
11.根据权利要求8所述的装置，其特征在于，所述虚化模块，包括：
归一化单元，用于对所述深度信息进行归一化，获得归一化后的深度信息；
分段单元，用于将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
参数确定单元，用于根据预先设置的最大模糊半径确定所述q个背景区间各自对应的虚化参数，所述虚化参数包括模糊半径和标准差；
虚化单元，用于根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q个背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
12.一种图像虚化装置，其特征在于，所述装置包括：
图像获取模块，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
深度信息获取模块，用于根据所述第一图像和所述第二图像获取所述深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
背景确定模块，用于根据所述深度信息确定所述第一图像的背景区域；
虚化模块，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理；
其中，所述背景确定模块，包括：
临界深度确定单元，用于根据所述拍摄参数以及所述第一图像和所述第二图像各自的像距确定前景区域和背景区域之间的临界深度；
背景确定单元，用于将大于所述临界深度的所述深度信息对应在所述第一图像中的像素区域确定为所述第一图像的背景区域。
13.一种图像虚化装置，其特征在于，所述装置包括：
图像获取模块，用于获取同一相机拍摄的，具有同一取景范围的第一图像和第二图像，所述第一图像的像距小于所述第二图像的像距；
深度信息获取模块，用于根据所述第一图像和所述第二图像获取所述深度信息，所述深度信息用于表征所述第一图像和所述第二图像内各个像素点处的景物与拍摄点之间的距离；
背景确定模块，用于根据所述深度信息确定所述第一图像的背景区域；
虚化模块，用于对所述第一图像中处于所述背景区域部分的内容进行虚化处理；
其中，所述虚化模块，包括：
归一化单元，用于对所述深度信息进行归一化，获得归一化后的深度信息；
分段单元，用于将归一化后的深度信息中处于所述背景区域的区间均分为q段，获得q个背景区间；
参数确定单元，用于根据预先设置的最大模糊半径确定所述q个背景区间各自对应的虚化参数，所述虚化参数包括模糊半径和标准差；
虚化单元，用于根据所述q个背景区间各自对应的模糊半径和标准差，分别对所述q个背景区间各自对应在所述第一图像中的像素区域进行虚化处理。
14.一种电子设备，其特征在于，所述电子设备包括：
如权利要求8至13任一所述的图像虚化装置。
CN201410095114.9A 2014-03-14 2014-03-14 图像虚化方法、装置及电子设备 Active CN103945118B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201410095114.9A CN103945118B (zh) 2014-03-14 2014-03-14 图像虚化方法、装置及电子设备
EP15151927.9A EP2919188B1 (en) 2014-03-14 2015-01-21 Image blurring method and apparatus
ES15151927.9T ES2626174T3 (es) 2014-03-14 2015-01-21 Procedimiento y aparato de desenfoque de imágenes
US14/611,775 US9215381B2 (en) 2014-03-14 2015-02-02 Image blurring method and apparatus, and electronic devices
KR1020150023570A KR101686926B1 (ko) 2014-03-14 2015-02-16 이미지 블러링 방법 및 장치, 그리고 전자 장치
JP2015037951A JP6027159B2 (ja) 2014-03-14 2015-02-27 画像ぼかし方法および機器、および電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410095114.9A CN103945118B (zh) 2014-03-14 2014-03-14 图像虚化方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN103945118A CN103945118A (zh) 2014-07-23
CN103945118B true CN103945118B (zh) 2017-06-20

Family

ID=51192577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410095114.9A Active CN103945118B (zh) 2014-03-14 2014-03-14 图像虚化方法、装置及电子设备

Country Status (6)

Country Link
US (1) US9215381B2 (zh)
EP (1) EP2919188B1 (zh)
JP (1) JP6027159B2 (zh)
KR (1) KR101686926B1 (zh)
CN (1) CN103945118B (zh)
ES (1) ES2626174T3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230234A (zh) * 2017-05-19 2018-06-29 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256931B2 (en) 2010-04-19 2022-02-22 SMR Patent S.à.r.l Rearview device simulation
TWI578780B (zh) * 2014-10-02 2017-04-11 晶睿通訊股份有限公司 模糊影像偵測方法及其相關攝影機和影像處理系統
JP5927265B2 (ja) * 2014-10-28 2016-06-01 シャープ株式会社 画像処理装置及びプログラム
CN104463775A (zh) * 2014-10-31 2015-03-25 小米科技有限责任公司 一种实现图片景深效果的方法及装置
TWI566601B (zh) * 2015-02-25 2017-01-11 光寶科技股份有限公司 影像處理裝置及影像景深處理方法
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN105163042B (zh) * 2015-08-03 2017-11-03 努比亚技术有限公司 一种虚化处理深度图像的装置和方法
US10284835B2 (en) * 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
CN105352455B (zh) * 2015-11-18 2017-09-05 宁波大学 一种基于图像模糊度的平面倾斜度测量方法
CN105513105B (zh) * 2015-12-07 2018-05-29 天津大学 基于显著图的图像背景虚化方法
CN105592271A (zh) * 2015-12-21 2016-05-18 深圳市金立通信设备有限公司 一种图像处理的方法及终端
CN107613199B (zh) 2016-06-02 2020-03-13 Oppo广东移动通信有限公司 虚化照片生成方法、装置和移动终端
CN106331492B (zh) * 2016-08-29 2019-04-16 Oppo广东移动通信有限公司 一种图像处理方法及终端
CN106530241B (zh) * 2016-10-31 2020-08-11 努比亚技术有限公司 一种图像虚化处理方法和装置
CN108886572B (zh) * 2016-11-29 2021-08-06 深圳市大疆创新科技有限公司 调整图像焦点的方法和***
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
CN106803920B (zh) * 2017-03-17 2020-07-10 广州视源电子科技股份有限公司 一种图像处理的方法、装置及智能会议终端
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN107426493A (zh) * 2017-05-23 2017-12-01 深圳市金立通信设备有限公司 一种虚化背景的拍摄方法及终端
CN107085825A (zh) * 2017-05-27 2017-08-22 成都通甲优博科技有限责任公司 图像虚化方法、装置及电子设备
CN107038681B (zh) 2017-05-31 2020-01-10 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107704798B (zh) * 2017-08-09 2020-06-12 Oppo广东移动通信有限公司 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN108024054B (zh) * 2017-11-01 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN107682639B (zh) * 2017-11-16 2019-09-27 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN108024058B (zh) * 2017-11-30 2019-08-02 Oppo广东移动通信有限公司 图像虚化处理方法、装置、移动终端和存储介质
CN108419008B (zh) * 2018-01-30 2020-04-28 努比亚技术有限公司 一种拍摄方法、终端及计算机可读存储介质
CN108564541B (zh) * 2018-03-28 2022-04-15 麒麟合盛网络技术股份有限公司 一种图像处理方法及装置
WO2020036468A1 (ko) * 2018-08-16 2020-02-20 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체
TWI701639B (zh) * 2018-12-11 2020-08-11 緯創資通股份有限公司 辨識影像中前景物件的方法與電子裝置
CN109618173B (zh) * 2018-12-17 2021-09-28 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质
CN109889724B (zh) * 2019-01-30 2020-11-06 北京达佳互联信息技术有限公司 图像虚化方法、装置、电子设备及可读存储介质
EP3726473A1 (en) 2019-04-18 2020-10-21 SMR Patents S.à.r.l. Method for rearview device simulation
CN110336942B (zh) * 2019-06-28 2021-02-02 Oppo广东移动通信有限公司 一种虚化图像获取方法及终端、计算机可读存储介质
CN110992284A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN114514735B (zh) * 2019-12-09 2023-10-03 Oppo广东移动通信有限公司 电子设备和控制电子设备的方法
CN113052754B (zh) * 2019-12-26 2022-06-07 武汉Tcl集团工业研究院有限公司 一种图片背景虚化的方法及装置
WO2021135676A1 (zh) * 2019-12-30 2021-07-08 武汉Tcl集团工业研究院有限公司 一种拍照背景虚化方法、移动终端及存储介质
KR102260193B1 (ko) 2019-12-30 2021-06-03 주식회사 버넥트 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
CN111385481A (zh) * 2020-03-30 2020-07-07 北京达佳互联信息技术有限公司 图像处理方法及装置、电子设备及存储介质
KR20220005820A (ko) * 2020-07-07 2022-01-14 삼성전자주식회사 그래픽 효과를 적용하기 위한 전자 장치 및 그에 관한 방법
CN112165575B (zh) * 2020-09-25 2022-03-18 Oppo（重庆）智能科技有限公司 图像虚化处理方法及装置、存储介质和电子设备
CN116711296A (zh) * 2021-02-25 2023-09-05 Oppo广东移动通信有限公司 电子设备、控制电子设备的方法及计算机可读存储介质
US11727537B1 (en) * 2022-03-24 2023-08-15 Qualcomm Incorporated Bokeh effect in variable aperture (VA) camera systems

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657171B2 (en) * 2006-06-29 2010-02-02 Scenera Technologies, Llc Method and system for providing background blurring when capturing an image using an image capture device
US8929645B2 (en) * 2007-04-24 2015-01-06 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
JP2009284056A (ja) * 2008-05-20 2009-12-03 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP5434361B2 (ja) * 2009-02-24 2014-03-05 株式会社リコー 画像処理装置及び画像処理方法
US8723912B2 (en) * 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
US9007689B2 (en) * 2011-04-04 2015-04-14 General Electric Company Method and apparatus for forming multiple images
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN102722080B (zh) * 2012-06-27 2015-11-18 杭州南湾科技有限公司 一种基于多镜头拍摄的多用途立体摄像方法
US9214025B2 (en) * 2012-11-30 2015-12-15 Adobe Systems Incorporated Depth estimation using normalized displacement of image pairs
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
CN103152521B (zh) * 2013-01-30 2016-08-17 广东欧珀移动通信有限公司 一种移动终端中实现景深效果的方法及移动终端
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230234A (zh) * 2017-05-19 2018-06-29 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
CN108230234B (zh) * 2017-05-19 2019-08-20 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
JP2015177544A (ja) 2015-10-05
KR101686926B1 (ko) 2016-12-15
EP2919188A1 (en) 2015-09-16
US20150264271A1 (en) 2015-09-17
JP6027159B2 (ja) 2016-11-16
CN103945118A (zh) 2014-07-23
US9215381B2 (en) 2015-12-15
EP2919188B1 (en) 2017-03-15
ES2626174T3 (es) 2017-07-24
KR20150107605A (ko) 2015-09-23

Similar Documents

Publication Publication Date Title
CN103945118B (zh) 图像虚化方法、装置及电子设备
US10997696B2 (en) Image processing method, apparatus and device
US7961970B1 (en) Method and apparatus for using a virtual camera to dynamically refocus a digital image
US9444991B2 (en) Robust layered light-field rendering
US9307222B1 (en) Configuration settings of a digital camera for depth map generation
EP2526528B1 (en) Blur function modeling for depth of field rendering
EP1924966B1 (en) Adaptive exposure control
CN102905058B (zh) 产生去除了重影模糊的高动态范围图像的设备和方法
Jacobs et al. Focal stack compositing for depth of field control
EP1583032A2 (en) Luminance Correction
CN108055452A (zh) 图像处理方法、装置及设备
CN107509031A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN105635565A (zh) 一种拍摄方法及设备
CN110324532A (zh) 一种图像虚化方法、装置、存储介质及电子设备
CN107370910B (zh) 基于最优曝光的最小包围曝光集合获取方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
KR20140118031A (ko) 영상 처리 장치 및 방법
WO2019104670A1 (zh) 深度值确定方法和装置
Singh et al. Weighted least squares based detail enhanced exposure fusion
CN104952048B (zh) 一种基于像体重建的焦点堆栈照片合成方法
CN117061868A (zh) 一种基于图像识别的自动拍照装置
Zhao et al. Image aesthetics enhancement using composition-based saliency detection
CN109191396B (zh) 人像处理方法和装置、电子设备、计算机可读存储介质
GB2533449B (en) Configuration settings of a digital camera for depth map generation
KR20150032764A (ko) 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant