CN104506771B - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN104506771B
CN104506771B CN201410798564.4A CN201410798564A CN104506771B CN 104506771 B CN104506771 B CN 104506771B CN 201410798564 A CN201410798564 A CN 201410798564A CN 104506771 B CN104506771 B CN 104506771B
Authority
CN
China
Prior art keywords
image
frequency
signal
region
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410798564.4A
Other languages
English (en)
Other versions
CN104506771A (zh
Inventor
周涵宁
刘嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201410798564.4A priority Critical patent/CN104506771B/zh
Publication of CN104506771A publication Critical patent/CN104506771A/zh
Priority to US15/536,715 priority patent/US10284768B2/en
Priority to PCT/CN2015/095080 priority patent/WO2016095651A1/en
Application granted granted Critical
Publication of CN104506771B publication Critical patent/CN104506771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法及装置。方法包括：获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像；对各所述图像进行频域转换，得到各所述图像的一频域信号；至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。本申请实施例提供了一种图像处理方案。

Description

图像处理方法及装置
技术领域
本申请实施例涉及图像技术领域，尤其涉及一种图像处理方法及装置。
背景技术
随着各种便携设备上拍摄功能的普及，用户对于其成像质量提出了更高的要求。但是由于便携设备成本的限制，便携设备上的拍摄镜头和传感器的质量与专用相机还有很大的差距。为了弥补镜头透光性、以及传感器信噪比的不足，满足弱光条件下对进光量的要求，各大便携设备厂商，纷纷采用更大的最大光圈，但大光圈带来的问题是聚焦平面的景深(depth of field)相应的会被压缩，即拍摄出的照片只有很浅的一段场景会是清晰对焦的，而其前后的部分，都会很模糊。
发明内容
有鉴于此，本申请实施例的一个目的在于提供一种图像处理方案。
为实现上述目的，根据本申请实施例的第一方面，提供一种图像处理方法，包括：
获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像；
对各所述图像进行频域转换，得到各所述图像的一频域信号；
至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。
为实现上述目的，根据本申请实施例的第二方面，提供一种图像处理装置，包括：
图像获取模块，用于获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像；
频域转换模块，用于对各所述图像进行频域转换，得到各所述图像的一频域信号；
第一处理模块，用于至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。
以上多个技术方案中的至少一个技术方案具有如下有益效果：
本申请实施例通过获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，对各所述图像进行频域转换得到各所述图像的一频域信号，至少根据各所述图像的一频域信号和所述不同的景深参数得到所述场景的全景深图像，提供了一种图像处理方案，并且能够基于一场景的两张不同景深参数的图像得到该场景的全景深图像，较为便捷。
附图说明
图1为本申请提供的一种图像处理方法实施例的流程示意图；
图2为本申请的对焦距离的一种示意图；
图3为本申请实施例中几种可能的光圈形状的示意图；
图4A、图4B为在同一位置以相同的光圈样式、不同的光圈大小拍摄的同一场景的两张图像的一种示意图；
图4C为在图4A、图4B的基础上采用本实施例的方法得到的全景深图像的一种示意图；
图5为本申请提供的一种图像处理装置实施例一的结构示意图；
图6A～图6E分别为图5所示实施例的一种实现方式的结构示意图；
图7为本申请提供的一种图像处理装置实施例二的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本申请提供的一种图像处理方法实施例的流程示意图。如图1所示，本实施例包括：
110、获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像。
举例来说，本申请提供的一种图像处理装置实施例一或实施例二作为本实施例的执行主体，执行110～130。可选地，所述图像处理装置以软件和/或硬件的形式设置在一用户终端中。可选地，所述用户终端为一相机，或者，还包括图像拍摄装置的任何用户终端，比如有拍摄功能的智能手机。
本实施例中，所述光圈样式可以为任意样式，常见的是多边形，比如六边形。
本实施例中，所述景深参数是指影响景深大小和位置的参数，所述景深参数包括以下至少一种：光圈F值、对焦距离。
其中，所述光圈F值是指图像拍摄装置在拍摄所述图像时的光圈F值。在光圈样式一定的情况下，所述光圈F值决定了光圈大小。通常，对于一个图像拍摄装置来说，其光圈样式通常是不变的，但其光圈大小在一些情况下是可以调整的。具体地，光圈大小可以用光圈F值的平方的倒数，即1/F^2来表征，常见的F值包括：1.0，1.4，2.0，2.8，4.0，5.6，8.0，11等。
其中，所述对焦距离是指图像拍摄装置在拍摄所述图像时的对焦平面与所述图像拍摄装置的镜头光心的距离。图2为本申请的对焦距离的一种示意图。具体地，对焦距离受镜头焦距和像距(即成像平面与镜头光心的距离)的影响。在镜头焦距不变的场景中，通常可以通过调整像距来调整对焦距离；在镜头焦距可变的场景中，通过可以通过调整像距和/或镜头焦距来调整对焦距离。
本实施例中，所述不同的景深参数包括以下任一种情况：光圈F值相同但对焦距离不同，对焦距离相同但光圈F值不同，光圈F值和对焦距离均不同。
本实施例中，各所述图像的光圈F值、对焦距离可选地从所述图像的头文件中获得。
120、对各所述图像进行频域转换，得到各所述图像的一频域信号。
本实施例中，任一图像均可以用该图像的至少一个空域信号表示。其中，所述空域信号包括但不限于以下任一种：灰度信号，红(Red，简称R)信号，绿(Green，简称G)信号，蓝(Blue，简称B)信号。
可选地，所述获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，包括：获取各所述图像的一空域信号；
所述对各所述图像进行频域转换，得到各所述图像的一频域信号，包括：对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
举例来说，所述两张图像包括图像A和图像B，110中获取图像A的R信号和图像B的R信号，120中分别对图像A的R信号和图像B的R信号进行频域转换，得到图像A的一频域信号和图像B的一频域信号。
具体地，由于图像通常是二维的，图像的空域信号也是二维的，即，所述图像的空域信号的自变量空间是二维空间。
本实施例中，所述频域转换可以有多种方式，比如，傅里叶变换(FourierTransform，简称FT)，小波变换(Wavelet Transform，简称WT)等。
130、至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。
本实施例中，所述至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像，包括：至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像的一空域信号。
举例来说，所述两张图像包括图像A和图像B，110中获取图像A的R信号和图像B的R信号，120中分别对图像A的R信号和图像B的R信号进行频域转换，得到图像A的一频域信号和图像B的一频域信号，130中至少根据图像A的一频域信号、图像B的一频域信号和所述不同的景深参数，得到所述全景深图像的R信号。
在实现本发明的过程中，发明人发现：对于同一场景，在同一位置以相同的光圈样式、不同的景深参数拍摄该场景的图像时，拍摄得到的每张图像的一空域信号相当于该场景的全景深图像的一对应空域信号与图像拍摄装置在拍摄所述图像时的光学***的点扩散函数(Point Spread Function，简称PSF)(也称为：所述图像的PSF)卷积的结果，比如，拍摄得到的一图像的R信号相当于该场景的全景深图像的R信号与所述图像的PSF卷积的结果，而所述图像的PSF与所述图像拍摄装置的光圈样式以及在拍摄所述图像时的所述景深参数有关。具体地，使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的各图像的PSF的样式通常是相同的，而拍摄时不同的景深参数决定了相同样式的PSF在自变量空间的缩放。举例来说，若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的对焦距离一致，但光圈大小的比值为2，即，光圈F值的平方的比值的倒数为2，则光圈更大的图像的PSF相当于将光圈更小的图像的PSF在自变量空间以4为倍数放大的结果；若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的光圈大小一致，但对焦距离与所述场景的深度的差值的比值的绝对值为2，则所述差值的绝对值更大的图像的PSF相当于将所述差值的绝对值更小的图像的PSF在自变量空间以4为倍数放大的结果。进一步地，由于空域的卷积相当于频域的相乘，因此，拍摄得到的每张图像的一频域信号相当于该场景的全景深图像的一对应频域信号与图像拍摄装置在拍摄所述图像时的光学***的光学传递函数(Optical Transfer Function，简称OTF)(也称为：所述图像的OTF)的乘积，比如，拍摄得到的一图像的R信号的频域信号相当于该场景的全景深图像的R信号的频域信号与所述图像的OTF的乘积，其中，OTF为PSF的频域表现。具体地，使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的各图像的OTF的样式通常是相同的，而拍摄时不同的景深参数决定了相同样式的OTF在频率空间的缩放，且OTF的缩放与上述PSF的缩放是反向的。举例来说，若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的对焦距离一致，但光圈大小的比值为2，则光圈更小的图像的OTF相当于将光圈更大的图像的OTF在频率空间以4为倍数放大的结果；若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的光圈大小一致，但对焦距离与所述场景的深度的差值的比值的绝对值为2，则所述差值的绝对值更小的图像的OTF相当于将所述差值的绝对值更大的图像的OTF在自变量空间以4为倍数放大的结果。
具体地，所述场景的深度为所述场景与图像拍摄装置的镜头光心的距离，可选地，所述场景的深度为所述场景中各景物与图像拍摄装置的镜头光心的距离中最大距离和最小距离的平均值。由于所述两张图像是在同一位置针对同一场景拍摄的，因此，可以认为所述两张图像中所述场景的深度一致。
基于发明人的上述发现，若110中获取了两张图像的对应空域信号K1和K2，120中对K1和K2进行频域转换，得到所述两张图像的频域信号W1和W2，假设该两张图像的OTF为F1和F2，所述场景的全景深图像的对应频域信号为I，则满足：W1＝I*F1，W2＝I*F2，且F1＝a*F2，其中，a与该两张图像的景深参数有关，相应地，如果W1、W2和a已知，则可以得到I、F1和F2，进一步地，可以根据I得到所述场景的全景深图像的一空域信号。
本实施例通过获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，对各所述图像进行频域转换得到各所述图像的一频域信号，至少根据各所述图像的一频域信号和所述不同的景深参数得到所述场景的全景深图像，提供了一种图像处理方案，并且能够基于一场景的两张不同景深参数的图像得到该场景的全景深图像，较为便捷。
以下通过一些可选的实现方式进一步地描述本实施例的方法。
本实施例中，虽然所述两张图像的光圈样式相同，但光圈大小可能不同，而在光圈大小不同的场景中，光圈角度可能也会不同，从而导致PSF、OTF的样式不同。其中，所述光圈角度通常随光圈的旋转而改变。图3为本申请实施例中几种可能的光圈形状的示意图。如图3所示，a、b、c的光圈样式相同、均为五边形，a、b的光圈大小相同、但光圈角度不同，a、c的光圈大小不同、但光圈角度相同，d的光圈样式为六边形、与a、b、c的光圈样式不同。
为了避免光圈角度不同导致图像的PSF样式、OTF样式的不同，可选地，110中获取的各所述图像的空域信号的自变量空间为极坐标空间，或者，110中获取的各所述图像的空域信号的自变量空间为其它坐标空间，比如直角坐标空间，相应地，在120之前将各所述图像的空域信号的自变量空间转换为极坐标空间。进一步地，130中至少根据各所述图像的一频域信号和所述不同的景深参数直接得到的所述全景深图像的空域信号的自变量空间为极坐标空间，可选地，130中还可以将所述全景深图像的空域信号的自变量空间转换为其它坐标空间，比如直角坐标空间。
本实施例中，120有多种实现方式。
对于深度相近的景物，同一光学***的PSF差异不大，在一种可选的实现方式中，所述对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号，包括：
响应于所述场景的最大深度差不超过一第一深度差阈值，对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
本实施例中，所述场景的最大深度差是指所述场景中各景物的深度之间的最大差值。具体地，各景物的深度是指各景物与拍摄所述场景的图像拍摄装置的镜头光心之间的距离。
其中，所述第一深度差阈值可以是一预设的值，比如，1米。可选地，所述第一深度差阈值与图像拍摄装置的参数，比如焦距，有关。
对于深度差别较大的景物，同一光学***的PSF的差异较大，为了得到更逼真的全景深图像，在又一种可选的实现方式中，所述对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号，包括：
响应于所述场景的最大深度差超过一第二深度差阈值，以相同的方式将各所述图像均划分为至少两个区域，各所述区域的最大深度差不超过所述第二深度差阈值；
对各所述图像中对应的至少一对区域的至少一对空域信号进行频域转换，得到所述至少一对区域的至少一对频域信号。
本实施例中，所述区域的最大深度差是指所述区域中各景物的深度之间的最大差值。具体地，各景物的深度是指各景物与拍摄所述场景的图像拍摄装置的镜头光心之间的距离。
其中，所述第二深度差阈值可以是一预设的值，比如，1米。可选地，所述第二深度差阈值与图像拍摄装置的参数，比如焦距，有关。需要说明的是，所述第二深度差阈值与所述第一深度差阈值可以相同，或者，不同。
由于各所述图像均是所述场景的图像，因此，所述场景中各景物在各所述图像中的分布均是一致的，进一步地，由于采用相同的方式划分，各所述图像中对应的每对区域包含的景物也是一致的，每对区域的深度也是一致的。本实施例中，任一区域的深度可以通过该区域中各景物的深度得到，比如，一区域的深度可以是该区域中各景物的深度中最大深度和最小深度的平均值。
本实施例中，130有多种实现方式。
在一种可选的实现方式中，所述两张图像包括：第一图像和第二图像；所述第二图像的光圈F值的平方与所述第一图像的光圈F值的平方的比值和所述第一图像中所述场景的深度与所述第一图像的对焦距离之差与所述第二图像中所述场景的深度与所述第二图像的对焦距离之差的比值的绝对值的乘积为大于1的第一值；
所述至少根据各所述图像的频域信号和所述不同的景深参数，得到所述场景的全景深图像，包括：
将所述第一图像的第一频域信号中最低频且面积为一第二值的第一频谱区域的部分作为所述第一图像的第一光学传递函数OTF中所述第一频谱区域的部分；
将所述第一OTF中所述第一频谱区域的部分在频率空间以所述第一值的平方为倍数放大后，得到所述第二图像的第二OTF中第二频谱区域的部分，所述第二频谱区域的面积等于所述第一频谱区域的面积与所述第一值的平方的乘积；
基于所述第二OTF中第二频谱区域的部分，对所述第二图像的第二频域信号进行局部求逆，得到所述全景深图像的第三频域信号中所述第二频谱区域的部分；
基于所述第三频域信号中所述第二频谱区域的部分，对所述第一频域信号进行局部求逆，得到所述第一OTF中所述第二频谱区域的部分；
基于所述第一OTF中所述第二频谱区域的部分，依次迭代进行所述放大和所述局部求逆，得到所述第三频域信号；
对所述第三频域信号进行空域转换，得到所述全景深图像的一空域信号。
具体地，得到的所述全景深图像的空域信号与120中进行频域转换的各所述图像的一空域信号是对应的。举例来说，若所述第一频域信号和所述第二频域信号是将所述第一图像和所述第二图像的R信号进行频域转换得到的，则上述得到的所述全景深图像的空域信号是所述全景深图像的R信号。
本实施例中，一信号或一函数中一频谱区域的部分是指该信号或该函数中属于该频谱区域的部分。比如，所述第一频域信号中所述第一频谱区域的部分是指所述第一频域信号中属于所述第一频谱区域的部分，所述第一OTF中所述第一频谱区域的部分是指所述第一OTF中属于所述第一频谱区域的部分。
具体地，所述第二图像的光圈F值的平方与所述第一图像的光圈F值的平方的比值为a1，所述第一图像中所述场景的深度与所述第一图像的对焦距离之差与所述第二图像中所述场景的深度与所述第二图像的对焦距离之差的比值的绝对值为a2，所述第一值m＝a1*a2。其中，a1可选地大于1，小于1，或者等于1；a2可选地大于1，小于1，或者等于1。需要说明的是，a1＝1表示所述第二图像的光圈F值与所述第一图像的光圈F值相等，即所述第二图像的光圈大小与所述第一图像的光圈大小相等，由于m>1，若a1＝1，则a2大于1，即所述第一图像中所述场景的深度与所述第一图像的对焦距离的差值的绝对值大于所述第二图像中所述场景的深度与所述第二图像的对焦距离的差值的绝对值，即所述第一图像中所述场景与对焦平面的距离大于所述第二图像中所述场景与对焦平面的距离；a2＝1表示所述第一图像中所述场景的深度与所述第一图像的对焦距离的差值的绝对值等于所述第二图像中所述场景的深度与所述第二图像的对焦距离的差值的绝对值，即所述第一图像的对焦距离与所述第二图像的对焦距离相等，由于m>1，若a2＝1，则a1大于1，即所述第二图像的光圈F值大于所述第一图像的光圈F值，即所述第二图像的光圈大小小于所述第一图像的光圈大小。
由于所述第一值m大于1，所述第一图像的第一PSF相当于将所述第二图像的第二PSF在自变量空间以m2为倍数放大的结果，所述第一图像的第一OTF相当于将所述第二图像的第二OTF在频率空间缩小到1/m2的结果。
需要说明的是，在此实现方式中，所述两张图像的光圈F值的平方的比值的倒数和所述两张图像中所述场景与对焦平面的距离的比值的乘积不等于1。
其中，所述第二值可以为一预设的值。由于所述场景中通常存在颜色较均匀的部分，相应地，所述第一频域信号的最低频的频谱区域存在幅值为常数的部分，相应地，所述第二值的取值尽量保证所述第一频域信号中最低频且面积为所述第二值的第一频谱区域的部分的幅值为常数。进一步地，所述将所述第一图像的第一频域信号中最低频且面积为一第二值的第一频谱区域的部分作为所述第一图像的第一OTF中所述第一频谱区域的部分的步骤，相当于将所述第三频域信号中最低频且面积为所述第二值的第一频谱区域的部分的幅值视为1，这会影响最终得到的所述第三频域信号的幅值，但不会影响所述第三频域信号的波形，从而导致得到的所述全景深图像的一空域信号相比于理论上应当得到的空域信号，波形一致但幅值整体缩小或放大了，为了解决此问题，可以根据得到的所述全景深图像的一空域信号的最大幅值和任一所述图像的对应空域信号的最大幅值之间的比例关系，整体缩小或放大所述全景深图像的一空域信号的幅值。
可选地，120中进行频域转换的各区域的空域信号的自变量空间为直角坐标空间，进一步可选地，所述第一频谱区域为一正方形区域。
可选地，120中进行频域转换的各区域的空域信号的自变量空间为极坐标空间，进一步可选地，所述第一频谱区域为一圆形区域。
可选地，所述在频率空间以所述第一值的平方为倍数放大是指，在频率空间的两个维度分别以所述第一值为倍数放大。相应地，若所述第一频谱区域为一正方形区域，则所述第二频谱区域也为一正方形区域，且所述第二频谱区域的边长等于所述第一频谱区域的边长乘以所述第一值；若所述第一频谱区域为一圆形区域，则所述第二频域区域也为一圆形区域，且所述第二频谱区域的半径等于所述第一频谱区域的半径乘以所述第一值。
在此实现方式中，为了进一步得到所述全景深图像的至少一个其它空域信号，比如在得到所述全景深图像的R信号后再得到所述全景深图像的G信号、B信号，可选地，所述基于所述第一OTF中所述第二频谱区域的部分，依次迭代进行所述放大和所述局部求逆，得到所述第三频域信号，包括：
基于所述第一OTF中所述第二频谱区域的部分，依次迭代进行所述放大和所述局部求逆，得到所述第三频域信号和所述第一OTF；
所述方法还包括：获取所述第一图像的至少一个其它空域信号；对所述第一图像的至少一个其它空域信号进行频域转换，得到所述第一图像的至少一个其它频域信号；基于所述第一OTF，对所述第一图像的至少一个其它频域信号进行求逆，得到所述全景深图像的至少一个第四频域信号；对所述全景深图像的至少一个第四频域信号进行空域转换，得到所述全景深图像的至少一个其它空域信号。
需要说明的是，在上述步骤中以所述第一图像、所述第一OTF为例说明如何得到所述全景深图像的至少一个其它空域信号，本领域技术人员可以理解，用所述第二图像替代所述第一图像，所述第二OTF替代所述第一OTF也可以达到同样的目的，即得到所述全景深图像的至少一个其它空域信号。
在又一种可选的实现方式中，与120中以相同的方式将各所述图像均划分为至少两个区域，并得到各所述图像中对应的至少一对区域的至少一对频域信号对应地，130中参考上一实现方式对所述至少一对区域的至少一对频域信号进行处理。
可选地，所述两张图像包括：第三图像和第四图像，各所述图像中对应的至少一对区域包括：所述第三图像中的一第一区域和所述第四图像中与所述第一区域对应的一第二区域；
所述第四图像的光圈F的平方与所述第三图像的光圈F值的平方的比值和所述第三图像中所述场景的深度与所述第三图像的对焦距离之差与所述第四图像中所述场景的深度与所述第四图像的对焦距离之差的比值的绝对值的乘积为大于1的第三值；
所述至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像，包括：
至少根据所述第一区域的第五频域信号、所述第二区域的第六频域信号、所述第三值，得到所述场景中与所述第一区域对应的一第三区域的第一子图像的一空域信号和所述第一区域的第三OTF；
至少根据所述第三图像的对焦距离、所述第一区域的深度、所述第三OTF、所述第三图像中所述第一区域之外的至少一个第四区域的深度和一空域信号，得到所述场景中与所述至少一个第四区域对应的至少一个第五区域的至少一个第二子图像的至少一个空域信号；
根据所述第三区域的第一子图像的一空域信号、所述至少一个第五区域的至少一个第二子图像的至少一个空域信号，得到所述全景深图像的一空域信号。
本实施例中，任一区域的深度可以通过该区域中各景物的深度得到，比如，区域的深度可以是该区域中各景物的深度中最大深度和最小深度的平均值。
具体地，所述第四图像的光圈F值的平方与所述第三图像的光圈F值的平方的比值为b1，所述第三图像中所述场景的深度与所述第三图像的对焦距离的差值与所述第四图像中所述场景的深度与所述第四图像的对焦距离的差值的比值的绝对值为b2，所述第三值n＝b1*b2。其中，b1可选地大于1，小于1，或者等于1；b2可选地大于1，小于1，或者等于1。需要说明的是，b1＝1表示所述第四图像的光圈F值与所述第三图像的光圈F值相等，即所述第四图像的光圈大小与所述第三图像的光圈大小相等，由于n>1，若b1＝1，则b2大于1，即所述第三图像中所述场景的深度与所述第三图像的对焦距离的差值的绝对值大于所述第四图像中所述场景的深度与所述第四图像的对焦距离的差值的绝对值；b2＝1表示所述第三图像中所述场景的深度与所述第三图像的对焦距离的差值的绝对值等于所述第四图像中所述场景的深度与所述第四图像的对焦距离的差值的绝对值，即所述第三图像的对焦距离与所述第四图像的对焦距离相等，由于n>1，若b2＝1，则b1大于1，即所述第四图像的光圈F值大于所述第三图像的光圈F值，即所述第四图像的光圈大小小于所述第三图像的光圈大小。
由于所述第三值n大于1，所述第一区域的第三PSF相当于将所述第二区域的第四PSF在自变量空间以n2为倍数放大的结果，所述第一区域的第三OTF相当于将所述第二区域的第四OTF在频率空间缩小到1/n2的结果。
需要说明的是，在此实现方式中，所述两张图像的光圈F值的平方的比值的倒数和所述两张图像中所述场景与对焦平面的距离的比值的乘积不等于1。
具体地，所述至少根据所述第一区域的第五频域信号、所述第二区域的第六频域信号、所述第三值，得到所述场景中与所述第一区域对应的一第三区域的第一子图像的一空域信号和所述第一区域的第三OTF的实现方式可选地参考上一实现方式中得到所述场景的全景深图像的一空域信号和所述第一OTF的方式。可选地，所述至少根据所述第一区域的第五频域信号、所述第二区域的第六频域信号、所述第三值，得到所述场景中与所述第一区域对应的一第三区域的第一子图像的一空域信号和所述第一区域的第三OTF，包括：
将所述第五频域信号中最低频且面积为一第四值的第三频谱区域的部分作为所述第一区域的第三OTF中所述第三频谱区域的部分；
将所述第三OTF中所述第三频谱区域的部分在频率空间以所述第三值的平方为倍数放大后，得到所述第二区域的第四OTF中第四频谱区域的部分，所述第四频谱区域的面积等于所述第三频谱区域的面积与所述第三值的平方的乘积；
基于所述第四OTF中第四频谱区域的部分，对所述第六频域信号进行局部求逆，得到所述场景中与所述第一子图像的第七频域信号中所述第四频谱区域的部分；
基于所述第七频域信号中所述第四频谱区域的部分，对所述第五频域信号进行局部求逆，得到所述第三OTF中所述第四频谱区域的部分；
基于所述第三OTF中所述第四频谱区域的部分，依次迭代进行所述放大和所述局部求逆，得到所述第七频域信号和所述第三OTF；
对所述第七频域信号进行空域转换，得到所述第一子图像的一空域信号。
其中，所述第四值可以为一预设的值。由于所述场景中通常存在颜色较均匀的部分，相应地，所述第五频域信号的最低频的频谱区域存在幅值为常数的部分，相应地，所述第四值的取值尽量保证所述第五频域信号中最低频且面积为所述第四值的第三频谱区域的部分的幅值为常数。所述将所述第五频域信号中最低频且面积为一第四值的第三频谱区域的部分作为所述第一区域的第三OTF中所述第三频谱区域的部分的步骤，相当于将所述第七频域信号中最低频且面积为所述第四值的第三频谱区域的部分的幅值视为1，这会影响最终得到的所述第七频域信号的幅值，但不会影响所述第七频域信号的波形，从而导致得到的所述第一子图像的一空域信号相比于理论上应当得到的空域信号，波形一致但幅值整体缩小或放大了，为了解决此问题，可以根据得到的所述第一子图像的一空域信号的最大幅值和所述第一区域的对应空域信号的最大幅值之间的比例关系，整体缩小或放大所述第一子图像的一空域信号的幅值。
可选地，120中进行频域转换的各区域的空域信号的自变量空间为直角坐标空间，进一步可选地，所述第三频谱区域为一正方形区域。
可选地，120中进行频域转换的各区域的空域信号的自变量空间为极坐标空间，进一步可选地，所述第三频谱区域为一圆形区域。
可选地，所述在频率空间以所述第三值的平方为倍数放大是指，在频率空间的两个维度分别以所述第三值为倍数放大。相应地，若所述第三频谱区域为一正方形区域，则所述第四频谱区域也为一正方形区域，且所述第四频谱区域的边长等于所述第三频谱区域的边长乘以所述第三值；若所述第三频谱区域为一圆形区域，则所述第四频域区域也为一圆形区域，且所述第四频谱区域的半径等于所述第三频谱区域的半径乘以所述第三值。
由于同一光学***对于同一图像中不同区域的OTF的差异与相应区域的深度与该图像的对焦距离之差有关，可选地，所述至少根据所述第三图像的对焦距离、所述第一区域的深度、所述第三OTF、所述第三图像中所述第一区域之外的至少一个第四区域的深度和一空域信号，得到所述场景中与所述至少一个第四区域对应的至少一个第五区域的至少一个第二子图像的至少一个空域信号，包括：
至少根据所述第三图像的对焦距离、所述第一区域的深度、所述第三OTF、所述至少一个第四区域的深度和一空域信号，得到所述至少一个第四区域的至少一个第五OTF；
根据各所述第四区域的第五OTF，对所述第四区域的一频域信号进行求逆，得到各所述第二子图像的一频域信号；
对各所述第二子图像的一频域信号进行空域转换，得到各所述第二子图像的一空域信号。
其中，各所述第四区域的一频域信号可以通过对各所述第四区域的一空域信号进行频域转换的方式得到。
举例来说，所述第三图像的对焦距离为L，所述第一区域的深度为d1，所述至少一个第四区域包括区域A和区域B，区域A和区域B的深度分别为da和db，若|da-L/d1-L|>1，则区域A的PSF相当于将所述第一区域的第三PSF在自变量空间以|da-L/d1-L|2为倍数放大的结果，区域A的OTF相当于将所述第一区域的第三OTF在频率空间缩小到|d1-L/da-L|2的结果，若|db-L/d1-L|<1，则区域B的PSF相当于将所述第一区域的第三PSF在自变量空间缩小到|d1-L/db-L|2的结果，区域B的OTF相当于将所述第一区域的第三OTF在频率空间以|db-L/d1-L|2为倍数放大的结果。
具体地，所述第一区域和所述至少一个第四区域覆盖了所述第三图像的所有区域。
可选地，所述根据所述第三区域的第一子图像的一空域信号、所述至少一个第五区域的至少一个第二子图像的至少一个空域信号，得到所述全景深图像的一空域信号，包括：
将所述第一子图像的一空域信号和所述至少一个第五区域的至少一个第二子图像的至少一个空域信号，按照各自对应的所述第一区域、所述至少一个第四区域在所述第一图像中的分布合成为所述全景深图像的一空域信号。
需要说明的是，在此实现方式中以所述第一区域的第三OTF为例说明如何得到所述全景深图像的一空域信号，本领域技术人员可以理解，用所述第二区域替代所述第一区域，所述第二区域的第四OTF替代所述第一区域的第三OTF也可以达到同样的目的，即得到所述全景深图像的一空域信号。
在此实现方式中，为了进一步得到所述全景深图像的至少一个其它空域信号，比如在得到所述全景深图像的R信号后再得到所述全景深图像的G信号、B信号，可选地，本实施例还包括：
获取所述第一区域的至少一个其它空域信号；对所述第一区域的至少一个其它空域信号进行频域转换，得到所述第一区域的至少一个其它频域信号；根据所述第三OTF、所述第一区域的至少一个其它频域信号，得到所述第一子图像的至少一个其它空域信号；
获取各所述第四区域的至少一个其它空域信号；对所述第四区域的至少一个其它空域信号进行频域转换，得到所述第四区域的至少一个其它频域信号；根据所述第三OTF、所述第四区域的至少一个其它频域信号，得到所述第二子图像的至少一个其它空域信号；
根据所述第一子图像的至少一个其它空域信号、所述第二子图像的至少一个其它空域信号，得到所述全景深图像的至少一个其它空域信号。
需要说明的是，在上述步骤中以所述第一区域、所述第三OTF为例说明如何得到所述全景深图像的至少一个其它空域信号，本领域技术人员可以理解，用所述第二区域替代所述第一区域，所述第四OTF替代所述第三OTF也可以达到同样的目的，即得到所述全景深图像的至少一个其它空域信号。
本实施例中，110有多种实现方式。
在一种可选的实现方式中，所述获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，包括：
从一图像拍摄装置获取所述图像拍摄装置在同一位置以不同的景深参数拍摄的同一场景的两张图像。
可选地，所述图像拍摄装置可以设计成在用户按下“拍摄”按钮之后，自动地以不同的景深参数拍摄同一场景的两张图像。
在又一种可选的实现方式中，所述获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，包括：
分别从相同的光圈样式的两个图像拍摄装置获取所述两个图像拍摄装置在同一位置分别以不同的景深参数拍摄的同一场景的两张图像。
图4A、图4B为在同一位置以相同的光圈样式、不同的光圈大小拍摄的同一场景的两张图像的一种示意图。图4C为在图4A、图4B的基础上采用本实施例的方法得到的全景深图像的一种示意图。
图5为本申请提供的一种图像处理装置实施例一的结构示意图。如图5所示，图像处理装置(以下简称：装置)500包括：
图像获取模块51，用于获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像；
频域转换模块52，用于对各所述图像进行频域转换，得到各所述图像的一频域信号；
第一处理模块53，用于至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。
本实施例中，图像处理装置500可选地以软件和/或硬件的形式设置在一用户终端中。可选地，所述用户终端为一相机，或者，还包括图像拍摄装置的任何用户终端，比如有拍摄功能的智能手机。
本实施例中，所述光圈样式可以为任意样式，常见的是多边形，比如六边形。
本实施例中，所述景深参数是指影响景深大小和位置的参数，所述景深参数包括以下至少一种：光圈F值、对焦距离。
其中，所述光圈F值是指图像拍摄装置在拍摄所述图像时的光圈F值。在光圈样式一定的情况下，所述光圈F值决定了光圈大小。通常，对于一个图像拍摄装置来说，其光圈样式通常是不变的，但其光圈大小在一些情况下是可以调整的。具体地，光圈大小可以用光圈F值的平方的倒数，即1/F^2来表征，常见的F值包括：1.0，1.4，2.0，2.8，4.0，5.6，8.0，11等。
其中，所述对焦距离是指图像拍摄装置在拍摄所述图像时的对焦平面与所述图像拍摄装置的镜头光心的距离。图2为本申请的对焦距离的一种示意图。具体地，对焦距离受镜头焦距和像距(即成像平面与镜头光心的距离)的影响。在镜头焦距不变的场景中，通常可以通过调整像距来调整对焦距离；在镜头焦距可变的场景中，通过可以通过调整像距和/或镜头焦距来调整对焦距离。
本实施例中，所述不同的景深参数包括以下任一种情况：光圈F值相同但对焦距离不同，对焦距离相同但光圈F值不同，光圈F值和对焦距离均不同。
本实施例中，各所述图像的光圈F值、对焦距离可选地从所述图像的头文件中获得。
本实施例中，任一图像均可以用该图像的至少一个空域信号表示。其中，所述空域信号包括但不限于以下任一种：灰度信号，R信号，G信号，B信号。
可选地，图像获取模块51具体用于：获取各所述图像的一空域信号；频域转换模块52具体用于：对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
举例来说，所述两张图像包括图像A和图像B，图像获取模块51获取图像A的R信号和图像B的R信号，频域转换模块52分别对图像A的R信号和图像B的R信号进行频域转换，得到图像A的一频域信号和图像B的一频域信号。
具体地，由于图像通常是二维的，图像的空域信号也是二维的，即，所述图像的空域信号的自变量空间是二维空间。
本实施例中，频域转换模块52进行的所述频域转换可以有多种方式，比如，FT，WT等。
本实施例中，第一处理模块53具体用于：至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像的一空域信号。
举例来说，所述两张图像包括图像A和图像B，图像获取模块51获取图像A的R信号和图像B的R信号，频域转换模块52分别对图像A的R信号和图像B的R信号进行频域转换，得到图像A的一频域信号和图像B的一频域信号，第一处理模块53至少根据图像A的一频域信号、图像B的一频域信号和所述不同的景深参数，得到所述全景深图像的R信号。
在实现本发明的过程中，发明人发现：对于同一场景，在同一位置以相同的光圈样式、不同的景深参数拍摄该场景的图像时，拍摄得到的每张图像的一空域信号相当于该场景的全景深图像的一对应空域信号与图像拍摄装置在拍摄所述图像时的光学***的PSF(也称为：所述图像的PSF)卷积的结果，比如，拍摄得到的一图像的R信号相当于该场景的全景深图像的R信号与所述图像的PSF卷积的结果，而所述图像的PSF与所述图像拍摄装置的光圈样式以及在拍摄所述图像时的所述景深参数有关。具体地，使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的各图像的PSF的样式通常是相同的，而拍摄时不同的景深参数决定了相同样式的PSF在自变量空间的缩放。举例来说，若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的对焦距离一致，但光圈大小的比值为2，即，光圈F值的平方的比值的倒数为2，则光圈更大的图像的PSF相当于将光圈更小的图像的PSF在自变量空间以4为倍数放大的结果；若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的光圈大小一致，但对焦距离与所述场景的深度的差值的比值的绝对值为2，则所述差值的绝对值更大的图像的PSF相当于将所述差值的绝对值更小的图像的PSF在自变量空间以4为倍数放大的结果。进一步地，由于空域的卷积相当于频域的相乘，因此，拍摄得到的每张图像的一频域信号相当于该场景的全景深图像的一对应频域信号与图像拍摄装置在拍摄所述图像时的光学***的OTF(也称为：所述图像的OTF)的乘积，比如，拍摄得到的一图像的R信号的频域信号相当于该场景的全景深图像的R信号的频域信号与所述图像的OTF的乘积，其中，OTF为PSF的频域表现。具体地，使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的各图像的OTF的样式通常是相同的，而拍摄时不同的景深参数决定了相同样式的OTF在频率空间的缩放，且OTF的缩放与上述PSF的缩放是反向的。举例来说，若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的对焦距离一致，但光圈大小的比值为2，则光圈更小的图像的OTF相当于将光圈更大的图像的OTF在频率空间以4为倍数放大的结果；若使用相同光圈样式的图像拍摄装置在同一位置拍摄同一场景得到的两张图像的光圈大小一致，但对焦距离与所述场景的深度的差值的比值的绝对值为2，则所述差值的绝对值更小的图像的OTF相当于将所述差值的绝对值更大的图像的OTF在自变量空间以4为倍数放大的结果。
具体地，所述场景的深度为所述场景与图像拍摄装置的镜头光心的距离，可选地，所述场景的深度为所述场景中各景物与图像拍摄装置的镜头光心的距离中最大距离和最小距离的平均值。由于所述两张图像是在同一位置针对同一场景拍摄的，因此，可以认为所述两张图像中所述场景的深度一致。
基于发明人的上述发现，若图像获取模块51获取了两张图像的对应空域信号K1和K2，频域转换模块52对K1和K2进行频域转换，得到所述两张图像的频域信号W1和W2，假设该两张图像的OTF为F1和F2，所述场景的全景深图像的对应频域信号为I，则满足：W1＝I*F1，W2＝I*F2，且F1＝a*F2，其中，a与该两张图像的景深参数有关，相应地，如果W1、W2和a已知，则第一处理模块53可以得到I、F1和F2，进一步地，可以根据I得到所述场景的全景深图像的一空域信号。
本实施例的图像处理装置通过图像获取模块获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，频域转换模块对各所述图像进行频域转换得到各所述图像的一频域信号，第一处理模块至少根据各所述图像的一频域信号和所述不同的景深参数得到所述场景的全景深图像，提供了一种图像处理方案，并且能够基于一场景的两张不同景深参数的图像得到该场景的全景深图像，较为便捷。
以下通过一些可选的实现方式进一步地描述本实施例的方法。
本实施例中，虽然所述两张图像的光圈样式相同，但光圈大小可能不同，而在光圈大小不同的场景中，光圈角度可能也会不同，从而导致PSF、OTF的样式不同。其中，所述光圈角度通常随光圈的旋转而改变。图3为本申请实施例中几种可能的光圈形状的示意图。如图3所示，a、b、c的光圈样式相同、均为五边形，a、b的光圈大小相同、但光圈角度不同，a、c的光圈大小不同、但光圈角度相同，d的光圈样式为六边形、与a、b、c的光圈样式不同。
为了避免光圈角度不同导致图像的PSF样式、OTF样式的不同，可选地，图像获取模块51获取的各所述图像的空域信号的自变量空间为极坐标空间，或者，图像获取模块51获取的各所述图像的空域信号的自变量空间为其它坐标空间，比如直角坐标空间，相应地，图像获取模块51或频域转换模块52在频域转换模块52进行频域转换之前将各所述图像的空域信号的自变量空间转换为极坐标空间。进一步地，第一处理模块53至少根据各所述图像的一频域信号和所述不同的景深参数直接得到的所述全景深图像的空域信号的自变量空间为极坐标空间，可选地，第一处理模块53还将所述全景深图像的空域信号的自变量空间转换为其它坐标空间，比如直角坐标空间。
本实施例中，频域转换模块52有多种实现方式。
对于深度相近的景物，同一光学***的PSF差异不大，在一种可选的实现方式中，频域转换模块52具体用于：
响应于所述场景的最大深度差不超过一第一深度差阈值，对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
本实施例的具体实现可参照本申请提供的一种图像处理方法实施例中的相应描述。
对于深度差别较大的景物，同一光学***的PSF的差异较大，为了得到更逼真的全景深图像，在又一种可选的实现方式中，如图6A所示，频域转换模块52包括：
划分单元521，用于响应于所述场景的最大深度差超过一第二深度差阈值，以相同的方式将各所述图像均划分为至少两个区域，各所述区域的最大深度差不超过所述第二深度差阈值；
转换单元522，用于对各所述图像中对应的至少一对区域的至少一对空域信号进行频域转换，得到所述至少一对区域的至少一对频域信号。
本实施例的具体实现可参照本申请提供的一种图像处理方法实施例中的相应描述。
本实施例中，第一处理模块53有多种实现方式。
在一种可选的实现方式中，所述两张图像包括：第一图像和第二图像；
所述第二图像的光圈F值的平方与所述第一图像的光圈F值的平方的比值和所述第一图像中所述场景的深度与所述第一图像的对焦距离之差与所述第二图像中所述场景的深度与所述第二图像的对焦距离之差的比值的绝对值的乘积为大于1的第一值；
如图6B所示，第一处理模块53包括：
第一单元521，用于将所述第一图像的第一频域信号中最低频且面积为一第二值的第一频谱区域的部分作为所述第一图像的第一OTF中所述第一频谱区域的部分；
第二单元522，用于将所述第一OTF中所述第一频谱区域的部分在频率空间以所述第一值的平方为倍数放大后，得到所述第二图像的第二OTF中第二频谱区域的部分，所述第二频谱区域的面积等于所述第一频谱区域的面积与所述第一值的平方的乘积；
第三单元533，用于基于所述第二OTF中第二频谱区域的部分，对所述第二图像的第二频域信号进行局部求逆，得到所述全景深图像的第三频域信号中所述第二频谱区域的部分；
第四单元534，用于基于所述第三频域信号中所述第二频谱区域的部分，对所述第一频域信号进行局部求逆，得到所述第一OTF中所述第二频谱区域的部分；
第五单元535，用于基于所述第一OTF中所述第二频谱区域的部分，依次在第二单元532、第三单元533、第四单元534中迭代进行所述放大和所述局部求逆，得到所述第三频域信号；
第六单元536，用于对所述第三频域信号进行空域转换，得到所述全景深图像的一空域信号。
在此实现方式中，为了进一步得到所述全景深图像的至少一个其它空域信号，比如在得到所述全景深图像的R信号后再得到所述全景深图像的G信号、B信号，可选地，第五单元535具体用于：基于所述第一OTF中所述第二频谱区域的部分，依次在所述第二单元、所述第三单元、所述第四单元中迭代进行所述放大和所述局部求逆，得到所述第三频域信号和所述第一OTF；
图像获取模块51还用于：获取所述第一图像的至少一个其它空域信号；
频域转换模块52还用于：对所述第一图像的至少一个其它空域信号进行频域转换，得到所述第一图像的至少一个其它频域信号；
如图6C所示，装置500还包括：第二处理模块54，用于基于所述第一OTF，对所述第一图像的至少一个其它频域信号进行求逆，得到所述全景深图像的至少一个第四频域信号；对所述全景深图像的至少一个第四频域信号进行空域转换，得到所述全景深图像的至少一个其它空域信号。
本实施例的具体实现可参照本申请提供的一种图像处理方法实施例中的相应描述。
在又一种可选的实现方式中，比如如图6A所示的实现方式中，所述两张图像包括：第三图像和第四图像，各所述图像中对应的至少一对区域包括：所述第三图像中的一第一区域和所述第四图像中与所述第一区域对应的一第二区域；
所述第四图像的光圈F的平方与所述第三图像的光圈F值的平方的比值和所述第三图像中所述场景的深度与所述第三图像的对焦距离之差与所述第四图像中所述场景的深度与所述第四图像的对焦距离之差的比值的绝对值的乘积为大于1的第三值；
如图6D所示，第一处理模块53包括：
第七单元537，用于至少根据所述第一区域的第五频域信号、所述第二区域的第六频域信号、所述第三值，得到所述场景中与所述第一区域对应的一第三区域的第一子图像的一空域信号和所述第一区域的第三OTF；
第八单元538，用于至少根据所述第三图像的对焦距离、所述第一区域的深度、所述第三OTF、所述第三图像中所述第一区域之外的至少一个第四区域的深度和一空域信号，得到所述场景中与所述至少一个第四区域对应的至少一个第五区域的至少一个第二子图像的至少一个空域信号；
第九单元539，用于根据所述第三区域的第一子图像的一空域信号、所述至少一个第五区域的至少一个第二子图像的至少一个空域信号，得到所述全景深图像的一空域信号。
在此实现方式中，为了进一步得到所述全景深图像的至少一个其它空域信号，比如在得到所述全景深图像的R信号后再得到所述全景深图像的G信号、B信号，可选地，如图6E所示，装置500还包括：
第三处理模块55，用于获取所述第一区域的至少一个其它空域信号；对所述第一区域的至少一个其它空域信号进行频域转换，得到所述第一区域的至少一个其它频域信号；根据所述第三OTF、所述第一区域的至少一个其它频域信号，得到所述第一子图像的至少一个其它空域信号；
第四处理模块56，用于获取各所述第四区域的至少一个其它空域信号；对所述第四区域的至少一个其它空域信号进行频域转换，得到所述第四区域的至少一个其它频域信号；根据所述第三OTF、所述第四区域的至少一个其它频域信号，得到所述第二子图像的至少一个其它空域信号；
第五处理模块57，用于根据所述第一子图像的至少一个其它空域信号、所述第二子图像的至少一个其它空域信号，得到所述全景深图像的至少一个其它空域信号。
本实施例的具体实现可参照本申请提供的一种图像处理方法实施例中的相应描述。
本实施例中，图像获取模块51有多种实现方式。
在一种可选的实现方式中，图像获取模块51具体用于：从一图像拍摄装置获取所述图像拍摄装置在同一位置以不同的景深参数拍摄的同一场景的两张图像。
可选地，所述图像拍摄装置可以设计成在用户按下“拍摄”按钮之后，自动地以不同的景深参数拍摄同一场景的两张图像。
在又一种可选的实现方式中，图像获取模块51具体用于：分别从相同的光圈样式的两个图像拍摄装置获取所述两个图像拍摄装置在同一位置分别以不同的景深参数拍摄的同一场景的两张图像。
图7为本申请提供的一种图像处理装置实施例二的结构示意图。如图7所示，图像处理装置700包括：
处理器(processor)71、通信接口(Communications Interface)72、存储器(memory)73、以及通信总线74。其中：
处理器71、通信接口72、以及存储器73通过通信总线74完成相互间的通信。
通信接口72，用于与比如图像拍摄装置等的通信。
处理器71，用于执行程序732，具体可以执行上述图像处理方法实施例中的相关步骤。
具体地，程序732可以包括程序代码，所述程序代码包括计算机操作指令。
处理器71可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施图像处理方法实施例的一个或多个集成电路。
存储器73，用于存放程序732。存储器73可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序732具体可以用于使得图像处理装置700执行以下步骤：
获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像；
对各所述图像进行频域转换，得到各所述图像的一频域信号；
至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。
程序732中各步骤的具体实现可以参见上述图像处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (26)

1.一种图像处理方法，其特征在于，所述方法包括：
获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像；
对各所述图像进行频域转换，得到各所述图像的一频域信号；
至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。
2.根据权利要求1所述的方法，其特征在于，所述获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，包括：获取各所述图像的一空域信号；
所述对各所述图像进行频域转换，得到各所述图像的频域信号，包括：对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
3.根据权利要求2所述的方法，其特征在于，所述空域信号包括以下任一种：灰度信号，红R信号，绿G信号，蓝B信号。
4.根据权利要求2或3所述的方法，其特征在于，所述景深参数包括以下至少一种：光圈F值，对焦距离。
5.根据权利要求4所述的方法，其特征在于，所述对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号，包括：
响应于所述场景的最大深度差不超过一第一深度差阈值，对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
6.根据权利要求5所述的方法，其特征在于，所述两张图像包括：第一图像和第二图像；
所述第二图像的光圈F值的平方与所述第一图像的光圈F值的平方的比值和所述第一图像中所述场景的深度与所述第一图像的对焦距离之差与所述第二图像中所述场景的深度与所述第二图像的对焦距离之差的比值的绝对值的乘积为大于1的第一值；
所述至少根据各所述图像的频域信号和所述不同的景深参数，得到所述场景的全景深图像，包括：
将所述第一图像的第一频域信号中最低频且面积为一第二值的第一频谱区域的部分作为所述第一图像的第一光学传递函数OTF中所述第一频谱区域的部分；
将所述第一光学传递函数OTF中所述第一频谱区域的部分在频率空间以所述第一值的平方为倍数放大后，得到所述第二图像的第二OTF中第二频谱区域的部分，所述第二频谱区域的面积等于所述第一频谱区域的面积与所述第一值的平方的乘积；
基于所述第二OTF中第二频谱区域的部分，对所述第二图像的第二频域信号进行局部求逆，得到所述全景深图像的第三频域信号中所述第二频谱区域的部分；
基于所述第三频域信号中所述第二频谱区域的部分，对所述第一频域信号进行局部求逆，得到所述第一光学传递函数OTF中所述第二频谱区域的部分；
基于所述第一光学传递函数OTF中所述第二频谱区域的部分，依次迭代进行所述放大和所述局部求逆，得到所述第三频域信号；
对所述第三频域信号进行空域转换，得到所述全景深图像的一空域信号。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一光学传递函数OTF中所述第二频谱区域的部分，依次迭代进行所述放大和所述局部求逆，得到所述第三频域信号，包括：
基于所述第一光学传递函数OTF中所述第二频谱区域的部分，依次迭代进行所述放大和所述局部求逆，得到所述第三频域信号和所述第一光学传递函数OTF；
所述方法还包括：获取所述第一图像的至少一个其它空域信号；对所述第一图像的至少一个其它空域信号进行频域转换，得到所述第一图像的至少一个其它频域信号；基于所述第一光学传递函数OTF，对所述第一图像的至少一个其它频域信号进行求逆，得到所述全景深图像的至少一个第四频域信号；对所述全景深图像的至少一个第四频域信号进行空域转换，得到所述全景深图像的至少一个其它空域信号。
8.根据权利要求4所述的方法，其特征在于，所述对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号，包括：
响应于所述场景的最大深度差超过一第二深度差阈值，以相同的方式将各所述图像均划分为至少两个区域，各所述区域的最大深度差不超过所述第二深度差阈值；
对各所述图像中对应的至少一对区域的至少一对空域信号进行频域转换，得到所述至少一对区域的至少一对频域信号。
9.根据权利要求8所述的方法，其特征在于，所述两张图像包括：第三图像和第四图像，各所述图像中对应的至少一对区域包括：所述第三图像中的一第一区域和所述第四图像中与所述第一区域对应的一第二区域；
所述第四图像的光圈F值的平方与所述第三图像的光圈F值的平方的比值和所述第三图像中所述场景的深度与所述第三图像的对焦距离之差与所述第四图像中所述场景的深度与所述第四图像的对焦距离之差的比值的绝对值的乘积为大于1的第三值；
所述至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像，包括：
至少根据所述第一区域的第五频域信号、所述第二区域的第六频域信号、所述第三值，得到所述场景中与所述第一区域对应的一第三区域的第一子图像的一空域信号和所述第一区域的第三OTF；
至少根据所述第三图像的对焦距离、所述第一区域的深度、所述第三OTF、所述第三图像中所述第一区域之外的至少一个第四区域的深度和一空域信号，得到所述场景中与所述至少一个第四区域对应的至少一个第五区域的至少一个第二子图像的至少一个空域信号；
根据所述第三区域的第一子图像的一空域信号、所述至少一个第五区域的至少一个第二子图像的至少一个空域信号，得到所述全景深图像的一空域信号。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取所述第一区域的至少一个其它空域信号；对所述第一区域的至少一个其它空域信号进行频域转换，得到所述第一区域的至少一个其它频域信号；根据所述第三OTF、所述第一区域的至少一个其它频域信号，得到所述第一子图像的至少一个其它空域信号；
获取各所述第四区域的至少一个其它空域信号；对各所述第四区域的至少一个其它空域信号进行频域转换，得到各所述第四区域的至少一个其它频域信号；根据所述第三OTF、各所述第四区域的至少一个其它频域信号，得到各所述第二子图像的至少一个其它空域信号；
根据所述第一子图像的至少一个其它空域信号、所述至少一个第二子图像的至少一个其它空域信号，得到所述全景深图像的至少一个其它空域信号。
11.根据权利要求2或3所述的方法，其特征在于，所述空域信号的自变量空间是极坐标空间。
12.根据权利要求1～3中任一所述的方法，其特征在于，所述获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，包括：
从一图像拍摄装置获取所述图像拍摄装置在同一位置以不同的景深参数拍摄的同一场景的两张图像。
13.根据权利要求1～3中任一所述的方法，其特征在于，所述获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像，包括：
分别从相同的光圈样式的两个图像拍摄装置获取所述两个图像拍摄装置在同一位置分别以不同的景深参数拍摄的同一场景的两张图像。
14.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取在同一位置以相同的光圈样式、不同的景深参数拍摄的同一场景的两张图像；
频域转换模块，用于对各所述图像进行频域转换，得到各所述图像的一频域信号；
第一处理模块，用于至少根据各所述图像的一频域信号和所述不同的景深参数，得到所述场景的全景深图像。
15.根据权利要求14所述的装置，其特征在于，所述图像获取模块具体用于：获取各所述图像的一空域信号；
所述频域转换模块具体用于：对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
16.根据权利要求15所述的装置，其特征在于，所述空域信号包括以下任一种：灰度信号，红R信号，绿G信号，蓝B信号。
17.根据权利要求15或16所述的装置，其特征在于，所述景深参数包括以下至少一种：光圈F值，对焦距离。
18.根据权利要求17所述的装置，其特征在于，所述频域转换模块具体用于：
响应于所述场景的最大深度差不超过一第一深度差阈值，对各所述图像的一空域信号进行频域转换，得到各所述图像的一频域信号。
19.根据权利要求18所述的装置，其特征在于，所述两张图像包括：第一图像和第二图像；
所述第二图像的光圈F值的平方与所述第一图像的光圈F值的平方的比值和所述第一图像中所述场景的深度与所述第一图像的对焦距离之差与所述第二图像中所述场景的深度与所述第二图像的对焦距离之差的比值的绝对值的乘积为大于1的第一值；
所述第一处理模块包括：
第一单元，用于将所述第一图像的第一频域信号中最低频且面积为一第二值的第一频谱区域的部分作为所述第一图像的第一光学传递函数OTF中所述第一频谱区域的部分；
第二单元，用于将所述第一光学传递函数OTF中所述第一频谱区域的部分在频率空间以所述第一值的平方为倍数放大后，得到所述第二图像的第二OTF中第二频谱区域的部分，所述第二频谱区域的面积等于所述第一频谱区域的面积与所述第一值的平方的乘积；
第三单元，用于基于所述第二OTF中第二频谱区域的部分，对所述第二图像的第二频域信号进行局部求逆，得到所述全景深图像的第三频域信号中所述第二频谱区域的部分；
第四单元，用于基于所述第三频域信号中所述第二频谱区域的部分，对所述第一频域信号进行局部求逆，得到所述第一光学传递函数OTF中所述第二频谱区域的部分；
第五单元，用于基于所述第一光学传递函数OTF中所述第二频谱区域的部分，依次在所述第二单元、所述第三单元、所述第四单元中迭代进行所述放大和所述局部求逆，得到所述第三频域信号；
第六单元，用于对所述第三频域信号进行空域转换，得到所述全景深图像的一空域信号。
20.根据权利要求19所述的装置，其特征在于，所述第五单元具体用于：基于所述第一光学传递函数OTF中所述第二频谱区域的部分，依次在所述第二单元、所述第三单元、所述第四单元中迭代进行所述放大和所述局部求逆，得到所述第三频域信号和所述第一光学传递函数OTF；
所述图像获取模块还用于：获取所述第一图像的至少一个其它空域信号；
所述频域转换模块还用于：对所述第一图像的至少一个其它空域信号进行频域转换，得到所述第一图像的至少一个其它频域信号；
所述装置还包括：第二处理模块，用于基于所述第一光学传递函数OTF，对所述第一图像的至少一个其它频域信号进行求逆，得到所述全景深图像的至少一个第四频域信号；对所述全景深图像的至少一个第四频域信号进行空域转换，得到所述全景深图像的至少一个其它空域信号。
21.根据权利要求17所述的装置，其特征在于，所述频域转换模块，包括：
划分单元，用于响应于所述场景的最大深度差超过一第二深度差阈值，以相同的方式将各所述图像均划分为至少两个区域，各所述区域的最大深度差不超过所述第二深度差阈值；
转换单元，用于对各所述图像中对应的至少一对区域的至少一对空域信号进行频域转换，得到所述至少一对区域的至少一对频域信号。
22.根据权利要求21所述的装置，其特征在于，所述两张图像包括：第三图像和第四图像，各所述图像中对应的至少一对区域包括：所述第三图像中的一第一区域和所述第四图像中与所述第一区域对应的一第二区域；
所述第四图像的光圈F值的平方与所述第三图像的光圈F值的平方的比值和所述第三图像中所述场景的深度与所述第三图像的对焦距离之差与所述第四图像中所述场景的深度与所述第四图像的对焦距离之差的比值的绝对值的乘积为大于1的第三值；
所述第一处理模块包括：
第七单元，用于至少根据所述第一区域的第五频域信号、所述第二区域的第六频域信号、所述第三值，得到所述场景中与所述第一区域对应的一第三区域的第一子图像的一空域信号和所述第一区域的第三OTF；
第八单元，用于至少根据所述第三图像的对焦距离、所述第一区域的深度、所述第三OTF、所述第三图像中所述第一区域之外的至少一个第四区域的深度和一空域信号，得到所述场景中与所述至少一个第四区域对应的至少一个第五区域的至少一个第二子图像的至少一个空域信号；
第九单元，用于根据所述第三区域的第一子图像的一空域信号、所述至少一个第五区域的至少一个第二子图像的至少一个空域信号，得到所述全景深图像的一空域信号。
23.根据权利要求22所述的装置，其特征在于，所述装置还包括：
第三处理模块，用于获取所述第一区域的至少一个其它空域信号；对所述第一区域的至少一个其它空域信号进行频域转换，得到所述第一区域的至少一个其它频域信号；根据所述第三OTF、所述第一区域的至少一个其它频域信号，得到所述第一子图像的至少一个其它空域信号；
第四处理模块，用于获取各所述第四区域的至少一个其它空域信号；对各所述第四区域的至少一个其它空域信号进行频域转换，得到各所述第四区域的至少一个其它频域信号；根据所述第三OTF、各所述第四区域的至少一个其它频域信号，得到各所述第二子图像的至少一个其它空域信号；
第五处理模块，用于根据所述第一子图像的至少一个其它空域信号、所述至少一个第二子图像的至少一个其它空域信号，得到所述全景深图像的至少一个其它空域信号。
24.根据权利要求15或16所述的装置，其特征在于，所述空域信号的自变量空间是极坐标空间。
25.根据权利要求14～16中任一所述的装置，其特征在于，所述图像获取模块具体用于：从一图像拍摄装置获取所述图像拍摄装置在同一位置以不同的景深参数拍摄的同一场景的两张图像。
26.根据权利要求14～16中任一所述的装置，其特征在于，所述图像获取模块具体用于：分别从相同的光圈样式的两个图像拍摄装置获取所述两个图像拍摄装置在同一位置分别以不同的景深参数拍摄的同一场景的两张图像。
CN201410798564.4A 2014-12-18 2014-12-18 图像处理方法及装置 Active CN104506771B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410798564.4A CN104506771B (zh) 2014-12-18 2014-12-18 图像处理方法及装置
US15/536,715 US10284768B2 (en) 2014-12-18 2015-11-20 Image processing method and apparatus
PCT/CN2015/095080 WO2016095651A1 (en) 2014-12-18 2015-11-20 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410798564.4A CN104506771B (zh) 2014-12-18 2014-12-18 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN104506771A CN104506771A (zh) 2015-04-08
CN104506771B true CN104506771B (zh) 2018-04-27

Family

ID=52948485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410798564.4A Active CN104506771B (zh) 2014-12-18 2014-12-18 图像处理方法及装置

Country Status (3)

Country Link
US (1) US10284768B2 (zh)
CN (1) CN104506771B (zh)
WO (1) WO2016095651A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506771B (zh) * 2014-12-18 2018-04-27 北京智谷睿拓技术服务有限公司 图像处理方法及装置
CN105430266A (zh) * 2015-11-30 2016-03-23 努比亚技术有限公司 基于多尺度变换的图像处理方法及终端
CN113924517B (zh) * 2019-06-06 2024-03-22 应用材料公司 生成复合影像的成像***及方法
CN113795862B (zh) * 2019-11-27 2024-06-21 深圳市晟视科技有限公司 一种景深合成***、相机和显微镜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964866A (zh) * 2009-07-24 2011-02-02 鸿富锦精密工业（深圳）有限公司 计算摄像型数码相机
CN103262523A (zh) * 2011-12-12 2013-08-21 松下电器产业株式会社 摄像装置、摄像***、撮像方法以及图像处理方法
CN103875019A (zh) * 2011-10-11 2014-06-18 安奇逻辑股份有限公司 全焦点图像生成方法、装置和程序，以及被摄体高度信息取得方法、装置和程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361546B2 (ja) * 2009-06-03 2013-12-04 キヤノン株式会社 レンズ装置、及びその制御方法
KR101594300B1 (ko) 2009-11-20 2016-02-16 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
US9407833B2 (en) * 2010-01-22 2016-08-02 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for recording an image using an optical diffuser
WO2012063449A1 (ja) * 2010-11-08 2012-05-18 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
CN103168271B (zh) * 2011-10-12 2017-03-08 松下知识产权经营株式会社 摄像装置、半导体集成电路以及摄像方法
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
US9589328B2 (en) 2012-11-09 2017-03-07 Nikon Corporation Globally dominant point spread function estimation
CN104506771B (zh) * 2014-12-18 2018-04-27 北京智谷睿拓技术服务有限公司 图像处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964866A (zh) * 2009-07-24 2011-02-02 鸿富锦精密工业（深圳）有限公司 计算摄像型数码相机
CN103875019A (zh) * 2011-10-11 2014-06-18 安奇逻辑股份有限公司 全焦点图像生成方法、装置和程序，以及被摄体高度信息取得方法、装置和程序
CN103262523A (zh) * 2011-12-12 2013-08-21 松下电器产业株式会社 摄像装置、摄像***、撮像方法以及图像处理方法

Also Published As

Publication number Publication date
WO2016095651A1 (en) 2016-06-23
US20180020148A1 (en) 2018-01-18
CN104506771A (zh) 2015-04-08
US10284768B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
CN109474780B (zh) 一种用于图像处理的方法和装置
US9253377B2 (en) Image processing device and image processing system where de-mosaic image is generated based on shift amount estimation of pixels of captured images
CN107454343B (zh) 拍照方法、拍照装置及终端
JP2019165506A (ja) マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法
CN104506771B (zh) 图像处理方法及装置
TWI557686B (zh) 校正影像色偏之方法與相關裝置
CN106462956A (zh) 局部自适应直方图均衡
CN107690673A (zh) 图像处理方法、装置及服务器
WO2017087148A1 (en) Device and method for generating a panoramic image
CN116569213A (zh) 图像区域的语义细化
CN105678736B (zh) 具有孔径改变深度估计的图像处理***及其操作方法
JP2023538020A (ja) オブジェクトカテゴリー分類に基づく画像処理
KR20160140453A (ko) 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
CN108668069A (zh) 一种图像背景虚化方法及装置
CN111131688A (zh) 一种图像处理方法、装置及移动终端
CN108122218B (zh) 基于颜色空间的图像融合方法与装置
JP2016103806A (ja) 撮像装置、画像処理装置、撮像システム、画像処理方法およびプログラム
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
CN109493376B (zh) 图像处理方法和装置、存储介质及电子装置
JP7107224B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN104504667B (zh) 图像处理方法及装置
JP7014175B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN112995633B (zh) 图像的白平衡处理方法、装置、电子设备和存储介质
CN105279727B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant