CN105391932B - 图像处理装置及其控制方法、以及摄像装置及其控制方法 - Google Patents

图像处理装置及其控制方法、以及摄像装置及其控制方法 Download PDF

Info

Publication number
CN105391932B
CN105391932B CN201510512743.1A CN201510512743A CN105391932B CN 105391932 B CN105391932 B CN 105391932B CN 201510512743 A CN201510512743 A CN 201510512743A CN 105391932 B CN105391932 B CN 105391932B
Authority
CN
China
Prior art keywords
image
unit
image processing
processing apparatus
gradation conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510512743.1A
Other languages
English (en)
Other versions
CN105391932A (zh
Inventor
中山文贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201811425016.1A priority Critical patent/CN109255810B/zh
Publication of CN105391932A publication Critical patent/CN105391932A/zh
Application granted granted Critical
Publication of CN105391932B publication Critical patent/CN105391932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理装置及其控制方法、以及摄像装置及其控制方法。所述图像处理装置包括：获取单元，其被构造为获取通过拍摄由摄影光学***形成的被摄体像而获得的多个图像的图像信号；确定单元，其被构造为通过使用所述多个图像的图像信号，来确定所述被摄体像的散焦量；以及转换单元，其被构造为对所述散焦量，进行具有多个不同转换特性当中的至少一个转换特性的灰度转换，并且输出基于通过所述灰度转换而转换的所述散焦量的信息。

Description

图像处理装置及其控制方法、以及摄像装置及其控制方法
技术领域
本发明涉及一种图像处理装置、图像处理装置控制方法、摄像装置及摄像装置控制方法。
背景技术
已知如下类型的摄像装置：使用光瞳分割型相位差检测方法或者在模糊方面彼此不同的多个图像，来检测散焦量(受光面与透镜的成像面之差)。
在日本特开2008-15754号公报中，公开了一种由图像的像偏移量(视差量)计算散焦量的方法。将图像分割为微小的块，通过相对于微小的块之一中的一对像素使数据偏移，来计算相关值，并且获得相关性最高的偏移量，作为视差量。由计算出的偏移量以及基于使用的摄像元件的像素间距和透镜而确定的转换系数，相对于被摄体像面的预期成像面来计算散焦量。
在日本特开2013-253964号公报中，公开了一种通过散焦深度(Depth fromDefocus，DFD)来计算散焦量的方法。在DFD中，控制摄像光学***的摄影参数，以获得在模糊方面彼此不同的多个图像，并且计算多个获得的图像中测量目标像素与其周边像素之间的模糊的相关量，从而计算散焦量。通过这些方法计算出的散焦量是像面上的距离，因此，可以进一步利用透镜公式将像面距离转换为物面距离，来计算被摄体距离信息。
同样，公开了将通过这些方法计算出的散焦量及被摄体距离应用于各类图像处理的技术。在日本特开2010-45457号公报中，面部亮度校正包括进行如下处理：与散焦量相关地改变校正增益，使得对焦的面部具有适当的亮度。日本特开2013-243529号公报包括进行如下处理：摄像装置使用被摄体距离，以在被摄***于距摄像装置预定距离之内时，拍摄被摄体的图像。
然而，在某些情况下，计算出的散焦量及被摄体距离(两者可一起被称为“距离信息”)并不最适用于距离信息的输出目的地。
发明内容
本发明的目的是提供能够输出在信息的输出目的地可以良好地使用的散焦量等的图像处理装置及摄像装置。
根据本发明的一个方面，提供一种图像处理装置，该图像处理装置包括：获取单元，其被构造为获取通过拍摄由摄影光学***形成的被摄体像而获得的多个图像的图像信号；确定单元，其被构造为通过使用所述多个图像的图像信号，来确定所述被摄体像的散焦量；以及转换单元，其被构造为对所述散焦量，进行具有多个不同转换特性当中的至少一个转换特性的灰度转换，并且输出基于通过所述灰度转换而转换的所述散焦量的信息。
根据本发明的一个实施例，可以提供能够输出在信息的输出目的地可以良好地使用的散焦量等的图像处理装置及摄像装置。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是用于例示根据本发明的第一实施例的图像处理装置应用于的摄像装置的***结构的图。
图2是用于示意性地例示根据本发明的第一实施例的摄像装置中的摄像元件的像素排列的图。
图3是根据本发明的第一实施例的摄像装置的图像处理单元的框图。
图4A、4B及4C是用于示出使用具有视差的图像的像偏移量检测的图。
图5A、5B、5C及5D是用于示出根据本发明的第一实施例的摄像装置中的灰度转换特性的示例的图。
图6是用于例示F值、像偏移量及散焦量之间的关系的图。
图7是根据本发明的第二实施例的图像处理装置的图像处理单元的框图。
图8是用于示出根据本发明的第一实施例的图像处理装置中的灰度转换特性的另一示例的图。
图9是用于例示摄像面距离与物面距离之间的关系的图。
图10是用于示出根据本发明的第二实施例的图像处理装置中的灰度转换特性的示例的图。
图11是用于例示摄像元件的像素排列的另一示例的图。
图12是根据本发明的第三实施例的图像处理装置的图像处理单元的框图。
图13A及13B是根据本发明的第四实施例的图像处理装置的图像处理单元的框图。
图14A、14B、14C、14D及14E是用于例示根据本发明的第四实施例的图像处理装置中的图像生成的图。
图15A、15B、15C及15D是用于示出根据本发明的第四实施例的图像处理装置中被摄体距离与距离映射(map)之间的关系的图。
图16是用于例示根据本发明的第四实施例的图像处理装置中被摄体距离与背景放大倍率之间的关系的图。
具体实施方式
当将计算出的散焦量及被摄体距离输出到摄像装置的外部、或者输出到摄像装置内部的其他模块或应用时，需要依据距离信息的输出目的地而在输出距离信息之前转换距离信息。例如，如同在日本特开2010-45457号公报中，一些需要对焦区域附近的距离分辨率，并且如同在日本特开2013-243529号公报中，另一些需要测距范围。另外，需要使距离信息保持在连接到距离信息的输出目的地的传输路径的极限字长之下。
下面，参照附图来详细描述本发明的示例性实施例。以下实施例描述将本发明的图像处理装置应用于作为摄像装置的示例的数字照相机的示例。
[第一实施例]
图1是用于例示作为根据本发明的第一实施例的图像处理装置应用于的摄像装置的示例的数字照相机的功能结构的框图。在图1中，控制单元101是例如CPU，并且通过从ROM102当中读取在数字照相机100中包括的块的各自操作程序，并在RAM 103上展开这些操作程序以执行这些操作程序，由此控制各块的操作。ROM 102是可重写的非易失性存储器，并且除了在数字照相机100中包括的各块的操作程序之外，还存储各块的操作所需的参数和其他类型的信息。RAM 103是可重写的易失性存储器，并且用作通过在数字照相机100中包括的各块的操作而输出的数据的临时存储区域。
摄影光学***104在摄像单元105中形成被摄体像。摄像单元105包括诸如CCD或CMOS传感器等的摄像元件，并且向A/D转换单元106，输出通过由摄影光学***104在摄像元件中形成的光学像的光电转换而获得的模拟图像信号。A/D转换单元106对输入的模拟图像信号进行A/D转换处理，并且将所得的数字图像数据输出到RAM 103，该数字图像数据被存储在该RAM 103中。
图像处理单元107对存储在RAM 103中的图像数据进行各种图像处理，例如白平衡调整、颜色插值、缩小/放大以及滤波。
记录介质108是可拆卸的存储卡等。存储在RAM 103中的图像(包括由图像处理单元107处理的图像，以及经历A/D转换单元106的A/D转换的图像)被记录在记录介质108上作为记录图像。图像处理单元107及记录介质108还处置后述的散焦量及被摄体距离的生成和记录。
图2是用于示意性地例示在根据本实施例的数字照相机100中包括的摄像单元105的像素排列结构的图。图2的像素排列结构与在日本特开2008-15754号公报中公开的摄像元件的像素排列相同。在图2中，各单位像素202包括微透镜201和一对光电转换器203及204。光电转换器(分割像素)203及204经由微透镜(光瞳分割单元)201，从摄影光学***104的出射光瞳的不同光瞳区域中接收光束。在单位像素202以二维方式规则排列的图1的摄像单元105中，通过收集来自各单位像素202的分割像素203的光电转换输出，由穿过与例如分割像素203相关联的光瞳分割区域的光束，来生成像的图像信号。同样，通过收集另一分割像素204的光电转换输出，由穿过与分割像素204相关联的其他光瞳分割区域的光束，来生成像的图像信号。摄像单元105能够以这种方式来获取一对具有视差的图像信号。在本实施例中，由光电转换器203拍摄的图像被称为像A，并且由光电转换器204拍摄的图像被称为像B。
图3是用于例示根据本实施例的图像处理装置应用于的数字照相机的图像处理单元107中的像生成单元、散焦量计算单元及灰度转换单元的图。
像生成单元305将由从摄影光学***104的光瞳的不同区域到达的光束而形成的多个被摄体像(在本实施例中，像A和像B)相加在一起，并且像生成单元305生成与由从摄影光学***104的光瞳的全部区域到达的光束而生成的单个被摄体像相对应的像。由306表示的像A和由307表示的像B被输入至像生成单元305，并且像生成单元305输出像308。由像生成单元305生成的像308接受进一步的图像处理，例如白平衡调整、颜色插值、缩小/放大和滤波，并且处理后的图像被记录在图1的记录介质108上作为记录图像。
由301表示的散焦量计算单元被构造为计算在目标像素位置的散焦量。由302表示的像A和由303表示的像B被输入至散焦量计算单元301，并且散焦量计算单元301输出散焦量304。散焦量计算单元301通过计算像A与像B之间的相关性的相关函数，或者通过其他方法，来计算散焦量。
下面，描述计算相关函数的处理。由相关函数来计算散焦量的处理可以使用在日本特开2008-15754号公报中公开的方法。参照图4A至4C来描述计算的具体处理。在图4A至4C各图中，横轴表示像偏移量，纵轴表示由式(1)表现的图像之间的相关量。图4A是相关度高的示例。图4B及4C是相关度低的示例。
根据日本特开2008-15754号公报，一个微小的块中的一对像素数据以一般化的形式被表现为(E(1)至E(m))和(F(1)至F(m))(m表示数据的数量)。使数据序列(F(1)至F(m))相对于数据序列(E(1)至E(m))偏移，以通过式(1)来计算两个数据序列之间的像偏移量k的相关量C(k)。
C(k)＝∑|E(n)-F(n+k)| …(1)
在式(1)中，针对n来执行∑运算。在该运算中能够取n及n+k的值被限定于1至m的范围。像偏移量k是整数，并且表示图像间的相对移位量。
式(1)的计算结果如图4A所示，并且在一对数据序列之间的相关性高的移位量下，相关量C(k)最小(相关量越小，相关度越高)。随后，使用式(2)至(5)的三点插值，来获得针对连续的相关量给出最小值C(x)的移位量x。
x＝kj+D/SLOP …(2)
C(x)＝C(kj)-|D| …(3)
D＝{C(kj-1)-C(kj+1)}/2 …(4)
SLOP＝MAX{C(kj+1)-C(kj),C(kj-1)-C(kj)} …(5)
可以使用通过式(2)而获得的移位量x，以通过式(6)来获得针对被摄体像面的预期成像面的散焦量DEF。
DEF＝KX·PY·x …(6)
在式(6)中，PY表示摄像元件的像素间距(构成摄像元件的像素之间的距离)，并且KX表示基于穿过一对测距光瞳的光束的重心处的发散角的大小而确定的转换系数。转换系数的单位是mm/pix(毫米/像素)。穿过一对测距光瞳的光束的重心处的发散角的大小，依据透镜的光圈开口的尺寸(F值)而变化，因此是基于透镜信息来确定的。参照图6来描述该关系的详情。图6是用于例示针对预期成像面的散焦量、F值以及像偏移量之间的关系的图。图6中例示的有摄像对象的物面601、透镜602、摄像元件的预期成像面603、以及位于距预期成像面603散焦量605的散焦的位置的像面604。在图6中，还例示了与F值相关的像偏移量607及608。具体而言，当F值小(光圈开口宽)时，观察到像偏移量607，并且当F值大(光圈开口窄)时，观察到像偏移量608。通过图6能够理解，光圈开口越宽，相对于散焦位置的像面的像偏移量越大，并且光圈开口越窄，相对于散焦位置的像面的像偏移量越小。换言之，即使在相同的散焦量下，像偏移量也依据F值而变化。由于该原因，当由像偏移量来计算散焦量时，将像偏移量乘以作为与F值相关的增益的KX。
如下确定计算出的散焦量DEF是否可靠。如图4B所示，当一对数据序列之间的相关度低时，插值的相关量的最小值C(x)大。因此，当C(x)等于或大于规定值时，可靠性被确定为低。作为另一选择，当通过利用数据的对比率对C(x)进行归一化而获得的值等于或大于规定值时，可靠性被确定为低。通过将C(x)除以与对比率成比例的SLOP值，来实现归一化。在与对比率成比例的SLOP值等于或小于规定值的情况下，确定被摄体在对比率上是低的，并且计算出的散焦量DEF的可靠性是低的。
当如图4C所示一对数据序列之间的相关度低并且相关量C(k)未落在从k min到kmax的规定移位范围内时，无法获得最小值C(x)。在这种情况下，确定无法检测到像偏移量。在能够检测出像偏移量的情况下，通过式(6)来计算散焦量。
在日本特开2008-15754号公报中，将像素间的绝对差和(SAD)用于相关函数。然而，本实施例并不限定于此。例如，可以使用像素间的平方差和(sum of squareddifferences，SSD)或归一化互相关(normalized cross correlation，NCC)。相关度越高，NCC值越大，而相关度越高，SAD值及SSD值越小。除SAD及NCC以外，还可以使用计算一对被摄体像间的匹配度的任何相关度运算式。
如图3所示，从散焦量计算单元301输出的散焦量304被输入至灰度转换单元309。当散焦量304被输出时，灰度转换单元309进行适合于散焦量304的输出目的地的、或者适合于所使用的标准的数据转换。灰度转换单元309输出进行了灰度转换的散焦量310(该输出称为“散焦映射输出”)。在本实施例中，在针对散焦量输出目的地的接口使用8位(0至255)灰度的前提下，参照图5A至5D来描述灰度转换。图5A至5D是用于示出在灰度转换单元309中从散焦量到散焦映射的转换的特性的图。在各图中，横轴表示散焦量，纵轴表示散焦映射。被检测出0[mm]的散焦量的被摄体是聚焦被摄体。正散焦量表示在聚焦被摄体前方的被摄体，并且当散焦量在正方向上增大时，从聚焦被摄体到近侧的距离增大。负散焦量表示在聚焦被摄体后方的被摄体，并且当散焦量在负方向上增大时，从聚焦被摄体到远侧的距离增大。在图5A的转换特性501中，对散焦量304进行线性灰度转换。另一方面，在图5B的转换特性502中，对散焦量304进行非线性灰度转换，使得与在其他区域中相比，对在对焦区域附近的0[mm]左右的散焦量分配更多的位。在如同日本特开2013-243529号公报中、散焦量的输出目的地是需要宽的测距范围的应用的情况下，进行具有转换特性501等的线性灰度转换，以对任何散焦量都相等地分配位。另一方面，在如同日本特开2010-45457号公报中、散焦量的输出目的地是需要对焦区域附近的距离分辨率的情况下，进行具有转换特性502等的非线性灰度转换，使得与在其他区域中相比，对在对焦区域附近的散焦量分配更多的位。转换特性502的非线性特性仅仅是示例，并且灰度转换可以具有相对于0[mm]的散焦量是非对称的非线性特性，诸如图5C的转换特性503(与对在聚焦被摄体的前方的被摄体相比，对在聚焦被摄体后方的被摄体分配更多的位)。在需要特定被摄体(例如，由用户指定的被摄体)的散焦量的应用的情况下，也可以使用图5D的转换特性504等。
可以将要由灰度转换单元309利用的灰度转换特性的这些候选，预先存储在ROM102中，作为保持输出目的地或标准以及与其相关联的灰度转换特性的表数据。作为另一选择，可以在数字照相机100连接到作为散焦量的输出目的地的外部装置(例如PC、打印机或移动设备)的状态下，从该外部装置来接收灰度转换特性候选，或者在数字照相机100连接到服务器的状态下，从该服务器来接收灰度转换特性候选。在选择了标准的情况下，可以预先在ROM 102中存储与不同标准相关联的灰度转换特性候选。可以基于所使用的关于被摄体检测的信息、关于散焦量的输出目的地的信息或者关于标准的信息，在每次进行灰度转换时，生成由灰度转换单元309利用的灰度转换特性。从预先存储在ROM 102中的多个输出目的地候选中，选择灰度转换特性应当适合于的输出目的地或标准，或者在数字照相机100连接到上面给出的外部装置或者服务器的状态下，从外部装置或者连接到数字照相机100的服务器获得信息，由此基于关于外部装置的或者关于服务器的信息(基于与外部装置或服务器相关联的输出位计数或标准)，来确定灰度转换特性应当适合于的输出目的地或标准。
如在式(6)的描述中所述，当由像偏移量来计算散焦量时，将像偏移量乘以与F值相关的增益KX。因此，可以使灰度特性依据F值而变化。参照图8来描述该调整。图8是与图5A至5D同样地示出从散焦量到散焦映射的转换的特性的图。图8的转换特性是基于F值而调整的线性灰度转换特性。图8中所示的是F值为1.8的灰度特性801、在F值为3.5的灰度特性802、以及F值为5.6的灰度特性803。F值越小，在相同的散焦量下生成的像偏移量越大，因此，F值越小意味着测距范围越宽。因此，灰度特性801(F＝1.8)接近线性特性，并且当转换特性接近灰度特性802(F＝3.5)及灰度特性803(F＝5.6)时，对更大的散焦量分配更少的位。F值不是测距范围的变动的唯一因素，并且在获得图像时的基线长度是所述变动的其他因素。基线长度越长意味着视差越大且测距范围越宽，因此，可以使灰度特性依据基线长度而变化。在测距范围或测距分辨率依据摄影条件(例如摄像元件的ISO感光度)而变化的情况下，可以使用与该摄影条件相关联的灰度特性。
被构造为获取具有视差的图像信号的摄像装置的摄像单元(传感器)105并不限定于图2的像素排列，并且可以具有图11中所示的像素排列结构。在图11中，各像素1106包括微透镜1105、以及两对光电转换器1101及1104、以及1102及1103。在摄像单元105中，像素1106以二维方式规则地排列。光电转换器1101拍摄像A。光电转换器1102拍摄像B。光电转换器1103拍摄像C。光电转换器1104拍摄像D。如同在图3中，由像A、像B、像C及像D来生成像及散焦映射。
虽然在此描述了将光瞳分割摄像元件用于散焦量计算的示例，但是散焦量计算并不限定于此。可以利用从透镜和摄像元件被立体地布置的复眼照相机获取的图像，来计算散焦量。可以取代由图像的像偏移量来计算散焦量，而使用在日本2013-253964号公报及相关技术中记载的DFD。在DFD中，由基于在模糊方面彼此不同的多个图像的幂的模糊评价值来计算散焦量。
因此，根据本实施例，可以提供能够在输出散焦量时输出具有适合于散焦量的输出目的地的灰度特性的散焦量的图像处理装置及摄像装置。因此，根据本实施例，在散焦量的输出目的地，能够良好地使用由图像处理装置及摄像装置输出的散焦量。
[第二实施例]
下面，描述作为根据本发明的第二实施例的图像处理装置应用于的摄像装置的数字照相机。作为本实施例中的摄像装置的示例的数字照相机的结构及摄像元件与在第一实施例中参照图1及图2描述的相同，在此，除非必要，否则省略其描述。第二实施例与第一实施例的不同在于灰度转换单元的输出信息是被摄体距离(物面距离)。
图7是用于例示根据本实施例的图像处理装置应用于的数字照相机100的图像处理单元107中的像生成单元、散焦量计算单元、被摄体距离计算单元及灰度转换单元的图。像生成单元705将由从摄影光学***的光瞳的不同区域到达的光束而形成的多个被摄体像相加在一起，并且像生成单元305生成由从摄影光学***的光瞳的全部区域到达的光束而生成的单个被摄体像。由706表示的像A和由707表示的像B被输入至像生成单元705，并且像生成单元705输出像708。由像生成单元705生成的像708接受进一步的处理，例如白平衡调整、颜色插值、缩小/放大和滤波。处理后的图像被记录在图1的记录介质108上，作为记录图像。散焦量计算单元701被构造为计算在目标像素位置的散焦量。由702表示的像A和由703表示的像B被输入至散焦量计算单元701，并且散焦量计算单元701输出散焦量704。散焦量计算单元701通过计算像A与像B之间的相关性的相关函数，或者通过其他方法，来计算散焦量。通过与上面所述相同的处理来计算散焦量。将由散焦量计算单元701计算出的散焦量704，输入至被摄体距离计算单元709。被摄体距离计算单元709被构造为将散焦量704转换为被摄体距离710，并且参照图9来描述。图9是用于例示从摄像面距离到物面距离的转换的图。图9中例示的有聚焦物面901、透镜902、摄像面903以及像以散焦量905被散焦的摄像面位置904。在图9中，还例示了对焦物距OBJ(0)、相对于聚焦被摄体的摄像面距离S(0)、以及被测量的物距OBJ(def)。基于透镜公式，分别针对对焦物距OBJ(0)和被测量的物距OBJ(def)，下式成立。
基于式(7)及(8)，进行OBJ(def)构成左边部分的变形，从而获得下式。
式(9)能够用于从散焦量到被摄体距离的转换。当输出被摄体距离710时，灰度转换单元711进行适合于被摄体距离710的输出目的地的数据转换。灰度转换单元711输出对其进行了灰度转换的被摄体距离712(该输出称为“距离映射输出”)。在本实施例中，在针对被摄体距离输出目的地的接口使用8位(0至255)灰度的前提下，参照图10来描述灰度转换。
图10是用于示出在灰度转换单元711中的从被摄体距离到距离映射的转换的转换特性的示例的图。在该示例中，图具有横轴和纵轴，横轴表示被摄体距离，纵轴表示距离映射，并且到聚焦被摄体的距离是5,000[mm]。在转换特性1001中，对被摄体距离710进行线性灰度转换。另一方面，在转换特性1002中，对被摄体距离710进行非线性灰度转换，使得与在其他区域中相比，对对焦区域附近的5,000[mm]左右的被摄体距离，分配更多的位。在如同日本特开2013-243529号公报中、被摄体距离的输出目的地是需要宽的测距范围的应用的情况下，进行具有转换特性1001等的线性灰度转换，以对任何被摄体距离都相等地分配位。另一方面，在如同日本特开2010-45457号公报中、被摄体距离的输出目的地是需要对焦区域附近的距离分辨率的情况下，进行具有转换特性1002等的非线性灰度转换，使得与在其他区域中相比，对在对焦区域附近的被摄体距离分配更多的位。
根据本实施例，可以提供能够在基于散焦量输出被摄体距离时，输出具有适合于被摄体距离的输出目的地的灰度特性的被摄体距离的图像处理装置及摄像装置。因此，根据本实施例，在被摄体距离的输出目的地，能够良好地使用由图像处理装置及摄像装置输出的被摄体距离。
[第三实施例]
下面，描述作为根据本发明的第三实施例的图像处理装置应用于的摄像装置的数字照相机。作为本实施例中的摄像装置的示例的数字照相机的结构及摄像元件与在第一实施例中参照图1及图2描述的相同，在此，除非必要，否则省略其描述。第三实施例与第一实施例的不同在于配设了多个散焦映射输出目的地。
图12是用于例示根据本实施例的图像处理装置应用于的数字照相机100的图像处理单元107中的像生成单元、散焦量计算单元及灰度转换单元的图。
在图12中，像生成单元1205将由从摄影光学***的光瞳的不同区域到达的光束而形成的多个被摄体像相加在一起，并且像生成单元1205生成由从摄影光学***的光瞳的全部区域到达的光束而生成的单个被摄体像。由1206表示的像A和由1207表示的像B被输入至像生成单元1205，并且像生成单元1205输出像1208。由像生成单元1208生成的像1205接收进一步的处理，例如白平衡调整、颜色插值、缩小/放大和滤波。处理后的图像被记录在图1的记录介质108上，作为记录图像。散焦量计算单元1201被构造为计算在目标像素位置的散焦量。由1202表示的像A和由1203表示的像B被输入至散焦量计算单元1201，并且散焦量计算单元1201输出散焦量1204。散焦量计算单元1201通过计算像A与像B之间的相关性的相关函数，或者通过其他方法，来计算散焦量。通过与在第一实施例中描述的相同的处理来计算散焦量。将由散焦量计算单元1201计算出的散焦量1204，分别输入至灰度转换单元1209及1211。当输出散焦量1204时，灰度转换单元1209及1211通过使用彼此不同的灰度特性，来进行适合于散焦量1204的输出目的地的数据转换。灰度转换单元1209及1211分别输出对其进行了灰度转换的散焦映射1210及1212。在本实施例中，在针对各散焦映射输出目的地的接口使用8位(0至255)灰度、并且图像处理单元107连接到两个输出目的地的前提下，参照图5A至5D来描述灰度转换。在如同日本特开2013-243529号公报中、散焦映射1210的输出目的地是需要宽的测距范围的应用的情况下，灰度转换单元1209进行具有转换特性501等的线性灰度转换，以对任何散焦量都相等地分配位。另一方面，在如同日本特开2010-45457号公报中、散焦映射1212的输出目的地是需要对焦区域附近的距离分辨率的情况下，灰度转换单元1211进行具有转换特性502等的非线性灰度转换，使得与在其他区域中相比，对在对焦区域附近的散焦量分配更多的位。
虽然本实施例给出了配设两个输出单元即两个灰度转换单元1209及1211的示例，但是当配设了多于两个的输出单元时，也能够进行相同的处理。灰度转换特性并不限定于图5A的转换特性501和图5B的转换特性502，并且可以适合于作为散焦量的输出目的地的应用，如在第一实施例中所述。第三实施例的输出单元可以不输出散焦量而输出被摄体距离，如在第二实施例中所述。在可选模式中，输出单元中的一个输出散焦量，并且另一个输出单元输出被摄体距离。
根据本实施例，可以提供能够在将散焦量和被摄体距离输出到多个输出目的地时、输出各自具有适合于输出目的地的灰度特性的散焦量和被摄体距离的图像处理装置及摄像装置。因此，根据本实施例，在散焦量等的输出目的地，能够良好地使用由图像处理装置及摄像装置输出的散焦量。
[第四实施例]
下面，描述作为根据本发明的第四实施例的图像处理装置应用于的摄像装置的数字照相机。本实施例给出如下示例：距离信息被输出到图像处理应用，图像处理应用基于进行了灰度转换的距离信息，来生成处理参数，并且图像处理应用进行摄影图像的背景区域被放大的虚拟视点图像生成处理。
下面，描述作为根据本发明的第四实施例的图像处理装置应用于的摄像装置的数字照相机。作为本实施例中的摄像装置的示例的数字照相机的结构与在第一实施例中参照图1及图2描述的相同，在此，除非必要，否则省略其描述。
参照图13A至图14E，来描述作为本实施例的图像处理装置应用于的摄像装置的数字照相机的***结构及处理。如图13A所示，图像处理单元107配设有像生成单元1305、被摄体距离计算单元1301、灰度转换单元1309、图像变形参数计算单元1311及图像变形单元1313。从灰度转换单元1309输出的被摄体距离信息1310用于在图像变形单元1313中分割被摄体区域，并且被用于在图像变形参数计算单元1311中计算各被摄体的倍率。被摄体距离信息1310的传输路径字长是8位(0至255)。如图13B所示，图像变形单元1313包括区域分割单元1321、区域特定变形单元1322及图像合成单元1323。
图14A至14E是用于例示根据本实施例的图像处理装置应用于的摄像装置的处理结构的图。参照图14A至14E来描述处理的各步骤。图14A是摄影图像1401的图。区域分割单元1321使用被摄体距离信息1310来分割图14A中所示的摄影图像1401，并且生成在与对焦距离相同的距离处的区域(以下称为“聚焦被摄体区域”)的图像1411(参见图14B)，以及多个背景区域的图像1421(参见图14C)。接下来，区域特定变形单元(变形处理单元)1322基于被摄体距离信息1310，针对各背景被摄体来计算倍率，并且生成背景放大图像1431(参见图14D)。最后，图像合成单元1323组合背景放大图像1431和聚焦被摄体图像1411，以生成图像1441。
参照图16来描述图像变形参数。为了描述简单起见，图16以对聚焦被摄体以及背景中的两个被摄体进行摄影的情况作为示例。图16中的标记表示以下内容。
y1：聚焦被摄体的大小
y2：背景被摄体的大小
fw：摄影时的焦距
yw1，yw2：摄影时的像面上的大小
Sw1，Sw2：摄影时的到被摄体的距离
fT：从虚拟视点起的焦距
yT1，yT2：从虚拟视点摄影的被摄体的像面上的大小
ST1，ST2：从虚拟视点起的被摄体距离
t3：从摄影时的照相机位置到在虚拟视点的照相机位置的照相机移动量
为了生成背景被摄体被放大而聚焦被摄体的大小保持不变的图像，从虚拟视点摄影的聚焦被摄体y1的像面上的大小yT1，等于在摄影时的聚焦被摄体y1的像面上的大小yw1。因此，基于三角形间的比例关系以及透镜公式，作为背景的倍率的式，式(10)成立。
将背景的倍率定义为N＝yT2/Yw2，并且由摄影时的焦距fw、被摄体距离信息Sw1及Sw2、以及虚拟视点焦距fT，来计算背景倍率N。参照图15A至15D来描述该关系。图15A、15C及15D各自是以横轴表示背景被摄体距离并以纵轴表示背景倍率的图。图15B是用于例示图14A的摄影图像1401与图15A的变倍曲线1501之间的对应关系的图。图15A的变倍曲线1501是以横轴为背景被摄体距离并以纵轴为背景倍率而绘制的图。变倍曲线1501表示当距离增大到一定水平或更大时，背景倍率的值收敛。因此，能够通过使用同一倍率的变倍，来处理比规定距离远的背景被摄体。当将使用同一倍率用于位于一定距离或更远的背景被摄体的阈值的规定距离，定义为上限距离Sm时，上限距离Sm依据摄影时的焦距、虚拟焦距以及被摄体距离而变化，并且无法被唯一地确定。因此，使用倍率的改变量来确定上限距离Sm，并且参照图15C来给出相应的具体描述。图15C的变倍曲线1510与图15A的变倍曲线1501相同。在图15C中，计算针对一定距离ΔSw2的倍率N的改变量，搜索改变量小于规定值的距离，并且将找到的距离确定为上限距离Sm。改变量1513小于规定值，而改变量1512大于规定值。因此，将与改变量1513相关联的距离确定为上限距离Sm。这里的规定值被预先设置为使倍率改变量的差在视觉上变得明显的值。
参照图15A及15D，来描述当被摄体距离信息1310被输出到图像变形参数计算单元1311时进行的灰度转换。图15D是以横轴为被摄体距离并以纵轴为距离映射的图。变倍曲线1531表示如下灰度转换：距离分辨率对于接近摄像装置的被摄体是高的，因此针对被摄体距离的倍率改变量大。因为当与摄像装置的距离变大时，针对被摄体距离的倍率改变量变小，所以在该灰度转换中，随着与摄像装置的距离增大，距离分辨率逐渐减小。在超过上限距离Sm的被摄体距离处，距离映射值被输出为最大值。
因此，根据本实施例，可以提供能够输出具有对于使用距离信息的处理而言是最佳的灰度特性的距离信息的图像处理装置及摄像装置。因此，根据本实施例，在信息的输出目的地，能够良好地使用由图像处理装置及摄像装置输出的距离信息等。
[其他实施例]
另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的***或装置的计算机，来实现本发明的实施例，并且，可以利用通过由***或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限定于所公开的示例性实施例。所附权利要求的范围应当被赋予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。

Claims (21)

1.一种图像处理装置，该图像处理装置包括：
获取单元，其被构造为获取通过拍摄由摄影光学***形成的被摄体像而获得的多个图像的图像信号；
确定单元，其被构造为通过使用所述多个图像的图像信号，来确定所述被摄体像的距离信息；以及
转换单元，其被构造为对所述距离信息进行具有多个不同转换特性当中的至少一个转换特性的灰度转换，并且输出基于通过所述灰度转换而转换的所述距离信息的信息，
其中，所述转换单元基于所述信息被输出到的目的地，来选择所述多个不同转换特性当中的所述至少一个转换特性。
2.根据权利要求1所述的图像处理装置，其中，
所述转换单元基于所述转换特性，来确定所述转换单元的输出的灰度分辨率。
3.根据权利要求1或2所述的图像处理装置，其中，
所述多个不同转换特性包括灰度转换依据被摄体距离而变化的转换特性。
4.根据权利要求1或2所述的图像处理装置，其中，
所述多个不同转换特性包括灰度转换依据所述摄影光学***的透镜的F值而变化的转换特性。
5.根据权利要求1或2所述的图像处理装置，其中，
所述多个不同转换特性包括灰度转换依据所述被摄体像的摄像中的基线长度而变化的转换特性。
6.根据权利要求1或2所述的图像处理装置，其中，
所述多个不同转换特性包括灰度转换依据所述被摄体像的摄像中的ISO感光度而变化的转换特性。
7.根据权利要求1或2所述的图像处理装置，其中，
所述转换单元基于摄影条件，来选择所述多个不同转换特性当中的所述至少一个转换特性。
8.根据权利要求1或2所述的图像处理装置，
其中，所述转换单元包括生成单元，该生成单元被构造为由所述距离信息来生成被摄体距离的信息，并且
其中，所述转换单元基于所述多个不同转换特性当中的所述至少一个转换特性，来转换所述被摄体距离。
9.根据权利要求8所述的图像处理装置，所述图像处理装置还包括：
图像分割单元，其被构造为通过分割所述多个图像的图像信号，来获取多个分割图像；
变形处理单元，其被构造为基于所述转换单元的输出，来使所述多个分割图像中的各个变形；以及
图像合成单元，其被构造为组合进行了所述变形处理单元的变形的所述多个分割图像。
10.根据权利要求9所述的图像处理装置，
其中，所述转换单元生成通过基于所述多个不同转换特性当中的所述至少一个转换特性来转换所述被摄体距离而获得的距离映射值，并且其中，所述变形处理单元基于从所述转换单元输出的所述距离映射值，来使所述多个分割图像中的各个变形。
11.根据权利要求8所述的图像处理装置，其中，
所述转换单元基于所述多个不同转换特性当中的至少两个转换特性中的各个，来转换所述距离信息，并且输出通过所述距离信息的所述转换而获得的多个结果。
12.根据权利要求1所述的图像处理装置，其中，
所述多个图像的图像信号包括从如下图像信号中选择的信号：在模糊方面彼此不同的所述被摄体像的多个图像的图像信号、通过拍摄来自所述摄影光学***的光瞳的不同区域的所述被摄体像而获取的多个图像的图像信号、以及通过利用多个摄像单元拍摄被摄体的像而获取的多个图像的图像信号。
13.根据权利要求1所述的图像处理装置，其中，
所述距离信息基于表示所述多个图像之间的匹配度的值以及所述多个图像的模糊评价值中的一者。
14.根据权利要求1所述的图像处理装置，其中，所述距离信息是散焦量。
15.根据权利要求1所述的图像处理装置，其中，所述距离信息是被摄体距离。
16.一种摄像装置，该摄像装置包括：
摄像单元，其被构造为通过拍摄由摄影光学***形成的被摄体像，来生成图像信号；
确定单元，其被构造为通过使用由所述摄像单元生成的所述被摄体像的多个图像的图像信号，来确定所述被摄体像的距离信息；以及
转换单元，其被构造为对所述距离信息进行具有多个不同转换特性当中的至少一个转换特性的灰度转换，并且输出基于通过所述灰度转换而转换的所述距离信息的信息，
其中，所述转换单元基于所述信息被输出到的目的地，来选择所述多个不同转换特性当中的所述至少一个转换特性。
17.根据权利要求16所述的摄像装置，所述摄像装置还包括：
合成单元，其被构造为组合所述多个图像的图像信号；以及
图像处理单元，其被构造为基于所述转换单元的输出，来对所组合的图像信号进行处理，
其中，所述图像处理单元基于所述转换单元的输出，来生成所组合的图像信号的处理参数。
18.根据权利要求16或17所述的摄像装置，其中，
所述摄像单元通过接收来自所述摄影光学***的光瞳的不同区域的光束，来生成所述被摄体像当中的至少一对图像的图像信号。
19.根据权利要求16或17所述的摄像装置，其中，
所述摄像单元生成不同像面上的所述被摄体像的图像的图像信号。
20.一种图像处理装置的控制方法，该控制方法包括以下步骤：
获取通过拍摄由摄影光学***形成的被摄体像而获得的多个图像的图像信号；
通过使用所述多个图像的图像信号，来确定所述被摄体像的距离信息；以及
灰度转换步骤，对所述距离信息进行具有多个不同转换特性当中的至少一个转换特性的灰度转换，并且输出基于通过所述灰度转换而转换的所述距离信息的信息，
其中，在所述灰度转换步骤中，基于所述信息被输出到的目的地，来选择所述多个不同转换特性当中的所述至少一个转换特性。
21.一种摄像装置的控制方法，
所述摄像装置包括摄像单元，该摄像单元被构造为通过拍摄由摄影光学***形成的被摄体像来生成图像信号，
所述控制方法包括以下步骤：
通过使用由所述摄像单元生成的所述被摄体像的多个图像的图像信号，来确定所述被摄体像的距离信息；以及
灰度转换步骤，对所述距离信息进行具有多个不同转换特性当中的至少一个转换特性的灰度转换，并且输出基于通过所述灰度转换而转换的所述距离信息的信息，
其中，在所述灰度转换步骤中，基于所述信息被输出到的目的地，来选择所述多个不同转换特性当中的所述至少一个转换特性。
CN201510512743.1A 2014-08-20 2015-08-19 图像处理装置及其控制方法、以及摄像装置及其控制方法 Active CN105391932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425016.1A CN109255810B (zh) 2014-08-20 2015-08-19 图像处理装置及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-167479 2014-08-20
JP2014167479A JP6415179B2 (ja) 2014-08-20 2014-08-20 画像処理装置、画像処理方法、および撮像装置並びにその制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811425016.1A Division CN109255810B (zh) 2014-08-20 2015-08-19 图像处理装置及图像处理方法

Publications (2)

Publication Number Publication Date
CN105391932A CN105391932A (zh) 2016-03-09
CN105391932B true CN105391932B (zh) 2018-12-11

Family

ID=53938131

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510512743.1A Active CN105391932B (zh) 2014-08-20 2015-08-19 图像处理装置及其控制方法、以及摄像装置及其控制方法
CN201811425016.1A Active CN109255810B (zh) 2014-08-20 2015-08-19 图像处理装置及图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811425016.1A Active CN109255810B (zh) 2014-08-20 2015-08-19 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (2) US10432852B2 (zh)
EP (1) EP2988488B1 (zh)
JP (1) JP6415179B2 (zh)
CN (2) CN105391932B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI561908B (en) * 2015-03-27 2016-12-11 Vivotek Inc Auto focus method and apparatus using the same method
JP6289425B2 (ja) * 2015-09-25 2018-03-07 キヤノン株式会社 撮像素子およびその製造方法、撮像装置、撮像方法ならびにプログラム
JP6701023B2 (ja) * 2016-07-29 2020-05-27 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
NL2019319B1 (en) * 2017-07-21 2019-02-06 Easee Health B V A method of performing an eye examination test.
JP7199169B2 (ja) * 2018-07-05 2023-01-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7278096B2 (ja) * 2019-02-20 2023-05-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020141226A (ja) * 2019-02-27 2020-09-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7210388B2 (ja) * 2019-06-25 2023-01-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN110930388B (zh) * 2019-11-20 2023-06-06 中国科学院半导体研究所 离焦量检测方法
CN113014790B (zh) * 2019-12-19 2022-06-10 华为技术有限公司 离焦转换系数标定方法、pdaf方法和摄像头模组
JP2022083913A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2023101331A (ja) * 2022-01-07 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013064938A1 (en) * 2011-11-01 2013-05-10 Koninklijke Philips Electronics N.V. Saliency based disparity mapping

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置
JP5066851B2 (ja) 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
JP5030732B2 (ja) * 2006-12-04 2012-09-19 株式会社リコー 投射光学系及び画像投射装置
US20090148038A1 (en) * 2007-12-10 2009-06-11 Youichi Sawachi Distance image processing apparatus and method
JP2009162748A (ja) * 2007-12-10 2009-07-23 Fujifilm Corp 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム
JP5127628B2 (ja) 2008-08-08 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法
JP5419403B2 (ja) * 2008-09-04 2014-02-19 キヤノン株式会社 画像処理装置
JP4875762B2 (ja) * 2010-05-26 2012-02-15 シャープ株式会社 画像処理装置、画像表示装置および画像撮像装置
BR112013004460A2 (pt) * 2010-09-03 2016-06-07 Sony Corp dispositivo e método de processamento de imagem
WO2012050089A1 (ja) * 2010-10-12 2012-04-19 株式会社Ｊｖｃケンウッド 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
JP5242667B2 (ja) 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
US20130010077A1 (en) 2011-01-27 2013-01-10 Khang Nguyen Three-dimensional image capturing apparatus and three-dimensional image capturing method
JP2012199752A (ja) * 2011-03-22 2012-10-18 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP5473977B2 (ja) * 2011-04-14 2014-04-16 キヤノン株式会社 撮像装置およびカメラシステム
JP5956782B2 (ja) * 2011-05-26 2016-07-27 キヤノン株式会社 撮像素子及び撮像装置
JP2013046209A (ja) * 2011-08-24 2013-03-04 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
JP5337218B2 (ja) * 2011-09-22 2013-11-06 株式会社東芝 立体画像変換装置、立体画像出力装置および立体画像変換方法
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP6214183B2 (ja) 2012-05-11 2017-10-18 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2013243529A (ja) 2012-05-21 2013-12-05 Nikon Corp 撮像装置
JP6271990B2 (ja) * 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
CN103369246B (zh) * 2013-07-12 2017-02-08 天津慧尊科技发展有限公司 一种摄像头分辨率转换装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013064938A1 (en) * 2011-11-01 2013-05-10 Koninklijke Philips Electronics N.V. Saliency based disparity mapping

Also Published As

Publication number Publication date
US20160057341A1 (en) 2016-02-25
US10455149B2 (en) 2019-10-22
EP2988488A1 (en) 2016-02-24
EP2988488B1 (en) 2021-04-28
CN109255810B (zh) 2022-05-10
CN105391932A (zh) 2016-03-09
CN109255810A (zh) 2019-01-22
US20180146135A1 (en) 2018-05-24
US10432852B2 (en) 2019-10-01
JP2016045240A (ja) 2016-04-04
JP6415179B2 (ja) 2018-10-31

Similar Documents

Publication Publication Date Title
CN105391932B (zh) 图像处理装置及其控制方法、以及摄像装置及其控制方法
US10997696B2 (en) Image processing method, apparatus and device
JP6608148B2 (ja) 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
JP6179827B2 (ja) フォーカス信号を生成する方法
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
CN104285173A (zh) 焦点检测装置
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
US11080873B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10410329B2 (en) Image processing apparatus, image processing method, and computer readable storage medium
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6728020B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102061087B1 (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
JP6762779B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6448324B2 (ja) 画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラム
JP6626551B2 (ja) 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
JP7437915B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7328589B2 (ja) 測距カメラ
JP6625184B2 (ja) 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム
JP2023137196A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2019079394A (ja) 画像処理方法及び前景領域取得方法
JP2017028641A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant