CN115914830A - 摄像设备、摄像方法和存储介质 - Google Patents

摄像设备、摄像方法和存储介质 Download PDF

Info

Publication number
CN115914830A
CN115914830A CN202210864168.1A CN202210864168A CN115914830A CN 115914830 A CN115914830 A CN 115914830A CN 202210864168 A CN202210864168 A CN 202210864168A CN 115914830 A CN115914830 A CN 115914830A
Authority
CN
China
Prior art keywords
images
image
exposure
image capturing
predetermined value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210864168.1A
Other languages
English (en)
Inventor
盐田凉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022080615A external-priority patent/JP2023026997A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN115914830A publication Critical patent/CN115914830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)

Abstract

本发明提供摄像设备、摄像方法和存储介质。该摄像设备包括：确定单元，其被配置为预先确定曝光的预定值；摄像单元，其被配置为拍摄对焦位置不同的多个图像；控制单元，其被配置为控制曝光，使得所述摄像单元以小于所述预定值的曝光拍摄所述多个图像；以及校正单元，其被配置为基于所述确定单元所确定的预定值来校正所述多个图像中的至少一部分图像的明度。

Description

摄像设备、摄像方法和存储介质
技术领域
本发明涉及一种能够进行用于以多个对焦位置拍摄图像的全焦摄像的摄像设备。
背景技术
已知一种进行全焦摄像的摄像设备。全焦摄像是指在通过摄像设备可聚焦的全部被摄体距离处拍摄对焦位置不同的多个图像(日本专利申请特开公开平10-290389)。用于从全焦摄像中所获取的图像中提取聚焦区域、并将聚焦区域处的图像合成为聚焦于整个摄像区域的具有比原图像的景深更深的景深的一个图像的技术被称为景深合成(focusstacking)。
此外，已知全焦摄像由于各种因素而需要使明度在所获取的图像之间改变。例如，日本专利申请特开公开2020-107956论述了在全焦摄像中随着有效F值的变化而发生图像的明度的改变。图10示出全焦摄像中的对焦位置和有效F值的变化之间的关系的示例。图11示出全焦摄像中的对焦位置和亮度值的变化之间的关系的示例。如图10和图11所示，在全焦摄像中，明度在图像之间变化。
另外，已知在使用闪光灯的全焦摄像中以及在使用高速快门的全焦摄像中，明度是变化的。
具有明度差异的图像的合成可能导致合成图像上明度不均匀。为了避免不均匀，在获取要合成的图像之后校正这些图像的明度的变化以得到期望的明度是合适的。
然而，明度被校正到更暗的场景的合成图像可能在图像上具有着色的高亮度部分或者缺乏亮度的饱和。
将参照附图描述上述问题。图12是示出在将RAW(原始)图像转换为YUV图像时的伽马曲线的图。将沿着横轴的RAW图像的超过RAW亮度值1201的亮度值转换为作为上限值的YUV亮度值1202。例如，如果作为将明度向更暗校正的结果、RAW图像的亮度的最大值降低到RAW亮度值1203，则YUV图像的亮度的上限值下降到YUV亮度值1204，这使得无法达到YUV图像的亮度值的饱和。另外，随着在RAW图像的亮度值接近饱和的部分处明度降低，RAW图像的红色像素或蓝色像素的数量与绿色像素的数量的比率变化，这使得高亮度部分着色。
如上所述，即使校正了明度的变化而得到明度水平，明度被校正到更暗的场景的全焦图像也可能遭受一些着色或明度差异。
发明内容
根据本发明的方面，一种摄像设备包括：确定单元，其被配置为预先确定曝光的预定值；摄像单元，其被配置为拍摄对焦位置不同的多个图像；控制单元，其被配置为控制曝光，使得所述摄像单元以小于所述预定值的曝光拍摄所述多个图像；以及校正单元，其被配置为基于所述确定单元所确定的预定值来校正所述多个图像中的至少一部分图像的明度。
根据以下参照附图对实施例的说明，本发明的其他特征将变得明显。
附图说明
图1是示出根据本发明的实施例的数字照相机的配置的框图。
图2是示出根据本发明的第一实施例的合成图像的生成的流程图。
图3是示出根据本发明的第一实施例的摄像的流程图。
图4是示出根据本发明的第一实施例的明度校正的流程图。
图5是示出根据本发明的第一实施例的对准的流程图。
图6是示出根据本发明的第一实施例的图像合成的流程图。
图7是示出在亮度值随着对焦位置的改变而变化的条件下驱动光圈时的亮度变化的图。
图8是示出根据本发明的第一实施例的在驱动光圈时的亮度变化的图。
图9是示出根据本发明的第二实施例的图像的合成的流程图。
图10示出全焦摄像中的对焦位置和有效F值的变化之间的关系的示例。
图11示出全焦摄像中的对焦位置和亮度值的变化之间的关系的示例。
图12是示出将RAW图像转换为YUV图像时的伽马曲线的图。
图13是示出根据本发明的实施例的在拍摄多个图像时由于不均匀发光或不均匀曝光所引起的亮度的变化的图。
具体实施方式
下面将参照附图详细描述本发明的一些实施例。
图1是示出根据第一实施例的作为图像处理设备的数字照相机的配置的框图。数字照相机100可以在改变焦点位置期间拍摄多个静止图像。
控制单元101是诸如中央处理单元(CPU)和微处理器单元(MPU)等的信号处理器。控制单元101在读取先前存储在下面描述的只读存储器(ROM)105中的程序期间控制数字照相机100的单元。例如，如下所述，控制单元101向下面描述的摄像单元104发出用于开始和结束摄像的命令。可替代地，或附加地，控制单元101基于存储在ROM 105中的程序来向下面描述的图像处理单元107发出图像处理命令。来自用户的命令通过下面描述的操作单元110输入到数字照相机100，并且通过控制单元101到达数字照相机100的各个单元。
驱动单元102包括马达，并且在控制单元101的控制下机械地操作下面描述的光学***103。例如，驱动单元102在控制单元101的控制下使光学***103中所包括的聚焦透镜的位置移动，以调整光学***103的焦距。
光学***103包括变焦透镜、聚焦透镜和光圈。光圈是用于调整穿过光圈的光量的机构。可以通过改变透镜的位置来改变焦点位置。
摄像单元104包括用于进行光电转换以将入射光信号转换为电信号的光电转换装置。例如，电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器可应用于摄像单元104。摄像单元104支持运动图像模式，并且可以拍摄时间上连续的多个图像作为运动图像的帧。
ROM 105是作为记录介质的只读非易失性存储器，并且除了存储数字照相机100中所设置的各块的操作程序之外，还存储各块的操作所用的参数。RAM 106是可重写非易失性存储器，并且用作临时存储数字照相机100中所设置的各块的操作中输出的数据的区域。
图像处理单元107对从摄像单元104输出的图像或者与下面描述的内置存储器109中所记录的图像信号有关的数据进行各种类型的图像处理(诸如白平衡调整、颜色插值和滤波等)。另外，图像处理单元107按照诸如联合图像专家组(JPEG)等的标准对与摄像单元104所拍摄到的图像信号有关的数据进行压缩处理。
图像处理单元107包括以集成方式包括各自进行特定处理的电路的集成电路(专用集成电路(ASIC))。可替代地，控制单元101还可以通过基于从ROM 105读出的程序进行处理，来执行图像处理单元107的部分或全部功能。如果控制单元101进行图像处理单元107的全部功能，则不使用作为硬件的图像处理单元107。
显示单元108是用于显示例如临时存储在RAM 106中的图像、存储在下面描述的内置存储器109中的图像以及数字照相机100的设置画面等的液晶显示器、有机电致发光(EL)显示器或其他类型的显示器。
内置存储器109存储摄像单元104所拍摄到的图像、图像处理单元107所处理的图像、与摄像时的焦点位置有关的信息、以及其他类型的数据。可以使用存储卡来代替内置存储器。
操作单元110包括设置在数字照相机100上的按钮、开关、按键和模式拨盘以及还用作显示单元108的触摸面板。来自用户的命令通过操作单元110到达控制单元101。
图2是示出根据本实施例的合成图像的生成的流程图。
在步骤S201中，摄像单元104拍摄对焦位置不同的多个图像。
在本实施例中，摄像单元104通过将对焦位置从近距离侧向无限远侧改变来进行摄像。
在步骤S202中，控制单元101和图像处理单元107对摄像单元104在步骤S201中拍摄到的多个图像的明度进行校正。
在步骤S203中，控制单元101和图像处理单元107对在步骤S202中校正了明度的多个图像进行对准。
在步骤S204中，控制单元101和图像处理单元107对在步骤S203中所对准的图像进行合成，从而生成合成图像。在下文中，将详细描述各个步骤。
图3是示出根据本实施例的步骤S201中的摄像的流程图。
在步骤S301中，控制单元101设置对焦位置。例如，用户通过还用作显示单元108的触摸面板来指定焦点位置，并且在与所指定的焦点位置相对应的对焦位置的光轴方向上的前面和后面等间隔地指定多个对焦位置。同时，控制单元101在所设置的对焦位置处按距离的顺序确定摄像顺序。
在步骤S302中，控制单元101确定摄像的曝光条件。控制单元101确定快门速度、F值和国际标准化组织(ISO)感光度。用户可以手动设置曝光条件，或者控制单元101可以通过使摄像单元104进行被摄体的测光来自动设置曝光条件。
在步骤S303中，控制单元101计算与比步骤S302中所确定的曝光条件(预定曝光值)更暗的条件相对应的曝光量(曝光减少量)。作为示例，基于附接在光学***103中的透镜的性能来确定曝光减少量。由于有效F值随对焦位置的改变的变化量取决于透镜性能，因此例如可以将对焦位置从最近距离侧向无限远侧移动时的有效F值的变化量作为曝光减少量来处理。此外，当使用闪光灯时，考虑到包括不均匀发光的闪光灯特性来确定曝光减少量是合适的。当使用高速快门时，考虑到包括不均匀曝光的快门特性来确定曝光减少量是合适的。此外，可以使用快门速度、F值或ISO感光度作为曝光减少量。
在步骤S304中，控制单元101基于步骤S301中所确定的摄像顺序，将焦点移动到步骤S301中所设置的对焦位置中的尚未经过摄像的对焦位置。
在步骤S305中，摄像单元104以从步骤S302中所确定的曝光中减少了步骤S303中所确定的曝光减少量的曝光，来进行摄像。
在步骤S306中，控制单元101判断是否已在步骤S301中所设置的全部对焦位置处进行了摄像。如果已在全部对焦位置处进行了摄像(步骤S306中的“是”)，则流程图中的处理结束。如果留有要进行摄像的任意对焦位置(步骤S306中的“否”)，则处理返回到步骤S304。
在图3所示的流程图中，在摄像单元104拍摄多个图像期间，控制单元101不改变除了对焦位置之外的包括曝光的任何摄像设置。如上所述，仅对焦位置的改变将使得图像的明度改变。
图4是示出根据本实施例的步骤S202中的明度校正的流程图。
在步骤S401中，控制单元101从摄像单元104在步骤S201中拍摄到的图像中获取明度校正对象图像。明度校正对象图像是除了最初拍摄到的图像之外、尚未作为明度校正的对象的图像中按摄像顺序最早拍摄的图像。
在步骤S402中，控制单元101从摄像单元104在步骤S201中拍摄到的图像中获取明度校正基准图像。明度校正基准图像是在拍摄对象图像之前拍摄的图像。
在步骤S403中，控制单元101计算基准图像与对象图像的明度比率。作为计算方法，例如通过将基准图像的RAW图像的绿色像素的积分值与对象图像的RAW图像的绿色像素的积分值进行比较来确定明度比率；然而，可以使用YUV图像或RGB图像或者基于摄像时的测光量来进行该比较。
在步骤S404中，控制单元101计算通过累积步骤S403中所确定的明度比率而获得的累积增益量。通过将在当前基准图像和当前对象图像之前所确定的增益量乘以当前步骤S403中所确定的比率来确定累积增益量，以使得对象图像的明度接近步骤S302中所确定的曝光。
在步骤S405中，控制单元101将步骤S404中所确定的累积增益量与对象图像相关联。累积增益量和对象图像的组合以阵列形式存储在RAM106中是合适的。
在步骤S406中，控制单元101判断是否已处理了全部图像。如果已处理了全部图像(步骤S406中的“是”)，则处理进行到步骤S407。否则(步骤S406中的“否”)，处理返回到步骤S401。
在步骤S407中，图像处理单元107对除了最初拍摄到的图像之外的全部图像，按照步骤S405中关联的累积增益量在像平面上一律进行明度校正。可以对传感器输出之后的RAW图像进行明度校正，可以在将RAW图像转换为YUV图像时进行明度校正，或者可以对RGB图像进行明度校正。
图5是示出根据本实施例的步骤S203中的对准的流程图。
在步骤S501中，控制单元101从摄像单元104在步骤S201中拍摄到的图像中获取对准基准图像。对准基准图像是按摄像顺序最早拍摄到的图像。可替代地，对准基准图像可以是拍摄图像中的具有最窄视角的图像，这是因为视角会在对焦位置改变期间拍摄到的图像之间略微变化。
在步骤S502中，控制单元101获取对准处理对象图像。该对象图像是除了步骤S501中所获取的基准图像之外的图像中的尚未经受对准处理的图像。如果使用按摄像顺序最早的图像作为基准图像，则控制单元101按摄像顺序顺次获取对象图像。
在步骤S503中，控制单元101计算基准图像和对象图像之间的位置偏差量。计算方法的示例如下。控制单元101首先在基准图像中设置多个块。所设置的块具有共同大小是合适的。接下来，控制单元101在对象图像上与基准图像上的块的位置相同的位置处设置搜索范围，其中这些位置处的搜索范围各自比基准图像的块中的相应块宽。最后，控制单元101针对对象图像的各个搜索范围，计算亮度与基准图像的相应块的亮度的绝对差值总和(SAD)最小的相应点。控制单元101基于基准图像的块各自的中心和上述相应点，计算采用向量的方式的步骤S503中的位置偏差。为了计算上述校正点，除了SAD之外，控制单元101还可以使用差值平方总和(SSD)或标准化互相关(NCC)。
在步骤S504中，控制单元101基于基准图像和对象图像之间的位置偏差量来计算变换系数。控制单元101例如使用投影变换系数作为变换系数。然而，变换系数不限于投影变换系数。可以使用仿射变换系数或仅包括水平/垂直偏移的简化变换系数。
在步骤S505中，图像处理单元107使用步骤S504中所计算出的变换系数对对象图像进行变换。
例如，控制单元101可以使用表达式(1)进行变换。
[表达式1]
Figure BDA0003757559560000081
在表达式(1)中，(x',y')表示变换后的坐标，并且(x，y)表示变换前的坐标。矩阵A表示控制单元101在步骤S404中计算出的变换系数。
在步骤S506中，控制单元101判断是否已对除了基准图像之外的全部图像进行了对准。如果已对除了基准图像之外的全部图像进行了对准(步骤S506中的“是”)，则图5所示的流程图的处理结束。如果留有要经受对准的任意图像(步骤S506中的“否”)，则处理返回到步骤S502。
在对多镜头照相机所拍摄的多个图像进行对准的情况下，可以通过步骤S503中对位置偏差量的计算来确定由光学***103的位置差所生成的视差量。因此，可以通过同样的处理来进行对准。
图6是示出根据本实施例的步骤S204中的图像合成的流程图。
在步骤S601中，图像处理单元107计算经受了对准的各个图像(包括基准图像)的对比度值。作为计算对比度值的方法的示例，图像处理单元107首先通过使用下面的表达式(2)根据各个像素的颜色信号Sr、Sg和Sb来计算亮度Y。
Y＝0.299Sr+0.587Sg+0.114Sb…(2)
接下来，如下面的表达式(3)至(5)所示，通过将索贝尔(Sobel)滤波器应用于亮度Y的3×3像素矩阵L来计算对比度值I。
[表达式3]
Figure BDA0003757559560000091
[表达式4]
Figure BDA0003757559560000092
[表达式5]
Figure BDA0003757559560000093
计算对比度值的上述方法是例示性的，并且例如也可以使用诸如拉普拉斯滤波器等的边缘检测滤波器或者允许预定频带通过的带通滤波器。
在步骤S602中，图像处理单元107生成合成映射。作为生成合成映射的方法，图像处理单元107将图像中相同位置处的像素的对比度值进行比较，并计算与对比度值相对应的合成比率。
将描述计算方法的具体示例。
通过使用步骤S601中所计算出的对比度值Cm(x，y)来生成合成映射Am(x，y)，其中m表示对焦位置不同的多个图像中的第m个图像，x表示图像的水平坐标，并且y表示图像的垂直坐标。作为生成合成映射的方法，图像处理单元107将图像中相同位置处的像素的对比度值进行比较，并计算与对比度值相对应的合成比率。更具体地，向相同位置处的像素中具有最高对比度值的像素设置100％的合成比率，并且向相同位置处的其他像素设置0％的合成比率。换句话说，下面的表达式(6)成立。
[表达式6]
Figure BDA0003757559560000101
另外，在步骤S602中，为了获得平滑的边界而适当地调整合成比率。作为结果，一个图像中的合成映射的合成比率不会在0％和100％的两个值之间变化，而是连续变化。
在步骤S603中，图像处理单元107通过基于步骤S602中所计算出的合成映射对拍摄图像进行合成来生成全焦图像O(x，y)。令Im(x，y)表示所拍摄到的各个原图像，并且基于下面的表达式(7)来生成全焦图像。
[表达式7]
Figure BDA0003757559560000102
在本实施例中，为了校正亮度值随着对焦位置的改变的变化，考虑消除由光圈驱动生成的亮度水平差。
图7是示出在亮度值随着对焦位置的改变而变化的条件下驱动光圈时的亮度变化的图。为了应对亮度随着对焦位置的移动的增加，考虑如下的***，该***如图7所示响应于检测到特定亮度偏移而使镜头的孔径变窄以使亮度保持在摄像开始时的水平。然而，图7所示的校正拍摄图像的亮度以使亮度保持在摄像开始时的水平的***导致图像更暗，这将使图像的高亮度部分着色或阻碍亮度达到饱和点。
图8是示出在第一实施例中驱动光圈时的亮度变化的图。在第一实施例中，在图3的步骤S303中的曝光减少量的计算中，考虑到图8中的驱动光圈时的曝光水平差的大小，这使得可以如图8所示进行不超过预定曝光的摄像。如图8所示进行的摄像将使得能够在图4的步骤S407的图像处理中将亮度校正为更亮，从而生成着色和曝光水平差减少的合成图像。
将参照附图描述本发明的第二实施例。在第二实施例中，与第一实施例不同，基于是否要合成图像来改变拍摄图像时的曝光确定方法。将描述细节。
图9是示出根据本实施例的合成图像的生成的流程图。在第二实施例中，数字照相机100支持多个摄像模式，并且这些摄像模式其中之一是景深合成模式。
在步骤S901中，控制单元101判断数字照相机100的摄像模式是否被设置为景深合成模式。如果摄像模式是景深合成模式(步骤S901中的“是”)，则处理进行到步骤S902，并且后续处理与第一实施例中所描述的处理相同。如果摄像模式不是景深合成模式(步骤S901中的“否”)，则处理进行到步骤S906。
在步骤S906中，控制单元101确定摄像曝光条件。如在根据第一实施例的步骤S302中那样，控制单元101确定快门速度、F值和ISO感光度。用户可以手动设置曝光条件，或者控制单元101可以通过使摄像单元104进行被摄体的测光来自动设置曝光条件。
在步骤S907中，摄像单元104在步骤S906中所确定的曝光条件下进行摄像。在步骤S907中，即使摄像单元104拍摄多个图像，也维持拍摄图像时所使用的在步骤S906中所确定出的曝光条件。
根据本实施例，在景深合成中，以比预定曝光更暗的曝光来拍摄图像，并且图像处理将图像校正为更亮，这使得可以生成着色和曝光水平差减少的合成图像。在其他情况下，可以在不改变曝光的情况下进行摄像。
(其他实施例)
在景深合成的前提下描述了上述实施例；然而，这不是限制性的。即使在对焦位置不变的情况下拍摄多个图像，曝光也可能由于使用闪光灯时的不均匀发光或使用高速快门时的不均匀曝光而变化。图13是示出在拍摄多个图像期间由于不均匀发光或不均匀曝光所引起的亮度的变化的图。如果以某种方式合成图13所示的图像，则如第一实施例那样，在合成图像上出现不均匀明度。为了抵消这样的不均匀明度，如第一实施例中所描述的以小于预定值的曝光进行摄像的方法是有效的。
在数字照相机的实现的前提下描述了上述实施例；然而，配置不限于数字照相机。例如，可以使用包括摄像装置的移动装置或能够拍摄图像的网络照相机。
本发明的实施例可以通过经由网络或存储介质将用于执行上述示例性实施例的一个或多于一个功能的程序馈送到***或设备、并且通过使该***或设备的计算机中的一个或多于一个处理器读出并运行该程序来实现。此外，本发明的实施例可以通过用于执行一个或多于一个功能的电路(例如，ASIC)来实现。
实施例的配置能够使得生成着色和明度水平差减少的优异的合成图像。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例，而是由所附权利要求书的范围定义。

Claims (25)

1.一种摄像设备，包括：
确定单元，其被配置为预先确定曝光的预定值；
摄像单元，其被配置为拍摄对焦位置不同的多个图像；
控制单元，其被配置为控制曝光，使得所述摄像单元以小于所述预定值的曝光拍摄所述多个图像；以及
校正单元，其被配置为基于所述确定单元所确定的预定值来校正所述多个图像中的至少一部分图像的明度。
2.根据权利要求1所述的摄像设备，其中，所述校正单元校正所述多个图像中的至少一部分图像的明度，以将所述多个图像中的所述至少一部分图像的曝光调整为等于所述预定值。
3.根据权利要求1或2所述的摄像设备，其中，所述摄像单元在改变所述对焦位置期间拍摄所述多个图像。
4.根据权利要求3所述的摄像设备，其中，所述摄像单元在将所述对焦位置从近距离侧向无限远侧改变期间拍摄所述多个图像。
5.根据权利要求1或2所述的摄像设备，其中，所述确定单元基于拍摄所述多个图像中的第一个图像时的测光量来确定所述预定值。
6.根据权利要求1或2所述的摄像设备，其中，所述确定单元基于用户的设置来确定所述预定值。
7.根据权利要求1或2所述的摄像设备，其中，所述控制单元通过控制快门速度、F值和ISO感光度其中至少之一，来控制所述摄像单元拍摄所述多个图像时的曝光。
8.根据权利要求1或2所述的摄像设备，
其中，所述摄像单元拍摄所述多个图像时的有效F值是变化的，以及
其中，所述控制单元基于所述有效F值的变化量，来控制所述摄像单元拍摄所述多个图像时的曝光。
9.根据权利要求1或2所述的摄像设备，
其中，所述摄像单元使用闪光灯拍摄所述多个图像，以及
其中，所述控制单元基于所述闪光灯的特性，来控制所述摄像单元拍摄所述多个图像时的曝光。
10.根据权利要求9所述的摄像设备，其中，所述闪光灯的特性包括所述闪光灯的发光不均匀。
11.根据权利要求1或2所述的摄像设备，
其中，所述摄像单元使用快门拍摄所述多个图像，以及
其中，所述控制单元基于所述快门的特性，来控制所述摄像单元拍摄所述多个图像时的曝光。
12.根据权利要求11所述的摄像设备，其中，所述快门的特性包括由所述快门引起的曝光不均匀。
13.根据权利要求1或2所述的摄像设备，其中，所述校正单元对各个图像的RAW图像、YUV图像或RGB图像进行所述校正。
14.根据权利要求1或2所述的摄像设备，其中，所述校正单元基于所述多个图像中的各个图像的RAW图像的绿色像素的积分值，来进行所述校正。
15.根据权利要求1或2所述的摄像设备，其中，所述校正单元基于所述摄像单元拍摄所述多个图像时的测光量，来进行所述校正。
16.根据权利要求1或2所述的摄像设备，还包括合成单元，所述合成单元被配置为对所述多个图像进行合成以生成合成图像，所述合成图像具有比所述多个图像中的任意图像的景深更深的景深。
17.根据权利要求16所述的摄像设备，其中，所述合成单元通过提取所述多个图像中的各个图像的聚焦区域来生成所述合成图像。
18.一种摄像方法，包括：
预先确定曝光的预定值；
拍摄对焦位置不同的多个图像；
控制曝光，使得以小于所述预定值的曝光拍摄所述多个图像；以及
基于所述预定值来校正所述多个图像中的至少一部分图像的明度。
19.一种非暂时性计算机可读存储介质，其存储有程序，所述程序用于使摄像设备执行根据权利要求18所述的摄像方法。
20.一种摄像设备，包括：
确定单元，其被配置为预先确定曝光的预定值；
摄像单元，其被配置为拍摄多个图像；
控制单元，其被配置为控制所述摄像单元拍摄所述多个图像时的曝光；
校正单元，其被配置为基于所述确定单元所确定的预定值来校正所述多个图像中的至少一部分图像的明度；以及
合成单元，其被配置为对所述多个图像中的至少一部分图像进行合成，
其中，在进行所述合成的第一模式中，所述控制单元控制所述曝光以使得所述摄像单元以小于所述预定值的曝光拍摄所述多个图像，并且所述校正单元进行所述校正，以及
其中，在不进行所述合成的第二模式中，所述控制单元控制所述曝光以使得所述摄像单元以所述预定值拍摄所述多个图像。
21.根据权利要求20所述的摄像设备，其中，在所述第二模式中，所述校正单元不进行所述校正。
22.根据权利要求20或21所述的摄像设备，其中，所述多个图像的对焦位置不同。
23.根据权利要求20或21所述的摄像设备，其中，所述合成单元进行所述合成，以生成具有比所述多个图像中的至少一部分图像的景深更深的景深的合成图像。
24.一种摄像方法，包括：
预先确定曝光的预定值；
拍摄多个图像；
控制拍摄所述多个图像时的曝光；
基于所述预定值来校正所述多个图像中的至少一部分图像的明度；以及
对所述多个图像中的至少一部分图像进行合成，
其中，在进行所述合成的第一模式中，进行所述控制以使得以小于所述预定值的曝光拍摄所述多个图像，并且进行所述校正，以及
其中，在不进行所述合成的第二模式中，进行所述控制以使得以所述预定值拍摄所述多个图像。
25.一种非暂时性计算机可读存储介质，其存储有程序，所述程序用于使摄像设备执行根据权利要求24所述的摄像方法。
CN202210864168.1A 2021-08-16 2022-07-21 摄像设备、摄像方法和存储介质 Pending CN115914830A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021132311 2021-08-16
JP2021-132311 2021-08-16
JP2022080615A JP2023026997A (ja) 2021-08-16 2022-05-17 撮像装置、撮像方法、プログラムおよび記録媒体
JP2022-080615 2022-05-17

Publications (1)

Publication Number Publication Date
CN115914830A true CN115914830A (zh) 2023-04-04

Family

ID=82846294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210864168.1A Pending CN115914830A (zh) 2021-08-16 2022-07-21 摄像设备、摄像方法和存储介质

Country Status (3)

Country Link
US (1) US11843867B2 (zh)
EP (1) EP4138384A3 (zh)
CN (1) CN115914830A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290389A (ja) 1997-04-16 1998-10-27 Toyota Motor Corp マルチフォーカス画像作成方法及び画像作成装置
JP3378518B2 (ja) * 1998-12-03 2003-02-17 日本電信電話株式会社 眼底画像輝度補正方法、その装置及びそのプログラムを記録した記録媒体
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2013153330A (ja) * 2012-01-25 2013-08-08 Xacti Corp 電子機器及び撮影制御方法
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
JP6906947B2 (ja) * 2016-12-22 2021-07-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP6833801B2 (ja) * 2018-12-26 2021-02-24 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
US20230048045A1 (en) 2023-02-16
EP4138384A3 (en) 2023-04-19
US11843867B2 (en) 2023-12-12
EP4138384A2 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
US9996907B2 (en) Image pickup apparatus and image processing method restricting an image stabilization range during a live view operation
US9473698B2 (en) Imaging device and imaging method
US8704900B2 (en) Imaging apparatus and imaging method
US10630920B2 (en) Image processing apparatus
KR20090119687A (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
JP6495122B2 (ja) 撮像装置、画像処理方法
JP2004343483A (ja) 手振れ補正装置および方法、手振れ検出装置
JP5256947B2 (ja) 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US11653107B2 (en) Image pick up apparatus, image pick up method, and storage medium
JP2013192121A (ja) 撮像装置及び撮像方法
CN116055907A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN115914830A (zh) 摄像设备、摄像方法和存储介质
US11044396B2 (en) Image processing apparatus for calculating a composite ratio of each area based on a contrast value of images, control method of image processing apparatus, and computer-readable storage medium
JP2006157342A (ja) カメラモジュール
JP5541956B2 (ja) 画像合成方法、画像合成プログラムおよび画像合成装置
JP2023026997A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP5123010B2 (ja) 撮像装置、撮像方法及び撮像装置が備えるコンピュータに撮像方法を実行させるためのプログラム
CN113079313B (zh) 图像处理装置、图像拾取装置、图像处理方法及存储介质
US20220148142A1 (en) Image processing apparatus for combining a plurality of images, imaging apparatus, imaging method, and recording medium
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP5799550B2 (ja) 撮像装置、撮像方法および撮像プログラム
US20230066494A1 (en) Apparatus to perform alignment to images, image processing method to perform alignment to images, and computer readable non-transitory memory to perform alignment to images
JP2023091493A (ja) 画像処理装置および画像処理方法
JP4819737B2 (ja) 撮像装置及び制御方法
JP5849532B2 (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination