CN105100594B - 摄像装置和摄像方法 - Google Patents
摄像装置和摄像方法 Download PDFInfo
- Publication number
- CN105100594B CN105100594B CN201510234255.9A CN201510234255A CN105100594B CN 105100594 B CN105100594 B CN 105100594B CN 201510234255 A CN201510234255 A CN 201510234255A CN 105100594 B CN105100594 B CN 105100594B
- Authority
- CN
- China
- Prior art keywords
- image
- synthesis
- alignment
- registration process
- pickup part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims description 101
- 238000003786 synthesis reaction Methods 0.000 claims description 101
- 238000012937 correction Methods 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 16
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 13
- 230000006837 decompression Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
提供摄像装置和摄像方法，能够以较少的处理时间得到良好画质的合成图像。在变更摄影镜头中的对焦镜头位置的同时，在规定的对焦镜头位置处，通过摄像部拍摄被摄体像，取得图像数据(ST1)，根据要合成的两个图像间的相对的对焦位置，对全局地进行位置对准的全局位置对准处理(ST2)、和局部地进行位置对准的局部位置对准处理(ST4)进行选择，使用进行了该位置对准的图像，生成合成图像(ST5)。
Description
技术领域
本发明涉及在变更对焦位置的同时取得多个图像数据的摄像装置和摄像方法。
背景技术
在数字照相机等摄像装置中，存在搭载了如下功能的摄像装置：取得多个图像数据，实现利用一张图像无法表现的画质。例如，公知有如下技术：提取变更对焦位置(焦点位置)而拍摄的多个图像数据的特征点，以增大在多个图像间对应的像素中的清晰度高的像素的权重的方式进行加权平均，并按照每个像素进行合成，由此得到加深了景深的图像(例如参照日本特许第4678603号公报)。
通过对变更对焦位置后的多个图像进行合成，能够得到景深较深的图像。该情况下，图像的张数越多，越能够得到良好画质的合成图像。但是，在合成中使用的图像的张数越多，处理时间越增加。
发明内容
本发明正是鉴于这样的情况而完成的，其目的在于提供一种能够以较少的处理时间得到良好画质的合成图像的摄像装置和摄像方法。
本发明的摄像装置包括：摄像部，其拍摄被摄体像而取得图像数据；镜头控制部，其变更对焦镜头位置；以及位置校正部，其进行由上述摄像部取得的多个图像数据的位置对准，上述位置校正部根据要合成的两个图像间的相对的对焦位置，选择性地执行局部地进行位置对准的局部位置对准处理、和全局地进行位置对准的全局位置对准处理。
本发明的摄像装置包括：摄像部，其拍摄被摄体像而取得图像数据；镜头控制部，其变更对焦镜头位置；位置校正部，其进行由上述摄像部取得的多个图像数据的位置对准；图像合成部，其对由上述摄像部取得的多个图像数据进行合成；以及对焦区域估计部，其对上述图像数据的对焦区域进行估计，上述位置校正部根据由上述对焦区域估计部估计出的图像数据的对焦区域，选择性地执行局部地进行位置对准的局部位置对准处理、和全局地进行位置对准的全局位置对准处理。
本发明的摄像装置包括：摄像部，其拍摄被摄体像而取得图像数据；镜头控制部，其变更对焦镜头位置；位置校正部，其进行由上述摄像部取得的多个图像数据的位置对准；图像合成部，其对由上述摄像部取得的多个图像数据进行合成；以及合成基准图像选择部，其对通过上述图像合成部进行图像合成时的基准图像进行选择，上述位置校正部在执行与由上述合成基准图像选择部选择出的上述基准图像的位置对准的情况下，执行局部位置对准处理。
本发明的摄像方法包括以下步骤：通过摄像部拍摄被摄体像，而取得图像数据；变更摄影镜头中的对焦镜头位置；进行由上述摄像部取得的多个图像数据的位置对准；以及在上述位置对准时，根据要合成的两个图像间的相对的对焦位置，选择性地执行局部地进行位置对准的局部位置对准处理、和全局地进行位置对准的全局位置对准处理。
根据本发明，可提供能够以较少的处理时间得到良好画质的合成图像的摄像装置和摄像方法。
附图说明
图1是示出本发明一个实施方式的照相机的主要电气结构的框图。
图2是示出本发明一个实施方式的照相机的主要动作的流程图。
图3是示出本发明一个实施方式的照相机的主要动作的流程图。
图4是示出本发明一个实施方式的照相机的拍摄/图像处理的动作的流程图。
图5是示出本发明一个实施方式的照相机的图像合成的动作的流程图。
图6是说明本发明一个实施方式的照相机中的合成图像的选择和位置对准的图。
图7A－图7D是示出本发明一个实施方式的照相机中的深度合成图像的一例的图。
图8A－图8C是说明本发明一个实施方式的照相机中的通常拍摄时和深度合成时的显示的图。
具体实施方式
下面，作为本发明的实施方式，对应用于数字照相机的例子进行说明。该数字照相机具有摄像部，通过该摄像部将被摄体像转换为图像数据，并根据该所转换的图像数据，在配置于主体的显示部上对被摄体像进行实时取景显示。拍摄者通过观察实时取景显示，决定构图和快门时机。在释放操作时，将图像数据记录到记录介质。在选择再现模式时，能够在显示部上对记录在记录介质中的图像数据进行再现显示。
此外，在设定了深度合成模式的情况下，该照相机依次移动摄影镜头的对焦位置，取得多个图像以用于深度合成。在所取得的多个图像的位置对准时，选择并进行如下处理中的任意一个：在图像整体中校正位置偏差的全局位置对准处理；以及按照图像中的每个部分校正位置偏差的局部位置对准处理(详细参照图5、图6)。
全局位置对准处理由于是在画面整体中进行处理，因此能够进行迅速的处理，但在被摄体正移动的情况下，在该被摄体部分中，位置对准精度降低。另一方面，局部位置对准处理由于是按照画面的每个部分进行位置对准，因此处理耗费时间，但即使在被摄体正移动的情况下，也能够进行高精度的位置对准。
图1是示出本发明一个实施方式的照相机的主要电气结构的框图。该照相机由照相机主体100、和能够在该主体上进行拆装的更换式镜头200构成。另外，在本实施方式中，将摄影镜头设为了更换镜头式，但是不限于此，当然可以是在照相机主体上固定摄影镜头的类型的数字照相机。
更换式镜头200由摄影镜头201、光圈203、驱动器205、微型计算机207和闪存209构成，在与后述的照相机主体100之间具有接口199。
摄影镜头201由用于形成被摄体像的多个光学镜头(包含焦点调节用的对焦镜头)构成，是单焦点镜头或变焦镜头。在该摄影镜头201的光轴后方配置有光圈203，光圈203的数值孔径是可变的，对穿过摄影镜头201后的被摄体光束的光量进行控制。
并且，摄影镜头201能够通过驱动器205而在光轴方向上移动，根据来自微型计算机207的控制信号，使摄影镜头201的对焦镜头移动来控制对焦位置，在变焦镜头的情况下，还对焦距进行控制。此外，驱动器205还进行光圈203的数值孔径控制。
与驱动器205连接的微型计算机207与接口199以及闪存209连接。微型计算机207依照存储在闪存209中的程序进行动作，与后述的照相机主体100内的微型计算机121进行通信，并根据来自微型计算机121的控制信号进行更换式镜头200的控制。微型计算机207和驱动器205作为变更对焦镜头位置的镜头控制部发挥功能。该镜头控制部根据摄影镜头的焦深或景深，变更对焦镜头的位置(参照图4的S63)。
微型计算机207从未图示的对焦位置检测部中取得对焦镜头的对焦位置，并且从未图示的变焦位置检测部中取得变焦镜头的变焦位置。将该所取得的对焦位置和变焦位置发送到照相机主体100内的微型计算机121。
在闪存209中，除了上述程序以外，还存储有更换式镜头200的光学特性和调整值等各种信息。微型计算机207将这各种信息发送到照相机主体100内的微型计算机121。接口199是用于进行更换式镜头200内的微型计算机207与照相机主体100内的微型计算机121相互之间的通信的接口。
在照相机主体100内，且在摄影镜头201的光轴上，配置有机械快门101。该机械快门101对被摄体光束的穿过时间进行控制，采用了公知的焦面快门等。在该机械快门101的后方、且通过摄影镜头201形成被摄体像的位置上，配置有摄像元件103。
摄像元件103发挥作为拍摄被摄体像来取得图像数据的摄像部的功能，将构成各像素的光电二极管二维配置成矩阵状，各光电二极管产生与受光量对应的光电转换电流，该光电转换电流通过与各光电二极管连接的电容器蓄积电荷。在各像素的前面，配置有拜耳排列的RGB滤光器。
此外，摄像元件103具有电子快门。电子快门通过控制从摄像元件103的电荷蓄积到电荷读出的时间，进行曝光时间的控制。另外，摄像元件103不限于拜耳排列，当然也可以是例如Foveon(注册商标)那样的层叠形式。
摄像元件103与模拟处理电路105连接，该模拟处理电路105在对从摄像元件103读出的光电转换信号(模拟图像信号)减少复位噪声后进行波形整形，并且进行增益放大以变为适当的亮度。
模拟处理电路105与A/D转换器107连接，该A/D转换器107对模拟图像信号进行模拟-数字转换，并将数字图像信号(以后称作图像数据)输出到总线110。另外，在本说明书中，将在图像处理电路109中进行图像处理前的原始图像数据称作RAW数据。
总线110是用于将在照相机主体100内部读出或生成的各种数据传送到照相机主体100的内部的传送路径。在总线110上，除了连接有上述A/D转换器107以外，还连接有图像处理电路109、AE(Auto Exposure：自动曝光)处理电路111、AF(Auto Focus：自动对焦)处理电路113、图像压缩/解压缩电路115、微型计算机121、SDRAM127、存储器接口129、显示驱动器133。
图像处理电路109具有进行通常的图像处理的基本图像处理电路109a和进行图像合成的图像合成电路109b。在对多个图像进行合成的情况下，使用基本图像处理电路109a和图像合成电路109b。
基本图像处理电路109a对RAW数据进行光学黑(OB)减法处理、白平衡(WB)校正、拜耳数据的情况下进行的同时化处理、颜色再现处理、伽马校正处理、颜色矩阵运算、降噪(NR)处理、边缘强调处理等。在单张拍摄且未设定艺术滤镜或深度合成等特殊效果等的情况下，仅通过该基本图像处理电路109a的处理而完成图像处理。
图像合成电路109b根据所设定的合成模式等进行各种图像合成。该图像合成电路109b作为对由摄像部取得的多个图像数据进行合成的图像合成电路发挥功能。即，图像合成电路109b使用在焦点位置、光圈值等不同的状态下取得的多个图像数据，进行图像数据的合成。
在本实施方式中，如后所述，能够设定加深景深的深度合成等合成模式。在设定了深度合成模式的情况下，图像合成电路109b针对在多个对焦位置处拍摄到的多个图像数据，进行位置对准，提取图像的清晰度(对比度)高的区域，并对清晰度高的区域进行合成，由此，生成景深与单拍不同的图像。
图像合成电路109b作为进行由摄像部取得的多个图像数据的位置对准的位置校正部发挥功能(详细参照图5的S95、S101)。此外，该位置校正部根据要合成的两个图像间的相对的对焦位置，选择性地执行局部地进行位置对准的局部位置对准处理(参照图5的S101)、和全局地进行位置对准的全局位置对准处理(参照图5的S95)。此外，位置校正部在相对的对焦位置远离的情况下，执行全局位置对准处理(图5的S89的“是”→S95)。另外，位置校正部除了通过由图像合成电路109b以硬件方式执行位置对准以外，还可以通过微型计算机121以软件方式执行位置对准，并且还可以由图像合成电路109和微型计算机121协作执行。
AE处理电路111根据经由总线110输入的图像数据测量被摄体亮度，并经由总线110将该被摄体亮度信息输出到微型计算机121。也可以设置专用的测光传感器以用于被摄体亮度测量，但是在本实施方式中，根据图像数据计算被摄体亮度。
AF处理电路113从图像数据中提取高频成分的信号，通过累计处理取得对焦评价值，并经由总线110将该值输出到微型计算机121。在本实施方式中，通过所谓的对比度法进行摄影镜头201的对焦。在本实施方式中，举基于对比度法的AF控制为例进行了说明，但是也可以对被摄体光束进行分割，并在其光路上设置相位差传感器、或者在摄像元件上设置相位差传感器，通过基于相位差AF的AF控制进行对焦。
图像压缩/解压缩电路115进行图像数据的压缩和解压缩。即，图像压缩/解压缩电路115在将图像数据记录到记录介质131时，针对从SDRAM 127读出的图像数据，在静态图像的情况下依照JPEG压缩方式等进行压缩，并且在动态图像的情况下依照MPEG等各种压缩方式进行压缩。此外，图像压缩/解压缩电路115还进行JPEG图像数据和MPEG图像数据的解压缩以用于图像再现显示。在解压缩时，读出记录在记录介质131中的文件，并在实施了解压缩处理后，将解压缩后的图像数据临时存储到SDRAM 127中。
另外，在本实施方式中，采用JPEG压缩方式或MPEG压缩方式作为图像压缩方式，但是压缩方式不限于此，当然也可以是TIFF、H.264等其他压缩方式。并且，压缩方式既可以是可逆压缩，也可以是非可逆压缩。
微型计算机121发挥作为该照相机整体的控制电路的功能，根据存储在闪存125中的程序代码，综合控制照相机的各种时序。在微型计算机121上，除了上述接口199以外，还连接有操作部123和闪存125。
此外，微型计算机121作为对焦区域估计部发挥功能，其根据AF处理电路113中的处理结果，估计图像数据的对焦区域。如上所述，图像合成电路109b作为进行由摄像部取得的多个图像数据的位置对准的位置校正部发挥功能，该位置校正部根据由对焦区域估计部估计出的图像数据的对焦区域，选择性地执行局部地进行位置对准的局部位置对准处理、和全局地进行位置对准的全局位置对准处理(参照图5的S93、S95、S101)。该位置校正部在图像数据的对焦区域远离的情况下，执行全局位置对准处理(图5的S93的“是”→S95)。
此外，微型计算机121作为合成基准图像选择部发挥功能，其对通过图像合成部进行图像合成时的基准图像进行选择。如上所述，图像合成电路109b作为进行由摄像部取得的多个图像数据的位置对准的位置校正部发挥功能，该位置校正部在执行与由合成基准图像选择部选择出的上述基准图像的位置对准的情况下，执行局部位置对准处理(参照图5的S87、S101)。此外，图像合成部在先执行了至少1次基准图像以外的合成后，执行与基准图像的合成(参照图6的ST2～ST5)。
操作部123包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字键、确定按钮等各种输入按钮和各种输入键等操作部件，操作部123检测这些操作部件的操作状态，将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户操作对应的各种动作时序。电源按钮是用于指示该数字照相机的电源接通/断开的操作部件。当按下电源按钮时，该数字照相机的电源接通，当再次按下电源按钮时，该数字照相机的电源断开。
释放按钮由半按时接通的第一释放开关、和半按后进一步按下而变为全按时接通的第二释放开关构成。微型计算机121在第一释放开关接通时，执行AE动作或AF动作等拍摄准备时序。此外，在第二释放开关接通时，控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，执行将该图像数据记录到记录介质131中的一系列拍摄时序，进行拍摄。
动态图像按钮是用于指示动态图像拍摄的开始和结束的操作按钮，在最初操作动态图像按钮时开始动态图像拍摄，再次操作时结束动态图像拍摄。再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，从记录介质131读出拍摄图像的图像数据，并在显示面板135上对拍摄图像进行再现显示。
菜单按钮是用于使显示面板135显示菜单画面的操作按钮。能够在菜单画面上进行各种照相机设定。作为照相机设定，例如有深度合成等合成模式，作为合成模式，除此以外还具有HDR合成、超分辨合成等模式。
闪存125存储有用于执行微型计算机121的各种时序的程序。微型计算机121根据该程序进行照相机整体的控制。
SDRAM 127是图像数据等的临时存储用的可电改写的易失性存储器。该SDRAM 127对从A/D转换器107输出的图像数据、以及在图像处理电路109等中进行了处理的图像数据进行临时存储。
存储器接口129与记录介质131连接，进行在记录介质131中写入和读出图像数据或图像数据中添加的头信息等数据的控制。记录介质131是例如在照相机主体100上拆装自如的存储卡等记录介质，但是不限于此，也可以是内置在照相机主体100中的硬盘等。记录介质131作为记录合成图像数据的图像记录部发挥功能。
显示驱动器133与显示面板135连接，根据从SDRAM 127或记录介质131读出、并通过图像压缩/解压缩电路115进行解压缩后的图像数据，使图像显示在显示面板135上。显示面板135配置在照相机主体100的背面等，进行图像显示。显示面板135由于在背面等照相机主体的外装部配置有显示面，因此是容易受到外部光的影响的显示部，但是能够设定大型的显示面板。另外，作为显示部，可采用液晶显示面板(LCD、TFT)、有机EL等各种显示面板。
作为显示面板135中的图像显示，包含在拍摄之后立即短时间显示所记录的图像数据的记录浏览显示、记录在记录介质131中的静态图像或动态图像的图像文件的再现显示、以及实时取景显示等动态图像显示。
接着，使用图2和图3所示的流程图，对本实施方式中的照相机的主处理进行说明。另外，微型计算机121依照存储在闪存125中的程序控制各部件，执行图2、图3以及后述的图4和图5所示的流程图。
当操作操作部123内的电源按钮且电源接通时，图2所示的主流程开始动作。在开始动作后，首先执行初始化(S1)。作为初始化，进行机械方式的初始化和各种标志等的初始化等电气方式的初始化。作为各种标志之一，将表示是否处于动态图像记录中的记录中标志重置为关闭(参照步骤S13、S15、S31等)。
在进行初始化后，接着判定是否按下了再现按钮(S3)。此处，检测操作部123内的再现按钮的操作状态并进行判定。在该判定结果是按下了再现按钮的情况下，执行再现/编辑(S5)。此处，从记录介质131中读出图像数据，在显示面板上显示静态图像和动态图像的一览。用户通过操作十字键，从一览中选择图像，并通过确定按钮确定图像。并且，能够进行所选择的图像的编辑。
在执行步骤S5中的再现/编辑后、或者步骤S3中的判定结果是未按下再现按钮的情况下，判定是否进行照相机设定(S7)。在操作了操作部123内的菜单按钮时，在菜单画面中进行照相机设定。因此，在该步骤中，根据是否进行了该照相机设定进行判定。
在步骤S7中的判定结果是照相机设定的情况下，进行照相机设定(S9)。如上所述，能够在菜单画面中进行各种照相机设定。作为照相机设定，例如能够设定通常拍摄、深度合成等模式作为拍摄模式。
在步骤S9中进行照相机设定后、或者在步骤S7中的判定结果不是照相机设定的情况下，接着判定是否按下了动态图像按钮(S11)。这里，微型计算机121从操作部123输入动态图像按钮的操作状态来进行判定。
在步骤S11中的判定结果是按下了动态图像按钮的情况下，进行记录中标志的反转(S13)。记录中标志在动态图像拍摄中被设定为打开(1)，在不拍摄动态图像的情况下被复位到关闭(0)。在该步骤中将标志反转，即在设定了打开(1)的情况下，反转为关闭(0)，在设定了关闭(0)的情况下，反转为打开(1)。
在步骤S13中进行记录中标志的反转后，接着判定是否处于动态图像记录中(S15)。这里，根据在步骤S13中反转后的记录中标志是被设定为打开、还是被设定为关闭来进行判定。
在步骤S15中的判定结果是处于动态图像按钮记录中的情况下，生成动态图像文件(S19)。在后述的步骤S61中进行动态图像的记录，但在该步骤中，生成动态图像记录用的动态图像文件，并准备成能够记录动态图像的图像数据。
另一方面，在判定结果是不处于动态图像记录中的情况下，关闭动态图像文件(S17)。由于操作动态图像按钮而结束了动态图像拍摄，因此在该步骤中关闭动态图像文件。在关闭动态图像文件时，通过在动态图像文件的头中记录帧数等，设为能够作为动态图像文件进行再现的状态，结束文件写入。
在步骤S17中关闭动态图像文件后、或者在步骤S19中生成动态图像文件后、或者在步骤S11中的判定结果是未按下动态图像按钮的情况下，接着判定是否处于动态图像记录中(S31)。在该步骤中，与步骤S15同样，根据记录中标志的打开或关闭来进行判定。
在步骤S31中的判定结果是不处于动态图像记录中的情况下，判定是否半按了快门释放按钮，换言之，判定第一释放开关是否从断开变为了接通(S33)。通过操作部123检测与释放按钮联动的第一释放开关的状态，并根据该检测结果进行该判定。在检测结果是第一释放开关从断开转变为了接通的情况下，判定结果为“是”，另一方面，在维持接通状态或者断开状态的情况下，判定结果为“否”。
在步骤S33中的判定结果是半按了释放按钮而从断开转变为了第一释放的情况下，执行AE/AF动作(S35)。此处，AE处理电路111根据由摄像元件103取得的图像数据检测被摄体亮度，微型计算机121根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。
并且，在步骤S35中进行AF动作。这里，微型计算机121经由更换式镜头200内的微型计算机207使驱动器205移动摄影镜头201内的对焦镜头的焦点位置，使得由AF处理电路113取得的对焦评价值成为峰值。因此，在未进行动态图像拍摄的情况下，当半按了快门释放按钮后，在该时刻进行摄影镜头201的对焦，使其移动到对焦位置。然后，进入步骤S37。
在步骤S31中的判定结果为释放按钮没有从断开转变为第一释放的情况下，接着判定是否全按了释放按钮从而第二释放开关变为了接通(S41)。在该步骤中，通过操作部123检测与释放按钮联动的第二释放开关的状态，并根据该检测结果进行判定。
在步骤S41中的判定结果是全按了释放按钮从而第二释放开关变为了接通的情况下，进行拍摄和图像处理(S43)。此处，利用在步骤S33中运算出的光圈值来控制光圈203，并且利用运算出的快门速度来控制机械快门101的快门速度。并且，当经过了与快门速度对应的曝光时间时，从摄像元件103中读出图像信号，并将通过模拟处理电路105和A/D转换器107处理后的RAW数据输出到总线110。
此外，在设定了深度合成模式的情况下，使摄影镜头201内的对焦镜头移动，在到达所设定的对焦位置时，进行拍摄，取得多个图像数据。
在步骤S43中拍摄结束后，还进行图像处理。读出由摄像元件103取得的RAW数据，通过图像处理电路109进行图像处理。此外，在设定了深度合成模式的情况下，在步骤S43中，使用所取得的多个图像数据进行深度合成。之后将使用图4对该拍摄/图像处理的详细动作进行叙述。
在进行了拍摄/图像处理后，接着进行静态图像记录(S45)。此处，将实施图像处理后的静态图像的图像数据记录到记录介质131中。在静态图像记录时，以所设定的形式进行记录(记录形式能够在步骤S9的照相机设定中进行设定)。在设定了JPEG的情况下，在图像压缩部中对图像处理后的数据进行JPEG压缩并进行记录。并且，在TIFF形式的情况下，转换为RGB数据并以RGB形式进行记录。并且，在设定了RAW记录的情况下，在与通过拍摄而取得的RAW数据进行了合成的情况下，还记录合成RAW数据。对于图像数据的记录目的地，可以是照相机主体内的记录介质131，也可以经由通信电路141记录在外部的设备中。
在步骤S41中的判定结果不是第二释放开关接通的情况下、或步骤S31中的判定结果为处于动态图像记录中的情况下，接着进行AE(S51)。上述步骤S41的判定为“否”的情况是没有对释放按钮操作进行任何操作的情况，该情况下，在后述的步骤S57中进行实时取景显示。并且，在上述步骤S31的判定为“是”的情况下，处于动态图像记录中。在该步骤中，计算用于以适当曝光进行实时取景显示或动态图像拍摄的摄像元件103的电子快门的快门速度和ISO感光度。
在进行AE后，接着与步骤S43同样地进行拍摄/图像处理(S53)。这里，将被摄体像转换为图像数据。即，在通过摄像元件103的电子快门确定的曝光时间的期间内，进行电荷蓄积，在经过曝光时间后，读出蓄积电荷，由此取得图像数据。
在步骤S53中，通过电子快门取得图像数据，并对所取得的图像数据进行图像处理。在该步骤中，通过基本图像处理电路109a进行WB校正、颜色矩阵运算、伽马转换、边缘强调、降噪等基本图像处理。
在进行拍摄/图像处理后，接着进行实时取景显示(S55)。在该步骤中，使用步骤S53中进行基本图像处理后的图像数据，在显示面板135上进行实时取景显示。即，在步骤S53中取得图像数据、并进行了图像处理后，使用该处理后的图像，进行实时取景显示的更新。拍摄者能够通过观察该实时取景显示，决定构图和快门时机。
在步骤S55中进行实时取景显示后，接着判定是否处于动态图像记录中(S57)。此处，判定记录中标志是否打开。在该判定结果是处于动态图像记录中的情况下，进行动态图像记录(S59)。这里，将从摄像元件103中读出的摄像数据作为动态图像用的图像数据进行图像处理，将其记录在动态图像文件中。
在步骤S59中进行动态图像记录后、或者在步骤S57中的判定结果是不处于动态图像记录中的情况下、或者在步骤S45中进行静态图像记录后、或者在步骤S35中进行AE/AF后，接着判定电源是否断开(S37)。在该步骤中，判定是否再次按下了操作部123的电源按钮。在该判定结果不是电源断开的情况下，返回步骤S3。另一方面，在判定结果是电源断开的情况下，在进行主流程的结束动作后，结束该主流程。
这样，在本发明一个实施方式的主流程中，能够设定深度合成模式等、对多个图像数据进行合成的拍摄模式(S9)，在设定了深度合成模式的情况下，在步骤S43中，在变更对焦镜头位置的同时，取得多个图像数据，并进行深度合成处理。
接着，使用图4所示的流程图，对步骤S43的拍摄/图像处理的详细动作进行说明。在进入拍摄/图像处理的流程后，首先判定是否设定了深度合成(S61)。深度合成模式能够由用户在步骤S9(参照图2)的照相机设定中进行设定。
在步骤S61中的判定结果是未设定深度合成模式的情况下，进行拍摄(S71)。这里，半按释放按钮，由摄像元件103按照在步骤S35中确定的曝光控制值和对焦位置进行摄像，取得图像数据。在进行拍摄后，接着进行基本图像处理(S73)。这里，基本图像处理电路109a对在步骤S71中取得的图像数据实施基本图像处理。
另一方面，在步骤S61中的判定结果是设定了深度合成模式的情况下，进行对焦镜头移动(S63)。这里，通过更换式镜头200内的微型计算机207、驱动器205使对焦镜头移动，使得成为预先设定的对焦镜头间隔。对焦镜头的移动量可以是预先确定的固定的移动量，并且可以是由用户经由操作部123指定的值，还可以根据拍摄条件变更移动量。即，可以根据摄影镜头的焦深或景深变更对焦镜头的移动量。在根据拍摄条件变更移动量时，例如在光圈值较大的情况下，每1张的景深较深，因此增大移动量即可。
在进行对焦镜头移动后，接着进行拍摄(S65)。这里，按照在步骤S35中计算出的曝光控制值进行拍摄，从摄像元件103取得图像数据。在静态图像拍摄时，曝光时间通过机械快门101进行控制，在动态图像拍摄和实时取景显示中，通过摄像元件103的电子快门进行控制，但即使在静态图像拍摄的情况下，也可以通过电子快门进行控制。将通过拍摄取得的图像数据与对焦镜头位置的信息一起临时存储到SDRAM127等中。
在进行拍摄后，接着判定是否进行了规定次数的拍摄(S67)。这里，判定是否进行了预先设定的对焦位置数量(拍摄张数)的拍摄。规定次数可以是预先确定的固定次数，并且可以是用户利用操作部123指定的次数，还可以是与SDRAM 127的容量等照相机的状态对应的次数。此外，在实时取景时，为了加快处理速度，可以设为比静态图像少的次数。将该情况下的对焦位置设为对静态图像时的对焦位置进行间隔剔除后的对焦位置即可。在该判定结果是所设定的深度合成用的拍摄张数的拍摄未结束的情况下，返回步骤S63，使对焦镜头移动到下一对焦位置，进行深度合成用的拍摄。
在步骤S67中的判定结果是规定次数的拍摄已结束的情况下，进行图像合成(S69)。这里，使用在步骤S63～S67中取得的多个图像数据进行深度合成的图像处理。在该深度合成的图像处理时，进行图像数据的位置对准，即对两个图像彼此进行比较，以两个被摄体像重叠的方式对图像数据的位置进行调整。在该位置对准时，如后述那样，根据两个图像间的相对的对焦位置关系，选择全局位置对准和局部位置对准。在进行图像数据的位置对准后，对要合成的图像进行比较，提取图像的清晰度(对比度)较高的区域，并对该提取出的清晰度较高的区域的图像进行合成。由此，能够生成景深与单拍不同的图像。另外，之后将使用图5对图像合成的详细动作进行叙述。
在步骤S69中进行图像合成后、或者在步骤S73中进行基本图像处理后，结束拍摄/图像处理的流程，返回到原来的流程。
这样，在拍摄/图像处理的流程中，设定了深度合成模式的情况下，在移动对焦镜头的同时进行两次以上的拍摄(S63～S67)，在拍摄结束后，进行用于深度合成的图像处理(S69)。
接着，使用图5所示的流程图，对步骤S69的图像合成的详细动作进行说明。在进入到拍摄/图像处理的流程后，首先，进行合成基准图像的选择(S81)。这里，从在步骤S65中拍摄、并临时存储到SDRAM 127中的多个图像数据中，选择在进行深度合成时作为基准的合成基准图像。作为合成基准图像，例如选择在第二释放时的对焦镜头位置处拍摄的图像、或多个图像中的对焦镜头位置处于中间位置的图像等。此外，还可以由用户经由操作部123进行指定。
在进行合成基准图像的选择后，接着进行合成图像的选择(S83)。这里，从临时存储于SDRAM 127的多个图像数据中选择在合成中使用的图像。作为合成的组合，理想的是选择拍摄时的对焦镜头位置远离的图像。例如在图6所示的例子中，取得7张图像数据用于深度合成(参照图6的ST1)，将第4张图像数据设为合成基准图像。在该例中，分别选择第1张和第5张、第2张和第6张、第3张和第7张作为合成图像(参照ST2)。并且，选择这各个合成图像和基准合成图像作为在合成中使用的图像(参照ST4)。
在进行合成图像的选择后，接着进行基本图像处理(S85)。这里，基本图像处理电路109a对所选择的图像实施基本图像处理。
在进行基本图像处理后，接着判定是否是与基准图像的合成(S87)。这里，判定在步骤S83中选择的两张的合成中使用的图像内的1张是否是在步骤S81中选择的合成基准图像。在该判定结果是与基准图像的合成的情况下，最好进行局部的位置对准，因此如后述那样，在步骤S101进行局部位置对准。即，基准图像的视场角是合成后的图像数据的视场角，因此能够通过利用局部位置对准，对基准图像的图像数据实施细致的位置对准，防止因位置偏差而引起的画质劣化。
在步骤S87中的判定结果不是与基准图像的合成的情况下，判定对焦镜头间隔是否远离(S89)。这里，判定在合成中使用的图像的对焦镜头位置的间隔是否远离规定距离以上。与用于判定的对焦镜头位置相关的信息是步骤S65中的拍摄时的对焦镜头位置信息，该信息在将图像数据临时存储到SDRAM 127中时被关联存储，因此进行读出，并根据该信息进行判定。将用于判定的阈值设为预先设定的值即可。并且还可以根据拍摄时的对焦镜头的移动量进行设定。对于该步骤中的判定，可以比较对焦镜头位置和阈值来进行判定，并且如果预先知晓要拍摄的对焦镜头位置的顺序，则可以根据是第几次拍摄来进行判定。
在步骤S89中的判定结果是对焦镜头间隔远离的情况下，接着进行合成部的提取(S91)。在深度合成中，进行高频成分的合成，因此提取图像中的高频成分，并将提取出的像素设为合成部。
在进行合成部的提取后，接着判定对焦区域是否不处于附近的位置(S93)。这里，判断对焦区域在合成中使用的图像间是否处于附近的位置。例如将图像分割成多个块，在各个块内对合成部进行累计，并根据按照每块累计出的值进行判断即可。如果累计值超过规定的阈值、且值的差较小，则能够判断为对焦部处于相同区域。作为规定的阈值，设为预先设定的值即可。在对焦部处于相同区域的情况下，进行局部的位置对准即可，因此在后述的步骤S101中，进行局部位置对准。
在步骤S93中的判定结果是对焦区域不处于附近的位置的情况下，进行全局位置对准(S95)。这里，通过全局位置对准，校正所拍摄的图像的位置偏差。全局位置对准是针对两张图像，对全局的移动进行校正的处理。对于位置偏差量，可以将两张图像分割成块，计算每块的向相关值最小的坐标的移动量，并设为其平均值。可以将块分割数设为比局部位置对准处理(参照S101)中的分割数少的数量，从而缩短处理时间。在照相机由于手抖等而使得画面整体移动的情况下，该全局位置对准能够适当地进行位置对准。
另一方面，在步骤S87中的判定结果是与基准图像的合成的情况下、或者在步骤S89中的判定结果是对焦镜头间隔不远离的情况下、或者步骤S93中的判定结果是对焦区域处于附近的位置的情况下，进行局部位置对准(S101)。这里，通过局部位置对准，校正所拍摄的图像的位置偏差。局部位置对准是对两张图像的局部的移动进行校正的处理。例如，将两张图像分割成块，计算每块的向相关值最小的坐标的移动量，按照每块的移动量进行位置对准。即使在各个被摄体进行了移动的情况下，该局部位置对准也能够分别按照每个被摄体适当地进行位置对准。
在步骤S95中进行全局位置对准后、或者在步骤S101中进行局部位置对准后，进行深度合成(S97)。这里，进行用于得到扩大景深的效果的图像合成。例如，通过提取各图像的高频成分，并对高频成分进行合成，生成景深较深的图像。高频成分的提取可以利用通过步骤S91的合成部提取而提取出的数据。
在进行深度合成后，接着针对规定张数判定是否进行了深度合成(S99)。这里，针对所拍摄的多个图像数据，判定合成用图像的处理是否已结束。在该判定结果是未进行规定张数的处理的情况下，返回步骤S83，继续进行深度合成的处理。另一方面，在判定结果是规定张数的处理已结束的情况下，结束图像合成的流程，返回到原来的流程。
由此，在图像合成的流程中，进行两个图像的位置对准时，根据规定的条件(参照S87、S89、S93)，选择是进行全局位置对准、还是进行局部位置对准。因此，能够以较少的处理时间得到良好画质的合成图像。即，局部位置对准能够针对各个被摄体高精度地进行位置对准，但耗费处理时间。另一方面，全局位置对准无法针对各个被摄体进行高精度的位置对准，但能够迅速进行处理。在本实施方式中，考虑多个图像各自的条件选择了最佳的位置对准，因此能够以较少的处理时间得到良好画质的合成图像。
另外，在本实施方式中，在选择位置对准时，设置了根据是否是与基准图像的合成进行判定的情况(S87)、根据对焦镜头间隔进行判定的情况(S89)、以及根据对焦区域进行判定的情况(S93)这3个判定，但可以是仅任意一个判定、或者是仅两个判定，并且还可以组合其他条件进行判定。此外，也可以是，在将重点放在了处理时间上的动态图像拍摄和实时取景显示中，仅实施任意一个判定，并且在将重点放在了画质上的静态图像拍摄中，进行多个判定。
接着，使用图6说明深度合成的图像处理的一例。在图6所示的例子中，如上所述，取得了7张拍摄图像(参照ST1、图4的S65)。分别针对7张图像内的第1张和第5张、第2张和第6张、第3张和第7张的图像进行全局位置对准(参照ST2、图5的S95)。
在进行全局位置对准后，组合各个图像，并进行深度合成的图像合成处理(参照ST3、图5的S97)。通过该图像合成，生成合成图像1’、2’、3’这3张合成图像。接着，在各合成图像1’、2’、3’与基准图像4之间分别进行局部位置对准(ST4、图5的S101)。
在进行局部位置对准后，组合各个图像，并进行深度合成的图像合成处理(参照ST5、图5的S97)。通过该图像合成，完成深度合成的合成图像。
由此，在图6所示的例子中，首先使用基准图像以外的图像进行全局位置对准(ST2)。此时，组合相对的对焦位置远离的图像来进行了位置对准。然后，在先执行了至少1次的基准图像以外的合成后(ST3)，进行与基准图像的局部位置对准(ST4)，并执行了深度合成(ST5)。
接着，图7A－图7D中示出多个图像、和根据该图像生成的深度合成的合成图像的一例。图7A－图7C示出在移动对焦镜头位置的同时所拍摄的图像例(参照图4的S63～S67)，图7A是焦点对准了处于接近侧的花，图7B焦点对准了处于中等距离的人物，图7C焦点对准了处于远距离侧的山。另外，在图中，虚线表示焦点模糊，实线表示焦点已对准。
图7D示出对图7A－图7C的图像进行深度合成而生成的图像例。在该例中，通过进行深度合成，能够生成焦点对准了接近侧的花、处于中等距离的人物、处于远距离的山的各个的图像。
接着，使用图8A－图8C，对进行深度合成的情况和进行通常拍摄的情况下的、摄像与显示之间的关系进行说明。在该例中，示出进行实时取景显示的情况(参照图3的S53、S55)。另外，在各图中，横轴方向表示时间流，在纵轴方向示出摄像、图像处理等各处理。图8A表示通常拍摄时。在通常拍摄时进行摄像，对通过该摄像而取得的图像数据进行图像处理，并在显示面板135上显示实时取景图像。
图8B表示深度合成1。在深度合成1中，进行摄像，对通过该摄像而取得的图像数据进行图像处理，在进行图像处理后，进行深度合成。在深度合成时，使用从最近的拍摄到规定次数前的拍摄的期间内取得的图像进行合成。接着，使用深度合成图像，在显示面板135上显示实时取景图像。在与图8A所示的通常拍摄时的实时取景显示进行比较时，深度合成1能够通过合成多张图像而显示景深较深的图像。
图8C表示深度合成2。深度合成2交替显示与通常拍摄时相同的图像、和进行了深度合成的图像。即，在进行摄像后(参照Im1)，对通过该摄像而取得的图像数据进行图像处理(参照Pr1)，使用该进行了图像处理的图像数据，在显示面板135上进行通常的实时取景显示(D1)。此外，对通过摄像而取得的图像数据进行深度合成用的图像处理(参照Pr2)和深度合成(参照Sy1)，使用该深度合成后的图像数据，在显示面板135上进行深度合成图像的实时取景显示(参照D2)。在该图8C所示的例子中，交替显示基于通常拍摄时的实时取景显示和深度合成的图像，因此能够简单地确认深度合成的效果。
另外，深度合成1和深度合成2可以通过用户对操作部123进行操作来指定，并且也可以仅进行任意一方。
如以上所说明那样，在本发明的一个实施方式中，具有进行由摄像部取得的多个图像数据的位置对准的位置校正部，该位置校正部根据要合成的两个图像间的相对的对焦位置，选择性地执行局部地进行位置对准的局部位置对准处理、和全局地进行位置对准的全局位置对准处理(例如参照图5的S87～S95、S101等)。此外，在本发明的一个实施方式中，具有对图像数据的对焦区域进行估计的对焦区域估计部(例如参照图5的S93)，位置校正部根据由对焦区域估计部估计出的图像数据的对焦区域，选择性地执行局部地进行位置对准的局部位置对准处理、和全局地进行位置对准的全局位置对准处理(例如参照图5的S93、S95、S101)。此外，在本发明的一个实施方式中，具有对通过图像合成部进行图像合成时的基准图像进行选择的合成基准图像选择部，位置校正部在执行与由合成基准图像选择部选择的基准图像的位置对准的情况下，执行局部位置对准处理(例如参照图5的S87的“是”、S101等)。这样，根据状况对位置校正的处理进行了变更，因此能够以较少的处理时间得到良好画质的合成图像。
此外，在本发明的一个实施方式中，具有以下步骤：通过摄像部拍摄被摄体像而取得图像数据的图像取得步骤(例如图4的S65)；变更摄影镜头中的对焦镜头位置的镜头控制步骤(例如图4的S63)；以及进行由摄像部取得的多个图像数据的位置对准的位置校正步骤(例如图5的S95、S101)，该位置校正步骤根据要合成的两个图像间的相对的对焦位置(例如图5的S87、S89、S93)，选择了局部地进行位置对准的局部位置对准处理(例如图5的S101)、和全局地进行位置对准的全局位置对准处理(例如图5的S95)。这样，根据状况对位置校正的处理进行了变更，因此能够以较少的处理时间得到良好画质的合成图像。
另外，在本发明的一个实施方式中，在静态图像拍摄时、以及动态图像拍摄时和实时取景显示时的两方中，进行了深度合成(图3的S43、S53)，但也可以仅在任意一方中进行深度合成。
此外，在本发明的一个实施方式中，位置校正部根据是否与基准图像进行合成(图5的S87)、对焦镜头间隔是否远离(图5的S89)、以及对焦区域是否不处于附近(图5的S93)，选择是进行全局位置对准处理、还是进行局部位置对准处理，但也可以根据除此以外的条件、例如合成后的图像分辨率来选择处理。
此外，在本发明的一个实施方式中，将图像处理电路109、AE处理电路111、AF处理电路113设为了与微型计算机121分开的结构，但当然也可以利用软件构成各部件的全部或者一部分，并由微型计算机121执行。
此外，在本发明的一个实施方式中，作为用于拍摄的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，可以是摄像机、摄影机这样的动态图像用的照相机，并且当然可以是内置在移动电话、智能手机、便携信息终端PDA(Personal Digital Assist：个人数字助理)、个人计算机(PC)、平板型计算机、游戏设备等中的照相机。无论哪种设备，只要是用于在取得多张图像并进行了位置对准后，进行图像合成的设备等，即可应用本发明。
此外，在本发明的一个实施方式中，照相机在变更对焦镜头位置的同时进行拍摄，由此取得了多个图像数据，但是不限于此，在输入变更对焦镜头位置的同时所拍摄的多个图像数据、并使用该图像数据进行位置对准的程序中，也能够应用本发明。
并且，关于本说明书中说明的技术中主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也收纳在记录介质或记录部中。关于记录在该记录介质、记录部中的记录方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。
此外，关于权利要求、说明书和附图中的动作流程，即使为了方便，使用“首先”、“接着”等表现顺序的语言进行了说明，但在没有特别进行说明的场所，不是指必须按该顺序进行实施。
本发明不直接限定为上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。
Claims (9)
1.一种摄像装置，其包括：
摄像部，其拍摄被摄体像而取得图像数据；
镜头控制部，其变更对焦镜头位置；以及
位置校正部，其进行由所述摄像部取得的多个图像数据的位置对准，
所述位置校正部在要合成的两个图像间的相对的对焦位置不远离的情况下，执行局部地进行位置对准的局部位置对准处理，另一方面，在所述相对的对焦位置远离的情况下，执行全局地进行位置对准的全局位置对准处理。
2.根据权利要求1所述的摄像装置，其中，
所述镜头控制部根据摄影镜头的焦深或景深，变更对焦镜头的位置。
3.根据权利要求1或2所述的摄像装置，其中，
所述位置校正部根据合成后的图像分辨率，选择所述全局位置对准处理或局部位置对准处理。
4.一种摄像装置，其包括：
摄像部，其拍摄被摄体像而取得图像数据；
镜头控制部，其变更对焦镜头位置；
位置校正部，其进行由所述摄像部取得的多个图像数据的位置对准；
图像合成部，其对由所述摄像部取得的多个图像数据进行合成；以及
对焦区域估计部，其对所述图像数据的对焦区域进行估计，
其中，
所述位置校正部在由所述对焦区域估计部估计出的图像数据的对焦区域不远离的情况下，执行局部地进行位置对准的局部位置对准处理，另一方面，在所述图像数据的对焦区域远离的情况下，执行全局地进行位置对准的全局位置对准处理。
5.根据权利要求4所述的摄像装置，其中，
所述位置校正部根据合成后的图像分辨率，选择所述全局位置对准处理或局部位置对准处理。
6.一种摄像装置，其包括：
摄像部，其拍摄被摄体像而取得图像数据；
镜头控制部，其变更对焦镜头位置；
位置校正部，其进行由所述摄像部取得的多个图像数据的位置对准；
图像合成部，其对由所述摄像部取得的多个图像数据进行合成；以及
合成基准图像选择部，其选择通过所述图像合成部进行图像合成时的基准图像，
其中，
所述位置校正部在执行与由所述合成基准图像选择部选择出的所述基准图像的位置对准的情况下，执行局部位置对准处理。
7.根据权利要求6所述的摄像装置，其中，
所述图像合成部在先执行了至少1次所述基准图像以外的合成后，执行与所述基准图像的合成。
8.根据权利要求6或7所述的摄像装置，其中，
所述位置校正部根据合成后的图像分辨率，选择所述全局位置对准处理或局部位置对准处理。
9.一种摄像方法，其包括以下步骤：
通过摄像部拍摄被摄体像而取得图像数据；
变更摄影镜头中的对焦镜头位置；
进行由所述摄像部取得的多个图像数据的位置对准；以及
在所述位置对准时，在要合成的两个图像间的相对的对焦位置不远离的情况下，选择局部地进行位置对准的局部位置对准处理，另一方面，在所述相对的对焦位置远离的情况下，选择全局地进行位置对准的全局位置对准处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-098761 | 2014-05-12 | ||
| JP2014098761A JP6325885B2 (ja) | 2014-05-12 | 2014-05-12 | 撮像装置、撮像方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105100594A CN105100594A (zh) | 2015-11-25 |
| CN105100594B true CN105100594B (zh) | 2018-10-12 |
Family
ID=54368937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510234255.9A Active CN105100594B (zh) | 2014-05-12 | 2015-05-11 | 摄像装置和摄像方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9473698B2 (zh) |
| JP (1) | JP6325885B2 (zh) |
| CN (1) | CN105100594B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8830367B1 (en) | 2013-10-21 | 2014-09-09 | Gopro, Inc. | Frame manipulation to reduce rolling shutter artifacts |
| JP6317635B2 (ja) * | 2014-06-30 | 2018-04-25 | 株式会社東芝 | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN105959534B (zh) * | 2016-04-28 | 2019-09-17 | 青岛海信移动通信技术股份有限公司 | 图像处理方法、装置及电子设备 |
| JP2017228913A (ja) | 2016-06-22 | 2017-12-28 | オリンパス株式会社 | 撮像装置 |
| US10282825B2 (en) * | 2016-09-13 | 2019-05-07 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and imaging apparatus |
| CN107864315B (zh) * | 2016-09-21 | 2020-08-11 | 佳能株式会社 | 摄像设备、摄像设备的控制方法和记录介质 |
| JP6395790B2 (ja) * | 2016-11-18 | 2018-09-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム |
| JP6833498B2 (ja) * | 2016-12-21 | 2021-02-24 | キヤノン株式会社 | 撮像装置、撮像方法およびコンピュータのプログラム |
| US10719927B2 (en) * | 2017-01-04 | 2020-07-21 | Samsung Electronics Co., Ltd. | Multiframe image processing using semantic saliency |
| US20180205890A1 (en) * | 2017-01-18 | 2018-07-19 | Jerry L. Conway, Sr. | Single camera dynamic imaging systems and methods of capturing dynamic images |
| JP6838994B2 (ja) | 2017-02-22 | 2021-03-03 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
| JP6800797B2 (ja) | 2017-03-31 | 2020-12-16 | キヤノン株式会社 | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム |
| JP2019054461A (ja) * | 2017-09-15 | 2019-04-04 | オリンパス株式会社 | 撮像装置および撮像方法 |
| JP6875261B2 (ja) * | 2017-11-30 | 2021-05-19 | 株式会社スクウェア・エニックス | ビデオゲーム処理プログラム、ビデオゲーム処理方法、及びビデオゲーム処理システム |
| JP6590899B2 (ja) * | 2017-12-07 | 2019-10-16 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
| JP2019114919A (ja) * | 2017-12-22 | 2019-07-11 | オリンパス株式会社 | 撮像装置、撮像方法、およびプログラムを記録した記録媒体 |
| JP7077631B2 (ja) * | 2018-01-18 | 2022-05-31 | コニカミノルタ株式会社 | 画像検査装置および画像形成システム |
| CN108200344A (zh) * | 2018-01-23 | 2018-06-22 | 江苏冠达通电子科技有限公司 | 摄像机的调整变焦方法 |
| WO2019220584A1 (ja) | 2018-05-17 | 2019-11-21 | オリンパス株式会社 | 撮像装置、内視鏡装置及び撮像装置の作動方法 |
| JP7214368B2 (ja) | 2018-05-31 | 2023-01-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
| JP7096722B2 (ja) * | 2018-07-17 | 2022-07-06 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| EP3823266A4 (en) * | 2018-07-13 | 2021-12-15 | FUJIFILM Corporation | IMAGE GENERATION DEVICE, IMAGE GENERATION PROCESS AND IMAGE GENERATION PROGRAM |
| JP7262940B2 (ja) | 2018-07-30 | 2023-04-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
| JP6833772B2 (ja) | 2018-08-22 | 2021-02-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| US11405547B2 (en) * | 2019-02-01 | 2022-08-02 | Electronics And Telecommunications Research Institute | Method and apparatus for generating all-in-focus image using multi-focus image |
| JP7458769B2 (ja) | 2019-12-18 | 2024-04-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
| JP7409604B2 (ja) | 2019-12-18 | 2024-01-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
| JP2022083147A (ja) | 2020-11-24 | 2022-06-03 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
| US20230345116A1 (en) | 2022-04-20 | 2023-10-26 | Canon Kabushiki Kaisha | Learning apparatus, image processing apparatus, imaging apparatus, method, program, and storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103002223A (zh) * | 2011-09-08 | 2013-03-27 | 奥林巴斯映像株式会社 | 摄影设备 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001291087A (ja) * | 2000-04-07 | 2001-10-19 | Fuji Photo Film Co Ltd | 画像の位置合わせ方法および位置合わせ装置 |
| JP4379918B2 (ja) * | 2004-11-29 | 2009-12-09 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
| JP4678603B2 (ja) | 2007-04-20 | 2011-04-27 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP2008307184A (ja) * | 2007-06-13 | 2008-12-25 | Fujifilm Corp | 画像処理装置および画像処理プログラム |
| JP5963754B2 (ja) * | 2010-09-15 | 2016-08-03 | イービジョン スマート オプティクス インコーポレイテッド | 画像を管理するためのシステム、デバイス、および／または方法 |
| US20130266310A1 (en) * | 2012-04-06 | 2013-10-10 | David B. Fox | Intelligent node for improving signal quality in a cable modem network |
| US9712738B2 (en) * | 2012-04-17 | 2017-07-18 | E-Vision Smart Optics, Inc. | Systems, devices, and methods for managing camera focus |
| JP6074926B2 (ja) * | 2012-07-05 | 2017-02-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6316534B2 (ja) * | 2012-09-25 | 2018-04-25 | シャープ株式会社 | 撮像装置および撮像装置制御方法 |
| JP6325841B2 (ja) * | 2014-02-27 | 2018-05-16 | オリンパス株式会社 | 撮像装置、撮像方法、およびプログラム |
-
2014
- 2014-05-12 JP JP2014098761A patent/JP6325885B2/ja active Active
-
2015
- 2015-04-24 US US14/696,134 patent/US9473698B2/en active Active
- 2015-05-11 CN CN201510234255.9A patent/CN105100594B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103002223A (zh) * | 2011-09-08 | 2013-03-27 | 奥林巴斯映像株式会社 | 摄影设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6325885B2 (ja) | 2018-05-16 |
| US9473698B2 (en) | 2016-10-18 |
| JP2015216532A (ja) | 2015-12-03 |
| US20150326798A1 (en) | 2015-11-12 |
| CN105100594A (zh) | 2015-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105100594B (zh) | 摄像装置和摄像方法 | |
| CN105282429B (zh) | 摄像装置和摄像装置的控制方法 | |
| CN104883480B (zh) | 摄像装置和摄像方法 | |
| CN102811313B (zh) | 摄像装置和摄像方法 | |
| CN102447912B (zh) | 图像处理装置、白平衡校正方法以及摄像装置 | |
| JP4245699B2 (ja) | 撮像装置 | |
| CN1928692B (zh) | 具有多个摄像元件的照相机装置 | |
| JP3873994B2 (ja) | 撮像装置、及び画像取得方法 | |
| CN103780851B (zh) | 摄像装置 | |
| JP2017220892A (ja) | 画像処理装置及び画像処理方法 | |
| CN103595921B (zh) | 摄像装置 | |
| CN103339925B (zh) | 摄像装置、图像处理装置以及摄像方法 | |
| CN108024053A (zh) | 摄像装置、焦点调节方法和记录介质 | |
| KR20090067910A (ko) | 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법 | |
| CN103888665A (zh) | 拍摄装置和拍摄方法 | |
| CN107786806A (zh) | 摄像装置和焦点调节方法 | |
| CN104917940B (zh) | 摄像装置、摄像方法和数据记录装置 | |
| JP6717690B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| JP2013090095A (ja) | 撮像装置、撮像方法、およびプログラム | |
| CN108293087B (zh) | 摄影装置及其控制方法 | |
| CN107306326A (zh) | 摄像装置和摄像方法 | |
| CN107211097A (zh) | 摄像装置、摄像方法以及图像显示装置 | |
| CN104144286B (zh) | 拍摄装置和拍摄方法 | |
| CN108351581B (zh) | 摄影装置及其控制方法 | |
| JP4406461B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |