CN105933592A - 图像处理装置、拍摄装置以及图像处理方法 - Google Patents

图像处理装置、拍摄装置以及图像处理方法 Download PDF

Info

Publication number
CN105933592A
CN105933592A CN201510751598.2A CN201510751598A CN105933592A CN 105933592 A CN105933592 A CN 105933592A CN 201510751598 A CN201510751598 A CN 201510751598A CN 105933592 A CN105933592 A CN 105933592A
Authority
CN
China
Prior art keywords
saturation
view data
pixel
region
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510751598.2A
Other languages
English (en)
Inventor
新谷浩
新谷浩一
野中修
山宫国雄
富泽将臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105933592A publication Critical patent/CN105933592A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供图像处理装置、拍摄装置以及图像处理方法。图像处理装置具有：图像取得部，其取得拍摄同一被摄体而得到的多个图像数据；饱和度强调部，其针对所述多个图像数据中的每一个图像数据，执行对至少一部分区域的饱和度进行强调的饱和度强调处理；以及合成图像生成部，其在所述饱和度强调处理后，对所述多个图像数据中的对应的区域彼此进行比较，选择饱和度最高的区域，并执行生成由该选择出的区域构成的合成图像数据的合成处理。

Description

图像处理装置、拍摄装置以及图像处理方法
技术领域
本发明涉及图像处理装置、拍摄装置以及图像处理方法。
背景技术
近年来，公知有进行补充摄像元件的动态范围不足的HDR(High Dynamic Range：高动态范围)拍摄的拍摄装置(例如参照日本专利特开2012－204952号公报，以下称作专利文献1)。
专利文献1所记载的拍摄装置进行合成多个图像数据而生成合成图像数据的HDR拍摄，所述多个图像数据通过一边改变曝光值(EV(Exposure Value))一边连拍(多次拍摄)同一被摄体而得到。
但是，在专利文献1的拍摄装置中，仅着眼于曝光值(EV)来通过HDR拍摄生成了合成图像数据，因此存在以下问题：无法根据照相机用户的喜好，生成例如强调了饱和度的清晰的合成图像数据等。
因此，期望能够生成与照相机用户的喜好对应的兴趣导向性高的合成图像数据的技术。
发明内容
本发明正是鉴于上述问题而完成的，其目的在于，提供一种能够生成与照相机用户的喜好对应的兴趣导向性高的合成图像数据的图像处理装置、拍摄装置以及图像处理方法。
本发明一个方式的图像处理装置具有：图像取得部，其取得拍摄同一被摄体而得到的多个图像数据；饱和度强调部，其针对所述多个图像数据中的每一个图像数据，执行对至少一部分区域的饱和度进行强调的饱和度强调处理；以及合成图像生成部，其在所述饱和度强调处理后，对所述多个图像数据中的对应的区域彼此进行比较，选择饱和度最高的区域，并执行生成由该选择出的区域构成的合成图像数据的合成处理。
此外，本发明另一方式的拍摄装置具有：上述图像处理装置；以及摄像部，其拍摄被摄体而生成所述多个图像数据。
此外，本发明另一方式的图像处理方法是由图像处理装置执行的图像处理方法，其中，取得拍摄同一被摄体而得到的多个图像数据；针对所述多个图像数据中的每个图像数据，对至少一部分区域的饱和度进行强调；以及在对所述饱和度进行强调后，对所述多个图像数据中的对应的区域彼此进行比较，选择饱和度最高的区域，生成由该选择出的区域构成的合成图像数据。
如果将以下本发明的详细说明与附图对照着进行阅读，则能够进一步理解以上所述的情况以及本发明的其它特征、优点和技术及产业上的意义。
附图说明
图1是示出本发明实施方式1的拍摄装置的结构的框图。
图2是示出图1所示的拍摄装置的动作的流程图。
图3是示出图1所示的显示部所显示的菜单画面的一例的图。
图4是示出图2所示的比较清晰的合成处理(步骤S12)的流程图。
图5A是说明图4所示的步骤S12B的图。
图5B是说明图4所示的步骤S12B的图。
图6是说明图4所示的步骤S12C的图。
图7是说明图4所示的步骤S12H的图。
图8是示出本发明实施方式2的拍摄装置的动作的流程图。
图9是说明本发明实施方式2的步骤S12H的图。
图10是示出本发明实施方式3的拍摄装置的结构的框图。
图11是示出图10所示的拍摄装置的动作的流程图。
图12是示出图10所示的记录部所记录的对应信息的一例的图。
图13是示出图11所示的比较色调合成处理(步骤S20)的流程图。
图14是示出本发明实施方式4的拍摄装置的结构的框图。
图15是示出图14所示的拍摄装置的动作的流程图。
图16是示出图15所示的清晰的拍摄(步骤S21)的流程图。
图17是示出与在图16所示的步骤S21A中通过标准曝光拍摄的标准曝光图像数据对应的标准曝光图像的一例的图。
图18是示出本发明实施方式4的变形例的图。
具体实施方式
以下，参照附图说明用于实施本发明的方式(以下为实施方式)。另外，本发明不受以下说明的实施方式限定。并且，在附图记载中，对相同的部分标注相同标号。
实施方式1
拍摄装置的概略结构
图1是示出本发明实施方式1的拍摄装置1的结构的框图。
拍摄装置1构成为能够根据照相机用户的用户操作，切换为各种照相机模式(“再现模式”或“清晰的合成模式”等)。
“清晰的合成模式”是进行如下的HDR拍摄的模式：合成通过一边改变曝光值(EV)一边连拍(多次拍摄)同一被摄体而得到的多个图像数据，由此补充摄像元件的动态范围不足。
“再现模式”是显示已拍摄和记录的图像数据(例如上述合成图像数据)的模式。
以下，作为拍摄装置1的结构，主要说明本发明的主要部分(拍摄装置1被设定为了“清晰的合成模式”的情况下的功能)。
如图1所示，该拍摄装置1具有摄像部2、存储部3、记录部4、操作部5、显示部6和控制部7。
摄像部2在控制部7的控制下，拍摄被摄体而生成图像数据。如图1所示，该摄像部2具有光学***21、光圈22、快门23、驱动部24和摄像元件25。
光学***21被设为至少具有对焦镜头和变焦镜头的摄像光学***，其将从规定的视野区域利用对焦镜头会聚的光成像到摄像元件25的受光面。
光圈22通过限制由光学***21会聚的光的入射量来进行曝光调整。
快门23使用焦面快门等构成，配设于摄像元件25的光路入射侧。并且，快门23切换为使光学***21会聚的光入射到摄像元件25的曝光状态、或将光学***21所会聚的光截断的遮光状态。
驱动部24在控制部7的控制下，执行光学***21的沿着光轴Lax(图1)的移动、光圈22的光圈量的调整(F值的调整)以及快门23的向曝光状态或遮光状态的切换。
摄像元件25使用CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等构成，通过接收由光学***21所形成的被摄体像并进行光电转换，生成图像数据。
另外，虽然省略了具体的图示，但在摄像元件25的受光面上，设置有滤色器，该滤色器是按照规定的形式(例如拜耳排列)排列根据透过的光的波段进行了分组的多个滤光器组而得到的。
更具体而言，该滤色器具有使红色波段的光透过的红色滤色器组、使蓝色波段的光透过的蓝色滤色器组、使绿色波段的光透过的第一绿色滤色器组(与红色滤色器组排列在同一列)、使绿色波段的光透过的第二绿色滤色器组(与蓝色滤色器组排列在同一列)。
即，由摄像元件25生成的图像数据的每个像素包含：与穿过红色滤色器组的入射光对应的R信号(颜色成分信号)；与穿过蓝色滤色器组的入射光对应的B信号(颜色成分信号)；与穿过第一绿色滤色器组的入射光对应的第一G信号(颜色成分信号)；以及与穿过第二绿色滤色器组的入射光对应的第二G信号(颜色成分信号)。
存储部3存储由摄像部2的摄像元件25生成的图像数据。
记录部4记录控制部7执行的各种程序(包含本发明的图像处理程序)等。此外，记录部4根据照相机用户对操作部5的拍摄操作，记录由控制部7生成的合成图像数据。
操作部5使用受理用户操作的按钮、开关、触摸面板等构成，将与该用户操作对应的指示信号输出到控制部7。
显示部6使用由液晶或有机EL(Electro Luminescence：电致发光)等构成的显示面板构成。并且，显示部6在控制部7的控制下，显示规定的图像。
控制部7使用CPU(Central Processing Unit：中央处理单元)等构成，根据来自操作部5的指示信号等，进行针对构成拍摄装置1的各部件的指示和数据传送等，统一控制拍摄装置1的动作。如图1所示，该控制部7具有曝光设定部71、拍摄控制部72、饱和度强调部73、合成图像生成部74和显示控制部75。
曝光设定部71在使驱动部24进行动作而变更通过F值和快门速度确定的曝光值(EV)的同时使摄像部2进行拍摄，并根据通过该拍摄而取得的各图像数据(实时取景图像数据)，设定在HDR拍摄中进行连拍时的曝光值(EV)的范围(以下记载为HDR测光)。
例如，曝光设定部71将与一边变更曝光值(EV)一边拍摄的各实时取景图像数据对应的各实时取景图像分别分割为多个区域，并着眼于该多个区域中的一个区域，检测是产生了死黑(黒つぶれ)，还是产生了死白(白とび)。并且，曝光设定部71将从拍摄具有产生了死黑的区域的实时取景图像时的曝光值(EV)到拍摄具有产生了死白的区域的实时取景图像时的曝光值(EV)设定为在HDR拍摄中进行连拍时的曝光值(EV)的范围。另外，这样的曝光值(EV)的设定能够使用公知的多分割测光的算法或者检测死黑和死白的算法来执行。
另外，关于曝光值(EV)的范围，除了如上述那样通过HDR测光自动进行设定的结构以外，也可以构成为根据照相机用户对操作部5的操作(选择)适当进行设定。
拍摄控制部72根据通过HDR测光得到的各实时取景图像数据，计算在HDR拍摄中连拍的拍摄张数。此外，拍摄控制部72根据照相机用户对操作部5的拍摄操作，使驱动部24进行动作，在由曝光设定部71设定的范围内变更曝光值(EV)，同时使摄像部2拍摄上述计算出的拍摄张数的被摄体。并且，拍摄控制部72将通过该拍摄而得到的多个(上述计算出的拍摄张数)的图像数据(以下记载为HDR用图像数据)存储到存储部3中。
即，拍摄控制部72取得多个HDR用图像数据，因此具有作为本发明的图像取得部的功能。
饱和度强调部73从存储部3所存储的多个HDR用图像数据，分别取得每个像素的像素数据(R信号、B信号、第一、第二G信号)，并执行强调每个该像素的像素数据的饱和度的饱和度强调处理。
更具体而言，饱和度强调部73在饱和度强调处理中，以使得像素数据的色调不变化的方式，即在将该色调固定的状态下，强调该像素数据的饱和度。
合成图像生成部74在执行了饱和度强调处理后，对多个HDR用图像数据中的对应的像素彼此进行比较，选择饱和度最高的像素，并执行生成由该选择出的像素构成的合成图像数据的合成处理。并且，合成图像生成部74将所生成的合成图像数据记录到记录部4中。
另外，在本实施方式1中，在饱和度强调处理和合成处理中，排除R信号、B信号、第一G信号和第二G信号中的至少任意一方的信号等级为饱和的像素(以下记载为饱和像素)、以及该信号等级小于噪声等级的像素(以下记载为噪声像素)。
并且，上述拍摄控制部72(图像取得部)、饱和度强调部73和合成图像生成部74具有作为本发明的图像处理装置的功能。
显示控制部75控制显示部6的动作，使规定的图像显示在显示部6上。
拍摄装置的动作
接着，说明上述拍摄装置1的动作(本发明的图像处理方法)。
图2是示出拍摄装置1的动作的流程图。
在通过照相机用户对操作部5的起动操作，使得拍摄装置1的电源接通(步骤S1：是)后，控制部7判断拍摄装置1被设定为了怎样的照相机模式(步骤S2、S4)。
图3是示出显示部6所显示的菜单画面的一例的图。
例如，在图3所示的菜单画面上，通过照相机用户对操作部(触摸面板)5的操作，触摸了操作图标M1的情况下，拍摄装置1被设定为“再现模式”。此外，在通过照相机用户对操作部5的操作，触摸了操作图标M2的情况下，拍摄装置1被设定为“清晰的合成模式”。
在判断为拍摄装置1被设定为了“再现模式”的情况(步骤S2：是)下，控制部7执行再现模式处理，使与记录部4所记录的图像数据(例如合成图像数据)对应的图像显示在显示部6上(步骤S3)。然后，拍摄装置1返回步骤S1。
另一方面，在判断为拍摄装置1没有被设定为“再现模式”的情况(步骤S2：否)下，控制部7判断拍摄装置1是否被设定为了“清晰的合成模式”(步骤S4)。
在判断为拍摄装置1没有被设定为“清晰的合成模式”的情况(步骤S4：否)下，控制部7执行与其他照相机模式对应的处理(步骤S5)。然后，拍摄装置1返回步骤S1。
另一方面，在判断为拍摄装置1被设定为了“清晰的合成模式”的情况(步骤S4：是)下，曝光设定部71通过HDR测光，设定在HDR拍摄中进行连拍时的曝光值(EV)的范围(步骤S6)。
在步骤S6后，拍摄控制部72判断是否存在照相机用户对操作部5的拍摄操作(步骤S7)。
在判断为不存在拍摄操作的情况(步骤S7：否)下，拍摄装置1返回步骤S1。
另一方面，在判断为存在拍摄操作的情况(步骤S7：是)下，拍摄控制部72根据通过步骤S6中的HDR测光得到的各实时取景图像数据，计算在HDR拍摄中连拍的拍摄张数(步骤S8)。
具体而言，拍摄控制部72确定通过HDR测光得到的全部实时取景图像的全部像素中的成为最小亮度值BVmin的像素、和成为最大亮度值BVmax的像素。并且，拍摄控制部72通过以下的(1)式，计算拍摄张数。
拍摄张数＝(BVmax－BVmin)/曝光级差···(1)
这里，在(1)式中，曝光级差是指在HDR拍摄中进行连拍时所切换的曝光值(EV)之差(例如0.5EV)。
在步骤S8后，拍摄控制部72使驱动部24进行动作，将曝光值(EV)设定为通过步骤S6设定的范围中的最低的曝光值(EV)(步骤S9)。
在步骤S9后，拍摄控制部72使摄像部2拍摄(静态图像拍摄)被摄体(步骤S10：图像取得步骤)。并且，拍摄控制部72将通过该拍摄得到的HDR用图像数据存储到存储部3中。
在步骤S10后，拍摄控制部72判断摄像部2是否对被摄体拍摄了在步骤S8中计算出的拍摄张数(完成了全部张数的拍摄)(步骤S11)。
在判断为未完成全部张数的拍摄的情况(步骤S11：否)下，拍摄装置1返回步骤S9。并且，拍摄装置1在步骤S9中使曝光值(EV)增加曝光级差(例如0.5EV)，在步骤S10中，使摄像部2按照该曝光值(EV)拍摄被摄体。
在反复执行步骤S9～S11的结果是判断为完成了全部张数的拍摄的情况(步骤S11：是)下，控制部7执行比较清晰的合成处理(步骤S12)。然后，拍摄装置1返回步骤S1。
比较清晰的合成处理
图4是示出图2所示的比较清晰的合成处理(步骤S12)的流程图。
首先，饱和度强调部73从存储部3所存储的多个HDR用图像数据中，分别取得作为对象的像素位置(以下记载为对象像素位置)的各像素的像素数据(步骤S12A)。
在步骤S12A后，饱和度强调部73在执行饱和度强调处理前，根据在步骤S12A中取得的各像素的像素数据，确定饱和像素和噪声像素，并从作为执行饱和度强调处理的对象的像素中，排除该饱和像素和噪声像素(步骤S12B)。
图5A和图5B是说明步骤S12B的图。具体而言，图5A和图5B是示出饱和像素中的R、G、B信号各自的信号等级的图表。另外，在图5A和图5B中，为了方便说明，将第一、第二G信号统一设为了G信号。
例如，如图5A所示，在R、G、B信号的全部信号等级饱和(为饱和等级)的情况下，饱和度强调部73确定为是死白的饱和像素。此外，如图5B所示，在R、G、B信号中的任意一方的信号等级为饱和的情况下，饱和度强调部73确定为是跳色的饱和像素。
这里，在例如用8位的灰度值表现R、G、B信号的情况下，饱和等级是指具有“255”的灰度值的等级。
并且例如，饱和度强调部73在R、G、B信号的全部信号等级为噪声等级(图5A、图5B)的情况下，确定为是死黑的噪声像素。此外，饱和度强调部73在R、G、B信号中的任意一方的信号等级是噪声等级的情况下，确定为是颜色缺损的噪声像素。
这里，在例如用8位的灰度值表现R、G、B信号的情况下，噪声等级是指具有“5”左右的灰度值的等级。
在步骤S12B后，饱和度强调部73针对对象像素位置的各像素中的、未通过步骤S12B排除的像素的像素数据，执行饱和度强调处理，使得该像素的色调不发生变化(步骤S12C：饱和度强调步骤)。
图6是说明步骤S12C的图。具体而言，图6与图5A和图5B同样，是示出某个像素中的R、G、B信号各自的信号等级的图表。并且，图6的(a)示出了执行饱和度强调处理前的信号等级，图6的(b)示出了执行饱和度强调处理后的信号等级。
这里，例如在HSV颜色空间中，色调H能够通过以下的(2)式～(4)式进行计算。
另外，(2)式是R、G、B信号中的“R信号”的信号等级最高的情况下的色调H。(3)式是R、G、B信号中的“G信号”的信号等级最高的情况下的色调H。(4)式是R、G、B信号中的“B信号”的信号等级最高的情况下的色调H。在(2)式～(4)式中，“R”是R信号的信号等级，“G”是G信号的信号等级，“B”是B信号的信号等级。此外，“Max(RGB)”是R、G、B信号中的最高的信号等级，“Min(RGB)”是R、G、B信号中的最低的信号等级(以下的(5)式也同样如此)。
色调H＝({G－B}/{Max(RGB)－Min(RGB)})×60°···(2)
色调H＝({B－R}/{Max(RGB)－Min(RGB)})×60°+120°···(3)
色调H＝({R－G}/{Max(RGB)－Min(RGB)})×60°+240°···(4)
即，在图6所示的例子中，R信号的信号等级最高，B信号的信号等级最低，因此饱和度强调部73以使得R信号和B信号的各信号等级的差分与G信号和B信号的各信号等级的差分的比率不发生变化的方式(以式(2)中示出的色调H不发生变化的方式)，执行像素数据的饱和度强调处理(步骤S12C)。
更具体而言，在图6所示的例子中，饱和度强调部73以使得R信号和B信号的各信号等级的差分与G信号和B信号的各信号等级的差分的比率不发生变化的方式，执行像素数据的饱和度强调处理，直到R信号的信号等级达到饱和等级。
另外，在饱和度强调处理中，不限于处理成使得R、G、B信号中的最高的信号等级达到饱和等级的结构，例如也可以构成为达到根据照相机用户对操作部5的操作而设定的等级为止。
在步骤S12C后，合成图像生成部74根据对象像素位置的各像素中的、未通过步骤S12B排除的像素的像素数据，计算该像素的饱和度(步骤S12D)。
这里，例如在HSV颜色空间中，饱和度S能够通过以下的(5)式进行计算。
饱和度S＝(Max(RGB)－Min(RGB))/Max(RGB)···(5)
在步骤S12D后，合成图像生成部74通过对在步骤S12D中计算出的饱和度进行比较，选择对象像素位置的各像素中的、饱和度最高的像素(步骤S12E)。
在步骤S12E后，合成图像生成部74判断是否已选择了在存储部3中所存储的多个HDR用图像数据中的全部像素位置处饱和度最高的像素(已在全部像素位置处实施)(步骤S12F)。
在判断为未在全部像素位置处实施的情况(步骤S12F：否)下，控制部7将对象像素位置切换为其他像素位置(步骤S12G)，返回步骤S12A。
在反复执行步骤S12A～S12G的结果是判断为已在全部像素位置处实施的情况(步骤S12F：是)下，合成图像生成部74分别采用在步骤S12E中选择出的像素作为各像素位置的像素(对选择出的像素进行合成)，执行生成合成图像数据的合成处理(步骤S12H：合成图像生成步骤)。
图7是说明步骤S12H的图。具体而言，在图7中，例示了通过步骤S8计算出的拍摄张数为“3张”的情况、即对作为同一被摄体的“山”拍摄了3次的情况。并且，图7的(a)示出了与按照曝光值(EV)＝－1进行拍摄并且实施了饱和度强调处理(步骤S12C)后的HDR用图像数据对应的HDR用图像W101。图7的(b)示出了与按照曝光值(EV)＝0进行拍摄并且实施了饱和度强调处理后的HDR用图像数据对应的HDR用图像W102。图7的(c)示出了与按照曝光值(EV)＝1进行拍摄并且实施了饱和度强调处理后的HDR用图像数据对应的HDR用图像W103。图7的(d)示出了根据各HDR用图像W101～W103生成的合成图像W100(合成图像数据)。
在图7所示的例子中，在HDR用图像W101中，由于曝光值(EV)较低，因此与作为“山”的背景部分的“天空”对应的区域是死白。此外，在HDR用图像W103中，由于曝光值(EV)较高，因此与位于“山”的前方侧的“树木”对应的区域是死黑。
并且，在图7所示的例子中，在步骤S12E中，对HDR用图像W101～W103中的对应的像素彼此进行比较的结果是，选择HDR用图像W101的区域Ar1A中的各像素、HDR用图像W102的区域Ar1B中的各像素以及HDR用图像W103的区域Ar1C中的各像素作为具有最高饱和度的像素。因此，合成图像生成部74在步骤S12H中，如图7的(d)所示那样，分别采用区域Ar1A～Ar1C的各像素作为各像素位置的像素，生成合成图像W100。
在步骤S12H后，显示控制部75使与在步骤S12H中生成的合成图像数据对应的合成图像(在图7的例子中，为合成图像W100)显示在显示部6上(步骤S12I)。然后，拍摄装置1返回图2所示的主例程。
以上所说明的本实施方式1的拍摄装置1取得拍摄同一被摄体而得到的多个HDR用图像数据(步骤S10)，针对该多个HDR用图像数据的每一个，执行饱和度强调处理(步骤S12C)，在该饱和度强调处理后，通过合成处理，生成合成图像数据(步骤S12H)。
因此，能够生成强调了饱和度的清晰的合成图像数据。因此，根据本实施方式1的拍摄装置1，起到如下效果：能够生成与照相机用户的喜好对应的兴趣导向性高的合成图像数据。
此外，本实施方式1的拍摄装置1以不使像素的色调发生变化的方式，执行饱和度强调处理(步骤S12C)。
因此，能够没有违和感地以自然的状态生成强调了饱和度的清晰的合成图像数据。
此外，本实施方式1的拍摄装置1在饱和度强调处理(步骤S12C)和合成处理(步骤S12H)中，排除了饱和像素和噪声像素。
因此，能够生成没有死白、跳色、死黑和颜色缺损等灰度损失的自然的合成图像数据。
实施方式1的变形例
在上述实施方式1中，饱和度强调部73针对多个HDR用图像数据中的每一个HDR用图像数据，执行了强调“各像素”的饱和度的饱和度强调处理，但是不限于此，也可以构成为针对多个HDR用图像数据中的每一个HDR用图像数据，执行强调“整个图像区域中的至少一部分区域”的饱和度的饱和度强调处理。即，在饱和度强调处理中，不需要针对全部像素来对每个像素来执行饱和度强调处理，而可以构成为针对将整个图像区域分割为了多个区域后的每个区域、或仅针对整个图像区域中的一部分区域，执行饱和度强调处理。同样，关于合成处理，也不需要针对每个像素进行比较，而可以构成为对多个HDR用图像数据中的对应的区域彼此进行比较，选择饱和度最高的区域，并生成由该选择出的区域构成的合成图像数据。
实施方式2
接着，说明本发明的实施方式2。
在以下的说明中，对与上述实施方式1相同的结构以及步骤标注相同标号，并省略或简化其详细说明。
在上述实施方式1的“清晰的合成模式”中，将通过一边改变曝光值(EV)一边连拍同一被摄体而得到的多个HDR用图像数据进行了合成。以下，将该合成方式记载为“HDR合成方式”。
与此相对，在本实施方式2的“清晰的合成模式”中，将通过按照同一曝光值(EV)，隔开规定的时间多次拍摄同一被摄体而得到的多个图像数据进行合成。以下，将该合成方式记载为“同一连续曝光合成方式”。
本实施方式2的拍摄装置是与在上述实施方式1中说明的拍摄装置1(图1)相同的结构。
以下，说明本实施方式2的拍摄装置1的动作。
拍摄装置的动作
图8是示出本发明实施方式2的拍摄装置1的动作的流程图。
如图8所示，本实施方式2的拍摄装置1的动作相对于在上述实施方式1中说明的动作(图2、图4)，不同点仅为：替代步骤S6、S8～S11而采用了步骤S6A、S13、S9A～S11A。因此以下，仅说明步骤S6A、S13、S9A～S11A。
在通过步骤S4判断为拍摄装置1被设定为了“清晰的合成模式”的情况(步骤S4：是)下，执行步骤S6A。
具体而言，曝光设定部71在步骤S6A中，使摄像部2进行拍摄，根据通过该拍摄得到的实时取景图像数据，设定按照“同一连续曝光合成方式”进行多次拍摄时的适当曝光(EV)(以下记载为测光)。
另外，这样的适当曝光的设定能够使用公知的中央部重点测光、点测光或多分割测光的算法来执行。
在步骤S7中判断为存在拍摄操作的情况(步骤S7：是)下，执行步骤S13。
具体而言，拍摄控制部72在步骤S13中，取得根据照相机用户对操作部5的操作而预先设定、并存储在存储部3中的拍摄张数和拍摄间隔。
在步骤S13后，拍摄控制部72使驱动部24进行动作，将曝光值(EV)设定为在步骤S6A中设定的适当曝光(步骤S9A)。
在步骤S9A后，拍摄控制部72使摄像部2拍摄(静态图像拍摄)被摄体(步骤S10A：图像取得步骤)。并且，拍摄控制部72将通过该拍摄得到的HDR用图像数据存储到存储部3中。
在步骤S10A后，拍摄控制部72判断摄像部2是否拍摄了在步骤S13中取得的拍摄张数的被摄体(完成了全部张数的拍摄)(步骤S11A)。
在判断为未完成全部张数的拍摄的情况(步骤S11A：否)下，拍摄装置1返回步骤S9A。并且，拍摄装置1在经过了通过步骤S13取得的拍摄间隔的情况下，按照在步骤S9A中设定的适当曝光，再次通过步骤S10A使摄像部2拍摄被摄体。
在反复执行步骤S9A～S11A的结果是判断为完成了全部张数的拍摄的情况(步骤S11A：是)下，拍摄装置1转移到比较清晰的合成处理(步骤S12)。
另外，本实施方式2的比较清晰的合成处理与在上述实施方式1中说明的比较清晰的合成处理(步骤S12)相同。以下，参照图9，主要说明步骤S12H。
图9是说明本实施方式2的步骤S12H的图。具体而言，图9例示了在步骤S13中取得的拍摄张数是“3张”且拍摄间隔是“10分钟”的情况，即以下情况：在日落30分钟前开始拍摄作为同一被摄体的“山”，然后以10分钟的间隔拍摄了两次(合计3次)。另外，该拍摄时的曝光值(EV)相同。并且，图9的(a)示出了与在日落30分钟前拍摄并且实施了饱和度强调处理(步骤S12C)后的HDR用图像数据对应的HDR用图像W201。图9的(b)示出了与在日落20分钟前拍摄并且实施了饱和度强调处理后的HDR用图像数据对应的HDR用图像W202。图9的(c)示出了与在日落10分钟前拍摄并且实施了饱和度强调处理后的HDR用图像数据对应的HDR用图像W203。图9的(d)示出了根据各HDR用图像W201～W203生成的合成图像W200(合成图像数据)。
在图9所示的例子中，在步骤S12E中，对HDR用图像W201～W203中的对应的像素彼此进行比较的结果是，选择了HDR用图像W201的区域Ar2A中的各像素、HDR用图像W202的区域Ar2B中的各像素以及HDR用图像W203的区域Ar2C中的各像素作为具有最高饱和度的像素。因此，合成图像生成部74在步骤S12H中，如图9的(d)所示那样，分别采用区域Ar2A～Ar2C的各像素作为各像素位置的像素，生成合成图像W200。
即使在如以上所说明的本实施方式2那样采用了“同一连续曝光合成方式”的情况下，也起到与上述实施方式1相同的效果。
实施方式2的变形例
在上述实施方式2中，在有了拍摄操作(步骤S7：是)后立即进行了最初的拍摄，但是不限于此，例如也可以构成为在变为了根据照相机用户对操作部5的操作而预先设定、并存储在存储部3中的拍摄时刻(日出时刻、日落时刻等)的情况下，进行最初的拍摄。
此外，在上述实施方式2中，饱和度强调部73针对多个HDR用图像数据中的每一个HDR用图像数据，执行了强调“各像素”的饱和度的饱和度强调处理，但是不限于此，也可以构成为针对多个HDR用图像数据中的每一个HDR用图像数据，执行强调“整个图像区域中的至少一部分区域”的饱和度的饱和度强调处理。即，在饱和度强调处理中，不需要针对全部像素来对每个像素执行饱和度强调处理，而可以构成为针对将整个图像区域分割为了多个区域后的每个区域、或仅针对整个图像区域中的一部分区域，执行饱和度强调处理。同样，关于合成处理，也不需要针对每个像素进行比较，而可以构成为对多个HDR用图像数据中的对应的区域彼此进行比较，选择饱和度最高的区域，并生成由该选择出的区域构成的合成图像数据。
实施方式3
接着，说明本发明的实施方式3。
在以下的说明中，对与上述实施方式1、2相同的结构以及步骤标注相同标号，并省略或简化其详细说明。
本实施方式3的拍摄装置相对于在上述实施方式1中说明的拍摄装置1，替代“清晰的合成模式”，而采用了“带场景判定的清晰的合成模式”。
以下，说明本实施方式3的拍摄装置以及该拍摄装置的动作。
拍摄装置的结构
图10是示出本发明实施方式3的拍摄装置1B的结构的框图。
本实施方式3的拍摄装置1B相对于在上述实施方式1中说明的拍摄装置1(图1)，变更了控制部7的一部分功能。
如图10所示，本实施方式3的控制部7B相对于在上述实施方式1中说明的控制部7，省略了曝光设定部71和饱和度强调部73，并追加了场景判定部76和设定部77。
场景判定部76根据由摄像部2拍摄的实时取景图像数据，分析(判定)拍摄时的场景。例如，场景判定部76根据实时取景图像数据所包含的各像素的像素数据(R信号、B信号、第一、第二G信号)的颜色成分的分布，判定风景(树木)、夜景、夕阳、海滩、雪景、星空等场景。
设定部77除了与在上述实施方式1中说明的曝光设定部71相同的功能(通过HDR测光，设定按照“HDR合成方式”进行多次拍摄时的曝光值(EV)的范围的功能)以外，还具有以下的功能。
即，设定部77具有与在上述实施方式2中说明的曝光设定部71相同的功能(根据通过HDR测光得到的实时取景图像数据，设定按照“同一连续曝光合成方式”进行多次拍摄时的适当曝光(EV)的功能)。此外，设定部77具有如下功能：根据由场景判定部76判定出的场景，设定“基础色调”、“合成方式”和“拍摄张数”。
拍摄装置的动作
图11是示出拍摄装置1B的动作的流程图。
本实施方式3的拍摄装置1B的动作相对于在上述实施方式1中说明的拍摄装置1的动作(图2、图4)，不同点仅为：替代步骤S4、S6、S9～S12，采用了步骤S14、S6B、S9B～S11B、S20，并且追加了步骤S15～S19。因此以下，仅说明步骤S14、S6B、S15～S19、S9B～S11B、S20。
在通过步骤S2判断为拍摄装置1B没有被设定为“再现模式”的情况(步骤S2：否)下，执行步骤S14。
具体而言，控制部7B在步骤S14中，判断拍摄装置1B是否被设定为了“带场景判定的清晰的合成模式”。
在判断为拍摄装置1B没有被设定为“带场景判定的清晰的合成模式”的情况(步骤S14：否)下，控制部7B转移到步骤S5。
另一方面，在判断为拍摄装置1B被设定为了“带场景判定的清晰的合成模式”的情况(步骤S14：是)下，设定部77通过HDR测光，设定按照“HDR合成方式”进行多次拍摄时的曝光值(EV)的范围，并且设定按照“同一连续曝光合成方式”进行多次拍摄时的适当曝光(EV)(步骤S6B)。
在步骤S6B后，场景判定部76根据通过步骤S6B中的HDR测光得到的实时取景图像数据，分析(判定)拍摄时的场景(步骤S15：场景判定步骤)。
在步骤S15后，设定部77参照在记录部4中所记录的对应信息，确定与在步骤S15中判定出的场景对应的“基础色调”(步骤S16：设定步骤)，并且选择与该场景对应的“合成方式”(步骤S17)。然后，拍摄装置1B转移到步骤S7。
图12是示出对应信息的一例的图。
这里，如图12所示，对应信息是根据由场景判定部76判定出的场景，将“基础色调”、“合成方式”以及“拍摄张数”对应起来的信息。
具体而言，例如针对场景为“风景(树木)”，作为“基础色调”对应了绿(120°)，作为“合成方式”对应了HDR合成方式。此外，针对场景为“夜景”，作为“基础色调”对应了黄(80°)，作为“合成方式”对应了同一连续曝光合成方式，作为“拍摄张数”对应了“○张”。关于拍摄张数，仅在合成方式为“同一连续曝光合成方式”的情况下进行对应。
在步骤S7中判断为存在拍摄操作的情况(步骤S7：是)下，执行步骤S18。
具体而言，控制部7B在步骤S18中，判断在步骤S17中选择的合成方式是否为“HDR合成方式”。
在判断为是“HDR合成方式”的情况(步骤S18：是)下，拍摄装置1B转移到步骤S8。
另一方面，在判断为不是“HDR合成方式”(是“同一连续曝光合成方式”)的情况(步骤S18：否)下，设定部77参照记录部4中所记录的对应信息，确定与在步骤S15中判定出的场景对应的“拍摄张数”(步骤S19)。
在步骤S8后、或步骤S19后执行步骤S9B～S11B。
具体而言，在步骤S17中选择的合成方式是“HDR合成方式”的情况下，拍摄控制部72在步骤S9B～S11B中，执行与在上述实施方式1中说明的步骤S9～S11相同的处理。并且，在步骤S17中选择的合成方式是“同一连续曝光合成方式”的情况下，拍摄控制部72在步骤S9B～S11B中执行与在上述实施方式2中说明的步骤S9A～S11A相同的处理。
在步骤S11B中判断为已完成了全部张数(在“HDR合成方式”的情况下，是在步骤S8中计算出的拍摄张数，在“同一连续曝光合成方式”的情况下，是在步骤S19中计算出的拍摄张数)的拍摄的情况(步骤S11B：是)下，执行步骤S20(比较色调合成处理)。
比较色调合成处理
图13是示出比较色调合成处理(步骤S20)的流程图。
首先，合成图像生成部74与在上述实施方式1中说明的步骤S12A、S12B同样，取得存储部3中所存储的多个HDR用图像数据中的对象像素位置的各像素的像素数据(步骤S20A)，并排除饱和像素和噪声像素(步骤S20B)。
在步骤S20B后，合成图像生成部74根据对象像素位置的各像素中的、未通过步骤S20B排除的像素的像素数据，例如通过上述(2)式～(4)式，计算该像素的色调(步骤S20C)。
在步骤S20C后，合成图像生成部74通过比较在步骤S20C中计算出的各像素的色调和在步骤S16中确定的“基础色调”，选择对象像素位置的各像素中的、具有最接近该“基础色调”的色调的像素(步骤S20D)。
在步骤S20D后，合成图像生成部74判断是否已选择了在存储部3中所存储的多个HDR用图像数据中的全部像素位置处具有最接近“基础色调”的色调的像素(已在全部像素位置处实施)(步骤S20E)。
在判断为未在全部像素位置处实施的情况(步骤S20E：否)下，控制部7B将对象像素位置切换为其他像素位置(步骤S20F)，返回步骤S20A。
在反复执行步骤S20A～S20F的结果是判断为已在全部像素位置处实施的情况(步骤S20E：是)下，合成图像生成部74分别采用在步骤S20D中选择出的像素作为各像素位置的像素(对选择出的像素进行合成)，执行生成合成图像数据的合成处理(步骤S20G：合成图像生成步骤)。
在步骤S20G后，显示控制部75使与通过步骤S20G生成的合成图像数据对应的合成图像显示在显示部6上(步骤S20H)。然后，拍摄装置1B返回图11所示的主例程。
并且，根据本实施方式3的拍摄装置1B，能够生成基础色调为与拍摄时的场景对应的色调的合成图像数据，从而起到与上述实施方式1相同的效果。
实施方式3的变形例
在上述实施方式3中，合成图像生成部74对多个HDR用图像数据中的对应的“像素”彼此进行比较，选择具有最接近“基础色调”的色调的像素，并执行生成由该选择出的“像素”构成的合成图像数据的合成处理，但是不限于此。即，不需要针对每个像素进行比较，而可以构成为对多个HDR用图像数据中的对应的“区域”彼此进行比较，选择最接近基础色调的“区域”，并执行生成由该选择出的“区域”构成的合成图像数据的合成处理。
实施方式4
接着，说明本发明的实施方式4。
在以下的说明中，对与上述实施方式1相同的结构以及步骤标注相同标号，并省略或简化其详细说明。
本实施方式4的拍摄装置相对于在上述实施方式1中说明的拍摄装置1，“清晰的合成模式”下的处理方式不同。
以下，说明本实施方式4的拍摄装置以及该拍摄装置的动作。
拍摄装置的结构
图14是示出本发明实施方式4的拍摄装置1C的结构的框图。
本实施方式4的拍摄装置1C相对于在上述实施方式1中说明的拍摄装置1(图1)，变更了控制部7的一部分功能。
如图14所示，本实施方式4的控制部7C相对于在上述实施方式1中说明的控制部7，省略了曝光设定部71，并追加了曝光校正部78和对比度强调部79。
曝光校正部78对执行饱和度强调处理后的像素数据，进行曝光校正(明亮度校正)。
对比度强调部79对通过曝光校正部78进行了曝光校正后的图像数据，执行对比度强调处理。另外，作为对比度强调处理，例如能够例示公知的直方图均衡化法等。
拍摄装置的动作
图15是示出拍摄装置1C的动作的流程图。
如图15所示，本实施方式4的拍摄装置1C的动作相对于在上述实施方式1中的动作(图2)，不同点仅为：省略了步骤S6，并且替代步骤S8～S12而采用了步骤S21。因此以下，仅说明步骤S21。
另外，在拍摄装置1C的动作中，伴随步骤S6的省略，在步骤S4中判断为拍摄装置1C被设定为了“清晰的合成模式”的情况(步骤S4：是)下，拍摄装置1C转移到步骤S7。
并且，在步骤S7中判断为存在拍摄操作的情况(步骤S7：是)下，拍摄装置1C转移到步骤S21(清晰的拍摄)。
清晰的拍摄
图16是示出清晰的拍摄(步骤S21)的流程图。
首先，拍摄控制部72使驱动部24进行动作，将曝光值(EV)设定为标准曝光(EV＝0)，并且使摄像部2按照该标准曝光来拍摄(静态图像拍摄)被摄体(步骤S21A)。并且，拍摄控制部72将通过该拍摄得到的图像数据(以下记载为标准曝光图像数据)存储到存储部3中。
图17是示出与在步骤S21A中通过标准曝光拍摄的标准曝光图像数据对应的标准曝光图像W300的一例的图。具体而言，在图17中，例示了拍摄“山”作为被摄体的情况。
并且，在图17所示的例子中，在标准曝光图像W300中，与位于“山”的前方侧的“树木”对应的区域Ar3A是死黑。即，区域Ar3A是由噪声像素构成的区域。此外，在标准曝光图像W300中，与作为“山”的背景部分的“天空”对应的区域Ar3C是死白。即，区域Ar3C是由饱和像素构成的区域。此外，在标准曝光图像W300中，对于“山”的区域Ar3B，既没有死黑也没有死白。
在步骤S21A后，饱和度强调部73从存储部3所存储的标准曝光图像数据中，分别取得各像素的像素数据(步骤S21B)。
在步骤S21B后，饱和度强调部73判定与存储部3中所存储的标准曝光图像数据对应的标准曝光图像(在图17的例子中，为标准曝光图像W300)的整个区域(步骤S21C)。
具体而言，饱和度强调部73在步骤S21C中，根据在步骤S21B中取得的各像素的像素数据，与在上述实施方式1中说明的步骤S12B同样地，确定饱和像素和噪声像素。并且，饱和度强调部73将与存储部3中所存储的标准曝光图像数据对应的标准曝光图像(在图17的例子中，为标准曝光图像W300)的整个区域划分为由饱和像素构成的饱和区域(图17的例子中，为区域Ar3C)、由噪声像素构成的噪声区域(图17的例子中，为区域Ar3A)、以及由既不是饱和像素也不是噪声像素的通常像素构成的通常区域(图17的例子中，为区域Ar3B)。
饱和度强调部73对作为步骤S21C的判定结果而判定为既不由饱和像素也不由噪声像素构成的(步骤S21D：是、步骤S21E：是)通常区域(图17的例子中，为区域Ar3B)中的各像素的像素数据，与上述实施方式1中说明的步骤S12C同样地，执行饱和度强调处理(步骤S21F)。
在步骤S21F后，饱和度强调部73判断是否已在全部区域(图17的例子中，为区域Ar3A～Ar3C)实施了饱和度强调处理(步骤S21G)。
在判断为未在全部区域中实施的情况(步骤S21G：否)下，拍摄装置1C返回步骤S21D。
此外，在步骤S21C的判定结果是存在判定为由饱和像素构成的(步骤S21D：否)饱和区域(图17的例子中，为区域Ar3C)的情况下，拍摄控制部72执行曝光+N级的拍摄(步骤S21H)。
具体而言，拍摄控制部72在步骤S21H中，使驱动部24进行动作，将曝光值(EV)设定为比标准曝光(EV＝0)高的曝光值(EV＝+N)，使摄像部2按照该曝光值(EV＝+N)拍摄(静态图像拍摄)被摄体(与步骤S21A中的被摄体相同)。并且，拍摄控制部72将通过该拍摄得到的图像数据(以下记载为+N级图像数据)存储到存储部3中。
在步骤S21H后，饱和度强调部73从存储部3中所存储的+N级图像数据中，分别取得与标准曝光图像数据中的饱和区域(图17的例子中，为区域Ar3C)相当的区域(以下记载为饱和相当区域)中的各像素的像素数据。然后，饱和度强调部73对饱和相当区域中的各像素的像素数据，与步骤S21F同样地，执行饱和度强调处理(步骤S21I)。
在步骤S21I后，曝光校正部78对在步骤S21I中执行饱和度强调处理后的饱和相当区域中的各像素的像素数据，进行曝光校正(使明亮度增大的校正)，以使明亮度与标准曝光图像一致(步骤S21J)。然后，拍摄装置1C转移到步骤S21G。
此外，在步骤S21C的判定结果是存在判定为由噪声像素构成的(步骤S21E：否)噪声区域(图17的例子中，为区域Ar3A)的情况下，拍摄控制部72执行曝光－N级拍摄(步骤S21K)。
具体而言，拍摄控制部72在步骤S21K中，使驱动部24进行动作，将曝光值(EV)设定为比标准曝光(EV＝0)低的曝光值(EV＝－N)，使摄像部2按照该曝光值(EV＝－N)拍摄(静态图像拍摄)被摄体(与步骤S21A中的被摄体相同)。并且，拍摄控制部72将通过该拍摄得到的图像数据(以下记载为－N级图像数据)存储到存储部3中。
在步骤S21K后，饱和度强调部73从存储部3中所存储的－N级图像数据中，分别取得与标准曝光图像数据中的噪声区域(图17的例子中，为区域Ar3A)相当的区域(以下记载为噪声相当区域)中的各像素的像素数据。然后，饱和度强调部73对噪声相当区域中的各像素的像素数据，与步骤S21F同样地，执行饱和度强调处理(步骤S21L)。
在步骤S21L后，曝光校正部78对在步骤S21L中执行了饱和度强调处理后的噪声相当区域中的各像素的像素数据，进行曝光校正(使明亮度减小的校正)，以使明亮度与标准曝光图像一致(步骤S21M)。
在步骤S21M后，对比度强调部79对在步骤S21M中执行了曝光校正后的噪声相当区域，执行对比度强调处理(步骤S21N)。然后，拍摄装置1C转移到步骤S21G。
在步骤S21F后、步骤S21J后或步骤S21N后，判断为已在全部区域中实施了的情况(步骤S21G：是)下，合成图像生成部74对通过步骤S21F执行了饱和度强调处理后的通常区域(图17的例子中，为区域Ar3B)、通过步骤S21J执行了曝光校正后的饱和相当区域、以及通过步骤S21N执行了对比度强调处理后的噪声相当区域进行合成(组合)，从而生成合成图像数据(步骤S21O)。
在步骤S21O后，显示控制部75使与通过步骤S21O生成的合成图像数据对应的合成图像显示在显示部6上(步骤S21P)。然后，拍摄装置1C返回图15所示的主例程。
另外，在步骤S21C的判定结果是判定为标准曝光图像数据的全部像素为通常像素的情况下，不进行步骤S21H～S21J和步骤S21K～S21N。因此，也不执行步骤S21O。然后，在步骤S21P中，在显示部6上显示与在步骤S21F中对标准曝光图像数据的全部像素的像素数据执行了饱和度强调处理后的图像数据对应的图像。
此外，在步骤S21C的判定结果是判定为在标准曝光图像数据中不包含通常区域、饱和区域或噪声区域的情况下，不进行步骤S21F、步骤S21H～S21J或步骤S21K～S21N。因此，在步骤S21O中，对通过步骤S21F执行了饱和度强调处理后的通常区域、通过步骤S21J执行了曝光校正后的饱和相当区域、以及通过步骤S21N执行了对比度强调处理后的噪声相当区域中的两个区域进行合成，从而生成合成图像数据。然后，在步骤S21P中，在显示部6上显示与该合成图像数据对应的合成图像。
并且，根据本实施方式4的拍摄装置1C，起到与上述实施方式1相同的效果。
实施方式4的变形例
图18是示出本发明实施方式4的变形例的图。
在上述实施方式4中，步骤S21H中的曝光+N级拍摄、以及步骤S21K中的曝光－N级拍摄的各曝光值(EV)可以是预先设定的曝光值(EV)，或者也可以构成为在图18所示的菜单画面上，通过照相机用户对操作部(触摸面板)5的操作而被设定和存储。
具体而言，照相机用户能够通过触摸操作图标U1，增大曝光－N级拍摄中的曝光值EV1，能够通过触摸操作图标D1，减小曝光－N级拍摄中的曝光值EV1。同样，照相机用户能够通过触摸操作图标U2，增大曝光+N级拍摄中的曝光值EV2，能够通过触摸操作图标D2，减小曝光+N级拍摄中的曝光值EV2。
此外，在上述实施方式4中，在步骤S21A中按照标准曝光(EV＝0)进行了拍摄，但是不限于此，也可以与上述实施方式2同样地按照适当曝光进行拍摄。
其他实施方式
在此之前说明了用于实施本发明的方式，但是本发明不应该仅被上述实施方式1～4限定。
在上述实施方式1～4中，将本发明的图像处理装置应用到了拍摄装置，但是不限于此，例如也可以应用到电子显微镜(例如参照日本特开2012－18813号公报)、胶囊内窥镜(例如参照日本特开2010－250188号公报)、或者工业用内窥镜(例如参照日本特开2012－88278号公报)等其他设备。
此外，处理流程不限于在上述实施方式1～4中说明的流程图的处理顺序，可以在没有矛盾的范围内进行变更。
并且，可以将在本说明书中使用流程图说明的处理算法记述为程序。这样的程序可以记录到计算机内部的记录部，也可以记录到计算机可读取的记录介质。程序向记录部或记录介质的记录可以在将计算机或记录介质作为产品出货时进行，也可以通过借助通信网络的下载进行。
能够通过适当组合本实施方式3和本实施方式4所公开的结构要素，形成各种发明。在本实施方式3中，包含了以下所示的附注项1～7的发明。
1.一种图像处理装置，其具有：
图像取得部，其取得拍摄同一被摄体而得到的多个图像数据；
场景判定部，其根据所述图像数据，判定拍摄时的场景；
设定部，其根据所述拍摄时的场景，设定基础色调；以及
合成图像生成部，其对所述多个图像数据中的对应的区域彼此进行比较，选择具有最接近所述基础色调的色调的区域，并执行生成由该选择出的区域构成的合成图像数据的合成处理。
2.根据附注项1所述的图像处理装置，其中，
在所述合成处理中，排除颜色成分信号中所包含的R、G、B中的至少任意一方的信号等级为饱和的像素。
3.根据附注项1所述的图像处理装置，其中，
在所述合成处理中，排除颜色成分信号中所包含的R、G、B中的至少任意一方的信号等级为噪声等级的像素。
4.一种拍摄装置，其中，该拍摄装置具有：
附注项1所述的图像处理装置；以及
摄像部，其拍摄被摄体而生成所述多个图像数据。
5.根据附注项4所述的拍摄装置，其中，
所述多个图像数据是通过使所述摄像部按照不同的曝光拍摄同一被摄体而生成的多个图像数据。
6.根据附注项4所述的拍摄装置，其中，
所述多个图像数据是通过使所述摄像部按照相同的曝光且隔开规定的时间拍摄同一被摄体而生成的多个图像数据。
7.一种图像处理方法，其由图像处理装置执行，在该图像处理方法中，
取得拍摄同一被摄体而得到的多个图像数据；
根据所述图像数据，判定拍摄时的场景；
根据所述拍摄时的场景，设定基础色调；以及
对所述多个图像数据中的对应的区域彼此进行比较，选择具有最接近所述基础色调的色调的区域，生成由该选择出的区域构成的合成图像数据。
此外，在本实施方式4中，包含以下所示的附注项1～8的发明。
1.一种拍摄装置，其中，该拍摄装置具有：
摄像部，其拍摄被摄体而生成图像数据；
拍摄控制部，其使所述摄像部按照相互不同的至少两个的第一曝光值和第二曝光值，分别拍摄同一被摄体，从而生成第一图像数据和第二图像数据；
区域判定部，其根据所述第一图像数据中的各像素的颜色成分信号的信号等级，将该第一图像数据的全部像素划分为相互不同的至少第一区域和第二区域；
饱和度强调部，其执行对所述第一区域、和所述第二图像数据中的与所述第二区域相当的第二相当区域的饱和度进行强调的饱和度强调处理；以及
合成图像生成部，其执行对所述饱和度强调处理后的所述第一区域和所述第二相当区域进行合成而生成合成图像数据的合成处理。
2.根据附注项1所述的拍摄装置，其中，
所述第二区域中的各像素是该各像素的颜色成分信号所包含的R、G、B中的至少任意一方的信号等级为饱和的像素，
所述第二曝光值是比所述第一曝光值高的曝光值。
3.根据附注项2所述的拍摄装置，其中，
所述拍摄装置还具有曝光校正部，所述曝光校正部对所述饱和度强调处理后的所述第二相当区域进行曝光校正，使得其与所述第一图像数据的明亮度一致，
所述合成图像生成部对所述饱和度强调处理后的所述第一区域、和所述曝光校正后的所述第二相当区域进行合成，生成所述合成图像数据。
4.根据附注项1所述的拍摄装置，其中，
所述第二区域中的各像素是该各像素的颜色成分信号中所包含的R、G、B中的至少任意一方的信号等级为噪声等级的像素，
所述第二曝光值是比所述第一曝光值低的曝光值。
5.根据附注项4所述的拍摄装置，其中，
所述拍摄装置还具有曝光校正部，所述曝光校正部对所述饱和度强调处理后的所述第二相当区域进行曝光校正，使得其与所述第一图像数据的明亮度一致，
所述合成图像生成部对所述饱和度强调处理后的所述第一区域、和所述曝光校正后的所述第二相当区域进行合成，生成所述合成图像数据。
6.根据附注项5所述的拍摄装置，其中，
所述拍摄装置还具有对比度强调部，所述对比度强调部对所述曝光校正后的所述第二相当区域进行对比度强调处理，
所述合成图像生成部对所述饱和度强调处理后的所述第一区域、和所述对比度强调处理后的所述第二相当区域进行合成，生成所述合成图像数据。
7.一种拍摄方法，其由拍摄装置执行，在该拍摄方法中，
按照相互不同的至少两个的第一曝光值和第二曝光值，分别拍摄同一被摄体，从而生成第一图像数据和第二图像数据；
根据所述第一图像数据中的各像素的颜色成分信号的信号等级，将该第一图像数据的全部像素划分为相互不同的至少第一区域和第二区域；
对所述第一区域、和所述第二图像数据中的与所述第二区域相当的第二相当区域的饱和度进行强调；以及
对强调了所述饱和度后的所述第一区域和所述第二相当区域进行合成而生成合成图像数据。
另外，本实施方式4与附注项之间的对应关系如下所述。
本实施方式4的标准曝光(EV＝0)和标准曝光图像数据分别与附注项的第一曝光值和第一图像数据相当。本实施方式4的曝光值(EV＝－N、+N)和－N、+N级图像数据分别与附注项的第二曝光值和第二图像数据相当。本实施方式4的通常区域与附注项的第一区域相当。本实施方式4的饱和区域和噪声区域与附注项的第二区域相当。本实施方式4的饱和度强调部73与附注项的区域判定部和饱和度强调部相当。本实施方式4的饱和对应区域和噪声相当区域与上述附注项的第二相当区域相当。本实施方式4的步骤S21A、S21H、S21K与附注项的“按照相互不同的至少两个的第一曝光值和第二曝光值，分别拍摄同一被摄体，从而生成第一图像数据和第二图像数据”相当。本实施方式4的步骤S21C与附注项的“根据所述第一图像数据中的各像素的颜色成分信号的信号等级，将该第一图像数据的全部像素划分为相互不同的至少第一区域和第二区域”相当。本实施方式4的步骤S21F、S21I、S21L与附注项的“对所述第一区域、和所述第二图像数据中的与所述第二区域相当的第二相当区域的饱和度进行强调”对应。本实施方式4的步骤S21O与附注项的“对强调了所述饱和度后的所述第一区域和所述第二相当区域进行合成而生成合成图像数据”相当。

Claims (8)

1.一种图像处理装置，其中，该图像处理装置具有：
图像取得部，其取得拍摄同一被摄体而得到的多个图像数据；
饱和度强调部，其针对所述多个图像数据中的每一个图像数据，执行对至少一部分区域的饱和度进行强调的饱和度强调处理；以及
合成图像生成部，其在所述饱和度强调处理后，对所述多个图像数据中的对应的区域彼此进行比较，选择饱和度最高的区域，并执行生成由该选择出的区域构成的合成图像数据的合成处理。
2.根据权利要求1所述的图像处理装置，其中，
所述饱和度强调部以不使色调变化的方式，执行所述饱和度强调处理。
3.根据权利要求1所述的图像处理装置，其中，
在所述饱和度强调处理和所述合成处理中，排除掉颜色成分信号中所包含的R、G、B中的至少任意一方的信号等级为饱和的像素。
4.根据权利要求1所述的图像处理装置，其中，
在所述饱和度强调处理和所述合成处理中，排除掉颜色成分信号中所包含的R、G、B中的至少任意一方的信号等级为噪声等级的像素。
5.一种拍摄装置，其中，该拍摄装置具有：
权利要求1所述的图像处理装置；以及
摄像部，其拍摄被摄体而生成所述多个图像数据。
6.根据权利要求5所述的拍摄装置，其中，
所述多个图像数据是通过使所述摄像部按照不同的曝光来拍摄同一被摄体而生成的多个图像数据。
7.根据权利要求5所述的拍摄装置，其中，
所述多个图像数据是通过使所述摄像部按照相同的曝光且隔开规定的时间来拍摄同一被摄体而生成的多个图像数据。
8.一种图像处理方法，其由图像处理装置执行，在该图像处理方法中，
取得拍摄同一被摄体而得到的多个图像数据；
针对所述多个图像数据中的每个图像数据，对至少一部分区域的饱和度进行强调；以及
在对所述饱和度进行强调后，对所述多个图像数据中的对应的区域彼此进行比较，选择饱和度最高的区域，生成由该选择出的区域构成的合成图像数据。
CN201510751598.2A 2015-02-26 2015-11-06 图像处理装置、拍摄装置以及图像处理方法 Pending CN105933592A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015036878A JP2016163052A (ja) 2015-02-26 2015-02-26 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2015-036878 2015-02-26

Publications (1)

Publication Number Publication Date
CN105933592A true CN105933592A (zh) 2016-09-07

Family

ID=56799780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510751598.2A Pending CN105933592A (zh) 2015-02-26 2015-11-06 图像处理装置、拍摄装置以及图像处理方法

Country Status (3)

Country Link
US (1) US9736394B2 (zh)
JP (1) JP2016163052A (zh)
CN (1) CN105933592A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996016A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种内窥镜图像色彩调整方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
TWI698129B (zh) * 2019-03-08 2020-07-01 瑞昱半導體股份有限公司 影像處理方法及其電子裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034837A1 (en) * 2007-07-31 2009-02-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program and storage medium
CN102696220A (zh) * 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与***
CN103108192A (zh) * 2011-11-11 2013-05-15 卡西欧计算机株式会社 图像合成装置
CN104113700A (zh) * 2013-04-18 2014-10-22 奥林巴斯株式会社 拍摄装置和拍摄方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600573B2 (ja) * 1993-05-31 1997-04-16 日本電気株式会社 カラー画像の彩度強調方法及び装置
WO1998051089A1 (fr) * 1997-05-07 1998-11-12 Sony Corporation Processeur de signaux d'images, camera video couleur et procede de traitement de signaux d'images
JP2002319015A (ja) * 2001-04-19 2002-10-31 Synthesis Corp 画像合成方法
JPWO2003041013A1 (ja) * 2001-11-05 2005-03-03 シャープ株式会社 カラー画像処理方法、カラー画像処理装置、カラー表示装置、および当該カラー画像処理方法を実現するためのコンピュータプログラム
JP2003173438A (ja) * 2001-12-06 2003-06-20 Minolta Co Ltd 画像処理装置
US6909459B2 (en) * 2002-08-21 2005-06-21 Alpha Innotech Corporation Method of and apparatus for extending signal ranges of digital images
US20040100565A1 (en) * 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
JP4082318B2 (ja) * 2003-09-04 2008-04-30 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7653298B2 (en) * 2005-03-03 2010-01-26 Fujifilm Corporation Image capturing apparatus, image capturing method, image capturing program, image recording output system and image recording output method
JP5747595B2 (ja) 2011-03-24 2015-07-15 株式会社ニコン 露出制御装置及びカメラ
JP2015092643A (ja) * 2012-01-30 2015-05-14 日本電気株式会社 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034837A1 (en) * 2007-07-31 2009-02-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program and storage medium
CN102696220A (zh) * 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与***
CN103108192A (zh) * 2011-11-11 2013-05-15 卡西欧计算机株式会社 图像合成装置
CN104113700A (zh) * 2013-04-18 2014-10-22 奥林巴斯株式会社 拍摄装置和拍摄方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996016A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种内窥镜图像色彩调整方法

Also Published As

Publication number Publication date
JP2016163052A (ja) 2016-09-05
US20160255320A1 (en) 2016-09-01
US9736394B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
CN102377943B (zh) 摄像装置以及摄像方法
CN103813097B (zh) 摄像装置以及摄像方法
US7880926B2 (en) Imaging apparatus performing flash photography for persons
CN102761687B (zh) 数字拍摄设备、控制数字拍摄设备的方法
JP5321163B2 (ja) 撮像装置及び撮像方法
CN105933592A (zh) 图像处理装置、拍摄装置以及图像处理方法
JP2017220892A (ja) 画像処理装置及び画像処理方法
CN105874786B (zh) 图像处理装置、图像处理方法和计算机可读记录介质
CN106878624A (zh) 摄像装置和摄像方法
JP2010103740A (ja) デジタルカメラ
JP2009504037A (ja) ディジタル画像における不適正露出領域の補正
US8786728B2 (en) Image processing apparatus, image processing method, and storage medium storing image processing program
JP2017022610A (ja) 画像処理装置、画像処理方法
KR20120016475A (ko) 영상 처리 방법 및 영상 처리 장치
WO2014133340A1 (ko) 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법
JP2008066974A (ja) 画像表示方法及び画像表示装置並びにカメラ
JP2021145302A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
CN106134181B (zh) 摄影装置
McCollough Complete guide to high dynamic range digital photography
CN105934941B (zh) 摄像装置、视频信号处理方法以及存储介质
CN103385005A (zh) 立体图像处理装置以及立体图像处理方法
CN104754193A (zh) 具有拍摄功能的电子装置和控制该电子装置的方法
KR101493378B1 (ko) 촬상장치 및 촬상장치의 제어 방법
JP2013207471A (ja) デジタルカメラ
JPH05260510A (ja) 電子スチルカメラ及び再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160907

WD01 Invention patent application deemed withdrawn after publication