CN103907345A - 图像处理装置、摄像装置和存储了图像处理程序的存储介质 - Google Patents

图像处理装置、摄像装置和存储了图像处理程序的存储介质 Download PDF

Info

Publication number
CN103907345A
CN103907345A CN201280053421.XA CN201280053421A CN103907345A CN 103907345 A CN103907345 A CN 103907345A CN 201280053421 A CN201280053421 A CN 201280053421A CN 103907345 A CN103907345 A CN 103907345A
Authority
CN
China
Prior art keywords
image
signal
original image
pixels
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280053421.XA
Other languages
English (en)
Other versions
CN103907345B (zh
Inventor
影山昌广
高桥辉树
筒井隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN103907345A publication Critical patent/CN103907345A/zh
Application granted granted Critical
Publication of CN103907345B publication Critical patent/CN103907345B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

图像处理装置包括：图像输入部，其输入对相同被拍摄物体同时或者按时间序列进行拍摄而得到的曝光等级不同的N张(N为2以上的整数)原始图像；和合成处理部，其对N张原始图像进行合成处理，生成M张(M为1以上且小于N的整数)输出图像。合成处理部在N张原始图像之间对对应的各像素位置的颜色成分信号彼此进行比较，将能获得更高色度的颜色成分信号作为输出图像的各像素位置上的颜色成分信号。

Description

图像处理装置、摄像装置和存储了图像处理程序的存储介质
本申请主张平成23年(2011年)11月1日申请的日本专利申请第2011-240672号的优先权，通过参考该内容而将其包含于本申请内。
技术领域
本发明涉及形成彩色图像的技术。
背景技术
近年来，利用车载摄像机或监控摄像机等拍摄夜间场景来为人们生活的安全和安心发挥作用的研究开发非常活跃。由于这种夜间场景中明暗差别非常大，超过了普通摄像元件的动态范围的界限，产生了通常称为“高光溢出”、“暗部缺失”、“颜色饱和”等现象。尤其是在被拍摄物体的颜色(色度)用于拍摄后的图像识别处理等的情况下，如果红(R)、绿(G)、蓝(B)这些颜色成分中的特定颜色发生饱和，结果成为得到的图像的颜色与被拍摄物体的实际颜色不同的图像，存在无法适当地形成彩色图像的情况。例如，如果被拍摄物体中存在红灯而该灯的亮度高，则图像的红色分量达到饱和。那么图像中绿色分量、蓝色分量相对地增加，因此生成的图像中红灯的部分变白。
对此，专利文献1中公开了以提供即使在特定颜色发生饱和的情况下也能够获得生成适当的彩色图像所需的信息的图像输入装置为目的的技术。在该技术中，获得以第一快门速度拍摄所得到的图像Img2和以比第一快门速度更快的第二快门速度拍摄所得到的图像Img1。对于这些图像，利用图像Img2中的饱和像素和图像Img1中的高亮度像素来比较坐标。采用如下结构，如果这些像素位于相同坐标位置，则推测拍摄的是相同物体，利用下式调节图像Img2中具有相同坐标的饱和像素的信号中包含的色度，使其与图像Img1中的高亮度像素的信号中包含的色度一致。
即，令彩色图像Img1的高亮度像素的亮度信号为Y1(x，y)，色差信号为Cb1(x，y)、Cr1(x，y)，从彩色图像Img2的饱和像素输出的亮度信号为Y2(x，y)时，利用下式计算出修正后的Cb2’(x，y)、Cr2’(x，y)。
Cb2’(x，y)＝Cb1(x，y)×Y2(x，y)/Y1(x，y)……(1)
Cr2’(x，y)＝Cr1(x，y)×Y2(x，y)/Y1(x，y)……(2)
即，专利文献1中公开了对彩色图像Img1中的饱和像素所输出的彩色图像信号中的色差信号利用上述修正后的色差信号替换的技术。在此，(x，y)表示摄像元件的摄像面上的坐标。
此外，专利文献2中公开了在使用CCD等摄像元件的摄像装置中为了增大动态范围而合成多张图像的技术。该技术中，公开了如下摄像装置，其配备：指标化单元，分别对给予不同曝光量所得到的多张原始图像的图像信号进行处理，对每个由至少一个像素构成的分割区域计算相当于色度的指标；选择单元，基于指标对每个分割区域从多个原始信号的图像信号中选择一个图像信号；图像单元，从所选择的图像信号生成一个合成图像信号。
此时，对于按每个分割区域从多个原始信号的图像信号中选择一个图像信号时所用的指标C，使用亮度信号Y、色差信号R-Y和B-Y、作为比较的其它图像的亮度信号Y’、规定值α根据下式(3)～(5)式的其中之一进行计算。
C＝{(R－Y)2+(B－Y)2}/(Y+α)2……(3)
C＝{(R－Y)2+(B－Y)2}×(Y’+α)2……(4)
C＝{|R－Y|+|B－Y|}/(Y’+α)2……(5)
现有技术文献
专利文献
专利文献1：国际公开第2010/116922号手册
专利文献2：(日本)特开2002-119302号公报
发明内容
发明要解决的技术问题
如式(1)～(5)所示，上述以往技术中，作为运算式使用除法(/)或者乘法(×)。在利用运算能力低的处理器(CPU，Central ProcessingUnit)软件处理除法(/)、乘法(×)的情况下，处理所需时间增大，存在无法进行实时处理、需要减少单位时间内(例如一秒间)的图像帧数、不得不降低其它运算(例如图像识别处理)的精度等问题。或者在利用运算能力高的处理器或专用硬件的情况下，装置整体的成本上升。
本发明的目的为提供如下技术，即使在拍摄明暗差别较大的被拍摄物体的情况下，也能够通过更少的信息处理量生成颜色丢失或颜色饱和少的彩色图像。
用于解决技术问题的手段
本发明代表性的一个例子如下所示。即，图像处理装置包括：图像输入部，其输入对相同被拍摄物体同时或者按时间序列进行拍摄而得到的曝光等级不同的N张原始图像，其中N为2以上的整数；和合成处理部，其对上述N张原始图像进行合成处理，生成M张输出图像，其中M为1以上且小于N的整数，上述合成处理部在上述N张原始图像之间对对应的各像素位置的颜色成分信号彼此进行比较，将能获得更高色度的颜色成分信号作为上述输出图像的上述各像素位置上的颜色成分信号。
发明的效果
通过本发明代表性的实施方式，即使在拍摄明暗差别大的被拍摄物体的情况下，也能够通过更少的信息处理量生成颜色丢失或颜色饱和少的彩色图像。因此，能够实现可由性能更低的处理器进行的处理或图像生成处理的高速化。
上述之外的问题、结构和效果可通过以下的实施方式的说明得以明了。
附图说明
图1是表示拍摄范围中存在亮度范围较大的被拍摄物体的例子的图。
图2是利用柱状图表示发生颜色饱和的RGB图像信号和未发生颜色饱和的RGB图像信号的例子。
图3是概要地说明本发明第一实施方式的图像处理装置及包含该图像处理装置的摄像装置的结构的框图。
图4A是说明在时间序列上获得曝光等级不同的多张图像的方法的图。
图4B是说明大致同时地获得曝光等级不同的多张图像的方法的图。
图5是说明本发明第一实施方式的图像处理装置中对应由多张构成的一组原始图像生成一张输出图像的图。
图6是说明本发明第一实施方式的图像处理装置中基于曝光等级不同的两张图像的对应像素位置的各像素值决定输出图像在该像素位置上的像素值的图。
图7是本发明第一实施方式的图像处理装置中执行的图像合成处理的流程。
图8是说明本发明第二实施方式的图像处理装置中基于曝光等级不同的两张图像的对应像素位置的各像素值来决定输出图像在该像素位置上的像素值的图。
图9是说明分别地对应在时间上前后相邻的拍摄时刻拍摄所得的长曝光图像和短曝光图像以及短曝光图像和长曝光图像的组合来生成输出图像的图。
图10是说明对应由曝光等级不同的三张构成的一组原始图像生成一张输出图像的图。
具体实施方式
首先针对拍摄范围中存在亮度范围较大的被拍摄物体的例子参考图1进行说明。图1是表示利用车载摄像机或者监控摄像机拍摄夜间道路得到的图像的图。以下分别将安装了车载摄像机的车辆称为“本车”，将行驶在本车前方的车辆称为“前车”，将朝本车的方向行驶的车辆称为“来车”。图1中展示了拍摄场景中存在前车LC、来车OC、背景BG、设置在路旁的反射装置R1、R2等的情况。前车LC其尾灯TL为点亮的状态。来车OC其前灯HL为点亮的状态。反射装置R1、R2反射本车及行驶在本车后方的车辆的前灯所发出的光等，发出颜色为黄色接近橙色的光。
着眼于前车的尾灯TL部分的图像进行说明，在前车与本车的车辆间距离较远的情况下，由车载摄像机捕捉生成的尾灯TL的图像部分的像素值并不饱和。但如果本车与前车的车辆间距离缩短，在拍摄场景的整体中尾灯TL部分的亮度增大。由于从尾灯TL射出的光中R(红)色分量的比G(绿)色和B(蓝)色分量更多，如果尾灯TL部分亮度增大则R色分量饱和。尤其在夜间场景中，明暗差别非常大，如果以背景BG等的亮度为基准决定曝光量，则从靠近本车的车辆上配备的光源发出的光所对应的部分的图像发生饱和的可能性升高。
图2中表示这种情况。在图2中，纵轴为8比特深度的像素值(最小值0，最大值255)，横轴表示R色、G色、B色的各分量。在图2中，附以符号NML的像素值的组合表示未饱和的状态的例子，附以SAT的像素值的组合表示R色像素值饱和的状态的例子。以下将这些像素值的组合称为“像素值NML”、“像素值SAT”。像素值NML中R色分量相对较多，基于该像素值的图像变红。另一方面，像素值SAT中R色分量饱和，G色、B色分量相对增加。其结果是，本该再现为红色的图像中红色减少，在图2所示的例子中基于像素值SAT再现的颜色成为接近白色的黄色。
如果色彩大幅度偏离实际颜色，则基于颜色进行图像识别时难以实现正确的判定。例如，在判定拍摄场景中有无尾灯(前车)或者判定是反射装置(R1，R2)还是尾灯(前车)的用途中，如果发生高光溢出或者颜色饱和，则无法进行基于颜色的判定，因此难以实现正确判定。在此，高光溢出意为R色、G色、B色所有通道的像素值都为饱和或接近饱和的状态。颜色饱和意为特定颜色通道中像素值为饱和状态。
如上所述，在拍摄被拍摄物体亮度分布范围较广的场景时，容易因场景中的亮度而超出摄像元件的动态范围外，发生高光溢出和颜色饱和。如果为了抑制该高光溢出和颜色饱和而减少曝光量，则此时拍摄范围中的低亮度部分无法获得足够大的像素值，造成暗部缺失，使得基于物体的轮廓和颜色等的图像识别处理变得困难。为了应对该问题，在本发明的实施方式中对以不同曝光等级拍摄相同物体而得到的多张图像进行合成处理。
第一实施方式
图3是说明本发明第一实施方式的图像处理装置104被配置在摄像装置100内的例子的框图。摄像装置100包括摄影镜头101、摄像部102、摄像控制部103和图像处理装置104。图像处理装置104配备图像输入部105和合成处理部106。以下以上述结构要素一体地构成进行说明，但由摄影镜头101、摄像部102和摄像控制部103构成的摄像机单元与图像处理装置104可独立地构成。摄影镜头101可固定在摄像机单元上，也可相对于摄像机单元自由拆卸地构成，采用可根据目的交换各种类型的摄影镜头的结构。图像处理装置104可由专用硬件构成，也可由配备CPU、存储器、存储装置等的计算机和通过该计算机执行的程序构成。此时，程序可存储于光盘、磁记录介质、闪存等非临时性的计算机可读的介质中。并且计算机具有从这些可读介质读取程序的接口。
摄像部102具备CCD(Charge Coupled Device，电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器等摄像元件和预处理器。本实施方式中摄像元件可为在受光面上形成R、G、B各色的拜耳阵列的片上滤色器的单片式CMOS图像传感器。CMOS图像传感器内置了CDS(Correlated Double Sampling，相关双采样)电路和AGC(AutomaticGain Control，自动增益控制)电路以及A/D转换电路等模拟前端，构成为可输出数字CFA(滤色器阵列)图像。CFA图像为去马赛克(Demosaicing)处理前的、每个像素具有一种颜色的信号值的图像。并且该CMOS图像传感器具有电子快门的功能。预处理器对CFA图像进行去马赛克、降噪、灰度校正、白平衡调整等处理，生成RGB图像。此外，也可省略预处理器，使摄像部102输出CFA图像，在图像传感器104侧进行包含去马赛克、降噪、灰度校正、白平衡调整等的处理
摄影镜头101在摄像部102的受光面上形成被拍摄物体像。摄影镜头101可为定焦镜头，也可为可变焦镜头。在为可变焦镜头的情况下，可在摄影镜头101内安装用于变焦的变倍率驱动装置。此外，可在摄影镜头101内安装用于驱动调焦用透镜的调焦装置。摄影镜头101内置光圈装置，以光圈值(F值)可变的方式构成。
摄像控制部103控制摄像部102中的摄像动作的时刻和曝光量。在本实施方式中，摄像控制部103向摄像部102输出时序信号，使得摄像部102以30fps、60fps等帧率重复地进行摄像动作。此时，摄像控制部103也向摄像部102输出曝光量控制信号。在摄像部102中，基于从摄像控制部103输出的这些信号来改变曝光等级重复地进行拍摄。
在此针对曝光等级进行说明。一般地，要给予摄像元件的基准曝光量(基准像平面曝光量)根据图像传感器的灵敏度、模拟前端中的增益、噪声水平、数字信号处理部中的降噪处理的优劣等决定。一般地，构成图像传感器的各像素(光电转换部)的尺寸越大，或者图像传感器和模拟前端中的S/N比(信噪比)越好，能够进行高增益的放大，或者数字信号处理部中的降噪处理越好，则越能够提高摄像元件中可设定的灵敏度。这样，由于摄像元件中可设定的灵敏度根据各种因素而变化，本说明书中将摄像元件中可设定的灵敏度称为“***灵敏度”。该***灵敏度越高，则能使基准曝光量越低。曝光等级根据设定的***灵敏度而定。以拍摄标准亮度物体得到的图像为标准亮度的图像的方式确定的曝光等级为基准曝光等级。
如果使用比该基准曝光等级更高的曝光等级进行拍摄，则获得更亮(曝光过度)的图像。更亮的图像在被拍摄物体的明亮部分存在发生高光溢出和颜色饱和的可能性，而在被拍摄物体的黑暗部分则能够再现更鲜艳的颜色。另一方面，如果使用比该基准曝光等级更低的曝光等级进行拍摄，则获得更暗(曝光不足)的图像。更暗的图像在被拍摄物体的黑暗部分存在发生暗部缺失的可能性，但即使在被拍摄物体中存在太阳光或人工照明等导致的明亮部分，也能够减少对应该部分的图像中发生高光溢出或颜色饱和的可能性。
作为改变曝光等级的方法，有改变摄影镜头101的光圈的方法、改变摄像部102中的曝光时间的方法等。在获取不同曝光等级的多张图片时，由于改变光圈或曝光时间的方法无法同时获得不同曝光量的多张图像，因此需要在时间序列上一边重复摄像动作，一边改变光圈或曝光时间或两者。或者，可固定光圈、曝光时间而改变配置在摄影镜头101前侧或后侧的吸光度可变滤镜的吸光度。通过这样的方法，在获取曝光等级不同的N张(N为2以上的整数)图像时，周期性地重复一边改变曝光等级一边在时间序列上进行N次拍摄的动作。图4A表示交替地增减曝光等级重复地拍摄的情况。如图4A所示的例子中，为了增减曝光等级而交替地改变曝光时间，重复较长的曝光时间的曝光(长曝光)和较短的曝光时间的曝光(短曝光)。
此外，在作为摄像装置整体配置N套摄影镜头101和摄像部102并以使它们捕捉相同被拍摄物体的方式进行设置的情况下，可通过对每套改变曝光等级来大致同时地获得曝光等级不同的N张图像。
或者，在摄像元件的受光面上灵敏度不同的多种像素有规律地交替排列的情况下(在此为了简化说明，排列高灵敏度像素、低灵敏度像素两种)，可通过一次曝光动作同时获得曝光等级不同的N张(上例为2张)图像。这是因为高灵敏度像素、低灵敏度像素的基准像平面曝光量不同，对这些高灵敏度像素、低灵敏度像素给予相同曝光量的结果是使曝光等级不同。进一步地，也可配置如下结构，在摄影镜头后方配置使用半透镜或棱镜等的分束器，以不等的光量将物体光导向多个摄像元件。通过配置这种结构，多个摄像元件大致同时地进行大致相同曝光时间的曝光，能够获得曝光等级不同的多张图像。
图4B表示大致同时地进行不同曝光等级下的多个曝光的情况。图4B所示的例子中，大致同时地进行改变曝光时间的多个曝光。而配置多套摄影镜头和摄像元件的组合时，可通过改变光圈以大致相同的曝光时间大致同时地进行多个曝光。此外，使用配备高灵敏度像素和低灵敏度像素的摄像元件或者物体光以不等的光量导入的多个摄像元件，能够通过以大致相同的曝光时间大致同时地进行多个曝光来获得多个不同曝光等级的图像。
在拍摄较快速地运动的物体的用途中，为了改善后面进行的合成处理的结果，期望在尽量短的时间内获得曝光等级不同的多张图像。其理由为，在不同时刻拍摄的多张图像之间，图像内被拍摄物体所在位置发生变化，为后面进行的合成处理带来困难。
以下，以按每帧一边改变摄像部102的曝光时间(电子快门)一边在时间序列上进行拍摄、获得曝光等级不同的多张图像的情况为例进行说明。摄像控制部103向摄像部102输出控制信号，使得摄像部102以例如60fps的帧率进行拍摄。此时，摄像控制部103向摄像部102发出控制信号，使其重复进行每帧曝光等级不同的拍摄。
作为一个例子，图5表示摄像部102进行不同的两个曝光等级下的摄像动作、时间上交替地生成曝光等级较高的图像和曝光等级较低的图像的情况。本例中为了改变曝光等级而改变曝光时间长度，因此将曝光等级较高的图像称为长曝光图像(IL)，将曝光等级较低的图像称为短曝光图像(IS)。这些长曝光图像(IL)、短曝光图像(SL)依次输入的图像处理装置104的图像输入部105中，经合成处理部106进行处理，生成输出图像(Iout)。在本说明书中将输入到图像输入部105中的长曝光图像(IL)、短曝光图像(SL)即合成处理前的图像称为原始图像。在图5中，生成的输出图像(Iout)的帧率为拍摄帧率的1/2。
图像输入部105可由SDRAM(Synchronous Dynamic RandomAccess Memory，同步动态随机存取存储器)等访问速度较快的存储装置构成。图像处理装置104实时地处理从摄像部102依次输出的原始图像的情况下，从摄像部102输出的原始图像输入到图像输入部105。图像处理装置104处理在存储卡、硬盘驱动器、SSD(Solid State Drive，固态硬盘)等中保存的原始图像的情况下，图像输入部105从这些存储卡、硬盘和SSD等存储介质输入原始图像。如上所述，图像输入部105可输入CFA图像或输入去马赛克处理后的图像作为原始图像。以下以图像输入部105输入去马赛克处理后的RGB图像进行说明。
图像输入部105以N张(在本例中为由长曝光图像(IL)和短曝光图像(IS)构成的两张)原始图像一组，输出到合成处理部106。合成处理部106将RGB颜色空间的原始图像转换成包含亮度成分信号和颜色成分信号的信号后，进行合成处理。本例中，作为包含亮度成分信号和颜色成分信号的信号，合成处理部106转换成YUV信号。该YUV信号中，图像信号由亮度成分Y和颜色成分U、V表示。在此，若令RGB图像的各颜色的像素值为(R，G，B)，令由YUV信号表示的像素值为(Y，U，V)，则可利用下式从RGB像素值中获得YUV像素值。
Y＝0.299×R+0.587×G+0.144×B……(6)
U＝－0.169×R－0.331×G+0.500×B……(7)
V＝0.500×R－0.419×G－0.081×B……(8)
通过利用以上的式(6)到式(8)，能够对应原始图像中的各像素位置的像素求出亮度信号(Y)和色差信号(U，V)。
此外，作为上述YUV信号的替代，可使用由以下的式(9)到式(11)导出的亮度信号(Y)、色差信号(B－Y)和(R－Y)。
Y＝0.300×R+0.590×G+0.110×B……(9)
B－Y＝－0.300×R－0.590×G+0.890×B……(10)
R－Y＝0.700×R－0.590×G－0.110×B……(11)
进一步地，作为上述YUV信号的替代，可使用由以下的式(12)到式(14)导出的亮度信号(Y)、色差信号(Cb和Cr)。
Y＝0.257×R+0.504×G+0.098×B……(12)
Cb＝－0.148×R－0.291×G+0.439×B……(13)
Cr＝0.439×R－0.368×G－0.071×B……(14)
此外，与YCbCr类似，可导出亮度信号(Y)、色差信号(Pb)和(Pr)加以使用。
以下以利用YUV信号进行处理进行说明。在此，针对(Y，U，V)的各像素值与再现的颜色的关系进行说明。例如，针对与前车的车辆间距离缩短、尾灯部分的图像的亮度增加、最终产生颜色饱和和高光溢出的状况进行说明。
在没有明亮到产生颜色饱和和高光溢出的状况下，亮度信号(Y)的值随着图像亮度的增加而增加。此时，色差信号(U，V)的绝对值也增加。例如针对前车LC的尾灯TL部分的图像进行说明，在前车LC远离、拍摄得较暗的情况下，该部分图像的亮度信号(Y)的值较小，色差信号(U，V)的绝对值也较小。此时再现的颜色为较暗的红色。然后，随着前车LC靠近，尾灯(TL)部分的图像的亮度增加，亮度信号(Y)的值和色差信号(U，V)的绝对值也增加。即，再现的颜色从带黑色的红色变为色度高的鲜艳红色。
但如果图像进一步变亮、开始发生颜色饱和后，亮度信号(Y)的值增加，色差信号(U，V)的绝对值开始减少。色差信号(U，V)的绝对值越小，则颜色越淡(色度降低)。此时从获得的信号再现的颜色中色调发生变化，变得与尾灯原来的颜色不同，最终色差信号(U，V)的值接近(0，0)，颜色接近白色。
或者，考虑将色差信号(U，V)的绝对值固定为一定值、仅变化亮度信号(Y)的值时再现的颜色的变化，亮度信号(Y)的值较小的情况比相反的情况颜色更浓。作为(Y，U，V)的像素值，如果将U、V设定为合适的值后仅增减Y的值，求出与这些像素值的组合对应的(R，G，B)像素值(针对从YUV颜色空间到RGB颜色空间的转换式，后面参考(17)式到(19)式进行说明)，可知随着Y的值的减少，对应的(R，G，B)像素值之间的差增大，色度变得鲜明。例如可表现为，将对应两种颜色的两点投影到利用色调和色度规定的二维平面上时，这两点越远(两点间的距离越增大)，色度越鲜明。
利用以上性质，合成处理部106对由YUV颜色空间表示的长曝光图像(IL)、短曝光图像(IS)如下所述地进行合成处理。以下为了区别长曝光图像(IL)、短曝光图像(IS)各自的像素值(Y，U，V)，令长曝光图像(IL)的像素值为(YL，UL，VL)，令短曝光图像(IS)的像素值为(YS，US，VS)。合成处理部106对长曝光图像(IL)、短曝光图像(IS)比较两图像的每个对应像素位置上的值(UL与US、VL与VS)，对各像素依次进行将绝对值较大者的值作为该像素位置的输出值(UO，VO)求出的处理。此时，对于亮度值(YO)，选择短曝光图像(IS)的亮度值(YS)。
图6是示意性地表示如上所述地从长曝光图像(IL)和短曝光图像(IS)生成输出图像(Iout)的情况的图。图6中，对于从长曝光图像(IL)提取的像素值(UL，VL)与从短曝光图像(IS)提取的像素值(US，VS)，在合成处理部106分别比较像素值UL与US，VL与VS。并选择绝对值较大者的值，求出输出图像Iout的像素值UO、VO。并且展示了针对输出图像Iout的亮度值YO使用短曝光图像IS的亮度值的情况。
图7是概要性地表示由合成处理部106执行的图像合成处理的步骤的流程图。每执行一次图7所示的处理，在合成处理部106中生成一帧输出图像Iout。即，以30fps的帧率生成输出图像Iout的情况，如图7所示的处理在一秒中执行30次。
图7所示的处理表示了色差信号(U，V)为带偏置(128)的二进制数据的情况的处理。即，在对8比特深度的RGB图像数据利用式(6)到式(8)导出(Y，U，V)的值时，U值、V值可能为负值。因此，通过对导出的U值和V值一律加上128，使其为正数后求整，使得能够将U值和V值作为无符号二进制数据进行处理。S700中记载的“//色差信号(U)的值为带偏置(128)的二进制数据的情况”和S702中记载的“//色差信号(U)的值为带偏置(128)的二进制数据的情况”意为程序中的注释。
在S700中，合成处理部106分别从作为处理对象的像素位置的长曝光图像(IL)、短曝光图像(IS)的色差值UL、US减去偏置值128，求出绝对值。这样求出的值为UL_abs、US_abs。然后比较UL_abs和US_abs，在判定UL_abs的值在US_abs的值以上时，令UO＝UL。另一方面，在判定UL_abs的值小于US_abs的值时，令UO＝US。该处理的内容在S700的处理块中表示为如下程序代码。
UL_abs＝abs(UL－128)
US_abs＝abs(US－128)
if(UL_abs＞＝US_abs)UO＝UL
else       UO＝US……(15)
在S702中，合成处理部106分别从作为处理对象的像素位置的长曝光图像(IL)、短曝光图像(IS)的色差值VL、VS减去偏置值128，求出绝对值。这样求出的值为VL_abs、VS_abs。然后比较VL_abs和VS_abs，在判定VL_abs的值在VS_abs的值以上时，令VO＝VL。另一方面，在判定VL_abs的值小于VS_abs的值时，令VO＝VS。该处理的内容在S702的处理块中表示为如下程序代码。
VL_abs＝abs(VL－128)
VS_abs＝abs(VS－128)
if(VL_abs＞＝VS_abs)VO＝VL
else          VO＝VS……(16)
在S704中，合成处理部106将短曝光图像(IS)中作为处理对象的像素位置的亮度值(YS)作为输出图像(Iout)的亮度值YO。
合成处理部106在S706中判定是否对一帧图像中的所有像素完成了处理，在该判定为否定时，重复进行上述S700到S704的处理。在S706的判定为肯定的情况下，结束生成一帧输出图像(Iout)的处理。
对于以上说明的S700、S702、S704的各处理，不一定需要按照图7例示的顺序，可交换处理顺序。
如上所述，通过本发明的第一实施方式，减少了除法(/)和乘法(×)的使用，能够通过绝对值运算(abs)、减法(－)、条件分支(if)的处理实现输出图像的生成，能够降低处理器的处理负荷。或者，对于相同处理性能的处理器能够提高处理速度。并且，作为单纯的处理，在对生成的输出图像进行图像识别等处理、基于颜色差异进行被拍摄物体的判别时，能够提高判别的准确度。例如，对车载摄像机的图像进行处理、判定前车点亮的车灯是否有尾灯的应用例子中，能够抑制错误地将方向指示灯(转弯灯)或来自设置在路旁的反射装置的橙色光判定为尾灯。
以上，针对将由长曝光图像(IL)、短曝光图像(IS)构成的两张原始图像输入到图像处理装置104进行处理的例子进行了说明。但本发明并不限定于此，可对应每帧输出图像输入并处理三张以上的原始图像。此时，输出图像信号的亮度成分信号，期望从N张原始图像中除曝光等级最高的原始图像之外的N―1张原始图像中选择出的一张原始图像中的对应的各像素位置的信号中包含的亮度成分信号作为所述输出图像的各像素位置上的亮度成分信号。
通过增加原始图像的张数，能够生成对应被拍摄物体的更广亮度范围的大动态范围的输出图像。此时，通过本发明能够降低处理器的处理负荷，因此能够增加单位时间中可生成的输出图像的帧数。
第二实施方式
图8表示本发明的第二实施方式的图像处理装置的合成处理部106A-1的动作，针对其特征进行说明。其它结构由于与第一实施方式中所说明的相同，故省略其说明。
与图6相同，图8是示意性地表示从长曝光图像(IL)、短曝光图像(IS)生成输出图像(lout)的情况的图。图8中，对于从长曝光图像(IL)提取的像素值(UL，VL)与从短曝光图像(IS)提取的像素值(US，VS)，在合成处理部106A-1分别比较像素值UL与US，VL与VS。并选择绝对值较大者的值，生成输出图像Iout的像素值UO、VO。该点与第一实施方式中的合成处理部106中的处理相同。与第一实施方式不同的点是，使用从长曝光图像(IL)的亮度值YL、短曝光图像(IS)的亮度值YS中选择的任一亮度值(YL或YS)作为输出图像Iout的亮度值YO。并且，在合成处理部106A-2中利用与所用的像素值是YL还是YS相应的衰减比来对亮度值YL、YS进行衰减，该点也与第一实施方式不同。
如上所述，对长曝光图像的色差信号(UL，VL)与短曝光图像的色差信号(UL，VL)的各绝对值分别按U、V在每个像素进行比较，将绝对值较大者的色差信号输出为(UO，VO)。此时，如果将亮度信号(YL或YS)原样地输出为亮度信号(YO)，则可能产生如下问题。即，将输出信号(YO，UO，VO)代入如下所示的作为(6)～(8)式的逆函数的(17)～(19)式来导出(R，G，B)的值时，存在这些值中至少一个在255以上或者0以下、发生饱和的情况。例如，将从合成处理部106A输出的YUV颜色空间的图像再次转换为RGB颜色空间的图像、进行其它处理时，发生上述饱和问题。
因此，通过进行对亮度信号YL或YS乘以比1小的固定系数等的处理，衰减亮度信号值(106A-1)，使其为输出图像(Iout)的亮度信号(YO)，能够避免(R，G，B)的饱和。此外，该固定系数具有下述权衡关系，其为越大(即接近1)的值则(R，G，B)的值越容易饱和，为越小(即接近0)的值则输出图像易于发生暗部缺失，因此可根据实际的使用目的设定为合适的值。与第一实施方式不同，此处增加了乘法处理步骤，但通过设定为可通过移位运算实现的固定系数，能够抑制处理负荷的增加。
R＝1.000×Y+1.402×V……(17)
G＝1.000×Y－0.344×U－0.714×V……(18)
B＝1.000×Y+1.772×U……(19)
此外，对亮度信号YL或YS乘以固定系数时，期望为长曝光图像(IL)的亮度信号YL以更强地衰减的方式设定系数。理由是因为长曝光图像(IL)的亮度信号YL的值有比短曝光图像(IS)的亮度信号YS的值更大的倾向。
通过上述的本发明的第二实施方式，在上述的第一实施方式所述的效果的基础上，(R，G，B)的值不易饱和。因此，能够将YUV颜色空间的图像转换成RGB颜色空间的图像，生成例如适合于进行显示或印刷等处理的图像信号。
以上的第一和第二实施方式中，为了简化说明，针对从一张长曝光图像和一张短曝光图像获得一张输出图像的例子进行了说明，但本发明并不限定于此。此外，针对以小于获得原始图像时的帧率(拍摄帧率)的帧率生成输出图像的例子进行了说明，但本发明并不限定于此。
首先，针对生成输出图像时的帧率与拍摄帧率相同的例子参考图9进行说明。在第一和第二实施方式中，针对利用长曝光图像(IL)和之后拍摄获得的短曝光图像(IS)生成一张输出图像(Iout)的例子进行了说明。对此，图9中利用利用某时刻拍摄的长曝光图像(IL-1)和之后的时刻拍摄的短曝光图像(IS-1)生成输出图像(Iout-1)。该点与以前的说明相同。但，在利用之后的时刻拍摄的长曝光图像(IL-2)和之前的拍摄时刻拍摄的短曝光图像(IS-1)生成输出图像(Iout-2)的点不同。即，从长曝光图像(IL-1)和短曝光图像(IS-1)生成输出图像(Iout-1)，从短曝光图像(IS-1)和长曝光图像(IL-2)生成输出图像(Iout-2)，从长曝光图像(IL-2)和短曝光图像(IS-2)生成输出图像(Iout-3)……如此地生成输出图像。换而言之，分别地对应时间上前后相邻的拍摄时刻拍摄所得长曝光图像与短曝光图像的组合以及短曝光图像与长曝光图像的组合，来生成输出图像。这样，能够以与拍摄帧率相同的帧率生成输出图像。
接着，参考图10针对从三张原始图像生成一张输出图像的例子进行说明。摄像部102(图3)中，以三个不同的曝光等级重复拍摄物体。图10中，将以这三个不同的曝光等级拍摄物体所得的图像表示为长曝光图像(IL)、中曝光图像(IM)和短曝光图像(IS)。此外，令对应这些长曝光图像(IL)、中曝光图像(IM)和短曝光图像(IS)的YUV信号为(YL，UL，VL)、(YM，UM，VM)、(YS，US，VS)。
合成处理部106分别对三张输入图像中的色差信号(UL，VL)、(UM，VM)、(US，VS)求绝对值，对求出的绝对值在UL、UM、US之间进行比较，并在VL、VM、VS之间进行比较。然后，将UL、UM、US中绝对值最大的信号作为UO，将VL、VM、VS之间绝对值最大的信号作为VO。
为了从三个信号中求出绝对值最大的信号，只需在图7的流程中分别重复两次S700的处理、S702的处理即可。然后，在第一次处理中比较长曝光图像(IL)的色差信号(UL，VL)与中曝光图像(IM)的色差信号(UM，UM)。接着，在第二次处理中，将第一次处理中选择的色差信号(UL或UM)和(VL或VM)的各绝对值与短曝光图像(IS)的色差信号US和VS的各绝对值进行比较。这样能够分别将UL、UM、US中绝对值最大的信号、VL、VM、VS中绝对值最大的信号分别决定为UO、VO。
此外，对于亮度信号，从YL、YM、YS中曝光等级最高的长曝光图像(IL)的亮度值(YL)后即本例中的YM或YS作为YO。此时，使用中曝光图像(IM)的亮度信号(YM)的场合与使用短曝光图像(IS)的亮度信号(YS)的场合相比，前者易于高光溢出，后者易于暗部缺失。因此，可根据生成的输出图像的使用目的选择其中之一。进一步地，还可为从包含长曝光图像(IL)的亮度信号(YL)的三个亮度信号(YL，YM，YS)中选择其中之一作为输出图像的亮度值(YO)的结构。此时，根据第二实施方式中说明的理由，期望乘以衰减系数后导出YO，该衰减系数根据使用由哪个曝光等级获得的图像来决定。
这样，通过增加曝光等级不同的原始图像的张数，能够对应明暗差别较大的被拍摄物体。例如，在上述应用例中，无论在与前车的车辆间距离远或近的情况下，都能够生成可通过尾灯的红色明确地进行判定的图像。
以上参考图10的说明中，获取长曝光图像(IL)、中曝光图像(IM)、短曝光图像(IS)时的拍摄时间顺序为任意。例如，可以以短曝光图像(IS)、中曝光图像(IM)、长曝光图像(IL)的顺序获取图像的方式进行拍摄，也可以以中曝光图像(IM)、短曝光图像(IS)、长曝光图像(IL)的顺序获取图像的方式进行拍摄。此外，本发明的曝光等级并不限定于上述的两种、三种，显然可为四种及以上。此外的曝光顺序可任意地设定。
进一步地，在图10中针对输出图像的帧率为拍摄帧率的1/3的例子进行了说明，利用与参考图9说明的相同方法，能够抑制输出图像的帧率降低。在此，令从某个时间开始在第一次、第二次、第三次时刻拍摄的图像分别为长曝光图像(IL-1)、中曝光图像(IM-1)、短曝光图像(IS-1)。并且令在接下去的第四次、第五次、第六次时刻拍摄的图像分别为长曝光图像(IL-2)、中曝光图像(IM-2)、短曝光图像(IS-2)。最初生成的输出图像(Iout-1)可利用长曝光图像(IL-1)、中曝光图像(IM-1)、短曝光图像(IS-1)。接下来生成的输出图像(Iout-2)可利用中曝光图像(IM-1)、短曝光图像(IS-1)、长曝光图像(IL-2)生成。这样，通过利用在前后相邻的时刻进行(长曝光，中曝光，短曝光)、(中曝光，短曝光，长曝光)或(短曝光，长曝光，中曝光)这三种曝光等级所得到的图像数据，能够以与拍摄帧率同等的帧率生成输出图像。这对于将曝光等级增加到四种以上的情况也相同。即，通过利用在前后相邻的时刻进行的N种曝光等级所得到图像数据，能够以与拍摄帧率相同的帧率生成输出图像。
此外，在参考图10的上述说明中，针对对应不同曝光等级下得到的N张(N帧)原始图像来生成一张(一帧)输出图像的例子进行了说明，但也可生成多张输出图像。例如，针对在长曝光、中曝光、短曝光三种曝光等级下获得原始图像的场合进行说明。该场合下，可从长曝光、中曝光两张原始图像生成第一输出图像。然后，可从中曝光、短曝光两张原始图像生成第二输出图像。这些第一输出图像、第二输出图像可根据后续阶段进行的图像识别处理等内容或被拍摄物体的亮度分布等状况，在利用输出图像进行图像识别处理时分用途使用。本例中，由于第一输出图像有曝光等级高的倾向，适合于需要良好地区别低亮度的被拍摄物体的颜色的用途等。此外，第二输出图像有曝光等级低的倾向，适合于需要良好地区别高亮度的被拍摄物体的颜色的用途等。
在以上的说明中，针对生成可明确地再现夜间里前车尾灯的红色的输出图像的情况为例对本发明进行了说明，但本发明并不限定于此。例如，可用于识别信号灯的蓝色(绿色)、黄色、红色或者识别夜间里车辆的涂色、人物服装的颜色、建筑物的颜色等的用途等中。可生成适合于对应类似这些明暗差别较大的被拍摄物体明确地区别颜色的用途的图像。
以上针对在基于对原始图像信号中的颜色成分信号进行比较的结果来导出输出图像的颜色成分信号时将RGB颜色空间的图像转换成YUV、YCbCr、Y(B－Y)(R－Y)、YPbPr颜色空间的图像并在色差信号之间比较的例子进行了说明。对此，也可转换成HSV(HSL)、La*b*等颜色空间的图像。例如在转换成HSV颜色空间的图像的情况下，作为颜色成分可比较S信号之间对应的像素位置的信号，选择能获得更高色度的信号来生成输出图像。作为亮度成分信号，可与第一、第二实施方式中说明的L信号同样地利用短曝光图像和长曝光图像的其中之一的图像的V信号，也可根据需要乘以衰减系数后作为输出图像的亮度成分信号。此外，对于H信号，可利用不易发生颜色饱和的短曝光图像的。此外，在转换成La*b*颜色空间的情况下，对于在不同曝光等级下获得多张图像，作为颜色成分可比较a*信号之间以及b*信号之间对应的像素位置的信号，将绝对值较大的a*信号以及b*信号作为输出图像的颜色成分信号。作为亮度成分信号，可与第一、第二实施方式中说明的L信号同样地利用短曝光图像和长曝光图像的其中之一的图像的L信号，也可根据需要乘以衰减系数后作为输出图像的亮度成分信号。
以上针对实时处理摄像部中生成的运动图像的例子进行了说明，也可在拍摄后处理保存在存储装置中的图像数据。此外，处理对象的图像可为运动图像，也可为静止图像。在拍摄后处理保存在存储装置中的图像数据的情况下，作为图像处理装置可独立于摄像装置而构成。此时，图像处理装置可利用专用硬件和/或软件等实现，也可由用于执行参考图7说明的处理步骤的程序和可执行该程序的计算机实现。
以上针对本发明的实施方式进行了说明，但本领域技术人员应理解本发明并不限定于上述实施方式，可进行各种变形实施，并可适当地组合上述各实施方式。

Claims (15)

1.一种对拍摄到的原始图像进行处理的图像处理装置，其特征在于，包括：
图像输入部，其输入对相同被拍摄物体同时或者按时间序列进行拍摄而得到的曝光等级不同的N张原始图像，其中N为2以上的整数；和
合成处理部，其对所述N张原始图像进行合成处理，生成M张输出图像，其中M为1以上且小于N的整数，
所述合成处理部在所述N张原始图像之间对对应的各像素位置的颜色成分信号彼此进行比较，将能获得更高色度的颜色成分信号作为所述输出图像的所述各像素位置上的颜色成分信号。
2.如权利要求1所述的图像处理装置，其特征在于：
所述合成处理部在所述N张原始图像之间的所述颜色成分信号彼此的比较时，对所述颜色成分信号所包含的各个第一色差信号和各个第二色差信号进行比较，将绝对值大的色差信号的组合作为所述输出图像的所述各像素位置上的颜色成分信号。
3.如权利要求2所述的图像处理装置，其特征在于：
所述合成处理部，作为所述原始图像处理由YUV、YCbCr和YPbPr的颜色空间中的任意颜色空间表示的信号。
4.如权利要求3所述的图像处理装置，其特征在于：
所述合成处理部将从所述N张原始图像中的除曝光等级最高的原始图像之外的N－1张原始图像中选择出的一张原始图像中的、对应的各像素位置的信号所包含的亮度成分信号作为所述输出图像的所述各像素位置上的亮度成分信号。
5.如权利要求3所述的图像处理装置，其特征在于：
所述合成处理部将从所述N张原始图像中选择出的一张原始图像中的对应的各像素位置的信号所包含的亮度成分信号乘以规定的衰减系数后的亮度成分信号作为所述输出图像的所述各像素位置上的亮度成分信号。
6.一种对拍摄到的原始图像进行处理的摄像装置，其特征在于，包括：
摄像部，其对相同被拍摄物体同时或者按时间序列进行拍摄，生成曝光等级不同的N张原始图像，其中N为2以上的整数；
输入由所述摄像部生成的所述N张原始图像的图像输入部；
将所述N张原始图像转换成包含亮度成分信号和颜色成分信号的图像的转换处理部；和
合成处理部，其对由所述转换处理部转换处理后的所述N张原始图像进行合成处理，生成M张输出图像，其中M为1以上且小于N的整数，
所述合成处理部在所述N张原始图像之间对对应的各像素位置的颜色成分信号彼此进行比较，将能获得更高色度的颜色成分信号作为所述输出图像的所述各像素位置上的颜色成分信号。
7.如权利要求6所述的摄像装置，其特征在于：
所述合成处理部在所述N张原始图像之间的所述颜色成分信号彼此的比较时，对所述颜色成分信号所包含的各个第一色差信号和各个第二色差信号进行比较，将绝对值大的色差信号的组合作为所述输出图像的所述各像素位置上的颜色成分信号。
8.如权利要求7所述的摄像装置，其特征在于：
所述合成处理部，作为所述原始图像处理由YUV、YCbCr和YPbPr的颜色空间中的任意颜色空间表示的信号。
9.如权利要求8所述的摄像装置，其特征在于：
所述合成处理部将从所述N张原始图像中的除曝光等级最高的原始图像之外的N－1张原始图像中选择出的一张原始图像中的、对应的各像素位置的信号所包含的亮度成分信号作为所述输出图像的所述各像素位置上的亮度成分信号。
10.如权利要求8所述的摄像装置，其特征在于：
所述合成处理部将从所述N张原始图像中选择出的一张原始图像中的对应的各像素位置的信号所包含的亮度成分信号乘以规定的衰减系数后的亮度成分信号作为所述输出图像的所述各像素位置上的亮度成分信号。
11.一种存储了图像处理程序的计算机可读取的非临时性存储介质，其特征在于：
所述图像处理程序由具有进行运算处理的处理器、与所述处理器连接的存储部、和与所述处理器连接的接口的计算机所执行，
在所述计算机中执行以下步骤：
接收对相同被拍摄物体同时或者按时间序列拍摄而得到的曝光等级不同的N张原始图像的输入的步骤，其中N为2以上的整数；和
对所述N张原始图像进行合成处理、生成M张输出图像的合成处理步骤，在所述N张原始图像之间对对应的各像素位置的颜色成分信号彼此进行比较，将能获得更高色度的颜色成分信号作为所述输出图像的所述各像素位置上的颜色成分信号，其中M为1以上且小于N的整数。
12.如权利要求11所述的存储介质，其特征在于：
所述合成处理步骤中，在所述N张原始图像之间的所述颜色成分信号彼此的比较时，对所述颜色成分信号所包含的各个第一色差信号和各个第二色差信号进行比较，将绝对值大的色差信号的组合作为所述输出图像的所述各像素位置上的颜色成分信号。
13.如权利要求12所述的存储介质，其特征在于：
所述合成处理步骤中，作为所述原始图像处理由YUV、YCbCr和YPbPr颜色空间中的任意颜色空间表示的信号。
14.如权利要求12所述的存储介质，其特征在于：
所述合成处理步骤中，将从所述N张原始图像中的除曝光等级最高的原始图像之外的N－1张原始图像中选择出的一张原始图像中的、对应的各像素位置的信号所包含的亮度成分信号作为所述输出图像的所述各像素位置上的亮度成分信号。
15.如权利要求12所述的存储介质，其特征在于：
所述合成处理步骤中，将从所述N张原始图像中选择出的一张原始图像中的对应的各像素位置的信号所包含的亮度成分信号乘以规定的衰减系数后的亮度成分信号作为所述输出图像的所述各像素位置上的亮度成分信号。
CN201280053421.XA 2011-11-01 2012-10-03 图像处理装置和摄像装置 Expired - Fee Related CN103907345B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011240672A JP5832855B2 (ja) 2011-11-01 2011-11-01 画像処理装置、撮像装置および画像処理プログラム
JP2011-240672 2011-11-01
PCT/JP2012/075694 WO2013065442A1 (ja) 2011-11-01 2012-10-03 画像処理装置、撮像装置および画像処理プログラムを格納した記憶媒体

Publications (2)

Publication Number Publication Date
CN103907345A true CN103907345A (zh) 2014-07-02
CN103907345B CN103907345B (zh) 2016-08-17

Family

ID=48191800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280053421.XA Expired - Fee Related CN103907345B (zh) 2011-11-01 2012-10-03 图像处理装置和摄像装置

Country Status (5)

Country Link
US (1) US9294695B2 (zh)
EP (1) EP2775719B1 (zh)
JP (1) JP5832855B2 (zh)
CN (1) CN103907345B (zh)
WO (1) WO2013065442A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812674A (zh) * 2014-12-29 2016-07-27 浙江大华技术股份有限公司 一种信号灯的颜色修正方法、监控方法及装置
CN110290370A (zh) * 2019-07-05 2019-09-27 上海富瀚微电子股份有限公司 图像处理方法及装置
CN110786007A (zh) * 2018-10-31 2020-02-11 深圳市大疆创新科技有限公司 处理图像数据的方法和装置
CN112565718A (zh) * 2020-12-01 2021-03-26 大连海洋大学 基于Retinex和高动态范围图像梯度压缩的水下图像处理方法
CN112651914A (zh) * 2020-12-17 2021-04-13 吉林师范大学 一种基于matlab的图像处理***
CN113126252A (zh) * 2019-12-30 2021-07-16 安讯士有限公司 微光成像***

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054446A1 (ja) 2011-10-14 2013-04-18 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
JP6206299B2 (ja) * 2013-08-29 2017-10-04 株式会社Ｊｖｃケンウッド 撮像装置および撮像画像の色補正方法
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
JP6478138B2 (ja) 2014-03-17 2019-03-06 株式会社リコー 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP6343200B2 (ja) * 2014-07-31 2018-06-13 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
KR102207633B1 (ko) * 2014-11-27 2021-01-26 삼성전자주식회사 촬영 장치 및 그 제어 방법
JP6459443B2 (ja) * 2014-11-28 2019-01-30 株式会社リコー 検知装置、検知システム、検知方法及びプログラム
DE102014118314A1 (de) * 2014-12-10 2016-06-16 Connaught Electronics Ltd. Verfahren zum Anpassen einer Helligkeit eines Hochkontrastbilds, Kamerasystem und Kraftfahrzeug
TWI512270B (zh) * 2015-01-13 2015-12-11 Pixart Imaging Inc 具動態曝光時間的光學測距系統
JP6616573B2 (ja) * 2015-01-27 2019-12-04 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
US9846919B2 (en) * 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
JP6516014B2 (ja) * 2015-09-30 2019-05-22 株式会社ニコン 撮像装置および画像処理装置
WO2017104395A1 (ja) * 2015-12-15 2017-06-22 株式会社リコー 画像処理装置及び画像処理方法
CN105610931B (zh) * 2015-12-25 2019-06-25 北京奇虎科技有限公司 事件的记录方法及装置
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
FR3053126B1 (fr) * 2016-06-27 2019-07-26 Saint-Gobain Glass France Procede et dispositif de localisation de l'origine d'un defaut affectant un empilement de couches minces deposees sur un substrat
CA3033242A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
JP6827240B2 (ja) * 2017-03-22 2021-02-10 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
EP3635622A4 (en) * 2017-06-08 2020-05-27 Zhejiang Dahua Technology Co., Ltd DEVICES AND METHODS FOR PROCESSING TRAFFIC LIGHT IMAGES
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
WO2019019772A1 (en) * 2017-07-28 2019-01-31 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PROCESSING
CN110557573A (zh) * 2018-06-01 2019-12-10 苹果公司 用于成像的统一包围曝光方法
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN113228046B (zh) * 2018-12-27 2024-03-05 浙江大华技术股份有限公司 图像融合的***和方法
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090457A (zh) * 2006-06-16 2007-12-19 三星电子株式会社 产生图像的设备和方法
CN101102417A (zh) * 2007-07-25 2008-01-09 北京中星微电子有限公司 一种图像合成方法和装置
CN101365071A (zh) * 2007-09-27 2009-02-11 豪威科技有限公司 双模式相机方案、设备、***及方法
CN101394485A (zh) * 2007-09-20 2009-03-25 华为技术有限公司 图像生成方法、装置及图像合成设备
CN101426090A (zh) * 2007-10-31 2009-05-06 欧姆龙株式会社 图像处理装置
US20110109754A1 (en) * 2009-11-11 2011-05-12 Casio Computer Co., Ltd. Image capture apparatus and image capturing method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738510B2 (en) 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP2001238128A (ja) * 2000-02-22 2001-08-31 Olympus Optical Co Ltd 画像処理装置
JP2001268345A (ja) * 2000-03-17 2001-09-28 Ricoh Co Ltd 画像合成装置
JP3914810B2 (ja) 2002-04-22 2007-05-16 オリンパス株式会社 撮像装置、撮像方法及びそのプログラム
JP4004943B2 (ja) * 2002-12-25 2007-11-07 富士フイルム株式会社 画像合成方法および撮像装置
US20060239579A1 (en) * 2005-04-22 2006-10-26 Ritter Bradford A Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
JP4905229B2 (ja) * 2007-04-11 2012-03-28 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理用プログラム
JP2009065691A (ja) * 2008-10-09 2009-03-26 Olympus Corp 画像処理装置、記録媒体及び画像処理プログラム
WO2010116922A1 (ja) 2009-04-07 2010-10-14 コニカミノルタオプト株式会社 画像入力装置
KR101665511B1 (ko) * 2010-02-11 2016-10-12 삼성전자 주식회사 광역 역광 보정 하드웨어 장치 및 이를 포함하는 촬영 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090457A (zh) * 2006-06-16 2007-12-19 三星电子株式会社 产生图像的设备和方法
CN101102417A (zh) * 2007-07-25 2008-01-09 北京中星微电子有限公司 一种图像合成方法和装置
CN101394485A (zh) * 2007-09-20 2009-03-25 华为技术有限公司 图像生成方法、装置及图像合成设备
CN101365071A (zh) * 2007-09-27 2009-02-11 豪威科技有限公司 双模式相机方案、设备、***及方法
CN101426090A (zh) * 2007-10-31 2009-05-06 欧姆龙株式会社 图像处理装置
US20110109754A1 (en) * 2009-11-11 2011-05-12 Casio Computer Co., Ltd. Image capture apparatus and image capturing method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812674A (zh) * 2014-12-29 2016-07-27 浙江大华技术股份有限公司 一种信号灯的颜色修正方法、监控方法及装置
CN105812674B (zh) * 2014-12-29 2019-05-21 浙江大华技术股份有限公司 一种信号灯的颜色修正方法、监控方法及装置
CN110786007A (zh) * 2018-10-31 2020-02-11 深圳市大疆创新科技有限公司 处理图像数据的方法和装置
CN110290370A (zh) * 2019-07-05 2019-09-27 上海富瀚微电子股份有限公司 图像处理方法及装置
CN113126252A (zh) * 2019-12-30 2021-07-16 安讯士有限公司 微光成像***
CN113126252B (zh) * 2019-12-30 2022-05-03 安讯士有限公司 微光成像***
CN112565718A (zh) * 2020-12-01 2021-03-26 大连海洋大学 基于Retinex和高动态范围图像梯度压缩的水下图像处理方法
CN112651914A (zh) * 2020-12-17 2021-04-13 吉林师范大学 一种基于matlab的图像处理***

Also Published As

Publication number Publication date
JP5832855B2 (ja) 2015-12-16
US9294695B2 (en) 2016-03-22
EP2775719A4 (en) 2015-07-08
EP2775719A1 (en) 2014-09-10
WO2013065442A1 (ja) 2013-05-10
EP2775719B1 (en) 2016-09-14
JP2013098805A (ja) 2013-05-20
US20140313369A1 (en) 2014-10-23
CN103907345B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN103907345B (zh) 图像处理装置和摄像装置
CN102387373B (zh) 图像处理设备和图像处理方法
US8805070B2 (en) Image processing apparatus and image processing method
KR100799215B1 (ko) 카메라
CN102821249B (zh) 摄像设备和曝光控制方法
CN101472188B (zh) 白平衡控制装置和白平衡控制方法
CN103581638B (zh) 图像处理装置及图像处理方法
CN104954771B (zh) 进行色阶校正的图像处理设备和图像处理方法
CN102801918B (zh) 摄像设备和用于控制该摄像设备的方法
CN100594736C (zh) 摄像设备及其控制方法
US8229217B2 (en) Image processing method and apparatus, image processing program and medium storing this program
TWI737979B (zh) 圖像去馬賽克裝置及方法
US20070013794A1 (en) Image pickup system and image processing program
US7880783B2 (en) Image pickup apparatus and method
CN102857692A (zh) 摄像装置、图像处理装置和图像处理方法
CN102595031B (zh) 摄像装置以及图像处理方法
US8890973B2 (en) Image processing apparatus, image processing method, and storage medium
CN104363434A (zh) 图像处理设备
CN106358030A (zh) 图像处理装置和图像处理方法
CN107534761A (zh) 成像装置、成像方法、程序和图像处理装置
CN102300049A (zh) 图像信号处理装置
CN103379289A (zh) 摄像装置
CN103248902A (zh) 设置有用于合成多个所拍摄图像的功能的摄像设备
CN104243804A (zh) 摄像设备、图像处理设备及其控制方法
CN106134181A (zh) 摄影装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

CF01 Termination of patent right due to non-payment of annual fee