CN105391953B - 拍摄方法以及拍摄装置 - Google Patents

拍摄方法以及拍摄装置 Download PDF

Info

Publication number
CN105391953B
CN105391953B CN201510542325.7A CN201510542325A CN105391953B CN 105391953 B CN105391953 B CN 105391953B CN 201510542325 A CN201510542325 A CN 201510542325A CN 105391953 B CN105391953 B CN 105391953B
Authority
CN
China
Prior art keywords
visible light
signal
mentioned
light signal
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510542325.7A
Other languages
English (en)
Other versions
CN105391953A (zh
Inventor
野中雄一
广冈慎一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Publication of CN105391953A publication Critical patent/CN105391953A/zh
Application granted granted Critical
Publication of CN105391953B publication Critical patent/CN105391953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供一种拍摄方法以及拍摄装置，该拍摄装置具备：可见光信号生成部，其从来自拍摄元件的像素信号中抽出可见光信号；光源色推定部，其根据可见光信号推定光源的色温；白调整部，其与推定结果对应地对可见光信号进行白平衡修正；非可见光信号生成部，其从来自拍摄元件的信号中抽出非可见光信号；图像合成部，其将进行了白平衡修正后的可见光信号和非可见光信号进行合成并输出。

Description

拍摄方法以及拍摄装置
技术领域
本发明涉及一种拍摄方法以及拍摄装置。
背景技术
作为本技术领域的背景技术，具有JP-A-2010-161459。在该公报中，记载了“(课题)提供一种在低照度下进行拍摄时，能够调整可见光成分和红外线成分的合成比率的红外线照射式拍摄装置。(解决手段)在红外线混合拍摄装置中，根据红外线照射拍摄条件进行拍摄时，针对通过在光路上***红外线截止滤波器的可见光拍摄条件生成的拍摄信号的每个颜色处理白平衡，生成白平衡拍摄信号。将通过红外线照射拍摄条件生成的拍摄信号分离为可见光成分拍摄信号和红外线成分拍摄信号，从可见光拍摄信号成分生成可见光亮度信号和色度图像信号，从红外线成分拍摄信号生成红外线亮度信号。然后，调整可见光亮度信号和红外线亮度信号的合成比率，生成亮度图像信号”。
此外，具有JP-A-2011-233983。在该公报中记载了“(课题)提供一种在夜间那样的低照度下也能够得到良好的色彩图像，并且同时能够得到使用红外线照明装置时那样的对比度鲜明的影像的拍摄装置。(解决手段)本发明的拍摄装置具备固体拍摄元件10、发出红外光的红外LED70、使红外LED70进行脉冲发光从而发出以帧时间为单位的红外光的发光控制部60、与红外LED70的非发光期间以及发光期间同步地从固体拍摄元件10分别抽出基于可见光的色彩图像信号和基于红外光的图像信号的信号处理部20，固体拍摄元件10具有将具备接收绿色可见光和红外光的像素、接收红色可见光和红外光的像素、接收蓝色可见光和红外光的像素以及接收红外光的像素的单位排列进行了二维排列的拍摄区域”。
在JP-A-2010-161459中，需要在可见光拍摄条件和红外线照射拍摄条件下单独取得拍摄信号。此外，没有考虑荧光灯闪光、LED照明的脉冲照射、闪光灯等在拍摄环境中发生时间轴上的光量变化的情况。
在JP-A-2011-233983中，需要控制红外LED。此外，没有考虑存在太阳光、卤素光等包含红外光的照明光的拍摄环境。
发明内容
为了解决上述现有的技术问题，采用在权利要求中记载的结构。
本申请包含多个用于解决上述目的的手段，如果举一个例子，则提供以下一种拍摄装置，其具备：拍摄元件，其对包含可见光和非可见光的光进行光电变换作为像素信号进行输出；可见光信号生成部，其从来自拍摄元件的像素信号抽出可见光信号并输出；光源色推定部，其根据来自可见光信号生成部的可见光信号推定光源的色温，并输出其结果；白调整部，其根据来自光源色推定部的推定结果对来自可见光信号生成部的可见光信号进行白平衡修正并将其输出；非可见光信号生成部，其从来自拍摄元件的信号抽出非可见光信号并输出；以及图像合成部，其将通过白调整部进行了白平衡修正后的可见光信号与来自非可见光信号生成部的非可见光信号合成后输出。
根据本发明，能够在解决现有技术中的课题的同时，取得将来自被拍摄物的可见光与非可见光成分合成后的一个图像，并且能够恰当地修正其色彩平衡。关于除此以外的详细效果，通过实施例来进行说明。
附图说明
图1是表示本发明一实施例的全体结构图。
图2是表示本发明一实施例的流程图。
图3是表示本发明一实施例的全体结构图。
图4是表示本发明一实施例的流程图。
图5是表示本发明一实施例的全体结构图。
图6是表示本发明一实施例的全体结构图。
图7是表示本发明一实施例的全体结构图。
图8是本发明的拍摄元件的像素排列的一例。
图9是本发明的拍摄元件的像素排列的一例。
图10是本发明的拍摄元件的分光灵敏度特性的一例。
图11是本发明的拍摄元件的分光灵敏度特性的一例。
图12是本发明的取得图像的一例。
具体实施方式
实施例1
图1是表示本发明的实施方式的一个例子的图。
本实施例的拍摄装置具有：透镜101，使来自被拍摄物的可见光/非可见光在预定的焦距成像；拍摄元件102，对通过透镜101成像的可见光/非可见光使用各种滤色器进行分光后进行光电变换，输出与预定的波长成分对应的多个像素信号；去马赛克处理部103，对来自拍摄元件102的像素信号进行去马赛克处理；可见光信号生成部104，对从去马赛克处理部103输出的像素信号实施运算处理，由此抽出针对可见光成分的像素信号(可见光信号)；非可见光信号生成部105，对从去马赛克处理部103输出的像素信号实施运算处理，由此抽出针对非可见光成分的像素信号(非可见光信号)；光源色推定部106，根据来自可见光信号生成部104的像素信号推定光源色；白调整用增益计算部107，根据光源色推定部106的结果计算用于针对作为可见光信号生成部104的输出的可见光信号进行白平衡修正的增益；白调整部108，其根据来自白调整用增益计算部107的增益信息，对从可见光信号生成部104输出的可见光信号进行白平衡修正；图像合成部111，将通过白调整部108实施了白平衡修正后的可见光信号与从非可见光信号生成部输出的非可见光信号合成；亮度信号生成部109，使用从图像合成部111输出的合成后的像素信号生成亮度信号；以及色差信号生成部110，使用从图像合成部111输出的合成后的像素信号生成色差信号。
首先，说明同时取得可见光成分R、G、B和非可见光成分IR的各个信号的方法。图8是本实施例的拍摄元件102的滤色器排列的一例。R+IR(RIR)、G+IR(GIR)、B+IR(BIR)、IR(NIR)分别表示排列了不同的四种滤色器的像素。此外，图10表示排列了这些四种滤色器的像素的分光灵敏度特性的一例。例如，配置了RIR的滤色器的像素分别在可见光的红(R)的波长附近和近红外光(IR)的波长附近具有灵敏度，配置了GIR的滤色器的像素分别在可见光的绿(G)的波长附近和近红外光(IR)的波长附近具有灵敏度，配置了BIR的滤色器的像素分别在可见光的蓝(B)的波长附近和近红外光(IR)的波长附近具有灵敏度，配置了NIR的滤色器的像素在近红外光(IR)的波长附近具有灵敏度。
去马赛克处理部103针对排列了不同的滤色器的拍摄元件102的输出图像信号，通过插值处理来进行去马赛克处理。所谓插值处理，例如是指因为在某个RIR像素的像素位置不存在GIR、BIR、NIR像素，所以从各个周围邻近的同色像素通过插值处理生成插值信号并将其输出。
可见光信号生成部104针对从去马赛克处理部103输出的像素信号通过矩阵运算等生成可见光信号并将其输出。此外，非可见光信号生成部105对于从去马赛克处理部103输出的像素信号通过矩阵运算等生成非可见光信号并输出。例如，可见光信号生成部104通过以下公式(1)～(3)的运算处理生成R、G、B各信号来作为不包含非可见光或者使其衰减到预定量的可见光信号，非可见光信号生成部105通过以下公式(4)的运算处理生成IR信号来作为不包含可见光成分或使其衰减到预定量的非可见光信号。
R＝αrr×RIR+αrg×GIR+αrb×BIR+αri×NIR···(1)
G＝αgr×RIR+αgg×GIR+αgb×BIR+αgi×NIR···(2)
B＝αbr×RIR+αbg×GIR+αbb×BIR+αbi×NIR···(3)
IR＝αir×RIR+αig×GIR+αib×BIR+αii×NIR···(4)
此时各个α是针对各信号的系数，例如作为α的系数，在赋予了
时，公式(1)～(4)成为以下(6)～(9)那样。
R＝RIR-NIR···(6)
G＝GIR-NIR···(7)
B＝BIR-NIR···(8)
IR＝NIR···(9)
如图10所示，如果RIR信号中包含的非可见光成分的量和GIR信号中包含的非可见光成分的量和BIR中包含的非可见光成分的量以及NIR中包含的非可见光成分的量各个都为同等级别，则可以分离为不包含非可见光成分的各个可见光信号R、G、B和不包含可见光成分的非可见光信号IR。在此，关于RIR信号中包含的非可见光成分的量和GIR信号中包含的非可见光成分的量和BIR中包含的非可见光成分的量以及NIR中包含的非可见光成分的量各个都不一致的情况，通过适当变更公式(5)的值，能够分离为使非可见光成分的量衰减了预定量的可见光成分R、G、B的各信号和使可见光成分衰减了预定量的非可见光成分IR。
通过以上的结构，能够仅通过1帧的拍摄顺序同时取得与通过相等的曝光时间拍摄到的可见光成分对应的图像信号和与非可见光成分对应的图像信号。此外，在本实施例中作为非可见光表示以近红外光为例，但是在紫外光等的情况下也相同，不会对特定的波长施加制约。此外，在本实施例中，作为可见光表示了以R、G、B为例，但是即使是互补色信号等包含可见成分的信号，也可以同样地处理，其效果也一样，不会对特定的波长施加制约。
然后，说明对可见光信号R、G、B进行白平衡修正的方法。本实施例的光源色推定部106根据从可见光信号生成部104输出的各个可见光信号R、G、B的信号等级的比，推定向被拍摄物照射的照明的色温，并输出该推定结果。例如，具有以下的方法：计算分别对从可见光信号生成部104输出的可见光信号R、G、B的信号量进行图像一个画面的累计得到的∑R、∑G、∑B，将该∑R、∑G、∑B作为表示照明的色温的颜色分布推定信息进行输出。此外，具有将计算出的∑R、∑G、∑B的相对比作为照明的颜色分布推定信息进行输出的方法。
白调整用增益计算部107计算并输出用于使从光源色推定部106输出的∑R、∑G、∑B的各个值相等，或者使各个值接近的增益值，例如如以下的(10)～(12)那样，作为使值相等的增益值分别计算并输出Rgain、Ggain、Bgain。
Rgain＝ΣG/ΣR···(10)
Ggain＝ΣG/ΣG···(11)
Bgain＝ΣG/ΣB···(12)
白调整部108对于从可见光信号生成部104输出的R、G、B信号，使用从白调整用增益计算部107输出的增益值Rgain、Ggain、Bgain通过以下的公式(13)～(15)进行增益调整，由此计算并输出进行了白平衡修正后的R2、G2、B2。
R2＝Rgain×R···(13)
G2＝Ggain×G···(14)
B2＝Bgain×B···(15)
通过以上的结构，可以根据从可见光信号生成部104输出的R、G、B信号推定照明的色温，并根据该推定结果对从可见光信号生成部104输出的R、G、B信号进行白平衡修正。
此外，设白调整用增益计算部107根据∑R、∑G、∑B的比率计算增益并输出，但也可以预先将与∑R、∑G和∑B的分布对应的色温信息保存为表，根据计算出的∑R、∑G、∑B的信息从表中取得色温信息，并输出该色温信息。
此外，设光源色推定部106计算并输出针对从可见光信号生成部104输出的可见光成分R、G、B的各个信号进行累计得到的∑R、∑G、∑B，但是可以使用从可见光信号生成部104输出的可见光成分R、G、B的各个信号推定照明的色温并输出该推定结果，例如可以根据R、G、B生成色差信息，根据色差空间的分布信息推定照明的色温，此外还可以根据R、G、B生成亮度信息，根据亮度的等级推定照明并计算其色温，或者可以根据各个色差和亮度推定照明的色温。
如果是以上的结构，即使在从拍摄元件输出的像素信号中混合了可见光和非可见光的状态下，也可以通过除去了非可见光或者降低了权重的可见光信号推定色温，能够更加正确地推定可见光成分的色温。
然后说明通过图像合成部111进行的执行了白平衡修正后的可见光信号与非可见光信号的合成方法。在本实施例中，通过以下的公式(16)～(18)将从白调整部108输出的白平衡修正后的可见光信号R2、G2、B2与从非可见光信号生成部105输出的非可见光信号IR合成。
Rout＝R2+IR···(16)
gout＝G2+IR···(17)
Bout＝B2+IR···(18)
亮度信号生成部109使用上述Rout、Gout、Bout和预定的系数βyr、βyg、βyb，通过以下公式计算亮度信号Y并输出。
Y＝βyr×Rout+βyg×Gout+βyb×Bout···(19)
此外，色差信号生成部110使用上述的Rout、Gout、Bout和预定的系数βur、βug、βub、βvr、βvg、βvb，通过以下公式计算色差信号U、V并输出。
U＝βur×Rout+βug×Gout+βub×Bout···(20)
V＝βvr×Rout+βvg×Gout+βvb×Bout···(21)
通过采取以上的结构，能够将进行了白平衡修正后的可见光成分R、G、B和非可见光成分IR合成，作为一个图像生成亮度信号以及色差信号。
在RIR信号中包含的非可见光成分的量和GIR信号中包含的非可见光成分的量和BIR中包含的非可见光成分的量以及NIR信号中包含的非可见光成分的量各个都不一致的情况下，例如存在在对公式(1)～(4)进行了运算时，R、G、B的各个信号包含负的值等单独地重叠了错误信号的情况。在该情况下，在错误信号等级各自不同时，输出的色差信号的色调(U与V的比)进行变化，有可能成为色调变化的伪色彩。但是，如本实施例那样，通过对白平衡修正后的R、G、B信号再次相加非可见光信号IR，能够消除或者衰减由于减去非可见光信号IR产生的错误信号等级，能够抑制输出的色差信号的色调(U与V的比)的变化，能够抑制伪色彩。
根据以上本实施例的结构，能够仅通过1帧的拍摄顺序同时取得通过相等的曝光时间拍摄到的可见光信号和非可见光信号。即，不需要单独地取得可见光信号和非可见光信号，能够使拍摄顺序简化。
此外，根据本实施例，如果是单独地取得可见光信号和非可见光信号的顺序，则产生以下的问题：在曝光时间中产生时间差，在荧光灯或LED等高速闪烁(闪光)的光源下在图像间的照明光量中产生差异，但是通过采用在本实施例中说明的结构，能够仅通过1帧的拍摄顺序同时取得通过相等的曝光时间拍摄到的可见光信号和非可见光信号，因此能够解决该课题。因此，与有无闪光无关，能够正确地仅抽出可见光信号来进行照明的色温推定和白平衡修正。
此外，根据本实施例，对于人无法识别为颜色的非可见光信号不进行白平衡修正，仅对于人能够识别为颜色的可见光信号进行白平衡修正，由此能够进行不产生伪色彩等的良好的白平衡修正。
此外，根据本实施例，能够生成将白平衡修正后的可见光信号与不进行白平衡修正的非可见光信号合成后的图像，能够使其输出帧率与通过拍摄元件102进行拍摄的帧率相同。
此外，根据本实施例，与照明光中包含的可见光成分和非可见光成分的比率无关，能够对于可见光信号进行白平衡修正从而成为良好的色彩再现，并且取得将白平衡修正后的可见光信号与非可见光信号合成后的图像。即，根据本实施例，不需要规定照明环境，不需要设置预定的照明，与在场地上存在的太阳光、荧光灯或卤素光等其照明的差异无关，能够在多个环境下进行良好的白平衡修正，并且取得重叠了非可见光信息的图像。
在本实施例中，作为最终输出信号输出亮度信号和色差信号，但可以是包含颜色信息的图像信息的形式，例如可以具有生成并输出RGB图像的RGB信号生成部来取代亮度信号生成部109和色差信号生成部110，此外可以具有生成并输出亮度、色度、色调的信息的HSV信号生成部。
实施例2
图2是表示通过程序执行本发明的拍摄方法时的一例的流程图。
本程序存储在拍摄装置或能够取得图像的信息处理装置具备的存储介质中，通过CPU等控制部按照程序进行运算，能够通过软件实现与实施例1的拍摄装置同等的功能。
在拍摄步骤201中，使用能够将从被拍摄物照射的光分光成预定的波长成分来进行拍摄的拍摄元件取得1帧的图像。
在可见光信号/非可见光信号分离步骤202中，通过实施信号处理，从在拍摄步骤201中拍摄到的图像分别分离为与可见光成分对应的图像信号(可见光信号)和与非可见光成分对应的图像信号(非可见光信号)。
在光源色推定步骤203中，通过在从可见光信号/非可见光信号分离步骤202输出的信号中分析仅可见光信号或双方的信号分布，推定照射被拍摄物的照明光的色温。
在可见光信号白调整步骤204中，根据从光源色推定步骤203得到的色温信息，对在可见光信号/非可见光信号分离步骤202中分离后的信号中的可见光信号进行白平衡修正。
在可见光信号/非可见光信号合成步骤205中，将各个在可见光信号白调整步骤204中进行了白平衡修正后的可见光信号和在可见光信号/非可见光信号分离步骤202中分离后的非可见光信号合成。
在图像数据生成步骤206中，从在可见光信号/非可见光信号合成步骤205中合成后的图像生成RGB图像或YUV图像等具有色彩信息的图像数据。
在本实施例的拍摄步骤201中拍摄的1帧的图像例如可以取得图8所示的排列的图像。此外，可见光信号/非可见光信号分离步骤202可以通过进行与实施例1中的去马赛克处理部103、可见光信号生成部104以及非可见光信号生成部105进行的处理相同的处理，生成可见光信号和非可见光信号。此外，光源色推定步骤203可以通过进行与实施例1中的光源色推定部106同样的处理，推定照射被拍摄物的照明的色温。此外，可见光信号白调整步骤204可以通过进行与实施例1中的白调整用增益计算部107以及白调整部108中的处理相同的处理，对于在可见光信号/非可见光信号分离步骤202中分离后的信号中的可见光信号进行白平衡修正。此外，可见光信号/非可见光信号合成步骤205可以通过执行与实施例1中的公式(16)～(18)相同的运算处理，合成信号取得1帧的图像。此外，图像数据生成步骤例如可以通过执行与实施例1中的公式(19)～(21)相同的运算处理，生成YUV数据，此外可以是通过矩阵运算处理分别取得RGB信号的方法，并且，在生成各个图像信号的过程中，可以进行色调曲线修正等预定的信号处理。
根据以上的结构，例如如图12所示，能够通过一次拍摄顺序同时取得包含从被拍摄物照射的各个可见光与非可见光的可见光+非可见光图像1301，在通过运算处理对各个可见光图像1302和非可见光图像1303进行分离后，针对可见光图像进行白平衡修正，由此能够取得成为恰当的色彩再现的白平衡修正后可见光图像1304，并且通过将白平衡修正后可见光图像1304与非可见光图像1303合成，能够取得合成后图像1305。关于此时的合成后图像1305，通过仅对可见光进行白平衡修正处理能够成为良好的色彩再现，通过进行合成能够使输出的图像为1个，能够削减输出的文件大小。此外，因为同时拍摄可见光和非可见光，所以在可见光图像和非可见光图像中不产生时间偏差，不会被被拍摄物的运动或照明的变化等影响，能够得到良好的图像。
关于上述以外的结构、方法和效果，与实施例1相同。
实施例3
图3表示本发明的实施方式的一例。本实施例3的拍摄装置相对于实施例1的结构，还具有：比率计算部301，计算各个从可见光信号生成部104输出的可见光信号和从非可见光信号生成部105输出的非可见光信号的比率，并输出该比率信息；画质调整参数计算部302，根据从比率计算部301输出的比率信息，计算用于对各个从白调整部108输出的白平衡修正后的可见光信号、从非可见光信号生成部105输出的非可见光信号以及从色差信号生成部110输出的色差信号进行增益调整的增益信息并将其输出；增益调整部(1)303，根据从画质调整参数计算部302输出的增益信息，对从白调整部108输出的白平衡修正后的可见光信号进行增益调整；增益调整部(2)304，根据从画质调整参数计算部302输出的增益信息，对从非可见光信号生成部105输出的非可见光信号进行增益调整；色度变更部，根据从画质调整参数计算部302输出的增益信息，对从色差信号生成部110输出的色差信号进行增益调整。
在图3中，设为根据从画质调整参数计算部302输出的增益信息，对从白调整部108输出的白平衡修正后的可见光信号进行增益调整，但是也可以对从可见光信号生成部104输出的可见光信号进行增益调整。
本实施例的画质调整参数计算部302例如可以输入从比率计算部301输出的可见光信号与非可见光信号的比率信息，在可见光信号相对于非可见光信号少时，计算用于放大可见光信号的增益来向增益调整部(1)303输出，并计算用于使非可见光信号衰减的增益向增益调整部(2)304输出。此外，例如在可见光信号相对于非可见光信号多时，可以计算用于使可见光信号衰减的增益向增益调整部(1)303输出，并计算用于放大非可见光的增益向增益调整部(2)304输出。
通过根据增益信息由增益调整部(1)303和增益调整部(2)304分别进行增益调整，能够各自对信号等级进行变更从而使可见光信号与非可见光信号成为预定的比率，然后通过图像合成部11进行合成。即，通过对于没有充分得到可见光信号的被拍摄物放大图像信号能够具有充分的灵敏度，通过对于没有充分得到非可见光信号的被拍摄物放大图像信号能够具有充分的灵敏度。
此外，本实施例的画质调整参数计算部302例如还可以在非可见光信号相对于可见光信号极少时，计算用于保持可见光信号等级的增益然后向增益调整部(1)303输出，并且计算用于使非可见光信号衰减的增益然后向增益调整部(2)304输出。通过根据该增益信息由增益调整部(1)303和增益调整部(2)304各自进行增益调整，能够使非可见光信号等级衰减或者将其消除然后与可见光信号进行合成。即，信号量小的非可见光信号的噪声成分成为支配性的，通过抑制该噪声成分的重叠，能够合成噪声小可视性高的图像。
此外，如果使比率计算部301为按照像素单位计算可见光信号与非可见光信号的比率并输出的结构，则能够通过简单的处理得到上述效果。此外，如果使比率输出部301为计算并输出对于可见光信号以及非可见光信号按照像素单位施加了高斯滤波器等频带限制滤波器后的比率的结构，不会对细微的点图或噪声产生影响，能够针对画面内存在的每个被拍摄物，根据各个被拍摄物特有的每个波长的反射率调整各可见光信号和非可见光信号的信号量。此外，如果使比率计算部301为在对全体画面或全体画面的每个区域进行了加权后，计算并输出全体的比率的结构，则能够根据对于在取得的1帧的图像内拍摄的被拍摄物照射的照明的波长特性调整各个可见光信号与非可见光信号的信号量。此外，关于使用了像素单位的比率或应用了频带限制滤波器后的比率或全体画面的比率的各个增益调整方法，在组合使用的情况下能够同时得到各个效果。
此外，本实施例的画质调整参数计算部302例如输入从比率计算部301输出的可见光信号与非可见光信号的比率信息，在可见光信号相对于非可见光信号少时，计算用于增强色度(使颜色变浓)的增益然后将其输出给色度变更部305。通过采用该结构，在作为色彩信息处理的可见光信号的信号量少时，通过增强色度，能够解决输出图像的颜色变淡的课题。
此外，本实施例的画质调整参数计算部302例如输入从比率计算部301输出的可见光信号与非可见光信号的比率信息，例如在可见光信号的信号量极小时，计算用于减弱色度(使颜色变淡)的增益，然后将其输出给色度变更部305。通过采取该结构，在作为色彩信息处理的可见光信号的信号量极端小的情况下，即没有得到有效的被拍摄物的信号仅为噪声信号的情况下，能够抑制色彩噪声。
关于上述以外的结构和方法以及效果，与实施例1或2相同。
实施例4
图4是表示通过程序执行本发明的拍摄方法时的一例的流程图。
本程序存储在拍摄装置或能够取得图像的信息处理装置具备的存储介质中，通过CPU等控制部按照程序进行运算，能够通过软件实现与实施例1的拍摄装置同等的功能。
在拍摄步骤401中，使用能够将从被拍摄物照射的光分光成预定的波长成分来进行拍摄的拍摄元件取得1帧的图像。
在可见光信号/非可见光信号分离步骤402中，通过实施信号处理，从在拍摄步骤401中拍摄到的图像分别分离为与可见光成分对应的图像(可见光信号)和与非可见光成分对应的图像(非可见光信号)。
在光源色推定步骤403中，通过在从可见光信号/非可见光信号分离步骤402输出的信号中分析仅可见光信号或者双方的信号分布，推定照射被拍摄物的照明光的色温。
在可见光信号白调整步骤404中，根据从光源色推定步骤403得到的色温信息，对在可见光信号/非可见光信号分离步骤402中分离后的信号中的可见光信号进行白平衡修正。
在可见光/非可见光比率计算步骤405中，计算在可见光信号/非可见光信号分离步骤402中分离后的可见光信号或在可见光信号白调整步骤404中进行了白平衡修正后的可见光信号与在可见光信号/非可见光信号分离步骤402中分离后的非可见光信号的比率。
在可见光信号增益调整部406中，根据在可见光/非可见光比率计算步骤405中计算出的比率，对于在可见光信号白调整步骤404中进行了白平衡修正后的可见光信号进行增益调整。
在非可见光信号增益调整步骤407中，同样根据在可见光/非可见光比率计算步骤405中计算出的比率对在可见光信号/非可见光信号分离步骤402中计算出的非可见光信号进行增益调整。
在可见光信号/非可见光信号合成步骤408中，生成通过预定的比率将在可见光信号增益调整部406中进行了增益调整后的可见光信号和在非可见光信号增益调整步骤407中进行了增益调整后的非可见光信号合成后的信号。
在图像数据生成步骤409中，从在可见光信号/非可见光信号合成步骤408中合成后的图像生成RGB图像或YUV图像等具有色彩信息的图像数据。
本实施例中的拍摄步骤401、可见光信号/非可见光信号分离步骤402、光源色推定步骤403以及可见光信号白调整步骤404可以是与实施例2中记载的步骤相同的处理。
通过以上的结构，能够通过一次拍摄顺序同时取得从被拍摄物照射的可见光与非可见光，在分离为与各个可见光成分和非可见光成分对应的信号后，仅针对与可见光成分对应的信号进行白平衡修正，由此能够取得成为恰当的色彩再现的针对可见光成分的图像信号，并且能够取得通过预定的比率将针对白平衡修正后的可见光成分的图像信号与针对非可见光成分的图像信号进行信号调整后的合成图像，通过进行合成能够作成一个图像，能够削减输出的文件大小。
此外，可见光/非可见光比率计算步骤405例如按照像素单位计算比率，可见光信号增益调整部406以及非可见光信号增益调整步骤407根据像素单位的比率，按照相同的像素单位进行增益调整，由此能够通过简单的处理得到上述效果。此外，可见光/非可见光比率计算步骤405例如在通过像素单位对可见光信号以及非可见光信号施加了高斯滤波器等频带限制滤波器之后计算比率，可见光信号增益调整部406以及非可见光信号增益调整步骤407根据该像素单位的比率按照相同的像素单位进行增益调整，由此不会对细微的点图或噪声产生影响，能够针对画面内存在的每个被拍摄物，根据各个被拍摄物特有的每个波长的反射率调整各可见光信号和非可见光信号的信号量。
此外，可见光/非可见光比率计算步骤405例如在对全体画面或全体画面的每个区域进行了加权后计算全体的比率，可见光信号增益调整部406以及非可见光信号增益调整步骤407根据该像素单位的比率进行增益调整，由此能够根据对于在取得的1帧的图像内拍摄的被拍摄物照射的照明的波长特性调整各个可见光信号与非可见光信号的信号量。
此外，在图4中虽然没有记载，但是还可以新设置色度变更步骤，根据在可见光/非可见光比率计算步骤405中计算出的比率，变更在图像数据生成步骤409中生成的色彩图像的色度。例如，在通过可见光/非可见光比率计算步骤405计算出的比率中，可见光信号相对于非可见光信号少时，进行色度变更从而使色度变强(使颜色变浓)。通过采用这样的结构，在作为色彩信息处理的可见光信号的信号量少时，能够增强色度，能够解决输出图像的颜色变淡的课题。
此外，例如在通过可见光/非可见光比率计算步骤405计算出的比率中，可见光信号的信号量极小的情况下，进行色度变更从而使色度变弱(使颜色变淡)。通过采用这样的结构，在作为色彩信息处理的可见光信号的信号量极端小的情况下，即没有得到有效的被拍摄物的信号仅为噪声信号的情况下，能够抑制色彩噪声。
关于上述以外的结构、方法以及效果，与实施例1或2或3相同。
实施例5
图5是表示本发明的实施方式的一个例子的图。本实施例5的拍摄装置相对于实施例3的结构，还具备光学滤波器部501、滤波器驱动部502、曝光控制部503、画质调整参数计算部504。
本实施例的光学滤波器部501是针对经由透镜101入射的来自被拍摄物的光，切断预定的波长频带或使其衰减的光学滤波器。
滤波器驱动部502是在透镜101和拍摄元件102之间的光路上取放光学滤波器部501的机构。
曝光控制部503根据对拍摄元件102设定的曝光时间、信号放大增益值、从拍摄元件102输出的图像信号的信号等级，计算用于成为最优的曝光状态的拍摄元件102的曝光时间、信号放大增益值等，向拍摄元件102进行设定。另外，曝光控制部503根据对拍摄元件102设定的曝光时间、信号放大增益值、从拍摄元件102输出的图像信号的信号等级，控制滤波器驱动部，由此取放光学滤波器部501，向画质调整参数计算部504输出光学滤波器部501的取放信息。
画质调整参数计算部504根据从曝光控制部503输出的光学滤波器部501的取放信息，计算用于控制可见光信号的增益的增益信息而向增益调整部(1)303输出，并计算用于控制非可见光信号的增益的增益信息而向增益调整部(2)304输出。
在上述结构中，说明以下的情况，即例如将光学滤波器部501设为透过可见光而切断非可见光的光学滤波器，将曝光控制部503设为根据从拍摄元件102得到的图像信号的信号等级和向拍摄元件102设定的曝光时间、信号放大增益值的信息，判定向拍摄元件入射的光量是否充分，在光量不充分的情况下将光学滤波器部501从透镜101和拍摄元件102之间的光路上取出，在光量充分的情况下，将光学滤波器部501***到透镜101和拍摄元件102之间的光路上。
根据上述结构，在来自被拍摄物的光量充分而灵敏度良好的拍摄条件下，可以将光学滤波器部501放入透镜101和拍摄元件102之间的光路上，只取得可见光的图像，在来自被拍摄物的光量不充分而灵敏度不足的拍摄条件下，从透镜101和拍摄元件102之间的光路上取出光学滤波器部501，在取得可见光同时地取得非可见光，由此能够提高灵敏度，进而能够分别在全部拍摄条件下得到良好的色彩图像。
并且，除了上述结构外，也可以在光量多的情况下，在将光学滤波器部501***到透镜101和拍摄元件102之间的光路上的拍摄条件时，由画质调整参数计算部504计算用于使从非可见光信号生成部输出的非可见光信号为零或衰减的增益信息，向增益调整部(2)304输出。通过光学滤波器部501截止非可见光成分，因此非可见光信号生成部105的输出只是噪声信号，因此由此能够使噪声信号为零或衰减，最终能够进一步抑制与可见光/非可见光合成后的图像重叠噪声。
关于上述以外的结构、方法、以及效果，与实施例1、或2、或3、或4相同。
实施例6
图6是表示本发明的实施方式的一个例子的图。本实施例的拍摄装置具备：透镜101，其使来自被拍摄物的可见光/非可见光在预定的焦距上成像；拍摄元件601，其通过各种滤色器对通过透镜101成像的可见光/非可见光进行分光并进行光电变换，由此输出与预定的波长成分对应的多个像素信号；去马赛克处理部103，其针对来自拍摄元件601的像素信号进行去马赛克处理；可见光信号生成部104，其通过针对从去马赛克处理部103输出的像素信号实施运算处理，抽出与可见光成分对应的像素信号(可见光信号)；非可见光信号生成部105，其通过对从去马赛克处理部103输出的像素信号实施运算处理，抽出与非可见光成分对应的像素信号(非可见光信号)；高灵敏度像素信号抽出部602，其抽出并输出来自去马赛克处理部103的多个像素信号中的灵敏度最高的像素信号(如果是图9所记载的拍摄元件则是WIR像素信号)；饱和分析和光源色推定部603，其针对来自高灵敏度像素信号抽出部602的像素信号计算饱和等级，根据饱和等级和来自可见光信号生成部104的像素信号推定光源色；白调整用增益计算部107，其根据饱和分析和光源色推定部603的色温推定结果，计算用于对可见光信号生成部104的输出像素信号进行白平衡修正的增益；白调整部108，其根据来自白调整用增益计算部107的增益信息，对从可见光信号生成部104输出的像素信号进行白平衡修正；亮度信号生成部109，其通过图像合成部111对通过白调整部108实施了白平衡修正后的可见光信号、从非可见光信号生成部输出的非可见光信号进行合成，使用从图像合成部111输出的合成后的像素信号，生成亮度信号；色差信号生成部110，其使用从图像合成部111输出的合成后的像素信号，生成色差信号。
图9是本实施例的拍摄元件601的像素排列。另外，图11是在拍摄元件601中配置的R+IR(RIR)、G+IR(GIR)、B+IR(BIR)、R+G+B+IR(WIR)的4种滤色器的分光灵敏度特性的一个例子。
配置了RIR的滤色器的像素在可见光的红(R)的波长附近和近红外光(IR)的波长附近分别具有灵敏度，配置了GIR的滤色器的像素在可见光的绿(G)的波长附近和近红外光(IR)的波长附近分别具有灵敏度，配置了BIR的滤色器的像素在可见光的蓝(B)的波长附近和近红外光(IR)的波长附近分别具有灵敏度，配置了WIR的滤色器的像素在可见光的红(R)、绿(G)、蓝(B)以及近红外光(IR)的波长附近具有灵敏度。
可见光信号生成部104、非可见光信号生成部105与实施例1记载的相同，但与在本实施例中使用的拍摄元件601的像素排列一致地，通过下述矩阵运算生成并输出可见光信号R、G、B和非可见光信号IR。
R＝αrr×RIR+αrg×GIR+αrb×BIR+αrw×WIR···(22)
G＝αgr×RIR+αgg×GIR+αgb×BIR+αgw×WIR···(23)
B＝αbr×RIR+αbg×GIR+αbb×BIR+αbw×WIR···(24)
IR＝αir×RIR+αig×GIR+αib×BIR+αiw×WIR···(25)
这时各个α是与各信号对应的系数，例如在作为α的系数，赋予了
时，公式(22)～(25)成为以下的(27)～(30)那样。
R＝(RIR-GIR-BIR+WIR)/2···(27)
G＝(-RIR+GIR-BIR+WIR)/2···(28)
B＝(-RIR-GIR+BIR+WIR)/2···(29)
IR＝(RIR+GIR+BIR-WIR)/2···(30)
如图11所示，如果包含在RIR信号中的非可见光成分的量、包含在GIR信号中的非可见光成分的量、包含在BIR信号中的非可见光成分的量、包含在WIR信号中的非可见光成分的量各个都是同等等级，则能够依照公式(27)～(30)分离为不包含非可见光成分的可见光成分R、G、B各自的信号、不包含可见光成分的非可见光成分IR的信号。另一方面，关于包含在RIR信号中的非可见光成分的量、包含在GIR信号中的非可见光成分的量、包含在BIR信号中的非可见光成分的量、包含在WIR信号中的非可见光成分的量分别都不一致的情况，通过适当地变更公式(26)的α的系数，能够分离为使非可见光成分的量衰减预定量的可见光成分R、G、B的各信号、使可见光成分衰减预定量的非可见光成分IR。
根据以上的结构，能够只通过1帧的拍摄顺序同时取得通过相等的曝光时间拍摄的与可见光成分对应的图像信号和与非可见光成分对应的图像信号。进而，通过将拍摄元件601的4个滤色器排列中的一个设为WIR，能够针对RGB拜耳排列、图8所示的像素排列的拍摄元件，对更多的可见光成分的光进行光电变换，实现灵敏度提高。
本实施例的高灵敏度像素信号抽出部602抽出来自去马赛克处理部103的WIR像素，并向饱和分析和光源色推定部603输出。这时，也可以构成为一边适当地选择来自去马赛克处理部103的信号中的相当于WIR的像素信号一边输出。饱和分析和光源色推定部603首先最初判定从高灵敏度像素信号抽出部602得到的WIR像素信号的信号等级，由此判定像素是否饱和。在判定结果是饱和的情况下，使可见光信号为零或降低权重，在不饱和的情况下，在使加权为1或变高后，针对加权变更后的可见光信号，如实施例1的光源色推定部106那样推定光源色。
在此，针对来自拍摄元件601的4个滤色器排列中的每个滤色器排列的信号RIR、GIR、BIR、WIR，关于其灵敏度特性如果以下的公式成立，
RIR≤WIR∧GIR≤WIR∧BIR≤WIR···(31)
则能够定义为WIR的像素相对于其他3个像素容易饱和。
当在公式(22)～(25)中使用的像素信号中即使一个为饱和信号的情况下，即至少WIR处于饱和状态的情况下，能够推定为无法正确地抽出R、G、B、IR的各信号，在最终的图像中产生伪色彩。在本实施例中，进行是否产生该伪色彩的判定，抽出WIR进行饱和判定，在判定为饱和的情况下，能够设为产生伪色彩，降低在光源色推定中使用的可见光信号的加权。
即，根据本实施例的结构，能够只通过1帧的拍摄顺序同时取得通过相等的曝光时间拍摄到的与可见光成分对应的图像信号和与非可见光成分对应的图像信号，能够不被像素饱和时产生的伪色彩影响地正确地推定光源色，能够对取得的可见光信号应用良好的白平衡修正。
此外，说明为上述高灵敏度像素信号抽出部602抽出WIR，但例如在将拍摄元件的排列设为图8时，既可以抽出GIR，另外也可以选择输出RIR、GIR、BIR、NIR的像素信号中的信号等级最高的信号。根据以上的结构，能够与拍摄元件的排列无关地得到同等的效果。
关于以上以外的结构、方法、以及效果，与实施例1、或2、或3、或4、或5相同。
实施例7
图7是表示本发明的实施方式的一个例子的图。本实施例的拍摄装置将实施例1所示的结构中的光源色推定部106设为波长分析和光源色推定部701。
波长分析和光源色推定部701输入来自可见光信号生成部104的可见光信号、来自非可见光信号生成部105的非可见光信号，对可见光信号的各个信号和非可见光信号的波长分布进行分析，推定光源色。
根据以上的结构，例如关于几乎不包含非可见光信号的荧光灯、LED的照明和可见光成分的分布近似但包含近红外光的卤灯光、氙灯光等的不同，能够更高精度地判定照明的不同。另外，通过相同曝光时间取得可见光信号和非可见光信号来用于判定，因此能够不受到荧光灯、LED的闪烁成分(由于时间的不同而产生的亮度变化)影响地进行正确的光源色的判定。
另外，波长分析和光源色推定部701也可以对来自可见光信号生成部的可见光信号和来自非可见光信号生成部的非可见光信号分别进行分析，分割为不存在非可见光或为规定的等级以下的像素群1、存在非可见光或为规定的等级以上的像素群2，针对各个像素群1和像素群2单独地推定色温。
在该情况下，白调整用增益计算部107选择从波长分析和光源色推定部701得到的像素群1和像素群2的2个色温推定结果中的一个(预设或用户选择)，计算并输出用于进行白调整的增益。根据以上的结构，例如在混合存在荧光灯和太阳光的场景中，能够只根据照射了荧光灯的图像区域推定色温，与荧光灯一致地进行白平衡处理。因此，例如能够更高精度地单独判定几乎不包含非可见光信号的荧光灯和LED的照明、可见光成分的分布近似但包含近红外光的光源，能够与任意的单方的光源一致地更正确地进行白平衡修正。
关于以上以外的结构、方法、以及效果，与实施例1、或2、或3、或4、或5、或6相同。
此外，在本发明中，关于上述实施例的各个结构要素，可以作为将其中一部分要素或全部要素进行硬件化的拍摄装置来提供，另外可以提供通过软件程序构成其中一部分要素或全部要素的拍摄方法。

Claims (7)

1.一种拍摄装置，其特征在于，具备：
拍摄元件，其对包含可见光和非可见光的光进行光电变换来作为像素信号输出；
信号抽出部，其抽出经由在上述拍摄元件中按照像素单位排列的具有多个透过特性的滤波器进行了光电变换后的像素信号中的、经由透过率最高的滤波器进行了光电变换后的像素信号；
可见光信号生成部，其从来自该拍摄元件的像素信号抽出可见光信号进行输出；
光源色推定部，其根据上述抽出的像素信号的信号等级比预定的等级高还是低，进行针对上述可见光信号的加权，根据上述加权后的可见光信号推定光源色；
白调整部，其根据来自该光源色推定部的推定结果对来自上述可见光信号生成部的可见光信号进行白平衡修正后输出；
非可见光信号生成部，其从来自上述拍摄元件的信号抽出非可见光信号并输出；
图像合成部，其将通过上述白调整部进行了白平衡修正后的可见光信号和来自上述非可见光信号生成部的非可见光信号进行合成后输出。
2.根据权利要求1所述的拍摄装置，其特征在于，上述拍摄装置还具备：
比率计算部，其计算上述可见光信号和上述非可见光信号的比率并输出；
画质调整参数计算部，其根据上述可见光信号和非可见光信号的比率，单独地计算用于对上述可见光信号进行增益调整的第一增益信息和用于对上述非可见光信号进行增益调整的第二增益信息并输出；
第一增益调整部，其使用从上述画质调整参数计算部输出的第一增益信息，对从上述可见光信号生成部输出的可见光信号或从上述白调整部输出的白平衡修正后的可见光信号进行增益调整；
第二增益调整部，其使用从上述画质调整参数计算部输出的第二增益信息，对从上述非可见光信号生成部输出的非可见光信号进行增益调整。
3.根据权利要求1所述的拍摄装置，其特征在于，上述拍摄装置还具备：
比率计算部，其计算上述可见光信号和上述非可见光信号的比率并输出；
画质调整参数计算部，其根据上述可见光信号和非可见光信号的比率，计算用于变更从上述图像合成部输出的图像信号的色度的第三增益信息并输出；
色度变更部，其使用从上述画质调整参数计算部输出的第三增益信息，变更从上述图像合成部输出的图像的色度。
4.根据权利要求1所述的拍摄装置，其特征在于，上述拍摄装置还具备：
滤波器驱动部，其使对向上述拍摄元件照射的光中的预定的波长频带进行截止的光学滤波器移动，由此在光路上取放该光学滤波器；
曝光控制部，其根据来自上述拍摄元件的像素信号等级、在上述拍摄元件中设定的曝光条件的设定，变更上述拍摄元件的曝光条件的设定，并且控制上述滤波器驱动部，由此控制上述光学滤波器的取放；
画质调整参数计算部，其根据上述光学滤波器的取放状态，单独地计算用于对上述可见光信号进行增益调整的第一增益信息和用于对上述非可见光信号进行增益调整的第二增益信息并输出；
第一增益调整部，其使用从上述画质调整参数计算部输出的第一增益信息，对从上述可见光信号生成部输出的可见光信号或从上述白调整部输出的白平衡修正后的可见光信号进行增益调整；
第二增益调整部，其使用从上述画质调整参数计算部输出的第二增益信息，对从上述非可见光信号生成部输出的非可见光信号进行增益调整。
5.一种拍摄装置，其特征在于，具备：
拍摄元件，其对包含可见光和非可见光的光进行光电变换来作为像素信号输出；
信号抽出部，其抽出经由在上述拍摄元件中按照像素单位排列的具有多个透过特性的滤波器进行了光电变换后的像素信号中的、在预定的图像区域中信号等级最高的像素信号；
可见光信号生成部，其从来自该拍摄元件的像素信号抽出可见光信号进行输出；
光源色推定部，其根据上述抽出的像素信号的信号等级比预定的等级高还是低，进行针对上述可见光信号的加权，根据上述加权后的可见光信号推定光源色；
白调整部，其根据来自该光源色推定部的推定结果对来自上述可见光信号生成部的可见光信号进行白平衡修正后输出；
非可见光信号生成部，其从来自上述拍摄元件的信号抽出非可见光信号并输出；
图像合成部，其将通过上述白调整部进行了白平衡修正后的可见光信号和来自上述非可见光信号生成部的非可见光信号进行合成后输出。
6.一种拍摄方法，其特征在于，包括：
拍摄元件对包含可见光和非可见光的光进行光电变换而作为图像信号输出的拍摄步骤；
将在上述拍摄步骤中输出的图像信号分离为可见光信号和非可见光信号的可见光信号/非可见光信号分离步骤；
抽出经由在上述拍摄元件中按照像素单位排列的具有多个透过特性的滤波器进行了光电变换后的像素信号中的、经由透过率最高的滤波器进行了光电变换后的像素信号的信号抽出步骤；
根据上述抽出的像素信号的信号等级比预定的等级高还是低，进行针对上述可见光信号的加权，根据上述加权后的可见光信号推定光源色的光源色推定步骤；
根据在该光源色推定步骤中推定出的推定结果，对上述可见光信号进行白平衡修正的可见光信号白调整步骤；
将在上述可见光信号白调整步骤中进行了白平衡修正的可见光信号和在上述可见光信号/非可见光信号分离步骤中分离出的非可见光信号进行合成的可见光信号/非可见光信号合成步骤；
计算可见光信号与非可见光信号的比率的可见光/非可见光比率计算步骤；
根据在上述可见光/非可见光比率计算步骤中计算出的比率，将上述拍摄元件的波长灵敏度特性通过具有预定的波长透过特性的光学滤波器进行变更的步骤。
7.一种拍摄方法，其特征在于，包括：
使用能够将包含可见光和非可见光的光分光为预定的波长成分而拍摄的拍摄元件作为像素信号输出的拍摄步骤；
将来自上述拍摄步骤中的图像信号分离为可见光信号和非可见光信号的可见光信号/非可见光信号分离步骤；
抽出经由在上述拍摄元件中按照像素单位排列的具有多个透过特性的滤波器进行了光电变换后的像素信号中的、经由透过率最高的滤波器进行了光电变换后的像素信号的信号抽出步骤；
根据上述抽出的像素信号的信号等级比预定的等级高还是低，进行针对上述可见光信号的加权，根据上述加权后的可见光信号推定光源色的光源色推定步骤；
根据在该光源色推定步骤中推定出的推定结果，对上述可见光信号进行白平衡修正的可见光信号白调整步骤；
计算在上述可见光信号/非可见光信号分离步骤中分离出的可见光信号或在上述可见光信号白调整步骤中进行了白平衡修正后的可见光信号与在上述可见光信号/非可见光信号分离步骤中分离出的非可见光信号的比率的可见光/非可见光比率计算步骤；
根据在该可见光/非可见光比率计算步骤中计算出的比率，对在上述可见光信号白调整步骤中进行了白平衡修正后的可见光信号进行增益调整的可见光信号增益调整步骤；
根据在上述可见光/非可见光比率计算步骤中计算出的比率，对在上述可见光信号/非可见光信号分离步骤中计算出的非可见光信号进行增益调整的非可见光信号增益调整步骤；
生成按照预定的比率将在上述可见光信号增益调整步骤中进行了增益调整后的可见光信号和在上述非可见光信号增益调整步骤中进行了增益调整后的非可见光信号进行合成后的信号的可见光信号/非可见光信号合成步骤；
计算可见光信号与非可见光信号的比率的可见光/非可见光比率计算步骤；
根据在上述可见光/非可见光比率计算步骤中计算出的比率，将上述拍摄元件的波长灵敏度特性通过具有预定的波长透过特性的光学滤波器进行变更的步骤。
CN201510542325.7A 2014-08-29 2015-08-28 拍摄方法以及拍摄装置 Active CN105391953B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-174754 2014-08-29
JP2014174754 2014-08-29

Publications (2)

Publication Number Publication Date
CN105391953A CN105391953A (zh) 2016-03-09
CN105391953B true CN105391953B (zh) 2019-11-26

Family

ID=54011571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510542325.7A Active CN105391953B (zh) 2014-08-29 2015-08-28 拍摄方法以及拍摄装置

Country Status (4)

Country Link
US (1) US10165242B2 (zh)
EP (1) EP2991340A3 (zh)
JP (1) JP6568719B2 (zh)
CN (1) CN105391953B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
JP2016076807A (ja) * 2014-10-06 2016-05-12 ソニー株式会社 画像処理装置、撮像装置および撮像方法
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN106131462B (zh) * 2016-06-24 2019-05-24 华为技术有限公司 一种对图像进行校正的方法和装置
WO2018044314A1 (en) 2016-09-01 2018-03-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10931895B2 (en) * 2016-12-22 2021-02-23 Nec Corporation Image processing method, image processing device, and storage medium
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN108600725B (zh) * 2018-05-10 2024-03-19 浙江芯劢微电子股份有限公司 一种基于rgb-ir图像数据的白平衡校正装置及方法
JP7210199B2 (ja) * 2018-09-20 2023-01-23 キヤノン株式会社 撮像装置、制御方法、コンピュータプログラム、及び記憶媒体
JP7336773B2 (ja) * 2018-10-29 2023-09-01 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、及び、情報提示システム
JP7204499B2 (ja) * 2019-01-21 2023-01-16 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
KR20200090347A (ko) * 2019-01-21 2020-07-29 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
JP7374600B2 (ja) * 2019-03-22 2023-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP7403242B2 (ja) * 2019-06-10 2023-12-22 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム
CN112243117B (zh) * 2019-07-17 2022-09-16 杭州海康威视数字技术股份有限公司 图像处理装置、方法及摄像机
WO2023047825A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 撮像装置および撮像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161459A (ja) * 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
WO2011132241A1 (ja) * 2010-04-23 2011-10-27 パナソニック株式会社 撮像装置
JP2013162339A (ja) * 2012-02-06 2013-08-19 Hitachi Consumer Electronics Co Ltd 撮像装置
US8767074B2 (en) * 2011-02-28 2014-07-01 Samsung Electro-Mechanics Co., Ltd. System and method of assisting visibility of driver

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4769079B2 (ja) * 2005-12-15 2011-09-07 日本放送協会 カメラ情報解析装置
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2008131292A (ja) * 2006-11-20 2008-06-05 Olympus Corp 撮像装置
JP5003196B2 (ja) * 2007-02-19 2012-08-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP2009134383A (ja) * 2007-11-29 2009-06-18 Sony Corp 画像処理装置および方法、並びにプログラム
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
JP2010226364A (ja) * 2009-03-23 2010-10-07 Seiko Epson Corp ホワイトバランス処理装置、ホワイトバランス処理方法およびホワイトバランス処理プログラム
JP5544223B2 (ja) * 2010-06-03 2014-07-09 株式会社日立製作所 撮像装置
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
JP2012244533A (ja) * 2011-05-23 2012-12-10 Panasonic Corp 撮像装置および画像信号処理方法
EP2793470A1 (en) * 2011-12-16 2014-10-22 Sony Corporation Image pickup device
RU2014138087A (ru) * 2012-03-27 2016-04-10 Сони Корпорейшн Устройство обработки изображения, устройство формирования изображения, способ обработки изображения и программа
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010161459A (ja) * 2009-01-06 2010-07-22 Olympus Corp 赤外線照射式撮像装置
WO2011132241A1 (ja) * 2010-04-23 2011-10-27 パナソニック株式会社 撮像装置
US8767074B2 (en) * 2011-02-28 2014-07-01 Samsung Electro-Mechanics Co., Ltd. System and method of assisting visibility of driver
JP2013162339A (ja) * 2012-02-06 2013-08-19 Hitachi Consumer Electronics Co Ltd 撮像装置

Also Published As

Publication number Publication date
EP2991340A3 (en) 2016-04-27
JP6568719B2 (ja) 2019-08-28
JP2016052115A (ja) 2016-04-11
US10165242B2 (en) 2018-12-25
EP2991340A2 (en) 2016-03-02
US20160065926A1 (en) 2016-03-03
CN105391953A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105391953B (zh) 拍摄方法以及拍摄装置
CN103220534B (zh) 图像撷取装置与方法
US20150062347A1 (en) Image processing methods for visible and infrared imaging
US9516295B2 (en) Systems and methods for multi-channel imaging based on multiple exposure settings
CN104113743B (zh) 低照度下彩色摄像机自动白平衡处理方法及装置
CN105453532B (zh) 摄像装置、摄像方法和车载摄像***
CN107534759B (zh) 摄像装置、摄像方法和计算机可读介质
CN106488209A (zh) 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
CN108712608A (zh) 终端设备拍摄方法和装置
US9787915B2 (en) Method and apparatus for multi-spectral imaging
JP2010504664A (ja) モノクロカメラでカラーイメージを撮影する結像方法と装置
CN109191403A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107483906A (zh) 图像的白平衡处理方法、装置和终端设备
CN108293090A (zh) 图像处理设备和图像处理方法
CN110493496B (zh) 图像采集装置及方法
CN105850112A (zh) 摄像控制装置
CN107317967A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
AU2017218753B2 (en) Imaging device with white balance compensation and related systems and methods
JP6778602B2 (ja) 撮像装置、画像データ生成方法および画像データ生成プログラム
CN107341782A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN109714542B (zh) 成像方法
CN107194901A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN107920205A (zh) 图像处理方法、装置、存储介质和电子设备
CN205722735U (zh) 一种led显示屏的屏幕亮度色度校正装置
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant