JPWO2016098641A1 - 撮像装置、撮像方法、およびプログラム - Google Patents
撮像装置、撮像方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2016098641A1 JPWO2016098641A1 JP2016564799A JP2016564799A JPWO2016098641A1 JP WO2016098641 A1 JPWO2016098641 A1 JP WO2016098641A1 JP 2016564799 A JP2016564799 A JP 2016564799A JP 2016564799 A JP2016564799 A JP 2016564799A JP WO2016098641 A1 JPWO2016098641 A1 JP WO2016098641A1
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- unit
- level
- white balance
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 102
- 238000012545 processing Methods 0.000 claims abstract description 206
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000012937 correction Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000000926 separation method Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000002834 transmittance Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本開示は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにする撮像装置、撮像方法、およびプログラムに関する。レベル補正部は、RGBW画素配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い白色の画素の信号レベルである前レベルと、ベイヤ化処理後のRGB画像の、ベイヤ配列の画像の露光制御に用いられる緑色の画素の信号レベルである後レベルが同一になるように、撮像画像の信号レベルを補正する。本開示は、例えば、撮像装置等に適用することができる。
Description
本開示は、撮像装置、撮像方法、およびプログラムに関し、特に、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにした撮像装置、撮像方法、およびプログラムに関する。
RGBW画素配列のイメージセンサにおいて、不可視光である近赤外光と可視光の両方を透過させる光学帯域分離フィルタを介して入力された光に対応する画像を撮像し、撮像画像から不可視光成分と可視光成分を分離することが考案されている(例えば、特許文献1参照)。このようなイメージセンサにおいて、不可視光成分と可視光成分の分離を高精度で行うためには、適切な露光制御を行うことが必要である。
そこで、分離の前後に積分器を設け、不可視光成分の量に応じて一方からの出力を選択して用いることにより、露光制御(AE(Automatic Exposure)制御)やホワイトバランス制御(AWB(Automatic White-Balance)制御)を行うことが考えられている(例えば、特許文献2参照)。
しかしながら、特許文献2に記載の露光制御方法のように、ベイヤ配列の撮像画像の露光制御方法とは大きく異なる方法を用いて露光制御を行う場合、既存のベイヤ配列の撮像画像の露光制御部では、露光制御を行うことができない。従って、新たな露光制御部を開発し、設置する必要があり、製造コストが増加する。
よって、ベイヤ配列の撮像画像の露光制御方法で、不可視光成分と可視光成分を含むRGBW画素配列の撮像画像などの非ベイヤ配列の撮像画像の露光制御を行うことが望まれている。
本開示は、このような状況に鑑みてなされたものであり、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができるようにするものである。
本開示の一側面の撮像装置は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部を備える撮像装置である。
本開示の一側面の撮像方法およびプログラムは、本開示の一側面の撮像装置に対応する。
本開示の一側面においては、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルが補正される。
本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:撮像システム(図1乃至図13)
2.第2実施の形態:撮像システム(図14乃至図17)
3.非ベイヤ配列の他の例(図18)
4.第3実施の形態:コンピュータ(図19)
1.第1実施の形態:撮像システム(図1乃至図13)
2.第2実施の形態:撮像システム(図14乃至図17)
3.非ベイヤ配列の他の例(図18)
4.第3実施の形態:コンピュータ(図19)
<第1実施の形態>
(撮像装置の第1実施の形態の構成例)
図1は、本開示を適用した撮像装置を含む撮像システムの第1実施の形態の構成例を示すブロック図である。
(撮像装置の第1実施の形態の構成例)
図1は、本開示を適用した撮像装置を含む撮像システムの第1実施の形態の構成例を示すブロック図である。
図1の撮像システム10は、撮像装置11とIR(赤外光)投光装置12により構成される。撮像システム10では、被写体によって反射された赤外光と可視光に対応する画像が撮像される。
具体的には、撮像装置11は、レンズ21、光学フィルタ22、イメージセンサ23、ベイヤ化処理部24、および信号処理部25により構成される。
撮像装置11のレンズ21には、被写体からの光が入射される。レンズ21は、入射された光を、光学フィルタ22を介してイメージセンサ23に集光させる。光学フィルタ22は、入射された光のうちの赤外光と可視光を透過させる。なお、光学フィルタ22は設けられなくてもよい。
イメージセンサ23は、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサまたはCCD(Charge Coupled Device)イメージセンサであり、RGBW画素配列の画素を有する。イメージセンサ23は、画素ごとに、入射された赤外光と、可視光のうちの、その画素に対応する色(赤色(R)、緑色(G)、青色(B)、白色(W))の光とを受光し、受光量に応じた電気信号を画素信号として生成することにより、撮像を行う。従って、撮像の結果得られる各画素の画素信号には、不可視光成分としての赤外光成分と可視光成分とが含まれる。イメージセンサ23は、撮像の結果得られる各画素の画素信号を、撮像画像としてベイヤ化処理部24に供給する。
ベイヤ化処理部24は、イメージセンサ23から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理(リモザイク処理)を行い、ベイヤ配列(RGB画素配列)のRGB画像を生成する。ベイヤ化処理部24は、生成されたベイヤ配列のRGB画像を信号処理部25に供給する。
信号処理部25は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部25は、ベイヤ化処理部24から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部25は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ23に供給し、撮像画像の露光量を制御する。また、信号処理部25は、RGB画像に対してホワイトバランス制御処理およびYCbCr変換処理を行った結果得られるYCbCr画像を出力する。
IR投光装置12は、例えば、可視光が少ない夜間に、被写体に向けて赤外光を出射する。
(光学フィルタの各波長の光の透過率の例)
図2は、図1の光学フィルタ22の各波長の光の透過率の例を示す図である。
図2は、図1の光学フィルタ22の各波長の光の透過率の例を示す図である。
図2のグラフにおいて、横軸は、光学フィルタ22を通過する光の波長(nm)を表し、縦軸は、その光の透過率(%)を表す。
図2に示すように、光学フィルタ22では、波長が約390nm〜660nmである可視光の透過率と、波長が約820nm〜910nmである赤外光の透過率が0%より大きい。従って、光学フィルタ22では、波長が約390nm〜660nmである可視光と波長が約820nm〜910nmである赤外光が通過する。
(ベイヤ化処理の前後の画像の画素配列の説明)
図3は、図1のベイヤ化処理部24によるベイヤ化処理の前後の画像の画素配列を説明する図である。
図3は、図1のベイヤ化処理部24によるベイヤ化処理の前後の画像の画素配列を説明する図である。
図3のAに示すように、ベイヤ化処理前の画像、即ちイメージセンサ23から出力される撮像画像の画素配列は、RGBW画素配列である。また、各画素の画素信号には赤外光(IR)成分が含まれる。
ベイヤ化処理部24は、このようなベイヤ化処理前の画像に対して、ベイヤ化処理を行うことにより、図3のBに示すRGB画素配列の画像を、ベイヤ化処理後の画像として生成する。
(ベイヤ化処理部の構成例)
図4は、図1のベイヤ化処理部24の構成例を示すブロック図である。
図4は、図1のベイヤ化処理部24の構成例を示すブロック図である。
ベイヤ化処理部24は、低周波処理部41、分離部42、ゲイン算出部43、ホワイトバランス部44、レベル補正部45、YC変換部46、輝度合成部47、飽和色消し部48、クロマゲインアンプ49、RGB変換部50、高周波補完部51、高周波抽出部52、高周波復元処理部53、逆ホワイトバランス部54、およびベイヤ化部55から構成される。ベイヤ化処理部24は、図1のイメージセンサ23から供給される撮像画像を高周波成分と低周波成分に分離して、ベイヤ化処理を行う。
具体的には、ベイヤ化処理部24の低周波処理部41は、イメージセンサ23の画素の色ごとに、イメージセンサ23から供給される撮像画像に対してLPF(Low Pass Filter)処理および補完処理を行う。低周波処理部41は、その結果生成される赤外光成分を含む全画素の各色の同時刻の画素信号の低周波成分(W+IR)L,(R+IR)L,(G+IR)L、および(B+IR)Lを分離部42に供給し、低周波成分(W+IR)Lをゲイン算出部43、輝度合成部47、高周波抽出部52、および高周波復元処理部53に供給する。
分離部42は、低周波処理部41から供給される低周波成分(W+IR)L,(R+IR)L,(G+IR)L、および(B+IR)Lに基づいて、低周波成分(R+IR)L,(G+IR)L,(B+IR)Lのそれぞれに含まれる赤外光成分と可視光成分を、以下の式(1)により分離する。
なお、IRLは、低周波成分(R+IR)L,(G+IR)L,(B+IR)Lのそれぞれに含まれる赤外光成分である。また、RL,GL,BLは、低周波成分(R+IR)L,(G+IR)L,(B+IR)Lの可視光成分である。
分離部42は、分離の結果得られる赤外光成分IRLと可視光成分RL,GL、およびBLとをゲイン算出部43に供給し、可視光成分RL,GL、およびBLをホワイトバランス部44に供給する。
ゲイン算出部43(ホワイトバランスゲイン算出部)は、分離部42から供給される可視光成分RL,GL、およびBLに基づいて、以下の式(2)により、可視光成分RL,GL、およびBLのホワイトバランスゲインCWR,CWG,CWBを算出し、ホワイトバランス部44に供給する。
なお、AveRL,AveGL,AveBLは、それぞれ、1画面内の可視光成分RL,GL,BLの平均値である。また、ゲイン算出部43は、ホワイトバランスゲインCWR,CWG,CWBの逆数を算出し、逆ホワイトバランス部54に供給する。
さらに、ゲイン算出部43(補正ゲイン算出部)は、ベイヤ配列の撮像画像の露光制御に用いられる画素である緑色の画素の可視光成分(の信号レベル)GL(後レベル)と、低周波処理部41から供給される、撮像画像のうちの最も感度の高い白色の画素の低周波成分(の信号レベル)(W+IR)L(前レベル)とに基づいて、以下の式(3)により、補正ゲインCEを算出する。
なお、Ave(W+IR)Lは、1画面内の低周波成分(W+IR)Lの平均値である。式(3)によれば、可視光成分GL(の平均値)を低周波成分(W+IR)L(の平均値)にするための補正ゲインCEが算出される。従って、可視光成分GLと補正ゲインCEを乗算することにより、乗算後の可視光成分GLは、低周波成分(W+IR)Lと同一になる。ゲイン算出部43は、補正ゲインCEをレベル補正部45に供給する。
ホワイトバランス部44は、以下の式(4)に示すように、分離部42から供給される可視光成分RL,GL、およびBLのそれぞれに対して、ゲイン算出部43から供給されるホワイトバランスゲインCWR,CWG,CWBを乗算する。これにより、可視光成分RL,GL、およびBLの比率(ホワイトバランス)が補正される。
なお、RWL,GWL、およびBWLは、それぞれ、補正後の可視光成分RL,GL、およびBLである。ホワイトバランス部44は、補正後の可視光成分RWL,GWL、およびBWLをレベル補正部45に供給する。
レベル補正部45は、ベイヤ化処理後のRGB画像の緑色の画素の画素信号と低周波成分(W+IR)Lが同一になるように、ゲイン算出部43からの補正ゲインCEと、ホワイトバランス部44からの可視光成分RWL,GWL、およびBWLのそれぞれとを乗算することにより、可視光成分RWL,GWL、およびBWLを補正する。レベル補正部45は、補正後の可視光成分RWL,GWL、およびBWLをYC変換部46に供給する。
YC変換部46は、以下の式(5)により、レベル補正部45から供給される可視光成分RWL,GWL、およびBWLを、輝度信号YLと色差信号CbLおよびCrLとに変換する。YC変換部46は、輝度信号YLを輝度合成部47に供給し、色差信号CbLおよびCrLを飽和色消し部48に供給する。
輝度合成部47は、低周波処理部41から供給される低周波成分(W+IR)Lに基づいて、YC変換部46から供給される輝度信号YLを、以下の式(6)により補正する。
なお、aは、輝度信号YLや赤外光成分IRLに基づいて決定される係数である。例えば、1画面内の輝度信号YLの平均値が所定値より大きい場合や、1画面内の赤外光成分IRLの平均値が所定値より小さい場合、係数aは比較的大きい値にされる。一方、1画面内の輝度信号YLの平均値が所定値以下である場合や、1画面内の赤外光成分IRLの平均値が所定値以上である場合、係数aは比較的小さい値になる。
また、YL´は、補正後の輝度信号である。輝度合成部47は、補正後の輝度信号YL´をRGB変換部50に供給する。
飽和色消し部48は、低周波成分(W+IR)Lが、画素に蓄積可能な電荷に対応する画素信号の最大レベルである飽和レベルを超えたかどうかを判定する。飽和色消し部48は、低周波成分(W+IR)Lが飽和レベルを超えた場合、YC変換部46から供給される色差信号CbLおよびCrLに対して1未満のゲインを乗算し、色消しを行う。
即ち、低周波成分(W+IR)L,(R+IR)L,(G+IR)L,(B+IR)Lのいずれかが飽和レベルを超えると、分離部42による分離の精度が低下し、色差信号CbLおよびCrLの精度が低下する。従って、飽和色消し部48は、最も感度の高い白色の画素の低周波成分(W+IR)Lが飽和レベルを超えた場合、低周波成分(W+IR)L,(R+IR)L,(G+IR)L,(B+IR)Lのいずれかが飽和レベルを超えたと判断し、色差信号CbLおよびCrLを低減させる。飽和色消し部48は、色消し後の色差信号CbLおよびCrLをクロマゲインアンプ49に供給する。
一方、低周波成分(W+IR)Lが飽和レベルを超えていない場合、飽和色消し部48は、YC変換部46から供給される色差信号CbLおよびCrLを、そのままクロマゲインアンプ49に供給する。
クロマゲインアンプ49は、飽和色消し部48から供給される色差信号CbLおよびCrLのそれぞれに対して、クロマゲインを乗算する。クロマゲインは、1画面内の輝度信号YLの平均値が所定値より大きい場合や、1画面内の赤外光成分IRLの平均値が所定値より小さい場合、1とされるが、1画面内の輝度信号YLの平均値が所定値以下である場合や、1画面内の赤外光成分IRLの平均値が所定値以上である場合、0に近い値にされる。
これにより、被写体からの光の量が多いか、または、赤外光が少なく、色差信号CbLおよびCrLの精度が良い場合、色差信号CbLおよびCrLは補正されない。一方、被写体からの光の量が少ないか、または、赤外光が多く、色差信号CbLおよびCrLの精度が悪い場合、色差信号CbLおよびCrLは低減され、低周波成分が白黒化される。その結果、ベイヤ化処理後の画像のS/N(Signal/Noise)比を向上させることができる。クロマゲインアンプ49は、クロマゲインが乗算された色差信号CbLおよびCrLをRGB変換部50に供給する。
RGB変換部50は、以下の式(7)により、輝度合成部47から供給される輝度信号YL´と色差信号色差信号CbLおよびCrLを、赤色、緑色、青色の画素信号RL´,GL´,BL´に変換し、高周波復元処理部53に供給する。
高周波補完部51は、イメージセンサ23から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号(W+IR)H+Lを補完する。具体的には、高周波補完部51は、撮像画像のうちの白色の画素の画素信号を、そのまま、白色の画素の補完後の画素信号とする。また、高周波補完部51は、白色の画素以外の画素を順に注目画素とし、注目画素の周辺の白色の画素の画素信号の平均値を、注目画素の補完後の画素信号として生成する。高周波補完部51は、補完後の画素信号(W+IR)H+Lを高周波抽出部52に供給する。
高周波抽出部52は、高周波補完部51から供給される画素信号(W+IR)H+Lから、低周波処理部41から供給される低周波成分(W+IR)Lを減算し、その結果得られる全画素の白色の同時刻の画素信号の高周波成分(W+IR)Hを高周波復元処理部53に供給する。
高周波復元処理部53は、低周波処理部41から供給される低周波成分(W+IR)L、RGB変換部50から供給される画素信号RL´,GL´,BL´、および高周波抽出部52から供給される高周波成分(W+IR)Hに基づいて、以下の式(8)により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部53は、画素信号R,G,Bを逆ホワイトバランス部54に供給する。
逆ホワイトバランス部54(ホワイトバランス制御部)は、高周波復元処理部53から供給される画素信号R,G,Bに対して、ゲイン算出部43から供給されるホワイトバランスゲインCWR,CWG,CWBの逆数を乗算する。これにより、イメージセンサ23から出力されたベイヤ化処理前の撮像画像の1画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部24から出力されるベイヤ化処理後のRGB画像の1画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部54は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部55に供給する。
ベイヤ化部55は、画素ごとに、逆ホワイトバランス部54から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部55は、抽出された各画素の画素信号を、ベイヤ配列のRGB画像として、図1の信号処理部25に供給する。
(出力信号の信号レベルの説明)
図5は、低周波処理部41、分離部42、ホワイトバランス部44、レベル補正部45、および逆ホワイトバランス部54から出力される信号の信号レベルを説明する概念図である。
図5は、低周波処理部41、分離部42、ホワイトバランス部44、レベル補正部45、および逆ホワイトバランス部54から出力される信号の信号レベルを説明する概念図である。
図5に示すように、低周波処理部41から出力される低周波成分(W+IR)Lは、白色の成分(W)と赤外光成分(IR)を含む画素信号の低周波成分であり、低周波成分(R+IR)Lは、赤色の成分(R)と赤外光成分(IR)を含む画素信号の低周波成分である。また、低周波成分(G+IR)Lは、緑色の成分(G)と赤外光成分(IR)を含む画素信号の低周波成分であり、低周波成分(B+IR)Lは、青色の成分(B)と赤外光成分(IR)を含む画素信号の低周波成分である。
イメージセンサ23が有する画素のうち、白色の画素の感度が最も高いため、低周波成分(W+IR)Lの信号レベルは、低周波成分(R+IR)L,(G+IR)L、および(B+IR)Lの信号レベルに比べて高い。
この低周波成分(W+IR)L,(R+IR)L,(G+IR)L、および(B+IR)Lは、分離部42において、図5に示すように、赤外光成分IRLと可視光成分RL,GL、およびBLとに分離され、出力される。ホワイトバランス部44は、可視光成分RL,GL、およびBLに対して、それぞれ、ホワイトバランスゲインCWR,CWGとしての1,CWBを乗算し、出力する。これにより、図5に示すように、ホワイトバランス部44から出力される可視光成分RWL,GWL、およびBWLは略同一となる。
レベル補正部45は、ホワイトバランス部44から出力される可視光成分RWL,GWL、およびBWLのそれぞれに対して、補正ゲインCEを乗算し、出力する。これにより、図5に示すように、レベル補正部45から出力される可視光成分RWL,GWL、およびBWLは、低周波成分(W+IR)Lと同一になる。
逆ホワイトバランス部54は、レベル補正部45から出力される可視光成分RWL,GWL、およびBWLに対応する画素信号R,G,Bに対して、それぞれ、ホワイトバランスゲインCWR,CWG,CWBの逆数を乗算し、出力する。これにより、分離部42から出力される可視光成分RL,GL、およびBLのホワイトバランスと、逆ホワイトバランス部54から出力される画素信号R,G、およびBのホワイトバランスが等しくなる。即ち、ホワイトバランス部44において変化した可視光成分RL,GL、およびBLの比率が元に戻される。
従って、信号処理部25は、画素信号R,G、およびBに対応するベイヤ配列のRGB画像に基づいて、ベイヤ配列の撮像画像のホワイトバランス制御方法にしたがってホワイトバランス制御を行うことにより、イメージセンサ23の撮像画像のホワイトバランス制御を行うことができる。
また、レベル補正部45において、可視光成分RWL,GWL、およびBWLが低周波成分(W+IR)Lと同一にされており、ホワイトバランスゲインCWGの逆数は1である。従って、低周波処理部41から出力される低周波成分(W+IR)Lと、逆ホワイトバランス部54から出力される画素信号Gとは等しくなる。即ち、ベイヤ配列の撮像画像の露光制御方法において露光制御に用いられる緑色の画素の画素信号Gが、イメージセンサ23が有する画素のうちの最も感度の高い白色の画素の低周波成分(W+IR)Lと等しくされる。
従って、信号処理部25は、画素信号R,G、およびBに対応するベイヤ配列のRGB画像のうちの緑色の画素の画素信号に基づいて、ベイヤ配列の撮像画像の露光制御方法にしたがって露光制御を行うことにより、イメージセンサ23の撮像画像の露光制御を行うことができる。
以上のように、撮像装置11では、ベイヤ配列の撮像画像の露光制御方法とホワイトバランス制御方法を用いて、イメージセンサ23の撮像画像の露光制御とホワイトバランス制御を行うことができる。従って、撮像装置11は、既存のベイヤ配列の撮像画像用の信号処理部25を設けるだけで、新たな露光制御部やホワイトバランス制御部を開発せずに、イメージセンサ23の撮像画像の露光制御とホワイトバランス制御を行うことができる。その結果、撮像装置11の製造コストを削減することができる。
(露光制御による効果)
図6は、イメージセンサ23の撮像画像の露光制御が行われない場合の分離部42からの出力信号を表す図であり、図7は、露光制御が行われた場合の分離部42からの出力信号を表す図である。
図6は、イメージセンサ23の撮像画像の露光制御が行われない場合の分離部42からの出力信号を表す図であり、図7は、露光制御が行われた場合の分離部42からの出力信号を表す図である。
図6に示すように、イメージセンサ23の撮像画像の露光制御が行われないと、低周波成分(W+IR)Lが飽和レベルを超える場合がある。この場合、低周波成分(W+IR)Lは、白色の画素で感知されるべき光の光量に対応する画素信号の低周波成分よりも小さくなるため、上述した式(1)が成立せず、分離後の可視光成分RL,GL、およびBLには、赤外光成分IRLが残る。
これに対して、イメージセンサ23の撮像画像の露光制御が行われる場合、低周波成分(W+IR)L,(R+IR)L,(G+IR)L、および(B+IR)の全てが飽和レベルを超えず、上述した式(1)が成立する。従って、分離後の可視光成分RL,GL、およびBLには、赤外光成分IRLが含まれない。その結果、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
撮像装置11では、イメージセンサ23の撮像画像の露光制御が行われるので、露光制御が行われない場合に比べて、ベイヤ化処理後のRGB画像の画質が向上する。
(撮像装置の処理の説明)
図8および図9は、図1の撮像装置11の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ23の撮像画像単位で行われる。
図8および図9は、図1の撮像装置11の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ23の撮像画像単位で行われる。
図8のステップS11において、イメージセンサ23は、前の撮像画像に対する撮像処理で、信号処理部25から供給されたシャッタゲインを、現在のシャッタゲインとして設定する。なお、先頭の撮像画像に対する撮像処理では、まだシャッタゲインが決定されていないため、ステップS11において、例えば、予め決められたシャッタゲインのデフォルト値が、現在のシャッタゲインとして設定される。
ステップS12において、イメージセンサ23は、現在のシャッタゲインに基づいて撮像を行い、その結果得られる非ベイヤ配列の撮像画像をベイヤ化処理部24に供給する。
ステップS13において、ベイヤ化処理部24の低周波処理部41(図4)は、イメージセンサ23の画素の色ごとに、イメージセンサ23から供給される撮像画像に対してLPF処理および補完処理を行う。低周波処理部41は、その結果生成される低周波成分(W+IR)L,(R+IR)L,(G+IR)L、および(B+IR)Lを分離部42に供給し、低周波成分(W+IR)Lをゲイン算出部43、輝度合成部47、高周波抽出部52、および高周波復元処理部53に供給する。
ステップS14において、分離部42は、低周波処理部41から供給される低周波成分(W+IR)L,(R+IR)L,(G+IR)L、および(B+IR)Lに基づいて、上述した式(1)により、低周波成分(R+IR)L,(G+IR)L、および(B+IR)Lに含まれる赤外光成分IRLと可視光成分RL,GL、およびBLとを分離する。分離部42は、赤外光成分IRLと可視光成分RL,GL、およびBLとをゲイン算出部43に供給し、可視光成分RL,GL、およびBLをホワイトバランス部44に供給する。
ステップS15において、ゲイン算出部43は、分離部42から供給される可視光成分RL,GL、およびBLに基づいて、上述した式(2)により、ホワイトバランスゲインCWR,CWG、およびCWBを算出し、ホワイトバランス部44に供給する。
ステップS16において、ゲイン算出部43は、ホワイトバランスゲインCWR,CWG、およびCWBのそれぞれの逆数を算出し、逆ホワイトバランス部54に供給する。ステップS17において、ゲイン算出部43は、可視光成分GLと、低周波処理部41から供給される低周波成分(W+IR)Lとに基づいて、上述した式(3)により、補正ゲインCEを算出する。ゲイン算出部43は、補正ゲインCEをレベル補正部45に供給する。
ステップS18において、ホワイトバランス部44は、上述した式(4)に示すように、分離部42から供給される可視光成分RL,GL、およびBLのそれぞれに対して、ゲイン算出部43から供給されるホワイトバランスゲインCWR,CWG,CWBを乗算する。ホワイトバランス部44は、乗算後の可視光成分RWL,GWL、およびBWLをレベル補正部45に供給する。
ステップS19において、レベル補正部45は、ゲイン算出部43から供給される補正ゲインCEと、可視光成分RWL,GWL、およびBWLのそれぞれとを乗算する。レベル補正部45は、乗算後の可視光成分RWL,GWL、およびBWLをYC変換部46に供給する。
ステップS20において、YC変換部46は、上述した式(5)により、レベル補正部45から供給される可視光成分RWL,GWL、およびBWLを、輝度信号YLと色差信号CbLおよびCrLとに変換する。YC変換部46は、輝度信号YLを輝度合成部47に供給し、色差信号CbLおよびCrLを飽和色消し部48に供給する。
ステップS21において、輝度合成部47は、低周波処理部41から供給される低周波成分(W+IR)Lに基づいて、上述した式(6)により、YC変換部46から供給される輝度信号YLを補正し、その結果得られる輝度信号YL´をRGB変換部50に供給する。
ステップS22において、飽和色消し部48は、低周波成分(W+IR)Lが飽和レベルを超えたかどうかを判定する。ステップS22で低周波成分(W+IR)Lが飽和レベルを超えたと判定された場合、ステップS23において、飽和色消し部48は、YC変換部46から供給される色差信号CbLおよびCrLに対して1未満のゲインを乗算し、色消しを行う。飽和色消し部48は、色消し後の色差信号CbLおよびCrLをクロマゲインアンプ49に供給し、処理をステップS24に進める。
一方、ステップS22で低周波成分(W+IR)Lが飽和レベルを超えていないと判定された場合、飽和色消し部48は、YC変換部46から供給される色差信号CbLおよびCrLを、そのままクロマゲインアンプ49に供給し、処理をステップS24に進める。
ステップS24において、クロマゲインアンプ49は、飽和色消し部48から供給される色差信号CbLおよびCrLのそれぞれに対して、クロマゲインを乗算し、RGB変換部50に供給する。
ステップS25において、RGB変換部50は、上述した式(7)により、輝度合成部47から供給される輝度信号YL´と色差信号CbLおよびCrLを、赤色、緑色、青色の画素信号RL´,GL´,BL´に変換し、高周波復元処理部53に供給する。
ステップS26において、高周波補完部51は、イメージセンサ23から供給される撮像画像に基づいて、全画素の白色の可視光成分と赤外光成分を含む画素信号(W+IR)H+Lを補完し、高周波抽出部52に供給する。
図9のステップS27において、高周波抽出部52は、高周波補完部51から供給される画素信号(W+IR)H+Lから、低周波処理部41から供給される低周波成分(W+IR)Lを減算して、高周波成分(W+IR)Hを生成する。高周波抽出部52は、高周波成分(W+IR)Hを高周波復元処理部53に供給する。
ステップS28において、高周波復元処理部53は、低周波処理部41からの低周波成分(W+IR)L、RGB変換部50からの画素信号RL´,GL´,BL´、および高周波抽出部52からの高周波成分(W+IR)Hに基づいて、上述した式(8)により、全帯域の赤色、緑色、青色の画素信号R,G,Bを生成する。高周波復元処理部53は、画素信号R,G,Bを逆ホワイトバランス部54に供給する。
ステップS29において、逆ホワイトバランス部54は、高周波復元処理部53から供給される画素信号R,G,Bのそれぞれに対して、ゲイン算出部43から供給されるホワイトバランスゲインCWR,CWG,CWBの逆数を乗算し、ベイヤ化部55に供給する。
ステップS30において、ベイヤ化部55は、画素ごとに、逆ホワイトバランス部54から供給される画素信号R,G,Bから、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部55は、抽出された各画素の画素信号を、ベイヤ化処理後のベイヤ配列のRGB画像として、図1の信号処理部25に供給する。
ステップS31において、信号処理部25は、ベイヤ化部55から供給されるベイヤ配列のRGB画像の緑色の画素信号の総和(積分値)に基づいて、そのRGB画像の緑色の画素信号の1画面内の平均値が飽和レベルを越さないようにシャッタゲインを決定する露光制御処理を行う。信号処理部25は、決定されたシャッタゲインをイメージセンサ23に供給する。このシャッタゲインは、次の撮像画像に対する撮像処理のステップS11の処理で、現在のシャッタゲインとして設定される。
ステップS32において、信号処理部25は、ベイヤ配列のRGB画像の各色の画素信号の総和(積分値)に基づいて各色のホワイトバランスゲインを算出し、色ごとに画素信号にホワイトバランスゲインを乗算するホワイトバランス制御処理を行う。
ステップS33において、信号処理部25は、ホワイトバランス制御処理後のRGB画像に対してYCbCr変換処理を行い、その結果得られるYCbCr画像を出力する。そして、処理は終了する。
(撮像装置のICチップの構成例)
図10乃至図13は、撮像装置11がIC(Integrated Circuit)チップに形成される場合のICチップの構成例を示す図である。
図10乃至図13は、撮像装置11がIC(Integrated Circuit)チップに形成される場合のICチップの構成例を示す図である。
撮像装置11がICチップに形成される場合、例えば、図10に示すように、イメージセンサ23、ベイヤ化処理部24、および信号処理部25は、それぞれ異なるICチップ71,72,73に形成されるようにすることができる。
また、図11に示すように、イメージセンサ23とベイヤ化処理部24が同一のICチップ81に形成され、信号処理部25が、ICチップ81とは異なるICチップ82に形成されるようにすることもできる。
さらに、図12に示すように、イメージセンサ23が1つのICチップ91に形成され、ベイヤ化処理部24と信号処理部25が、ICチップ91とは異なるICチップ92に形成されるようにすることもできる。また、図13に示すように、イメージセンサ23、ベイヤ化処理部24、および信号処理部25の全てが同一のICチップ101に形成されるようにすることもできる。
なお、レンズ21と光学フィルタ22は、イメージセンサ23が形成されるICチップ71(81,91,101)のイメージセンサ23上に形成される。
以上のように、撮像装置11は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の低周波成分(W+IR)Lの信号レベルと、ベイヤ化処理後のRGB画像の緑色の画素の画素信号の信号レベルが同一になるように、可視光成分GWLの信号レベルを補正する。従って、撮像装置11は、既存のベイヤ配列の撮像画像用の信号処理部25を用いて、ベイヤ化処理後のRGB画像に基づいて露光制御を行うことにより、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
また、撮像装置11は、イメージセンサ23により撮像された赤外光成分を含む非ベイヤ配列の撮像画像から赤外光成分を分離し、ベイヤ化処理を行う。従って、非ベイヤ配列の撮像画像が赤外光成分を含む場合であっても、撮像装置11は、既存のベイヤ配列の撮像画像用の信号処理部25を用いて、非ベイヤ配列の撮像画像の露光制御を適切に行うことができる。
さらに、撮像装置11は、非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の可視光成分RL,GL,BLの信号レベルの比と、ベイヤ化処理後のRGB画像の各色の画素信号の信号レベルの比が同一になるように、画素信号R,G,Bのホワイトバランスを制御する。従って、撮像装置11は、既存のベイヤ配列の撮像画像用の信号処理部25を用いて、ベイヤ化処理後のRGB画像に基づいてホワイトバランス制御を行うことにより、非ベイヤ配列の撮像画像のホワイトバランス制御を適切に行うことができる。
<第2実施の形態>
(撮像装置の第2実施の形態の構成例)
図14は、本開示を適用した撮像装置を含む撮像システムの第2実施の形態の構成例を示すブロック図である。
(撮像装置の第2実施の形態の構成例)
図14は、本開示を適用した撮像装置を含む撮像システムの第2実施の形態の構成例を示すブロック図である。
図14に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図14の撮像システム120の構成は、撮像装置11の代わりに撮像装置121が設けられる点が、図1の撮像システム10の構成と異なる。また、撮像装置121の構成は、ベイヤ化処理部24の代わりにベイヤ化処理部141が設けられる点、信号処理部25の代わりに信号処理部142が設けられる点が、図1の撮像装置11の構成と異なる。撮像装置121は、ベイヤ化処理部141において、信号処理部142のホワイトバランス制御処理で算出されたホワイトバランスゲインを用いる。
具体的には、撮像装置121のベイヤ化処理部141は、イメージセンサ23から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理を行い、ベイヤ配列のRGB画像を生成する。このとき、ベイヤ化処理部141は、信号処理部142から供給されるホワイトバランスゲインを用いてホワイトバランスを補正し、元に戻す。ベイヤ化処理部141は、生成されたベイヤ配列のRGB画像を信号処理部142に供給する。
信号処理部142は、既存のベイヤ配列の撮像画像用の信号処理部である。信号処理部142は、ベイヤ化処理部141から供給されるRGB画像を用いて、ベイヤ配列の撮像画像に対する方法と同一の方法で、露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を行う。信号処理部142は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ23に供給し、撮像画像の露光量を制御する。
また、信号処理部142は、ホワイトバランス制御処理において算出されたホワイトバランスゲインをベイヤ化処理部141に供給する。さらに、信号処理部142は、ホワイトバランス制御処理およびYCbCr変換処理の結果得られるYCbCr画像を出力する。
(ベイヤ化処理部の構成例)
図15は、図14のベイヤ化処理部141の構成例を示すブロック図である。
図15は、図14のベイヤ化処理部141の構成例を示すブロック図である。
図15に示す構成のうち、図4の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図15のベイヤ化処理部141の構成は、ゲイン算出部43、ホワイトバランス部44、逆ホワイトバランス部54の代わりに、ゲイン算出部161、ホワイトバランス部162、逆ホワイトバランス部163が設けられる点が、図4のベイヤ化処理部24の構成と異なる。
ベイヤ化処理部141のゲイン算出部161は、図4のゲイン算出部43と同様に、分離部42から供給される可視光成分GLと、低周波処理部41から供給される低周波成分(W+IR)Lとに基づいて、上述した式(3)により、補正ゲインCEを算出する。ゲイン算出部161は、補正ゲインCEをレベル補正部45に供給する。しかしながら、ゲイン算出部161は、ゲイン算出部43のように、ホワイトバランスゲインCWR,CWG,CWBや、その逆数を算出しない。
ホワイトバランス部162は、分離部42から供給される可視光成分RL,GL、およびBLのそれぞれに対して、図4のホワイトバランス部44と同様に、図14の信号処理部142から供給されるホワイトバランスゲインを乗算し、可視光成分RL,GL、およびBLの比率を補正する。ホワイトバランス部162は、補正後の可視光成分RWL,GWL、およびBWLをレベル補正部45に供給する。
逆ホワイトバランス部163(ホワイトバランス制御部)は、図1の信号処理部142から供給されるホワイトバランスゲインの逆数を算出する。逆ホワイトバランス部163は、高周波復元処理部53から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数をそれぞれ乗算する。これにより、イメージセンサ23から出力されたベイヤ化処理前の撮像画像の1画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部141から出力されるベイヤ化処理後のRGB画像の1画面内の赤色、緑色、および青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号R,G,Bのホワイトバランスが制御される。逆ホワイトバランス部163は、ホワイトバランスが制御された画素信号R,G,Bをベイヤ化部55に供給する。
(撮像装置の処理の説明)
図16および図17は、図14の撮像装置121の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ23の撮像画像単位で行われる。
図16および図17は、図14の撮像装置121の撮像処理を説明するフローチャートである。この撮像処理は、例えば、イメージセンサ23の撮像画像単位で行われる。
図16のステップS51乃至S54の処理は、図8のステップS11乃至S14の処理と同様であるので、説明は省略する。
ステップS55において、ベイヤ化処理部141のホワイトバランス部162(図15)は、信号処理部142から供給されるホワイトバランスゲインを取得する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップS55において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされる。
ステップS56の処理は、図8のステップS17の処理と同様であるので、説明は省略する。ステップS57において、ホワイトバランス部162は、分離部42から供給される可視光成分RL,GL、およびBLのそれぞれに対して、取得されたホワイトバランスゲインを乗算する。ホワイトバランス部44は、乗算後の可視光成分RWL,GWL、およびBWLをレベル補正部45に供給する。
ステップS58乃至S67の処理は、図8および図9のステップS19乃至S28の処理と同様であるので、説明は省略する。
ステップS68において、逆ホワイトバランス部163は、信号処理部142から供給されるホワイトバランスゲインを取得し、その逆数を算出する。なお、先頭の撮像画像に対する撮像処理では、まだホワイトバランスゲインが算出されていないため、ステップS68において、例えば、予め決められたホワイトバランスゲインのデフォルト値が、取得されたホワイトバランスゲインとされ、その逆数が算出される。
ステップS69において、逆ホワイトバランス部163は、高周波復元処理部53から供給される画素信号R,G,Bに対して、算出されたホワイトバランスゲインの逆数を乗算し、ベイヤ化部55に供給する。
ステップS70およびS71の処理は、図9のステップS30およびS31の処理と同様であるので、説明は省略する。
ステップS72において、信号処理部142は、ベイヤ配列のRGB画像に基づいてホワイトバランス制御処理を行う。また、信号処理部142は、ホワイトバランス制御処理により算出されたホワイトバランスゲインを、ホワイトバランス部162と逆ホワイトバランス部163に供給する。
ステップS73の処理は、図9のステップS33の処理と同様であるので、説明は省略する。
なお、第2実施の形態においても、第1実施の形態と同様に、撮像装置121をICチップに形成することができる。
<非ベイヤ配列の他の例>
本技術は、赤外光成分を含むRGBW画素配列の撮像画像以外の非ベイヤ配列の撮像画像に対してベイヤ化処理を行う画像処理装置にも適用することができる。ベイヤ化処理の対象となる撮像画像には、赤外光成分が含まれていてもよいし、含まれていなくてもよい。
本技術は、赤外光成分を含むRGBW画素配列の撮像画像以外の非ベイヤ配列の撮像画像に対してベイヤ化処理を行う画像処理装置にも適用することができる。ベイヤ化処理の対象となる撮像画像には、赤外光成分が含まれていてもよいし、含まれていなくてもよい。
図18は、RGBW画素配列以外の非ベイヤ配列の例を示す図である。
図18のAの画素配列は、RGB+IR画素配列であり、各画素が、赤色(R)の光、緑色(G)の光、青色(B)の光、および赤外光(IR)のいずれかに対応する画像を撮像する。図18のBの画素配列は、補色W画素配列であり、各画素が、白色(W)、黄色(Ye)、シアン(Cy)、および緑色(G)の光のいずれかに対応する画像を撮像する。
ベイヤ化処理の内容は、非ベイヤ配列の種類、非ベイヤ配列の撮像画像に赤外光成分が含まれているかどうか等によって異なる。従って、例えば、ベイヤ化処理において、RGB信号をYCbCr信号に変換する処理や赤外光成分を分離する処理が行われない場合がある。また、ベイヤ化処理部は、ホワイトバランス部44と逆ホワイトバランス部54を備えない場合もある。
しかしながら、ベイヤ化処理を行う際、ベイヤ化処理前の撮像画像の最も感度の高い画素の信号レベルと、ベイヤ化処理後の画像の露光制御に用いられる画素の信号レベルが同一になるように、撮像画像の信号レベルが補正される。従って、信号処理部25(142)は、ベイヤ配列の撮像画像の露光制御方法で、非ベイヤ配列の撮像画像の露光制御を行うことができる。
<第3実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、撮像部206、入力部207、出力部208、記憶部209、通信部210、及びドライブ211が接続されている。
撮像部206は、レンズ21、光学フィルタ22、イメージセンサ23などにより構成され、撮像を行う。入力部207は、キーボード、マウス、マイクロフォンなどよりなる。出力部208は、ディスプレイ、スピーカなどよりなる。記憶部209は、ハードディスクや不揮発性のメモリなどよりなる。通信部210は、ネットワークインタフェースなどよりなる。ドライブ211は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア212を駆動する。
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部209に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ200(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア212に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ200では、プログラムは、リムーバブルメディア212をドライブ211に装着することにより、入出力インタフェース205を介して、記憶部209にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部210で受信し、記憶部209にインストールすることができる。その他、プログラムは、ROM202や記憶部209に、あらかじめインストールしておくことができる。
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、信号処理部25は、ベイヤ配列の撮像画像の露光制御方法にしたがう露光制御として、輝度信号に基づく露光制御を行うようにしてもよい。この場合、ゲイン算出部43は、可視光成分RL,GL、およびBLから輝度信号の1画面内の平均値を生成し、平均値Ave(W+IR)Lを輝度信号の平均値で除算することにより、補正ゲインCEを算出する。
なお、本開示は、以下のような構成もとることができる。
(1)
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
を備える撮像装置。
(2)
前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
をさらに備え、
前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
ように構成された
前記(1)に記載の撮像装置。
(3)
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
をさらに備える
前記(1)または(2)に記載の撮像装置。
(4)
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
をさらに備え、
前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
ように構成された
前記(3)に記載の撮像装置。
(5)
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
をさらに備える
前記(4)に記載の撮像装置。
(6)
前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
ように構成された
前記(4)に記載の撮像装置。
(7)
前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
ように構成された
前記(1)乃至(6)のいずれかに記載の撮像装置。
(8)
前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
をさらに備え、
前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
ように構成された
前記(7)に記載の撮像装置。
(9)
撮像装置が、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
を含む撮像方法。
(10)
コンピュータを、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
として機能させるためのプログラム。
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
を備える撮像装置。
(2)
前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
をさらに備え、
前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
ように構成された
前記(1)に記載の撮像装置。
(3)
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
をさらに備える
前記(1)または(2)に記載の撮像装置。
(4)
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
をさらに備え、
前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
ように構成された
前記(3)に記載の撮像装置。
(5)
前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
をさらに備える
前記(4)に記載の撮像装置。
(6)
前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
ように構成された
前記(4)に記載の撮像装置。
(7)
前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
ように構成された
前記(1)乃至(6)のいずれかに記載の撮像装置。
(8)
前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
をさらに備え、
前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
ように構成された
前記(7)に記載の撮像装置。
(9)
撮像装置が、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
を含む撮像方法。
(10)
コンピュータを、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
として機能させるためのプログラム。
11 撮像装置, 42 分離部, 43 ゲイン算出部, 44 ホワイトバランス部, 45 レベル補正部, 54 逆ホワイトバランス部, 121 撮像装置, 162 ホワイトバランス部
Claims (10)
- 非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
を備える撮像装置。 - 前記前レベルと前記後レベルに基づいて、前記前レベルと前記後レベルを同一にするために前記撮像画像の信号レベルに乗算する補正ゲインを算出する補正ゲイン算出部
をさらに備え、
前記レベル補正部は、前記補正ゲイン算出部により算出された前記補正ゲインを、前記撮像画像の信号レベルに乗算する
ように構成された
請求項1に記載の撮像装置。 - 前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像のRGBの信号レベルの比と、ベイヤ化処理後の前記撮像画像のRGBの信号レベルの比が同一になるように、前記撮像画像のホワイトバランスを制御するホワイトバランス制御部
をさらに備える
請求項1に記載の撮像装置。 - 前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に対してホワイトバランスゲインを乗算するホワイトバランス部
をさらに備え、
前記ホワイトバランス制御部は、前記ホワイトバランス部により前記ホワイトバランスゲインが乗算された前記撮像画像に対して、前記ホワイトバランスゲインの逆数を乗算することにより、前記撮像画像のホワイトバランスを制御する
ように構成された
請求項3に記載の撮像装置。 - 前記非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、前記撮像画像に基づいて前記ホワイトバランスゲインを算出するホワイトバランスゲイン算出部
をさらに備える
請求項4に記載の撮像装置。 - 前記ホワイトバランスゲインは、前記ベイヤ化処理後の撮像画像を用いて所定の信号処理を行う際に算出される
ように構成された
請求項4に記載の撮像装置。 - 前記非ベイヤ配列の撮像画像の各画素の信号には、不可視光成分と可視光成分が含まれる
ように構成された
請求項1に記載の撮像装置。 - 前記信号に含まれる前記不可視光成分と前記可視光成分を分離する分離部
をさらに備え、
前記レベル補正部は、前記分離部により分離された前記可視光成分の信号レベルを補正する
ように構成された
請求項7に記載の撮像装置。 - 撮像装置が、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正ステップ
を含む撮像方法。 - コンピュータを、
非ベイヤ配列の撮像画像に対してベイヤ化処理を行う際、ベイヤ化処理前の前記撮像画像の最も感度の高い画素の信号レベルである前レベルと、ベイヤ化処理後の前記撮像画像の、ベイヤ配列の画像の露光制御に用いられる画素の信号レベルである後レベルが同一になるように、前記撮像画像の信号レベルを補正するレベル補正部
として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014256045 | 2014-12-18 | ||
JP2014256045 | 2014-12-18 | ||
PCT/JP2015/084390 WO2016098641A1 (ja) | 2014-12-18 | 2015-12-08 | 撮像装置、撮像方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016098641A1 true JPWO2016098641A1 (ja) | 2017-09-28 |
JP6643250B2 JP6643250B2 (ja) | 2020-02-12 |
Family
ID=56126533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016564799A Active JP6643250B2 (ja) | 2014-12-18 | 2015-12-08 | 撮像装置、撮像方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10110825B2 (ja) |
JP (1) | JP6643250B2 (ja) |
WO (1) | WO2016098641A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781303A (zh) * | 2021-09-01 | 2021-12-10 | 瑞芯微电子股份有限公司 | 图像处理方法、介质、处理器及电子设备 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10594996B2 (en) | 2014-09-24 | 2020-03-17 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image pickup device, image pickup apparatus, and image processing method |
WO2016136501A1 (ja) | 2015-02-26 | 2016-09-01 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
CN106507080B (zh) * | 2016-11-29 | 2018-07-17 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
JP7150514B2 (ja) * | 2018-08-09 | 2022-10-11 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP7253129B2 (ja) * | 2019-01-07 | 2023-04-06 | ソニー・オリンパスメディカルソリューションズ株式会社 | 画像処理装置及び観察システム |
TWI715142B (zh) * | 2019-08-07 | 2021-01-01 | 瑞昱半導體股份有限公司 | 影像感測裝置以及自動白平衡方法 |
KR20210104462A (ko) | 2020-02-17 | 2021-08-25 | 삼성전자주식회사 | 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치 |
KR20220036014A (ko) | 2020-09-15 | 2022-03-22 | 삼성전자주식회사 | 이미지 센싱 시스템 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4386096B2 (ja) | 2007-05-18 | 2009-12-16 | ソニー株式会社 | 画像入力処理装置、および、その方法 |
JP2008289000A (ja) | 2007-05-18 | 2008-11-27 | Sony Corp | 画像入力処理装置、および、その方法 |
JP5326943B2 (ja) * | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
EP2833635B1 (en) * | 2012-03-27 | 2018-11-07 | Sony Corporation | Image processing device, image-capturing element, image processing method, and program |
JP2013219705A (ja) * | 2012-04-12 | 2013-10-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2016048815A (ja) * | 2014-08-27 | 2016-04-07 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、画像処理システム |
-
2015
- 2015-12-08 WO PCT/JP2015/084390 patent/WO2016098641A1/ja active Application Filing
- 2015-12-08 JP JP2016564799A patent/JP6643250B2/ja active Active
- 2015-12-08 US US15/534,679 patent/US10110825B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781303A (zh) * | 2021-09-01 | 2021-12-10 | 瑞芯微电子股份有限公司 | 图像处理方法、介质、处理器及电子设备 |
CN113781303B (zh) * | 2021-09-01 | 2024-05-10 | 瑞芯微电子股份有限公司 | 图像处理方法、介质、处理器及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20170366723A1 (en) | 2017-12-21 |
WO2016098641A1 (ja) | 2016-06-23 |
JP6643250B2 (ja) | 2020-02-12 |
US10110825B2 (en) | 2018-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6643250B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
US10070104B2 (en) | Imaging systems with clear filter pixels | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
US10560670B2 (en) | Imaging apparatus and imaging control method | |
US8467088B2 (en) | Image signal processing apparatus, imaging apparatus, image signal processing method and computer program | |
CN107534761B (zh) | 成像装置、成像方法、图像处理装置 | |
US10699393B2 (en) | Image processing apparatus and image processing method | |
JP6732726B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
US10560642B2 (en) | Image processing device, image processing method and imaging device | |
US10594996B2 (en) | Image processing apparatus, image pickup device, image pickup apparatus, and image processing method | |
JP5223742B2 (ja) | エッジ強調画像処理装置 | |
JP2013093914A (ja) | 画像入力装置 | |
US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
WO2014038685A1 (en) | Image processor, imaging apparatus equipped with the same, and image processing method | |
JP2011113182A (ja) | 画像処理装置 | |
JP2010068020A (ja) | 画像入力装置 | |
JP4720130B2 (ja) | 撮像装置 | |
TWI617198B (zh) | 具有透明濾波器像素之成像系統 | |
JP2006324789A (ja) | 映像信号処理方法および映像信号処理装置 | |
JP2011023943A (ja) | オートホワイトバランスシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6643250 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |