JP2010093472A - 撮像装置および撮像装置用信号処理回路 - Google Patents

Abstract

【課題】従来、カラー画像は可視光画素信号のみに基づいて生成しているため、夜間時などでは撮像素子の感度が不足し、良好なカラー画像を取得することができない。
【解決手段】複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子２を備え、得られる可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成する撮像装置であって、可視光・近赤外光優勢判定部４ｃを追加し、可視光画素信号と近赤外光画素信号の大きさ関係を判定し、その判定結果に応じてＹＣ処理部４ａを制御することにより輝度信号の生成方法を切り替える。昼時には輝度信号も色信号も可視光画素信号を使って生成し、夜など可視光が少ない場合には輝度信号は近赤外光画素信号を使って生成する。さらに暗い場合には、画素混合または長時間露光を行った可視光画素信号を使って色信号を生成する。結果として、良好なカラー撮影を行い、使用者の視認性を高めることができる。
【選択図】図１

Description

本発明は、複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子を備え、可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成する撮像装置およびそのような撮像装置用の信号処理回路に関する。

ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体撮像素子においては、カラー画像を得るためのカラーフィルタ（例えば、赤、緑、青の３原色の光を透過させる原色カラーフィルタ）が設けられている。カラーフィルタにより、可視光（波長：約３８０ｎｍ〜７７０ｎｍ）中の特定の波長帯の光を受光素子（フォトダイオード）に入射させる。

カラーフィルタは、近赤外光（波長：約８００ｎｍ〜９００ｎｍ）に対してある程度の透過性をもつ。結果として、受光素子は可視光の波長領域だけでなく赤外光の波長領域にも感度をもつ。つまり、カラーフィルタに入射した赤外光の一部は、受光素子によって受光される。そこで、デジタルカメラなどでは、不要な赤外光を遮断するために、ＩＲ（Infra Red）カットフィルタを固体撮像素子の入射面側に配設している。

固体撮像素子は近年その用途が大きく広がり、近赤外光の受光センサとして積極的に利用されるようになってきた。例えば、発光部から近赤外光を被写体に照射し、被写体から反射されてくる反射光を受けて、被写体との距離情報を取得する技術がある（例えば特許文献１参照）。この場合、単板構成にて可視光および近赤外光を受光し、可視光からカラー画像を取得し、同時に近赤外光から距離情報を取得して、最適な露光時間制御を行う。その結果、可視光と近赤外光とで互いに独立して露光時間制御が可能となっている。

図８に示す撮像素子は、赤の波長領域（Ｒ）に感度をもつ画素Ｐ１、緑の波長領域（Ｇ）に感度をもつ画素Ｐ２、青の波長領域（Ｂ）に感度をもつ画素Ｐ３、近赤外の波長領域（ＩＲ）に感度をもつ画素Ｐ４を備えている。そして、可視光波長領域から輝度信号（Ｙ）と色信号（Ｕ，Ｖ）とを生成するとともに、近赤外光波長領域から距離情報取得用の近赤外光画素信号（ＩＲ）を生成する。
特開２００８−５２１３号公報（第４−９頁、第１−２，７−８図）

上記従来技術においては、近赤外光画素信号は測距用に用いられるだけであって、カラー画像は常に可視光のみで生成されている。可視光は夜間時など暗い状況下では、その量が非常に少なく、撮像素子の感度が不足し、良好なカラー画像を取得することができない。特に車載カメラや監視カメラの用途では、使用者の視認性が低く、その課題の解決が要望されている。

本発明は、このような事情に鑑みて創作したものであり、複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子を備え、前記画素から得られる可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成する撮像装置において、近赤外光画素信号に比べて可視光画素信号が小さい暗い状況下での撮影時にもカラー画像が明瞭に得られ、使用者の視認性を向上できるようにすることを目的としている。

（１）本発明による撮像装置は、複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子を備え、前記画素から得られる可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成する撮像装置であって、前記可視光画素信号と前記近赤外光画素信号の大きさ関係を判定し、その判定結果に応じて前記輝度信号の生成方法を切り替えるように構成されているものである。

（２）すなわち、本発明による撮像装置は、複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子と、輝度信号の生成方法が可変であって、前記画素から得られる可視光画素信号と近赤外光画素信号から前記輝度信号と前記色信号を生成するＹＣ処理部と、前記可視光画素信号と前記近赤外光画素信号の大きさ関係を判定し、その判定結果に応じて前記ＹＣ処理部における前記輝度信号の生成方法を切り替える可視光・近赤外光優勢判定部とを備えている。

（３）上記構成の撮像装置において、前記可視光・近赤外光優勢判定部は、近赤外光画素信号に比べて可視光画素信号が大きい条件下での撮影では、前記ＹＣ処理部に対して前記可視光画素信号を用いて前記輝度信号および前記色信号を生成するように指示し、近赤外光画素信号に比べて可視光画素信号が小さい条件下での撮影では、前記ＹＣ処理部に対して前記可視光画素信号を用いて前記色信号を生成するとともに前記近赤外光画素信号を用いて前記輝度信号を生成するように指示するという態様がある。

上記の構成においては、可視光・近赤外光優勢判定部が可視光画素信号と近赤外光画素信号の大きさ関係を判定し、その判定結果をＹＣ処理部に与える。ＹＣ処理部は与えられた判定結果に応じて輝度信号の生成方法を切り替える。すなわち、輝度信号の生成方法が可視光画素信号と近赤外光画素信号の大きさ関係に応じて自動的に可変される。例えば、可視光画素信号が近赤外光画素信号に比べて相対的に大きく、被写界が相対的に明るいときには、可視光画素信号を用いて輝度信号と色信号を生成する。また、可視光画素信号が近赤外光画素信号に比べて相対的に小さく、被写界が相対的に暗いときには、可視光画素信号を用いて色信号を生成する一方、近赤外光画素信号を用いて輝度信号を生成する。すなわち、明るいときには、輝度信号も色信号も可視光画素信号に基づいて生成するが、暗いときには、色信号は可視光画素信号から生成し、輝度信号は近赤外光画素信号から生成する。近赤外光は暗い状況下では可視光より多いことから、近赤外光画素信号を用いて生成された輝度信号は、信号レベルのより大きいものとなる。このように被写界の明るさ変化をとらえ、それに応じて輝度信号の生成方法を可変するので、近赤外光画素信号に比べて可視光画素信号が小さい暗い状況下での撮影時にも、カラー画像が明瞭に得られ、使用者の視認性が向上する。

（４）上記構成の撮像装置において、前記撮像素子は、前記可視光画素として赤、緑、青の可視光を取得する可視光画素を備えているという態様がある。すなわち、赤、緑、青の３原色の可視光の波長領域を透過するカラーフィルタを配置した画素と、近赤外光の波長領域を透過するカラーフィルタを配置した画素とが混在する撮像素子を用いる。

なお、可視光画素信号が近赤外光画素信号と等しいときは、上記の２つの処理のうちいずれを適用してもよい。

（５）上記の（１）の撮像装置において、
前記可視光画素信号が所定の閾値より大きいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は１画素単位で読み出した前記可視光画素信号を用いて生成し、
前記可視光画素信号が前記所定の閾値より小さいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は周辺画素と画素混合を行って読み出した前記可視光画素信号を用いて生成するという態様がある。

（６）すなわち、上記（２）〜（４）の撮像装置において、
さらに、前記可視光画素信号の大きさを所定の閾値と比較して判定する可視光・閾値判定部と、前記可視光・閾値判定部による判定結果に応じて前記可視光画素信号の駆動方法を通常の１画素単位の読み出しから画素混合の駆動に切り替える駆動切替制御部とを備え、
前記可視光・閾値判定部は、
前記可視光画素信号が所定の閾値より大きいときは、
前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して、前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するとともに１画素単位で読み出した前記可視光画素信号を用いて前記色信号を生成するように指示し、
前記可視光画素信号が前記所定の閾値より小さいときは、
前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するように指示するとともに、
前記駆動切替制御部に対して周辺画素と画素混合を行って読み出すように指示し、前記ＹＣ処理部に対して前記画素混合を行って読み出した前記可視光画素信号を用いて前記色信号を生成するように指示する。

上記の（５），（６）の構成においては、可視光・閾値判定部が可視光画素信号を所定の閾値と比較し、その判定結果を駆動切替制御部とＹＣ処理部とに与える。駆動切替制御部は与えられた判定結果に応じて可視光画素信号の駆動方法を切り替える。また、ＹＣ処理部は与えられた判定結果に応じて輝度信号や色信号の生成方法を切り替える。可視光画素信号が近赤外光画素信号に比べて相対的に小さく被写界が相対的に暗いときにおいて、さらに、可視光画素信号が所定の閾値より大きい場合と小さい場合とがある。前者は暗いといっても極端には暗くはなく、後者は極端に暗い場合といえる。

例えば、可視光画素信号が所定の閾値より大きいときは、可視光・閾値判定部は、駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、ＹＣ処理部に対して、１画素単位で読み出した近赤外光画素信号を用いて輝度信号を生成するとともに１画素単位で読み出した可視光画素信号を用いて色信号を生成するように指示する。これは、上記の（３）の場合と同様である。

一方、可視光画素信号が所定の閾値より小さい場合で被写界が極端に暗い場合には、可視光・閾値判定部は、輝度信号の生成については、駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、ＹＣ処理部に対して１画素単位で読み出した近赤外光画素信号を用いて輝度信号を生成するように指示する。さらに、色信号の生成については、駆動切替制御部に対して周辺画素と画素混合を行って読み出すように指示し、ＹＣ処理部に対して画素混合を行って読み出した可視光画素信号を用いて色信号を生成するように指示する。この場合の色信号の生成においては、画素混合のために解像度が低下するが、人間の目の特性として色信号については輝度信号のように敏感ではないことから特に大きな問題にはならない。画素混合を行って可視光画素信号をより多く取得しており、ノイズのより少ない色信号を生成するので、比較的良好なカラー画像の取得が可能となる。

近赤外光画素については画素混合を行わず、通常の１画素単位での信号取得を行うのは、可視光が少ない夜間時では近赤外光成分が多いことから、画素混合する必要性がないためである。この場合、通常の信号取得であるので、近赤外光画素信号から生成される輝度信号については、解像度の低下等の問題は発生しない。

以上のように、可視光画素信号と所定の閾値との大小関係に応じて最適な色信号を生成することが可能となり、夜間時など可視光が少なく極端に暗い場合であっても、撮像素子の感度をある程度は確保して、まずまず良好なカラー画像を得ることができ、特に車載カメラや監視カメラの用途では使用者の視認性を向上させることが可能となる。

なお、可視光画素信号が所定の閾値と等しいときは、上記の２つの処理のうちいずれを適用してもよい。

（７）上記の（１）の撮像装置において、
前記可視光画素信号が所定の閾値より大きいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は１画素単位で読み出した前記可視光画素信号を用いて生成し、
前記可視光画素信号が前記所定の閾値より小さいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は長時間露光で読み出した前記可視光画素信号を用いて生成するという態様がある。

（８）すなわち、上記（２）〜（４）の撮像装置において、
さらに、前記可視光画素信号の大きさを所定の閾値と比較して判定する可視光・閾値判定部と、前記可視光・閾値判定部による判定結果に応じて前記可視光画素信号の駆動方法を通常の１画素単位の読み出しから画素混合の駆動に切り替える駆動切替制御部とを備え、
前記可視光・閾値判定部は、
前記可視光画素信号が所定の閾値より大きいときは、
前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して、前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するとともに１画素単位で読み出した前記可視光画素信号を用いて前記色信号を生成するように指示し、
前記可視光画素信号が前記所定の閾値より小さいときは、
前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するように指示するとともに、
前記駆動切替制御部に対して長時間露光で読み出すように指示し、前記ＹＣ処理部に対して前記長時間露光で読み出した前記可視光画素信号を用いて前記色信号を生成するように指示する。

上記の（７），（８）の構成においては、基本の作用は上記の（５），（６）と同様であり、ここでは（５），（６）と相違する点を述べることにする。可視光画素信号が所定の閾値より小さい場合で被写界が極端に暗い場合には、可視光・閾値判定部は、輝度信号の生成については、駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、ＹＣ処理部に対して１画素単位で読み出した近赤外光画素信号を用いて輝度信号を生成するように指示する。さらに、色信号の生成については、駆動切替制御部に対して長時間露光で読み出すように指示し、ＹＣ処理部に対して長時間露光で読み出した可視光画素信号を用いて色信号を生成するように指示する。この場合の色信号の生成においては、長時間露光のために信号が読み出されない期間が長くなり、色信号の更新レートが低下するが、人間の目の特性として色信号については輝度信号のように敏感ではないことから特に大きな問題にはならない。長時間露光を行って可視光画素信号をより多く取得しており、ノイズのより少ない色信号を生成するので、比較的良好なカラー画像の取得が可能となる。

近赤外光画素については長時間露光を行わず、通常の１画素単位での信号取得を行うのは、可視光が少ない夜間時では近赤外光成分が多いことから、長時間露光する必要性がないためである。この場合、通常の信号取得であるので、近赤外光画素信号から生成される輝度信号については、更新レートの低下等の問題は発生しない。

以上のように、可視光画素信号と所定の閾値との大小関係に応じて最適な色信号を生成することが可能となり、夜間時など可視光が少なく極端に暗い場合であっても、撮像素子の感度をある程度は確保して、まずまず良好なカラー画像を得ることができ、特に車載カメラや監視カメラの用途では使用者の視認性を向上させることが可能となる。

なお、可視光画素信号が所定の閾値と等しいときは、上記の２つの処理のうちいずれを適用してもよい。

（９）また、本発明による撮像装置用信号処理回路は、可視光および近赤外光の波長領域に感度をもつ撮像素子から得られる可視光画素信号および近赤外光画素信号を基に、前記可視光画素信号と前記近赤外光画素信号の大きさ関係を判定し、その判定結果に応じて前記輝度信号の生成方法を切り替えるように構成されているものである。

（１０）上記構成の撮像装置用信号処理回路において、さらに、前記可視光画素信号を所定の閾値と比較し、前記可視光画素信号が前記所定の閾値より大きいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は１画素単位で読み出した前記可視光画素信号を用いて生成し、前記可視光画素信号が前記所定の閾値より小さいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は周辺画素と画素混合を行って読み出した前記可視光画素信号を用いて生成するという態様がある。

（１１）より具体的には、上記の（１）〜（８）の構成において、その構成要件から前記撮像装置を取り除いてなる撮像装置用信号処理回路が対象となる。

このように構成することにより、当該の撮像装置用信号処理回路は、可視光および近赤外光の波長領域に感度をもつ画素を備えた撮像素子を備える任意の撮像装置に対して適用可能となる。

本発明は、可視光および近赤外光の波長領域に感度をもつ画素を備えた撮像素子を備える撮像装置において、被写界が明るいときには、輝度信号も色信号も可視光画素信号に基づいて生成するが、暗いときには、色信号は可視光画素信号から生成し、輝度信号は近赤外光画素信号から生成するものである。このように本発明によれば、被写界の明るさ変化をとらえ、それに応じて輝度信号の生成方法を可変するので、近赤外光画素信号に比べて可視光画素信号が小さい暗い状況下での撮影時にも明瞭なカラー画像が得られ、使用者の視認性を向上させることができる。

以下、本発明にかかわる撮像装置および撮像装置用信号処理回路の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
本発明の実施の形態１の撮像装置は、明るいときは可視光から輝度信号を生成するが、暗いときは近赤外光から輝度信号を生成するように構成されたものである。

図１は本発明の実施の形態１における撮像装置の構成を示すブロック図である。図１において、１は光学レンズ、２は複数の画素が可視光および近赤外光の波長領域に感度をもち、光学レンズ１の後方に配置されたＣＣＤイメージセンサなどの固体撮像素子、３は撮像素子２によって得られたアナログ信号をデジタル化するＡＤ変換器、４はＡＤ変換器３によってデジタル化された画像信号に対して各種の信号処理を行い、輝度信号と色信号を生成出力する信号処理部、５は信号処理部４からの輝度信号と色信号に対して外部出力（表示や記録など）のためのフォーマット変換（ＪＰＥＧやＭＰＥＧ）を行うフォーマット変換部、６はＤＲＡＭ（Dynamic Random Access Memory）などのメモリ、７は外部デバイスである。信号処理部４の構成要素として、４ａはＡＤ変換器３からのデジタルの画像信号を入力しメモリ６を用いながら輝度信号と色信号に分解するＹＣ処理部、４ｂはＡＤ変換器３を介しての撮像素子２からの画素信号（Ｒ，Ｇ，Ｂ，ＩＲ）を積算、平均化し、露光調整やホワイトバランス調整等の処理を行う画素積算部、４ｃは画素積算部４ｂによって得られた可視光画素信号（Ｒ，Ｇ，Ｂ）の平均値と近赤外光画素信号（ＩＲ）の平均値との大小比較の判定を行い、その判定結果からＹＣ処理部４ａにおける輝度信号、色信号の生成方法の切り替えを行う可視光・近赤外光優勢判定部である。ＹＣ処理部４ａから出力されるデジタルの輝度信号および色信号はフォーマット変換部５に送られる。ＹＣ処理部４ａおよびフォーマット変換部５は、それぞれの処理に際してメモリ６をワーキングエリアとして利用するようになっている。フォーマット変換部５の後段にある外部デバイス７の構成要素として、７ａは静止画記録を行うためのメモリカードなどの外部記録媒体、７ｂは液晶ディスプレイなどのモニタである。

図２は撮像素子２の画素配列の例を示す。図２において、Ｐ１は赤の波長領域（Ｒ）に感度をもつ画素、Ｐ２は緑の波長領域（Ｇ）に感度をもつ画素、Ｐ３は青の波長領域（Ｂ）に感度をもつ画素、Ｐ４は近赤外の波長領域（ＩＲ）に感度をもつ画素である。これらの画素Ｐ１〜Ｐ４が水平・垂直両方向に繰り返してマトリックス状に配置されている。なお、ここでは赤、緑、青の各波長領域に感度をもつ画素が配置されているが、可視光領域であれば、どの波長領域に感度をもつ画素であってもよい。また、４種類の画素が図示の状態から入れ替わってもよい。４種類の画素の撮像素子上の位置は任意である。

次に、上記のように構成された本実施の形態の撮像装置の動作を説明する。

光学レンズ１を透過した被写体の光学像は撮像素子２上に結像し、撮像素子２における可視光画素と近赤外光画素でそれぞれ光電変換される。撮像素子２で得られたアナログ信号はＡＤ変換器３によってデジタル化され、信号処理部４に出力される。信号処理部４においては、撮像素子２で取得されＡＤ変換器３でデジタルデータに変換された画素信号（Ｒ，Ｇ，Ｂ，ＩＲ）が積算、平均化され、可視光画素信号（Ｒ，Ｇ，Ｂ）の平均値と近赤外光画素信号（ＩＲ）の平均値が可視光・近赤外光優勢判定部４ｃに送られる。可視光・近赤外光優勢判定部４ｃは、入力した可視光画素信号の平均値と近赤外光画素信号の平均値とを大小比較判定し、その判定結果に基づいてＹＣ処理部４ａにおける輝度信号、色信号の生成方法の切り替えの指示を行う。すなわち、可視光画素信号の平均値が近赤外光画素信号の平均値よりも大きいとき（被写界が相対的に明るいとき）には、可視光画素信号を用いて輝度信号と色信号を生成する第１のモードをＹＣ処理部４ａに指示する。また、可視光画素信号の平均値が近赤外光画素信号の平均値に比べてそれ以下のとき（被写界が相対的に暗いとき）には、可視光画素信号を用いて色信号を生成する一方、近赤外光画素信号を用いて輝度信号を生成する第２のモードをＹＣ処理部４ａに指示する。可視光・近赤外光優勢判定部４ｃからの指示を受けたＹＣ処理部４ａは、第１のモードまたは第２のモードに指示に従ってそれぞれの信号処理を行う。つまり、第１のモードの指示があったときは、可視光画素信号を用いて輝度信号と色信号を生成する。一方、第２のモードの指示があったときは、可視光画素信号を用いて色信号を生成し、近赤外光画素信号を用いて輝度信号を生成する。すなわち、輝度信号の生成方式が切り替えられる。ＹＣ処理部４ａは、輝度信号および色信号の生成に際して、メモリ６をワーキングエリアとして利用する。

ＹＣ処理部４ａで生成されたデジタルの輝度信号および色信号はフォーマット変換部５に送られる。フォーマット変換部５は、ＹＣ処理部４ａからの輝度信号と色信号に対して表示や記録のためのフォーマット変換（ＪＰＥＧやＭＰＥＧ）を行う。フォーマット変換部５は、このフォーマット変換に際して、メモリ６をワーキングエリアとして利用する。フォーマット変換された画像データは外部記録媒体７ａに記録され、また、モニタ７ｂに表示される。

図３は図１の信号処理部４による処理の手順を示すフローチャートである。可視光画素信号（Ｒ，Ｇ，Ｂ）の平均値と近赤外光画素信号（ＩＲ）の平均値の大小比較から輝度信号計算式および色信号計算式を確定するものである。

ステップＳ１において、可視光・近赤外光優勢判定部４ｃは画面上の可視光画素信号の平均値と近赤外光画素信号の平均値の大小比較を行い、可視光画素信号の平均値の方が大きいときは昼時の撮影条件と判断し、ステップＳ２に進む。可視光画素信号の平均値が近赤外光画素信号の平均値以下のときは夜時の撮影条件と判断し、ステップＳ３に進む。

可視光画素信号の平均値が近赤外光画素信号の平均値よりも大きい場合のステップＳ２においては、ＹＣ処理部４ａは下式（１）〜（３）に従って輝度信号（Ｙ）および色信号（Ｕ，Ｖ）を算出する。ここでＵ，Ｖはデジタル映像信号のコンポーネントであって、Ｕ，Ｖは色差信号に相当する。“ＹＵＶ”で輝度・色差マルチプレクス信号と呼ばれている。

Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ …（１）
Ｕ＝−0.147×Ｒ−0.289×Ｇ＋0.436×Ｂ …（２）
Ｖ＝0.615×Ｒ−0.515×Ｇ−0.100×Ｂ …（３）
可視光画素信号の平均値が近赤外光画素信号の平均値以下の場合のステップＳ３においては、ＹＣ処理部４ａは下式（４）〜（６）に従って輝度信号（Ｙ）および色信号（Ｕ，Ｖ）を求める。

Ｙ＝ＩＲ …（４）
Ｕ＝−0.147×Ｒ−0.289×Ｇ＋0.436×Ｂ …（５）
Ｖ＝0.615×Ｒ−0.515×Ｇ−0.100×Ｂ …（６）
式（５）は式（２）と同じものであり、式（６）は式（３）と同じものである。

以上をまとめると、明るいときには、輝度信号も色信号も可視光画素信号に基づいて生成するが、暗いときには、色信号は可視光画素信号から生成し、輝度信号は近赤外光画素信号から生成する。近赤外光は暗い状況下では可視光より多いことから、近赤外光画素信号を用いて生成された輝度信号は、信号レベルのより大きいものとなる。このように被写界の明るさ変化をとらえ、それに応じて輝度信号の生成方法を可変するので、近赤外光画素信号に比べて可視光画素信号が小さい暗い状況下での撮影時にも、カラー画像が明瞭に得られ、使用者の視認性を向上することができる。

（実施の形態２）
本発明の実施の形態２の撮像装置は、実施の形態１の要件に加えて、可視光画素信号が近赤外光画素信号に比べて相対的に小さい場合において、さらに、可視光画素信号を所定の閾値と比較し、その比較結果に応じて色信号の取得方法を切り替えるように構成されたものである。可視光画素信号が近赤外光画素信号に比べて相対的に小さく被写界が相対的に暗いときにおいて、可視光画素信号が所定の閾値より大きい場合と小さい場合とがある。前者は暗いといっても極端には暗くはなく、後者は極端に暗い場合といえる。この２つのケースを個別的に制御するのが本実施の形態である。

図４は本発明の実施の形態２における撮像装置の構成を示すブロック図である。図４において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。本実施の形態で特徴ある構成要素は、可視光・閾値判定部４ｄと駆動切替制御部８とである。

可視光・閾値判定部４ｄは、可視光画素信号の大きさを所定の閾値と比較して判定するものであり、その判定結果をＹＣ処理部４ａと駆動切替制御部８とに送出するようになっている。駆動切替制御部８は、可視光・近赤外光優勢判定部４ｃおよび可視光・閾値判定部４ｄによる判定結果に応じて撮像素子２における可視光画素信号の駆動方法を通常の１画素単位の読み出しから画素混合（または長時間露光）の駆動に切り替えるものである。ＹＣ処理部４ａは、可視光・近赤外光優勢判定部４ｃおよび可視光・閾値判定部４ｄによる判定結果に応じて処理内容が調整されるようになっている。

次に、上記のように構成された本実施の形態の撮像装置の動作を説明する。ここでは、本実施の形態に特有の動作を中心に説明する。

可視光・近赤外光優勢判定部４ｃは、入力した可視光画素信号（Ｒ，Ｇ，Ｂ）の平均値と近赤外光画素信号（ＩＲ）の平均値とを大小比較判定し、その判定結果をＹＣ処理部４ａと可視光・閾値判定部４ｄと駆動切替制御部８とに送出する。可視光・閾値判定部４ｄは、可視光・近赤外光優勢判定部４ｃからの判定結果が可視光画素信号が近赤外光画素信号以下のときに限って動作する。可視光・閾値判定部４ｄは、可視光画素信号を所定の閾値と比較し、可視光画素信号が所定の閾値より大きいと判定したときは、駆動切替制御部８に対して１画素単位の読み出し駆動制御を指示し、ＹＣ処理部４ａに対して、１画素単位で読み出した近赤外光画素信号を用いて輝度信号を生成するとともに、１画素単位で読み出した可視光画素信号を用いて色信号を生成するように指示する。この動作は実施の形態１の場合と実質的に同一である。

一方、可視光・閾値判定部４ｄは、可視光画素信号が所定の閾値より小さいと判定した場合には、駆動切替制御部８に対して１画素単位の読み出し駆動制御を指示し、ＹＣ処理部４ａに対して１画素単位で読み出した近赤外光画素信号を用いて輝度信号を生成するように指示するとともに、駆動切替制御部８に対して周辺画素と画素混合を行って読み出すように指示し、ＹＣ処理部４ａに対して画素混合（または長時間露光）を行って読み出した可視光画素信号を用いて色信号を生成するように指示する。これは、可視光画素信号が所定の閾値より小さい場合で被写界が極端に暗い場合に相当する。

駆動切替制御部８は、与えられた判定結果に応じて可視光画素信号の駆動方法を切り替える。また、ＹＣ処理部４ａは、可視光・近赤外光優勢判定部４ｃと可視光・閾値判定部４ｄとから与えられた判定結果に応じて輝度信号や色信号の生成方法を切り替える。

被写界が極端に暗く可視光画素信号が所定の閾値より小さい場合においては、輝度信号の生成については実施の形態１と同様に、駆動切替制御部８に対して１画素単位の読み出し駆動制御を指示し、ＹＣ処理部４ａに対して１画素単位で読み出した近赤外光画素信号を用いて輝度信号を生成するように指示するが、色信号の生成については、駆動切替制御部８に対して周辺画素と画素混合を行って読み出すように指示し、ＹＣ処理部４ａに対して画素混合を行って読み出した可視光画素信号を用いて色信号を生成するように指示する。

この場合の色信号の生成においては、画素混合のために解像度が低下するが、人間の目の特性として色信号については輝度信号のように敏感ではないことから特に大きな問題にはならない。画素混合を行って可視光画素信号をより多く取得しており、ノイズのより少ない色信号を生成するので、比較的良好なカラー画像の取得が可能となる。

近赤外光画素については画素混合を行わず、通常の１画素単位での信号取得を行うのは、可視光が少ない夜間時では近赤外光成分が多いことから、画素混合する必要性がないためである。この場合、通常の信号取得であるので、近赤外光画素信号から生成される輝度信号については、解像度の低下等の問題は発生しない。

その他の動作については、実施の形態１と同様であるので説明を省略する。

図５は図４の信号処理部４による処理の手順を示すフローチャートである。図３に対して可視光・閾値判定部４ｄの処理と駆動切替制御部８の処理が追加されたものに相当する。すなわち、ステップＳ１５とステップＳ１７とが追加されたものに相当する。ステップＳ１１はステップＳ１と同じであり、ステップＳ１２はステップＳ２と同じであり、ステップＳ１４はステップＳ３と同じである。ステップＳ１３とステップＳ１６の通常駆動は、ステップＳ２の処理後やステップＳ３の処理後と変わらない。これらは、ステップＳ１７の画素混合の駆動または長時間露光の駆動という特殊駆動をきわだたせるために記載したものにすぎない。通常動作では、駆動切替制御部８に対して、通常の１画素単位での信号読み出しを行う設定にする。

ステップＳ１１において、可視光・近赤外光優勢判定部４ｃは画面上の可視光画素信号の平均値と近赤外光画素信号の平均値の大小比較を行い、可視光画素信号の平均値の方が大きいときは昼時の撮影条件と判断し、ステップＳ１２に進み、可視光画素信号の平均値が近赤外光画素信号の平均値以下のときは夜時の撮影条件と判断し、ステップＳ１４に進む。これは，実施の形態１の場合と同様である。

ステップＳ１５において、可視光・閾値判定部４ｄは、可視光画素信号の平均値を所定の閾値と比較し、可視光画素信号の平均値が所定の閾値より大きいと判定したときは、ステップＳ１６に進み、通常駆動を行う。これは、実施の形態１の場合と同様である。一方、可視光・閾値判定部４ｄは、可視光画素信号の平均値が所定の閾値以下と判定した場合には、ステップＳ１７に進む。

ステップＳ１７において、可視光・閾値判定部４ｄは、駆動切替制御部８に対して１画素単位の読み出し駆動制御を指示し、ＹＣ処理部４ａに対して１画素単位で読み出した近赤外光画素信号を用いて輝度信号を生成するように指示するとともに、駆動切替制御部８に対して周辺画素と画素混合を行って読み出すように指示し、ＹＣ処理部４ａに対して画素混合を行って読み出した可視光画素信号を用いて色信号を生成するように指示する。これは、可視光画素信号が所定の閾値以下の場合で被写界が極端に暗い場合に相当する。ステップＳ１７では、画素混合に代えて長時間露光で制御するのでもよい。これについては後述する。

なお、ここで所定の閾値については、撮像素子２の感度に合わせて決める必要がある。駆動方法を変更したいときの環境（光量条件、被写体条件）を用意し、その際の画素積算部４ｂの可視光画素信号の平均値を取得することにより、所定の閾値を容易に決定することができる。

その他の処理については、実施の形態１と同様であるので、説明を省略する。

図６は図５のフローチャートのステップＳ１７で可視光画素のみ９画素混合を行った場合の撮像素子の例を示している。可視光画素の各画素混合領域は３個の画素分だけ行方向にずれるとともに、３個の画素分だけ列方向にずれている。結果、各画素混合ユニットが順次オーバーラップするように２次元に配列されている。

Ｒ画素混合領域Ｑ１は、Ｒ画素Ｒ１１，Ｒ１２，Ｒ１３，Ｒ２１，Ｒ２２，Ｒ２３，Ｒ３１，Ｒ３２，Ｒ３３を含んでいる。Ｒ画素混合領域Ｑ１の中心に位置する画素Ｒ２２の信号とその周辺に位置する８個の画素の信号との合計９個が混合され、混合画素信号Ｒが出力される。Ｇ画素混合領域Ｑ２、Ｂ画素混合領域Ｑ３についても同様に、画素混合領域の中心に位置する画素の信号とその周辺の８つの画素の信号との合計９個が混合され、混合信号Ｇ，Ｂ（Ｇ２２，Ｂ２２）が出力される。ただし、ＩＲ画素（近赤外光画素）については画素混合を行わず、通常の１画素単位での信号取得を行う。これは可視光が少ない夜間時では近赤外光成分が多いため、混合する必要性がないからである。

その際、通常駆動で出力される近赤外光画素と画素混合駆動で出力される可視光画素の読み出し画素数が異なる。そのため、信号処理部４において、混合されるべき画素Ｒ１１，Ｒ１２，Ｒ１３，Ｒ２１，Ｒ２３，Ｒ３１，Ｒ３２，Ｒ３３の画素信号を、画素Ｒ２２での画素信号と同じ信号レベルで追加する等の補正が必要がある。この場合、色信号の解像度は低下するが、人間の目の特性として、色信号については輝度信号のように敏感ではないことから、特に大きな問題にはならない。また、画素混合しているため、より多くの可視光画素信号から色情報を算出することができ、良好なカラー画像が得られる。さらに、ＩＲ画素については通常の信号取得を行うので、ＩＲ画素から生成される輝度信号については解像度の低下等の問題は発生しない。

図７は図５のフローチャートのステップＳ１７において可視光画素のみ３フレームの長時間露光を行った場合の撮像素子の露光時間の例を示している。図７において、Ｔ１はＩＲ画素の露光時間、Ｔ２はＲ画素の露光時間、Ｔ３はＧ画素の露光時間、Ｔ４はＢ画素の露光時間を示す。可視光画素信号の大きさの所定の閾値に対する大きさ関係に応じて、近赤外光画素信号および可視光画素信号の露光時間を制御する。ただし、ＩＲ画素については長時間露光を行わない。これは、可視光が少ない夜間時でも近赤外光成分が多いため、長時間露光する必要性がないからである。

その際、長時間露光中のフレームでは可視光画素の全画素が出力されないため、信号処理部４において、現在の蓄積フレーム数を確認し、信号が読み出されないフレームについては、前回の信号レベルを追加する等の補正が必要である。この場合、色信号の更新レートが低下するが、画素混合と同様に人間の目の特性として、色信号については輝度信号のように敏感ではないことから、特に大きな問題にはならない。また、長時間露光しているため、より多くの可視光画素信号から色情報を算出することができ、良好なカラー画像を得られる。さらに、ＩＲ画素については通常の信号取得を行うので、ＩＲ画素から生成される輝度信号については更新レートの低下等の問題は発生しない。

以上のように、可視光画素信号と所定の閾値との大小関係に応じて最適な色信号を生成することが可能となり、夜間時など可視光が少なく極端に暗い場合であっても、撮像素子の感度をある程度は確保して、まずまず良好なカラー画像を得ることができ、特に車載カメラや監視カメラの用途では使用者の視認性を向上させることが可能となる。

以上、実施の形態について具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々に変更可能であることはいうまでもない。

本発明にかかわる技術は、可視光および近赤外光の波長領域に感度をもつ画素を備えた撮像素子を備える撮像装置において、暗い状況下での撮影時にも明瞭なカラー画像を取得し使用者の視認性を向上させる技術、特に車載カメラ用途、監視カメラ用途として優れており、さらに携帯カメラ等を含めたすべてのデジタルカメラシステムにおいて利用可能である。

本発明の実施の形態１における撮像装置の構成を示すブロック図 本発明の実施の形態１，２における撮像素子の画素配列を示す図 本発明の実施の形態１における輝度信号算出式、色信号算出式切り替えの手順を示すフローチャート 本発明の実施の形態２における撮像装置の構成を示すブロック図 本発明の実施の形態２における輝度信号算出式、色信号算出式および駆動方法切り替えの手順を示すフローチャート 本発明の実施の形態２における撮像素子の９画素混合の例を示す図 本発明の実施の形態２における撮像素子の長時間蓄積時の露光時間例を示す図 従来の撮像素子の構成図

符号の説明

１…光学レンズ
２…固体撮像素子（可視光画素および近赤外光画素）
３…ＡＤ変換器
４…信号処理部
４ａ…ＹＣ処理部
４ｂ…画素積算部
４ｃ…可視光・近赤外光優勢判定部
４ｄ…可視光・閾値判定部
５…フォーマット変換部
６…メモリ（ＤＲＡＭ）
７…外部デバイス
７ａ…外部記録媒体
７ｂ…モニタ
８…駆動切替制御部
Ｐ１…赤の波長領域に感度をもつ画素（Ｒ）
Ｐ２…緑の波長領域に感度をもつ画素（Ｇ）
Ｐ３…青の波長領域に感度をもつ画素（Ｂ）
Ｐ４…近赤外の波長領域に感度をもつ画素（ＩＲ）
Ｑ１…９画素混合時のＲ画素
Ｑ２…９画素混合時のＧ画素
Ｑ３…９画素混合時のＢ画素
Ｔ１…ＩＲ画素の露光時間
Ｔ２…Ｒ画素の露光時間
Ｔ３…Ｇ画素の露光時間
Ｔ４…Ｂ画素の露光時間

Claims (11)

1. 複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子を備え、前記画素から得られる可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成する撮像装置であって、前記可視光画素信号と前記近赤外光画素信号の大きさ関係を判定し、その判定結果に応じて前記輝度信号の生成方法を切り替えるように構成されている撮像装置。
2. 複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子と、
   輝度信号の生成方法が可変であって、前記画素から得られる可視光画素信号と近赤外光画素信号から前記輝度信号と前記色信号を生成するＹＣ処理部と、
   前記可視光画素信号と前記近赤外光画素信号の大きさ関係を判定し、その判定結果に応じて前記ＹＣ処理部における前記輝度信号の生成方法を切り替える可視光・近赤外光優勢判定部とを備えた撮像装置。
3. 前記可視光・近赤外光優勢判定部は、近赤外光画素信号に比べて可視光画素信号が大きい条件下での撮影では、前記ＹＣ処理部に対して前記可視光画素信号を用いて前記輝度信号および前記色信号を生成するように指示し、近赤外光画素信号に比べて可視光画素信号が小さい条件下での撮影では、前記ＹＣ処理部に対して前記可視光画素信号を用いて前記色信号を生成するとともに前記近赤外光画素信号を用いて前記輝度信号を生成するように指示する請求項２に記載の撮像装置。
4. 前記撮像素子は、前記可視光画素として赤、緑、青の可視光を取得する可視光画素を備えている請求項１から請求項３までのいずれかに記載の撮像装置。
5. 前記可視光画素信号が所定の閾値より大きいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は１画素単位で読み出した前記可視光画素信号を用いて生成し、
   前記可視光画素信号が前記所定の閾値より小さいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は周辺画素と画素混合を行って読み出した前記可視光画素信号を用いて生成する請求項１に記載の撮像装置。
6. さらに、前記可視光画素信号の大きさを所定の閾値と比較して判定する可視光・閾値判定部と、前記可視光・閾値判定部による判定結果に応じて前記可視光画素信号の駆動方法を通常の１画素単位の読み出しから画素混合の駆動に切り替える駆動切替制御部とを備え、
   前記可視光・閾値判定部は、
   前記可視光画素信号が所定の閾値より大きいときは、
   前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して、前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するとともに１画素単位で読み出した前記可視光画素信号を用いて前記色信号を生成するように指示し、
   前記可視光画素信号が前記所定の閾値より小さいときは、
   前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するように指示するとともに、
   前記駆動切替制御部に対して周辺画素と画素混合を行って読み出すように指示し、前記ＹＣ処理部に対して前記画素混合を行って読み出した前記可視光画素信号を用いて前記色信号を生成するように指示する請求項２から請求項４までのいずれかに記載の撮像装置。
7. 前記可視光画素信号が所定の閾値より大きいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は１画素単位で読み出した前記可視光画素信号を用いて生成し、
   前記可視光画素信号が前記所定の閾値より小さいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は長時間露光で読み出した前記可視光画素信号を用いて生成する請求項１に記載の撮像装置。
8. さらに、前記可視光画素信号の大きさを所定の閾値と比較して判定する可視光・閾値判定部と、前記可視光・閾値判定部による判定結果に応じて前記可視光画素信号の駆動方法を通常の１画素単位の読み出しから画素混合の駆動に切り替える駆動切替制御部とを備え、
   前記可視光・閾値判定部は、
   前記可視光画素信号が所定の閾値より大きいときは、
   前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して、前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するとともに１画素単位で読み出した前記可視光画素信号を用いて前記色信号を生成するように指示し、
   前記可視光画素信号が前記所定の閾値より小さいときは、
   前記駆動切替制御部に対して１画素単位の読み出し駆動制御を指示し、前記ＹＣ処理部に対して前記１画素単位で読み出した前記近赤外光画素信号を用いて前記輝度信号を生成するように指示するとともに、
   前記駆動切替制御部に対して長時間露光で読み出すように指示し、前記ＹＣ処理部に対して前記長時間露光で読み出した前記可視光画素信号を用いて前記色信号を生成するように指示する請求項２から請求項４までのいずれかに記載の撮像装置。
9. 可視光および近赤外光の波長領域に感度をもつ撮像素子から得られる可視光画素信号および近赤外光画素信号を基に、前記可視光画素信号と前記近赤外光画素信号の大きさ関係を判定し、その判定結果に応じて前記輝度信号の生成方法を切り替えるように構成されている撮像装置用信号処理回路。
10. さらに、前記可視光画素信号を所定の閾値と比較し、前記可視光画素信号が前記所定の閾値より大きいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は１画素単位で読み出した前記可視光画素信号を用いて生成し、前記可視光画素信号が前記所定の閾値より小さいときは、前記輝度信号は１画素単位で読み出した前記近赤外光画素信号を用いて生成し、前記色信号は周辺画素と画素混合を行って読み出した前記可視光画素信号を用いて生成する請求項９に記載の撮像装置用信号処理回路。
11. 請求項１から請求項８までのいずれかにおいて、その構成要件から前記撮像装置を取り除いてなる撮像装置用信号処理回路。

Images