JP2007329749A - 撮像素子、撮像装置及び画像処理装置 - Google Patents

Abstract

【課題】優れた複合システムを実現することができる、安価で省スペース（小型）な撮像装置及び画像処理装置を提供すること。
【解決手段】白黒ＣＣＤ１は、オンチップフィルタ１１として、画素ごとに可視光カットフィルタ部と可視光カットフィルタ無し部とが市松模様状に配置されたものが設けられている。白黒ＣＣＤ１の出力信号は、ＣＤＳ・ＡＧＣ・ＡＤＣ部３に送られ、アナログ信号処理を施された後、デジタル化されて信号処理部５に送られる。信号処理部５の分離補完部５１で可視光カットフィルタの有り無しで信号を振り分け、欠損している部分の画素を補完する。外部制御部６からの指示により、カメラ設定パラメータ部５６が制御パラメータを切り替えて、画像の出力方法を切り替え、またパラメータを切り替えて信号処理を行い、それぞれに最適な画像を出力する。この出力画像を用いて、画像処理装置７が物体検知、人検知を高精度で行う。
【選択図】図１

Description

本発明は、近赤外光による撮像と可視光による撮像の共用・切替・差分・合成が可能な撮像装置及びその撮像装置を用いた画像処理装置に関するものである。

従来の撮像装置としては、可視光のみの領域を撮像するものと、近赤外光のみの領域を撮像するものと、撮像デバイスの感度の領域すべてを撮像するものとが知られている。

これらの撮像装置は、各撮像装置に要求される光学特性に合わせて光学フィルタ（可視光カットフィルタ、近赤外光カットフィルタ、フィルタ無し）を撮像デバイスの前面に設置する形で構成されており、撮像装置に求められる特性によって、近赤外光カットフィルタを用いて可視光の映像を撮像する、または可視光カットフィルタを用いて近赤外光の映像を撮像する、または感度を向上させるためにフィルタを用いずに映像を撮像するなどとして映像を撮像するようになっている。

また、光学フィルタの位置を切り替えることで光学特性を切り替えて映像を撮像するようにしたものもある（例えば、特許文献１参照）。
特開２０００−５９７９８号公報

しかしながら、従来の撮像装置においては、一つの撮像装置に設定される光学的フィルタ、撮像デバイスのオンチップフィルタが一種類であったため、異なる光学特性を有する撮像装置の複合化システムを検討する際には、複数の撮像装置が必要になり、システムの高騰化、占有スペースの広大化という問題があった。

特に、車両用途のシステムにおいて、現状は、可視光を中心として周辺／視角を監視するための撮像装置及びシステム、物体検出の“センサ”として可視光を中心とした非表示の撮像装置と、物体・人・目を検知するような物体検知用として近赤外光のみを用いた撮像装置を用いるシステムの二種類のシステムがある。

システムが複雑化、複数化していくことはスペース面で問題である。車両用の撮像装置も用途が多角化しており、限られた搭載スペースにおいて撮像装置を複数導入することは、占有スペース、価格面で問題があった。

また、光学フィルタを切り替える方策もあるが、対振動耐久性及び、撮像装置が大きくなる点で問題があった。

また、複数の撮像装置及び時系列の光学フィルタの切替が必要なため、同じ画角、時刻における異なる光学特性を持つ撮像ができなかった。

本発明は、従来の問題を解決するためになされたもので、優れた複合システムを実現することができる、安価で省スペース（小型）な撮像装置及び画像処理装置を提供することを目的とする。

本発明の撮像素子は、複数の光電変換部と光学フィルタが形成された撮像素子であって、前記光学フィルタは、前記光電変換部単位に可視光カット機能を有する部分と有しない部分とを持つ構成を有している。

この構成により、光電変換部単位に可視光をカットされた光を受けるものと可視光をそのまま受けるものとができ、異なった光学特性を持つ画像信号を同時に得ることができる。

ここで、前記可視光カット機能を有する部分は、近赤外光を透過させる構成とした。

この構成により、可視光の画像と近赤外光の画像とを同時に得ることができる。

また、前記光学フィルタは、可視光カット機能を有する部分と有しない部分とが市松模様状に形成される構成とした。

この構成により、可視光をカットされた光を受ける光電変換部と可視光をそのまま受ける光電変換部を画面内に均等に配置することができる。

また、前記可視光カット機能を有する部分と有しない部分とで、別々に前記光電変換部の蓄積時間を制御する構成とした。

この構成により、可視光カット機能を有する部分と有しない部分それぞれの特性に応じて蓄積時間を制御して、それぞれに好適な画像信号を得ることができる。

また、カラー撮像素子では前記光学フィルタは、ＲＧＢベイヤー配列のＧ領域の一部分を前記可視光カット機能を有する部分とする構成とした。

この構成により、同じ画角・時刻で可視光をカットされた光の画像とカラー画像を同時に得ることができる。

また、本発明の撮像装置は、請求項１から請求項４のいずれかに記載の撮像素子と、前記可視光カット機能を有する部分に対応する前記光電変換部の信号と有しない部分に対応する前記光電変換部の信号とを分離する分離手段とを備える構成を有している。

この構成により、可視光をカットされた光による画像信号と可視光をそのままの光による画像信号とを別々に信号処理することができ、それぞれに適した信号処理により好適な画像信号を得ることができる。

ここで、前記分離手段が分離したそれぞれの前記画像信号の分離によって生じた欠損部分の画像信号を精度良く補完する補完手段を備える構成とした。

この構成により、撮像素子が本来持っている解像度を落とさずに、可視光をカットされた光による画像と可視光による画像を同時に得ることができる。

また、本発明の撮像装置は、請求項５に記載の撮像素子と、前記可視光カット機能を有する部分に対応する前記光電変換部の信号、Ｒ領域に対応する前記光電変換部の信号、Ｇ領域に対応する前記光電変換部の信号、Ｂ領域に対応する前記光電変換部の信号を分離する分離手段とを備える構成を有している。

この構成により、可視光をカットされた光による画像信号、Ｒ領域の画像信号、Ｇ領域の画像信号、Ｂ領域の画像信号を別々に信号処理することができ、それぞれに適した信号処理により好適な画像信号を得ることができる。

さらに、本発明の撮像装置は、可視光の画像と近赤外光の画像を合成する合成手段と、可視光の画像と近赤外光の画像の差分を出力する差分検知手段とを備える構成とした。

この構成により、同時に同じ画角で光学特性の異なるそれぞれの画像、またはその合成、差分画像を得ることができ、今までにない高付加価値な画像処理装置を実現できる。

また、本発明の画像処理装置は、請求項６から請求項９のいずれかに記載の撮像装置と、前記撮像装置の出力画像を用いて可視光画像と近赤外画像を合成する合成手段と、前記撮像装置の出力画像を用いて可視光画像と近赤外画像の差分を検出する差分検出手段とを備える構成を有している。

この構成により、同時に同じ画角で光学特性の異なるそれぞれの画像、またはその合成、差分画像を得ることができ、今までにない高付加価値な画像処理装置を実現できる。

本発明によれば、複数の光電変換部に、光電変換部単位に可視光カット機能を有する部分と有しない部分とを持つフィルタを設けることにより、異なった光学特性を持つ画像信号を同時に得ることができ、異なる特性の撮像装置及び画像処理装置を統合化することができ、高付加価値化することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態の撮像システムを示す図である。

図１において、白黒ＣＣＤ（Charge-Coupled Device）１は、オンチップフィルタ１１として図２に示すような、画素ごとに、図３に示すような特性を持つ可視光カットフィルタ部１１１と、可視光カットフィルタの無い可視光カットフィルタ無し部１１２とが市松模様状に配置されたものが設けられている。

白黒ＣＣＤ１は、同期信号発生器４３に同期したタイミング発生器４２からの駆動タイミングパルスのタイミングで駆動回路４１により駆動される。

白黒ＣＣＤ１の出力信号は、ＣＤＳ・ＡＧＣ・ＡＤＣ部３に送られ、相関二重サンプリング（ＣＤＳ回路）、自動利得補正（ＡＧＣ回路）のアナログ信号処理を施された後、アナログデジタル変換（ＡＤＣ回路）でデジタル化されて信号処理部５に送られる。

信号処理部５は、白黒及びカラー映像信号を生成することができる回路群であり、分離補完部５１で可視光カットフィルタ有り・無しの画素を判別し、可視光カットフィルタの有り無しで信号を振り分け、分離により欠損した部分の画素を補完する。

また、露光制御部５５で可視光カットフィルタの有り無しそれぞれの輝度平均値を元に露光時間を制御する。

Ｙ／Ｃ処理部５２は、白黒画像の映像信号処理、色分離・ホワイトバランス・色差信号（R-Y/B-Y）の生成、γ補正、ニー処理、アパーチャ処理、出力クリップ処理、同時化を行い、エンコーダ部５３で信号の合成・差分処理、任意の出力方式（NTSC/PAL等）を選択して出力信号を生成する。

本実施の形態においては、Ｙ／Ｃ処理部５２にて白黒映像信号処理を行い、白黒映像信号を作成する。

また、カメラ設定パラメータ部５６は、可視光画像と近赤外光画像に適した制御パラメータを有し、外部制御部６からの制御により制御パラメータを切り換え、出力映像特性の切り換えができるようになっている。

外部制御部６は、外部からの通信による制御信号に基づいて、また釦の操作による指示に基づいて、カメラ設定パラメータ部５６の制御パラメータを切り替えるようになっている。

以上のように構成された撮像装置について、その動作を説明する。

白黒ＣＣＤ１から読み出された各画素の信号は、分離補完部５１において可視光カットフィルタが有る画素と無い画素とに分離され、分離された画素の欠損部分については、隣接する同じ種類（可視光カットフィルタが有るか無いか）の画素との相関確認を行い、相関性の高い画素で欠損部分を補完する。

このようにして、水平・垂直解像度を劣化させることなく、近赤外光側の撮像と可視光側の撮像が可能となる。

外部制御部６への指示により、カメラ設定パラメータ部５６の制御パラメータの切り替えを行うことにより、分離補完部５１、Ｙ／Ｃ処理部５２、エンコーダ部５３を制御し、可視光カットフィルタによる近赤外光側の画像と可視光側の画像との出力方法を同時、片方選択、時系列出力、差分出力、合成出力などに切り換え、また信号処理に関しても、可視光画像用と近赤外光画像用のパラメータを切り換えて信号処理を行い、それぞれに最適な画像または処理画像を出力する。

また、露光制御部５５で、可視光カットフィルタが有る画素と無い画素との輝度平均値を別々に演算し、片側の画像特性出力の場合は、システム用途として適したフィルタの平均値での露光制御を行う。

時系列で出力パターンを切り換える場合は、フレームレートを半分に落とすか、倍速駆動することにより可視光画像と近赤外光画像を時系列で出力することができる。この場合、可視光側の画像、近赤外光側の画像、それぞれの露光制御を独立に行うことができ、他の信号処理部と併せてパラメータを切り換えることにより、システム用途に向けた特性の違う撮像を行うことができる。

また、信号処理部５の出力する可視光画像及び近赤外画像、または差分画像を画像処理装置（例えば、ＥＣＵ：Electronic Control Unit）７にて差分検知を行うことにより、画像の人の服といった特徴点を検出しやすくなり、人物認識の精度向上を図ることができる。

また、画像処理装置７側で近赤外光反射判定が可能となり、白黒信号の画像認識に加え、近赤外光反射による物体検知・瞳孔検知・人検知との融合が図れ、車両周辺の死角監視、及び人間に見えない波長画像による視角補助、車両内の運転者及び乗員の監視を行うシステムを構築でき、安全運転への支援が可能となる。

なお、本実施の形態においては、撮像デバイスとしてＣＣＤを用いたが、その他の撮像デバイス（ＣＭＯＳ、ＭＯＳセンサ）を撮像デバイスとして用いてもよい。

（第２の実施の形態）
次に、図４は本発明の第２の実施の形態の撮像装置を示す図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。

本実施の形態では、白黒ＭＯＳ（Metal Oxide Semiconductor）センサ８を受光デバイスとしており、オンチップフィルタ８１として図２に示すような、画素ごとに、可視光カットフィルタ部１１１と、可視光カットフィルタの無い可視光カットフィルタ無し部１１２とが市松模様状に配置されたものが設けられている。

図５は、白黒ＭＯＳセンサ８の画素毎の等価回路を示す図である。

図５に示すように、白黒ＭＯＳセンサ８は、可視光カットフィルタＰＤ行リセット線８０２と、可視光カットフィルタ無しＰＤ行リセット線８０３の二系統のリセット線を持つ構成とし、可視光カットフィルタが有る画素と無い画素で独自に露光制御が可能となるようにした。

以上のように構成された撮像装置について、その動作を説明する。

可視光カットフィルタＰＤ行リセット線８０２と可視光カットフィルタ無しＰＤ行リセット線８０３により、二系統のＰＤ（フォトダイオード）８０１に別々に蓄積時間を制御する信号を駆動回路４１により与え、露光制御部５５で演算された可視光カットフィルタが有る画素と無い画素の平均輝度値の結果を元に露光制御を行う。

このようにすることで、フレームレートを変更することなく可視光カットフィルタが有る画素と無い画素で独自に露光制御を行うことができる。

これにより、フィルタ特性の違う画像を同じフレームレート、解像度で同時に出力する（併せて、差分、合成画像を出力する）ことができる。

（第３の実施の形態）
次に、図６は本発明の第３の実施の形態の撮像システムを示す図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。

本実施の形態では、カラーＣＣＤ９を受光デバイスとしており、オンチップフィルタ９１として図７に示すような、画素ごとに、可視光カットフィルタ部９１１と、Ｒ（赤）、Ｂ（青）、Ｇ（緑）のカラーフィルタ部９１２とが格子状に配置されたものが設けられている。

以上のように構成された撮像装置について、その動作を説明する。

カラーＣＣＤ９から読み出された各画素の信号は、分離補完部５１において可視光カットフィルタの画素、Ｒのカラーフィルタの画素、Ｂのカラーフィルタの画素、Ｇのカラーフィルタの画素に分離され、信号処理された信号が、同じ画角・解像度で得られた近赤外光情報、Ｒ情報、Ｂ情報、Ｇ情報として信号処理部５から出力される。

この本実施の形態の撮像装置から出力される近赤外光、Ｒ、Ｂ、Ｇのそれぞれの情報を、例えば画像処理装置（例えば、ＥＣＵ）１０に入力することにより、画像処理装置１０側で色信号判定・近赤外光反射判定が可能となり、カラー信号の画像認識に加え、近赤外光反射による物体検知・瞳孔検知・人検知との融合が図れ、車両周辺の死角監視、及び人間に見えない波長画像による視角補助、車両内の運転者及び乗員の監視を行うシステムを構築でき、安全運転への支援が可能となる。

近年、交通信号がＬＥＤ（Light-Emitting Diode）に変更になっていることから、本実施の形態の構成で近赤外感度と各色フィルタの感度の差をとることで交通信号の点灯している色を検出し、安全運転補助に用いる車両システムを実現できる。

なお、本実施の形態においては、撮像デバイスとしてＣＣＤを用いたが、その他の撮像デバイス（ＣＭＯＳ、ＭＯＳセンサ）を撮像デバイスとして用いてもよい。

以上のように、本発明にかかる撮像素子及び撮像装置は、異なった光学特性を持つ画像信号を同時に得ることができ、異なる特性の撮像装置を統合化することができるという効果を有し、車載カメラのような動画撮影、センサ用のカメラを始めとする動画撮影用撮像装置（ビデオカメラ、監視カメラ）及び静止画撮影用撮像装置（デジタルスチルカメラ、携帯カメラ）の撮像装置又は画像処理装置等として有用である。

本発明の第１の実施の形態における撮像システムのブロック図 本発明の第１の実施の形態における撮像システムのオンチップフィルタの構成を示す図 本発明の第１の実施の形態における撮像システムの可視光カットフィルタの特性図 本発明の第２の実施の形態における撮像装置のブロック図 本発明の第２の実施の形態における撮像装置の白黒ＭＯＳセンサの画素毎の等価回路を示す図 本発明の第３の実施の形態における撮像システムのブロック図 本発明の第３の実施の形態における撮像システムのオンチップフィルタの構成を示す図

符号の説明

１ 白黒ＣＣＤ
１１ オンチップフィルタ
１１１ 可視光カットフィルタ部
１１２ 可視光カットフィルタ無し部
２ 撮像レンズ
３ ＣＤＳ・ＡＧＣ・ＡＤＣ部
４１ 駆動回路
４２ タイミング発生器
４３ 同期信号発生器
５ 信号処理部
５１ 分離補完部
５２ Ｙ／Ｃ処理部
５３ エンコーダ部
５５ 露光制御部
５６ カメラ設定パラメータ部
６ 外部制御部
７ 画像処理装置
７１ 差分検知部
７２ 人物検知認識部
８ 白黒ＭＯＳセンサ
８１ オンチップフィルタ
８０１ ＰＤ（フォトダイオード）
８０２ 可視光カットフィルタＰＤ行リセット線
８０３ 可視光カットフィルタ無しＰＤ行リセット線
９ カラーＣＣＤ
９１ オンチップフィルタ
９１１ 可視光カットフィルタ部
９１２ カラーフィルタ部
１０ 画像処理装置
１０１ ＲＧＢ近赤外判定部
１０２ 物体検知人検知部

Claims (10)

1. 複数の光電変換部と光学フィルタが形成された撮像素子であって、前記光学フィルタは、前記光電変換部単位に可視光カット機能を有する部分と有しない部分とを持つことを特徴とする撮像素子。
2. 前記可視光カット機能を有する部分は、近赤外光を透過させることを特徴とする請求項１に記載の撮像素子。
3. 前記光学フィルタは、可視光カット機能を有する部分と有しない部分とが市松模様状に形成されることを特徴とする請求項１または請求項２に記載の撮像素子。
4. 前記可視光カット機能を有する部分と有しない部分とで、別々に前記光電変換部の蓄積時間を制御することを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
5. 前記光学フィルタは、ＲＧＢベイヤー配列のＧ領域の一部分を前記可視光カット機能を有する部分とすることを特徴とする請求項１に記載の撮像素子。
6. 請求項１から請求項４のいずれかに記載の撮像素子と、前記可視光カット機能を有する部分に対応する前記光電変換部の信号と有しない部分に対応する前記光電変換部の信号とを分離する分離手段とを備えることを特徴とする撮像装置。
7. 前記分離手段が分離したそれぞれの前記画像信号の分離によって生じた欠損部分の画像信号を精度良く補完する補完手段を備えることを特徴とする請求項６に記載の撮像装置。
8. 請求項５に記載の撮像素子と、前記可視光カット機能を有する部分に対応する前記光電変換部の信号、Ｒ領域に対応する前記光電変換部の信号、Ｇ領域に対応する前記光電変換部の信号、Ｂ領域に対応する前記光電変換部の信号を分離する分離手段とを備えることを特徴とする撮像装置。
9. 可視光の画像と近赤外光の画像を合成する合成手段と、可視光の画像と近赤外光の画像の差分を出力する差分検知手段とを備えることを特徴とする請求項６から請求項８のいずれかに記載の撮像装置。
10. 請求項６から請求項９のいずれかに記載の撮像装置と、前記撮像装置の出力画像を用いて可視光画像と近赤外画像を合成する合成手段と、前記撮像装置の出力画像を用いて可視光画像と近赤外画像の差分を検出する差分検出手段とを備えることを特徴とする画像処理装置。