JP6251962B2

JP6251962B2 - カメラ装置及び画像処理方法

Info

Publication number: JP6251962B2
Application number: JP2013027779A
Authority: JP
Inventors: 洋介松野; 佐藤　宏; 宏佐藤; 西内　秀和; 秀和西内
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2012-03-01
Filing date: 2013-02-15
Publication date: 2017-12-27
Anticipated expiration: 2033-02-15
Also published as: JP2013211836A; US9961276B2; US20130229526A1

Description

本発明は、カラー画像と照射した光に基づく検波画像とを生成するカメラ装置及び画像処理方法に関する。

１つの撮像部を用いて、カラー画像と、照射した赤外光に基づく距離画像とを出力する撮像装置が特許文献１に提案されている。特許文献１において、撮像部は、画素毎に、赤色（Ｒ）フィルタ、緑色（Ｇ）フィルタ、青色（Ｂ）フィルタの他、更に、互いに異なる赤外領域の周波数のフィルタＩＲ１、フィルタＩＲ２を備える。特許文献１は、投光部がフィルタＩＲ２を透過する波長域の光を照射し、フィルタＩＲ２の画素の受光量からフィルタＩＲ１の画素の受光量を比較し、照射した光の成分を抽出することにより距離画像を生成するものである。光の三原色に感度を持つそれぞれの画素は、カラー画像を生成するために使用される。

特開２００８−１４５３８６号公報

上述のように、特許文献１に記載の技術では、光の三原色にそれぞれ感度を有する画素は、カラー画像を生成するためだけに用いられ、赤外光に感度を有する画素は、それぞれ距離画像の生成のみに用いられている。よって、距離画像は、カラー画像に比べて低解像度の画像となってしまう。
本発明は、上記問題点を鑑み、解像度の高いカラー画像及び検波画像を生成できるカメラ装置及び画像処理方法を提供することを目的とする。

撮像部は、非可視光投光部が照射する非可視領域の光及び光の三原色それぞれの光に対してそれぞれ感度を有する３つのカラー受光部と、非可視光投光部が照射する非可視領域の光に対して感度を有する非可視光受光部とに露光することにより画像を撮像する。同期パルス生成部は、周期関数で表される参照信号に基づいて、撮像部の露光のタイミングパルス及び非可視光投光部の照射のタイミングパルスを生成する。カラー画像生成部は、カラー受光部の出力からカラー画像を生成する。同期検波処理部は、カラー受光部及び非可視光受光部の出力に対して、参照信号を用いて同期検波処理を行うことにより検波画像を生成する。

本発明によれば、解像度の高いカラー画像及び検波画像を生成できるカメラ装置及び画像処理方法を提供することができる。

本発明の実施の形態に係るカメラ装置の基本的な構成を説明するブロック図である。本発明の実施の形態に係るカメラ装置が備える撮像部を説明するブロック図である。本発明の実施の形態に係るカメラ装置が備える撮像部の受光部毎の感度を説明する図である。本発明の実施の形態に係るカメラ装置が備える撮像部のカラーフィルタを説明する図である。本発明の実施の形態に係るカメラ装置において、撮像部の撮像範囲と投光部の照射範囲とを説明する図である。本発明の実施の形態に係るカメラ装置において、撮像部の露光タイミングと投光部の照射タイミングを説明するタイミングチャートである。本発明の実施の形態に係るカメラ装置において、撮像部の露光タイミングと投光部の照射タイミングを説明するタイミングチャートである。（ａ）は、本発明の実施の形態に係るカメラ装置の撮像部が撮像する画像を図示した一例である。（ｂ）は、本発明の実施の形態に係るカメラ装置が生成するカラー画像を図示した一例である。本発明の実施の形態に係るカメラ装置が生成する同期検波画像を図示した一例である。本発明の実施の形態に係るカメラ装置の画像処理方法を説明するフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下に示す実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施の形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

（カメラ装置）
本発明の実施の形態に係るカメラ装置は、図１に示すように、画像を撮像する撮像部１０１と、撮像部１０１の露光を制御する露光制御部１０２と、赤外光（ＩＲ光）等の非可視領域の光を照射する非可視光投光部（ＩＲ光投光部）１０３と、同期パルス生成部１０４と、参照信号生成部１０５と、画像情報記憶部１０７と、同期検波処理部１０８と、検波画像出力部１０９と、非可視光分離部（ＩＲ分離部）１０６を有するカラー画像生成部１１０と、カラー画像出力部１１１とを備える。

撮像部１０１は、図２に示すように、Ｒ＋ＩＲ受光部１０１１と、Ｇ＋ＩＲ受光部１０１２と、Ｂ＋ＩＲ受光部１０１３と、ＩＲ受光部１０１４とを備える。撮像部１０１は、ＣＣＤ、ＣＭＯＳ等のイメージセンサからなる。図３に示すように、Ｒ＋ＩＲ受光部１０１１は、赤色光（Ｒ光）とＩＲ光の波長領域に感度を有する。同様に、Ｇ＋ＩＲ受光部１０１２は、緑色光（Ｇ光）とＩＲ光の波長領域に、Ｂ＋ＩＲ受光部１０１３は、青色光（Ｂ光）とＩＲ光の波長領域に、それぞれ感度を有する。ＩＲ受光部１０１４は、ＩＲ光の波長領域にのみ感度を有する。

Ｒ＋ＩＲ受光部１０１１、Ｇ＋ＩＲ受光部１０１２、Ｂ＋ＩＲ受光部１０１３、ＩＲ受光部１０１４は、イメージセンサの複数の受光素子にそれぞれ対応して配置されたカラーフィルタを備える。図４に示すように、Ｒ＋ＩＲ受光部１０１１は、Ｒ光及びＩＲ光を透過するカラーフィルタ、Ｇ＋ＩＲ受光部１０１２は、Ｇ光及びＩＲ光を透過するカラーフィルタ、Ｂ＋ＩＲ受光部１０１３は、Ｂ光及びＩＲ光を透過するカラーフィルタ、ＩＲ受光部１０１４は、ＩＲ光を透過するカラーフィルタをそれぞれ備える。

このように、Ｒ＋ＩＲ受光部１０１１、Ｇ＋ＩＲ受光部１０１２、Ｂ＋ＩＲ受光部１０１３は、非可視光投光部１０３が照射する非可視領域の光（ＩＲ光）、及び光の三原色（Ｒ，Ｇ，Ｂ）それぞれの光に対してそれぞれ感度を有するカラー受光部である。ＩＲ受光部１０１４は、非可視光投光部１０３が照射する非可視領域の光（ＩＲ光）に対して感度を有する非可視光受光部である。撮像部１０１は、露光制御部１０２により制御されたタイミングで電子シャッタを駆動し、カラー光受光部と、非可視光受光部とに露光することにより画像を撮像する。

非可視光投光部１０３は、例えば発光ダイオード（ＬＥＤ）等からなり、ＩＲ光等の非可視領域の光を照射する。非可視光投光部１０３は、図５に示すように、非可視光投光部１０３による照射範囲Ａ_２が、撮像部１０１による撮像範囲Ａ_１に含まれるように設置される。

参照信号生成部１０５は、周期関数で表される、同期検波の参照信号を生成する。参照信号は、例えばｓｉｎωＦのように表される。ωは非可視光投光部１０３が１周期に照射するのに必要なフレーム数、Ｆはフレーム数を示す。

同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、パルス幅変調（ＰＷＭ）等により、撮像部１０１の露光のタイミングパルス及び非可視光投光部１０３の照射のタイミングパルスを生成する。非可視光投光部１０３は、同期パルス生成部１０４が生成したタイミングパルスにより、図６に示すように、照射開始時刻ｔ_２から照射終了時刻ｔ_３まで照射時間が、撮像部１０１の露光開始時刻ｔ_１から露光終了時刻ｔ_４までの露光時間に含まれるように光を照射する。

同期パルス生成部１０４は、非可視光投光部１０３の照射時間が、撮像部１０１の露光時間に含まれるように、非可視光投光部１０３の照射のタイミングパルスを、撮像部１０１の露光のタイミングパルスに同期させて生成する。図７に示す例では、撮像部１０１の撮像開始から奇数番目のフレームの露光時間において、非可視光投光部１０３が照射を行っているが、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、非可視光投光部１０３が照射すべきフレームかを判定し、照射のタイミング、強度を設定して照射のタイミングパルスを生成する。

非可視光分離部（ＩＲ分離部）１０６は、撮像部１０１が撮像した画像の輝度情報から、非可視光投光部１０３が照射する非可視光と同じ領域の波長成分を分離する。非可視光と同じ領域の波長とは、厳密に等しい波長である必要はなく、実質的に同様であればよい。

ここで、光の三原色の輝度成分をそれぞれＲ、Ｇ、Ｂとし、非可視光投光部１０３が照射した光の輝度成分をＩＲ_ｒとする。ＩＲは、太陽光等の外部からの非可視光（ＩＲ光）の輝度成分となる。このとき、カラー受光部であるＲ＋ＩＲ受光部１０１１、Ｇ＋ＩＲ受光部１０１２、Ｂ＋ＩＲ受光部１０１３のそれぞれの出力は、（Ｒ＋ＩＲ＋ＩＲ_ｒ）、（Ｇ＋ＩＲ＋ＩＲ_ｒ）、（Ｂ＋ＩＲ＋ＩＲ_ｒ）と表すことができる。また、非可視光受光部であるＩＲ受光部１０１４の出力は、（ＩＲ＋ＩＲ_ｒ）と表すことができる。

非可視光分離部１０６は、式（１）〜（３）のように、カラー受光部であるＲ＋ＩＲ受光部１０１１、Ｇ＋ＩＲ受光部１０１２、Ｂ＋ＩＲ受光部１０１３のそれぞれの出力から、非可視光受光部であるＩＲ受光部１０１４の出力を減算する。これにより、非可視光分離部１０６は、撮像部１０１が撮像した画像の輝度情報から、非可視光投光部１０３が照射する非可視光の波長成分を分離することができる。

（Ｒ＋ＩＲ＋ＩＲ_ｒ）−（ＩＲ＋ＩＲ_ｒ）＝Ｒ …（１）
（Ｇ＋ＩＲ＋ＩＲ_ｒ）−（ＩＲ＋ＩＲ_ｒ）＝Ｇ …（２）
（Ｂ＋ＩＲ＋ＩＲ_ｒ）−（ＩＲ＋ＩＲ_ｒ）＝Ｂ …（３）

カラー画像生成部１１０は、撮像部１０１が撮像した画像から、非可視光分離部１０６が分離した非可視光の波長成分を除去することにより、カラー受光部であるＲ＋ＩＲ受光部１０１１、Ｇ＋ＩＲ受光部１０１２、Ｂ＋ＩＲ受光部１０１３がそれぞれ受光した３原色の輝度成分Ｒ，Ｇ，Ｂを取得し、取得した輝度成分Ｒ，Ｇ，Ｂをマッピングしてカラー画像を生成する。

カラー画像出力部１１１は、カラー画像生成部１１０が生成したカラー画像を、例えばＮＴＳＣ（National Television System Committee）規格やＰＡＬ（Phase Alternation by Line）規格等の所定のフォーマットに変換して外部に出力する。

画像情報記憶部１０７は、フレームが、非可視光投光部１０３が照射した時に撮像されたフレームであるか否かを示す照射フラグと、参照信号生成部１０５が生成した参照信号の、フレーム撮影時の周期情報とを、同期パルス生成部１０４から入力する。画像情報記憶部１０７は、撮像部１０１が撮像した画像（フレーム）と、照射フラグと、周期情報とを、画像情報としてフレーム毎に順次記憶する。

同期検波処理部１０８は、撮像部１０１が撮像し、画像情報記憶部１０７が記憶した画像を読み出し、読み出した画像に対して、参照信号生成部１０５が生成した参照信号を用いて、同期検波処理を行い、検波画像を生成する。同期検波処理部１０８は、画像情報記憶部１０７が参照信号１周期分の画像を記憶すると、１周期分の画像を画像情報記憶部１０７から読み出し、読み出した各画像の全画素について、各画像撮像時の参照信号を掛け合わせることで、同期検波処理を行う。同期検波処理部１０８は、参照信号をｓｉｎωｔとすると、式（４）〜（７）のように、同期検波処理を行うことにより、非可視光分離部１０６が照射した光の輝度成分ＩＲ_ｒを抽出する。同期検波処理部１０８は、抽出した非可視光分離部１０６が照射した非可視光の成分をマッピングして検波画像を生成する。

（Ｒ＋ＩＲ＋ＩＲ_ｒ）×ｓｉｎωｔ＝ＩＲ_ｒ …（４）
（Ｇ＋ＩＲ＋ＩＲ_ｒ）×ｓｉｎωｔ＝ＩＲ_ｒ …（５）
（Ｂ＋ＩＲ＋ＩＲ_ｒ）×ｓｉｎωｔ＝ＩＲ_ｒ …（６）
（ＩＲ＋ＩＲ_ｒ） ×ｓｉｎωｔ＝ＩＲ_ｒ …（７）

検波画像出力部１０９は、同期検波処理部１０８が生成した検波画像を、例えばＮＴＳＣ規格やＰＡＬ規格等の所定のフォーマットに変換して出力する。

図８（ａ）に示すように、撮像部１０１が、非可視光投光部１０３が照射を行った時に撮像した画像は、可視光及び非可視光から構成される。図８（ｂ）に示すように、撮像部１０１が、非可視光投光部１０３が照射を行わない時に撮像した画像は、可視光から構成される。よって、車両の前方を撮像する場合、図８（ａ）は、図８（ｂ）と同様に、非可視光投光部１０３の照射範囲Ａ_２であっても太陽光による先行車Ｐの影Ｑが表示される。

検波画像出力部１０９が出力する画像は、図９に示すように、図８（ａ）の画像と図８（ｂ）の画像との差分となり、非可視光投光部１０３が照射した非可視光から構成される。よって、画像は照射範囲Ａ_２のみとなり、太陽光による先行車Ｐの影Ｑは消失する。

（画像処理方法）
以下、図１０のフローチャートを用いて、本発明の実施の形態に係るカメラ装置の動作
の一例を説明する。

先ず、ステップＳ１０１において、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、撮像部１０１の露光のタイミングパルスを生成し、露光制御部１０２に出力する。撮像部１０１は、露光制御部１０２の制御により、Ｒ＋ＩＲ受光部１０１１、Ｇ＋ＩＲ受光部１０１２、Ｂ＋ＩＲ受光部１０１３、ＩＲ受光部１０１４に露光する。

次に、ステップＳ１０２において、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、非可視光投光部１０３が非可視光を照射するフレームか否かを判定する。同期パルス生成部１０４が、非可視光投光部１０３が非可視光を照射するフレームでないと判定する場合、処理はステップＳ１０４に進む。

ステップＳ１０２において非可視光投光部１０３が非可視光を照射するフレームであると判定する場合、ステップＳ１０３において、同期パルス生成部１０４は、参照信号生成部１０５が生成した参照信号に基づいて、非可視光投光部１０３の投光のタイミングパルスを生成する。非可視光投光部１０３は、同期パルス生成部１０４が生成した投光のタイミングパルスに応じて、非可視光を照射する。

ステップＳ１０４において、露光制御部１０２は、同期パルス生成部１０４が生成した露光のタイミングパルスに基づいて、設定した露光時間を経過したか否かを判定する。露光時間を経過していない時、露光制御部１０２は、撮像部１０１の露光を続ける。露光時間を経過した時、ステップＳ１０５において、露光制御部１０２は、撮像部１０１の露光を終了させる。

ステップＳ１０６において、同期パルス生成部１０４は、非可視光投光部１０３が照射した時に撮像されたフレームであるか否かを示す照射フラグと、参照信号生成部１０５が生成した参照信号の周期情報とを画像情報記憶部１０７に出力する。例えば、同期パルス生成部１０４は、ステップＳ１０１〜Ｓ１０５において撮像されたフレームが、ステップＳ１０３の処理を経ている場合は、照射フラグ「ＯＮ」、ステップＳ１０３の処理を経ていない場合は、照射フラグ「ＯＦＦ」とする。

ステップＳ１０７において、画像情報記憶部１０７は、ステップＳ１０１〜Ｓ１０５において撮像されたフレームと、ステップＳ１０６において同期パルス生成部１０４から出力された照射フラグ及び周期情報とを、関連付けて記憶する。

ステップＳ１０８において、非可視光分離部１０６は、ステップＳ１０１〜Ｓ１０５において撮像されたフレームの輝度情報から、非可視光投光部１０３が照射する非可視光と同じ領域の波長成分を分離する。

ステップＳ１０９において、カラー画像生成部１１０は、ステップＳ１０８において非可視光の波長成分を分離されたフレームの輝度情報から、３原色の輝度成分を取得してマッピングすることによりカラー画像を生成する。ステップＳ１１０において、カラー画像出力部１１１は、カラー画像生成部１１０が生成したカラー画像を、所定のフォーマットに変換して外部に出力する。

ステップＳ１１１において、同期検波処理部１０８は、画像情報記憶部１０７が参照信号１周期分のフレーム毎の画像情報を記憶したか否かを判定する。画像情報記憶部１０７が１周期分の画像情報を記憶していない場合、ステップＳ１０１に戻る。画像情報記憶部１０７が１周期分の画像情報を記憶している場合、ステップＳ１１２において、同期検波処理部は、参照信号１周期分の画像情報を画像情報記憶部１０７から読み出す。

ステップＳ１１３において、同期検波処理部１０８は、読み出した画像情報と、参照信号生成部１０５が生成した参照信号とを用いて同期検波処理を行い、検波画像を生成する。同期検波処理部１０８は、読み出した各画像の全画素について、各画像撮像時の参照信号を掛け合わせることで、同期検波処理を行い、非可視光分離部１０６が照射した光の輝度成分ＩＲ_ｒを抽出する。同期検波処理部１０８は、抽出した非可視光分離部１０６が照射した非可視光の成分をマッピングして検波画像を生成する。

ステップＳ１１４において、検波画像出力部１０９は、同期検波処理部１０８が生成した検波画像を所定のフォーマットに変換して出力する。

ステップＳ１１５において、電源または駆動スイッチがオフとなる場合は処理を終了し、駆動が継続する場合はステップＳ１０１に戻る。

本発明の実施の形態に係るカメラ装置１０によれば、撮像部１０１のすべての受光部（１０１１〜１０１４）が、非可視光投光部１０３が照射する非可視領域の光に対して感度を有し、すべての受光部の出力に対して同期検波処理を行うことにより、高解像度の検波画像を生成することができる。

また、本発明の実施の形態に係るカメラ装置１０によれば、カラー受光部（１０１１〜１０１３）の出力から、非可視光受光部（１０１４）の出力を減算することにより、非可視領域の光の波長成分が除外されたカラー画像を生成することができる。

（その他の実施の形態）
上記のように、本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

既に述べた実施の形態においては、同期検波処理部１０８が生成した検波画像の輝度から、撮像対象までの距離を算出する手段を備えるようにしてもよい。これにより、ユーザは、撮像されたカラー画像から、撮像対象までの距離、画像上での位置を確認することができる。

また、既に述べた実施の形態においては、非可視光投光部１０３が照射する光として赤外光を例として説明したが、非可視光投光部１０３は、他の非可視領域の光を照射するようにしてもよい。この場合、カラー受光部及び非可視光受光部１０１４は、非可視光投光部１０３が照射する光に対して感度を有するようにすればよい。

例えば、非可視光投光部１０３が非可視領域の光として近赤外光を照射する場合、カラー受光部及び非可視光受光部１０１４の、近赤外光成分（ＩＲ＋ＩＲｒに相当）に対する感度（出力）を減少させることにより、非可視光分離部１０６は、式（１）における減算処理において、Ｒ光成分の劣化を低減することができる。同様に、非可視光投光部１０３が非可視領域の光として近紫外光を照射する場合、カラー受光部及び非可視光受光部１０１４の、近紫外光成分（ＩＲ＋ＩＲｒに相当）に対する感度（出力）を減少させることにより、非可視光分離部１０６は、式（１）における減算処理において、Ｂ光成分の劣化を低減することができる。このように、カラー画像生成部１１０は、式（１）における減算処理において、カラー画像の画質低下を低減することができる。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０カメラ装置
１０１撮像部
１０３非可視光投光部
１０４同期パルス生成部
１０８同期検波処理部
１０９検波画像出力部
１１０カラー画像生成部
１１１カラー画像出力部
１０１１Ｒ＋ＩＲ受光部
１０１２Ｇ＋ＩＲ受光部
１０１３Ｂ＋ＩＲ受光部
１０１４ＩＲ受光部

Claims

非可視領域の光を照射する非可視光投光部と、
前記非可視光投光部が照射する非可視領域の光及び光の三原色それぞれの光に対してそれぞれ感度を有する３つのカラー受光部と、
前記非可視光投光部が照射する非可視領域の光に対して感度を有する非可視光受光部と、
前記カラー受光部及び前記非可視光受光部に露光することにより画像を撮像する撮像部と、
参照信号に基づいて、前記撮像部の露光のタイミングパルスを生成し、前記撮像部の露光のタイミングパルスに基づいて、前記非可視光投光部の照射のタイミングパルスを生成する同期パルス生成部と、
前記カラー受光部の出力からカラー画像を生成するカラー画像生成部と、
前記カラー受光部及び前記非可視光受光部の出力に対して、前記参照信号を用いて同期検波処理を行うことにより、前記露光のタイミングパルスと前記照射のタイミングパルスとが同期した画像情報を用いて検波画像を生成する同期検波処理部と、
を備えることを特徴とするカメラ装置。
前記カラー画像生成部は、前記カラー受光部の出力から、前記非可視光受光部の出力を減算することにより、前記カラー画像を生成することを特徴とする請求項１に記載のカメラ装置。
前記カラー画像生成部が生成したカラー画像を出力するカラー画像出力部と、
前記同期検波処理部が生成した検波画像を出力する検波画像出力部と
を更に備えることを特徴とする請求項１または２に記載のカメラ装置。
非可視光投光部が非可視領域の光を照射するステップと、
撮像部が、前記非可視光投光部が照射する非可視領域の光及び光の三原色それぞれの光に対してそれぞれ感度を有する３つのカラー受光部と、前記非可視光投光部が照射する非可視領域の光に対して感度を有する非可視光受光部とに露光することにより画像を撮像するステップと、
参照信号に基づいて、前記撮像部の露光のタイミングパルスを生成し、前記撮像部の露光のタイミングパルスに基づいて、前記非可視光投光部の照射のタイミングパルスを生成するステップと、
前記カラー受光部の出力からカラー画像を生成するステップと、
前記カラー受光部及び前記非可視光受光部の出力に対して、前記参照信号を用いて同期検波処理を行うことにより、前記露光のタイミングパルスと前記照射のタイミングパルスとが同期した画像情報を用いて検波画像を生成するステップと、
を含むことを特徴とする画像処理方法。