JP2013009041A - 車両用撮影表示制御システム - Google Patents
車両用撮影表示制御システム Download PDFInfo
- Publication number
- JP2013009041A JP2013009041A JP2011138678A JP2011138678A JP2013009041A JP 2013009041 A JP2013009041 A JP 2013009041A JP 2011138678 A JP2011138678 A JP 2011138678A JP 2011138678 A JP2011138678 A JP 2011138678A JP 2013009041 A JP2013009041 A JP 2013009041A
- Authority
- JP
- Japan
- Prior art keywords
- infrared light
- luminance
- intensity
- display control
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】可視光と近赤外光の信号を用いた輝度の計算方法を切り替える撮影表示制御システムにおいて、車両の走行シーンに応じた適切な切り替えを行えるようにする。
【解決手段】撮像素子22が受光した可視と近赤外光の強度に基づいて、各画素の輝度を算出する信号処理部23と、当該可視光と近赤外光の強度を示すRAWデータと、を出力するカメラ2、および、信号処理部23が算出した各画素の輝度に基づいた画像を表示させる画像認識部8を備え、画像認識部8は、上記RAWデータに基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合は、第1の算出方法で各画素の輝度を算出し、見つかった場合は第1の方法よりも輝度に対する近赤外光の強度の寄与が低くなるような第2の算出方法で各画素の輝度を算出する。
【選択図】図1
【解決手段】撮像素子22が受光した可視と近赤外光の強度に基づいて、各画素の輝度を算出する信号処理部23と、当該可視光と近赤外光の強度を示すRAWデータと、を出力するカメラ2、および、信号処理部23が算出した各画素の輝度に基づいた画像を表示させる画像認識部8を備え、画像認識部8は、上記RAWデータに基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合は、第1の算出方法で各画素の輝度を算出し、見つかった場合は第1の方法よりも輝度に対する近赤外光の強度の寄与が低くなるような第2の算出方法で各画素の輝度を算出する。
【選択図】図1
Description
本発明は、車両用撮影表示制御システムに関するものである。
従来、車両用の撮影表示制御システムにおいて、近赤外光を受光する複数個の近赤外光用撮像素子と可視光を受光する複数個の可視光用撮像素子とを有する撮像ユニットを備え、この撮像ユニットを用いて各画素の可視光強度および各画素の近赤外光強度を取得し、各画素の可視光強度に基づいて得られる各画素の輝度を、近赤外光強度に応じて増加させることで、夜間等の暗い環境でもユーザに見易い画像を提供する技術が知られている。
また、このような車両用の撮影表示制御システムにおいて、近赤外光が強い場所を撮影するときと弱い場所を撮影する時とで、可視光および近赤外光の信号を用いた輝度の計算方法を切り替える技術が知られている(例えば、特許文献1、2参照)。
しかし、上記のような技術は、車両周囲の環境が近赤外光の強い環境か弱い環境か(より典型的には昼か夜か)で輝度の計算方法を切り替えているに過ぎない。しかし、夜であっても、車両の走行シーンによっては、近赤外光を強く反射または放出する被写体も存在するので、計算方法の切り替え方法が必ずしも適切ではない。
本発明は上記点に鑑み、可視光および近赤外光の信号を用いた輝度の計算方法を切り替えることのできる撮影表示制御システムにおいて、車両の走行シーンに応じた適切な切り替えを行えるようにすることを目的とする。
上記目的を達成するための請求項1に記載の発明は、可視光および近赤外光を受光する撮像素子(22)および前記撮像素子(22)が受光した可視光および近赤外光の強度に基づいて各画素の輝度を算出する信号処理手段(23)を有し、前記信号処理手段(23)が算出した各画素の輝度を出力すると共に、前記撮像素子(22)が受光した可視光および近赤外光の強度を出力するカメラ(2)と、前記カメラ(2)が出力した前記各画素の輝度に基づいた画像をディスプレイ(9)に表示させる表示制御手段(8)と、を備え、前記表示制御手段(8)は、前記カメラ(2)が出力した前記可視光および近赤外光の強度に基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合は、前記撮像素子(22)が受光した可視光および近赤外光の強度に基づいて、第1の算出方法で各画素の輝度を算出し、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合は、前記撮像素子(22)が受光した可視光および近赤外光の強度に基づいて、前記第1の方法よりも輝度に対する近赤外光の強度の寄与が低くなるような第2の算出方法で、各画素の輝度を算出するよう、前記信号処理手段(23)を制御することを特徴とする車両用撮影表示制御システムである。
このように、近赤外光を強く反射または放出する被写体をあらかじめ設定しておき、そのような被写体が画像認識が見つかった場合と見つからなかった場合とで、輝度の計算方法を変えることで、車両の走行シーンに応じた適切な切り替えを行えるようにすることができる。そして、近赤外光を強く反射または放出する被写体が見つかった場合は、輝度計算の際に近赤外光強度の寄与を低くするので、そのユーザは、ディスプレイ(9)上で、その被写体が明るすぎて見づらくなってしまう可能性が低下する。
また、請求項2に記載の発明は、請求項1に記載の車両用撮影表示制御システムにおいて、前記あらかじめ設定された被写体は、道路標識を含むことを特徴とする。このように、近赤外光を強く反射または放出する被写体として道路標識をあらかじめ設定しておくことで、車両の走行時に、道路標識が明るすぎて見づらくなってしまう可能性が低下する。
また、請求項3に記載の発明は、請求項1または2に記載の車両用撮影表示制御システムにおいて、前記あらかじめ設定された被写体は、信号機、車両の前照灯、ブレーキランプ、およびウインカーのうち少なくとも1つを含むことを特徴とする。
このように、近赤外光を強く反射または放出する被写体として信号機、車両の前照灯、ブレーキランプ、およびウインカーのうち少なくとも1つををあらかじめ設定しておくことで、車両の走行時に、信号機または前照灯またはブレーキランプまたはウインカーのハレーション(色信号が飽和して白飛びすること)を低減することができる。
また、請求項4に記載の発明は、請求項1ないし3のいずれか1つに記載の車両用撮影表示制御システムにおいて、前記信号処理手段(23)は更に、前記撮像素子(22)が受光した可視光の強度に基づいて各画素の色成分を算出し、前記表示制御手段(8)は、前記信号処理手段(23)が算出した前記各画素の輝度および色成分に基づいた画像をディスプレイ(9)に表示させ、更に前記表示制御手段(8)は、前記カメラ(2)から受けた前記映像信号に基づいて、近赤外光を強く反射または放出する被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合に比べて見つかった場合は、同じ可視光強度に対して、各画素の色成分の絶対値を大きくすることを特徴とする。
このようにすることで、そのユーザは、ディスプレイ(9)上で、その被写体の色をよりはっきりと確認することができる。例えば、その被写体の内部の文字等の確認も容易になる。
また、請求項5に記載の発明は、請求項1ないし4のいずれか1つに記載の車両用撮影表示制御システムにおいて、当該車両用撮影表示制御システムが搭載される車両には、前記車両の前方に近赤外光を投射するIR投光部(7)があり、前記表示制御手段(8)は、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合でも、その見つかった被写体の画素数が閾値以上である場合は、前記第1の方法で、各画素の輝度を算出するよう、前記信号処理手段(23)を制御することを特徴とする。
これは、IR投光部(7)によって近赤外光が投光される位置が、車両からある程度前方に離れた部分であり、車両の近傍にはIR投光部(7)からの光が当たらないため、当該道路標識が近赤外光を強く反射しない可能性があるから、そのような道路標識のために輝度の計算方法を第2の方法にするよりは、全体の視認性を向上させた方がよい可能性が高いからである。
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
以下、本発明の一実施形態について説明する。図1に、本実施形態に係る車両用撮影表示制御システム1の構成を示す。この車両用撮影表示制御システム1は、車両に搭載され、車室内の乗員(ドライバ等)に車外の撮影画像を表示するためのシステムであり、ナイトビジョンカメラ2、車両の前方に近赤外光を投射するIR投光部7、画像認識部8、ディスプレイ9等を有している。
ナイトビジョンカメラ2は、可視光および近赤外光を受光し、受光した可視光および近赤外光に基づいた輝度および色成分の映像信号を画像認識部8に出力するカメラである。このナイトビジョンカメラ2は、車両から見て前方を撮影するように車両に取り付けられており、レンズ21、撮像素子22、信号処理部23、メモリ24、D/A変換部25を備える。このナイトビジョンカメラ2においては、レンズ21から撮像素子22に入射した可視光および近赤外光が撮像素子22で受光され、撮像素子22は受光した可視光および近赤外光の強度の信号を信号処理部23に出力する。
撮像素子22は、マトリックス状に配列された複数の画素を有している。画素の配列としては、本実施形態では、特許文献1と同様、赤領域の波長(R)および近赤外領域の波長(I)に感度を有するR+I画素、緑領域の波長(G)および近赤外領域の波長(I)に感度を有するG+I画素、青領域の波長(B)および近赤外領域の波長(I)に感度を有するB+I画素、および、近赤外領域の波長(I)のみに感度を有するI画素が、4個1組で矩形の頂点を構成するように並び、そのような組が複数個縦横に配列されるような構成を有しているが、他の配列構成を有していてもよい。
信号処理部23(信号処理手段の一例に相当する)は、撮像素子22が受光した可視光および近赤外光の強度を一定周期(例えば1秒に60回)で取得し、取得する度に、取得した強度に基づいて、各画素の輝度および色成分を算出し、算出した各画素の輝度および色成分をD/A変換部25に出力する。輝度および色成分の算出の際には、メモリ24を作業領域として使用する。
信号処理部23が各画素の輝度および色成分を算出する方法について、以下説明する。まず信号処理部23は、撮像素子22が受光した可視光(R、G、B)および近赤外光(I)の強度を撮像素子22から取得し、取得した強度に基づいて、画素毎に、Rの強度、Gの強度、Bの強度、およびIの強度を算出する。
より具体的には、各画素のIの強度の算出方法は、以下の通りである。I画素については、その画素で受けたIの強度をそのまま用い、他の画素については、複数個のI画素で受けたIの強度を用いて、当該他の画素におけるIの強度を補間計算で算出する。
また、各画素のRの強度の算出方法は、以下の通りである。R+I画素については、そのR+I画素で受けたRの強度とIの強度の和(R+I)から、上記のようにして算出した当該R+I画素のIの強度を減算した結果を用いる。また、他の画素については、複数個のR+I画素について算出したRの強度を用いて、当該他の画素におけるRの強度を補間計算で算出する。各画素のG、Bの強度の算出方法も、この方法でRをG、Bに置き換えた算出方法を用いればよい。
各画素のRの強度(Rと記す)、Gの強度(Gと記す)、Bの強度(Bと記す)、およびIの強度を算出した後は、算出したそれら強度を用いて、各画素の輝度Yおよび色成分U、Vを算出する。算出式は、
(1) Y=0.2・R’+0.4・G’+0.1B’+0.3・α・I
(2) U=−0.15・(R/α)−0.35・(G/α)+0.5・(B/α)
(3) V=0.5・(R/α)−0.35・(G/α)−0.15・(B/α)
という3つの式を用いる。ただし、R’=R+I、G’=G+I、B’=B+Iである。このように、本実施形態の輝度および色成分は、YUV形式における輝度および色成分であるが、他の形式の輝度および色成分を採用してもよい。
(1) Y=0.2・R’+0.4・G’+0.1B’+0.3・α・I
(2) U=−0.15・(R/α)−0.35・(G/α)+0.5・(B/α)
(3) V=0.5・(R/α)−0.35・(G/α)−0.15・(B/α)
という3つの式を用いる。ただし、R’=R+I、G’=G+I、B’=B+Iである。このように、本実施形態の輝度および色成分は、YUV形式における輝度および色成分であるが、他の形式の輝度および色成分を採用してもよい。
なお、上記の式におけるIR係数αは、デフォルト値は1であるが、画像認識部8からの指令に従って変化するようなパラメータである。IR係数αが1の場合、輝度Yは、R、G、Bの強度から通常算出される輝度Yの値(すなわち、0.2・R+0.4・G+0.1・B)に、近赤外光の強度Iに比例して大きくなる増加量(1.0・I)を加えた値となっている。つまり、近赤外光を強く反射または放出している撮影対象ほど、その撮影対象を表す画素の輝度の通常からの増大量が、高くなっている。このようにすることで、夜間等の暗い環境でもユーザに見易い画像を提供することができる。
また、各画素の色成分U、Vは、当該画素の近赤外光強度Iに無関係に決まるようになっているが、他の例としては、近赤外光強度Iを加味して色成分U、Vを補正してもよい。
D/A変換部25は、D/A変換部25が逐次算出して出力した各画素の輝度Y、色成分U、Vをアナログ信号に変換し、画像認識部8に出力する。
また、撮像素子22は受光した可視光および近赤外光の強度の信号を信号処理部23のみならず、ナイトビジョンカメラ2の外部の画像認識部8に出力する。したがって、ナイトビジョンカメラ2から画像認識部8へは、信号処理部23が算出した各画素の輝度Yおよび色成分U、Vが出力されると共に、撮像素子22が受光した複数の画素の可視光および複数の画素の近赤外光の強度のデータ(以下、RAWデータという)も出力される。
画像認識部8(表示制御手段の一例に相当する)は、ナイトビジョンカメラ2とは別体で構成された装置であり、信号処理部23が算出、出力し、D/A変換部25がアナログ信号に変換した各画素の輝度Yおよび色成分U、Vに基づいた画像を逐次ディスプレイ9に表示させる。
なお、画像認識部8および信号処理部23のそれぞれは、専用の回路構成を有する集積回路として構成されていてもよいし、プログラムを実行することで所望の処理を実現するマイクロコンピュータとして実現されていてもよい。
ディスプレイ9は、車室内において、ドライバー等の乗員がディスプレイ9の表示画面を視認可能なように設置されている。したがって、乗員は、車両が移動しているときも、時々刻々と変化する車両の前方の風景が撮影された画像をディスプレイ9で見ることができる。
ナイトビジョンカメラ2の出力に基づいた画像をディスプレイ9に表示させるか否かは、例えば、車内のスイッチ(図示せず)に対する乗員の操作に応じて画像認識部8が決定する。
以下、夜間において車両が基準速度以上で走行中に、画像認識部8がナイトビジョンカメラ2の出力に基づいた画像をディスプレイ9に表示させている場合における、車両用撮影表示制御システム1の作動について説明する。この場合、画像認識部8はIR投光部7を作動させることで、IR投光部7が車両の前方に近赤外光を投射している。
このとき、画像認識部8は、D/A変換部25から出力された信号に基づく画像をディスプレイ9に表示させると共に、ナイトビジョンカメラ2から受けたRAWデータから、信号処理部23が行うのと同じ補間計算を用いた方法で、すべての画素について、画素毎に、Rの強度、Gの強度、Bの強度、およびIの強度を算出する。そして、この結果得た各画素のRの強度(単にRと記す)、Gの強度(単にGと記す)、Bの強度(単にBと記す)、およびI(単にIと記す)の強度に基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果そのような被写体が見つかったか見つからなかったかに応じて、上述のIR係数αを切り替えるよう信号処理部23を制御する。
このような作動のため、画像認識部8は、図2に示す処理を実行する。この処理において画像認識部8は、まずステップ110で、ナイトビジョンカメラ2からRAWデータを取得し、取得したRAWデータから構成した撮影画像(上述のように算出した各画素のR、G、B、Iから成る)に対して、周知の画像認識技術(具体的にはパターンマッチング)を用いて、近赤外光を強く反射または放出する被写体(以下、IRの強い被写体ともいう)の探索を行う。このとき、パターンマッチングにおいて上記撮影画像と比較するために、IRの強い被写体の画像の特徴情報を用いるが、この特徴情報は、あらかじめ画像認識部8の記憶媒体(例えば、ROM、フラッシュメモリ)に記憶させてあるものを読み出して使用する。
特徴情報をあらかじめ記憶させる被写体としては、各種道路標識、信号機、および、車両の前照灯(ヘッドライト)、ブレーキランプ、ウインカー等がある。道路標識は、IR投光部7から投射された近赤外光等の近赤外光を強く反射する傾向がある。信号機および車両の前照灯等は、自ら強い近赤外光を放出する傾向がある。
各種道路標識の特徴情報は、その道路標識をあらかじめ正面から撮影した画像から作成してもよい。このようにして作成した特徴情報には、道路標識の形状の特徴のみならず、道路標識に記載された文字の特徴も含まれている。しかし、夜間においては、RAWデータから構成された撮影画像では標識内の文字が区別できない場合もあるので、各種道路標識の特徴情報は、その道路標識と形状は同じだが無地の物体を正面から撮影した画像から作成したものを用いてもよい。信号機、車両の前照灯、ブレーキランプ、ウインカーの特徴情報は、その信号機または前照灯をあらかじめ正面から撮影した画像から作成する。
そして画像認識部8は、その探索の結果、IRの強い被写体がナイトビジョンカメラ2から受けたRAWデータによって構成される撮影画像中に見つかったか否かを判定し、見つからなかった場合は、ステップ120に進む。
そしてステップ120では、IR係数をデフォルト値である1に設定する指令をナイトビジョンカメラ2の信号処理部23に出力する。これにより、信号処理部23は、すべての画素について、IR係数αを1として上記式(1)、(2)、(3)を用いる方法(第1の方法の一例に相当する)で、撮像素子22が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Yおよび色成分U、Vを算出し、画像認識部8は、続いてステップ130で、信号処理部23で算出されD/A変換部25でD/A変換された当該輝度Yおよび色成分U、Vの信号に基づき、画像をディスプレイ9に表示させる。
続いてステップ140では、ナイトビジョンカメラ2の出力に基づいた画像をディスプレイ9に表示させる作動を終了するか否かを(例えば乗員の操作に基づいて)判定し、終了すると判定した場合は図2の処理を終了し、終了しないと判定した場合はステップ110に戻る。
このように、RAWデータから構成される撮影画像中にIRの強い被写体が見つからない間は、ステップ110、120、130、140の処理がこの順に繰り返されることで、信号処理部23によって、IR係数αを1として上記式(1)、(2)、(3)を用いる方法で算出された各画素の輝度Yおよび色成分U、Vに基づくディスプレイ9の画像表示が継続する。
そして、図3に示すように、道路標識51、53、信号機52、車両の前照灯54、車両のブレーキランプ55、車両のウインカー56等のIRの強い被写体がナイトビジョンカメラ2の撮影範囲内に入って来ると、画像認識部8は、ステップ130で、探索の結果、IRの強い被写体が見つかり、その結果、処理をステップ125に進める。
ステップ125では、IR係数を制限値である0.02に設定する指令をナイトビジョンカメラ2の信号処理部23に出力する。これにより、信号処理部23は、すべての画素について、IR係数αを0.02として上記式(1)、(2)、(3)を用いる方法(第2の方法の一例に相当する)で、撮像素子22が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Yおよび色成分U、Vを算出し、画像認識部8は、続いてステップ130で、信号処理部23で算出されD/A変換部25でD/A変換された当該輝度Yおよび色成分U、Vの信号に基づき、画像をディスプレイ9に表示させる。
ここで、IR係数αをデフォルト値の1として輝度等を計算する場合と、IR係数を制限値の0.02として輝度等を計算する場合の違いについて、図4、図5を用いて説明する。
輝度Yの計算式(1)においては、IR係数αを0.02とした場合は、IR係数αを1とした場合に比べ、輝度に対する近赤外光の強度の寄与が低くなるようになっている。つまり、R、G、Bの強度から通常算出される輝度Yの値(すなわち、0.2・R+0.4・G+0.1・B)に対する、近赤外光の強度Iに比例して大きくなる増加量(すなわち、(0.7+0.3・α)・I)は、αが0.02の場合の方が1の場合よりも小さい。
また、色成分Uの計算式(2)および色成分Vの計算式(3)においては、αの値が大きいほど、同じR、G、Bの値に対してU、Vの絶対値が大きくなるようになっている。したがって、αが0.02の場合はαが1の場合に比べて、同じ可視光強度R、G、Bに対して、各画素の色成分U、Vの絶対値が大きくなる。
例えば、一時停止の道路標識上の画素について、R’、G’、B’、Iの各強度が、R’=255、G’=250、B’=250、I=245で、IR係数αが1の場合を仮定する。なお、R、G、B、R’、G’、B’、I、Y、U、Vが取り得る値の範囲は、0から255までであるとする。この場合、R、G、B値は、R=10、G=5、B=5、I=245となり、これをα=1として上記式(1)、(2)、(3)に適用すると、輝度Y=249.5、色成分U=−0.75、色成分V=2.5となり、色は、ほとんど表示されず、図4に示すように、一時停止の道路標識は、ディスプレイ9上で、逆三角形の真っ白な形状のみが表示されることになる。
一方、同じ画素についてα=0.02として上記式(1)、(2)、(3)に適用すると、輝度Y=117.47、色成分U=−37.5、色成分V=125となり、図4に示すように、輝度Yが下がり、かつ赤色が強調されたことにより、道路標識内の文字「止まれ」がディスプレイ9上で見えるようになる。
このように、ナイトビジョンカメラ2の撮影画像中にIRの強い被写体が見つかっている間は、ステップ110、125、130、140の処理がこの順に繰り返されることで、信号処理部23は、IR係数αを0.02として上記式(1)、(2)、(3)を用いる方法で算出された各画素の輝度Yおよび色成分U、Vに基づくディスプレイ9の画像表示が継続する。
以上説明した通り、近赤外光を強く反射または放出する被写体をあらかじめ設定しておき、そのような被写体が画像認識が見つかった場合と見つからなかった場合とで、輝度の計算方法を変えることで、車両の走行シーンに応じた適切な切り替えを行えるようにすることができる。そして、近赤外光を強く反射または放出する被写体が見つかった場合は、輝度計算の際に近赤外高強度の寄与を低くするので、そのユーザは、ディスプレイ9上で、その被写体が明るすぎて見づらくなってしまう可能性が低下する。
また、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合に比べて見つかった場合は、同じ可視光強度に対して、各画素の色成分の絶対値を大きくするこのようにすることで、そのユーザは、ディスプレイ(9)上で、その被写体の色をよりはっきりと確認することができる。例えば、その被写体の内部の文字等の確認も容易になる。
なお、IRの強い被写体を探索するのに、RAWデータから構成される撮影画像を用いるのは、その撮影画像は、R、G、B、Iの強度から輝度Y、色成分U、Vへの変換(式(1)、(2)、(3)を用いた変換)が行われる前のデータなので、変換によって輝度が飽和してしまった結果、画像認識が困難になる等の障害が発生する可能性が低いからである。
また、近赤外光を強く反射または放出する被写体として道路標識をあらかじめ設定しておくことで、車両の走行時に、道路標識が明るすぎて見づらくなってしまう可能性が低下する。
また、近赤外光を強く反射または放出する被写体として信号機または車両の前照灯、ブレーキランプ、ウインカー等をあらかじめ設定しておくことで、車両の走行時に、信号機または前照灯またはブレーキランプまたはウインカーのハレーション(色信号が飽和して白飛びすること)を低減することができる。
(他の実施形態)
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。
(a)上記実施形態では、画像認識部8は、図2のステップ125で、すべての画素について、IR係数αを0.02として上記式(1)、(2)、(3)を用いる方法で、撮像素子22が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Yおよび色成分U、Vを算出するよう指令を出力している。
しかし、必ずしもこのようになっておらずともよく、画像認識部8は、図2のステップ125で、全画素のうち、見つかったIRが強い被写体が写った画素を含む部分(例えば、見つかったIRが強い被写体が写った画素のみから成る部分、見つかったIRが強い被写体が写った画素およびその近傍のみから成る部分)を対象とし、その対象の画素について、IR係数αを0.02として上記式(1)、(2)、(3)を用いる方法で、撮像素子22が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Yおよび色成分U、Vを算出し、その対象以外の画素について、IR係数αをデフォルトの1として上記式(1)、(2)、(3)を用いる方法で、撮像素子22が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Yおよび色成分U、Vを算出するよう指令を出力するようになっていてもよい。
このようにすることで、夜間において、ナイトビジョンカメラ2に基づく画像の視認性を向上しつつ、IRの強い被写体についても明るすぎて却って見え難くなってしまう可能性も低減することができる。
(b)また、上記実施形態では、画像認識部8は、RAWデータから構成される撮影画像内にIRの強い被写体があるときには、常にナイトビジョンカメラ2の信号処理部23に対して全画素についてIR係数を制限値にするよう指令を出力しているが、必ずしもこのようになっておらずともよい。
例えば、画像認識部8は、画像認識によってIRの強い被写体として1つの被写体のみを見つけ、その1つの被写体がRAWデータから構成される撮影画像中に占める画素数を算出し、算出した画素数が所定の閾値以上であれば、IRの強い被写体が見つからなかった場合と同じように、全画素についてIR係数をデフォルト値にするよう信号処理部23に指令してもよい。
このようにすることで、車両の走行中に前方からIRの強い被写体が近づいて来て、画像認識によってそのIRの強い被写体(ここでは道路標識とする)がRAWデータから構成される撮影画像中で見つかった後、当該被写体についてはIR係数を制限値として計算した輝度および色成分でディスプレイ9の表示が行われるが、当該被写体が更に車両に近づいて、画素数が上記閾値以上となった段階で、全画素のIR係数がデフォルト値に戻る。
これは、IR投光部7によって近赤外光が投光される位置が、車両からある程度前方に離れた部分であり、車両の近傍にはIR投光部7からの光が当たらないため、当該道路標識が近赤外光を強く反射しない可能性があるから、そのような道路標識のためにIR係数を低くするよりは、全体の視認性を向上させた方がよい可能性が高いからである。
したがって、上記閾値は、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体毎に、IR投光部7が当たらなくなるときにナイトビジョンカメラ2から見える大きさに応じて、それぞれ異なる値が設定されるようになっていてもよいし、大まかに同じ値が設定されるようになっていてもよい。
(c)また、上記実施形態では、IR係数の値として、デフォルト値が1で、制限値が0.02となっているが、このような値に限らず、制限値がデフォルト値より小さい正数となっていればよい。
(d)また、上記実施形態では、RAWデータから構成される撮影画像からパターン認識によって見つけたIRの強い被写体が、道路標識であっても、信号機であっても、前照灯であっても、ブレーキランプであっても、ウインカーであっても、信号処理部23に指令する制限値は同じ0.02となっている。しかし、見つけたIRの強い被写体の種類に応じて、信号処理部23に指令する制限値を変化させてもよい。
例えば、IRの強い被写体を1つだけ見つけ、その見つけた被写体が道路標識である場合は、IR係数の値として、第1の制限値(例えば0.02)を信号処理部23に指令し、また、その見つけた被写体が信号機、前照灯、ブレーキランプ、およびウインカーのいずれかである場合は、IR係数の値として、第1の制限値よりも大きくデフォルト値よりも小さい第2の制限値(例えば0.1)を信号処理部23に指令するようになっていてもよい。このようにするのは、信号機および前照灯は、その中の文字を読み取りたいわけではなく、ディスプレイ9の表示における信号機および前照灯の膨張を防ぐ程度に輝度を抑えればよいからである。
また例えば、IRの強い被写体を撮影画像内で1つだけ見つけ、その見つけた被写体が信号機である場合、前照灯である場合、ブレーキランプである場合、ウインカーである場合のそれぞれで、IR係数の値として、異なる値を信号処理部23に指令するようになっていてもよい。
(e)また、上記実施形態では、パターンマッチングによって前照灯と信号機とを区別して認識するようになっているが、RAWデータから構成される撮影画像のRの強度、Gの強度、Bの強度に基づいて、前照灯と信号機とを区別するようになっていてもよい。具体的には、パターンマッチングによって前照灯または信号機である被写体を見つけ、見つけた被写体のR/G(Rの強度をGの強度で除算した値)およびB/G(Bの強度をGの強度で除算した値)を算出し、R/G、B/Gのいずれかが閾値を超えたら信号機と判定する。
具体的には、赤信号の場合、例えば、R、G、Bそれぞれの強度が、R=100、G=20、B=20になり、この時、ホワイトバランス制御の参照値R/G、B/Gはそれぞれ、R/G=5、B/G=1となる。
また、緑信号の場合、例えば、R、G、Bそれぞれの強度が、R=20、G=100、B=20になり、この時、ホワイトバランス制御の参照値R/G、B/Gはそれぞれ、R/G=0.2、B/G=0.2となる。
一方、前照灯の場合、例えば、R、G、Bそれぞれの強度が、R=100、G=100、B=100となる。この時、ホワイトバランス制御の参照値R/G、B/Gはそれぞれ、R/G=1、B/G=1となる。
従って、R/G、B/Gの値が共に1付近(例えば、0.9以上1.1以下)の場合は、着色しない光源(前照灯)が光っている場合であり、R/G、B/Gどちらかが1より非常に大きい場合(例えば、閾値3以上)は、赤、または青に着色した光源(信号機)が光っている場合であり、R/G、B/Gが共に1より非常に小さい場合(閾値として例えば0.3以下)の場合は、緑に着色した光源(信号機)が光っている場合であると判定できる。
(f)また、上記実施形態では、信号処理部23はナイトビジョンカメラ2の一部としてナイトビジョンカメラ2内に組み込まれており、画像認識部8はナイトビジョンカメラ2とは別体の部品として構成されている。しかし、かならずしもこのようになっておらずともよく、例えば、信号処理部23の機能は画像認識部8に組み込まれていてもよい。
(f)また、上記実施形態では、信号処理部23はナイトビジョンカメラ2の一部としてナイトビジョンカメラ2内に組み込まれており、画像認識部8はナイトビジョンカメラ2とは別体の部品として構成されている。しかし、かならずしもこのようになっておらずともよく、例えば、信号処理部23の機能は画像認識部8に組み込まれていてもよい。
1 車両用撮影表示制御システム
2 ナイトビジョンカメラ
7 IR投光部
8 画像認識部
9 ディスプレイ
21 レンズ
22 撮像素子
23 信号処理部
24 メモリ
25 D/A変換部
51〜56 IRの強い被写体
2 ナイトビジョンカメラ
7 IR投光部
8 画像認識部
9 ディスプレイ
21 レンズ
22 撮像素子
23 信号処理部
24 メモリ
25 D/A変換部
51〜56 IRの強い被写体
Claims (5)
- 可視光および近赤外光を受光する撮像素子(22)および前記撮像素子(22)が受光した可視光および近赤外光の強度に基づいて各画素の輝度を算出する信号処理手段(23)を有し、前記信号処理手段(23)が算出した各画素の輝度を出力すると共に、前記撮像素子(22)が受光した可視光および近赤外光の強度を出力するカメラ(2)と、
前記カメラ(2)が出力した前記各画素の輝度に基づいた画像をディスプレイ(9)に表示させる表示制御手段(8)と、を備え、
前記表示制御手段(8)は、前記カメラ(2)が出力した前記可視光および近赤外光の強度に基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合は、前記撮像素子(22)が受光した可視光および近赤外光の強度に基づいて、第1の算出方法で各画素の輝度を算出し、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合は、前記撮像素子(22)が受光した可視光および近赤外光の強度に基づいて、前記第1の方法よりも輝度に対する近赤外光の強度の寄与が低くなるような第2の算出方法で、各画素の輝度を算出するよう、前記信号処理手段(23)を制御することを特徴とする車両用撮影表示制御システム。 - 前記あらかじめ設定された被写体は、道路標識を含むことを特徴とする請求項1に記載の車両用撮影表示制御システム。
- 前記あらかじめ設定された被写体は、信号機、車両の前照灯、ブレーキランプ、およびウインカーのうち少なくとも1つをを含むことを特徴とする請求項1または2に記載の車両用撮影表示制御システム。
- 前記信号処理手段(23)は更に、前記撮像素子(22)が受光した可視光の強度に基づいて各画素の色成分を算出し、
前記表示制御手段(8)は、前記信号処理手段(23)が算出した前記各画素の輝度および色成分に基づいた画像をディスプレイ(9)に表示させ、
更に前記表示制御手段(8)は、前記カメラ(2)から受けた前記映像信号に基づいて、近赤外光を強く反射または放出する被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合に比べて見つかった場合は、同じ可視光強度に対して、各画素の色成分の絶対値を大きくすることを特徴とする請求項1いし3のいずれか1つに記載の車両用撮影表示制御システム。 - 当該車両用撮影表示制御システムが搭載される車両には、前記車両の前方に近赤外光を投射するIR投光部(7)があり、
前記表示制御手段(8)は、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合でも、その見つかった被写体の画素数が閾値以上である場合は、前記第1の方法で、各画素の輝度を算出するよう、前記信号処理手段(23)を制御することを特徴とする請求項1ないし4のいずれか1つに記載の車両用撮影表示制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138678A JP2013009041A (ja) | 2011-06-22 | 2011-06-22 | 車両用撮影表示制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138678A JP2013009041A (ja) | 2011-06-22 | 2011-06-22 | 車両用撮影表示制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013009041A true JP2013009041A (ja) | 2013-01-10 |
Family
ID=47676061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011138678A Pending JP2013009041A (ja) | 2011-06-22 | 2011-06-22 | 車両用撮影表示制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013009041A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160091331A (ko) * | 2013-11-25 | 2016-08-02 | 르노 에스.아.에스. | 자동차용 야간 화상들을 형성하는 시스템 및 방법 |
KR101874298B1 (ko) * | 2010-06-11 | 2018-07-06 | 필킹톤 그룹 리미티드 | 본체 개방부 안으로의 모듈형 조립체의 피트 측정 장치 및 이 장치의 사용 방법 |
CN112513676A (zh) * | 2018-09-18 | 2021-03-16 | 松下知识产权经营株式会社 | 纵深取得装置、纵深取得方法以及程序 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202108A (ja) * | 2005-12-27 | 2007-08-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP2007288657A (ja) * | 2006-04-19 | 2007-11-01 | Toyota Motor Corp | 車両用表示装置、車両用表示装置の表示方法 |
JP2009071789A (ja) * | 2007-09-18 | 2009-04-02 | Denso Corp | 車両周辺監視システム |
-
2011
- 2011-06-22 JP JP2011138678A patent/JP2013009041A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202108A (ja) * | 2005-12-27 | 2007-08-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP2007288657A (ja) * | 2006-04-19 | 2007-11-01 | Toyota Motor Corp | 車両用表示装置、車両用表示装置の表示方法 |
JP2009071789A (ja) * | 2007-09-18 | 2009-04-02 | Denso Corp | 車両周辺監視システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101874298B1 (ko) * | 2010-06-11 | 2018-07-06 | 필킹톤 그룹 리미티드 | 본체 개방부 안으로의 모듈형 조립체의 피트 측정 장치 및 이 장치의 사용 방법 |
KR20160091331A (ko) * | 2013-11-25 | 2016-08-02 | 르노 에스.아.에스. | 자동차용 야간 화상들을 형성하는 시스템 및 방법 |
KR102155374B1 (ko) | 2013-11-25 | 2020-09-11 | 르노 에스.아.에스. | 자동차용 야간 화상들을 형성하는 시스템 및 방법 |
CN112513676A (zh) * | 2018-09-18 | 2021-03-16 | 松下知识产权经营株式会社 | 纵深取得装置、纵深取得方法以及程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7296350B2 (ja) | 振幅変調光のフリッカ補正のためのビデオストリーム画像処理システムおよび方法 | |
US9815408B2 (en) | Method for operating a rearview camera system of a motor vehicle after detection of a headlight flasher, rearview camera system and motor vehicle | |
US10348975B2 (en) | Light system for a motor vehicle | |
JP5948170B2 (ja) | 情報表示装置、情報表示方法およびプログラム | |
JP4927647B2 (ja) | 車両周辺監視装置 | |
JP5712821B2 (ja) | 撮影表示制御システム | |
US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
JP6533050B2 (ja) | 車載カメラシステム | |
JP2019189081A (ja) | 画像表示装置 | |
JP4731177B2 (ja) | 車両の赤外線撮影表示装置及び赤外線撮影表示方法 | |
JP5179428B2 (ja) | 車両の周辺監視装置 | |
JP4782491B2 (ja) | 撮像装置 | |
JP2013009041A (ja) | 車両用撮影表示制御システム | |
US10735667B1 (en) | Vehicle surroundings monitoring apparatus | |
JP6168024B2 (ja) | 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム | |
JP2011008459A (ja) | 車載カメラ装置 | |
WO2013157250A1 (ja) | 画像処理装置および走行支援方法 | |
JP6866212B2 (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
JP6327388B2 (ja) | 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム | |
JP2011160117A (ja) | 画像処理装置、及び、画像処理方法 | |
JP2020147251A (ja) | ライト監視装置 | |
JP2019197948A (ja) | 撮像装置およびその制御方法 | |
JP6311826B2 (ja) | 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム | |
JP2018074440A (ja) | 車両後方画像表示装置 | |
JP7176208B2 (ja) | システムおよび撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150623 |