JP2018164199A

JP2018164199A - 画像処理装置、および画像処理方法

Info

Publication number: JP2018164199A
Application number: JP2017060414A
Authority: JP
Inventors: 幸太郎今井; Kotaro Imai
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2018-10-18
Also published as: US10887568B2; US20200014898A1; WO2018180509A1

Abstract

【課題】画像補正処理を行う画像において注目領域を適切に設定する。
【解決手段】本技術の一側面である画像処理装置は、移動体に搭載される画像処理装置において、前記移動体の移動速度を検出する速度検出部と、検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域を設定する注目領域設定部と、前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理を行う画像補正処理部とを備える。本技術は、例えば、車載センサに適用できる。
【選択図】図１

Description

本技術は、画像処理装置、および画像処理方法に関し、特に、所定の画像補正処理を開始するトリガとなる情報を検出するための検出領域を速度等に応じて変更するようにした画像処理装置、および画像処理方法に関する。

例えば、自動車において、前方を走行する他の自動車を検出し、それに追尾する追従走行機能や、歩行者の飛び出しや前方の障害物を検出して衝撃を緩和させる自動ブレーキ機能等を実現することを考える。この場合、自動車からその周囲（主に前方）を、検出、識別するための画像を撮像するカメラが必要となる。そして、該カメラによって撮像された画像から、他の自動車や歩行者等の対象物を高い精度で検出するためには、該画像が対象物の検出に適した状態であることが条件となる。

ここで、対象物の検出に適した状態の画像とは、例えば、適切な露出で撮像された画像や、適切な画像補正処理が行われた画像を指す。したがって、対象物の検出に適した状態の画像を得るためには、撮像前に露出等を制御したり、撮像後に画像補正処理を行ったりする必要がある。

撮像後に行う画像補正処理では、特に、被写体の色を正しく表現することができるホワイトバランス処理（以下、WB処理と称する）が対象物を検出する上で重要であることが知られている。

撮像された画像に対してWB処理等の画像補正処理を行う場合、該画像の全画素の画素値に基づいて画像補正処理を行う第１の方法と、該画像のうち、所定の領域（以下、注目領域と称する）に属する画素の画素値に基づいて画像補正処理を行う第２の方法がある（例えば、特許文献１参照）。

特開２０１４−３２５４０号公報

上述した第１の方法の場合、対象物が存在し得ない領域の画素値にも基づいて画像補正処理を行うので、画像補正処理結果が対象物の検出に適していないことが起こり得る。

上述した第２の方法の場合、対象物の検出に適した画像補正処理結果を得るためには、注目領域の位置を適切に設定することが重要となる。

本技術はこのような状況に鑑みてなされたものであり、画像補正処理を行う画像において注目領域を適切に設定できるようにするものである。

本技術の一側面である画像処理装置は、移動体に搭載される画像処理装置において、前記移動体の移動速度を検出する速度検出部と、検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域を設定する注目領域設定部と、前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理を行う画像補正処理部とを備える。

本技術の一側面である画像処理方法は、移動体に搭載される画像処理装置の画像処理方法において、前記画像処理装置による、前記移動体の移動速度を検出し、検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域を設定し、前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理を行うステップを含む。

本技術の一側面においては、移動体の移動速度が検出され、検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域が設定され、前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理が行われる。

本技術の一側面によれば、画像補正処理を行う画像において注目領域を適切に設定することができる。

本技術の一側面によれば、対象物を精度よく検出できる画像を出力することができる。

本技術を適用した画像処理装置の構成例を示すブロック図である。図１の画像処理装置の動作を説明するフローチャートである。速度に対応した注目領域の変化を示す図である。汎用のコンピュータの構成例を示すブロック図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜本技術の実施の形態である画像処理装置の構成例＞
図１は、本技術の実施の形態である画像処理装置の構成例を示している。

該画像処理装置は、自動車の車両に搭載され、その周囲（主に前方）に存在し得る他の自動車や歩行者などの対象物を検出するものである。該画像処理装置による検出結果は、搭載されている車両における追従走行機能、自動ブレーキ機能等の各種の機能（詳細後述）に利用される。

なお、該画像処理装置が搭載される車両は、自動車に限るものではない。

該画像処理装置は、撮像部１１、動物体検出部１２、消失点検出部１３、センサ部１４、注目領域設定部１８、画像補正処理部１９、撮像制御部２０、および車両通信部２１を有する。

撮像部１１は、車両の通常の進行方向である前方を撮像できるフロントカメラを少なくとも有しており、所定のフレームレートで撮像を行い、撮像結果の画像を順次、動物体検出部１２、消失点検出部１３、画像補正処理部１９、および撮像制御部２０に出力する。なお、撮像部１１には、車両の通常以外の進行方向である後方を撮像できるリアカメラを含めてもよい。

動物体検出部１２は、撮像部１１から入力される順次入力される、撮像タイミングが異なる複数の画像の全体（全画角）を比較することにより、実空間において実際に移動している物体（動物体）を検出する。すなわち、動物体検出部１２は、該画像処理装置が搭載されている車両に対して相対的に動きはあるものの実空間においては動いていない建物などは検出せず、該車両と同様に走行している他の車両などを検出する。動物体検出部１２は、動物体の検出結果を表す動物体検出情報を注目領域設定部１８に通知する。

消失点検出部１３は、撮像部１１から入力される順次入力される、撮像タイミングが異なる複数の画像の全体（全画角）を比較することにより、画像内における消失点を検出する。ここで、消失点とは、実空間に存在する平行線（例えば、道路標示の白線、ガードレール等）が画像上において最終的に交わる点を指す。消失点検出部１３は、検出した消失点の位置を表す消失点情報を注目領域設定部１８に通知する。

センサ部１４は、走行方向検出部１５、速度検出部１６、および操舵角検出部１７を有する。

走行方向検出部１５は、該画像処理装置が搭載されている車両の走行方向（前進、または後進）を検出し、走行方向を表す走行方向情報を注目領域設定部１８に通知する。速度検出部１６は、該画像処理装置が搭載されている車両の速度を検出し、速度を表す速度情報を注目領域設定部１８に通知する。操舵角検出部１７は、該画像処理装置が搭載されている車両の操舵角（ステアリングハンドルの回転角度）を検出し、操舵角を表す操舵角情報を注目領域設定部１８に通知する。

注目領域設定部１８は、動物体検出情報、消失点情報、走行方向情報、速度情報、および操舵角情報に基づき、注目領域を設定し、その位置とサイズを表す注目領域情報を画像補正処理部１９および撮像制御部２０に通知する。

ここで、注目領域とは、撮像部１１で撮像された画像に対して、画像補正処理部１９にて所定の画像補正処理（例えば、WB処理）を行う場合において、該画像補正処理の際に基準とされる画素の領域を表すものである。

画像補正処理部１９は、撮像部１１から順次入力される画像の画角全体に対し、各画像の注目領域の画素の画素値に基づいて所定の画像補正処理を行う。所定の画像補正処理としては、WB処理、γ補正処理、鮮鋭化処理、ノイズ除去処理等を挙げることができる。ただし、所定の画像補正処理は、上述した例に限るものではない。

画像補正処理部１９は、所定の画像補正処理済の画像を、車両通信部２１を介して車両側の制御部（不図示）に供給する。車両側の制御部に供給された所定の画像補正処理済の画像は、車両における追従走行機能や自動ブレーキ機能等の実行に利用される。

撮像制御部２０は、撮像部１１から順次入力される画像に基づき、撮像部１１の露光制御を行う。このとき、撮像部１１から順次入力される画像の注目領域の画素の画素値に基づいて、露光制御を行ってもよい。

＜本技術の実施の形態である画像処理装置の動作＞
図２は、該画像処理装置の動作を説明するフローチャートである。この動作は、該画像処理装置が搭載されている車両が走行可能な状態（例えば、イグニッションスイッチがオンとされた状態）とされた後、所定の周期で繰り返し実行される。

該動作が開始された初期段階において、注目領域は初期設定の位置（例えば、画像の中心）および大きさであるか、または、車両が前回走行しない状態（例えば、イグニッションスイッチがオフとされた状態）とされたときの位置および大きさであるとする。

ステップＳ１において、注目領域設定部１８は、速度情報に基づき、該車両が走行中であるか否かを判定し、走行中であると判定した場合、処理をステップＳ２に進める。ステップＳ２において、注目領域設定部１８は、走行方向情報に基づき、該車両が前進しているか否かを判定し、前進していると判定した場合、処理をステップＳ３に進める。

ステップＳ３において、撮像部１１は、該車両の前方を撮像しているフロントカメラによって撮像されている画像を処理対象として後段に供給する。

ステップＳ４において、注目領域設定部１８は、前回のステップＳ４の処理時に比較して、該車両の速度が増速しているか（速度の増加量が所定の閾値以上であるか）、減速しているか（速度の減少量が所定の閾値以上であるか）、または変化なしか（速度の変化量が所定の閾値未満であるか）を速度情報に基づいて判定する。

ステップＳ４において、増速していると判定した場合、注目領域設定部１８は、処理をステップＳ５に進める。ステップＳ５において、注目領域設定部１８は、現状の注目領域のサイズを縮小して仮設定する。この後、処理はステップＳ８に進められる。

ステップＳ４において、減速していると判定した場合、注目領域設定部１８は、処理をステップＳ６に進める。ステップＳ６において、注目領域設定部１８は、現状の注目領域のサイズを拡大して仮設定する。この後、処理はステップＳ８に進められる。

ステップＳ４において、変化なしと判定した場合、注目領域設定部１８は、処理をステップＳ７に進める。ステップＳ７において、注目設定部１８は、現状の注目領域のサイズを維持して仮設定する。この後、処理はステップＳ８に進められる。

ステップＳ８において、注目領域設定部１８は、前回のステップＳ８の処理時に比較して、消失点が移動しているか否かを消失点情報に基づいて判定する。消失点が移動していると判定した場合、注目領域設定部１８は、処理をステップＳ９に進め、該消失点が中心となるように注目領域を移動させる。なお、ステップＳ８において、消失点が移動していないと判定された場合、ステップＳ９はスキップされる。

ステップＳ１０において、注目領域設定部１８は、該車両のステアリングハンドルが左にきられている状態であるか、右にきられている状態であるか、または、左右に切られていない中央の状態であるかを、操舵角情報に基づいて判定する。

ステップＳ１０において、ステアリングハンドルが左にきられている状態であると判定し場合、注目領域設定部１８は、処理をステップＳ１１に進め、注目領域を操舵角に応じて左側に移動させる。なお、注目領域を左側に移動させる代わりに、注目領域を左側に拡げるようにしてもよい。この後、処理はステップＳ１３に進められる。

ステップＳ１０において、ステアリングハンドルが右にきられている状態であると判定した場合、注目領域設定部１８は、処理をステップＳ１２に進め、注目領域を操舵角に応じて右側に移動させる。なお、注目領域を右側に移動させる代わりに、注目領域を右側に広げるようにしてもよい。この後、処理はステップＳ１３に進められる。

ステップＳ１０において、ステアリングハンドルが中央の状態であると判定した場合、注目領域設定部１８は、ステップＳ１１およびＳ１２をスキップして、処理をステップＳ１３に進める。

ステップＳ１３において、注目領域設定部１８は、注目領域付近（注目領域の所定幅の外周）に動物体が検出されているか否かを、動物体検出情報に基づいて判定する。動物体が検出されていると判定した場合、注目領域設定部１８は、処理をステップＳ１４に進め、検出された動物体が注目領域に近づいているか否かを判定する。検出された動物体が注目領域に近づいていると判定した場合、注目領域設定部１８は、処理をステップＳ１５に進める。

ステップＳ１５において、注目領域設定部１８は、注目領域付近に存在し、注目領域に近づいてくる動物体を含むように注目領域を拡大させる。この後、処理はステップＳ１６に進められる。

なお、ステップＳ１３において、動物体が検出されていないと判定された場合、または、ステップＳ１４において、検出された動物体が注目領域に近づいていないと判定された場合には、処理はステップＳ１６に進められる。

ステップＳ１６において、注目領域設定部１８は、上述した処理によって設定した注目領域を表す注目領域情報を画像補正処理部１９および撮像制御部２０に通知する。画像補正処理部１９は、通知された注目領域情報に基づき、撮像部１１から入力された画像に対し、注目領域の画素の画素値に基づいて所定の画像補正処理を行い、その結果得られた画像を後段に出力する。

なお、ステップＳ２において、該車両が前進していない（後進している）と判定した場合、注目領域設定部１８は、処理をステップＳ１７に進める。

ステップＳ１７において、撮像部１１は、該車両の後方を撮像しているリアカメラを備えているか否かを判定し、リアカメラを備えていると判定した場合、処理をステップＳ１８に進め、該車両の後方を撮像しているリアカメラによって撮像されている画像を処理対象として後段に供給する。この後、処理はステップＳ４に進められ、上述した処理が実行される。

ステップＳ１７において、撮像部１１がリアカメラを備えていないと判定された場合、処理はステップＳ１に戻されて、それ以降が行われる。

ステップＳ１において、走行中ではないと判定された場合、処理をステップＳ１９に進められる。ステップＳ１９において、注目領域設定部１８は、画像の画角全体を注目領域に設定する。この後、処理はステップＳ１６に進められる。

以上で、該画像処理装置の動作説明を終了する。

次に、図３は、注目領域の変化を説明するための図であり、同図は撮像部１１によって撮像された画像の画角全体を示している。

上述したように、該画像処理装置によれば、該画像処理装置を搭載している車両の速度に応じて注目領域のサイズが縮小または拡大される。すなわち、現状の速度における注目領域のサイズが枠３１であると仮定すると、増速した場合には、消失点に近づく時間が早くなるので、注目領域のサイズが枠３２のように縮小される。反対に、減速した場合には、消失点に近づく時間が長くなるので、注目領域のサイズが枠３３のように拡大される。

また、消失点の移動方向に対応して注目領域が移動される。すなわち、走行している道路が左右どちらかに曲がっていたり、上り坂であったり、下り坂であったりした場合、注目領域を上下左右に移動される。

さらに、車両のステアリングハンドルが左右どちらかに切られていた場合にも注目領域が左右どちらかに移動される。

上述したように、該画像処理装置では、車両の状態や道路の形状に対応して、注目領域を変更するので、車両が向かっている先の情報（注目領域の画素の画素値）に基づいて、適切な画像補正処理を行うことができる。

例えば、該車両がトンネルの出口付近を走行しているような場合、画角の大部分を占めるトンネル内壁の明るさと、前方のトンネル出口の明るさが著しく異なることになるが、該画像処理装置によれば、トンネル内のナトリウムランプ等の色に影響されることなく、前方のトンネル出口（トンネルの外）の情報に基づいて適切な画像補正処理を行うことができる。

例えば、該車両がトンネルの出口付近を走行しているような場合、画角の大部分を占めるトンネル内壁の明るさと、前方のトンネル出口の明るさが著しく異なることになるが、該画像処理装置によれば、トンネル内の情報に影響されることなく、前方のトンネル出口（トンネルの外）の情報に基づいて適切な画像補正処理を行うことができる。より具体的には、トンネル内のナトリウムライト等に影響されることなく、（トンネルの外）の情報に基づいて適切なWB処理を行うことができる。

また、例えば、該車両の両脇を黄色で塗装されているタクシーが多数走行しているような場合、注目領域が設定されなければ、画角の大部分を占める黄色を光源色と誤認識して不適切なWB処理が行われてしまう可能性が有る。しかしながら、該画像処理装置によれば、注目領域が設定されるので、適切なWB処理を行うことができる。

したがって、該画像処理装置の後段では、画像補正処理済みの画像から高い精度で対象物を検出することができ、追従走行機能や自動ブレーキ機能等を適切に実行することが可能となる。

＜該画像処理装置から出力される画像補正処理済みの画像が利用され得る車両の機能について＞
上述しているように、該画像処理装置から出力される画像補正処理済みの画像は、車両に搭載し得る様々な機能に適用できる。

例えば、前方を走行している車両に合わせて自動的に車速や車間距離を制御する機能、道路の形状や状態に合わせて自動的に操舵する制御する機能、他の車両等との衝突の危険性を警告する機能、走行レーンからのはみ出しを警告する機能、前方の車両のブレーキライトを検出する機能、道路標識を認識して速度を制限する機能、ハイビームの照射範囲を制御する機能、ハイビームとロービームを切り替える機能、上述し機能を適宜組み合わせた機能等に適用できる。

ところで、上述した画像処理装置の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

該コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２０が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（ＡｄｖａｎｃｅｄＤｒｉｖｅｒＡｓｓｉｓｔａｎｃｅＳｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図６は、撮像部１２０３１の設置位置の例を示す図である。

図６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０に適用され得る。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

本技術は以下のような構成も取ることができる。
（１）
移動体に搭載される画像処理装置において、
前記移動体の移動速度を検出する速度検出部と、
検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域を設定する注目領域設定部と、
前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理を行う画像補正処理部と
を備える画像処理装置。
（２）
前記注目領域設定部は、検出された前記移動速度に基づき、前記注目領域のサイズを設定する
前記（１）に記載の画像処理装置。
（３）
前記移動体の進行方向を撮像した前記画像の消失点を検出する消失点検出部をさらに備え、
前記注目領域設定部は、検出された前記消失点に基づき、前記注目領域の位置を設定する
前記（１）または（２）に記載の画像処理装置。
（４）
前記注目領域設定部は、検出された前記消失点の移動方向に対応して、前記注目領域の位置を移動させる
前記（３）に記載の画像処理装置。
（５）
前記移動体の操舵角を検出する操舵角検出部をさらに備え、
前記注目領域設定部は、検出された前記操舵角に基づき、前記注目領域の位置を移動させる
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記移動体の操舵角を検出する操舵角検出部をさらに備え、
前記注目領域設定部は、検出された前記操舵角に対応する方向に、前記注目領域を拡大する
前記（１）から（４）のいずれかに記載の画像処理装置。
（７）
前記移動体の進行方向を撮像した前記画像から動物体を検出する動物体検出部をさらに備え、
前記注目領域設定部は、前記動物体の検出結果に基づいて、前記注目領域を拡大する
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
画像補正処理部は、前記画像上の前記注目領域に属する画素の画素値に基づき、前記移動体の進行方向を撮像した前記画像の全画角に対して前記所定の画像補正処理を行う
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）
画像補正処理部は、前記画像上の前記注目領域に属する画素の画素値に基づき、前記移動体の進行方向を撮像した前記画像の全画角に対して前記所定の画像補正処理としてホワイトバランス処理を行う
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）
前記移動体の進行方向を撮像し、前記画像を生成する撮像部をさらに備える
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記画像上の前記注目領域に属する画素の画素値に基づき、前記撮像部の露光を制御する撮像制御部をさらに備える
前記（１０）に記載の画像処理装置。
（１２）
前記撮像部は、前記移動体の前方を撮像するフロントカメラと、前記移動体の後方を撮像するリアカメラとを有する
前記（１０）または（１１）に記載の画像処理装置。
（１３）
移動体に搭載される画像処理装置の画像処理方法において、
前記画像処理装置による、
前記移動体の移動速度を検出し、
検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域を設定し、
前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理を行う
ステップを含む画像処理方法。

１１撮像部，１２動物体検出部，１３消失点検出部，１４センサ部，１５走行方向検出部，１６速度検出部，１７操舵角検出部，１８注目領域設定部，１９画像補正処理部，２０撮像制御部，２１車両通信部

Claims

移動体に搭載される画像処理装置において、
前記移動体の移動速度を検出する速度検出部と、
検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域を設定する注目領域設定部と、
前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理を行う画像補正処理部と
を備える画像処理装置。
前記注目領域設定部は、検出された前記移動速度に基づき、前記注目領域のサイズを設定する
請求項１に記載の画像処理装置。
前記移動体の進行方向を撮像した前記画像の消失点を検出する消失点検出部をさらに備え、
前記注目領域設定部は、検出された前記消失点に基づき、前記注目領域の位置を設定する
請求項２に記載の画像処理装置。
前記注目領域設定部は、検出された前記消失点の移動方向に対応して、前記注目領域の位置を移動させる
請求項３に記載の画像処理装置。
前記移動体の操舵角を検出する操舵角検出部をさらに備え、
前記注目領域設定部は、検出された前記操舵角に基づき、前記注目領域の位置を移動させる
請求項２に記載の画像処理装置。
前記移動体の操舵角を検出する操舵角検出部をさらに備え、
前記注目領域設定部は、検出された前記操舵角に対応する方向に、前記注目領域を拡大する
請求項２に記載の画像処理装置。
前記移動体の進行方向を撮像した前記画像から動物体を検出する動物体検出部をさらに備え、
前記注目領域設定部は、前記動物体の検出結果に基づいて、前記注目領域を拡大する
請求項２に記載の画像処理装置。
画像補正処理部は、前記画像上の前記注目領域に属する画素の画素値に基づき、前記移動体の進行方向を撮像した前記画像の全画角に対して前記所定の画像補正処理を行う
請求項２に記載の画像処理装置。
画像補正処理部は、前記画像上の前記注目領域に属する画素の画素値に基づき、前記移動体の進行方向を撮像した前記画像の全画角に対して前記所定の画像補正処理としてホワイトバランス処理を行う
請求項２に記載の画像処理装置。
前記移動体の進行方向を撮像し、前記画像を生成する撮像部をさらに備える
請求項１に記載の画像処理装置。
前記画像上の前記注目領域に属する画素の画素値に基づき、前記撮像部の露光を制御する撮像制御部をさらに備える
請求項１０に記載の画像処理装置。
前記撮像部は、前記移動体の前方を撮像するフロントカメラと、前記移動体の後方を撮像するリアカメラとを有する
請求項１０に記載の画像処理装置。
移動体に搭載される画像処理装置の画像処理方法において、
前記画像処理装置による、
前記移動体の移動速度を検出し、
検出された前記移動速度に基づき、前記移動体の進行方向を撮像した画像に注目領域を設定し、
前記画像上の前記注目領域に属する画素の画素値に基づき、前記画像に前記所定の画像補正処理を行う
ステップを含む画像処理方法。