JP6759995B2 - 画像処理装置 - Google Patents

Description

本開示は画像処理装置に関する。

従来、以下のような技術が知られている。車両に搭載したカメラを用いて画像を取得する。その画像において、車線境界線等の物標を認識する。認識した物標に基づき運転支援を行う。

走行環境によっては、画像から物標を認識することが困難になることがある。特許文献１記載の技術は走行環境に応じてカメラの撮像条件を変更する。

特開２０１６−５２１３３号公報

車両のヘッドライトがロービームのとき、ヘッドライトで照らされていない遠方又は側方に存在する物標の輝度は低い。そのため、カメラで撮影した画像において、それらの物標が存在する領域の画素値が低くなり、物標を認識することが困難になる。

本開示は、撮像ユニットの撮像対象における輝度と、画像における画素値との関係が、ライトがロービームのときでもライトがハイビームのときと同じである場合に比べて、画像において物標が存在する領域の画素値が低くなることを抑制できる画像処理装置を提供する。

本開示の画像処理装置（１）は、車両に搭載された撮像ユニット（２３）から画像を取得する画像取得ユニット（７）と、車両が備えるライト（１９）の状態を判断するライト判断ユニット（９、１０９）と、撮像ユニットの撮像対象における輝度と、画像における画素値との関係を調整する調整ユニット（１１、１５、１７）と、を備える。

調整ユニットは、ライトの状態がロービームであるとライト判断ユニットが判断した場合は、ライトの状態がハイビームであるとライト判断ユニットが判断した場合に比べて、画素値が下限値となるときの輝度を低くするように構成されている。

本開示の画像処理装置によれば、ライトがロービームの状態で取得した画像においてライトの光が照射されていない領域に存在する物標の画素値が低くなりにくい。その結果、画像においてその物標を認識することが容易になる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像処理装置１の構成を表すブロック図である。 画像処理装置１の機能的構成を表すブロック図である。 画像処理装置１が実行する処理を表すフローチャートである。 ロービーム状態における光照射領域２９を表す説明図である。 ハイビーム状態における光照射領域２９を表す説明図である。 画素−輝度特性Ａ１〜Ａ３を表すグラフである。 トーンカーブＴ１〜Ｔ３を表すグラフである。 画像処理装置１の機能的構成を表すブロック図である。 画像処理装置１が実行する処理を表すフローチャートである。

本開示の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．画像処理装置１の構成
画像処理装置１の構成を図１、図２に基づき説明する。画像処理装置１は車両に搭載される車載装置である。以下では、画像処理装置１を搭載する車両を自車両とする。画像処理装置１は、 ＣＰＵ３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５とする）と、を有する周知のマイクロコンピュータを中心に構成される。

画像処理装置１の各種機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット７と、ライト判断ユニット９と、調整ユニット１１と、出力ユニット１３と、を備える。調整ユニット１１は、カメラ設定調整ユニット１５と、補正ユニット１７と、を備える。画像処理装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

自車両は、さらに、ヘッドライト１９、入力装置２１、カメラ２３、及び画像認識装置２５を備える。ヘッドライト１９は自車両の前方に光を照射する。ヘッドライト１９は、オン、オフの切り替えが可能である。また、ヘッドライト１９は、ロービーム、ハイビームの切り替えが可能である。ヘッドライト１９はライトに対応する。

入力装置２１は自車両の車室内に設置されている。入力装置２１は、ユーザの入力を受け付ける。ユーザの入力内容は、ヘッドライト１９における、オン、オフ、ロービーム、及びハイビームの指示である。ヘッドライト１９は、入力装置２１への入力内容に応じて動作する。入力装置２１は入力ユニットに対応する。

カメラ２３は自車両に搭載されている。カメラ２３は自車両の前方を撮像し、画像を作成する。カメラ２３は、作成した画像を画像処理装置１に送る。カメラ２３の撮像範囲の全部又は１部に、ヘッドライト１９が光を照射する範囲が含まれる。カメラ２３は、画像処理装置１からの信号に応じて、後述する画素−輝度特性を設定される。カメラ２３は撮像ユニットに対応する。

画像認識装置２５は、画像処理装置１が出力する画像を取得する。画像認識装置２５は、取得した画像において物標を認識し、その認識結果を用いて運転支援を行う。物標としては、例えば、他の車両、歩行者、車線境界線、交通標識等が挙げられる。運転支援としては、例えば、衝突回避支援ブレーキ、レーンキーピングアシスト、ロードサインアシスト等が挙げられる。

２．画像処理装置１が実行する処理
画像処理装置１が所定時間ごとに繰り返し実行する処理を図３〜図７に基づき説明する。図３のステップ１では、ライト判断ユニット９が、入力装置２１から、ライト情報を取得する。ライト情報とは、ユーザによる入力装置２１への入力結果を表す情報である。ライト情報には、ヘッドライト１９がオン及びオフのうちのいずれであるかを表す情報が含まれる。また、ライト情報には、ヘッドライト１９がロービーム及びハイビームのうちのいずれであるかを表す情報が含まれる。

ステップ２では、ライト判断ユニット９が、前記ステップ１で取得したライト情報に応じて、ヘッドライト１９の状態を判断する。ヘッドライト１９の状態としては、ヘッドライトがオンであり且つロービームの状態（以下ではロービーム状態とする）と、ヘッドライト１９がオンであり且つハイビームの状態（以下ではハイビーム状態とする）と、ヘッドライト１９がオフである状態（以下ではオフ状態とする）とがある。

なお、ロービーム状態では、図４に示すように、カメラ２３から取得した画像２７のうち、ヘッドライト１９が光を照射する領域（以下では光照射領域２９とする）は、下方に限定された領域となる。また、ハイビーム状態では、図５に示すように、光照射領域２９は、ロービーム状態に比べて、上方及び左右両側に一層広がった領域となる。オフ状態では、通常、画像２７の全体に自然光又は照明光が照射されている。

図３に戻り、ステップ３では、カメラ設定調整ユニット１５が、前記ステップ２で判断したヘッドライト１９の状態に基づき、カメラ２３における画素−輝度特性を設定する。画素−輝度特性は、カメラ２３の撮像対象における輝度と、画像における画素値との関係を規定する特性である。画素−輝度特性を決めれば、カメラ２３の撮像感度及びダイナミックレンジが一義的に決まる。よって、画素−輝度特性を設定することは、カメラ２３の撮像感度及びダイナミックレンジを設定することに対応する。また、画素−輝度特性を設定することは、輝度と画素値との関係を調整することに対応する。

カメラ設定調整ユニット１５は、ロービーム状態の場合は図６に示す画素−輝度特性Ａ１を設定し、ハイビーム状態の場合は図６に示す画素−輝度特性Ａ２を設定し、オフ状態の場合は図６に示す画素−輝度特性Ａ３を設定する。

画素−輝度特性Ａ１は、画素−輝度特性Ａ２、Ａ３に比べて撮像感度が高い。画素−輝度特性Ａ１において、画素値が下限値Ｐ_ｍｉｎとなるときの輝度Ｌ１_ｍｉｎは、画素−輝度特性Ａ２において、画素値が下限値Ｐ_ｍｉｎとなるときの輝度Ｌ２_ｍｉｎより低い。下限値Ｐ_ｍｉｎとは、画像における画素値の最低値である。

画素−輝度特性Ａ１におけるダイナミックレンジは、輝度Ｌ１_ｍｉｎと、輝度Ｌ１_ｍａｘとで決まる。輝度Ｌ１_ｍａｘは、画素−輝度特性Ａ１において、画素値が上限値Ｐ_ｍａｘとなるときの輝度である。上限値Ｐ_ｍａｘとは、画像における画素値の最高値である。また、画素−輝度特性Ａ２におけるダイナミックレンジは、輝度Ｌ２_ｍｉｎと、輝度Ｌ２_ｍａｘとで決まる。輝度Ｌ２_ｍａｘは、画素−輝度特性Ａ２において、画素値が上限値Ｐ_ｍａｘとなるときの輝度である。画素−輝度特性Ａ１におけるダイナミックレンジは、画素−輝度特性Ａ２、Ａ３におけるダイナミックレンジよりも大きい。

図３に戻り、ステップ４では、補正ユニット１７がトーンカーブを設定する。トーンカーブは、後述するステップ６における補正で使用される。補正ユニット１７は、ロービーム状態の場合は、図７に示すトーンカーブＴ１を設定し、ハイビーム状態の場合は図７に示すトーンカーブＴ２を設定し、オフ状態の場合は図７に示すトーンカーブＴ３を設定する。トーンカーブＴ１は、トーンカーブＴ２、Ｔ３に比べて、補正後の画素値を一層高くする。トーンカーブＴ２は、トーンカーブＴ１、Ｔ３に比べて、補正後の画素値を一層低くする。

図３に戻り、ステップ５では、画像取得ユニット７が、カメラ２３から画像を取得する。この画像は、前記ステップ３で設定した画素―輝度特性において撮像された画像である。

ステップ６では、補正ユニット１７が、前記ステップ５で取得した画像を、前記ステップ４で設定したトーンカーブを用いて補正する。この補正は以下の方法で行う。前記ステップ５で取得した画像における各画素での画素値を取得し、その画素値を補正前の画素値とする。補正前の画素値を、図７に表すトーンカーブのうち、前記ステップ４で設定したものに当てはめ、補正後の画素値を取得する。補正後の画素値を、その画素における画素値とする。

ステップ７では、前記ステップ６で補正した画像を、出力ユニット１３が画像認識装置２５に出力する。
３．画像処理装置１が奏する効果
（１Ａ）ロービーム状態の場合、図４に示す、光照射領域２９以外の領域に存在する物標３１の輝度は低い。画像処理装置１は、ロービーム状態の場合、画素−輝度特性Ａ１を設定する。画素−輝度特性Ａ１において、輝度Ｌ１_ｍｉｎは、輝度Ｌ２_ｍｉｎより低い。そのため、ロービーム状態で取得した画像２７において物標３１の画素値が高くなる。その結果、ロービーム状態で取得した画像２７において物標３１を認識することが容易になる。

図４に示す物標３２は、ロービーム状態において、その下部３２Ａが光照射領域２９内にあり、その上部３２Ｂが光照射領域２９以外の領域に存在する物標である。ライトが照射されている下部３２Ａの輝度は高く、ライトが照射されていない上部３２Ｂの輝度は低い。画像処理装置１は、ロービーム状態の場合、画素−輝度特性Ａ１を設定する。画素−輝度特性Ａ１のダイナミックレンジは、画素−輝度特性Ａ２のダイナミックレンジより大きい。その結果、ロービーム状態で取得した画像２７において物標３２を認識することが容易になる。

（１Ｂ）画素−輝度特性Ａ１を設定すると、撮像感度及びダイナミックレンジが一義的に決まる。よって、画像処理装置１は、撮像感度及びダイナミックレンジを設定することで、輝度Ｌ１_ｍｉｎを前記（１Ａ）のように調整する。そのため、輝度Ｌ１_ｍｉｎの調整が容易である。

（１Ｃ）画像処理装置１は、ロービーム状態の場合、トーンカーブＴ１を設定し、そのトーンカーブＴ１を用いて画素値を補正する。トーンカーブＴ１は、トーンカーブＴ２、Ｔ３に比べて、補正後の画素値を一層高くする。そのため、ロービーム状態で取得した画像２７において物標３１の画素値を一層高くすることができる。その結果、光照射領域２９以外の領域に存在し、輝度が低い物標３１のコントラストを向上させることができる。

（１Ｄ）画像処理装置１は、ハイビーム状態の場合、画素−輝度特性Ａ２を設定し、トーンカーブＴ２を設定する。画素−輝度特性Ａ２は、画素−輝度特性Ａ１に比べて撮像感度が低い。トーンカーブＴ２は、トーンカーブＴ１、Ｔ３に比べて、補正後の画素値を一層低くする。そのため、ハイビーム状態の場合、物標における画素値が過度に高くなりにくい。その結果、物標を認識することが容易になる。

（１Ｅ）画像処理装置１は、入力装置２１における入力結果に応じてヘッドライト１９の状態を判断する。そのため、ヘッドライト１９の状態を一層正確に判断することができる。
＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。前述した第１実施形態では、ライト判断ユニット９を備える。これに対し、図８に示すように、第２実施形態では、ライト判断ユニット１０９を備える。

２．画像処理装置１が実行する処理
画像処理装置１が所定時間ごとに繰り返し実行する処理を図９に基づき説明する。図９のステップ１１では、画像取得ユニット７がカメラ２３から画像を取得する。初回の処理でのステップ１１においてカメラ２３がこの画像を撮影するときの撮像感度及びダイナミックレンジはデフォルトの値である。２回目以降の処理でのステップ１１においてカメラ２３がこの画像を取得するときの撮像感度及びダイナミックレンジは、前回の処理における後述するステップ１４で設定したものである。

ステップ１２では、ライト判断ユニット１０９が、前記ステップ１１で取得した画像における画素値の分布を算出する。画素値の分布とは、画像を構成する各画素における画素値の分布を意味する。

ステップ１３では、ライト判断ユニット１０９が、前記ステップ１２で算出した画素値の分布に基づき、ヘッドライト１９の状態を判断する。その判断は、以下のように行う。
ライト判断ユニット１０９は、予め、ロービーム状態における画素値の分布パターンと、ハイビーム状態における画素値の分布パターンと、オフ状態における画素値の分布パターンとを記憶している。ロービーム状態における画素値の分布パターンは、図４に示す光照射領域２９では画素値が高く、それ以外の領域では画素値が低いパターンである。ハイビーム状態における画素値の分布パターンは、図５に示す光照射領域２９では画素値が高く、それ以外の領域では画素値が低いパターンである。オフ状態における画素値の分布パターンは、画像全体において画素値のばらつきが小さいパターンである。

ライト判断ユニット１０９は、前記ステップ１２で算出した画素値の分布が、どのパターンと最も類似しているかを判断する。
その結果、前記ステップ１２で算出した画素値の分布が、ロービーム状態における画素値の分布パターンと最も類似しているならば、ヘッドライト１９の状態はロービーム状態であると判断する。また、前記ステップ１２で算出した画素値の分布が、ハイビーム状態における画素値の分布パターンと最も類似しているならば、ヘッドライト１９の状態はハイビーム状態であると判断する。また、前記ステップ１２で算出した画素値の分布が、オフ状態における画素値の分布パターンと最も類似しているならば、ヘッドライト１９の状態はオフ状態であると判断する。

ステップ１４では、カメラ設定調整ユニット１５が、前記ステップ１３で判断したヘッドライト１９の状態に基づき、画素−輝度特性を設定する。カメラ設定調整ユニット１５は、ロービーム状態の場合は画素−輝度特性Ａ１を設定し、ハイビーム状態の場合は画素−輝度特性Ａ２を設定し、オフ状態の場合は画素−輝度特性Ａ３を設定する。

ステップ１５では、補正ユニット１７がトーンカーブを設定する。補正ユニット１７は、ロービーム状態の場合はトーンカーブＴ１を設定し、ハイビーム状態の場合はトーンカーブＴ２を設定し、オフ状態の場合はトーンカーブＴ３を設定する。

ステップ１６では、画像取得ユニット７が、カメラ２３から画像を取得する。この画像は、前記ステップ１４で設定した画素―輝度特性において撮像された画像である。
ステップ１７では、補正ユニット１７が、前記ステップ１６で取得した画像を、前記ステップ１５で設定したトーンカーブを用いて補正する。

ステップ１８では、前記ステップ１７で補正した画像を、出力ユニット１３が画像認識装置２５に出力する。
３．画像処理装置１が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）〜（１Ｄ）を奏し、さらに、以下の効果（２Ａ）を奏する。

（２Ａ）画像処理装置１は、画像における画素値の分布に基づきヘッドライト１９の状態を判断する。そのため、一層簡易な構成によってヘッドライト１９の状態を判断できる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）画素−輝度特性Ａ１のダイナミックレンジと、画素−輝度特性Ａ２のダイナミックレンジとは同じであってもよい。
（２）第１、第２実施形態において、トーンカーブＴ１、Ｔ２は同じであってもよい。また、第１、第２実施形態において、トーンカーブを用いた補正は行わなくてもよい。

（３）第１、第２実施形態において、画素−輝度特性Ａ１と画素−輝度特性Ａ２とは同じであってもよい。
（４）ヘッドライト１９は、自動制御により動作するものであってもよい。例えば、ヘッドライト１９は、自車両の周囲が暗くなった場合に自動的に点灯するものであってもよい。また、例えば、ヘッドライト１９は、先行車や対向車のライト等を認識し、ハイビームとロービームとを自動で切り替えるものであってもよい。

上記の場合、画像処理装置１は、ヘッドライト１９を制御する装置から、ヘッドライト１９の状態を表すライト情報を取得することができる。その情報には、ヘッドライト１９がオン及びオフのうちのいずれであるかを表す情報、及び、ヘッドライト１９がロービーム及びハイビームのうちのいずれであるかを表す情報が含まれる。画像処理装置１は、そのライト情報を用いて、第１、第２実施形態と同様の処理を行うことができる。

（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（６）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法、運転支援方法等、種々の形態で本開示を実現することもできる。

１…画像処理装置、７…画像取得ユニット、９、１０９…ライト判断ユニット、１１…調整ユニット、１５…カメラ設定調整ユニット、１７…補正ユニット、１９…ヘッドライト、２３…カメラ

Claims (5)

1. 画像処理装置（１）であって、
   車両に搭載された撮像ユニット（２３）から画像を取得する画像取得ユニット（７）と、
   前記車両が備えるライト（１９）の状態を判断するライト判断ユニット（９、１０９）と、
   前記撮像ユニットの撮像対象における輝度と、前記画像における画素値との関係を調整する調整ユニット（１１、１５、１７）と、
   を備え、
   前記調整ユニットは、前記ライトの状態がロービームであると前記ライト判断ユニットが判断した場合は、前記ライトの状態がハイビームであると前記ライト判断ユニットが判断した場合に比べて、前記画素値が下限値となるときの前記輝度を低くするように構成された画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記調整ユニット（１５）は、前記撮像ユニットにおける撮像感度又はダイナミックレンジを設定することで、前記画素値が前記下限値となるときの前記輝度を調整するように構成された画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記調整ユニットは、前記画像の画素値を補正する補正ユニット（１７）を備え、
   前記補正ユニットは、前記ライトの状態がロービームであると前記ライト判断ユニットが判断した場合は、前記ライトの状態がハイビームであると前記ライト判断ユニットが判断した場合に比べて、補正後の画素値を高くするように構成された画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置であって、
   前記ライト判断ユニットは、ユーザが前記ライトの状態を入力する入力ユニット（２１）における入力結果に応じて前記ライトの状態を判断するように構成された画像処理装置。
5. 請求項１〜３のいずれか１項に記載の画像処理装置であって、
   前記ライト判断ユニット（１０９）は、前記画像における前記画素値の分布に基づき前記ライトの状態を判断するように構成された画像処理装置。

Images