JP6816273B2 - 画像処理装置および配光制御システム - Google Patents

Description

本発明は、車両等の画像処理装置および車両のヘッドライトの配光を制御する配光制御システムに関する。

従来から車両搭載用の画像処理システムに関する発明が知られている。

特許文献１に記載された画像処理システムは、車両に搭載された撮像手段と、この撮像手段が撮影した画像を取得し画像の解析を行う画像解析手段とを備えている。この画像解析手段は、撮像手段が撮影した画像を解析して先行車のテールライトの位置を検出する。

上記画像処理システムでは、まず撮像画像内から赤色の画素を検出し、隣接する赤色画素を連結して「要素グループ」（＝光点）を作成する。次に、要素グループの特徴量（矩形サイズ、最大・最小輝度など）に基づいて車両のテールランプとそれ以外（反射板など）とを判別している。

特開２０１４−２３２４３１号公報

上記従来技術における画像処理システムでは、反射板などの赤色に近い色の物体を先行車のテールライトとして誤検知するという問題がある。

一般に、車両のテールライト検知の精度を上げるには次の方策がとられる。（１）高コストのレンズ・撮像素子を使用し、色の判別性を向上させる。低価格のレンズの場合、赤色に近い橙色のような物体を撮像した場合、赤色が含まれてしまうという現象が発生する場合があるからである。

（２）自車ヘッドライトとして、より白色に近い光を発するランプを使用する（反射板の影響を減らす）。

ただし、上記（１）及び（２）の方策は、いずれもコストを上げるものである。

したがって、低価格なレンズを使用し、かつ、より白色に近い光を発するランプを使用することなく、赤色に近い色の物体を、先行車のテールライトとする誤検知を回避することが可能な技術が望まれる。

本発明の目的は、上記課題に鑑みてなされたものであり、コストを上げることなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することである。

上記目的を達成するため、本発明は次のように構成される。

画像処理装置において、
外界を撮像する撮像部と、上記撮像部により撮像された画像を取得する画像取得部と、上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、上記画素検出部により、検出された上記第二閾値以上の画素から光点を検出する光点検出部と、検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、を備える。

配光制御システムにおいて、
外界を撮像する撮像部と、上記撮像部により撮像された画像を取得する画像取得部と、上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、上記画素検出部により、検出された上記第二閾値以上の画素から光点を検出する光点検出部と、検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、このテールライト判定部の判定結果に従って配光を制御する指令を生成する配光制御部と、を有する画像処理装置と、上記配光制御部からの指令信号に従って光源を制御する光源制御部と、を備える。

本発明によれば、コストを上げることなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することができる。

本発明の実施例１である画像処理装置の全体構成を示すブロック図である。 本発明の実施例１におけるテールライト検知の処理手順を示すフローチャートである。 本発明の実施例２におけるテールライト検知の処理手順を示すフローチャートである。 本発明とは異なる技術における光点検出処理の概要を示す図である。 図４に示した技術の問題点を説明するための図である。 本説明の原理を説明するための図である。 本発明における光点検出処理の概要を示す図である。

以下、添付図面を参照して、本発明の実施形態について説明する。

本発明の実施例の説明に先立って、本発明の原理について説明する。

図４は、本発明とは異なる技術における光点検出処理の概要を示す図であり、本発明との比較を説明するための図である。

図４の（Ａ）において、まず、画像を撮像し、赤色画素２０を検出する。赤色画素検出の条件は、各画素のＲＧＢ値において、Ｒ／Ｇが、１つの所定の閾値以上であることとする。図４の（Ａ）において、符号２０が赤色画素であり、符号２１は、赤色ではなく、橙色の画素とする。そして、隣接する複数の赤色画素２０のグループ２２を判断する。符号２３は、隣接する複数の橙色画素２１のグループである。

次に、図４の（Ｂ）に示すように、赤色画素のグループ２２を囲う矩形（破線）２４を赤色光点とし、これをテールライトと判断する。

図５は、図４に示した技術の問題点を説明する図である。図５の（Ａ）は、画素のＲＧＢ分布を示し、縦軸がＲ、横軸がＧである。また、四角印が赤色画素であり、三角印が橙色画素である。

図５の（Ａ）に示すように、安価レンズを使用して、テールライト又は反射板を撮像した場合、赤色の画素と、橙色の画素とが混在する領域が存在してしまう。Ｒ／Ｇの単純な閾値２５では、赤色の画素領域と橙色の画素領域とを分離することは困難である。

高価格なレンズを使用すれば、このような問題の発生を抑制可能であるが、価格の上昇を招き、望ましいことではない。

また、閾値２５をさらに上げれば、図５の（Ｂ）に示したテールライトを、図５の（Ｃ）に示すような反射板と誤検知する率は減少するが、テールライトの検出の検出率も下がってしまう。これは、さらに上げた閾値２５以上の画素数が減少するためである。

図６は、本発明の原理におけるテールライト判定処理の概要を示す図である。

図６の（Ａ）は、赤色画素と橙色画素とが混在した画素のＲＧＢ分布図である。図６の（Ａ）の縦軸は、Ｒを示し、横軸はＧを示す。また、赤色画素は四角印で示し、橙色画素は三角印で示す。

図６の（Ａ）に示すように、閾値１と閾値２とを設定する。閾値１は、赤色画素しか含まない領域を検出する閾値であり、閾値２は、閾値１より、Ｒ／Ｇの値が小さく、赤色画素と橙色画素とを含む画素領域を検出する閾値である。

そして、閾値２以上の画素領域の中で、閾値１以上の画素の割合が一定値以上の場合には、図６の（Ｂ）に示すようなテールライトと判定する。テールライトの場合は、赤色画素と橙色画素とが混在し、赤色画素の割合が一定値（例えば、１０％以上）であると考えられるからである。

赤色画素の割合が一定値未満であれば、図６の（Ｃ）に示すような反射板と判定することができる。反射板の場合は、赤色画素と橙色画素とが混在するが、赤色画素の割合が一定値未満（例えば、１０％未満）であると考えられるからである。

図７は、本発明における光点検出処理の概要を示す図である。

図７の（Ａ）は、テールライトを撮像した画像であり、この画像から閾値１以上による赤色画素の検出を行う。閾値１による赤色画素の検出結果を図７の（Ｂ）に示す。

次に、図７の（Ａ）に示した画像から閾値２による赤色画素の検出を行う。閾値２による赤色画素の検出結果を図７の（Ｃ）に示す。閾値１は例えば４であり、閾値２は例えば２である。閾値２以上の画素は、赤色画素と橙色画素とが混在している。

そして、閾値１による赤色画素の検出結果と、閾値２による赤色画素の検出結果とを合成し、図７の（Ｄ）に示すような光点を得る。図７の（Ｄ）に示す光点画像の内の、閾値１以上の画素の割合を算出し、算出した割合が一定値以上場合はテールライトと判定し、一定値未満の場合は、反射板と判定する。

反射板の場合は、光点の周辺（端部）に赤色画素が存在する傾向にあるため、光点における赤色画素の位置により、反射板であるか否かを判定し、反射板ではない場合をテールライトであると判定することもできる。

以上が本発明の原理であり、この原理に基づく実施例について、以下に説明する。

（実施例１）
図１は、本発明の実施例１である画像処理装置の全体構成を示すブロック図である。

図１において、画像処理装置１は、外界を撮像するカメラ（撮像部）１１と、画像取得部１２と、画素検出部１９と、光点検出部１５と、テールライト判定部１６と、配光制御部１７とを備える。画素検出部１９は、第一閾値画素検出部１３と、第二閾値画素検出部１４とを有している。配光制御部１７からの配光制御信号は、ヘッドライト制御部１８に供給される。

画像取得部１２は、車両の前方に設置したカメラ１１の制御を行い、定期的に露光時間の設定および撮像を行う。

第一閾値画素検出部１３および第二閾値画素検出部１４は、画像取得部１２で取得した短露光画像を用いて、当該画像に含まれる所定の色の画素を検出する。

光点検出部１５は、第一閾値画素検出部１３および第二閾値画素検出部１４で検出した画素情報を用いて、赤色及び赤色に近い画素のグループ（光点）を検出する。

また、テールライト判定部１６は、検出された光点がテールライトであるか否かを判別する。配光制御部１７は、テールライト判定部１６の出力データに基づき、自車ヘッドライトの配光制御信号をヘッドライト制御部に供給する。ヘッドライト制御部１８は、配光制御部１７からの配光制御信号に従ってヘッドライト（光源）２５のハイビーム、ロービーム等の配光制御を行う。

図２は、本発明の実施例１におけるテールライト検知の処理手順を示すフローチャートである。以下、図２のフローチャートに基づいて、テールライト検出処理の流れを説明する。

図２のステップＳ１において、画像取得部１２は、カメラ１１に対して次に撮像する画像の露光時間を設定し、所定のタイミングで撮像を行う。

ステップＳ２において、第一閾値画素検出部１３は、ステップＳ１で撮像した画像を取得し、所定の色閾値（第一閾値）で判別される色を持つ画素を検出する。具体的には、画像データ中の各画素を走査して、赤成分（Ｒ）と緑成分（Ｇ）の比（Ｒ／Ｇ）が第一閾値（赤色度合いを示す閾値）以上である画素を検出する。第一閾値は例えば４である。

ステップＳ３において、第二閾値（赤色度合いを示す閾値）画素検出部１４は、ステップＳ２で検出した赤色画素の周辺画素について、第二閾値以上の画素を検出する。そして、光点検出部１５が、第二閾値以上の画素検出結果から光点を検出する。

次に、ステップＳ４において、テールライト判定部１６は、ステップＳ３にて検出した光点の第一閾値以上の画素数の割合、つまり光点の全体画素数に対する赤色画素数の割合を算出する。

そして、ステップＳ５において、テールライト判定部は、ステップＳ４にて算出した赤色画素数の割合が、テールライト判定閾値（例えば１０％）以上か否かを判定する。

ステップＳ５において、赤色画素数の割合がテールライト判定閾値以上であれば、ステップＳ６に進み、テールライト判定部１６は、光点を先行車のテールライトと判定し、遮光対象とする旨の情報を付加し、配光制御部１７に出力する。

ステップＳ５において、赤色画素の割合がテールライト判定閾値以上ではない場合は、ステップＳ７に進み、テールライト判定部１６は、光点はテールライトではなく、テールライト以外と判定し、遮光対象としない旨の情報を付加し、配光制御部１７に出力する。

ステップＳ７においては、テールライト以外と判定するのではなく、反射板であると判定し、遮光対象から除外する旨の情報を付加することとしてもよい。

ステップＳ８において、配光制御部１７は、ステップＳ６及びＳ７で得た判定及び情報に基づいて、自車両のヘッドライト（光源）の遮光領域を決定し、ヘッドライト制御部１８に配光を制御する指令信号を生成して送出し、配光制御を行う（光点検出結果を出力する）。

ヘッドライト制御部（光源制御部）１８は、配光制御部１７からの指令信号に従ってヘッドライト２５を制御する。

以上により、テールライト検出処理の１サイクルが完了する。

なお、図１に示した画像処理装置１と、ヘッドライト制御部１８とを組み合わせることにより配光制御システムを構成することができる。

上述したように、本発明の実施例１によれば、撮像した画像から、第一閾値以上の赤色画素を検出し、検出した赤色画素を基点として周辺画素を第一閾値より小さい第二閾値を使用して判断して光点を検出し、検出した光点の赤色画素の割合（第一閾値以上の画素の割合）を算出する。そして、算出した赤色画素の割合がテールライト判定閾値以上か否かを判定し、テールライト判定閾値以上であれば、テールライトと判定する。テールライト判定閾値未満であれば、テールライト以外の光点であると判定する。

従って、高価なレンズを使用することなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することができる。

（実施例２）
次に、本発明の実施例２について説明する。

図３は、本発明の実施例２におけるテールライト検知の処理手順を示すフローチャートである。

実施例１と実施例２との相違点は、テールライト検知の処理手順であり、他の構成は同等となっている。このため、図１に示した画像処理装置１および配光制御システムは、実施例１と実施例２とは共通とする。

図３のステップＳ１において、画像取得部１２は、カメラ１１に対して次に撮像する画像の露光時間を設定し、所定のタイミングで撮像を行う。

ステップＳ２Ａにおいて、第二閾値画素検出部１４は、ステップＳ１で撮像した画像を取得し、所定の色閾値（第二閾値）で判別される色を持つ画素を検出する。光点検出部１５は、検出した画素を有する光点を検出する。

具体的には、画像データ中の各画素を走査して、赤成分（Ｒ）と緑成分（Ｇ）の比（Ｒ／Ｇ）が第二閾値以上である画素を検出し、検出された画素同士が画像上で所定の距離以内にあるものを同一グループとして連結し、それらの画素群が占める領域を光点とみなす。本ステップにより複数の光点が検出され得る。第二閾値は例えば２である。

次に、ステップＳ３Ａにおいて、テールライト判定部１６は、検出した光点内の画素における第一閾値以上の画素の割合を算出する。複数の光点が存在する場合は、光点ごとに検出した光点内の画素における第一閾値以上の画素の割合を算出する。

次に、ステップＳ５において、テールライト判定部１６は、ステップＳ３Ａで算出した各光点の第一閾値以上の画素（赤色画素）の割合が所定のテールライト判定閾値（例えば１０％）以上か否かを判定する。

ステップＳ５において、赤色画素の割合がテールライト判定閾値以上であれば、ステップＳ６に進み、テールライト判定部１６は、光点を先行車のテールライトと判定し、遮光対象とする旨の情報を付加し、配光制御部１７に出力する。

ステップＳ５において、赤色画素の割合がテールライト判定閾値以上ではない場合は、ステップＳ７に進み、テールライト判定部１６は、光点はテールライトではなく、テールライト以外と判定し、遮光対象としない旨の情報を付加し、配光制御部１７に出力する。

ステップＳ７においては、実施例１と同様に、テールライト以外と判定するのではなく、反射板であると判定し、遮光対象から除外する旨の情報を付加することとしてもよい。

ステップＳ８において、配光制御部１７は、ステップＳ６及びＳ７で得た判定及び情報に基づいて、自車両のヘッドライト（光源）の遮光領域を決定し、ヘッドライト制御部１８に配光を制御する指令信号を生成して送出し、配光制御を行う（光点検出結果を出力する）。

ヘッドライト制御部１８は、配光制御部１７からの指令信号に従ってヘッドライトを制御する。

ステップＳ８において、配光制御部１７は、ステップＳ６およびＳ７で得た光点情報に基づいて、自車両のヘッドライトの遮光領域を決定し、配光制御を行う。

以上により、テールライト検出処理の１サイクルが完了する。

上述したように、本発明の実施例２によれば、撮像した画像から、第二閾値以上の画素を含む単数又は複数の光点を検出し、検出した光点内の画素の第一閾値以上の画素（赤色画素）の割合を算出する。そして、算出した赤色画素の割合がテールライト判定閾値以上か否かを判定し、テールライト判定閾値以上であれば、テールライトと判定する。テールライト判定閾値未満であれば、テールライト以外の光点であると判定する。この場合、道路上の反射板と判定することができる。

従って、実施例１と同様に、高価なレンズを使用することなく、テールライトを高精度に識別可能な画像処理装置および配光制御システムを実現することができる。

上述した実施例１及び実施例２以外の実施例としては、検出した光点のうちの第一閾値以上の画素（赤色画素）の割合ではなく位置により、テールライトか否かを判定する例がある。安価なレンズを用いて道路上の反射板を撮像した場合、得られた光点の端の部分（光点の外周部分）に赤色画素が現れる傾向にあるため、その場合には、テールライトではないと判定する。

この例の場合の処理フローは、図２のステップＳ４、図３のステップＳ３Ａの赤色画素の割合の算出に代えて、「赤色画素の位置を算出する」とし、図２及び図３のステップＳ５の赤色画素の割合が閾値以上に代えて「赤色画素の位置が光点の端では無い」とする。
赤色画素の位置を算出すること、及び赤色画素の位置が光点の端では無いか否かを判定することは、テールライト判定部１６により実行される。

なお、上述した例は、本発明を車両に搭載される画像処理装置および配光制御システムに適用した場合の例であるが、本発明は車両以外にも適用可能である。例えば、交通量を監視するための自動車監視装置に適用し、道路上の反射板をテールライトと誤認識することを抑制することができる。

１・・・画像処理装置、１１・・・カメラ、１２・・・画像取得部、１３・・・第一閾値画素検出部、１４・・・第二閾値画素検出部、１５・・・光点検出部、１６・・・テールライト判定部、１７・・・配光制御部、１８・・・ヘッドライト制御部、１９・・・画素検出部、２０・・・赤色画素、２１・・・橙色画素、２２・・・赤色画素グループ、２３・・・橙色画素グループ、２４・・・赤色光点、２５・・・ヘッドライト（光源）

Claims (10)

1. 外界を撮像する撮像部と、
   上記撮像部により撮像された画像を取得する画像取得部と、
   上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、
   上記画素検出部により、検出された上記第二閾値以上の画素から光点を検出する光点検出部と、
   検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
   上記テールライト判定部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
   上記テールライト判定部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
   上記テールライト判定部は、上記光点における第一閾値以上の画素の位置を算出し、算出した上記画素の位置が上記光点の端であるか否かを判定し、算出した上記画素の位置が上記光点の端ではないときには、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
   上記テールライト判定部は、上記光点における第一閾値以上の画素の位置を算出し、算出した上記画素の位置が上記光点の端であるか否かを判定し、算出した上記画素の位置が上記光点の端ではないときには、上記光点は車両のテールライトであると判定することを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
   上記テールライト判定部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値未満であれば、上記光点は道路上の反射板であると判定することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
   上記テールライト判定部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値未満であれば、上記光点は道路上の反射板であると判定することを特徴とする画像処理装置
8. 外界を撮像する撮像部と、上記撮像部により撮像された画像を取得する画像取得部と、上記画像取得部により取得された画像の、赤色度合いを示す第一閾値以上の画素、及び上記第一閾値より小さい第二閾値以上の画素を検出する画素検出部と、上記画素検出部により、検出された上記第二閾値以上の画素から光点を検出する光点検出部と、検出された上記第一閾値以上の画素及び上記第二閾値以上の画素に基いて、上記光点が、車両のテールライトであるか否かを判定するテールライト判定部と、このテールライト判定部の判定結果に従って配光を制御する指令を生成する配光制御部と、を有する画像処理装置と、
   上記配光制御部からの指令信号に従って光源を制御する光源制御部と、
   を備えることを特徴とする配光制御システム。
9. 請求項８に記載の配光制御システムにおいて、
   上記光点検出部は、上記画素検出部により検出された上記第一閾値以上の画素の周辺画素の上記第二閾値以上の画素を判断して、光点を検出し、
   上記テールライト判定部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする配光制御システム。
10. 請求項８に記載の配光制御システムにおいて、
    上記光点検出部は、上記画素検出部により検出された上記第二閾値以上の画素を有する光点を検出し、
    上記テールライト判定部は、上記光点における第一閾値以上の画素数の割合を算出し、算出した上記割合が、予め定めたテールライト判定閾値以上であれば、上記光点は車両のテールライトであると判定することを特徴とする配光制御システム。

Images