JP6764378B2 - 車外環境認識装置 - Google Patents

Description

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

また、上記立体物を検出する技術として、自車両の側方を撮影した画像パターンを参照し、エッジの自車両前後方向の対称性に基づいて、自車両と並走する並走車を検出する技術が開示されている（例えば、特許文献２）。

特許第３３４９０６０号公報 特開２００８−１３４８７７号公報

自車両の進行方向に存在する特定物としては、同方向に走行する先行車両や、進行路を自車両横方向に横断する歩行者（人）および自転車等がある。このような進行路を横断する歩行者や自転車等については、その輪郭によって歩行者らしさ、または、自転車らしさを判定するのが望ましい。ただし、歩行者は、自動車や自転車と比べ、その絶対的な体積が小さく、その挙動が不安定なことが多い。したがって、全体の輪郭等により歩行者であることが確定するまで待っていると、その間に自車両と歩行者との距離が短くなり、衝突回避制御として急な動作を要することになってしまう。

特に、自動車等の立体物の背後から進行路に歩行者が飛び出してきた場合においては、その立体物と歩行者との自車両に対する相対距離が連続している間は、距離情報のみでは立体物と歩行者とを区別できず、歩行者の早期検出が困難になっていた。

本発明は、このような課題に鑑み、歩行者等の特定物を早期かつ安定して検出可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、輝度画像、および、輝度画像と異なる、距離情報を含む距離画像が参照され、輝度画像に基づく単眼認識により、その形状パターンから人が存在する立体物領域を特定する立体物領域特定部と、立体物領域を距離画像に対応させ、距離画像における距離情報に基づいて立体物領域の所定部位を特定する所定部位特定部と、を備える。

特定された所定部位の移動速度を導出する移動速度導出部をさらに備えるとしてもよい。

所定部位は、人の肩に相当する垂直位置の水平方向中央であってもよい。

本発明によれば、歩行者等の特定物を早期かつ安定して検出することが可能となる。

車外環境認識システムの接続関係を示したブロック図である。 輝度画像と距離画像を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 立体物領域特定処理を説明するための説明図である。 所定部位特定処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者（人）、車両、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、歩行者の頭部や肩部等、その一部として特定できる物も含む。

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて、視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を、検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。

図２は、輝度画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のような輝度画像１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このような輝度画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

また、車外環境認識装置１２０は、輝度画像１２６に基づく輝度値（カラー値）、および、距離画像１２８に基づいて算出された、自車両１との相対距離を含む実空間における三次元の位置情報を用い、カラー値が等しく三次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１前方の検出領域における対象物がいずれの特定物（例えば、先行車両や歩行者）に対応するかを特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

図１に戻り説明すると、車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、自車両１前方の検出領域における立体物（例えば、歩行者）の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、立体物領域特定部１６０、所定部位特定部１６２、移動速度導出部１６４、衝突回避制御部１６６としても機能する。以下、本実施形態に特徴的な歩行者（人）を認識する車外環境認識処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

（車外環境認識処理）
図４は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、まず、立体物領域特定部１６０が、輝度画像１２６に基づく単眼認識により歩行者が存在する立体物領域を特定する立体物領域特定処理（Ｓ２００）が実行される。そして、所定部位特定部１６２が、立体物領域を距離画像に対応させ、距離情報に基づいて立体物領域の所定部位を特定する所定部位特定処理（Ｓ２０２）が実行され、移動速度導出部１６４が、特定された所定部位の移動速度を導出する移動速度導出処理（Ｓ２０４）が実行される。最後に、衝突回避制御部１６６が、衝突回避制御を実行する衝突回避制御処理（Ｓ２０６）が実行される。なお、車外環境認識処理は、輝度画像１２６や距離画像１２８が取得されたフレーム毎に繰り返し実行される。

（立体物領域特定処理Ｓ２００）
図５は、立体物領域特定処理Ｓ２００を説明するための説明図である。ここで、仮に、図５（ａ）に示す距離画像１２８に基づいて歩行者を特定することを試みたとする。ここでは、距離画像１２８内に位置する自動車に対応する立体物２１０の背後から、歩行者に対応する立体物２１２が飛び出した場合を想定している。このとき、自動車と歩行者とは別体の関係にあるが、両者の距離が近い間、図５（ｂ）のように、自動車に対応する立体物２１０と歩行者に対応する立体物２１２とは自車両１に対する相対距離が連続することになる。そのため、距離画像１２８に基づいて立体物を検出すると、図５（ａ）のように、自動車に対応する立体物２１０と歩行者に対応する立体物２１２とをいずれも含んだ大きな立体物領域２１４が形成されることとなる。そうすると、自動車と歩行者とを区別することができない。

ここで、距離画像１２８ではなく、輝度画像１２６により歩行者を特定することを試みる。例えば、図５（ｃ）のように、２つの輝度画像１２６のうち一方のみ（単眼画像）における任意の画像の形状（パターン）から、機械学習を用いて特定物を認識する認識技術（以下、単に「単眼認識」と呼ぶ）を採用し、歩行者を特定する。この場合、図５（ｃ）のように、歩行者のみを適切に含むように、立体物領域２１６が形成される。

しかし、かかる単眼認識では、その立体物が歩行者であることの特定率は高いものの、その位置の特定精度はさほど高くなく、また、歩行者の挙動に応じて立体物領域２１６の形状が変化し易い。したがって、車外環境認識システム１００では、進行路に歩行者が存在することは把握できるが、その移動速度を正確に特定できず、歩行者との衝突回避制御が不安定になるおそれがある。

そこで、本実施形態では、単眼認識による、立体物が歩行者であることの特定と、輝度画像１２６を用いた歩行者の位置や移動速度の特定とを効率的に融合し、歩行者等の特定物を早期かつ安定して検出することを目的とする。

したがって、立体物領域特定部１６０は、まず、図５（ｃ）に示したように、輝度画像１２６に基づく単眼認識により、歩行者が存在する立体物領域２１６を特定する。しかし、単眼認識した結果によっては、歩行者の移動速度は導出しない。

（所定部位特定処理Ｓ２０２）
図６は、所定部位特定処理Ｓ２０２を説明するための説明図である。所定部位特定部１６２は、単眼認識により輝度画像１２６上で特定した立体物領域２１６を、そのまま距離画像１２８上の同位置に対応させる。したがって、図６（ａ）のように、距離画像１２８上に、輝度画像１２６と同一（同一形状、同一面積）の立体物領域２１６が形成される。

次に、所定部位特定部１６２は、図６（ｂ）のように、距離画像１２８上において、立体物領域２１６を所定数（ここでは８）に等分割し、画面の上から所定数（ここでは２）の位置の短冊（図６（ｃ）参照）に含まれる立体物２１２を抽出する。ここでは、歩行者を垂直に８等分した上から２つ目の領域に肩部があることを想定して、その抽出位置を決めている。

そして、所定部位特定部１６２は、抽出した領域のうち、距離情報を有する部位（画素やブロック）の左端部と右端部とを特定する。ここで、距離情報を有する部位とは、立体物２１２の相対距離の平均値を基準に相対距離が所定の範囲（例えば±１ｍ）に含まれる部位をいう。なお、当該抽出した領域に距離情報を有する部位が無い場合、その立体物２１２は歩行者ではないとして当該車外環境認識処理を終了する。

そして、所定部位特定部１６２は、図６（ｃ）のように、水平位置が、特定した左端部と右端部の中央であり、垂直位置が抽出した短冊の中央である点を所定部位２１８として特定する。

（移動速度導出処理Ｓ２０４）
移動速度導出部１６４は、このように今回特定された所定部位２１８の距離画像１２８における位置と、前回取得時において特定された所定部位２１８の距離画像１２８における位置との差分、および、その相対距離に基づいて、その所定部位２１８の移動方向および移動速度を導出する。そして、今回特定された所定部位２１８を次回の前回値とするためにデータ保持部１５２に保持する。

（衝突回避制御処理Ｓ２０６）
衝突回避制御部１６６は、立体物領域特定部１６０が特定した立体物領域２１６が歩行者であり、その歩行者が、移動速度導出部１６４が導出した移動方向および移動速度で移動しているとして、その歩行者との衝突を回避すべく、衝突回避制御を実行する。

上述したように、本実施形態では、まず、立体物が歩行者であることを単眼認識により特定するようにしているので、距離情報のみを用いる場合に比べ、早期に歩行者を検出することができる。そして、その歩行者の位置や移動速度を、単眼認識のみに依存することなく、距離画像１２８を用いて特定することで、位置や移動速度の特定精度を高めることが可能となる。したがって、歩行者等の特定物を早期かつ安定して検出することができる。

また、歩行者の位置を特定する上で、その垂直位置を人の肩部に相当する位置（首部と胸部との間）とすることで、頭部や足部に比べ軸がぶれることなく、特定精度を高めることができる。なお、軸がぶれないという点において、腰部を用いることも可能であるが、歩行により前後する腕や手の影響でその軌跡が安定しない場合があるので、やはり肩部が望ましい。

また、歩行者の位置を特定する上で、その水平位置を人の肩部の中央に相当する位置とすることで、歩行により両肩が前後する場合においても、安定した移動軌跡を取得することが可能となる。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、立体物として歩行者（人）を挙げ、その所定部位として、歩行者の肩に相当する垂直位置の水平方向中央を挙げているが、かかる場合に限らず、単眼認識の対象となり得る立体物であれば、自転車、自動二輪、自動車等、様々な立体物を対象とすることができる。

また、上述した実施形態においては、所定部位として、歩行者の肩に相当する垂直位置を挙げ、その具体的な領域として、立体物領域２１６を垂直に８等分した上から２つ目の領域を抽出しているが、分割数や対象とする位置はかかる場合に限らず、例えば、４等分した最上位や、５等分した上から２つ目等、様々な数値を適用することができる。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に利用することができる。

１２０ 車外環境認識装置
１６０ 立体物領域特定部
１６２ 所定部位特定部
１６４ 移動速度導出部

Claims (3)

1. 輝度画像、および、前記輝度画像と異なる、距離情報を含む距離画像が参照され、
   前記輝度画像に基づく単眼認識により、その形状パターンから人が存在する立体物領域を特定する立体物領域特定部と、
   前記立体物領域を前記距離画像に対応させ、前記距離画像における距離情報に基づいて前記立体物領域の所定部位を特定する所定部位特定部と、
   を備える車外環境認識装置。
2. 特定された前記所定部位の移動速度を導出する移動速度導出部をさらに備える請求項１に記載の車外環境認識装置。
3. 前記所定部位は、人の肩に相当する垂直位置の水平方向中央である請求項１または２に記載の車外環境認識装置。

Images