JP6194604B2 - 認識装置、車両及びコンピュータが実行可能なプログラム - Google Patents

Description

本発明は、認識装置、車両及びコンピュータが実行可能なプログラムに関する。

近年、自動車の安全性や利便性を向上するため、車載カメラを利用した運転支援システムが実用化されている。かかる運転支援システムにおいて、衝突防止などの機能を実現するためには、走行空間における交差点の認識が非常に重要である。ステレオカメラを用いると視覚情報だけではなく距離情報も得ることができるため、最近ではステレオカメラを利用した運転支援システムに関する研究が多く行われている。

従来の交差点認識方法は、交差点周りに交差車両があることを前提し、カメラから撮影した輝度画像から交差車両を認識し、そして、レーダ装置によって交差車両への距離を取得することによって、車両の交差点への進入を認識するものである。交差車両がない場合に交差点の認識ができないと、システム構成が複雑で、リアルタイム処理が難しいという問題がある。

例えば、特許文献１では、交差点状況を正確に判定する目的で、車両の所定の箇所に撮像装置とレーダ装置が取り付けられ、車両の前方を撮影する撮像装置からの輝度画像に対して画像認識処理を行い、交差点を移動する交差車両を車両候補物として検出する。そして、検出された車両候補物に対し、レーダ装置によって車両候補物までの距離を取得し、車両の交差点への進入を認識している。

しかしながら、特許文献１では、交差点状況の認識は交差車両があることを前提として、さらに検出された交差車両に対し、レーダ装置で距離情報を取得するため、上述したように、交差車両がない場合に交差点の認識ができないと、システム構成が複雑で、リアルタイム性の実現が困難であるという問題がある。

本発明は、上記に鑑みてなされたものであって、簡単な構成で高精度な認識を行うことが可能な認識装置、車両及びコンピュータが実行可能なプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、ステレオカメラで路面を撮影してステレオ画像を取得するステレオ画像取得部と、前記ステレオ画像取得部で撮影されたステレオ画像に基づいて視差画像を生成する視差画像生成部と、前記視差画像に基づいて、前記視差画像のＸ方向の視差データの出現回数を示す第１の情報、前記視差画像のＸ方向の視差データの最大高さを示す第２の情報、及び前記視差画像のＸ方向の視差データの最小高さを示す第３の情報を生成する視差情報生成部と、前記路面についての特徴量を記憶する特徴量記憶部と、前記第１の情報、第２の情報、及び第３の情報と前記特徴量とに基づいて、前記路面の状況を認識する認識演算処理部と、を備えていることを特徴とする。

また、上述した課題を解決し、目的を達成するために、本発明は、ステレオ画像取得部で路面を撮影したステレオ画像に基づいて視差画像を生成する工程と、前記視差画像に基づいて、前記視差画像のＸ方向の視差データの出現回数を示す第１の情報、前記視差画像のＸ方向の視差データの最大高さを示す第２の情報、及び前記視差画像のＸ方向の視差データの最小高さを示す第３の情報を生成する工程と、前記第１の情報、第２の情報、及び第３の情報と記憶部に記憶されている前記路面についての特徴量とに基づいて、前記路面の状況を認識する工程と、をコンピュータに実行させることを特徴とする。

本発明によれば、簡単な構成で高精度な認識を行うことが可能な認識装置、車両及びコンピュータが実行可能なプログラムを提供することが可能となるという効果を奏する。

図１は、本実施の形態に係る交差点認識装置の概略のハードウェア構成例を示す図である。 図２は、本実施の形態に係る交差点認識装置１の機能構成例を示す図である。 図３は、左右輝度画像と視差画像を説明するための図である。 図４は、視差画像とＵ−ＭａｐやＵ−Ｈｅｉｇｈｔ−ＭａｐやＵ−Ｌｏｗ−Ｍａｐの関係を説明するための図である。 図５は、交差点認識処理を説明するためのフローチャートを示す図である。 図６は、輝度画像とＵ−ＭａｐやＵ−Ｌｏｗ−ＭａｐやＵ−Ｈｅｉｇｈｔ−ＭａｐやＵ−Ｒｅａｌ−Ｍａｐとの関係を説明するための図である。 図７は、交差点認識の例を説明するための図である。

以下、本実施の形態に係る交差点認識装置及びコンピュータが実行可能なプログラムを説明する。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置し設計してもよいことは容易に理解できる。したがって、本発明の装置、方法、およびプログラムの実施の形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施の形態の一例を示すものであって、本明細書の特許請求の範囲に示す本発明と矛盾無く装置、システムおよび方法についての選択した実施の形態を単に示すものである。当業者は、特定の細目の１つ以上が無くても、または他の方法、部品、材料でも本発明を実現できることが理解できる。

本実施の形態の交差点認識装置は車両搭載用として使用することができる。図１は、本実施の形態に係る交差点認識装置の概略のハードウェア構成例を示す図である。交差点認識装置１は、図１に示すように、撮像部２と、ＦＰＧＡ（視差計算）３と、フレームバッファ４と、画像表示装置５と、ＭＰＵ６と、メモリ７と、を備えている。

撮像部２は、車両の前方に、左右平行に取り付けられた左カメラ１１及び右カメラ１２（ステレオカメラ）を備え、左右カメラ１１、１２で道路前方を撮影し、そのステレオ画像（左右輝度画像）をＦＰＧＡ３に出力する。カメラはレンズや撮像素子等で構成されている。ＦＰＧＡ３は、撮像部２で取得したステレオ画像から視差画像（視差データ）を高速に算出して、視差画像及び左右輝度画像をフレームバッファ４に格納する。

フレームバッファ４は、視差画像、左右輝度画像、交差点認識処理の認識結果画像等を格納する。画像表示装置５は、フレームバッファ４に格納された交差点認識処理の結果画像等やカメラ画像を表示する。メモリ７は、交差点認識処理に使用するための、検出対象の路面についての路面高さ差分特徴量及び交差点路肩広さ特徴量を記憶している。ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６は、視差画像及びメモリ７に格納された路面高さ差分特徴量及び交差点路肩広さ特徴量に基づいて、交差点認識処理を行う。

図２は、本実施の形態に係る交差点認識装置１の機能構成例を示す図である。図３は、左右輝度画像と視差画像の一例を説明するための図である。図４は、視差画像とＵ−Ｍａｐ（第１のマップ）やＵ−Ｈｅｉｇｈｔ−Ｍａｐ（第２のマップ）やＵ−Ｌｏｗ−Ｍａｐ（第３のマップ）の関係を示す図である。

交差点認識装置１は、図２に示すように、ステレオ画像取得部２１と、視差画生成部２２と、特徴量記憶部２３と、視差マップ生成部２３と、認識処理演算部２４と、特徴量記憶部２５と、認識結果画像表示部２６とを備えている。

ステレオ画像取得部２１は、車両の前方に平行に取り付けられた左右のカメラ（ステレオカメラ）で路面前方を撮影して左右輝度画像（ステレオ画像）を取得し、左右輝度画像を視差画像生成部２２に出力する。

視差画生成部２２は、ステレオ画像取得部２１から入力される左右輝度画像のステレオマッチング処理を行って視差画像を生成する。視差画生成部２２は、左右輝度画像と生成した視差画像を視差マップ生成部２３に出力する。より具体的には、視差画生成部２２は、左右輝度画像間で相互に対応する部分画像を検出（ステレオマッチング処理）し、部分画像間の視差で構成される視差画像を生成する。図３は、左右輝度画像と視差画像の一例を示しており、同図において、左輝度画像と右輝度画像に対してステレオマッチング処理を行うことで、視差画像を生成する。

特徴量記憶部２５は、検出対象の路面の路面高さ差分特徴量と交差点路肩広さ特徴量を記憶している。路面高さ差分特徴量は、路肩と物体を判別するための基準として使用される。交差点路肩広さ特徴量は、路肩の端点の間に交差点があるか否かを判別するための基準として使用される。

視差マップ生成部２３は、視差画像上の視差データに基づいて視差マップを作成する。視差マップは、例えば、視差画像のＸ方向の視差データのヒストグラム（出現回数）を示すＵ−Ｍａｐと、視差画像のＸ方向の視差データの最大高さを示すＵ−Ｈｅｉｇｈｔ−Ｍａｐと、視差画像のＸ方向の視差データの最小高さを示すＵ−Ｌｏｗ−Ｍａｐである。

図４に示すように、視差画像はＸ方向及びＹ方向の視差データで規定されており、Ｘ方向について視差画像の視差データの出現回数を規定したものがＵ−Ｍａｐの値となる。視差データの一番高い行数がＵ−Ｈｅｉｇｈｔ−Ｍａｐの値となる。視差データの一番低い行数がＵ−Ｌｏｗ−Ｍａｐの値となる。

認識処理演算部２４は、視差マップ（Ｕ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ、Ｕ−Ｌｏｗ−Ｍａｐ）と、特徴量記憶部２５に記憶した路面高さ差分特徴量と交差点路肩広さ特徴量とに基づいて、交差点認識処理を行う。具体的には、認識処理演算部２５は、Ｕ−Ｍａｐ上で抽出した線に基づき、Ｕ−Ｌｏｗ−Ｍａｐ上で路肩の仮認識を行い、Ｕ−Ｌｏｗ−Ｍａｐ上で仮認識した路肩からＵ−Ｈｅｉｇｈｔ−Ｍａｐ上で認識された物体を除去して、Ｕ−Ｒｅａｌ−Ｍａｐ（リアルマップ）を生成し、Ｕ−Ｒｅａｌ−Ｍａｐ上で端点を抽出し、抽出した端点の距離と、交差点路肩広さ特徴量とを比較して交差点を認識する。

認識結果画像表示部２６は、カメラからの各種画像や交差点認識処理の認識結果画像（交差点路肩を線と枠などで重畳表示した画像）を表示する。

図５は、図２のように構成される交差点認識装置１の交差点認識処理の手順を説明するためのフローチャートである。図６は、輝度画像とＵ−ＭａｐやＵ−Ｈｅｉｇｈｔ−ＭａｐやＵ−Ｌｏｗ−ＭａｐやＵ−Ｒｅａｌ−Ｍａｐの関係の一例を示す図である。図７は、交差点認識処理の具体例を説明するための図である。交差点認識装置１の交差点認識処理を図５のフローチャートに従って、図６及び図７を参照しつつ説明する。

図５において、視差画像生成部２２は、ステレオ画像取得部２１で撮影された左右の輝度画像（図６（ａ）及び図７（ａ）参照）に基づいて視差画像を生成する（ステップＳ１）。視差マップ生成部２３は、視差画像に基づいて、視差マップ（Ｕ−Ｍａｐと、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐと、Ｕ−Ｌｏｗ−Ｍａｐ）を生成する（ステップＳ２）。

認識処理演算部２４は、Ｕ−Ｍａｐ（図６（ｂ）及び図７（ｂ）参照）のノイズ除去と線の抽出を行う（ステップＳ２）。具体的には、例えば、最小二乗法やハフ変換処理などによる直線近似処理を行って線の抽出を行う。

認識処理演算部２４は、Ｕ−Ｍａｐ上で抽出した線に基づき、Ｕ−Ｌｏｗ−Ｍａｐ上で路肩の仮認識を行う（ステップＳ３）。具体的には、例えば、Ｕ−Ｌｏｗ−Ｍａｐ上で抽出した線を第１段階として、全て路肩として仮認識する（図６（ｃ）及び図７（ｃ）参照）。

認識処理演算部２４は、Ｕ−Ｌｏｗ−Ｍａｐ上で仮認識した路肩に対し、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ上での高さ差分を特徴量記憶部２５に記憶した路面高さ差分特徴量と比べ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ上で物体を認識（図６（ｄ）及び図７（ｄ）参照）する（ステップＳ５）。具体的には、仮認識した路肩に対して、Ｕ−Ｈｅｉｇｈｔ−ＭａｐとＵ−Ｌｏｗ−Ｍａｐの差分を高さ差分として算出する。視差データに基づき距離情報を得ることができ、距離と実際の高さずれとは三角関係があり、実際の高さずれとＵ−Ｈｅｉｇｈｔ−ＭａｐやＵ−Ｌｏｗ−Ｍａｐ上の高さ差分とは正比例関係があるので、視差データから距離を算出し、その距離情報から高さ差分を利用し、実際の高さずれを算出することができる。実際の高さずれは路面高さ差分特徴量より大きい場合は、物体として認識し、路面高さ差分特徴量より小さい場合は路肩として認識する。

認識処理演算部２４は、Ｕ−Ｌｏｗ−Ｍａｐ上で仮認識した路肩からＵ−Ｈｅｉｇｈｔ−Ｍａｐ上で認識された物体を除去し、Ｕ−Ｒｅａｌ−Ｍａｐ（図６（ｅ）参照）を生成する（ステップＳ６）。ここで、Ｕ−Ｒｅａｌ−Ｍａｐ上にある線は全て路肩と想定する。

認識処理演算部２４は、Ｕ−Ｒｅａｌ−Ｍａｐ上の線に対し、端点を抽出し、端点の視差データに基づき、それぞれ端点の距離情報を計算する（図７（ｅ）参照）。直線近似処理を行うためには、最小二乗法やハフ変換処理などを実施し、ハフ変換では、端点を持つ線分として直線を検出することができ、そこから端点情報を得ることができる。

認識処理演算部２４は、Ｕ−Ｒｅａｌ−Ｍａｐ上で計算した路肩の端点距離差を交差点路肩広さ特徴量と比べ、交差点を認識する（ステップＳ７）。具体的には、路肩の端点距離差が交差点路肩広さ特徴量より大きいときには、交差点と認識する。

認識結果画像表示部２６は、輝度画像上での位置関係に基づき、交差点状況（図７（ｆ）参照）を表示する（ステップＳ８）。ここで、交差点状況とは、自動車の進行方向のどれぐらい前に交差点があるかという判断と車両が交差点へ進行する状況である。例えば、認識結果画像表示部２６は、ユーザに交差点を確認させるために、路肩と交差点路肩を違う色の線（図７（ｆ）に示す例では赤と緑）として輝度画像に重畳表示させる。

以上説明したように、本実施の形態によれば、ステレオ画像取得部２１は、ステレオカメラで道路前方を撮影してステレオ画像を取得し、視差画像生成部２２は、ステレオ画像取得部２１で撮影されたステレオ画像に基づいて視差画像を生成し、視差マップ生成部２３は、視差画像に基づいて視差マップ（視差画像のＸ方向の視差データの出現回数を示すＵ−Ｍａｐと、視差画像のＸ方向の視差データの最大高さを示すＵ−Ｈｅｉｇｈｔ−Ｍａｐと、及び視差画像のＸ方向の視差データの最小高さを示すＵ−Ｌｏｗ−Ｍａｐ）を生成し、認識処理演算部２５は、Ｕ−Ｍａｐ上で抽出した線に基づき、Ｕ−Ｌｏｗ−Ｍａｐ上で路肩の仮認識を行い、Ｕ−Ｌｏｗ−Ｍａｐ上で仮認識した路肩からＵ−Ｈｅｉｇｈｔ−Ｍａｐ上で認識された物体を除去して、Ｕ−Ｒｅａｌ−Ｍａｐを生成し、Ｕ−Ｒｅａｌ−Ｍａｐ上で端点を抽出し、抽出した端点の距離と、交差点路肩広さ特徴量とを比較して交差点を認識することとしたので、交差車両がない場合でも、簡単な構成で高精度な交差点認識を行うことが可能となる。

なお、上記交差点認識装置の各構成部の機能をコンピュータがプログラムを実行することにより実現してもよい。交差点認識装置で実行されるプログラムは、不図示のＲＯＭ等に予め組み込まれて提供される。

また、交差点認識装置で実行されるプログラムは、インストール可能な形式、または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上記交差点認識装置で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

また、上記交差点認識装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

このような、上記交差点認識装置で実行されるプログラムは、上述した各構成部を含むモジュール構成となっており、実際のハードウェアとしては、図示省略したＣＰＵ（プロセッサ）がＲＯＭなどに格納されているプログラムを読み出して実行することにより、上記各部を主記憶装置上にロードすることで、それぞれの構成部が主記憶装置上に生成されるようになっている。

１ 交差点認識装置
２ 撮像部
３ ＦＰＧＡ
４ フレームバッファ
５ 画像表示装置
６ ＭＰＵ
７ メモリ
２１ ステレオ画像取得部
２２ 視差画生成部
２３ 特徴量記憶部
２４ 視差マップ生成部
２５ 認識処理演算部
２６ 認識結果画像表示部

特許第４６１３７３８号

Claims (6)

1. ステレオカメラで路面を撮影してステレオ画像を取得するステレオ画像取得部と、
   前記ステレオ画像取得部で撮影されたステレオ画像に基づいて視差画像を生成する視差画像生成部と、
   前記視差画像に基づいて、前記視差画像のＸ方向の視差データの出現回数を示す第１の情報、前記視差画像のＸ方向の視差データの最大高さを示す第２の情報、及び前記視差画像のＸ方向の視差データの最小高さを示す第３の情報を生成する視差情報生成部と、
   前記路面についての特徴量を記憶する特徴量記憶部と、
   前記第１の情報、第２の情報、及び第３の情報と前記特徴量とに基づいて、前記路面の状況を認識する認識演算処理部と、
   を備えたことを特徴とする認識装置。
2. 前記ステレオカメラは、左右平行に取り付けられた２台のカメラであり、前記ステレオ画像取得部は、時系列的に前記ステレオ画像を取得することを特徴とする請求項１に記載の認識装置。
3. 前記視差画像生成部は、前記ステレオ画像取得部で取得したステレオ画像を構成する右画像と左画像間で相互に対応する部分画像を検出し、検出した部分画像間の視差で構成される前記視差画像を生成することを特徴とする請求項１又は請求項２に記載の認識装置。
4. 前記認識演算処理部は、前記第１の情報を用いて抽出した線に基づき、前記第３の情報を用いて路肩の仮認識を行い、前記第３の情報を用いて仮認識した路肩から前記第２の情報を用いて認識された物体を除去して、第４の情報を生成し、前記第４の情報を用いて端点を抽出し、抽出した端点の距離と前記特徴量とを比較して路面の状況を認識することを特徴とする請求項１〜３のいずれか１つに記載の認識装置。
5. 請求項１〜４のいずれか１つに記載の認識装置と、
   前記認識装置において利用されるステレオ画像を撮影するステレオカメラと、
   を備えたことを特徴とする車両。
6. ステレオ画像取得部で路面を撮影したステレオ画像に基づいて視差画像を生成する工程と、
   前記視差画像に基づいて、前記視差画像のＸ方向の視差データの出現回数を示す第１の情報、前記視差画像のＸ方向の視差データの最大高さを示す第２の情報、及び前記視差画像のＸ方向の視差データの最小高さを示す第３の情報を生成する工程と、
   前記第１の情報、第２の情報、及び第３の情報と記憶部に記憶されている前記路面についての特徴量とに基づいて、前記路面の状況を認識する工程と、
   をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。