JP6118096B2 - Ａｖ画像基盤の駐車位置設定装置及びその方法 - Google Patents

Description

本発明は、ＡＶ画像基盤の駐車位置設定装置及びその方法に係り、より詳しくは、ＡＶＭ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ）システムと連動して獲得した連続されたＡＶ（Ａｒｏｕｎｄ Ｖｉｅｗ）画像内で駐車空間を認識した後、多様な指定方式を介して運転者から指定された駐車空間を駐車位置に設定する技術に関する。

車両内運転者の左／右側及び後方視界は、車体により遮られた部分が存在するため非常に限定的である。
これを補うため、車両には運転者が左／右側及び後方を間接的に見ることができるようにするサイドミラー及びルームミラーなどが取り付けられているが、これもまた限界があるので、最近は車両にカメラを取り付け、これを介し撮影された周辺画像を運転者に提供する技術が開発されている。
一例として、車両の前後左右側面にそれぞれ設けられたカメラを介して車両の周辺を３６０゜見せるＡＶＭ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ）システムがある。

ＡＶＭシステムは、各カメラを介し撮影された画像等を対象にビュー変換（一例として、トップビュー（Ｔｏｐ Ｖｉｅｗ））を行って車両の周辺を３６０゜見せるＡＶ画像を生成したあと運転者に提供することにより、車両周辺の死角地帯を解消することができる。
このようなＡＶＭシステムが生成したＡＶ画像は、単にディスプレイされる用途にのみ用いられるためその効用性に限界があり、多様なサービスに積極活用されなければならない必要がある。

特開２００６−２９８２０８号公報

前記のような要求に応じるため、本発明はＡＶＭシステムと連動して獲得した連続されたＡＶ画像内で駐車空間を認識したあと、多様な指定方式を介して運転者から指定された駐車空間を駐車位置に設定することにより、運転者をして駐車空間を選択することができるようにすることはもちろん、選択された駐車空間の周辺状況を容易に認知することができるようにするＡＶ画像基盤の駐車位置設定装置及びその方法を提供することに目的がある。

本発明に係る装置は、ＡＶ画像基盤の駐車位置設定装置において、ＡＶ（Ａｒｏｕｎｄ Ｖｉｅｗ）画像を収集するＡＶ画像収集手段と、前記ＡＶ画像収集手段が収集したＡＶ画像に基づき駐車空間を認識する駐車空間認識手段と、運転者から駐車空間の指定を受ける指定領域入力手段と、前記駐車空間認識手段と連動して前記指定領域入力手段が指定された駐車空間を認識し、前記指定された駐車空間の有効性を判断する指定領域認識手段と、前記ＡＶ画像をディスプレイするものの、前記指定領域入力手段が指定された駐車空間をともにディスプレイするディスプレイ手段と、前記指定領域入力手段が指定された駐車空間の有効性が認められた場合、前記指定された駐車空間を駐車位置に設定する駐車位置設定手段と、前記指定領域入力手段は、前記ディスプレイ手段がディスプレイしているＡＶ画像内で、運転者が描いた四角形の領域を駐車空間に指定されることを特徴とする指定領域入力手段と、を含む。

さらに、本発明に係る方法は、ＡＶ画像基盤の駐車位置設定方法において、ＡＶ画像収集手段がＡＶ（Ａｒｏｕｎｄ Ｖｉｅｗ）画像を収集するステップと、駐車空間認識手段が前記収集されたＡＶ画像に基づき駐車空間を認識するステップと、指定領域入力手段が運転者から駐車空間の指定を受けるステップと、ディスプレイ手段が前記収集されたＡＶ画像と前記指定された駐車空間とともにディスプレイするステップと、指定領域認識手段が前記駐車空間認識手段と連動して前記指定領域入力手段が指定された駐車空間を認識し、前記指定された駐車空間の有効性を判断するステップと、駐車位置設定手段が前記指定された駐車空間の有効性が認められた場合、前記指定された駐車空間を駐車位置に設定するステップと、前記駐車空間の指定を受けるステップは、前記ディスプレイ手段がディスプレイしているＡＶ画像内で、運転者が描いた四角形の領域を駐車空間に指定されることを特徴とするステップと、を含む。

前記のような本発明は、ＡＶＭシステムと連動して獲得した連続されたＡＶ画像内で駐車空間を認識したあと、多様な指定方式を介して運転者から指定された駐車空間を駐車位置に設定することにより、運転者をして駐車空間を選択することができるようにすることはもちろん、選択された駐車空間の周辺状況を容易に認知することができるようにするとの効果がある。

本発明に係るＡＶ画像基盤の駐車位置設定装置に対する一実施形態の構成を示す図である。 本発明に係る駐車空間認識過程に対する一実施形態を説明する図である。 （ａ）は、本発明に係る駐車空間認識過程に対する一実施形態を説明する図である。 （ｂ）は、本発明に係る駐車空間認識過程に対する一実施形態を説明する図である。 本発明に係る駐車空間認識過程に対する一実施形態を説明する図である。 （ａ）は、本発明に係る駐車空間指定方式に対する一例示を示す図である。（ｂ）は、本発明に係る指定領域補正結果に対する一例示を示す図である。 本発明に係るＡＶ画像基盤の駐車位置設定方法に対する一実施形態のフローチャートである。

以下、図を参照しつつ、本発明に係る好ましい実施形態を詳しく説明する。
図１は、本発明に係るＡＶ画像基盤の駐車位置設定装置に対する一実施形態の構成を示す図である。
図１に示す通り、本発明に係るＡＶ画像基盤の駐車位置設定装置は、ＡＶ画像収集部１０、駐車空間認識部２０、ディスプレイ部３０、指定領域入力部４０、指定領域認識部５０及び駐車位置設定部６０を含む。
前記各構成要素に対し検討してみれば、先ずＡＶ画像収集部１０は車両に取り付けられているＡＶＭ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ）システムと連動し、ＡＶＭシステムで生成されたＡＶ画像を連続的に収集する。

ここで、ＡＶ画像は、車両の前後左右側面にそれぞれ設けられた広角カメラから撮影された画像等がビュー変換（一例として、トップビュー（Ｔｏｐ Ｖｉｅｗ））過程を経て生成された画像であって、車両を中心にその周辺を３６０゜見せる画像を意味する。このとき、ビュー変換は、車両の上部で眺めたものと同じトップビュー形態の画像を生成することを意味する。
次に、駐車空間認識部２０は、ＡＶ画像収集部１０で収集されたＡＶ画像内で駐車空間を認識する。

以下、図２乃至図４を参照しつつ、駐車空間認識部２０の駐車空間認識過程に対し検討してみる。
先ず、ＡＶ画像収集部１０はＡＶ画像を連続的に収集する。このとき、車両は動いているため、収集されるＡＶ画像はそれぞれ異なる。
次いで、駐車空間認識部２０は連続された二つのＡＶ画像を比べ、駐車空間はもちろん車両の軌跡までも認識することができる。
このとき、駐車空間認識部２０は連続された二つのＡＶ画像を比べて特徴点を検出するため、コーナーディテクション（Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ）技術を利用する。コーナーディテクション技術は、画像認識において、画像内に含まれたオブジェクト（ｏｂｊｅｃｔ）等のコーナーを抽出して画像を認識する周知慣用の技術であって、連続された画像の相違点を判断するため一般的に用いられる。

特に、画像処理及び認識分野において、コーナー（Ｃｏｒｎｅｒ）情報は重要な特徴点となるため、本発明では、ＡＶ画像の認識のためコーナーディテクション技術を利用して主な特徴点を抽出する。このようなコーナーディテクション技術の中でハリス（Ｈａｒｒｉｓ）コーナーディテクション技術を利用するのが好ましいが、これに限定されるものではない。
このように検出されたＡＶ画像内の特徴点は、図２に示された通りである。
次いで、駐車空間認識部２０は、図３（ａ）に示す通り、連続された二つのＡＶ画像の特徴点等を互いにマッチングさせる。このとき、連続された二つのＡＶ画像の特徴点のマッチングはＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）技術を利用する。

ＮＣＣ技術は、環境により変わり得る二枚の画像を互いに比べるため正規化する周知慣用の技術であって、駐車空間認識部２０は、車両の移動により変化する連続された二つのＡＶ画像を正規化して比べるために ＮＣＣ 技術を利用する。
このとき、駐車空間認識部２０は、連続された二つのＡＶ画像で特徴点周辺の７×７正方形領域ピクセル等の明度値を特徴点の因子（ｆａｃｔｏｒ）として用い、ＮＣＣ技術を利用して二つのＡＶ画像を正規化したあと、各特徴点を互いにマッチングさせて類似度を測定することができる。

次いで、駐車空間認識部２０は、正規化された二つのＡＶ画像の各特徴点が互いにマッチングされると、図３（ｂ）に示す通り、誤って整合された特徴点を削除する。
このとき、駐車空間認識部２０は、類似変換（ｓｉｍｉｌａｒｉｔｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）モデルを介して連続された二つのＡＶ画像間の変位差と角度差を抽出し、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）技術を介し誤って整合された特徴点等を削除する。
ＲＡＮＳＡＣ技術は、偽情報（本発明で誤って整合された特徴点）を含む一連のデータの集合から数学的モデルの因子等を予測する周知慣用の技術であって、ＲＡＮＳＡＣ技術を介し駐車空間認識部２０は誤って整合された特徴点等を認識して削除することができる。

次いで、駐車空間認識部２０は誤って整合された特徴点等が削除され、有効特徴点等のみ残ることになれば、図４に示す通り、推定された有効特徴点等に基づきＡＶ画像等を整合する。
このような過程を介し、駐車空間認識部２０は連続されたＡＶ画像内で駐車空間を認識することができる。ここで、駐車空間は単に駐車空間のみを意味するのではなく、実際に車両を駐車することができる空の駐車空間を意味する。
付加的に、駐車空間認識部２０はＳＰＡＳ（Ｓｍａｒｔ Ｐａｒｋｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）と連動して認識された駐車空間の優先順位を提供することもできる。即ち、車両の現在位置から各駐車空間に駐車し易い順に優先順位を設定することもできる。

次に、ディスプレイ部３０はＡＶ画像をディスプレイする。
次に、指定領域入力部４０は多様な方式のインタフェースを提供して運転者から駐車空間の指定を受ける。
例えば、運転者がディスプレイ部３０を介してディスプレイされる駐車空間上で指で駐車ラインに沿って線を引けば、ディスプレイ部３０は運転者が描いた線をディスプレイし、駐車位置設定部６０は当該駐車空間を駐車位置に設定する。このとき、四角形の駐車ラインに沿って四角形の線を引くこともでき、車両が左側から右側に駐車する場合「匚」のように線を引くこともできる。さらに、四角形の角に点を付けることもできる。

他の例として、運転者がディスプレイ部３０を介してディスプレイされる駐車空間上で指で駐車空間をクリックするか、車両を駐車空間にドラッグ（ｄｒａｇ）すれば、ディスプレイ部３０はクリック又はドラッグをディスプレイし、駐車位置設定部６０は当該駐車空間を駐車位置に設定する。
さらに他の例として、図５（ａ）に示す通り、運転者がディスプレイ部３０を介してディスプレイされるＡＶ画像内で、駐車空間（駐車ラインのある領域）でない駐車ラインのない領域に四角形を描けば、ディスプレイ部３０は当該四角形をディスプレイし、駐車位置設定部６０は当該四角形を駐車空間に設定する。

即ち、運転者がディスプレイ部３０ 上で駐車空間でない領域に指（ディスプレイ用ペンなど）で四角形を描けば、指定領域認識部５０は駐車空間認識部２０におけるＡＶ画像認識の結果に基づき、運転者が指で描いた四角形をＡＶ画像の座標とマッチングさせて認識する。このとき、四角形に該当する位置に駐車が可能であれば駐車位置設定部６０は駐車空間を駐車位置に設定する。
次に、指定領域認識部５０は指定領域入力部４０を介して指定された駐車空間の実際の大きさと基準大きさ（車両の駐車が可能な長方形の横長及び縦長）の比較を介して駐車可否を判断し、駐車が可能な場合に駐車位置６０設定部は駐車空間を駐車位置に設定する。
さらに、指定領域認識部５０は、図５（ｂ）に示す通り、運転者が描いた四角形を長方形に補正してディスプレイ部３０を介しディスプレイする。

次に、駐車位置設定部６０は、指定領域入力部４０を介して指定された駐車空間、即ち駐車ラインのある空の駐車空間を駐車位置に設定する。
さらに、駐車位置設定部６０は、指定領域入力部４０を介して駐車空間でない領域の指定を受けた場合（前記例で四角形の入力を受けた場合）、指定領域認識部５０における認識結果に従い駐車空間への指定の可否を決める。
即ち、駐車位置設定部６０は、指定領域認識部５０で指定領域を駐車が可能な領域と判断すれば、当該指定領域を駐車空間に設定し、駐車の可能な領域ではないと判断すれば当該指定領域を駐車空間に設定しない。このとき、障害物（他の車両など）が存在しない指定領域を駐車空間に設定することは当然である。
本発明で、指定領域入力部４０とディスプレイ部３０は一つのモジュールに具現されたタッチスクリーン又はタッチパッドが好ましい。

図６は、本発明に係るＡＶ画像基盤の駐車位置設定方法に対する一実施形態のフローチャートである。
先ず、ＡＶ画像収集部１０が車両に搭載されたＡＶＭシステムと連動して連続されたＡＶ（Ａｒｏｕｎｄ Ｖｉｅｗ）画像を収集する（４０１）。このときＡＶＭシステムは、車両の前後左右側面に広角カメラを備えている。
次いで、駐車空間認識部２０がＡＶ画像収集部１０で収集されたＡＶ画像に基づき駐車空間を認識する（４０２）。
次いで、指定領域入力部４０が運転者から駐車空間の指定を受ける（４０３）。
次いで、ディスプレイ部３０がＡＶ画像収集部１０で収集されたＡＶ画像と前記指定された駐車空間とをともに（オーバーラップ）ディスプレイする（４０４）。
次いで、指定領域認識部５０が駐車空間認識部２０と連動して指定領域入力部４０が指定された駐車空間を認識する（４０５）。

次いで、指定領域認識部５０は、前記指定された駐車空間の有効性を判断する（４０６）。
前記判断の結果（４０６）、前記指定された駐車空間の有効性が認められれば、駐車位置設定部６０は前記指定された駐車空間を駐車位置に設定する（４０７）。
前記判断の結果（４０６）、前記指定された駐車空間の有効性が認められなければ、駐車位置設定部６０は前記指定された駐車空間を駐車位置に設定せずに終了する。
このとき、駐車位置設定部６０は直ちに終了せず、運転者に駐車が不可能であることを報知して終了することもできる。
さらに、駐車位置設定部６０は直ちに終了せず運転者に駐車が不可能であることを報知したあと、新しい駐車空間を指定せよとのメッセージを提供することもできる。
このような過程を介し、運転者をして駐車空間を選択することができるようにすることはもちろん、選択された駐車空間の周辺状況を容易に認知することができるようにする。

１０ ＡＶ画像収集部
２０ 駐車空間認識部
３０ ディスプレイ部
４０ 指定領域入力部
５０ 指定領域認識部
６０ 駐車位置設定部

Claims (8)

1. ＡＶ（Ａｒｏｕｎｄ Ｖｉｅｗ）画像を収集するＡＶ画像収集手段と、
   前記ＡＶ画像収集手段が収集したＡＶ画像内で駐車空間を認識する駐車空間認識手段と、
   運転者から駐車空間の指定を受ける指定領域入力手段と、
   前記駐車空間認識手段と連動して前記指定領域入力手段が指定された駐車空間を認識し、前記指定された駐車空間の有効性を判断する指定領域認識手段と、
   前記ＡＶ画像をディスプレイするとともに、前記指定領域入力手段が指定された駐車空間をともにディスプレイするディスプレイ手段と、
   前記指定領域入力手段が指定された駐車空間の有効性が認められた場合、前記指定された駐車空間を駐車位置に設定する駐車位置設定手段と、
   前記指定領域入力手段は、前記ディスプレイ手段がディスプレイしているＡＶ画像内で、運転者が描いた四角形の領域を駐車空間に指定されることを特徴とする指定領域入力手段と、
   を含むことを特徴とするＡＶ画像基盤の駐車位置設定装置。
2. 前記指定領域認識手段は、
   前記指定領域入力手段を介して入力された四角形を長方形に補正することを特徴とする請求項１に記載のＡＶ画像基盤の駐車位置設定装置。
3. 前記ディスプレイ手段は、
   前記四角形の代わりに補正された長方形をディスプレイすることを特徴とする請求項２に記載のＡＶ画像基盤の駐車位置設定装置。
4. 前記指定領域認識手段は、
   前記指定領域入力手段が指定された駐車空間の実際の大きさと基準大きさを比べて駐車可否を判断することを特徴とする請求項１に記載のＡＶ画像基盤の駐車位置設定装置。
5. ＡＶ画像収集手段がＡＶ（Ａｒｏｕｎｄ Ｖｉｅｗ）画像を収集するステップと、
   駐車空間認識手段が前記収集されたＡＶ画像内で駐車空間を認識するステップと、
   指定領域入力手段が運転者から駐車空間の指定を受けるステップと、
   ディスプレイ手段が前記収集されたＡＶ画像と前記指定された駐車空間とをともにディスプレイするステップと、
   指定領域認識手段が前記駐車空間認識手段と連動して前記指定領域入力手段が指定された駐車空間を認識し、前記指定された駐車空間の有効性を判断するステップと、
   駐車位置設定手段は前記指定された駐車空間の有効性が認められた場合、前記指定された駐車空間を駐車位置に設定するステップと、
   前記駐車空間の指定を受けるステップは、前記ディスプレイ手段がディスプレイしているＡＶ画像内で、運転者が描いた四角形の領域を駐車空間に指定されることを特徴とするステップと、
   を含むことを特徴とするＡＶ画像基盤の駐車位置設定方法。
6. 前記有効性を判断するステップは、
   前記入力された四角形を長方形に補正するステップをさらに含むことを特徴とする請求項５に記載のＡＶ画像基盤の駐車位置設定方法。
7. 前記ディスプレイするステップは、
   前記四角形の代わりに前記補正された長方形をディスプレイすることを特徴とする請求項６に記載のＡＶ画像基盤の駐車位置設定方法。
8. 前記有効性を判断するステップは、
   前記指定された駐車空間の実際の大きさと基準大きさを比べて駐車可否を判断することを特徴とする請求項５に記載のＡＶ画像基盤の駐車位置設定方法。
   

Images