JP2013152546A - 運転支援装置、運転支援方法及びそのプログラム - Google Patents
運転支援装置、運転支援方法及びそのプログラム Download PDFInfo
- Publication number
- JP2013152546A JP2013152546A JP2012012261A JP2012012261A JP2013152546A JP 2013152546 A JP2013152546 A JP 2013152546A JP 2012012261 A JP2012012261 A JP 2012012261A JP 2012012261 A JP2012012261 A JP 2012012261A JP 2013152546 A JP2013152546 A JP 2013152546A
- Authority
- JP
- Japan
- Prior art keywords
- model
- image
- unit
- past
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】運転者が初めて駐車する駐車場においても、車両スペースに進入する際にどの位置でハンドルを操作すれば良いか等を補助する運転支援装置、運転支援方法及びそのプログラムを提供する。
【解決手段】本発明の運転支援装置は、車両に搭載され、車両の後方のステレオ画像を撮影するステレオ撮影部と、ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成部と、3Dモデル作成部が生成した3Dモデルを、過去3Dモデルとして記憶する3Dモデル記憶部と、3Dモデル生成部が生成した3Dモデルに対し、3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成部と、画像合成部の生成した合成3Dモデルを画像表示する画像表示部とを備えている。
【選択図】図5
【解決手段】本発明の運転支援装置は、車両に搭載され、車両の後方のステレオ画像を撮影するステレオ撮影部と、ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成部と、3Dモデル作成部が生成した3Dモデルを、過去3Dモデルとして記憶する3Dモデル記憶部と、3Dモデル生成部が生成した3Dモデルに対し、3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成部と、画像合成部の生成した合成3Dモデルを画像表示する画像表示部とを備えている。
【選択図】図5
Description
本発明は、運転支援装置、運転支援方法及びそのプログラムに関するものである。
近年、自動車には、車両周辺の障害物を検知するため、撮像装置(例えばディジタルカメラ等)からなるパッシブセンサ、あるいはアクティブセンサ(例えば超音波ソナー、ミリ波レーダー等)を備える監視装置が取り付けられている。
そして、それらの監視装置が取得した障害物の情報を利用することで、運転者が運転時において車両の運行の安全性を向上させるための技術の開発が盛んに行われている。
ここで、運転者の視界を補助する目的で、車両に搭載されたディジタルカメラで撮影した画像を、監視装置の車載ディスプレイに表示する技術が提案されている。
そして、それらの監視装置が取得した障害物の情報を利用することで、運転者が運転時において車両の運行の安全性を向上させるための技術の開発が盛んに行われている。
ここで、運転者の視界を補助する目的で、車両に搭載されたディジタルカメラで撮影した画像を、監視装置の車載ディスプレイに表示する技術が提案されている。
例えば、車両周辺監視システムとしては、車両に搭載されており、車両後部の運転者の死角となる領域を撮影し、運転者に観察させるシステムがある(例えば、特許文献1参照)。
すなわち、特許文献1には、車両から死角となる場所を撮影する撮影手段が設けられており、この撮影手段により撮影された車両周辺の画像データを入力し、当該画像データに基づいて、撮影手段の視点で撮影された画像を車両の運転席の視点で見た画像となるように視点を変換する画像処理手段が備えられたシステムが開示されている。
すなわち、特許文献1には、車両から死角となる場所を撮影する撮影手段が設けられており、この撮影手段により撮影された車両周辺の画像データを入力し、当該画像データに基づいて、撮影手段の視点で撮影された画像を車両の運転席の視点で見た画像となるように視点を変換する画像処理手段が備えられたシステムが開示されている。
そして、車両周辺監視システムは、視点変換された画像を運転席から見たときの画角に合わせて表示する手段をさらに備えている。
この特許文献1の車両周辺監視システムは、後進で車両を駐車する場合に、バックカメラにより撮影された車両後方の画像を車載ディスプレイに表示出力して、運転者の視覚補助を行うことにより、安全な駐車運転を補助する。
この特許文献1の車両周辺監視システムは、後進で車両を駐車する場合に、バックカメラにより撮影された車両後方の画像を車載ディスプレイに表示出力して、運転者の視覚補助を行うことにより、安全な駐車運転を補助する。
しかしながら、上記特許文献1の車両周辺監視システムシステムを含め、従来の後方駐車運転を支援するバックカメラ表示装置には、駐車スペースに駐車する際に、この駐車スペースに進入するために、どの位置で車両のハンドルを操作すれば良いか判りにくいといった問題がある。
特に、運転者が初めて駐車する駐車場においては、周囲の風景に慣れていないため、駐車スペースと車両の位置との対応関係が掴みづらく、駐車スペースに進入する際のハンドル操作タイミングが一層分りにくいものとなる。
特に、運転者が初めて駐車する駐車場においては、周囲の風景に慣れていないため、駐車スペースと車両の位置との対応関係が掴みづらく、駐車スペースに進入する際のハンドル操作タイミングが一層分りにくいものとなる。
本発明はこのような課題に鑑みてなされたものであり、運転者が初めて駐車する駐車場においても、車両スペースに進入する際にどの位置でハンドルを操作すれば良いか等を補助する運転支援装置、運転支援方法及びそのプログラムを提供することを目的とする。
(1)この発明は上述した課題を解決するためになされたもので、本発明の一態様による運転支援装置は、車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影部と、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成部と、前記3Dモデル生成部が生成した3Dモデルを、過去3Dモデルとして記憶する3Dモデル記憶部と、前記3Dモデル生成部が生成した3Dモデルに対し、前記3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成部と、前記画像合成部の生成した前記合成3Dモデルを画像表示する画像表示部とを備えることを特徴とする。
(2)本発明の一態様による運転支援装置は、前記3Dモデル記憶部における前記過去3Dモデルが、前記車両が過去に駐車した実績のある駐車スペースの3Dモデルであり、前記画像合成部が、現在駐車使用としている駐車スペースの3Dモデルに対し、過去に駐車した実績のある前記過去3Dモデルのデータを、駐車スペースのスペース枠の中心線を基準に重ね合わせて合成することを特徴とする。
(3)本発明の一態様による運転支援装置は、前記画像合成部が、前記過去3D画像から前記駐車スペース近傍の立体物のデータを抽出し、前記3Dモデルに合成し、前記合成3Dモデルを生成することを特徴とする。
(4)本発明の一態様による運転支援装置は、前記過去3Dモデルが前記3Dモデル記憶部に位置情報毎に記憶されており、前記3モデル生成部が生成する3Dモデルの位置情報に対し、当該位置情報と同様の位置情報の前記過去3Dモデルが前記3Dモデル記憶部に記憶されている場合、前記3Dモデル生成部が、当該3Dモデルと、前記過去3Dモデルとの比較を行い、当該過去3Dモデルにない新データを前記3Dモデルから抽出し、抽出した新データを前記過去3Dモデルに対して合成し、新たな過去3Dモデルとして前記3Dモデル記憶部に上書きして記憶させることを特徴とする。
(5)本発明の一態様による運転支援装置は、前記3Dモデル記憶部に対して前記3Dモデルの生成した前記3Dモデルを過去3Dモデルとして書き込んで記憶させるデータ保存部をさらに有し、当該データ保存部が前記3Dモデル生成部の生成した3Dモデルの位置情報が、すでに前記3Dモデル記憶部に書き込まれていることを検出すると、前記位置情報に対応させて3Dモデルの生成回数を駐車回数として書き込んで記憶させることを特徴とする。
(6)本発明の一態様による運転支援装置は、前記画像合成部が、前記3Dモデル生成部が生成する前記3Dモデルに対して合成させるデータを抽出する前記過去3Dモデルとして、前記3Dモデル記憶部のなかから前記駐車回数の最も多い過去3Dモデルを選択することを特徴とする。
(7)本発明の一態様による運転支援方法は、車両に搭載されたステレオ撮影部が、車両の後方のステレオ画像を撮像するステレオ撮影過程と、3Dモデル生成部が、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成過程と、画像合成部が、前記3Dモデル生成部が生成した3Dモデルに対し、前記3Dモデル生成部が生成した3Dモデルを過去3Dモデルとして記憶する前記3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成過程と、画像表示部が、前記画像合成部の生成した前記合成3Dモデルを画像表示する画像表示過程とを含むことを特徴とする。
(8)本発明の一態様による運転支援プログラムは、コンピュータを、車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影手段、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成手段、前記3Dモデル生成手段が生成した3Dモデルに対し、前記3Dモデル生成手段が生成した3Dモデルを過去3Dモデルとして記憶する前記3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成手段、前記画像合成手段の生成した前記合成3Dモデルを画像表示する画像表示部に表示させる手段として動作させることを特徴とする。
この発明によれば、運転者が初めて駐車する駐車場においても、車両スペースに進入する際にどの位置でハンドルを操作すれば良いか等を補助する画像を、運転者に対して提供することができる。
以下、図面を参照して、本発明の一実施形態を説明する。図1は、本発明の第1の実施形態における運転支援装置100の搭載位置の一例を示す図である。図1は、車両1を後方から見た場合において、本実施形態の運転支援装置100が備えるステレオ撮影部10におけるLカメラモジュール2AとRカメラモジュール2Bとの位置関係を示している。
この図1において、車両1の車内における運転席の後方部ガラス上方の近傍には、車両1の後方を監視するための画像を撮像するステレオ撮影部10が適宜の固定手段により配置されている。本実施形態におけるステレオ撮影部10は、上述したように、例えばLカメラモジュール2AとRカメラモジュール2Bとを備えている。
この図1において、車両1の車内における運転席の後方部ガラス上方の近傍には、車両1の後方を監視するための画像を撮像するステレオ撮影部10が適宜の固定手段により配置されている。本実施形態におけるステレオ撮影部10は、上述したように、例えばLカメラモジュール2AとRカメラモジュール2Bとを備えている。
そして、ステレオ撮影部10において、Lカメラモジュール2AとRカメラモジュール2Bとは、予め決められた間隔(基線長)で、かつ車両1の前部及び後部方向の中心線と直交する平面と水平面との交差する線分上に設置されており、それぞれのカメラモジュールにおけるレンズの互いの光軸が平行となるように設置されている。
なお、ステレオ撮影部1は、少なくとも一対の撮像装置(カメラ等)が予め決められた間隔で、互いの光軸が略平行となるように、車両1に設置されていれば良い。
なお、ステレオ撮影部1は、少なくとも一対の撮像装置(カメラ等)が予め決められた間隔で、互いの光軸が略平行となるように、車両1に設置されていれば良い。
次に、図2は、本実施形態における運転支援装置100の搭載位置の一例を示す他の図である。図2は、車両1を真横から見た場合において、本実施形態における運転支援装置100の位置関係の一例を示した図である。運転支援装置100は、車両1において、ステレオ撮影部10、GPS5、画像表示部7、画像処理部50を備えている。
ステレオ撮影部10におけるLカメラモジュール2AとRカメラモジュール2Bとの各々は、それぞれ車両1の後方の被写体を撮像し、撮像により得られた画像信号を画像処理部50に対して出力する。ここで、Lカメラモジュール2Aの撮像する画像を基準画像信号とし、Rカメラモジュール2Bが撮像する画像を参照画像信号と称する。また、同一タイミングで撮像された基準画像信号と参照画像信号との組をステレオ画像信号とする。
ステレオ撮影部10におけるLカメラモジュール2AとRカメラモジュール2Bとの各々は、それぞれ車両1の後方の被写体を撮像し、撮像により得られた画像信号を画像処理部50に対して出力する。ここで、Lカメラモジュール2Aの撮像する画像を基準画像信号とし、Rカメラモジュール2Bが撮像する画像を参照画像信号と称する。また、同一タイミングで撮像された基準画像信号と参照画像信号との組をステレオ画像信号とする。
画像処理部50は、ステレオ撮影部10から供給されるステレオ画像信号に基づいて、車両1が駐車スペースに進入する際に運転者に対して通知する3Dモデルを生成する。この3Dモデルは、ステレオ撮影部10が撮像する画像(車両1後方の画像)の3次元画像である。
そして、画像処理部50は、すでに蓄積されている過去に進入したことのある駐車スペース、すなわち駐車した実績のある駐車スペース及びその近傍の過去3Dモデルにおける立体物を抽出し、この立体物を上記3Dモデルに対して合成して画像表示部7に表示する。
また、画像処理部50は、ステレオ撮影部10から供給されるステレオ画像信号に基づいて作成した3Dモデルを、その時点におけるGPS(Global Positioning System)5から得られる位置情報に対応させて記憶する。
そして、画像処理部50は、すでに蓄積されている過去に進入したことのある駐車スペース、すなわち駐車した実績のある駐車スペース及びその近傍の過去3Dモデルにおける立体物を抽出し、この立体物を上記3Dモデルに対して合成して画像表示部7に表示する。
また、画像処理部50は、ステレオ撮影部10から供給されるステレオ画像信号に基づいて作成した3Dモデルを、その時点におけるGPS(Global Positioning System)5から得られる位置情報に対応させて記憶する。
画像表示部7は、例えば、液晶表示装置であり、駐車スペースに車両を進入させる際における後進におけるハンドルを切るタイミングを計る目印となる立体物等が付加された3Dモデルを3D画像として、車両1の運転者に対して表示して通知する。また、この画像表示部7は、運転者が運転のじゃまにならない、かつ運転者が容易に鑑賞できる位置に設けられている。
この結果、運転支援装置100は、過去に運転者が駐車したことのある駐車スペースの周囲の立体物が、初めて駐車する駐車スペースの周囲に表示されるため、後進して駐車スペースに進入するためのハンドル操作のタイミングを、慣れた駐車スペースに進入する際と同様に得られ、初めての駐車スペースにも容易にバックで駐車させることができる。
この結果、運転支援装置100は、過去に運転者が駐車したことのある駐車スペースの周囲の立体物が、初めて駐車する駐車スペースの周囲に表示されるため、後進して駐車スペースに進入するためのハンドル操作のタイミングを、慣れた駐車スペースに進入する際と同様に得られ、初めての駐車スペースにも容易にバックで駐車させることができる。
次に、図3は、本発明の一実施形態における運転支援装置100の構成例を示す図である。
すでに説明したように、運転支援装置100は、ステレオ撮影部10、画像処理部50、GPS5、画像表示部7とを備えている。
また、ステレオ撮影部10は、左側画像である基準画像信号を撮像するLカメラモジュール2Aと、右側画像である参照画像信号を撮像するRカメラモジュール2Bとを備えている。
すでに説明したように、運転支援装置100は、ステレオ撮影部10、画像処理部50、GPS5、画像表示部7とを備えている。
また、ステレオ撮影部10は、左側画像である基準画像信号を撮像するLカメラモジュール2Aと、右側画像である参照画像信号を撮像するRカメラモジュール2Bとを備えている。
また、上記画像処理部50は、距離画像生成部3、3D画像合成部4、データ保存部6及び3Dモデル記憶部8から構成されている。
距離画像生成部3は、ステレオ撮影部10から供給されるステレオ画像を用い、後述の三角測量を用いて各画素の奥行き(深さ)を求め、この奥行きから画像における各立体物などの距離をステレオマッチングにより求める。そして、距離画像生成部3は、この距離上方から車両1周辺の後方の距離画像を生成し、3D画像合成部4へ出力する。
距離画像生成部3は、ステレオ撮影部10から供給されるステレオ画像を用い、後述の三角測量を用いて各画素の奥行き(深さ)を求め、この奥行きから画像における各立体物などの距離をステレオマッチングにより求める。そして、距離画像生成部3は、この距離上方から車両1周辺の後方の距離画像を生成し、3D画像合成部4へ出力する。
データ保存部6は、3D画像合成部4から供給される3Dモデルを、駐車スペースに駐車した際のGPS5から得られる位置情報とともに、この3Dモデルを過去3Dモデルとして3Dモデル記憶部8へ書き込んで記憶させる。
3D画像合成部4は、距離画像生成部3が生成した距離画像から、車両1後方の風景情報を示す3Dモデルを生成する。
また、3D画像合成部4は、3Dモデル記憶部8から読み出した過去3Dモデルとを合成し、合成した合成3Dモデルを車両1の車内に設けられた画像表示部7に映像として表示する。
3D画像合成部4は、距離画像生成部3が生成した距離画像から、車両1後方の風景情報を示す3Dモデルを生成する。
また、3D画像合成部4は、3Dモデル記憶部8から読み出した過去3Dモデルとを合成し、合成した合成3Dモデルを車両1の車内に設けられた画像表示部7に映像として表示する。
次に、図4は、3Dモデル記憶部8に記憶されている各過去3Dモデルの情報が示されたモデルテーブルの構成を示す図である。
この図4において、モデルテーブルは、3Dモデルを生成した際にGPS5が出力する位置情報(緯度経度情報)と、この3Dモデルが記憶されているアドレスを示す画像インデックスと、この3Dモデルの駐車スペースに駐車した回数を示す駐車回数とを組として記憶されている。
この図4において、モデルテーブルは、3Dモデルを生成した際にGPS5が出力する位置情報(緯度経度情報)と、この3Dモデルが記憶されているアドレスを示す画像インデックスと、この3Dモデルの駐車スペースに駐車した回数を示す駐車回数とを組として記憶されている。
次に、図5は、図3における距離画像生成部3の構成例を示す図である。
図5に示すように、距離画像生成部3は、基線長取得部31、焦点距離取得部32、視差値算出部33、距離算出部34、距離画像作成部35、記憶部36及びバス(データバス)37を備えている。
記憶部36には、ステレオ撮影部10におけるLカメラモジュール2AとRカメラモジュール2Bとの基線長を示す基線長情報、Lカメラモジュール2AとRカメラモジュール2Bとの焦点距離を示す焦点距離情報、車両1の3Dモデルにおける位置を示す車両位置情報、及び車両1の3Dモデルにおける大きさを示す大きさ情報が記憶されている。ここで、Lカメラモジュール2AとRカメラモジュール2Bとは、同一の焦点距離を有している。
図5に示すように、距離画像生成部3は、基線長取得部31、焦点距離取得部32、視差値算出部33、距離算出部34、距離画像作成部35、記憶部36及びバス(データバス)37を備えている。
記憶部36には、ステレオ撮影部10におけるLカメラモジュール2AとRカメラモジュール2Bとの基線長を示す基線長情報、Lカメラモジュール2AとRカメラモジュール2Bとの焦点距離を示す焦点距離情報、車両1の3Dモデルにおける位置を示す車両位置情報、及び車両1の3Dモデルにおける大きさを示す大きさ情報が記憶されている。ここで、Lカメラモジュール2AとRカメラモジュール2Bとは、同一の焦点距離を有している。
視差値算出部33は、ステレオ撮影部10のLカメラモジュール2Aから出力される基準画像信号と、Rカメラモジュール2Bから出力される参照画像信号とを読み込む。そして、視差値算出部33は、基準画像信号と参照画像信号とに基づいて、以下に説明するようにして、ステレオマッチングにより視差値を算出する。
視差値算出部33は、基準画像信号が示す基準画像の各画素と対応する対応画素を、参照画像信号が示す参照画像の予め設定されている探索領域から探索する。ここで、視差値算出部33は、探索領域における対応画素の判定処理において、基準画像の各画素を基準画素とし、この基準画素を中心とする小領域を抽出し、抽出した小領域と参照画像における探索領域内における小領域とを比較する。そして、視差値算出部33は、各小領域の画像輝度パターン同士が類似しているか否かを、画像輝度の差分絶対和(SAD:Sum of Absolute Differences)を評価値の基準として判定する。
なお、上述した評価値の基準は、差分二乗和(SSD:Sum of Squared Differences)、正規化相互相関(NCC:Normalized Cross Correlation)などでも良い。
視差値算出部33は、画像輝度の差分絶対和が最も小さくなる参照画像の探索領域の中心画素と、基準画像の基準画素とが水平方向に離れている画素数を視差値として算出する。
そして、視差値算出部33は、この視差値の算出を基準画像における画素毎に行う。視差値算出部33は、視差値を示す視差値情報を距離算出部34へ出力する。
視差値算出部33は、画像輝度の差分絶対和が最も小さくなる参照画像の探索領域の中心画素と、基準画像の基準画素とが水平方向に離れている画素数を視差値として算出する。
そして、視差値算出部33は、この視差値の算出を基準画像における画素毎に行う。視差値算出部33は、視差値を示す視差値情報を距離算出部34へ出力する。
基線長取得部31は、記憶部36から、ステレオ撮影部10を構成するLカメラモジュール2A及びRカメラモジュール2Bの光軸間の間隔を示す基線長情報を読み出すことにより取得し、取得した基線長情報を距離算出部34へ出力する。
焦点距離取得部32は、記憶部36から、ステレオ撮影部10を構成するLカメラモジュール2A及びRカメラモジュール2Bの焦点距離を示す焦点距離情報を読み出すことにより取得し、取得した焦点距離情報を距離算出部34へ出力する。
焦点距離取得部32は、記憶部36から、ステレオ撮影部10を構成するLカメラモジュール2A及びRカメラモジュール2Bの焦点距離を示す焦点距離情報を読み出すことにより取得し、取得した焦点距離情報を距離算出部34へ出力する。
距離算出部34は、視差値算出部33から入力された視差値情報が示す視差値dと、基線長取得部31が取得した基線長情報が示す基線長Lと、焦点距離取得部32が取得した焦点距離情報が示す焦点距離fとに基づいて、ステレオ撮影部10から被写体までの距離Zを三角測量の原理で算出する。
具体的には、例えば、距離算出部34は、以下の式に従って、ステレオ撮影部10から被写体までの距離Zを算出する。
具体的には、例えば、距離算出部34は、以下の式に従って、ステレオ撮影部10から被写体までの距離Zを算出する。
Z=(L×f)/d (1)
距離算出部34は、視差画像全体にわたり上記式(1)に従って、ステレオ撮影部10から被写体までの距離Zを算出する。
そして、距離算出部34は、各画素において算出した距離Zを輝度値で表した距離画像を生成する。ここで、距離画像は、一例として距離が近いほど輝度値が大きい画像である。すなわち、距離画像において、視差値が大きく相対的に近い距離にある物体ほど明るい領域となり、逆に視差値が小さく相対的に遠くにある物体ほど暗い領域となる。
そして、距離算出部34は、各画素において算出した距離Zを輝度値で表した距離画像を生成する。ここで、距離画像は、一例として距離が近いほど輝度値が大きい画像である。すなわち、距離画像において、視差値が大きく相対的に近い距離にある物体ほど明るい領域となり、逆に視差値が小さく相対的に遠くにある物体ほど暗い領域となる。
距離画像作成部35は、車両1の移動に伴い、時系列に順次作成される距離画像を入力し、複数の距離画像の対応関係を解析することで、ステレオ撮影部10で撮像される車両1の後方における3Dモデルを作成する。
ここで、距離画像作成部35は、現時点の距離画像である基準距離画像と、距離算出部34はから次に入力された距離画像である参照距離画像とを比較する。そして、距離画像作成部35は、上記比較処理において、移動方向に対して新たに付加された参照距離画像における画素を抽出する。距離画像作成部35は、抽出された画素の情報を基準距離画像に付加して、新たな基準距離画像とする。
ここで、距離画像作成部35は、現時点の距離画像である基準距離画像と、距離算出部34はから次に入力された距離画像である参照距離画像とを比較する。そして、距離画像作成部35は、上記比較処理において、移動方向に対して新たに付加された参照距離画像における画素を抽出する。距離画像作成部35は、抽出された画素の情報を基準距離画像に付加して、新たな基準距離画像とする。
上述したように、本実施形態において、距離画像作成部35は、車両1の移動に伴って複数得られる、ステレオ撮影部10が出力するステレオ画像から得られる距離画像を合成している。これにより、距離画像作成部35は、車両1が移動する前には隠れていた画素を参照距離画像から抽出し、順次、抽出した画素を基準距離画像に付加することを繰り返すことにより、被写体に対する画素の距離のサンプル数を増加させ、車両1が移動する広い範囲の基準距離画像を作成する。
また、距離画像作成部35は、作成した基準距離画像を距離画像として3D画像合成部4へ出力する。
また、距離画像作成部35は、作成した基準距離画像を距離画像として3D画像合成部4へ出力する。
次に、図6は、3Dモデル記憶部8に記憶されている3Dモデルの例を示す図である。図6において、駐車スペース21の近傍の周辺には、車両1の駐車スペース21への進入の障害となり、かつハンドルを切るタイミングの目印となる立体物501、502、503及び505が配置されている。この3次元モデルは、X軸、Y軸及びZ軸からなる3次元空間における駐車スペース21、立体物501、502、503及び505の各立体物などのオブジェクトを構成する画素の座標値からなるデータ構造を有するデータ群である。なお、図6には、駐車スペース枠211及びその中心線212も示されている。この3Dモデルは、3Dモデル記憶部8(図3)において、モデルテーブル(図4)における画像インデックスの示すアドレスに記憶されている。
次に、図7は、図3における3D画像合成部4の構成例を示す図である。この図7において、3D画像合成部4は、特徴点抽出部41、立体物抽出部42、位置大きさ算出部43、3Dモデル生成部44、画像合成部45及びバス46を備えている。
特徴点抽出部41は、ステレオ撮影部10におけるLカメラモジュール2Aが撮像した基準画像と、距離画像作成部35の出力する距離画像から、図3に示す駐車スペース21における駐車スペースの範囲を示すスペース枠211を抽出する。ここで、特徴点抽出部41は、距離画像における距離の変動が少なく平面的な領域であって、かつ基準画像において画素の階調度が周辺と異なる領域を、スペース枠211として抽出する。
特徴点抽出部41は、ステレオ撮影部10におけるLカメラモジュール2Aが撮像した基準画像と、距離画像作成部35の出力する距離画像から、図3に示す駐車スペース21における駐車スペースの範囲を示すスペース枠211を抽出する。ここで、特徴点抽出部41は、距離画像における距離の変動が少なく平面的な領域であって、かつ基準画像において画素の階調度が周辺と異なる領域を、スペース枠211として抽出する。
このとき、特徴点抽出部41は、距離画像において、ステレオ撮影部10の路面(駐車場の走行面)からの設置されている高さが既知であるため、距離画像における駐車場の走行面を、車両1から連続的に延びる平面として識別する。具体的には、例えば、特徴点抽出部41は、距離画像の下端(車両1の近傍)から距離画像の上方に向かって順次輝度が変化する領域(例えば、順次輝度が低くなる領域)を駐車場の平面の画像領域として識別する。そして、特徴点抽出部41は、一例として、この駐車場の平面の画像領域と位置的に対応する、基準画像における画像領域において周囲と階調度が異なる画素から構成される矩形上の枠領域を、スペース枠211として抽出し、抽出したスペース枠211の情報を3Dモデル生成部44に対して出力する。
立体物抽出部42は、距離画像生成部3から供給される距離画像から、階調度の異なる画素の集合体である立体物の画像領域を抽出する。以下、立体物抽出部42が、立体物の画像領域を抽出する処理の一例を説明する。
立体物抽出部42は、特徴点抽出部41と同様に、ステレオ撮影部10の駐車場の平面からの設置高さは既知であるため、距離画像における駐車場の道路面を、自車近傍の既知の距離から連続的に遠方へ延びる平面として識別する。具体的には、例えば、立体物抽出部42は、距離画像の下端(車両1の近傍)から距離画像の上方に向かって順次輝度が変化する領域(例えば、順次輝度が低くなる領域)を道路面の画像領域として識別する。
立体物抽出部42は、特徴点抽出部41と同様に、ステレオ撮影部10の駐車場の平面からの設置高さは既知であるため、距離画像における駐車場の道路面を、自車近傍の既知の距離から連続的に遠方へ延びる平面として識別する。具体的には、例えば、立体物抽出部42は、距離画像の下端(車両1の近傍)から距離画像の上方に向かって順次輝度が変化する領域(例えば、順次輝度が低くなる領域)を道路面の画像領域として識別する。
そして、立体物抽出部42は、距離画像において、駐車場の道路面の画像領域から垂直に略同輝度の画素の集合体の領域がある場合に、その領域を立体物の画像領域(以下、立体物オブジェクトとも称する)として識別する。具体的な処理の例は、後述する。また、その際、立体物抽出部42は、3次元的に道路面より下方の画像領域を、抽出対象の立体物オブジェクトから除外する。ここで、立体物の多くは、細かい凹凸が存在するものの、駐車場の平面から垂直に立っており、各立体物を構成する領域は、ステレオ撮影部10からの距離がほぼ同じである。したがって、立体物抽出部42は、距離画像の中で縦方向に輝度が同じ領域を、立体物オブジェクトとして識別する。その際、立体物抽出部42は、駐車場の平面の画像領域と認識した画像領域から画面情報に視差値が同じ領域を立体物オブジェクトとして識別する。
また、立体物抽出部42は、抽出した立体物オブジェクトを位置大きさ算出部43へ出力する。
また、立体物抽出部42は、抽出した立体物オブジェクトを位置大きさ算出部43へ出力する。
位置大きさ算出部43は、距離画像生成部3から供給される距離画像上の輝度情報に基づいて、立体物抽出部42から入力された立体物オブジェクトについて、3Dモデルにおける位置及び大きさを算出する。すなわち、位置大きさ算出部43は、立体物抽出部42が抽出した立体物の画像領域について、距離画像生成部3が算出した距離情報に基づいて、3Dモデルにおける位置及び大きさを算出する。
ここで、位置大きさ算出部43は、3Dモデルにおける立体物オブジェクトの大きさの算出においては、ステレオ撮影部10から立体物までの距離により距離画像上の物体の大きさが変わることを考慮して実際の立体物の大きさを算出する。
ここで、位置大きさ算出部43は、3Dモデルにおける立体物オブジェクトの大きさの算出においては、ステレオ撮影部10から立体物までの距離により距離画像上の物体の大きさが変わることを考慮して実際の立体物の大きさを算出する。
具体的には、位置大きさ算出部43は、距離画像上の輝度値が示す距離すなわちステレオ撮影部10から立体物までの距離に基づいて、相似計算により、実際の立体物の高さを算出する。例えば、位置大きさ算出部43は、以下の式に従って、実際の立体物の高さ(立体物高)hを算出する。
h =h”×s/ s” (2)
ここで、h”は画像中における立体物オブジェクトの高さ(像高)であり、sはステレオ撮影部10から立体物までの距離(立体物距離)であり、s”は画像中におけるステレオ撮影部10から立体物オブジェクトまでの距離(像距離)である。ここで、位置大きさ算出部43は、距離画像から像高h”と立体物距離sと像距離s”とを算出し、算出した像高h”と像距離sとを乗算し、乗算した結果を像距離s”で除算することで、立体物高hを算出する。
そして、位置大きさ算出部43は、算出した立体物距離sに予め決められた変換率を乗じることにより、立体物オブジェクトの3Dモデルにおける位置を算出する。位置大きさ算出部43は、算出した立体物高hに予め決められた変換率を乗じることにより、立体物オブジェクトの3Dモデルにおける大きさを算出する。ここで、変換率は、3Dモデルに応じて、予め決められているものとする。
そして、位置大きさ算出部43は、算出した立体物オブジェクトの3Dモデルにおける位置(立体物オブジェクトを構成する各画素の図6におけるX軸、Y軸及びZ軸の3次元空間における座標値)及び大きさを示す情報を3Dモデル生成部44へ出力する。
そして、位置大きさ算出部43は、算出した立体物オブジェクトの3Dモデルにおける位置(立体物オブジェクトを構成する各画素の図6におけるX軸、Y軸及びZ軸の3次元空間における座標値)及び大きさを示す情報を3Dモデル生成部44へ出力する。
3Dモデル生成部44は、距離画像に応じた車両1の後方の景色の3Dモデルを生成する。3Dモデル生成部44は、位置大きさ算出部43から供給される位置及び大きさを示す情報に基づいて、画像において立体物の存在する位置に対応して、3Dモデルに対して3次元の立体物オブジェクトを配置することにより、車両1の後方の3Dモデルを生成する。
また、3Dモデル生成部44は、特徴点抽出部41から供給されるスペース枠211の情報、すなわち基準画像信号における画素と距離画像との画素との対応関係から、3次元空間の座標に対して、スペース枠211の画像領域を配置する。
また、3Dモデル生成部44は、特徴点抽出部41から供給されるスペース枠211の情報、すなわち基準画像信号における画素と距離画像との画素との対応関係から、3次元空間の座標に対して、スペース枠211の画像領域を配置する。
そして、3Dモデル生成部44は、3Dモデル記憶部8に記憶されている車両1の3次元オブジェクト(以下、車両3次元オブジェクトと示す、ここでは車両1の後部ボンネット部分を示すオブジェクト)を読み出す。3Dモデル生成部44は、読み出した車両3次元オブジェクトを立体物の3Dモデルに対して合成する。具体的には、例えば、3Dモデル生成部44は、読み出した車両3次元オブジェクトに対し、予め決められた変換率を乗ずることにより、大きさを変換した車両3元オブジェクトを生成する。そして、3Dモデル生成部44は、立体物がすでに配置された3Dモデルに対して、この3Dモデルにおける原点から予め設定された位置に大きさ変更後の車両3次元オブジェクトを配置する。
ここで、車両1の車両3次元オブジェクトは、Lカメラモジュール2Aの光軸と、Lカメラモジュール2Aが撮像した基準画像面の交点を原点として、実際の車両1の形状を所望の寸法だけオフセットさせた形状または簡略化した形状である。
そして、3Dモデル生成部44は、合成後の3Dモデルをデータ保存部6及び画像合成部45へ出力する。
そして、3Dモデル生成部44は、合成後の3Dモデルをデータ保存部6及び画像合成部45へ出力する。
図3に戻り、データ保存部6は、3D画像合成部4から供給される3Dモデルを、3Dモデル記憶部8に書き込んで記憶させる際、すでに同一の位置情報がモデルテーブルに書き込まれている場合、3Dモデルが過去3Dモデルとして書き込まれていることを、3D画像合成部4に対して、位置情報を付加して通知する。
これにより、3Dモデル生成部44は、データ保存部6からの通知により、この通知に付加された位置情報に対応した過去3Dモデルを、3Dモデル記憶部8から読み込む。
これにより、3Dモデル生成部44は、データ保存部6からの通知により、この通知に付加された位置情報に対応した過去3Dモデルを、3Dモデル記憶部8から読み込む。
そして、3Dモデル生成部44は、3Dモデル記憶部8から読み込んだ過去3Dモデルと、自身が生成した3Dモデルとを比較し、過去3Dモデルにはなくこの3Dモデルから新たな立体物オブジェクトの差分情報を抽出する。
すなわち、3Dモデル生成部44は、現在生成している3Dモデルが車両1が過去に駐車した駐車スペースである場合、これまでに過去3Dモデルにおいて保存されていない部分や、新しく追加された3Dモデルのデータも、現在の過去3Dモデルを補完するための反映データとなる差分情報として抽出する。
すなわち、3Dモデル生成部44は、現在生成している3Dモデルが車両1が過去に駐車した駐車スペースである場合、これまでに過去3Dモデルにおいて保存されていない部分や、新しく追加された3Dモデルのデータも、現在の過去3Dモデルを補完するための反映データとなる差分情報として抽出する。
また、3Dモデル生成部44は、過去3Dモデルに対して、抽出した差分情報を付加してデータの補完を行い、データの補完を行った過去3Dモデルを、3Dモデル記憶部8のモデルテーブルにおいて対応する位置情報の過去3Dモデルに上書きする。
この場合、3Dモデル生成部44は、3Dモデル記憶部8におけるモデルテーブル及び過去3Dモデルのデータを書き換える毎に、3Dモデルを生成した生成回数として、すなわち書き換えた過去3Dモデルの位置情報に対応する駐車回数(3次元モデルの更新回数)をインクリメント(駐車回数に1を加算)する。
この場合、3Dモデル生成部44は、3Dモデル記憶部8におけるモデルテーブル及び過去3Dモデルのデータを書き換える毎に、3Dモデルを生成した生成回数として、すなわち書き換えた過去3Dモデルの位置情報に対応する駐車回数(3次元モデルの更新回数)をインクリメント(駐車回数に1を加算)する。
画像合成部45は、3Dモデル生成部44が生成した合成3Dモデルを画像表示部7に表示する際、3Dモデル記憶部8から最も駐車回数の多い過去3Dモデルを読み出す。
そして、画像合成部45は、過去3Dモデルにおけるスペース枠の中心線と、生成した3Dモデルにおけるスペース枠の中心線とが重なる位置で、過去3Dモデルの立体物オブジェクトと3Dモデルとを合成させ、合成3Dモデルを生成する。上記中心線は、例えば、図6に示すように、矩形上のスペース枠211において、長辺に平行で、かつ短辺を2等分する直線状の中心線212として定義される。
そして、画像合成部45は、過去3Dモデルにおけるスペース枠の中心線と、生成した3Dモデルにおけるスペース枠の中心線とが重なる位置で、過去3Dモデルの立体物オブジェクトと3Dモデルとを合成させ、合成3Dモデルを生成する。上記中心線は、例えば、図6に示すように、矩形上のスペース枠211において、長辺に平行で、かつ短辺を2等分する直線状の中心線212として定義される。
次に、画像合成部45は、過去3Dモデルと3Dモデルとが重なった状態において、過去3Dモデルにおける中心線からのそれぞれの立体物オブジェクトの相対位置に対応させ、生成した3Dモデルに対して、立体物オブジェクトを配置させる。
すなわち、画像合成部45は、作成した3Dモデルに対して、何度も駐車したことのある過去3Dモデルにおける立体物オブジェクトを合成して、合成3Dモデルを生成し、この合成3Dモデルを、画像表示部7へ出力して、車両1の後方の景色の3D画像として画像表示部7に表示させる。
すなわち、画像合成部45は、作成した3Dモデルに対して、何度も駐車したことのある過去3Dモデルにおける立体物オブジェクトを合成して、合成3Dモデルを生成し、この合成3Dモデルを、画像表示部7へ出力して、車両1の後方の景色の3D画像として画像表示部7に表示させる。
本実施形態においては、初めて駐車する駐車スペースであっても、過去に何度も駐車した経験のある駐車スペース周辺の立体物が、車両1の後方の3D画像として画像表示部7に表示される。
すなわち、本実施形態においては、車両1の操作を行う場合、運転者が何らかの立体物を目印としてハンドルの操作を行うため、駐車することが慣れた駐車スペースの立体物が表示されることになる。
このため、本実施形態によれば、運転者が初めて車両1を駐車させる駐車スペースであっても、運転者はどの地点でハンドルを切れば、スムーズに車両1を駐車スペースに進入させることができるかを、過去3Dモデルの立体物を目印とすることで感覚で理解できるため、安心して初めての駐車スペースに対してもスムーズに車両1を駐車させることができる。
すなわち、本実施形態においては、車両1の操作を行う場合、運転者が何らかの立体物を目印としてハンドルの操作を行うため、駐車することが慣れた駐車スペースの立体物が表示されることになる。
このため、本実施形態によれば、運転者が初めて車両1を駐車させる駐車スペースであっても、運転者はどの地点でハンドルを切れば、スムーズに車両1を駐車スペースに進入させることができるかを、過去3Dモデルの立体物を目印とすることで感覚で理解できるため、安心して初めての駐車スペースに対してもスムーズに車両1を駐車させることができる。
次に、図3、図5、図7、図8及び図9により、画像処理部50が合成3Dモデルを生成し、画像表示部7にこの合成3Dモデルを車両1の後方の画像として表示する運転者支援処理を説明する。ここで、図8は、画像処理部50が合成3Dモデルを生成し、画像表示部7に表示する運転者支援処理の動作例を示すフローチャートである。
また、図9は、過去3Dモデルから抽出した立体物を、3Dモデルに合成して、画像表示部7において表示する合成3Dモデルの画像を生成する処理を説明するための図である。この図9において、過去3Dモデル300は、3Dモデル記憶部8に書き込まれて、記憶されているものであり、3Dモデル記憶部8におけるモデルテーブルにおいて最も駐車回数の多い駐車スペースに対応する過去3Dモデルである。3Dモデル200は、3Dモデル生成部44が作成した3D画像である。
図9の過去3Dモデル300は、駐車スペース21、立体物オブジェクト533、駐車スペース枠211、中心線212を備える。3Dモデル300は、駐車スペース51、立体物オブジェクト534、535、駐車スペース枠511、中心線512を備える。
また、図9は、過去3Dモデルから抽出した立体物を、3Dモデルに合成して、画像表示部7において表示する合成3Dモデルの画像を生成する処理を説明するための図である。この図9において、過去3Dモデル300は、3Dモデル記憶部8に書き込まれて、記憶されているものであり、3Dモデル記憶部8におけるモデルテーブルにおいて最も駐車回数の多い駐車スペースに対応する過去3Dモデルである。3Dモデル200は、3Dモデル生成部44が作成した3D画像である。
図9の過去3Dモデル300は、駐車スペース21、立体物オブジェクト533、駐車スペース枠211、中心線212を備える。3Dモデル300は、駐車スペース51、立体物オブジェクト534、535、駐車スペース枠511、中心線512を備える。
ステップS1:
運転者は、運転支援装置100のスイッチをオンとすると、運転支援装置100に対し、駐車スペースに駐車する際の運転支援処理の動作を開始させる。
運転者は、運転支援装置100のスイッチをオンとすると、運転支援装置100に対し、駐車スペースに駐車する際の運転支援処理の動作を開始させる。
ステップS2:
視差値算出部33は、ステレオ撮影部10におけるLカメラモジュール2A及びRカメラモジュール2Bの各々から、それぞれ基準画像信号、参照画像信号をステレオ画像として読み込む。
そして、視差値算出部33は、読み込んだステレオ画像において、基準画像信号及び参照画像信号における対応する画素毎の視差値を算出し、算出した視差値を距離算出部34に対して出力し、処理をステップS3へ進める。
視差値算出部33は、ステレオ撮影部10におけるLカメラモジュール2A及びRカメラモジュール2Bの各々から、それぞれ基準画像信号、参照画像信号をステレオ画像として読み込む。
そして、視差値算出部33は、読み込んだステレオ画像において、基準画像信号及び参照画像信号における対応する画素毎の視差値を算出し、算出した視差値を距離算出部34に対して出力し、処理をステップS3へ進める。
ステップS3:
次に、基線長取得部31は、記憶部36から基線長を示す基線長情報を読み込み、読み込んだ基線長情報を距離算出部34に対して出力する。
そして、焦点距離取得部32は、記憶部36から焦点距離を示す焦点距離情報を読み込み、読み込んだ焦点距離情報を距離算出部34に対して出力する。
これにより、距離算出部34は、供給された視差値と、基線長情報と、焦点距離情報とから、画素毎の被写体とステレオ撮影部10との距離を示す距離情報を算出し、算出した距離情報を距離画像作成部35に順次出力し、処理をステップS4へ進める。
次に、基線長取得部31は、記憶部36から基線長を示す基線長情報を読み込み、読み込んだ基線長情報を距離算出部34に対して出力する。
そして、焦点距離取得部32は、記憶部36から焦点距離を示す焦点距離情報を読み込み、読み込んだ焦点距離情報を距離算出部34に対して出力する。
これにより、距離算出部34は、供給された視差値と、基線長情報と、焦点距離情報とから、画素毎の被写体とステレオ撮影部10との距離を示す距離情報を算出し、算出した距離情報を距離画像作成部35に順次出力し、処理をステップS4へ進める。
ステップS4:
次に、距離算出部34は、時系列に供給されるステレオ画像各々から、各画素の階調度により距離を示す距離画像を順次生成し、生成した順番に距離画像作成部35に対して出力する。
距離画像作成部35は、順次入力される距離画像の各々を合成し、広い範囲の基準距離画像を生成し、生成した基準距離画像を距離画像として3D画像合成部4に対して出力する。
次に、距離算出部34は、時系列に供給されるステレオ画像各々から、各画素の階調度により距離を示す距離画像を順次生成し、生成した順番に距離画像作成部35に対して出力する。
距離画像作成部35は、順次入力される距離画像の各々を合成し、広い範囲の基準距離画像を生成し、生成した基準距離画像を距離画像として3D画像合成部4に対して出力する。
ステップS5:
立体物抽出部42は、距離画像生成部3から供給される距離画像から、立体物の画像領域を立体物オブジェクトとして抽出し、位置大きさ算出部43へ出力する。
位置大きさ算出部43は、距離画像生成部3から供給される距離画像上の輝度情報に基づいて、立体物抽出部42から入力された立体物オブジェクトについて、3Dモデルにおける位置及び大きさを算出し、合成部46へ出力する。
立体物抽出部42は、距離画像生成部3から供給される距離画像から、立体物の画像領域を立体物オブジェクトとして抽出し、位置大きさ算出部43へ出力する。
位置大きさ算出部43は、距離画像生成部3から供給される距離画像上の輝度情報に基づいて、立体物抽出部42から入力された立体物オブジェクトについて、3Dモデルにおける位置及び大きさを算出し、合成部46へ出力する。
ステップS6:
次に、特徴点抽出部41は、ステレオ撮影部10におけるLカメラモジュール2Aが撮像した基準画像と、距離画像作成部35の出力する距離画像から、図6に示す駐車スペース21における駐車スペースの範囲を示すスペース枠211を抽出する。
そして、特徴点抽出部41は、抽出したスペース枠211の画像領域の情報を、3Dモデル生成部44に対して出力する。
次に、特徴点抽出部41は、ステレオ撮影部10におけるLカメラモジュール2Aが撮像した基準画像と、距離画像作成部35の出力する距離画像から、図6に示す駐車スペース21における駐車スペースの範囲を示すスペース枠211を抽出する。
そして、特徴点抽出部41は、抽出したスペース枠211の画像領域の情報を、3Dモデル生成部44に対して出力する。
ステップS7:
次に、3Dモデル生成部44は、位置大きさ算出部43から供給される位置及び大きさを示す情報に基づいて、3Dモデルにおいて3次元の立体物オブジェクトを配置することにより、車両1の後方の3Dモデルを生成する。
そして、3Dモデル生成部44は、特徴点抽出部41から供給されるスペース枠211の情報に基づいて、3Dモデルにおいてスペース枠211の画像領域を配置し、画像合成部45へ出力する。
次に、3Dモデル生成部44は、位置大きさ算出部43から供給される位置及び大きさを示す情報に基づいて、3Dモデルにおいて3次元の立体物オブジェクトを配置することにより、車両1の後方の3Dモデルを生成する。
そして、3Dモデル生成部44は、特徴点抽出部41から供給されるスペース枠211の情報に基づいて、3Dモデルにおいてスペース枠211の画像領域を配置し、画像合成部45へ出力する。
ステップS8:
次に、画像合成部45は、3Dモデル生成部44から3Dモデルが供給されると、3Dモデル記憶部8のモデルテーブルから、最も駐車回数の多い位置情報に対応した画像インデックスを抽出する。
そして、画像合成部45は、抽出した画像インデックスのアドレスに記憶されている過去3Dモデルを、3Dモデル記憶部8から読み出す。
次に、画像合成部45は、3Dモデル生成部44から3Dモデルが供給されると、3Dモデル記憶部8のモデルテーブルから、最も駐車回数の多い位置情報に対応した画像インデックスを抽出する。
そして、画像合成部45は、抽出した画像インデックスのアドレスに記憶されている過去3Dモデルを、3Dモデル記憶部8から読み出す。
ステップS9:
次に、画像合成部45は、3Dモデル記憶部8から読み出した過去3Dモデルから立体物オブジェクトを抽出する。
すなわち、図9の処理を例とした場合、画像合成部45は、過去3Dモデル300から立体物オブジェクト534及び535を抽出する。例えば、予め立体物抽出部42が立体物オブジェクトを3Dモデルから抽出した際、抽出した立体物オブジェクトに対し、立体物オブジェクトであることを示す立体物識別情報をそれぞれ付加しておく。そして、画像合成部45は、3Dモデルのなかから立体物オブジェクトを抽出するとき、この3Dモデルから立体物識別情報により立体物オブジェクトを抽出するようにしても良い。
また、画像合成部45は、スペース枠511から中心線512を、スペース枠211から中心線212をそれぞれ求める。
次に、画像合成部45は、3Dモデル記憶部8から読み出した過去3Dモデルから立体物オブジェクトを抽出する。
すなわち、図9の処理を例とした場合、画像合成部45は、過去3Dモデル300から立体物オブジェクト534及び535を抽出する。例えば、予め立体物抽出部42が立体物オブジェクトを3Dモデルから抽出した際、抽出した立体物オブジェクトに対し、立体物オブジェクトであることを示す立体物識別情報をそれぞれ付加しておく。そして、画像合成部45は、3Dモデルのなかから立体物オブジェクトを抽出するとき、この3Dモデルから立体物識別情報により立体物オブジェクトを抽出するようにしても良い。
また、画像合成部45は、スペース枠511から中心線512を、スペース枠211から中心線212をそれぞれ求める。
次に、画像合成部45は、3Dモデル200と過去3Dモデル300との各々を、それぞれの中心線212と中心線512とが一致するように重ね合わせる。このとき、画像合成部45は、スペース枠211及びスペース枠511の車両が進入す側の短辺を重ね合わせるようにすると、より良い位置に立体物オブジェクト534及び535を配置することができる。
そして、画像合成部45は、駐車スペース21に対して駐車スペース51を、中心線212及び中心線512が一致するように重ね合わせ、過去3Dモデル300のスペース枠511の近傍に存在する立体物オブジェクト534及び535を、そのままの中心線512に対する位置関係のまま3Dモデル200に合成し、合成3Dモデルを生成する。
そして、画像合成部45は、駐車スペース21に対して駐車スペース51を、中心線212及び中心線512が一致するように重ね合わせ、過去3Dモデル300のスペース枠511の近傍に存在する立体物オブジェクト534及び535を、そのままの中心線512に対する位置関係のまま3Dモデル200に合成し、合成3Dモデルを生成する。
ステップS10:
画像合成部45は、生成した合成3Dモデルを、画像表示部7に対して出力する。
そして、画像表示部7は、供給される合成3Dモデルを3D画像として、この3D画像を自身の表示面に画像表示する。
これにより、画像表示部7は、後方の駐車スペース21の駐車処理におけるハンドル操作のタイミングの目標となる立体物を含む駐車支援のための画像を、車両1の運転者に対して通知することになる。
画像合成部45は、生成した合成3Dモデルを、画像表示部7に対して出力する。
そして、画像表示部7は、供給される合成3Dモデルを3D画像として、この3D画像を自身の表示面に画像表示する。
これにより、画像表示部7は、後方の駐車スペース21の駐車処理におけるハンドル操作のタイミングの目標となる立体物を含む駐車支援のための画像を、車両1の運転者に対して通知することになる。
ステップS11:
次に、3Dモデル生成部44は、画像合成部45に対して3Dモデルを出力した後、GPS5から供給されている現在の車両1の位置情報が、すでに3Dモデル記憶部8のモデルテーブルに記憶されているか否かの検出処理を行う。
このとき、3Dモデル生成部44は、車両1の現在の位置情報と同一の位置情報が、すでに3Dモデル記憶部8のモデルテーブルに記憶されている場合、処理をステップS12へ進める。
一方、3Dモデル生成部44は、車両1の現在の位置情報と同一の位置情報が、すでに3Dモデル記憶部8のモデルテーブルに記憶されていない場合、処理をステップS13へ進める。
次に、3Dモデル生成部44は、画像合成部45に対して3Dモデルを出力した後、GPS5から供給されている現在の車両1の位置情報が、すでに3Dモデル記憶部8のモデルテーブルに記憶されているか否かの検出処理を行う。
このとき、3Dモデル生成部44は、車両1の現在の位置情報と同一の位置情報が、すでに3Dモデル記憶部8のモデルテーブルに記憶されている場合、処理をステップS12へ進める。
一方、3Dモデル生成部44は、車両1の現在の位置情報と同一の位置情報が、すでに3Dモデル記憶部8のモデルテーブルに記憶されていない場合、処理をステップS13へ進める。
ステップS12:
次に、3Dモデル生成部44は、3Dモデル記憶部8に対し、位置情報で作成された3Dモデルを過去3Dモデルとして書き込んで記憶させる。
また、3Dモデル生成部44は、3Dモデル記憶部8のモデルテーブルに対し、GPS5から供給されている現在の車両1の位置情報とともに、この位置情報で作成された過去3モデルとして書き込んだアドレスを画像インデックスとして書き込み、運転支援処理を終了する。
次に、3Dモデル生成部44は、3Dモデル記憶部8に対し、位置情報で作成された3Dモデルを過去3Dモデルとして書き込んで記憶させる。
また、3Dモデル生成部44は、3Dモデル記憶部8のモデルテーブルに対し、GPS5から供給されている現在の車両1の位置情報とともに、この位置情報で作成された過去3モデルとして書き込んだアドレスを画像インデックスとして書き込み、運転支援処理を終了する。
ステップS13:
次に、3Dモデル生成部44は、GPS5から供給されている現在の車両1の位置情報に対応して記憶されている過去3Dモデルの画像インデックスを、3Dモデル記憶部8のモデルテーブルから読み出す。
画像インデックスを読み出した後、3Dモデル生成部44は、この画像インデックスのアドレスに記憶されている過去3Dモデルを、3Dモデル記憶部8から読み出す。
そして、3Dモデル生成部44は、車両1の現在の位置情報にて作成した3D画像と、3Dモデル記憶部8から読み出した過去3Dモデルとを比較する。
ここで、3Dモデル生成部44は、過去3Dモデルには存在しない立体物オブジェクトが、新たに作成された3Dモデルに存在する場合、過去3Dモデルには無い立体物オブジェクトを立体物識別情報を用いてこの3Dモデルから抽出する。
そして、3Dモデル生成部44は、3Dモデルから抽出された立体物オブジェクトを、過去3Dモデルに対して合成する。
次に、3Dモデル生成部44は、GPS5から供給されている現在の車両1の位置情報に対応して記憶されている過去3Dモデルの画像インデックスを、3Dモデル記憶部8のモデルテーブルから読み出す。
画像インデックスを読み出した後、3Dモデル生成部44は、この画像インデックスのアドレスに記憶されている過去3Dモデルを、3Dモデル記憶部8から読み出す。
そして、3Dモデル生成部44は、車両1の現在の位置情報にて作成した3D画像と、3Dモデル記憶部8から読み出した過去3Dモデルとを比較する。
ここで、3Dモデル生成部44は、過去3Dモデルには存在しない立体物オブジェクトが、新たに作成された3Dモデルに存在する場合、過去3Dモデルには無い立体物オブジェクトを立体物識別情報を用いてこの3Dモデルから抽出する。
そして、3Dモデル生成部44は、3Dモデルから抽出された立体物オブジェクトを、過去3Dモデルに対して合成する。
ステップS14:
次に、3Dモデル生成部44は、新たに検出された立体物オブジェクトが合成された過去3Dモデルを、新たな過去3Dモデルとしてデータ保存部6に対し、位置情報を付加して出力する。
そして、データ保存部6は、供給される新たに合成された過去3Dモデルを、この過去3Dモデルに付加された位置情報に対応する3Dモデル記憶部8におけるアドレスに書き込む。
次に、3Dモデル生成部44は、新たに検出された立体物オブジェクトが合成された過去3Dモデルを、新たな過去3Dモデルとしてデータ保存部6に対し、位置情報を付加して出力する。
そして、データ保存部6は、供給される新たに合成された過去3Dモデルを、この過去3Dモデルに付加された位置情報に対応する3Dモデル記憶部8におけるアドレスに書き込む。
すなわち、データ保存部6は、3Dモデル生成部44から供給される過去3Dモデルを、3Dモデル記憶部8に対して、元の過去3Dモデルの画像インデックスの示すアドレスに書き込んで(上書きして)記憶させる。
そして、データ保存部6は、運転者の駐車スペース21に対する車両1の駐車動作への運転支援処理を終了する
そして、データ保存部6は、運転者の駐車スペース21に対する車両1の駐車動作への運転支援処理を終了する
また、第2の実施形態として、駐車スペース21に駐車させる際における「運転者が運転支援装置に運転支援処理を要求してから駐車スペースに車両1の駐車を行い、車両1を停止(エンジンを停止)させるまでの期間」での運転者の車両1に対する運転操作のデータを3Dモデル記憶部8のモデルテーブルに、位置情報に対応させて書き込んで記憶させる。
そして、画像合成部45は、3Dモデル記憶部8のモデルデータテーブルにおける運転操作のデータにより、運転しやすい合成3Dモデルを作成するために用いる、3Dモデルに対して合成する立体オブジェクトを抽出する過去3Dモデルを選択するようにしても良い。
そして、画像合成部45は、3Dモデル記憶部8のモデルデータテーブルにおける運転操作のデータにより、運転しやすい合成3Dモデルを作成するために用いる、3Dモデルに対して合成する立体オブジェクトを抽出する過去3Dモデルを選択するようにしても良い。
図10は、第2の実施形態における3Dモデル記憶部8のモデルテーブルの構成例を示す図である。図10において、モデルテーブルには、図4と同様に位置情報とともに、画像インデックスと、駐車回数と、図4の構成に加え、上述した運転動作のデータとして、平均必要時間と、平均やり直し回数と、平均ハンドル操作回数とが記憶されている。ここで、画像インデックスは、位置情報における車両1の後方の駐車スペース21の3Dモデルの記憶されているアドレスを示す。駐車回数は、駐車スペース21に駐車した回数を示す。平均必要時間は、運転者が運転支援処理を運転支援装置に要求してから駐車スペースに駐車処理を行い、車両1を停止する(エンジン停止)までに要した時間の平均値を示す。平均やり直し回数は、運転者が運転支援処理を運転支援装置に要求してから駐車スペースに駐車処理を行い、車両1を停止するまでに、車両1が後進から前進とされた回数の平均値を示す。平均ハンドル操作回数は、運転者が運転支援処理を運転支援装置に要求してから駐車スペースに駐車処理を行い、車両1を停止するまでに、ハンドルを左右に切り換えた回数の平均値を示す。ここで、それぞれの平均値は、現時点までの駐車スペースの駐車処理における必要時間、やり直し回数、ハンドル操作回数の各々の平均として、データ保存部6により求められる。
この第2の実施形態の場合、データ保存部6は、車両1のエンジンが回転しているか否かを、車両1のエンジンの回転数を計測するセンサから入力し、車両1が停止していしか否かの検出を行う。ここで、データ保存部6は、センサからの回転数が0である場合、車両1が停止していると判定する。
また、データ保存部6は、内部にタイマーが設けられており、運転者が運転支援処理を運転支援装置に要求し、運転支援装置100が稼働した時点からカウントを開始し、車両1が停止した時点でカウントを停止し、この停止した時点のカウント値を必要時間とする。ここで、データ保存部6は、3Dモデル記憶部8に位置情報毎に記憶されている過去の必要時間を読み出し、この過去の駐車における必要時間を全て加算し、加算結果を駐車回数で除算して、平均必要時間を算出する。
また、データ保存部6は、内部にタイマーが設けられており、運転者が運転支援処理を運転支援装置に要求し、運転支援装置100が稼働した時点からカウントを開始し、車両1が停止した時点でカウントを停止し、この停止した時点のカウント値を必要時間とする。ここで、データ保存部6は、3Dモデル記憶部8に位置情報毎に記憶されている過去の必要時間を読み出し、この過去の駐車における必要時間を全て加算し、加算結果を駐車回数で除算して、平均必要時間を算出する。
また、データ保存部6は、車両1に搭載された加速度センサの出力により、運転支援装置100が稼働した時点からカウントを開始し、車両1が停止した時点までの間、前進及び後進の変化回数をカウントし、このカウント値をやり直し回数とする。ここで、データ保存部6は、3Dモデル記憶部8に位置情報毎に記憶されている過去のやり直し回数を読み出し、この過去の駐車におけるやり直し回数を全て加算し、加算結果を駐車回数で除算して、平均やり直し回数を算出する。
また、データ保存部6は、車両1のハンドルに設けられた加速度センサからの出力により、左右のハンドルの切り返し回数をカウントし、このカウント値をハンドル操作回数とする。ここで、データ保存部6は、3Dモデル記憶部8に位置情報毎に記憶されている過去の切り返し回数を読み出し、この過去の駐車における切り返し回数を全て加算し、加算結果を駐車回数で除算して、平均切り返し回数を算出する。
また、データ保存部6は、車両1のハンドルに設けられた加速度センサからの出力により、左右のハンドルの切り返し回数をカウントし、このカウント値をハンドル操作回数とする。ここで、データ保存部6は、3Dモデル記憶部8に位置情報毎に記憶されている過去の切り返し回数を読み出し、この過去の駐車における切り返し回数を全て加算し、加算結果を駐車回数で除算して、平均切り返し回数を算出する。
そして、データ保存部6は、位置情報に対応させ、求めた平均必要時間、平均やり直し回数及び平均切り返し回数を、3Dモデル記憶部8のモデルテーブルに書き込む。
これにより、合成部46は、合成3Dモデルを生成する際に、3Dモデル記憶部8から読み出す過去3Dモデルとして、平均必要時間、平均やり直し回数及び平均ハンドル操作回数のいずれか1つの項目を用いて、最も少ない数値を有する位置情報の過去3Dモデルを抽出するようにしても良い。また、過去3Dモデルを抽出しようとする際に用いる項目のみを、3Dモデル記憶部8のモデルテーブルに格納する構成としても良い。
これにより、車両1を駐車スペース1に初めて駐車する際、短時間に、またはハンドル操作が少なく、あるいはやり直しが少ない過去3Dモデルを用いることで、初めて駐車する駐車スペース21に対しても、過去3Dモデルの駐車スペースと同様に、短時間に、またはハンドル操作が少なく、あるいはやり直しが少ない処理で車両1の駐車を行うことができる。
これにより、合成部46は、合成3Dモデルを生成する際に、3Dモデル記憶部8から読み出す過去3Dモデルとして、平均必要時間、平均やり直し回数及び平均ハンドル操作回数のいずれか1つの項目を用いて、最も少ない数値を有する位置情報の過去3Dモデルを抽出するようにしても良い。また、過去3Dモデルを抽出しようとする際に用いる項目のみを、3Dモデル記憶部8のモデルテーブルに格納する構成としても良い。
これにより、車両1を駐車スペース1に初めて駐車する際、短時間に、またはハンドル操作が少なく、あるいはやり直しが少ない過去3Dモデルを用いることで、初めて駐車する駐車スペース21に対しても、過去3Dモデルの駐車スペースと同様に、短時間に、またはハンドル操作が少なく、あるいはやり直しが少ない処理で車両1の駐車を行うことができる。
また、第1の実施形態においては、合成部46が3Dモデルに対して、過去3Dモデルから抽出した立体物オブジェクトのみを合成する処理を記載している。
しかしながら、合成部46が、図9において、作成した3Dモデル200に対し、3Dモデル記憶部8から読み出した過去3Dモデル300を、中心線212と中心線512とが重なるように重ね合わせて合成して、合成3Dモデルを生成するようにしても良い。
これによっても、車両1の運転者は、普段見慣れた過去3Dモデル300の立体物(立体物オブジェクト534及び535等)が画像表示部7に表示されるため、これら立体物をハンドル操作のタイミングの目印とすることができる。
しかしながら、合成部46が、図9において、作成した3Dモデル200に対し、3Dモデル記憶部8から読み出した過去3Dモデル300を、中心線212と中心線512とが重なるように重ね合わせて合成して、合成3Dモデルを生成するようにしても良い。
これによっても、車両1の運転者は、普段見慣れた過去3Dモデル300の立体物(立体物オブジェクト534及び535等)が画像表示部7に表示されるため、これら立体物をハンドル操作のタイミングの目印とすることができる。
ここで、車両1の運転者は、例えば過去3Dモデル300における立体物オブジェクト534及び535が塀である場合、今から駐車しようとしている駐車スペース21に対し、この塀が表示されているため、どの地点でハンドルを切り、車両1を後進させると安全に駐車操作が行われるかが容易に解る。すなわち、車両1の運転者は、塀がどの位置に見えたら、ハンドルを切れば良いかを、感覚的に十分理解しているため、駐車スペース21に容易に車両1を駐車をさせることができる。
最後に、画像処理部50は、集積回路(ICチップ)上に形成された論理回路によって信号処理装置というハードウェアとして構成されてもよいし、ラインメモリ及びフレームメモリ以外の構成を次のようにCPU(Central Processing Unit)を用いてソフトウェアによって実現されてもよい。
すなわち、図3の画像処理部50の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより運転支援の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
すなわち、図3の画像処理部50の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより運転支援の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
2A…Lカメラモジュール
2B…Rカメラモジュール
3…距離画像生成部
4…3D画像合成部
5…GPS
6…データ保存部
7…画像表示部
8…3Dモデル記憶部
10…ステレオ撮影部
31…基線長取得部
32…焦点キュウリ取得部
33…視差値算出部
34…距離算出部
35…距離画像作成部
36…記憶部
41…特徴点抽出部
42…立体物抽出部
43…位置大きさ算出部
44…3Dモデル生成部
45…画像合成部
50…画像処理部
200…3Dモデル
300…過去3Dモデル
2B…Rカメラモジュール
3…距離画像生成部
4…3D画像合成部
5…GPS
6…データ保存部
7…画像表示部
8…3Dモデル記憶部
10…ステレオ撮影部
31…基線長取得部
32…焦点キュウリ取得部
33…視差値算出部
34…距離算出部
35…距離画像作成部
36…記憶部
41…特徴点抽出部
42…立体物抽出部
43…位置大きさ算出部
44…3Dモデル生成部
45…画像合成部
50…画像処理部
200…3Dモデル
300…過去3Dモデル
Claims (8)
- 車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影部と、
前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成部と、
前記3Dモデル生成部が生成した3Dモデルを、過去3Dモデルとして記憶する3Dモデル記憶部と、
前記3Dモデル生成部が生成した3Dモデルに対し、前記3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成部と、
前記画像合成部の生成した前記合成3Dモデルを画像表示する画像表示部と
を備えることを特徴とする運転支援装置。 - 前記3Dモデル記憶部における前記過去3Dモデルが、前記車両が過去に駐車した実績のある駐車スペースの3Dモデルであり、
前記画像合成部が、現在駐車使用としている駐車スペースの3Dモデルに対し、過去に駐車した実績のある前記過去3Dモデルのデータを、駐車スペースのスペース枠の中心線を基準に重ね合わせて合成することを特徴とする請求項1に記載の運転支援装置。 - 前記画像合成部が、前記過去3D画像から前記駐車スペース近傍の立体物のデータを抽出し、前記3Dモデルに合成し、前記合成3Dモデルを生成することを特徴とする請求項2に記載の運転支援装置。
- 前記過去3Dモデルが前記3Dモデル記憶部に位置情報毎に記憶されており、
前記3モデル生成部が生成する3Dモデルの位置情報に対し、当該位置情報と同様の位置情報の前記過去3Dモデルが前記3Dモデル記憶部に記憶されている場合、
前記3Dモデル生成部が、当該3Dモデルと、前記過去3Dモデルとの比較を行い、当該過去3Dモデルにない新データを前記3Dモデルから抽出し、抽出した新データを前記過去3Dモデルに対して合成し、新たな過去3Dモデルとして前記3Dモデル記憶部に上書きして記憶させる
ことを特徴とする請求項1から請求項3のいずれか一項に記載の運転支援装置。 - 前記3Dモデル記憶部に対して前記3Dモデルの生成した前記3Dモデルを過去3Dモデルとして書き込んで記憶させるデータ保存部をさらに有し、
当該データ保存部が前記3Dモデル生成部の生成した3Dモデルの位置情報が、すでに前記3Dモデル記憶部に書き込まれていることを検出すると、前記位置情報に対応させて3Dモデルの生成回数を駐車回数として書き込んで記憶させることを特徴とする請求項1から請求項4のいずれか一項に記載の運転支援装置。 - 前記画像合成部が、前記3Dモデル生成部が生成する前記3Dモデルに対して合成させるデータを抽出する前記過去3Dモデルとして、前記3Dモデル記憶部のなかから前記駐車回数の最も多い過去3Dモデルを選択することを特徴とする請求項5に記載の運転支援装置。
- 車両に搭載されたステレオ撮影部が、車両の後方のステレオ画像を撮像するステレオ撮影過程と、
3Dモデル生成部が、前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成過程と、
画像合成部が、前記3Dモデル生成部が生成した3Dモデルに対し、前記3Dモデル生成部が生成した3Dモデルを過去3Dモデルとして記憶する前記3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成過程と、
運転者の鑑賞できる位置に設けられた画像表示部が、前記画像合成部の生成した前記合成3Dモデルを画像表示する画像表示過程と
を含むことを特徴とする運転支援方法。 - コンピュータを、
車両に搭載され、車両の後方のステレオ画像を撮像するステレオ撮影手段、
前記ステレオ画像から車両の後方の駐車スペース及び当該駐車スペース近傍の立体物の3Dモデルを生成する3Dモデル生成手段、
前記3Dモデル生成手段が生成した3Dモデルに対し、前記3Dモデル生成手段が生成した3Dモデルを過去3Dモデルとして記憶する前記3Dモデル記憶部から読み出した過去3Dモデルのデータを合成し、合成3Dモデルを生成する画像合成手段、
運転者の鑑賞できる位置に設けられており、前記画像合成手段の生成した前記合成3Dモデルを画像表示する画像表示部に表示させる手段
として動作させることを特徴とする運転支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012012261A JP2013152546A (ja) | 2012-01-24 | 2012-01-24 | 運転支援装置、運転支援方法及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012012261A JP2013152546A (ja) | 2012-01-24 | 2012-01-24 | 運転支援装置、運転支援方法及びそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013152546A true JP2013152546A (ja) | 2013-08-08 |
Family
ID=49048851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012012261A Pending JP2013152546A (ja) | 2012-01-24 | 2012-01-24 | 運転支援装置、運転支援方法及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013152546A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015133108A (ja) * | 2014-01-10 | 2015-07-23 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH | 関連する画像を分析する方法、画像処理システム、そのシステムを備える乗り物、及びコンピュータプログラム製品 |
WO2015178497A1 (en) * | 2014-05-19 | 2015-11-26 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
WO2017196343A1 (en) * | 2016-05-12 | 2017-11-16 | Hewlett-Packard Development Company, L.P. | 3d render data processing |
CN115499628A (zh) * | 2022-09-27 | 2022-12-20 | 上汽通用五菱汽车股份有限公司 | 车辆的泊车监控方法、装置、设备以及存储介质 |
-
2012
- 2012-01-24 JP JP2012012261A patent/JP2013152546A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015133108A (ja) * | 2014-01-10 | 2015-07-23 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH | 関連する画像を分析する方法、画像処理システム、そのシステムを備える乗り物、及びコンピュータプログラム製品 |
WO2015178497A1 (en) * | 2014-05-19 | 2015-11-26 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
JP2016001463A (ja) * | 2014-05-19 | 2016-01-07 | 株式会社リコー | 処理装置、処理システム、処理プログラム及び処理方法 |
CN106463060A (zh) * | 2014-05-19 | 2017-02-22 | 株式会社理光 | 处理装置、处理***、处理程序和处理方法 |
US10402664B2 (en) | 2014-05-19 | 2019-09-03 | Ricoh Company, Limited | Processing apparatus, processing system, processing program, and processing method |
CN106463060B (zh) * | 2014-05-19 | 2020-01-10 | 株式会社理光 | 处理装置、处理***和处理方法 |
WO2017196343A1 (en) * | 2016-05-12 | 2017-11-16 | Hewlett-Packard Development Company, L.P. | 3d render data processing |
CN115499628A (zh) * | 2022-09-27 | 2022-12-20 | 上汽通用五菱汽车股份有限公司 | 车辆的泊车监控方法、装置、设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5798392B2 (ja) | 駐車支援装置 | |
JP6487231B2 (ja) | 着目場所の拡張視界の生成 | |
KR100785724B1 (ko) | 주차 지원 프로그램을 기록한 컴퓨터 판독 가능한 기록매체, 주차 지원 장치, 주차 지원 화면 | |
EP3995782A1 (en) | Systems and methods for estimating future paths | |
WO2016002163A1 (ja) | 画像表示装置、画像表示方法 | |
JPWO2018066711A1 (ja) | 走行支援装置及びコンピュータプログラム | |
JP2011529569A (ja) | ナビゲーションデータを三次元で表示するコンピュータ装置および方法 | |
JP6392693B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
CN103770706A (zh) | 动态后视镜显示特征 | |
JP2011529568A (ja) | ナビゲーションデータを三次元で表示する方法 | |
JPWO2011043006A1 (ja) | 制御装置および車両周囲監視装置 | |
US20200234497A1 (en) | Moving body image generation recording display device and program product | |
JP2010287029A (ja) | 周辺表示装置 | |
JP2011134207A (ja) | 運転記録装置および地図作成システム | |
JP6910454B2 (ja) | 道路の合成トップビュー画像を生成するための方法およびシステム | |
JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2013152546A (ja) | 運転支援装置、運転支援方法及びそのプログラム | |
JP2021154969A (ja) | 障害物検知装置、障害物検知方法、および、プログラム | |
JP2010288060A (ja) | 周辺表示装置 | |
JP2015230703A (ja) | 物体検出装置及び物体検出方法 | |
JP4857159B2 (ja) | 車両運転支援装置 | |
JP6802999B2 (ja) | 区画線検出システム | |
JP2013062657A (ja) | 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム | |
JP6221562B2 (ja) | 車両用情報提示装置 | |
Schamm et al. | Vision and ToF-based driving assistance for a personal transporter |