JP7272243B2 - 車両走行方法、目標位置入力アプリケーション - Google Patents

Description

本発明は、車両である自車両を制御して目標位置へ走行させる車両走行方法、情報通信端末に記憶されて実行される目標位置入力アプリケーションに関するものである。

特許文献１には、運転者が乗車した状態で、自車両を制御して、駐車位置である目標位置まで自動で走行させる車両制御装置が記載されている。本車両制御装置においては、自車両に搭載されたカメラである車載カメラの撮像画像に基づいて俯瞰画像が取得され、その取得された俯瞰画像に基づいて運転者により目標位置が入力される。また、俯瞰画像には、自車両を表す画像、目標位置を表す画像が重ねて表示される。
特許文献２には、運転者が乗車した状態で、自車両の駐車を支援する駐車支援装置が記載されている。本駐車支援装置において、車載カメラの撮像画像に基づいて俯瞰画像が作成され、俯瞰画像に基づいて自車両が停止可能な位置が取得され、俯瞰画像に停止可能な位置を表す画像および自車両を表す画像が重ねて表示される。また、目標位置は車両において運転者によって入力される。

特開２０１９―０４３４２９号公報 特開２０１１－０５１４０３号公報

本発明の課題は、自車両を制御して目標位置へ走行させる車両走行方法において、目標位置の入力の利便性を高めることである。

本発明に係る車両走行方法においては、情報通信端末において、目標位置が入力され、その目標位置に関する情報である目標位置関連情報が車両に送信される。また、車両において、受信した目標位置関連情報に基づいて目標位置が設定され、自車両の制御により、自車両が目標位置に走行させられる。このように、目標位置が情報通信端末において入力可能であるため、目標位置の入力の利便性を向上させることができる。

本発明の実施例に係る車両走行方法が実施されるリモート駐車システムを概念的に示す図である。 上記リモート駐車システムに含まれる情報通信端末の構造を概念的に示す図である。上記情報通信端末には、本発明の実施例に係る目標位置入力アプリケーションが記憶され、実行される。 上記情報通信端末と目標位置との関係を概念的に示す図である。 上記情報通信端末のディスプレイの表示を概念的に示す図である。(a)停止枠画像ＳＰがＡＲ表示された図である。(b)停止枠画像ＳＰ，自車両画像ＸがＡＲ表示された図である。(c)停止枠画像ＳＰ，破線画像ＺがＡＲ表示された図である。 上記情報通信端末の記憶部に記憶された目標位置入力アプリケーションを表すフローチャートである。 上記車両の制御装置の記憶部に記憶されたリモート駐車プログラムを表すフローチャートである。 運転者による撮像状態を概念的に示す図である。

発明の実施形態

以下、本発明の一実施形態である車両走行方法が実行されるリモート駐車システムについて図面に基づいて説明する。また、リモート駐車システムの構成要素である情報通信端末８には、本発明の一実施形態である目標位置入力アプリケーションが記憶され、実行される。

本リモート駐車システムは、情報通信端末８と、車両に設けられた車両制御装置１０とを含み、オペレータ（一般的には、運転者であるが、運転者に限定されない。以下、本実施例においては、オペレータが運転者であるとする。）による情報通信端末８の操作により、車両である自車両（本車両制御装置１０が搭載された車両をいう。）に運転者が乗車していなくても、自車両を自動で走行させて、入庫（駐車）、出庫させることができるものである。

車両制御装置１０は、コンピュータを主体とする複数のＥＣＵ(electric control unit)１２～１８等を含む。
そのうちの照合ＥＣＵ１２は、情報通信端末８や携帯キー（以下、スマートキーと称する）２２から送信された情報であるリモート情報に含まれる識別情報の照合等を行うものである。ＰＶＭ（panoramic view monitor）ＥＣＵ１４は、例えば、車両に設けられた複数（本実施例においては、４つ）の車載撮像装置としての車載カメラ２４の撮像画像等に基づいてパノラマ画像を作成するものである。車両にはＩＲ灯光器２６も設けられるため、暗くてもパノラマ画像を作成することができる。

ＣＳＲ（clearance sonar）ＥＣＵ１６は、ＰＶＭＥＣＵ１４から供給されたパノラマ画像を表す情報、複数のソナー（sonar）２８からの情報等に基づいて画像認識を行い、車両の経路、走行計画を作成し、車両の制御指令を作成するものである。運転マネジャ１８は、ＣＳＲＥＣＵ１６において作成されて供給された車両の制御指令を出力するものである。車両の制御指令は、運転マネジャ１８によって、それぞれ、ＨＶ／ＥＦＩ（hybrid vehicle/electronic fuel injection）システム３０、ＥＰＳ(electronic controlled power steer)システム３２、ＳＢＷ（shift by wire）システム３４、ＥＰＢ(electromechanical parking brake)アクチュエータ３６act、サービスブレーキアクチュエータ（以下、単に、ブレーキアクチュエータと称する場合がある）３８act等に出力される。

ＨＶ／ＥＦＩシステム３０、ＥＰＳシステム３２、ＳＢＷシステム３４は、それぞれ、各々のＥＣＵであるＨＶ／ＥＦＩＥＣＵ３０ｃ、ＥＰＳＥＣＵ３２ｃ、ＳＢＷＥＣＵ３４ｃと、アクチュエータ部であるＨＶ／ＥＦＩアクチュエータ３０act、ＥＰＳアクチュエータ３２act、ＳＢＷアクチュエータ３４actとを含む。本実施例において、運転マネジャ１８は、ブレーキＥＣＵの構成要素であり、ブレーキＥＣＵ、ＥＰＢアクチュエータ３６act、ブレーキアクチュエータ３８act等によりブレーキ制御システム４０が構成される。

情報通信端末８とＤＣＵ（data control unit）４４とは、ブルートゥースＢＴを利用した通信を行う。また、ＤＣＵ４４、照合ＥＣＵ１２およびＣＲＥＣＵ１６の間においては、互いに情報の通信が行われる。例えば、ＤＣＵ４４は、情報通信端末８からの情報、例えば、駐車（入庫）指示情報、出庫指示情報等を照合ＥＣＵ１２、ＣＳＲＥＣＵ１６に供給し、目標位置に関する情報である目標位置関連情報等をＣＳＲＥＣＵ１６に供給する。また、照合ＥＣＵ１２、ＣＳＲＥＣＵ１６からの情報、例えば、照合結果を表す情報、車両の走行状態を表す情報等を情報通信端末８に供給する。

スマートキー２２とアンテナ４６とは、予め定められた範囲の周波数を利用して、情報の通信を行う。このスマートキー２２とアンテナ４６との通信は、スマートキー２２が、自車両の周辺の、アンテナ４６等の機能等に基づいて決まる予め定められた領域内に位置する場合に可能になる。アンテナ４６は、車両の各ドアに設けられた複数（本実施例においては４つ）のドアアンテナ４６ａ、車両の後部に設けられたＲｒアンテナ４６ｂ、前部に設けられたＦｒアンテナ４６ｃ等を含む。アンテナ４６が受信したスマートキー２２からの情報はチューナを介して照合ＥＣＵ１２に供給される。

照合ＥＣＵ１２には、リモート情報対応制御部４８、盗難防止装置制御部５０、電源制御部５２、駆動制御部５４等が含まれる。リモート情報対応制御部４８は、情報通信端末８、スマートキー２２から供給されたリモート情報の内容に対応した処理を行うものであり、例えば、リモート情報に識別情報が含まれる場合には、その識別情報が自車両に設定された識別情報と合致するか否かを判定する。また、リモート情報対応制御部４８は、スマートキー２２の自車両に対する相対位置を取得する。スマートキー２２が通信可能な領域内に位置する場合には、スマートキー２２と照合ＥＣＵ１２とのアンテナ４６を介する通信により、スマートキー２２の自車両に対する相対位置を精度よく取得することができる。
なお、スマートキー２２の自車両に対する相対位置は、照合ＥＣＵ１２ではなく、ＣＳＲＥＣＵ１６等の別のＥＣＵにおいて取得されるようにすることもできる。

盗難防止装置制御部５０は、盗難防止装置５６の作動状態を制御するものである。電源制御部５２は、ＨＶ／ＥＦＩＥＣＵ３０ｃ等の図示しないメインＳＷ（switch）がＯＮに切り換えられた場合に始動させられるアクチュエータのＥＣＵ（以下、メインＳＷ系ＥＣＵと称する場合がある）のＯＮ／ＯＦＦを制御するものである。駆動制御部５４は、ＨＶ／ＥＦＩアクチュエータ３０actの始動、停止を制御するものである。

例えば、情報通信端末８から送信されたリモート情報に出庫指示情報が含まれ、かつ、リモート情報に含まれる識別情報が合致した場合には、盗難防止装置５６がアンロックされ、メインＳＷ系ＥＣＵがＯＮにされ、ＨＶ／ＥＦＩアクチュエータ３０actが始動させられる。リモート情報が出庫指示情報を含む場合には、メインＳＷはＯＦＦにあるのが普通である。そのため、メインＳＷ系ＥＣＵがＯＮとされ、ＨＶ／ＥＦＩアクチュエータ３０actが始動させられるのである。
また、情報通信端末８から送信されたリモート情報に入庫指示情報が含まれ、かつ、リモート情報に含まれる識別情報が合致した場合には、入庫（駐車）後、盗難防止装置５６がロックされ、ＨＶ／ＥＦＩアクチュエータ３０actが停止させられる。

ＰＶＭＥＣＵ１４には、画像認識部６０、表示制御部６２等が含まれる。画像認識部６０は、複数の車載カメラ２４の撮像画像等に基づいて画像認識を行い、自車両の周辺の物体、歩行者、区画線等を認識する。表示制御部６２は、画像認識部６０において行われた画像認識情報等に基づいてパノラマ画像を作成する。表示制御部６２において作成されたパノラマ画像は車室内に設けられたＰＶＭディスプレイ６４に表示される。

ＣＳＲＥＣＵ１６には、端末操作検出部７２、空間認識部７４、経路作成走行計画部７６、車両制御部７８等が含まれる。端末操作検出部７２は、ＤＣＵ４４，照合ＥＣＵ１２との通信により、情報通信端末８からの出庫指示情報、入庫指示情報、目標位置関連情報等、照合ＥＣＵ１２からの識別情報の照合結果を表す情報等を検出する。空間認識部７６は、複数のソナー２８からの情報、ＰＶＭＥＣＵ１４からの情報等に基づいて画像認識を行い、俯瞰画像を作成する。経路生成走行計画部６８は情報通信端末８から供給された目標位置関連情報に基づいて目標位置を取得し、俯瞰画像において設定する。そして、自車両を目標位置まで移動させる場合の、自車両の経路を作成し、走行計画を作成する。車両制御部７８は、経路作成走行計画部７８において作成された走行計画に基づいて、ＨＶ／ＥＦＩシステム３０、ＥＰＳシステム３２、ＳＢＥシステム３４、ブレーキ制御システム４０等への制御指令値を作成する。車両制御部７８において作成された制御指令値は運転マネジャＥＣＵ１８に供給される。

また、ＣＳＲＥＣＵ１６にはＧＰＳ(global positioning system)受信機８０が図示しないナビゲーションＥＣＵを介して接続され、ＧＰＳ受信機８０において受信した信号に基づいて自車両の絶対位置（三次元または二次元上の位置をいう）が取得される。絶対位置とは、相対位置に対する用語であり、三次元または二次元の座標で表すことができる位置をいう。

上述のＨＶ／ＥＦＩシステム３０は、自車両を駆動させるとともに駆動力等を制御可能な駆動制御システムであり、本実施例においては、ＨＶ／ＥＦＩアクチュエータ３０act（駆動源）として電動モータおよび電子制御燃料噴射装置付きのエンジン等を含む。ＨＶ／ＥＦＩアクチュエータ３０actの制御により、アクセル操作部材等の操作が行われなくても、自車両を、自動で走行させ、その走行速度を制御すること等ができる。
なお、駆動源は、電動モータを備え、エンジンを備えていないものとしたり、電動モータを備えず、エンジンを備えたものとしたりすること等もできる。

ＥＰＳシステム３２は、車両の操舵輪を転舵させるとともに、転舵の向き、転舵力等を制御可能な操舵制御システムであり、本実施例においては、ＥＰＳアクチュエータ３２actとしての電動パワーステアリング装置等を含む。ＥＳＰアクチュエータ３２actの制御により、操舵操作部材が操作されなくても、操舵輪を転舵させ、車両を旋回させることができる。

ＳＢＷシステム３４は、駆動伝達機構のシフト位置（Ｄ，Ｒ，Ｐ等）を制御するシフト位置制御システムであり、ＳＢＷアクチュエータ３４actとしてのシフトバイワイヤ式のシフト切り換えアクチュエータ等を含む。ＳＢＷアクチュエータ３４actの制御により、シフト操作部材が操作されなくても、シフト位置を切り換えることができるのであり、シフト位置をパーキング位置に切り換えることができる。

ブレーキ制御システム４０は、車両に制動力を加えるとともに、その制動力の大きさを制御可能なものであり、ＥＰＢ（電動パーキングブレーキ）アクチュエータ３６actと、サービスブレーキアクチュエータ３８actとを含む。ブレーキ操作部材が操作されなくても、制動力を加えることができ、車両を減速したり、停止させたりすることができる。また、情報通信端末８からの駐車指示に応じて車両が駐車させられた場合には、ＥＰＢアクチュエータ３６actの制御により、パーキングブレーキが作動させられる。

情報通信端末８は、通信機能等を有する携帯可能な端末であり、情報通信携帯端末、スマートフォンと称することもできる。情報通信端末８は、図２に示すように、コンピュータを主体とする制御部１００と、制御部１００に接続された通信装置１０２、端末撮像装置（以下、単に撮像装置と称する）１０４、端末表示部としてのディスプレイ１０６、ジャイロセンサ１０８、方位センサ１１０、ＧＰＳ受信機１１２等を含む。情報通信端末８の絶対位置は、ＧＰＳ受信機１１２において受信された信号に基づいて取得され、情報通信端末８の向き（方位）、姿勢（垂直軸に対する傾斜角度）、換言すると、撮像装置１０４の状態は、方位センサ１１０、ジャイロセンサ１０８等の検出値等に基づいて取得される。通信装置１０２はＤＣＵ４４との間でブルートゥースＢＴを利用した通信を行う。ディスプレイ１０６は、タッチパネル１０６としての機能を有する。タッチパネル１０６を介して出庫指示操作、入庫指示操作、目標位置の入力操作等が行われる。

情報通信端末８における目標位置の入力は、撮像装置１０４の撮像画像に基づいて行われる。
撮像装置１０４のレンズを向けることにより画像である撮像画像が取得され、ディスプレイ１０６に表示される。一方、ＡＩ(artificial intelligence)により撮像画像に基づいて路面の勾配、高さ制限になり得る物体（以下、単に高さ制限と称する）の有無等が取得され、これら路面の勾配、高さ制限等と、予め入力されている自車両の大きさとに基づいて、自車両が停止可能である位置である停止可能位置が抽出される。そして、その停止可能位置を表す画像ＳＰ（以下、停止枠画像ＳＰと称する）が、図４(A)に示すように、ＡＲ（Augmented Reality）技術を利用してディスプレイ１０６に撮像画像に重ねて表示される。なお、図４(A)は、停止枠画像ＳＰが１つの場合を示すが、停止枠画像ＳＰは複数表示される場合がある。

停止可能位置は、駐車位置、出庫位置（一時的に停車する停車位置）等を含む。また、位置とは、場所のことであり、自車両が停止可能な面積を有する。
自車両の大きさは、例えば、自車両の前後方向の長さ、幅方向の長さ、ルーフまでの高さ等で表すことができる。

運転者は、ディスプレイ１０６に表示された撮像画像上の一部をタッチする等により、目標位置を入力する。ＡＩにより、その入力した目標位置に自車両が停止可能であるか否かが判定される。例えば、入力された目標位置が停止枠画像ＳＰの内部である場合には、停止可能であると判定され、停止枠画像ＳＰの境界線上、または停止枠画像ＳＰの外である場合には、停止不能であると判定されることが多い。
ＡＩにより入力された目標位置に自車両が停止可能であると判定された場合には、図４(B)に示すように、撮像画像上の、その入力された目標位置に自車両を表す画像である自車両画像Ｘが重ねて表示される。その目標位置に自車両が停止不能であると判定された場合には、図４(C)に示すように、撮像画像上の、その入力された目標位置に自車両の外形を破線で示す画像である破線画像Ｙが重ねて表示されるとともに、停止できないことを表す画像である停止不可情報画像Ｚが別の部分に重ねて表示される。

また、情報通信端末８において、目標位置は撮像画像である動画に基づいて入力されるようにしても静止画に基づいて入力されるようにしてもよく、例えば、情報通信端末８において撮像装置１０４のレンズが目標位置を含む領域に向けられ、シャッター操作が行われることにより得られた静止画に基づいて、停止可能領域の抽出、目標位置の入力、停止可能であるか否かの判定等が行われるようにすることもできる。

さらに、運転者は、自車両画像Ｘまたは破線画像Ｙをディスプレイ１０６において移動させることにより、入力した目標位置を変更することができる。目標位置が移動した場合には、その移動後の目標位置において自車両が停止可能であるか否かが判定される。
また、運転者はＡＲ表示された自車両画像Ｘの向きをディスプレイ１０６において変更することにより、目標位置における自車両の向きを変更することができる。

運転者により、目標位置を決める決定操作がタッチパネル１０６を介して行われることにより、目標位置関連情報が作成され、送信される。目標位置関連情報は、目標位置に関する情報であり、車両において、目標位置関連情報に基づいて目標位置の絶対位置、または、目標位置の自車両に対する相対位置を取得可能な情報である。
ＧＰＳ受信機１１２、方位センサ１１０、ジャイロセンサ１０８等により、撮像装置１０４により撮像画像が得られた時点の、情報通信端末８の位置、撮像装置１０４の向き、垂直軸線に対する傾斜角度が取得される。そして、図３に示すように、撮像装置１０４の向き、傾斜角度（光軸の傾斜角度）θ、設定倍率、水平方向，垂直方向の各々のレンズの画角（垂直方向の画角をφとする）等に基づいて、目標位置の情報通信端末８に対する相対位置が取得される。

例えば、図３において、距離Ｌａは、高さｈ、傾斜角度θ、画角φを用いて取得することができ、距離Ｌｓは、レンズの設定倍率、撮像画像上の長さ等に基づいて取得することができ、これら距離Ｌａ，Ｌｓに基づいて、目標位置Ａの情報通信端末８からの距離Ｌを取得することができる。また、目標位置Ａの情報通信端末８に対する撮像装置１０４の光軸に直交する方向に対する相対位置についても同様に取得することができる。以上により、目標位置の情報通信端末８に対する相対位置（以下、第１相対位置と称する場合がある）を表す情報（以下、第１相対位置情報と称する場合がある）が取得されるのであり、この第１相対位置情報および情報通信端末８の絶対位置を表す情報である絶対位置情報を含む情報が本実施例における目標位置関連情報として作成され、通信装置１０２を介して送信される。

車両において、ＤＣＵ４４において、情報通信端末８から送信されたリモート情報が受信され、ＤＣＵ４４からＣＳＲＥＣＵ１６に、そのリモート情報に含まれる目標位置関連情報が供給される。ＣＳＲＥＣＵ１６（車両）において、目標位置関連情報に基づいて、情報通信端末８の絶対位置、目標位置の情報通信端末８に対する第１相対位置が取得される。一方、車両において、ＧＰＳ受信機８０が受信した信号に基づいて自車両の絶対位置が取得される。そのため、自車両の絶対位置と情報通信端末８の絶対位置とに基づき、情報通信端末８の自車両に対する相対位置または自車両の情報通信端末８に対する相対位置（以下、第２相対位置と称する場合がある）を取得することができ、これら第１相対位置と第２相対位置とに基づけば、目標位置の自車両に対する相対位置を取得することができる。そして、車載カメラ２４等の撮像画像に基づいて取得された俯瞰画像上において目標位置が設定され、自車両の目標位置への経路および走行計画が作成され、制御指令値が作成される。

なお、車両においては、上述のように、スマートキー２２との通信により、スマートキー２２の自車両に対する相対位置は精度よく取得することができる。一方、運転者は情報通信端末８とスマートキー２２との両方を所持するのが普通である。スマートキー２２との通信により取得されるスマートキー２２の自車両に対する相対位置は、情報通信端末８の絶対位置と自車両の絶対位置とに基づいて取得される情報通信端末８の自車両に対する相対位置より精度が高い。そのため、スマートキー２２の自車両に対する相対位置に基づいて、情報通信端末８の自車両に対する相対位置が補正され、目標位置の自車両に対する相対位置が補正される。

この場合の一例を図５，６に示す。情報通信端末８においては、図５のフローチャートで表される目標位置入力アプリケーションが予め記憶されている。その目標位置入力アプリケーションの実行により、目標位置が設定される。
運転者は自車両を出庫させる場合に、車両の外において、情報通信端末８を操作する。また、入庫させる場合に、スマートキー２２を持って車両から降りて、例えば、図７に示すように、運転者Ｈは位置Ｐ１において目標位置である入庫位置（駐車位置）へ情報通信端末８を向けて操作する。

ステップ（以下、単にＳと略称する。他のステップについても同様とする）１において、撮像装置１０４により目標位置を含む領域が撮像され、撮像画像が情報通信端末８のディスプレイ１０６に表示される。Ｓ２において、その時点の情報通信端末８の位置、向き、傾斜角度等が取得される。Ｓ３において、撮像装置１０４により取得された撮像画像について画像認識が行われ、Ｓ４において、ＡＩにより停止可能領域が抽出され、停止枠画像ＳＰがＡＲ表示される。Ｓ５において、目標位置の入力が待たれる。目標位置の入力があった場合には、Ｓ６において、目標位置に自車両が停止可能であるか否かが判定される。判定がＹＥＳである場合には、Ｓ７において、自車両画像ＸがＡＲ表示され、判定がＮＯである場合には、Ｓ８において、破線画像Ｙ、停止不可情報画像ＺがＡＲ表示される。Ｓ９において、目標位置が決定されたか否か、すなわち、決定操作が行われたか否かが判定される。判定がＹＥＳである場合には、Ｓ１０において、目標位置の情報通信端末８に対する相対位置が取得され、Ｓ１１において、目標位置関連情報が作成されて、Ｓ１２において送信される。判定がＮＯである場合、例えば、目標位置が移動させられた場合、または、運転者が移動して撮像し直す場合等には、Ｓ１に戻される。

車両においては、図６のフローチャートで表されるリモート駐車プログラムが予め定められた設定時間毎に実行される。
Ｓ２１において、目標位置関連情報が検出されたか否か（目標位置関連情報を含むリモート情報が受信されたか否か）が判定される。判定がＹＥＳである場合には、Ｓ２２において、車載カメラ２４の撮像画像に基づいて俯瞰画像が取得される。また、Ｓ２３において、スマートキー２２の自車両に対する相対位置が取得され、情報通信端末８の自車両に対する相対位置が補正され、Ｓ２４において、補正された情報通信端末８の自車両に対する相対位置に基づいて、目標位置関連情報に基づいて取得された目標位置の情報通信端末８に対する相対位置が補正され、これら補正された情報通信端末８の自車両に対する相対位置と、目標位置の情報通信端末８に対する相対位置とに基づいて、目標位置の自車両に対する相対位置が取得される。そして、Ｓ２５において、俯瞰画像において目標位置が設定される。Ｓ２６において、自車両が目標位置へ走行する経路、運転計画が作成されて、制御指令値が作成されて運転マネジャ１８に供給される。Ｓ２７において、運転マネジャ１８は、制御指令値をＨＶ／ＥＦＩシステム３０、ＥＰＳシステム３２、ＳＢＷシステム３４に供給するとともに、制御指令値に基づいて、ＥＰＢアクチュエータ３６act、ブレーキアクチュエータ３８act等を制御する。自車両が制御されるのであり、目標位置へ走行させられる。

このように、運転者は情報通信端末８の撮像装置１０４の撮像により得られた撮像画像に基づいて目標位置を入力することができる。そのため、車両において車載カメラ２４の撮像画像に基づいて取得された俯瞰画像に基づいて入力する場合より目標位置を入力し易くなる。また、俯瞰画像に基づく場合には、路面勾配、高さ制限の有無等が分かり難いが、撮像装置１０４の撮像画像に基づく場合には、これらを取得することが可能となり、目標位置に自車両を停止可能か否を正確に取得することができる。その結果、停止不能な位置に目標位置が入力され難くすることができる。

また、車載カメラ２４の撮像画像に基づいて取得可能な領域から外れた位置に目標位置を入力することもできる。車両において、目標位置の自車両に対する相対位置が取得できれば、それに基づいて経路を作成することができるからである。また、車載カメラ２４の撮像画像に基づいて取得可能な領域から外れた位置に目標位置が設定された場合には、車両において、ＧＩＳ（Geographic information system）情報、Googleマップ等を用いて、目標位置を設定し、自車両の目標位置までの走行経路等が作成されるようにすることができる。そして、自車両が車載カメラ２４に基づいて取得可能な領域に達した場合に、経路等が修正されるようにすることも可能である。
このように、本実施例においては、目標位置の入力の利便性を向上させることができる。

さらに、運転者は情報通信端末８とともにスマートキー２２も携帯するのが普通であり、上述のように、スマートキー２２の自車両に対する相対位置は、自車両において精度よく取得することができる。そのため、スマートキー２２の自車両に対する相対位置に基づいて、情報通信端末８の自車両に対する相対位置を修正することにより、目標位置の自車両に対する相対位置の精度を向上させることができ、目標位置の精度を向上させることができる。

以上のように、本実施例において、Ｓ５の実行が目標位置入力工程に対応し、Ｓ１１の実行が目標位置関連情報作成工程に対応し、Ｓ１２の実行が送信工程に対応し、Ｓ２１～２７の実行が車両制御工程に対応する。また、Ｓ１１が目標位置関連情報作成ステップに対応し、Ｓ１２が送信ステップに対応する。

なお、運転者は、情報通信端末８において目標位置の入力操作を行う場合に移動しないことが多いため、車両において目標位置関連情報が受信された時点のリモートキー２２の自車両に対する相対位置が取得され、目標位置の補正に用いられるようにすることができる。しかし、運転者は、情報通信端末８において目標位置の入力操作を行う場合に移動する場合がある。その場合には、Ｓ２において、情報通信端末８の姿勢等の状態を取得するとともに、その情報通信端末８の状態が取得されたことを表す情報が車両に送信されるようにすることができる。車両において、その時点におけるリモートキー２２の自車両に対する相対位置が取得されて、記憶され、目標位置の補正に用いられるようにすることができる。

また、情報通信端末８における撮像装置１０４の撮像画像に自車両が含まれるようにすることができる。その場合には、情報通信端末８において、目標位置の情報通信端末８に対する第１相対位置と、自車両の情報通信端末８に対する第２相対位置とが取得され、これらを表す第１相対位置情報と第２相対位置情報とを含む情報が目標位置関連情報として作成されて、送信される。その結果、自車両において、目標位置の自車両に対する相対位置をより正確に取得することができる。
この場合において、広角レンズを用いることにより、車両と目標位置とが離れていても、１つの撮像画像に車両と目標位置とを含ませることができる場合がある。

それに対して、１つの撮像画像に車両と目標位置とを含ませることができない場合には、例えば、図７に示すように、運転者Ｈは、位置Ｐ２において、撮像装置１０４により、目標位置が含まれる領域と、自車両Ｖが含まれる領域とを撮像することにより、自車両Ｖが含まれないで目標位置が含まれる撮像画像と目標位置が含まれないで自車両Ｖが含まれる撮像画像とが取得されるようにすることができる。そして、それぞれの撮像画像に基づいて、目標位置の情報通信端末８に対する第１相対位置、自車両の情報通信端末８に対する第２相対位置が取得され、これらの第１相対位置情報および第２相対位置情報を含む目標位置関連情報が作成されて、送信されるようにすることもできる。
なお、図７において、運転者Ｈは、撮像装置１０４により位置Ｐ１において目標位置が含まれる画像を撮像し、位置Ｐ２に移動して自車両Ｖが含まれる画像を撮像することもできる。本実施例においては、第１相対位置情報および情報通信端末８の絶対位置情報と、第２相対位置情報および情報通信端末８の絶対位置情報とが目標位置関連情報として作成されて、送信される。

さらに、情報通信端末８において目標位置の絶対位置（三次元または二次元上の位置）が取得されるようにすることができる。例えば、情報通信端末８において、情報通信端末８の絶対位置と、目標位置の情報通信端末８に対する相対位置とに基づけば、目標位置の絶対位置を取得することができる。本実施例においては、目標位置の絶対位置を表す情報が目標位置関連情報として作成されて、送信される。

一方、情報通信端末８において、目標位置の情報通信端末８に対する相対位置を取得することは不可欠ではなく、情報通信端末８の位置、方位、傾斜角度等と、決定された目標位置がＡＲ表示された画像データとを含む情報が目標位置関連情報として作成され、車両に送信されるようにすることもできる。車両においては、受信した目標位置関連情報と車載カメラ２４の撮像画像に基づいて取得された俯瞰画像とに基づいて目標位置が取得され、設定されるようにすることができる。

さらに、停止可能位置は、車両より大きい寸法（前後方向の長さまたは幅方向の長さ）に基づいて抽出することができる。それに対して、車両の前後方向の長さを、実際より短い長さに設定して、停止可能位置が抽出されるようにすることができる。例えば、車両の前部が目標位置から突出しても差し支えないと考えられる場合もあるからである。この場合には、例えば、強制停止モード（はみ出しモード）と通常停止モードとを選択可能とし、強制停止モードが設定された場合に、前後方向の長さを実際より短い長さとして停止可能位置が抽出されるようにすることができる。

また、情報通信端末８において目標位置が入力され、車両を目標位置まで走行させる技術は、リモート駐車システムに限らず、運転者が乗車していなくても目標位置まで自車両を自動で走行させるシステムや、運転者が乗車した状態で自車両を自動で走行させるシステム、運転者が乗車した状態で目標位置への走行の支援を行うシステム等に広く適用することができる。

さらに、車両制御装置１０の構造は上記実施例における構造に限定されない。例えば、上記実施例において、車両制御装置１０が複数のＥＣＵを含むものであったが、１つのＥＣＵ等から構成されたものとすることができる等、本発明は、上記実施例の他、当業者の知識に基づいて種々の変更、改良を施した種々の形態で実施することができる。

８：情報通信端末 １０：車両制御装置 ２２：スマートキー １２：照合ＥＣＵ １４：ＰＶＭＥＣＵ １６：ＣＳＲＥＣＵ １８：運転マネジャ ３８：ＤＣＵ ４０：アンテナ ７４：空間認識部 ７６：経路生成走行計画部 ７８：車両制御部 １００：制御部 １０２：通信装置 １０４：撮像装置 １０６：ディスプレイ １０８：ジャイロセンサ １１０：方位センサ １１２：ＧＰＳ受信機

特許請求可能な発明

（１）情報通信端末と車両との通信に基づいて、前記車両である自車両を制御して目標位置へ走行させる車両走行方法であって、
前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
前記端末表示部に表示された前記撮像画像上に、前記目標位置を入力する目標位置入力工程と、
前記目標位置入力工程において入力された前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成工程と、
前記目標位置関連情報作成工程において作成された前記目標位置関連情報を前記自車両に送信する送信工程と、
前記情報通信端末から送信され、前記自車両において受信した前記目標位置関連情報に基づいて前記目標位置を設定し、前記自車両を制御することにより前記目標位置へ走行させる自車両制御工程と
を含む車両走行方法。

車両制御工程は、自車両を目標位置へ走行させる経路を作成し、運転計画を作成する経路等作成工程を含むものとすることができる。
目標位置関連情報は、例えば、(i)目標位置の絶対位置を表す情報を含むものとしたり、(ii)目標位置の情報通信端末に対する相対位置を表す情報である第１相対位置情報を含むものとしたり、(iii)自車両の情報通信端末に対する相対位置または情報通信端末の自車両に対する相対位置を表す情報である第２相対位置情報および第１相対位置情報を含むものとしたり、(iii)情報通信端末の位置、姿勢、方位等を表す情報および目標位置が表示された撮像画像情報等を含むものとしたりすること等ができる。
また、撮像画像は、動画であっても静止画であってもよい。

なお、本車両走行方法は、情報通信端末と車両との通信により、運転者が乗車していなくても自車両を目標位置へ自動で走行させるシステムに適用したり、情報通信端末と車両との通信により、運転者が乗車した状態で自車両を目標位置へ自動で走行させるシステムに適用したり、情報通信端末と車両との通信により、運転者が乗車した状態で自車両を目標位置への走行を支援するシステムに適用したりすること等ができる。このように、情報通信端末と車両との通信は、目標位置の入力時に行われる場合、目標位置の入力時および走行中に行われる場合等がある。また、目標位置は入庫（駐車）位置、出庫位置に限らない。

（２）当該車両走行方法が、
前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記目標位置入力工程において入力された前記目標位置に前記自車両を停止可能であるか否かを判定する判定工程と、
前記判定工程の判定結果を表す画像を、前記端末表示部に表示された前記撮像画像上に重ねて表示する判定結果ＡＲ表示工程と
を含む(1)項に記載の車両走行方法。

例えば、停止可能である場合には、自車両を表す画像を撮像画像上の目標位置に重ねて表示し、停止不能である場合には自車両の外形を破線で表す画像を撮像画像上の目標位置に重ねて表示するとともに、停止不可情報画像を別の位置に重ねて表示することができる。
また、目標位置に自車両を停止可能であるか否かは、自車両の大きさのみならず、路面勾配、高さ制限の有無等に基づいて判定されるようにすることができる。

（３）当該車両走行方法が、前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記自車両が停止可能な位置である停止可能位置を抽出し、前記停止可能位置を表す画像である停止可能位置画像を前記端末表示部によって表示された前記撮像画像の前記停止可能位置に重ねて表示する停止可能位置画像ＡＲ表示工程を含む(1)項または(2)項に記載の車両走行方法。
停止可能位置が抽出される場合には、路面勾配、高さ制限の有無等も考慮される。また、停止可能位置は、撮像画像上に１つ以上抽出されることが多い。

（４）前記車両制御工程が、前記自車両と、前記情報通信端末とは別のスマートキーとの通信により取得された前記スマートキーの前記自車両に対する相対位置に基づいて前記情報通信端末の前記自車両に対する相対位置を補正し、前記目標位置関連情報に基づいて取得された前記目標位置を補正する補正工程を含む(1)項ないし(3)項のいずれか１つに記載の車両走行方法。
オペレータである運転者は、スマートキーと情報通信端末とを所持していることが多い。そのため、スマートキーの自車両に対する相対位置は情報通信端末の自車両に対する相対位置と同じであると考えることができる。

（５）車両と情報通信端末との通信に基づいて前記車両である自車両を制御して目標位置へ走行させる車両走行システムにおいて、前記情報通信端末に記憶され、実行される目標位置入力アプリケーションであって、
前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
前記端末撮像装置が前記目標位置を含む領域に向けられることにより得られた撮像画像と、前記端末表示部に表示された前記撮像画像上に入力された前記目標位置とに基づいて、前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成ステップと、
前記目標位置関連情報作成ステップにおいて作成された前記目標位置関連情報を前記車両に送信する送信ステップと
を含む目標位置入力アプリケーション。
本目標位置入力アプリケーションは、(1)項ないし(4)項のいずれかに記載の車両走行方法が実行される場合に、情報通信端末において実行されるようにすることができる。

（６）当該目標位置入力アプリケーションが、前記撮像画像上の前記入力された前記目標位置に前記自車両が停止可能であるか否かを、予め記憶された前記自車両の大きさに基づいて判定する停止可否判定ステップと、
前記停止可否判定ステップにおける判定結果を表す画像を、前記端末表示部に表示された前記撮像画像上の前記入力された前記目標位置に重ねて表示させる判定結果ＡＲ表示ステップとを含む(5)項に記載の目標位置入力アプリケーション。
なお、判定結果を表す画像は、目標位置から外れた位置に表示されるようにすることもできる。

（７）当該目標位置入力アプリケーションが、前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記端末表示部に表示された前記撮像画像上の前記自車両が停止可能な位置である停止可能位置を抽出し、前記停止可能位置を表す画像を、前記撮像画像の前記抽出された前記停止可能位置に重ねて表示する停止可能位置画像ＡＲ表示ステップを含む(5)項または(6)項に記載の目標位置入力アプリケーション。
自車両が停止可能な位置は、例えば、ＡＩを利用して抽出することができる。例えば、路面勾配が小さく、高さ制限がない位置であって、前記自車両の大きさ以上の位置は停止可能位置であると抽出され得る。

（８）前記目標位置関連情報作成ステップが、前記情報通信端末の姿勢を含む状態に基づいて、前記撮像画像上の前記目標位置の前記情報通信端末に対する相対位置である第１相対位置を取得する第１相対位置取得ステップを含み、前記目標位置関連情報を、前記第１相対位置取得ステップにおいて取得された前記第１相対位置を表す情報である第１相対位置情報を含んで作成する(5)項ないし(7)項のいずれか１つに記載の目標位置入力アプリケーション。

目標位置関連情報に、情報通信端末の絶対位置を表す絶対位置情報を含ませることができるが、絶対位置情報は不可欠ではない。車両において、情報通信端末の自車両に対する相対位置が取得可能であるからである。
情報通信端末の状態、換言すると、端末撮像装置の状態は姿勢等取得装置によって取得されるようにすることができる。姿勢等取得装置は、例えば、方位センサとジャイロセンサとの少なくとも一方を含むものとすることができる。方位センサによれば情報通信端末（端末撮像装置）の向きを取得することができ、ジャイロセンサによれば情報通信端末の垂直軸線または水平軸線に対する傾斜角度を取得することができる。

（９）前記目標位置関連情報作成ステップが、前記目標位置関連情報を、前記情報通信端末の垂直軸線または水平軸線に対する傾斜角度、向きを表す情報と、前記入力された目標位置が重ねて表示された前記撮像画像を表す情報とを含んで作成する(5)項ないし(7)項のいずれか１つに記載の目標位置入力アプリケーション。
車両において、車両において取得された画像データに、撮像画像に目標位置が表示された画像を合わせることにより、目標位置を特定し、設定することができる。また、車両において取得された画像には、ＧＩＳ情報、Googleマップ、車載カメラの撮像画像、その撮像画像に基づいて取得された俯瞰画像等が該当する。
なお、その他、撮像装置の設定倍率、画角等の情報も含ませることができる。

（１０）前記目標位置関連情報作成ステップが、前記情報通信端末の位置、垂直軸線または水平軸線に対する傾斜角度、向きを表す情報と、前記撮像画像とに基づいて、前記入力された前記目標位置の絶対位置を取得する目標位置取得ステップを含み、前記目標位置関連情報を前記目標位置取得ステップにおいて取得された前記目標位置の絶対位置を表す情報を含むものとして作成する(5)項ないし(7)項のいずれか１つに記載の目標位置入力アプリケーション。

（１１）前記撮像画像に前記自車両が含まれ、
前記目標位置関連情報作成ステップが、前記自車両の前記情報通信端末に対する相対位置である第２相対位置を取得する第２相対位置取得ステップを含み、前記目標位置関連情報を、前記第１相対位置情報と、前記第２相対位置取得ステップにおいて取得された前記第２相対位置を表す情報である第２相対位置情報とを含むものとして作成する(8)項に記載の目標位置入力アプリケーション。

（１２）前記撮像装置によって、前記自車両を含まないで前記目標位置を含む領域の撮像画像である目標位置撮像画像と、前記目標位置を含まないで自車両を含む領域の撮像画像である自車両撮像画像とが取得され、
前記目標位置関連情報作成ステップが、前記目標位置関連情報を、前記目標位置撮像画像に基づいて取得された前記目標位置の前記情報通信端末に対する第１相対位置を表す情報である第１相対位置情報と、前記自車両撮像画像に基づいて取得された前記自車両の前記情報通信端末に対する第２相対位置を表す情報である第２相対位置情報とを含むものとして作成する(8)項に記載の目標位置入力アプリケーション。

（１３）車両と情報通信端末との通信に基づいて前記車両である自車両を目標位置へ走行させる場合において、前記目標位置を設定する目標位置設定方法であって、
前記情報通信端末の端末撮像装置が前記目標位置を含む領域に向けられることにより得られた画像である撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程において取得され、前記情報通信端末の端末表示部に表示された撮像画像上に前記目標位置を入力する目標位置入力工程と、
前記目標位置入力工程において入力された前記目標位置に関する情報である目標位置関連情報を作成して、前記自車両に送信する送信工程と、
前記情報通信端末から送信されて、前記車両において受信した前記目標位置関連情報に基づいて、前記車両において取得された画像データ上に前記目標位置を設定する目標位置設定工程と
を含む目標位置設定方法。
本項に記載の特徴は、(1)項ないし(4)項に記載の車両走行方法、(5)項ないし(12)項に記載の目標位置入力アプリケーション、(14)項ないし(16)項に記載の車両走行システムに適用することができる。

（１４）情報通信端末と車両との通信に基づいて前記車両である自車両を制御して目標位置へ走行させる車両走行システムであって、
前記情報通信端末が、
端末撮像装置と、
前記端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部と、
前記端末表示部に表示された撮像画像に目標位置を入力可能な端末入力装置と、
前記端末入力装置によって入力された前記目標位置に関する情報である目標位置関連情報を送信する端末送信装置と
を含み、
前記車両が、
前記情報通信端末から送信された前記目標位置関連情報を受信する車両受信装置と、
前記車両受信装置において受信した前記目標位置関連情報に基づいて、前記目標位置の前記自車両に対する相対位置を取得し、前記自車両を制御することにより、前記目標位置へ走行させる車両制御装置と
を含む車両走行システム。

（１５）前記車両が、
前記自車両の周辺を表す画像データを取得する画像データ取得部と、
その画像データ取得部によって取得された前記画像データに、前記目標位置関連情報に基づいて取得された前記目標位置を設定する目標位置設定部と
を含み、
前記車両制御装置が、前記目標位置設定部によって設定された前記目標位置まで前記自車両を走行させる経路を作成し、運転計画を作成する経路等作成部を含む(14)項に記載の車両走行システム。

（１６）前記車両が、前記情報通信端末とは別のスマートキーと通信可能な通信装置を含み、
前記車両制御装置が、
前記スマートキーとの通信により前記スマートキーの位置を取得し、そのスマートキーの位置に基づいて前記情報通信端末の位置を補正し、前記目標位置を補正する目標位置補正部と
を含む(14)項または(15)項に記載の車両走行システム。

Claims (4)

1. 情報通信端末と車両との通信に基づいて、前記車両である自車両を制御して目標位置へ走行させる車両走行方法であって、
   前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
   前記自車両が、コンピュータを主体とする車両制御装置を含み、
   前記情報通信端末において実行される、
   (a)前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、オペレータの操作によって前記端末表示部に表示された前記撮像画像上に入力された目標位置に、前記自車両を停止可能であるか否かを判定する判定工程と、
   (b)前記判定工程において前記目標位置に前記自車両を停止可能であると判定された場合と停止不能であると判定された場合とで、異なる画像を前記端末表示部に表示された前記撮像画像上に重ねて表示する判定結果ＡＲ表示工程と、
   (c)前記判定結果ＡＲ表示工程において表示された画像に基づいて決定された前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成工程と、
   (d)前記目標位置関連情報作成工程において作成された前記目標位置関連情報を前記自車両に送信する送信工程と、
   前記車両制御装置において実行される、前記情報通信端末から送信され、前記自車両において受信した前記目標位置関連情報に基づいて前記目標位置を設定し、前記自車両を制御することにより前記目標位置へ走行させる自車両制御工程と
   を含む車両走行方法。
2. 当該車両走行方法が、前記オペレータによって前記目標位置が入力される前に前記情報通信端末において実行される、前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記自車両が停止可能な位置である停止可能位置を抽出し、前記停止可能位置を表す画像である停止可能位置画像を前記端末表示部によって表示された前記撮像画像の前記停止可能位置に重ねて表示する停止可能位置画像ＡＲ表示工程を含み、前記停止可能位置画像ＡＲ表示工程において前記停止可能位置画像が前記撮像画像に重ねて表示された画像上に、前記オペレータによって前記目標位置が入力される請求項１に記載の車両走行方法。
3. 車両と情報通信端末との通信に基づいて前記車両である自車両を制御して目標位置へ走行させる車両走行システムにおいて、前記情報通信端末に記憶され、実行される目標位置入力アプリケーションであって、
   前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
   前記端末撮像装置が前記目標位置を含む領域に向けられることにより得られた撮像画像と、前記端末表示部に表示された前記撮像画像上に入力された前記目標位置とに基づいて、前記撮像画像上の前記入力された前記目標位置に前記自車両が停止可能であるか否かを、予め記憶された前記自車両の大きさに基づいて判定する停止可否判定ステップと、
   前記停止可否判定ステップにおいて、前記目標位置に前記自車両を停止可能であると判定された場合と停止不能であると判定された場合とで、異なる画像を前記端末表示部に表示された前記撮像画像上に重ねて表示する判定結果ＡＲ表示ステップと、
   前記判定結果ＡＲ表示ステップにおいて表示された画像に基づいて決定された前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成ステップと、
   前記目標位置関連情報作成ステップにおいて作成された前記目標位置関連情報を前記車両に送信する送信ステップと
   を含む目標位置入力アプリケーション。
4. 当該目標位置入力アプリケーションが、前記停止可否判定ステップの前に設けられ、前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記端末表示部に表示された前記撮像画像上の前記自車両が停止可能な位置である停止可能位置を抽出し、前記停止可能位置を表す画像を、前記撮像画像の前記抽出された前記停止可能位置に重ねて表示する停止可能位置画像ＡＲ表示ステップを含む請求項３に記載の目標位置入力アプリケーション。

Images