JP2016197314A - 運転支援システム、運転支援装置及び運転支援方法 - Google Patents

運転支援システム、運転支援装置及び運転支援方法 Download PDF

Info

Publication number
JP2016197314A
JP2016197314A JP2015076472A JP2015076472A JP2016197314A JP 2016197314 A JP2016197314 A JP 2016197314A JP 2015076472 A JP2015076472 A JP 2015076472A JP 2015076472 A JP2015076472 A JP 2015076472A JP 2016197314 A JP2016197314 A JP 2016197314A
Authority
JP
Japan
Prior art keywords
vehicle
driving support
landmark
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015076472A
Other languages
English (en)
Other versions
JP6503218B2 (ja
JP2016197314A5 (ja
Inventor
永井 徹
Toru Nagai
徹 永井
奥出 真理子
Mariko Okude
真理子 奥出
新 吉高
Yoshitaka Shin
吉高 新
忠明 北村
Tadaaki Kitamura
忠明 北村
加藤 淳
Atsushi Kato
淳 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2015076472A priority Critical patent/JP6503218B2/ja
Publication of JP2016197314A publication Critical patent/JP2016197314A/ja
Publication of JP2016197314A5 publication Critical patent/JP2016197314A5/ja
Application granted granted Critical
Publication of JP6503218B2 publication Critical patent/JP6503218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】従来のナビゲーション装置では、目的地の周辺における詳しい情報を運転者が得ることができなかった。
【解決手段】運転支援システムは、複数の車両と、車両の運転を支援する運転支援情報を車両に配信する運転支援装置と、を備える。車両は、車載カメラから得られる画像を運転支援装置に送信し、運転支援装置から運転支援情報を受信する。運転支援装置は、車両から受信した画像に含まれるランドマークを認識し、ランドマークが設置される所定位置に基づいて判定された車両の位置に対応する運転支援情報を車両に配信する。
【選択図】図1

Description

本発明は、例えば、自動車等の車両を運転する運転者を支援する運転支援システム、運転支援装置及び運転支援方法に関する。
従来、車両等に搭載され、運転者に経路案内を行うナビゲーション装置が知られている。このナビゲーション装置では、上空にある複数のGPS(Global Positioning System)衛星が衛星電波に載せて送信したGPS信号を受信して現在位置を測位し、表示装置に表示された地図に車両の現在位置を重畳して表示することが可能である。そして、近年では、特許文献1に開示されたような技術が検討されていた。
この特許文献1には、「情報提供装置の利用者は各地点における付加情報を入手し、車両が生成した画像からセンターサーバが走りやすさや駐車場の空き状況を判定することにより動的に変わる情報を利用者に提供する。」と記載されている。
特開2013−145540号公報
ところで、ナビゲーション装置がGPS信号を受信できないような環境では、ナビゲーション装置が車両の正確な位置を把握することができないため、目的地の周辺の状況を案内できないことがあった。また、ナビゲーション装置は目的地までの経路を案内するに過ぎず、経路に付随する有用な情報が運転者に提供されていなかった。
特許文献1に開示された技術においても、GPS信号を受信できない環境で経路を案内することは考慮されておらず、目的地の周辺における詳しい情報を運転者が得ることはできなかった。
本発明はこのような状況に鑑みて成されたものであり、例えば、運転者に対し車両の運転を支援する情報を提供することを目的とする。
本発明に係る車両は、車載カメラから得られる画像を運転支援装置に送信し、運転支援装置から車両の運転を支援する運転支援情報を受信する。
運転支援装置は、車両から受信した画像に含まれるランドマークを認識し、ランドマークが設置される所定位置に基づいて判定された車両の位置に対応する運転支援情報を車両に配信する。
本発明によれば、ランドマークに基づいて判定された車両の位置に対応する運転支援情報により、運転者の運転を支援することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態例の説明により明らかにされる。
本発明の第1の実施の形態例に係る運転支援システムの内部構成例を示すブロック図である。 本発明の第1の実施の形態例に係る計算機のハードウェア構成例を示すブロック図である。 本発明の第1の実施の形態例に係る駐車位置情報管理テーブルの例を示す構成図である。 本発明の第1の実施の形態例に係るランドマーク位置情報管理テーブルの例を示す構成図である。 本発明の第1の実施の形態例に係る施設出口付近のランドマーク登録画像の例を示す説明図である。 本発明の第1の実施の形態例に係る駐車場内のランドマーク登録画像の例を示す説明図である。 本発明の第1の実施の形態例に係るフロア入口のランドマーク登録画像の例を示す説明図である。 本発明の第1の実施の形態例に係る運転支援システムが行う処理の全体の流れを示すフローチャートである。 本発明の第1の実施の形態例に係る駐車車両に搭載されたフロントカメラの撮影範囲の例を示す説明図である。 本発明の第1の実施の形態例に係る駐車車両のフロントカメラが撮影する画像の例を示す説明図である。 本発明の第1の実施の形態例に係る駐車場内における走行車両の例を示す説明図である。 本発明の第1の実施の形態例に係る走行車両のサイドカメラが撮影した画像に基づいて空きスペースを検出する例を示す説明図である。 本発明の第1の実施の形態例に係る在車判定部が行う空きスペースの検出処理の例を示すフローチャートである。 本発明の第1の実施の形態例に係るランダムフォレストの原理を示す説明図である。 図13のステップS16に示す空車判定処理に用いられる学習データの例を示す説明図である。 図13のステップS17に示す在車判定処理に用いられる学習データの例を示す説明図である。 本発明の第1の実施の形態例に係る車両状態判定部31が行う出庫予定車両の検出処理の例を示すフローチャートである。 本発明の第1の実施の形態例に係るフロアマップの例を示す説明図である。 本発明の第1の実施の形態例に係るブロックマップの例を示す説明図である。 本発明の第1の実施の形態例に係る警告対象の検出例を示す説明図である。 本発明の第2の実施の形態例に係る運転支援システムの内部構成例を示すブロック図である。 本発明の第2の実施の形態例に係る駐車位置案内処理の流れを示すフローチャートである。 本発明の第2の実施の形態例に係る駐車位置案内の例を示す説明図である。
以下、本発明の第1の実施の形態例に係る運転支援装置について説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
図1は、運転支援システム1の内部構成例を示すブロック図である。
運転支援システム1は、駐車スペースが設けられる駐車場を利用する複数の車両2と、車両2の運転を支援する運転支援情報を車両2に配信する運転支援装置3とを備えている。運転支援装置3はセンターサーバとして用いられ、クライアントとして用いられる車両2との間で、不図示の無線ネットワークを介して互いにデータを送受信することが可能である。
以下の説明では、1台の車両2が駐車可能な大きさの領域を駐車スペースと呼ぶ。駐車スペースは、駐車場内に複数個設けられており、白線、車止め等によって各駐車スペースが仕切られている。そして、車両2が駐車している駐車スペースの状態を「在車」と呼び、車両2が駐車していない駐車スペースの状態を「空車」と呼び、空車である駐車スペースを「空きスペース」と呼ぶ。また、車両2を駐車スペースに停めることを「入庫」と呼び、車両2が駐車スペースから出ることを「出庫」と呼ぶ。
車両2は、車載カメラ21、ナビゲーション装置22を備える。車両2は、車載カメラ21から得られる画像を運転支援装置3に送信し、運転支援装置3から運転支援情報(例えば、駐車場地図、警告情報)を受信する。
車載カメラ21は、車両2のフロントガラス付近に搭載され、車両2の進行方向を撮影する。また、車載カメラ21は、車両2のドアミラー付近に搭載されることで、車両2の側面方向を撮影することもできる。車両2の進行方向を撮影する車載カメラ21は、フロントカメラ21Fと呼ぶ(後述する図9を参照。)。また、車両2の側面方向撮影する車載カメラ21は、サイドカメラ21L、21Rと呼ぶ(後述する図11、図12を参照。)。この車載カメラ21は、車両2が搭載する不図示のドライブレコーダに画像(動画像)を記録している。
ナビゲーション装置22は、画像送信部23、車両情報送信部24、運転支援情報受信部25、表示部26を備える。
画像送信部23は、車載カメラ21から所定のタイミング(例えば、数秒毎)で受信した画像(静止画像)、又はドライブレコーダから所定のタイミングで読み出した画像を運転支援装置3に送信する。
車両情報送信部24は、例えば、車両2に搭載される不図示のエンジンのオン又はオフの情報や、エンジンの起動時刻又は停止時刻といった車両情報を運転支援装置3に送信する。
運転支援情報受信部25は、運転支援装置3から運転支援情報を受信する。
表示部26は、運転者に運転支援情報を提示することが可能である。表示部26に表示された運転支援情報により、車両2の運転者は駐車場の空きスペースまで車両2を運転したり、車両2の周囲で発生する可能性のある警告対象を知ったりすることができる。
運転支援装置3は、駐車場画像データベースD1、車両情報データベースD2、駐車場地図データベースD3、車両状態判定部31、ランドマーク認識部32、在車判定部33、運転支援情報管理部34を備える。
駐車場画像データベースD1は、車両2の駐車位置と、ランドマークの設置位置とを管理するものであり、車両2の画像送信部23から送信された画像を蓄積する。この駐車場画像データベースD1は、駐車位置情報管理テーブルT1(第1テーブルの一例)と、ランドマーク位置情報管理テーブルT2(第2テーブルの一例)を備える。
駐車位置情報管理テーブルT1は、駐車場に駐車中の車両2の情報を管理する。
ランドマーク位置情報管理テーブルT2は、駐車場内に設置され、駐車場周辺の案内表示を目的とした標識、案内板等を含むランドマークが設置された位置やランドマークの種別を含む画像を管理する。各テーブルの詳細な内容については後述する図3と図4に示す。
車両情報データベースD2は、車両2の車両情報送信部24から送信された車両情報を蓄積する。
駐車場地図データベースD3は、駐車場地図をフロアやブロック毎に予め蓄積している。この駐車場地図には、例えば、軽車両専用のエリアや身障者用の優先エリア等の情報が含まれている。
車両状態判定部31は、駐車場画像データベースD1から読み出した画像と、車両情報データベースD2から読み出した車両情報とに基づいて、駐車スペースにおける車両状態を判定する。この車両状態には、車両2が駐車中であるか、車両2が走行中であるか、駐車スペースから車両2が出ようとする出庫予定であるかといった3種類の状態のいずれかが含まれる。なお、駐車場画像データベースD1に格納される画像に音声が付加されていれば、車両状態判定部31は、音声の変化(例えば、エンジン音)に基づいて、車両2の状態を判定することもできる。
ランドマーク認識部32は、車両2から受信した画像に含まれるランドマークを認識する。そして、ランドマーク認識部32は、車両2から受信した画像に含まれるランドマークを、ランドマーク位置情報管理テーブルT2から読み出したランドマーク登録画像と照合して、ランドマークの設置位置を認識する。そして、ランドマーク認識部32は、ランドマークの認識結果を、車両2から受信した画像毎に駐車位置情報管理テーブルT1に書込む。このランドマーク認識部32は、走行判定部32a、フロア階数判定部32b、ブロック内表示判定部32cを備える。
走行判定部32aは、ランドマーク認識部32によって認識されるランドマーク画像の時間経過における大きさの変化により、車両2の走行又は駐車を判定することができる。例えば、走行判定部32aは、ランドマーク画像が時間経過と共に拡大していれば車両2が走行中であると判定し、ランドマーク画像が時間経過しても大きさが変わらなければ、車両2が駐車していると判定することができる。
フロア階数判定部32bは、駐車場が立体駐車場である場合に、立体駐車場の各フロアの入口に表示されるランドマークに基づいてフロア階数を判定する。
ブロック内表示判定部32cは、フロアが分割されたブロック毎に設置されるランドマークに基づいてブロックの表示内容を判定する。
在車判定部33は、車載カメラ21が撮影した画像に含まれる駐車スペース毎に他の車両2の在車又は空車を判定する。このとき、在車判定部33は、画像の変化に基づいて駐車スペースを求め、駐車スペースに設定した判定領域の変化に応じて駐車スペースの空車又は在車を判定する。そして、在車判定部33は、駐車スペース毎に判定した在車又は空車の判定結果、駐車時間等の情報を駐車場画像データベースD1に書き込む。
運転支援情報管理部34は、ランドマークが設置される所定位置に基づいて判定された車両2の位置に対応する運転支援情報を車両2に配信する。このとき、運転支援情報管理部34は、駐車場を利用する車両2の駐車状態情報と駐車位置情報に基づいて、駐車スペースの在車又は空車が示される駐車場地図を運転支援情報として作成し、走行中の車両2に駐車場地図を配信する。ここで、駐車状態情報とは、空きスペースに車両2が駐車中又は出庫予定のいずれかを示す情報である。駐車位置情報とは、駐車状態情報によって特定される車両2の駐車位置を示す情報である。この運転支援情報管理部34は、位置判定部34a、運転支援情報作成部34b、運転支援情報配信部34cを備える。
位置判定部34aは、ランドマークが設置される所定位置より車両2の位置を判定する。このとき、位置判定部34aは、車両状態、駐車スペースの在車又は空車の判定結果、ランドマーク(フロア階数又は表示内容)に基づいて、駐車場内における車両2の駐車位置又は走行位置を判定している。
運転支援情報作成部34bは、運転支援情報として、運転者に示される駐車場地図を作成する。この駐車場地図には、駐車場地図データベースD3から読み出した駐車場地図に基づいて作成される、駐車場の駐車状況をフロア毎に示すフロアマップ(後述する図18を参照。)、フロア内のブロック毎に駐車状況を示すブロックマップ(後述する図19を参照。)が含まれる。また、運転支援情報作成部34bは、車両2の車両状態が示される駐車場地図(後述する図19を参照。)を作成する。駐車場地図には、駐車状態情報の他に、例えば、身障者用駐車スペース、軽車両専用スペース、駐車回数が多く人気のあるスペース、見通しが悪く出庫しにくいスペース、歩行者の飛出しが多い地点等の情報も含まれる。また、駐車場地図には、車両2の近くにいる歩行者、又は車両2に接近する他の車両2の存在を運転者に警告する警告情報が含まれる場合もある。
この運転支援情報作成部34bは、フロアマップ作成部34b1とブロックマップ作成部34b2を備える。
フロアマップ作成部34b1は、駐車場地図データベースD3から読み出したフロア毎の駐車場地図に、例えば、在車又は空車の情報を反映したフロアマップを作成する。
ブロックマップ作成部34b2は、フロア内が特定のブロックで仕切られている場合に、駐車場地図データベースD3から読み出したブロック毎の駐車場地図に、例えば、警告情報等を反映したブロックマップを作成する。
運転支援情報配信部34cは、運転支援情報作成部34bによって作成された運転支援情報を車両2に配信する。この運転支援情報には、上述したフロアマップ、ブロックマップ等の駐車場地図が含まれる。
<計算機のハードウェア構成例>
次に、運転支援システム1の各装置を構成する計算機10のハードウェア構成を説明する。
図2は、計算機10のハードウェア構成例を示すブロック図である。
計算機10は、いわゆるコンピュータとして用いられるハードウェアであり、車両2、運転支援装置3にそれぞれ設けられており、本実施の形態例に係る各機能を実現することが可能である。この計算機10は、バス14にそれぞれ接続されたCPU(Central Processing Unit:中央処理装置)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13を備える。さらに、計算機10は、表示部15、操作部16、不揮発性ストレージ17、ネットワークインタフェース18とを備える。
CPU11は、本実施の形態例に係る各機能を実現するソフトウェアのプログラムコードをROM12から読み出して実行する。RAM13には、演算処理の途中で発生した変数やパラメータ等が一時的に書き込まれる。表示部15は、例えば、液晶ディスプレイモニタであり、計算機10で行われる処理の結果等を表示する。運転支援装置3が備える操作部16には、例えば、キーボード、マウス等が用いられ、これらを用いて運転支援装置3の管理者が所定の操作入力、指示を行うことが可能である。一方、車両2が備える操作部16には、例えば、表示部15と重ね合わせたタッチパネルディスプレイが用いられ、運転者がディスプレイ面をタッチすることにより操作入力を行うことが可能である。このようなタッチパネルディスプレイが、車両2の表示部26に用いられる。
不揮発性ストレージ17としては、例えば、HDD(Hard disk drive)、SSD(Solid State Drive)、フレキシブルディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード等が用いられる。この不揮発性ストレージ17には、OS(Operating System)、各種のパラメータの他に、計算機10を機能させるためのプログラムが記録されている。運転支援装置3には、運転支援装置3の駐車場画像データベースD1、車両情報データベースD2、駐車場地図データベースD3を構築するために不揮発性ストレージ17が用いられる。車両2には、車載カメラ21によって撮影された画像、運転支援装置3から受信した運転支援情報等を記録するために不揮発性ストレージ17が用いられる。
ネットワークインタフェース18には、例えば、NIC(Network Interface Card)等が用いられ、端子が接続されたLAN(Local Area Network)、無線ネットワーク等を介して各種のデータを送受信することが可能である。ネットワークインタフェース18は、例えば、車両2の画像送信部23、車両情報送信部24、運転支援情報受信部25として用いられる他、運転支援装置3が車両2と通信を行うための不図示の通信部として用いられる。
図3は、駐車位置情報管理テーブルT1の構成図である。
駐車位置情報管理テーブルT1は、撮影画像f1、車両IDf2、駐車スペース番号f3、ランドマーク認識結果f4、撮影時刻f5、駐車時間f6、在空判定結果f7の各フィールドによって構成される。
撮影画像f1には、車載カメラ21が撮影し、運転支援装置3に送信された画像が画像(1)、画像(2)、…として格納されている。
車両IDf2には、撮影画像f1の画像に含まれる車両2であって、駐車スペースに駐車中の車両2を特定するための車両ID(車両識別情報)が格納されている。なお、車両IDf2には、車両IDの代わりに在車判定部33によって画像から識別されたナンバープレートの登録番号が格納されてもよい。
駐車スペース番号f3には、駐車スペースを特定するための駐車スペース番号が格納されている。
ランドマーク認識結果f4には、ランドマーク認識部32が認識したランドマークのランドマーク種別が格納される。
撮影時刻f5には、車載カメラ21が撮影を開始した時刻が格納される。
駐車時間f6には、車両2の駐車時間が格納される。駐車時間は、例えばある撮影開始時刻で撮影された駐車スペースが在車から空車に状態が変化するまでを不図示のタイマーでカウントされた時間であり、車両IDf2に格納される車両ID毎に求められる。
在空判定結果f7には、在車判定部33が判定した駐車スペースの在車又は空車の判定結果が格納される。在空判定結果f7には、駐車スペースを出ようとする車両2の判定結果が格納される場合もある。
このように駐車位置情報管理テーブルT1によって、画像に含まれる駐車スペースが在車又は空車のいずれであるかが管理される。なお、駐車位置情報管理テーブルT1に、駐車場経営の指標となる回転率(駐車容量に対する総入庫台数)等の情報を蓄積することで、事業者の駐車場運営に役立てることもできる。
図4は、ランドマーク位置情報管理テーブルT2の例を示す図である。
駐車場設計時には、予めフロア内の柱の位置や、フロアの出入り口の位置は決定され、これらの柱や出入り口に表示される案内表示内容であるランドマークも決定されている。このため、ランドマーク位置情報管理テーブルT2には、駐車場の設計時の情報に基づいて、ランドマークの設置位置を管理するための各種の情報が格納されている。
ランドマーク位置情報管理テーブルT2は、登録画像f11、ランドマーク種別f12、位置f13の各フィールドによって構成される。
登録画像f11には、駐車場に設置されるランドマークが撮影されたランドマーク登録画像が、登録画像(1)、登録画像(2)、…として予め格納されている。
ランドマーク種別f12には、ランドマークの種別(ブロックを識別するもの、フロア又は施設の出入口を識別するもの等)が格納されている。
位置f13には、登録画像f11に登録されたランドマークが設置されている駐車場内における位置が格納されている。位置f13の(x,y,z)におけるz情報は、例えば立体駐車場の場合に、フロア階数(例えば、フロアが3階であれば、“3F”と表示される。)を示す高さ情報として用いられる。
ここで、ランドマーク位置情報管理テーブルT2に予め登録されているランドマーク登録画像の例について、図5〜図7を参照して説明する。
図5は、施設の出口付近で撮影されたランドマーク登録画像50の例を示す説明図である。この施設は、例えば、駐車場が併設された店舗であるとする。
ランドマーク位置情報管理テーブルT2の登録画像f11には、ランドマーク登録画像50が格納されている。そして、ランドマーク登録画像50には、出入り口の名称を記載したランドマーク51が含まれる。ランドマーク認識部32は、車載カメラ21によって撮影された画像からランドマーク51を検出すると、ランドマーク位置情報管理テーブルT2から検索したランドマーク登録画像50と照合する。これにより、ランドマーク認識部32は、ランドマーク51の種別を認識することができる。
図6は、駐車場内で撮影されたランドマーク登録画像52の例を示す説明図である。
立体駐車場であれば、各フロア内に設けられた柱53には、フロアを区切る複数のブロックの位置を示すブロック番号54がランドマークとして設置されている。このようなブロック番号54が含まれるランドマーク登録画像52が、ランドマーク位置情報管理テーブルT2に予め格納されている。
図7は、フロア入口で撮影されたランドマーク登録画像55の例を示す図である。
フロア出入り口には、フロアの階数を示すゲート56が設けられ、このゲート56には、フロアの階数を示す表示内容57がランドマークとして取付けられている。このような表示内容57が含まれるランドマーク登録画像55が、ランドマーク位置情報管理テーブルT2に予め格納されている。
次に、運転支援装置3が行う全体処理について、図8を参照して説明する。
図8は、駐車場地図の作成及び配信処理の例を示すフローチャートである。
始めに、駐車場を利用する車両2の車載カメラ21から送信された画像が駐車場画像データベースD1(図3の撮影画像f1)に入力される(S1)。次に、ランドマーク認識部32の走行判定部32aは、駐車場画像データベースD1から画像を読み出して、駐車場を利用する車両2が駐車中であるか走行中であるかを判定する(S2)。
ステップS2の判定処理にて、車両2が駐車中であると判定されると、在車判定部33は、車両2が駐車中に撮影した画像に基づいて、空きスペースを検出する(S3)。空きスペースの検出処理において、ランドマーク認識部32が画像内のランドマークを認識する。そして、位置判定部34aは、ランドマーク認識部32が認識したランドマーク画像に基づいて車両2の駐車位置を判定する(S4)。
一方、ステップS2の判定処理にて、車両2が駐車場を走行中であると判定されると、在車判定部33は、車両2が走行中に撮影した画像に基づいて、空きスペースを検出する(S5)。そして、位置判定部34aは、ランドマーク画像に基づいて車両2の走行位置を判定する(S6)。
ステップS4又はS6の後、運転支援情報作成部34bは、在車判定部33によって判定された空きスペースの情報を重畳した駐車場地図を運転支援情報として作成する(S7)。そして、運転支援情報配信部34cは、位置が判定された車両2に駐車場地図を配信する(S8)。
なお、ステップS3、S4の処理を入れ替えて、車両2の駐車位置を特定した後に、空きスペースを検出してもよい。同様にステップS5、S6の処理を入れ替えて、車両2の走行位置を特定した後に、空きスペースを検出してもよい。
ここで、ステップS3において駐車中の車両2(以下、「駐車車両」とも呼ぶ。)が空きスペースを検出する処理について説明する。
車両2の運転者が目的地の駐車場内の空きスペースに駐車したいと考えていても、従来のナビゲーション装置が備える経路誘導機能では、車両2が目的地の周辺に到着した時点で誘導を停止していた。このため、駐車場や駐車場の空きスペースまで車両2を誘導する運転支援情報を運転者に提供できていなかった。また、従来、駐車場内全体の空きスペースを検出する方式として、駐車場内の駐車スペース毎に予め設置された超音波センサや固定カメラを使って空きスペースを検出する方式が知られていた。しかし、駐車場の空きスペースを検出する特別な装置等の設備を駐車場に設置しなければならないため、特に中小型規模の駐車場を経営するような事業者にとってコスト負担が大きかった。これに対して、本実施の形態例に係る運転支援装置3では、以下の図9〜図12に示すような各車両2の車載カメラ21によって撮影された画像を用いて駐車場の空きスペースを検出する。
図9は、駐車車両に搭載されたフロントカメラ21Fの撮影範囲の例を示す説明図である。
この例では、駐車スペースに駐車した車両2を、駐車車両60、61と呼ぶ。駐車車両60、61の車載カメラ21の一例として、前方を撮影可能なフロントカメラ21Fが用いられているとする。駐車車両60のフロントカメラ21Fの視野62には3台分の駐車スペースが含まれる。一方、駐車車両61のフロントカメラ21Fの視野63についても3台分の駐車スペースが含まれる。駐車車両60が駐車する奥行き側の駐車スペースには、柱64が設置され、柱64に設置されたランドマーク65が見える状態である。なお、駐車車両61が駐車する手前側の駐車スペースにも同様の柱が設置されているが、図9では記載を省略する。フロントカメラ21Fの光学系の仕様により視野が広くなると空きスペースの検出対象となる駐車スペースの数が増える。このため、駐車車両60、61が増えると、在車判定部33が在車又は空車判定を行える駐車スペースの数も多くなり、広い駐車場であっても駐車スペースの状況を把握しやすくなる。
図10は、駐車車両61のフロントカメラ21Fが撮影する画像の例を示す説明図である。
始めに、ランドマーク認識部32は、駐車車両61のフロントカメラ21Fが撮影した画像を利用してフロア内の柱に表示されたランドマーク65を認識する。このとき、ランドマーク認識部32は、ランドマーク位置情報管理テーブルT2の情報を参照して、認識したランドマーク65の種別、設置位置を特定する。
次に、在車判定部33は、走行判定部32aによって車両2が駐車していると判定された場合にフロントカメラ21Fが撮影した図10に示す画像に基づいて駐車スペースの在車又は空車を判定する。ここで、在車判定部33が駐車スペースの在車判定を行う場合には、駐車スペース毎にランダムフォレスト等の機械学習を用いて判定するために必要な判定領域66〜68を設定する。判定領域66〜68は、例えば、車両2のフロントグリル付近、駐車スペースの白線を跨るような領域に設定される。そして、判定領域66〜68内の画像に基づいて、各駐車スペースにおける在車判定がなされる。図中で“○”と示した駐車スペースは空車であり、“×”と示した駐車スペースは在車であることを表す。判定領域66〜68を用いた在車判定は、後述する図13において詳細な処理を説明する。
ところで、時々刻々と駐車場の在空状態が変化するため、在車判定部33は、例えば、取得した画像の駐車車両の判定領域66〜68の近傍において横軸方向に投影分布をとる。例えば、駐車場の構内が薄暗ければ判定領域66〜68内の輝度が下がり、駐車スペースに車両2が駐車していれば輝度が上がるといった輝度変化が投影分布に反映される。これにより在車判定部33は、判定領域66〜68毎、すなわち駐車スペース毎に在車判定をすることも可能となり、駐車スペース数を自動的にカウントし、空きスペースを検出することも可能となる。
次に、ステップS5において走行中と判定された車両(以下、「走行車両」とも呼ぶ。)が撮影した画像から空きスペースを検出し、ステップS6において走行車両70の走行位置を特定する処理について、図11と図12を参照して説明する。
図11は、駐車場内における走行車両70の例を示す説明図である。この走行車両70には、車載カメラ21の一例として、フロントカメラ21Fの他に、車両2の側面方向を撮影可能なサイドカメラ21L、21Rが搭載されている。そして、走行車両70は、駐車場内の通路である車路71を走行している。
始めに、ランドマーク認識部32は、走行車両70のフロントカメラ21Fが撮影した画像を利用してフロア内の柱に表示されたランドマーク72、73を認識する。このとき、ランドマーク認識部32は、ランドマーク位置情報管理テーブルT2の情報を参照して、認識したランドマーク72、73の種別、設置位置を特定する。ところで、走行車両70から受信した画像に含まれるランドマーク72、73の大きさは拡大又は縮小したり、回転がかかったりする。このため、ランドマーク認識部32は、例えばSURF(Speeded Up Robust Features)やSIFT(Scale-Invariant Feature Transform)と呼ばれる特徴量抽出画像処理ライブラリを用いてランドマーク72、73を安定して認識する。
図12は、走行車両70のサイドカメラ21L、21Rが撮影した画像に基づいて空きスペースを検出する例を示す説明図である。
在車判定部33は、基本的に駐車車両60のフロントカメラ21Fによって撮影された画像(図10を参照。)を画像処理して、空きスペースを検出している。しかし、在車判定部33は、フロントカメラ21Fと同様の撮影条件でサイドカメラ21L、21Rが撮影した走行車両70の側面方向の画像を画像処理することで、空きスペースを検出することもできる。このため、在車判定部33は、走行判定部32aによって車両2が走行していると判定された場合に、サイドカメラ21L、21Rが撮影した画像に基づいて駐車スペースの在車又は空車を判定する。
フロントカメラ21Fの視野74には、走行車両70の前方にある2本の柱と、柱に表示されたランドマーク72、73が含まれる。そして、サイドカメラ21L、21Rの視野75、76には、複数の駐車スペースが含まれる。このため、在車判定部33は、走行車両70が走行する車路71の両側の駐車スペースから空きスペースを検出することもできる。
その後、位置判定部34aは、特定されたランドマーク72、73の設置位置に基づいて走行車両70の走行位置を特定する。位置判定部34aが走行車両70の走行位置を特定すると、走行車両70は近傍の空きスペース情報の配信を受けることができる。また、位置判定部34aは、走行車両70の近くを走行する他の車両2に空きスペースの情報を配信することもできる。
次に、図8のステップS3、S5における空きスペースの検出処理の詳細な例について説明する。
図13は、在車判定部33が行う空きスペースの検出処理の例を示すフローチャートである。この処理では、図9に示した駐車車両60の車載カメラ21が撮影する画像に基づいて、在車判定部33が処理を行うものとする。
空きスペースを検出するための前処理として、在車判定部33は駐車場画像データベースD1から読み出した画像に基づいて車路71の背景画像を作成し、この背景画像を駐車位置情報管理テーブルT1の撮影画像f1の画像に関連づけて登録しておく(S11)。駐車スペースに他の車両2が駐車していなければ、車路71の背景画像には駐車場の壁面及び路面が含まれる。
ステップS11の前処理を経た後、在車判定部33は、本処理を開始する。この処理において、在車判定部33は、車載カメラ21から駐車場画像データベースD1に逐次入力される画像を駐車場画像データベースD1から読み出し(S12)、この画像内の車路71に走行車両70が存在しているか否かを判定する(S13)。
例えば、車路71に走行車両70が存在している間は、駐車車両61の視野63内に走行車両70が含まれ、在車判定部33は空きスペースを正しく検出できない。このため、在車判定部33は、車路71に走行車両70が存在しなくなる、すなわち視野63に走行車両70が含まれなくなるまで処理を待つ。
在車判定部33が行う空きスペース検出処理には、例えば、駐車スペースに在車中の画像と空車中の学習データ(後述する図15と図16を参照。)を用いて行われるランダムフォレスト等の機械学習が用いられる(S14)。そして、判定領域66〜68内の画像がランダムフォレストを用いて識別される。
そして、在車判定部33は、駐車スペースにおける車両2の有無を判断する(S15)。在車判定部33は、車両2が存在していない駐車スペースを空車と判定し(S16)、車両2が存在している駐車スペースを在車と判定する(S17)。
ステップS16又はS17の後、在車判定部33は、ランドマーク認識部32によって認識されたランドマークの認識結果に基づいて(S18)、画像内における空きスペースの位置を特定する。その後、在車判定部33は、必要に応じて車路71の背景画像を更新する(S19)。
図13に示した処理は、駐車車両60が前方の空きスペースを検出するものであるが、走行車両70が側面方向の空きスペースを検出する場合にも本処理を適用可能である。この場合、走行車両70自体が車路71を走行しているため、ステップS11〜13の処理は不要となる。
ここで、ステップS14で用いられるランダムフォレストについて説明する。
図14は、ランダムフォレストの原理を示す説明図である。
在車判定部33は、予め在車の特徴を表した画像と、空車の特徴を表した画像とを、ランダムフォレストと呼ばれる機械学習により、駐車スペースが在車又は空車のいずれであるかを判定する。機械学習による処理には他にもニューラルネットワークや、SVM(サポートベクターマシン)等を用いた在車判定処理が存在するが、本実施の形態例に係る在車判定部33は、処理負荷が軽くチューニングが容易なランダムフォレストを用いる。ランダムフォレストでは、学習データ80に基づいてサンプリングが行われ、予測対象となる判定用のツリー81が作成される。そして、各ツリー81の出力値82の投票結果の総和83が、基準値(例えば0.7)以上である場合に判定結果を採用するというロジックになっている。
図15は、図13のステップS16に示す空車判定処理に用いられる学習データ80の例を示す説明図である。
駐車スペースに車両2が存在しなければ、車載カメラ21によって撮影された画像には、白線90、91、車止めの縁石92の画像が含まれる。在車判定部33は、この画像から白線90、91の一部を含む判定領域93を設定する。在車判定部33は、判定領域93内の画像を空車判定処理に用いられる学習データ80として駐車場画像データベースD1(図4に示す登録画像f11)に登録する。
図16は、図13のステップS17に示す在車判定処理に用いられる学習データ80の例を示す説明図である。
駐車スペースに車両2が存在していれば、車載カメラ21によって撮影された画像には、駐車車両画像94が含まれる。在車判定部33は、この駐車車両画像94から、例えば車両であることを特徴づけるフロントグリル画像を含む判定領域95を設定する。そして、在車判定部33は、判定領域95内の画像を在車判定処理に用いられる学習データ80として、駐車場画像データベースD1(図4に示す登録画像f11)に登録する。
このように駐車場画像データベースD1に登録された学習データ80が、図13のステップS14において在車判定部33が行うランダムフォレストの処理に用いられ、駐車スペースの在車又は空車の判定が行われる。
次に、出庫予定車両の検出処理について説明する。
図17は、車両状態判定部31が行う出庫予定車両の検出処理の例を示すフローチャートである。
車両状態判定部31が出庫予定車両を検出する際には、例えば、駐車場のあるフロア毎、又はブロック毎の駐車スペース数に対して在車と判定された駐車スペース数の割合(以下、満車率と呼ぶ。)が基準値以上(例えば、70%以上)であるか判定する(S21)。ブロック毎の満車率が基準値以上であれば、走行車両を運転する運転者が目視で空きスペースを探すのが困難であると考えられる。このため、本システムにより空きスペースを案内する処理が有効となる。
ステップS21にて、ブロック毎の満車率が基準値以上であると判定されると、車両状態判定部31は、車両情報データベースD2から読み出した車両情報に基づいて駐車車両のエンジンがオンからオフの状態に変化したことを検出する(S22)。このとき、車両2が駐車スペースに判定したと分かる。
次に、ランドマーク認識部32は、車載カメラ21の画像からランドマーク情報を抽出し(S23)、抽出したランドマーク情報から駐車中の車両2の位置を特定し(S24)、時刻情報とともに駐車場画像データベースD1に登録する(S25)。
さらに、駐車時間が一定時間経過後にエンジンオフからオンの状態に変化したことを検出し(S26)、再び車載カメラ21の画像からランドマーク情報を抽出する(S27)。そして、駐車場画像データベースD1内に先に登録された駐車位置情報と同じ情報が一致した場合、出庫予定車両と判定する。そして、運転支援情報管理部34を経由し、出庫予定車両の近くを走行する車両2に空きスペース情報として配信する(S28)。
ここで、出庫予定車両は、運転支援情報管理部34から出庫予定車両の近傍にある車両2の車載カメラ21によって撮影された画像を、駐車場画像データベースD1から画像そのものを抽出して配信を受けることができる。また、出庫予定車両は、運転支援情報管理部34が画像から検出した歩行者や通過車両等の出庫に際して障害となりうる事象の配信を受けることもできる(S29)。
なお、ステップS21において、ブロックの満車率が基準値未満であれば、図13で説明した空きスペースの検出処理により空きスペースを検出し、運転支援情報管理部34を経由して空きスペース地図情報を車両2に配信した後(S30)、本フローを終了する。
次に、運転支援装置3から車両2に配信される運転支援情報について、図18〜図20を参照して説明する。
図18は、フロアマップ100の例を示す説明図である。
フロアマップ100は立体駐車場等の階層化された駐車場において、走行車両がフロアに進入する前に、フロア全体の空きスペースの状況がどのようになっているか把握することを目的として作成される。このフロアマップ100は、駐車スペースの空きスペースを個別に示すものではなく、空き状況に応じて大まかに色分けした駐車エリア101、102を示して運転者に空きの駐車エリア102まで誘導するものである。そして、凡例103に色分けの内容が示されている。このため、運転者は、進入しようとするフロアに空きの駐車エリアがなければ、別のフロアに移動する判断が可能となる。また、空きの駐車エリアがないフロアでは、車両2のうろつき交通を減らすことができる。また、軽車両専用のエリアや身障者用の優先スペース等も色分けして表示されるため、運転者は事前に車両2を駐車可能であるか否かを判断することができる。
図19は、ブロックマップ110の例を示す説明図である。
ブロックマップ110は、フロア内の駐車希望の空いているスペースに近づいた車両2に配信される。このブロックマップ110において、在車、走行車両、歩行者を表す図形が凡例111に示されている。ブロックマップ110は、駐車スペース毎に在車又は空車を示す詳細な情報111を運転者に示す。また、ブロックマップ110は、駐車し易いスペース112、身障者優先スペース113、逆走等が起こりやすい逆送多発地点114等も運転者に示す。これにより、運転者は安全に車両2を運転することができる。
図20は、警告対象の検出例を示す説明図である。
駐車車両120には、死角で見えない視野がある。このため、駐車車両120が出庫する際には、死角から歩行者121が飛び出したり、車路を走行する走行車両123と接触したりする恐れがある。そこで、駐車車両120は、車路を挟んで反対側に駐車している駐車車両124に搭載された車載カメラ21の画像を警告対象の検出に用いる。警告対象を検出するためには、例えば、在車判定部33が駐車車両120の付近を移動する走行車両123を検出したり、ランダムフォレストにより歩行者121を検出したりする処理が用いられる。あるいは、運転支援情報作成部34bが、歩行者121をパターン認識して警告情報を作成してもよい。そして、運転支援情報作成部34bは、検出された警告対象に基づいて警告情報を運転支援情報として作成し、この警告情報を駐車車両120に配信する。これにより駐車車両120が出庫する際に、警告対象に近づくような事態を防ぐことができる。
以上説明した第1の実施の形態例に係る運転支援システム1によれば、駐車場を利用する車両2に搭載された車載カメラ21によって撮影された画像に基づいて、駐車場に設けられたランドマークを認識する。これにより、GPS信号を受信できないような環境であっても、運転支援装置3が車両2の駐車位置又は走行位置を特定し、車両2に対して個別に運転支援情報を配信することができる。
また、在車判定部33は、駐車場の周辺又は内部を走行し、駐車場を利用する各車両2の車載カメラ21によって撮影された画像に基づいて、駐車スペースの在車又は空車を判定することができる。これにより効率的に駐車場の空きスペースを検出することができる。そして、運転支援装置3は、各車両2の車載カメラ21が撮影した画像を相互に利用して、広範囲の駐車場から検出した空きスペースを走行車両に配信することができる。このため、車両2に運転支援情報を配信するための特別な設備や車両2を誘導するための人員を用意しなくても、運転者に空きスペースを知らせる運転支援が可能となる。このように事業者にとっては駐車場を運営するためのコストを低減することができ、駐車場の利用者にとっては利便性向上を図ることができる。
また、運転支援装置3から車両2にフロアマップ又はブロックマップを含む駐車場地図が配信される。これにより、運転者は、車両2の現在位置を把握できると共に、駐車しやすい駐車スペースまで車両2を運転し易くなる。
[2.第2の実施の形態例]
次に、本発明の第2の実施の形態例に係る運転支援システムについて説明する。この運転支援システムは、例えば、運転者が施設から出て駐車場に駐車した車両に戻る際、車両を駐車した位置が分からないといった状況を改善するため、運転者に駐車位置までの経路を知らせることを目的として運用される。
図21は、運転支援システム1Aの内部構成例を示すブロック図である。
運転支援システム1Aは、車両2、運転支援装置3に加えて、運転者が保持する携帯端末4を備える。
携帯端末4は、車両2を降車した運転者によって保持される。携帯端末4を一意に識別するための端末ID(端末識別情報)は、車両2の車両IDと予め関連付けられている。この携帯端末4は、端末カメラ41、画像送信部42、運転支援情報受信部43、表示部44を備える。
端末カメラ41は、運転者が駐車場の入口付近で撮影した端末画像を画像送信部42に送る。
画像送信部42は、端末カメラ41によって撮影された端末画像を、端末IDと共に運転支援装置3に送信する。端末画像は、駐車場画像データベースD1に格納される。
運転支援情報受信部43は、携帯端末4の現在位置から車両2の駐車位置までの経路情報を含む駐車場地図を運転支援情報として運転支援情報管理部34から受信する。
表示部44は、運転支援情報受信部43が受信した駐車場地図を表示する。
運転支援装置3のランドマーク認識部32は、端末画像に含まれるランドマークを認識する。そして、運転支援情報管理部34は、端末IDに関連づけられた車両IDを有する車両2から携帯端末4の現在位置までの経路を反映した駐車場地図を運転支援情報として作成し、携帯端末4に駐車場地図を配信する。なお、図21に示す運転支援システム1Aのその他の構成は、図1に示す運転支援システム1と同じであるため、詳細な説明を省略する。
図22は、駐車位置案内処理の例を示すフローチャートである。
駐車位置案内処理では、車載カメラ21の画像と、ランドマーク情報から求めた車両2の駐車位置情報とを駐車場画像データベースD1に予め登録しておく(S41)。このため、図3に示した駐車位置情報管理テーブルT1には、車両2の駐車位置情報(例えば、フロア、ブロック、駐車スペース番号、車両2の車両ID等)を格納するフィールドが設けられるものとする。
運転者が施設で買い物等を行った後に、施設の出口付近に来た際、図5に示すような施設出口付近の風景を携帯端末4の端末カメラ41で撮影すると(S42)、端末画像が運転支援装置3に送信される。ランドマーク認識部32は、携帯端末4の端末カメラ41によって撮影された端末画像から認識したランドマーク画像を、ランドマーク位置情報管理テーブルT2のランドマーク登録画像と照合して端末画像内のランドマークを認識する。そして、位置判定部34aは、ランドマーク位置情報管理テーブルT2の位置f13により運転者の現在位置を判定する。
その後、運転支援情報作成部34bは、携帯端末4の現在位置と、車両2の駐車位置までの経路探索処理を行う(S44)。そして、駐車場地図に探索した経路を重畳した運転支援情報を携帯端末4に配信する(S45)。これにより運転者は、どのような経路を辿れば駐車した車両2に到達できるか知ることができる。
図23は、駐車位置案内の例を示す図である。
位置判定部34aが判定した携帯端末4の現在位置から、運転者131の駐車車両132までの経路情報133が駐車場地図に重畳されて携帯端末4に配信される。これにより運転者131は迷うことなく、駐車車両132まで到達できる。なお、運転支援装置3は、運転者131が保持する携帯端末4だけでなく、運転者131の家族や関係者が保持する携帯端末4にも経路情報133を重畳した駐車場地図を配信してもよい。
[3.変形例]
なお、運転支援装置3に設けられる各データベースは、運転支援装置3とは別に設けてもよい。このため、車両2から運転支援装置3に送信された画像、車両情報は、駐車場画像データベースD1、車両情報データベースD2に格納されることなく、各種の処理に用いられてもよい。
また、運転支援装置3が運転支援情報として車両2に配信する警告情報は、駐車場内に限らず、一般道等を走行する車両2に配信されてもよい。
また、車両2が自動運転可能であれば、車両2が運転支援装置3から配信された運転支援情報を移動先の情報に反映することで、適切な経路を自動的に選択して走行することも可能である。
また、車両2に運転支援装置3を搭載し、複数の車両2が互いに通信を行うことで(例えば、アドホック通信)、車両2の周囲の状況を運転支援情報として得てもよい。
また、携帯端末4としては、スマートフォン、フィーチャーフォン、ページャー、ウェアラブル端末(例えば、携帯音楽プレイヤー、メガネ端末、腕時計端末)等の様々なものを想定しうる。
また、携帯端末4にナビゲーション装置22の機能を持たせてもよい。
また、車両2又は携帯端末4が運転支援装置3から受信する運転支援情報は、画像だけでなくスピーカから放音される音声メッセージによっても運転者に伝えられるようにしてもよい。
また、車載カメラ21として、車両2の後方を撮影するリアカメラを設けてもよい。
また、運転支援装置3は、従来のように駐車場に設置された監視カメラから受信する監視画像を、車両2から受信する画像と組み合わせることで、車両2がまばらに駐車しているような駐車場であっても効率的に駐車スペースの在車又は空車を判定することもできる。
また、本発明は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態例の構成の一部を他の実施の形態例の構成に置き換えることは可能であり、さらにはある実施の形態例の構成に他の実施の形態例の構成を加えることも可能である。また、各実施の形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1…運転支援システム、2…車両、3…運転支援装置、4…携帯端末、21…車載カメラ、31…車両状態判定部、32…ランドマーク認識部、33…在車判定部、34…運転支援情報管理部、D1…駐車場画像データベース、D2…車両情報データベース、D3…駐車場地図データベース

Claims (12)

  1. 複数の車両と、前記車両の運転を支援する運転支援情報を前記車両に配信する運転支援装置と、を備え、
    前記車両は、
    車載カメラから得られる画像を前記運転支援装置に送信し、前記運転支援装置から前記運転支援情報を受信し、
    前記運転支援装置は、
    前記車両から受信した前記画像に含まれるランドマークを認識するランドマーク認識部と、
    前記ランドマークが設置される所定位置に基づいて判定された前記車両の位置に対応する前記運転支援情報を前記車両に配信する運転支援情報管理部と、を備える
    運転支援システム。
  2. 前記運転支援情報は、駐車スペースが設けられる駐車場を利用する前記車両に配信され、
    前記画像に含まれる前記駐車スペース毎に他の前記車両の在車又は空車を判定する在車判定部を備え、
    前記運転支援情報管理部は、前記駐車スペースの在車又は空車が示される駐車場地図を前記運転支援情報として作成する
    請求項1に記載の運転支援システム。
  3. 前記在車判定部は、前記画像の変化に基づいて前記駐車スペースを求め、前記駐車スペースに設定した判定領域の変化に応じて前記駐車スペースの空車又は在車を判定する
    請求項2に記載の運転支援システム。
  4. さらに、前記ランドマークの設置位置と、前記ランドマークの登録画像とを管理する駐車場画像データベースを備え、
    前記ランドマーク認識部は、前記車両から受信した前記画像に含まれる前記ランドマークを、前記駐車場画像データベースから読み出した前記ランドマークの登録画像と照合して、前記ランドマークの設置位置を認識する
    請求項2に記載の運転支援システム。
  5. 前記運転支援情報管理部は、
    前記ランドマークが設置される前記所定位置より前記車両の位置を判定する位置判定部と、
    前記運転支援情報を作成する運転支援情報作成部と、
    前記運転支援情報を前記車両に配信する運転支援情報配信部と、を備える
    請求項4に記載の運転支援システム。
  6. 前記ランドマーク認識部は、
    前記駐車場が立体駐車場である場合に、前記立体駐車場の各フロアの入口に表示される前記ランドマークに基づいてフロア階数を判定するフロア階数判定部と、
    前記フロア毎に分割されたブロックに設置される前記ランドマークに基づいて前記ブロック毎の表示内容を判定するブロック判定部と、を有し、
    前記位置判定部は、前記フロア階数又は前記表示内容に基づいて、前記車両の位置を判定し、
    前記運転支援情報作成部は、前記駐車場の駐車状況をフロア毎に示すフロアマップと、前記フロア内の前記ブロック毎に駐車状況を示すブロックマップとを前記駐車場地図として作成し、
    前記運転支援情報配信部は、前記車両が前記フロアの入口を走行する場合に前記フロアマップを配信し、前記車両が前記フロア内を走行する場合に前記ブロックマップを配信する
    請求項5に記載の運転支援システム。
  7. 前記画像、及び前記車両から受信する車両情報に基づいて、他の前記車両が走行中、駐車中又は出庫予定のいずれかの車両状態を判定する車両状態判定部を備え、
    前記運転支援情報作成部は、前記車両の前記車両状態が示される前記駐車場地図を作成する
    請求項6に記載の運転支援システム。
  8. 前記ランドマーク認識部は、前記ランドマークの時間経過における大きさの変化により前記車両の走行又は駐車を判定する走行判定部を有し、
    前記在車判定部は、前記走行判定部によって前記車両が走行していると判定された場合に、前記車両の側面方向を撮影可能に設置された前記車載カメラが撮影した前記画像に基づいて前記駐車スペースの在車又は空車を判定し、前記走行判定部によって前記車両が駐車していると判定された場合に前記車両の前方を撮影可能に設置された前記車載カメラが撮影した前記画像に基づいて前記駐車スペースの在車又は空車を判定する
    請求項5に記載の運転支援システム。
  9. 前記運転支援情報管理部は前記車両の近くにいる歩行者、又は前記車両に接近する他の車両の存在を警告する警告情報を前記運転支援情報として作成する
    請求項1に記載の運転支援システム。
  10. さらに、前記車両の車両識別情報に関連づけられた端末識別情報を有する携帯端末を備え、
    前記携帯端末は、端末カメラから得られる端末画像と、前記携帯端末の端末識別情報とを前記運転支援装置に送信し、前記運転支援装置から前記運転支援情報を受信し、
    前記ランドマーク認識部は、前記端末画像に含まれる前記ランドマークを認識し、
    前記運転支援情報管理部は、前記端末識別情報に関連づけられた前記車両から前記携帯端末の現在位置までの経路を反映した前記駐車場地図を前記運転支援情報として作成し、前記携帯端末に前記運転支援情報を配信する
    請求項1に記載の運転支援システム。
  11. 車載カメラから得られる画像を車両から受信し、前記画像に含まれるランドマークを認識するランドマーク認識部と、
    前記ランドマークが設置される所定位置に基づいて判定された前記車両の位置に対応し、前記車両の運転を支援する運転支援情報を前記車両に配信する運転支援情報管理部と、を備える
    運転支援装置。
  12. 複数の車両と、前記車両の運転を支援する運転支援情報を前記車両に配信する運転支援装置と、を備える運転支援システムが行う運転支援方法であって、
    前記車両が、車載カメラから得られる画像を前記運転支援装置に送信するステップと、
    前記運転支援装置が、前記車両から受信した前記画像に含まれるランドマークを認識するステップと、
    前記運転支援装置が、前記ランドマークが設置される所定位置に基づいて判定された前記車両の位置に対応する前記運転支援情報を前記車両に配信するステップと、
    前記車両が、前記運転支援装置から前記運転支援情報を受信するステップと、を含む
    運転支援方法。
JP2015076472A 2015-04-03 2015-04-03 運転支援システム、運転支援装置及び運転支援方法 Active JP6503218B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015076472A JP6503218B2 (ja) 2015-04-03 2015-04-03 運転支援システム、運転支援装置及び運転支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015076472A JP6503218B2 (ja) 2015-04-03 2015-04-03 運転支援システム、運転支援装置及び運転支援方法

Publications (3)

Publication Number Publication Date
JP2016197314A true JP2016197314A (ja) 2016-11-24
JP2016197314A5 JP2016197314A5 (ja) 2018-03-29
JP6503218B2 JP6503218B2 (ja) 2019-04-17

Family

ID=57358080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015076472A Active JP6503218B2 (ja) 2015-04-03 2015-04-03 運転支援システム、運転支援装置及び運転支援方法

Country Status (1)

Country Link
JP (1) JP6503218B2 (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109815A (ja) * 2016-12-28 2018-07-12 イネーブラー株式会社 走行支援装置、走行支援方法およびコンピュータを走行支援装置として機能させるためのプログラム
JPWO2017068701A1 (ja) * 2015-10-22 2018-08-02 日産自動車株式会社 駐車スペース検出方法および装置
KR20180109254A (ko) * 2017-03-27 2018-10-08 경희대학교 산학협력단 운전자의 운전 자세 및 상태 분석 장치 및 방법
JP2018169924A (ja) * 2017-03-30 2018-11-01 株式会社デンソーテン 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
WO2019097884A1 (ja) * 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置と管理装置および方法とプログラム
JP2019079194A (ja) * 2017-10-23 2019-05-23 トヨタ自動車株式会社 情報提供システム、車両、および、プログラム
JP2019518287A (ja) * 2016-06-13 2019-06-27 ジーボ インコーポレーテッドXevo Inc. バーチャスサイクルを使用して自動車駐車スペース管理する方法及びシステム
JP2019121049A (ja) * 2017-12-28 2019-07-22 株式会社ケイ・オプティコム ユーザが要望する所定場所に車両を配車する配車装置、配車方法及びプログラム
JP2019121160A (ja) * 2018-01-04 2019-07-22 株式会社Subaru 車載装置
JP2019128644A (ja) * 2018-01-22 2019-08-01 トヨタ自動車株式会社 位置探索支援システム
JP2019172208A (ja) * 2018-03-29 2019-10-10 パナソニックIpマネジメント株式会社 運転支援装置、自動運転車両、運転支援方法、及び、運転支援プログラム
JP2020012815A (ja) * 2018-07-19 2020-01-23 Zホールディングス株式会社 情報提供装置、情報提供方法、およびプログラム
JP2020013382A (ja) * 2018-07-19 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020067823A (ja) * 2018-10-24 2020-04-30 アイテック株式会社 駐車場の車室満空検知装置
CN111145580A (zh) * 2018-11-06 2020-05-12 松下知识产权经营株式会社 移动体、管理装置及***、控制方法、计算机可读介质
WO2020100922A1 (ja) * 2018-11-13 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 データ配信システム、センサデバイス及びサーバ
CN111199660A (zh) * 2018-11-16 2020-05-26 丰田自动车北美公司 用于确定多层单元的楼层上的停车可用性的***和方法
JP2020086969A (ja) * 2018-11-26 2020-06-04 Kddi株式会社 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法
JP2020181340A (ja) * 2019-04-24 2020-11-05 三菱電機株式会社 制御システム
JP2020199788A (ja) * 2019-06-06 2020-12-17 三菱電機株式会社 駐車支援装置
JP2020201700A (ja) * 2019-06-10 2020-12-17 本田技研工業株式会社 管理装置、車両管理方法、プログラム、および車両管理システム
JP2021005866A (ja) * 2019-06-17 2021-01-14 トヨタ モーター ノース アメリカ,インコーポレイティド ビークルマイクロクラウドによる協調パーキングスペースサーチ
US10964213B2 (en) 2017-07-26 2021-03-30 Denso Corporation Parking assist system and parking assist method
JP2021118473A (ja) * 2020-01-28 2021-08-10 アマノ株式会社 駐車場監視システム、駐車場監視方法、及びプログラム
WO2022090758A1 (ja) * 2020-11-02 2022-05-05 日産自動車株式会社 駐車支援方法及び駐車支援装置
CN114512019A (zh) * 2021-12-30 2022-05-17 浙江创泰科技有限公司 一种智能停车识别群控方法及***
CN115131989A (zh) * 2021-03-26 2022-09-30 丰田自动车株式会社 驾驶辅助方法、驾驶辅助装置、驾驶辅助***及记录介质
WO2023007785A1 (ja) * 2021-07-27 2023-02-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2023090001A1 (ja) * 2021-11-19 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007315956A (ja) * 2006-05-26 2007-12-06 Aisin Aw Co Ltd 駐車場マップ作成方法、駐車場案内方法及びナビゲーション装置
JP2008134722A (ja) * 2006-11-27 2008-06-12 Hitachi Software Eng Co Ltd 駐車経路表示システム
JP2009086993A (ja) * 2007-09-28 2009-04-23 Aisin Aw Co Ltd 駐車支援システム、駐車支援方法、駐車支援プログラム
JP2010140420A (ja) * 2008-12-15 2010-06-24 Mitsubishi Motors Corp 駐車位置案内システムおよび駐車位置案内方法
JP2012002567A (ja) * 2010-06-15 2012-01-05 Hitachi Automotive Systems Ltd 通信型音声ナビゲーションシステム
JP2012022478A (ja) * 2010-07-13 2012-02-02 Fujitsu Ten Ltd 携帯端末装置および駐車位置案内プログラム
JP2012058779A (ja) * 2010-09-03 2012-03-22 Equos Research Co Ltd 駐車場管理システム
JP2013145540A (ja) * 2011-12-13 2013-07-25 Toyota Motor Corp 情報提供装置
JP2014228448A (ja) * 2013-05-24 2014-12-08 富士通テン株式会社 経路表示装置、及び、経路表示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007315956A (ja) * 2006-05-26 2007-12-06 Aisin Aw Co Ltd 駐車場マップ作成方法、駐車場案内方法及びナビゲーション装置
JP2008134722A (ja) * 2006-11-27 2008-06-12 Hitachi Software Eng Co Ltd 駐車経路表示システム
JP2009086993A (ja) * 2007-09-28 2009-04-23 Aisin Aw Co Ltd 駐車支援システム、駐車支援方法、駐車支援プログラム
JP2010140420A (ja) * 2008-12-15 2010-06-24 Mitsubishi Motors Corp 駐車位置案内システムおよび駐車位置案内方法
JP2012002567A (ja) * 2010-06-15 2012-01-05 Hitachi Automotive Systems Ltd 通信型音声ナビゲーションシステム
JP2012022478A (ja) * 2010-07-13 2012-02-02 Fujitsu Ten Ltd 携帯端末装置および駐車位置案内プログラム
JP2012058779A (ja) * 2010-09-03 2012-03-22 Equos Research Co Ltd 駐車場管理システム
JP2013145540A (ja) * 2011-12-13 2013-07-25 Toyota Motor Corp 情報提供装置
JP2014228448A (ja) * 2013-05-24 2014-12-08 富士通テン株式会社 経路表示装置、及び、経路表示方法

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017068701A1 (ja) * 2015-10-22 2018-08-02 日産自動車株式会社 駐車スペース検出方法および装置
JP2019518287A (ja) * 2016-06-13 2019-06-27 ジーボ インコーポレーテッドXevo Inc. バーチャスサイクルを使用して自動車駐車スペース管理する方法及びシステム
JP2018109815A (ja) * 2016-12-28 2018-07-12 イネーブラー株式会社 走行支援装置、走行支援方法およびコンピュータを走行支援装置として機能させるためのプログラム
KR20180109254A (ko) * 2017-03-27 2018-10-08 경희대학교 산학협력단 운전자의 운전 자세 및 상태 분석 장치 및 방법
KR101970872B1 (ko) * 2017-03-27 2019-04-19 경희대학교 산학협력단 운전자의 운전 자세 및 상태 분석 장치 및 방법
JP2018169924A (ja) * 2017-03-30 2018-11-01 株式会社デンソーテン 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
JP7060334B2 (ja) 2017-03-30 2022-04-26 株式会社デンソーテン 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
US10964213B2 (en) 2017-07-26 2021-03-30 Denso Corporation Parking assist system and parking assist method
JP2019079194A (ja) * 2017-10-23 2019-05-23 トヨタ自動車株式会社 情報提供システム、車両、および、プログラム
WO2019097884A1 (ja) * 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置と管理装置および方法とプログラム
JP2019121049A (ja) * 2017-12-28 2019-07-22 株式会社ケイ・オプティコム ユーザが要望する所定場所に車両を配車する配車装置、配車方法及びプログラム
JP2019121160A (ja) * 2018-01-04 2019-07-22 株式会社Subaru 車載装置
JP2019128644A (ja) * 2018-01-22 2019-08-01 トヨタ自動車株式会社 位置探索支援システム
JP7143592B2 (ja) 2018-01-22 2022-09-29 トヨタ自動車株式会社 位置探索支援システム
JP2019172208A (ja) * 2018-03-29 2019-10-10 パナソニックIpマネジメント株式会社 運転支援装置、自動運転車両、運転支援方法、及び、運転支援プログラム
JP2020012815A (ja) * 2018-07-19 2020-01-23 Zホールディングス株式会社 情報提供装置、情報提供方法、およびプログラム
JP2020013382A (ja) * 2018-07-19 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、およびプログラム
JP7365145B2 (ja) 2018-07-19 2023-10-19 ヤフー株式会社 情報提供装置、情報提供方法、およびプログラム
JP2020067823A (ja) * 2018-10-24 2020-04-30 アイテック株式会社 駐車場の車室満空検知装置
CN111145580A (zh) * 2018-11-06 2020-05-12 松下知识产权经营株式会社 移动体、管理装置及***、控制方法、计算机可读介质
JP2020077125A (ja) * 2018-11-06 2020-05-21 パナソニックIpマネジメント株式会社 移動体管理システム、移動体、管理装置、制御方法、及びプログラム
CN111145580B (zh) * 2018-11-06 2022-06-14 松下知识产权经营株式会社 移动体、管理装置及***、控制方法、计算机可读介质
CN112997211A (zh) * 2018-11-13 2021-06-18 索尼半导体解决方案公司 数据分发***、传感器装置和服务器
CN112997211B (zh) * 2018-11-13 2024-04-05 索尼半导体解决方案公司 数据分发***、传感器装置和服务器
JP7420734B2 (ja) 2018-11-13 2024-01-23 ソニーセミコンダクタソリューションズ株式会社 データ配信システム、センサデバイス及びサーバ
WO2020100922A1 (ja) * 2018-11-13 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 データ配信システム、センサデバイス及びサーバ
JP2020095695A (ja) * 2018-11-16 2020-06-18 トヨタ モーター ノース アメリカ,インコーポレイティド 複数階ユニットのフロア上におけるパーキング利用可能性を決定するためのシステム及び方法
CN111199660A (zh) * 2018-11-16 2020-05-26 丰田自动车北美公司 用于确定多层单元的楼层上的停车可用性的***和方法
JP7102385B2 (ja) 2018-11-16 2022-07-19 トヨタ モーター ノース アメリカ,インコーポレイティド 複数階ユニットのフロア上におけるパーキング利用可能性を決定するためのシステム及び方法
JP2020086969A (ja) * 2018-11-26 2020-06-04 Kddi株式会社 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法
JP2020181340A (ja) * 2019-04-24 2020-11-05 三菱電機株式会社 制御システム
JP7363084B2 (ja) 2019-04-24 2023-10-18 三菱電機株式会社 制御システム
JP2020199788A (ja) * 2019-06-06 2020-12-17 三菱電機株式会社 駐車支援装置
JP2020201700A (ja) * 2019-06-10 2020-12-17 本田技研工業株式会社 管理装置、車両管理方法、プログラム、および車両管理システム
JP2021005866A (ja) * 2019-06-17 2021-01-14 トヨタ モーター ノース アメリカ,インコーポレイティド ビークルマイクロクラウドによる協調パーキングスペースサーチ
JP7299858B2 (ja) 2019-06-17 2023-06-28 トヨタ モーター ノース アメリカ,インコーポレイティド ビークルマイクロクラウドによる協調パーキングスペースサーチ
JP2021118473A (ja) * 2020-01-28 2021-08-10 アマノ株式会社 駐車場監視システム、駐車場監視方法、及びプログラム
JP7445442B2 (ja) 2020-01-28 2024-03-07 アマノ株式会社 駐車場監視システム、駐車場監視方法、及びプログラム
US11884265B1 (en) 2020-11-02 2024-01-30 Nissan Motor Co., Ltd. Parking assistance method and parking assistance device
CN116508083A (zh) * 2020-11-02 2023-07-28 日产自动车株式会社 停车辅助方法及停车辅助装置
JP7405277B2 (ja) 2020-11-02 2023-12-26 日産自動車株式会社 駐車支援方法及び駐車支援装置
WO2022090758A1 (ja) * 2020-11-02 2022-05-05 日産自動車株式会社 駐車支援方法及び駐車支援装置
CN116508083B (zh) * 2020-11-02 2024-04-26 日产自动车株式会社 停车辅助方法及停车辅助装置
CN115131989A (zh) * 2021-03-26 2022-09-30 丰田自动车株式会社 驾驶辅助方法、驾驶辅助装置、驾驶辅助***及记录介质
CN115131989B (zh) * 2021-03-26 2024-04-09 丰田自动车株式会社 驾驶辅助方法、驾驶辅助装置、驾驶辅助***及记录介质
WO2023007785A1 (ja) * 2021-07-27 2023-02-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2023090001A1 (ja) * 2021-11-19 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN114512019A (zh) * 2021-12-30 2022-05-17 浙江创泰科技有限公司 一种智能停车识别群控方法及***
CN114512019B (zh) * 2021-12-30 2023-06-27 浙江创泰科技有限公司 一种智能停车识别群控方法及***

Also Published As

Publication number Publication date
JP6503218B2 (ja) 2019-04-17

Similar Documents

Publication Publication Date Title
JP6503218B2 (ja) 運転支援システム、運転支援装置及び運転支援方法
US9983020B2 (en) Vehicle operation device and method
JP4613881B2 (ja) 駐車案内装置
US20170072764A1 (en) System for determining clearance of approaching overhead structure
US10580300B1 (en) Parking management systems and methods
US10834552B1 (en) Intelligent vehicle pass-by information sharing
JP2007155352A (ja) 経路案内システム及び経路案内方法
JP2011089977A (ja) 交差点案内システム
JP2009031196A (ja) 情報通知システム及びプログラム
JP2006038558A (ja) カーナビゲーションシステム
WO2016138942A1 (en) A vehicle assistance system
JP7323074B2 (ja) 駐車場特定システム、駐車場特定方法、制御装置、センタ装置、および駐車エリア特定方法
US11644332B2 (en) Automated driving vehicle management system, method, and program
JP6224344B2 (ja) 情報処理装置、情報処理方法並びに情報処理システム及び情報処理プログラム
JP7295148B2 (ja) 車両制御方法及び装置、車両、コンピュータ可読記憶媒体並びにコンピュータプログラム
US11113968B2 (en) Method for mobile parking assistance
JP2007010628A (ja) ナビゲーション装置およびナビゲーション方法
JP2007042039A (ja) 車両周辺監視装置
JP2017207315A (ja) 移動支援システム、移動支援方法、および移動支援プログラム
KR102385191B1 (ko) 위험차량 실시간 추적 시스템 및 추적 방법
JP2019164602A (ja) 逆走警告システム、逆走警告方法、及び逆走警告プログラム
JP2019113421A (ja) 案内システム、及び案内プログラム
TWI762887B (zh) 交通安全管控方法、車載裝置及可讀儲存介質
JP2007271550A (ja) 経路案内システム及び経路案内方法
JP2007269247A (ja) ウインドウ洗浄システム及びウインドウ洗浄方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R150 Certificate of patent or registration of utility model

Ref document number: 6503218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150