JP2021043861A - 運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法 - Google Patents

運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法 Download PDF

Info

Publication number
JP2021043861A
JP2021043861A JP2019167148A JP2019167148A JP2021043861A JP 2021043861 A JP2021043861 A JP 2021043861A JP 2019167148 A JP2019167148 A JP 2019167148A JP 2019167148 A JP2019167148 A JP 2019167148A JP 2021043861 A JP2021043861 A JP 2021043861A
Authority
JP
Japan
Prior art keywords
vehicle
information
passing
unit
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019167148A
Other languages
English (en)
Inventor
彬光 落合
Akimitsu OCHIAI
彬光 落合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019167148A priority Critical patent/JP2021043861A/ja
Publication of JP2021043861A publication Critical patent/JP2021043861A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】複数の車両がすれ違いを行う際に、すれ違う各車両の運転者による適切な判断を支援する。【解決手段】第一車両の後続車両及び第一車両の対向車両である第二車両を含む他車両の他車両情報を取得する他車両情報取得部としての周辺状況認識部53と、周辺状況認識部53が認識した他車両情報に基づいて、後続車両が存在する状態において、第二車両と第一車両とがすれ違う可能性の有無を判定するすれ違い判定部55と、すれ違う可能性があると判定した場合、第一車両と走行道路との相対的な位置関係を示す情報を含む、すれ違い情報を生成する情報生成部としての俯瞰映像生成部56と、俯瞰映像生成部56が生成したすれ違い情報を第二車両へ送信する第一送信制御部57と、第二車両と第一車両とがすれ違う可能性があることを示す対向車両情報を後続車両へ送信する第二送信制御部58とを備える。【選択図】図2

Description

本発明は、運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法に関する。
例えば、狭い路地などで車両同士がすれ違いをする場合、地図情報などに基づいて、すれ違いができる場所を表示したりする技術が知られている(例えば、特許文献1、特許文献2、特許文献3参照)。
特開平10−086761号公報 特開2006−106945号公報 特開2018−151177号公報
複数の車両がすれ違いを行う際に、各車両の運転者が、すれ違いに適した場所であるすれ違いポイントを適切に判断できない場合、すれ違いが難しくなるおそれがある。すれ違いを適切に行うためには、すれ違う各車両の運転者が周辺の状況を確認して、すれ違いポイントを適切に判断することが望まれる。
本発明は、上記に鑑みてなされたものであって、複数の車両がすれ違いを行う際に、すれ違う各車両の運転者による適切な判断を支援することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る運転支援制御装置は、第一車両の周辺に位置する、前記第一車両の後続車両及び前記第一車両の対向車両である第二車両を含む他車両の他車両情報を取得する他車両情報取得部と、前記他車両情報取得部が取得した前記他車両情報に基づいて、前記後続車両が存在する状態において、前記第二車両と前記第一車両とがすれ違う可能性の有無を判定するすれ違い判定部と、前記すれ違い判定部がすれ違う可能性があると判定した場合、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含む、すれ違い情報を生成する情報生成部と、前記情報生成部が生成した前記すれ違い情報を前記第二車両へ送信する第一送信制御部と、前記第二車両と前記第一車両とがすれ違う可能性があることを示す対向車両情報を前記後続車両へ送信する第二送信制御部と、を備える。
本発明に係る判断支援制御装置は、第二車両の周辺に位置し、前記第二車両の対向車両である第一車両から、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得し、前記第一車両の後続車両から、前記後続車両と前記走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得するすれ違い情報取得部と、前記すれ違い情報取得部が前記第一車両及び前記第一車両の後続車両から前記すれ違い情報を取得した場合、前記すれ違い情報を合成すると判定する合成判定部と、前記合成判定部が前記すれ違い情報を合成すると判定した場合、前記すれ違い情報を合成して合成情報を生成する合成処理部と、前記合成処理部が生成した前記合成情報を表示部に表示させる表示制御部とを備える。
本発明に係る運転支援システムは、上記の運転支援制御装置と、上記の判断支援制御装置とを備える。
本発明に係る運転支援制御方法は、第一車両の周辺に位置する、前記第一車両の後続車両及び前記第一車両の対向車両である第二車両を含む他車両の他車両情報を取得する他車両情報取得ステップと、前記他車両情報取得ステップによって取得された前記他車両情報に基づいて、前記後続車両が存在する状態において、前記第二車両と前記第一車両とがすれ違う可能性の有無を判定するすれ違い判定ステップと、前記すれ違い判定ステップによってすれ違う可能性があると判定された場合、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含む、すれ違い情報を生成する情報生成ステップと、前記情報生成ステップによって生成された前記すれ違い情報を前記第二車両へ送信する第一送信制御ステップと、前記第二車両と前記第一車両とがすれ違う可能性があることを示す対向車両情報を前記後続車両へ送信する第二送信制御ステップとを含む。
本発明に係る判断支援制御方法は、第二車両の周辺に位置し、前記第二車両の対向車両である第一車両から、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得し、前記第一車両の後続車両から、前記後続車両と前記走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得するすれ違い情報取得ステップと、前記すれ違い情報取得ステップによって前記第一車両及び前記第一車両の後続車両から前記すれ違い情報が取得された場合、前記すれ違い情報を合成すると判定する合成判定ステップと、前記合成判定ステップによって前記すれ違い情報を合成すると判定された場合、前記すれ違い情報を合成して合成情報を生成する合成処理ステップと、前記合成処理ステップによって生成された前記合成情報を表示部に表示させる表示制御ステップとを含む。
本発明によれば、複数の車両がすれ違いを行う際に、すれ違う各車両の運転者による適切な判断を支援することができるという効果を奏する。
図1は、第一実施形態に係る運転支援システムの概略を説明する概略図である。 図2は、第一実施形態に係る第一装置の構成例を示すブロック図である。 図3は、第一実施形態に係る第二装置の構成例を示すブロック図である。 図4は、第一実施形態に係る第一装置が生成した俯瞰映像の一例を示す図である。 図5は、第一実施形態に係る第二装置が生成した合成俯瞰映像の一例を示す図である。 図6は、第一実施形態に係る第一装置において、先頭車両での処理の流れの一例を示すフローチャートである。 図7は、第一実施形態に係る第一装置において、後続車両での処理の流れの一例を示すフローチャートである。 図8は、第一実施形態に係る第二装置における処理の流れの一例を示すフローチャートである。 図9は、第二実施形態に係る第一装置の構成例を示すブロック図である。 図10は、第三実施形態に係る第二装置の構成例を示すブロック図である。 図11は、第三実施形態に係る第二装置が生成した合成俯瞰映像の一例を示す図である。 図12は、第三実施形態に係る第二装置における処理の流れの一例を示すフローチャートである。 図13は、第四実施形態に係る第一装置の構成例を示すブロック図である。 図14は、第四実施形態に係る第二装置の構成例を示すブロック図である。 図15は、第四実施形態に係る第一装置における処理の流れの一例を示すフローチャートである。 図16は、第五実施形態に係る第二装置の構成例を示すブロック図である。 図17は、第五実施形態に係る第二装置が生成した合成俯瞰映像の一例を示す図である。
以下に添付図面を参照して、本発明に係る運転支援制御装置としての制御部50、判断支援制御装置としての制御部90と、運転支援システム1、運転支援制御方法、判断支援制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
<運転支援システム1>
図1は、第一実施形態に係る運転支援システム1の概略を説明する概略図である。図2は、第一実施形態に係る第一装置10の構成例を示すブロック図である。図3は、第一実施形態に係る第二装置80の構成例を示すブロック図である。
本実施形態では、道幅が狭い走行道路Rにおいて、第一方向に向かって先頭車両Vと、その後続車両VBが走行している。また、走行道路Rにおいて、第一方向とは反対の第二方向に向かって、対向車両VAが走行している。後続車両VBは、例えば後続車両VB及び後続車両VBとして説明する。複数の後続車両VBの区別を要しない場合、後続車両VBとして説明する。走行道路Rの道幅は、普通車2台分の車幅よりわずかに広いものとする。走行道路Rの両側には、塀F1、塀F2が設置されている。本実施形態では、先頭車両Vが第一車両であり、対向車両VAが第二車両である。
運転支援システム1は、先頭車両Vと後続車両VBと、対向車両VAとがすれ違う可能性がある場合(以下、「多重すれ違いの可能性がある場合」という。)、先頭車両Vの周辺の情報をすれ違い情報として対向車両VAに送信する。後続車両VBは、1台以上であればよい。以下の説明では、後続車両VBが2台以上であるものとする。また、複数の後続車両VBからも、後続車両VBの周辺の情報をすれ違い情報として対向車両VAにそれぞれ送信する。本実施形態では、運転支援システム1は、多重すれ違いの可能性がある場合、先頭車両Vの周辺の俯瞰映像100(図4参照)を対向車両VAに送信する。また、複数の後続車両VBからも、後続車両VBの周辺の俯瞰映像を対向車両VAにそれぞれ送信する。運転支援システム1は、先頭車両V及び後続車両VBに搭載された運転支援装置としての第一装置10と、対向車両VAに搭載された判断支援装置としての第二装置80とを含む。
<第一装置>
第一装置10は、同様に構成されたものが先頭車両V及び後続車両VBに搭載されるので、例として、先頭車両Vに搭載されたものについて説明する。第一装置10は、先頭車両Vに載置されているものに加えて、可搬型で先頭車両Vにおいて利用可能な装置であってもよい。第一装置10は、前俯瞰映像用カメラ(撮影部)11と、後俯瞰映像用カメラ(撮影部)12と、左俯瞰映像用カメラ(撮影部)13と、右俯瞰映像用カメラ(撮影部)14と、インターフェース部21と、認識辞書記憶部31と、表示部41と、制御部(運転支援制御装置)50とを有する。
前俯瞰映像用カメラ11は、俯瞰映像用カメラである。前俯瞰映像用カメラ11は、先頭車両Vの前方に配置され、先頭車両Vの前方を中心とした周辺を撮影する。前俯瞰映像用カメラ11は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より先頭車両Vの前方に広い範囲を含む。前俯瞰映像用カメラ11は、撮影した周辺映像データを制御部50の映像データ取得部51へ出力する。
後俯瞰映像用カメラ12は、俯瞰映像用カメラである。後俯瞰映像用カメラ12は、先頭車両Vの後方に配置され、先頭車両Vの後方を中心とした周辺を撮影する。後俯瞰映像用カメラ12は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より先頭車両Vの後方に広い範囲を含む。後俯瞰映像用カメラ12は、撮影した周辺映像データを制御部50の映像データ取得部51へ出力する。
左俯瞰映像用カメラ13は、俯瞰映像用カメラである。左俯瞰映像用カメラ13は、先頭車両Vの左側方に配置され、先頭車両Vの左側方を中心とした周辺を撮影する。左俯瞰映像用カメラ13は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より先頭車両Vの左側方に広い範囲を含む。左俯瞰映像用カメラ13は、撮影した周辺映像データを制御部50の映像データ取得部51へ出力する。
右俯瞰映像用カメラ14は、俯瞰映像用カメラである。右俯瞰映像用カメラ14は、先頭車両Vの右側方に配置され、先頭車両Vの右側方を中心とした周辺を撮影する。右俯瞰映像用カメラ14は、例えば、180°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像100の表示範囲より先頭車両Vの右側方に広い範囲を含む。右俯瞰映像用カメラ14は、撮影した周辺映像データを制御部50の映像データ取得部51へ出力する。
前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とで、先頭車両Vの全方位を撮影する。前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とに限らず、先頭車両Vの周辺を撮影する全天周カメラであってもよい。
インターフェース部21は、後続車両VBに搭載された第一装置10と、対向車両VAに搭載された第二装置80との間で、情報を送受信するためのインターフェースである。インターフェース部21は、例えば、Wi−Fi(登録商標)または電話等の通信回線などに接続する。インターフェース部21は、後続車両VBに搭載された第一装置10へ、対向車両VAとすれ違いを行うことを示す対向車両情報を送信する。本実施形態では、インターフェース部21は、後続車両VBに搭載された第一装置10、後続車両VBに搭載された第一装置10へ、対向車両VAとすれ違いを行うことを示す対向車両情報を送信する。インターフェース部21は、対向車両VAに搭載された第二装置80へ、生成した俯瞰映像100を送信する。
認識辞書記憶部31は、例えば、様々な車両の各方向視の形状、大きさ、色などのパターンを照合可能な認識辞書を記憶している。認識辞書記憶部31は、例えば、RAM、ROM、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。
表示部41は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部41は、必要なタイミングで、先頭車両Vの周辺を確認するためのモニタである。表示部41は、先頭車両Vの周辺を確認することができれば、様々な形態をとりうることができる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示部41は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイなどを含むディスプレイである。表示部41は、運転者から視認容易な位置に配置されている。本実施形態では、表示部41は、先頭車両Vの運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部41は、制御部50の表示制御部59から出力された映像信号に基づき、先頭車両Vの俯瞰映像100を表示する。
制御部50は、多重すれ違いの可能性がある場合、先頭車両Vの周辺を確認するための俯瞰映像100を生成して、対向車両VAの第二装置80へ提供する。また、制御部50は、多重すれ違いの可能性がある場合、後続車両VBの第一装置10へ対向車両情報を提供する。制御部50は、例えば、CPU(Central Processing Unit)または映像処理用プロセッサなどで構成された演算処理装置(制御部)である。制御部50は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部50は、映像データ取得部51と、車両情報取得部52と、周辺状況認識部(他車両情報取得部)53と、対向車両情報取得部54と、すれ違い判定部55と、俯瞰映像生成部(情報生成部)56と、第一送信制御部57と、第二送信制御部58と、表示制御部59と、内部メモリである記憶部とが含まれる。制御部50は、一または複数の装置で構成されていてもよい。
映像データ取得部51は、先頭車両Vの周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部51は、前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とが出力した周辺映像データを取得する。映像データ取得部51は、取得した周辺映像データを俯瞰映像生成部56に出力する。
車両情報取得部52は、先頭車両Vの車速情報を含む車両情報を、CAN(Controller Area Network)または先頭車両Vの状態をセンシングする各種センサなどから取得する。車両情報取得部52は、車両情報として、CANまたは各種センサなどから取得した先頭車両Vの進行方向の情報を取得する。車両情報取得部52は、取得した車両情報をすれ違い判定部55に出力する。
周辺状況認識部53は、先頭車両Vの周辺の後続車両VB及び対向車両VAを含む他車両の他車両情報を取得する他車両情報取得部として機能する。本実施形態では、周辺状況認識部53は、先頭車両Vの周辺の後続車両VB、後続車両VB及び対向車両VAを含む他車両の他車両情報を取得する他車両情報取得部として機能する。周辺状況認識部53は、先頭車両Vの周辺の状況を認識する。本実施形態では、周辺状況認識部53は、先頭車両Vの周辺を撮影した周辺映像データから他車両を認識して、他車両情報を取得する。より詳しくは、周辺状況認識部53は、映像データ取得部51が取得した周辺映像データに対して、認識辞書記憶部31が記憶している認識辞書を用いたパターンマッチングを行い、走行道路Rにおいて、先頭車両Vの後方に位置する後続車両VB、及び、先頭車両Vの前方に位置する対向車両VAを認識する。周辺状況認識部53は、認識結果を他車両情報としてすれ違い判定部55に出力する。
周辺状況認識部53は、認識した後続車両VBのナンバープレートの文字、数字、及び記号を読み取って、後続車両VBを識別する後続車両識別情報を認識する。周辺状況認識部53は、認識した対向車両VAのナンバープレートの文字、数字、及び記号を読み取って、対向車両VAを識別する他車両識別情報を認識する。
周辺状況認識部53は、映像データ取得部51が取得した周辺映像データに画像処理を行って、先頭車両Vが走行している走行道路Rの道幅を取得する。
対向車両情報取得部54は、自車両の先行車両に搭載された第一装置10において多重すれ違いの可能性があると判定された場合、自車両の先行車両の第一装置10から送信された対向車両情報を取得する。
すれ違い判定部55は、多重すれ違いの可能性があるか否かを判定する。すれ違い判定部55は、第一判定部551と第二判定部552とを有する。
第一判定部551は、自車両が先頭車両Vである場合に多重すれ違いの可能性を判定する。第一判定部551は、他車両情報に基づいて、先頭車両Vに後続車両VBが存在する状態において、対向車両VAと先頭車両Vとがすれ違う可能性があるか否かを判定する。本実施形態では、第一判定部551は、周辺状況認識部53の認識結果に基づいて、先頭車両Vに後続車両VBが存在する状態において、先頭車両Vが対向車両VAとすれ違う可能性があるか否かを判定する。より詳しくは、第一判定部551は、周辺状況認識部53の認識結果に基づいて、走行道路Rの道幅が閾値以下であり、先頭車両Vに後続車両VBが存在する状態において、対向車両VAが認識された場合、多重すれ違いの可能性があると判定する。道幅の閾値は、普通車2台分の車幅よりわずかに広い、例えば、3.8m程度とする。
第二判定部552は、自車両が先頭ではない場合、例えば、自車両が後続車両VBである場合に多重すれ違いの可能性を判定する。第二判定部552は、対向車両情報取得部54が先頭車両Vから対向車両情報を取得した場合、多重すれ違いの可能性があると判定する。本実施形態では、第二判定部552は、先頭車両Vの第一装置10から送信された対向車両情報を取得した場合、多重すれ違いの可能性があると判定する。
俯瞰映像生成部56は、先頭車両Vと走行道路Rとの相対的な位置関係を示す情報を含む、すれ違い情報を生成する情報生成部としての機能を有する。本実施形態では、俯瞰映像生成部56は、映像データ取得部51で取得した周辺映像データに視点変換処理及び合成処理を行い、先頭車両Vから所定の表示範囲を表示する俯瞰映像100を、すれ違い情報として生成する。俯瞰映像生成部56は、生成した俯瞰映像100を第一送信制御部57、第二送信制御部58及び表示制御部59に出力する。俯瞰映像生成部56は、視点変換処理部561と、切出処理部562と、合成処理部563とを有する。
すれ違い情報は、先頭車両Vの車幅と、走行道路Rの道幅とを示す情報を含む。すれ違い情報は、走行道路Rに設置された電柱、標識及び側溝などの障害物を示す情報を含んでもよい。
視点変換処理部561は、映像データ取得部51で取得した周辺映像データに対して、先頭車両Vの上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部561は、前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部561は、視点変換処理を行った周辺映像データを切出処理部562に出力する。
切出処理部562は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。本実施形態では、切出範囲は、先頭車両Vが3.8m程度の道路を走行しているときに、道幅を確認可能な範囲である。切出範囲は、例えば、先頭車両Vから2m程度の範囲を含む。切出処理部562は、切出処理を行った映像の映像データを合成処理部563に出力する。
合成処理部563は、切出処理を行った映像データを合成する合成処理を行う。合成処理部563は、合成した映像に車両アイコン110を表示した俯瞰映像100を生成する。
図4を用いて、俯瞰映像100について説明する。図4は、第一実施形態に係る第一装置10で生成した俯瞰映像100の一例を示す図である。俯瞰映像100は、先頭車両Vから2m程度の範囲を表示する。これにより、俯瞰映像100には、先頭車両Vが道幅3.8m以下の狭い路地を走行している場合、走行道路Rの境界に設置された、塀F1、塀F2または側溝などが表示される。俯瞰映像100は、中央部に位置する車両アイコン110を含む。車両アイコン110は、先頭車両Vの車幅と走行道路Rの道幅との相対的な関係と、先頭車両Vの位置と向きとを示す。車両アイコン110は、前後方向を俯瞰映像100の前後方向と平行にして、中央部に配置されている。
第一送信制御部57は、すれ違いの相手車両である対向車両VAに、すれ違いの判断を支援する情報であるすれ違い情報を送信する。本実施形態では、第一送信制御部57は、周辺状況認識部53の認識結果に基づいて、俯瞰映像生成部56が生成した俯瞰映像100を、認識した他車両識別情報に対応する対向車両VAに搭載された第二装置80へ送信する。
第二送信制御部58は、対向車両VAと先頭車両Vとがすれ違う可能性があることを示す対向車両情報を後続車両VBへ送信する。第二送信制御部58は、後続車両VBに、すれ違いの相手車両である対向車両VAが存在することを示す対向車両情報を送信する。本実施形態では、第二送信制御部58は、周辺状況認識部53の認識結果に基づいて、対向車両情報を、認識した他車両識別情報に対応する後続車両VB及び後続車両VBに搭載された第一装置10、第一装置10へ送信する。
本実施形態では、対向車両情報は、俯瞰映像生成部56が生成した俯瞰映像100と、周辺状況認識部53の認識結果に含まれる、対向車両VAと先頭車両Vとの相対的な位置関係を示す情報とを含む。対向車両情は、後続車両VBに対して、車間距離をつめないように依頼する情報、例えば「車間距離をつめず、その位置で待機してください」といった文字情報を含んでもよい。対向車両情報は、対向車両VAを示す他車両識別情報を含む。
表示制御部59は、すれ違い情報を表示部41に表示させる。本実施形態では、表示制御部59は、俯瞰映像生成部56が生成した俯瞰映像100を表示部41に表示させる。表示制御部59によって、俯瞰映像生成部56が生成した俯瞰映像100が表示される際に、図示しないスピーカなどを介して、多重すれ違いの可能性があることと、俯瞰映像100を表示していることを音声によって報知することが好ましい。
表示制御部59は、対向車両情報取得部54が対向車両情報を取得した場合、対向車両情報を表示部41に表示させてもよい。表示制御部59によって、対向車両情報が表示される際に、図示しないスピーカなどを介して、多重すれ違いの可能性があることと、俯瞰映像100を表示していることを音声によって報知することが好ましい。
<第二装置>
第二装置80は、対向車両VAに載置されているものに加えて、可搬型で対向車両VAにおいて利用可能な装置であってもよい。第二装置80は、インターフェース部81と、表示部82と、制御部90とを有する。
インターフェース部81は、第一装置10との間で、情報を送受信するためのインターフェースである。インターフェース部81は、例えば、Wi−Fiまたは電話等の通信回線などに接続し、第一装置10から生成した俯瞰映像100を受信する。
表示部82は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部82は、制御部90の表示制御部99から出力された映像信号に基づき、複数の第一装置10から受信した俯瞰映像100から生成した合成俯瞰映像200を表示する。
制御部90は、例えば、CPUまたは映像処理用プロセッサなどで構成された演算処理装置(制御部)である。制御部90は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部90は、すれ違い情報取得部91と、合成判定部92と、合成処理部93と、表示制御部99と、内部メモリである図示しない記憶部とが含まれる。制御部90は、一または複数の装置で構成されていてもよい。
すれ違い情報取得部91は、すれ違いの相手車両から、すれ違い情報を取得する。より詳しくは、すれ違い情報取得部91は、周辺に位置する他車両から、他車両と、他車両が走行している走行道路Rとの相対的な位置関係を示す情報を含むすれ違い情報を取得する。本実施形態では、すれ違い情報取得部91は、先頭車両Vの第一装置10、後続車両VBの第一装置10、及び、後続車両VBの第一装置10から、すれ違い情報として俯瞰映像100をそれぞれ取得する。すれ違い情報取得部91は、取得した俯瞰映像100を合成判定部92及び合成処理部93に出力する。
合成判定部92は、すれ違い情報取得部91が複数の他車両からすれ違い情報を取得した場合、すれ違い情報を合成すると判定する。本実施形態では、合成判定部92は、すれ違い情報取得部91が先頭車両Vと、先頭車両Vの後続車両VBからすれ違い情報として俯瞰映像100を取得した場合、すれ違い情報である俯瞰映像100を合成すると判定する。
合成処理部93は、すれ違い情報を合成して合成情報を生成する。本実施形態では、合成処理部93は、各車両から取得した俯瞰映像100を合成して、合成情報として合成俯瞰映像200を生成する。例えば、合成処理部93は、俯瞰映像100に映りこんだ前後の車両を基準にして、複数の俯瞰映像100を合成してもよい。例えば、合成処理部93は、俯瞰映像100に映りこんだ走行道路Rの特徴点を基準にして、複数の俯瞰映像100を合成してもよい。例えば、合成処理部93は、俯瞰映像100に映りこんだ縁石や看板などの撮影物を基準にして、複数の俯瞰映像100を合成してもよい。
図5を用いて、合成俯瞰映像200について説明する。図5は、第一実施形態に係る第二装置80が生成した合成俯瞰映像200の一例を示す図である。合成俯瞰映像200は、先頭車両Vから取得した俯瞰映像100、後続車両VBから取得した俯瞰映像100及び後続車両VBから取得した俯瞰映像100を合成した映像である。俯瞰映像100と俯瞰映像100と俯瞰映像100とは、車線を基準にして合成されている。俯瞰映像100と俯瞰映像100とは、俯瞰映像100に映りこんだ後続車両VBと、俯瞰映像100に映りこんだ先頭車両Vとを基準にして、合成されている。俯瞰映像100と俯瞰映像100とは、俯瞰映像100に映りこんだ後続車両VBと、俯瞰映像100に映りこんだ後続車両VBとを基準にして、合成されている。合成俯瞰映像200は、先頭車両Vを示す車両アイコン110、後続車両VBを示す車両アイコン110B、後続車両VBを示す車両アイコン110Bを含む。車両アイコン110、車両アイコン110B及び車両アイコン110Bは、前後方向を合成俯瞰映像200の前後方向と平行にして、中央部に配置されている。
表示制御部99は、合成処理部93が合成した合成情報を表示部82に表示させる。本実施形態では、表示制御部99は、合成処理部93が合成した合成俯瞰映像200を表示部82に表示させる。表示制御部99によって、合成俯瞰映像200が表示される際に、図示しないスピーカなどを介して、多重すれ違いの可能性があることと、合成俯瞰映像200を表示していることを音声によって報知することが好ましい。
<第一装置における情報処理>
次に、図6を用いて、先頭車両Vの第一装置10の制御部50における処理の流れについて説明する。図6は、第一実施形態に係る第一装置10において、先頭車両Vでの処理の流れの一例を示すフローチャートである。
運転支援システム1が起動されると、第一装置10の前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とが先頭車両Vの周辺を撮影する。第一装置10の制御部50は、映像データ取得部51によって周辺映像データを取得して、周辺状況認識部53によって先頭車両Vの周辺の状況を認識する。制御部50は、車両情報取得部52によって車両情報を取得する。
制御部50は、すれ違い判定部55によって、走行道路Rの道幅が狭いか否かを判定する(ステップS101)。より詳しくは、すれ違い判定部55によって、周辺状況認識部53の認識結果に基づいて、走行道路Rの道幅が閾値以下であるか否かを判定する。すれ違い判定部55によって、走行道路Rの道幅が閾値以下であると判定する場合(ステップS101でYes)、ステップS102へ進む。すれ違い判定部55によって、走行道路Rの道幅が閾値以下であると判定しない場合(ステップS101でNo)、ステップS101の処理を再度実行する。
走行道路Rの道幅が閾値以下であると判定する場合(ステップS101でYes)、制御部50は、すれ違い判定部55によって、先頭車両Vに後続車両VBが存在するか否かを判定する(ステップS102)。より詳しくは、すれ違い判定部55によって、周辺状況認識部53の認識結果に基づいて、先頭車両Vの後方に位置する後続車両VBが認識された場合(ステップS102でYes)、ステップS103へ進む。すれ違い判定部55によって、周辺状況認識部53の認識結果に基づいて、先頭車両Vの後方に位置する後続車両VBが認識されない場合(ステップS102でNo)、ステップS101の処理を再度実行する。
先頭車両Vの後方に位置する後続車両VBが認識された場合(ステップS102でYes)、制御部50は、すれ違い判定部55によって、すれ違いの可能性がある対向車両VAの有無を判定する(ステップS103)。より詳しくは、すれ違い判定部55によって、周辺状況認識部53の認識結果に基づいて、走行道路Rの前方に位置する対向車両VAが認識された場合(ステップS103でYes)、多重すれ違いの可能性があると判定して、ステップS104へ進む。すれ違い判定部55によって、周辺状況認識部53の認識結果に基づいて、走行道路Rの前方に位置する対向車両VAが認識されない場合(ステップS103でNo)、ステップS101の処理を再度実行する。
多重すれ違いの可能性があると判定された場合(ステップS103でYes)、制御部50は、俯瞰映像生成部56によって、先頭車両Vの俯瞰映像100を生成する(ステップS104)。制御部50は、ステップS105へ進む。
制御部50は、第一送信制御部57によって、すれ違い情報として俯瞰映像100を対向車両VAの第二装置80へ送信する(ステップS105)。制御部50は、ステップS106へ進む。
制御部50は、第二送信制御部58によって、俯瞰映像100と、対向車両VAと先頭車両Vとの相対的な位置関係を示す情報を含む対向車両情報を後続車両VBの第一装置10へ送信する(ステップS106)。制御部50は、ステップS107へ進む。
制御部50は、表示制御部59によって、俯瞰映像100を表示部41に表示させる(ステップS107)。制御部50は、スピーカを介して、多重すれ違いの可能性があることと、俯瞰映像100を表示していることを音声によって報知する。先頭車両Vの運転者は、表示部41に表示された俯瞰映像100を確認する。そして、先頭車両Vの運転者は、対向車両VAとすれ違いを行う場合、俯瞰映像100から先頭車両Vの周辺の道幅及び障害物などを確認して、すれ違いポイントを判断する。制御部50は、ステップS108へ進む。
制御部50は、俯瞰映像表示を終了するか否かを判定する(ステップS108)。より詳しくは、制御部50は、周辺状況認識部53の認識結果に基づいて、対向車両VAが認識されなくなった場合、俯瞰映像表示を終了すると判定して(ステップS108でYes)、処理を終了する。例えば、先頭車両Vが対向車両VAを通り過ぎた場合、または、対向車両VAの運転者が第二装置80に表示された俯瞰映像100を確認して、すれ違いを断念して迂回した場合などには、対向車両VAが認識されなくなる。制御部50は、周辺状況認識部53の認識結果に基づいて、対向車両VAが認識されている場合、俯瞰映像表示を終了しないと判定して(ステップS108でNo)、ステップS104の処理を再度実行する。
図7を用いて、後続車両VBの第一装置10の制御部50における処理の流れについて説明する。図7は、第一実施形態に係る第一装置10において、後続車両VBでの処理の流れの一例を示すフローチャートである。ここでは、後続車両VBが後続車両VBである場合について説明する。後続車両VBに搭載された第一装置10は、先頭車両Vに搭載された第一装置10から、対向車両VAと先頭車両Vとがすれ違う可能性があることを示す対向車両情報を取得した場合、対向車両VAに搭載された第二装置80に対して、後続車両VBのすれ違い情報として俯瞰映像100を送信する。後続車両VBに搭載された第一装置10でも同様の処理が行われて、後続車両VBのすれ違い情報として俯瞰映像100を送信する。
制御部50は、すれ違い判定部55によって、周辺状況認識部53が他車両情報を取得したか否かを判定する(ステップS201)。すれ違い判定部55によって、周辺状況認識部53が他車両情報を取得したと判定する場合(ステップS201でYes)、ステップS202へ進む。すれ違い判定部55によって、周辺状況認識部53が他車両情報を取得したと判定しない場合(ステップS201でNo)、ステップS201の処理を再度実行する。
周辺状況認識部53が他車両情報を取得したと判定された場合(ステップS201でYes)、制御部50は、俯瞰映像生成部56によって、後続車両VBの俯瞰映像100を生成する(ステップS202)。制御部50は、ステップS203へ進む。
制御部50は、第一送信制御部57によって、すれ違い情報として、後続車両VBの俯瞰映像100を対向車両VAの第二装置80へ送信する(ステップS203)。制御部50は、ステップS204へ進む。
制御部50は、後続車両VBが存在するか否かを判定する(ステップS204)。より詳しくは、制御部50は、周辺状況認識部53の認識結果に基づいて、後続車両VBの後方に位置する後続車両VBが認識された場合(ステップS204でYes)、ステップS205へ進む。制御部50は、周辺状況認識部53の認識結果に基づいて、後続車両VBが認識されない場合(ステップS204でNo)、ステップS206へ進む。
後続車両VBの後方に位置する後続車両VBが認識された場合(ステップS204でYes)、制御部50は、第二送信制御部58によって、後続車両VBの俯瞰映像100と対向車両情報とを、後続車両VBの後続車両VBの第一装置10へ送信する(ステップS205)。制御部50は、ステップS206へ進む。
制御部50は、表示制御部59によって、後続車両VBの俯瞰映像100を表示部41に表示させる(ステップS206)。制御部50は、スピーカを介して、多重すれ違いの可能性があることと、俯瞰映像100を表示していることを音声によって報知する。後続車両VBの運転者は、表示部41に表示された俯瞰映像100を確認する。そして、後続車両VBの運転者は、対向車両VAとすれ違いを行う場合、俯瞰映像100から後続車両VBの周辺の道幅及び障害物などを確認して、すれ違いポイントを判断する。制御部50は、ステップS207へ進む。
制御部50は、俯瞰映像表示を終了するか否かを判定する(ステップS207)。より詳しくは、制御部50は、周辺状況認識部53の認識結果に基づいて、対向車両VAが認識されなくなった場合、俯瞰映像表示を終了すると判定して(ステップS207でYes)、処理を終了する。例えば、後続車両VBが対向車両VAを通り過ぎた場合、または、対向車両VAの運転者が第二装置80に表示された俯瞰映像100を確認して、すれ違いを断念して迂回した場合などには、対向車両VAが認識されなくなる。制御部50は、周辺状況認識部53の認識結果に基づいて、対向車両VAが認識されている場合、俯瞰映像表示を終了しないと判定して(ステップS207でNo)、ステップS202の処理を再度実行する。
<第二装置における情報処理>
次に、図8を用いて、第二装置80の制御部90における処理の流れについて説明する。図8は、第一実施形態に係る第二装置80における処理の流れの一例を示すフローチャートである。
制御部90は、すれ違い情報取得部91によって、すれ違い情報を取得する(ステップS301)。本実施形態では、すれ違い情報取得部91によって、先頭車両Vの第一装置10、後続車両VBの第一装置10及び後続車両VBの第一装置10から、すれ違い情報として俯瞰映像100、俯瞰映像100及び俯瞰映像100をそれぞれ取得する。制御部90は、ステップS302へ進む。
制御部90は、合成判定部92によって、複数のすれ違い情報としての俯瞰映像100を取得したか否かを判定する(ステップS302)。本実施形態では、合成判定部92によって、すれ違い情報取得部91が複数の他車両から俯瞰映像100を取得したと判定する場合(ステップS302でYes)、ステップS303へ進む。合成判定部92によって、すれ違い情報取得部91が複数の他車両から俯瞰映像100を取得したと判定しない場合(ステップS302でNo)、ステップS305へ進む。
複数のすれ違い情報としての俯瞰映像100を取得したと判定する場合(ステップS302でYes)、制御部90は、合成処理部93によって、各車両から取得した俯瞰映像100を合成して合成俯瞰映像200を生成する(ステップS303)。本実施形態では、合成処理部93によって、俯瞰映像100、俯瞰映像100及び俯瞰映像100を合成して合成俯瞰映像200を生成する。制御部90は、ステップS304へ進む。
制御部90は、表示制御部99によって、合成した合成俯瞰映像200を表示部82に表示させる(ステップS304)。制御部90は、ステップS306へ進む。
すれ違い情報取得部91が複数の他車両から俯瞰映像100を取得したと判定しない場合(ステップS302でNo)、制御部90は、表示制御部99によって、俯瞰映像100を表示部82に表示させる(ステップS305)。制御部90は、ステップS306へ進む。
制御部90は、俯瞰映像表示を終了するか否かを判定する(ステップS306)。より詳しくは、制御部90は、すれ違い情報取得部91がすれ違い情報を所定期間以上、取得していない場合、俯瞰映像表示を終了すると判定して(ステップS306でYes)、処理を終了する。制御部90は、すれ違い情報取得部91がすれ違い情報を取得している場合、俯瞰映像表示を終了しないと判定して(ステップS306でNo)、ステップS301の処理を再度実行する。
<効果>
上述したように、本実施形態によれば、多重すれ違いの可能性がある場合、先頭車両Vに搭載された第一装置10は、すれ違い情報として、生成した俯瞰映像100を、対向車両VAに搭載された第二装置80へ送信する。先頭車両Vに搭載された第一装置10は、先頭車両Vの後続車両VBに搭載された第一装置10へ、対向車両VAが存在することを示す他車両情報を送信する。先頭車両Vの運転者は、俯瞰映像100を確認して、すれ違いポイントを判断することができる。
先頭車両Vの後続車両VBに搭載された第一装置10は、後続車両VBの周辺の情報として、生成した俯瞰映像100を、対向車両VAに搭載された第二装置80へ送信する。後続車両VBの運転者は、対向車両情報によって、多重すれ違いの可能性があることを確認して、すれ違いポイントを判断することができる。
対向車両VAは、複数の、すれ違いの相手車両から取得した俯瞰映像100を合成して合成俯瞰映像200を生成して表示部82に表示させることができる。対向車両VAの運転者は、合成俯瞰映像200を確認して、すれ違いをするか否かを判断したり、すれ違いをする場合、すれ違いポイントを判断したりすることができる。対向車両VAの運転者は、対向車両VAから視認しにくい先頭車両Vの周辺の状況及び先頭車両Vの後続車両VBの周辺の状況を、合成俯瞰映像200によって適切に確認することができる。例えば、対向車両VAの運転者は、合成俯瞰映像200によって、多重すれ違いを行う先頭車両Vと後続車両VBとのうち、車幅が一番広く、すれ違いが困難な車両を確認することができる。このようにして、本実施形態によれば、多重すれ違いの可能性がある場合、各車両の運転者の判断を支援して、運転を支援することができる。本実施形態によれば、スムースな交通を支援することができる。
[第二実施形態]
図9を参照しながら、本実施形態に係る運転支援システム1について説明する。図9は、第二実施形態に係る第一装置10Aの構成例を示すブロック図である。運転支援システム1は、基本的な構成は第一実施形態の運転支援システム1と同様である。第一装置10Aは、周辺状況認識部53に代わって、周辺状況情報取得部(他車両情報取得部)53Aを有する点と、インターフェース部21Aとすれ違い判定部55Aとが第一実施形態と異なる。
インターフェース部21Aは、周辺状況情報取得部53Aが、先頭車両Vの周辺に存在する、後続車両VB及び対向車両VAの情報を含む周辺状況情報を取得するための情報源に接続するインターフェースである。インターフェース部21Aは、後続車両VBに設置された第一装置10Aとの車車間通信、対向車両VAに設置された第二装置80との車車間通信、または、路上に設置された図示しない路上装置との路車間通信を行うインターフェースである。本実施形態では、インターフェース部21Aは、後続車両VBに設置された第一装置10Aから、後続車両VBの情報を含む周辺状況情報を取得する。インターフェース部21Aは、後続車両VBに設置された第一装置10Aから、後続車両VBの情報を含む周辺状況情報を取得する。インターフェース部21Aは、対向車両VAに搭載された第二装置80から、対向車両VAの情報を含む周辺状況情報を取得する。
周辺状況情報取得部53Aは、先頭車両Vの周辺の後続車両VB及び対向車両VAの他車両情報を取得する他車両情報取得部として機能する。周辺状況情報取得部53Aは、先頭車両Vの周辺に存在する後続車両VB及び対向車両VAの情報を含む周辺状況情報を取得する。周辺状況情報取得部53Aが取得する後続車両VBの情報は、後続車両VBの現在位置情報を示す情報を含む。周辺状況情報取得部53Aが取得する対向車両VAの情報は、対向車両VAの現在位置情報、対向車両VAの形状及び大きさを示す情報を含む。本実施形態では、周辺状況情報取得部53Aは、後続車両VBに設置された第一装置10Aとの車車間通信、後続車両VBに設置された第一装置10Aとの車車間通信、対向車両VAに設置された第二装置80との車車間通信、または、路上装置との路車間通信によって、周辺状況情報を取得する。
すれ違い判定部55Aは、周辺状況情報取得部53Aが取得した周辺状況情報に基づいて、多重すれ違いの可能性があるか否かを判定する。
第一判定部551Aは、周辺状況情報取得部53Aが取得した周辺状況情報に基づいて、走行道路Rの道幅が閾値以下であり、先頭車両Vに後続車両VBが存在する状態において、対向車両VAが認識された場合、多重すれ違いの可能性があると判定する。
<効果>
上述したように、本実施形態によれば、後続車両VBに設置された第一装置10Aとの車車間通信、第二装置80との車車間通信、または、路上装置との路車間通信によって取得した周辺状況情報に基づいて、多重すれ違いの可能性があるか否かを判定することができる。本実施形態によれば、例えば、見通しが悪く、先頭車両Vから対向車両VAを見通すことができない場合でも、適切に対向車両VAの他車両情報を取得することができる。
[第三実施形態]
図10ないし図12を参照しながら、本実施形態に係る運転支援システム1について説明する。図10は、第三実施形態に係る第二装置80Bの構成例を示すブロック図である。図11は、第三実施形態に係る第二装置80Bが生成した合成俯瞰映像200の一例を示す図である。図12は、第三実施形態に係る第二装置80Bにおける処理の流れの一例を示すフローチャートである。第二装置80Bは、さらに、すれ違いポイント判定部94Bを有する点と、合成処理部93Bとが第一実施形態と異なる。
すれ違いポイント判定部94Bは、すれ違い情報取得部91が取得したすれ違い情報に基づいて、対向車両VAと先頭車両Vとがすれ違うのに適したポイントを判定する。すれ違いポイント判定部94Bは、合成判定部92がすれ違い情報を合成すると判定した場合、合成情報に基づいて、対向車両VAと先頭車両Vとのすれ違いに適したポイントを判定してもよい。例えば、すれ違いポイント判定部94Bは、走行道路Rの道幅が、対向車両VAの車幅と先頭車両Vの車幅との合計より広い場所をすれ違いポイントと判定する。例えば、すれ違いポイント判定部94Bは、走行道路Rの道幅が、他より広い場所をすれ違いポイントと判定する。例えば、すれ違いポイント判定部94Bは、図示しない車両情報記憶部から、対向車両VAの車種に対応する車幅、最低地上高を取得して、すれ違いポイントを判定する。例えば、すれ違いポイント判定部94Bは、走行道路Rが段差Dを有する場合、図示しない車両情報記憶部から取得した対向車両VAの最低地上高、または、すれ違い情報に含まれる先頭車両Vの最低地上高で、段差Dに乗り上げ可能であれば、段差Dを含む場所をすれ違いポイントと判定する。例えば、すれ違いポイント判定部94Bは、走行道路Rに障害物が存在しない場所をすれ違いポイントと判定する。すれ違いポイント判定部94Bは、判定したすれ違いポイントが複数ある場合、走行道路Rの道幅と、対向車両VAの車幅と先頭車両Vの車幅との合計との差に応じて、すれ違いの難易度の優先順位を付ける。そして、すれ違いポイント判定部94Bは、優先順位が高いすれ違いポイントを優先して、すれ違いポイントを判定する。
すれ違いポイント判定部94Bは、すれ違いポイントにおける、対向車両VAと先頭車両Vとの停車ポイントを判定してもよい。さらに、すれ違いポイント判定部94Bは、先頭車両Vとすれ違いを行う際の、後続車両VBの停車ポイントを判定してもよい。後続車両VBの停車ポイントは、すれ違いポイント、及び、対向車両VAと先頭車両Vとの停車ポイントを避けた地点である。後続車両VBの停車ポイントは、対向車両VAと先頭車両Vとのすれ違い時に、どちらかの車両が後退したり、脇に避けて進路を譲ったりする動作を妨げないような地点である。
すれ違いポイント判定部94Bは、例えば、対向車両VAの運転者と先頭車両Vの運転者との運転技術の習熟度を記憶した、図示しない運転履歴情報記憶部から取得して、運転習熟度が低い運転者が運転する車両が停止して、運転習熟度が高い運転者が運転する車両がすれ違うように、すれ違いポイントを判定してもよい。すれ違いポイント判定部94Bは、例えば、対向車両VAの運転者と、先頭車両Vの運転者との事故履歴情報を記憶した、図示しない事故履歴情報記憶部から取得して、事故履歴がある運転者が運転する車両が停止して、事故履歴がない運転者が運転する車両がすれ違うように、すれ違いポイントを判定してもよい。
上記では、すれ違いポイント判定部94Bは、先頭車両Vとのすれ違いポイントを判定するものとして説明したが、これに限定されない。すれ違いポイント判定部94Bは、先頭車両V及び後続車両VBの中で、すれ違いが最も難しいと予測される対象車両について、上記のようなすれ違いポイントを判定してもよい。対象車両は、例えば、最も大型の車両、車幅が最も広い車両、または、運転技術の習熟度が最も低い運転者の車両などである。
図11に示すように、合成処理部93Bは、すれ違いポイント判定部94Bが判定した、すれ違いポイントを合成俯瞰映像200に合成する。合成処理部93Bは、すれ違いポイントに色を付けた合成俯瞰映像200を合成する。図11では、すれ違いポイントは、幅の広い斜線を引いた範囲で示している。すれ違いポイントには、走行道路Rの段差Dを除く範囲が含まれている。対向車両VAの最低地上高が段差Dの高さより低い場合、段差Dがすれ違いポイントから外れる。
合成処理部93Bは、すれ違いポイント判定部94Bが判定した、すれ違いポイントにおける、対向車両VAと先頭車両Vとの停車ポイントを俯瞰映像100に合成してもよい。
合成処理部93Bは、すれ違いポイント判定部94Bが判定した、すれ違いの難易度に応じて、すれ違いポイントに色を付けた俯瞰映像100を合成してもよい。
次に、図12を用いて、制御部90Bにおける処理の流れについて説明する。ステップS311ないしステップS313、ステップS316、ステップS319、ステップS320の処理は、図8に示すフローチャートのステップS301ないしステップS303、ステップS304、ステップS305、ステップS306と同様の処理を行う。一例として、対向車両VAと先頭車両Vとのすれ違いポイントを判定する場合について説明する。
制御部90Bは、すれ違いポイント判定部94Bによって、多重すれ違いを行う際に、対向車両VAと先頭車両Vとがすれ違うのに適したポイントを判定する(ステップS314)。制御部90Bは、ステップS315へ進む。
制御部90Bは、合成処理部93Bによって、多重すれ違いのすれ違いポイントを合成した合成俯瞰映像200を生成する(ステップS315)。制御部90Bは、ステップS316へ進む。
制御部90Bは、すれ違いポイント判定部94Bによって、対向車両VAと先頭車両Vとがすれ違うのに適したポイントを判定する(ステップS317)。制御部90Bは、ステップS318へ進む。
制御部90Bは、合成処理部93Bによって、すれ違いポイントを合成した俯瞰映像100を生成する(ステップS318)。制御部90Bは、ステップS319へ進む。
対向車両VAの運転者は、第二装置80Bの表示部82に表示された合成俯瞰映像200に示されたすれ違いポイントを確認する。そして、対向車両VAの運転者は、先頭車両Vとすれ違いをするか、先頭車両Vの通過を待つか、または、迂回するかを判断する。対向車両VAの運転者は、先頭車両Vとすれ違いを行う場合、合成俯瞰映像200に示されたすれ違いポイントを確認して、実際にすれ違いを行う場所を判断する。
<効果>
上述したように、本実施形態は、先頭車両V、後続車両VB及び対向車両VAの車両情報に基づいて、多重すれ違いにおけるすれ違いに適したすれ違いポイントを判定することができる。本実施形態は、多重すれ違いの可能性がある場合、合成俯瞰映像200にすれ違いポイントを示すことによって、運転者の判断を支援して、運転を支援することができる。
[第四実施形態]
図13ないし図15を参照しながら、本実施形態に係る運転支援システム1について説明する。図13は、第四実施形態に係る第一装置10Cの構成例を示すブロック図である。図14は、第四実施形態に係る第二装置80Cの構成例を示すブロック図である。図15は、第四実施形態に係る第一装置10Cにおける処理の流れの一例を示すフローチャートである。運転支援システム1は、第一装置10Cと第二装置80Cとが、第三実施形態と異なる。
第一装置10Cの制御部50Cは、さらに通知取得部60Cを有する。通知取得部60Cは、第一送信制御部57によるすれ違い情報の送信先である第二装置80Cから、すれ違いを行うことを示す情報であるすれ違い通知を取得する。
俯瞰映像生成部56Cの合成処理部563Cは、通知取得部60Cによって第二装置80Cからすれ違いポイントの情報を含むすれ違い通知を取得した場合、通知されたすれ違いポイントを俯瞰映像100に合成する。
第二装置80Cのインターフェース部81Cは、第一装置10Cへ、すれ違い通知を送信する。第二装置80Cのインターフェース部81Cは、すれ違い情報取得部91が取得したすれ違い情報の送信元のすべての第一装置10Cに対して、すれ違い通知を送信する。
操作部83Cは、すれ違いを行うことを第一装置10Cへ通知する通知操作を受付可能である。より詳しくは、例えば、対向車両VAの運転者は、表示部82に表示された、合成俯瞰映像200を確認して、すれ違いを行うと判断した場合、操作部83Cを介して、通知操作を行う。操作部83Cは、受け付けた通知操作を示す操作情報を制御部90Cの操作受付部95Cへ出力する。さらに、操作部83Cは、すれ違いを行う際に、対向車両VAを停車させる停車ポイントまたはすれ違いを行いたいポイントを、対向車両VAの運転者が選択する選択操作を受付可能である。例えば、対向車両VAの運転者は合成俯瞰映像200に表示されたすれ違いポイントを確認して、同じ場所をすれ違いポイントとして選択してもよいし、よりすれ違いが容易なすれ違いポイントを選択してもよい。例えば、対向車両VAの運転者は合成俯瞰映像200に表示された停車ポイントを確認して、同じ場所を停車ポイントとして選択してもよいし、他の停車ポイントを選択してもよい。操作部83Cは、受け付けた通知操作などの操作を示す操作情報を制御部90Cの操作受付部95Cへ出力する。
制御部90Cの操作受付部95Cは、操作部83Cが受け付けた通知操作などの操作の操作情報を取得する。例えば、操作受付部95Cは、通知操作及び選択操作を示す操作情報を取得して制御信号を出力する。
送信制御部96Cは、操作受付部95Cが取得した操作情報を、第一装置10Cへ送信する。本実施形態では、送信制御部96Cは、すれ違いを行うことを示す情報であるすれ違い通知を、第一装置10Cへ送信する。すれ違い通知には、運転者によって選択された、対向車両VAを停車させる停車ポイントまたはすれ違いを行いたいポイントを示す情報を含んでもよい。
次に、図15を用いて、制御部50Cにおける処理の流れについて説明する。ステップS111ないしステップS117、ステップS122の処理は、図6に示すステップS101ないしステップ107、ステップS108と同様の処理を行う。
制御部50Cは、第二装置80Cからすれ違い通知があったか否かを判定する(ステップS118)。通知取得部60Cによって、すれ違い通知を示す情報を取得した場合(ステップS118でYes)、ステップS119へ進む。通知取得部60Cによって、すれ違い通知を示す情報を取得していない場合(ステップS118でNo)、ステップS122へ進む。
制御部50Cは、第二装置80Cからすれ違いポイントの通知があったか否かを判定する(ステップS119)。通知取得部60Cによって、すれ違いポイントの通知を示す情報を取得した場合(ステップS119でYes)、ステップS120へ進む。通知取得部60Cによって、すれ違いポイントの通知を示す情報を取得していない場合(ステップS119でNo)、ステップS122へ進む。
制御部50Cは、俯瞰映像生成部56Cによって、通知されたすれ違いポイントを合成した俯瞰映像100を生成する(ステップS120)。制御部50Cは、ステップS121へ進む。
制御部50Cは、表示制御部59によって、すれ違いポイントを合成した俯瞰映像100を表示する(ステップS121)。制御部50Cは、ステップS122へ進む。
<効果>
上述したように、本実施形態によれば、多重すれ違いの可能性がある場合、対向車両VAの運転者は、すれ違いポイントが合成された合成俯瞰映像200を確認して、すれ違いをすることを判断した場合、すれ違いを行うことを、先頭車両V及び後続車両VBに搭載された第一装置10Cへ通知することができる。また、本実施形態では、対向車両VAの運転者が判断した、停車ポイントまたはすれ違いを行いたいポイントを、第一装置10Cへ通知することができる。これにより、各車両の運転者が、すれ違いを行うポイントについて、共通認識を有することができる。このようにして、本実施形態によれば、多重すれ違いの可能性がある状態において、各車両の運転者の判断を支援して、運転を支援することができる。
[第五実施形態]
図16、図17を参照しながら、本実施形態に係る運転支援システム1について説明する。図16は、第五実施形態に係る第二装置80Dの構成例を示すブロック図である。図17は、第五実施形態に係る第二装置80Dが生成した合成俯瞰映像200の一例を示す図である。第二装置80Dは、さらに地図情報記憶部83Dと地図情報取得部97Dとを有する点と、合成処理部93Dとが第一実施形態と異なる。
地図情報記憶部83Dは、道路の形状、道幅を含む地図情報を記憶する。地図情報記憶部83Dは、走行道路Rの道幅を認識可能な程度に詳細な航空写真を記憶してもよい。地図情報記憶部83Dは、記憶している地図情報を地図情報取得部97Dへ出力する。地図情報記憶部83Dは、図示しない通信機能を介して地図情報を取得する外部サーバ等の記憶装置であってもよい。
地図情報取得部97Dは、地図情報記憶部83Dから地図情報を取得する。
合成処理部93Dは、複数のすれ違い情報と、地図情報取得部97Dが取得した地図情報とを合成して合成情報を生成する。本実施形態では、合成処理部93Dは、地図情報取得部97Dが取得した地図情報と、各車両から取得した俯瞰映像100とを合成して合成俯瞰映像200を生成する。例えば、合成処理部93Dは、地図情報を基準として、各車両から取得した俯瞰映像100を合成して合成俯瞰映像200を生成してもよい。例えば、合成処理部93Dは、各車両から取得した俯瞰映像100を基準にして、不足している範囲を地図情報によって補完して合成俯瞰映像200を生成してもよい。
図17を用いて、合成俯瞰映像200について説明する。合成俯瞰映像200は、先頭車両Vから取得した俯瞰映像100、後続車両VBから取得した俯瞰映像100、後続車両VBから取得した俯瞰映像100、後続車両VBから取得した俯瞰映像100及び地図情報に基づく映像120を合成した映像である。合成俯瞰映像200は、俯瞰映像100と俯瞰映像100との間の不足している範囲が映像120によって補完されている。
<効果>
上述したように、本実施形態は、他車両から取得した俯瞰映像100の表示範囲が連続しておらず、途切れた範囲が存在する場合でも、地図情報を使用して、合成俯瞰映像200を生成することができる。
図示した運転支援システム1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担または使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
運転支援システム1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
<変形例>
上記では、情報生成部の一例として俯瞰映像生成部56について説明したが、これに限定されない。情報生成部は、すれ違い情報として俯瞰映像100に代わって、走行道路Rの道幅、走行道路Rにおける先頭車両Vの位置を図で示す画像を生成して、第二装置80へ送信してもよい。または、情報生成部は、すれ違い情報として俯瞰映像100または画像に代わって、走行道路Rの道幅、走行道路Rにおける先頭車両Vの位置を示す情報を生成して、第二装置80へ送信してもよい。第二装置80では、取得したすれ違い情報に基づいて、相対的な位置関係を示す画像を生成して表示してもよい。これらにより、第一装置10と第二装置80とが送受信するデータ量を低減することができる。
上記では、第一装置10が、撮影部として、前俯瞰映像用カメラ11と後俯瞰映像用カメラ12と左俯瞰映像用カメラ13と右俯瞰映像用カメラ14とを備えるものとして説明したが、例えば、ナビゲーションシステムを含む他のシステムの既設のカメラを共用し、第一装置10には撮影部を備えていなくてもよい。また、第一装置10が表示部41を備えるものとして説明したが、例えば、ナビゲーションシステムを含む他のシステムと既設の表示部を共用し、第一装置10に表示部を備えていなくてもよい。
多重すれ違いの可能性があって、さらに、走行道路R上に停車中の車両、または、工事などによって走行道路Rの一部が通行できない範囲がある場合、通行できない部分を強調した、俯瞰映像100を生成して送信してもよい。例えば、周辺状況認識部53が、周辺映像データから走行道路R上に停車している他車両を認識した場合、俯瞰映像生成部56が、停車している他車両を強調した俯瞰映像100を生成する。例えば、周辺状況認識部53が、周辺映像データから工事などによって走行道路Rの一部が通行できない範囲を認識した場合、俯瞰映像生成部56が、通行できない範囲を強調した俯瞰映像100を生成する。
1 運転支援システム
10 第一装置(運転支援装置)
11 前俯瞰映像用カメラ(撮影部)
12 後俯瞰映像用カメラ(撮影部)
13 左俯瞰映像用カメラ(撮影部)
14 右俯瞰映像用カメラ(撮影部)
21 インターフェース部
31 認識辞書記憶部
41 表示部
50 制御部(運転支援制御装置)
51 映像データ取得部
52 車両情報取得部
53 周辺状況認識部(他車両情報取得部)
54 対向車両情報取得部
55 すれ違い判定部
551 第一判定部
552 第二判定部
56 俯瞰映像生成部(情報生成部)
57 第一送信制御部
58 第二送信制御部
59 表示制御部
80 第二装置(判断支援装置)
90 制御部(判断支援制御装置)
91 すれ違い情報取得部
92 合成判定部
93 合成処理部
99 表示制御部
100 俯瞰映像
V 先頭車両(第一車両)
VA 対向車両(第二車両)
VB 後続車両

Claims (10)

  1. 第一車両の周辺に位置する、前記第一車両の後続車両及び前記第一車両の対向車両である第二車両を含む他車両の他車両情報を取得する他車両情報取得部と、
    前記他車両情報取得部が取得した前記他車両情報に基づいて、前記後続車両が存在する状態において、前記第二車両と前記第一車両とがすれ違う可能性の有無を判定するすれ違い判定部と、
    前記すれ違い判定部がすれ違う可能性があると判定した場合、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含む、すれ違い情報を生成する情報生成部と、
    前記情報生成部が生成した前記すれ違い情報を前記第二車両へ送信する第一送信制御部と、
    前記第二車両と前記第一車両とがすれ違う可能性があることを示す対向車両情報を前記後続車両へ送信する第二送信制御部と、
    を備える運転支援制御装置。
  2. 前記情報生成部は、前記すれ違い情報として、前記第一車両の周辺を撮影する複数の撮影部が撮影した周辺映像データに視点変換処理及び合成処理を行い、前記第一車両から所定の表示範囲を表示する俯瞰映像を生成する、
    請求項1に記載の運転支援制御装置。
  3. 前記他車両情報取得部は、前記第一車両の周辺を撮影した周辺映像データから前記他車両を認識して、前記他車両情報を取得する、
    請求項1または2に記載の運転支援制御装置。
  4. 第二車両の周辺に位置し、前記第二車両の対向車両である第一車両から、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得し、前記第一車両の後続車両から、前記後続車両と前記走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得するすれ違い情報取得部と、
    前記すれ違い情報取得部が前記第一車両及び前記第一車両の後続車両から前記すれ違い情報を取得した場合、前記すれ違い情報を合成すると判定する合成判定部と、
    前記合成判定部が前記すれ違い情報を合成すると判定した場合、前記すれ違い情報を合成して合成情報を生成する合成処理部と、
    前記合成処理部が生成した前記合成情報を表示部に表示させる表示制御部と、
    を備える判断支援制御装置。
  5. 前記合成判定部が前記すれ違い情報を合成すると判定した場合、前記合成処理部が合成した前記合成情報に基づいて、前記第二車両と前記第一車両とのすれ違いに適したポイントを判定するすれ違いポイント判定部、
    を備え、
    前記合成処理部は、前記すれ違いポイント判定部が判定した、すれ違いに適したポイントを合成して合成情報を生成する、
    請求項4に記載の判断支援制御装置。
  6. 前記第一車両が走行している走行道路の情報を含む地図情報を取得する地図情報取得部、
    を備え、
    前記合成処理部は、前記すれ違い情報と、前記地図情報取得部が取得した前記地図情報とを合成して合成情報を生成する、
    請求項4または5に記載の判断支援制御装置。
  7. 請求項1から3のいずれか一項に記載の運転支援制御装置と、
    請求項4から6のいずれか一項に記載の判断支援制御装置と、
    を備えることを特徴とする運転支援システム。
  8. 前記運転支援制御装置は、第一車両及び前記第一車両の後続車両に搭載され、
    前記判断支援制御装置は、第二車両に搭載され、
    前記後続車両に搭載された前記運転支援制御装置は、前記第一車両に搭載された前記運転支援制御装置から、前記第二車両と前記第一車両とがすれ違う可能性があることを示す対向車両情報を取得した場合、前記第二車両に搭載された前記判断支援制御装置に対して、前記後続車両のすれ違い情報を送信する、
    請求項7に記載の運転支援システム。
  9. 第一車両の周辺に位置する、前記第一車両の後続車両及び前記第一車両の対向車両である第二車両を含む他車両の他車両情報を取得する他車両情報取得ステップと、
    前記他車両情報取得ステップによって取得された前記他車両情報に基づいて、前記後続車両が存在する状態において、前記第二車両と前記第一車両とがすれ違う可能性の有無を判定するすれ違い判定ステップと、
    前記すれ違い判定ステップによってすれ違う可能性があると判定された場合、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含む、すれ違い情報を生成する情報生成ステップと、
    前記情報生成ステップによって生成された前記すれ違い情報を前記第二車両へ送信する第一送信制御ステップと、
    前記第二車両と前記第一車両とがすれ違う可能性があることを示す対向車両情報を前記後続車両へ送信する第二送信制御ステップと、
    を含む運転支援制御方法。
  10. 第二車両の周辺に位置し、前記第二車両の対向車両である第一車両から、前記第一車両と前記第一車両が走行している走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得し、前記第一車両の後続車両から、前記後続車両と前記走行道路との相対的な位置関係を示す情報を含むすれ違い情報を取得するすれ違い情報取得ステップと、
    前記すれ違い情報取得ステップによって前記第一車両及び前記第一車両の後続車両から前記すれ違い情報が取得された場合、前記すれ違い情報を合成すると判定する合成判定ステップと、
    前記合成判定ステップによって前記すれ違い情報を合成すると判定された場合、前記すれ違い情報を合成して合成情報を生成する合成処理ステップと、
    前記合成処理ステップによって生成された前記合成情報を表示部に表示させる表示制御ステップと、
    を含む判断支援制御方法。
JP2019167148A 2019-09-13 2019-09-13 運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法 Pending JP2021043861A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019167148A JP2021043861A (ja) 2019-09-13 2019-09-13 運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019167148A JP2021043861A (ja) 2019-09-13 2019-09-13 運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法

Publications (1)

Publication Number Publication Date
JP2021043861A true JP2021043861A (ja) 2021-03-18

Family

ID=74861713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019167148A Pending JP2021043861A (ja) 2019-09-13 2019-09-13 運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法

Country Status (1)

Country Link
JP (1) JP2021043861A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782865A (zh) * 2022-04-20 2022-07-22 清华大学 一种基于多视角和重识别的路口车辆定位方法及***
WO2022224534A1 (ja) * 2021-04-21 2022-10-27 日立Astemo株式会社 車両制御装置および車両制御システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022224534A1 (ja) * 2021-04-21 2022-10-27 日立Astemo株式会社 車両制御装置および車両制御システム
CN114782865A (zh) * 2022-04-20 2022-07-22 清华大学 一种基于多视角和重识别的路口车辆定位方法及***

Similar Documents

Publication Publication Date Title
US20230311749A1 (en) Communication between autonomous vehicle and external observers
JP6635428B2 (ja) 自動車周辺情報表示システム
US9195894B2 (en) Vehicle and mobile device traffic hazard warning techniques
EP3496068A1 (en) Travel assistance device and computer program
JP2010271155A (ja) 現在位置特定装置とその現在位置特定方法
CN111273765A (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
WO2019172333A1 (ja) 駐車支援装置
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
JP2021043861A (ja) 運転支援制御装置、判断支援制御装置、運転支援システム、運転支援制御方法及び判断支援制御方法
JP2009139306A (ja) 路面標示認識装置
CN113442930B (zh) 移动体控制装置、移动体控制方法及程序
JP4692898B2 (ja) 車両用案内装置
JP2020135103A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
JPWO2019123976A1 (ja) 表示制御方法、表示制御装置及びヘッドアップディスプレイ装置
JP2009110343A (ja) 運転支援装置
JP2021022325A (ja) 運転支援制御装置、運転支援システム、運転支援制御方法及びプログラム
CN115131960A (zh) 一种针对道路车辆事故的智能安全处理方法及装置
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
JP2014074627A (ja) 車両用ナビゲーションシステム
KR20170055623A (ko) 차량용 표시 시스템 및 그 제어방법
US11645038B1 (en) Augmented reality head-up display for audio event awareness
WO2021015090A1 (ja) 制御装置
US20240042858A1 (en) Vehicle display system, vehicle display method, and storage medium storing vehicle display program
WO2023210753A1 (ja) 運転支援装置及び運転支援方法