JP6631776B2

JP6631776B2 - 車両の運転支援装置

Info

Publication number: JP6631776B2
Application number: JP2015145847A
Authority: JP
Inventors: 真吾入方; 宗義難波
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2015-07-23
Filing date: 2015-07-23
Publication date: 2020-01-15
Anticipated expiration: 2035-07-23
Also published as: JP2017027396A

Description

本発明は、自車両の運転支援を行う車両の運転支援装置に関する。

自動車(車両)では、近時、無人飛行体、例えば撮像カメラ（撮像装置）を搭載したドローン(無人飛行体)を用いて、自車両の運転の支援を行う運転支援装置が提案されている。この運転支援装置は、ドローンを自車両前方上空に飛行させ、撮像カメラによって自車両の進行方向前方の撮像画像を自車両のドライバー（運転者）に提示し、自車両のドライバーに現在の障害物の状況や交通状況などを知らせて、ドライバーに前方状況に応じた運転を促す（例えば特許文献１を参照）。

特開２０１０−２５０４７８号公報

ドローンは、自車両が左方向へ曲がれば、その自車両に追従して当該自車両の前方を飛行し、自車両が右方向へ曲がれば、その自車両に追従して当該自車両の前方を飛行する。この際、ドローンが障害物と衝突しないよう、ドローンには衝突センサが搭載され、障害物を避けながら飛行が続けられるようにしている。
ところで、ドローンは、例えば自車両が右左折したような場合、自車両の前方位置に追い付くため、当初の位置から後方左右方向へ曲がり、右左折した自車両の前方の所定位置へ向かうよう飛行する。この際、ドローンの進行方向は変わる。

通常、ドローンの障害物を検出する範囲は、ドローンの周囲の限られた範囲、多くは飛行方向前方の範囲に限られているため、進路を変える際、障害物センサの障害物検出範囲外を飛行することがある。
ところが、ドローンの障害物検出範囲外の上空に障害物が有る場合、例えば同上空に樹木の枝先が張り出ていたり、同上空を雀や燕など鳥が飛んでいたりすると、ドローン自身では検出されないため、飛行中のドローンが障害物と衝突するおそれがある。

そこで、本発明の目的は、運転支援中の無人飛行体における障害物の衝突回避性能の向上が図れる車両の運転支援装置を提供する。

本発明の態様は、自車両の進行方向前方の所定位置を飛行可能な、撮像装置が付いた無人飛行体と、撮像装置で撮像した自車両の進行方向前方の画像を自車両の乗員に提示する提示部と、自車両前方の所定位置に無人飛行体が飛行され続けるよう前記無人飛行体を制御する制御部とを備えた車両の運転支援装置であって、無人飛行体は、無人飛行体の周囲の障害物を検出する飛行体側検出部を有し、自車両は、前記自車両の進行方向前方の障害物を検出する車両側検出部を有し、制御部は、飛行体側検出部により検出される障害物および前記車両側検出部により検出される障害物に基づき、障害物を回避する方向へ前記無人飛行体の飛行を指示する障害物回避指示部を有し、障害物回避指示部は、飛行体側検出部により検出された障害物の位置を割り出す飛行体側位置検出部と、車両側検出部により検出された障害物の位置を割り出す車両側位置検出部と、をさらに有し、車両側位置検出部により割り出された無人飛行体の死角に位置する障害物を回避するよう無人飛行体の飛行を指示した後、飛行体側位置検出部で割り出された障害物を回避するよう前記無人飛行体の飛行を指示するものものとした。

本発明によれば、たとえ無人飛行体自身で障害物の検出が困難な場合でも、自車両が同障害物を捉えて無人飛行体の飛行方向を当該障害物を回避する方向に指示する。このため、無人飛行体の不足している障害物検出機能は、自車両にて補われるので、どのような姿勢で無人飛行体が飛行しても、無人飛行体は、障害物との衝突を避けながら飛行する。
したがって、無人飛行体と自車両との協調制御により、運転支援中の無人飛行体の障害物に対する衝突回避性能の向上を図ることができる。しかも、運転支援中、無人飛行体の向きが変わる場合（障害物と衝突の可能性がある場合）、多くは最初に無人飛行体の後方へ向かうという挙動が生じるので、最初に死角となる自車両が捉えた障害物を回避するよう指示した後、無人飛行体が捉えた障害物を回避するよう指示することにより、無人飛行体は効果的に障害物を避けることができる。

本発明の基礎となる車両の運転支援装置を、制御系と共に示す斜視図。制御系が行うドローン（無人飛行体）と障害物とにおける衝突回避の制御を説明するフローチャート。同制御の状況を説明する説明する図。障害物の位置が３次元的に割り出されるのを説明する斜視図。本発明の一実施形態となる制御を説明するフローチャート。

以下、図１から図４に示す基礎となる車両の運転支援装置にもとづいて説明する。
図１は、車両の運転支援装置の全体および同装置の制御系を示していて、図１中１は無人飛行体であるところの例えばドローン、３０は自車両を示している。
図１に示されるように例えばドローン１は、本体部３、本体部３の側部に放射状に据え付けた複数、例えば４基のモータ駆動式のプロペラ５ａ（推進部）と、本体部３に据え付けたカメラ、例えばドローン前方（ドローン周囲）を撮像する撮像装置とドローン前方（ドローン周囲）の障害物を検出する障害物センサの双方の機能を有するステレオカメラ７と、本体部３内に収めたバッテリ（図示しない）や制御ユニット９とを有したマルチコプターから構成される。プロペラ駆動用のモータ５ｂを収めるカバー部は離着陸用の脚部を兼ねている。なお、図１中、符号７ａは、ステレオカメラ７の左右一対の撮像部（片側しか図示せず）を示している。

ドローン１の制御ユニット９には、図１中のブロック図に示されるように制御部１３や姿勢制御用の姿勢センサ１５やＧＰＳ１９や送受信部２１が収められている。そして、制御部１３の指令により、バッテリを電力源としたモータ５ｂの駆動、プロペラ５ａの回転制御などが行われ、所望の高度、所望の向きで飛行が行えるようになっている。むろんドローン１は、制御部１３の制御により、ステレオカメラ７でドローン前方を撮像しながら飛行する。そして、ステレオカメラ７で撮像した画像から、飛行中のドローン１周囲の障害物、ここではドローン１の前方の障害物を検出し、同障害物を避ける飛行を行う(詳細は後述)。

自車両３０は、車体３３のルーフ３３ａ上に例えばドローン用のヘリポート３５(離着陸部)を有している。また例えばインストルメントパネル部３０ａには、自車両３０のドライバー（乗員）が目視可能なディスプレイ３７（本願の提示部に相当）や、制御ユニット３９を有している。そして、ヘリポート３５上に上記ドローン１が搭載され、ドローン１を車体上部で離着陸可能としている。ヘリポート３５上のドローン１は、フック機構(図示しない)で着脱可能にホールドされる。

制御ユニット３９には、図１中のブロック図に示されるように制御部４１や、ＧＰＳ４３や、ドローン１側の送受信部２１との間で通信を行う送受信部４５が収められている。そして、ＧＰＳ４３で検出された自車両３０の位置が、ディスプレイ３７に映出される地図上に表示されたり、ドローン１のステレオカメラ７で捉えたドローン前方の撮像画像がディスプレイ３７に映出されたりする。ディスプレイ３７には、ステレオカメラ７の片側の撮像部７ａで撮像した情景が映し出される。ちなみに、ＧＰＳ４３および撮像部７ａの双方の信号が有る場合は、例えばディスプレイ３７の画面の左右半分のうちの一方側でドローン１からの画像が表示され、他方側で自車両位置が表示される。

ドローン１は、自車両３０からの指令により、自車両３０の前方上空を飛行する。そして、走行中の自車両３０の進路方向前方の情景をドローン１のステレオカメラ７で撮像し続けるため、自車両３０の制御部４１には、ドローン１の飛行目標位置を設定する機能が設定される。例えばＧＰＳ４３で検出される自車両３０位置を基準に、一定の前方位置、一定の上空高さ位置などが飛行位置として設定される。そして、自車両３０の送受信部４５から、ドローン１の送受信部２１（いずれも通信部）へ飛行目標位置が送信される。

ドローン１の制御部１３には、受信する飛行目標位置にしたがい、ドローン１の飛行を制御する制御プログラムが設定される。これにより、設定される飛行目標位置にしたがいドローン１が、走行する自車両３０の進行方向前方の定位置を飛行し続けられる。そして、自車両３０の前方画像（ステレオカメラ７の片側で捉えた画像）が、ディスプレイ３７を通じて自車両３０のドライバー（運転者）に提示され、自車両３０の運転支援が行われる。

また運転支援装置には、ドローン１側と自車両３０側との協調にて障害物を広域で検出し、ドローン１自体では検出できない障害物までも衝突を回避可能とした手段が講じられている。
例えば、ドローン１は上記したように通常の撮像カメラでなくその代りにステレオカメラ７（本願の飛行体側検出部に相当）を装備し、例えば自車両３０のルームミラー３０ｂに、自車両３０前方の障害物を検出するステレオカメラ４９（本願の車両側検出部に相当）を装備して、ドローン１の前方およびドローン１の死角となる後方を含むドローン１周囲の広域な領域の障害物を検出可能とする。つまり、ドローン１のステレオカメラ７は、所定の距離をあけて左右両側に配置した一対の撮像部７ａで、ドローン１の進行方向前方に所在する障害物を捉える。自車両３０のステレオカメラ４９は、ルームミラー３０ｂを挟んで左右両両側に配置した一対の撮像部４９ａで、自車両３０の進行方向前方に所在する障害物を捉える。むろん、一対の撮像部４９ａは、自車両３０の前方に位置するドローン１も捉える。

また制御部１３，４１には、割出し部５１，５５が設けられ、ステレオカメラ７，４９で捉えた全て障害物の大きさや位置を検出可能としている。すなわち、制御部１３に設けた割出し部５１は、一対の撮像部７ａ，７ａ（ステレオカメラ７）から取得されるドローン１の前方の画像を画像処理、さらには視差処理して、画像情報に含まれる障害物の大きさや、ドローン１の位置を基準とした障害物の３次元位置を割り出す。この検出した障害物の情報は、ドローン１の送受信部２１から自車両３０の送受信部４５へ送信される。

制御部４１に設けた割出し部５５は、一対の撮像部４９ａ，４９ａ（ステレオカメラ４９）から取得される自車両３０の前方の画像を画像処理、さらには視差処理して、画像情報に含まれる障害物の大きさや、自車両３０の位置を基準とした障害物の３次元位置を割り出す。むろん、自車両３０前方のドローン１の位置も割り出される。
さらに自車両３０の制御部４１には、ドローン１側で割り出された障害物の大きさや３次元位置と、自車両３０側で割り出された障害物の大きさや３次元位置とを照合処理する広域照合部５７が設けられる。この広域照合部５７での照合により、自車両３０を基準として、ドローン１を含むドローン１の周囲の全ての障害物の位置が認識される。さらに広域照合部５７は、障害物がドローン１に接近する場合や飛行中のドローン１の進路が変わる場合（自車両３０が右左折するときなど）などをドローン１と障害物とが衝突する可能性があると判定する機能や、衝突の可能性があると判定したときに障害物の位置に基づき、衝突の対象となる障害物を重視し、さらにはその他の障害物も考慮して、ドローン１の飛行方向（飛行位置）を障害物と衝突しない方向、つまり衝突を回避する方向（飛行位置）に指示する機能を有している。これにより、ドローン１と障害物とが衝突するおそれが発生する場合、ドローン１には、衝突対象となる障害物から遠ざかりながら、目標の飛行方向（目標の飛行位置）に誘導する飛行指示の信号が与えられる（送信）。つまり、広域照合部５７、上記割出し部５１，５５の組み合わせから、ドローン１を障害物から回避させる障害物回避指示部５０を構成している。

つぎに、このように構成された運転支援装置の作用を、図２に示すフローチャート、図３に示す自車両３０の走行状態を参照して説明する。
例えば自車両３０の走行中、交通状況などを考慮した運転を行うため、運転支援装置の助けを受けるとする。このときドライバーは、自車両３０に設けた離着陸操作部（図示しない）を操作する。すると、ヘリポート３５上のドローン１は、ホールド（フック機構）が解除され、さらに各モータ５ｂが駆動される。

これにより、図１および図３に示されるようにドローン１は、自車両３０から送信される制御信号によりモータ５ｂが駆動され、プロペラ５ａがもたらす推進力によって、ヘリポート３５から離陸し、走行中の自車両３０の前方上空の所定位置を飛行する。すると、ドローン１に搭載のステレオカメラ７により撮像された自車両３０の前方画像（片側の撮像部７ａが捉えた画像）が、ディスプレイ３７を通じて自車両３０のドライバーに提示され、ドライバーに前方状況に応じた運転を促す。

こうした運転支援中、ドローン１や自車両３０は、ドローン１の周囲における障害物の情報を取得している。
すなわち、ドローン１では、例えばステップＳ１に示されるようにステレオカメラ７を通じて、ドローン１の周囲の障害物の情報、例えば図３（ａ），（ｂ）に示されるような例えば道路αの両側に植えられている樹木Ｘ１〜Ｘ４や、ドローン１前方を飛んでいる小鳥Ｘ５といった各種障害物の画像情報を含む画像情報が取得される。

この画像情報が、割出し部５１で行われる画像処理や視差処理などの処理を受け、画像に含まれる樹木Ｘ１〜Ｘ４や小鳥Ｘ５の大きさが３次元的に割り出される。同じく画像処理や視差処理などにより、ステップＳ３に示されるように各樹木Ｘ１〜Ｘ４や小鳥Ｘ５の位置も、３次元位置で割り出される。例えば図４に示されるように樹木Ｘ１〜Ｘ４や小鳥Ｘ５の位置は、ドローン１を中心とした三次元座標の左右（ｘ）、前後（ｙ）、高さ（ｚ）で表す座標位置により割り出される。図３（ａ），（ｂ）中、ｅ１は、ステレオカメラ７の撮像範囲（障害物検出範囲）を示している。

自車両３０では、例えばステップＳ７に示されるようにステレオカメラ４９を通じて、ドローン１の周囲の情報、例えば図３（ａ），（ｂ）に示されるようなドローン１の直前方や後方に有る、樹木Ｘ３，Ｘ４やドローン１の後方右下を飛んでいる小鳥Ｘ６といった各種障害物を含む画像情報が取得される。小鳥Ｘ６は、飛行中のドローン１からでは、検出することができない位置、すなわちドローン１の死角に位置する。

この画像情報が、割出し部５５での画像処理や視差処理などの処理を受け、画像に含まれる樹木Ｘ３，Ｘ４や小鳥Ｘ６の大きさが３次元的に割り出される。同じく画像処理や視差処理などにより、ステップＳ９に示されるように各樹木Ｘ３，Ｘ４や小鳥Ｘ６や飛行中のドローン１の位置も、３次元位置で割り出される。例えば図４に示されるように樹木Ｘ３，Ｘ４や小鳥Ｘ６やドローン１の位置は、自車両３０を中心とした三次元座標の左右（ｘ）、前後（ｙ）、高さ（ｚ）で表す座標位置により割り出される。図３（ａ），（ｂ）中、ｅ２は、ステレオカメラ４９の撮像範囲（障害物検出範囲）を示している。

続くステップＳ１３にて、ステレオカメラ７（ドローン１）の画像から割り出した障害物（樹木Ｘ１〜Ｘ４，小鳥Ｘ５）の大きさや３次元位置と、ステレオカメラ４９（自車両３０）の画像から割り出した障害物（樹木Ｘ３，Ｘ４，小鳥Ｘ６）の大きさや３次元位置とが、ドローン１の位置や自車両３０の位置に基づき照合される。この照合により、図４に示されるように全て障害物（Ｘ１〜Ｘ６）の位置が自車両３０を中心に明らかとなる（認識）。

このとき、運転支援を受けている自車両３０が、図３中の矢印方向ａへ右折したとする。すると、ドローン１の飛行位置は、自車両３０の進路変更を受けて、右折する自車両３０にしたがい変更する。すなわち、ドローン１は、右折した自車両３０の前方の所定位置に追い付くよう右後方へ飛行方向（飛行位置）を変える。この進路が変わる場合、ドローン１と障害物とが衝突する可能性がある。

すなわち、従来のようにドローン１からの画像情報だけで、障害物を検出する場合、ドローン１の周囲の障害物Ｘ１〜Ｘ５は検出されるものの、ドローン１の障害物検出範囲外、すなわち死角に位置するドローン１後方右下の障害物（小鳥Ｘ６）については検出されない。このため、ドローン１の飛行方向が右後方へ変わると、ドローン１が障害物（小鳥Ｘ６）と衝突するおそれがある。

そこで、ドローン１だけでなく自車両３０からも障害物を検出している。すなわち、ドローン１のステレオカメラ７および自車両３０のステレオカメラ４９による検出により、ドローン１の死角を含む、ドローン１周囲の全ての障害物の位置が網羅される。このため、ステップＳ１５のようにドローン１の飛行方向が右後方へ変わり、ドローン１と障害物とが衝突する可能性がある場合、続くステップＳ１７のようにドローン１だけでは不可能であった、ドローン１の障害物に対する回避の指示、例えばドローン１の検出範囲内にある障害物（Ｘ１〜Ｘ５）やドローン１の検出範囲外にある障害物（小鳥Ｘ６）との衝突を回避する、ドローン１の飛行方向（飛行位置）の設定が可能となる。

ここでは、例えば図３中の矢印方向ｂのように障害物（小鳥Ｘ６）を挟んでドローン１とは反対方向へ向かう方向、具体的には障害物（小鳥Ｘ６）を遠巻きにして右後方へ向かう飛行方向（飛行位置）が設定される。そして、同飛行方向（飛行位置）の制御信号が自車両３０から送信され、ステップＳ１９のようにドローン１の飛行を指示する。これにより、たとえドローン１の死角に障害物（小鳥Ｘ６）が位置していたとしても、ドローン１は、同障害物（小鳥Ｘ６）と衝突することなく、右折した自車両３０に追従しながら、同自車両３０の前方上空の所定位置へ戻る（復帰）。そして、再び運転支援を続ける。

以上のように運転支援装置は、ドローン１から得られる障害物の情報だけでなく、自車両３０から得られる障害物の情報を用いて、ドローン１の飛行を、障害物を避ける方向へ指示するので、ドローン１の死角に障害物が位置するなど、たとえ障害物の検出が困難な場合でも、ドローン１を障害物を回避する方向（障害物回避方向）へ飛行させることができる。このため、どのような姿勢でドローン１が飛行することがあっても、ドローン１と障害物との衝突が避けられる。

図５は、本発明の一実施形態を示す。
本実施形態は、基礎となる運転支援装置のような並列な手法で、ドローン１に衝突を回避する指示をするのではなく、直列的な手法で、ドローン１に衝突を回避する指示をするようにしたものである。図５には、その要部となる制御のフローチャートが示されている。
すなわち、本実施形態は、ドローン１のステレオカメラ７にて、ドローン１前方側の障害物の位置を捉え、自車両３０のステレオカメラ４９にて、ドローン１後方側のドローン１の死角にある障害物を捉えて、全障害物の監視を行う（ステップＳ１〜Ｓ１１）。そして、自車両３０の走行方向の変更など、ドローン１が障害物と衝突する可能性がある場合（ステップＳ２１）、まずドローン１に対し、ステレオカメラ４９（自車両３０）で捉えた画像情報から割り出された障害物の位置情報に基づき、ドローン１の死角（検出範囲外）に位置する障害物との衝突を回避する飛行方向（飛行位置）を指示する。その後、ステレオカメラ７（ドローン１）で捉えた画像情報から割り出された障害物の位置情報に基づき、ドローン１の検出範囲内に位置する障害物との衝突を回避するよう飛行方向（飛行位置）を指示するようにしたものである。

運転支援中、ドローン１の向きが変わる場合（障害物と衝突の可能性がある場合）、多くは最初にドローン１の後方へ向かうという挙動が生じるので、最初に死角となるステレオカメラ４９（自車両３０）が捉えた障害物を回避するよう指示した後、ステレオカメラ７（ドローン１）が捉えた障害物を回避するよう指示することにより、ドローン１は効果的に障害物を避けることができる。

つまり、運転支援中のドローンの障害物に対する衝突回避性能を向上させることができる。但し、図５において基礎となる車両の運転支援装置と同じ部分には同一符号を付して、その説明を省略した。
なお、上述した一実施形態における各構成および組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能であることはいうまでもない。また本発明は、上述した一実施形態によって限定されることはなく、「特許請求の範囲」によってのみ限定されることはいうまでもない。例えば上述した一実施形態では、ステレオカメラを用いて、障害物の位置を検出するようにしたが、これに限らず、例えば超音波を検知媒体に用いたソナーを用いて、障害物の位置を検出するようにしても構わない。

１ドローン（無人飛行体）
７ステレオカメラ（飛行体側検出部）
３０自車両
３７ディスプレイ（提示部）
１３，４１制御部
４９ステレオカメラ（車両側検出部）
５０障害物回避指示部
５１割出し部（飛行体側位置検出部）
５５割出し部（車両側位置検出部）
５７広域照合部

Claims

自車両の進行方向前方の所定位置を飛行可能な、撮像装置が付いた無人飛行体と、
前記撮像装置で撮像した自車両の進行方向前方の画像を前記自車両の乗員に提示する提示部と、
自車両前方の所定位置に前記無人飛行体が飛行され続けるよう前記無人飛行体を制御する制御部とを備えた車両の運転支援装置であって、
前記無人飛行体は、当該無人飛行体の周囲の障害物を検出する飛行体側検出部を有し、
前記自車両は、前記自車両の進行方向前方の障害物を検出する車両側検出部を有し、
前記制御部は、
前記飛行体側検出部により検出される障害物および前記車両側検出部により検出される障害物に基づき、前記障害物を回避する方向へ前記無人飛行体の飛行を指示する障害物回避指示部を有し、
前記障害物回避指示部は、
前記飛行体側検出部により検出された障害物の位置を割り出す飛行体側位置検出部と、
前記車両側検出部により検出された障害物の位置を割り出す車両側位置検出部と、をさらに有し、
前記車両側位置検出部により割り出された前記無人飛行体の死角に位置する障害物を回避するよう前記無人飛行体の飛行を指示した後、前記飛行体側位置検出部で割り出された障害物を回避するよう前記無人飛行体の飛行を指示するものである
ことを特徴とする車両の運転支援装置。