JP2015009646A - 運転支援装置 - Google Patents

Abstract

【課題】自車両の左右後方の撮影画像をモニタに表示させるシステムにおいて、ユーザにとって分かりやすい態様で障害物を表示できる「運転支援装置」を提供する。【解決手段】自車両の周辺の障害物を検出する障害物検出部２３と、複数のカメラ１１，１２，１３で撮影された自車両周辺の複数の画像を複数画面に分割してそれぞれ表示させる撮影画像表示部２６と、自車両および障害物検出部２３により検出された障害物をアイコンで表した簡略図画像をモニタ１４に表示させる簡略図表示部２５とを有し、複数の撮影画像と共に簡略図画像を表示させることにより、障害物の見落としや誤認が少なくなる。【選択図】図１

Description

本発明は、運転支援装置に関し、特に自車両周辺の障害物の存在を監視して画像によってユーザに報知する装置に用いて好適なものである。

近年では、車両の走行安全を図るシステムの開発が盛んになってきている。その開発技術の１つとして、自車両周辺の障害物を検出して運転者に報知するシステムが提供されている。例えば、車両の後方および側方をカメラにより撮影し、撮影された画像を表示させることによって、自車両周辺の障害物を運転者に認識させるシステムが知られている。

特第 3916958号公報

しかしながら、上記特許文献１に記載の技術では、後方カメラや左右側方カメラで撮影された画像において、自車両と障害物間の距離や方向が分かり難い問題がある。さらに障害物が複数ある場合、各画像に表示されている障害物が同一の障害物か否かの区別が難しい場合もある。

本発明は、このような問題を解決するためになされたものであり、運転支援装置において、自車両周囲の障害物を分かりやすい態様で表示できるようにすることを目的とする。

上記した課題を解決するために、本発明では、後方カメラや左右側方カメラで撮影された実画像表示に加えて、自車両と障害物をアイコンで表した簡略図画像を表示させるようにしている。

上記のように構成した本発明によれば、自車両と障害物が簡略図画像にて表示されるので、後方カメラや左右側方カメラで撮影された画像表示において、障害物が自車両に接近した場合に視認性が良く見落としや誤認が少なくなる。

本実施形態による運転支援装置の車載システムの構成例を示すブロック図である。 本実施形態による各カメラの配置例を示す図である。 本実施形態による各カメラの撮影領域および障害物の例を示す図である。 本実施形態に係る画像の表示例を示す図である。 本実施形態による簡略図画像の例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。 本実施形態による運転支援装置の動作例を示すフローチャートである。 本実施形態による通常の画面表示例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。 本実施形態の変形例に係る各カメラの撮影領域および障害物の例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。 本実施形態の変形例に係る各カメラの撮影領域および障害物の例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。 本実施形態の変形例に係る画像の表示例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。なお、各図において同一の構成又は機能を有する構成要素については同一符号を付している。
図１は、本実施形態による運転支援装置の車載システムの構成例を示すブロック図である。
図１に示すように、本実施形態の車載システムは、後方カメラ１１、右側方カメラ１２、左側方カメラ１３、画像処理部２１、表示制御部２４およびモニタ１４を備えて構成されている。このうち画像処理部２１および表示制御部２４により本発明の運転支援装置が構成される。

後方カメラ１１で自車両の後方周辺領域を撮影し、右側方カメラ１２で自車両の右側方周辺領域を撮影し、左側方カメラ１３で自車両の左側方周辺領域を撮影する。各カメラ１１〜 １３は、何れも魚眼レンズ等の超広角レンズを備え、自車周辺の領域を広範囲に撮影する。魚眼レンズを使用しているため、各カメラ１１〜１３により撮影される画像は、撮影範囲の周辺が丸く歪んだものとなる。

図２は、各カメラ１１〜１３の配置例を示す図である。図２に示すように、後方カメラ１１は自車両の後面に配置され、後方の周辺領域を後方撮影領域として撮影する。右側方カメラ１２は自車両の右側方面に配置され、右側方の周辺領域を撮影する。また、左側方カメラ１３は自車両の左側方面に配置され、左側方の周辺領域を撮影する。

図３は、各カメラ１１〜１３の撮影領域および障害物の例を示す図である。図３に示すように、後方カメラ１１の後方撮影領域の一部と、右側方カメラ１２の右側方撮影領域の一部とが重複するような位置および姿勢に、後方カメラ１１および右側方カメラ１２を設置する。また、後方カメラ１１の後方撮影領域の一部と、左側方カメラ１３の左側方撮影領域の一部とが重複するような位置および姿勢に、後方カメラ１１および左側方カメラ１３を設置する。

画像処理部２１は、歪み補正部２２および障害物検出部２３を備えている。
歪み補正部２２は、後方カメラ１１により撮影された後方撮影画像、右側方カメラ１２により撮影された右側方撮影画像および左側方カメラ１３により撮影された左方撮影画像の魚眼レンズに起因する歪みを補正する。この歪み補正処理は、あらかじめ用意している内部パラメータを用いて行うものであり、公知の手法を適用することが可能である。

障害物検出部２３は、各カメラ１１〜１３により撮影された画像（歪み補正部２２により歪補正されたもの。以下同様）に基づいて、自車両の周辺の障害物を検出する。すなわち、障害物検出部２３は後方撮影領域内における障害物、右側方撮影領域内における障害物、左側方撮影領域内における障害物をそれぞれ検出する。

具体的には、障害物検出部２３は、各撮影画像から自車両の周辺にある障害物（車両、二輪車および歩行者）を検出する。例えば、障害物検出部２３は、撮影画像に対してエッジ抽出処理を行い、抽出したエッジの形状と、あらかじめ登録してある車両、二輪車や人間の形状とのパターンマッチングにより、撮影画像内における車両、二輪車および歩行者の存在を検出する。
また、障害物検出部２３は、撮影画像内に写っている障害物の位置に基づいて、自車位置から見た障害物の相対位置も検出する。すなわち、障害物検出部２３は、各カメラ１１〜１３の設置位置や取付姿勢に関する情報をあらかじめ記憶している。したがって、各カメラ１１〜１３による撮影画像上において障害物が写っている位置の２次元座標が分かれば、自車位置から見た障害物の相対位置を求めることが可能である。

図４は、表示制御部２４によりモニタ１４に表示される画像の例を示す図である。この図４は右後方撮影領域の人が障害物検出部２３により検出されている場合の表示例であり、各カメラ１１〜１３で撮影された画像を３画面に分割してそれぞれ表示させるとともに、簡略図画像５０を各撮影画面と一部が重なる位置、例えば画面中央に表示している。

ここで、各カメラにより撮影された画像における障害物４１の検出、また異なるカメラから撮影された障害物４１が同一の障害物４１であるか否かの判定は、下記に記載の文献にて一般に公表されている”HOG付加特徴を利用した人物全身像検出” または局所特徴量の関連性に着目した特徴による物体検出等の方法を用いて検出や判定が可能である。
高柳雄太郎、 「HOG 付加特徴を利用した人物全身像検出」、早稲田大学大学院 基幹理工学研究科 平成２１年度修士論文、平成２１年、ｐ．７ ― ２５
藤吉弘亘、 「局所特徴量の関連性に着目したJoint特徴による物体検出」、 情報処理学会 研究報告 CVIM 166, 2009年3月, ｐ．４３ ― ５４
ここで HOG法とは、 Histograms of Oriented Gradientsの略で、局所領域(セル)の輝度の勾配方向をヒストグラム化することで特徴量を算出し、物体を特定する方法である。なお、ここに挙げた処理は単なる例示であり、画像処理に基づく障害物の検出方法はこれに限定されない。

表示制御部２４は、モニタ１４に対する各種画像の表示を制御する。この表示制御部２４は、簡略図表示部２５および撮影画像表示部２６を供えている。
撮影画像表示部２６は、後方撮影領域、右側方撮影領域、左側方撮影領域における撮影画像を表示させる。
簡略図表示部２５は、後方撮影領域、右側方撮影領域、左側方撮影領域において障害物の存在が障害物検出部２３により検出されると、自車両および検出された障害物をアイコンで表した簡略図画像をモニタ１４に表示させる。

障害物の検出においては、撮影画像に対してエッジ抽出処理を行い予め登録しておいた形状パターンと比較して物体を検出し種類を判定している。それぞれの障害物の周囲を幾つかの方向から見たときの形状パターンも登録しておくことで、部分においての形状パターンの比較も行うことで、障害物の種類を判定し、その後や障害物の種類の判定時にその障害物がどの方向を向いているかも特定することができる。人物であれば、頭部や胴体及び脚部に分け、周囲幾つかの方向から見たときの形状パターンを登録しておくことにより、顔や胴体のそれぞれが向いている方向を特定することも可能である。特定した障害物４１の種類別により、図５に示すように、簡略図画像５０に障害物の種類とその向きを反映したアイコンを表示することが可能である。

なお、ここで挙げた方法は単なる例示であり、本発明で用いる画像処理に基づく障害物の検出方法はこの方法に限定されない。

自車両１と障害物４１との間の距離は、道路の幅や車線は無限遠の地平線で一点（消点）に収束するという遠近法の原理や、障害物の形状の特徴による障害物の特定と各障害物の代表的な大きさと検出した障害物の大きさとの比較により算出できる。また画像処理部２１では各カメラ１１から１３の設置位置や取り付け姿勢に関する情報を記録しているため、各カメラ１１から１３の撮影画像上において障害物４１が写っている二次元座標が分かれば、自車両１から見た障害物４１の相対位置を求めることができる。

図６は、自車両アイコンと障害物アイコン間を点線で結ぶと共にその距離を表示させる場合の表示例である。
自車両１に一番近い障害物アイコン５２との間を線６１や図形６２で関係付け、距離を線や図形に表示して自車両１と障害物アイコン５２との間の距離を表示させることができる。これにより、自車両と障害物の位置関係をより明確に把握できるようになる。

図７は、上記のように構成した本実施形態による運転支援装置の動作例を示すフローチャートである。なお、図７に示すフローチャートは、車両のＡＣＣスイッチをオンにして車載システムに電源が投入されたときに開始する。

まず、表示制御部２４は、図８に示すように、後方カメラ１１、右側方カメラ１２、左側方カメラ１３で撮影された画像を３画面に分割してそれぞれ表示させる（ステップＳ１）。
障害物検出部２３は、各カメラ１１〜１３により撮影された画像に基づいて、後方撮影領域、右側方撮影領域または左側方撮影領域に障害物が検出されたか否かを判定する（ステップＳ２）。

上記ステップＳ２において、後方撮影領域、右側方撮影領域または左側方撮影領域に障害物が検出された場合、表示制御部２４は、図４に示すように、自車両および障害物検出部２３により検出された障害物をアイコンで表した簡略図画像５０を、モニタ１４の中央部に表示させる（ステップＳ３）。

ステップＳ３の処理を行った後、車載システムは電源がオフにされたか否かを判定する（ステップＳ４）。電源がオフにされていない場合、処理はステップＳ１に戻る。一方、電源がオフにされた場合、図７に示すフローチャートの処理は終了する。

以上詳しく説明したように、本実施形態では、異なるカメラにより撮影された複数の撮影画像を表示すると共に、自車両１や障害物４１を象徴的に車両アイコン５１や障害物アイコン５２で表し、さらに自車両の前方を示す矢印アイコン５３により表した簡略図画像５０を表示させる。これにより、自車両１と障害物４１との位置関係が認識し易くなり、かつ障害物４１の種類と向きを特定した視認性の良い簡略図画像５０を表示することができる。

なお、上記実施形態では、１画面内に複数の撮影画像と簡易図画像とを同時表示させる例について説明したが、本発明はこれに限定されない。例えば、後方撮影領域、右側方撮影領域または左側方撮影領域の少なくとも何れかの領域において障害物が検出されたと判定された場合に、撮影画像と共に簡略図画像を表示させるようにしても良い。簡略図表示をポップアップ表示することで、障害物に対する注意を喚起する効果がある。
また、障害物が自車両から離れていき、後方撮影領域、右側方撮影領域または左側方撮影領域のいずれの領域にも障害物が検出されなくなったと判定された場合に簡略図表示を非表示にしても良い。撮影画像とアイコン画像の重なりが解消され画面が見やすくなる。

また、後方撮影領域、右側方撮影領域または左側方撮影領域の複数領域において障害物が検出されたと判定された場合に簡略図画像を表示させても良い。複数の撮影画像に同一の障害物が表示されていることに対し注意を喚起する効果がある。
また、障害物が自車両から離れていき、後方撮影領域、右側方撮影領域または左側方撮影領域の複数領域に障害物が検出されなくなったと判定された場合に簡略図表示を非表示にしても良い。撮影画像とアイコン画像の重なりが解消され画面が見やすくなる。

また、上記実施形態では、各カメラ１１〜１３で撮影された画像を３画面に分割してそれぞれ表示させ、同時に簡略図画像５０を各撮影画面と一部が重なる位置、例えば画面中央に表示している例について説明したが、本発明はこれに限定されない。

図９に示すように、右側方カメラで撮影された画像３２と左側方カメラで撮影された画像３３の間に簡略図画像５０を表示しても良い。画像３２と画像３３は縮小表示され、簡略図画像５０の表示領域も狭くなるが、左右カメラで撮影した画像３２，３３が簡略図画像５０に隠されて見えなくなること無く表示領域を全て表示することができる。

また、上記実施形態では、１画面内に複数の撮影画像と簡略図画像とを同時表示させる例について説明したが、後方撮影領域、右側方撮影領域または左側方撮影領域のいずれかの領域に障害物が検出されたと判定された場合に、撮影画像１７の全画面表示に代えて簡略図画像５０を全画面表示させるようにしてもよい。
また、後方撮影領域、右側方撮影領域または左側方撮影領域の複数領域において同一の障害物が検出されたと判定された場合に、撮影画像１７の全画面表示に代えて簡略図表示５０を全画面表示させるようにしてもよい。簡略図表示だけになり、画面が見やすくなる。

また、上記実施形態では、障害物４１が撮影画像に表示されていることが検出された場合に撮影画像の全画面表示に代えて簡略図表示を全画面表示させる例について説明したが、 図１０に示すように、後方カメラで撮影された画像３１に代えて簡略図画像５０を表示させるようにしてもよい。左右カメラで撮影した画像にて障害物４１の実際の形状を認識しながら、簡略図画像５０で自車両１から障害物４１への方角や距離を確認することができる。

また、図１１に示すように、右側方カメラで撮影された画像３２と左側方カメラで撮影された画像３３のうち、後方カメラで撮影された画像３１で検出した障害物４１と障害物４１が映っている画像側を簡略図画像５０に切り替えて表示してもよい。
後方カメラにより撮影された画像３１により実際の障害物４１の形状を確認するとともに、障害物４１が存在する側のカメラの画像が簡略図画像５０に切り替わるので、障害物４１が自車両１の左右どちらか側に位置するのかについて注意を喚起できる。

また、上記実施形態の障害物は複数であっても良い。複数の障害物が複数の画面に表示されるようになった際の簡略図画像５０の表示に係る動作は、障害物が単数の場合と同等である。

複数の障害物のうち、一つの障害物４１が複数の画像に同時に表示されていることが検出された場合に簡略図画像５０を表示しても良い。図１２に示すように複数の障害物、例えば人物４１、自転車４４、バイク４５が自車両１周辺に存在し、その内の一つの障害物４１が複数のカメラに重複して撮影される領域に存在する場合について説明する。その複数の障害物の内の一つの障害物４１は 図１３に示すように後方カメラで撮影された画像３１および右側方カメラの画像３２の複数の画像に重複して表示される。この場合も図１４に示すような簡略図画像５０を表示させ、複数の撮影画像に同時には表示されていない障害物４４をアイコン５４と一緒に表示してもよい。これにより、複数の障害物の位置関係が明瞭になる。

また、上記実施形態では、複数の障害物のうち、一つの障害物４１が複数の画像に同時に表示されている場合について説明したが、複数の画像に同時に表示される障害物は複数であっても良い。
図１５に示すように第1の障害物４１に加えて第２の障害物４６が複数のカメラに同時に撮影される領域に存在している場合、図１６に示すように第1の障害物アイコン４１および第２の障害物アイコン４６が自車両位置からの距離と共に写りこんだ簡略図画像５０を、右側方カメラで撮影された画像３２と左側方カメラで撮影された画像３３の間に表示してもよい。第1の障害物４１および第２の障害物４６が同時に表示される。ここでも第２の障害物４６としては、人物や自転車、バイク、自動車等、及び電柱や塀及び建物等障害物が挙げられる。このような場合には図１７に示すように、第1の障害物４１および第２の障害物４６をそれぞれ象徴的に表した障害物アイコン５２および第２の障害物アイコン５５を表示し、自車両から第1の障害物までの距離と自車両から第２の障害物までの距離とを線６１や図形６２で表示することもできる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ … 自車両
２ … 右側方ドアミラー
３ … 左側方ドアミラー
４ … 自車両後部
１１ … 後方カメラ
１２ … 右側方カメラ
１３ … 左側方カメラ
１４ … モニタ
２０ … 画像制御部
２１ … 画像処理部
２２ … 歪み補正部
２３ … 障害物検出
２４ … 表示制御部
２５ … 簡略図表示部
２６ … 撮影画像表示部
３１ … 後方カメラで撮影された画像
３２ … 右側方カメラで撮影された画像
３３ … 左側方カメラで撮影された画像
４１ … 人物等の障害物
４２ … 右側方白線
４３ … 左側方白線
４４ … 他の障害物
４６ … 第２の障害物
５０ … 簡略図画像
５１ … 自車両アイコン
５２ … 障害物アイコン
５３ … 進行方向を示す図形
５４ … 他の障害物アイコン
５５ … 第２の障害物アイコン
６１ … 方向を示す線
６２ … 距離を示す図形
７１ … 後方カメラの右側撮影範囲境界
７２ … 後方カメラの左側撮影範囲境界
７３ … 右側方カメラの右側撮影範囲境界
７４ … 右側方カメラの左側撮影範囲境界
７５ … 左側方カメラの右側撮影範囲境界
７６ … 左側方カメラの左側撮影範囲境界

Claims (10)

1. 自車両の周辺の障害物を検出する障害物検出部と、
   複数のカメラで撮影された上記自車両周辺の複数の画像を複数画面に分割してそれぞれ表示させる撮影画像表示部と、
   上記自車両および上記障害物検出部により検出された上記障害物をアイコンで表した簡略図画像をモニタに表示させる簡略図表示部と、を有し、
   前記撮影画像表示部で生成した前記撮影画像を表示させると共に、前記簡略図表示部で生成した簡略図画像を表示させることを特徴とする運転支援装置。
2. 上記簡略図表示部は、上記障害物検出部により検出された障害物が撮影画像に表示されていることを検出した場合に、上記簡略図画像を表示させることを特徴とする請求項１に記載の運転支援装置。
3. 上記簡略図表示部は、上記障害物検出部により同一の障害物が複数の撮影画像に表示されていることを検出した場合に、上記簡略図画像を表示させることを特徴とする請求項１または請求項２に記載の運転支援装置。
4. 上記簡略図表示部は、上記後方カメラで撮影した画像、上記右側方カメラで撮影した画像、左側方カメラで撮影した画像のそれぞれと一部が重なる位置に上記簡略図画像を表示させることを特徴とする請求項１から請求項３の何れかに記載の運転支援装置。
5. 上記簡略図表示部は、上記右側方カメラで撮影した画像と上記左側方カメラで撮影した画像との間に上記簡略図画像を表示させることを特徴とする請求項１から請求項３の何れかに記載の運転支援装置。
6. 上記簡略図表示部は、上記複数の撮影画像の代わりに上記簡略図画像を表示させることを特徴とする請求項１から請求項３の何れかに記載の運転支援装置。
7. 上記簡略図表示部は、上記後方カメラで撮影した画像の代わりに上記簡略図画像を表示することを特徴とする請求項１から請求項３の何れかに記載の運転支援装置。
8. 上記簡略図表示部は、上記右側方カメラで撮影した撮影画像または左側方カメラで撮影した撮影画像の代わりに、上記簡略図画像を表示させることを特徴とする請求項１から請求項３の何れかに記載の運転支援装置。
9. 上記簡略図表示部は、上記簡略図画像上に上記自車両アイコンと上記障害物アイコン間を線で結ぶと共にその距離を表示させることを特徴とする請求項１から請求項８の何れか１項に記載の運転支援装置。
10. 上記簡略図表示部は、上記障害物検出部により検出された障害物又は同一の障害物が複数の撮影画像に表示されなくなったことを検出した場合、上記簡略図画像を非表示にすることを特徴とする請求項１から請求項９の何れか１項に記載の運転支援装置。

Images