JP2018097541A - 運転支援装置 - Google Patents

Abstract

【課題】視認性の悪い低視認性情報表示体をフロントガラスに表示させた虚像により運転者に認識させることができると共に、視認性の良い情報表示体を不要に虚像化することを防止できるようにした運転支援装置を提供する。【解決手段】車両前方を撮像して車両前方画像を取得する撮像手段４と、地図情報を記憶する記憶手段２と、前記車両前方画像から、前記車両前方にある視認性の悪い低視認性情報表示体を抽出する抽出手段１１と、前記地図情報から、前記低視認性情報表示体の種別を取得する種別情報取得手段１３と、前記種別を表す虚像を、前記低視認性情報表示体に重ね合わせてフロントガラスに表示させる表示手段とを備える。【選択図】図１

Description

本発明は、標識等を表す虚像を、当該標識等に重ね合わせてフロントガラスに表示させることにより運転支援を行う、運転支援装置に関する。

信号機や標識等を、運転者がより認識しやすいように、信号機や標識等を示す表示を実際の信号機や標識等に重なるようにフロントガラスに映し出すようにした支援装置が種々提案されている（例えば特許文献１，２など）。
以下、特許文献１，２でそれぞれ使用されている符号を括弧付きで参考に示し、特許文献１，２に開示された技術についてそれぞれ説明する。
特許文献１には、「運転者がハンズフリーで携帯電話を使用している際中、ナビゲーションシステム（１０）が記憶する地図情報により自車両前方に信号機（６０Ａ）の存在を検出した場合には、その表示虚像（９０Ａ）を信号機（６０Ａ）と概略重畳するようにフロントガラス（７０）に映し出す、運転用車両装置」が開示されている。
特許文献２には、「撮影装置（１１５）により撮像した車両前方画像を解析して視界が不良であると判断した場合には、前記車両前方画像から、予め設定された種類の道路標示や道路標識を抽出して、この抽出した道路標示や道路標識を、実際の道路標示や道路標識と重なる位置にフロントガラスに映し出す、運転支援装置」が開示されている。

特開２０００-３３１２８９号公報 特開２００８-２８００２６号公報

しかしながら、特許文献１に開示された運転用車両装置では、標識等を示す表示を実際の標識等に重なるようにフロントガラスに映し出すとしているが、表示される標識等が、実際の標識等からずれて映し出されるおそれがある。
つまり、ナビゲーションシステム（１０）の地図情報では、情報の種類や精度に限界があり、標識の大きさ，高さ等の情報を取得できなかったり、取得した標識の位置情報の精度が低かったりすることが予想され、このような限られた情報に基づいて、標識等を示す表示を実際の標識等と重なるようにフロントガラスに映し出すことは困難である。
表示される標識等が、実際の標識等からずれて映し出されてしまうと運転者の判断に影響がでるおそれもある。

また、特許文献２に開示された運転支援装置は、撮像した車両前方画像から、画像解析により予め設定された種類の道路標識等を抽出するものである。視認性の低い道路標識（例えば、汚れた道路標識，かすれた道路標識，設置向きの悪い道路標識）は、運転者が認識し易いようなかたちで画像表示されることが望まれるが、特許文献２の運転支援装置は、画像解析により道路標識等を抽出するため、例えば道路標識であることは一応認識可能であっても、視認性の低い道路標識については、道路標識の種別まで抽出できないおそれがある。

本発明は、上記のような課題に鑑み創案されたもので、視認性の悪い低視認性情報表示体をフロントガラスに表示させた虚像により運転者に認識させることができると共に、視認性の良い情報表示体を不要に虚像化することを防止できるようにした、運転支援装置を提供することを目的とする。

（１）上記の目的を達成するために、本発明の運転支援装置は、車両前方を撮像して車両前方画像を取得する撮像手段と、地図情報を記憶する記憶手段と、前記車両前方画像から、前記車両前方にある視認性の悪い低視認性情報表示体を抽出する抽出手段と、前記地図情報から、前記低視認性情報表示体の種別を取得する種別情報取得手段と、前記種別を表す虚像を、前記低視認性情報表示体に重ね合わせてフロントガラスに表示させる表示手段とを備えていることを特徴としている。

（２）前記抽出手段が、前記車両前方画像を解析して、予め設定された情報表示体テンプレート画像との類似度が第１閾値以上かつ第２閾値以下のものを前記低視認性情報表示体として抽出する第１抽出機能を備えることが好ましい。

（３）運転者の視線を検出する視線検出手段をさらに備え、前記抽出手段が第２抽出機能を備え、前記第２抽出機能は、前記車両前方画像を解析して、予め記憶した情報表示体テンプレート画像との類似度が第１閾値以上のものを前記低視認性情報表示体の候補体とし、前記候補体の中から、前記視線検出手段により検出された視線の静動に基づいて前記低視認性情報表示体を選別することが好ましい。

（４）前記第２抽出機能は、前記視線検出手段により検出された前記視線の向きの変化が所定量以下の状態が、所定時間以上継続した場合に、前記視線の先にある前記候補体を前記低視認性情報表示体として選別することが好ましい。

（５）前記第２抽出機能は、前記視線検出手段により検出された前記視線が、前記候補体に、所定回数を越えて向けられた場合には、当該候補体を前記低視認性情報表示体として選別することが好ましい。

本発明によれば、車両前方撮影装置により撮像された車両前方画像から、抽出手段により低視認性情報表示体を抽出すると共に、この低視認性情報表示体の種別情報を、記憶手段の地図情報から取得し、種別を表す虚像を、低視認性情報表示体に重ね合わせてフロントガラスに表示させる。
したがって、視認性の悪い低視認性情報表示体を、現実の設置位置に対応させて、フロントガラスに表示させた虚像により運転者に認識させることができる。さらに、虚像として表示されるのは、低視認性情報表示体に限られており、視認性の良い情報表示体についてまで不要に虚像化することを防止できる。

本発明の一実施形態の運転支援装置の構成を示すブロック図である。 本発明の一実施形態の運転支援装置による支援の様子を示す模式図である。 本発明の一実施形態の運転支援装置により制御フローの一例を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について説明する。なお、以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。以下の実施形態の構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。

本発明の一実施形態としての運転支援装置１００について、図１〜３を用いて説明する。

［１．運転支援装置の構成］

運転支援装置１００は、図１に示すように、自車両位置検出器１と、地図情報記憶装置（記憶手段）２と、車両前方撮影装置（撮像手段）４と、視点関連情報検出装置（視線検出手段）５、ヘッドアップディスプレイ６と、これら各装置が接続されたＥＣＵ１０とを備えている。

自車両位置検出器１は、本実施形態では、地磁気センサ、ジャイロスコープ、自車両の走行距離を検出する距離センサ、およびグローバルポジショニングシステム（ＧＰＳ）のためのＧＰＳ受信機などのセンサ等を有している。これらのセンサ等は各々が性質の異なる誤差を持っていたり、状況によっては情報を取得できなかったりするため、互いに補完しながら使用するように構成されている。

地図情報記憶装置２は、道路形状の他、情報表示体の種別など各種地図情報を記憶している。ＥＣＵ１０は、適宜、地図情報記憶装置２の各種地図情報を参照する。
ここで、情報表示体とは、道路標識や信号機に例示されるような運転者に必要な適宜の情報や指示を表示により提供するものである。また、情報表示体に関する情報とは、情報表示体の位置情報及び種別情報であり、種別情報とは、情報表示体が道路標識であれば「一方通行」，「追越し禁止」などのような具体的な標識の種別を特定するための情報であり、情報表示体が信号機であればその旨（信号機である旨）の情報である。

車両前方撮影装置４はステレオカメラであり、自車両の前端部または車室内の上部などに設けられる。この車両前方撮影装置４は、ＥＣＵ１０からの指示に従って、車両前方の所定範囲を撮像し、撮像した画像（以下「車両前方画像」という）のデータをＥＣＵ１０へ出力する。

視点関連情報検出装置５は、車両前方撮影装置４を構成するものとは別のステレオカメラと、そのステレオカメラによって撮像された画像を解析する処理装置とからなる。この視点関連情報検出装置５のステレオカメラは、運転者が前方を向いているときに運転者の顔が撮影可能な位置、たとえば、ルームミラーの側方などに設けられ、運転者の顔を含む画像データを処理装置へ出力する。処理装置は、供給された画像データを公知の認識処理手法によって解析して、運転者の目の位置（アイポイント）や視線の方向を決定する。
なお、前記の画像を解析する処理装置は、ＥＣＵ１０の機能要素としてもよい。

ヘッドアップディスプレイ６は、自車両のフロントガラスに映像を映し出す装置であり、本実施形態のヘッドアップディスプレイ６は、フロントガラスのほぼ全範囲にわたり表示が可能となっている。

ＥＣＵ１０は、通常のコンピュータであり、内部には周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するためのバスラインを備えている。ＲＯＭには、ＥＣＵ１０が実行するためのプログラムが書き込まれており、このプログラムに従ってＣＰＵ等が所定の演算処理を実行する。

また、ＥＣＵ１０は、機能要素として、抽出部（抽出手段）１１，情報表示***置算出部１２，種別情報取得部（種別情報取得手段）１３，表示位置設定部１４及びディスプレイ制御部１５を備える。

抽出部１１は、低視認性情報表示体を選択的に抽出する。低視認性情報表示体とは、視認性の悪い、すなわち運転者が視認しづらい情報表示体のことであり、例えば、汚れた道路標識，かすれた道路標識，設置向きの悪い道路標識、雪や雨や照度不足などにより視認性が低下した道路標識である。抽出部１１は、低視認性情報表示体を選択して抽出するものであり、視認性の良い情報表示体については抽出しない。
抽出部１１は、第１抽出機能１１Ａと、第２抽出機能１１Ｂとを備えている。

第１抽出機能１１Ａは、車両前方画像を解析して、予め記憶した複数種の情報表示体のテンプレート画像（情報表示体テンプレート画像）とのマッチングを行い、車両前方画像の中から低視認性情報表示体を抽出する。
具体的には、第１抽出機能１１Ａは、車両前方画像において、解析対象となる画像領域（以下「対象領域」という）の類似度Ｒ（パターンマッチング処理においてテンプレート画像と似ている度合いを数値化したもの）を、対象領域を順次ずらしていきながら求め、これを、各テンプレート画像の各々について行う。第１抽出機能１１Ａは、何れかのテンプレート画像との類似度Ｒが、第１閾値Ｒ１以上、且つ、第１閾値Ｒ１よりも大きな第２閾値Ｒ２以下（Ｒ１≦Ｒ≦Ｒ２，Ｒ１＜Ｒ２）であった対象領域を、低視認性情報表示体として抽出し、この低視認性情報表示体の車両前方画像における位置情報を、表示位置設定部１４に出力する。

第２抽出機能１１Ｂは、先ず、車両前方画像を解析して、前記の複数種のテンプレート画像とのマッチングを行い、車両前方画像の中から低視認性情報表示体の候補体を抽出する。
具体的には、第２抽出機能１１Ｂは、車両前方画像において対象領域の類似度Ｒを、対象領域を順次ずらしていきながら求め、これを各テンプレート画像の各々について行い、何れかのテンプレート画像との類似度Ｒが第１閾値Ｒ１以上であった対象領域を候補体とする。

第２抽出機能１１Ｂは、さらに、候補体の中から、視点関連情報検出装置５により検出された視線の静動に基づいて低視認性情報表示体を選別する。
具体的には、第２抽出機能１１Ｂは、次のケース１に該当する場合又はケース２に該当する場合には、それぞれ視線の先にある候補体を低視認性情報表示体として抽出する。
ケース１：運転者の視線の向きの変化Δｅが継続して所定の微小量以下となる時間、すなわち候補体を凝視する時間Ｔが、所定時間Ｔ１を越えた場合には、運転者が種別を視認しづらいため候補体を凝視していると推察されるので、視線の先にある候補体を低視認性情報表示体として抽出する。
ケース２：運転者の視線が候補体に向けられた回数、すなわち候補体を見直す回数Ｎが所定回数Ｎ１を越えた場合（運転者の視線が、候補体に所定回数Ｎ１を越えて向けられた場合）には、運転者が種別を視認しづらいため道路標識を何度も見直していると推察されるので、視線の先にある候補体を低視認性情報表示体として抽出する。

所定時間Ｔ１及び所定回数Ｎ１は、本実施形態では定数とするが、車速センサにより検出された車速ｖが速くなるほど、所定時間Ｔ１を短くするようにしたり、所定回数Ｎ１を少なくするようにしたりしてもよい。これは、車速ｖが速くなるほど、運転者が候補体を認識してから自車両が候補体を通過するまでの期間、すなわち運転者が候補体の認識を試みることのできる期間が短くなり、運転者が情報表示体を視認しづらかったとしても、候補体を凝視する時間が短くなり、候補体を見直す回数が少なくなるので、この影響を排除するためである。

なお、本実施形態では、抽出部１１は、第１抽出機能１１Ａ及び第２抽出機能１１Ｂの両方を備えているが、抽出部１１を、第１抽出機能１１Ａ及び第２抽出機能１１Ｂの一方だけを備えるようにしてもよい。また、第２抽出機能１１Ｂを備える場合には、第２抽出機能１１Ｂを、前記ケース１及びケース２の一方のケースだけ低視認性情報表示体として抽出するように構成してもよい。
また、第１抽出機能１１Ａと第２抽出機能１１Ｂとで類似度Ｒを求める機能を共用化してもよい。

情報表示***置算出部１２は、自車両を基準点とした低視認性情報表示体の実物の代表的な位置を算出する。車両前方撮影装置４は上述のとおりステレオカメラにより構成されており、情報表示***置算出部１２は、これらの２つのステレオカメラによってそれぞれ撮像された車両前方画像において、同一の低視認性情報表示体が抽出される位置の違い（視差情報）から、自車両を基準点とした低視認性情報表示体の実物の位置を算出する。

種別情報取得部１３は、地図情報記憶装置２の地図情報から低視認性情報表示体の種別情報を取得する。
具体的には、種別情報取得部１３は、自車両位置検出器１により検出された自車両の位置と、情報表示***置算出部１２により算出された低視認性情報表示体の自車両を基準点とした位置とから、低視認性情報表示体の絶対的な位置を推定する。そして、種別情報取得部１３は、地図情報記憶装置２の地図情報において、この推定した低視認性情報表示体の位置から一定距離内にある情報表示体（複数ある場合は最も近くにある情報表示体）が、この低視認性情報表示体であるとして、この情報表示体の種別情報を、地図情報から、低視認性情報表示体の種別情報として取得する。

表示位置設定部１４は、図２に示すように、運転者５０から視て、低視認性情報表示体の虚像２０′が低視認性情報表示体の実物２０と重なるように、フロントガラス３０上の虚像２０′の表示位置Ｐ′を設定する。
具体的には、表示位置設定部１４は、情報表示***置算出部１２により算出された低視認性情報表示体の実物２０の位置Ｐと視点関連情報検出装置５により検出された視点Ｐ０とを結ぶ直線Ｌが、フロントガラス３０と交差する点を表示位置Ｐ′として設定する。なお、図２中の符号２５は、視認性が良く、運転者５０が自身の視覚により認識できる情報表示体２５であり、この視認性の良い情報表示体２５については、フロントガラス３０上に虚像は表示されない。

ディスプレイ制御部１５は、種別情報取得部１３から低視認性情報表示体の種別情報を取得すると共に、表示位置設定部１４から表示位置Ｐ′を取得する。そして、ディスプレイ制御部１５は、ヘッドアップディスプレイ６を制御して、低視認性情報表示体の種別に応じて予め設定された虚像２０′を、フロントガラス３０上の表示位置Ｐ′に映し出すようにヘッドアップディスプレイ６を制御する。

なお、ヘッドアップディスプレイ６，表示位置設定部１４及びディスプレイ制御部１５により本発明の表示手段が構成される。

［１−２．制御フロー］
以下、図３を参照して、本発明の一実施形態としての運転支援装置の制御フローを説明する。なお、この制御フローは所定の周期で繰り返し実行される。
先ず、ステップＳ１０において、車両前方撮影装置４により車両前方画像が撮像され、ステップＳ２０において、抽出部１１により、テンプレートマッチングを使用して、この車両前方画像から低視認性情報表示体の抽出が行われ、低視認性情報表示体が抽出された場合にはステップＳ３０に進む一方、低視認性情報表示体が抽出されなかった場合はリターンする。なお、Ｓ２０において、複数の低視認性情報表示体が抽出される場合もある。
ステップＳ３０において、ステップＳ２０において抽出された低視認性情報表示体の種別が種別情報取得部１３により判定される。
そして、ステップＳ４０において、表示位置設定部１４により、低視認性情報表示体の実物２０の位置Ｐと運転者５０の視点Ｐ０等から表示位置Ｐ′が設定され、ステップＳ５０において、ディスプレイ制御部１５の制御により、ヘッドアップディスプレイ６からこの表示位置Ｐ′に低視認性情報表示体の虚像２０′が映し出され、リターンする。
なお、ステップＳ２０において低視認性情報表示体が複数抽出された場合には、ステップＳ３０，Ｓ４０，Ｓ５０において各低視認性情報表示体のそれぞれについて種別が取得され、表示位置が設定され、虚像が表示される。

［１−３．作用・効果］
図２を参照して説明すると、本発明の一実施形態としての運転支援装置によれば、車両前方撮影装置４により撮像された車両前方画像から、抽出部１１により低視認性情報表示体を抽出すると共に、この低視認性情報表示体の種別情報を、地図情報記憶装置２の地図情報から取得し、この種別の低視認性情報表示体を表す虚像２０′を、低視認性情報表示体の実物２０に重ね合わせてフロントガラス３０に表示させる。
したがって、視認性の悪い低視認性情報表示体を、現実の設置位置Ｐに対応させて、フロントガラス３０に表示させた虚像２０′により運転者に認識させることができる。さらに、虚像として表示されるのは、低視認性情報表示体に限られており、視認性の良い情報表示体２５についてまで不要に虚像表示することを防止できる。

また、第２抽出機能１１Ｂでは、運転者の視線の動静に基づいて、低視認性情報表示体を選別するので、実際の運転者の挙動に基づいて低視認性情報表示体を抽出することができる。

２ 地図情報記憶装置（記憶手段）
４ 車両前方撮影装置（撮像手段）
５ 視点関連情報検出装置（視線検出手段）
６ ヘッドアップディスプレイ
１０ ＥＣＵ
１１ 抽出部
１１Ａ 第１抽出機能
１１Ｂ 第２抽出機能
１２ 情報表示***置算出部
１３ 種別情報取得部（種別情報取得手段）
１４ 表示位置設定部
１５ ディスプレイ制御部
２０ 低視認性情報表示体の実物
２０′ 低視認性情報表示体の虚像
２５ 視認性の良い情報表示体の実物
５０ 運転者
１００ 運転支援装置
Ｐ 低視認性情報表示体の実物２０の位置
Ｐ′ 低視認性情報表示体の虚像２０′の位置
Ｐ０ 運転者５０の視点

Claims (5)

1. 車両前方を撮像して車両前方画像を取得する撮像手段と、
   地図情報を記憶する記憶手段と、
   前記車両前方画像から、前記車両前方にある視認性の悪い低視認性情報表示体を抽出する抽出手段と、
   前記地図情報から、前記低視認性情報表示体の種別を取得する種別情報取得手段と、
   前記種別を表す虚像を、前記低視認性情報表示体に重ね合わせてフロントガラスに表示させる表示手段と
   を備えたことを特徴とする、運転支援装置。
2. 前記抽出手段が、
   前記車両前方画像を解析して、予め設定された情報表示体テンプレート画像との類似度が第１閾値以上かつ第２閾値以下のものを前記低視認性情報表示体として抽出する第１抽出機能を備えた
   ことを特徴とする、請求項１に記載の運転支援装置。
3. 運転者の視線を検出する視線検出手段をさらに備え、
   前記抽出手段が第２抽出機能を備え、
   前記第２抽出機能は、
   前記車両前方画像を解析して、予め記憶した情報表示体テンプレート画像との類似度が第１閾値以上のものを前記低視認性情報表示体の候補体とし、前記候補体の中から、前記視線検出手段により検出された視線の静動に基づいて前記低視認性情報表示体を選別する
   ことを特徴とする、請求項１又は２に記載の運転支援装置。
4. 前記第２抽出機能は、前記視線検出手段により検出された前記視線の向きの変化が所定量以下の状態が、所定時間以上継続した場合に、前記視線の先にある前記候補体を前記低視認性情報表示体として選別する
   ことを特徴とする、請求項３に記載の運転支援装置。
5. 前記第２抽出機能は、前記視線検出手段により検出された前記視線が、前記候補体に、所定回数を越えて向けられた場合には、当該候補体を前記低視認性情報表示体として選別する
   ことを特徴とする、請求項３又は４に記載の運転支援装置。

Images