JP2012162109A

JP2012162109A - 車両用表示装置

Info

Publication number: JP2012162109A
Application number: JP2011022026A
Authority: JP
Inventors: Kazuhiro Suzuki; 和宏鈴木; Satoshi Nagao; 悟志長尾
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-02-03
Filing date: 2011-02-03
Publication date: 2012-08-30

Abstract

【課題】ウィンドウガラス上に表示された仮想画像が運転者に見落とされ難い車両用表示装置を提供する。
【解決手段】車両用表示装置１は、仮想画像であるＡＲ画像が対応付けられている特定の物体を検出する特定物体検出手段と、特定の物体に対応する仮想画像を取得する仮想画像取得手段と、仮想画像の表示方法を取得する表示方法取得手段と、仮想画像取得手段により取得された仮想画像を、表示方法取得手段により取得された表示方法でウィンドウガラス上に表示する表示手段と、運転者による周囲の視認状況を推定する視認状況推定手段と、視認状況推定手段により推定された視認状況に応じ、表示方法取得手段により取得された表示方法を修正する表示方法修正手段と、を備え、表示手段は、表示方法修正手段により表示方法が修正された際に、修正後の表示方法で仮想画像を表示する。
【選択図】図２

Description

本発明は、車室内から視認される物体に対応する仮想画像をウィンドウガラス上に表示する車両用表示装置に関する。

従来の車両用表示装置としては、仮想画像が対応付けられている特定の物体を検出する特定物体検出手段と、特定物体検出手段により検出された特定の物体に対応する仮想画像を取得する仮想画像取得手段と、仮想画像取得手段により取得された仮想画像の表示方法を取得する表示方法取得手段と、仮想画像取得手段により取得された仮想画像を、表示方法取得手段により取得された表示方法でウィンドウガラス上に表示する表示手段と、を備えたものが知られている（例えば、特許文献１参照）。

特開２００５−２０８１５７号公報

上記車両用表示装置にあっては、仮想画像は、表示方法取得手段により取得された表示方法に従って一旦表示されると、その後は運転者に視認されたか否かに係わらず非表示とされる。このため、ウィンドウガラス上に表示された仮想画像が運転者に見落とされるおそれがあった。

本発明の目的は、ウィンドウガラス上に表示された仮想画像が運転者に見落とされ難い車両用表示装置を提供することである。

本発明の車両用表示装置は、車室内から視認される物体に対応する仮想画像をウィンドウガラス上に表示する車両用表示装置であって、仮想画像が対応付けられている特定の物体を検出する特定物体検出手段と、特定物体検出手段により検出された特定の物体に対応する仮想画像を取得する仮想画像取得手段と、仮想画像取得手段により取得された仮想画像の表示方法を取得する表示方法取得手段と、仮想画像取得手段により取得された仮想画像を、表示方法取得手段により取得された表示方法でウィンドウガラス上に表示する表示手段と、運転者による周囲の視認状況を推定する視認状況推定手段と、視認状況推定手段により推定された視認状況に応じ、表示方法取得手段により取得された表示方法を修正する表示方法修正手段と、を備え、表示手段は、表示方法修正手段により表示方法が修正された際に、修正後の表示方法で仮想画像を表示することを特徴とする。

このような車両用表示装置では、仮想画像取得手段により取得された仮想画像がウィンドウガラス上に表示される。これにより、車室内から視認される周辺環境が仮想画像で補足される。また、仮想画像は、表示方法取得手段によって取得された表示方法で表示される。これにより、仮想画像ごとに最適な表示方法を設定して表示することができる。さらに、視認状況推定手段によって推定された視認状況に応じ、表示方法修正手段によって表示方法が修正される。表示方法が修正された仮想画像は、修正後の表示方法に応じて表示される。これにより、例えば、運転者による周囲の視認状況から、運転者がより明確に視認すべき仮想画像を推定し、その仮想画像をより視認しやすい表示方法で表示することができる。

好ましくは、視認状況推定手段は、運転者による仮想画像の視認状況を推定する。

また、好ましくは、表示方法取得手段により取得される表示方法は、仮想画像の表示時間を含み、表示方法修正手段は、視認状況推定手段により、仮想画像が運転者に視認されていないと推定された際に、視認状況推定手段により取得された表示時間を延長する。この場合、運転者に視認されていない仮想画像の表示時間が延長され、その仮想画像が運転者に視認されやすくなる。

また、好ましくは、視認状況推定手段は、運転者による特定の物体の視認状況を推定する。

また、好ましくは、表示方法取得手段により取得される表示方法は、仮想画像の表示時間を含み、表示方法修正手段は、視認状況推定手段により、特定の物体が運転者に視認されていないと推定された際に、視認状況推定手段により取得された表示時間を延長する。この場合、運転者に視認されていない特定の物体に対応する仮想画像の表示時間が延長され、その仮想画像が運転者に視認されやすくなる。

また、好ましくは、視認状況推定手段は、運転者の視線方向に基づいて視認状況を推定する。この場合、運転者による周囲の視認状況を正確に推定することができる。

本発明の車両用表示装置によれば、ウィンドウガラス上に表示された仮想画像が運転者に見落とされ難い車両用表示装置を提供することができる。

本発明に係わる車両用表示装置に一実施形態を示す機能ブロック図である。仮想画像の表示手順を示すフローチャートである。車室外の画像から特定の物体が検出される状況を例示する図である。図４の道路標識の表示部を示す図である。図３の道路標識に対応する仮想画像が表示された車両のウィンドウガラスを例示する図である。

以下、本発明に係わる車両用表示装置の好適な実施形態について、図面を参照しながら詳細に説明する。なお、図面において、同一又は同等の要素には同じ符号を付し、重複する説明を省略する。

本発明に係わる車両用表示装置１は、車室内から視認される物体に対応する仮想画像をウィンドウガラス上に表示する装置であり、仮想画像は、所謂ＡＲ（Augmented Reality）画像である。図１は、車両用表示装置１の機能ブロック図である。図１に示されるように、車両用表示装置１は、ＡＲ表示装置３と、車室外撮像装置４と、視線方向検出装置５と、ナビゲーション装置６と、ＡＲ画像記憶装置７と、通信装置８と、ＡＲ制御装置９と、を備えている。

ＡＲ表示装置３は、車両のウィンドウガラス（ここではフロントガラス）にＡＲ画像を表示する装置である。ＡＲ表示装置３は、例えば、ダッシュボードに内蔵されたプロジェクタにより、フロントガラスに画像を投影するものである。ＡＲ表示装置３は、有機ＥＬディスプレイや液晶ディスプレイ等の透明なディスプレイをフロントガラスに直接内蔵したものであってもよい。

車室外撮像装置４は、車両の周辺を撮像する装置である。車室外撮像装置４は、例えば、ＣＣＤカメラである。

視線方向検出装置５は、運転者の視線の方向を検出する装置である。視線方向検出装置５は、例えば、車室内のＣＣＤカメラにより運転者の顔を撮像し、画像処理により運転者の目の部分を特定することで運転者の視線の方向を検出する。

ナビゲーション装置６は、例えば、ＧＰＳにより自車両の位置情報を検出し、検出した位置情報と地図情報とを対比して、目的地までのルートを案内する装置である。

ＡＲ画像記憶装置７は、車室内から視認される特定の物体に対応するＡＲ画像及びその表示方法を記憶する装置である。ＡＲ画像記憶装置７には、例えば、道路標識の拡大画像、施設の種別を示す情報、店舗の種別を示す情報等が記憶されている。

通信装置８は、車両外の施設と通信する装置である。通信装置８は、ＡＲ画像を記憶した情報管理センター２に、ＡＲ画像及びその表示方法の送信を要求し、ＡＲ画像及びその表示方法を受信する。

情報管理センター２は、例えば、運転者の好みに基づいてＡＲ画像の表示方法を決定する。例えば、運転者が好む物体に対応するＡＲ画像の表示方法は、運転者が好まない物体に対応するＡＲ画像の表示方法よりも視認しやすい方法にされる。具体的には、運転者が好む施設に対応するＡＲ画像の表示時間は、運転者が好まない施設に対応するＡＲ画像の表示時間よりも長くされる。或いは、運転者が好む施設に対応するＡＲ画像の表示サイズは、運転者が好まない施設に対応するＡＲ画像の表示サイズよりも大きくされてもよい。或いは、運転者が好む施設に対応するＡＲ画像の表示色は、運転者が好まない施設に対応するＡＲ画像の表示色よりも視認しやすくされてもよい。運転者の好みは、例えば、ナビゲーション装置６の登録情報、携帯電話の登録情報、車内での運転者の行動、車内での会話等に基づいて決定される。

また、情報管理センター２は、例えば、広告用のＡＲ画像を車両に送信し、広告料に基づいて表示方法を決定する。例えば、情報管理センター２は、広告料が高いＡＲ画像の表示方法を、広告料が低いＡＲ画像の表示方法よりも視認しやすい方法にされる。

また、情報管理センター２は、例えば、表示方法を要求している車両の位置に基づいてＡＲ画像の表示方法を決定する。例えば、車両が運転者の日常生活圏外に位置している場合には、車両が運転者の日常生活圏内に位置している場合よりも、ＡＲ画像の表示方法が視認しやすい方法にされる。具体的には、車両が運転者の日常生活圏外に位置している場合には、車両が運転者の日常生活圏内に位置している場合よりも、ＡＲ画像の表示時間が長くされる。或いは、車両が運転者の日常生活圏外に位置している場合には、車両が運転者の日常生活圏内に位置している場合よりも、ＡＲ画像の表示サイズが大きくされてもよいし、ＡＲ画像の表示色が視認しやすくされてもよい。なお、ＡＲ画像の表示方法が車両の位置に基づいて決定される場合には、表示方法を要求する車両は、ナビゲーション装置６で検出された自車両の位置情報を、通信装置８から情報管理センター２に送信する。

ＡＲ制御装置９は、図２に示す手順によりＡＲ画像の表示制御を行う。ＡＲ制御装置９は、まず、車室外撮像装置４により撮像された画像を取得し、取得した画像を処理し、ＡＲ画像が対応付けられている特定の物体を検出する（ステップＳ１）。即ち、車室外撮像装置４及びＡＲ制御装置９は、特定物体検出手段として動作する。

ＡＲ制御装置９は、特定の物体を検出すると、その物体に対応するＡＲ画像を取得する（ステップＳ２）。即ち、ＡＲ制御装置９は、仮想画像取得手段として動作する。ＡＲ画像は、ＡＲ画像記憶装置７から取得される。或いは、ＡＲ画像は、通信装置８を用いて情報管理センター２から取得されてもよい。

ＡＲ制御装置９は、ＡＲ画像を取得すると、そのＡＲ画像の表示方法を取得する（ステップＳ３）。即ち、ＡＲ制御装置９は、表示方法取得手段として動作する。ＡＲ画像の表示方法には、例えば、表示サイズ、表示時間、表示色等が含まれる。ＡＲ画像の表示方法は、ＡＲ画像記憶装置７から取得される。或いは、ＡＲ画像の表示方法は、通信装置８を用いて情報管理センター２から取得されてもよい。或いは、ＡＲ画像の表示方法は、ＡＲ画像の表示位置の基準として特定の物体に表示されたマーカーから読み取られてもよい。ＡＲ画像の表示方法がマーカーから読み取られる場合、例えば、表示方法を示す２次元バーコードをマーカーに含めることができる。

ＡＲ制御装置９は、ＡＲ画像を取得すると、ＡＲ表示装置３を制御し、ステップＳ１で取得したＡＲ画像の表示を開始する（ステップＳ４）。即ち、ＡＲ表示装置３及びＡＲ制御装置９は、表示手段として動作する。ＡＲ画像は、ステップＳ３において取得した表示方法で表示される。

図３は、走行路１０が車両１１の前方でＹ字状に分岐しており、分岐の手前に道路標識１２が設置された状況を示している。図４は、道路標識１２の表示部１３を示している。表示部１３には、前方の分岐の左側が普通車用の走行路であり、右側が大型車用の走行路であることが表示されている。また、表示部１３には、道路標識１２に対応するＡＲ画像を表示する際の表示位置の基準となるマーカー１４が表示されている。この状況においては、道路標識１２が特定の物体として検出され、道路標識１２に対応するＡＲ画像及びその表示方法が取得される。マーカー１４に、表示方法を示す２次元バーコードが含められている場合には、マーカー１４の２次元バーコードから表示方法を読み取ることができる。

図５は、図３の車両１１のフロントガラス１５上に、道路標識１２に対応するＡＲ画像１６が表示された状態を示している。図５に示すように、ＡＲ画像は、道路標識１２の表示部１３と同様の内容を拡大して示すものである。ＡＲ画像１６の表示位置は、マーカー１４を基準に決められている。ＡＲ画像１６の表示サイズや表示色等は、取得された表示方法に従って決められている。

図２に示すように、ＡＲ制御装置９は、ＡＲ画像の表示を開始すると、表示したＡＲ画像の視認状況を推定する（ステップＳ５）。具体的には、視線方向検出装置５によって検出された運転者の視線方向が、ＡＲ表示装置３によって表示されたＡＲ画像に向かっているかどうかが推定される。即ち、視線方向検出装置５及びＡＲ制御装置９は、視認状況推定手段として動作する。

続いて、ＡＲ制御装置９は、推定された視認状況に基づいて、ＡＲ画像が運転者に見落とされていないかを推定する（ステップＳ６）。ここでは、ＡＲ制御装置９は、運転者の視線方向がＡＲ画像に向かっていない場合に、そのＡＲ画像は運転者に見落とされると推定する。或いは、ＡＲ制御装置９は、運転者の視線方向の検出期間のうち、運転者の視線方向がＡＲ画像に向かっていた期間が所定期間よりも小さい場合に、そのＡＲ画像は運転者に見落とされると推定してもよい。ＡＲ制御装置９は、ＡＲ画像に向かっているＡＲ画像が運転者に見落とされないと推定する場合、ステップＳ３で取得された表示時間が経過した時点でＡＲ画像の表示を終了する（ステップＳ７）。

一方、ＡＲ制御装置９は、ＡＲ画像が運転者に見落とされると推定する場合、ステップＳ３で取得された表示方法を修正する（ステップＳ８）。即ち、ＡＲ制御装置９は、表示方法修正手段として動作する。具体的には、ステップＳ３で取得された表示時間がより長い時間に修正される。或いは、ステップＳ３で取得された表示サイズがより大きいサイズに修正される。或いは、ステップＳ３で取得された表示色がより視認しやすい色に修正される。続いて、ＡＲ制御装置９は、修正後の表示方法でＡＲ画像を表示し直す（ステップＳ９）。そして、ＡＲ制御装置９は、修正後の表示時間が経過した時点でＡＲ画像の表示を終了する（ステップＳ７）。

以上のように構成された車両用表示装置１においては、仮想画像取得手段としてのＡＲ制御装置９により取得されたＡＲ画像がウィンドウガラス上に表示される。これにより、車室内から視認される周辺環境がＡＲ画像で補足される。また、ＡＲ画像は、表示方法取得手段としてのＡＲ制御装置９によって取得された表示方法で表示される。これにより、ＡＲ画像ごとに最適な表示方法を設定して表示することができる。さらに、視認状況推定手段としてのＡＲ制御装置９によって推定された視認状況に応じ、ＡＲ画像が運転者に見落とされていないかが推定される。ＡＲ画像が運転者に見落とされたと推定された場合には、表示方法修正手段としてのＡＲ制御装置９により、運転者に視認されやすいように表示方法が修正される。このように、運転者による周囲の視認状況から、運転者がより明確に視認すべきＡＲ画像を推定し、そのＡＲ画像をより視認しやすい表示方法で表示することができる。これにより、ウィンドウガラス上に表示されたＡＲ画像が運転者に見落とされ難くなる。

また、視認状況推定手段としてのＡＲ制御装置９は、運転者の視線方向と、ＡＲ画像の表示位置と、の関係に基づいて、運転者の視認状況を推定するため、ＡＲ画像が運転者に視認されたかどうかを正確に推定することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

例えば、ＡＲ制御装置９は、運転者による周囲の視認状況としてＡＲ画像の視認状況を推定しているが、これに限られない。例えば、ＡＲ制御装置９は、ＡＲ画像に対応する特定の物体の視認状況を推定してもよい。さらに、ＡＲ制御装置９は、特定の物体及びその特定の物体に対応するＡＲ画像の視認状況を推定し、特定の物体及びＡＲ画像の両方が運転者に見落とされたと推定した場合にのみ、そのＡＲ画像の表示方法を運転者に視認されやすいように修正してもよい。この場合、表示方法を修正すべきＡＲ画像を絞り込み、運転者によるＡＲ画像の見落としをより効果的に減らすことができる。

また、ＡＲ制御装置９は、視線方向検出装置５によって検出された運転者の視線方向を用い、運転者による周囲の視認状況を推定しているが、これに限られない。例えば、ＡＲ制御装置９は、フロントガラス上でのＡＲ画像の位置に基づいてＡＲ画像の視認状況を推定してもよい。具体的には、フロントガラス上でのＡＲ画像の表示位置が、所定の範囲外である場合には、運転者に見落とされている可能性が高いと推定し、そのＡＲ画像の表示方法を修正してもよい。

１…車両用表示装置、３…ＡＲ表示装置（表示手段）、４…車室外撮像装置（特定物体検出手段）、５…視線方向検出装置（視認状況推定手段）、９…ＡＲ制御装置（特定物体検出手段、仮想画像取得手段、表示方法取得手段、表示手段、視認状況推定手段、表示方法推定手段）。

Claims

車室内から視認される物体に対応する仮想画像をウィンドウガラス上に表示する車両用表示装置であって、
前記仮想画像が対応付けられている特定の物体を検出する特定物体検出手段と、
前記特定物体検出手段により検出された前記特定の物体に対応する前記仮想画像を取得する仮想画像取得手段と、
前記仮想画像取得手段により取得された前記仮想画像の表示方法を取得する表示方法取得手段と、
前記仮想画像取得手段により取得された前記仮想画像を、前記表示方法取得手段により取得された前記表示方法で前記ウィンドウガラス上に表示する表示手段と、
運転者による周囲の視認状況を推定する視認状況推定手段と、
前記視認状況推定手段により推定された前記視認状況に応じ、前記表示方法取得手段により取得された前記表示方法を修正する表示方法修正手段と、を備え、
前記表示手段は、前記表示方法修正手段により前記表示方法が修正された際に、修正後の前記表示方法で前記仮想画像を表示することを特徴とする車両用表示装置。
前記視認状況推定手段は、運転者による前記仮想画像の視認状況を推定することを特徴とする請求項１記載の車両用表示装置。
前記表示方法取得手段により取得される前記表示方法は、前記仮想画像の表示時間を含み、
前記表示方法修正手段は、前記視認状況推定手段により、前記仮想画像が運転者に視認されていないと推定された際に、前記視認状況推定手段により取得された前記表示時間を延長することを特徴とする請求項２記載の車両用表示装置。
前記視認状況推定手段は、運転者による前記特定の物体の視認状況を推定することを特徴とする請求項１〜３のいずれか一項記載の車両用表示装置。
前記表示方法取得手段により取得される前記表示方法は、前記仮想画像の表示時間を含み、
前記表示方法修正手段は、前記視認状況推定手段により、前記特定の物体が運転者に視認されていないと推定された際に、前記視認状況推定手段により取得された前記表示時間を延長することを特徴とする請求項４記載の車両用表示装置。
前記視認状況推定手段は、運転者の視線方向に基づいて前記視認状況を推定することを特徴とする請求項１〜５のいずれか一項記載の車両用表示装置。