JP2019172243A - 制御装置、表示装置、移動体、制御方法、及びプログラム - Google Patents

Abstract

【課題】将来のある時点の自車両の挙動を視認可能に提示する。【解決手段】移動体の乗員から見て周囲の環境に重畳して見えるように表示される画像を生成する制御装置は、前記移動体の内部情報と外部情報の少なくとも何れか一方に基づいた将来の所定の時点における前記移動体の位置、を示すシンボルを含む画像データを生成する。【選択図】図６

Description

本発明は、制御装置、表示装置、移動体、制御方法、及びプログラムに関する。

車両、船舶、航空機、産業用ロボット等の移動体に搭載されるヘッドアップディスプレイ（ＨＵＤ：Head-Up Display）の開発が進められている。ＨＵＤは、人間の視野に直接情報を映し出すものであり、移動体の乗員に種々の情報を提供する。ＨＵＤでは、生成された光像をフロントガラスやコンバイナ等によって乗員の方向に回折させ、乗員の視線の前方の虚像位置に画像が存在するかのように表示する。画像は、虚像位置で周囲の環境に重畳されて表示される。

実際には存在しない仮想の先行車を乗員の前方に表示する車両用表示装置が知られている（たとえば、特許文献１参照）。この文献では、先行車がいないときに仮想の先行車を乗員の前方に表示し、自車両の走行状態と道路状況とに基づいて仮想の先行車の走行状態を変更することで、乗員は自車両の状態と前方の情報を違和感なく把握することができる。

公知の車両用表示装置では、自車両の前方の走行車線上で基準車間距離Ｌroだけ離れた位置が仮想先行車の位置に設定されている。基準車間距離Ｌroは自車両の速度の関数として規定されており、現時点よりも後の自車両の挙動については考慮されていない。将来のある時点での自車両の挙動を乗員に視認可能に提示することができれば、乗員は安心感をもって自車両を走行させることができるはずである。

本発明は、移動体の乗員に将来のある時点におけるその移動体の挙動を視認可能に提示することのできる制御技術を提供することを目的とする。

上記目的を実現するために、移動体の乗員から見て周囲の環境に重畳して見えるように表示される画像のデータを生成する制御装置は、
前記移動体の内部情報と外部情報の少なくとも何れか一方に基づいた将来の所定の時点における前記移動体の位置、を示すシンボルを含む画像データを生成する画像データ生成部、
を有する。

上記の構成により、乗員は将来のある時点の移動体の挙動を視覚的に把握することができ、安心感をもって移動体を操作することができる。

表示装置を搭載した移動体の一例として、ＨＵＤを搭載した自動車を示す模式図である。 所定軸周りの自動車の回転を説明する図である。 投射エリアの配置例を示す図である。 表示装置が搭載された表示システムの構成例を示す図である。 実施形態の表示装置のハードウェア構成図である。 表示装置と、移動体に搭載されるその他の電子機器との接続関係を示す模式図である。 実施形態の表示装置の画像制御部の機能ブロック図である。 将来の自車両のシンボルの重畳表示の例を示す図である。 将来の自車両のシンボルの重畳表示の例を示す図である。 自車両の状態の変化量に応じた表示タイミングの算出を説明する図である。 自車両の状態の変化量に応じた表示タイミングの算出を説明する図である。 自車両の状態の変化量に応じた表示タイミングの算出を説明する図である。 自車両の状態の変化量の取得例を示す図である。 実施形態の表示制御方法のフローチャートである。

実施形態では、車両等の移動体に搭載された表示装置で、現時点よりも後の将来の移動体（自車両）の走行画像を、前方の道路などの現実環境に重畳して表示する。

図１は、表示装置１を搭載した移動体の一例として、自動車３００を模式的に示す。表示装置１は、この例では車載ヘッドアップディスプレイ（以下、「ＨＵＤ」と省略する）である。表示装置１が搭載される移動体は、自動車３００に限定されず、車両、船舶、航空機、産業用ロボット等の移動体に表示装置１を搭載することができる。自動車３００は、アダプティブクルーズコントロール（ＡＣＣ：半自動走行）の機能を有しており、半自動運転と手動運転を切り替えて走行可能であることが想定されているが、本発明はＡＣＣ機能を有していない車両にも適用可能である。

表示装置１は、例えば自動車３００のダッシュボード上、またはダッシュボード内に設置され、搭乗者または操作員（以下、「乗員Ｐ」とする）の前方のフロントガラス３１０の所定の投射エリア３１１に、光像を投射する。

表示装置１は、光学装置１０と制御装置２０を有する。制御装置２０は主として、フロントガラス３１０に投射する画像の生成と表示の制御を行う。光学装置１０は、生成された画像をフロントガラス３１０の投射エリア３１１に投射する。光学装置１０の構成は、本発明と直接関連しないので詳細な構成は図示しないが、たとえば、後述するようにレーザ光源から出力されるレーザ光を投射エリア３１１と光源の間に設けられたスクリーンに二次元走査して中間像を形成し、この中間像を投射エリア３１１に投射する。スクリーンは、マイクロレンズアレイ、マイクロミラーアレイ等で構成することができる。

フロントガラス３１０の投射エリア３１１は、光の一部の成分を反射し、他の一部を透過させる透過反射部材で形成されている。光学装置１０で形成された中間像は、投射エリア３１１で反射されて、乗員Ｐの方向に向かう。反射光が破線で示す光路で乗員Ｐの瞳に入射したときに、乗員Ｐはフロントガラス３１０の投射エリア３１１に投影された画像を視認する。このとき、乗員Ｐは、光像があたかも虚像位置Ｉから点線の光路を通って瞳に入射しているかのように感じる。表示された画像は、虚像位置Ｉに存在するかのように認識される。

虚像位置Ｉにおける虚像は、自動車３００の前方の現実環境、たとえば走行路上に重畳されて表示される。この意味で、虚像位置Ｉに結像される画像をＡＲ（Augmented Reality：拡張現実）画像と呼んでもよい。

図１Ｂは、自動車３００のピッチング角、ヨー角、及び、ロール角を示す。移動体など前後・左右・上下が決まった物体が、前後の軸（図のＺ軸）に対して回転（又は傾斜）することをローリング、左右の軸（図のＸ軸）に対して回転（又は傾斜）することをピッチング、上下軸（図のＹ軸）に対して回転（又は傾斜）することをヨーイングという。また、それぞれの回転量又は傾斜量をロール角、ピッチング角、ヨー角という。

図２は、投射エリア３１１の配置例を示す図である。投射エリア３１１は、たとえば運転席から見てフロントガラス３１０の正面位置よりもやや下方に配置される比較的小さな領域である。乗員Ｐの視点と虚像位置Ｉを結ぶ線分は、投射エリア３１１の範囲内に含まれ、虚像位置Ｉで拡大された画像が視認される。

投射エリア３１１は、後述する画像が重畳表示される表示エリアと同じではない。投射エリア３１１は、レーザ光により形成された光像が投射される面であるのに対し、表示エリアは投射エリア３１１よりも外側で乗員Ｐの視野内にあり、重畳表示される光像が結像する虚像位置Ｉを含む一定のエリアをいう。表示エリアは、たとえば乗員Ｐの視点から前方に十数メートルほど離れた位置に設定される。

自動車３００には、自動車３００の周囲環境の情報を取得するカメラ、ＬｉＤＡＲ（Light Detection and Raging：光検出及び測距）等の検出器５が搭載されていてもよい。検出器５は、たとえば自動車３００の前方、側方等の外部環境の画像を撮影する。検出器５は、外部情報取得用のセンサの一例であり、カメラに替えて、またはカメラと組み合わせて超音波レーダ、レーザレーダ等を用いてもよい。

図３Ａは、表示装置１が搭載された表示システムの構成例を示す。表示システム１５０は、ＣＡＮ（Controller Area Network）バスなどの車載ネットワークＮＷを介して相互に接続される車両ナビゲーション装置４００、舵角センサ１５２、表示装置１、及び車速センサ１５４を有する。

車両ナビゲーション装置４００は、ＧＰＳに代表されるＧＮＳＳ（Global Navigation Satellite System）を有し、車両の現在地を検出して、電子地図上に車両の位置を表示する。また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で運転者に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、車両ナビゲーション装置４００は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を自動車３００に送信する、経路検索を行う等が可能である。

舵角センサ１５２は、運転者によるステアリングホイールの操舵角を検出するセンサである。主に操舵の方向と操舵量を検出する。どのような原理で検出してもよいが例えば、ステアリングホイールと連動して回転するスリット円盤を通過する光のＯＮ／ＯＦＦをカウントするものがある。

車速センサ１５４は、例えば車輪の回転をホール素子などで検出し、回転速度に応じたパルス波を出力する。単位時間の回転量（パルス数）とタイヤの外径とから車速を検出する。

表示装置１は、車載された各センサからの情報を取得できる。表示装置１は車載ネットワークからではなく外部のネットワークからの情報を取得してもよい。例えば、カーナビゲーション情報、操舵角、又は車速などを取得できる。操舵角、車速については、今後自動運転が実用化された場合、ＩＴＳ（Intelligent Transport Systems）によって走行車両の位置姿勢や車速を観測して車載デバイスをコントロール可能であると考えられる。

図３Ｂは、実施形態の表示装置１のハードウェア構成例である。表示装置１の光学装置１０は、光源としてのレーザダイオード（ＬＤ）１０１と、光走査デバイスとしてのＭＥＭＳ（Micro Electro Mechanical System）１０２を有する。ＬＤ１０１は、たとえば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を出力するレーザ素子を含む。ＭＥＭＳ１０２は、ＬＤ１０１から出力されるレーザ光を、ＬＤ１０１と投射エリア３１１の間に配置されたスクリーン上に二次元走査して光画像を描画する。光走査デバイスとしては、ＭＥＭＳの他にポリゴンミラー、カルバノミラー等を用いてもよい。

制御装置２０は、ＦＰＧＡ（Field-Programmable Gate Array）２０１、ＣＰＵ（Central Processing Unit）２０２、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４、インターフェース（以下、「Ｉ／Ｆ」という）２０５、バスライン２０６、ＬＤドライバ２０７、ＭＥＭＳコントローラ２０８、及び補助記憶装置としてのＳＳＤ（Solid State Drive）２０９を備えている。また、着脱可能に配置される記録媒体２１１を有していてもよい。

ＦＰＧＡ２０１は、ＬＤドライバ２０７とＭＥＭＳコントローラ２０８の動作を制御する。ＬＤドライバ２０７は、ＦＰＧＡ２０１の制御の下で、ＬＤ１０１を駆動するドライブ信号を生成し、出力する。ドライブ信号によって、Ｒ，Ｇ，Ｂの光を出色する各レーザ素子の発光タイミングが制御される。ＭＥＭＳコントローラ２０８は、ＦＰＧＡ２０１の制御の下でＭＥＭＳ制御信号を生成して出力し、ＭＥＭＳ１０２の走査角度と走査タイミングを制御する。ＦＰＧＡ２０１に替えて、ＰＬＧ（Programmable Logic Device）等のその他のロジックデバイスを用いてもよい。

ＣＰＵ２０２は、表示装置１の画像データ処理の全般を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が表示装置１の各機能を制御するために実行するプログラムを含む各種のプログラムを記憶している。ＲＯＭ２０３は、経路画像の重畳表示に用いられる各種の画像オブジェクトを保存していてもよい。ＲＡＭ２０４は、ＣＰＵ２０２のワークエリアをして使用される。

Ｉ／Ｆ２０５は、外部コントローラ等と通信するためのインターフェースであり、例えば、自動車３００のＣＡＮバスを介して、検出器５、車両ナビゲーション装置、各種センサ装置等に接続される。

表示装置１は、Ｉ／Ｆ２０５を介して記録媒体２１１の読み取りや書き込みを行うことができる。表示装置１での処理を実現する画像処理プログラムは、記録媒体２１１によって提供されてもよい。この場合、画像処理プログラムは、記録媒体２１１からＩ／Ｆ２０５を介してＳＳＤ２０９にインストールされる。画像処理プログラムのインストールは必ずしも記録媒体２１１によって行う必要はなく、ネットワークを介して他のコンピュータからダウンロードするようにしてもよい。ＳＳＤ２０９は、インストールされた画像処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。

記録媒体２１１の一例としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤディスク、ＳＤメモリカード、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置としてはＳＳＤ２０９に替えて、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等を用いてもよい。ＳＤＤ２０９等の補助記憶装置と、記録媒体２１１は、いずれもコンピュータ読み取り可能な記録媒体である。

図４は、実施形態の表示装置１と、自動車３００に搭載されるその他の電子機器との接続関係を示す模式図である。表示装置１は、光学部２３０と画像制御部２５０を有する。光学部２３０は、大まかには光学装置１０に対応するが、ＦＰＧＡ２０１、ＬＤドライバ２０７、及びＭＥＭＳコントローラ２０８を光学部２３０に含めてもよい。画像制御部２５０は、制御装置２０の少なくとも一部によって実現される。

表示装置１は、Ｉ／Ｆ２０５及びＣＡＮを介して、ＥＣＵ（Electronic Control Unit：電子制御ユニット）６００、車両ナビゲーション装置４００、センサ群５００等の電子機器に接続されている。センサ群５００は、図３Ａのシステムの舵角センサ１５２、及び車速センサ１５４を含む。自動車３００に検出器５が設置される場合は、検出器５もＩ／Ｆ２０５を介して表示装置１に接続されていてもよい。

表示装置１は、車両ナビゲーション装置４００、センサ群５００、検出器５等から外部情報を取得して、自車両が走行する経路の前方にある交差点、カーブ、障害物等の存在を検知する。

センサ群５００は、アクセル量センサ、ブレーキ量センサ、ハンドルの角度（操舵角）センサ、タイヤの角度センサ、加速度センサ、ジャイロセンサ（またはヨーレートセンサ）、車速センサ、レーザレーダ装置、明るさセンサ、雨滴センサ等を含み、自動車３００の挙動、周囲の環境、前方の走行車両との間の距離等を検知する。

車両ナビゲーション装置４００は、道路地図、ＧＰＳ情報、交通規制情報、各道路の工事情報等を含むナビゲーション情報を有している。

車両ナビゲーション装置４００、センサ群５００、及び検出器５で取得された情報は画像制御部２５０に供給され、取得された情報の少なくとも一部が、将来の自車両のシンボルを含む画像データの生成に用いられる。

図５は、画像制御部２５０の機能ブロック図である。画像制御部２５０は、情報入力部８００と、情報解析部８１０と、表示タイミング取得部８２０と、画像データ生成部８３０と、画像描画部８４０とを有する。

情報入力部８００は、たとえばＩ／Ｆ２０５で実現され、車両ナビゲーション装置４００、センサ群５００、ＥＣＵ６００、検出器５等からの情報を入力する。情報入力部８００は、内部情報入力部８００１と外部情報入力部８００２を有する。内部情報は、自動車３００自体の状態を表わす情報である。内部情報入力部８００１は、センサ群５００、及びＥＣＵ６００からＣＡＮ等を介して自動車３００の現在の位置、速度、角速度情報（ヨー、ロール、ピッチ）等を取得する。ヨーは、自動車の左右の回転を示し、ステアリングの角度から計算されてもよいし３軸センサから取得されてもよい。ロールは、自動車３００の左右の傾きを示し、ピッチは、自動車３００の前後の傾きを示す。

外部情報は、内部情報以外の自動車３００の外部の状況等を示す情報である。外部情報入力部８００２は、車両ナビゲーション装置４００からナビゲーション情報、地図情報などを取得する。また、検出器５から撮像情報を取得してもよい。

情報解析部８１０は、道路状況検知部８１１０と車両変化量算出部８１２０を有する。道路状況検知部８１１０は、取得された外部情報に基づいて、障害物、交差点、カーブ等の道路状況を検知する。車両変化量算出部８１２０は、取得された内部情報に基づいて、自車両の位置姿勢等の状態の変化量を算出する。道路状況（または走行状況）と、自車両の状態の変化量を合わせて、「移動状況」と呼んでもよい。情報解析部８１０は、情報入力部８００で取得された外部情報と内部情報に基づいて、自車両の移動状況を解析する。

表示タイミング取得部８２０は、情報入力部８００で取得された自車両の内部情報及び外部情報と、情報解析部８１０で得られた解析情報に基づいて、何秒後あるいは何メートル先の自車両の将来像を表示するかを示すタイミング情報を取得する。どれくらい先の自車両の将来像を生成するか、というタイミングの計算自体は、表示タイミング取得部８２０で行ってもよいし、画像制御部２５０の外部の計算機で行ってもよい。

画像データ生成部８３０は、情報解析部８１０で得られた移動状況に基づいて、将来のある時点（または位置）における自車両のシンボルを含む画像データを生成する。「移動状況」は、道路状況検知部８１１０で検知された道路状況と、車両変化量算出部８１２０で得られた自車両の状態の変化量の少なくとも一方である。道路状況には、走行予定の経路上の障害物の存在、右左折路、分岐、交差点の有無等が含まれる。自車両の状態の変化量には、位置姿勢の変化量、速度の変化量（加減速度）等が含まれる。

画像データ生成部８３０は、自車両のシンボルとして、たとえばＲＯＭ２０４に保存されている自車両のオブジェクトを読み出して、３次元コンピュータグラフィクス技術により加工して、将来のある時点での自車両の３次元画像データを生成してもよい。また、画像データ生成部は、予め記憶しておいた画像を自車両のシンボルとして使用しても良い。この場合、自車両のシンボルに対応する複数の角度の画像を記憶しておいて、読み出して使用しても良い。自車両のシンボルは、実際の車両を撮影した画像から生成されてもよいし、ＣＡＤ画像から生成されてもよい。また、自車両のシンボルはアイコンのような画像として表示されても良い。

画像描画部８４０は制御部８４１０を有し、画像データ生成部８３０によって生成された画像データに基づいて、光学装置１０による画像の投射動作を制御する。画像描画部８４０は、ＦＰＧＡ２０１、ＬＤドライバ２０７、及びＭＥＭＳコントローラ２０８によって実現され得る。画像描画部８４０により将来の自車両の光像が描画され、光像がフロントガラス３１０の投射エリア３１１に投射される。これにより、虚像位置Ｉを含む表示エリアに将来の自車両の虚像が重畳表示される。

＜将来の自車両の重畳表示の例＞
図６は、将来の自車両のシンボル１１の重畳表示の例を示す。将来の自車両のシンボル１１は、所定の表示エリア１３内で現実の環境、たとえば前方の走行予定の道路１２に重畳して見えるように、虚像として表示される。図６の（Ａ）は、自車両が安定して走行しているときの将来の自車両の走行状態を示す画像である。図６の（Ｂ）は、自車両の走行の態様が大きく変化する将来の時点での自車両の走行状態を示す画像である。

図６の（Ａ）では、自車両の状態の変化量が少ない（所定の閾値未満などの）とき、あるいは道路１２に障害物や右左折路等が検知されないときに、現在点からみて比較的遠い時点または位置を走行している将来の自車両のシンボル１１が、たとえば３Ｄ画像を二次元に投影した画像として表示エリア１３に表示される。

図６の（Ｂ）では、自車両の状態の変化量が大きいとき、あるいは道路１２に障害物や右左折路が検知されるときに、より近い将来、あるいは比較的近い位置を走行している将来の自車両のシンボル１１が、たとえば３Ｄ画像を二次元に投影した画像として表示エリア１３に表示される。

自車両の変化量が大きいときとは、車速の変化が大きいとき（加速、または減速のレートが大きいとき）、ヨー、ピッチ、ロールのいずれかの量の変化が大きいときなどである。たとえば、カーブにさしかかっているときは、ヨーレートとローリング量が大きくなる。下りまたは上りの坂道にさしかかっているときはピッチが大きくなる。障害物を回避しようとしているときは、ヨーレートが大きくなるが速度は減少する。車線変更をしようとしているときは、ヨーレートが大きくなる。

表示エリア１３に表示される画像は、乗員の視点から見たときに、現実の環境（この例では前方の道路１２）とスケール、遠近感が同期して表示される。図６の（Ａ）の比較的遠い将来の自車両のシンボル１１の虚像は、遠方に小さく見えるように表示され、図６の（Ｂ）の比較的近い将来の自車両のシンボル１１の虚像は、手前側に大きく見えるように表示される。

これにより、乗員は運転状況の変化を直感的に把握して、たとえば、半自動運転モードから手動運転に切り替えるタイミングを的確に把握することができる。ＡＣＣ機能を有していない自動車３００の場合も、乗員は自車両における運転状況の変化を事前に把握することができるので、ハンドル操作、アクセル／ブレーキ操作が遅れることを回避することができる。

比較的近い将来の自車両のシンボル１１が表示エリア１３の広い部分を占有する場合、乗員の視界を妨げないように、将来の自車両のシンボル１１の透明度を変更してもよい。

図７は、将来の自車両のシンボル１１の重畳表示の別の例を示す。図７の（Ａ）の比較的遠い将来の自車両のシンボル１１Ｒは、表示エリア１３に占める割合が小さいので、濃い色、あるいは低い透明度で表示される。図７の（Ｂ）の比較的近い将来の自車両のシンボル１１Ｎの虚像は、表示エリア１３に占める割合が大きいので、将来の自車両のシンボル１１Ｎは、薄い色、あるいは透明度を高くして（半透明状態で）表示される。近い将来の自車両のシンボルの走行画像の透明度を上げることで、乗員は現実の背景（道路状態）を視認することができる。

また、自車両の現在の速度と、将来のある時点における自車両の速度との差に基づいて図７の将来の自車両のシンボル１１の色を変えてもよい。たとえば、現在の自車両の速度よりも表示される将来の自車両の速度が遅いときは、図７の（Ａ）で将来の自車両のシンボル１１Ｒを青色で表示し、現在の速度よりも将来の自車両の速度が速いときは、将来の自車両のシンボル１１Ｒを赤色で表示する。この場合、乗員は、自車両でこれからブレーキ操作がなされるのか、アクセル操作がなされるのかを直感的に把握することができる。

さらに、表示エリア１３に表示される将来の自車両のシンボル１１Ｒまたは１１Ｎを、所定のタイミングで薄く、または小さく表示変更してもよい。たとえば、緊急時に他のコンテンツ（たとえば「この先渋滞、注意！」、「この先、事故車両あり！」などのメッセージ）を表示エリア１３に表示する場合、将来の自車両のシンボル１１Ｒまたは１１Ｎを目立たないように表示変更することで、緊急メッセージへの注意を喚起することができる。

図８Ａは、自車両の変化量に応じた表示タイミング（何秒後の自車両を表示するか）の算出例を説明する図である。図８Ａの横軸は時間、縦軸は自車両の変化量Ｄである。時間ｔ＝０は現在を表わし、時刻ｔ１は、変化量Ｄが閾値Ｔｈ１を超える将来の時点である。

変化量Ｄは、たとえば、
Ｄ＝α×Ｓ（ｔ）＋β×Ｖ（ｔ） （１）
で表される。ここで、αとβはそれぞれ重み付係数であり（α＋β＝１）、Ｓはある時点におけるステアリングの操舵角に基づく変化値、Ｖはある時点における車速に基づく変化値である。ＳとＶは、いずれもある時点の推定値である。ステアリングの操舵角及び車速の現在値と、現在までの履歴に基づいて予測される推定値である。

変化量Ｄを求める変化値は、ステアリングの操舵角と車速に限定されない。またステアリングの操舵角と車速を統合した関数に限定されず、これらのパラメータをそれぞれ独立に用いた複数の関数を用いてもよい。

図８Ａは、式（１）に基づいて計算された変化量Ｄを、現時点よりも後の一定時間ｔごとにプロットしたグラフである。予測される変化量Ｄが、現在の時間から徐々に大きくなり、ある時点で閾値Ｔｈ１を超えて、その後ピークに達し、ピーク以降は徐々に減少して閾値Ｔｈよりも小さくなる。この例では、予測される変化量Ｄが最初に閾値Ｔｈ１を超える時点ｔ１における自車両のシンボルが生成される。

図８Ｂは、閾値Ｔｈ１を超えるタイミングが現在の時点に近接する場合を説明する図である。変化量がすでに激しく変化していて、閾値を超えるタイミングがほぼ現時点と一致する場合は、現時点からΔｔ後の時刻ｔ１'における自車両のシンボルを生成し表示することで、乗員の注意を喚起することができる。

一方、時間軸上のどの時点でも閾値Ｔｈ１を超えない場合は、所定の表示タイミングの限界点に相当する時刻ｔ_lim（図８Ａ参照）での将来の自車両のシンボル１１を表示エリア１３に表示してもよい。

図９は、自車両の変化量に応じた表示タイミング（何秒後の自車両を表示するか）の算出の別の例を示す図である。図９は、式（１）に基づいて計算された変化量Ｄを、現時点よりも後の一定時間ｔごとにプロットしたグラフである。予測される変化量が、現在の時間から徐々に大きくなり、ある時点でピークに達し、その後徐々に減少する。

現在の時刻からある時間までの変化量Ｄの積分値Ｓ_inとして計算される斜線領域の面積が閾値Ｔｈ２を超える（Ｓ_in＞Ｔｈ２）時点の時刻ｔ２を、表示タイミングとして算出する。時間軸上のどの時点でも積分値Ｓ_inが閾値Ｔｈ２を超えない場合（すなわち変化量Ｄが小さい場合）は、所定の表示タイミングの限界点に相当する時刻ｔ_limにおける将来の自車両のシンボル１１を表示エリア１３に表示する。

図８と図９のいずれにおいても、前方車両の割り込み、歩行者などの障害物が検知されたときは、その都度リアルタイムで時間の関数としての変化量Ｄが再計算されるので、表示エリア１３に表示される将来の自車両のシンボル１１の表示も変化する。

図１０は、自車両の状態の変化量の取得例を示す図である。図８及び図９では、現時点ｔ０と、将来のある時点ｔ３の間の変化量Ｄ１を取得したが、図１０に示すように、将来の異なる時点ｔ３とｔ４の間の変化量Ｄ２を取得してもよい。また、現時点ｔ０と第１の将来の時点ｔ３までの変化量Ｄ１と、現時点ｔ０から第２の将来の時点ｔ４までの変化量Ｄ３の双方を用いてもよい。複数の将来のタイミングを考慮することで、予測される自車両の走行状態の推定精度が向上する。

図１１は、表示装置１で行われる表示制御のフローチャートである。この制御フローは表示装置１の画像制御部２５０によって実施される。

画像制御部２５０は、自車両の内部情報と外部情報の少なくとも一方を取得する（Ｓ１１）。内部情報は、センサ群５００、ＥＣＵ６００から取得される速度情報、ステアリング操舵角情報（ヨー、ロール、ピッチ）、タイヤ角情報、自車両で推定した位置情報などである。外部情報は、車両ナビゲーション装置４００、検出器５、センサ群５００（レーザレーダ等）、ＧＰＳ等から取得される地図情報、撮像情報、周囲の環境情報、測距情報等である。

画像制御部２５０は、取得した情報に基づいて、現在表示エリア１３に表示されるべき将来の自車両のタイミング（または位置）を算出する（Ｓ１２）。将来のタイミング（時点）の算出は、図８に示したように、自車両の状態の変化量が所定の閾値Ｔｈ１を超える時点から所定の時間Δｔだけ後の時点、あるいは、図９に示したように、変化量の積分値が所定の閾値Ｔｈ２を超える時点などである。

表示装置１はまた、取得された外部情報から、自車両の走行予定の経路に障害物が検知されたか否かを判断する（Ｓ１３）。歩行者、割り込み車両、道路工事などの障害物が検知される場合は（Ｓ１３でＹＥＳ）、ステップＳ１１に戻って、将来の自車両のタイミングまたは位置を再計算する（Ｓ１２）。走行予定の経路に障害物が検知されない場合は（Ｓ１３でＮＯ）、将来の自車両のシンボルを含む画像データを生成する（Ｓ１４）。

生成された画像データを出力し、光学装置１０でレーザ光を走査して光像を描画し、表示リア内に将来の自車両の虚像を表示する（Ｓ１５）。なお、光像の描画は、レーザ走査方式に限定されず、後述するようにパネル方式等、光像を形成することのできる任意の投射手段を用いてもよい。

ステップＳ１１〜Ｓ１５は、表示制御が終了するまで繰り返し行われる（Ｓ２２でＮＯ）。車両の走行が終了したとき（エンジンが切られたとき）、あるいは表示制御ＯＦＦの指示が入力されたときに、表示制御が終了し（Ｓ１８でＹＥＳ）、処置を終了する。

この表示制御をプログラムで実行する場合は、表示制御用のプログラムをＲＯＭ２０３またはＳＳＤ２０９に格納しておき、ＣＰＵ２０２でプログラムを読み出して実行してもよい。この場合、ＣＰＵ２０２は、移動体の乗員から見て周囲の環境に重畳して見えるように表示される画像の画像データを生成する際に、少なくとも、
(a)自動車３００の内部情報と外部情報の少なくとも何れか一方に基づいて、将来の所定の時点における前記移動体の位置を示すシンボルを含む画像データを生成する手順、
を実行する。

上述した構成と手法により、現在の時点よりも後の将来の自車両の画像を現実の環境に重畳して表示することで、乗員は直感的に自車両の動作を把握することができ、自車両の動作が大きく変化する場合でも、事前に予測することができる。

本発明は上述した実施形態に限定されない。たとえば、自車両の変化量を、ステアリングの操舵角Ｓと車速Ｖの多項式で求める替わりに、ステアリングの操舵角Ｓ、アクセル量Ｘ、ブレーキ量Ｙの（Ｓ，Ｘ，Ｙ）の多項式で算出してもよい。また、図８及び図９で、時間の関数としての変化量Ｄを算出する替わりに、将来の自車両の位置の関数として変化量Ｄを計算して、仮想表示される将来の自車両の位置を決定してもよい。

光学装置１０として、レーザ走査方式に替えてパネル方式を採用してもよい。パネル方式として、液晶パネルＤＭＤ（Digital Mirror Device：デジタルミラーデバイス）パネル、ドット蛍光表示管（ＶＦＤ：Vacuum Fluorescent Display）等のイメージングデバイスを用いてもよい。

フロントガラス３１０の投射エリア３１１に、ハーフミラー、ホログラム等で形成されるコンバイナが設けられていてもよい。フロントガラス３１０の表面または層間に光透過・反射型の反射膜が蒸着されていてもよい。

表示装置１の各機能の少なくとも一部を、１以上のコンピュータで構成されるクラウドコンピューティングによって実現してもよい。

１ 表示装置
５ 検出器
１０ 光学装置
１１ シンボル
１３ 表示エリア
２０ 制御装置
２５０ 画像制御部（制御装置）
３００ 自動車（移動体）
３１０ フロントガラス
３１１ 投射エリア
４００ 車両ナビゲーション装置
５００ センサ群
６００ ＥＣＵ
８００ 情報入力部
８１０ 情報解析部
８２０ 表示タイミング取得部
８３０ 画像データ生成部
８４０ 画像描画部

特開２００２−１４４９１３号

Claims (12)

1. 移動体の乗員から見て周囲の環境に重畳して見えるように表示される画像の画像データを生成する制御装置であって、
   前記移動体の内部情報と外部情報の少なくともいずれか一方に基づいた将来の所定の時点における前記移動体の位置、を示すシンボルを含む画像データを生成する画像データ生成部、
   を有する制御装置。
2. 前記画像データ生成部は、前記内部情報と前記外部情報で示される前記移動体の移動状況に基づいて前記将来の所定の時点を決定することを特徴とする請求項１に記載の制御装置。
3. 前記画像データ生成部は、前記移動体の状態の変化量に基づいて前記将来の所定の時点を決定することを特徴とする請求項２に記載の制御装置。
4. 前記画像データ生成部は、前記変化量が所定の閾値を超える時点を前記将来の所定の時点として決定することを特徴とする請求項３に記載の制御装置。
5. 前記画像データ生成部は、前記変化量が前記所定の閾値を超える時点が現在の時点と近接する場合に、現在から一定時間後を前記将来の所定の時点として決定することを特徴とする請求項４に記載の制御装置。
6. 前記画像データ生成部は、前記変化量の時間積分値が所定の閾値を超える時点を、前記将来の時点として決定することを特徴とする請求項３に記載の制御装置。
7. 前記画像データ生成部は、現時点と将来の１の時点の間の前記変化量、または複数の異なる将来の時点の間の前記変化量を求めることを特徴とする請求項３に記載の制御装置。
8. 前記画像データ生成部は、前記将来の所定時点を示す値に応じて、生成される前記移動体の前記シンボルの色、濃度、透明度、サイズの少なくとも１つを変化させることを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
9. 請求項１乃至８のいずれか１項に記載の制御装置と、
   前記画像データに基づく光を前記移動体の所定の投射エリアに投射する光学部と、
   を備える表示装置。
10. 請求項１乃至８のいずれか１項に記載の制御装置を搭載した移動体。
11. 移動体の乗員から見て周囲の環境に重畳して見えるように表示される画像を生成する制御方法であって、
    前記移動体の内部情報と外部情報の少なくとも何れか一方に基づいた将来の所定の時点における前記移動体の位置、を示すシンボルを含む画像データを生成する、
    制御方法。
12. 移動体の乗員から見て周囲の環境に重畳して見えるように表示される画像を生成するプログラムであって、
    前記移動体の内部情報と外部情報の少なくともいずれか一方に基づいた将来の所定の時点における前記移動体の位置、を示すシンボルを含む画像データを生成する手順、
    をコンピュータに実行させるプログラム。