JP2004106596A - 画像表示装置、及び画像表示方法、計測装置、及び計測方法 - Google Patents

Abstract

【課題】車両の位置及び方位と搭乗者の頭部の位置を正確に計測し、車両におけるナビゲーション情報を実シーン上の適切な位置に重畳して提示すること。
【解決手段】外部指標検出部１０５はカメラ１００が撮影した画像を入力し、実シーンに設定されている外部指標を検出する。回転速度計１１０は車両の両後輪の回転速度を計測する。車両計測部１２０は外部指標の画像座標と車両の両後輪の回転速度に基づいて車両の位置、方位を計測する。頭部指標検出部１３５はカメラ１３０が撮影した画像を入力し、搭乗者１３２の頭部に設定されている頭部指標を検出する。頭部計測部１４０は頭部指標の画像座標に基づいて頭部の位置を計測する。画像生成部１５０は車両の位置、方位と頭部の位置に基づいて、実シーンの所定の位置に所定のナビゲーション情報が重畳して観察されるように表示画像の生成を行い、プロジェクタ１６０によって投影する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、車両のフロントウィンドウ部に当該車両の搭乗者に対して提示する画像を表示させる表示装置を備える画像表示装置、及び画像表示方法に関するものである。
【０００２】
【従来の技術】
カーナビゲーションシステム（以下カーナビ）は、近年の高機能化や低価格化などによりその普及が進んでいる。ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ　Ｔｒａｎｓｐｏｒｔ　Ｓｙｓｔｅｍｓ）の進展に伴い、カーナビディスプレイは、ナビゲーション情報以外にも運転者を補佐するさまざまな情報を提示する端末としての役割を担うことが期待されている。
【０００３】
しかし、従来のカーナビは、運転者がディスプレイを見るためには一度視線を車内に向けなければならなかった。したがって、ディスプレイを見ている間は道路の状況を周辺視によってでしか把握することが出来ず、前方への注意が一瞬途切れてしまうという問題があった。
【０００４】
この問題を解決する技術に、ＨＵＤ（Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ）がある。ＨＵＤは、車両のフロントウィンドウ上に画像を投影表示する装置である。これにより、実シーンから視線をそらすことなくナビゲーション情報を獲得することが可能となる。
【０００５】
また、従来のカーナビは、ディスプレイに提示されるナビゲーション情報（多くの場合、地図上に重畳表示される）と実シーンとの関連付けを運転者自身が行わなくてならず、直感的に理解しにくいという問題があった。
【０００６】
この問題に対して従来技術では、「Ｏｎ−ｔｈｅ−Ｓｃｅｎｅ　ＨＵＤ」と称する装置が提案されている。Ｏｎ−ｔｈｅ−Ｓｃｅｎｅ　ＨＵＤは、車両のフロントウィンドウをシースルーディスプレイとみなして、運転者が必要とするナビゲーション情報が実シーン上の適切な位置に重畳して観察されるように、フロントウィンドウ上にナビゲーション情報を提示するものである（例えば、非特許文献１を参照）。
【０００７】
Ｏｎ−ｔｈｅ−Ｓｃｅｎｅ　ＨＵＤを用いれば運転者がより短い時間でナビゲーション情報を認識できることが、上記非特許文献１には示されている。しかし、ナビゲーション情報を実シーン上の適切な位置に重畳して提示するための具体的な位置合わせ方法については示していなかった。
【０００８】
一般に、実シーン上の所定の位置に所定の情報を重畳して表示する技術は、複合現実感技術と呼ばれている。複合現実感提示装置の一般的構成では、観察者は透過型のＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）を頭部に装着することで、ディスプレイ上に表示される画像と、ディスプレイ越しに観察される実シーンを同時に観察することができる。このとき、実シーン上の所定の位置に所定の像を重畳するためには、実シーン中における観察者の視点の位置及び姿勢を計測し、それに従った画像を生成する必要がある。
【０００９】
観察者の視点の位置及び姿勢の計測は、様々な方法によって行うことができる。ＨＭＤに磁気センサや超音波センサを装着する方法が一般的であるが、磁気や超音波の発生源を実シーン中に設置する必要があるため、観察者の移動可能範囲が限定されるという問題がある。また、これらの方法は、十分な計測精度が得られないという問題も有している。
【００１０】
一方、計測範囲の制限を受けず、高い精度で視点の位置及び姿勢の計測可能な方法として、ＨＭＤにビデオカメラを装着し、撮影された映像から実シーン中の指標を検出し、それに基づいて視点の位置及び姿勢を計測する方法が提案されている。例えば従来では、画像上から抽出した指標の画像座標を拡張カルマンフィルタへの入力として用いることで、視点の位置及び姿勢を状態変数として推定している（例えば、非特許文献２を参照）。
【００１１】
しかし、上記のようなＨＭＤを用いた複合現実感提示装置における位置合わせ手法によって、Ｏｎ−ｔｈｅ−Ｓｃｅｎｅ　ＨＵＤにおける位置合わせを実現することは出来ない。これは、ＨＭＤでは観察者の視点がディスプレイに固定されているのに対して、ＨＵＤでは観察者（運転者）の視点とディスプレイの相対的な位置関係が固定されていないことに起因する。
【００１２】
ディスプレイと視点との位置関係が固定されていないタイプの複合現実感提示装置は、例えば従来では、位置合わせを行うためには、実シーン中におけるディスプレイ面の位置及び姿勢と、ディスプレイ面に対する観察者の位置の計測が必要であることが示されている（例えば、特許文献１を参照）。
【００１３】
一方、車両の位置及び方位の計測に関しては、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）と慣性航法に基づいた車両計測装置が、従来のカーナビにおいて利用されている。
【非特許文献１】
Ｊ．Ｆｕｋａｎｏ，　Ｓ．Ｏｋａｂａｙａｓｈｉ，　Ｍ．Ｓａｋａｔａ：Ａｕｔｏｍｏｔｉｖｅ　Ｈｅａｄ−Ｕｐ　Ｄｉｓｐｌａｙｓ　ｆｏｒ　Ｎａｖｉｇａｔｉｏｎ　Ｕｓｅ，　Ｔｈｅ　１４ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｃｈｎｉｃａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｅｎｈａｎｃｅｄ　Ｓａｆｅｔｙ　ｏｆ　Ｖｅｈｉｃｌｅｓ，ｎｏ．９４−Ｓ２−Ｏ−０２，ｐｐ．３０６−３１４，　１９９４．
【非特許文献２】
横小路泰義，　菅原嘉彦，　吉川恒夫：画像と加速度計を用いたＨＭＤ上での映像の正確な重ね合わせ，　日本バーチャルリアリティ学会論文誌，　ｖｏｌ．４，　ｎｏ．４，　ｐｐ．５８９−５９８，　１９９９．
【特許文献１】
特開２０００−２７６６１３号公報
【発明が解決しようとする課題】
しかし、上記特許文献１に記載の装置は、表示部を手に保持して使用することを前提とした装置であって、表示部の位置及び姿勢の計測は磁気センサや超音波センサを用いることを想定しており、広範囲を移動する車両の計測を行う手法は示されていなかった。
【００１４】
また、上記非特許文献２に記載の手法は、任意の位置及び姿勢をとりうる人間の頭部を計測するための手法であるために解の自由度が大きく、誤った推定値を出力する場合があるという問題を有していた。
【００１５】
また、上記非特許文献２に記載の手法は、ビデオカメラの視立体に含まれるであろう全ての指標に対して検出処理を行うために、実シーン中の他の物体に隠蔽されているために画像上で観測されていない指標があった場合でも、その指標の検出処理を行ってしまい、これが指標の誤検出を引き起こす原因となり、誤った位置及び姿勢の推定値を出力してしまう場合があるという問題を有していた。
【００１６】
また、ＧＰＳと慣性航法に基づいた車両計測装置は精度が低く、特に、交差点での進行方向指示や事前の車線方向指示のような、実シーンとの正確な位置合わせが必須とされる用途への適用は困難であった。
【００１７】
本発明は上記の問題に鑑みてなされたものであり、車両におけるナビゲーション情報を実シーン上の適切な位置に重畳して提示する画像表示装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像表示装置は以下の構成を備える。
【００１９】
すなわち、車両のフロントウィンドウ部に当該車両の搭乗者に対して提示する画像を表示させる表示装置を備える画像表示装置であって、
世界座標系における前記車両の位置、方位を計測する車両計測手段と、
前記車両内で定義される座標系における、前記車両の搭乗者の頭部の位置を計測する頭部計測手段と、
前記フロントウィンドウ部において、前記車両計測手段により計測された前記車両の位置、方位と、前記頭部計測手段により計測された前記頭部の位置に応じた位置に、前記画像が表示されるように、前記表示装置を制御する制御手段と
を備えることを特徴とする。
【００２０】
本発明の目的を達成するために、例えば本発明の計測装置は以下の構成を備える。
【００２１】
すなわち、車両に搭載され、当該車両の世界座標系における位置、方位を計測する計測装置であって、
当該車両の外界を撮像する外界撮像手段と、
当該外界撮像手段により撮像された前記外界の画像に含まれる指標の当該画像における位置を求める位置計算手段と、
前記位置計算手段により求めた前記指標の前記画像における位置に基づいて、世界座標系における前記車両の位置、方位を計測する位置方位計測手段と
を備えることを特徴とする。
【００２２】
本発明の目的を達成するために、例えば本発明の計測装置は以下の構成を備える。
【００２３】
すなわち、撮影装置あるいは撮影装置を装着した物体の位置及び姿勢の計測を、該撮影装置によって撮影された撮影画像上における指標の検出によって行う計測装置であって、
隠蔽されることなく前記撮影画像上で観測されるであろう指標を選択する指標選択手段を有し、
選択された指標の情報に基づいて前記撮影装置あるいは撮影装置を装着した物体の位置及び姿勢を計測することを特徴とする。
【００２４】
本発明の目的を達成するために、例えば本発明の画像表示方法は以下の構成を備える。
【００２５】
すなわち、車両のフロントウィンドウ部に当該車両の搭乗者に対して提示する画像を表示させる表示装置を備える画像表示装置が行う画像表示方法であって、
世界座標系における前記車両の位置、方位を計測する車両計測工程と、
前記車両内で定義される座標系における、前記車両の搭乗者の頭部の位置を計測する頭部計測工程と、
前記フロントウィンドウ部において、前記車両計測工程で計測された前記車両の位置、方位と、前記頭部計測工程で計測された前記頭部の位置に応じた位置に、前記画像が表示されるように、前記表示装置を制御する制御工程と
を備えることを特徴とする。
【００２６】
本発明の目的を達成するために、例えば本発明の計測方法は以下の構成を備える。
【００２７】
すなわち、車両に搭載され、当該車両の世界座標系における位置、方位を計測する計測方法であって、
当該車両の外界を撮像装置を用いて撮像する外界撮像工程と、
当該外界撮像工程で撮像された前記外界の画像に含まれる指標の当該画像における位置を求める位置計算工程と、
前記位置計算工程で求めた前記指標の前記画像における位置に基づいて、世界座標系における前記車両の位置、方位を計測する位置方位計測工程と
を備えることを特徴とする。
【００２８】
本発明の目的を達成するために、例えば本発明の計測方法は以下の構成を備える。
【００２９】
すなわち、撮影装置あるいは撮影装置を装着した物体の位置及び姿勢の計測を、該撮影装置によって撮影された撮影画像上における指標の検出によって行う計測方法であって、
隠蔽されることなく前記撮影画像上で観測されるであろう指標を選択する指標選択工程を有し、
選択された指標の情報に基づいて前記撮影装置あるいは撮影装置を装着した物体の位置及び姿勢を計測することを特徴とする。
【００３０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【００３１】
［第１の実施形態］
図１は、車両に取り付けられた本実施形態に係る画像表示装置の機能構成を示すブロック図である。本実施形態における画像表示装置は、外部撮影用カメラ１００、外部指標検出部１０５、回転速度計１１０、車両計測部１２０、搭乗者撮影用カメラ１３０、頭部指標検出部１３５、頭部計測部１４０、画像生成部１５０、プロジェクタ１６０、コンバイナ１７０、によって構成されている。
【００３２】
車両の搭乗者１３２（本実施形態では搭乗者は即ち車両の運転者でもある）はフロントウィンドウ部１３１を通して外界の物体１５１が目視可能であると共に、フロントウィンドウ部１３１に取り付けられたコンバイナ１７０に表示される、画像表示装置による後述の処理によって生成されるナビゲーション情報を示す画像も目視可能である。すなわち、搭乗者１３２は、ナビゲーション情報を上記外界の物体１５１に重畳されている状態で目視することができる。
【００３３】
外部撮影用カメラ１００、外部指標検出部１０５、回転速度計１１０、車両計測部１２０によって構成される車両計測手段について説明する。外部撮影用カメラ１００は、車両のボンネット部に車両の前方を向いて装着されており、車外の外界の実シーンを撮影し、撮影した画像を外部指標検出部１０５へと出力する。図９に車両９００のボンネット部に取り付けられた外部撮影用カメラ１００を示す。外部指標検出部１０５は、外部撮影用カメラ１００が出力する撮影画像を入力し、実シーン中に設定されている後述の外部指標を画像から検出し、検出した外部指標の画像における位置（座標）を車両計測部１２０へと出力する。回転速度計１１０は、車両の右後輪および左後輪に接続されており、各車輪の回転速度を計測し、その計測結果を車両計測部１２０へと出力する。車両計測部１２０は、外部指標検出部１０５が出力する外部指標の画像座標と、回転速度計１１０が出力する各車輪の回転速度を入力し、これに基づいて世界座標系における車両の位置、及び方位を計測し、その結果を画像生成部１５０へと出力する。
【００３４】
搭乗者撮影用カメラ１３０、頭部指標検出部１３５、頭部計測部１４０によって構成される頭部計測手段について説明する。搭乗者撮影用カメラ１３０は、フロントウィンドウ１３１上部に搭乗者１３２の頭部を向いて装着されており、頭部を撮影し、撮影した映像を頭部指標検出部１３５へと出力する。頭部指標検出部１３５は、搭乗者撮影用カメラ１３０が出力する撮影画像を入力し、搭乗者１３２の頭部に設定されている後述の頭部指標を画像から検出し、検出した頭部指標の画像における位置（座標）を頭部計測部１４０へと出力する。頭部計測部１４０は、頭部指標検出部１３５が出力する頭部指標の画像座標を入力し、これに基づいて車両内で定義される後述の座標系における搭乗者１３２の頭部の位置を計測し、その結果を画像生成部１５０へと出力する。
【００３５】
次に、制御手段としての画像生成部１５０について説明する。画像生成部１５０は、車両計測部１２０から車両の位置と方位を入力し、また、頭部計測部１４０から搭乗者１３２の頭部の位置を入力し、これらの情報に基づいて、実シーンの所定の位置（同図の例では、物体１５１の前面（搭乗者１３２側の面））に所定のナビゲーション情報を示す画像が重畳して観察されるように表示画像の生成を行い、これをプロジェクタ１６０に出力する。
【００３６】
次に、プロジェクタ１６０としての表示装置について説明する。プロジェクタ１６０はフロントウィンドウ１３１下部に設置されており、画像生成部１５０が出力する表示画像を入力し、コンバイナ１７０に向けて投影する。コンバイナ１７０はフロントウィンドウ１３１上に設置されている。プロジェクタ１６０によって投影される画像はコンバイナ１７０上で反射し、搭乗者１３２には上記ナビゲーション情報を示す画像を含む画像が虚像１７１として観察される。
【００３７】
図２に虚像１７１の例を示す。同図の例では、ナビゲーション情報として矢印２００が表示されている。同図の虚像１７１は矢印の画像２００以外の領域には何も表示されていない。図３に、搭乗者１３２によって観察されるフロントウィンドウ部の状態を示す。同図に示すとおり搭乗者１３２はフロントウィンドウ部を介して外界の物体１５１が観察可能であると共に、これに重畳された虚像１７１，即ち矢印の画像２００をも観察することができる。
【００３８】
次に、上記車両計測手段、頭部計測手段、制御手段、表示装置について更に詳細に説明するが、まず初めに、以下で用いる主な変数について示す。
【００３９】
Σ：座標系。例えばΣ_ｅはｅによって定義される座標系を表す。
【００４０】
ｘ：ｘ座標を表すスカラー値。例えば^ｅ１ｘ_ｅ２は座標系Σ_ｅ１におけるｅ２のｘ座標を表す。
【００４１】
ｙ：ｙ座標を表すスカラー値。例えば^ｅ１ｙ_ｅ２は座標系Σ_ｅ１におけるｅ２のｙ座標を表す。
【００４２】
ｚ：ｚ座標を表すスカラー値。例えば^ｅ１ｚ_ｅ２は座標系Σ_ｅ１におけるｅ２のｚ座標を表す。
【００４３】
ｒ：位置を表す３値ベクトル。例えば^ｅ１ｒ_ｅ２は座標系Σ_ｅ１におけるｅ２の位置を表す。
【００４４】
ｐ：画像位置を表す２値ベクトル。例えば^Ｉｐ_ｅ２は画像Ｉにおけるｅ２の位置を表す。
【００４５】
Ｒ：姿勢を表す３×３行列。例えば^ｅ１Ｒ_ｅ２は座標系Σ_ｅ１におけるｅ２の姿勢を表す。
【００４６】
φ：オイラー角表現による姿勢を表す３値ベクトル。
【００４７】
ω：各軸まわりの角速度を表す３値ベクトル。
【００４８】
ｂ：実シーン。Σ_ｂは実シーン座標系（世界座標系）を表す。
【００４９】
ｗ：車両１０。Σ_ｗは車両座標系を表す。
【００５０】
ｕ：搭乗者１３２の頭部。Σ_ｕは頭部座標系を表す。
【００５１】
ｃ１：外部撮影用カメラ１００。座標系Σ_ｃ１は外部撮影用カメラ座標系を表す。
【００５２】
ｃ２：搭乗者撮影用カメラ１３０。座標系Σ_ｃ２は搭乗者撮影用カメラ座標系を表す。
【００５３】
ｄ：虚像面。座標系Σ_ｄは虚像面座標系を表す。
【００５４】
Ｉ：撮影画像。座標系Σ_Ｉは画像座標系（２次元）を表す。
【００５５】
ｇ：ナビゲーション情報の重畳対象物体（例えば外界の物体１５１）。
【００５６】
ｑ：ナビゲーション情報として表示する像（例えば矢印２００）。
【００５７】
ζ：方位角（ｘ−ｙ平面内におけるｙ軸に対する角度）を表すスカラー値。^ｂζ_ｗは実シーン中における車両の方位角を表す。
【００５８】
ｘ’：ｘ方向の速度成分を表すスカラー値。
【００５９】
ｙ’：ｙ方向の速度成分を表すスカラー値。
【００６０】
ζ’：方位角速度を表すスカラー値。
【００６１】
ｔ：時刻。例えばｒ_ｗ（ｔ）は時刻ｔにおける車両の位置を表す。
【００６２】
ｋ：サンプル時刻を表す整数。例えばｔ_ｋはｋ番目の処理における時刻。
【００６３】
Δｔ：サンプリング間の微小時刻。すなわち、ｔ_ｋ＋１＝ｔ_ｋ＋Δｔ。
【００６４】
ｍ：外部指標１０１。ｍ_ｉはｉ番目に検出された外部指標を表す。
【００６５】
Ｍ：画像Ｉ_１上で検出された外部指標の総数。
【００６６】
ｎ：頭部指標１３３。ｎ_ｉはｉ番目に検出された頭部指標を表す。
【００６７】
Ｎ：画像Ｉ_２上で検出される頭部指標の総数。
【００６８】
ψ’：車輪の回転角速度（計測値）。
【００６９】
ｖ：車両の速度を表すスカラー値。
【００７０】
Ａ：右後輪と左後輪の中間点から両後輪までの距離であって、既知。
【００７１】
Ｂ：車輪の直径であって、既知。
【００７２】
ａ_１：外部撮影用カメラ１００の焦点距離を表すスカラー値。既知。
【００７３】
ａ_２：搭乗者撮影用カメラ１３０の焦点距離を表すスカラー値。既知。
【００７４】
ｙ_ｋ：観測量ベクトル
ｙ^＊ _ｋ：観測量ベクトルの推定値
ｘ_ｋ：状態量ベクトル
ｘ^＊ _ｋ：状態量ベクトルの推定値
ｆ_ｋ（ｘ_ｋ）：状態方程式
ｈ_ｋ（ｘ_ｋ）：観測方程式
Ｋ_ｋ：カルマンゲイン
また、以下では、各座標系が以下のように定義されているものという前提で説明を行う。すなわち、基準となる実シーンの座標系Σ_ｂは、水平面上の適当な位置に原点^ｂＯをとり、水平面内で夫々直交する方向に^ｂＸ及び^ｂＹ軸を、水平面の法線方向に^ｂＺ軸をとる。車両座標系Σ_ｗは、車両上の適当な位置に原点^ｗＯをとり、運転席に座って左から右に向かう方向に^ｗＸ軸を、後ろから前に向かう方向に^ｗＹ軸を、下から上へ向かう方向に^ｗＺ軸をとるものとする。
【００７５】
頭部座標系Σ_ｕは、搭乗者１３２の両目の中点に原点^ｕＯをとり、左眼から右眼に向かう方向に^ｕＸ軸を、両目の中点と鼻を結ぶ方向に^ｕＹ軸を、搭乗者１３２の正面方向に^ｕＺ軸をとるものとする。外部撮影用カメラ座標系Σ_ｃ１及び搭乗者撮影用カメラ座標系Σ_ｃ２は、それぞれ光軸の前方に向けて^ｃＺ軸を、画像の左から右に向かう方向に^ｃＸ軸を、画像の上から下に向かう方向に^ｃＹ軸をとるものとする。また、虚像面座標系Σ_ｄは、プロジェクタが投影する虚像面上に原点^ｄＯをとり、向かって右から左方向に^ｄＸ軸を、上から下方向に^ｄＹ軸を、虚像面の法線方向に^ｄＺ軸をとるものとする。
【００７６】
＜車両計測手段＞
図４は車両計測手段が行う処理のフローチャートである。以下、同図を参照して、同処理について説明する。車両の計測は、拡張カルマンフィルタの枠組みに従って行われる。
【００７７】
以下では、拡張カルマンフィルタの状態量ベクトルｘ_ｋ（６次元）を、時刻ｔ_ｋにおける実シーン座標系Σ_ｂにおける車両のｘ座標、ｙ座標、方位角と、それぞれの時間微分値を並べたベクトルとして定義する。
【００７８】
【数１】

【００７９】
ステップＳ４００において、車両計測部１２０は、時刻ｔ_ｋ−１における状態量ベクトルｘ_ｋ−１を拡張カルマンフィルタの状態方程式ｆ_ｋ（ｘ_ｋ）に代入することで、時刻ｔ_ｋにおける状態量ベクトルの推定値ｘ^＊ _ｋを算出する。状態方程式ｆ_ｋ（ｘ_ｋ）は、各サンプリング間では車両が等速で運動するという仮定を置くと、次式のように定義できる。
【００８０】
【数２】

【００８１】
ステップＳ４１０において、回転速度計１１０は、右後輪および左後輪の回転速度の計測を行う。車両計測部１２０は、これらの情報を時刻ｔ_ｋにおける回転角速度ψ’_Ｒ（ｔ_ｋ），ψ’_Ｌ（ｔ_ｋ）として記憶する。
【００８２】
ステップＳ４２０において、外部指標検出部１０５は、外部撮影用カメラ１００から入力される入力画像Ｉ_１上の各外部指標ｍ_ｉの画像座標^Ｉ１ｐ_ｍｉ（ｉ＝１，２，‥，Ｍ）を検出する。ここで外部指標とは外界に存在する様々な物体の特徴的な部位のうち、用いるべき指標として予め画像表示装置に登録しておいた部位のことで、例えば建物の角や看板の文字などである。外部指標、及び外部指標の検出処理に関する詳細については後述する。車両計測部１２０は、検出された時刻ｔ_ｋにおける各指標ｍ_ｉの画像座標^Ｉ１ｐ_ｍｉ（ｔ_ｋ）を記憶する。
【００８３】
ステップＳ４３０において、車両計測部１２０は、ステップＳ４１０及びステップＳ４２０で入力した情報を用いて、拡張カルマンフィルタの観測量ベクトルｙ_ｋ（（２Ｍ＋２）次元）を、次式によって作成する。
【００８４】
【数３】

【００８５】
ステップＳ４４０において、車両計測部１２０は、式（４）で定義される拡張カルマンフィルタの観測方程式ｈ_ｋ（ｘ_ｋ）に状態量ベクトルの推定値ｘ^＊ _ｋを代入することで、時刻ｔ_ｋにおける観測量ベクトルの推定値ｙ^＊ _ｋを算出する。
【００８６】
【数４】

【００８７】
ここで、式（４）中のｖ_ｋは、以下の式によりｘ_ｋから算出する。
【００８８】
【数５】

【００８９】
また、式（４）中の^Ｉ１ｐ^＊ _ｍｉは、入力画像^Ｉ１上で観測されている各指標ｍ_ｉの画像座標の推定値であり、以下の式により算出する。
【００９０】
【数６】

ただし、^ｃ１ｘ_ｍｉ，^ｃ１ｙ_ｍｉ，^ｃ１ｚ_ｍｉは、外部撮影用カメラ座標系Σ_ｃ１における指標ｍ_ｉの位置であり、以下の式によりｘ_ｋから算出する。
【００９１】
【数７】

【００９２】
ここで、^ｂｒ_ｍｉは実シーン座標系Σ_ｂにおける指標ｍ_ｉの位置、^ｗｒ_ｃ１，^ｗＲ_ｃ１は車両座標系Σ_ｗにおける外部撮影用カメラ１００の位置及び姿勢であり、予め計測されているものとする。また、^ｂＲ_ｗ（ｔ_ｋ）は実シーン座標系Σ_ｂにおける車両の姿勢であり、^ｂζ_ｗ（ｔ_ｋ）に基づいて算出する。一方、^ｂｒ_ｗ（ｔ_ｋ）は実シーン座標系Σ_ｂにおける車両の位置であり、^ｂｘ_ｗ（ｔ_ｋ）と^ｂｙ_ｗ（ｔ_ｋ）に基づいて算出する。なお、本実施形態では、実シーン座標系Σ_ｂのｘ−ｙ平面に対する車両の傾斜角（ロール角およびピッチ角）は一定値であり、予め既知の値として記憶されているものと仮定している。また、実シーン座標系Σ_ｂにおける車両のｚ座標^ｂｚ_ｗは一定値であり、予め既知の値として記憶されているものと仮定している。
【００９３】
ステップＳ４５０において、車両計測部１２０は、状態量ベクトルの推定値ｘ^＊ _ｋ、観測量ベクトルの推定値ｙ^＊ _ｋ、観測量ベクトルｙ_ｋに基づいて、次式により、状態ベクトルの更新を行う。
【００９４】
【数８】

【００９５】
ここで、カルマンゲインＫ_ｋは、状態方程式ｆ_ｋ（ｘ_ｋ）、観測方程式ｈ_ｋ（ｘ_ｋ）、及び状態量ベクトルｘ_ｋ−１に基づいて定義される係数行列（６×（２Ｍ＋２））である。カルマンゲインの算出方法は、例えば、西山清：最適フィルタリング、培風館、２００１．において開示されているので、ここでは詳細な説明を省略する。
【００９６】
ステップＳ４６０において、車両計測手段は、更新された状態量ベクトルｘ_ｋから車両の位置^ｂｘ_ｗ（ｔ_ｋ），^ｂｙ_ｗ（ｔ_ｋ）と方位^ｂζ_ｗ（ｔ_ｋ）を得て、制御手段である画像生成部１５０に出力する。
【００９７】
ステップＳ４７０において、車両計測手段は、処理を終了するかどうかの判定を行う。処理を継続する場合には、ｋをｋ＋１として、再びステップＳ４００以降の処理を実行する。なお、外部指標検出部１０５及び車両計測部１２０は、例えば１台の汎用コンピュータにより構成することが可能である。
【００９８】
次に、図５を用いて、回転速度計１１０の詳細を説明する。図５は右後輪の回転速度を検出するための構成を示す図で、左後輪についても同様の構成により回転速度を検出することができる。右後輪５００Ｒの回転速度の計測は、ロータリーエンコーダ５１０Ｒと車輪５２０Ｒによって行われる。車輪５２０Ｒは、ロータリーエンコーダ５１０Ｒの回転軸に取り付けられており、さらに、車輪５２０Ｒは、右後輪５００Ｒに接触するように設置されている。ロータリーエンコーダ５１０Ｒは、車輪５２０Ｒの回転角速度ψ’_Ｒを測定し、右後輪５００Ｒの回転速度を表す情報としてこれを出力する。不図示の左後輪５００Ｌの計測も同様の構成によって実現され、不図示の車輪５２０Ｌの回転角速度ψ’_Ｌが出力される。
【００９９】
次に、図６を用いて、外部指標検出部１０５における処理の詳細を説明する。図６は外部指標検出部１０５の基本構成を示すブロック図である。外部指標検出部１０５は、推定座標算出部６００、指標選択部６１０、画像処理部６２０によって構成されている。指標選択部６１０はさらに、隠蔽判定部６３０と、指標情報保持部６４０によって構成されている。
【０１００】
推定座標算出部６００は、車両計測部１２０で算出された車両の位置及び方位の推定値を入力し、式（６）および式（７）を用いて全ての外部指標に対して入力画像Ｉ_１上における画像座標の推定値^Ｉ１ｐ^＊ _ｍｉを算出する。得られた推定値が撮像面の範囲に含まれている識別子が、隠蔽判定部６３０へと出力される。指標情報保持部６４０は、指標の検出を行うためのテンプレート画像を撮影した際の車両の位置及び方位を、各々の指標毎に保持している。
【０１０１】
隠蔽判定部６３０は、推定座標算出部６００から得た推定値が撮像面の範囲に含まれる各々の指標に対して、隠蔽の有無の判定を行う。具体的には、車両計測部１２０で算出された車両の位置及び方位の推定値と、指標情報保持部６４０が保持している注目指標の検出を行うためのテンプレート画像を撮影した際の車両の位置及び方位とが著しく離れている場合には、この注目指標は隠蔽されていると判定される。この判定により隠蔽されていないと判定された指標の識別子が、検出処理対象として画像処理部６２０へと出力される。
【０１０２】
なお、テンプレート画像撮影時の位置及び方位と現在の位置及び方位の相違の比較は、例えば２地点間の距離に基づいて行っても良いし、方位角の相違によって行っても良い。また、判定の閾値は全ての指標に共通の閾値を用いても良いし、指標ごとに異なる閾値を定めても良い。なお、車両の位置及び方位ではなく、外部撮影用カメラ１００の位置及び姿勢を基準としても同様な機能が実現できることは言うまでもない。
【０１０３】
画像処理部６２０は、指標選択部６１０によって選択された指標を処理対象として、予め登録されている各指標のテンプレート画像を用いたテンプレートマッチングにより、画像Ｉ_１から指標の検出を行う。このとき、推定座標算出部６００が算出した画像座標の推定値^Ｉ１ｐ^＊ _ｍｉを用いることで探索範囲の限定を行うことが好ましい。
【０１０４】
以上の処理手順によって、実シーン座標系Σ_ｂにおける車両の位置^ｂｘ_ｗ，^ｂｙ_ｗ及び方位^ｂζ_ｗが計測される。
【０１０５】
＜頭部計測手段＞
図７は頭部計測手段が行う処理のフローチャートである。以下、同図を参照して、同処理について説明する。頭部の計測も、車両の計測と同様に拡張カルマンフィルタの枠組みに従って行われる。
【０１０６】
以下では、状態量ベクトルｘ_ｋ（１２次元）を、時刻ｔ_ｋにおける車両座標系Σ_ｗにおける搭乗者１３２の頭部の位置^ｗｒ_ｕ、姿勢^ｗφ_ｕ、速度^ｗｒ’_ｕ、及び角速度^ｗω_ｕを並べたベクトルとして定義する。
【０１０７】
【数９】

【０１０８】
ステップＳ７００において、頭部計測部１４０は、時刻ｔ_ｋ−１における状態量ベクトルｘ_ｋ−１を状態方程式ｆ_ｋ（ｘ_ｋ）に代入することで、時刻ｔ_ｋにおける状態量ベクトルの推定値ｘ^＊ _ｋを算出する。状態方程式ｆ_ｋ（ｘ_ｋ）は、各サンプリング間は各位置及び各姿勢が等速で変化するという仮定を置くと、次式のように定義できる。
【０１０９】
【数１０】

【０１１０】
ここで、φ’は姿勢φの時間微分値であり、姿勢φ及び角速度ωの関数として導出できることが一般に知られている。その詳細は、例えば　Ｄｏｎａｌｄ　Ｂ．　Ｇｅｎｎｅｒｙ：Ｖｉｓｕａｌ　ｔｒａｃｋｉｎｇ　ｏｆ　ｋｎｏｗｎ　ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ　ｏｂｊｅｃｔｓ，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　ｖｏｌ．７，　ｎｏ．３，　ｐｐ．２４３−２７０，　１９９２．に開示されているので、説明を省略する。
【０１１１】
ステップＳ７１０において、頭部指標検出部１３５は、予め登録されている各頭部指標のテンプレート画像を用いて、搭乗者撮影用カメラ１３０から入力される入力画像Ｉ_２上で観測されている各頭部指標ｎ_ｉの画像座標^Ｉ２ｐ_ｎｉ（ｉ＝１，２，‥，Ｎ）を検出する。ここで頭部指標とは、頭部（顔）に存在する目、鼻、口などやそれらの部分領域のうち、用いるべき指標として予め画像表示装置に登録しておいたものを指す。頭部計測部１４０は、これらの情報を時刻ｔ_ｋにおける各指標ｎ_ｉの画像座標^Ｉ２ｐ_ｎｉ（ｔ_ｋ）として記憶する。頭部指標検出部１３５における処理は外部指標検出部１０５における処理と同様であるので、詳細な説明は省略する。
【０１１２】
ステップＳ７２０において、頭部計測部１４０は、ステップＳ７００で入力した情報を用いて、観測量ベクトルｙ_ｋ（２Ｎ次元）を次式によって作成する。
【０１１３】
【数１１】

【０１１４】
ステップＳ７３０において、頭部計測部１４０は、式（１２）で定義される観測方程式ｈ_ｋ（ｘ_ｋ）に状態量ベクトルの推定値ｘ^＊ _ｋを代入することで、時刻ｔ_ｋにおける観測量ベクトルの推定値ｙ^＊ _ｋを算出する。
【０１１５】
【数１２】

【０１１６】
ここで、^Ｉ２ｐ^＊ _ｎｉは、入力画像Ｉ_２上で観測されている各指標ｎ_ｉの画像座標の推定値であり、以下の式により算出する。
【０１１７】
【数１３】

【０１１８】
ただし、^ｃ２ｘ_ｎｉ，^ｃ２ｙ_ｎｉ，^ｃ２ｚ_ｎｉは、頭部撮影用カメラ座標系Σ_ｃ２における指標ｎ_ｉの位置であり、以下の式により状態量ベクトルｘ_ｋに基づいて算出する。
【０１１９】
【数１４】

【０１２０】
ここで、^ｕｒ_ｎｉは頭部座標系Σ_ｕにおける頭部指標ｎ_ｉの位置、^ｗｒ_ｃ２，^ｗＲ_ｃ２は車両座標系Σ_ｗにおける搭乗者撮影用カメラ１３０の位置及び姿勢であり、予め計測されているものとする。また、^ｗＲ_ｕ（ｔ_ｋ）は車両座標系Σ_ｗにおける搭乗者１３２の頭部の姿勢を表す行列であり、^ｗφ_ｕ（ｔ_ｋ）に基づいて算出する。
【０１２１】
ステップＳ７４０において、頭部計測部１４０は、観測量ベクトルｙ_ｋ、状態量ベクトルの推定値ｘ^＊ _ｋ、観測量ベクトルの推定値ｙ^＊ _ｋに基づいて、式（８）により、状態ベクトルの更新を行う。カルマンゲインＫ_ｋの算出方法は公知であるので、ここでは詳細な説明を省略する。
【０１２２】
ステップＳ７５０において、頭部計測手段は、更新された状態量ベクトルｘ_ｋから頭部の位置^ｗｒ_ｕ（ｔ_ｋ）を得て、制御手段である画像生成部１５０に出力する。
【０１２３】
ステップＳ７６０において、頭部計測手段は、処理を終了するかどうかの判定を行う。処理を継続する場合には、ｋをｋ＋１として、再びステップＳ７００以降の処理を実行する。なお、頭部指標検出部１３５及び頭部計測部１４０は、例えば１台の汎用コンピュータにより構成することが可能である。以上の処理手順によって、車両座標系Σ_ｗにおける搭乗者１３２の頭部の位置^ｗｒ_ｕが計測される。
【０１２４】
＜制御手段＞
図８は制御手段である画像生成部１５０が行う処理のフローチャートである。以下、同図を参照して、同処理について説明する。ステップＳ８００において、画像生成部１５０は、車両計測手段によって計測された実シーン座標系Σ_ｂにおける車両の位置^ｂｘ_ｗ，^ｂｙ_ｗ及び方位^ｂζ_ｗを入力し、位置ベクトル^ｂｒ_ｗと姿勢行列^ｂＲ_ｗに変換する。
【０１２５】
ステップＳ８１０において、画像生成部１５０は、頭部計測手段によって計測された車両座標系Σ_ｗにおける搭乗者１３２の頭部の位置^ｗｒ_ｕを入力する。
【０１２６】
ステップＳ８２０において、画像生成部１５０は、虚像面座標系Σ_ｄにおける重畳対象物体１５１の位置^ｄｒ_ｇを、以下の式により算出する。
【０１２７】
【数１５】

【０１２８】
ここで、^ｂｒ_ｇは実シーン座標系Σ_ｂにおける重畳対象物体１５１の位置、^ｗｒ_ｄ，^ｗＲ_ｄは車両座標系Σ_ｗにおける虚像面の位置及び姿勢であり、予め計測されているものとする。
【０１２９】
ステップＳ８３０において、画像生成部１５０は、虚像面座標系Σ_ｄにおける搭乗者１３２の頭部の位置^ｄｒ_ｕを、以下の式により算出する。
【０１３０】
【数１６】

【０１３１】
ステップＳ８４０において、画像生成部１５０は、虚像面座標系Σ_ｄにおけるナビゲーション情報（矢印２００）を示す画像の表示位置^ｄｒ_ｑを、以下の式により算出する。
【０１３２】
【数１７】

【０１３３】
ステップＳ８５０において、画像生成部１５０は、虚像面上の位置^ｄｒ_ｑにナビゲーション情報（矢印２００）を示す画像が表示されるように表示画像を生成し、これを表示装置であるプロジェクタ１６０に出力する。
【０１３４】
ステップＳ８６０において、プロジェクタ１６０は生成された表示画像をコンバイナ１７０に向けて投影する。
【０１３５】
ステップＳ８７０において、制御手段である画像生成部１５０は、処理を終了するかどうかの判定を行う。処理を継続する場合には、ｋをｋ＋１として、再びステップＳ８００以降の処理を実行する。なお、画像生成部１５０は、例えば１台の汎用コンピュータにより構成することが可能である。
【０１３６】
以上の処理手順によって、ナビゲーション情報（矢印２００）を示す画像が重畳対象物体１５１に重畳して観測されるような表示が実現される。
【０１３７】
また本実施形態では、車両の位置、方位を求めるために、ＧＰＳを用いたデータではく、重畳対象である外界の物体と車両との相対的な位置関係を直接計測しているので、ＧＰＳに比べてより高い精度で車両の位置、方位を求めることができる。
【０１３８】
また本実施形態では、車両の位置姿勢に応じてだけでなく、搭乗者の頭部位置に応じた（フロントウィンドウ部の）位置にナビゲーション情報を示す画像が表示されるので、搭乗者の頭部が前後左右に移動しても、搭乗者に対して常に適切な位置にナビゲーション情報を示す画像を提示することができる。
【０１３９】
［第２の実施形態］
上記実施形態では車両計測部１２０において、式（２）によって状態方程式ｆ_ｋ（ｘ_ｋ）を定義していた。式（２）は、車両が前後左右に自由に移動しうるというモデルに基づく状態方程式であるため、これによって得られる車両の位置の推定値が実際と大きく異なってしまう場合があった。本実施形態では、車体は横滑りしないという仮定に基づく非ホロノミック拘束を導入し、式（２）に替えて、次式のように改良した状態方程式ｆ_ｋ（ｘ_ｋ）を設定する。
【０１４０】
【数１８】

【０１４１】
なお、上記式は状態量ベクトルの推定に非ホロノミック拘束を考慮しただけであり、状態量ベクトルの次元そのものは縮退していない。ゆえに、適当なシステムノイズ特性の導入によって車体の横滑りを考慮することができる。よって本実施形態に係る上記方法により、完全な非ホロノミック拘束を前提として状態方程式を定式化した場合や、上記実施形態のように非ホロノミック拘束を全く考慮せずに状態方程式を定式化した場合のいずれよりも、車両の位置及び方位の推定を正確に行うことができる。その結果、車両計測部１２０における車両の位置及び方位の計測精度を高めることができる。
【０１４２】
［第３の実施形態］
上記実施形態における回転速度計１１０は、ロータリーエンコーダを用いて車輪の回転速度を計測していたが、回転速度計１１０の構成はこれに限定されるものではなく、車輪の回転速度を計測する目的が同じであれば、他のいずれの構成によって実現しても良い。例えば、回転速度計１１０として、車両の姿勢制御等の目的で両後輪に装着されているパルスセンサを用いてもよい。本実施形態においては、式（４）中のＢの値として、車輪５２０ではなく後輪５００の直径を用いればよい。
【０１４３】
また、回転速度計１１０を、一般的なカーナビの慣性航法に用いられている車速センサとジャイロセンサによって構成することでも、同様な効果を得ることができる。車速センサによって計測される車速をμ、ジャイロセンサによって計測される車両の方位角速度をξ’とすると、この場合の回転速度計１１０は、計測されたμ及びξ’に基づいて次式によって両後輪の回転速度ψ’Ｒ及びψ’Ｌを導出し、これを車両計測部１２０へと出力する。
【０１４４】
【数１９】

【０１４５】
［第４の実施形態］
上記実施形態では両車輪の回転速度を求めるために回転速度計１１０を用いていたが、他のセンサによって計測される車両の速度に関連するデータを利用しても、同様な効果を得ることができる。例えば、回転速度計１１０の代わりに、一般的なカーナビの慣性航法に用いられているプロペラシャフトの回転パルス計測等に基づく車速センサと、ジャイロセンサを有していてもよい。その場合、車両計測部１２０は、外部指標検出部１０５が検出した外部指標の画像座標^Ｉ１ｐ_ｍｉ（ｔ_ｋ）と、車速センサによって計測される車速μ（ｔ_ｋ）及びジャイロセンサによって計測される車両の方位角速度ξ’（ｔ_ｋ）とを入力し、これらの入力データに基づいて車両の位置及び方位を計測する。その場合、観測ベクトルｙ_ｋ及び観測方程式ｈ_ｋ（ｘ_ｋ）を次式のように定義することで、上記実施形態と同様の手順によって車両の位置及び方位が計測される。
【０１４６】
【数２０】

【０１４７】
【数２１】

【０１４８】
ここで、ｖ_ｋは車両の速度の推定値であり、式（５）によって状態量ベクトルｘ_ｋから算出する。
【０１４９】
［第５の実施形態］
また、上記車両計測手段を、外部撮影用カメラ１００、外部指標検出部１０５及び車両計測部１２０のみによって構成してもよい。すなわち、車両計測部１２０において、外部指標検出部１０５から入力される外部指標の画像座標^Ｉ１ｐ_ｍｉ（ｔ_ｋ）に基づいて車両の位置及び方位の計測を行う。この場合、観測ベクトルｙ_ｋ及び観測方程式ｈ_ｋ（ｘ_ｋ）を次式のように定義することで、上記実施形態と同様の手順によって車両の位置及び方位が計測される。
【０１５０】
【数２２】

【０１５１】
【数２３】

【０１５２】
［第６の実施形態］
上記実施形態における車両計測手段が有する外部撮影用カメラ１００は１台であったが、複数台の外部撮影用カメラ１００を有していてもよい。この場合、外部指標検出部１０５も外部撮影用カメラ１００に対応する数だけ有することが好ましい。この場合、車両計測部１２０は、複数の外部指標検出部１０５で検出された外部指標の画像座標をそれぞれ入力し、それらをもとに観測ベクトルｙ_ｋ及び観測方程式ｈ_ｋ（ｘ_ｋ）を定義する。観測方程式の導出過程において使用する^ＷＲ_Ｃ１，^Ｗｒ_Ｃ１及びａ_１の各パラメータを、入力された画像座標のそれぞれに対応する外部撮影用カメラ１００に固有な値とすること以外は、上記実施形態と同様な手順によって車両の位置及び姿勢を求めることができる。これにより、より多くの指標座標を安定して検出できるようになるため、車両の位置及び方位の計測精度の向上が期待できる。
【０１５３】
尚、上記実施形態においては、外部撮影用カメラ１００は車両の前方にむけて車両のボンネット部に設置されていたが、実シーン中の外部指標を観測できる位置及び向きであれば、外部撮影用カメラ１００の設置位置がこれに限定されるものでないことは言うまでもない。すなわち、車両の後方あるいは側方を向いていてもよいし、車両のフェンダー部や屋根等に設置してもよい。
【０１５４】
また、頭部計測手段も同様に、複数の頭部撮影用カメラ１３０を有する構成をとることが可能であり、これにより頭部位置の計測精度を向上させる効果が期待できる。また、頭部撮影用カメラ１３０の設置位置も、頭部指標が観測できる位置であれば何れの位置であってもよい。
【０１５５】
［第７の実施形態］
上記実施形態における頭部計測手段は、搭乗者１３２の頭部の位置計測を常に行っていたが、頭部の位置計測は必ずしも連続的に行わなくても良い。すなわち、頭部計測手段は、所定の時点でのみ頭部の位置計測を行い、計測した頭部位置を制御手段へと出力する。制御手段は、頭部計測手段から最後に入力した頭部位置を保持し、頭部位置を用いて画像の生成を行う。ここで所定の時点とは、画像表示装置を起動した時点としてもよいし、あるいは、搭乗者１３２が搭乗した時点または運転を開始した時点を検出する手段を更に有する構成として、その検出時点を用いてもよい。また、搭乗者からの指示を入力する手段を更に有する構成として、搭乗者が指示を出した時点に頭部計測処理を行ってもよい。
【０１５６】
［第８の実施形態］
上記実施形態において、指標選択部６１０は、車両計測部１２０で算出された車両の位置及び方位の推定値と、指標のテンプレート画像を撮影した際の車両の位置及び方位に基づいて隠蔽の判定を行っていたが、これ以外の構成で隠蔽の判定を行ってもよい。
【０１５７】
例えば、指標情報保持部６４０に、指標の向きに関する情報を保持し、指標の向きと外部撮影用カメラ１００の姿勢とから指標の隠蔽を判定してもよい。
【０１５８】
例えば、指標情報保持部６４０は、指標の向きに関する情報として指標ｍ_ｉの法線方向を表す法線ベクトルη_ｍｉを各々の指標毎に保持しており、隠蔽判定部６３０は、時刻ｔ_ｋ−１までに算出された車両の姿勢に基づいて外部撮影用カメラ１００の姿勢を算出し、−^ｃ１Ｚ軸と法線ベクトルη_ｍｉとのなす角が所定の閾値以上の場合には、この指標は隠蔽されているものと判定してもよい。なお、閾値に関しては、全ての指標に共通の閾値を用いてもよいし、指標ごとに異なる閾値を定めてもよい。
【０１５９】
この方法によれば、壁の裏側に配置されている指標などの明らかに隠蔽されているであろう指標を、簡単に判定することができる。なお、指標の向きに関する情報として他の情報を用いても構わない。
【０１６０】
［第９の実施形態］
指標選択部６１０は、実シーンの物体の形状モデルを保持する形状モデル保持手段をさらに有し、また、指標情報保持部６４０は、指標ｍ_ｉの位置^ｂｒ_ｍｉを各々の指標毎に保持しており、隠蔽判定部６３０は、時刻ｔ_ｋ−１までに算出された車両の姿勢に基づいて外部撮影用カメラ１００の位置及び姿勢を算出し、それに基づいて、形状モデル保持手段が保持する実シーンの物体の形状モデルと、指標情報保持部６４０が保持する指標ｍ_ｉの位置^ｂｒ_ｍｉから、実シーンの指標以外の物体と各々の指標との前後判定を行うことで指標が隠蔽されているか否かを判定してもよい。
【０１６１】
［第１０の実施形態］
指標選択部６１０は、上記のいずれかの隠蔽判定手段を併用するものであってもよい。また、必ずしも指標選択部６１０を有さなくてもよく、推定座標算出部６００において撮像面の範囲に含まれると判断された全ての指標に対して画像処理部６２０における検出処理を行ってもよい。
【０１６２】
［第１１の実施形態］
本実施形態では、指標選択部６１０は、車両計測部１２０において車両の位置及び方位の計測を行う処理により有効な指標のみを選択する優先度判定部を更に有している。優先度判定部は、隠蔽判定部６３０が出力する指標の識別子を入力し、隠蔽判定部６３０から入力した指標の総数（Ｎ_Ａ）が、画像処理部６２０が同時に検出可能な指標の総数（Ｎ_Ｂ）を超える（すなわちＮ_Ａ＞Ｎ_Ｂ）場合に、Ｎ_Ａ個の指標からＮ_Ｂ個を選択してその識別子を画像処理部６２０へと出力する。
【０１６３】
選択は、例えば、Ｎ_Ａ個の指標からＮ_Ｂ個の指標を選択する組み合わせの夫々に対して、観測方程式ｈ_ｋ（ｘ_ｋ）をｘ_ｋで偏微分したヤコビ行列（これは一般にイメージヤコビアンと呼ばれている）を生成し、その特異値分解の結果得られる条件数が最も１に近くなる組み合わせを選択することで行う。このとき、時刻ｔ_ｋ−１における処理で画像処理部６２０が検出した指標のうちの最低Ｎ_Ｃ個（Ｎ_Ｃ＜Ｎ_Ｂ）を組み合わせの中に入れるという制約を設けることで、組み合わせ数の削減による計算量の軽減と、位置合わせの不連続性を除去するという効果を得ることができる。
【０１６４】
［第１２の実施形態］
車両計測手段は、ＧＰＳ受信手段をさらに有し、車両の大まかな位置及び方位の情報を車両計測部１２０に供給する。これにより、車両計測部１２０は、ＧＰＳ受信手段１１５から供給される大まかな位置及び方位をたとえば状態量ベクトルｘ_ｉの初期値として用いたり、外部指標検出部１０５によっていずれの指標も検出されない場合のバックアップとして用いることができる。
【０１６５】
［第１３の実施形態］
上記実施形態においては、車両計測部１２０は、状態方程式ｆ_ｋ（ｘ_ｋ−１）によって時刻ｔ_ｋにおける状態量ベクトルの推定値ｘ^＊ _ｋを算出していた。本実施形態においては、車両計測手段では、車両の回転及び並進運動の加速度を計測する加速度計を更に有しており、車両計測部１２０は、加速度計が計測した車両の回転及び並進運動の加速度とｆ_ｋ（ｘ_ｋ−１）とによって、状態量ベクトルの推定値ｘ^＊ _ｋを算出する。なお、物体の回転及び並進運動の加速度を計測する加速度計の構成方法や、物体の回転及び並進運動の加速度の計測値を位置姿勢とその時間微分成分を表す状態量ベクトルの推定に利用する方法については、例えば、横小路泰義，　菅原嘉彦，　吉川恒夫：画像と加速度計を用いたＨＭＤ上での映像の正確な重ね合わせ，　日本バーチャルリアリティ学会論文誌，　ｖｏｌ．４，　ｎｏ．４，　ｐｐ．５８９−５９８，　１９９９．　に述べられているので、詳細な説明は省略する。
【０１６６】
これにより、特に車両の状態が激しく変化するような状況下における推定値ｘ^＊ _ｋの精度が向上し、このような状況においてもナビゲーション情報を正確に表示できるという効果が期待できる。尚、頭部計測手段に関しても、搭乗者１３２の頭部の回転及び並進運動の加速度を計測する加速度計を有する構成をとることが可能であり、頭部計測において同様な効果が期待できる。
【０１６７】
［第１４の実施形態］
上記実施形態においては、実シーン座標系Σ_ｂにおける車両のｚ座標^ｂｚ_ｗは固定値であると仮定していた。しかし本実施形態では、^ｂｚ_ｗを計測し、これを動的に設定することにより、車両の高度が変化した場合における正確な情報表示を実現する。^ｂｚ_ｗの値は、例えば、ＧＰＳによって受信した高さ情報を用いて設定することができる。同様に、上記実施形態においては、車両の傾斜角（ロール角およびピッチ角）は一定であると仮定していた。本実施形態では、車両の傾斜角を計測しこれを動的に設定することにより、車両の傾斜角が変化した場合における正確な情報表示を実現する。傾斜角の計測は、例えば車両に装着した傾斜計によって行うことができる。
【０１６８】
［第１５の実施形態］
上記実施形態では、プロジェクタ１６０及びコンバイナ１７０によってフロントウィンドウ上への画像表示を行っていたが、これに限定されるものではなく、他のいずれのＨＵＤを用いてもよい。例えば、ホログラフィを用いた公知のＨＵＤを用いることで、虚像を対象物体付近に結像させることが期待できる。
【０１６９】
［第１６の実施形態］
上記実施形態では、画像表示装置の一部として車両計測手段が構成されていたが、これに限定されるものではなく、車両の位置及び／または方位を計測する他の何れの用途に上記車両計測手段を適用することが可能である。
【０１７０】
［第１７の実施形態］
上記各実施形態で説明した指標選択部６１０は、画像上で隠蔽されていないであろう指標を選択するという用途に対してであれば、上記使用目的以外にも適用可能である。特に、複合現実感提示装置におけるＨＭＤ装着カメラの撮影する画像に基づいて当該カメラあるいはＨＭＤ装着者の視点の位置及び姿勢を計測する目的において、その指標検出の過程に指標選択部６１０を適用することが有効である。なお、指標は上記実施形態のようなテンプレートマッチングによって検出されるテクスチャ様の指標でなくても良く、例えば、特定の色や形状を有するマーカのように、画像上での位置を特定することを目的とした何れの指標であっても、指標選択部６１０を用いることが可能であることは言うまでもない。また、画像上で検出された指標の候補となる画像特徴の同定処理を行う際に、現実空間中の指標のなかから対応すべき指標あるいはその候補を選択するような処理においても、指標選択部６１０は効果を発揮する。
【０１７１】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１７２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１７３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図４、及び／または図７、及び／または図８に示す）フローチャートに対応するプログラムコードが格納されることになる。
【０１７４】
【発明の効果】
以上説明したように、本発明によれば、車両の位置及び方位と搭乗者の頭部の位置を正確に計測し、車両におけるナビゲーション情報を実シーン上の適切な位置に重畳して提示する画像表示装置を実現することが可能となる。
【図面の簡単な説明】
【図１】車両に取り付けられた本発明の第１の実施形態に係る画像表示装置の機能構成を示すブロック図である。
【図２】虚像１７１の例を示す図である。
【図３】搭乗者１３２によって観察されるフロントウィンドウ部の状態を示す図である。
【図４】車両計測手段が行う処理のフローチャートである。
【図５】右後輪の回転速度を検出するための構成を示す図である。
【図６】外部指標検出部１０５の基本構成を示すブロック図である。
【図７】頭部計測手段が行う処理のフローチャートである。
【図８】制御手段である画像生成部１５０が行う処理のフローチャートである。
【図９】車両９００のボンネット部に取り付けられた外部撮影用カメラ１００を示す図である。

Claims (24)

1. 車両のフロントウィンドウ部に当該車両の搭乗者に対して提示する画像を表示させる表示装置を備える画像表示装置であって、
   世界座標系における前記車両の位置、方位を計測する車両計測手段と、
   前記車両内で定義される座標系における、前記車両の搭乗者の頭部の位置を計測する頭部計測手段と、
   前記フロントウィンドウ部において、前記車両計測手段により計測された前記車両の位置、方位と、前記頭部計測手段により計測された前記頭部の位置に応じた位置に、前記画像が表示されるように、前記表示装置を制御する制御手段と
   を備えることを特徴とする画像表示装置。
2. 前記車両計測手段は更に、前記車両の外界を撮像する外界撮像手段を備えることを特徴とする請求項１に記載の画像表示装置。
3. 前記車両計測手段は、前記外界撮像手段により撮像された前記外界の画像に含まれる指標の当該画像における位置を求め、求めた位置に基づいて世界座標系における前記車両の位置、方位を計測することを特徴とする請求項２に記載の画像表示装置。
4. 前記車両計測手段は更に、前記車両の後ろの左右の車輪の回転速度を計測する回転速度計測手段を備え、
   前記車両計測手段は、前記外界撮像手段により撮像された前記外界の画像に含まれる指標の当該画像における位置を求め、求めた位置と、当該回転速度計測手段により計測された回転速度に基づいて世界座標系における前記車両の位置、方位を計測することを特徴とする請求項２に記載の画像表示装置。
5. 前記頭部計測手段は更に、前記車両の搭乗者の頭部を撮像する頭部撮像手段を備え、
   当該頭部撮像手段により撮像された前記搭乗者の頭部の画像に含まれる指標の当該画像における位置を求め、求めた位置に基づいて前記車両内で定義される座標系における、前記車両の搭乗者の頭部の位置を計測することを特徴とする請求項１に記載の画像表示装置。
6. 前記画像は、ナビゲーション情報を示す画像であることを特徴とする請求項１に記載の画像表示装置。
7. 前記車両計測手段は、非ホロノミック拘束を用いて前記車両の位置、方位を計測することを特徴とする請求項１に記載の画像表示装置。
8. 車両に搭載され、当該車両の世界座標系における位置、方位を計測する計測装置であって、
   当該車両の外界を撮像する外界撮像手段と、
   当該外界撮像手段により撮像された前記外界の画像に含まれる指標の当該画像における位置を求める位置計算手段と、
   前記位置計算手段により求めた前記指標の前記画像における位置に基づいて、世界座標系における前記車両の位置、方位を計測する位置方位計測手段と
   を備えることを特徴とする計測装置。
9. 更に、前記車両の後ろの左右の車輪の回転速度を計測する回転速度計測手段を備え、
   前記位置方位計測手段は更に、当該回転速度計測手段により計測された回転速度を用いて、世界座標系における前記車両の位置、方位を計測することを特徴とする請求項８に記載の計測装置。
10. 撮影装置あるいは撮影装置を装着した物体の位置及び姿勢の計測を、該撮影装置によって撮影された撮影画像上における指標の検出によって行う計測装置であって、
    隠蔽されることなく前記撮影画像上で観測されるであろう指標を選択する指標選択手段を有し、
    選択された指標の情報に基づいて前記撮影装置あるいは撮影装置を装着した物体の位置及び姿勢を計測することを特徴とする計測装置。
11. 前記指標選択手段は、
    前記指標各々に関する情報を保持する指標情報保持手段と、
    前記指標情報保持手段が保持する前記指標各々に関する情報に基づいて前記指標各々の隠蔽の有無を判定する隠蔽判定手段をさらに有し、
    隠蔽されていないと判定された指標を選択することを特徴とする請求項１０に記載の計測装置。
12. 前記指標情報保持手段には、各指標を検出するためのテンプレートを撮影した際の前記撮影装置あるいは前記物体の位置姿勢情報が少なくとも保持されており、
    前記隠蔽判定手段は、前記指標情報保持手段が保持する前記撮影装置あるいは前記物体の位置姿勢情報と前記撮像装置あるいは前記物体の位置姿勢の推定値との比較によって隠蔽の有無を判定することを特徴とする請求項１１に記載の計測装置。
13. 前記指標情報保持手段には、前記指標各々の向きに関する情報が少なくとも保持されており、
    前記隠蔽判定手段は、前記指標情報保持手段が保持する前記指標各々の向きに関する情報と前記撮像装置の向きの推定値との比較によって隠蔽の有無を判定することを特徴とする請求項１１に記載の計測装置。
14. 前記指標情報保持手段には前記指標各々の位置が少なくとも保持されており、
    前記隠蔽判定手段は、前記指標各々の位置と前記撮像装置の位置姿勢の推定値と現実空間の形状情報に基づいて隠蔽の有無を判定することを特徴とする請求項１１に記載の計測装置。
15. 車両のフロントウィンドウ部に当該車両の搭乗者に対して提示する画像を表示させる表示装置を備える画像表示装置が行う画像表示方法であって、
    世界座標系における前記車両の位置、方位を計測する車両計測工程と、
    前記車両内で定義される座標系における、前記車両の搭乗者の頭部の位置を計測する頭部計測工程と、
    前記フロントウィンドウ部において、前記車両計測工程で計測された前記車両の位置、方位と、前記頭部計測工程で計測された前記頭部の位置に応じた位置に、前記画像が表示されるように、前記表示装置を制御する制御工程と
    を備えることを特徴とする画像表示方法。
16. 車両に搭載され、当該車両の世界座標系における位置、方位を計測する計測方法であって、
    当該車両の外界を撮像装置を用いて撮像する外界撮像工程と、
    当該外界撮像工程で撮像された前記外界の画像に含まれる指標の当該画像における位置を求める位置計算工程と、
    前記位置計算工程で求めた前記指標の前記画像における位置に基づいて、世界座標系における前記車両の位置、方位を計測する位置方位計測工程と
    を備えることを特徴とする計測方法。
17. 撮影装置あるいは撮影装置を装着した物体の位置及び姿勢の計測を、該撮影装置によって撮影された撮影画像上における指標の検出によって行う計測方法であって、
    隠蔽されることなく前記撮影画像上で観測されるであろう指標を選択する指標選択工程を有し、
    選択された指標の情報に基づいて前記撮影装置あるいは撮影装置を装着した物体の位置及び姿勢を計測することを特徴とする計測方法。
18. 前記指標選択工程は、
    前記指標各々に関する情報をメモリに保持する指標情報保持工程と、
    前記メモリが保持する前記指標各々に関する情報に基づいて前記指標各々の隠蔽の有無を判定する隠蔽判定工程をさらに有し、
    隠蔽されていないと判定された指標を選択することを特徴とする請求項１７に記載の計測方法。
19. 前記メモリには、前記指標各々の向きに関する情報が少なくとも保持されており、
    前記隠蔽判定工程では、前記メモリが保持する前記指標各々の向きに関する情報と前記撮像装置の向きの推定値との比較によって隠蔽の有無を判定することを特徴とする請求項１８に記載の計測方法。
20. コンピュータを請求項１乃至７の何れか１項に記載の画像表示装置として機能させることを特徴とするプログラム。
21. コンピュータを請求項８乃至１４の何れか１項に記載の計測装置として機能させることを特徴とするプログラム。
22. コンピュータに請求項１５に記載の画像表示方法を実行させることを特徴とするプログラム。
23. コンピュータに請求項１６乃至１９の何れか１項に記載の計測方法を実行させることを特徴とするプログラム。
24. 請求項２０乃至２３の何れか１項に記載のプログラムを格納するコンピュータ読み取り可能な記憶媒体。

Images