JP6518952B2 - 車両用表示装置の位置調整方法 - Google Patents

Description

本開示は運転者の視野上に虚像を表示する車両用表示装置に係り、特に虚像の観察者の視点を検知するための視点検知カメラと表示装置の相対的な位置および姿勢を算出する技術に関する。

ヘッドアップディスプレイ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ、ＨＵＤ）を自動車に搭載することで、運転者の視野上に虚像を表示することができ、視線移動が少なくなることで運転者が情報を読み取る際の負担を低減することができる。また、前方障害物をマーキングして強調するなどの拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）表示によって、運転者に対してより多くの情報を提供することが可能である。

このようなＡＲ表示を行う際には、運転者から見て描画対象物と描画内容が所定の位置関係にないと煩わしさや誤認識の原因となるため、運転者の視点位置を検出してそれに応じて描画位置を変更することが望ましい。一般的には車室内に視点検知用のカメラを設置し、それによって運転者の視点位置を検出する。

しかし、視点検知用のカメラ、ＨＵＤの双方に組み立て時のバラ付きや車体取り付け時のずれなどの誤差要因があり、両者の位置関係が設計時の想定と異なる可能性が高い。従って、取り付け後に何らかの手段で両者の相対姿勢を計測し、描画の際には計測された相対姿勢に基づいて描画を行うことが望ましい。

これに対して特許文献１では運転者の目の位置に鏡を設置し、視点検知用のカメラで撮影された鏡の像を見ながら視点検知用のカメラとＨＵＤの位置関係を調整する手法が開示されている。

特開２００９−２６２６６６号公報

特許文献１に記載の手法は視点検知用のカメラとＨＵＤの相対姿勢に媒介者である鏡の姿勢が加わるため、正しい相対姿勢を得るためには何らかの手段で正確な鏡の姿勢を知る必要がある。正確な鏡の姿勢を知る手順を踏むのは煩雑であるため、より簡便に相対姿勢を計測することができる手法が求められる。

本開示は、視点検知カメラとＨＵＤの相対姿勢を容易に計測し、ＨＵＤの表示位置を調整することが可能な車両用表示装置の表示位置調整方法を提供する。

本開示における表示位置調整方法は、運転者の前方視野上に虚像を表示する表示装置と、運転者を撮影する視点検知カメラと、を備えた車両表示装置の位置調整方法である。そして、虚像および位置調整のための情報を取得するための較正用パターンを撮影可能な位置に測定用カメラを設置すると共に、虚像の視野角、視点検知カメラの画角、および測定用カメラの画角に対して所定の位置に較正用パターンを配置するステップを有する。また、視点検知カメラおよび測定用カメラで較正用パターンを撮影するステップと、測定用カメラで虚像を撮影するステップとを有する。また、視点検知カメラによって撮影された映像と測定用カメラによって撮影された映像とを用いて、測定用カメラと視点検知カメラの相対位置と姿勢の算出、および測定用カメラと表示装置の相対位置と姿勢の算出を行った後、視点検知カメラと表示装置の相対位置と姿勢を姿勢情報として算出するステップを有する。さらに、姿勢情報を用いて表示装置が表示する虚像の位置を調整するステップを有する。

本開示における車両用表示装置の位置調整方法は、視点検知カメラとＨＵＤの相対姿勢を容易に計測し、ＨＵＤの表示位置を調整することが可能となる。

図１は、第１の実施の形態における表示位置調整方法の一構成例を示すブロック図である。 図２は、第１の実施の形態における表示位置調整方法の一構成例を示す機能ブロック図である。 図３は、第１の実施の形態における位置調整方法の処理の流れを示すフローチャートである。 図４は、第１の実施の形態における較正用パターンの設置例を示す図である。 図５は、第１の実施の形態における較正用パターンの他の設置例を示す図である。 図６Ａは、測定用カメラとＨＵＤの相対姿勢を説明する図である。 図６Ｂは、測定用カメラとＨＵＤの相対姿勢を説明する図である。 図７Ａは、表示位置の調整例を示す図である。 図７Ｂは、表示位置の調整例を示す図である。 図８は、第２の実施の形態における位置調整方法の処理の流れを示すフローチャートである。 図９は、第２の実施の形態における較正用パターンの設置位置の例を示す図である。 図１０Ａは、第２の実施の形態における較正用パターンの形状の例を示す図である。 図１０Ｂは、第２の実施の形態における較正用パターンの形状の例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（第１の実施の形態）
以下、図１〜図７Ａ、図７Ｂを用いて、第１の実施の形態を説明する。

［１−１．構成］
［１−１−１．装置構成］
図１は、第１の実施の形態における車両用表示装置１００の位置調整方法を説明するための模式図である。

図１に示すように、車両用表示装置１００の位置調整には、姿勢判定装置２００、較正用パターン３００を用いる。

車両用表示装置１００は、ＨＵＤ１１０、視点検知カメラ１２０、表示制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１３０を備える。

ＨＵＤ１１０は運転者の前方視野上に虚像を表示するもので、ヘッドアップディスプレイによって構成される。ＨＵＤ１１０はいわゆるウインドシールド型、コンバイナ型のいずれであっても本方法は適用可能である。

視点検知カメラ１２０は、運転者の顔を撮影する。撮影した映像は、運転者の視点位置測定に用いられる。視点検知カメラ１２０は、単眼カメラやステレオカメラなどによって構成される。本実施の形態では、ステレオカメラを用いるものとして説明を進める。視点検知カメラ１２０は、ダッシュボードやメーター内など、運転者の顔ができるだけ正面に近い方向から撮影出来る場所であれば、どこに設置してもよい。

表示制御ＥＣＵ１３０は、視点検知カメラ１２０の撮影や、ＨＵＤ１１０の表示位置など、車両用表示装置１００を構成する各構成要素を制御する。

姿勢判定装置２００は、測定用カメラ２１０とＰＣ２２０とを備える。

測定用カメラ２１０は、ＨＵＤ１１０が表示する虚像の表示位置を調整する時にのみ、車両内に設置されるカメラである。測定用カメラ２１０は、較正用パターン３００およびＨＵＤ１１０が表示した虚像を撮影する。測定用カメラは、例えば、ステレオカメラや距離センサーなどの組み合わせによって構成される。

ＰＣ２２０は、測定用カメラ２１０が撮影した映像と視点検知カメラ１２０が撮影した映像より、ＨＵＤ１１０の姿勢を判定する。較正用パターン３００は、位置調整時にのみ車両内に設置される。

［１−１−２．機能構成］
図２は、車両用表示装置１００および姿勢判定装置２００の機能ブロック図である。

車両用表示装置１００は、図１のＨＵＤ１１０に相当する表示部１１１、図１の視点検知カメラ１２０に相当する撮像部１２１、および図１の表示制御ＥＣＵ１３０に相当する視点検出部１３１、表示制御部１３２、ＣＰＵ１３３、メモリ１３４、出力Ｉ／Ｆ１３５を備える。姿勢判定装置２００は、図１の測定用カメラ２１０に相当する撮像部２１１、および図１のＰＣ２２０を構成するＣＰＵ２２１、出力Ｉ／Ｆ２２２を備える。また、車両用表示装置１００と姿勢判定装置２００のデータのやり取りに、本実施の形態では、メモリカード４００を用いる。

表示部１１１は運転者の視野上に虚像を表示する。撮像部１２１は、運転者の顔を所定の期間、例えば、毎秒３０枚撮影する。なお、撮像部１２１は、距離センサーなどと組み合わせて構成される。

視点検出部１３１は、撮像部１２１が所定の期間撮影した映像より、運転者の視点位置を検出する。視点位置の検出は、例えば、撮像部１２１が撮影した２枚の画像から、視点の視差を求めることで、視点の３次元位置を求めることができる。

表示制御部１３２は表示部１１１が表示する虚像の表示位置および表示内容を制御する。また、表示制御部１３２は姿勢判定装置２００が算出した姿勢情報に従って、表示部１１１の表示位置を制御する。

ＣＰＵ１３３は車両用表示装置１００全体の動作を制御するためのコントローラである。なお、視点位置の検出には、別途ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアを用いてもよい。

メモリ１３４はＣＰＵ１３３のワークメモリや、撮像部１２１で撮影した映像や、視点検出部１３１の検出結果などを記憶しておくために用いる。メモリ１３４は、ＤＲＡＭなどの揮発性メモリやフラッシュメモリなどの不揮発性メモリからなる。

出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１３５は、撮像部１２１が撮影した映像を姿勢判定装置２００へ出力したり、姿勢判定装置２００からの姿勢情報を入力したりするために用いられる。具体的には、出力Ｉ／Ｆ１３５は、撮像部１２１が撮影した映像を可搬可能なメモリカード４００に記録したり、メモリカード４００から姿勢情報を読み出したりする場合のメモリカードインタフェース等である。

撮像部２１１は、較正用パターン３００や、ＨＵＤ１１０が表示した虚像を撮影するのに用いられる。

ＣＰＵ２２１は、ＰＣ２２０を構成する各構成要素を制御するためのコントローラであり、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である不揮発性メモリ、入出力ポート、プログラムを実行するプロセッサを有する。ＰＣ２２０は、撮像部２１１が撮影した映像と車両用表示装置１００の撮像部１２１が撮影した映像より、図１のＨＵＤ１１０と視点検知カメラ１２０の相対位置と姿勢（相対姿勢）を判定し、ＨＵＤ１１０の表示位置を調整するための姿勢情報を算出する。

出力Ｉ／Ｆ２２２は、車両用表示装置１００の撮像部１２１が撮影した映像を入力したり、ＣＰＵ２２１が算出した姿勢情報を出力したりするために用いられる。具体的には、メモリカード４００より、撮像部１２１が撮影した映像を読み出したり、ＣＰＵ２２１が算出した姿勢情報をメモリカード４００に記録したりする場合のメモリカードインタフェース等である。

メモリカード４００は、可搬可能な記録媒体であり、撮像部１２１で撮影した映像や姿勢判定装置２００で算出した姿勢情報の入出力に使用される。

［１−２．動作］
図３は本実施の形態における位置調整方法の処理の流れを示すフローチャートである。図４は、本実施の形態における較正用パターンの設置例を示す図である。図５は、本実施の形態における較正用パターンの他の設置例を示す図である。

［１−２−１．処理の流れ］
まず、測定用カメラ２１０と較正用パターン３００を車両内の所定の位置に設置する（ステップＳ３０１）。測定用カメラ２１０はＨＵＤ１１０が表示する虚像を撮影可能な位置に設置する。較正用パターンは、虚像の視野角と視点検知カメラ１２０の画角に対して、所定の位置に配置する。

具体的には、較正用パターン３００は、図４に示すようにＨＵＤ１１０が表示する虚像Ａの視野角θ１、視点検知カメラの画角θ２、測定用カメラの画角θ３の３つの角が重なる範囲Ｂ（塗りつぶし領域）内に設置することが望ましい。

ここで、ＨＵＤ１１０および視点検知カメラ１２０の仕様によっては、図４のような位置に較正用パターン３００を配置することが困難である可能性も考えられる。そのような場合には図５に示すように、ＨＵＤ１１０が表示する虚像Ａの視野角θ１と測定用カメラ２１０の画角θ２の共通範囲α１と、視点検知カメラ１２０の画角θ３と測定用カメラ２１０の画角θ２の共通範囲α２に跨るように、較正用パターン３００を配置してもよい。ここで、共通範囲α１は、視点検知カメラ１２０の画角θ２の外に位置し、共通範囲α２は、虚像Ａの視野角θ１の外に位置する。

なお、図４、図５において、較正用パターン３００は、板状の形をしているが、これに限定されない。較正用パターン３００は、共通範囲α１、α２に跨る既知の形状であれば、どのような形状でも構わない。例えば、測定用カメラ２１０から見て、α１の領域に位置する部分と、α２の領域に位置する部分の奥行きが異なっている形状でも構わない。

次に、測定用カメラ２１０と視点検知カメラ１２０のそれぞれで較正用パターン３００を撮影する（ステップＳ３０２）。車両用表示装置１００のＣＰＵ１３３は、視点検知カメラ１２０に較正用パターン３００を撮影させ、撮影した映像をメモリ１３４に記録させる。同様に、姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０に較正用パターン３００を撮影させる。

視点検知カメラ１２０と測定用カメラ２１０による撮影が終了すると、較正用パターン３００を虚像Ａの視野角θ１の外に移動させる。その後、姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０に虚像Ａを撮影させる（ステップＳ３０３）。この際、虚像Ａとしては、虚像Ａの各画素が測定用カメラ２１０のどの位置に写っているかを特定できる特徴的なパターンを備えたものを表示する。ここで、特徴的なパターンの例としては画素ごとに色が異なるパターン、画素ごとに異なるタイミングで輝度や色が変化するパターン、などが考えられる。

次に、姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０と視点検知カメラ１２０で各々撮影した画像から、測定用カメラ２１０と視点検知カメラ１２０の相対姿勢の算出、および測定用カメラ２１０とＨＵＤ１１０の相対姿勢の算出を行う（ステップＳ３０４）。

この時、車両用表示装置１００の出力Ｉ／Ｆ１３５にメモリカード４００を接続し、メモリ１３４に記録されている視点検知カメラ１２０が撮影した映像をメモリカード４００に記録する。その後、メモリカード４００を姿勢判定装置２００の出力Ｉ／Ｆに接続させる。姿勢判定装置２００のＣＰＵ２２１は、メモリカード４００より視点検知カメラ１２０が撮影した映像を読み出す。ＣＰＵ２２１は、視点検知カメラ１２０が撮影した映像と、測定用カメラ２１０が撮影した映像を用いて、測定用カメラ２１０に対する視点検知カメラ１２０の相対姿勢を算出するとともに、測定用カメラ２１０に対するＨＵＤ１１０の相対姿勢を算出する。

姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０に対する視点検知カメラ１２０およびＨＵＤ１１０の相対姿勢から、視点検知カメラ１２０に対するＨＵＤ１１０の相対姿勢を算出する（ステップＳ３０５）。ＣＰＵ２２１は、算出結果を姿勢情報として、姿勢判定装置２００の出力Ｉ／Ｆ２２２を介してメモリカード４００に記録する。

車両用表示装置１００のＣＰＵ１３３は、車両用表示装置１００の出力Ｉ／Ｆ１３５を介して、メモリカード４００より、姿勢判定装置２００で算出された姿勢情報を読み出し、メモリ１３４に記録させる。ＣＰＵ１３３は、記録した姿勢情報に従って、表示制御部１３２にＨＵＤ１１０が表示する虚像の表示位置を調整させる（ステップＳ３０６）。

［１−２−２．測定用カメラと視点検知カメラの間の相対姿勢の測定］
ここでは、姿勢判定装置２００が算出する姿勢情報の算出方法について詳細に説明する。

まず、「視点検知カメラ１２０によって構成される３次元座標系」を「測定用カメラ２１０によって構成される３次元座標系」に変換する。この変換は（数１）で表される。

（数１）において、（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）は測定用カメラ２１０によって構成される３次元座標系上のある点Ｐの座標を表し、（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）は視点検知カメラ１２０によって構成される３次元座標系で点Ｐを見たときの座標を表す。また、Ｒ_ｃ１１からＲ_ｃ３３は座標系の回転に相当し、（ｔ_ｃｘ，ｔ_ｃｙ，ｔ_ｃｚ）は座標系の原点の平行移動量に相当する。ここで、座標系の回転Ｒ_ｃの９個の変数、および座標系原点の平行移動量ｔ_ｃの３つの変数、合計１２個の変数の値を求めることが、測定用カメラ２１０と視点検知カメラ１２０の間の相対姿勢を求めることに相当する。

以下、上記回転Ｒ_ｃおよび平行移動量ｔ_ｃを求める方法について説明する。

較正用パターン３００上のｎ個の点の座標を測定用カメラ２１０で測定した結果を（ｘ_ｗ１，ｙ_ｗ１，ｚ_ｗ１）、（ｘ_ｗ２，ｙ_ｗ２，ｚ_ｗ２）、…、（ｘ_ｗｎ，ｙ_ｗｎ，ｚ_ｗｎ）とする。また、較正用パターン３００上のｎ個の点の座標を視点検知カメラ１２０で測定した結果を（ｘ_ｃ１，ｙ_ｃ１，ｚ_ｃ１）、（ｘ_ｃ２，ｙ_ｃ２，ｚ_ｃ２）、…、（ｘ_ｃｎ，ｙ_ｃｎ，ｚ_ｃｎ）とする。これらを（数１）に代入した結果のうち、行列の１行目部分に着目すると、（数２）のようになる。

（数２）において、未知数はＲ_ｃ１１、Ｒ_ｃ１２、Ｒ_ｃ１３、ｔ_ｃｘの４つであるため、最低４点の座標の組が得られればこの方程式を解くことができる。実際にはカメラでの測定誤差の影響を考慮して４点より多くの点について測定を行い、最小自乗法などの手法で全体の誤差が最小となるように各未知数の値を定める。行列の２行目、３行目部分についても同様にして未知数の値を定めることができるので、説明を省略する。

［１−２−３．測定用カメラとＨＵＤの間の相対姿勢の測定］
まず、較正用パターン３００のｎ個の点について、測定用カメラ２１０の座標系における３次元位置（ｘ_ｗ１，ｙ_ｗ１，ｚ_ｗ１）、（ｘ_ｗ２，ｙ_ｗ２，ｚ_ｗ２）、…、（ｘ_ｗｎ，ｙ _ｗｎ，ｚ_ｗｎ）と、画像上の座標（ｕ_ｗ１，ｖ_ｗ１）、（ｕ_ｗ２，ｖ_ｗ２）、…、（ｕ_ｗｎ，ｖ_ｗｎ）を求める。次いでＨＵＤ１１０が表示した虚像を撮影した画像から、（ｕ_ｗ１，ｖ_ｗ１）、（ｕ_ｗ２，ｖ_ｗ２）、…、（ｕ_ｗｎ，ｖ_ｗｎ）の位置にＨＵＤ１１０の虚像のどの画素が写っているかを判定する。以下、判定されたＨＵＤ１１０の画素の座標を（ｕ_ｈ１，ｖ_ｈ１）、（ｕ_ｈ２，ｖ_ｈ２）、…、（ｕ_ｈｎ，ｖ_ｈｎ）とする。

ここでＨＵＤ１１０の画素の３次元位置が分かれば視点検知カメラ１２０と同様に扱うことができるのだが、ＨＵＤ１１０の虚像は視点位置が変化するとウインドシールドやコンバイナ形状の影響で形状に歪みが発生し、ステレオマッチングでは正しい３次元位置を測定できない可能性がある。また、虚像を観測可能な範囲が狭いとステレオカメラの両眼で虚像を観測できない可能性がある。従って以下の方法で虚像の３次元位置を定める。

具体的にはＨＵＤ１１０の光学中心位置および光軸の向き、即ち測定用カメラ２１０に対する相対姿勢を仮定すると、測定用カメラ２１０から見てどこに虚像が投影されるかはＨＵＤ１１０の設計スペックから一意に定まる。よって仮定した姿勢が正しいかどうかが判断できれば良いことが分かる。以下では仮定した姿勢が正しいかの判断方法について説明する。

ＨＵＤ１１０の画素（ｕ_ｈ１，ｖ_ｈ１）、（ｕ_ｈ２，ｖ_ｈ２）、…、（ｕ_ｈｎ，ｖ_ｈｎ）を、ある姿勢で空間中に投影した時の、測定用カメラ２１０の座標系における３次元座標をそれぞれ（ｘ_ｈ１，ｙ_ｈ１，ｚ_ｈ１）、（ｘ_ｈ２，ｙ_ｈ２，ｚ_ｈ２）、…、（ｘ_ｈｎ，ｙ_ｈｎ，ｚ_ｈｎ）とする。姿勢が正しい場合には図６Ａのように（ｘ_ｗ１，ｙ_ｗ１，ｚ_ｗ１）と（ｘ_ｈ１，ｙ_ｈ１，ｚ_ｈ１）を結ぶ直線Ｌ１、（ｘ_ｗ２，ｙ_ｗ２，ｚ_ｗ２）と（ｘｈ２，ｙ_ｈ２，ｚ_ｈ２）を結ぶ直線Ｌ２、…、（ｘ_ｗｎ，ｙ_ｗｎ，ｚ_ｗｎ）と（ｘ_ｈｎ，ｙ_ｈｎ，ｚ_ｈｎ）を結ぶ直線Ｌ３がある一点Ｐで交わる。これは各点が測定用カメラ２１０の画像上で同じ画素に写っている点同士であることから自明である。

一方で、姿勢が正しくない場合には図６Ｂのように各直線Ｒ１、Ｒ２、Ｒ３が一点で交わらない。各直線からの距離が最小となる点の座標（Ｘ，Ｙ，Ｚ）は以下の（数３）のＤを最小化するパラメータｔｉ（ｉ＝１…ｎ）を求めることで得ることができる。

ｔｉは最小自乗法などの手法で求めることができるので、ｔｉを求めた後に（数３）のＤの値自体を最小化するような（ｘ_ｈ１，ｙ_ｈ１，ｚ_ｈ１）、（ｘ_ｈ２，ｙ_ｈ２，ｚ_ｈ２）、…、（ｘ_ｈｎ，ｙ_ｈｎ，ｚ_ｈｎ）が得られる姿勢を同じく最小自乗法などの手法で求めることで、正しい姿勢が得られる。最終的に、ＨＵＤ１１０の座標系における３次元位置（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）を測定用カメラの座標系における３次元位置（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）に変換するための（数４）が得られる。

最後に、図３のステップＳ３０４で得られた測定用カメラ２１０に対する視点検知カメラ１２０、およびＨＵＤ１１０の相対姿勢から、視点検知カメラ１２０に対するＨＵＤ１１０の相対姿勢を算出する（ステップＳ３０５）。具体的には（数１）、（数４）から（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）を消去して、以下の（数５）を得る。

（数５）における行列部分が、視点検知カメラに対するＨＵＤの相対姿勢を表す。すなわち、（数５）の行列部分が姿勢情報に相当する。車両用表示装置１００のＣＰＵ１３３は、視点検知カメラ１２０で得られた運転者の視点の３次元位置をＨＵＤ１１０の座標系における３次元位置に変換するための演算を行う。表示制御部１３２は、ＣＰＵ１３３の演算結果に従って、ＨＵＤ１１０の表示位置を調整する。

［１−３．まとめ］
本実施の形態の表示位置調整方法は、運転者の前方視野上に虚像を表示するＨＵＤ１１０と、運転者を撮影する視点検知カメラ１２０とを備えた車両用表示装置１００において、虚像および位置調整のための情報を取得するための較正用パターン３００を撮影可能な位置に測定用カメラ２１０を設置すると共に、虚像の視野角θ１、視点検知カメラの画角θ２、および測定用カメラの画角θ３に対して所定の位置に較正用パターン３００を配置する。次に、視点検知カメラ１２０および測定用カメラ２１０で較正用パターン３００を撮影し、測定用カメラ２１０で虚像を撮影する。次に視点検知カメラ１２０によって撮影された映像と測定用カメラ２１０によって撮影された映像とを用いて、測定用カメラ２１０と視点検知カメラ１２０の相対位置と姿勢の算出、および測定用カメラ２１０とＨＵＤ１１０の相対位置と姿勢の算出を行った後、視点検知カメラ１２０とＨＵＤ１１０の相対位置と姿勢を姿勢情報として算出する。算出した姿勢情報を用いてＨＵＤ１１０が表示する虚像の位置を調整する。

これにより、ＨＵＤ１１０と視点検知カメラ１２０の相対姿勢を容易に計測することができる。

従って、ＨＵＤ１１０の表示位置調整を簡便に行うことができる。

例えば、特許文献１では、視点検知カメラ、ＨＵＤの双方に組み立て時のバラ付きや車体取り付け時のずれなどの誤差要因があり、両者の位置関係が設計時の想定と異なる可能性が高い。従って、図７Ａに示すように、測定された視点位置Ｑ１と設計時の視点位置Ｑ２にずれが生じる。この場合、視点位置Ｑ１から見て物体Ｃに重なるように虚像Ｉを表示しても、真の視点位置Ｑ２からは、虚像Ｉが物体Ｃに重なって見えない。これに対して、本開示における技術を適用すると、測定された視点位置Ｑ１から真の視点位置Ｑ２を算出できるので、図７Ｂに示すように、視点位置Ｑ２から見て物体Ｃに重なる位置に虚像Ｄ２を表示することができる。

（第２の実施の形態）
第１の実施の形態において、較正用パターンは視点検知カメラ、測定用カメラのいずれとも別体であったが、較正用パターンが測定用カメラに取り付けられている場合でも、以下に示す手順で較正を行うことができる。なお、第２の実施の形態における装置の構成は第１の実施の形態と重複するため記載を省略するものとする。その他第１の実施の形態と同様の箇所についても記載を省略する。

［２−１．動作］
図８は本実施の形態における位置調整方法の処理の流れを示すフローチャートである。図９は本実施の形態における較正用パターンの設置例を示す図である。

［２−１−１．処理の流れ］
処理の流れは図３で示した第１の実施の形態における処理の流れとほぼ同一である。大きく異なるのはステップＳ８０２で、較正用パターンが測定用カメラに取り付けられているため、視点検知カメラ１２０のみで較正用パターンを撮影する。較正用パターンは図９に示すように視点検知カメラ１２０の画角に収まるような形状である必要がある。なお、図９において較正用パターンは測定用カメラ２１０の下部に取り付けられているが、具体的な位置は必ずしもこの図の通りでなくてもよく、例えば測定用カメラ２１０の上部や、複数の箇所に取り付けられていてもよい。

［２−１−２．測定用カメラと視点検知カメラの間の相対姿勢の測定］
第１の実施の形態と同様に、まずは「視点検知カメラ１２０によって構成される３次元座標系」を「測定用カメラ２１０によって構成される３次元座標系」に変換する。一般に座標系間の変換を行うには、変換したい座標系の原点の位置および座標系の向きを定める必要がある。具体的には変換前の座標系での位置（ｘ，ｙ，ｚ）と変換後の座標系での位置（ｘ１，ｙ１，ｚ１）との間には以下の（数６）が成り立つ。

Ｒ_１１からＲ_３３は座標系の回転を表す行列で、変換後の座標系の向きが分かれば容易に求めることができる。（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）は座標系の原点の平行移動量に相当する。

測定用カメラ２１０によって構成される３次元座標系の原点位置と向きを得るための方法として、例えば図１０Ａ、図１０Ｂで示すように較正用パターン３００として３つの点を正三角形状に、測定用カメラ２１０の光学中心（測定用カメラ２１０によって構成される３次元座標系の原点）がその正三角形の重心に位置するように較正用パターン３００を配置し、視点検知カメラ１２０で較正用パターン３００の３つの点の３次元座標を計測する。これによって計測された３次元座標の重心が測定用カメラ２１０の光学中心の位置を表し、３つの点の３次元座標から決まる面の法線方向が測定用カメラ２１０の向きを表す。

なお、較正用パターンの例は図１０Ａ、図１０Ｂで示したものに限らず、測定用カメラ２１０の光学中心に対して位置が既知であり、かつ測定用カメラ２１０の向きを定義可能、即ち同一直線上にない３点以上の座標を定義可能である任意のパターンを用いることができる。

［２−１−３．測定用カメラとＨＵＤの間の相対姿勢の測定］
較正用パターン３００が測定用カメラ２１０の画角内かつＨＵＤ１１０の虚像の視野角内に存在する場合は実施の形態１で用いた方法をそのまま用いることが出来る。この条件を満たさない場合は以下のようにして測定用カメラとＨＵＤの間の相対姿勢を測定する。

第１の実施の形態についての説明でも述べた通り、ＨＵＤ１１０の光学中心位置および光軸の向き、即ち測定用カメラ２１０に対する相対姿勢を仮定すると、測定用カメラ２１０から見てどこに虚像が投影されるかはＨＵＤ１１０の設計スペックから一意に定まる。虚像のｎ個（ただしｎ≧３で、かつ少なくとも１つは同一直線上にない）の画素について、ＨＵＤ１１０がある姿勢を取った場合の、測定用カメラ２１０の画像上での位置（ｕ_１，ｖ_１）、（ｕ_２，ｖ_２）、…、（ｕ_ｎ，ｖ_ｎ）を算出する。これと測定用カメラ２１０で実際に撮影された画像上での各画素の画像上での位置（ｕ１_１，ｖ１_１）、（ｕ１_２，ｖ１_２）、…、（ｕ１_ｎ，ｖ１_ｎ）から、以下の（数７）で示す値Ｄ１が最小となるＨＵＤの姿勢を算出する。

Ｄ１の最小化はニュートン法などの数値計算アルゴリズムや、あるいは焼きなまし法（Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇ）のような確率的アルゴリズムを用いて行うことができる。

［２−２．まとめ］
以上のようにして測定用カメラと視点検知カメラの間の相対姿勢、および測定用カメラとＨＵＤの間の相対姿勢を定めることができれば、実施の形態１と同様の考え方で両者を結びつけ、視点検知カメラとＨＵＤの間の相対姿勢を計測することが出来る。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

例えば、較正用パターンとして、半透明の物体を用いてもよい。これによって、ＨＵＤの虚像を撮影する際に較正用パターンの設置や移動をする必要がなくなり、作業時間を短縮することができる。

また、上記実施の形態で説明した位置調整方法において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施の形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、虚像を表示するとともに、虚像の観察者の視点位置を計測して虚像の表示位置を制御する表示装置に適用可能である。

１００ 車両用表示装置
１１０ ＨＵＤ
１１１ 表示部
１２０ 視点検知カメラ
１２１，２１１ 撮像部
１３０ 表示制御ＥＣＵ
１３１ 視点検出部
１３２ 表示制御部
１３３，２２１ ＣＰＵ
１３４ メモリ
１３５，２２２ 出力Ｉ／Ｆ
２００ 姿勢判定装置
２１０ 測定用カメラ
２２０ ＰＣ
３００ 較正用パターン
４００ メモリカード

Claims (7)

1. 運転者の前方視野上に虚像を表示する表示装置と、
   前記運転者を撮影する視点検知カメラと、
   を備えた車両表示装置の位置調整方法であって、
   前記虚像および位置調整のための情報を取得するための較正用パターンを撮影可能な位置に測定用カメラを設置すると共に、
   前記虚像の視野角、前記視点検知カメラの画角、および前記測定用カメラの画角に対して所定の位置に前記較正用パターンを配置するステップと、
   前記視点検知カメラおよび前記測定用カメラで前記較正用パターンを撮影するステップと、
   前記測定用カメラで前記虚像を撮影するステップと、
   前記視点検知カメラによって撮影された映像と前記測定用カメラによって撮影された映像とを用いて、前記測定用カメラと前記視点検知カメラの相対位置と姿勢を算出するとともに、前記測定用カメラと前記表示装置の相対位置と姿勢を算出し、２つの前記相対位置と姿勢から前記視点検知カメラと前記表示装置の相対位置と姿勢を姿勢情報として算出するステップと、
   前記姿勢情報を用いて前記表示装置が表示する前記虚像の位置を調整するステップとからなる車両用表示装置の位置調整方法。
2. 前記虚像の視野角と、前記視点検知カメラの画角と、前記測定用カメラの画角が重なる範囲内に前記較正用パターンを設置する請求項１に記載の車両用表示装置の位置調整方法。
3. 前記虚像の視野角と前記測定用カメラの画角が重なる範囲であり、かつ前記視点検知カメラの画角外である領域と、前記視点検知カメラの画角と前記測定用カメラの画角が重なる範囲であり、かつ前記虚像の視野角の範囲外である領域に跨って、前記較正用パターンを設置する請求項１に記載の車両用表示装置の位置調整方法。
4. 前記較正用パターンは半透明である請求項２または３のいずれか一項に記載の車両用表示装置の位置調整方法。
5. 前記視点検知カメラと前記表示装置の相対位置と姿勢を姿勢情報として算出するステップにおいて、前記表示装置によって表示される虚像が、前記測定用カメラで撮影された画像のどの画素に前記虚像のどの画素が写っているかを特定するための特徴的なパターンを備えていることを特徴とする、請求項１から４のいずれか一項に記載の車両用表示装置の位置調整方法。
6. 前記画素を特定するための特徴的なパターンが、時間的に色や輝度が変化するパターンであることを特徴とする、請求項５に記載の車両用表示装置の位置調整方法。
7. 運転者の前方視野上に虚像を表示する表示装置と、
   前記運転者を撮影する視点検知カメラと、
   を備えた車両表示装置の位置調整方法であって、
   前記虚像を撮影する測定用カメラを設置すると共に、
   前記測定用カメラに対して所定の位置に取り付けられた位置調整のための情報を取得するための較正用パターンを前記視点検知カメラで撮影するステップと、
   前記測定用カメラで前記虚像を撮影するステップと、
   前記視点検知カメラによって撮影された映像と前記測定用カメラによって撮影された映像とを用いて、前記測定用カメラと前記視点検知カメラの相対位置と姿勢の算出、および前記測定用カメラと前記表示装置の相対位置と姿勢の算出を行い、２つの前記相対位置と姿勢から前記視点検知カメラと前記表示装置の相対位置と姿勢を姿勢情報として算出するステップと、
   前記姿勢情報を用いて前記表示装置が表示する前記虚像の位置を調整するステップとからなる車両用表示装置の位置調整方法。