JP2020182127A - キャリブレーション装置、キャリブレーションシステム、および表示装置のキャリブレーション方法 - Google Patents

Abstract

【課題】光学系を含む表示装置のキャリブレーションを高精度に実現する。【解決手段】キャリブレーションシステム８においてキャリブレーション対象の表示装置１２は、表示パネル３０ａ、３０ｂとレンズ３２ａ、３２ｂを備える。撮像装置１４は、レンズ３２ａ、３２ｂを介して、キャリブレーション用パターンの表示画像を撮影する。キャリブレーション装置１０は、撮影された観測画像を用いて、表示画像の補正に用いる歪みパラメータを取得する。【選択図】図２

Description

本発明は、光学系を含む表示装置のキャリブレーションを実現する装置、システム、およびキャリブレーション方法に関する。

撮像装置など光学系を利用した装置において、画像の歪みを除去したり画像解析を精度よく行ったりするには、キャリブレーションにより装置固有のパラメータを取得しておく必要がある。キャリブレーション技術としては、チェッカーパターンの平面チャートを複数の視点から撮影し、撮影画像上での特徴点の位置と、実空間でのチャートの平面における特徴点の位置とが正しい対応関係となるようにパラメータを最適化するZhangの手法が広く知られている（例えば非特許文献１参照）。また、プロジェクタが対象物に投影した画像をカメラで撮影することにより対象物の３次元情報を取得する装置においても、カメラやプロジェクタに対しキャリブレーションを行っておくことで、３次元計測の精度を向上させる技術が提案されている（例えば特許文献１参照）。

Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report, MSR-TR-98-71, December 2, 1998.

特開２０１５−１２８２４２号公報

一方、ヘッドマウントディスプレイや表示装置としてのプロジェクタのように、レンズにより拡大された画像を人に視認させる場合、その視認されている状態を定量的に評価するのは、撮影画像と異なり容易でない。レンズ単体に対しキャリブレーションを行ったり、装置の設計値を利用して各種パラメータを推定したりすることはできるが、製造時の取り付け誤差など個々の装置の状況を踏まえたものではない。結果として、歪んだ画像が視認されたり、表示装置によって画質がばらついたりすることが考えられる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、光学系を含む表示装置のキャリブレーションを高精度に実現できる技術を提供することにある。

本発明のある態様はキャリブレーション装置に関する。このキャリブレーション装置は、表示パネルと、当該表示パネルに表示された画像を透過させるレンズと、を備えた表示装置のキャリブレーションを行うキャリブレーション装置であって、表示パネルに表示させたキャリブレーション用パターンの像がレンズを透過してなる像を撮影した観測画像を取得する観測画像取得部と、観測画像における位置座標と、表示パネルの画面における位置座標との対応関係を取得する対応情報取得部と、当該対応関係に基づき、表示パネルに表示させる画像の補正に用いるパラメータを取得するパラメータ取得部と、を備えたことを特徴とする。

本発明の別の態様はキャリブレーションシステムに関する。このキャリブレーションシステムは、上記キャリブレーション装置と、キャリブレーション装置の制御により観測画像を撮影する撮像装置と、を含むことを特徴とする。

本発明のさらに別の態様はキャリブレーション方法に関する。このキャリブレーション方法は、表示パネルと、当該表示パネルに表示された画像を透過させるレンズと、を備えた表示装置のキャリブレーションを行うキャリブレーション装置が、表示パネルに表示させたキャリブレーション用パターンの像がレンズを透過してなる像を撮影した観測画像を取得するステップと、観測画像における位置座標と、表示パネルの画面における位置座標との対応関係を取得するステップと、当該対応関係に基づき、前記表示パネルに表示させる画像の補正に用いるパラメータを取得するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、光学系を含む表示装置のキャリブレーションを高精度に実現する。

ヘッドマウントディスプレイに表示される画像の補正の必要性を説明するための図である。 本実施の形態のキャリブレーションシステムの構成例を示す図である。 本実施の形態におけるキャリブレーション装置の内部回路構成を示す図である。 本実施の形態におけるキャリブレーション装置の機能ブロックの構成を示す図である。 本実施の形態においてキャリブレーション装置が行うキャリブレーションの処理手順の概要を示す図である。 本実施の形態において表示パネルの画面に表された画像とその観測画像を例示する図である。 本実施の形態において、キャリブレーション用パターンとして利用するグレイコードについて説明するための図である。 本実施の形態において、キャリブレーション用パターンとして利用する正弦波の位相シフトについて説明するための図である。 本実施の形態における位置関係の取得結果に関する特徴を、グレイコードのパターンを用いた場合と正弦波の位相をシフトさせるパターンを用いた場合で比較した図である。 本実施の形態においてグレイコード法と位相シフト法の結果を統合する処理の概念を説明するための図である。 図５のＳ１０における、キャリブレーションのための表示および撮影処理の手順を示すフローチャートである。 図１１で示した処理によって撮影される画像の例を示す図である。 図５のＳ１２において、画面座標と観測座標の対応関係を取得する処理手順を示すフローチャートである。 図１３のＳ４２において、対応情報取得部がグレイコード法により対応関係を取得する処理の手順を示すフローチャートである。 図１３のＳ４６において、対応情報取得部がグレイコード法および位相シフト法により得た対応関係を統合する処理の手順を示すフローチャートである。 図５のＳ１４においてパラメータ取得部が、歪みパラメータを取得する処理について説明するための図である。 本実施の形態において画面マップにプロットした点群の直線性を評価する手法の例を説明するための図である。 図５のＳ１４において、パラメータ取得部が歪みパラメータを取得する処理手順を示すフローチャートである。 本実施の形態によってキャリブレーションを実施した結果を例示する図である。 比較のためにグレイコードの結果のみを用いて補正した結果を示す図である。 実施の形態によってキャリブレーションを実施した結果の別の例を示す図である。

本実施の形態は、画像を表示させる表示パネルと、当該表示パネルからの光を透過させるレンズを備える表示装置のキャリブレーションに係る。その限りにおいて表示装置の種類は限定されず、代表的には、レンズを透過してなる像を人の眼に投影するヘッドマウントディスプレイや、当該像をスクリーンに投影するプロジェクタなどが考えられる。以後、主にヘッドマウントディスプレイのキャリブレーションについて説明するが、その他、光学系を利用する表示装置であれば同様に適用できる。

図１は、ヘッドマウントディスプレイに表示される画像の補正の必要性を説明するための図である。図ではわかりやすさのために、チェッカーパターンを表示させる場合を示している。なおヘッドマウントディスプレイは、ユーザが頭部に装着することにより、その眼前に位置する表示パネルに画像を表示させる装置である。本実施の形態を適用できるヘッドマウントディスプレイはさらに、表示パネルの前面に接眼レンズを設けた構造を有する。接眼レンズにより、ユーザの視野の広い範囲で画像が視認される。

まず上段の（ａ）に示すように、歪みのない入力画像２０をヘッドマウントディスプレイの表示パネルにそのまま表示させれば、当然、入力画像２０と同様の出力画像２２が表示される。当該画像を、レンズ１６を介して見ると、ユーザにはレンズ１６の歪曲収差により、歪んだ画像２４が視認される。一方、下段の（ｂ）に示すように、歪みのない入力画像２０に対し、レンズ１６の歪曲収差を踏まえた補正を施した出力画像２６を表示させれば、レンズ１６を介して見たときに歪みのない画像２８を視認させることができる。レンズによる画像の歪みは、一般に次のようなモデル式により表される。

ここで（ｘ，ｙ）は歪みのない画像における位置座標、ｒは歪み中心から当該位置座標までの距離、（ｘ’，ｙ’）は歪みのある画像における対応する位置座標である。ｋ１、ｋ２、ｋ３は半径歪みを表す係数、ｐ１、ｐ２は接戦歪みを表す係数である。以後、これらのパラメータと、歪み中心の位置座標を総称して「歪みパラメータ」と呼ぶ。ただし本実施の形態で用いる歪みのモデル式を上記に限る趣旨ではなく、モデル式によってパラメータも様々でよい。（ｂ）に示すように、レンズを介して見たときに本来の画像が視認されるようにするには、レンズ特有の歪みパラメータを正確に求めておく必要がある。

表示画像の補正に必要な歪みパラメータは、レンズ単体による歪みの度合い以外に、表示パネルとレンズの相対的な位置や姿勢の関係にも依存する。装置の設計値等から歪みパラメータを定数として導入すると、取り付け誤差等の装置の個体差によって、視認される画像の質がばらつくことが考えられる。また歪みパラメータが未知のディスプレイについては、レンズを取り外して単体での歪みの度合いを取得したり、設計値を取得したりしなければ、歪みパラメータが得られないことになる。そこで本実施の形態では、表示パネルとレンズが実装された状態で、表示画像がレンズを透過してなる像を撮像装置で撮影することにより、歪みパラメータを正確に求める。

図２は、本実施の形態のキャリブレーションシステムの構成例を示している。キャリブレーションシステム８は、表示装置１２、撮像装置１４、およびキャリブレーション装置１０を含む。表示装置１２は少なくとも、表示画像を表す表示パネル３０ａ、３０ｂ、および表示された画像を透過させるレンズ３２ａ、３２ｂを備える。図示する表示装置１２は、立体視が可能なヘッドマウントディスプレイを想定している。

そのためユーザの左右の眼の前に左目用、右目用の画像をそれぞれ表示させる表示パネル３０ａ、３０ｂと、左目用、右目用の２つのレンズ３２ａ、３２ｂを示している。ただし表示パネルとレンズの組の数は限定されない。上述のとおり表示装置１２において表示パネル３０ａ、３０ｂとレンズ３２ａ、３２ｂは、キャリブレーション実行時には組み付けられた状態とする。したがって表示装置１２には、入力された画像を表示パネルに表示させるための映像信号処理機構とパネル駆動機構が備えられているが、本図では省略している。

撮像装置１４は、表示パネルとレンズの組ごとに、レンズを透過してなる像を撮影する。したがって図示する撮像装置１４は、左右のレンズ３２ａ、３２ｂのそれぞれに対しカメラを設けたステレオカメラとしているが、撮像装置１４をステレオカメラに限る趣旨ではない。キャリブレーション装置１０は、表示装置１２の表示パネル３０ａ、３０ｂにキャリブレーション用のパターンを表示させ、それがレンズ３２ａ、３２ｂを透過してなる像を、撮像装置１４に撮影させる。

そして、当該撮影画像のデータを解析することにより、歪みパラメータを取得する。ここでキャリブレーション装置１０は、複数のキャリブレーション用パターンのデータを表示装置１２に順次送信し、表示画像を時間変化させる。そして撮像装置１４に同期信号を送信することにより、各パターンの表示と同期するタイミングで、その撮影画像が得られるようにする。同期信号を発生させるマイコンボード等をキャリブレーション装置１０と撮像装置１４の間に設けてもよい。

図３は、キャリブレーション装置１０の内部回路構成を示している。キャリブレーション装置１０は、ＣＰＵ（Central Processing Unit）１２２、ＧＰＵ（Graphics Processing Unit)１２４、メインメモリ１２６を含む。ＣＰＵ１２２は、オペレーティングシステムやアプリケーションなどのプログラムに基づいて、装置内部の構成要素における処理や信号伝送を制御する。ＧＰＵ１２４は画像処理を行う。メインメモリ１２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

これらの各部は、バス１３０を介して相互に接続されている。バス１３０にはさらに入出力インターフェース１２８が接続されている。入出力インターフェース１２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部１３２、ハードディスクドライブや不揮発性メモリなどの記憶部１３４、表示装置１２や撮像装置１４へデータや制御信号を出力する出力部１３６、撮像装置１４や図示しない入力装置からデータを入力する入力部１３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部１４０が接続される。

ＣＰＵ１２２は、記憶部１３４に記憶されているオペレーティングシステムを実行することにより装置の全体を制御する。ＣＰＵ１２２はまた、リムーバブル記録媒体から読み出されてメインメモリ１２６にロードされた、あるいは通信部１３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ１２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ１２２からの描画命令に従って画像描画を行う。

図４は、キャリブレーション装置１０の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図３で示したＣＰＵ１２２、ＧＰＵ１２４、メインメモリ１２６などで実現でき、ソフトウェア的にはハードディスクや記録媒体からメインメモリ１２６にロードされたコンピュータプログラムなどで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

キャリブレーション装置１０は、表示装置１２にキャリブレーション用のパターンを表示させる表示制御部４０、キャリブレーション用パターンのデータを格納するキャリブレーション用パターン記憶部４２、表示と同期したタイミングで撮像装置１４に撮影させる撮影制御部４８、撮影された表示画像を観測画像として取得する観測画像取得部５０、観測画像における位置座標と表示パネルの画面における位置座標との対応関係を取得する対応情報取得部５２、取得した対応関係を格納する対応情報記憶部４４、当該対応関係に基づき歪みパラメータを取得するパラメータ取得部５４、取得した歪みパラメータを格納する歪みパラメータ記憶部４６を備える。

表示制御部４０は図３のＣＰＵ１２２、ＧＰＵ１２４、出力部１３６などで実現され、キャリブレーション用パターンのデータを送信することにより、表示装置１２に当該パターンを表示させる。このとき上述のように、複数のキャリブレーション用パターンを、設定された時系列順に送信することにより、表示を時間変化させる。また好適には、複数系統のパターン群を順次表示させる。キャリブレーション用パターン記憶部４２は図３のメインメモリ１２６で実現され、当該複数のキャリブレーション用パターンのデータ、あるいは当該パターンの生成規則のデータを格納する。後者の場合、表示制御部４０は、格納された規則に従い内部でキャリブレーション用パターンを生成してよい。

撮影制御部４８は図３のＣＰＵ１２２、出力部１３６などで実現され、撮像装置１４に制御信号を送信することにより、キャリブレーション用パターンの観測画像を撮影させる。詳細には上述のとおり、表示制御部４０が制御する複数のキャリブレーション用パターンの表示タイミングに同期したタイミングで撮影がなされるようにする。観測画像取得部５０は図３のＣＰＵ１２２、入力部１３８、メインメモリ１２６などで実現され、撮像装置１４により撮影された観測画像のデータを順次取得する。

対応情報取得部５２は図３のＣＰＵ１２２などで実現され、観測画像を解析し、表示パネルの画面における位置座標（以後、「画面座標」とも呼ぶ）と、観測画像の平面における位置座標（以後、「観測座標」とも呼ぶ）との対応関係を取得する。ここで対応情報取得部５２は、各観測座標において観測された輝度の時間変化に基づき、そこで観測された光の発生元である画面座標を特定する。

キャリブレーション用パターンのそれぞれが単純な図形の繰り返しであっても、時間変化の要素を組み合わせることにより、細かい粒度で位置座標の対応関係を取得できる。輝度の時間変化によって位置の対応を取得できれば、具体的なパターンは限定されないが、本実施の形態では後述するように、グレイコードのパターン群と、正弦波を位相シフトさせたパターン群を導入することを考える。この場合、対応情報取得部５２は、それらのパターン群の観測画像を用いて個別に対応関係を取得し、その結果を統合して最終的な対応関係を得る。

ただし上述のとおり用いるパターンは限定されず、場合によってはチェッカーパターンなど規則的な特徴点を有するパターンの静止画の観測画像を、上述のような輝度を変化させるパターン群と組み合わせて用いてもよい。また求められる精度や分解能によっては、複数系統のパターンを組み合わせなくてもよい。対応情報記憶部４４は図３のメインメモリ１２６で実現され、各段階で取得された位置座標の対応関係のデータを格納する。

パラメータ取得部５４は図３のＣＰＵ１２２で実現され、対応情報記憶部４４に格納された画面座標と観測座標の対応関係に基づき、歪みパラメータを取得する。具体的には、対応関係が得られている観測画像上の点群（位置座標群）のうち、直線をなす点群に対応する、画面上の点群も直線をなすように、歪みパラメータを最適化する。歪みパラメータ記憶部４６は図３のメインメモリ１２６で実現され、パラメータ取得部５４が取得した歪みパラメータを格納する。

あるいは歪みパラメータ記憶部４６は、記憶部１３４、または図３の記録媒体駆動部１４０によって駆動する記録媒体としてもよい。これらの手段により記録された歪みパラメータは最終的には、例えば表示装置１２が備える不揮発性メモリに格納しておく。そして運用時には、表示画像を生成するコンテンツ処理装置が当該データを読み出し、コンテンツの画像をそれに従い歪ませたうえで表示装置１２に表示させる。このように表示された画像を、レンズを介して鑑賞することにより、歪みのない画像が視認される。

図５は、キャリブレーション装置１０が行うキャリブレーションの処理手順の概要を示している。まず表示制御部４０はキャリブレーション用パターン記憶部４２からキャリブレーション用パターン６０のデータを読み出し、表示装置１２に順次表示させる。撮影制御部４８は、表示に同期したタイミングで、レンズを透過してなる像を撮像装置１４に撮影させる（Ｓ１０）。

観測画像取得部５０が、撮影された歪みのある観測画像６２を取得すると、対応情報取得部５２は、画面座標と観測座標の対応関係を取得する（Ｓ１２）。例えば対応情報取得部５２は、各観測座標に対応する画面座標のｘ成分、ｙ成分を、観測画像平面にそれぞれ表した対応マップ６４を作成し、対応情報記憶部４４に格納する。次にパラメータ取得部５４は、対応する点群が観測画像上でも表示パネルの画面上でも直線となるように、歪みパラメータを最適化することで最終結果を得る（Ｓ１４）。

図６は、表示パネルの画面に表された画像とその観測画像を例示している。図示する表示画像７０には、観測画像平面の各位置に対応する、画面座標のｘ成分を求めるため、縦方向のストライプからなるパターンが表わされている。当該パターンを、レンズを介して撮影すると、ストライプが歪んだ観測画像７２が得られる。対応情報取得部５２は、表示画像７０における画面座標（例えば画面座標７４）と、それを撮影した観測画像７２における観測座標（例えば観測座標７６）の対応づけを行う。

撮像装置１４のキャリブレーションを適切に行っておくことにより、３次元空間での表示画像７０から観測画像７２の射影は、次のようなピンホールモデルで表される。

ここでｍ（ｕ，ｖ）は観測画像におけるｕｖ座標、Ｍ（Ｘ，Ｙ，Ｚ）は表示パネルの画面上の位置座標である。Ｒは回転行列、ｔは並進ベクトルである。Ａはレンズに係るパラメータであり、次のように表される。

ここで（ｆ_ｘ、ｆ_ｙ）は画素単位での焦点距離、（Ｃ_ｘ，Ｃ_ｙ）は主点の位置座標を表す。図示するようにレンズによる歪みが存在する状態では、この射影変換に、さらに式１で示したレンズ歪みモデルによる変換が加わる。ただし本実施の形態では上述のとおり、観測画像７２における点群と、表示画像７０上での対応する点群の直線性という平面上での幾何的なアプローチにより、式１の歪みパラメータを個別に導出する。

なお図示する例では表示画像７０と観測画像７２の平面を正規化して示しているが、実際には焦点距離に依存して両者の倍率が変化し、対応する位置座標に影響を与えるため、適切な焦点距離の値を設定しておく必要がある。焦点距離が小さ過ぎると視野範囲が広がり過ぎて式１のｒ^ｎがオーバーフローする。大きすぎると視野範囲が狭まり過ぎて歪みパラメータが発散する。目安としてディスプレイの解像度の１／２〜１／４の範囲内の焦点距離とすることにより、歪みパラメータを好適に求めることができる。

図７は、キャリブレーション用パターンとして利用するグレイコードについて説明するための図である。グレイコードは例えば３次元計測などに構造化光として用いられる。具体的には計測対象に複数の白黒２値光を投射することで、領域内の各点にバイナリコードを対応づけることができる。本実施の形態では、グレイコードのパターンを表示に利用する。例えば図の（ａ）に示すように、様々な幅の黒と白の縦線（ストライプ）からなるパターン系列を、図の左から右の順序で表示させていく。

図示するように右のパターンほど細かいストライプとなっており、最も細かいストライプが、位置座標を識別する最小単位となる。当該最小単位の全てで、黒（輝度値０）と白（輝度値１）からなる輝度の時間変化のパターンを異ならせることにより、それぞれに異なるバイナリコードを対応づけていることになる。例えば中段に抜粋して示す例では、最も左の単位は［０，０，０］なる輝度の変化のため、これを１０進数で表すと「０」になる。それより右の単位も同様に、１０進数で「１」、「２」、「３」、「４」なる識別番号が対応づけられる。

図６に示したように、観測画像においてはストライプが歪みをもって表されるが、表示画面における対応するストライプと同じように輝度が変化するため、当該歪みのあるストライプの像が、表示画面上のどのストライプに対応するかが判明する。（ａ）に示した縦方向のストライプにより、観測画像上の各点を、画面座標のｘ成分に対応づけることができる。（ｂ）は、横方向のストライプからなるパターン系列を示しており、（ａ）と同様の原理により、観測画像上の各点を、画面座標のｙ成分に対応づけることができる。

この手法によれば原理的には、最も細かいストライプの幅を最小単位として、観測座標と画面座標の対応関係を一意に定めることができる。しかしながら観測画像におけるモアレやブラーの発生、表示パネルと撮像装置１４の解像度の差などに起因して、特にストライプの幅が狭い画像では、ストライプの境界が不鮮明だったり黒つぶれしたりして、位置の判別に誤差が生じる可能性がある。

図８は、キャリブレーション用パターンとして利用する正弦波の位相シフトについて説明するための図である。このパターン系列７８は、画面の横方向または縦方向に、正弦波の形状で変化する輝度分布を有するとともに、その位相が時間変化するパターンで構成される。図示するパターン系列７８は、画面の横方向に正弦波形状に輝度を変化させており、所定の時間間隔Δｔで９０°ずつ位相がずれている。

各時刻ｔ１、ｔ２、ｔ３、ｔ４における輝度の空間変化の一部を図の下段に示している。ここで、時刻ｔ１において輝度が０．５となる位置のうち左端の位置をｘ＝０としている。例えばパターン系列７８の各パターンに示した白丸の位置は、下段の位置ｘ＝ｘａに対応している。各位置における輝度の時間変化も正弦波形となるため、その位相θを取得することにより、空間方向の正弦波に対する、当該位置の位相が判明する。

観測画像においても、輝度の時間変化が同じ位相を示す位置を取得することにより、画面座標のｘ成分と対応づけることができる。なお位相は０≦θ＜２πで定義されるため、例えば観測画像の左側から位置の対応づけを行っていき、次式のように対応する画面座標ｘａが正弦波の１周期分の幅ｘｂを超える都度、位相θに対応する幅にｘｂを加算していくことで、画面座標のｘ軸方向の連続した値ｘａと対応づけることができる。
ｘａ＝（θ／２π）・ｘｂ＋ｘｂ・ｎ， ｎ＝［ｘａ／ｘｂ］ （式４）

画面の縦方向に、正弦波形状に輝度を変化させたパターンによっても同様に、画面座標のｙ成分と対応づけられる。輝度の時間変化を取得する位置は限定されないため、例えば表示画像の画素単位など細かい単位で位置の対応を取得できる。ただしこの手法で直接的に得られるのはあくまで位相θであり、画面上での対応する位置座標の絶対値（例えば位置ｘａ）は、ｘ＝０など基準となる位置の対応が得られているときに限って一意に定まる。

図９は、位置関係の取得結果に関する特徴を、グレイコードのパターンを用いた場合と正弦波の位相をシフトさせるパターンを用いた場合で比較している。以後、前者の手法を「グレイコード法」、後者の手法を「位相シフト法」と呼ぶ。（ａ）に示すグレイコード法による結果のうち、左に示す理想的な状態では、最も細かいストライプの幅を単位とする画面座標ｘｄのそれぞれに対し、同じ単位で観測座標ｘｐが得られる。一方、上述のとおり、モアレパターンやブラーの影響でストライプの境界が不鮮明になったり潰れたりすると、撮影画像上での位置の分解能が低下する。

その結果、右に示すように、画面座標ｘｄが定義される最小単位より大きい、観測画像上での単位ごとに、観測座標ｘｐが画面座標ｘｄに対応づけられることになる。一方、（ｂ）に示す位相シフト法による結果のうち、左に示す理想的な状態では、パターンが表されている画面上の全ての範囲（図では画面座標の０以上１４４０以下）が、観測画像上に表れている。この場合、端点を基準とするアフィン変換により、各観測座標の位相θから画面座標の絶対値を求めることができる。

また上述のとおり、位相シフト法によれば、より細かい粒度での対応づけができるため、図では対応関係が曲線形状となっている。一方、図の右に示すように、表示パネルに表されたパターンの端が観測画像の視野から外れていると、基準となる対応関係が得られないため、各観測座標の位相θが判明しても、対応する画面座標の絶対値が不定となる。そこでグレイコード法による結果と統合することにより、位相シフト法による結果を明確化する。

図１０は、グレイコード法と位相シフト法の結果を統合する処理の概念を説明するための図である。この処理は、粗い粒度であっても画面座標と観測座標の絶対値での対応関係が得られるグレイコード法による結果を用いて、細かい粒度で相対的な対応関係が得られている位相シフト法による結果を、座標の絶対値の対応関係として表すことを目的とする。基本的には、グレイコード法の結果を示す折れ線８２と同じ変化を表していると見なされるように、位相シフト法の結果を示す曲線８４を変形させる。

例えばＲＡＮＳＡＣ（Random Sample Consensus）のアルゴリズムを利用して、矢印８６で表象されるスケーリングパラメータと、矢印８８で表象される並進パラメータからなるアフィン変換パラメータの最適値を取得する。ＲＡＮＳＡＣは点集合をモデル化する手法であり、ランダムに選択したサンプリング点に対しモデルのパラメータを算出し、それを適用した場合の確からしさを評価する処理を繰り返すことにより最終的なモデルに帰結させる。

この手法により得られたアフィン変換パラメータを用いて曲線８４を変換した結果を、最終的な位置座標の対応関係の情報とする。ただし実際には、観測座標および画面座標がそれぞれ２次元のため、例えば観測座標の２次元に対し画面座標の各成分を表した３次元空間での面に対する変換処理となる。

図１１は、図５のＳ１０における、キャリブレーションのための表示および撮影処理の手順を示すフローチャートである。なおこのフローチャートは、レンズの色収差を考慮して、赤、緑、青のキャリブレーションパターンを用いて個別にキャリブレーションを実施する例を示している。この場合、図７、８で示した「白」は、最大輝度で表した各色成分で置き換えられる。まず表示制御部４０および撮影制御部４８はそれぞれ、表示装置１２に表示させるキャリブレーション用パターンや、撮像装置１４における撮像条件の初期設定を行う（Ｓ３０）。

具体的には表示制御部４０は、表示するパターンのデータをキャリブレーション用パターン記憶部４２から読み出す。撮影制御部４８は、観測画像において解析に好適な像が得られるように、露光時間や絞り値などの撮影条件を設定する。次に表示制御部４０は、全面が白色の画像を表示装置１２に表示させ、撮影制御部４８は撮像装置１４にそれを撮影させる（Ｓ３２）。これにより、観測画像のうち表示パネルの画面に相当する領域を特定しておく。

そして表示制御部４０は、表示パネルの原色である赤、緑、青のうち対照色を一つ定め（Ｓ３３）、当該色のキャリブレーション用パターンを表示装置１２に表示させ、撮影制御部４８は撮像装置１４にそれを撮影させる（Ｓ３４）。以後、撮影された画像のデータは順次、観測画像取得部５０が撮像装置１４から取得し、メインメモリ１２６に保存していく。対照色の全てのキャリブレーション用パターンの撮影が終了するまで、順次パターンの表示と撮影を繰り返す（Ｓ３６のＮ、Ｓ３４）。

ここで全てのキャリブレーション用パターンとは、上述の例では縦横双方向のグレイコードのパターン系列と、縦横双方向の正弦波のパターン系列である。ただし本実施の形態で用いるパターンをこれらに限る趣旨ではない。対照色の全てのパターンの撮影が完了したら（Ｓ３６のＹ）、原色のうち別の色を対照色として、キャリブレーション用パターンの表示と撮影を繰り返す（Ｓ３８のＮ、Ｓ３３、Ｓ３４、Ｓ３６のＮ）。

なお表示させるパターンの色によって観測画像の輝度が不足したり過剰になったりする場合があるため、あらかじめ色ごとに撮影条件の最適値を取得しておく。撮影制御部４８は、対照色を切り替える際に必要に応じて撮影条件を切り替える。全ての原色について、全キャリブレーション用パターンの撮影が完了したら処理を終了する（Ｓ３８のＹ）。

図１２は、図１１で示した処理によって撮影される画像の例を示している。（ａ）は図１１のＳ３２において取得される白色画像の撮影画像である。また（ｂ）、（ｃ）は、図１１のＳ３４で取得される、あるグレイコードのパターンと、ある正弦波のパターンの観測画像である。（ａ）に示すように撮影画像の平面のうち白く写っている領域（輝度が所定値以上の領域）を特定しておくことにより、（ｂ）や（ｃ）の観測画像においてパターンが写っている領域を限定できる。これにより、観測座標と画面座標の対応関係を取得する処理の効率を上げるとともに、パターンの写っていない周辺領域をパターンの一部と誤認するのを防ぐことができる。

図１３は、図５のＳ１２において、画面座標と観測座標の対応関係を取得する処理手順を示すフローチャートである。まず対応情報取得部５２は、メインメモリ１２６から白色画像の撮影画像を読み出し、画像平面において白く写っている領域以外を解析対象から除外するためのマスクデータを生成する（Ｓ４０）。次に対応情報取得部５２は、メインメモリ１２６から観測画像のデータを読み出し、撮影されたパターン系列に応じた解析手法で、観測画像と表示画像の位置的な対応関係を取得する（Ｓ４２）。

すなわち複数の観測座標における輝度の変化を取得していくことにより、各座標に対応する表示パネルの画面上の位置、または位相を特定する。観測画像は原色のそれぞれに対し得られているため、対応関係も色ごとに取得する。用いるパターン系列を１つとする場合（Ｓ４４のＮ）、対応情報取得部５２はＳ４２で得られた対応関係の情報を対応情報記憶部４４に格納して処理を終了する（Ｓ４８）。例えば要求される精度の観点から、グレイコード法による結果のみでも十分な場合、位相シフト法による解析を省略することで、結果の統合処理は必要なくなる。

複数のパターン系列で対応関係の結果を得た場合は（Ｓ４４のＹ）、対応情報取得部５２は、それらを統合することにより最終的な対応関係の情報を取得する（Ｓ４６）。そして当該対応関係の情報を対応情報記憶部４４に格納して処理を終了する（Ｓ４８）。なおこの処理で得られる対応関係は、例えば観測画像の平面の各座標に、対応する画面座標の値を表した２次元マップの形式とする。

図１４は、図１３のＳ４２において、対応情報取得部５２がグレイコード法により対応関係を取得する処理の手順を示すフローチャートである。まず対応情報取得部５２は、画像平面のｘ軸方向およびｙ軸方向のうち対象とする方向を決定する（Ｓ５０）。次に対応情報取得部５２は、対象方向の対応関係を特定するためのパターン系列のうち、輝度を反転させたパターン対の観測画像を抽出し、それらの差分画像を生成する（Ｓ５２）。例えば図７の（ａ）において、左から１番目と２番目のパターンは輝度の分布が反転している。

対応情報取得部５２はそれらを撮影した観測画像の対をメインメモリ１２６から読み出し、１番目の画像の画素値から２番目の画像の画素値を減算することにより差分画像を生成する。図７で例示したパターンの並びによれば、連続する２つのパターンがそれぞれ、輝度の分布を反転させた対をなすため、そのうち前の画像から後の画像を減算することにより差分画像を生成できる。当該差分画像は、パターンにおけるストライプの境界を境に画素値の正負が逆転した画像となる。

したがって対応情報取得部５２は、０を境界値とすることにより差分画像を二値化する（Ｓ５４）。これにより、観測画像におけるストライプの境界を高精度に特定することができる。輝度の分布を反転させたパターン対の観測画像の全てに対しＳ５２、Ｓ５４の処理を繰り返す（Ｓ５６のＮ）。全ての対で観測画像の二値化が完了したら（Ｓ５６のＹ）、所定間隔の観測座標ごとに輝度の変化を取得することにより、対応する画面座標を取得し、対応情報記憶部４４に保存する（Ｓ５８）。

このデータは、２次元の観測座標に対し、２次元の画面座標のうち一方の成分が対応づけられたデータとなる。続いて対応情報取得部５２は、対象とする方向を切り替えてＳ５０からＳ５８の処理を繰り返す（Ｓ６０のＮ）。これにより、観測座標に対し画面座標の残りの成分を対応づけたデータが得られるため、対応情報取得部５２はそれらを統合して２次元マップを生成し、グレイコード法による最終結果として対応情報記憶部４４に保存する（Ｓ６０のＹ、Ｓ６２）。

図１５は、図１３のＳ４６において、対応情報取得部５２がグレイコード法および位相シフト法により得た対応関係を統合する処理の手順を示すフローチャートである。この処理には上述のとおりＲＡＮＳＡＣのアルゴリズムを利用する。まず対応情報取得部５２は、位相シフト法により得た対応関係の情報を対応情報記憶部４４から読み出し、そのうちの対応する観測座標と画面座標の組み合わせをランダムに抽出する（Ｓ７０）。この処理は、観測画像平面の各座標に、対応する画面座標を表したマップから、ランダムに点を抽出していることに相当する。

なお位相シフト法により得た対応関係は上述のとおり、対応する位置座標の絶対値が得られていない場合がある。この場合、対応情報取得部５２は位置座標の絶対値を仮に決定しておく。次に対応情報取得部５２は、グレイコード法により得た対応関係の情報を対応情報記憶部４４から読み出し、Ｓ７０で抽出した観測座標と同じ観測座標に対応する画面座標を取得する（Ｓ７２）。そして、Ｓ７０で抽出した位相シフト法による画面座標から、Ｓ７２で取得したグレイコード法による画面座標へのアフィン変換パラメータを最小二乗法で計算する（Ｓ７４）。ここで取得するパラメータは上述のとおり、スケーリングパラメータと並進パラメータである。

次に対応情報取得部５２は、取得したそれらのパラメータを用いて、位相シフト法による結果が示す画面座標の全てをアフィン変換したうえ（Ｓ７６）、グレイコード法の結果が示す画面座標との誤差の評価値を取得する（Ｓ７８）。誤差の評価値としては例えば、二乗平均平方根誤差（ＲＭＳＥ）や平均絶対誤差など、回帰分析で用いられる一般的な評価値を利用できる。なおＳ７６の処理においてアフィン変換した画面座標とグレイコードの結果が示す画面座標との誤差が所定値未満である点の数がしきい値未満であるとき、誤差の評価値を取得せずにアフィン変換パラメータを破棄してよい。

Ｓ７０からＳ７８の処理を繰り返し（Ｓ８０のＮ）、繰り返し回数が所定数に達したら（Ｓ８０のＹ）、誤差が最小であることを示す評価値が得られるアフィン変換パラメータを選択する（Ｓ８２）。そして対応情報取得部５２は、選択したアフィン変換パラメータを用いて位相シフト法による結果が示す画面座標を変換することにより、最終的な位置座標の対応関係を取得し、対応情報記憶部４４に格納する（Ｓ８４）。なおＳ７０からＳ７８の処理を所定回数繰り返しても常に誤差が基準より大きく、一度も誤差評価値を取得するに至らなかった場合は、エラーとして処理を終了してよい。

この処理手順は、観測座標に対応する画面座標の絶対値が得られるグレイコード法と、対応関係の変化の様子が得られる位相シフト法の結果を統合することを想定している。ただしグレイコード法や位相シフト法に限らず、一方が座標の絶対値の対応を得る手法であり、他方が座標の相対関係を得る手法である限り、同様の手順で統合が可能である。変形例として、複数の手法で座標の絶対値の対応を取得し、その結果を統合してもよい。

例えば、チェッカーパターンやサークルグリッドなどの繰り返しパターンに、特徴的な形状や色を有する１点または複数点のマーカーを含めたパターンを導入することが考えられる。この場合、当該パターンを表示させたうえでその静止画を観測画像として撮影する。そして観測画像上でのマーカーの像を基点とすることにより、特徴点の位置座標と画面座標の絶対値との関係を取得する。このような手法やグレイコード法などにより得られた結果を統合する場合は、同じ観測座標に対応する画面座標の平均値をとることにより、最終的な対応関係としてもよい。

図１６は、図５のＳ１４においてパラメータ取得部５４が、歪みパラメータを取得する処理について説明するための図である。同図において観測画像マップ９０は、観測画像平面に画面座標のｙ成分を対応づけたマップとｘ成分を対応づけたマップからなる。画面マップ９２は、表示パネルの画面に観測座標のｙ成分を対応づけたマップとｘ成分を対応づけたマップからなる。観測画像マップ９０において縦方向、あるいは横方向の直線上にある点群は、観測座標のｘ成分、あるいはｙ成分が等しい。図示する例では、ｙ成分がＹ１の点群を示している。

レンズ歪みがある状態では、これらの点群が示す画面座標［ｙ１，ｘ１］、［ｙ２，ｘ２］、［ｙ３，ｘ３］、・・・を画面マップ９２にプロットすると、観測画像で同じＹ１を示す点群が、画面座標では同じｙ座標を示さず湾曲した線上に位置する。ｘ成分が等しい直線上の点群についても同様に、画面マップ９２にプロットすると湾曲した線上に位置することになる。そこでパラメータ取得部５４は、画面マップ９２にプロットした点群が直線になるように補正パラメータを最適化する。

図１７は、画面マップ９２にプロットした点群の直線性を評価する手法の例を説明するための図である。図のｘ軸ｙ軸は画面マップ、ひいては画面の横方向、縦方向の軸であり、観測画像マップで直線状であった点群をプロットしている。プロットした点群のうち［ｙ１，ｘ１］、［ｙ４，ｘ４］、［ｙ７，ｘ７］など所定の間隔でサンプリング点を抽出し、そのうちの３つのサンプリング点を１セットとして、中央の点と両側の点をそれぞれ通る２直線の傾きを算出する。

図示する３点では、直線９４ａ、９４ｂの傾きが求められる。実際には３点からなるセットを、抽出した全てのサンプリング点で形成し、同様に２直線の傾きを求める。プロットした点が直線をなす場合、２直線の傾きの差は０になる。そこで３点のセットごとに、２直線の傾きの差ｄｉｆｆを算出し、その総和を評価値とする。図示する３点で２直線９４ａ、９４ｂの傾きをｋ１、ｋ２とすると、傾きの差ｄｉｆｆは次のように求められる。
ｄｉｆｆ＝ｋ１−ｋ２
＝（ｙ１−ｙ４）／（ｘ１−ｘ４）−（ｙ４−ｙ７）／（ｘ４−ｘ７）（式５）

図１８は、図５のＳ１４において、パラメータ取得部５４が歪みパラメータを取得する処理手順を示すフローチャートである。まずパラメータ取得部５４は、観測画像マップにおいて直線に乗る点群を抽出する（Ｓ９０）。例えば所定間隔の点を抽出することにより、処理を効率化させるとともにノイズの影響を小さくする。次に抽出した点を画面マップにプロットし（Ｓ９２）、そこから抽出したサンプリング点から連続する３点をセットとして、それらの間の２直線の傾きの差ｄｉｆｆを順次取得する（Ｓ９４）。

次にパラメータ取得部５４は、複数のセットに対し得られた傾きの差ｄｉｆｆのうち、平均値から所定基準以上外れている値を除外する（Ｓ９６）。例えば平均値から２σの範囲内にない値を除外する。次にパラメータ取得部５４は、差ｄｉｆｆの総和を評価値として、それを小さくする方向に歪みパラメータを変位させる（Ｓ９８）。そして変位後の歪みパラメータを用いて、Ｓ９２でプロットした点群を式１により補正する（Ｓ１００のＮ、Ｓ１０２）。

さらに補正後の３点ごとのセットに対し、傾きの差ｄｉｆｆを順次取得し（Ｓ９４）、外れ値の除外、歪みパラメータの変位を行う（Ｓ９６、Ｓ９８）。以後、Ｓ１０２、Ｓ９２〜Ｓ９８の処理を所定回数繰り返す（Ｓ１００のＮ）。この処理は、実際にはＬＭ法（Levenberg-Marquardt Method）などの非線形最適化アルゴリズムを利用して行える。探索処理を所定回数繰り返したら（Ｓ１００のＹ）、パラメータ取得部５４は、最後に得られた歪みパラメータを最終的な結果とし、歪みパラメータ記憶部４６に格納する（Ｓ１０４）。なお対応関係を表示パネルの原色ごとに取得している場合は、図示する処理手順を色別に実施する。これにより色収差を考慮した歪みパラメータが色ごとに得られる。

図１９は、本実施の形態によってキャリブレーションを実施した結果を例示している。同図はヘッドマウントディスプレイの左目用、右目用の領域に表示された画像を、レンズを介してステレオカメラで撮影した結果を示している。表示対象はチェッカーパターンとする。左列の観測画像は当該チェッカーパターンをそのまま表示させた場合であり、レンズによって糸巻き状の歪みが観測される。中列は比較のため、設計値に基づく歪みパラメータを用いて歪ませた表示画像の観測結果であるが、レンズ倒れなど組み立て上の誤差が考慮されず、パターンの外縁部においていくらかの歪みが生じている。

右列は、本実施の形態のキャリブレーションにより取得した歪みパラメータを用いて歪ませた表示画像の観測結果であり、設計値に基づく補正結果と比較して外縁部の歪みが抑えられ、全体的に歪みの少ない画像となっている。図２０は、比較のためにグレイコードの結果のみを用いて補正した結果を示している。左の観測画像９６は、グレイコードのパターンのうちの１つをそのまま表示させた画像の観測結果である。右の観測画像９８は、グレイコードのみによりキャリブレーションを行った結果、得られた歪みパラメータを用いて表示画像を補正した結果であるが、ストライプの歪みが除去しきれていない。

これは上述のとおり、グレイコード法による処理ではモアレの発生などにより、取得する観測座標に誤差が生じるためである。図１９に示した本実施の形態による補正の結果と比較すると、位相シフト法を組み合わせることにより歪みパラメータの精度が向上することが明らかである。

図２１は、本実施の形態によってキャリブレーションを実施した結果の別の例を示している。この例は図１９と同様、ヘッドマウントディスプレイの左目用、右目用の領域に表示された画像を、レンズを介してステレオカメラで撮影した結果を示している。ただし右のレンズがホルダから外れ、レンズとディスプレイが正対していない状態の結果である。左端列は補正前の観測画像であり、レンズによって歪みが観測される。

中列の３つは、赤、緑、青の成分を、本実施の形態を用いてそれぞれに対し取得した歪みパラメータで補正した表示画像の観測結果である。どの色についても、レンズの姿勢に関わらず、同様に歪みの少ない画像が観測される。このようにして撮影された歪みのないステレオ画像を、レンズの姿勢などに基づき平行化すると、右端列のような、エピポーラ線にずれの少ないステレオ画像が得られる。

以上述べた本実施の形態によれば、光学系を含む表示装置において、歪みのない画像が視認されるように表示画像を歪ませておくために用いる歪みパラメータを、キャリブレーション用のパターンを表示させた画像を実際に撮影することにより取得する。具体的には、表示パネルの画面上の位置座標と、撮影された観測画像上の位置座標との対応関係を取得し、対応する点群が双方で直線状になるように補正パラメータを最適化する。これにより、レンズが組み付けられた状態でのキャリブレーションが可能になり、ユーザが実際に視認する状態での最適条件を保証できる。また、二平面での対応点の直線性に着目するため、レンズ歪みの要素に焦点を当てた効率的なキャリブレーションを行える。

対応する位置座標の特定においては、複数系統のキャリブレーション用パターン群を用いてそれぞれに対応関係を取得し、それらを統合することにより歪みパラメータの精度を高める。例えば位置座標の絶対値の対応が得られるグレイコードのパターン系列を用いた結果と、対応関係の変化の様子が細かい粒度で得られる、正弦波の位相シフトパターン系列を用いた結果を統合することにより、位置座標の絶対値の対応を細かい粒度で得ることができる。これにより、最終的に取得する歪みパラメータの精度も向上させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態で得られた歪みパラメータは、キャリブレーション対象のヘッドマウントディスプレイやプロジェクタが備えるメモリに格納し、運用時の表示画像の補正に利用するのに限らない。例えばそれらの表示装置の製造時に歪みパラメータを取得し、正常値の範囲を逸脱している場合は、不良品として出荷対象から外すなどの検品技術にも利用できる。本実施の形態のキャリブレーションによれば、表示パネルとレンズを組み付けた状態でのパラメータが得られるため、組み付け作業において生じた不良を、歪みパラメータを評価値として高精度に検出できる。

８ キャリブレーションシステム、 １０ キャリブレーション装置、 １２ 表示装置、 １４ 撮像装置、 ４０ 表示制御部、 ４２ キャリブレーション用パターン記憶部、 ４４ 対応情報記憶部、 ４６ 歪みパラメータ記憶部、 ４８ 撮影制御部、 ５０ 観測画像取得部、 ５２ 対応情報取得部、 ５４ パラメータ取得部。

Claims (12)

1. 表示パネルと、当該表示パネルに表示された画像を透過させるレンズと、を備えた表示装置のキャリブレーションを行うキャリブレーション装置であって、
   前記表示パネルに表示させたキャリブレーション用パターンの像が前記レンズを透過してなる像を撮影した観測画像を取得する観測画像取得部と、
   前記観測画像における位置座標と、前記表示パネルの画面における位置座標との対応関係を取得する対応情報取得部と、
   前記対応関係に基づき、前記表示パネルに表示させる画像の補正に用いるパラメータを取得するパラメータ取得部と、
   を備えたことを特徴とするキャリブレーション装置。
2. 前記キャリブレーション用パターンの表示画像を時間変化させる表示制御部をさらに備え、
   前記対応情報取得部は、前記観測画像の複数の位置における輝度の時間変化に基づき、前記対応関係を取得することを特徴とする請求項１に記載のキャリブレーション装置。
3. 前記観測画像取得部は、複数系統の前記キャリブレーション用パターンの前記観測画像を取得し、
   前記観測画像取得部は、前記複数系統のそれぞれについて前記対応関係を取得したうえ、その結果を統合することにより最終的な前記対応関係を取得することを特徴とする請求項１または２に記載のキャリブレーション装置。
4. 前記表示制御部は、前記表示画像において所定サイズの領域ごとに異なるパターンで輝度を時間変化させ、
   前記対応情報取得部は、前記観測画像の複数の位置における輝度の時間変化に基づき、前記所定サイズの領域の単位で前記画面における位置座標と対応づけることを特徴とする請求項２に記載のキャリブレーション装置。
5. 前記表示制御部はさらに、前記表示画像の所定方向における輝度の変化がなす正弦波形の位相を時間変化させ、
   前記対応情報取得部は、前記観測画像の複数の位置における輝度の時間変化に基づき当該位置の位相を取得することにより、前記画面上での位相と対応づけたうえ、前記所定サイズの領域の単位で対応づけられた前記画面における位置座標の情報と統合することにより、最終的な前記対応関係を取得することを特徴とする請求項４に記載のキャリブレーション装置。
6. 前記対応情報取得部は、前記位相に基づく対応関係を前記観測画像の平面に対し表したマップの形状と、前記所定サイズの領域の単位での対応関係を前記観測画像の平面に対し表したマップの形状との差に係る評価値に基づき求めたアフィン変換パラメータにより、前記位相に基づく対応関係を表したマップの形状を変換することにより、前記最終的な対応関係を取得することを特徴とする請求項５に記載のキャリブレーション装置。
7. 前記パラメータ取得部は、前記観測画像において直線をなす位置座標群に対応する、前記画面における位置座標群を取得し、当該位置座標群が直線をなす方向に補正される前記パラメータを取得することを特徴とする請求項１から６のいずれかに記載のキャリブレーション装置。
8. 前記パラメータ取得部は、前記画面における位置座標群から抽出した３点ごとのサンプリング点の間の傾きの差の総和を評価値として、非線形最適化アルゴリズムにより前記パラメータを取得することを特徴とする請求項７に記載のキャリブレーション装置。
9. 前記観測画像取得部は、前記表示パネルの原色のそれぞれの色で表された前記キャリブレーション用パターンの前記観測画像を取得し、
   前記パラメータ取得部は、色ごとに前記パラメータを取得することを特徴とする請求項１から８のいずれかに記載のキャリブレーション装置。
10. 請求項１から９のいずれかに記載のキャリブレーション装置と、
    前記キャリブレーション装置の制御により前記観測画像を撮影する撮像装置と、
    を含むことを特徴とするキャリブレーションシステム。
11. 表示パネルと、当該表示パネルに表示された画像を透過させるレンズと、を備えた表示装置のキャリブレーションを行うキャリブレーション装置が、
    前記表示パネルに表示させたキャリブレーション用パターンの像が前記レンズを透過してなる像を撮影した観測画像を取得するステップと、
    前記観測画像における位置座標と、前記表示パネルの画面における位置座標との対応関係を取得するステップと、
    前記対応関係に基づき、前記表示パネルに表示させる画像の補正に用いるパラメータを取得するステップと、
    を含むことを特徴とする表示装置のキャリブレーション方法。
12. 表示パネルと、当該表示パネルに表示された画像を透過させるレンズと、を備えた表示装置のキャリブレーションを行うコンピュータに、
    前記表示パネルに表示させたキャリブレーション用パターンの像が前記レンズを透過してなる像を撮影した観測画像を取得する機能と、
    前記観測画像における位置座標と、前記表示パネルの画面における位置座標との対応関係を取得する機能と、
    前記対応関係に基づき、前記表示パネルに表示させる画像の補正に用いるパラメータを取得する機能と、
    を実現させることを特徴とするコンピュータプログラム。