JP6509101B2 - 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法 - Google Patents

Description

本発明は、眼鏡状の光学シースルー型の両眼のディスプレイを用いて、ユーザから見た現実空間に、文字や画像のオブジェクト（ＣＧ(Computer Graphics)）を拡張現実感（ＡＲ(augmented reality)）として重畳的に表示する技術に関する。特に、本発明によれば、ユーザから見たオブジェクトの視認性を向上させる技術に関する。

ＡＲの用途としては、例えば、ユーザが、自ら所持する端末のカメラを商品にかざした際に、その商品を特定し、その商品に紐付いた価格等の情報を、ディスプレイの適切な位置に表示させることができる。近年、携帯電話機やスマートフォンのような端末の処理性能の向上に伴って、ＡＲを実行可能な環境が提供されてきている。

例えば、ユーザの頭部に装着する小型ディスプレイを備えた眼鏡状装置として、ＨＭＤ（ヘッド・マウント・ディスプレイ）がある。ＨＭＤに搭載されたカメラは、ユーザの視線の先に映る現実空間の映像を撮影し続けるために、ユーザが自ら意識的にカメラをかざす必要もない。そのために、ユーザの視線の先の現実空間上に、ＡＲの画像を重畳的に表示することができる。ＨＭＤとＡＲとを連携した用途として、作業支援システムがある。作業者は、例えば手先の作業をしながら、ディスプレイに映る作業指示のオブジェクトを眼の前で確認することができる。

ＨＭＤは、主に以下の２種類に分類できる。
ビデオシースルー型：カメラのプレビュー画像にオブジェクトを重畳する
光学式シースルー型：現実空間そのものにオブジェクトを重畳する

ビデオシースルー型ＨＭＤは、カメラのプレビュー画像が位置合わせの対象であるために、既存のスマートフォンアプリと同様の位置合わせ方式を用いることができる。但し、装着者の視野角や現実環境の視認性が、カメラの画角や解像度に制限される。そのために、例えば作業支援システムの場合、作業者に対する視界の制限が、その作業効率を低下させる恐れがある。

一方、光学式シースルー型ＨＭＤは、装着者が仮想スクリーンを通して視認する現実空間そのものが位置合わせの対象となる。光学式シースルー型ＨＭＤは、ビデオシースルー型に対して表示視野角が狭いという欠点を有する。一方で、装着者の視界が開けているために、現実空間に対して必要な作業指示情報のみをＡＲ表示できるという点で、作業支援システムに適する。

光学式シースルー型ＨＭＤによれば、オブジェクトの表示位置を、装着者の視野で現実空間と重なるように補正する必要がある。このような補正は、光学式シースルー型ＨＭＤに特有の操作であり、「ＨＭＤキャリブレーション」と称される（例えば特許文献１及び非特許文献１参照）。特許文献１に記載の技術によれば、単眼のＨＭＤについて高精度にキャリブレーション・パラメータを推定するものである。

光学式シースルー型ＨＭＤの中には、両眼で見える仮想スクリーンに表示することによって、単眼の表示視野角の狭さを補う技術もある（例えば非特許文献２参照）。

図１は、光学式シースルー型ＨＭＤから見たユーザの視界を表す外観図である。

具体的に、EPSON社製のMOVERIO BT-200（例えば非特許文献３参照）によれば、ユーザが、その両眼を所定の奥行き位置にピントを合わせた場合、単眼の視野角、例えば左眼スクリーンに対する左眼の視野角は、２３°となる。ここで、単眼の視野角は、ピント位置によらず一定である。一方で、両眼スクリーンに対応する両眼の視野角は、奥行き距離ｌ＝５０ｃｍとして目視確認を行った結果、単眼の視野角の約１．５倍であった。即ち、奥行き距離ｌ＝５０ｃｍの位置にピントを合わせ、右眼を閉じ且つ左眼のみを開けている状態から、両眼を開けた状態へ移行した場合、視野角が１．５倍拡大したように視認される。ユーザが注視点（ピント位置）を遠ざけるほど、両眼の視野角の拡大率は低下する。そして、一定の奥行き距離ｌで視野角が１．０倍となり、左眼スクリーン及び右眼スクリーンが完全に重なる。奥行き距離ｌは、ＨＭＤの焦点距離と称される。

両眼のスクリーンを用いて視野角が拡大する度合いは、装着者がピントを合わせる奥行き位置によって異なる。
ユーザが近くを見るほど、両眼スクリーンを用いた場合の視野角の拡大率は増加する。
ユーザが遠くを見るほど、両眼スクリーンを用いた場合の視野角の拡大率は低下する。

図２は、光学式シースルー型ＨＭＤについて２つのスクリーンとユーザの視界との関係を表す外観図である。

図２によれば、MOVERIO BT-200の場合、ＨＭＤにおける眼鏡部分の左右それぞれにハーフミラーが埋め込まれている。ＨＭＤの内部から横方向に照射された光は、ハーフミラーの反射面によってユーザの目に入力される。一方で、現実環境の光は、ハーフミラーの非反射面を通して、ユーザの目にそのまま入力される。結果として、ユーザには、現実環境の中に虚像としてのスクリーン（仮想スクリーン：Virtual Screen）が視認される。仮想スクリーンは、物理的なディスプレイとは異なり、ユーザが視認する奥行き位置によってスクリーンの大きさが異なって見えるという特徴がある。例えば、ユーザから見て、奥行き距離２０ｍの位置では、３２０型相当の表示画面を視認することができる。光学シースルー型ＨＭＤは、この性質を利用して、超大型スクリーンでの映像鑑賞を狭い環境でも楽しめることを製品販売上の特長とする場合が多い。以後、「スクリーン」は「仮想スクリーン」を指すこととする。

図１及び図２によれば、ユーザの注視点の奥行き位置に、両眼スクリーンが表されている。注視点は、ユーザの両眼がピントを合わせた位置である。この両眼スクリーンは、以下のような３つの領域に区分される。
左眼領域（左眼スクリーンのみの領域）
重複領域（右眼スクリーンと左眼スクリーンとが重複した領域）
右眼領域（右眼スクリーンのみの領域）

例えば作業支援システムの用途によれば、手先の作業範囲として、奥行き位置が近距離（５０ｃｍ程度）の場合も多い。これはＨＭＤメーカによって想定される上述の使用方法とは異なり、左眼及び右眼のスクリーン位置が左右にずれてしまうことによって、作業者は図１及び図２のように、左眼領域、重複領域及び右眼領域を同時に視認することとなる。ここで、両眼スクリーンは、これら３つの領域を合わせたものであって、ユーザの両眼で視認されるスクリーンをいう。

両眼スクリーンを構成する左眼スクリーン及び右眼スクリーンのそれぞれについては、ＨＭＤのキャリブレーション・パラメータを事前に算出しておくことによって、ユーザの眼の位置に合った適切なオブジェクトの描画位置を計算することができる。尚、キャリブレーション・パラメータは、装着するＨＭＤに対してユーザの眼の位置が固定であれば、ユーザのピント位置に関わらず定数値を取る。そのため、近距離視認時に両眼のスクリーン位置が左右にずれてしまっている場合でも、キャリブレーション・パラメータを事前に正確に算出できていれば、オブジェクトを適切な位置に重畳表示できる。

図３は、キャリブレーション・パラメータが推定誤差を含まない場合における、ユーザの視界に映るスクリーンを表す説明図である。図中の「これに触るな」「これを押せ」の吹き出しは、作業支援システムを想定した場合の作業指示オブジェクトの一例である。ＨＭＤの装着者は、実際の作業対象設備にこのＣＧが重なって見える。

図３によれば、ＨＭＤのキャリブレーション・パラメータが完全に誤差なく計算されており、両眼スクリーンの重複領域では、各スクリーンに描画したオブジェクトが完全に重なり合っている。ユーザの両眼からは、全く違和感なく視認できる。

特開２０１４−１７０３７４号公報

加藤博一，M.Billinghurst，浅野浩一，橘啓八郎，"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション" ，日本バーチャルリアリティ学会論文誌，Vol4，No4，pp.607-616，(1999)、[online]、［平成２７年１０月９日検索］、インターネット＜http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf＞ 巻渕有哉 ，小林達也，加藤晴久，柳原広昌，"HMDキャリブレーションとオンサイト学習によるハンズフリー遠隔作業支援ARシステム，" 研究報告オーディオビジュアル複合情報処理（AVM），2015-AVM-88(2)，1-6 (2015-02-20)、[online]、［平成２７年１０月９日検索］、インターネット＜URL:http://ci.nii.ac.jp/naid/110009877748＞ EPSON、「MOVERIOBT-200AV / BT-200」、[online]、［平成２７年１０月９日検索］、インターネット＜http://www.epson.jp/products/moverio/bt200/＞

現実的には、ＨＭＤの装着位置が途中でずれてしまう場合がある。また、ユーザの頭部の形状や視力矯正用メガネの装着有無によって、キャリブレーション・パラメータはユーザ毎に異なる。しかしながら、キャリブレーションの作業は手間を要するため、第三者が計算したキャリブレーション・パラメータを使い回す場合も考えられる。結果として、キャリブレーション・パラメータが誤差を含む場合が多い。

図４は、キャリブレーション・パラメータが誤差を含む場合における、ユーザの視界に映るスクリーンを表す説明図である。

左右のキャリブレーション・パラメータ（Ｐ_ｌ，Ｐ_r）に誤差が含まれている場合、図４のように、ユーザから見て、各々のスクリーンについてオブジェクト（ＣＧ）の描画位置が現実環境に対してズレている。ここで、両眼のＨＭＤでは、描画位置のずれに加えて、両眼特有のオブジェクトの視認性に関わる問題が生じる。具体的には、図４に示すように、左眼スクリーンと右眼スクリーンの重複領域でオブジェクトが完全に重ならず、そのオブジェクトが二重に視認されることとなる。

また、左右のキャリブレーション・パラメータに推定誤差が含まれていない場合であっても、左右のスクリーンに描画されたオブジェクトが重複領域で重なることによって、その重複領域のみの輝度が高まる。結果として、重複領域の両端の境界線の存在が目立ち、オブジェクト全体の視認性が低下してしまう。

そこで、本発明は、眼鏡形状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する際に、ディスプレイを通してユーザが視認する、各スクリーンの重複領域におけるオブジェクトの視認性を向上させることができる画像表示装置、プログラム及び方法を提供することを目的とする。

本発明によれば、ユーザの右眼及び左眼の各々について配置され、現実空間を透過して視認可能な光学式シースルー型のディスプレイを有し、ユーザが注視する実オブジェクトにおける注視点に合わせて、ディスプレイに表示すべき仮想オブジェクトを制御する画像表示装置であって、
カメラから、ユーザの注視点までの奥行き位置を取得する注視点位置取得手段と、
ユーザの右眼及び左眼の各々から、ディスプレイを通して奥行き位置に視認される右眼スクリーン及び左眼スクリーンが交わる重複領域を算出する重複領域算出手段と、
重複領域に表示すべき当該仮想オブジェクトに対して、右眼スクリーン又は左眼スクリーンのいずれか一方のみを選択する描画領域選択手段と、
選択された右眼スクリーン又は左眼スクリーンに当該仮想オブジェクトを描画するオブジェクト描画手段と
を有することを特徴とする。

本発明の画像表示装置における他の実施形態によれば、
描画領域選択手段は、
右眼スクリーン及び左眼スクリーンから構成される両眼スクリーンを、右眼領域と重複領域と左眼領域とに区分し、
両眼スクリーンに対する当該仮想オブジェクトの両端座標と、重複領域の両端座標とを用いて、
右眼領域及び重複領域に跨って表示すべき仮想オブジェクトは、重複領域に描画するスクリーンとして右眼スクリーンを選択し、
左眼領域及び重複領域に跨って表示すべき仮想オブジェクトは、重複領域に描画するスクリーンとして左眼スクリーンを選択することも好ましい。

本発明の画像表示装置における他の実施形態によれば、
描画領域選択手段は、
重複領域に表示すべき当該仮想オブジェクトについて、
右眼のキャリブレーション・パラメータＰ_rの精度が、左眼のキャリブレーション・パラメータＰ_lの精度よりも高い場合、重複領域に描画するスクリーンとして右眼スクリーンを選択し、
逆に、右眼のキャリブレーション・パラメータＰ_rの精度が、左眼のキャリブレーション・パラメータＰ_lの精度の精度よりも低い場合、重複領域に描画するスクリーンとして左眼スクリーンを選択することも好ましい。

本発明の画像表示装置における他の実施形態によれば、
重複領域算出手段の逆投影−投影計算は、右眼から右眼スクリーン（又は左眼から左眼スクリーン）の任意点を介して、３次元空間の奥行き位置に逆投影した後、他方の左眼スクリーン（又は右眼スクリーン）に投影する逆投影−投影計算によって、右眼スクリーンの座標系（ｕ_ｒ，ｖ_ｒ）と、左眼スクリーンの座標系（ｕ_ｌ，ｖ_ｌ）との位置関係を示す、以下の変換行列Ｈ_l,rを算出することも好ましい。

ｓ：スケール係数

本発明の画像表示装置における他の実施形態によれば、
重複領域算出手段は、両眼のスクリーンが左右方向のみにずれている場合に、逆投影−投影計算によって、以下の変換行列Ｈ_l,rで定義される変位量ｄを算出することも好ましい。

本発明の画像表示装置における他の実施形態によれば、
重複領域算出手段の逆投影−投影計算は、右眼スクリーンの座標系（ｕ_ｒ，ｖ_ｒ）と、左眼スクリーンの座標系（ｕ_ｌ，ｖ_ｌ）と、右眼のキャリブレーション・パラメータＰ_rと、左眼のキャリブレーション・パラメータＰ_lと、注視点位置取得手段で用いたカメラ座標系（Ｘc，Ｙc，Ｚc）とを用いて、以下の式によって定義し、

ｓ：スケール係数
（ｕ_ｒ，ｖ_ｒ）＝（０，０）及びＺ_C＝Ｚ_α（奥行き距離のスカラー値）を代入することで、ｕ_ｌを変位量ｄとして算出するか、
又は、
（ｕ_ｌ，ｖ_ｌ）＝（０，０）及びＺ_C＝Ｚ_α（奥行き距離のスカラー値）を代入することで、ｕ_ｒを変位量−ｄとして算出することも好ましい。

本発明の画像表示装置における他の実施形態によれば、
注視点位置取得手段は、可視光カメラを用いる場合、注視点を特定するマーカ画像を予め記憶しており、撮影画像からマーカ画像を検出することによって、以下のように、マーカを配置した世界座標系（Ｘw，Ｙw，Ｚw）からカメラ座標系（Ｘc，Ｙc，Ｚc）への変換行列（位置姿勢パラメータ）Ｗc,wを算出し、

ｓ：スケール係数
注視点位置取得手段は、世界座標系における注視点の座標を、変換行列Ｗc,wを用いてカメラ座標系へ変換し、そのＺcを奥行き距離のスカラー値Ｚ_αとして算出することも好ましい。

本発明の画像表示装置における他の実施形態によれば、
注視点位置取得手段は、マーカ画像の領域における重心座標を、注視点とすることも好ましい。

本発明の画像表示装置における他の実施形態によれば、
オブジェクト描画手段は、
仮想オブジェクト毎に、重複領域の描画対象として選択されていない一方のスクリーンにのみ描画し、
左眼スクリーン及び右眼スクリーンの各々の重複領域を、ディスプレイの透過色で塗りつぶし、
仮想オブジェクトを、描画していない他方のスクリーンに描画する
ことも好ましい。

本発明によれば、ユーザの右眼及び左眼の各々の前方に配置され、現実空間を透過して視認可能な光学式シースルー型の両眼のディスプレイを有し、ユーザが注視する実オブジェクトにおける注視点に合わせて、ディスプレイに表示すべき仮想オブジェクトを制御する装置に搭載されたコンピュータを機能させるプログラムであって、
カメラから、ユーザの注視点までの奥行き位置を取得する注視点位置取得手段と、
ユーザの右眼及び左眼の各々から、ディスプレイを通して奥行き位置に視認される右眼スクリーン及び左眼スクリーンが交わる重複領域を算出する重複領域算出手段と、
重複領域に表示すべき当該仮想オブジェクトに対して、右眼スクリーン又は左眼スクリーンのいずれか一方のみを選択する描画領域選択手段と、
選択された右眼スクリーン又は左眼スクリーンに当該仮想オブジェクトを描画するオブジェクト描画手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、ユーザの右眼及び左眼の各々の前方に配置され、現実空間を透過して視認可能な光学式シースルー型の両眼のディスプレイを有し、ユーザが注視する実オブジェクトにおける注視点に合わせて、ディスプレイに表示すべき仮想オブジェクトを制御する装置の画像表示方法であって、
装置は、
カメラから、ユーザの注視点までの奥行き位置を取得する第１のステップと、
ユーザの右眼及び左眼の各々から、ディスプレイを通して奥行き位置に視認される右眼スクリーン及び左眼スクリーンが交わる重複領域を算出する第２のステップと、
重複領域に表示すべき当該仮想オブジェクトに対して、右眼スクリーン又は左眼スクリーンのいずれか一方のみを選択する第３のステップと、
選択された右眼スクリーン又は左眼スクリーンに当該仮想オブジェクトを描画する第4のステップと
を実行することを特徴とする。

本発明の画像表示装置、プログラム及び方法によれば、眼鏡形状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する際に、ディスプレイを通してユーザが視認する、各スクリーンの重複領域におけるオブジェクトの視認性を向上させることができる。即ち、本発明は、ＨＭＤによって想定されていない近距離視認時の性質を利用することで、光学シースルー型ＨＭＤの両眼視野角を拡大させることができる点に着目したものである。

光学式シースルー型ＨＭＤから見たユーザの視界を表す外観図である。 光学式シースルー型ＨＭＤについて２つのスクリーンとユーザの視界との関係を表す外観図である。 キャリブレーション・パラメータが推定誤差を含まない場合における、ユーザの視界に映るスクリーンを表す説明図である。 キャリブレーション・パラメータが誤差を含む場合における、ユーザの視界に映るスクリーンを表す説明図である。 本発明における画像表示装置の機能構成図である。 世界座標系とカメラ座標系との関係を表す説明図である。 両方のスクリーン間の変位量を表す説明図である。 左眼スクリーン、右眼スクリーン及び両眼スクリーンの位置関係及び各領域を表す説明図である。 仮想オブジェクトに対する描画領域を表す第１の説明図である。 仮想オブジェクトに対する描画領域を表す第２の説明図である。 仮想オブジェクトに対する描画領域を表す第３の説明図である。 仮想オブジェクトに対する描画領域を表す第４の説明図である。 仮想オブジェクトに対する描画領域を表す第５の説明図である。 オブジェクト描画部の描画手順を表す説明図である。 本発明におけるユーザの視界に映るスクリーンを表す説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図５は、本発明における画像表示装置の機能構成図である。

図５によれば、画像表示装置１の機能は、光学シースルー型ＨＭＤに内蔵されたものであってもよいし、光学シースルー型ＨＭＤに接続した外部の端末であってもよい。端末としては、例えばスマートフォンやタブレット又はパーソナルコンピュータのようなものがある。この場合、画像表示装置の機能は、端末にインストール可能なアプリケーションとして提供される。

図５によれば、ＨＭＤ本体のディスプレイは、現実空間を透過して視認可能な光学式シースルー型のものであって、ユーザの左右各々の眼の前方に配置される。画像表示装置１は、注視点位置取得部１１と、重複領域算出部１２と、描画領域選択部１３と、オブジェクト描画部１４とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の画像表示方法としても理解できる。

［注視点位置取得部１１］
注視点位置取得部１１は、ＨＭＤを装着したユーザから見た、注視点までの奥行き位置を取得する。注視点までの奥行き位置を取得することによって、ユーザの視線のピントの位置に、仮想オブジェクトを、その位置や大きさを制御して表示することができる。奥行き位置は、具体的には、ＨＭＤ搭載のカメラから、現実空間に対するユーザの注視点までの距離である。そして、取得した注視点距離は、重複領域算出部１２へ出力される。

注視点位置取得部１１は、様々なデバイスを用いて、奥行き位置までの注視点距離を取得することがきる。デバイスとしては、例えば以下のようなものがある。
可視光カメラ
深度センサ（デプスカメラ）
超音波センサや磁気センサ（専用トランスミッタと、ＨＭＤ本体及び注視対象物体に付したセンサとからなる）

＜可視光カメラを用いる場合＞
注視点位置取得部１１は、注視点を特定するマーカ画像を予め記憶している。マーカ画像は、ユーザが注視すべき対象物体そのものの画像であってもよいし、対象物体に専用マーカ画像を貼り付けたものであってもよい。可視光カメラによる撮影画像から、画像認識によってそのマーカ画像が検出される。マーカ画像は、例えばＱＲコード（登録商標）であってもよい。このとき、マーカ画像の領域における重心座標を、注視点とすることも好ましい。

図６は、世界座標系とカメラ座標系との関係を表す説明図である。

注視点位置取得部１１は、対象物体の位置姿勢を取得する（例えば非特許文献１参照）。これは、マーカ画像を配置した世界座標系（Ｘw，Ｙw，Ｚw）からカメラ座標系（Ｘc，Ｙc，Ｚc）への変換行列（位置姿勢パラメータ）Ｗc,wを、以下の式によって算出する（例えば非特許文献１参照）。

ｓ：スケール係数
そして、注視点位置取得部１１は、世界座標系における注視点の座標を、変換行列Ｗc,wを用いてカメラ座標系へ変換し、そのＺcを奥行き距離のスカラー値Ｚ_αとして算出する。

世界座標系と画像平面のピクセル座標系との点対応集合から、例えばＲＡＮＳＡＣ(RAndom SAmple Consensus)のようなロバスト推定アルゴリズムを用いて、変換行列Ｗc,wを算出するものであってもよい。点対応集合から、誤った点対応を除去することもできる。

図６のように、可視光カメラのカメラ座標系の光軸方向が、仮想スクリーンの法線ベクトルの正又は負の方向に近似できる場合、可視光カメラの座標系の原点と注視点との間の距離を、注視点距離とすることができる。

尚、世界座標系における注視点の３次元位置Ｘ¹wには、仮想オブジェクトを構成する頂点群の平均値又は中央値を用いてもよい。また、例えば、作業支援システムについて、作業指示対象の位置が別の実施形態によって取得できる場合は、これをＸ¹wとしてもよい。

＜深度センサを用いる場合＞
深度センサ（デプスカメラ）を用いる場合は、マーカ画像を貼り付けた特定の対象物体のみならず、視認領域全体のデプス値を取得することができる。深度センサは、赤外線照射センサから放射された赤外線の反射を捉えることによって、実物体の位置を注視点位置として取得することができる。

［重複領域算出部１２］
重複領域算出部１２は、ユーザの右眼及び左眼の各々から、ディスプレイを通して「奥行き距離」に視認される右眼スクリーン及び左眼スクリーンが交わる重複領域を算出する。算出された重複領域の座標情報は、描画領域選択部１３へ出力される。

重複領域算出部１２は、右眼から右眼スクリーン（又は左眼から左眼スクリーン）の任意点を介して、３次元空間の奥行き位置に逆投影した後、他方の左眼スクリーン（又は右眼スクリーン）に投影する逆投影−投影計算によって、右眼スクリーンの座標系（ｕ_ｒ，ｖ_ｒ）と、左眼スクリーンの座標系（ｕ_ｌ，ｖ_ｌ）との位置関係を示す、以下の変換行列Ｈ_l,rを算出する。

ｓ：スケール係数

重複領域算出部１２は、両眼のスクリーンが左右方向のみにずれている場合に、逆投影−投影計算によって、以下の変換行列Ｈ_l,rで定義される変位量ｄを算出できる。

図７は、両方のスクリーン間の変位量を表す説明図である。

図７によれば、右眼から右眼スクリーンの左上頂点を介して、３次元空間の奥行き位置に逆投影した後、他方の左眼スクリーンに投影する逆投影−投影計算によって、スクリーン間の変位量ｄが表されている。

また、重複領域算出部１３の逆投影−投影計算は、以下の式によって定義したものであってもよい。
右眼スクリーンの座標系（ｕ_ｒ，ｖ_ｒ）
左眼スクリーンの座標系（ｕ_ｌ，ｖ_ｌ）
注視点位置取得手段で用いたカメラ座標系（Ｘc，Ｙc，Ｚc）
右眼のキャリブレーション・パラメータＰ_r
左眼のキャリブレーション・パラメータＰ_l

ｓ：スケール係数

以下のいずれかによって変位量ｄを算出する。
（１）（ｕ_ｒ，ｖ_ｒ）＝（０，０）及びＺ_C＝Ｚ_α（奥行き距離のスカラー値）を代入することで、ｕ_ｌを変位量ｄとして算出する。
（２）（ｕ_ｌ，ｖ_ｌ）＝（０，０）及びＺ_C＝Ｚ_α（奥行き距離のスカラー値）を代入することで、ｕ_ｒを変位量−ｄとして算出する。
これによって、Ｚ_C＝Ｚ_αによって定義された両眼スクリーン平面への逆投影位置が得られる。この逆投影位置の３次元座標を、他方の式に代入することによって、他方のスクリーンにおける対応点を算出する。

［描画領域選択部１３］
描画領域選択部１３は、重複領域に表示すべき当該仮想オブジェクトに対して、右眼スクリーン又は左眼スクリーンのいずれか一方のみを選択する。

図８は、左眼スクリーン、右眼スクリーン及び両眼スクリーンの位置関係及び各領域を表す説明図である。

図８によれば、両眼スクリーンは、スクリーン間の変位量ｄ[pixel]と、スクリーンの横幅ｗ[pixel]とによって、左眼スクリーン及び右眼スクリーンを合わせて４つの領域Ａ〜Ｄに区分されている。
Ａ領域：左眼スクリーンのみで表示する領域
Ｂ領域：左眼スクリーンにおける右眼スクリーンとの重複領域
Ｃ領域：右眼スクリーンにおける左眼スクリーンとの重複領域
Ｄ領域：右眼スクリーンのみで表示する領域

この重複領域の範囲は、ユーザの眼のピント位置によってリアルタイムに変化するものである。具体的には、装着者が遠くを視認するほど小さくなり、近くを視認するほど大きくなる。そのために、注視点位置取得部１１によってユーザが注視する奥行き距離を特定し、その距離に応じた重複領域の範囲をリアルタイムに決定する。

描画対象となる仮想オブジェクト（１つのオブジェクトを２つに区分してもよい）毎に、そのオブジェクトの描画位置が左右のスクリーン間の重複領域に跨る場合に、左スクリーンの領域（Ｂ領域）のみに表示するのか、右スクリーンの領域（Ｃ領域）のみに表示するのかを決定する。ここでは、両眼スクリーンの中で、重複領域の範囲における境界線の位置が重要となる。描画領域選択部１３は、以下の２つのいずれか一方の処理によって、仮想オブジェクトを描画すべきスクリーンを選択する。
＜仮想オブジェクトの視認性に基づくスクリーンの選択方法＞
＜キャリブレーション・パラメータの精度に基づくスクリーンの選択方法＞

＜仮想オブジェクトの視認性に基づくスクリーンの選択方法＞
右眼スクリーン及び左眼スクリーンから構成される両眼スクリーンは、右眼領域と重複領域と左眼領域とに区分される。
そして、オブジェクト毎に、描画領域を以下のいずれかに制限する。
左眼スクリーン（領域Ａ、Ｂ）・右眼スクリーン（領域Ｄ）、又は、
左眼スクリーン（領域Ａ） ・右眼スクリーン（領域Ｃ、Ｄ）
両眼スクリーンに対する当該仮想オブジェクトの両端座標と、重複領域の両端座標とを用いて、右眼領域及び重複領域に跨って表示すべき仮想オブジェクトは、重複領域に描画するスクリーンとして右眼スクリーンを選択する。
また、両眼スクリーンに対する当該仮想オブジェクトの両端座標と、重複領域の両端座標とを用いて、左眼領域及び重複領域に跨って表示すべき仮想オブジェクトは、重複領域に描画するスクリーンとして左眼スクリーンを選択する。

＜キャリブレーション・パラメータの精度に基づくスクリーンの選択方法＞
右眼のキャリブレーション・パラメータＰ_rの精度が、左眼のキャリブレーション・パラメータＰ_lの精度よりも高い場合、重複領域に描画するスクリーンとして右眼スクリーンを選択する。
左眼スクリーン（領域Ａ） ・右眼スクリーン（領域Ｃ、Ｄ）
逆に、右眼のキャリブレーション・パラメータＰ_rの精度が、左眼のキャリブレーション・パラメータＰ_lの精度よりも低い場合、重複領域に描画するスクリーンとして左眼スクリーンを選択する。
左眼スクリーン（領域Ａ、Ｂ）・右眼スクリーン（領域Ｄ）
又は、仮想オブジェクトの表示位置に関する特定の条件に当てはまる場合は、仮想オブジェクトの視認性に基づくスクリーンの選択方法を用い、それ以外の場合は、キャリブレーション・パラメータの精度に基づくスクリーンの選択方法を用いてもよい。

図９は、仮想オブジェクトに対する描画領域を表す第１の説明図である。

図９によれば、例えば仮想オブジェクトを構成する各ポリゴンの頂点座標について、式（３）を用いて投影位置を算出する。この計算は、仮想オブジェクトを実際にレンダリングする前に仮想オブジェクトのおおよその描画位置を把握するためのものである。尚、頂点群をダウンサンプリングしておくことによって、計算コストを低減したものであってもよい。

＜＜仮想オブジェクトが両眼スクリーンで２つの領域（左眼領域及び重複領域、又は重複領域及び右眼領域）にのみ存在する場合の選択基準（図９〜１１）＞＞
図９によれば、仮想オブジェクトを構成する点群を式（３）に基づいてスクリーンに投影した先の点群について、ｕ座標の最小値と最大値とを、以下のように定義する。
左眼スクリーンにおける仮想オブジェクトのｕ座標の描画範囲：（ｕ_l ^min，ｕ_l ^max）
右眼スクリーンにおける仮想オブジェクトのｕ座標の描画範囲：（ｕ_r ^min，ｕ_r ^max）
ここで、仮想オブジェクトを、領域Ａの左眼スクリーンと、領域Ｃの右眼スクリーンとで描画した場合、仮想オブジェクトの連続性が、重複領域境界で分断されてしまう。

図１０は、仮想オブジェクトに対する描画領域を表す第２の説明図である。

図１０によれば、図９に対して、仮想オブジェクトを、領域Ａ及びＢの左眼スクリーンのみに描画する。図９及び図１０によれば、以下の条件を満たす。
ｕ_l ^min＜ｄ、ｄ＜ｕ_l ^max、ｕ_r ^max＜ｗ−ｄ
この場合、仮想オブジェクトは、左眼スクリーン（領域Ａ及びＢ）のみで表示するのが好ましい。これによって、左眼スクリーンのみにおける仮想オブジェクトの連続性が維持され、視認性を高めることができる。

図１１は、仮想オブジェクトに対する描画領域を表す第３の説明図である。

図１１によれば、仮想オブジェクトの投影された点群について、ｕ座標の最小値と最大値とが以下の条件を満たす。
ｄ＜ｕ_l ^min、ｕ_r ^min＜ｗ−ｄ、ｗ−ｄ＜ｕ_r ^max
この場合、右眼スクリーンにおける仮想オブジェクトの連続性を維持するために仮想オブジェクトは、右眼スクリーン（領域Ｃ及びＤ）のみで表示するのが好ましい。

＜＜仮想オブジェクトが両眼スクリーンで３つの領域（左眼領域、重複領域及び右眼領域）にのみ存在する場合の選択基準（図１２〜１３）＞＞
図１２は、仮想オブジェクトに対する描画領域を表す第４の説明図である。

左眼スクリーンでしか表示できないｄ−ｕ_l ^minの長さの範囲よりも、右眼スクリーンでしか表示できないｕ_r ^max−（ｗ−ｄ）の長さの範囲の方が長い。
ｄ−ｕ_l ^min ＜ ｕ_r ^max−（ｗ−ｄ）
ｕ_l ^min＜ｄ、ｗ＜ｕ_l ^max、ｕ_r ^min＜０、ｗ−ｄ＜ｕ_r ^max
この場合、右眼スクリーンでしか表示できない範囲を優先するべく、仮想オブジェクトは、右眼スクリーンで領域Ｃ及びＤを表示し、左眼スクリーンで領域Ａを表示するのが好ましい。

図１３は、仮想オブジェクトに対する描画領域を表す第５の説明図である。

図１３によれば、仮想オブジェクトの中でも、ユーザに表示として主張すべきテキスト部分を左眼スクリーンの領域Ａ及びＢで表示する方が、同テキスト部分の連続性を維持できる。この場合、テキストオブジェクトのみについてｕ_l ^min、ｕ_l ^max、ｕ_r ^min、ｕ_r ^maxを抽出し、以下の条件を満たす。
ｄ−ｕ_l ^min ＞ ｕ_r ^max−（ｗ−ｄ）
この場合、左眼スクリーンでしか表示できない範囲を優先するべく、仮想オブジェクトは、左眼スクリーンで領域Ａ及びＢを表示し、右眼スクリーンで領域Ｄを表示するのが好ましい。即ち、仮想オブジェクトの中でもテキストオブジェクトのサイズによって、描画すべきスクリーンを選択する。

［オブジェクト描画部１４］
オブジェクト描画部１４は、選択された右眼スクリーン又は左眼スクリーンに当該仮想オブジェクトを描画する。

図１４は、オブジェクト描画部の描画手順を表す説明図である。

オブジェクト描画部１４は、両眼スクリーンに対して以下の描画処理を実行する。尚、図１４は、重複領域の描画対象として右眼スクリーンが選択された場合を表す。
（Ｓ１１）仮想オブジェクト毎に、重複領域の描画対象として選択されていない一方のスクリーンにのみ描画する。例えば、図１２及び１４のオブジェクトや図１５のＣＧ２は、左眼スクリーンにのみ描画する。また、図１３のオブジェクトや図１５のＣＧ１は、右眼スクリーンのみに描画する。
（Ｓ１２）左眼スクリーン及び右眼スクリーンの各々の重複領域を、ディスプレイの透過色で塗りつぶす。
（Ｓ１３）仮想オブジェクトを（Ｓ１１）で描画していない他方のスクリーンに描画する。例えば、図１２及び１４のオブジェクトや図１５のＣＧ２は、右眼スクリーンにのみ描画する。また、図１３のオブジェクトや図１５のＣＧ１は、左眼スクリーンのみに描画する。

以上、詳細に説明したように、本発明の画像表示装置、プログラム及び方法によれば、眼鏡状の両眼の光学シースルー型の両眼のディスプレイにオブジェクトを表示する際に、ユーザから見た、スクリーンの重複領域におけるオブジェクトの視認性を向上させることができる。

図１５は、本発明におけるユーザの視界に映るスクリーンを表す説明図である。

図１５によれば、仮想オブジェクト毎に、その視認性を維持するべく、左眼スクリーン又は右眼スクリーンのいずれかが選択される。そのために、光学式シースルー型ＨＭＤについて、視野角が拡大しても（手先の作業であっても）、両眼スクリーンの重複領域における仮想オブジェクトの視認性を損なわない。即ち、その重複領域で、仮想オブジェクトが二重に表示されず、輝度も統一される。本発明によれば、キャリブレーション・パラメータの推定誤差及び輝度差に起因する視認性の低下を防ぐことができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 画像表示装置、ヘッドマウントディスプレイ、端末
１１ 注視点位置取得部
１２ 重複領域算出部
１３ 描画領域選択部
１４ オブジェクト描画部

Claims (12)

1. ユーザの右眼及び左眼の各々の前方に配置され、現実空間を透過して視認可能な光学式シースルー型の両眼のディスプレイを有し、ユーザが注視する実オブジェクトにおける注視点に合わせて、前記ディスプレイに表示すべき仮想オブジェクトを制御する画像表示装置であって、
   カメラから、ユーザの注視点までの奥行き位置を取得する注視点位置取得手段と、
   前記ユーザの右眼及び左眼の各々から、前記ディスプレイを通して前記奥行き位置に視認される右眼スクリーン及び左眼スクリーンが交わる重複領域を算出する重複領域算出手段と、
   前記重複領域に表示すべき当該仮想オブジェクトに対して、右眼スクリーン又は左眼スクリーンのいずれか一方のみを選択する描画領域選択手段と、
   選択された右眼スクリーン又は左眼スクリーンに当該仮想オブジェクトを描画するオブジェクト描画手段と
   を有することを特徴とする画像表示装置。
2. 前記描画領域選択手段は、
   前記右眼スクリーン及び左眼スクリーンから構成される両眼スクリーンを、右眼領域と重複領域と左眼領域とに区分し、
   前記両眼スクリーンに対する当該仮想オブジェクトの両端座標と、前記重複領域の両端座標とを用いて、
   右眼領域及び重複領域に跨って表示すべき仮想オブジェクトは、重複領域に描画するスクリーンとして右眼スクリーンを選択し、
   左眼領域及び重複領域に跨って表示すべき仮想オブジェクトは、重複領域に描画するスクリーンとして左眼スクリーンを選択する
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記描画領域選択手段は、
   前記重複領域に表示すべき当該仮想オブジェクトについて、
   右眼のキャリブレーション・パラメータＰ_rの精度が、左眼のキャリブレーション・パラメータＰ_lの精度よりも高い場合、重複領域に描画するスクリーンとして右眼スクリーンを選択し、
   逆に、右眼のキャリブレーション・パラメータＰ_rの精度が、左眼のキャリブレーション・パラメータＰ_lの精度よりも低い場合、重複領域に描画するスクリーンとして左眼スクリーンを選択する。
   ことを特徴とする請求項１に記載の画像表示装置。
4. 前記重複領域算出手段の逆投影−投影計算は、右眼から右眼スクリーン（又は左眼から左眼スクリーン）の任意点を介して、３次元空間の奥行き位置に逆投影した後、他方の左眼スクリーン（又は右眼スクリーン）に投影する逆投影−投影計算によって、右眼スクリーンの座標系（ｕ_ｒ，ｖ_ｒ）と、左眼スクリーンの座標系（ｕ_ｌ，ｖ_ｌ）との位置関係を示す、以下の変換行列Ｈ_l,rを算出する
   

   

   ｓ：スケール係数
   ことを特徴とする請求項１から３のいずれか１項に記載の画像表示装置。
5. 前記重複領域算出手段は、両眼のスクリーンが左右方向のみにずれている場合に、逆投影−投影計算によって、以下の変換行列Ｈ_l,rで定義される変位量ｄを算出する
   

   

   ことを特徴とする請求項４に記載の画像表示装置。
6. 前記重複領域算出手段は、右眼から右眼スクリーン（又は左眼から左眼スクリーン）の任意点を介して、３次元空間の前記奥行き位置に逆投影した後、他方の左眼スクリーン（又は右眼スクリーン）に投影する逆投影−投影計算によって、スクリーン間が左右方向のみにずれている場合に、前記変換行列Ｈ_l,rで定義される変位量ｄを算出する
   ことを特徴とする請求項４又は５に記載の画像表示装置。
7. 前記重複領域算出手段の逆投影−投影計算は、右眼スクリーンの座標系（ｕ_ｒ，ｖ_ｒ）と、左眼スクリーンの座標系（ｕ_ｌ，ｖ_ｌ）と、右眼のキャリブレーション・パラメータＰ_rと、左眼のキャリブレーション・パラメータＰ_lと、前記注視点位置取得手段で用いたカメラ座標系（Ｘc，Ｙc，Ｚc）とを用いて、以下の式によって定義し、
   

   

   ｓ：スケール係数
   （ｕ_ｒ，ｖ_ｒ）＝（０，０）及びＺ_C＝Ｚ_α（奥行き距離のスカラー値）を代入することで、ｕ_ｌを変位量ｄとして算出するか、
   又は、
   （ｕ_ｌ，ｖ_ｌ）＝（０，０）及びＺ_C＝Ｚ_α（奥行き距離のスカラー値）を代入することで、ｕ_ｒを変位量−ｄとして算出する
   ことを特徴とする請求項６に記載の画像表示装置。
8. 前記注視点位置取得手段は、可視光カメラを用いる場合、注視点を特定するマーカ画像を予め記憶しており、撮影画像からマーカ画像を検出することによって、以下のように、マーカを配置した世界座標系（Ｘw，Ｙw，Ｚw）からカメラ座標系（Ｘc，Ｙc，Ｚc）への変換行列（位置姿勢パラメータ）Ｗc,wを算出し、
   

   

   ｓ：スケール係数
   前記注視点位置取得手段は、世界座標系における注視点の座標を、前記変換行列Ｗc,wを用いてカメラ座標系へ変換し、そのＺcを奥行き距離のスカラー値Ｚ_αとして算出する
   ことを特徴とする請求項１から７のいずれか１項に記載の画像表示装置。
9. 前記注視点位置取得手段は、前記マーカ画像の領域における重心座標を、前記注視点とする
   ことを特徴とする請求項８に記載の画像表示装置。
10. 前記オブジェクト描画手段は、
    仮想オブジェクト毎に、重複領域の描画対象として選択されていない一方のスクリーンにのみ描画し、
    左眼スクリーン及び右眼スクリーンの各々の重複領域を、ディスプレイの透過色で塗りつぶし、
    仮想オブジェクトを、描画していない他方のスクリーンに描画する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像表示装置。
11. ユーザの右眼及び左眼の各々の前方に配置され、現実空間を透過して視認可能な光学式シースルー型の両眼のディスプレイを有し、ユーザが注視する実オブジェクトにおける注視点に合わせて、前記ディスプレイに表示すべき仮想オブジェクトを制御する装置に搭載されたコンピュータを機能させるプログラムであって、
    カメラから、ユーザの注視点までの奥行き位置を取得する注視点位置取得手段と、
    前記ユーザの右眼及び左眼の各々から、前記ディスプレイを通して前記奥行き位置に視認される右眼スクリーン及び左眼スクリーンが交わる重複領域を算出する重複領域算出手段と、
    前記重複領域に表示すべき当該仮想オブジェクトに対して、右眼スクリーン又は左眼スクリーンのいずれか一方のみを選択する描画領域選択手段と、
    選択された右眼スクリーン又は左眼スクリーンに当該仮想オブジェクトを描画するオブジェクト描画手段と
    してコンピュータを機能させることを特徴とするプログラム。
12. ユーザの右眼及び左眼の各々の前方に配置され、現実空間を透過して視認可能な光学式シースルー型の両眼のディスプレイを有し、ユーザが注視する実オブジェクトにおける注視点に合わせて、前記ディスプレイに表示すべき仮想オブジェクトを制御する装置の画像表示方法であって、
    前記装置は、
    カメラから、ユーザの注視点までの奥行き位置を取得する第１のステップと、
    前記ユーザの右眼及び左眼の各々から、前記ディスプレイを通して前記奥行き位置に視認される右眼スクリーン及び左眼スクリーンが交わる重複領域を算出する第２のステップと、
    前記重複領域に表示すべき当該仮想オブジェクトに対して、右眼スクリーン又は左眼スクリーンのいずれか一方のみを選択する第３のステップと、
    選択された右眼スクリーン又は左眼スクリーンに当該仮想オブジェクトを描画する第4のステップと
    を実行することを特徴とする装置の画像表示方法。

Images