WO2023281587A1

WO2023281587A1 - 情報処理装置、制御方法及び記憶媒体

Info

Publication number: WO2023281587A1
Application number: PCT/JP2021/025327
Authority: WO
Inventors: 亮介坂井; 康敬馬場崎
Original assignee: 日本電気株式会社
Priority date: 2021-07-05
Filing date: 2021-07-05
Publication date: 2023-01-12
Also published as: JPWO2023281587A1

Abstract

情報処理装置１Ｙは、主に、特徴点情報取得手段４２Ｙと、候補フィールド生成手段５１１Ｙと、推定フィールド決定手段５１２Ｙとを有する。特徴点情報取得手段４２Ｙは、対象となるフィールドの少なくとも一部を含む画像に基づき決定された、フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得する。候補フィールド生成手段５１１Ｙは、少なくとも２つの組と、フィールドの構造に関する構造データとに基づき、画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系におけるフィールドの候補を表す候補フィールドを生成する。推定フィールド決定手段５１２Ｙは、生成された複数の候補フィールドに基づき、第１座標系において推定されたフィールドを表す推定フィールドを決定する。

Description

情報処理装置、制御方法及び記憶媒体

　本発明は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）における空間把握に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。

　拡張現実を提供する装置において、カメラで撮像した画像に基づき、ユーザが視認する風景に重ねて表示する画像（所謂ＡＲ画像）の表示位置を決定する技術が存在する。例えば、特許文献１には、スポーツ観戦におけるＡＲを実現するため、フィールドの各特徴点の位置を推定し、その推定結果に基づきＡＲのキャリブレーションを行う技術が記載されている。

国際公開ＷＯ２０２１／０３３３１４

　特許文献１のように対象のフィールドの特徴点を抽出してキャリブレーションなどの処理を行う場合には、特徴点の抽出精度がその後のキャリブレーションなどの処理の精度に影響を与えることになる。そして、キャリブレーションにおいては、ＡＲを実現する表示装置を基準とした座標系において対象のフィールドの位置を的確に推定することが求められる。

　本開示は、上述した課題を鑑み、表示装置を基準とした座標系において対象のフィールドを的確に推定することが可能な情報処理装置、制御方法及び記憶媒体を提供することを主な目的の１つとする。

　情報処理装置の一の態様は、
　対象となるフィールドの少なくとも一部を含む画像に基づき決定された、前記フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得する特徴点情報取得手段と、
　少なくとも２つの前記組と、前記フィールドの構造に関する構造データとに基づき、前記画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における前記フィールドの候補を表す候補フィールドを生成する候補フィールド生成手段と、
　生成された複数の前記候補フィールドに基づき、前記第１座標系において推定された前記フィールドを表す推定フィールドを決定する推定フィールド決定手段と、
を有する情報処理装置である。

　制御方法の一の態様は、
　コンピュータが、
　対象となるフィールドの少なくとも一部を含む画像に基づき決定された、前記フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得し、
　少なくとも２つの前記組と、前記フィールドの構造に関する構造データとに基づき、前記画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における前記フィールドの候補を表す候補フィールドを生成し、
　生成された複数の前記候補フィールドに基づき、前記第１座標系において推定された前記フィールドを表す推定フィールドを決定する、
制御方法である。

　記憶媒体の一の態様は、
　対象となるフィールドの少なくとも一部を含む画像に基づき決定された、前記フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得し、
　少なくとも２つの前記組と、前記フィールドの構造に関する構造データとに基づき、前記画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における前記フィールドの候補を表す候補フィールドを生成し、
　生成された複数の前記候補フィールドに基づき、前記第１座標系において推定された前記フィールドを表す推定フィールドを決定する処理をコンピュータに実行させるプログラムを格納する記憶媒体である。

　本開示の１つの効果の例として、表示装置を基準とした座標系において対象のフィールドを的確に推定することが可能となる。

第１実施形態に係る表示装置の概略構成図である。構造データのデータ構造の一例を示す。制御部の機能的な構成を示すブロック図である。（Ａ）対象フィールドがテニスコートである場合の構造特徴点の第１のラベル定義例である。（Ｂ）対象フィールドがテニスコートである場合の構造特徴点の第２のラベル定義例である。（Ａ）対象フィールドがプールである場合の構造特徴点の第１のラベル定義例である。（Ｂ）対象フィールドがプールである場合の構造特徴点の第２のラベル定義例である。フィールド推定部の機能ブロックの一例である。間違いラベル検出部の機能ブロックの一例である。デバイス座標系及びフィールド座標系の高さ方向の軸が平行になるように調整後のデバイス座標系とフィールド座標系の位置関係を示す。カメラの撮影位置、撮像画像、及び対象フィールドをデバイス座標系及びフィールド座標系において表した図である。生成した６個の候補フィールドのクラスタリングの結果をデバイス座標系において示した図である。プールに設けられたロープのうち構造特徴点として指定されるフロートを明示した図である。エラー特徴点候補位置を除外した特徴点候補位置に基づく最適化処理により求めた対象フィールドの推定位置をデバイス座標系において表した図である。対象フィールドの等方的な最適化の解と非等方的な最適化の解とを夫々デバイス座標系のｘｚ平面上において表した図である。（Ａ）対象フィールドがテニスコートである場合の特徴点候補位置を候補ラベルの番号と共に第１フィールド推定情報に基づくフィールド推定面上において明示した図である。（Ｂ）候補ラベル修正後の特徴点候補位置及び候補ラベルの番号の組を第１フィールド推定情報に基づくフィールド推定面上において明示した図である。第１実施形態において制御部が実行する仮想オブジェクトの表示処理に関する処理概要を示すフローチャートの一例である。キャリブレーション処理の詳細な処理手順を示すフローチャートの一例である。ステップＳ２２において実行される特徴点エラー検出処理の詳細を示すフローチャートの一例である。第１フィールド推定処理の詳細を示すフローチャートの一例である。ラベル修正処理の詳細を示すフローチャートの一例である。第２実施形態における表示システムの構成を示す。第２実施形態におけるサーバ装置のブロック図である。第２実施形態においてサーバ装置の制御部が実行する処理手順を示すフローチャートの一例である。第３実施形態における情報処理装置の概略構成を示す。第３実施形態におけるフローチャートの一例である。第４実施形態における情報処理装置の概略構成を示す。第４実施形態におけるフローチャートの一例である。

　以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。

　＜第１実施形態＞
　（１）概略構成
　図１は、第１実施形態に係る表示装置１の概略構成図である。表示装置１は、ユーザが装着可能な装置であり、例えば眼鏡型に構成されたシースルー型であって、ユーザの頭部に装着可能に構成されている。そして、表示装置１は、スポーツ観戦や劇（コンサートを含む）の観賞などにおいて、実在する風景に視覚情報を重ねて表示することで、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を実現する。上記の視覚情報は、２次元又は３次元により表された仮想のオブジェクトであり、以後では、「仮想オブジェクト」とも呼ぶ。なお、表示装置１は、ユーザの片眼にのみ仮想オブジェクトを表示してもよく、両眼に対して仮想オブジェクトを表示してもよい。

　本実施形態では、スポーツや劇などが行われる場又は構造物（以後では「対象フィールド」とも呼ぶ。）が存在するものとし、表示装置１は、ユーザがスポーツ観戦や劇の観賞を行う際に補助となる付加的な情報となる仮想オブジェクトを、対象フィールド又はその周辺に重畳表示する。対象フィールドは、例えば、スポーツ観戦において対象となるフィールド（例えばテニスコート、競泳用プール、スタジアム等）、又は、観劇において対象となるフィールド（例えば劇場、コンサートホール、多目的ホール、各種ステージ等）などが該当する。後述するように、対象フィールドは、構造上の（即ち形状において特徴がある）特徴点（「構造特徴点」とも呼ぶ。）を複数有している。対象フィールドは、表示装置１のキャリブレーションにおける基準物として機能する。

　仮想オブジェクトは、例えば、テニスなどの場合には、テニスコート上方に表示する点数ボード、競泳の場合には、競泳中のプールにリアルタイム重畳表示する世界記録ライン、観劇などでステージ上に重畳表示するバーチャル出演者などを含む。

　表示装置１は、光源ユニット１０と、光学素子１１と、通信部１２と、入力部１３と、記憶部１４と、カメラ１５と、位置姿勢検出センサ１６と、制御部１７とを有する。

　光源ユニット１０は、レーザ光源やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）光源などの光源を有しており、制御部１７から供給される駆動信号に基づき、光を射出する。光学素子１１は、所定の透過率を有し、外光の少なくとも一部を透過してユーザの眼球に入射させると共に、光源ユニット１０からの光の少なくとも一部を、ユーザの眼球に向けて反射する。これにより、表示装置１によって形成された仮想オブジェクトに対応する虚像が、風景と重なってユーザに視認されることとなる。なお、光学素子１１は、透過率と反射率とが概ね等しいハーフミラーであってもよく、透過率と反射率とが等しくないようなミラー（所謂ビームスプリッタ）であってもよい。

　通信部１２は、制御部１７の制御に基づき、外部装置とのデータの授受を行う。例えば、ユーザがスポーツ観戦や劇の観賞などに表示装置１を使用する場合には、通信部１２は、制御部１７の制御に基づき、興行者が管理するサーバ装置から表示装置１が表示すべき仮想オブジェクトに関する情報を受信する。

　入力部１３は、ユーザの操作に基づく入力信号を生成して制御部１７に送信する。入力部１３は、例えば、ユーザが表示装置１に対して指示を行うためのボタン、十字キー、音声入力装置等である。

　カメラ１５は、制御部１７の制御に基づき、表示装置１の前方を撮像した画像を生成し、生成した画像（「撮像画像Ｉｍ」とも呼ぶ。）を制御部１７に供給する。

　位置姿勢検出センサ１６は、表示装置１の位置及び姿勢（向き）を検出するセンサ（センサ群）であり、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓａｔｅｌｌｉｔｅ）受信機などの測位センサと、ジャイロセンサ、加速度センサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）などの表示装置１の相対的な姿勢の変化を検出する姿勢検出センサとを含む。位置姿勢検出センサ１６は、生成した表示装置１の位置及び姿勢に関する検出信号を制御部１７へ供給する。後述するように、制御部１７は、位置姿勢検出センサ１６から供給される検出信号に基づき、表示装置１の起動時等からの位置及び姿勢の変化量を検出する。なお、制御部１７は、測位センサから表示装置１の位置を検出する代わりに、例えば、会場に設けられたビーコン端末や無線ＬＡＮ機器から受信する信号に基づき、表示装置１の位置を特定してもよい。他の例では、制御部１７は、ＡＲマーカを用いた公知の位置推定技術に基づき、表示装置１の位置を特定してもよい。これらの場合、位置姿勢検出センサ１６は、測位センサを含まなくともよい。

　制御部１７は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサ、プロセッサの作業メモリとして機能する揮発性メモリなどを有しており、表示装置１の全体的な制御を行う。

　例えば、制御部１７は、仮想オブジェクトの表示タイミングなどにおいて、撮像画像Ｉｍから認識される対象フィールドの構造特徴点に基づき、実世界空間と表示装置１が認識する空間とを対応付けるためのキャリブレーション処理を行う。このキャリブレーション処理では、制御部１７は、表示装置１が基準とする３次元空間の座標系（「デバイス座標系」とも呼ぶ。）を、対象フィールドを基準とした３次元空間の座標系（「フィールド座標系」とも呼ぶ。）に変換するための座標変換情報を生成する。デバイス座標系は「第１座標系」の一例であり、フィールド座標系は「第２座標系」の一例である。キャリブレーション処理の詳細については後述する。そして、制御部１７は、上述の座標変換情報等に基づき、光源ユニット１０を駆動するための駆動信号を生成し、駆動信号を光源ユニット１０に供給することで光源ユニット１０に仮想オブジェクトを表示するための光（「表示光」とも呼ぶ。）を光学素子１１に射出させる。これにより、制御部１７は、仮想オブジェクトをユーザに視認させる。

　記憶部１４は、制御部１７が表示装置１の制御に必要な種々の情報を記憶する不揮発性メモリである。記憶部１４は、フラッシュメモリなどの着脱自在な記憶媒体を含んでもよい。また、記憶部１４には、制御部１７が実行するプログラムが記憶される。

　また、記憶部１４は、センサデータ記憶部２０と、パラメータ記憶部２１と、構造データ記憶部２２とを有する。

　センサデータ記憶部２０は、カメラ１５が生成する撮像画像Ｉｍと、当該撮像画像Ｉｍの生成時におけるデバイス座標系の設定時（例えば表示装置１の起動時）からの表示装置１の位置及び姿勢の変化量（「位置姿勢変化量Ａｐ」とも呼ぶ。）とを関連付けて記憶する。この場合、例えば、制御部１７は、デバイス座標系の設定時の位置及び姿勢を基準とする現在の位置及び姿勢の変化量を、位置姿勢検出センサ１６の検出信号に基づき常時算出する。そして、制御部１７は、カメラ１５が生成した撮像画像Ｉｍをセンサデータ記憶部２０に記憶する場合に、当該撮像画像Ｉｍの生成時に算出した位置姿勢変化量Ａｐを当該撮像画像Ｉｍに関連付けてセンサデータ記憶部２０に記憶する。制御部１７は、例えば、最新の所定時間分又は所定数分の撮像画像Ｉｍ及び位置姿勢変化量Ａｐの組合せをセンサデータ記憶部２０に記憶させる。センサデータ記憶部２０に記憶される情報は、キャリブレーション処理において使用される。

　パラメータ記憶部２１は、キャリブレーション処理において、対象フィールドの構造特徴点の位置情報及び当該構造特徴点の分類情報を撮像画像Ｉｍから抽出する際に用いる推論器（「特徴抽出器」とも呼ぶ。）のパラメータを記憶する。上述の特徴抽出器は、例えば、撮像画像Ｉｍが入力された場合に、抽出対象となる構造特徴点の分類（即ちラベル）毎に構造特徴点の画像内の位置情報を出力するように学習された学習モデルである。上述の位置情報は、構造特徴点の座標値ごとの信頼度を示す画像上のマップ情報であってもよく、ピクセル単位又はサブピクセル単位での画像内の構造特徴点の位置を示す座標値であってもよい。上述の特徴抽出器が構造特徴点の分類毎のマップ情報を出力する場合には、例えば、構造特徴点の分類毎に信頼度がある閾値を超えた上位ｍ個（ｍは１以上の整数）の座標値が構造特徴点の位置として採用される。上記整数ｍは、後述する図４（Ａ）及び図５（Ａ）の例では「１」となり、後述する図４（Ｂ）及び図５（Ｂ）の例では「２」となる。なお、特徴抽出器の学習に用いる学習モデルは、ニューラルネットワークに基づく学習モデルであってもよく、サポートベクターマシーンなどの他の種類の学習モデルであってもよく、これらの組み合わせであってもよい。例えば、上述の学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、パラメータ記憶部２１は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを記憶する。

　また、パラメータ記憶部２１は、カメラ１５の焦点距離、内部パラメータ、主点、撮像画像Ｉｍのサイズ情報などの、仮想オブジェクトの表示に必要なカメラ１５に関するパラメータを記憶する。

　構造データ記憶部２２は、対象フィールドの構造に関するデータである構造データを記憶する。図２は、構造データのデータ構造の一例を示す。構造データは、サイズ情報と、登録特徴点情報と、非等方性情報と、を有する。

　サイズ情報は、対象フィールドのサイズに関する情報である。登録特徴点情報は、対象フィールドの構造特徴点に関する情報であり、予め計測した構造特徴点毎の個別の情報を含んでいる。ここでは、対象フィールドがＮ個（Ｎは２以上の整数）の構造特徴点を有することから、登録特徴点情報は、これらのＮ個の構造特徴点に夫々対応する情報（第１登録特徴点情報～第Ｎ登録特徴点情報）を含んでいる。登録特徴点情報は、対象となる構造特徴点の分類を示すラベルと、対象となる構造特徴点のフィールド座標系での位置を示す登録位置情報とを少なくとも含んでいる。登録位置情報は、フィールド座標系により表された座標情報であり、例えばいずれかの構造特徴点の位置が原点となるように設定されている。登録特徴点情報は、キャリブレーション処理において用いられる。なお、任意の２点の構造特徴点間の長さは、これらの登録位置情報が示す座標値に基づき算出可能である。

　非等方性情報は、対象フィールドの構造特徴点の経時での変位の非等方性に関する情報である。非等方性情報は、例えば、対象フィールドの構造特徴点が経時により変位する場合に、変位しやすい方向又は／及び変位しにくい方向（及びその度合い）を示す情報となる。これらの方向は、例えば、フィールド座標系におけるベクトルにより表されてもよく、「構造特徴点Ａから構造特徴点Ｂへの方向」などのように、構造特徴点同士の位置関係に基づき特定されてもよい。

　その他、構造データは、フィールド座標系において原点とする構造特徴点を指定する情報及びフィールド座標系の３軸の各方向をそれぞれ指定する情報などが含まれてもよい。

　なお、図１に示す表示装置１の構成は一例であり、この構成に対して種々の変更を行ってもよい。例えば、表示装置１は、制御部１７の制御に基づき、音声を出力するスピーカをさらに備えてもよい。また、表示装置１は、ユーザの視線の位置に応じて仮想オブジェクトの表示有無や仮想オブジェクトの表示位置を変更するための視線検出用カメラを備えてもよい。さらに別の例では、記憶部１４は、センサデータ記憶部２０を有しなくともよい。この場合、制御部１７は、カメラ１５から即時に取得した撮像画像Ｉｍと、位置姿勢検出センサ１６の検出信号に基づき算出した位置姿勢変化量Ａｐとを用いて、キャリブレーション処理を行う。

　さらに別の例では、表示装置１は、位置姿勢検出センサ１６等による表示装置１の位置を検出しなくともよい。一般に、スポーツ観戦や劇等の観賞中では、ユーザが移動することは稀であり、かつ、表示装置１の姿勢変化に比べて表示装置１の位置の変化に対する仮想オブジェクトの表示への影響は小さい。以上を勘案し、位置姿勢検出センサ１６は、表示装置１の姿勢を検出するセンサから構成され、制御部１７は、デバイス座標系の設定時からの表示装置１の姿勢の変化量のみを、位置姿勢変化量Ａｐとして算出してもよい。

　（２）機能ブロック
　図３は、制御部１７の機能的な構成を示すブロック図である。図３に示すように、制御部１７は、機能的には、仮想オブジェクト取得部４１と、特徴抽出部４２と、座標変換情報生成部４３と、反映部４４と、光源制御部４５と、を有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。

　仮想オブジェクト取得部４１は、仮想オブジェクトとして風景に重畳表示させる元となる仮想オブジェクトとその表示位置とを指定する情報（「指定表示情報Ｉｄ」とも呼ぶ。）を取得する。この仮想オブジェクトは、２次元の物体描画のための情報（２次元描画情報）であってもよく、３次元の物体描画のための情報（３次元描画情報）であってもよい。例えば、興行者が管理するサーバ装置と表示装置１が通信可能である場合には、仮想オブジェクト取得部４１は、サーバ装置から所定のタイミングによりプッシュ型配信又はプル型配信される配信情報を、指定表示情報Ｉｄとして取得する。この場合、指定表示情報Ｉｄには、仮想オブジェクトの他、表示位置を指定する情報（例えばフィールド座標系での座標値を示す情報）が含まれている。他の例では、仮想オブジェクトと表示位置とその表示条件との組み合わせを示す情報が記憶部１４に予め記憶されてもよい。この場合、仮想オブジェクト取得部４１は、記憶された上述の表示条件が満たされたと判断したときに、満たされた表示条件に対応する仮想オブジェクトと表示位置の組み合わせを指定表示情報Ｉｄとして取得する。

　特徴抽出部４２は、センサデータ記憶部２０から取得する撮像画像Ｉｍに基づき、特徴点情報「ＩＦ」を生成する。この場合、特徴抽出部４２は、パラメータ記憶部２１から抽出したパラメータに基づき構成した特徴抽出器に撮像画像Ｉｍ（例えば最新の撮像画像Ｉｍ）を入力することで特徴抽出器が出力する情報から特徴点情報ＩＦを生成する。例えば、この場合、特徴抽出器は、構造特徴点の分類を示すラベルごとに、入力された撮像画像Ｉｍ内の構造特徴点の位置（例えば座標値）を出力し、特徴抽出部４２は、上述の撮像画像Ｉｍ内の構造特徴点の位置を構造特徴点の候補位置（「特徴点候補位置」とも呼ぶ。）とし、当該位置に対応するラベルをラベルの候補（「候補ラベル」とも呼ぶ。）とする複数の組み合わせを示す特徴点情報ＩＦを生成する。なお、特徴抽出器が構造特徴点の座標値として画像サイズに依存しないように正規化された値を出力する場合には、特徴抽出部４２は、当該座標値に撮像画像Ｉｍの画像サイズを乗じることで、特徴点候補位置を算出する。

　座標変換情報生成部４３は、構造データ記憶部２２から抽出した構造データと、特徴点情報ＩＦと、特徴抽出を行った撮像画像Ｉｍの生成時の位置姿勢変化量Ａｐと、カメラ１５のパラメータ等とに基づき、デバイス座標系とフィールド座標系との座標変換情報「Iｃ」を生成する。座標変換情報Ｉｃは、例えば、３次元空間同士の座標変換を行うために一般的に用いられる回転行列及び並進ベクトルの組み合わせである。なお、座標変換情報Ｉｃは、フィールド座標系をデバイス座標系へ変換する際に用いられる情報であることに限定されず、デバイス座標系をフィールド座標系へ変換する際に用いられる情報であってもよい。ここで、フィールド座標系からデバイス座標系へ変換するための回転行列及び並進ベクトルは、デバイス座標系からフィールド座標系へ変換するための回転行列（上述の回転行列の逆行列）及び並進ベクトル（符号反転した上述の並進ベクトル）に変換可能である。

　また、座標変換情報生成部４３は、フィールド推定部４６を有する。フィールド推定部４６は、デバイス座標系における対象フィールドの位置を推定する。フィールド推定部４６による推定方法については後述する。座標変換情報生成部４３は、フィールド推定部４６が推定したデバイス座標系における対象フィールドの位置と、構造データ記憶部２２が示すフィールド座標系における対象フィールドの位置とに基づき、座標変換情報Ｉｃを生成する。

　反映部４４は、座標変換情報生成部４３から供給される座標変換情報Ｉｃを、仮想オブジェクト取得部４１から供給される指定表示情報Ｉｄに反映させることで、光学素子１１上に投影させる仮想オブジェクトを示す表示信号「Ｓｄ」を生成する。この場合、反映部４４は、座標変換情報Ｉｃによりデバイス座標系をフィールド座標系と一致させた上で、指定表示情報Ｉｄに基づく表示信号Ｓｄを生成する。光源制御部４５は、反映部４４から供給される表示信号Ｓｄに基づき、光源ユニット１０の光源（例えばＲＧＢに対応する各光源）を駆動するための駆動タイミング及び光量などを指示する駆動信号を生成し、生成した駆動信号を光源ユニット１０へ供給する。

　なお、キャリブレーション完了後（即ち座標変換情報Ｉｃを算出後）の各処理（即ち反映部４４及び光源制御部４５の処理）の説明は一例であり、既存のＡＲ製品などにおいて適用される任意の方法により、仮想オブジェクトを所望の風景位置に重畳させる仮想オブジェクトを表示させてもよい。例えば、このような技術を開示する文献の例として、特開２０１５－１１６３３６号公報、特開２０１６－５２５７４１号公報などが存在する。これらの文献に示されるように、表示装置１は、ユーザの視線検出などを行い、仮想オブジェクトが適切に視認されるように制御を行う。

　図３において説明した仮想オブジェクト取得部４１、特徴抽出部４２、座標変換情報生成部４３、反映部４４及び光源制御部４５の各構成要素は、例えば、制御部１７がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。

　（３）構造特徴点のラベル定義例
　図４（Ａ）は、対象フィールドがテニスコートである場合の構造特徴点の第１のラベル定義例であり、図４（Ｂ）は、対象フィールドがテニスコートである場合の構造特徴点の第２のラベル定義例である。図４（Ａ）及び図４（Ｂ）では、構造特徴点の位置に丸印及び対応するラベルの番号が明示されている。

　図４（Ａ）に示す第１のラベル定義例では、１４個存在する構造特徴点の隅から順に、０から１３までの通し番号を、各構造特徴点のラベルとして付している。一方、図４（Ｂ）に示す第２のラベル定義例では、対称となる構造特徴点に対して同一ラベルを付している。その結果、０から５までの各ラベルは、対称位置にある２つの構造特徴点に対して付されている。

　図５（Ａ）は、対象フィールドがプールである場合の構造特徴点の第１のラベル定義例であり、図５（Ｂ）は、対象フィールドがプールである場合の構造特徴点の第２のラベル定義例である。図５（Ａ）及び図５（Ｂ）では、構造特徴点の位置に丸印及び対応するラベルの番号が明示されている。なお、対象フィールドがプールの場合、コースを区画するロープに所定距離間隔により設けられた所定色のフロートが構造特徴点として選ばれている。

　図５（Ａ）に示す第１のラベル定義例では、２５個存在する構造特徴点の隅から順に、０から２４までの通し番号を、各構造特徴点のラベルとして付している。一方、図５（Ｂ）に示す第２のラベル定義例では、対称となる構造特徴点に対して同一ラベルを付している。その結果、０から１１までの各ラベルは、対称位置にある２つの構造特徴点に対して付されている。

　（４）フィールド推定部の処理
　（４－１）概要
　図６は、フィールド推定部４６の処理の概要を表したフィールド推定部４６の機能ブロック図である。図６に示すように、フィールド推定部４６は、機能的には、特徴点エラー検出部５１と、第１フィールド推定部５２と、ラベル修正部５３と、第２フィールド推定部５４とを有する。なお、図６では明示していないが、フィールド推定部４６の各構成要素は、センサデータ記憶部２０に記憶された位置姿勢変化量Ａｐ及びパラメータ記憶部２１に記憶されたカメラのパラメータ（内部パラメータ、撮像画像Ｉｍのサイズを含む）を参照して各処理を行うものとする。

　特徴点エラー検出部５１は、特徴抽出部４２から供給される特徴点情報ＩＦと、構造データ記憶部２２に記憶された構造データとに基づき、誤った構造特徴点の抽出結果を表す特徴点候補位置（「エラー特徴点候補位置」とも呼ぶ。）を検出する。この場合、特徴点エラー検出部５１は、位置姿勢検出センサ１６に含まれる加速度センサ１６０の出力信号に基づき、フィールド座標系とデバイス座標系との鉛直方向の軸を平行にする処理を行ってもよい。そして、特徴点エラー検出部５１は、エラー特徴点候補位置の検出結果を、第１フィールド推定部５２及びラベル修正部５３に供給する。

　第１フィールド推定部５２は、特徴点情報ＩＦと、特徴点エラー検出部５１によるエラー特徴点候補位置の検出結果と、構造データ記憶部２２に記憶された構造データとに基づき、デバイス座標系における対象フィールドの位置を推定する。具体的には、第１フィールド推定部５２は、後述するように、対象フィールドの構造特徴点が非等方的に（ある方向に偏って）変位する場合に、非等方的な変位を考慮した最適化を行うことで、デバイス座標系における対象フィールドの推定位置を決定する。この場合、第１フィールド推定部５２は、加速度センサ１６０の出力信号に基づき、フィールド座標系とデバイス座標系との鉛直方向の軸を平行にする処理を行ってもよい。

　なお、第１フィールド推定部５２が算出するデバイス座標系での対象フィールドの推定位置は、ラベル修正部５３が処理に用いるための暫定的な推定位置であり、最終的な対象フィールドの推定位置は、第２フィールド推定部５４によって決定される。第１フィールド推定部５２は、対象フィールドの推定位置を示す情報（「第１フィールド推定情報」とも呼ぶ。）を、ラベル修正部５３に供給する。

　ラベル修正部５３は、第１フィールド推定部５２から供給される第１フィールド推定情報と、特徴点情報ＩＦと、構造データ記憶部２２に記憶される構造データとに基づき、特徴点情報ＩＦの候補ラベルの修正を行う。この場合、ラベル修正部５３は、エラー特徴点候補位置のうち、候補ラベルを変更することで正しい構造特徴点の位置を示すエラー特徴点候補位置（「ラベルエラー特徴点候補位置」とも呼ぶ。）の候補ラベルを変更する処理を行う。そして、ラベル修正部５３は、ラベルエラー特徴点候補位置の候補ラベルを変更した特徴点情報ＩＦを、第２フィールド推定部５４に供給する。

　第２フィールド推定部５４は、ラベル修正部５３による修正が反映された特徴点情報ＩＦと、構造データ記憶部２２に記憶される構造データとに基づき、対象フィールドの位置を推定する。ここで、第２フィールド推定部５４による対象フィールドの推定位置は、特徴点エラー検出部５１、第１フィールド推定部５２、ラベル修正部５３の各処理結果を反映したものとなっており、フィールド推定部４６が最終的に出力する対象フィールドの推定位置となる。以後では、第２フィールド推定部５４による対象フィールドの推定位置を示す情報を「第２フィールド推定情報」とも呼ぶ。そして、第２フィールド推定部５４が出力する第２フィールド推定情報に基づき、座標変換情報Ｉｃが生成される。

　（４－２）特徴点エラー検出部
　図７は、特徴点エラー検出部５１の機能ブロックの一例である。特徴点エラー検出部５１は、機能的には、軸調整部５１０と、候補フィールド生成部５１１と、推定フィールド決定部５１２と、間違いラベル検出部５１３とを有する。

　軸調整部５１０は、加速度センサ１６０の出力信号に基づき、デバイス座標系における鉛直方向を認識する。そして、軸調整部５１０は、認識した鉛直方向に基づき、デバイス座標系及びフィールド座標系の高さ方向の軸が平行になるように調整する。

　候補フィールド生成部５１１は、特徴点情報ＩＦが示す特徴点候補位置のうち２点を用い、デバイス座標系において対象フィールドを表す候補（「候補フィールド」とも呼ぶ。）を生成する処理を複数回実行する。この場合、候補フィールド生成部５１１は、ｎ（ｎは３以上の整数）回ランダムに選んだｎ組（ペア）の特徴点候補位置からｎ個の候補フィールドを生成してもよく、全通りの特徴点候補位置の組から候補フィールドを生成してもよい。なお、候補フィールド生成部５１１は、候補フィールドとして、例えば、ラベルごとのデバイス座標系における構造特徴点の推定位置と、デバイス座標系における対象フィールドの推定面とを特定する。

　ここで、全通りの特徴点候補位置の組から候補フィールドを生成する場合について補足説明する。ラベル名と構造特徴点の位置とが一意に決まるラベル定義の場合（即ち図４（Ａ）及び図５（Ａ）に示す第１のラベル定義例の場合）、特徴点候補位置の数をＮ個とすると、候補フィールド生成部５１１は、特徴点候補位置の_ＮＣ_２個の組から_ＮＣ_２個の候補フィールドを生成する。一方、ラベル名と構造特徴点の位置とが一意に決まらないラベル定義の場合、１組から複数のフィールド推定が必要になる。例えば、図４（Ｂ）及び図５（Ｂ）に示すラベル定義例（即ち、点対称ラベルを同一にしたラベル定義）の場合、候補フィールド生成部５１１は、全体で_ＮＣ_２×２個の候補フィールドを作成する。なお、一般に１ラベルに対して「Ｍ」（Ｍは３以上の整数）通りの特徴点位置が考えられるラベル定義例では、Ｎ個の構造特徴点が与えられた場合の候補フィールドの最小推定数は、ラベル定義の対称性等によって異なる。具体的には、処理の効率を考えない場合、候補フィールドの最小推定数は、_ＮＣ_２×Ｍ×Ｍとなる。

　さらに、図４（Ｂ）及び図５（Ｂ）に示すラベル定義例（即ち、点対称ラベルを同一にしたラベル定義であってＭ＝２）の場合に、上述したように_ＭＣ_２×２個の候補フィールドが生成されることについて補足説明する。例えば図４（Ｂ）のラベル０，１を組（ペア）（以後では（０，１）と表記する。）とする場合、図４（Ａ）の第１のラベル定義例に変換すると、以下の２×２＝４通りの組（ペア）が存在する。
（０，１）、（０，１２）、（１３，１）、（１３、１２）

　一方、第２のラベル定義例ではラベルが点対称であることから、（０，１）を（０，１）または（１３、１２）に変換した場合のフィールド推定結果（候補フィールド）は、１８０°回転した関係となり実質的に同一となる。また、（０，１）を（０，１２）または（１３，１）に変換した場合も同様である。以上を勘案し、点対称のラベルとなる第２のラベル定義例では、変換前の片方のラベルを固定して変換した２通り（例えば０を固定した場合、（０，１）と（０，１２）の２通り）の候補フィールドを推定すれば必要十分となる。

　推定フィールド決定部５１２は、複数の候補フィールドから、最終的に推定結果として出力するデバイス座標系での対象フィールド（「推定フィールド」とも呼ぶ。）を決定する。この場合、推定フィールド決定部５１２は、候補フィールドのクラスタリングを行い、候補フィールドが属する数が最も大きい主クラスタに属する候補フィールドから推定フィールドを決定する。言い換えると、推定フィールド決定部５１２は、デバイス座標系での対象フィールドの各ラベルの構造特徴点の推定位置（及び対象フィールドの推定面）を決定する。

　間違いラベル検出部５１３は、推定フィールド決定部５１２が決定した推定フィールドに基づき、エラー特徴点候補位置を決定する。この場合、例えば、間違いラベル検出部５１３は、位置姿勢変化量Ａｐに基づき特定されるデバイス座標系での撮影位置及びカメラ１５のパラメータ（内部パラメータを含む）に基づき、各特徴点候補位置を推定フィールドに投影した点を、デバイス座標系での各特徴点候補位置として認識する。そして、間違いラベル検出部５１３は、推定フィールドの構造特徴点の位置と、デバイス座標系での特徴点候補位置とをラベルごとに比較し、所定距離以上となる特徴点候補位置を、エラー特徴点候補位置として決定する。上述の所定距離は、例えば予め設定された適合値が記憶部１４等に記憶されている。また、フィールド推定部４６は、エラー特徴点候補位置に該当しない構造特徴点の数が所定の閾値（例えば５個）以下となった場合は推定を終了し、対象フィールドの推定が失敗したと判定する。この場合、フィールド推定部４６は、新たに取得される撮像画像Ｉｍに基づくフィールド推定処理を実行する。

　次に、軸調整部５１０の処理について図８を参照して具体的に説明する。

　図８は、デバイス座標系及びフィールド座標系の高さ方向の軸が平行になるように調整後のデバイス座標系とフィールド座標系の位置関係を示す。ここでは、対象フィールドはテニスコートとなっており、フィールド座標系は、テニスコートの短手方向及び長手方向及びこれらの垂直方向に各軸が設けられている。以後では、デバイス座標系の３軸をｘ軸、ｙ軸、ｚ軸とし、フィールド座標系の３軸をｘ＾軸、ｙ＾軸、ｚ＾軸とする。

　この場合、軸調整部５１０は、加速度センサ１６０の出力信号に基づき、デバイス座標系のｙ軸とフィールド座標系のｙ軸とを平行にするようにデバイス座標系又はフィールド座標系の少なくとも一方を移動させる。例えば、フィールド座標系のｙ＾軸が既に鉛直方向と平行である場合には、軸調整部５１０は、デバイス座標系のｙ軸が鉛直方向に平行となるようにデバイス座標系を回転させる。他の例では、軸調整部５１０は、フィールド座標系のｙ＾軸が鉛直方向と平行でない場合、軸調整部５１０は、デバイス座標系のｙ軸及びフィールド座標系のｙ＾軸が鉛直方向に平行となるようにデバイス座標系及びフィールド座標系の両方を夫々適切な角度分だけ回転させる。

　なお、軸調整部５１０は特徴点エラー検出部５１における必須の構成ではない。例えば、特徴点エラー検出部５１が軸調整部５１０を有する代わりに、候補フィールド生成部５１１は、３個（又は４個以上）の特徴点候補位置から候補フィールドを生成してもよい。

　次に、候補フィールド生成部５１１による候補フィールドの生成処理について図９を参照して具体的に説明する。

　図９は、カメラ１５の撮影位置、撮像画像Ｉｍ、及び対象フィールドをデバイス座標系及びフィールド座標系において表した図である。ここで、デバイス座標系のｙ軸とフィールド座標系のｙ＾軸とが平行になるように調整されており、これらの軸はオフセット「Ｙ」分だけずれている。そして、この場合、候補フィールド生成部５１１は、任意の特徴点候補位置の２点から、オフセットＹ及びｘ軸とｘ＾軸とがなす角度（又はｚ軸とｚ＾軸とがなす角度）を求めることで、候補フィールドを決定することが可能である。

　ここで、任意の特徴点候補位置の２点から候補フィールドを決定する処理について補足説明する。

　図９は、図４（Ａ）に示される第１のラベル定義例に基づくラベル番号６及びラベル番号７の２つの特徴点候補位置から候補フィールドを生成する処理の概要を示している。ラベル番号６とラベル番号７の２つの特徴点候補位置間の距離（矢印９０参照）は、構造データを参照することで特定することが可能である。そして、候補フィールド生成部５１１は、デバイス座標系におけるカメラ１５の撮影位置（撮影方向を含む）と、カメラ１５のパラメータと、ラベル番号６とラベル番号７の撮像画像Ｉｍ内の特徴点候補位置と、矢印９０が示す距離とに基づき、候補フィールドを決定する。なお、デバイス座標系におけるカメラ１５の撮影位置（撮影方向を含む）は位置姿勢変化量Ａｐに基づき特定される。

　また、候補フィールド生成部５１１は、特徴点候補位置の組から候補フィールドを決定する処理を複数回実行する必要があるが、これらの処理は行列処理により並列計算が可能である。よって、候補フィールド生成部５１１は、生成した特徴点候補位置の複数の組の各々に対する候補フィールドを並列処理により算出することが可能である。

　次に、推定フィールド決定部５１２によるクラスタリング処理について補足説明する。

　推定フィールド決定部５１２は、任意のクラスタリング手法を用いることで、候補フィールドのクラスタリングを行う。このようなクラスタリング手法は、単リンク法、完全リンク法、群平均法、Ｗａｒｄ法、セントロイド法、重み付き法、メジアン法などが存在するがこれに限られない。この場合、推定フィールド決定部５１２は、例えば、各候補フィールドのデバイス座標系での３次元の重心座標及びｘｚ平面上での向きを表す角度（テニスコートの場合には長手方向又は短手方向の向き）の４次元座標値（ベクトル）に基づき、上述のクラスタリングを実行する。上述の「候補フィールドのデバイス座標系での３次元の重心座標」として、例えば、候補フィールドを構成する全ラベルの構造特徴点のデバイス座標系での推定位置の重心座標が算出される。なお、鉛直方向に基づく軸調整を行わない場合には、上述の４次元座標値は、各候補フィールドのデバイス座標系での３次元の重心座標及びオイラー角（ヨー、ピッチ、ロール）の６次元座標値となる。

　図１０は、生成した６個の候補フィールド「Ｃ１」～「Ｃ６」のクラスタリングの結果をデバイス座標系において示した図である。この場合、推定フィールド決定部５１２は、任意のクラスタリング手法を用いることで、候補フィールドを第１クラスタＣＬ１と、第２クラスタＣＬ２と、第３クラスタＣＬ３とに分類している。ここで、第１クラスタＣＬ１は主クラスタであり、最も多くの４つの候補フィールドＣ１、Ｃ３、Ｃ４、Ｃ６が属している。一方、第２クラスタＣＬ２は候補フィールドＣ２からなり、第３クラスタＣＬ３は、候補フィールドＣ５からなる。

　この場合、推定フィールド決定部５１２は、主クラスタである第１クラスタＣＬ１に属する候補フィールドが対象フィールドの正しい推定結果であると判定し、候補フィールドＣ１、Ｃ３、Ｃ４、Ｃ６に基づき、推定フィールドを決定する。例えば、推定フィールド決定部５１２は、主クラスタに属する候補フィールドの各々の上述の４次元座標値の重心（平均ベクトル）を算出し、当該重心に最も近い４次元座標値に対応する候補フィールドを推定フィールドとして選択する。他の例では、推定フィールド決定部５１２は、主クラスタに属する候補フィールドの平均（上述の重心からの距離に応じた重み付け平均を含む）その他の統計処理又は構造データから特定される構造特徴点の位置関係（即ち対象フィールドのモデル）を利用した最小２乗法などの解析処理に基づき、主クラスタに属する候補フィールドを統合した推定フィールドを決定してもよい。この場合、推定フィールド決定部５１２は、例えば、構造データにより示される対象フィールドの各構造特徴点間の位置関係（距離）を表すモデル又は制約条件を設定し、ラベルごとに推定フィールドの構造特徴点と主クラスタに属する候補フィールドの特徴点候補位置の点群との誤差の和を最小化するように最適化（最小二乗法等による解析も含む）を行うことで、推定フィールドを決定してもよい。さらに別の例では、推定フィールド決定部５１２は、主クラスタに属する候補フィールドからランダムに選択した候補フィールドを推定フィールドとして決定してもよい。このように、推定フィールド決定部５１２は、主クラスタに属する候補フィールドの統合又は選択に基づき、推定フィールドを決定する。

　次に、特徴点エラー検出部５１の処理に基づく技術的効果について補足説明する。

　比較例として、候補フィールド生成部５１１による候補フィールドの生成及び推定フィールド決定部５１２による推定フィールドの決定に関する処理に代えて、ＲＡＮＳＡＣに基づき尤もらしい構造特徴点及びラベルの推定を行う場合について考察する。この場合、比較例では、フィールド推定が可能となる適当な特徴点候補位置の組（ペア）を全ての構造特徴点からランダムに選んでいき、真の値らしい構造特徴点の位置及びラベルの組を特定する。この比較例では、なるべく多くの特徴点候補位置が構造特徴点の推定位置と一致するような対象フィールドを最適化により推定する。この場合、一度の試行の計算量が多く、求める正解精度によっては処理時間がかかるという問題がある。

　以上を勘案し、本実施形態に係る特徴点エラー検出部５１は、複数の特徴点候補位置の組に基づく候補フィールドの算出を行った後、クラスタリングによって推定フィールドを決定する。これにより、特徴点エラー検出部５１は、候補フィールドの並列処理を可能とし、ＲＡＮＳＡＣを用いる比較例と比較して処理時間を短くすることができる。また、特徴点エラー検出部５１は、誤って抽出された特徴点候補位置を除外して正確な対象フィールドの推定結果を得ることができる。

　（４－３）第１フィールド推定部
　次に、第１フィールド推定部５２の処理について説明する。第１フィールド推定部５２は、対象フィールドの構造特徴点が非等方的に（ある方向に偏って）変位する場合に、非等方的な変位を考慮した最適化を行うことで、対象フィールドの推定位置を決定する。ここで、構造特徴点が非等方的に（ある方向に偏って）変位する対象フィールドは、例えば、図５（Ａ）及び図５（Ｂ）に示す（競技用）プールである。このような性質を有する対象フィールドは、剛体に準じた性質を有する準剛体とみなすことができる。

　図１１は、プールに設けられたロープのうち構造特徴点として指定されるフロートを明示した図である。ここでは、構造特徴点となるフロートをハッチングしている。図１１に示すように、ロープに設けられたフロートは、ロープが並ぶ方向（即ちプールの短手方向）には動きにくく、ロープが延びる方向（即ちプールの長手方向）に動きやすい。このように、プールが対象フィールドである場合には、構造特徴点の経時での変位は等方的ではない。以上を勘案し、第１フィールド推定部５２は、非等方的に構造特徴点が経時変位する対象フィールドの推定において、非等方的な変位を考慮した最適化を行う。

　図１２は、エラー特徴点候補位置を除外した特徴点候補位置に基づく最適化処理により求めた対象フィールドの推定位置をデバイス座標系において表した図である。ここでは、対象フィールドは、対象フィールドを格子状に分けた場合の各格子の頂点（計１２個の頂点）を構造特徴点として有している。そして、第１フィールド推定部５２は、３個のエラー特徴点候補位置を除く９個の特徴点候補位置「Ｐ２」～「Ｐ７」、「Ｐ１０」～「Ｐ１２」に基づき、対象フィールドの推定を行っている。この場合、第１フィールド推定部５２は、位置姿勢変化量Ａｐに基づき特定されるデバイス座標系での撮影位置（撮影向きを含む）とカメラ１５のパラメータ（内部パラメータを含む）とに基づき、デバイス座標系に投影された特徴点候補位置Ｐ２～Ｐ７、Ｐ１０～Ｐ１２（図１２に示される破線）を特定する。そして、候補フィールド生成部５１は、構造データを参照することで、対象フィールドの構造特徴点間の距離等を表す相対位置関係（対象フィールドのモデル）を特定し、特定した構造特徴点間の位置関係が保たれるように、デバイス座標系での特徴点候補位置Ｐ２～Ｐ７、Ｐ１０～Ｐ１２及び推定フィールド全体を決定する。

　このように、第１フィールド推定部５２は、使用する特徴点候補位置の候補ラベルに間違いがない、かつ、カメラ１５の内部パラメータ等に起因した歪みを調整しているという前提において、特徴点情報ＩＦにより示される少なくとも一部の特徴点候補位置及び候補ラベルの組と、構造データとに基づき、デバイス座標系での対象フィールドの推定を行う。

　次に、構造データに含まれる非等方性情報に基づく最適化処理について具体的に説明する。

　図１３は、対象フィールドの等方的な最適化の解と非等方的な最適化の解とを夫々デバイス座標系のｘｚ平面上において表した図である。ここでは、等方的な最適化の解を破線により示し、非等方的な最適化の解を実線により示している。なお、ここでは、第１フィールド推定部５２は、軸調整部５１０と同一処理に基づき（即ち加速度センサ１６０の出力信号に基づき）、デバイス座標系のｙ軸を鉛直方向（即ち対象フィールドの法線方向）と平行になるように調整済みであるものとする。

　ここで、第１フィールド推定部５２は、非等方性情報を参照し、対象フィールドの構造特徴点が非等方的に変位しないと判定した場合、等方的な最適化を行う。この場合、第１フィールド推定部５２は、ラベルごとに、対象フィールドの構造特徴点の推定位置とデバイス座標系での特徴点候補位置との距離（即ち誤差）を算出し、そのラベルごとの距離の和を評価関数とし、当該評価関数を最小化する上述の推定位置の解を算出する。なお、この場合、第１フィールド推定部５２は、構造データ記憶部２２に記憶された構造データに基づく各構造特徴点の相対位置関係を満たすことを制約条件として上述の解の算出を行う。なお、例えば上述の制約条件を対象フィールドのモデルとみなして最小二乗法により上述の算出を行ってもよい。

　一方、第１フィールド推定部５２は、非等方性情報を参照し、対象フィールドの構造特徴点が非等方的に変位すると判定した場合、非等方的な最適化を行う。この場合、まず、第１フィールド推定部５２は、ラベルごとに、推定する対象フィールドの構造特徴点の推定位置とデバイス座標系での特徴点候補位置とのｘ軸方向及びｚ軸方向での距離（即ち誤差）を算出し、そのｘ軸方向の距離の和とｚ軸方向の距離の和を算出する。そして、第１フィールド推定部５２は、算出したｘ軸方向の距離の和とｚ軸方向の距離の和とに対して夫々異なる重み係数（ｘ軸に対応する係数を「ａｘ」、ｙ軸に対応する係数を「ａｙ」とする。）を乗じた和を評価関数として設定する。これらの係数については、例えば非等方性情報に含まれていてもよく、変位が大きい方向の重み係数と変位が小さい方向の重み係数とが対象フィールドによらずに固定値に定められてもよい。そして、第１フィールド推定部５２は、構造データに基づく各構造特徴点の相対位置関係を制約条件として、上述の評価関数を最小化する上述の推定位置の解を算出する。なお、例えば上述の制約条件を対象フィールドのモデルとみなして重み付き最小二乗法により上述の算出を行ってもよい。

　なお、上述した最適化の手法は一例であり、任意の評価関数に基づき座標軸ごとに等方的な又は非等方的な最適化を行ってもよい。

　そして、図１３の例では、第１フィールド推定部５２は、構造データの非等方性情報を参照し、ｘ軸方向（即ち対象フィールドの短手方向）に構造特徴点が動きやすく、かつ、ｚ軸方向（即ち対象フィールドの長手方向）に構造特徴点が動きにくいことを認識する。よって、第１フィールド推定部５２は、非等方的な最適化において、ｘ軸での誤差に対応する重み係数ａｘを、ｙ軸の誤差に対応する重み係数ａｙよりも高く設定し、ｘ軸方向の位置合わせを重視するように対象フィールドの推定位置を決定する。その結果、非等方的な最適化の解に相当する対象フィールドの推定位置（実線参照）では、等方的な最適化の解に相当する対象フィールドの推定位置（破線参照）と比べて、ｘ軸方向においてずれが少ない。

　このように、第１フィールド推定部５２は、対象フィールドの構造特徴点の方向ごとの変位のしやすさを考慮し、的確に対象フィールドの推定を行うことができる。なお、第１フィールド推定部５２は、構造データの非等方性情報を参照し、対象フィールドの構造特徴点に変位が生じない又は変位が等方的であると判定した場合には、上述した等方的な最適化を行うことで、対象フィールドの推定を行う。

　そして、第１フィールド推定部５２は、対象フィールドの推定結果を、第１フィールド推定情報としてラベル修正部５３に供給する。ここで、第１フィールド推定情報は、例えば、対象フィールドの構造特徴点のデバイス座標系での推定位置及びラベルの組と、これらの構造特徴点の推定位置から特定されるデバイス座標系での対象フィールドの推定面（「フィールド推定面」とも呼ぶ。）とを夫々示す情報である。

　なお、デバイス座標系のｙ軸を鉛直方向（即ち対象フィールドの法線方向）と平行になるように調整する処理は必須の処理ではなく、第１フィールド推定部５２は、この処理を行わずに上述の最適化により対象フィールドの推定を行ってもよい。この場合、第１フィールド推定部５２は、対象フィールドの構造特徴点の推定位置とデバイス座標系での特徴点候補位置との３次元空間における距離に基づき上述の最適化を行う。

　（４－４）ラベル修正部
　ラベル修正部５３は、第１フィールド推定部５２から供給される第１フィールド推定情報と、特徴点情報ＩＦとに基づき、特徴点情報ＩＦの候補ラベルの修正を行う。なお、以後では、カメラ１５の内部パラメータ等に起因した歪みを調整済みであるものとする。

　図１４（Ａ）は、対象フィールドがテニスコートである場合の特徴点候補位置を候補ラベルの番号と共に第１フィールド推定情報に基づくフィールド推定面上において明示した図である。ここでは、前提として、図１２等を用いて説明した第１フィールド推定部５２の処理等を適用することにより、カメラ１５の撮影位置及びパラメータ等に基づき、各特徴点候補位置はデバイス座標系での位置に変換されているものとする。なお、図１４（Ａ）では、一例として、図４（Ａ）に示されるテニスコートの第１のラベル定義例に基づくラベルが各構造特徴点に割り当てられている。図１４（Ａ）では、エラー特徴点候補位置を破線の丸印により示し、その他の特徴点候補位置を実線の丸印により示している。ここでは、エラー特徴点候補位置は、候補ラベル７及び候補ラベル８に対応する特徴点候補位置となっている。

　図１４（Ｂ）は、第１フィールド推定部５２による候補ラベル修正後の特徴点候補位置及び候補ラベルの番号の組を第１フィールド推定情報に基づくフィールド推定面上において明示した図である。この場合、第１フィールド推定部５２は、第１フィールド推定情報に基づき特定される構造特徴点及びラベルの組と、特徴点情報ＩＦが示す特徴点候補位置及び候補ラベルの組とを比較する。この場合、第１フィールド推定部５２は、特徴点情報ＩＦが示す各特徴点候補位置について、第１フィールド推定情報が示すフィールド推定面上での投影位置（例えば、図１２における特徴点候補位置Ｐ２～Ｐ７、Ｐ１０～Ｐ１２）を、デバイス座標系での各特徴点候補位置として算出する。この場合、第１フィールド推定部５２は、カメラ１５の内部パラメータ等に起因した歪みを考慮してデバイス座標系での各特徴点候補位置の算出を行う。

　そして、第１フィールド推定部５２は、ラベル０～６及び９～１３について、第１フィールド推定情報に基づく構造特徴点の位置と同一ラベルに対応するデバイス座標系での特徴点候補位置との距離が所定閾値以内となることから、これらの特徴点候補位置は第１フィールド推定情報と整合する（即ち第１フィールド推定情報が示す構造特徴点の位置と一致する）と判定する。上述の所定距離は、例えば同一位置とみなせる距離であり、適合値が予め記憶部１４等に記憶されている。

　一方、第１フィールド推定部５２は、ラベル７及びラベル８について、第１フィールド推定情報に基づく構造特徴点の位置と同一ラベルに対応するデバイス座標系での特徴点候補位置との距離が所定閾値より長くなると判定する。よって、この場合、第１フィールド推定部５２は、これらの特徴点候補位置は第１フィールド推定情報と整合しないと判定する。

　なお、第１フィールド推定部５２は、各特徴点候補位置が第１フィールド推定情報と整合するか否かを、特徴点エラー検出部５１によるエラー特徴点候補位置の検出結果に基づき判定してもよい。この場合、第１フィールド推定部５２は、特徴点エラー検出部５１が検出したエラー特徴点候補位置については第１フィールド推定情報と整合しないと判定し、特徴点エラー検出部５１が検出したエラー特徴点候補位置以外の特徴点候補位置については第１フィールド推定情報と整合すると判定する。

　次に、第１フィールド推定部５２は、第１フィールド推定情報と整合しない特徴点候補位置（ここでは候補ラベル７、８の特徴点候補位置）のうち、候補ラベルを修正することで第１フィールド推定情報と整合する特徴点候補位置の有無をさらに判定する。そして、第１フィールド推定部５２は、候補ラベル７のデバイス座標系での特徴点候補位置と第１フィールド推定情報に基づく任意の構造特徴点の位置との距離が上述の所定閾値より長くなることから、候補ラベル７の特徴点候補位置については候補ラベルの修正では誤りを修正できないと判定する。

　一方、第１フィールド推定部５２は、候補ラベル８のデバイス座標系での特徴点候補位置と第１フィールド推定情報に基づくラベル７の構造特徴点の位置との距離が上述の所定閾値未満となることから、候補ラベル８の特徴点候補位置については候補ラベルを７に修正することにより誤りを修正できる（即ち第１フィールド推定情報と整合する）と判定する。よって、この場合、第１フィールド推定部５２は、候補ラベル８の特徴点候補位置がラベルエラー特徴点候補位置であると判定し、図１４（Ｂ）に示すように、候補ラベル８の特徴点候補位置の候補ラベルを７に変更する。これにより、第１フィールド推定部５２は、特徴点情報ＩＦの誤りを好適に修正することができる。

　このように、第１フィールド推定部５２は、第１フィールド推定情報に整合しない特徴点候補位置のうち、候補ラベルの修正のみで誤りを修正可能なラベルエラー特徴点候補位置の候補ラベルを修正する。これにより、第１フィールド推定部５２は、特徴点候補位置を好適に修正することができる。

　その後、ラベル修正部５３は、例えば、第１フィールド推定部５２により修正された特徴点情報ＩＦに基づき、第１フィールド推定部５２と同一処理を行うことで、第２フィールド推定情報を生成する。ここで、第２フィールド推定情報の生成時では、ラベル修正部５３は、候補ラベルの誤りが適切に修正された特徴点情報ＩＦに基づき対象フィールドの推定を行うため、第１フィールド推定部５２が生成する第１フィールド推定情報よりも高精度な第２フィールド推定情報を好適に生成することができる。

　また、フィールド推定部４６は、誤り量又は／及びラベル修正部５３による修正後に使用する構造特徴点の数等によってフィールド推定の成功又は失敗の判定を行ってもよい。例えば、フィールド推定部４６は、以下の（ケースＡ）、（ケースＢ）、（ケースＣ）のいずれかに該当する場合に、フィールド推定を中止し、フィールド推定が失敗したと判定する。

（ケースＡ）ラベル修正部５３により修正した構造特徴点を含めた第２フィールド推定部５４によるフィールド推定に使用する構造特徴点の総数「ｎ」が所定の閾値以下の場合、
（ケースＢ）特徴抽出部４２によって得られた特徴点数「Ｎｐ」（即ち特徴点情報ＩＦが示す特徴点数）に対する使用総数ｎの割合（ｎ／Ｎｐ）が所定の閾値以下の場合、
（ケースＣ）修正した構造特徴点のラベルとフィールド推定に使用するその他の構造特徴点のラベルとが構造データ上で同一直線上にある場合（例えば図４（Ａ）のラベル１０、１１、１２、１３）、言い換えると、構造的に同一直線上となるように配置された構造特徴点のみを使用してフィールド推定を行う場合。

　そして、フィールド推定部４６は、（ケースＡ）、（ケースＢ）、（ケースＣ）のいずれかに該当し、フィールド推定を中止した場合、新たに取得される撮像画像Ｉｍに基づくフィールド推定処理を実行する。なお、（ケースＣ）の場合にフィールド推定を中止することで、構造的に同一直線上の構造特徴点のみを使用してフィールド推定を行う場合はその他の場合に対して著しく精度が落ちるため、精度が低いフィールド推定の実行を防ぐことができる。また、フィールド推定部４６は、第２フィールド推移部５４による推定処理後に（ケースＡ）、（ケースＢ）の該当有無を判定し、実行したフィールド推定が失敗したか否か判定してもよい。即ち、この場合、ラベル修正部５３の構造特徴点の位置との距離比較と同様に、フィールド推定部４６は、特徴抽出部４２によって得られた構造特徴点の位置とフィールド推定後の構造特徴点の位置との整合性を求め、整合した構造特徴点について（ケースＡ）、（ケースＢ）の該当有無を判定してもよい。

　ここで、第１フィールド推定部５２の処理に基づく効果について補足説明する。一般的に、テニスコートなどの構造特徴点同士が似ている場合には、候補ラベルのみに誤りがある特徴抽出結果が生成される場合がある。このような場合において、表示装置１は、特徴抽出結果を好適に修正でき、修正後の特徴抽出結果に基づくキャリブレーション処理等を高精度に実行することが可能となる。

　（５）処理フロー
　図１５は、第１実施形態において制御部１７が実行する仮想オブジェクトの表示処理に関する処理概要を示すフローチャートの一例である。

　まず、制御部１７は、表示装置１の起動を検知する（ステップＳ１１）。この場合、制御部１７は、表示装置１の起動時の表示装置１の姿勢及び位置を基準としたデバイス座標系を設定する（ステップＳ１２）。その後、制御部１７は、カメラ１５が生成する撮像画像Ｉｍを取得すると共に、位置姿勢検出センサ１６が出力する検出信号に基づく位置姿勢変化量Ａｐを取得する（ステップＳ１３）。制御部１７は、ステップＳ１３で取得した撮像画像Ｉｍ及び位置姿勢変化量Ａｐの組合せを、センサデータ記憶部２０に記憶する。

　そして、制御部１７は、仮想オブジェクトの表示要求があるか否か判定する（ステップＳ１４）。例えば、仮想オブジェクト取得部４１は、興行者が管理する図示しないサーバ装置から仮想オブジェクトの表示を指示する配信情報を受信した場合に、仮想オブジェクトの表示要求があると判定する。そして、仮想オブジェクトの表示要求がない場合（ステップＳ１４；Ｎｏ）、引き続きステップＳ１３において撮像画像Ｉｍ及び位置姿勢変化量Ａｐの取得を行う。

　一方、仮想オブジェクトの表示要求があった場合（ステップＳ１４；Ｙｅｓ）、制御部１７は、キャリブレーション処理を実行する（ステップＳ１５）。このキャリブレーション処理の手順の詳細は図１６を参照して後述する。

　次に、制御部１７の反映部４４は、ステップＳ１５のキャリブレーション処理で得られた座標変換情報Ｉｃに基づき、表示要求において指定された仮想オブジェクト及び表示位置に対応する仮想オブジェクトを表示するための表示信号Ｓｄを生成する（ステップＳ１６）。なお、この場合、実際には、制御部１７は、種々の従来のＡＲ表示製品と同様、ユーザの視線方向及び位置姿勢変化量Ａｐ等を考慮してデバイス座標系においてユーザが視認する空間を認識し、当該空間内において仮想オブジェクトが指定された位置で表示されるように表示信号Ｓｄを生成する。そして、制御部１７の光源制御部４５は、表示信号Ｓｄに基づき、光源ユニット１０の射出制御を行う（ステップＳ１７）。

　なお、図１５に示すフローチャートの処理手順は一例であり、この処理手順に対し種々の変更を行うことができる。

　例えば、制御部１７は、ステップＳ１５のキャリブレーション処理を仮想オブジェクト表示要求がある度に実行しているが、これに限られない。これに代えて、制御部１７は、前回のキャリブレーション処理から所定時間以上経過した場合に限り、キャリブレーション処理を行ってもよい。このように、制御部１７は、キャリブレーション処理を、表示装置１の起動後少なくとも１度行えばよい。

　また、制御部１７は、表示装置１の起動時の表示装置１の位置及び姿勢を基準としてデバイス座標系を決定しているが、これに限られない。これに代えて、例えば、制御部１７は、表示装置１の起動後に最初に表示要求があったとき（即ち最初にキャリブレーション処理を実行したとき）の表示装置１の位置及び姿勢を基準として、デバイス座標系を決定してもよい。他の例では、制御部１７は、表示要求がある度に、当該表示要求時（即ちキャリブレーション処理実行時）の表示装置１の位置及び姿勢を基準としてデバイス座標系を再設定してもよい。この場合、後述する座標変換情報Ｉｃの生成処理には位置姿勢変化量Ａｐを使用する必要がない。

　図１６は、図１５のステップＳ１５のキャリブレーション処理の詳細な処理手順を示すフローチャートの一例である。

　まず、制御部１７の特徴抽出部４２は、センサデータ記憶部２０等から取得する撮像画像Ｉｍに基づき、対象フィールドの各構造特徴点に対応する特徴点候補位置及び候補ラベルの組を示す特徴点情報ＩＦを生成する（ステップＳ２１）。この場合、特徴抽出部４２は、パラメータ記憶部２１から取得するパラメータに基づき特徴抽出器を構成し、当該特徴抽出器に撮像画像Ｉｍを入力する。そして、特徴抽出部４２は、特徴抽出器が出力する情報に基づき、特徴点情報ＩＦを生成する。

　次に、座標変換情報生成部４３のフィールド推定部４６は、特徴点エラー検出処理を実行する（ステップＳ２２）。特徴点エラー検出処理の詳細については、図１７を参照して説明する。

　さらに、フィールド推定部４６は、第１フィールド推定処理を実行する（ステップＳ２３）。第１フィールド推定処理の詳細については、図１８を参照して説明する。

　そして、フィールド推定部４６は、ラベル修正処理を実行する（ステップＳ２４）。ラベル修正処理の詳細については、図１９を参照して説明する。そして、フィールド推定部４６は、第２フィールド推定処理を実行する（ステップＳ２５）。これにより、フィールド推定部４６は、誤りが修正された特徴点情報ＩＦに基づきデバイス座標系での対象フィールドを高精度に推定した結果を表す第２フィールド推定情報を生成する。

　そして、座標変換情報生成部４３は、フィールド推定部４６が生成した第２フィールド推定情報に基づき、デバイス座標系からフィールド座標系へ変換するための座標変換情報Ｉｃを生成する（ステップＳ２６）。この場合、座標変換情報生成部４３は、構造特徴点のラベル毎に、ステップＳ２５で取得した第２フィールド推定情報が示す各構造特徴点のデバイス座標系での検出位置と、構造データに含まれる登録位置情報が示すフィールド座標系の構造特徴点の位置と、を夫々対応付けて照合を行い、ラベル毎に照合した位置同士が一致するような（即ちラベル毎の位置の誤差が最小となる）座標変換情報Ｉｃを算出する。

　このように、表示装置１は、キャリブレーション処理において撮像画像Ｉｍから予め登録されている（即ち既にラベルが登録された）構造特徴点のみを抽出した情報を、構造データに登録された構造特徴点の情報と照合させる。これにより、座標変換情報Ｉｃを算出するための照合処理に要する計算量を大幅に削減し、かつ、撮像画像Ｉｍに含まれるノイズ（即ち対象フィールド以外の特徴点）の抽出に起因した影響等を受けないロバストな座標変換情報Ｉｃの算出が可能となる。また、本実施形態では、上述の照合は、特徴抽出処理の誤りが好適に修正された構造特徴点の推定情報に基づき実行されるため、正確な座標変換情報Ｉｃの算出が可能となる。

　図１７は、ステップＳ２２において実行される特徴点エラー検出処理の詳細を示すフローチャートの一例である。

　まず、特徴点エラー検出部５１は、加速度センサ１６０の出力信号等に基づき鉛直方向を特定し、特定した鉛直方向に基づきデバイス座標系とフィールド座標系との１軸（ｙ軸とｙ＾軸）が平行になるようにデバイス座標系等を調整する（ステップＳ３１）。

　次に、特徴点エラー検出部５１は、構造データと、選択した２点の特徴点候補位置とに基づきデバイス座標系における候補フィールドを生成する処理を、複数回実行する（ステップＳ３２）。これにより、上述の処理実行した回数分の候補フィールドを生成する。なお、特徴点エラー検出部５１は、候補フィールドを生成する処理を並列的に実行してもよい。

　次に、特徴点エラー検出部５１は、ステップＳ３２において生成した複数の候補フィールドのクラスタリングを行う（ステップＳ３３）。この場合、特徴点エラー検出部５１は、任意のクラスタリング手法により、複数の候補フィールドに対する１又は複数のクラスタを生成する。

　そして、特徴点エラー検出部５１は、候補フィールドが属する数が最も大きい主クラスタの候補フィールドに基づき、推定フィールドを決定する（ステップＳ３４）。そして、特徴点エラー検出部５１は、推定フィールドに各特徴点候補位置を投影し、投影した特徴点候補位置と推定フィールドの構造特徴点とをラベルごとに比較することで、エラー特徴点候補位置を検出する（ステップＳ３５）。

　図１８は、ステップＳ２３において実行される第１フィールド推定処理の詳細を示すフローチャートの一例である。

　まず、第１フィールド推定部５２は、加速度センサ１６０の出力信号等に基づき鉛直方向を特定し、特定した鉛直方向に基づきデバイス座標系とフィールド座標系との１軸（ｙ軸とｙ＾軸）が平行になるようにデバイス座標系等を調整する（ステップＳ４１）。なお、第１フィールド推定部５２は、ステップＳ３１の処理に基づき既にデバイス座標系とフィールド座標系との１軸が平行になっている場合には、ステップＳ４１の処理を実行しなくともよい。

　次に、第１フィールド推定部５２は、構造データ記憶部２２が記憶する構造データに含まれる非等方性情報を取得する（ステップＳ４２）。そして、第１フィールド推定部５２は、非等方性情報と、エラー特徴点候補位置以外の複数の特徴点候補位置とに基づき、対象フィールドを推定するための最適化を行う（ステップＳ４３）。この場合、第１フィールド推定部５２は、非等方性情報に基づき、対象フィールドの構造特徴点が非等方に変位すると判定した場合には、非等方の（即ち方向によって重みが異なる）最適化を行う。一方、第１フィールド推定部５２は、非等方性情報に基づき、対象フィールドの構造特徴点が等方に変位すると判定した場合には、等方の（即ち方向によって重みが変わらない）最適化を行う。そして、第１フィールド推定部５２は、上述の最適化により得られた対象フィールドの推定結果を表す第１フィールド推定情報を生成する（ステップＳ４４）。

　図１９は、ステップＳ２４において実行されるラベル修正処理の詳細を示すフローチャートの一例である。

　まず、ラベル修正部５３は、第１フィールド推定部５２がステップＳ４４で生成した第１フィールド推定情報に基づき、デバイス座標系での特徴点候補位置を特定する（ステップＳ５１）。そして、ラベル修正部５３は、第１フィールド推定情報と整合しない特徴点候補位置が存在するか否か判定する（ステップＳ５２）。この場合、例えば、ラベル修正部５３は、ステップＳ３５で検出したエラー特徴点候補位置が存在する場合、第１フィールド推定情報と整合しない特徴点候補位置が存在すると判定する。他の例では、ラベル修正部５３は、第１フィールド推定情報から特定される各構造特徴点の位置及びラベルと、ステップＳ５１で特定したデバイス座標系での特徴点候補位置及びラベルとを比較することで、上述の誤った特徴点候補位置の存否を判定する。そして、ラベル修正部５３は、第１フィールド推定情報と整合しない特徴点候補位置が存在しない場合（ステップＳ５２；Ｎｏ）、特徴点情報ＩＦを修正する必要がないことから、フローチャートの処理を終了する。

　一方、ラベル修正部５３は、第１フィールド推定情報と整合しない特徴点候補位置が存在する場合（ステップＳ５２；Ｙｅｓ）、対応する候補ラベルの変更により当該特徴点候補位置が第１フィールド推定情報と整合するか否か（即ちラベルエラー特徴点候補位置が存在するか否か）判定する（ステップＳ５３）。そして、ラベル修正部５３は、対応する候補ラベルの変更により当該特徴点候補位置が第１フィールド推定情報と整合すると判定した場合（ステップＳ５３；Ｙｅｓ）、当該特徴点候補位置の候補ラベルを修正する（ステップＳ５４）。その後、ラベル修正部５３は、ステップＳ５４での候補ラベルの修正を反映した特徴点情報ＩＦを生成する。一方、対応する候補ラベルの変更によっても対象の特徴点候補位置が第１フィールド推定情報と整合しない（即ちラベルエラー特徴点候補位置が存在しない）と判定した場合（ステップＳ５３；Ｎｏ）、ラベル修正部５３はフローチャートの処理を終了する。なお、この場合、ラベル修正部５３は、ステップＳ５２で検出した特徴点候補位置は誤って位置が推定されているとみなし、当該特徴点候補位置を特徴点情報ＩＦから削除したりエラー特徴点候補位置である旨のフラグを付すなどの処理を行う。

　＜第２実施形態＞
　図２０は、第２実施形態における表示システムの構成を示す。図２０に示すように、第２実施形態に係る表示システムは、表示装置１Ａと、サーバ装置２とを有する。第２実施形態では、キャリブレーション処理等を、表示装置１Ａの代わりにサーバ装置２が実行する点において、第１実施形態と異なる。以後では、第１実施形態と同様の構成要素については適宜同一符号を付し、その説明を省略する。

　表示装置１Ａは、サーバ装置２がキャリブレーション処理等を行うために必要な情報であるアップロード信号「Ｓ１」をサーバ装置２に送信する。この場合、アップロード信号Ｓ１には、例えば、カメラ１５が生成する撮像画像Ｉｍ及び位置姿勢検出センサ１６の出力に基づき検出される位置姿勢変化量Ａｐが含まれている。そして、表示装置１Ａは、サーバ装置２から送信される配信信号「Ｓ２」を受信した場合、配信信号Ｓ２に基づき、光源ユニット１０の光の射出制御を行うことで、仮想オブジェクトを表示する。例えば、配信信号Ｓ２は、第１実施形態の表示信号Ｓｄに相当する情報を含んでおり、表示装置１Ａは、配信信号Ｓ２の受信後、第１実施形態の光源制御部４５と同様の処理を行うことで、光源ユニット１０に仮想オブジェクトを表示するための光を射出させる。

　サーバ装置２は、例えば、興行者が管理するサーバ装置であり、表示装置１Ａから受信するアップロード信号Ｓ１に基づき、配信信号Ｓ２の生成及び表示装置１Ａへの配信信号Ｓ２の配信を行う。図２１は、サーバ装置２のブロック図である。サーバ装置２は、入力部２６と、制御部２７と、通信部２８と、記憶部２９とを有する。

　記憶部２９は、制御部２７がサーバ装置２の制御に必要な種々の情報を記憶する不揮発性メモリである。記憶部２９には、制御部２７が実行するプログラムが記憶される。記憶部２９は、センサデータ記憶部２０と、パラメータ記憶部２１と、構造データ記憶部２２とを有する。センサデータ記憶部２０には、制御部２７の制御に基づき、アップロード信号Ｓ１に含まれる撮像画像Ｉｍ及び位置姿勢変化量Ａｐが記憶される。なお、記憶部２９は、サーバ装置２に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶部２９は、サーバ装置２とデータ通信を行うサーバ装置（即ち、他の装置から参照可能に情報を記憶する装置）であってもよい。また、この場合、記憶部２９は、複数のサーバ装置から構成され、センサデータ記憶部２０と、パラメータ記憶部２１と、構造データ記憶部２２とを分散して記憶してもよい。

　制御部２７は、例えばＣＰＵ、ＧＰＵなどのプロセッサ、作業メモリとして機能する揮発性メモリなどを有しており、サーバ装置２の全体的な制御を行う。制御部２７は、入力部２６へのユーザ入力等に基づき、仮想オブジェクトとして表示させる仮想オブジェクト及び表示位置の情報（即ち第１実施形態の指定表示情報Ｉｄに相当する情報）を生成する。さらに、制御部２７は、センサデータ記憶部２０、パラメータ記憶部２１、構造データ記憶部２２を参照することで、キャリブレーション処理を実行し、配信信号Ｓ２を生成する。このように、制御部２７は、図３に示す仮想オブジェクト取得部４１、特徴抽出部４２、座標変換情報生成部４３、反映部４４に相当する機能を含む。

　図２２は、第２実施形態においてサーバ装置２の制御部２７が実行する処理手順を示すフローチャートの一例である。

　まず、制御部２７は、通信部２８を介し、撮像画像Ｉｍ及び位置姿勢変化量Ａｐなどを含むアップロード信号Ｓ１を表示装置１Ａから受信する（ステップＳ６１）。この場合、制御部２７は、アップロード信号Ｓ１に基づきセンサデータ記憶部２０に記憶させるデータを更新する。そして、制御部２７は、仮想オブジェクトの表示タイミングか否か判定する（ステップＳ６２）。そして、制御部２７は、表示タイミングではない場合（ステップＳ６２；Ｎｏ）、引き続きステップＳ６１においてアップロード信号Ｓ１を表示装置１Ａから受信する。

　一方、制御部２７は、表示タイミングである場合（ステップＳ６２；Ｙｅｓ）、ステップＳ６１で受信した最新のアップロード信号Ｓ１等に基づき、キャリブレーション処理を実行する。この場合、制御部２７は、図１６に示されるフローチャートを実行する。そして、制御部２７は、キャリブレーション処理で得られた座標変換情報Ｉｃに基づき、仮想オブジェクトを表示装置１Ａが表示するための配信信号Ｓ２を生成する（ステップＳ６４）。そして、制御部２７は、生成した配信信号Ｓ２を、通信部２８により表示装置１Ａに送信する（ステップＳ６５）。その後、配信信号Ｓ２を受信した表示装置１Ａは、配信信号Ｓ２に基づき光源ユニット１０を制御することで、仮想オブジェクトを表示する。

　以上のように、第２実施形態によっても、表示システムは、表示装置１Ａによる仮想オブジェクトの表示に必要な座標変換情報Ｉｃを的確に算出し、仮想オブジェクトを好適にユーザに視認させることができる。

　なお、第２実施形態において、キャリブレーション処理等をサーバ装置２が行う代わりに、表示装置１Ａが行ってもよい。この場合、表示装置１Ａは、サーバ装置２からキャリブレーション処理に必要な情報を適宜受信することで、図１６に示すフローチャートの処理を実行する。この態様であっても、表示システムは、表示装置１Ａのユーザに好適に仮想オブジェクトを視認させることができる。

　＜第３実施形態＞
　図２３は、第３実施形態における情報処理装置１Ｘの概略構成を示す。図２３に示すように、情報処理装置１Ｘは、主に、特徴点情報取得手段４２Ｘと、フィールド推定情報取得手段５３Ｘａと、ラベル修正手段５３Ｘｂとを有する。情報処理装置１Ｘは、例えば、第１実施形態における表示装置１又は表示装置１の制御部１７若しくは第２実施形態におけるサーバ装置２の制御部２７により実現される。なお、情報処理装置１Ｘは、複数の装置から構成されてもよい。

　特徴点情報取得手段４２Ｘは、対象となるフィールドの少なくとも一部を含む画像に基づき決定された、フィールドの複数の特徴点の候補位置及び候補ラベルを示す特徴点情報を取得する。特徴点情報取得手段４２Ｘは、特徴点情報取得手段４２Ｘ以外の処理ブロック（情報処理装置１Ｘ以外の装置を含む）が生成した特徴点情報を受信してもよく、特徴点情報取得手段４２Ｘが特徴点情報を生成してもよい。後者の場合、特徴点情報取得手段４２Ｘは、例えば、第１実施形態又は第２実施形態における特徴抽出部４２とすることができる。

　フィールド推定情報取得手段５３Ｘａは、画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における複数の特徴点の位置及びラベルの推定結果を示すフィールド推定情報を取得する。フィールド推定情報は、例えば、第１実施形態又は第２実施形態における「第１フィールド推定情報」とすることができる。

　ラベル修正手段５３Ｘｂは、特徴点情報と、フィールド推定情報とに基づき、候補ラベルを修正する。フィールド推定情報取得手段５３Ｘａ及びラベル修正手段５３Ｘｂは、例えば、第１実施形態又は第２実施形態におけるラベル修正部５３とすることができる。

　図２４は、第３実施形態におけるフローチャートの一例である。特徴点情報取得手段４２Ｘは、対象となるフィールドの少なくとも一部を含む画像に基づき決定された、フィールドの複数の特徴点の候補位置及び候補ラベルを示す特徴点情報を取得する（ステップＳ７１）。フィールド推定情報取得手段５３Ｘａは、画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における複数の特徴点の位置及びラベルの推定結果を示すフィールド推定情報を取得する（ステップＳ７２）。ラベル修正手段５３Ｘｂは、特徴点情報と、フィールド推定情報とに基づき、候補ラベルを修正する（ステップＳ７３）。

　第３実施形態によれば、情報処理装置１Ｘは、特徴点情報を好適に修正することができ、特徴点情報を利用する種々の処理の精度を向上させることができる。

　＜第４実施形態＞
　図２５は、第４実施形態における情報処理装置１Ｙの概略構成を示す。図２５に示すように、情報処理装置１Ｙは、主に、特徴点情報取得手段４２Ｙと、候補フィールド生成手段５１１Ｙと、推定フィールド決定手段５１２Ｙとを有する。情報処理装置１Ｙは、例えば、第１実施形態における表示装置１又は表示装置１の制御部１７若しくは第２実施形態におけるサーバ装置２の制御部２７により実現される。なお、情報処理装置１Ｙは、複数の装置から構成されてもよい。

　特徴点情報取得手段４２Ｙは、対象となるフィールドの少なくとも一部を含む画像に基づき決定された、フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得する。特徴点情報取得手段４２Ｙは、特徴点情報取得手段４２Ｙ以外の処理ブロック（情報処理装置１Ｙ以外の装置を含む）が生成した特徴点情報を受信してもよく、特徴点情報取得手段４２Ｙが特徴点情報を生成してもよい。後者の場合、特徴点情報取得手段４２Ｙは、例えば、第１実施形態又は第２実施形態における特徴抽出部４２とすることができる。

　候補フィールド生成手段５１１Ｙは、少なくとも２つの組と、フィールドの構造に関する構造データとに基づき、画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系におけるフィールドの候補を表す候補フィールドを生成する。候補フィールド生成手段５１１Ｙは、例えば、第１実施形態又は第２実施形態における候補フィールド生成部５１１とすることができる。

　推定フィールド決定手段５１２Ｙは、生成された複数の候補フィールドに基づき、第１座標系において推定されたフィールドを表す推定フィールドを決定する。推定フィールド決定手段５１２Ｙは、例えば、第１実施形態又は第２実施形態における推定フィールド決定部５１２とすることができる。

　図２６は、第４実施形態におけるフローチャートの一例である。特徴点情報取得手段４２Ｙは、対象となるフィールドの少なくとも一部を含む画像に基づき決定された、フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得する（ステップＳ８１）。候補フィールド生成手段５１１Ｙは、少なくとも２つの組と、フィールドの構造に関する構造データとに基づき、画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系におけるフィールドの候補を表す候補フィールドを生成する（ステップＳ８２）。推定フィールド決定手段５１２Ｙは、生成された複数の候補フィールドに基づき、第１座標系において推定されたフィールドを表す推定フィールドを決定する（ステップＳ８３）。

　第４実施形態によれば、情報処理装置１Ｙは、特徴点情報が示す候補位置及び候補ラベルの組に誤りが存在する場合であっても、第１座標系におけるフィールドを高精度に推定することができる。

　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

　１、１Ａ　表示装置
　２　サーバ装置
　３　学習装置
　４　情報処理装置
　１０　光源ユニット
　１１　光学素子
　１２　通信部
　１３　入力部
　１４　記憶部
　１５　カメラ
　１６　位置姿勢検出センサ
　２０　センサデータ記憶部
　２１　パラメータ記憶部
　２２　構造データ記憶部

Claims

　対象となるフィールドの少なくとも一部を含む画像に基づき決定された、前記フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得する特徴点情報取得手段と、
　少なくとも２つの前記組と、前記フィールドの構造に関する構造データとに基づき、前記画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における前記フィールドの候補を表す候補フィールドを生成する候補フィールド生成手段と、
　生成された複数の前記候補フィールドに基づき、前記第１座標系において推定された前記フィールドを表す推定フィールドを決定する推定フィールド決定手段と、
を有する情報処理装置。
　前記推定フィールド決定手段は、複数の前記候補フィールドのクラスタリングを行い、最も前記候補フィールドが属する数が多い主クラスタに属する前記候補フィールドに基づき、前記推定フィールドを決定する、請求項１に記載の情報処理装置。
　前記推定フィールド決定手段は、前記主クラスタに属する前記候補フィールドの統合又は選択に基づき、前記推定フィールドを決定する、請求項２に記載の情報処理装置。
　前記表示装置に設けられるセンサの出力信号に基づき、前記構造データにおいて採用される座標系である第２座標系と前記第１座標系との１つの軸を平行にする軸調整手段をさらに有する、請求項１～３のいずれか一項に記載の情報処理装置。
　前記推定フィールドに基づき、前記候補ラベルの間違いを検出する間違いラベル検出手段をさらに有する、請求項１～４のいずれか一項に記載の情報処理装置。
　前記候補フィールド生成手段は、前記少なくとも２つの前記組と、前記構造データに基づく前記特徴点間の長さと、前記カメラの撮影位置及びパラメータと、に基づき、前記候補フィールドを生成する、請求項１～５のいずれか一項に記載の情報処理装置。
　前記推定フィールドと、前記構造データとに基づき、前記第１座標系と、前記構造データにおいて採用される座標系である第２座標系との間の座標変換に関する座標変換情報を生成する座標変換情報生成手段をさらに有する、請求項１～６のいずれか一項に記載の情報処理装置。
　前記情報処理装置は、風景に重ねて仮想オブジェクトを表示する前記表示装置であって、
　前記仮想オブジェクトを表示するための表示光を射出する光源ユニットと、
　前記表示光の少なくとも一部を反射することで、前記仮想オブジェクトを風景に重ねて観察者に視認させる光学素子と、
をさらに有する、請求項１～７のいずれか一項に記載の情報処理装置。
　コンピュータが、
　対象となるフィールドの少なくとも一部を含む画像に基づき決定された、前記フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得し、
　少なくとも２つの前記組と、前記フィールドの構造に関する構造データとに基づき、前記画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における前記フィールドの候補を表す候補フィールドを生成し、
　生成された複数の前記候補フィールドに基づき、前記第１座標系において推定された前記フィールドを表す推定フィールドを決定する、
制御方法。
　対象となるフィールドの少なくとも一部を含む画像に基づき決定された、前記フィールドの特徴点の候補位置及び候補ラベルの組を示す特徴点情報を取得し、
　少なくとも２つの前記組と、前記フィールドの構造に関する構造データとに基づき、前記画像を撮影するカメラを有する表示装置が基準とする座標系である第１座標系における前記フィールドの候補を表す候補フィールドを生成し、
　生成された複数の前記候補フィールドに基づき、前記第１座標系において推定された前記フィールドを表す推定フィールドを決定する処理をコンピュータに実行させるプログラムを格納する記憶媒体。