JP2016105279A

JP2016105279A - 視覚データを処理するための装置および方法、ならびに関連するコンピュータプログラム製品

Info

Publication number: JP2016105279A
Application number: JP2015227556A
Authority: JP
Inventors: ブロンドローラン; Laurent Bronde; ドラジッチヴァルター; Drazic Valter; シューベルトアルノ; Arno Schubert
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2014-11-20
Filing date: 2015-11-20
Publication date: 2016-06-09
Also published as: US20160148434A1; EP3023863A1; CN105630152A; KR20160060582A; EP3035159A1

Abstract

【課題】ビジュアルデータを処理する装置および方法、および関連するコンピュータプログラム製品を提供する。【解決手段】装置は、端末に対して視覚データを表示するように使用される視覚データ処理装置であって、端末のユーザ上の基準点に対する、端末の３次元位置を取得するように構成されたモジュール１１と、端末の３次元位置において、利用可能な視覚データのセットに応じて、基準点の視点から表示されることになる、視覚データのサブセットを決定するように構成されたモジュール１２と、表示されることになる視覚データのサブセットを変更し、変更された視覚データを供給するように構成されたモジュール１３と、変更された視覚データを、端末の表示モジュール上に表示するように構成されたモジュール１４と、を備えた。【選択図】図１

Description

本開示はデータ処理の分野に関する。より具体的には本開示は、ユーザを中心とする座標系（自己中心座標系）を基準とする空間における位置に対する、視覚データの処理に関する。

情報技術の急速な進展と共に、電子的視覚ディスプレイ装置は世界で広く用いられている。観察のモードに従って、ディスプレイ装置は２つのカテゴリに分けられ得る：直視型ディスプレイおよび投射型ディスプレイである。ハンドヘルド装置、スマートフォンおよびタブレットは、視覚コンテンツがそれらの画面上で直接見られ得るので、直視型ディスプレイ装置と見なされ得る。当然ながらプロジェクタは、視覚コンテンツが外部スクリーンに投影されるので、投射型ディスプレイ装置に属する。視覚コンテンツをユーザの網膜に直接投影するビデオグラスなどの、いくつかの頭部装着ディスプレイ装置（ＨＭＤ）も、投射型ディスプレイ装置と見なされ得る。

今日では、ディスプレイ装置上に視覚コンテンツを提示する基本的な方法は、装置の視点から視覚コンテンツを参照することである。言い換えれば装置によって表示される視覚コンテンツは、ユーザの位置には無関係である。

ハンドヘルド装置に対しては、ユーザは表示されたコンテンツを左にまたは右にワイプすることができるが、基準系は装置自体のままとなる。基準が装置でない場合は、写真またはビデオ収集、またはデータ位置が撮影された環境に結び付けられる、いくつかの拡張現実タグベースのアプリケーションである。適切な位置に装置を保持することは、環境に対応してデータを出現させることができる（ユーザによって見られるように、環境における方向に結び付けられた表示されるデータの方向で）。これは通常は拡張現実と名付けられる。

ＨＭＤについては、ビデオは、それが見る人の前方の所与の距離に現れるように、ユーザの網膜に投影され得る。装置の光学パラメータは、遠近調節および潜在的な収束が見る人に快適となるように像を投影するようになる。拡張現実技法は、ユーザを中心とする空間における方向に、データを結び付けることができる（例えば単眼または立体ビューイング）。

しかし、ハンドヘルド装置またはＨＭＤのための拡張現実技法は、物理的な現実世界環境のライブビューを「拡張された」要素と共に表示できるだけである。主要な視覚コンテンツは、カメラによって直接捕捉される現実世界環境に限定される。言い換えればハンドヘルド装置またはＨＭＤは、そのカメラによって捕捉された物理的環境のビューを受動的に表示し、この物理的環境の上にコンテンツを追加することができるだけである。

表示されるデータがユーザの知覚システムを表すものである、装置および方法を有する必要がある。

本開示は、従来技術の限界を克服する。

より具体的には本開示は、端末に対して視覚データを表示するための視覚データ処理装置に関する。本開示によれば装置は、
− 上記端末のユーザ上の基準点に対する、上記端末の３次元位置を取得するように構成されたモジュールと、
− 上記端末の上記３次元位置に関して、利用可能な視覚データのセットに応じて、上記基準点の視点から表示されることになる、視覚データのサブセットを決定するように構成されたモジュールと、
− 表示されることになる上記視覚データのサブセットを変更するように構成されたモジュールであって、変更された視覚データを供給する、上記変更するように構成されたモジュールと、
− 上記変更された視覚データを、上記端末の表示モジュール上に表示するように構成されたモジュールと、
を備える。

したがって本開示は、ユーザの位置と比べた装置の位置を考慮して、既存の基本視覚データを用いて、ユーザに対して自己中心視覚データを計算または生成することができる、視覚データ処理装置をもたらす。

したがって視覚データの表示は、上記ユーザの視野とは無関係である。このような技法は、上記ユーザの視野を追跡する必要がない。

本開示によれば、上記基準点は上記ユーザの胴体上にある。

したがって、一定である基準点によって、装置の位置を決定することが可能である。

本開示によれば、上記端末の３次元位置は、上記端末と上記基準点の間の距離、および上記基準点から上記端末への方向を含む。

本開示によれば、上記利用可能な視覚データのセットは、以下の要素の少なくとも１つを含む：
− オペレーションシステムのデスクトップ
− アプリケーションのアイコン
− アプリケーションのユーザインターフェース
− ビデオコンテンツ
拡張現実とは違って、装置は、装置の位置を考慮してアプリケーションまたは同様なもののデータを表示する。示されるデータは、捕捉モジュールに関して装置によって知覚されるものを表すものではないが、一種の仮想環境の１つを表すものである。

本開示によれば、３次元空間において表示されることになるサブセット視覚データを決定するための上記モジュールは、
− 少なくとも１つの幾何学変換を表すデータを取得するように構成されたモジュールと、
− 上記表示されることになる視覚データのサブセットに、上記少なくとも１つの幾何学変換を適用するように構成されたモジュールと、
を備える。

本開示によれば、上記少なくとも１つの幾何学変換は、１つの３Ｄ空間回転、および１つの３Ｄ並進を含む。

したがって視覚データの計算は、これら２つの簡単な変換に基づくものとすることができ、上記計算は高速である。

本開示によれば、３次元位置を取得するように構成されたモジュールは、位置センサを備える。

本開示によれば、上記位置センサは上記３次元位置を、ユーザ上の上記基準点上に装着された少なくとも１つのアイテムに応じて測定する。

したがって基準点が胴体である場合は、上記アイテムは例えばネックレスとすることができる。上記ネックレスはディジタルのものとすることができ、その位置を装置に送り、または簡単な金属製のネックレスとすることができる（次いで装置は、ネックレスを検出することによってその位置を測定する）。

本開示によれば、上記端末は、ハンドヘルド装置または頭部装着装置（ＨＭＤ）である。

本開示はまた、端末の回復モジュール上に復元されることになる視覚データを処理するための方法に関する。本開示によれば、上記方法は、
− 上記端末のユーザ上の基準点に対する、上記端末の３次元位置を取得するステップと、
− 上記端末の上記３次元位置に関して、利用可能な視覚データのセットに応じて、上記基準点の視点から表示されることになる３次元視覚データのサブセットを決定するステップと、
− 表示されることになる上記３次元視覚データのサブセットを変更し、変更された視覚データを供給するステップと、
− 上記変更された視覚データを、上記端末の上記表示モジュール上に表示するステップと、
を含む。

本開示によれば、上記利用可能な視覚データのセットは、以下の要素の少なくとも１つを含む：
− オペレーションシステムのデスクトップ
− アプリケーションのアイコン
− アプリケーションのユーザインターフェース
− ビデオコンテンツ
本開示によれば、上記決定するステップは、
− 少なくとも１つの幾何学変換を表すデータを取得するステップと、
− 上記表示されることになる上記視覚データのサブセットに、上記少なくとも１つの幾何学変換を適用するステップと、
を含む。

さらに本開示は、ディスプレイ装置の限られた視野をユーザの潜在的な視野まで拡大し、提示されるコンテンツは、装置に結び付けられるのではなく、ユーザに結び付けられるビュー／対話の枠組みをもたらす。より正確には表示されるコンテンツは、それ自体の自己中心座標系における、ユーザの空間の知覚を表すものである。

したがって本原理はまた、コンピュータまたはデータプロセッサによって実行され得るプログラムをもたらし、プログラムは、上述のような方法のステップの実行を制御するための命令を含む。

このプログラムは、任意のプログラミング言語を用いることができ、ソースコード、オブジェクトコード、または部分的にコンパイルされた形式などのソースコードとオブジェクトコードの間の中間コードの形式、または任意の他の望ましい形式とすることができる。

本原理はまた、データプロセッサによって可読であり、上述のようなプログラムの命令を含んだ媒体をもたらす。

情報担体は、上記プログラムを記憶することができる任意のエンティティまたは装置とすることができる。例えば媒体は、ＲＯＭ、例えばＣＤＲＯＭもしくはマイクロエレクトロニクス回路などの記憶媒体、またはディスケット（フロッピディスク）もしくはハードドライブなどの磁気記録媒体を含むことができる。

これに対して情報担体は、無線によってまたは他の手段によって、電気または光ケーブルを通じて伝達され得る電気または光信号などの、送信可能担体とすることができる。本原理によるプログラムは、特にインターネットなどのネットワークを通してダウンロードされ得る。

あるいは情報担体は、プログラムが組み込まれた集積回路とすることができ、回路は、該当するプロセスを行うように、または実行において用いられるように適合される。

一実施形態によれば本原理は、ソフトウェアおよび／またはハードウェアを用いて実現される。この関連において「モジュール」という用語は、本文書ならびにソフトウェア構成要素において、ハードウェア構成要素、またはハードウェアおよびソフトウェア構成要素のセットに対応し得る。

ソフトウェア構成要素は、１または複数のコンピュータプログラム、プログラムの１または複数のサブプログラム、またはより一般的には、モジュールに対して以下で述べられるものによる機能もしくは機能のセットを実現することができる、プログラムもしくはソフトウェアの任意の要素である。このようなソフトウェア構成要素は、物理的エンティティ（テレビ、プロジェクタ、端末、サーバ、ゲートウェイ、ルータなど）のプロセッサによって実行され、物理エンティティ（メモリ、記憶媒体、バス通信、ｅカードＩ／Ｏ、ユーザインターフェースなど）のハードウェアリソースにアクセスする可能性が高い。

同様にハードウェア構成要素は、モジュールに対して以下で述べられるものによる機能もしくは機能のセットを実現することができるハードウェア（a hardware）（またはハードウェア（hardware））の任意の構成要素である。これは、実行プロセッサのためのプログラマブルハードウェアもしくはソフトウェアと一体化された構成要素、例えば集積回路、スマートカード、メモリカード、ファームウェアの実行のための電子カードなどとすることができる。

上述のシステムの各構成要素は、それ自体のソフトウェアモジュールをもたらす。上述の様々な実施形態は、本原理による実現のために一緒に組み合わされ得る。

提案される方法について以下に、特許請求の範囲によって定義される保護の範囲を限定せずに、添付の図に関連して例として述べられる。
装置の主要な機能モジュールを示す図である。座標系の定義を示す図である。配置位置センサの例を示す図である。胴体座標系における点Ｃを中心とする、自己中心コンテンツ球面を示す図である。点Ｃを中心とする球面座標を示す図である。視覚データ処理方法の主要なステップを示す図である。本開示による視覚データ処理装置の実施形態を示す図である。

５．１原理
自然の生活においてユーザは、彼等の周りに対象物またはスクリーンがあることに慣れ、彼等がそれらを所与の時点で見なかった場合は、彼等は、彼等の位置／姿勢を変更すれば、これらの対象物（例えばテレビ、または壁の時計）を見ることができることを知っている。彼等の空間の知覚は能動的であり、過去および現在の視覚および運動情報から結果として生じる。これは、彼等の環境（他者中心）空間知覚にも、および彼等の自己中心空間知覚にも当てはまる。

本開示はハンドヘルドまたはアイウェア装置によって表示さえる視覚情報の構造を改善し、それにより、アプリケーションを構成するもしくは使用するまたはコンテンツを見るために、それらの自己中心および近接空間において情報が容易に利用可能になる。これは対話の自然さ、およびアプリケーションへのアクセスにおける効率の改善を可能にし、ディスプレイ面に結び付けられたアプリケーションアイコンおよびウィンドウの、古典的な「デスクトップ」の枠組みを置き換える。

１つの例示の実施形態は、肩越しの（例えば人の右側への）方向を活用して、アプリケーションアイコンまたは実行アプリケーションを永続的に「記憶」する。右側に（身体／自己中心座標系において）、頭部を回す（またはハンドヘルド画面を動かす）ことで、肩越しに「記憶」されたアプリケーションをユーザの視界内にもたらすようになる。これは簡単な時計、遠隔の人／場所を示すＳｋｙｐｅウィンドウ、電子メールアイコン、関心のある主要コンテンツに関係するサイドウィンドウ（例えばゲームにおけるマップ）とすることができる。ユーザが彼等の前方を見ているときは、この肩越しのコンテンツは見られず、自然の実際のビューイングまたは関心のある主要アプリケーションが実行している自由な視野をもたらす。しかしユーザは、彼等の肩の上のアプリケーションまたはアイコンが利用可能であり、それを見るには頭部を回す（またはハンドヘルド画面を動かす）ことで十分であることが分かっている。アプリケーションは、随伴するアプリケーションとして、彼等の傍にあることが感じられる。したがって視覚データ（すなわちユーザに示されるデータ、例えばアイコン、ウィンドウ、デスクトップなど）は、ユーザの位置に適応される。

上記の例のパラグラフは、ビデオグラスに対して当てはまり、効果を実現するためには、アイウェアと相対的なユーザの身***置を追跡することで十分となり得る。スマートフォンまたはタブレットに対しては、装置を肩の上の方向に動かしそれを見ることが、センサが活用された場合に同じ効果を生み出すことができる。両方の場合において、ユーザに対して相対的にコンテンツを更新することが、アプリケーションアイコンまたはアプリケーションコンテンツを、ユーザの自己中心環境において安定に見えるようにする方法となる。

したがって既存の基本視覚データを用いて、ユーザに対して自己中心視覚データを計算または生成するための方法および装置がもたらされる。既存の基本視覚データは、例えばオペレーティングシステムのデスクトップを表すものとすることができる。既存の基本視覚データは例えば、装置上で実行されるアプリケーションを表すものとすることができる。既存の視覚データは、拡張現実システムにおいて既存の現実の対象物の上に来るデータと同じではないことに留意することが重要である。既存の視覚データは、ユーザが現実に見ているものに対して情報を追加しない。本開示によれば、前述の必要性は、端末に対して視覚データを表示するための視覚データ処理装置によって解決され、これは、
− １１として参照される、端末のユーザ上の基準点に対する、端末の３次元位置を取得するように構成されたモジュールと、
− １２として参照される、端末の３次元位置に関して、利用可能な視覚データのセットに応じて、基準点の視点から表示されることになる、３次元視覚データのサブセットを決定するように構成されたモジュールと、
− １３として参照される、表示されることになる３次元視覚データのサブセットを変更し、変更された視覚データを供給するように構成されたモジュールと、
− １４として参照される、変更された視覚データを、端末の回復モジュール上に表示するように構成されたモジュールと、
を備える。

３次元位置を取得するためのモジュール１１は、ユーザの自己中心座標系において、ユーザの身体上の基準点に対して、端末（ディスプレイ装置）の３次元位置を、捕捉または推定することができる。自己中心座標系は、観察者（ユーザ）を中心とする座標系である。３次元位置は２つの情報を表し、一方は基準点の間の距離であり、他方は装置の基準部分からの方向である。

３次元位置を取得するためのモジュール１１は、身体運動および活動認識のための専用処理機能を有するウェアラブルセンサなどの、任意の運動捕捉装置とすることができる。

表示されることになる３次元視覚データのサブセットを決定するためのモジュール１２は、基準点に対する端末の３次元位置に従って、利用可能な視覚データのセットから、表示されることになる視覚データのサブセットを選択することができる。利用可能な視覚データは、記憶装置に記憶されたまたはネットワークから受信された、いくつかの既存の画像とすることができる。したがって、表示されることになる視覚データは、端末がユーザ上の基準点に対して相対的に移動したときは、変化され得る。

３次元視覚データのサブセットを変更するためのモジュール１３は、視覚データ自己中心視覚データのサブセットに基づいて、２次元視覚データ（または３次元視覚データ）を計算することができる。２次元視覚データまたは３次元視覚データは、変更された視覚データと呼ばれる。変更は、例えば視覚データのサブセットの再配置、再形成、および／またはサイズ変更を含む。

実施形態によれば、基準点はユーザの胴体上にある。胴体は、頭部に比べて基準点のための良好な部分である。ユーザが、本開示の処理装置を組み込んだハンドヘルドディスプレイ装置（端末）を操作するときは、彼の頭部は、ハンドヘルド装置の動きに追従して動くことができ、頭部に対する装置の３次元位置は不変となり得る。ＨＭＤについては、頭部に対するその相対位置は固定される。表示される視覚コンテンツは、不変のままとなり得る。ハンドヘルドディスプレイ装置およびＨＭＤの両方に対して、ユーザの胴体に対するそれらの位置は、それらの動きと共に変化する。したがってデータ処理装置は、新しい自己中心視覚データを計算することができる。

他の実施形態によれば、利用可能な視覚データは、以下の要素の少なくとも１つを含む：
− オペレーションシステムのデスクトップ
− アプリケーションのアイコン
− アプリケーションのユーザインターフェース
したがってデスクトップの視野は、ユーザの潜在的な視野に拡張される。オペレーションシステムのデスクトップ、またはアプリケーションのユーザインターフェースは拡大される。さらにデスクトップまたはユーザインターフェース上のナビゲーションは、より容易に、より効率的になる。

他の実施形態によれば、決定するためのモジュールはさらに、
− １３１として参照される、少なくとも１つの幾何学変換を表すデータを取得するように構成されたモジュールと、
− １３２として参照される、表示されることになる視覚データのサブセットに、少なくとも１つの幾何学変換を適用するように構成されたモジュールと、
を備える。

幾何学変換は、視覚データのサブセットに対して行われる。変換された基本視覚データは、ユーザに対する自己中心視覚データとなる。

他の実施形態によれば、少なくとも１つの幾何学変換マトリックスは、３Ｄ空間回転および３Ｄ並進パラメータを備える。したがって幾何学変換マトリックスは、３Ｄ回転および３Ｄ並進のみを組み合わせた、剛体対象物に対する線形変換によってモデル化される。他の実施形態によれば、少なくとも１つの幾何学変換を表すデータを取得するためのモジュールは、３１、３２、３３として参照される位置センサを備える。他の実施形態によれば、位置センサ３１は、ユーザ上の基準点に装着された少なくとも１つのアイテム３２、３３に応じて、３次元位置を測定する。位置センサが基準アイテムを検出することは、より容易である。したがってアイテムは、相対位置の測定を容易にする。

他の実施形態によれば、前述の端末は、ハンドヘルド装置または頭部装着装置（ＨＭＤ）である。したがってハンドヘルド装置またはＨＭＤは、自己中心コンテンツをユーザに表示することができる。

他の態様では本開示は、端末の回復モジュール上に復元されることになる視覚データを処理するための方法をもたらす。復元された視覚データによって表される視覚コンテンツは、ユーザの自己中心コンテンツに対応する。方法は、
− ６１として参照される、端末のユーザ上の基準点に対する、端末の３次元位置を取得するステップと、
− ６２として参照される、端末の３次元位置に関して、利用可能な視覚データのセットに応じて、基準点の視点から表示されることになる３次元視覚データのサブセットを決定するステップと、
− ６３として参照される、表示されることになる３次元視覚データのサブセットを変更し、変更された視覚データを供給するステップと、
− ６４として参照される、変更された視覚データを、端末の回復モジュール上に表示するステップと、
を含む。

端末の３次元位置を取得するステップ６１は、端末に組み込まれた位置捕捉装置によって実現され得る。位置捕捉装置は、ユーザ上の基準点と相対的な端末の３次元位置を捕捉または推定することができる。基準点は、ユーザの頭部または胴体上に配置され得る。

表示されることになる３次元視覚データのサブセットを決定するステップ６２は、ユーザの自己中心座標において表示されることになる視覚データを選択することができる。変更するステップは、視覚データのサブセットに対する任意のタイプの操作とすることができる。変更するステップは、決定された視覚データのサブセットを変更することによって、自己中心視覚データを計算することができる。表示するステップは、端末上に２次元の自己中心データを表示することができる。

他の実施形態によれば、利用可能な視覚データのセットは、以下の要素の少なくとも１つを含む：
− オペレーションシステムのデスクトップ
− アプリケーションのアイコン
− アプリケーションのユーザインターフェース
他の実施形態によれば、決定するステップは、
− ６３１として参照される、少なくとも１つの幾何学変換を表すデータを取得するステップと、
− ６３２として参照される、表示されることになる視覚データのサブセットに、少なくとも１つの幾何学変換を適用するステップと、
を含む。

他の実施形態によれば、少なくとも１つの幾何学変換は、１つの３Ｄ空間回転、および１つの３Ｄ並進を含む。

他の態様によれば、本開示は、それがコンピュータ上で実行されたときに、視覚データを処理するための上記のいずれかの方法により、視覚データを処理するための方法を実行するためのプログラムコード命令を備えることを特徴とする、通信ネットワークからダウンロード可能な、および／またはコンピュータ可読担体に記憶された、および／またはマイクロプロセッサによって実行可能な、コンピュータプログラム製品をもたらす。

５．２実施形態の説明
この実施形態では、視覚データを処理するために様々なソリューションが述べられる。これらの実施形態では視覚データは、表示するための画像である。これは、本開示の範囲から逸脱せずに、他の種類の視覚データとすることもできる。またこの実施形態ではディスプレイ装置は、スマートフォンまたはタブレットなどのポータブルディスプレイ装置である。

変形形態の第１のセットは、視覚データ（表示するための画像）が、ユーザの基準点の位置を考慮して取得される方法を簡潔に記述する。次いで、第１の変形形態が詳しく述べられる。

より正確には、視覚データを処理するために第１のステップは、ユーザの胴体に対する、端末の３次元位置を取得することである。次いで視覚データは、位置に幾何学変換のセットを適用することによって処理される。これらの変換は、この実施形態ではマトリックス計算である（いくつかのマトリックスが使用され得る）。後に続くステップは、変更された位置を考慮して、視覚データを変更することである。視覚データの変更は、利用可能な視覚データのセット（例えば大きな画像）において、表示するための視覚データのサブセット（より小さな画像）を識別することにあるものとすることができる。最後のステップは、視覚データ（より小さな画像）を、端末の表示モジュールに送信することである。また状況に応じてユーザの知覚を、表示される視覚コンテンツに適応させるために、較正方法が使用され得る。またユーザ間のコンテンツ共有および対話が開示される。

５．２．１視覚データの処理の変形形態
実施形態の第１の変形形態は、表示画像座標系を、下記によってユーザの自己中心座標系に結び付けることにある：
１）ユーザの胴体と相対的なディスプレイ装置の空間における位置（３Ｄ位置）を取得する（捕捉および／または推定することによって）。

（捕捉または推定の結果は、幾何学変換ＴＤ：ｇ_TDであり、Ｄは「ディスプレイ」を表し、Ｔは「胴体」を表す）。

２）ディスプレイ装置上の画像を計算することであり、その座標および２Ｄ歪みは下記に依存する：
ｉ．ユーザの自己中心座標系において、彼と相対的な方向に表示されることが意図されるコンテンツ（「自己中心コンテンツ」）であり、これはこの実施形態では画像である。

ｉｉ．幾何学変換ＴＤ：ｇ_TD、ただしＤは「ディスプレイ」を表し、Ｔは「胴体」を表す。

第２の変形形態は、表示画像座標系を、下記によってユーザの自己中心座標系に結び付けることにある：
１）ユーザの身体／胴体と相対的な、ユーザの頭部の空間における位置（３Ｄ位置）を取得する（捕捉および／または推定することによって）。

（捕捉または推定の結果は、幾何学変換ＴＨ：ｇ_THであり、Ｔは「胴体」を表し、Ｈは「頭部」を表す）。

２）ユーザの頭部と相対的なディスプレイ装置の空間における位置（３Ｄ位置）を取得する（捕捉および／または推定することによって）。

（捕捉または推定の結果は、幾何学変換ＨＤ：ｇ_HDであり、Ｄは「ディスプレイ」を表し、Ｈは「頭部」を表す）。

３）ディスプレイ装置上の画像を計算することであり、その座標および２Ｄ歪みは下記に依存する：
ｉ．ユーザの自己中心座標系において、彼と相対的な方向に表示されることが意図されるコンテンツ（「自己中心コンテンツ」）であり、これはこの実施形態では画像である。

ｉｉ．幾何学変換ＴＨｇ_THと、幾何学変換ＨＤｇ_HDとの組合せ。

第１のソリューションと比べて、第２のものは頭部位置の知識を追加し、これは首の屈曲（首を前方に曲げる）などのいくつかの構成において、相対方向の知覚を変更する。

第３のソリューションは、相対方向に影響を与える身体姿勢（例えば枕の上に頭部を置く、背の高いまたは低い人に話し掛ける）、または身体運動（例えば歩行、走行）を説明するために必要となり得る。

基準座標系は、例えば図３に示されるように胴体座標系（Ｏ_TＭ_xTＭ_yTＭ_zT）である。同じく頭部およびディスプレイ装置座標系も示される（ディスプレイ座標系は、（Ｏ_DＭ_xDＭ_yDＭ_zD）である）。図４に示されるようにユーザは、胴体または頭部の剛体部分に取り付けられた様々な形の位置センサを着用することができ、同様なセンサがハンドヘルドまたは着用されたディスプレイに埋め込まれ得る。

５．２．２第１の変形形態の詳細な説明
この例示の変形形態は、ｇ_TDが３Ｄ回転および３Ｄ並進のみの組合せによってモデル化され得るという意味で、知覚される自己中心空間の歪みがないと仮定する。より一般的には、３Ｄ空間における回転、並進、スケーリング、剪断、および透視投影を含む、剛体対象物に対する線形変換が用いられ得る。基準座標系（ここでは胴体座標系（Ｏ_TＭ_xTＭ_yTＭ_zT））においてディスプレイ装置は、幾何学変換ｇ_TD（この例では３Ｄ回転および３Ｄ並進）によって記述されるやり方で移動および回転し、ディスプレイ装置に結び付けられた座標系（Ｏ_DＭ_xDＭ_yDＭ_zD）における点の位置Ｘ_D、Ｙ_D、Ｚ_Dは、以下の式で与えられ、ただしＸ_T、Ｙ_T、Ｚ_Tはこの同じ点の、基準座標系（Ｏ_TＭ_xTＭ_yTＭ_zT）における座標である。

ただし

は３Ｄ空間回転であり、

は並進を表す。

パラメータ

（３Ｄ空間回転マトリックス）、および

（並進ベクトル）による上記のｇ_TD変換は、自己中心座標系（胴体を基準とする）からディスプレイ座標系への、自己中心コンテンツの移転を可能にする。

ディスプレイ装置に対して、この実施形態の方法は、図５に示されるような球面Ｓ（中心Ｃ、半径Ｒ）を定義することにあり、その上に例えば画素グリッド（画像）Ｉ（θ，φ）によって自己中心コンテンツ情報を表すことができ、各画素は、それ自体が胴体座標系（Ｏ_TＭ_xTＭ_yTＭ_zT）における座標（ｘ_C，ｙ_C，ｚ_C）である点Ｃを中心とする、球面座標系における極角θおよび方位角φに対して定義される。球面Ｓは、この装置によるユーザの到達可能な作業空間の内側に定義される。

ＨＭＤ（例えばシースルー眼鏡）に対する上述の球面は、ポインティング／対話が異なるので、異なる特性を有することになるが、説明された原理および定式化は同様なままとなる。

座標（ｉ，ｊ）のディスプレイ画素Ｐの輝度および色を計算するために、最初にこの画素の胴体座標系における位置が計算され、第１にディスプレイ座標に画素を配置し、第２に逆変換ｇ_DT＝（ｇ_TD）^-1を適用する。

次いで下記により、点Ｐの球面座標（点Ｃを中心とする）が下記によって計算される：

およびハンドヘルド装置の場合は、

（例えば

）である場合は、ディスプレイ画素Ｐには、座標（θ_P/C，φ_P/C）における自己中心コンテンツの輝度および色が与えられる。

Ｐ（ｉ，ｊ）＝Ｉ（θ_P/C，φ_P/C）
球面Ｓが、ユーザの作業空間に対して相対的に明確である場合は、画素Ｐと球面Ｓの間の大き過ぎる距離（例えば

）は生じない。しかしこの場合は、球面Ｓ上への画素Ｐの投射は、単一の眼のビューまたは立体視の場合は、それぞれ単眼、または左および右目のいずれかの方向で行われるべきである。次いで胴体座標系における頭部位置を知ること（ｇ_TH幾何学変換）が必要になることが留意されるべきである。

５．２．３第１の変形形態における知覚された空間の潜在的歪みの管理
空間における方向の知覚は、複雑な視覚および精神運動性タスクであることが留意される。知覚される方向と自己中心コンテンツとを関連付けることは、いくつかの場合においては、ユーザと相対的な空間における固定位置に配置された球面をディスプレイ面として用いることよりも複雑となり得る。例えば眼または頭部を動かすことは、裸眼の場合だけでなく、補正眼鏡を着用しているときはより確実に、方向の知覚を変更する場合があり、これはこれらが光線を偏向させ、したがって対象物空間とそれの網膜上の投影との間の関係を歪ませるからである。

知覚された空間の潜在的歪みに対処するためには、ソリューションは、自己中心コンテンツを表すように上記の球面を保つが、自己中心コンテンツが定義される（θ，φ）空間において特定のモーフィング（画像モーフィング）を適用することである。

上記の式は：Ｐ（ｉ，ｊ）＝Ｉ（θ_P/C，φ_P/C）
その結果右記となる：Ｐ（ｉ，ｊ）＝Ｉ（θ’，φ’）、ただし（θ’_P/C，φ’_P/C）＝Ｍｏｒｐｈ（θ_P/C，φ_P/C）
（θ’，φ’）＝Ｍｏｒｐｈ（θ，φ）は、方向の知覚における非線形性を考慮に入れたモーフィング関数である。これは、頭部および身体の動き、ならびに例えば補正眼鏡を着用したユーザに対する補正および非補正視野の間の限度に依存し得る。

（θ’，φ’）＝Ｍｏｒｐｈ（θ，φ）は、様々な次数の多項式表現、スプライン、または球面調和関数を含む、様々な数式によって表され得る。（θ’，φ’）＝Ｍｏｒｐｈ（θ，φ）は、以下に示される方法によって較正され得る。

さらに、知覚された空間の潜在的歪みを管理するためにまた、以下を考慮に入れることができる。

− 例えば胴体センサから胴体基準点までの剛体並進を考慮に入れるため、またはディスプレイ座標系から画素における画像座標系への変換のために、いくつかの補助的変換が用いられ得る。

− 幾何学変換は、ユーザの動きに追従するので時間に依存する。

− 補正眼鏡能力に応じた視野調整／スケーリングが必要となり得る。

− 幾何学変換ＨＤ：ｇ_HDは、ハンドヘルド装置が１つまたはいくつかの正面カメラを有する場合は画像分析から、および３Ｄ頭部姿勢推定関数から推定され得る。

５．２．４較正
幾何学変換は、いくつかの場合は較正を必要とし、この較正は、各ユーザが彼の相対（自己中心）方向の異なる知覚を有するようになるので、ユーザ依存となり得る。状況に応じて、いくつかの較正方法が用いられ得る。較正の目標は、ユーザに適合する幾何学変換のセットを取得することである。本明細書に示される特定の実施形態では、表示するための視覚データを処理するときに後に用いられる変換マトリックスを取得することを目指す。

較正方法１：
この第１の較正方法では自己中心コンテンツは、平均的または標準的ユーザに対して、または一般的なディスプレイ幾何形状（例えば球面）を仮定して生成される、デフォルト幾何学変換によってユーザに表示される。次いで較正プロセスは、専用ウィジェット（球面伸張、並進、回転）上のユーザアクションに従って、幾何学変換ＴＤまたはＴＨおよびＨＤを更新する。ウィジェットは、ユーザの知覚されるコンテンツを予想されるコンテンツと比較し、それに従ってコンテンツ変換を更新する。

較正方法２：
この第２の較正方法では自己中心コンテンツは、平均的または標準的ユーザに対して、または一般的なディスプレイ幾何形状（例えば球面）を仮定して生成される、デフォルト幾何学変換によってユーザに表示される。次いで較正プロセスは、予想される自己中心コンテンツ幾何形状と比較したディスプレイ装置の誤差を識別する、システム分析の通常の使用におけるユーザ対話に従って、幾何学変換ＴＤまたはＴＨおよびＨＤを更新する。

較正方法３：
この第３の構成方法では、表示画像座標系と、ユーザの自己中心座標系との間の関係の較正は、以下のステップによって行われる：
１）表示画像上の自己中心コンテンツとして、注目点（例えば十字形またはドット）を配置し、移動する。

２）視覚的に（およびハンドヘルド装置に対しては手で）注目点に追従するようにユーザに求める（ユーザは、注目点に応じて彼の姿勢を変更しなければならないことになる）。

３）以下によっていくつかの時点においてユーザの姿勢を捕捉する：
ａ．ユーザの身体／胴体に結び付けられた座標系と相対的な、表示画像に結び付けられた座標系の位置を捕捉する
（幾何学変換ＴＤ）、または
ユーザの頭部に結び付けられた座標系と相対的な、表示画像に結び付けられた座標系の位置を捕捉する
（幾何学変換ＨＤ）
ｂ．ユーザの身体／胴体に結び付けられた座標系と相対的な、頭部座標系の位置を捕捉する
（幾何学変換ＴＨ）
４）捕捉された画像対身体／胴***置に応じて、または捕捉された画像対頭部対身体／胴***置に応じて、ユーザと相対的な（彼／彼女の自己中心座標系における）方向を較正する：
ａ．較正は、サンプルされた姿勢捕捉を一般化したモデルを決定（モデル適合化）し、逆モデルを計算することにあるものとすることができる
その結果、その後の自己中心座標系における表示画像の安定性は、この較正に基づく。

５．２．５対話
自己中心コンテンツを操作することは、例えばユーザが「肩越しに」記憶されたアプリケーション（例えばＳｋｙｐｅアプリケーション）を彼／彼女と向かい合うように動かし、それを使うためには、極めて望ましい。ハンドヘルド装置はそれら自体でポインティング装置となることができ、タッチ機能は例えば、自己中心コンテンツ環境においてドラッグ−ドロップアクションをトリガすることができる。また例えば手の甲にしっかりと固定された、またはリンクの形でのウェアラブル追跡装置は、自己中心環境におけるコンテンツを指定するまたは指し示すことを可能にすることができる。ユーザが自己中心カメラ（例えば眼鏡に埋め込まれた）を着用している場合は、ハンド追跡画像解析も用いられ得る。

上記と同様な変換は、それが実際にディスプレイ装置上に表示されてもされなくても、ポインティング装置または手／指の自己中心コンテンツとの関係を識別するために用いられ得る。音声解析またはタッチアクセサリは、対話をサポートすることができ、アクションの開始および終了を識別する。

対話もまた、自己中心環境でのコンテンツを選択し、それを例えば指し示すことによりまたは指名することによって、他者中心環境内（室内）の実際のディスプレイ（例えばテレビ画面またはモニタ）上に送ることにあるものとすることができる。このために、他者中心環境の特性（幾何形状、装置名およびアドレス）が、自己中心システムに知られなければならない。

５．２．６共有
自己中心コンテンツは、本質的にユーザＵ１に固有であり、初めはユーザＵ１がそれを見る唯一の人である。しかし一部の（おそらく部分的な）権利が、ユーザＵ１の自己中心コンテンツを見るために、別のユーザＵ２に与えられ得る。それによりユーザＵ２は、ユーザＵ１が何を見ている／行っているかを理解することができる。ユーザＵ２はまた場合によっては、このＵ１の自己中心コンテンツに対して共有／対話することができる。

この共有機能を実現するためのソリューションは、下記によってユーザＵ２の表示画像座標系を、ユーザＵ１の自己中心座標系に結び付けることである。

１）ユーザＵ１の身体／胴体と相対的な、ユーザＵ２の身体／胴体の空間における位置を取得（捕捉／推定）する（幾何学変換Ｔ１Ｔ２：ｇ_T1T2）
２）ユーザＵ２の身体／胴体と相対的な、ユーザＵ２のディスプレイ装置の空間における位置を取得（捕捉／推定）する（幾何学変換Ｔ２Ｄ２：ｇ＿Ｔ２Ｄ２）
３）ユーザＵ１「自己中心コンテンツ」（の承認された部分）のデータおよび幾何形状を、ユーザＵ２システムに移転する
４）ユーザＵ２のディスプレイ装置上の画像を計算し、その画像の座標および２Ｄ歪みは以下に依存する：
ｉ．彼の自己中心座標系において、ユーザＵ１と相対的な方向に表示されることが意図されるコンテンツ（「自己中心コンテンツ」）
ｉｉ．幾何学変換Ｔ１Ｔ２：ｇ_T1T2、および幾何学変換Ｔ１Ｄ２：ｇ_T1D2
１人のユーザの自己中心コンテンツを、別のユーザの自己中心環境において再利用するこのソリューションによって、ユーザＵ２は、ユーザＵ１の自己中心コンテンツを見ることができ、場合によってはそれを操作することができる。

ユーザＵ１およびユーザＵ２がコンテンツを共有するときは、彼等は共有された、両方の自己中心環境に結び付けられたコンテンツを共有することができ、例えば彼等が隣り合って座っている場合は、共通ビデオ位置は、両方の自己中心環境（両方の胴体／頭部センサ）に応じた位置に「配置」され得る。このソリューションは、２人より多いユーザにスケーリングする。自己中心装置を用いて共通コンテンツを見るこの態様において、非常に多数のシナリオが検討され得る。

５．３関連装置
図７は、本開示による視覚データ処理装置の実施形態を示す。

このような装置は、バッファメモリからなる７１として参照されるメモリと、例えばマイクロプロセッサを装備し、本開示によるレンダリング方法の少なくともいくつかのステップを実現する７３として参照されるコンピュータプログラムによって駆動される７２として参照される処理ユニットとを有する。

初期化においてコンピュータプログラムのコード命令は、例えばＲＡＭにロードされ、次いで処理ユニットのプロセッサによって実行される。処理ユニットは、視覚データ、取得するように構成されたモジュール１１によって取得された３次元位置を入力する。処理ユニットのマイクロプロセッサ７２は、コンピュータプログラム７３の命令により、決定するステップ６２、変更するステップ６３、および表示するステップ６４を実現して、表示されることになる視覚データのサブセットを決定および変更し、最後に視覚データを復元する。

したがって、視覚データのサブセットを決定するように構成されたモジュール１２、視覚データのセットを変更するように構成されたモジュール１３、および視覚データを表示するように構成されたモジュール１４はすべて、対応するコンピュータプログラム７３を用いて、１つの処理ユニット７２およびメモリ７１によって実現され得る。

他の実現形態では装置は、専用処理ユニット７２および／またはメモリリソース７１を備えた、専用装置である。このような場合は、視覚データのサブセットを決定するように構成されたモジュール（１２）、視覚データのセットを変更するように構成されたモジュール（１３）、および視覚データを表示するように構成されたモジュール（１４）は、それぞれ専用マイクロプロセッサ７２および／またはメモリ７１を有する。

上記に示された装置は、多種多様なディスプレイ装置に結び付けられる、またはそれらに一体化され得る。これらのディスプレイタイプの中でも以下を挙げることができる。

− ハンドヘルド：ディスプレイはハンドヘルドディスプレイ（スマートフォンまたはタブレット）とすることができる。ユーザは、腕の長さまたはそれより近くにディスプレイを動かして、彼／彼女の自己中心環境を探索する。「自己中心コンテンツ」は、スマートフォンまたはタブレットフレームを通して見られているかのように、自己中心環境において静止して見えるように、ディスプレイの結像面上にレンダリングされる必要がある。この「自己中心コンテンツ」面から、ディスプレイの結像面への投影において、コンテンツ歪みおよび画素へのマッピングが起こることになる。

− 眼鏡：ディスプレイは、ユーザの前方に虚像を投影するビデオグラスからなり得る。ユーザは、彼の頭部を動かして彼／彼女の自己中心環境を探索する。「自己中心コンテンツ」は、自己中心環境において静止して見えるように、眼鏡の虚像面上に投影される必要がある。この「自己中心コンテンツ」面から、虚像への投影において、コンテンツ歪みおよび画素へのマッピングが起こることになる。

− 立体視：立体表示の場合、投影はそれぞれの眼に対して独立に行われる必要がある。非立体表示に対しては、両方の眼の共通の座標として単眼座標（眼の中間点）が用いられ得る。

５．４コンピュータプログラム
本開示は、通信ネットワークからダウンロード可能な、および／またはコンピュータ可読担体に記憶された、および／またはマイクロプロセッサによって実行可能なコンピュータプログラム製品をもたらす。プログラム製品は、それがコンピュータ上で実行されたときに、視覚データを処理するための上記のいずれかの方法により、視覚データを処理するための方法を実行するためのプログラムコード命令を備える。

Claims

端末に対して視覚データを表示するための視覚データ処理装置であって、
前記端末のユーザ上の基準点に対する、前記端末の３次元位置を取得するように構成されたモジュール（１１）と、
前記端末の前記３次元位置に関して、利用可能な視覚データのセットに応じて、前記基準点の視点から表示されることになる、視覚データのサブセットを決定するように構成されたモジュール（１２）と、
表示されることになる前記視覚データのサブセットを変更して、変更された視覚データを供給するように構成されたモジュール（１３）と、
前記変更された視覚データを、前記端末の表示モジュール上に表示するように構成されたモジュール（１４）と、
を備えた、前記視覚データ処理装置。
前記基準点は前記ユーザの胴体上にある、請求項１に記載の視覚データ処理装置。
前記利用可能な視覚データのセットは、以下の要素うちのの少なくとも１つを含む、請求項１に記載の視覚データ処理装置。
オペレーションシステムのデスクトップ
アプリケーションのアイコン
アプリケーションのユーザインターフェース
ビデオコンテンツ
３次元空間において表示されることになるサブセット視覚データを決定するための前記モジュールは、
少なくとも１つの幾何学変換を表すデータを取得するように構成されたモジュール（１３１）と、
前記表示されることになる視覚データのサブセットに、前記少なくとも１つの幾何学変換を適用するように構成されたモジュール（１３２）と、
を備える、請求項１に記載の視覚データ処理装置。
前記少なくとも１つの幾何学変換は、１つの３Ｄ空間回転、および１つの３Ｄ並進を含む、請求項４に記載の視覚データ処理装置。
３次元位置を取得するように構成されたモジュールは、位置センサ（３１、３２、３３）を備える、請求項１に記載の視覚データ処理装置。
前記位置センサは前記３次元位置を、ユーザ上の前記基準点上に装着された少なくとも１つのアイテム（３２、３３）に応じて測定する、請求項６に記載の視覚データ処理装置。
前記端末は、ハンドヘルド装置または頭部装着装置（ＨＭＤ）である、請求項１から７のいずれかに記載の視覚データ処理装置。
端末の回復モジュール上に復元されることになる視覚データを処理するための方法であって、
前記端末のユーザ上の基準点に対する、前記端末の３次元位置を取得するステップ（６１）と、
前記端末の前記３次元位置に関して、利用可能な視覚データのセットに応じて、前記基準点の視点から表示されることになる３次元視覚データのサブセットを決定するステップ（６２）と、
表示されることになる前記３次元視覚データのサブセットを変更して、変更された視覚データを供給するステップ（６３）と、
前記変更された視覚データを、前記端末の前記表示モジュール上に表示するステップ（６４）と、
を含む、前記方法。
前記基準点は前記ユーザの胴体上にある、請求項９に記載の方法。
前記利用可能な視覚データのセットは、以下の要素の少なくとも１つを含む、請求項９に記載の方法。
オペレーションシステムのデスクトップ
アプリケーションのアイコン
アプリケーションのユーザインターフェース
ビデオコンテンツ
前記決定するステップは、
少なくとも１つの幾何学変換を表すデータを取得するステップ（６３１）と、
前記表示されることになる視覚データのサブセットに、前記少なくとも１つの幾何学変換を適用するステップ（６３２）と、
を含む、請求項９に記載の方法。
前記少なくとも１つの幾何学変換は、１つの３Ｄ空間回転、および１つの３Ｄ並進を含む、請求項１２に記載の方法。
通信ネットワークからダウンロード可能であり、および／または、コンピュータ可読担体に記憶され、および／または、マイクロプロセッサによって実行されるコンピュータプログラム製品であって、
コンピュータ上で実行されたときに、請求項９から１３のうちの少なくとも１つに従ってビジュアルデータを処理する方法を実行するためのプログラムコード命令を含む、コンピュータプログラム製品。