JP2020528626A - ウェブページを三次元オブジェクト上に重ね合わせる方法、装置およびコンピュータプログラム - Google Patents

Abstract

ウェブページ（１０）が、現実又は仮想三次元オブジェクト（２４、２６）上に重ね合わされ、視聴者（２２）によって視認される。ウェブページ（１０）は複数のコンテンツ領域（１２、１４、１６）を有する。重ね合わせを実現するため、コンテンツ領域（１２、１４、１６）が三次元オブジェクト（２４、２６）の異なる対応部分（２４Ａ、２４Ｂ、２６）に割り当てられる。コンテンツ領域（１２、１４、１６）の割り当てには順位がつけられ、最も高い重要性を有するウェブページ（１０）のコンテンツ領域が、（ｉ）視聴者（２２）の視界において視聴者（２２）に最も近い部分、及び（ｉｉ）視聴者（２２）の視界の中心にある部分、の少なくとも一方である三次元オブジェクト（２４、２６）の部分に割り当てられる。コンテンツ領域（１２、１４、１６）が当該コンテンツ領域（１２、１４、１６）に割り当てられた三次元オブジェクト（２４、２６）の部分内にフィットするよう、コンテンツ領域（１２、１４、１６）のサイズが必要に応じて変更される。

Description

本発明は、ウェブページを現実または仮想三次元オブジェクト上に重ね合わせる方法、装置およびコンピュータプログラムに関する。

ワールドワイドウェブ及びウェブブラウザに適した「文書」であるウェブページをディスプレイ上に表示する構成及び技術は数多く知られている。しばしば、パーソナルコンピューター、タブレットコンピュータ、スマートフォン等のユーザのコンピュータ装置上で動くブラウザは、提示された形式でウェブページを表示する。

いわゆる「レスポンシブウェブデザイン」は、ウェブページを見るのに用いられるスクリーンまたはウェブブラウザの大きさ及び／又はアスペクト比にしたがって表示されるようウェブページのレイアウトを調整するウェブデザインの一手法である。これにより、例えば当該ウェブページが大型モニタまたはディスプレイ画面、タブレットコンピュータ、またはスマートフォンのいずれで見られるのかに応じて、ウェブページ表示のレイアウトを調整できる。

ＵＳ６８９８３０７Ｂ１には、拡張現実ディスプレイ用のオブジェクト識別方法及び装置が開示される。現実のアイテム、好ましくは文書のページが、表示される電子画像の基準フレームとして配置される。このページの向きがシステムにより識別される。対応する現実世界の座標が撮像画像について演算され、所定の標準と比較されてオブジェクトの性状を識別する。これにより、ページ等の現実世界のアイテムを、仮想的に表示された画像及び／又はテキストがページの画像上に重ね合わされた状態で視認及び相互作用可能となり、表示された文書を実際に印刷することなく、印刷された電子文書を持っているかのような錯覚を与えることが可能となる。

本明細書に開示される第一の側面によれば、複数のコンテンツ領域を有するウェブページを現実又は仮想三次元オブジェクト上に重ね合わせて視聴者に視認可能とする、コンピュータによって行われる方法であって、
前記ウェブページのコンテンツ領域を、最も高い重要性を有する前記ウェブページのコンテンツ領域が、前記三次元オブジェクトの（ｉ）前記視聴者の視界において前記視聴者に最も近い部分、及び（ｉｉ）前記視聴者の視界の中心にある部分、の少なくとも一方に割り当てられるよう順位をつけて前記三次元オブジェクトの異なる部分に割り当てる工程と、
前記ウェブページのコンテンツ領域の少なくとも一つのサイズを必要に応じて変更し、前記コンテンツ領域を前記コンテンツ領域が割り当てられた前記三次元オブジェクトの部分内にフィットさせる工程と、
前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わせる工程とを備える方法が提供される。

三次元オブジェクトは現実のオブジェクトであっても、仮想のオブジェクトであってもよい。例えば、ウェブページは、ウェブページの画像を現実の三次元オブジェクト上に投影して視聴者に直接（ヘッドマウントディスプレイ又はゴーグル等を要することなく）視認可能とすることで、現実の三次元オブジェクト上に重ね合わせることができる。別の例として、三次元オブジェクトは、ヘッドマウントディスプレイ又はゴーグル等の視覚装置を通して視認可能な現実のオブジェクトであってもよい。この場合、ウェブページは、何らかの視覚装置を通して視認される現実の三次元オブジェクトの画像上に重ね合わされる。さらに別の例として、三次元オブジェクトは、コンピュータによって生成され、ヘッドマウントディスプレイ又はゴーグル等の視覚装置を通して視認可能な仮想のオブジェクトであってもよい。この場合、ウェブページは、何らかの視覚装置を通して視認されるコンピュータによって生成された三次元オブジェクトの画像上に重ね合わされる。

一例において、前記ウェブページのコンテンツ領域の少なくとも一つのサイズを変更する工程は、複数の行と複数の列とを有するグリッドを用いて行われ、前記グリッドは、前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分に概念上適用され、前記グリッドの前記行と前記列との間隔は、必要に応じて前記グリッドが前記コンテンツ領域にフィットするように調整される。

これは、詳細には異なるものの、二次元レスポンシブウェブデザインで用いられるいわゆる可変グリッドに類似する。

一例において、前記方法は、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、前記三次元オブジェクトに割り当てられた部分の三次元形状に応じて変更する工程を備える。

三次元オブジェクトに割り当てられた部分の三次元形状は、例えば立方体又は直方体等の側面のように平面であってもよい。このような場合、割り当てられた部分の三次元形状を構成するために形状変更は不要である。そうではなく、三次元オブジェクトに割り当てられた部分の三次元形状が平面でない場合、何らかの形状変更が通常行われる。

一例において、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、ユーザによって視認される前記三次元オブジェクトに割り当てられた部分の見え方に応じて変更する。

例えば、三次元オブジェクトに割り当てられた部分は、視聴者から見て、遠ざかるにつれて次第に小さくなる（ｔａｐｅｒｏｆｆ）ように見えるかもしれない。このような場合、コンテンツ領域の形は、三次元オブジェクトに割り当てられた部分の先細りに従って、又は合致するように変えられてもよい。

一例において、前記三次元オブジェクトは、前記視聴者によって拡張現実視覚装置を通して視認される現実の三次元オブジェクトの画像である。

一例において、前記三次元オブジェクトは、前記視聴者によって仮想現実視覚装置を通して視認される、コンピュータによって生成された画像である。

一例において、前記三次元オブジェクトは現実の三次元オブジェクトであり、前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わせる工程は、前記ウェブページのコンテンツ領域の画像を、それぞれ前記現実の三次元オブジェクトの割り当てられた部分に投影する工程を含む。

本明細書に開示される第二の側面によれば、複数のコンテンツ領域を有するウェブページを現実又は仮想三次元オブジェクト上に重ね合わせて視聴者に視認可能とする装置であって、
少なくとも一つのプロセッサと、
コンピュータプログラム指示を含む少なくとも一つのメモリとを備え、
前記少なくとも一つのメモリと前記コンピュータプログラム指示とは、前記少なくとも一つのプロセッサにより、前記装置に、
前記ウェブページのコンテンツ領域を、最も高い重要性を有する前記ウェブページのコンテンツ領域が、前記三次元オブジェクトの（ｉ）前記視聴者の視界において前記視聴者に最も近い部分、及び（ｉｉ）前記視聴者の視界の中心にある部分、の少なくとも一方に割り当てられるよう、順位をつけて前記三次元オブジェクトの異なる部分に割り当てさせ、
前記ウェブページのコンテンツ領域の少なくとも一つのサイズを必要に応じて変更し、前記コンテンツ領域を前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分内にフィットさせ、
前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わさせるように構成される装置が提供される。

一例において、この装置は、三次元オブジェクトの画像を視認するための表示装置を備える。

この表示装置は、例えばゴーグル又はその他の接眼装置であってもよく、この場合の装置は、例えばヘッドマウントディスプレイ又はその他の視覚装置であってもよい。

本明細書に開示された第三の側面によれば、コンピュータプログラムであって、コンピュータ装置で実行された際、
ウェブページのコンテンツ領域を、最も高い重要性を有する前記ウェブページのコンテンツ領域が、三次元オブジェクトの（ｉ）視聴者の視界において前記視聴者に最も近い部分、及び（ｉｉ）前記視聴者の視界の中心にある部分、の少なくとも一方に割り当てられるよう、順位をつけて前記三次元オブジェクトの異なる部分に割り当て、
前記ウェブページのコンテンツ領域の少なくとも一つのサイズを必要に応じて変更し、前記コンテンツ領域を前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分内にフィットさせ、
前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わせることにより、
複数のコンテンツ領域を有する前記ウェブページを現実又は仮想三次元オブジェクト上に重ね合わせて前記視聴者に視認可能とする指示を含むコンピュータプログラムが提供される。

本願開示の理解を促進し、どのように実施形態が効果を奏するのかを示すため、例示として添付の図面が参照される。

ウェブページの例を模式的に示す図である。 ウェブページが重ね合わされた三次元オブジェクトを見る視聴者を模式的に示す図である。 重ね合わせ方法の例で用いられるグリッドを示す図である。 重ね合わせ方法の例で用いられるグリッドを示す図である。 三次元オブジェクト上に重ね合わせたグリッドを模式的に示す図である。 三次元オブジェクト上に重ね合わせたグリッドを模式的に示す図である。 グリッドのサイズ変更を模式的に示す図である。

上述のように、ワールドワイドウェブ及びウェブブラウザに適した「文書」であるウェブページをディスプレイ上に表示する構成及び技術は数多く知られている。いわゆるＣＳＳ（ＣａｓｃａｄｉｎｇＳｔｙｌｅＳｈｅｅｔｓ）は、ＨＴＭＬ（ＨｙｐｅｒｔｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）等のマークアップ言語で書かれた文書の体裁を記述するのに用いられるスタイルシート言語の一例である。ＣＳＳは、主に体裁とコンテンツとを分離可能とするよう設計され、例えば、ウェブページのグラフィックデザインを容易に調整可能とする。

上記のＵＳ６８９８３０７Ｂ１は、拡張現実（ＡＲ）ゴーグルを通して見られる現実の文書のページの画像上にウェブページを重ね合わせることを開示する。これは、視聴者に、表示された文書を実際に印刷することなく、印刷された電子文書を持っているかのような錯覚を与えるのに用いられる。「三次元」オブジェクト及び座標と度々記載しているが、これは、文書のページが現実の三次元世界に存在していることを示すに過ぎない。当該文書そのもの、したがってゴーグル内の文書の画像は、あくまで二次元である。したがって、これにより二次元ページの画像上にウェブページを重ね合わせることが比較的容易となる。

これに対し、本明細書に記載される例では、ウェブページは三次元オブジェクト上に重ね合わされて視聴者によって視認される。これにより、視聴者がウェブページ及び／又は三次元オブジェクトと相互作用して、他の方法では不可能な機能を実現するという新たな可能性が生じる。しかし、ウェブページを三次元オブジェクト上に重ね合わせることは、下記で明らかとなるように、先行技術におけるように二次元オブジェクト又は二次元オブジェクトの画像上にウェブページを重ね合わせる単純なケースでは生じない数多くの技術的困難を伴う。

用いられる用語の背景として、拡張現実（「ＡＲ」）では、眼鏡、ゴーグル、その他のヘッドマウントディスプレイ等の何らかの形態の物理的視覚装置を用いて現実世界中の現実のオブジェクトを見るのと同時に、コンピュータによって生成された画像がユーザの現実世界の視界に重畳表示される。仮想現実（「ＶＲ」）では、通常ユーザによってヘッドマウントディスプレイを通して見られる視界の全体がコンピュータによって生成される。本明細書に記載される例は、拡張現実及び仮想現実の双方にあてはまる。

特に、ＶＲまたはＡＲシステムのユーザにとっての本明細書に記載される例によって解決される主要な課題の一つは、ヘッドマウントディスプレイ（ＨＭＤ）等の物理的視覚装置を使ってウェブページを見ているユーザは、通常ウェブページを空中に「浮いた」又は「吊り下げられた」形のみで見ることである。また、しばしば、ウェブページは透明であったり透明な部分を有していたりするため、容易に判読できない。例えば、ＵＳ６８９８３０７Ｂ１にあるように、一つの解決方法は、ウェブページを（通常ＨＭＤ越しに）ユーザによって見られる環境内の不透明なオブジェクトの画像上に重ね合わせることである。しかし、これは環境中のオブジェクトが新たなディスプレイになるという別の問題を引き起こす。現状のウェブページの縮尺変更は、平面の、二次元矩形ディスプレイ用のウェブページの縮尺を変更するのみであるが、環境内のオブジェクトが平面、二次元矩形状でなくてはならない決まりはない。本明細書に記載される例では、ウェブページを現実又は仮想三次元オブジェクト上に重ね合わせることが可能であり、平面状、二次元矩形ディスプレイのオブジェクト又は画像に限定されない。したがって、本明細書に記載される例は、ＶＲ及び／又はＡＲ用のＨＭＤを用いている、またはその他の形で現実の三次元オブジェクトと相互作用しているユーザにウェブページを表示する点で、著しい技術的利点を有する。

図１には、ウェブページ１０の例が模式的に示される。このウェブページ１０は、異なるコンテンツ領域を有し、コンテンツ領域１２、１４、１６が一例として示される。第１コンテンツ領域１２は、ウェブページ中で当該ページのタイトル等と等価なものとして一般に用いられるバナーであってもよい。第２コンテンツ領域１４は全面が画像であるか、または画像を含む領域である。第３コンテンツ領域１６はテキストを含む。なお、通常のウェブページは、これら三種類のコンテンツ領域の一つしか持たなかったり、例えばいくつかのテキスト領域１６を備えるが画像領域がなかったり、いくつかの画像領域１４があるがテキスト領域１６がなかったり、いくつかの画像領域といくつかのテキスト領域１６とを持っていたりすることがある。スクロールバー１８も図面に示される。

図２には、本例においてヘッドマウントディスプレイ又は視覚装置２２を装着しているユーザ又は視聴者２０が示される。視覚装置２２は、視聴者２０にオブジェクトの画像を三次元で見ることを可能とする。これを可能とする様々な種類の視覚装置２２が公知である。これら公知の視覚装置２２の各々において、何らかの方法で、異なる画像が視聴者２０の左右の眼に提供され、三次元画像を視聴者によって視認または知覚可能とする。

視聴者２０によって視認可能な三次元オブジェクトの例が図２の右手側に示される。一例は立方体２４であり、別の例は球体２６である。これら二つの例は特にわかりやすく、説明及び図示目的で示される。より複雑な形状を有する三次元オブジェクトを用いてもよいことが理解されよう。一般に、三次元オブジェクトは、単純な立方体又は球体よりもはるかに複雑な形状を有する。

この点、視覚装置２２を介して視聴者２０によって視認可能、かつ本例ではウェブページが重ね合わせられる三次元オブジェクトは、現実の三次元オブジェクトでもよく、あるいは同様に三次元オブジェクトの画像であってもよい。これを説明すると、仮想現実システムでは、三次元オブジェクトの画像はコンピュータによって生成され、視覚装置２２のディスプレイ画面に出力されて表示される。他方、拡張現実システムでは、オブジェクトは現実のものであり、視覚装置２２のディスプレイ画面を通して視認される。にもかかわらず、本明細書で用いられる意味において、本例では、拡張現実システム及び仮想現実システムの双方で、ウェブページは、それぞれ現実又は仮想三次元オブジェクトの画像上に重ね合わされ、これが視聴者２０によって視認され、知覚される対象となる。

別の例では、ウェブページは現実の三次元オブジェクト上に重ね合わせられて視聴者２０によって視認される。すなわち、この別の例では、ウェブページの画像は、現実の三次元オブジェクト上に重ね合わされ、視覚装置２２を必要とすることなく視聴者２０によって直接視認可能である。このような場合、ウェブページの画像を現実の三次元オブジェクト上に投影するプロジェクタ２８等が設けられる。このプロジェクタ２８は独立した装置でも、ヘッドマウントディスプレイ２２等の視覚装置２２内に内蔵されてもよい。

図２では、図１の例示的ウェブページ１０が、立方体２４及び球体２６上に重ね合わされて示される。（繰り返すと、例と特定の用途とに応じて、ウェブページ１０が重ね合わされる立方体２４、球体２６、又はその他の三次元オブジェクトは、現実の又は仮想の三次元オブジェクトであってもよい三次元オブジェクトの画像でも、現実の三次元オブジェクトであってもよいことが強調される。）この点、ウェブページ１０は、「レスポンシブウェブページ」として考えられる。レスポンシブウェブデザインにおいては、ウェブページを見るのに用いられるスクリーンまたはウェブブラウザの大きさにしたがって表示されるウェブページのレイアウトが調整される。これにより、例えば当該ウェブページが大型モニタまたはディスプレイ画面、タブレットコンピュータ、またはスマートフォン等のいずれで見られるのかに応じて、ウェブページ表示のレイアウトが調整できる。例えば、ウェブページ１０の異なる領域１２、１４、１６は、視認されるディスプレイ画面の大きさ及び／又はアスペクト比に応じて互いに（独立に）大きさ及び／又は位置が変更される。しかし、現在公知のレスポンシブウェブデザイン技術は、二次元画像及びウェブページにのみ適することから、本ケースでは適用できない。例えば、現在公知のレスポンシブウェブデザイン技術では、基本的にウェブページ全体の大きさが変更され、装置の画面の全面に表示されるか、又は少なくともウェブページを装置上で表示するのに用いられるブラウザウィンドウの全面に表示されるように調整される。これは、三次元オブジェクト上にウェブページを重ね合わせる場合には適用できない。例えば、ウェブページが三次元オブジェクトの全面を覆うようにされた場合、ウェブページの一部が三次元オブジェクトの「背後」に隠れることになることから、ウェブページの全体が視聴者に見えるようになるわけではない。さらに、二次元レスポンシブウェブデザインで異なるコンテンツ領域の大きさを調整するのに適用される拡大／縮小は、ウェブページを三次元オブジェクト上に重ね合わせる場合には直接適用できない。

図２の例からわかるように、ウェブページ１０のコンテンツ領域１２、１４、１６の相対位置は、立方体２４の場合と球体２６の場合とで異なり、一般に異なる三次元形状を有する異なるオブジェクトについて異なる。さらに、コンテンツ領域１２、１４、１６の少なくとも一つの大きさは、二つの例において異なり、一般に異なる三次元形状を有する異なるオブジェクトについて異なる。

ここで検討される異なるコンテンツ領域１２、１４、１６の場合、これらコンテンツ領域１２、１４、１６は、本ケースでは立方体２４及び球体２６である三次元オブジェクトのそれぞれ異なる領域に割り当てられる。これら異なるコンテンツ領域１２、１４、１６を、どのように三次元オブジェクト２４、２６の異なる部分に割り当てるかを決定するため、コンテンツ領域１２、１４、１６には順位が付されている。この順位は、特定のコンテンツ領域、又は特定の種類のコンテンツ領域が、視聴者２０にとって最も重要性の高いものとされるようなものであってもよい。この順位及び重要性は、異なる種類のウェブページについて、またはウェブページの全般的な内容又は性状に応じて異なってもよい。例えば、特定のウェブページ１０については、テキスト領域１６が視聴者２２にとって最も重要性が高く、画像領域１４が視聴者２２にとってより重要性が低いものであってもよい。逆に、画像領域１４が視聴者２２にとって最も重要性が高く、テキスト領域１６が視聴者２２にとってより重要性が低いものであるウェブページ１０があってもよい。

この順位又は重要性は、ウェブサイトプロバイダによって操作されるウェブサーバ等で決定され設定されてもよい。この場合、異なるコンテンツ領域１２、１４、１６の順位又は重要性に関するデータをウェブページ１０とともにユーザのブラウザに送信してもよい。代わりに、あるいはこれに加えて、順位及び重要性を、例えばブラウザソフトウェアの一部として、ユーザ側でユーザによって設定してもよい。これは、例えば、ユーザが手動で、テキスト領域１６または画像領域１４が最も重要であるものと順位づけるオプションを選択することによって実行されてもよい。

ウェブページ１０の異なるコンテンツ領域１２、１４、１６の順位又は重要性ランキングに基づき、最も高い重要性を有するウェブページ１０のコンテンツ領域１２、１４、１６が、視聴者２０の視界において視聴者２０に最も近い部分及び視聴者２０の視界の中心部分の少なくとも一つである三次元オブジェクト２４、２６の部分に割り当てられる。

したがって、例えば図２の立方体２４を参照すると、前面２４Ａが視聴者２０に最も近い。この例では、バナー１２とテキスト領域１６とが最も重要性が高いものと判断される。したがって、バナー１２とテキスト領域１６とが立方体２４の前面２４Ａ上に重ね合わされる。画像領域１４は、より低い重要性を持つものと順位づけられる。したがって、この例では、画像領域１４は立方体２４の隣接面２４Ｂ上に重ね合わされる。この隣接面２４Ｂは、この例では、やや立方体２４の画像の「側面側」にあるものの、なお視聴者２０によって視認可能である。球体２６の場合、図示された例では、画像領域１４が最も重要性が高いものと順位づけられ、したがって画像領域１４が視聴者の視界の中心部分にある球体２６の表面（これは、球体の場合には、視聴者２０に最も近い部分でもある）上に重ね合わされる。テキスト領域１６は、画像領域１４に隣接して配置される。さらに、この例では、バナー１２が画像領域１４及びテキスト領域１６双方にわたって、これらの上に配置される。

三次元オブジェクト上のどこに異なるコンテンツ領域１２、１４、１６が重ね合わされるべきかが決まったら、コンテンツ領域１２、１４、１６を三次元オブジェクトの異なる部分にはめ込む必要がある。すなわち、一つ以上のコンテンツ領域１２、１４、１６のサイズを、何らかの形で変更する必要がある可能性がある。

これを実現するため、図３Ａ及び３Ｂに示されるように、重ね合わされるウェブページ１０を、（概念上）グリッド３０に分割してもよい。図３Ａには、垂直グリッドライン又は列３２が示され、図３Ｂには、水平グリッドライン又は行３４が示される。図４Ａ及び４Ｂは、それぞれグリッド３０を（概念上）立方体２４及び球体２６に重ね合わせることを示す。異なるコンテンツ領域１２、１４、１６のそれぞれについて、別個のグリッド３０が設けられてもよい。加えて、三次元オブジェクトが、異なるコンテンツ領域１２、１４、１６が重ね合わされる多数の離散表面（ｄｉｓｃｒｅｔｅｓｕｒｆａｃｅｓ）を有する場合、異なるグリッドを異なる表面それぞれについて用いてもよい。例えば、図４において、立方体２４の一つの面２４Ａは、第一（概念上）のグリッド３０Ａを有し、立方体２４の第二の面２４Ｂは、第二（概念上）のグリッド３０Ｂを有する。

そして、この少なくとも一種類のグリッド３０のサイズを、三次元オブジェクトの対応する部分にフィットさせるために変更する。必要となるグリッドの全体の大きさは、例えば対応するコンテンツ領域１２、１４、１６が重ね合わされる三次元オブジェクトの部分の大きさに応じて決められてもよい。例えば、コンテンツ領域１２、１４、１６により、三次元オブジェクトの対応する部分の全面に表示されるものとしてもよい。あるいは、コンテンツ領域１２、１４、１６が、三次元オブジェクトの対応する部分のある一部のみに表示されるようにしてもよい。

いずれにしても、図５に簡略に示されるように、グリッド３０の大きさは、必要に応じて隣接する垂直線３２間の間隔ｄｖ及び隣接する水平グリッド線３４間の間隔ｄｈの少なくとも一方を増やすことによって調整される。そして、グリッド３０が必要な大きさとなったら、対応するコンテンツ領域１２、１４、１６をこれに応じて拡大／縮小する。

この点、この拡大／縮小は、（二次元）レスポンシブウェブページデザインで用いられるいわゆる「可変グリッド」に類似する技術を用いてもよい。可変グリッドでは、まずウェブページを利用可能な最大レイアウトサイズに拡大／縮小する。これは、例えば通常の大型ディスプレイ装置で使用可能な最大画素数に対応してもよい。これは、例えばディスプレイ画面の垂直方向で１２００の画素数に対応してもよい。そして、例えばウェブページが垂直方向に３００画素しか有しない装置上に表示されることが判明した場合、ウェブページ上の全てのコンテンツは２５％に縮小される。すなわち、まとめると、ウェブページの絶対画素数を用いる代わりに、可変グリッドでは、比例的な幅及び高さが用いられる。最小縮小比は、コンテンツ領域１２、１４、１６のサイズが所定の具体的サイズを下回るほど変更されないように設定されてもよい。

なお、公知の二次元可変グリッドと類似点はあるものの、可変グリッドと本明細書で用いられる技術とは異なる。これは、公知の技術が矩形の可変グリッドしか形成しないのに対し、本明細書に記載される例は、三次元オブジェクト上にウェブページをフィットしようとするからである。これはより複雑である。例えば、二次元可変グリッドでは矩形フレームを調整することだけが必要であり、これは本明細書に記載される三次元オブジェクトを調整しなくてはならないことよりもはるかに単純である。

ウェブページを三次元オブジェクト上に重畳可能とするには（これが現実の、又はコンピュータによって生成されたオブジェクトであるか否か、およびウェブページが現実の三次元オブジェクト上に重ね合わされるか、三次元オブジェクトの画像上に重ね合わされるかに関わりなく）、三次元オブジェクトの形状がわかっている必要がある。また、例えば、視聴者２２に最も近い三次元オブジェクトの部分及び／又は視聴者２２の視界の中心を決定可能とするため、三次元オブジェクトの部分の互いの、及び視聴者２２に対する相対位置を知る必要がある。

三次元オブジェクトの画像がコンピュータによって生成される場合、例えば仮想現実システムの場合と同様、三次元オブジェクトを生成したソフトウェアは、レンダリングされた三次元オブジェクトの形状をすでに「知っている」。このソフトウェアは視覚装置２２の動作を制御するソフトウェアの一部であっても、視覚装置２２の動作を制御するソフトウェアがアクセス可能な別のコンピュータ上で動作するものであってもよい。いずれの場合も、視覚装置２２の動作を制御するソフトウェアは、仮想現実システムの場合には、レンダリングされた三次元オブジェクトの形状についての知識を得ることができる。

他方、三次元オブジェクトが現実のものであり、視覚装置２２を通して視認される場合、例えば拡張現実の場合、あるいは現実でありウェブページが現実の三次元オブジェクト上に投影されて視認される場合のように、三次元オブジェクトの形状を検出する必要がある。これは、数多くの方法で実現可能である。例えば、三次元オブジェクトの形状を推定するために、単一のカメラを用い、コンピュータによる画像認識技術を用いてもよい。現実の三次元オブジェクトの立体視を得る二つの独立したカメラを用いることで、三次元オブジェクトの形状をより正確に決定することも可能である。別の方法として、飛行時間センサを用いてもよい。この場合、（例えば赤外線）信号を三次元オブジェクトに発信し、センサによって検出される反射光の飛行時間を用いて三次元オブジェクトの部分のセンサからの距離についての情報を取得する。これを繰り返すことで、発信された多数の信号により三次元オブジェクトの表面の三次元マップを形成する。さらに別の例では、いわゆる構造化光（ｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔ）を用いてもよい。これによれば、グリッド等の公知のパターンを三次元オブジェクト上に投影する。このグリッドは、オブジェクトの三次元形状によって歪む。グリッドをカメラによって見て分析することで、三次元オブジェクトの三次元マップを得ることができる。これは、例えば拡張現実システムのように、現実の三次元オブジェクトの画像上にウェブページが重ね合わされる場合、視覚装置２２の動作を制御するソフトウェアによりアクセス又は利用可能であり、あるいはウェブページの画像が現実の三次元オブジェクト上に投影されて重ね合わされる場合には、プロジェクタ２８の動作を制御するソフトウェアによってアクセス又は利用可能である。これらの例のいずれにおいても、現実の三次元オブジェクト等の形状及び相対位置を決定するための少なくとも一つのカメラ、又は発信装置及び受信装置を、例えば独立した装置として設けてもよく、及び／又はＨＭＤ装置に内蔵してもよい。

図面を参照して本明細書に記載される実施形態のいくつかの側面では、処理システム又はプロセッサによって実行されるコンピュータプロセスを含むものの、本発明の範囲は、本発明を実施可能なコンピュータプログラム、とくに媒体上／内のコンピュータプログラムにも及ぶ。このプログラムは、非一時的なソースコード、オブジェクトコード、部分的にコンパイルされた形態等のコード中間ソースおよびオブジェクトコード（ａｃｏｄｅｉｎｔｅｒｍｅｄｉａｔｅｓｏｕｒｃｅａｎｄｏｂｊｅｃｔｃｏｄｅｓｕｃｈａｓｉｎｐａｒｔｉａｌｌｙｃｏｍｐｉｌｅｄｆｏｒｍ）、または、本発明にしたがったプロセスの実施に使用されるのに適切ないずれの他の非一時的形態であってもよい。媒体は、プログラムを記憶可能ないずれの物体ないし装置であってもよい。例えば、この媒体は、ソリッドステートドライブ（ＳＳＤ）又は他の半導体ベースのＲＡＭ、ＣＤ−ＲＯＭまたは半導体ＲＯＭ等のＲＯＭ、フロッピィディスク又はハードディスク等の磁気記憶媒体、一般の光学記憶装置等の記憶媒体を含んでもよい

本明細書に記載される例は、本発明の実施形態を説明するための例として理解されるべきである。別の実施形態および例が想定される。一つの例または実施形態に関して記載される任意の特徴は、単独で、またはほかの特徴と組み合わせて使用可能である。加えて、一つの例または実施形態に関連して記載された任意の特徴は、他の例または実施形態、または他の例または実施形態の任意の組み合わせのいずれかの特徴と組み合わせても使用可能である。さらに、本明細書に記載されない均等物および変形例も、請求項に定義される本発明の範囲内で利用可能である。

Claims (15)

1. 複数のコンテンツ領域を有するウェブページを現実又は仮想三次元オブジェクト上に重ね合わせて視聴者に視認可能とする、コンピュータによって行われる方法であって、
   前記ウェブページのコンテンツ領域を、最も高い重要性を有する前記ウェブページのコンテンツ領域が、前記三次元オブジェクトの（ｉ）前記視聴者の視界において前記視聴者に最も近い部分、及び（ｉｉ）前記視聴者の視界の中心にある部分、の少なくとも一方に割り当てられるよう、順位をつけて前記三次元オブジェクトの異なる部分に割り当てる工程と、
   前記ウェブページのコンテンツ領域の少なくとも一つのサイズを必要に応じて変更し、前記コンテンツ領域を前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分内にフィットさせる工程と、
   前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わせる工程とを備えることを特徴とする方法。
2. 請求項１に記載の方法であって、前記ウェブページのコンテンツ領域の少なくとも一つのサイズを変更する工程は、複数の行と複数の列とを有するグリッドを用いて行われ、前記グリッドは、前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分に概念上適用され、前記グリッドの前記行と前記列との間隔は、必要に応じて前記グリッドが前記コンテンツ領域にフィットするように調整されることを特徴とする方法。
3. 請求項１または２に記載の方法であって、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、前記三次元オブジェクトに割り当てられた部分の三次元形状に応じて変更することを特徴とする方法。
4. 請求項１から３のいずれか一項に記載の方法であって、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、ユーザによって視認される前記三次元オブジェクトに割り当てられた部分の見え方に応じて変更することを特徴とする方法。
5. 請求項１から４のいずれか一項に記載の方法であって、前記三次元オブジェクトは、前記視聴者によって拡張現実視覚装置を通して視認される現実の三次元オブジェクトの画像であることを特徴とする方法。
6. 請求項１から４のいずれか一項に記載の方法であって、前記三次元オブジェクトは、前記視聴者によって仮想現実視覚装置を通して視認される、コンピュータによって生成された画像であることを特徴とする方法。
7. 請求項１から４のいずれか一項に記載の方法であって、前記三次元オブジェクトは現実の三次元オブジェクトであり、前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わせる工程は、前記ウェブページのコンテンツ領域の画像を、それぞれ前記現実の三次元オブジェクトの割り当てられた部分に投影する工程を含むことを特徴とする方法。
8. 複数のコンテンツ領域を有するウェブページを現実又は仮想三次元オブジェクト上に重ね合わせて視聴者に視認可能とする装置であって、
   少なくとも一つのプロセッサと、
   コンピュータプログラム指示を含む少なくとも一つのメモリとを備え、
   前記少なくとも一つのメモリと前記コンピュータプログラム指示とは、前記少なくとも一つのプロセッサにより、前記装置に、
   前記ウェブページのコンテンツ領域を、最も高い重要性を有する前記ウェブページのコンテンツ領域が、前記三次元オブジェクトの（ｉ）前記視聴者の視界において前記視聴者に最も近い部分、及び（ｉｉ）前記視聴者の視界の中心にある部分、の少なくとも一方に割り当てられるよう、順位をつけて前記三次元オブジェクトの異なる部分に割り当てさせ、
   前記ウェブページのコンテンツ領域の少なくとも一つのサイズを必要に応じて変更し、前記コンテンツ領域を前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分内にフィットさせ、
   前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わさせるように構成されることを特徴とする装置。
9. 請求項８に記載の装置であって、前記ウェブページのコンテンツ領域の少なくとも一つのサイズ変更が、複数の行と複数の列とを有するグリッドを用いて行われ、前記グリッドが前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分に概念上適用され、前記グリッドの前記行と前記列との間隔が、必要に応じて前記グリッドが前記コンテンツ領域にフィットするように調整されるコンピュータプログラム指示を備えることを特徴とする装置。
10. 請求項８または９に記載の装置であって、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、前記三次元オブジェクトに割り当てられた部分の三次元形状に応じて変更するコンピュータプログラム指示を備えることを特徴とする装置。
11. 請求項８から１０のいずれか一項に記載の装置であって、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、ユーザによって視認される前記三次元オブジェクトに割り当てられた部分の見え方に応じて変更するコンピュータプログラム指示を備えることを特徴とする装置。
12. コンピュータプログラムであって、コンピュータ装置で実行された際、
    ウェブページのコンテンツ領域を、最も高い重要性を有する前記ウェブページのコンテンツ領域が、三次元オブジェクトの（ｉ）視聴者の視界において前記視聴者に最も近い部分、及び（ｉｉ）前記視聴者の視界の中心にある部分、の少なくとも一方に割り当てられるよう、順位をつけて前記三次元オブジェクトの異なる部分に割り当て、
    前記ウェブページのコンテンツ領域の少なくとも一つのサイズを必要に応じて変更し、前記コンテンツ領域を前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分内にフィットさせ、
    前記ウェブページのコンテンツ領域をそれぞれ前記三次元オブジェクトに割り当てられた部分に重ね合わせることにより、
    複数のコンテンツ領域を有する前記ウェブページを現実又は仮想三次元オブジェクト上に重ね合わせて前記視聴者に視認可能とする指示を含むコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムであって、前記ウェブページのコンテンツ領域の少なくとも一つのサイズ変更が、複数の行と複数の列とを有するグリッドを用いて行われ、前記グリッドは、前記コンテンツ領域に割り当てられた前記三次元オブジェクトの部分に概念上適用され、前記グリッドの前記行と前記列との間隔を必要に応じて前記グリッドが前記コンテンツ領域にフィットするように調整される指示を備えることを特徴とするコンピュータプログラム。
14. 請求項１２または１３に記載のコンピュータプログラムであって、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、前記三次元オブジェクトに割り当てられた部分の三次元形状に応じて変更する指示を備えることを特徴とするコンピュータプログラム。
15. 請求項１２から１４のいずれか一項に記載のコンピュータプログラムであって、コンテンツ領域を前記三次元オブジェクトに割り当てられた部分に重ね合わせる前に、必要に応じて前記コンテンツ領域の形を、ユーザによって視認される前記三次元オブジェクトに割り当てられた部分の見え方に応じて変更する指示を備えることを特徴とするコンピュータプログラム。