JP4251673B2 - 画像呈示装置 - Google Patents
画像呈示装置 Download PDFInfo
- Publication number
- JP4251673B2 JP4251673B2 JP16775297A JP16775297A JP4251673B2 JP 4251673 B2 JP4251673 B2 JP 4251673B2 JP 16775297 A JP16775297 A JP 16775297A JP 16775297 A JP16775297 A JP 16775297A JP 4251673 B2 JP4251673 B2 JP 4251673B2
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- viewpoint
- display
- image
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、位置及び向きが可変であるディスプレイを用いて2次元画像を呈示する画像呈示装置に関する。
【0002】
【従来の技術】
仮想的な3次元世界の空間を構築し、ユーザがあたかもその仮想世界の内部に存在するように見せかける対話的なユーザインターフェース技術は、種々のものが考案されてきている。
【0003】
仮想世界の中で視点位置,視線方向を変える技術としては、「頭部搭載型ディスプレイ」が考案されている。これは、実世界中のユーザの頭部の位置及び向きを検知し、その検知結果に応じて仮想世界を画像に投影し、その画像をユーザの眼前に取り付けられたディスプレイ上に呈示するものである。また、同様の効果をより簡略に実現するため、ユーザの頭部の位置及び向きと眼球の向きとを検知し、その検知結果に応じて画像を生成し、従来の「据え置き型ディスプレイ」に表示させる手法も検討されている。
【0004】
一方、仮想世界の中の物体を操作するための技術としては、「データグローブ」が考案されている。これは、各関節の相当部位に位置・向きセンサが配置された手袋をユーザに装着させて手,指の動きをモニタし、その動き,形を入力情報とするものである。これにより実世界と同等の感覚で仮想世界の中の物体に対して操作を行うことができる。また、位置と向きとに特化した入力手段(例えば3次元マウス)をユーザに操作させ、その入力手段の位置及び向きを検知し、その検知結果を入力情報とする手法も考案されている。更に、既存のキーボード,マウスなど従来の入力方法を用いることも行われている。
【0005】
【発明が解決しようとする課題】
しかし、上述した各手法には次のような問題点がある。「頭部搭載型ディスプレイ」は、着脱の煩雑さ,装着中の違和感が問題であり、頻繁な使用,長時間の持続的な使用には向いていない。また、ユーザの視野を覆い隠してしまうので、実世界の障害物による危険も無視できない。更に、十分な画質を持たせて視野全体を模擬するためには、非常に高解像度の表示が必要となり、表示デバイスの解像度及び画像生成のための計算コストによる制約を受ける。頭部の位置及び向きと眼球の向きとに応じて画像を生成し、「据え置き型ディスプレイ」に表示させる手法は、見回す範囲が限られており、有効な方法とは言えない。
【0006】
「データグローブ」も着脱の煩雑さ,装着中の違和感が問題である。また、個別の物体に関して、手と物体との接触点における力の伝わり方などを逐一計算しなければならないため、計算コストが掛かる。位置と向きとに特化した入力手段を使用する場合は、画像が表示される場所とは別の場所で操作を行わなければならないので、直観的な操作とは言えない。キーボード,マウスなど従来の入力方法を用いる手法は、座標値の入力など抽象的表現によりユーザの意図をコンピュータに伝えなければならないため、実在感に欠けた操作となってしまう。
【0007】
簡易な装置を用いて3次元空間に基づく対話的なインターフェースを構築することは様々な応用を持つ。例えば、バーチャルリアリティ分野においては、仮想的な3次元世界において直観的な空間認識,対話的な物体操作を行うことは必須技術であり、その技術を携帯端末などの小規模システムで実現することが望まれている。また、特殊な技能の習得を必要とせずに複雑な3次元構造から求める情報を正確に抽出することが可能となれば、医用画像解析などの分野に応用できる。このような状況から、容易に使用可能であって、自然で効果的な空間形成,動作応答を特徴とする空間的ユーザインターフェースの構築が重要な課題となっている。
【0008】
本発明は斯かる事情に鑑みてなされたものであり、ユーザの身体にセンサ,ディスプレイ等の装置を装着させる必要が全くなく、高解像度のディスプレイを用いる必要もない、直観的な空間的ユーザインターフェースである画像呈示装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明の画像呈示装置は、直接ユーザが手に持つか指示体によって支えられた普通程度の解像度を持つ可動式ディスプレイを用い、該可動式ディスプレイの位置と向きとに応じて視点と投影面との位置関係を変化させながら3次元仮想世界を2次元画像に投影し、得られた2次元画像を該可動式ディスプレイに表示することを特徴とする。以下、図面を参照して本発明の概要をもう少し具体的に説明する。
【0010】
図13は、本発明の画像呈示装置の使用状態を示す模式図である。図13にあっては、実世界中の可動式ディスプレイを黒枠で示し、仮想世界の投影部分を実線、非投影部分を点線で示している。本発明の画像呈示装置を用いると、例えば、仮想世界中における「見回し」「視点の移動」「物体の操作」が可能となる。
【0011】
まず、図13(a)の状態では、可動式ディスプレイのある位置と向きとに応じて3次元仮想世界を投影して得られる2次元画像が可動式ディスプレイに呈示されている。このような状態から、視点位置が固定されていると考え、可動式ディスプレイの動きに合わせて投影面の位置と向きとを変化させると、あたかも可動式ディスプレイを通して仮想世界を覗いているかのような「見回し」が可能となる(図13(b))。また、図13(a)の状態から、視点位置も可動式ディスプレイの動きに合わせて変化させると、3次元仮想世界の中で「視点の移動」を行うことができる(図13(c))。また、仮想世界中の特定の物体の位置及び向きも可動式ディスプレイの動きに合わせて動かすと、「物体の操作」が可能となる(図13(d))。以上のように、本発明の画像呈示装置では、可動式ディスプレイを用い、可動式ディスプレイの動きに合わせて、投影面の位置,向き、視点位置及び/または物体の位置と向きを変えながら、3次元仮想世界を投影して得られる2次元画像を可動式ディスプレイに表示する。
【0012】
本発明は、以下に述べるような視覚心理学理論に基づいている。
(情報抽出理論)
人の視覚システムにおいては、「見回し」,「視点の移動」に伴って生じる環境中の包囲光配列の流動パターンから、その物体の立体構造などの不変項を抽出すると言われている。即ち、眼球・頭部・体幹の運動のための筋肉収縮運動,身体に加わる慣性力などに基づいて、時々刻々の眼球の位置及び向きを取得し、その取得結果を網膜上に得られる動画像と照らし合わせて、物体の3次元的な内的表象を頭の中で構築していると考えられる。
【0013】
本発明では、ユーザが仮想世界の視覚情報を受容する際、眼球の位置・向きの自然な変化を妨げないようにすることにより、より実在感に溢れた表示システムを実現している。これは、「頭部搭載型ディスプレイ」を用いた従来のバーチャルリアリティ技術でも考慮されてきたことである。
【0014】
(アフォーダンス)
ある人(A)がある物体(B)に対してある操作(C)を行うことが可能である場合、「物体(B)は人(A)に対して操作(C)をアフォードする」または「操作(C)は人(A)にとって物体(B)のアフォーダンスである」と呼ぶことができる。また、実際に人(A)が物体(B)に対して操作(C)を行うことは、「人(A)が物体(B)から操作(C)というアフォーダンスを知覚し、そのアフォーダンスを利用すること」であると言える。
【0015】
本発明では、仮想世界において物体がユーザにアフォードする操作を、実世界において可動式ディスプレイがユーザにアフォードする操作と出来る限り一致させることにより、仮想世界中の物体のアフォーダンスを利用しやすくしている。人が物体を操作するときに重要なことは、どのようなアフォーダンスを利用するかということであり、指と物体表面との間に働く個々の力はあまり重要でない。その点において、その力を逐一計算する「データグローブ」などを用いた従来のバーチャルリアリティ技術は必要以上の計算コストを掛けている。本発明では、実行可能な操作を平行移動,回転移動など基本的な操作に絞ることにより、計算コストを抑えながらも十分実用的な対話的操作を可能としている。また、可動式ディスプレイ自体を操作対象とすることにより、適切な操作が行われているか否かに関して自然な形で視覚的フィードバックをかけることができる。
【0016】
(視空間的注意)
人は、限られた認知情報を最大限に活用するため、視野すべての情報を均一に採り入れるのではなく、網膜像の一部の情報のみを選択して優先的に受容すると考えられている(注意の容量限界説)。物体を操作する場合、物体の動きを目で追うときにはそちらに注意を向けており(能動的注意)、物体に目が引かれるときにはそちらに注意が向いている(受動的注意)と言える。本発明では、「頭部搭載型ディスプレイ」を用いた従来技術に見られるような視野全体を模擬するのではなく、注意が向いている領域のみを模擬することにより、普通程度の解像度のディスプレイを用いても実在感を損なわないようにしている。
【0017】
請求項1に係る画像呈示装置は、3次元画像を2次元平面に投影した2次元画像を呈示する画像呈示装置において、3次元画像を記憶する記憶手段と、ユーザが手に持つかまたは支持体に支持されている位置及び向きが可変であるディスプレイと、前記記憶手段に記憶されている3次元画像を2次元平面に投影する投影手段と、前記ディスプレイの位置及び向きに応じて、前記投影手段での投影時における視点の位置と投影面の位置及び向きとを決定する決定手段とを備え、該決定手段で決定された視点の位置と投影面の位置及び向きとに基づいて前記投影手段で3次元画像を投影して得られる2次元画像を前記ディスプレイに表示するように構成しており、前記3次元画像には、位置及び向きを有する複数の物体が存在し、前記物体のうちの1つの物体を選択する選択手段と、該選択手段で選択された物体の位置及び向きを、前記決定手段にて決定された視点の位置と投影面の位置及び向きとに応じて決定する手段とを備えたことを特徴とする。
【0018】
請求項2に係る画像呈示装置は、請求項1において、前記決定手段は、視点の位置を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。
【0019】
請求項3に係る画像呈示装置は、請求項1において、前記決定手段は、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。
【0020】
請求項4に係る画像呈示装置は、請求項1〜3の何れかにおいて、前記ディスプレイの位置及び向きを検出する検出手段を備え、前記決定手段は、該検出手段での検出結果に応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。
【0021】
請求項5に係る画像呈示装置は、請求項1〜3の何れかにおいて、前記ディスプレイの位置及び向きを制御する制御手段を備え、前記決定手段は、該制御手段の前記ディスプレイに対する制御信号に応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。
【0022】
請求項6に係る画像呈示装置は、請求項1〜3の何れかにおいて、前記ディスプレイの位置及び向きを設定する設定手段を備え、前記決定手段は、該設定手段にて設定された前記ディスプレイの位置及び向きに応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。
【0023】
請求項7に係る画像呈示装置は、請求項1〜6の何れかにおいて、前記ディスプレイを搭載する可動式乗物を備え、前記決定手段は、前記ディスプレイの位置及び向きと前記可動式乗物の位置及び向きとに応じて、視点の位置と投影面の位置及び向きとを決定するように構成したことを特徴とする。
【0025】
図1は、本発明の画像呈示装置の基本構成を示すブロック図である。この画像呈示装置は、可動式ディスプレイ1と、3次元記憶手段2と、視点投影面決定手段3と、投影手段4とを有する。可動式ディスプレイ1は、ユーザが手に持つかまたは支持体に支持されており、その位置及び向きが可変である。3次元記憶手段2は、3次元仮想世界の画像を記憶している。視点投影面決定手段3は、可動式ディスプレイ1の位置及び向きに応じて、投影手段4における視点の位置と投影面の位置及び向きとを決定し、決定したパラメータ(視点の位置と投影面の位置及び向き)を投影手段4へ出力する。投影手段4は、視点投影面決定手段3にて決定されたパラメータに基づいて、3次元記憶手段2に記憶されている3次元仮想世界の画像を2次元画像に投影し、その2次元画像が可動式ディスプレイ1に呈示される。
【0026】
3次元仮想世界における投影手段4の概念を図2に示す。図2において、A,Bはそれぞれ決定された視点,投影面であり、またCは投影対象を示す。投影面B上の画素と視点Aとを結ぶ直線上で、投影面Bより視点A側の視点同側領域D,投影面Bより視点Aと反対側の視点反対側領域E及び投影面B自体のうちの1つ以上の領域である投影対象領域の中で最も視点Aに近い点をその画素に投影する。
【0027】
このような構成にすれば、可動式ディスプレイ1の位置及び向きに応じて視点Aと投影面Bとの位置関係を変化させながら、3次元仮想世界を2次元画像に投影し、得られた2次元画像を可動式ディスプレイ1に呈示してユーザに提供することができる。可動式ディスプレイ1の位置及び向きに応じて変化する2次元画像が呈示されるので、ユーザは、身体にセンサ,ディスプレイ等の装置を装着することなく、極めて簡易かつ容易に3次元仮想世界を2次元画面上で認識できる。
【0028】
ところで、視点投影面決定手段3で決定する視点の位置を一定に保つようにする場合には、前述したように、可動式ディスプレイ1を通して3次元仮想世界を覗くことができ(図13(a)から(b)への推移)、3次元仮想世界において定点から見回す状況を模擬できる。
【0029】
また、視点投影面決定手段3でパラメータを決定する際に、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つようにする場合には、前述したように、3次元仮想世界内で視点の移動を行うことができ(図13(a)から(c)への推移)、視空間的な注意領域の大きさ及び形を固定したまま視点を変える状況を模擬できる。
【0030】
図3は、本発明の他の画像呈示装置の基本構成を示すブロック図である。この画像呈示装置は、図1と同様の可動式ディスプレイ1,3次元記憶手段2,視点投影面決定手段3及び投影手段4と、可動式ディスプレイ1の位置及び向きを検出するディスプレイ位置・向き検出手段5とを有する。視点投影面決定手段3は、ディスプレイ位置・向き検出手段5から入力される可動式ディスプレイ1の位置及び向きに応じて、投影手段4による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、ユーザが可動式ディスプレイ1を手に持って操作する場合、可動式ディスプレイ1に対するユーザの操作(可動式ディスプレイ1への直接的な位置,向きの変更)が視点の位置と投影面の位置及び向きとに反映され、呈示画像の位置・向きの微調整が可能である。
【0031】
なお、ディスプレイ位置・向き検出手段5としては、磁気センサまたは超音波センサを用いる検出手段、可動式ディスプレイ1の支持体の各関節の角度を検知する機能を備えた多関節アーム装置を用いる検出手段、ジャイロスコープ,加速度計によって測定された角速度,加速度に従って内部メモリに格納された角度・位置・速度を更新していく手段等、位置及び向きの検出が可能であるすべての検出手段が使用可能である。
【0032】
図4は、本発明の更に他の画像呈示装置の基本構成を示すブロック図である。この画像呈示装置は、図1と同様の可動式ディスプレイ1,3次元記憶手段2,視点投影面決定手段3及び投影手段4と、可動式ディスプレイ1の位置及び向きを制御するディスプレイ位置・向き制御手段6とを有する。ディスプレイ位置・向き制御手段6から、可動式ディスプレイ1の位置及び向きを制御するための制御信号が視点投影面決定手段3に送られ、その制御信号に応じて、視点投影面決定手段3は、投影手段4による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、ユーザ以外の映像提供者が3次元仮想世界の映像ストーリーに合わせて可動式ディスプレイ1を移動させることにより、ユーザである映像受容者の視点位置及び視点方向を最適なものに誘導できる。
【0033】
図5は、本発明の更に他の画像呈示装置の基本構成を示すブロック図である。この画像呈示装置は、図1と同様の可動式ディスプレイ1,3次元記憶手段2,視点投影面決定手段3及び投影手段4と、可動式ディスプレイ1の位置及び向きを設定するディスプレイ位置・向き設定手段7とを有する。ディスプレイ位置・向き設定手段7から、可動式ディスプレイ1の位置及び向きの設定パターンが視点投影面決定手段3に送られ、その設定パターンに応じて、視点投影面決定手段3は、投影手段4による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、移動パターンが設定されている移動物に可動式ディスプレイ1を設置した場合、移動物の移動に応じて変化する画像を可動式ディスプレイ1によりユーザに呈示できる。
【0034】
図6は、本発明の更に他の画像呈示装置の基本構成を示すブロック図である。この画像呈示装置は、図1と同様の可動式ディスプレイ1,3次元記憶手段2,視点投影面決定手段3及び投影手段4と、ユーザを搭載する可動式乗物8とを有する。可動式乗物8の位置及び向きの情報が視点投影面決定手段3に送られ、視点投影面決定手段3では、可動式ディスプレイ1の位置及び向きだけでなく、この可動式乗物8の位置及び向き情報も参照して、投影手段4による投影時の視点の位置と投影面の位置及び向きとを決定する。よって、例えば、ユーザが3次元仮想世界で乗物に乗っている状況を模擬できる。
【0035】
図7は、本発明の更に他の画像呈示装置の基本構成を示すブロック図である。この画像呈示装置は、図1と同様の可動式ディスプレイ1,3次元記憶手段2,視点投影面決定手段3及び投影手段4と、3次元仮想世界における特定の仮想物体を選択する仮想物体選択手段9と、ある特定の仮想物体の位置及び向きを、視点投影面決定手段3にて決定された視点の位置と投影面の位置及び向きとに応じて決定する仮想物***置・向き決定手段10とを有する。
【0036】
3次元世界を構成する複数の仮想物体の中から特定の仮想物体が仮想物体選択手段9で選択されると、その選択情報が3次元記憶手段2に送られる。また、その選択された特定の仮想物体の位置及び向きが、仮想物***置・向き決定手段10にて、視点投影面決定手段3にて決定された視点の位置と投影面の位置及び向きとに応じて決定され、その位置・向き情報が3次元記憶手段2に送られる。そして、これらの情報を鑑みて、3次元記憶手段2の3次元仮想世界が、投影手段4にて2次元画像に投影される。よって、可動式ディスプレイ1の動きに合わせて特定の仮想物体も移動することになり、前述したように、3次元仮想世界内での物体の操作を行うことができ(図13(a)から(d)への推移)、ユーザが可動式ディスプレイ1を動かすことにより、3次元仮想世界の物体の位置と向きとを変える状況を模擬できる。
【0037】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面を参照して具体的に説明する。
【0038】
(実施の形態1)
図8は、3次元仮想世界を2次元画像で呈示する本発明の一例としての小型のバーチャルリアリティ端末の正面図である。可動式ディスプレイ1としては、ユーザが手で自由な操作が可能である程度の大きさを有する平面型の液晶ディスプレイ11を使用する。また、ディスプレイ位置・向き検出手段5としては、そのバーチャルリアリティ端末に設置された磁気センサ12と実世界の一点に固定された磁気発生部13とを使用し、磁気発生部13からの磁気に対する磁気センサ12での検知結果に基づいて液晶ディスプレイ11の位置及び向き(磁気発生部13に対する相対位置及び向き)を検出するようになっている。更に、バーチャルリアリティ端末には、補助入力手段として、後述する視点変更ボタン14と物体操作ボタン15とが設置されている。
【0039】
投影手段4における投影対象領域は、視点同側領域,視点反対側領域及び投影面自体(図2参照)のすべての領域とする。また、液晶ディスプレイ11のハードウェア特性を考慮して、視点の位置と投影面の位置及び向きとに応じて、画像の輝度変換を行う。即ち、液晶ディスプレイ11の表示面を斜めから見ると暗くなるので、そのような場合には少し明るくなるようにする。視点投影面決定手段3では、投影面の位置及び向きが実世界における液晶ディスプレイ11の位置及び向きと等しくなるようにする。
【0040】
視点変更ボタン14が押されていない場合には、視点の位置を一定に保つ。この場合の一定な視点の位置は、バーチャルリアリティ端末の使用開始時には液晶ディスプレイ11の正面の所定値(数十cm程度)離れた位置とし、そうでないときには最後に視点変更ボタン14が離された時の視点の位置とする。このような一定な視点の位置に、ユーザは自分の目(視点)を固定する。ユーザは、視点変更ボタン14を離した状態で、自分の視点を動かさないようにしながら、注意を向けようとする位置に液晶ディスプレイ11を移動させることにより、その部分の仮想世界を覗き穴を通して見回すことを模擬できる。
【0041】
視点変更ボタン14が押されている場合には、視点の位置と投影面の位置及び向きとの相対的な位置関係を一定に保つように設定する。ユーザは、視点変更ボタン14を押した状態で、液晶ディスプレイ11と自分の視点との相対的な位置関係を固定しながら、注意を向けようとする位置に液晶ディスプレイ11を移動させることにより、仮想世界の中で視点の位置を変更することができる。
【0042】
物体操作ボタン15が押されている場合に、液晶ディスプレイ11上の固定位置に表示されたポインタが重なっている仮想物体を、仮想物体選択手段9にて選択する。仮想物***置・向き決定手段10では、予め設定された仮想物体の重心を投影面に投影し、その投影された投影面上の点を重心投影点とすると、重心投影点が投影面上で移動せず、視点から重心までの距離が視点から重心投影点までの距離に比例し、その仮想物体の向きと投影面の向きとの相対的な関係を一定に保つように仮想物体の位置及び向きを決定する。ユーザは、物体操作ボタン15を離した状態で、ポインタがある位置に操作したい仮想物体が投影されるように液晶ディスプレイ11を動かした後、物体操作ボタン15を押してその仮想物体を選択し、物体操作ボタン15を押した状態で液晶ディスプレイ11を動かすことにより、その仮想物体の位置及び向きを変更することができる。
【0043】
具体例として、仮想世界内で机の上に載っている書面Sをここちらに向ける動作について、その動作時のユーザの操作手順を示す図9を参照して説明する。図9(a)〜(c)は経時的なユーザの視野変化を表している。まず、物体操作ボタン15を押さずに、液晶ディスプレイ11を動かして所望の書面Sがどこにあるかを探す。書面Sが見つかれば、液晶ディスプレイ11上のポインタを書面Sの位置に合わせる(図9(a))。その後、液晶ディスプレイ11の向きと画面に呈示されている書面Sの向きとが見た目で等しくなるように液晶ディスプレイ11の向きを調整し、ここで、物体操作ボタン15を押して書面を選択する(図9(b))。そして、物体操作ボタン15を押したままで、液晶ディスプレイ11を正面に向ければ、仮想世界内の書面Sも正面を向いた状態で呈示される(図9(c))。従来では、書面の角度などを検出して複雑な計算が必要であったが、本発明では極めて直観的に書面Sに対する操作を行える。
【0044】
仮想世界の各物体には、「ある面に沿ってのみ動くことができる」「ある軸が常に一定方向を向いている」等の移動における制限が予め指定されている。よって、指定された制限を越えてユーザが仮想物体を移動させようとした場合に、その制限範囲内での動きに解釈し直して仮想物体が移動される。例えば、コップをテーブルの上に置く場合に、ユーザがテーブル面の下までコップを移動させようとしても、コップはテーブル面に埋め込まれず、テーブル面上での2次元の動きと解釈されてコップはテーブル面上を移動する。また、自動車の動きは地面の上での2次元の動きに限定し、列車の動きは線路の上での1次元の動きに限定することにより、より実在感を表現できる。
【0045】
ところで、仮想世界内の物体の位置及び向きが変化する際に、次のような副次的変化も呈示することによって、実在感をより強調する。例えば、水が入ったグラスを傾ける際に、ゆっくり傾ける場合には細々と水がグラスから流れ出ていくが、素早く傾ける場合には勢いよく水がグラスから流れ出ていくようにする。また、鏡を動かす際には、その鏡に写る光景も鏡の移動に応じてダイナミックに生成して呈示する。更に、照明器具を動かす際には、そのまわりの光景の状態を照明器具の移動に応じて変化させる。
【0046】
また、仮想世界提供者がある仮想物体に対して一貫した副次的効果を与えることにより、ユーザはその仮想物体を道具として使用することができる。例えば、ユーザが、彫刻刀を物体操作ボタン15にて選択し、液晶ディスプレイ11を動かして仮想的彫刻刀を操作することにより、仮想世界内で彫刻を行うことができる。
【0047】
(実施の形態2)
次に、医用画像処理に好適な端末の例について説明する。なお、装置構成及び基本的な使用方法は、実施の形態1と同様とする。但し、投影手段4における投影対象領域は、視点反対側領域と投影面とに限定し、視点同側領域の部分は投影しないようにする。これによって、対象となる仮想物体の内部を投影面が通過する場合に、その仮想物体をその面で切断した画像を得ることができる。図10に立方体状である仮想物体を切断した呈示例を示す。このようにすることにより、例えば対象物体を脳とした場合、液晶ディスプレイ11を離しているときには脳の外観が呈示され、液晶ディスプレイ11を近づけると脳の断面が見えてくる。
【0048】
従来の切断面呈示方法では、切断面の位置及び向きに関するパラメータを独立に調整する必要があったが、この実施の形態2では、同時に多くのパラメータを直観的に微調整することが可能となる。また、この方式を用いると、医学分野以外においても、複雑な3次元形状を持つ物体の内部構造を表現できる。
【0049】
(実施の形態3)
次に、携帯端末において、広画面の2次元GUIを用いる例を挙げる。これにより、携帯端末用に特化したユーザインターフェースではなく、標準的なGUIを使用することができる。即ち、仮想的な3次元世界の中に広大な2次元GUI平面を考え、それを可動式ディスプレイを用いて「覗く」ことにより、GUI平面のスクロール及び拡大・縮小を直観的に行うことができる。
【0050】
可動式ディスプレイ1としては、ユーザが手で自由に操作可能な大きさの平面型液晶ディスプレイを用いる。ディスプレイ位置・向き検出手段5においては、ディスプレイに固定されたCCDカメラによる画像撮影を行い、オプティカルフローの算出、標準物体またはユーザの顔のトラッキングなどの画像解析技術を用いて、実世界中のディスプレイの位置及び向きを検出する。仮想物体選択手段9においては、常にGUI画面上のマウスポインタが選択されている。仮想物***置・向き決定手段10においては、マウスポインタが常に2次元のGUI平面上を動き、その投影点が投影面上で移動しないように、位置及び向きを決定する。なお、可動式ディスプレイ1には、マウスボタンと同機能のボタンが設けられていて、マウスボタンを押す必要がある場合には、そのボタンを押す。
【0051】
(実施の形態4)
次に、可動式ディスプレイの移動を回転に限定した例について説明する。可動式ディスプレイの可動範囲は、水平方向の回転と垂直方向の回転とに限定される。図11は、この実施の形態4の端末装置の模式図である。この端末装置は、ノート型パーソナルコンピュータ様をなし、可動式ディスプレイ1としての液晶ディスプレイ11と、液晶ディスプレイ11の水平方向,垂直方向それぞれの回転角度を検知するボリューム等の回転角検知器16a, 16bと、液晶ディスプレイ11の水平方向,垂直方向それぞれの回転角度を制御するモータ17a, 17bとを有する。回転角検知器16a, 16bはディスプレイ位置・向き検出手段5として用いられ、モータ17a, 17bはディスプレイ位置・向き制御手段6として用いられる。
【0052】
視点投影面決定手段3においては、視点の位置を常に液晶ディスプレイ11の正面の所定値離れた位置に保つ。ユーザが直接液晶ディスプレイ11を操作する場合には、ディスプレイ位置・向き検出手段5(回転角検知器16a, 16b)で検出された位置及び向きに応じて投影面の位置及び向きを決定する。また、ユーザが補助入力装置を通して間接的に液晶ディスプレイ11を操作する場合、または、仮想世界のイベントに合わせて液晶ディスプレイ11が動かされる場合には、ディスプレイ位置・向き制御手段6(モータ17a, 17b)で用いる制御信号に応じて投影面の位置及び向きを決定する。
【0053】
実施の形態4では、鳥瞰図のパノラマ表示、及び、投影面付近に存在する仮想物体の見回しが可能であり、例えば、壺,花瓶等を種々の角度から見回して得られる画像を呈示できる。
【0054】
(実施の形態5)
次に、地球儀型の端末装置の例について説明する。この端末装置では、特定の仮想物体をあたかも回転させたような画像を呈示できる。
【0055】
可動式ディスプレイ1においては、地球儀の代わりに球状スクリーンを配置し、そこに液晶プロジェクタで画像を呈示する。投影手段4においては、液晶プロジェクタの位置と球状スクリーンの位置及び形状とを考慮して、視点の位置から仮想世界の一部が歪まずに見えるように画像を生成する。視点投影面決定手段3においては、視点の位置を一定に保つ。ディスプレイ位置・向き検出手段5においては、ボリューム等の回転角検知器を用いて球状スクリーンの水平方向及び垂直方向の回転角度を検知する。仮想物体選択手段9においては、常に1つの仮想物体を選択しておく。仮想物***置・向き決定手段10においては、予め設定された仮想物体の重心を球状投影面の中心に位置させ、その仮想物体の向きと球状投影面の向きとの相対的な関係を一定に保つように、仮想物体の位置及び向きを決定する。
【0056】
(実施の形態6)
次に、仮想的スポットライト型の端末装置の例について説明する。この端末装置では、スポットライトで仮想世界をあたかも照らしたような画像を呈示できる。図12は、この実施の形態6の端末装置の模式図である。可動式ディスプレイ1としては、ユーザが手で自由に操作可能である大きさであって投影部19を有する液晶プロジェクタ18と、実世界中に固定されたスクリーン(図示せず)とを用いる。ディスプレイ位置・向き検出手段5としては、液晶プロジェクタ18に設置された磁気センサ12と実世界の一点に固定された磁気発生部(図示せず)とを使用する。また、液晶プロジェクタ18上には視点変更ボタン14が設置されている。
【0057】
投影手段4における投影対象領域は、視点同側領域,視点反対側領域及び投影面自体のすべての領域とする。視点投影面決定手段3においては、スクリーンの位置に基づいて液晶プロジェクタ18からの画像が投影される位置及び向きを算出し、その算出結果と等しくなるように投影面の位置及び向きを決定する。
【0058】
そして、視点投影面決定手段3において、視点変更ボタン14が押されていない場合には、視点の位置を一定に保つ。この場合の一定な視点の位置は、端末装置の使用開始時には液晶プロジェクタ18の真上の所定値離れた位置とし、そうでないときには最後に視点変更ボタン14が離された時の視点の位置とする。ユーザは、視点変更ボタン14を離した状態で、自分の視点を動かさないようにしながら、注意を向けようとする部分を照らすように液晶プロジェクタ18を操作することにより、その部分の仮想世界を覗き穴を通して見回すことを模擬できる。
【0059】
一方、視点投影面決定手段3において、視点変更ボタン14が押されている場合には、視点の位置と投影面の位置及び向きとの相対的な位置関係を一定に保つように設定する。ユーザは、視点変更ボタン14を押した状態で、液晶プロジェクタ18と自分の視点との相対的な位置関係を固定しながら、注意を向けようとする部分を照らすように液晶プロジェクタ18を操作することにより、その仮想世界の中で視点の位置を変更することができる。
【0060】
仮想物体選択手段9においては、特定の仮想物体ではなく、常に仮想空間中のスポットライトが選択されている。仮想物***置・向き決定手段10においては、スポットライトの位置と向きとを液晶プロジェクタ18の位置と向きとに一致させる。なお、照明状態は、仮想的スポットライトから光を当てているとする。
【0061】
(実施の形態7)
次に、ユーザヘの画像呈示の応用例を示す。画像提供側が画像のストーリに合わせて可動式ディスプレイ1を動かすことにより、画像受容側(ユーザ)の視点の位置及び視線の方向を最適なものに誘導できる。
【0062】
ディスプレイ位置・向き制御手段6としては、各関節の角度がモータにより制御可能なアーム装置を用いる。視点投影面決定手段3においては、視点の位置と投影面の位置及び向きとの相対的な位置関係を一定に保つ。ユーザは、画像を受容する際に、可動式ディスプレイ1の正面の一定値離れた位置に自分の視点を持っていくことにより、視点位置及び視線方向をその画像にとって最適なものにすることができる。
【0063】
(実施の形態8)
次に、エレベータを可動式乗物として用いた仮想的エレベータ景色の例について説明する。エレベータの壁に据え付けられた可動式ディスプレイ1に、エレベータの上下動に合わせて、世界各地の景色または幻想的な仮想世界の景色を呈示することにより、エレベータに乗ったユーザがこの景色を楽しむことができる。また、窓を設置することができないような超高層ビルの高速エレベータにおいても、可動式ディスプレイ1に呈示される景色の変化から、エレベータの速度を実感することができる。
【0064】
視点投影面決定手段3において必要となる可動式ディスプレイ1の向き及び位置の情報は、ディスプレイ位置・向き検出手段5としての加速度計によってエレベータの加速度を計測して算出するか、案内役がエレベータの運行に合わせてディスプレイ位置・向き設定手段7としての入力装置により直接入力するか、またはディスプレイ位置・向き制御手段6としてのエレベータの駆動系におけるエレベータの制御信号を用いることになる。視点投影面決定手段3において、視点の位置は可動式ディスプレイ1の正面から適当な距離だけ離れた点に設定し、投影面の位置及び向きは可動式ディスプレイ1の位置及び向きに一致させる。
【0065】
また、上述したようなエレベータでの仮想的な景色の呈示例と同様に、遊園地の乗物または電車の壁に可動式ディスプレイ1を配置し、その乗物の動きに合わせて景色の画像を呈示することにより、その乗物が仮想世界の中を動いているように感じさせることも可能である。
【0066】
(実施の形態9)
次に、新聞ブラウジング端末の例を示す。システム構成は、実施の形態1に示した小型バーチャルリアリティ端末の構成に、時々刻々の視点の位置と投影面の位置及び向きとを保存する機能を追加したものである。これらの情報は、視点投影面決定手段3の内部メモリに格納される。
【0067】
仮想的3次元世界内に、見出し,要約,本文の順に文字が小さくなるように各記事が配置された仮想的新聞紙が掲示されているものとする。ユーザは、この新聞ブラウジング端末を通して仮想的新聞紙を覗き見る。ユーザが液晶ディスプレイ11を移動させることにより、投影面を新聞紙から離し視点を近づけて広い範囲を覗けば、見出し,要約を拾い読みすることができ、投影面を視点から離し新聞紙に近づけて狭い範囲を覗けば、本文の文字を高解像度で読むことができる。
【0068】
ブラウジング実行中に保存される視点の位置と投影面の位置及び向きとの軌跡は、ユーザが仮想世界の中でどこに注意を向けようとしたかを記録した履歴を表す。この軌跡と仮想世界の中の新聞紙の各記事の配置とを照合することにより、ユーザが各記事をどのレベルまでどのくらいの時間をかけて読んだかを算出することができる。この値をもとにして、ユーザが各記事に対してどれだけ関心を持ったかを定量的に推定し、関心値として各記事と対応付けて保存する。そして、この関心値を利用することにより、関心が高い記事を選んで詳細な解説を表示させたり、関心が高い分野の記事だけを検索することなどが可能となる。
【0069】
(実施の形態10)
次に、両眼立体視機能付きバーチャルリアリティ端末の例を示す。実施の形態1に示したバーチャルリアリティ端末の構成に、液晶シャッタ方式またはアナグリフ方式等の二眼式立体映像呈示手法を追加したものである。
【0070】
視点投影面決定手段3は、右目用と左目用との2つの視点の位置を格納するための内部メモリを有する。右目と左目とのそれぞれについて、実施の形態1と同様にして時々刻々の視点の位置を決定し、それぞれの視点の位置から眺めた仮想世界を投影面に投影し、得られた2枚の画像を可動式ディスプレイ1にステレオ画像として呈示する。ユーザは、その2つの視点の位置に自分の両眼を持っていくように頭部を動かしながらこの端末を利用する。端末使用開始時の視点の位置は、可動式ディスプレイ1の正面の所定値離れた位置から可動式ディスプレイ1の上下の辺に平行な直線に沿って左右にそれぞれ一定値離れた位置とする。なお、左右の視点間の距離はユーザ自身の左右の目の間の距離と一致するよう調節する必要がある。
【0071】
このような両眼立体視機能付きバーチャルリアリティ端末を用いると、運動視差と両眼立体視との相乗効果によって、仮想世界中の物体の立体感が更に向上することが期待される。
【0072】
【発明の効果】
以上詳述したように、本発明の画像呈示装置では、可動式ディスプレイの位置及び向きに応じて視点と投影面との関係を変化させながら3次元仮想世界を2次元画像に投影し、得られた2次元画像を呈示するようにしたので、ユーザの身体にセンサ,ディスプレイ等の装置を装着させる必要がなく、高解像度のディスプレイを用いる必要もない、直観的な空間的ユーザインターフェースを提供できる。
【0073】
本発明の画像呈示装置では、視点の位置を一定に保つようにしたので、仮想世界を定点から見回す状況を模擬できる。
【0074】
本発明の画像呈示装置では、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つようにしたので、視空間的な注意領域の大きさ及び形を固定したまま視点を変えることができる。
【0075】
本発明の画像呈示装置では、可動式ディスプレイの位置及び向きを検出し、その検出結果に応じて視点の位置と投影面の位置及び向きとを決定するようにしたので、ユーザの直接的な可動式ディスプレイの位置,向きの変更に対応した画像を呈示できる。
【0076】
本発明の画像呈示装置では、可動式ディスプレイの位置及び向きを制御する際の制御信号に応じて視点の位置と投影面の位置及び向きとを決定するようにしたので、ユーザが制御装置を介して可動式ディスプレイの位置及びを向きを変えること、仮想世界が持つストーリーに従って可動式ディスプレイの位置及びを向きを変えることが可能である。
【0077】
本発明の画像呈示装置では、設定された可動式ディスプレイの位置及び向きに応じて視点の位置と投影面の位置及び向きとを決定するようにしたので、ユーザが可動式ディスプレイの動きに合わせて可動式ディスプレイの位置及び向きを設定することができる。
【0078】
本発明の画像呈示装置では、乗物に乗っているユーザに可動式ディスプレイでの画像を呈示するので、仮想世界中で乗物に乗っていることを模擬できる。
【0079】
本発明の画像呈示装置では、仮想世界の中の特定の物体を選択してその位置及び向きを決定するので、可動式ディスプレイを動かすことによって、特定の仮想物体の位置及び向きを変えることができる。
【図面の簡単な説明】
【図1】本発明の画像呈示装置の基本構成を示すブロック図である。
【図2】投影手段の投影概念を示す模式図である。
【図3】本発明の他の画像呈示装置の基本構成を示すブロック図である。
【図4】本発明の更に他の画像呈示装置の基本構成を示すブロック図である。
【図5】本発明の更に他の画像呈示装置の基本構成を示すブロック図である。
【図6】本発明の更に他の画像呈示装置の基本構成を示すブロック図である。
【図7】本発明の更に他の画像呈示装置の基本構成を示すブロック図である。
【図8】本発明による小型のバーチャルリアリティ端末の正面図である。
【図9】本発明におけるユーザの操作手順の一例を示す模式図である。
【図10】物体の切断面の呈示例を示す図である。
【図11】本発明による回転限定型の端末装置の模式図である。
【図12】本発明による仮想的スポットライト型の端末装置の模式図である。
【図13】本発明の概要を説明するための図である。
【符号の説明】
1 可動式ディスプレイ
2 3次元記憶手段
3 視点投影面決定手段
4 投影手段
5 ディスプレイ位置・向き検出手段
6 ディスプレイ位置・向き制御手段
7 ディスプレイ位置・向き設定手段
8 可動式乗物
9 仮想物体選択手段
10 仮想物***置・向き決定手段
11 液晶ディスプレイ
12 磁気センサ
13 磁気発生部
14 視点変更ボタン
15 物体操作ボタン
16a, 16b 回転角検知器
17a, 17b モータ
18 液晶プロジェクタ
19 投影部
Claims (7)
- 3次元画像を2次元平面に投影した2次元画像を呈示する画像呈示装置において、3次元画像を記憶する記憶手段と、ユーザが手に持つかまたは支持体に支持されている位置及び向きが可変であるディスプレイと、前記記憶手段に記憶されている3次元画像を2次元平面に投影する投影手段と、前記ディスプレイの位置及び向きに応じて、前記投影手段での投影時における視点の位置と投影面の位置及び向きとを決定する決定手段とを備え、該決定手段で決定された視点の位置と投影面の位置及び向きとに基づいて前記投影手段で3次元画像を投影して得られる2次元画像を前記ディスプレイに表示するように構成しており、前記3次元画像には、位置及び向きを有する複数の物体が存在し、前記物体のうちの1つの物体を選択する選択手段と、該選択手段で選択された物体の位置及び向きを、前記決定手段にて決定された視点の位置と投影面の位置及び向きとに応じて決定する手段とを備えたことを特徴とする画像呈示装置。
- 前記決定手段は、視点の位置を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成した請求項1記載の画像呈示装置。
- 前記決定手段は、視点の位置と投影面の位置及び向きとの相対的位置関係を一定に保つように、視点の位置と投影面の位置及び向きとを決定するように構成した請求項1記載の画像呈示装置。
- 前記ディスプレイの位置及び向きを検出する検出手段を備え、前記決定手段は、該検出手段での検出結果に応じて、視点の位置と投影面の位置及び向きとを決定するように構成した請求項1〜3の何れかに記載の画像呈示装置。
- 前記ディスプレイの位置及び向きを制御する制御手段を備え、前記決定手段は、該制御手段の前記ディスプレイに対する制御信号に応じて、視点の位置と投影面の位置及び向きとを決定するように構成した請求項1〜3の何れかに記載の画像呈示装置。
- 前記ディスプレイの位置及び向きを設定する設定手段を備え、前記決定手段は、該設定手段にて設定された前記ディスプレイの位置及び向きに応じて、視点の位置と投影面の位置及び向きとを決定するように構成した請求項1〜3の何れかに記載の画像呈示装置。
- 前記ディスプレイを搭載する可動式乗物を備え、前記決定手段は、前記ディスプレイの位置及び向きと前記可動式乗物の位置及び向きとに応じて、視点の位置と投影面の位置及び向きとを決定するように構成した請求項1〜6の何れかに記載の画像呈示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16775297A JP4251673B2 (ja) | 1997-06-24 | 1997-06-24 | 画像呈示装置 |
US09/038,102 US6084594A (en) | 1997-06-24 | 1998-03-11 | Image presentation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16775297A JP4251673B2 (ja) | 1997-06-24 | 1997-06-24 | 画像呈示装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006129464A Division JP4413203B2 (ja) | 2006-05-08 | 2006-05-08 | 画像呈示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1118025A JPH1118025A (ja) | 1999-01-22 |
JP4251673B2 true JP4251673B2 (ja) | 2009-04-08 |
Family
ID=15855450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16775297A Expired - Fee Related JP4251673B2 (ja) | 1997-06-24 | 1997-06-24 | 画像呈示装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6084594A (ja) |
JP (1) | JP4251673B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017054185A1 (zh) * | 2015-09-30 | 2017-04-06 | 华为技术有限公司 | 一种展示全景视觉内容的方法、装置及终端 |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366676B2 (en) * | 2001-05-29 | 2008-04-29 | Mevis Breastcare Gmbh & Co. Kg | Method and system for in-service monitoring and training for a radiologic workstation |
US20120056799A1 (en) * | 2001-02-24 | 2012-03-08 | Dennis Solomon | Performance Audience Display System |
US7190371B2 (en) | 1996-02-08 | 2007-03-13 | Palm Charles S | 3D stereo browser for the internet |
WO1997031305A2 (en) * | 1996-02-08 | 1997-08-28 | Synthonics Incorporated | 3d stereo browser for the internet |
US7091991B2 (en) * | 1996-02-08 | 2006-08-15 | Palm Charles S | 3D stereo browser for the internet |
GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
JP3420504B2 (ja) * | 1998-06-30 | 2003-06-23 | キヤノン株式会社 | 情報処理方法 |
JP2000250697A (ja) * | 1999-03-03 | 2000-09-14 | Yazaki Corp | 多機能スイッチ装置における操作ボタンの機能表示方法及び多機能スイッチ装置 |
US6842175B1 (en) * | 1999-04-22 | 2005-01-11 | Fraunhofer Usa, Inc. | Tools for interacting with virtual environments |
JP3392080B2 (ja) * | 1999-09-02 | 2003-03-31 | キヤノン株式会社 | ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 |
WO2002015110A1 (en) * | 1999-12-07 | 2002-02-21 | Fraunhofer Crcg, Inc. | Virtual showcases |
US6466208B1 (en) * | 1999-12-20 | 2002-10-15 | Silicon Integrated Systems Corporation | Apparatus and method for adjusting 3D stereo video transformation |
DE10102477A1 (de) | 2001-01-19 | 2002-07-25 | Storz Endoskop Gmbh Schaffhaus | Vorrichtung zum Applizieren von Licht auf eine Gefäßwand |
WO2002080106A2 (en) * | 2001-03-30 | 2002-10-10 | Koninklijke Philips Electronics N.V. | Method, system and device for augmented reality |
US7904826B2 (en) * | 2002-03-29 | 2011-03-08 | Microsoft Corporation | Peek around user interface |
US7519918B2 (en) * | 2002-05-30 | 2009-04-14 | Intel Corporation | Mobile virtual desktop |
US20040027365A1 (en) * | 2002-08-07 | 2004-02-12 | Sayers Craig P. | Controlling playback of a temporal stream with a user interface device |
JP4298407B2 (ja) * | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
JP2004309947A (ja) * | 2003-04-10 | 2004-11-04 | Sharp Corp | データ表示装置、データ表示プログラム、および、プログラム記録媒体 |
KR100514685B1 (ko) * | 2003-05-13 | 2005-09-13 | 주식회사 팬택앤큐리텔 | 타임 시프트 기능 구현 단말기 및 방법 |
JP4734824B2 (ja) * | 2003-07-25 | 2011-07-27 | セイコーエプソン株式会社 | プロジェクタ |
EP1679689B1 (en) * | 2003-10-28 | 2014-01-01 | Panasonic Corporation | Image display device and image display method |
WO2005119591A1 (ja) | 2004-06-04 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | 表示制御方法および装置、プログラム、並びに携帯機器 |
US7880738B2 (en) | 2005-07-14 | 2011-02-01 | Molsoft Llc | Structured documents and systems, methods and computer programs for creating, producing and displaying three dimensional objects and other related information in those structured documents |
TWI264939B (en) * | 2005-08-02 | 2006-10-21 | Quanta Comp Inc | Electric apparatus capable of adjusting display direction and display direction adjusting method thereof |
JP2007047294A (ja) * | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | 立体画像表示装置 |
US20070248260A1 (en) * | 2006-04-20 | 2007-10-25 | Nokia Corporation | Supporting a 3D presentation |
JP2007304666A (ja) | 2006-05-08 | 2007-11-22 | Sony Computer Entertainment Inc | 情報出力システム及び情報出力方法 |
WO2008102873A1 (ja) * | 2007-02-23 | 2008-08-28 | Nikon Corporation | 投影システムおよびプロジェクタ |
JP5141042B2 (ja) * | 2007-02-23 | 2013-02-13 | 株式会社ニコン | 投影システム |
JP5141041B2 (ja) * | 2007-02-23 | 2013-02-13 | 株式会社ニコン | 投影システムおよびプロジェクタ |
US20080309582A1 (en) * | 2007-06-13 | 2008-12-18 | Chih-Ching Hsieh | Receiving assembly with function of displaying data about objects therein |
CN102027435A (zh) * | 2008-05-14 | 2011-04-20 | 皇家飞利浦电子股份有限公司 | 用于在观看者界面的代表布景内限定激活区的***和方法 |
US9200901B2 (en) | 2008-06-19 | 2015-12-01 | Microsoft Technology Licensing, Llc | Predictive services for devices supporting dynamic direction information |
US20100009662A1 (en) | 2008-06-20 | 2010-01-14 | Microsoft Corporation | Delaying interaction with points of interest discovered based on directional device information |
US20100100853A1 (en) * | 2008-10-20 | 2010-04-22 | Jean-Pierre Ciudad | Motion controlled user interface |
US20100156907A1 (en) * | 2008-12-23 | 2010-06-24 | Microsoft Corporation | Display surface tracking |
JP5793426B2 (ja) * | 2009-01-29 | 2015-10-14 | イマージョン コーポレーションImmersion Corporation | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
US8872767B2 (en) * | 2009-07-07 | 2014-10-28 | Microsoft Corporation | System and method for converting gestures into digital graffiti |
US8531571B1 (en) | 2009-08-05 | 2013-09-10 | Bentley Systmes, Incorporated | System and method for browsing a large document on a portable electronic device |
TWI394456B (zh) * | 2009-12-10 | 2013-04-21 | Pegatron Corp | 多媒體播放裝置及其操作方法 |
US8913009B2 (en) | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
EP2392389A4 (en) | 2010-02-03 | 2014-10-15 | Nintendo Co Ltd | GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD |
US8814686B2 (en) | 2010-02-03 | 2014-08-26 | Nintendo Co., Ltd. | Display device, game system, and game method |
US8339364B2 (en) | 2010-02-03 | 2012-12-25 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
JP5573238B2 (ja) * | 2010-03-04 | 2014-08-20 | ソニー株式会社 | 情報処理装置、情報処理法方法およびプログラム |
US9124804B2 (en) * | 2010-03-22 | 2015-09-01 | Microsoft Technology Licensing, Llc | Using accelerometer information for determining orientation of pictures and video images |
JP6243586B2 (ja) | 2010-08-06 | 2017-12-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
US10150033B2 (en) | 2010-08-20 | 2018-12-11 | Nintendo Co., Ltd. | Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method |
JP5840385B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
JP5840386B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
KR101492310B1 (ko) | 2010-11-01 | 2015-02-11 | 닌텐도가부시키가이샤 | 조작 장치 및 정보 처리 장치 |
WO2012119215A1 (en) | 2011-03-04 | 2012-09-13 | Eski Inc. | Devices and methods for providing a distributed manifestation in an environment |
JP5724544B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5689014B2 (ja) | 2011-04-07 | 2015-03-25 | 任天堂株式会社 | 入力システム、情報処理装置、情報処理プログラム、および3次元位置算出方法 |
US8823699B2 (en) | 2011-05-16 | 2014-09-02 | International Business Machines Corporation | Getting snapshots in immersible 3D scene recording in virtual world |
JP5849811B2 (ja) * | 2011-05-27 | 2016-02-03 | 株式会社Jvcケンウッド | 裸眼立体視用映像データ生成方法 |
US9210339B2 (en) * | 2011-12-09 | 2015-12-08 | Hewlett-Packard Development Company, L.P. | Generation of images based on orientation |
JP5882731B2 (ja) * | 2011-12-28 | 2016-03-09 | キヤノン株式会社 | 入力表示装置、その制御方法、プログラム、及び印刷装置 |
TW201435706A (zh) * | 2013-03-01 | 2014-09-16 | Hon Hai Prec Ind Co Ltd | 虛擬鍵盤提供裝置 |
US11055959B2 (en) * | 2013-06-07 | 2021-07-06 | Sg Gaming, Inc. | Device-to-device transfer of wagering game objects |
US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
JP6601392B2 (ja) * | 2014-04-07 | 2019-11-06 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
FR3043815A1 (fr) * | 2015-11-13 | 2017-05-19 | Airbus Operations Sas | Procede d'affichage, sur un dispositif d'affichage mobile embarque dans un vehicule, d'images correspondant a un environnement exterieur dudit vehicule. |
US20170169613A1 (en) * | 2015-12-15 | 2017-06-15 | Lenovo (Singapore) Pte. Ltd. | Displaying an object with modified render parameters |
FR3048521A1 (fr) * | 2016-03-04 | 2017-09-08 | Renovation Plaisir Energie | Dispositif d'interface homme machine avec des applications graphiques en trois dimensions |
TWI567691B (zh) * | 2016-03-07 | 2017-01-21 | 粉迷科技股份有限公司 | 立體空間的場景編輯方法與系統 |
CN109863543A (zh) | 2016-09-07 | 2019-06-07 | 爱奇 | 用于分布式呈现的投影***和相关方法 |
US20180268614A1 (en) * | 2017-03-16 | 2018-09-20 | General Electric Company | Systems and methods for aligning pmi object on a model |
JPWO2020209298A1 (ja) * | 2019-04-11 | 2020-10-15 | ||
JP7330507B2 (ja) * | 2019-12-13 | 2023-08-22 | 株式会社Agama-X | 情報処理装置、プログラム、及び、方法 |
JP7318670B2 (ja) * | 2021-01-27 | 2023-08-01 | セイコーエプソン株式会社 | 表示方法および表示システム |
US11735138B2 (en) * | 2021-04-22 | 2023-08-22 | GM Global Technology Operations LLC | Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
AUPM701394A0 (en) * | 1994-07-22 | 1994-08-18 | Monash University | A graphical display system |
-
1997
- 1997-06-24 JP JP16775297A patent/JP4251673B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-11 US US09/038,102 patent/US6084594A/en not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017054185A1 (zh) * | 2015-09-30 | 2017-04-06 | 华为技术有限公司 | 一种展示全景视觉内容的方法、装置及终端 |
US10694115B2 (en) | 2015-09-30 | 2020-06-23 | Huawei Technologies Co., Ltd. | Method, apparatus, and terminal for presenting panoramic visual content |
Also Published As
Publication number | Publication date |
---|---|
JPH1118025A (ja) | 1999-01-22 |
US6084594A (en) | 2000-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4251673B2 (ja) | 画像呈示装置 | |
JP4413203B2 (ja) | 画像呈示装置 | |
US11745097B2 (en) | Spatially-correlated human-machine interface | |
US11173392B2 (en) | Spatially-correlated human-machine interface | |
EP3241088B1 (en) | Methods and systems for user interaction within virtual or augmented reality scene using head mounted display | |
US9041622B2 (en) | Controlling a virtual object with a real controller device | |
GB2281838A (en) | Input for a virtual reality system | |
US6283598B1 (en) | Method of and apparatus for displaying an image | |
EP2485119A2 (en) | Spatially-correlated multi-display human-machine interface | |
JP2015513232A (ja) | 3次元ディスプレイシステム | |
JP2008500624A (ja) | 仮想3次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム | |
KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
CN108463839B (zh) | 信息处理装置和用户指南呈现方法 | |
WO2019187862A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
JP3026716B2 (ja) | 立体型表示装置 | |
US20220405996A1 (en) | Program, information processing apparatus, and information processing method | |
JP6964302B2 (ja) | アニメーション制作方法 | |
US20220351443A1 (en) | Animation production system | |
JPH1011249A (ja) | 画像生成表示装置 | |
US20220032196A1 (en) | Animation production system | |
US20220035442A1 (en) | Movie distribution method | |
WO2018201150A1 (en) | Control system for a three dimensional environment | |
US11443471B2 (en) | Animation production method | |
US20220036616A1 (en) | Animation production system | |
US20220351441A1 (en) | Animation production system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060307 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090120 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |