JP2021136036A - Floating image display device, interactive method with floating image, and floating image display system - Google Patents
Floating image display device, interactive method with floating image, and floating image display system Download PDFInfo
- Publication number
- JP2021136036A JP2021136036A JP2021028402A JP2021028402A JP2021136036A JP 2021136036 A JP2021136036 A JP 2021136036A JP 2021028402 A JP2021028402 A JP 2021028402A JP 2021028402 A JP2021028402 A JP 2021028402A JP 2021136036 A JP2021136036 A JP 2021136036A
- Authority
- JP
- Japan
- Prior art keywords
- floating image
- floating
- image data
- display device
- computer system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007667 floating Methods 0.000 title claims abstract description 380
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 62
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 14
- 230000000903 blocking effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract 3
- 238000005516 engineering process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229940004975 interceptor Drugs 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Holo Graphy (AREA)
Abstract
Description
本発明は、浮遊画像表示技術の応用に関し、特に浮遊画像表示装置、当該表示装置をコンピュータシステムに接続して実行される対話方法、及び当該表示装置とコンピュータシステムが組み合わされて形成したシステムに関する。 The present invention relates to an application of a floating image display technique, and more particularly to a floating image display device, a dialogue method executed by connecting the display device to a computer system, and a system formed by combining the display device and the computer system.
従来、立体表示装置の多くは、人間の目の視差を利用して脳内に奥行きのある立体画像を構成する技術を用いている。一般的に、表示装置で表示される画像は２つの異なる画像として設計されている。一使用者が特定の装置、例えば赤と青のメガネ、偏光メガネやシャッターメガネ、さらにはヘッドマウントディスプレイなどを使用する場合、ディスプレイからの２つの異なる画像をそれぞれの目に投影し、立体視画像として脳内で合成することができる。 Conventionally, most stereoscopic display devices use a technique for forming a deep stereoscopic image in the brain by utilizing the parallax of the human eye. Generally, the image displayed on the display device is designed as two different images. When a user uses specific devices such as red and blue glasses, polarized glasses and shutter glasses, and even a head-mounted display, two different images from the display are projected onto each eye to create a stereoscopic image. Can be synthesized in the brain as.
光学要素（レンズ、グレーティング）の設計によって裸眼立体視表示の技術もあり、ディスプレイ内の映像を人間の目に直接投影することができるので、特別な装置を使わずに立体感を直接感じることができる。 There is also a technology for autostereoscopic display by designing optical elements (lens, grating), and the image in the display can be projected directly to the human eye, so you can directly feel the stereoscopic effect without using a special device. can.
様々な立体表示技術のうち、いずれも表示技術であることに変わりはないが、使用者が直接に立体画像を操作できるような対話技術は提案されていない。その主な理由は、一般的な立体視ディスプレイ技術は、脳内で組み立てられた仮想画像であり、画像との直接の対話ができないためである。 Of the various stereoscopic display technologies, all of them are still display technologies, but no dialogue technology has been proposed that allows the user to directly manipulate the stereoscopic image. The main reason for this is that general stereoscopic display technology is a virtual image assembled in the brain and cannot directly interact with the image.
ビデオ対話技術の場合、そのうちの一つは、静電容量式または抵抗膜式ディスプレイ上での使用者によるジェスチャー操作で実現させるものがある。このようなタッチ技術による対話は、ジェスチャーを感知するタッチディスプレイによって行われ、ソフトウェアプログラムでジェスチャーに基づいた対話後の画像を表示するようになる。その際、対話アクションとは、例えば、フラットパネルディスプレイ上での一点または多点ジェスチャーによる二次元平面上での移動や回転などとなる。 In the case of video dialogue technology, one of them is realized by a user's gesture operation on a capacitive or resistive display. Such dialogue by touch technology is performed by a touch display that senses gestures, and a software program displays a post-interaction image based on the gestures. At that time, the dialogue action is, for example, movement or rotation on a two-dimensional plane by a one-point or multi-point gesture on a flat panel display.
また、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ＡＲ）や仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ，ＶＲ）技術において対話な操作方法も提出されている。拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）または仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）は、一般に、フラットパネルディスプレイまたはヘッドマウントディスプレイ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を介して表示され、ここで、ユーザはジェスチャーで画像を操作することができ、さらにカメラでジェスチャーをキャプチャすることができ、画像処理後に対話な画像を生成して対話な効果を果たすことができる。 In addition, interactive operation methods in Augmented Reality (AR) and Virtual Reality (VR) technologies have also been submitted. Augmented Reality or Virtual Reality is generally displayed via a flat panel display or head-mounted display (HMD), where the user manipulates the image with gestures. In addition, the camera can capture gestures, and after image processing, an interactive image can be generated to achieve an interactive effect.
本発明は、浮遊画像との対話方法、浮遊画像表示システム及びその浮遊画像表示装置を開示する。なかでも、浮遊画像表示装置は、浮遊画像を表示するために用いられ、そして、コンピュータシステムに接続した後、三次元画像を操作する斬新な使用者体験を提供することができる。 The present invention discloses a method of interacting with a floating image, a floating image display system, and a floating image display device thereof. Among them, a floating image display device can be used to display a floating image and can provide a novel user experience of manipulating a three-dimensional image after being connected to a computer system.
前記浮遊画像表示システムは主に、浮遊画像表示装置、ジェスチャーセンサー、及びコンピュータシステムで実行されるドライバープログラムを含む。なかでも、浮遊画像表示装置にジェスチャーセンサーが設けられてもよい。浮遊画像表示装置はコンピュータシステムに内蔵してコンピュータシステムと接続されてもよいが、外部部材としてコンピュータシステムと接続されてもよい。 The floating image display system mainly includes a floating image display device, a gesture sensor, and a driver program executed by a computer system. In particular, the floating image display device may be provided with a gesture sensor. The floating image display device may be built in the computer system and connected to the computer system, or may be connected to the computer system as an external member.
特定の実施形態によれば、前記浮遊画像表示装置を利用した対話方法は、浮遊画像表示装置において実行される。浮遊画像表示装置がコンピュータシステムに接続するために、ケーブルを介してコンピュータ装置に接続してもよいが、モジュール化されてコンピュータ装置に内蔵されてもよい。 According to a particular embodiment, the dialogue method using the floating image display device is executed in the floating image display device. The floating image display device may be connected to the computer device via a cable in order to connect to the computer system, or may be modularized and built into the computer device.
浮遊画像表示装置の対話方法において、浮遊画像表示装置では、コンピュータシステムから画像データが受信されてから、画像データに基づいて浮遊画像データが取得され、浮遊画像データが浮遊画像に変換されて、表示パネルに浮遊画像が表示される。その後、ジェスチャーで使用者が浮遊画像を操作すると、そのジェスチャーはジェスチャーセンサーで検知され、ジェスチャーに対応する三次元座標の変化量を取得して、その三次元座標の変化量に基づいて、対話コマンドを決めるようになる。 In the interactive method of the floating image display device, in the floating image display device, after the image data is received from the computer system, the floating image data is acquired based on the image data, and the floating image data is converted into the floating image and displayed. A floating image is displayed on the panel. After that, when the user operates the floating image with a gesture, the gesture is detected by the gesture sensor, the amount of change in the three-dimensional coordinates corresponding to the gesture is acquired, and the dialogue command is based on the amount of change in the three-dimensional coordinates. Will be decided.
そして、対話コマンドをコンピュータシステムに送信して、コンピュータシステムが当該対話コマンドに応じて、当該三次元座標の変化量に対応する新たな画像データを導出することができる。その後、得られた新たな画像データを浮遊画像表示装置に送信することによって、浮遊画像表示装置は、新たな画像データを新たな浮遊画像データに変換し、表示パネルに新たな浮遊画像を表示するようになる。 Then, the dialogue command can be transmitted to the computer system, and the computer system can derive new image data corresponding to the amount of change in the three-dimensional coordinates in response to the dialogue command. After that, by transmitting the obtained new image data to the floating image display device, the floating image display device converts the new image data into new floating image data and displays the new floating image on the display panel. Will be.
さらに、コンピュータシステムにおいてソフトウェアプログラムが実行される。ソフトウェアプログラムは、対話コマンドに基づいて、対応的なプロセスを実行することによって、コンピュータシステムが三次元座標の変化量に応じて新たな画像データを生成することができる。当該新たな画像データは、浮遊画像表示装置に表示される新たな浮遊画像であり、即ち、ジェスチャーの操作で生成された新たな画像である。 In addition, software programs are executed in the computer system. The software program allows the computer system to generate new image data according to the amount of change in the three-dimensional coordinates by executing a corresponding process based on the interactive command. The new image data is a new floating image displayed on the floating image display device, that is, a new image generated by a gesture operation.
好ましくは、前記ジェスチャーは、使用者の指、手のひら及び指関節の位置が三次元座標での変化として検知され、その三次元座標の変化量に応じて対話コマンドが決定される。その対話コマンドは、移動、回転、ズームの動作の中の１つか又はそれらの任意の組み合わせを示すものであり、ソフトウェアプログラムが対応的なプロセスを実行するためにソフトウェアプログラムを命令するように用いられる。 Preferably, in the gesture, the positions of the user's finger, palm and knuckle are detected as changes in the three-dimensional coordinates, and the dialogue command is determined according to the amount of change in the three-dimensional coordinates. The interactive command indicates one or any combination of move, rotate, and zoom movements and is used by the software program to direct the software program to perform the corresponding process. ..
さらに、コンピュータシステムにおいて、ドライバープログラムが実行される。ドライバープログラムは、コンピュータシステムと浮遊画像表示装置との通信インターフェースを構築して、コンピュータシステムと浮遊画像表示装置とが交換するメッセージをインタプリタ又はコンパイルするように利用される。コンピュータシステムにおいて、ドライバープログラムは、コンピュータシステムが対話コマンドに応じて生成したメッセージに基づいて、画像サーバーにリクエストを送ることで、浮遊画像表示装置に提供するための画像データ又は新たな画像データを画像サーバーからダウンロードできる。好ましくは、データに、浮遊画像に係るカラー情報及び三次元空間情報が記載されている。 In addition, the driver program is executed in the computer system. The driver program is used to build a communication interface between the computer system and the floating image display device and interpret or compile the messages exchanged between the computer system and the floating image display device. In a computer system, a driver program sends a request to an image server based on a message generated by the computer system in response to an interactive command to image image data or new image data to be provided to a floating image display device. You can download it from the server. Preferably, the data includes color information and three-dimensional spatial information related to the floating image.
浮遊画像表示装置の１つの実施形態によれば、主回路は、画像プロセッサー、入力インターフェース、表示駆動ユニット、及びコンピュータ接続ユニットを含む。画像プロセッサーは、浮遊画像を形成するための画像データを処理するために用いられる。入力インターフェースは、ジェスチャーセンサーに接続し、ジェスチャーセンサーが検出したジェスチャーから生み出すメッセージを受信するように利用される。受信されたメッセージを画像プロセッサーによって三次元座標の変化量を算出し対話コマンドを形成する。表示駆動ユニットは、浮遊画像データに基づいて、浮遊画像を形成させ表示ユニットに表示させる。コンピュータ接続ユニットは、浮遊画像表示装置をコンピュータ装置に連接するように利用される。 According to one embodiment of the floating image display device, the main circuit includes an image processor, an input interface, a display drive unit, and a computer connection unit. Image processors are used to process image data to form floating images. The input interface is used to connect to the gesture sensor and receive the message generated from the gesture detected by the gesture sensor. The received message is calculated by the image processor to calculate the amount of change in the three-dimensional coordinates to form a dialogue command. The display drive unit forms a floating image based on the floating image data and displays it on the display unit. The computer connection unit is used to connect the floating image display device to the computer device.
浮遊画像表示装置は、コンピュータシステムから画像データを受信すると、画像データに基づいて、浮遊画像データを得ることができる。そして、浮遊画像データは、表示駆動ユニットによって浮遊画像データに変換された後、表示ユニットを介して浮遊画像として表示される。そしてその浮遊画像は、使用者がジェスチャーで操作できる。コンピュータシステムとの間に行ったり来たりするメッセージによって、使用者は、浮遊画像を操作して、コンピュータシステムにおけるソフトウェアプログラムを制御できる。 When the floating image display device receives the image data from the computer system, the floating image display device can obtain the floating image data based on the image data. Then, the floating image data is converted into floating image data by the display driving unit, and then displayed as a floating image via the display unit. The floating image can be operated by the user with a gesture. Messages that come and go to and from the computer system allow the user to manipulate the floating image to control software programs in the computer system.
発明の特徴及び技術内容がより一層分かるように、以下本発明に関する詳細な説明と添付図面を参照する。しかし、提供される添付図面は参考と説明のために提供するものに過ぎず、本発明の特許請求の範囲を制限するためのものではない。 In order to further understand the features and technical contents of the invention, the detailed description and the accompanying drawings relating to the present invention will be referred to below. However, the accompanying drawings provided are provided for reference only and are not intended to limit the scope of the claims of the present invention.
下記より、具体的な実施例で本発明が開示する実施形態を説明する。当業者は本明細書の公開内容により本発明のメリット及び効果を理解し得る。本発明は他の異なる実施形態により実行又は応用できる。本明細書における各細節も様々な観点又は応用に基づいて、本発明の精神逸脱しない限りに、均等の変形と変更を行うことができる。また、本発明の図面は簡単で模式的に説明するためのものであり、実際的な寸法を示すものではない。以下の実施形態において、さらに本発明に係る技術事項を説明するが、公開された内容は本発明を限定するものではない。 Hereinafter, embodiments disclosed by the present invention will be described with specific examples. Those skilled in the art can understand the merits and effects of the present invention from the published contents of the present specification. The present invention can be implemented or applied by other different embodiments. Each subsection in the present specification can also be uniformly modified and modified based on various viewpoints or applications as long as it does not deviate from the spirit of the present invention. Further, the drawings of the present invention are for simple and schematic explanations, and do not show practical dimensions. In the following embodiments, the technical matters relating to the present invention will be further described, but the published contents are not limited to the present invention.
なお、本明細書において「第１」、「第２」、「第３」等の用語で各種の部品又は信号を説明する可能性があるが、これらの部品又は信号はこれらの用語によって制限されるものではない。これらの用語は、主として一つの部品と別の部品、又は一つの信号と別の信号を区分するためのものであることが理解されたい。また、本明細書に用いられる「又は」という用語は、実際の状況に応じて、関連する項目中の何れか一つ又は複数の組合せを含み得る。 In this specification, various parts or signals may be described by terms such as "first", "second", and "third", but these parts or signals are limited by these terms. It's not something. It should be understood that these terms are primarily intended to distinguish one component from another, or one signal from another. Also, the term "or" as used herein may include any one or more combinations of related items, depending on the actual circumstances.
本発明は、浮遊画像表示装置、当該表示装置を利用して実行する対話方法、及び関連浮遊画像の表示システムを開示する。浮遊画像を利用して対話を行う技術では、使用者が浮遊画像表示装置に表示された浮遊画像を見る時、ジェスチャーによって、浮遊画像を操作できる技術である。その技術を果たせる主な手段は、ジェスチャーセンサーによって、浮遊画像の位置に行う、例えば、移動、回転、ズーム等のジェスチャーを検知してから、ジェスチャーに対応する三次元座標の変化量を導出して、三次元座標の変化量によって対話コマンドを決定する。そして、決定された対話コマンドに基づいて、ジェスチャーに従って生成された新たな浮遊画像を表示する。そのように、使用者がジェスチャーによって浮遊画像と対話できる技術目的を果たせることができる。ところで、浮遊画像は、静的なオブジェクトとなる浮遊画像であってもよいが、動的なオブジェクトとなる連続浮遊画像であってもよい。 The present invention discloses a floating image display device, a dialogue method executed by using the display device, and a related floating image display system. The technique of performing dialogue using a floating image is a technique in which a user can operate a floating image by a gesture when viewing the floating image displayed on the floating image display device. The main means of achieving this technology is to use a gesture sensor to detect gestures such as movement, rotation, and zoom at the position of a floating image, and then derive the amount of change in the three-dimensional coordinates corresponding to the gesture. , The dialogue command is determined by the amount of change in the three-dimensional coordinates. Then, based on the determined dialogue command, a new floating image generated according to the gesture is displayed. As such, it is possible to achieve the technical purpose of allowing the user to interact with the floating image by gesture. By the way, the floating image may be a floating image which is a static object, or may be a continuous floating image which is a dynamic object.
特定の実施形態において、前記浮遊画像表示装置における表示技術は、宙に立体画像を表示する技術であってもよく、そのような技術は、平面表示パネルで複数のサブ画像（単位画像）を表示し、複数のサブ画像が完全な画像（統合画像）を形成するものである。表示時には、平面表示パネルに表示された画像が光学素子の層（レンズアレイなど）を介して表示され、各サブ画像が対応するレンズを介して生じされることで、複数のレンズを介して表示装置上に完全な画像が形成されるため、浮遊画像表示効果を得ることができる。 In a specific embodiment, the display technique in the floating image display device may be a technique for displaying a stereoscopic image in the air, and such a technique displays a plurality of sub-images (unit images) on a flat display panel. However, a plurality of sub-images form a complete image (integrated image). At the time of display, the image displayed on the flat display panel is displayed via a layer of optical elements (lens array, etc.), and each sub-image is generated via the corresponding lens, so that the image is displayed through a plurality of lenses. Since a complete image is formed on the device, a floating image display effect can be obtained.
なお、拡張現実（ＡＲ）や仮想現実（ＶＲ）の表示技術と、本願の表示技術との相違には、表示装置の違いに加えて、立体映像を投影する技術や効果も異なることは特筆に値する。前記ＡＲまたはＶＲに用いられる表示技術は、利用者の目の前のスクリーンに立体視画像を投影し、その画像に、利用者の左右の目の視差を通して立体映像の効果を与える表示技術であるのに対し、本発明で提案されている浮遊画像表示技術は、光学素子を介して利用者の目の前の位置に実際に立体画像を投影して表示する技術である。本発明では、使用者は、ジェスチャーによって浮遊画像を操作することができる。詳しくは、ジェスチャーを介して、操作ジェスチャーを取得してから、ジェスチャーに基づいた新たな浮遊画像を算出して、立体映像を操作できる対話効果を体験できるようにする。 It should be noted that the difference between the display technology of augmented reality (AR) or virtual reality (VR) and the display technology of the present application is that in addition to the difference in the display device, the technology and effect for projecting a stereoscopic image are also different. Deserves. The display technology used for AR or VR is a display technology that projects a stereoscopic image on a screen in front of the user and gives the effect of the stereoscopic image to the image through the difference between the left and right eyes of the user. On the other hand, the floating image display technique proposed in the present invention is a technique for actually projecting and displaying a stereoscopic image at a position in front of the user's eyes via an optical element. In the present invention, the user can manipulate the floating image by gestures. Specifically, after acquiring the operation gesture via the gesture, a new floating image based on the gesture is calculated so that the dialogue effect that can operate the stereoscopic image can be experienced.
図１は、浮遊画像表示装置の実施形態を示す模式図である。 FIG. 1 is a schematic view showing an embodiment of a floating image display device.
本実施形態では、浮遊画像表示装置１０を開示している。上記に描いた実施形態のように、浮遊画像表示装置１０は、一層の光学ユニット１０１及び表示パネル１０２で構成され、その中に、表示コンテンツを処理でき、外部から浮遊画像データを取得するための通信機能も備える画像プロセッサーが設けられる。浮遊画像表示装置１０において、浮遊画像データが映像処理されて、浮遊画像１０３を表示するようになる。
In this embodiment, the floating
さらに、浮遊画像表示装置１０に、使用者の手１２が浮遊画像１０３での動作を検知するジェスチャーセンサー１０５が設けられる。前記ジェスチャーセンサー１０５は、映像検知手段で実現されてもよい。映像検知手段は例えば、カメラで手１２のいくつかのキーパーツ（例えば、指、手のひら、指の関節）の連続画像を撮像して、映像処理によって、所定の時間間隔前後の映像変化を取得する。詳しくは、キーパーツのそれぞれがジェスチャーセンサー座標系での三次元座標（例えば、カルテシアン座標系で表示されたＸｓｅｎｓｏｒ， Ｙｓｅｎｓｏｒ， Ｚｓｅｎｓｏｒ、または球面座標系で表示されたγ， θ， φ）を連続取得することによって、三次元座標の変化量を得ることができる。そして、三次元座標の変化量を浮遊画像表示装置１０の座標系での三次元座標（Ｘｄｅｖｉｃｅ， Ｙｄｅｖｉｃｅ， Ｚｄｅｖｉｃｅ）の変化量（例えば、ベクトル（変位、方向）、速度（距離と時間）またはその他の情報）に変換し、最後に、移動、回転、ズームの動作の中の１つ又は任意な組み合わせを表すための対話コマンドを取得できる。
Further, the floating
他の実施形態において、ジェスチャーセンサー１０５は、光線遮断の原理でジェスチャーを検知することができる。詳しくは、光源で検知用光線を射出して、手１２がその光線が形成した範囲に入ると、光センサーで光線が手に形成した部分を検出して、その中からキーパーツが反射した光線の強度（変化しているパーツを検知する）及び光線が反射される時間差（変化深さを検知する）を取得する。同様にそれらの光線情報を連続で取得することによって、ジェスチャーによる三次元座標の変化量を得てから、移動、回転、ズームの動作の中の１つ又は任意の組み合わせを表す対話コマンドを決定する。
In another embodiment, the
さらに他の実施形態において、ジェスチャーセンサー１０５は、音波発生器及び受信器を備えて、音波の反射による情報を利用してジェスチャーを判断してもよい。詳しくは、手１２がジェスチャーセンサー１０５の検知範囲に位置する場合、音波を遮断するため、光線と同じように反射波が発生する。そのように、音波受信器は、音波の変化に基づいて、手１２のいくつかのキーパーツが空間内の変化量を検知できるようになり、さらにその変化量を三次元座標の変化量に変換することによって、移動、回転、ズームの動作の中の１つ又は任意の組み合わせを表す対話コマンドを決定することができる。
In still other embodiments, the
そのように、ジェスチャーを検知するため各種のジェスチャーセンサー１０５で実現される対話方法は、ジェスチャーによる手１２の指、手のひら及び指関節の三次元座標の変化量に基づいて、移動、回転、ズームの動作の中の１つ又は任意の組み合わせを表す対話コマンドを決定できる。その後、画像データベースに対応して記憶されている浮遊画像データを対応的に見つかり、浮遊画像１０３が各種のジェスチャーで操作された結果として、次の浮遊画像データを決定して、次の浮遊画像を表示するようになる。浮遊画像データは、静態的な浮遊画像であってもよいが、または連続的な浮遊動画であってもよい。静態的な浮遊画像であってもよいが、または連続的な浮遊動画のある位置にジェスチャーが検出されると、座標の変換及び三次元画像アルゴリズム等の処理プロセスでは高速な計算ができ、ジェスチャーにリアルタイムで反応してリアルタイムの対話な効果が得られる。
As such, the dialogue methods realized by the
図２は、浮遊画像表示装置の回路の実施形態を示す模式図である。 FIG. 2 is a schematic view showing an embodiment of a circuit of a floating image display device.
図２に示された浮遊画像表示装置２０は、ジェスチャーセンサー２２に接続されており、実施形態によっては、両方が別々の内蔵モジュールとして、同じ装置に統合されてもよいが、或いは、浮遊画像表示装置２０とジェスチャーセンサー２２は、互いに通信接続される、各々に独立した装置であってもよい。
The floating
浮遊画像表示装置２０において、映像処理及び上記説明した対話方法を実行するための画像プロセッサー２０３が配置される。画像プロセッサー２０３は、例えば、入力インターフェース２０１等の他の回路モジュールに接続され、浮遊画像表示装置２０は、入力インターフェース２０１を介してジェスチャーセンサー２２から検知されたジェスチャーに係る情報を受信するようになる。入力インターフェース２０１は通信インターフェースである。実施形態に応じて、入力インターフェース２０１を介して受信する情報は、ジェスチャーセンサー２２が検出したジェスチャーで形成した三次元座標の変化量であってもよい。その三次元座標の変化量に基づいて、画像プロセッサー２０３は、対話コマンドを決めて、さらに対話コマンドに基づいて、新たな浮遊画像の画像座標情報を算出することができる。
In the floating
画像プロセッサー２０３において、ジェスチャーセンサー２２が取得したジェスチャーに対応する三次元座標の変化量を取得した後、回転、移動、ズーム等対話コマンドを算出できる。それらの対話コマンドに基づいて、記憶ユニット２０６における画像データベースをチェックすることによって、対応的に変化下浮遊画像データを得ることができるが、または、画像プロセッサー２０３が対話コマンドに基づいて、リアタイムで新たな浮遊画像データを算出してもよい。かつ、新たな浮遊画像データは、静態的な浮遊画像または連続的な画像で形成された立体動画のいずれであってもよい。なかでも、浮遊画像データは、浮遊画像表示装置２０で表示した浮遊画像のカラー情報及び三次元空間情報を述べるために用いられる。画像プロセッサー２０３は、表示駆動ユニット２０４に電気的に接続され、浮遊画像データに基づいて、浮遊画像を表示ユニット２０５に介して表示することができる。
In the
浮遊画像表示装置２０は、有線又は無線の方式でジェスチャーセンサー２２におけるインターフェイスユニット２２３に接続される。インターフェイスユニット２２３は、メッセージを送受信するための通信インターフェースである。ジェスチャーセンサー２２に、光線、音波、または映像を利用したジェスチャーセンシング技術を実現するセンサーユニット２２１が設けられる。ジェスチャーとは、人間の手におけるいくつかのキーパーツが姿勢を変化する場合、それらのキーパーツ（例えば、指、手のひら、指関節）の位置の変化により検出した特定の姿勢という。
The floating
制御ユニット２２２は、ジェスチャーセンサー２２における制御回路であり、インターフェイスユニット２２３を介して浮遊画像表示装置２０に接続される。制御ユニット２２２は、センサーユニット２２１が得られた検知メッセージに基づいて、ジェスチャーによる三次元座標の変化量を取得できる。
The
ところで、ジェスチャーセンサー２２が検出したジェスチャーによる三次元座標の変化量は、ジェスチャーセンサー２２の座標系を基づいた座標情報であり、その後、三次元座標の変化量が浮遊画像表示装置２０に提供される時、座標の変換は行わなければならない。そのように、対話コマンドを、ジェスチャーセンサー２２の座標系での座標情報から、浮遊画像表示装置２０の座標系に変換しないと、表示すべき浮遊画像の画像座標情報に対応することができない。
By the way, the amount of change in the three-dimensional coordinates due to the gesture detected by the gesture sensor 22 is coordinate information based on the coordinate system of the gesture sensor 22, and then the amount of change in the three-dimensional coordinates is provided to the floating
なかでも、浮遊画像表示装置２０で表示する浮遊画像は、何れも既に記憶されておくものであるため、ジェスチャーが座標変換された後の同じ座標系であれば、浮遊画像とジェスチャーとの関連性を対応的に知ることができる。その関連性は、ジェスチャーで形成した三次元座標と、表示最中の浮遊画像との関係を表している。例えば、移動ジェスチャーは、浮遊画像をある方向に移動させるとされているため、浮遊画像の三次元座標は当該移動方向のある変化量を加えて、新たな位置に、新たな浮遊画像を表示するようになる。画像プロセッサー２０３において、新たな浮遊画像データをリアルタイムに照会またはリアルタイムに計算して表示駆動ユニット２０４に提供して表示画像を形成するようになる。回転ジェスチャーは、浮遊画像を一方向に向かって回転させるとされているため、元の浮遊画像の三次元座標に回転の変化量を加えて、新たな浮遊画像データを形成することによって、新たな浮遊画像データを表示する。同じように、ズームジェスチャーであれば、浮遊画像の大きさを同じ参考点の位置に対する三次元座標を参照して変化させる。画像プロセッサー２０３は、画像データベースを調べるか又はリアルタイムで計算することによって、新たな浮遊画像データを生成して、表示駆動ユニット２０４に表示するために提供する。
Among them, since the floating images displayed by the floating
対話コマンドを形成するために、上記移動、回転、ズーム等のジェスチャーを任意に組み合わせることができる。対話コマンドを形成してから、それを画像プロセッサー２０３で計算して新たな浮遊画像データを生成するようになる。浮遊画像データは、浮遊画像表示装置２０が直接に浮遊画像を表示するためのデータである。
Gestures such as move, rotate, and zoom can be arbitrarily combined to form a dialogue command. After forming the dialogue command, the
本発明が提出した浮遊画像表示装置を利用して実行される対話方法についてさらに他の実施形態において、浮遊画像表示装置２０にコンピュータ接続ユニット２０２が設けられる。コンピュータ接続ユニット２０２は、表示装置における画像プロセッサー２０３に電気的に接続される。コンピュータ接続ユニット２０２によって、浮遊画像表示装置２０は、所定の通信インターフェースに介して無線（例えば、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標））又は有線（ＵＳＢ、ＲＳ２３２等の業界標準のインターフェース）手段でコンピュータ装置２５に接続する。コンピュータ装置２５にコンピュータシステムが執行されており、浮遊画像表示装置２０と送受信するためのドライバープログラムが実行されている。それにより、ジェスチャーで浮遊画像表示装置２０を操作して生成した対話コマンドは、コンピュータシステムに送信され、コンピュータシステムが対話コマンドに基づいて、コンピュータシステムにおけるプロセスに介して計算して新たな浮遊画像データを生成してから、浮遊画像表示装置２０に新たな浮遊画像データを新たな浮遊画像を表示するために送信する。
Regarding the dialogue method executed by using the floating image display device submitted by the present invention In still another embodiment, the floating
特定の実施形態では、コンピュータシステムで執行されるドライバープログラムは、コンピュータシステムと浮遊画像表示装置２０との通信インターフェースを構築するように、コンピュータシステムと浮遊画像表示装置２０との間に交換させるメッセージをインタプリタ及びコンパイルする。さらに、ドライバープログラムは、コンピュータシステムが対話コマンドに基づいて生成したメッセージを基にして、外部システム（例えば、画像サーバー）にリクエストを発信して、そのように、浮遊画像表示装置２０に提供するための画像データまたは新たな画像データをダウンロードする許可を取得する。画像データとしては、例えば、上記浮遊画像リソースファイルが挙げられる。リソースファイルに、浮遊画像に係るカラー情報及び三次元空間情報が記憶されている。表示装置における画像プロセッサー２０３は、リソースファイルに基づいて、表示パネルからある高さを離れた浮遊画像を算出できる。
In certain embodiments, the driver program executed by the computer system sends a message to be exchanged between the computer system and the floating
図３は、浮遊画像表示装置がコンピュータシステムを介して外部システムに接続する実施形態を示す模式図である。この実施形態において、浮遊画像表示装置１０は、コンピュータシステム３５によりネットワーク３０を介して画像サーバー３０１に接続する。上記浮遊画像データは、画像サーバー３０１が提供するものであってもよい。画像サーバー３０１に画像データベース３０３が設けられ、各種の対話コマンドが対応する浮遊画像データが記憶されている。
FIG. 3 is a schematic view showing an embodiment in which a floating image display device is connected to an external system via a computer system. In this embodiment, the floating
実際の運用方法では、使用者が浮遊画像で対話を行う時、まず、現時点に浮遊画像表示装置１０に記憶されたデータに、対話コマンドに対応する次の表示画像が含まれているか否かについて確認する。新たな（次の）表示画像が含まれている場合、浮遊画像表示装置１０は自力で計算して浮遊画像データを生成して表示してもよい。一方、対話による新たな（次の）表示画像が含まれていない場合、対話コマンドがコンピュータシステム３５に送信される次第、即刻にネットワーク３０を介して画像サーバー３０１に新たな（次の）浮遊画像リソースファイルをダウンロードするリクエストを送信し得、すると、新たな浮遊画像データをダウンロードできるようになり、さらに、ダウンロードされた新たな浮遊画像データをコンピュータシステム３５に介して浮遊画像表示装置１０に送信し、次の対話による浮遊画像を表示するようになる。
In the actual operation method, when the user has a dialogue with the floating image, first, whether or not the data stored in the floating
図１を参照されたい。使用者が手１２により浮遊画像表示装置１０において、浮遊画像と交流している時、それにより生成したジェスチャーは、三次元座標の変化量を形成して、それに基づいて、対話コマンドが得られる。この時、特定された通信インターフェースを介して、対話コマンドをコンピュータシステム３５に送信し、コンピュータシステム３５で実行されるソフトウェアプログラムは、対話コマンドに基づいて、所定のプロセスを実行して、さらに、ネットワーク３０を介して対話コマンドを画像サーバー３０１に送信し、画像サーバー３０１が対話コマンドに基づいて、新たな浮遊画像データを提供するようにしてもよい。
See FIG. When the user interacts with the floating image on the floating
さらに、図４を参照されたい。図４のフローチャートは、浮遊画像表示装置がコンピュータシステムと協働して対話方法を実行する実施形態を示している。 Further, see FIG. The flowchart of FIG. 4 shows an embodiment in which the floating image display device performs an interactive method in cooperation with a computer system.
浮遊画像表示装置がコンピュータ装置に接続方法の１つとしては、モジュール化されてコンピュータ装置内に内蔵されてもよいが、或いは、または所定の通信手段を介してコンピュータ装置に外部接続してもよい。この実施形態のプロセスにおいて、浮遊画像表示装置が表示する浮遊画像は、主にコンピュータシステムで実行される所定のソフトウェアプログラムに基づいて、対話を行って生成した画像である。実施形態のプロセスは、初めに浮遊画像表示装置とコンピュータシステムとを通信接続してから、コンピュータシステムからデータ（ステップＳ４０１）を受信し得る。そのデータでは、浮遊画像に係るカラー情報及び三次元空間情報が含まれて、浮遊画像表示装置における画像プロセッサーはそのデータに基づいて、画像データを導出する（ステップＳ４０３）。さらに画像データを浮遊画像データ（ステップＳ４０５）として変換させる。 As one of the methods for connecting the floating image display device to the computer device, the floating image display device may be modularized and built in the computer device, or may be externally connected to the computer device via a predetermined communication means. .. In the process of this embodiment, the floating image displayed by the floating image display device is an image generated by interacting with each other based on a predetermined software program mainly executed by a computer system. The process of the embodiment may first communicate and connect the floating image display device to the computer system and then receive data (step S401) from the computer system. The data includes color information and three-dimensional spatial information related to the floating image, and the image processor in the floating image display device derives image data based on the data (step S403). Further, the image data is converted as floating image data (step S405).
さらに、ステップＳ４０７に示すように、浮遊画像表示装置に浮遊画像を表示すると共に、使用者が浮遊画像表示装置で操作を行うことができるようにする。例えば、ステップＳ４０９では、浮遊画像表示装置におけるジェスチャーセンサーは、ジェスチャーを検知する。ステップＳ４１１では、ジェスチャーに対応する座標の変化を取得する。ステップＳ４１３では、ジェスチャーに対応する座標の変化を浮遊画像表示装置の画像プロセッサーで計算され、三次元座標の変化量を形成する。三次元座標の変化量は、特定された部分が特定された方向に移動、回転及び／又はズームすることにより生じた三次元座標の変化量という。三次元座標の変化量によって、対話コマンドが決定される。 Further, as shown in step S407, the floating image is displayed on the floating image display device, and the user can operate on the floating image display device. For example, in step S409, the gesture sensor in the floating image display device detects the gesture. In step S411, the change of the coordinates corresponding to the gesture is acquired. In step S413, the change in the coordinates corresponding to the gesture is calculated by the image processor of the floating image display device, and the amount of change in the three-dimensional coordinates is formed. The amount of change in the three-dimensional coordinates is referred to as the amount of change in the three-dimensional coordinates caused by moving, rotating, and / or zooming the specified part in the specified direction. The dialogue command is determined by the amount of change in the three-dimensional coordinates.
また、ステップＳ４１５では、対話コマンドをコンピュータシステムの通信インターフェースを介してコンピュータシステムに送信する。ステップＳ４１７では、コンピュータシステムにおいて実行されるソフトウェアプログラムによって、対話コマンドに基づいて、対応的なプロセスを行う。なかでも、当該プロセスは、コンピュータシステムが、例えば、ソフトウェアプログラムにおける現画像の次の動作に係る画像など、新たな画像を表示するようにコンピュータシステムを駆動する。この時、例えば、ステップＳ４１９では、コンピュータシステムは、ソフトウェアプログラムによって、当該対話コマンドに応じて生じた動作（三次元座標の変化量に対応した動作）を浮遊画像表示装置に送信するための画像データまたは新たな画像データに変換する。また、ソフトウェアプログラムによって、浮遊画像表示装置から受信したジェスチャーを対話コマンドに形成した後、対話コマンドに基づいて、対応的なプロセスを実行した後、使用者がコンピュータシステムにおけるソフトウェアプログラムを操作して、新たなコメントを生成し、そして、オペレーティングプログラムは、ソフトウェアプログラムに新しく生成したコメントを浮遊画像表示装置に提供するための新たな画像データに変換するようにしてもよい。 Further, in step S415, the dialogue command is transmitted to the computer system via the communication interface of the computer system. In step S417, a software program executed in the computer system performs a corresponding process based on the interactive command. In particular, the process drives the computer system to display a new image, for example, an image relating to the next operation of the current image in a software program. At this time, for example, in step S419, the computer system transmits image data to the floating image display device by the software program to transmit the operation generated in response to the dialogue command (the operation corresponding to the amount of change in the three-dimensional coordinates). Or convert to new image data. In addition, after the software program forms the gesture received from the floating image display device into an interactive command and then executes a corresponding process based on the interactive command, the user operates the software program in the computer system. The new comment may be generated and the operating program may convert the newly generated comment into the software program into new image data for providing to the floating image display device.
ステップＳ４２１において、コンピュータシステムは、このジェスチャーで形成された対話コマンドに対応する新たな画像データ、即ち、新しい色彩及び三次元座標情報を、浮遊画像表示装置に送信する。ステップＳ４２３において、浮遊画像表示装置は新しい色彩及び三次元座標情報に基づいて、新たな浮遊画像データを導出してから、新たな浮遊画像を表示する。 In step S421, the computer system transmits new image data corresponding to the dialogue command formed by this gesture, that is, new color and three-dimensional coordinate information to the floating image display device. In step S423, the floating image display device derives new floating image data based on the new color and three-dimensional coordinate information, and then displays the new floating image.
図５は、ジェスチャーセンサーがジェスチャーに基づいて対話コマンドを生成することによって、対話方法を実行する実施形態の流れを示す別のフローチャートである。 FIG. 5 is another flowchart showing the flow of an embodiment in which the gesture sensor executes a dialogue method by generating a dialogue command based on the gesture.
この実施形態において、まずはステップＳ５０１に示すように、使用者が浮遊画像表示装置で浮遊画像を見ると共に、ジェスチャーでその画像を操作し得る。表示装置は、ジェスチャーセンサーによって、使用者が浮遊画像表示装置で表示された浮遊画像でしたジェスチャーを検知する。この場合、例えば、ステップＳ５０３のように、ジェスチャーセンサーによって、キーパーツ（例えば、指、指関節、手のひら等）に係る三次元座標に変化を取得できる。ステップＳ５０５では、三次元座標の変化量は、ジェスチャーセンサーが所定の期間においてジェスチャーを検知して形成したものであり、ニーズによって、ジェスチャーセンサーが付けた座標系の座標情報を、浮遊画像表示装置で使用される座標系に変換してもよい。同じ座標系にすることによって、画像プロセッサーは、ジェスチャーで形成した対話コマンドと浮遊画像との関連性を導出できる。 In this embodiment, first, as shown in step S501, the user can view the floating image on the floating image display device and manipulate the image with a gesture. The display device uses a gesture sensor to detect a gesture that is a floating image displayed by the user on the floating image display device. In this case, for example, as in step S503, the gesture sensor can acquire changes in the three-dimensional coordinates related to the key parts (for example, fingers, knuckles, palms, etc.). In step S505, the amount of change in the three-dimensional coordinates is formed by the gesture sensor detecting the gesture in a predetermined period, and the coordinate information of the coordinate system attached by the gesture sensor is displayed on the floating image display device according to the needs. It may be converted to the coordinate system used. By using the same coordinate system, the image processor can derive the relationship between the dialogue command formed by the gesture and the floating image.
ステップＳ５０７において、ジェスチャーから１つ又は複数のキーパーツによる三次元座標の変化量を判断し、それに基づいて対話コマンドを決定する。特定の実施形態において、その対話コマンドをコンピュータシステムに送信し、元の表示浮遊画像の画像座標情報と比較して、新たな浮遊画像の画像座標情報（ステップＳ５０９）を算出する。なかでも、特定の実施形態においては、浮遊画像表示装置において、ジェスチャーに基づいて対話コマンドを決定すると、表示装置における画像プロセッサーはその対話コマンドに基づいて記憶ユニットにおける画像データをチェックする。当該ジェスチャーと対応する画像データが存在する場合、三次元座標の変化量に対応する浮遊画像データを取得できる。或いは、画像プロセッサーが対話コマンドに基づいて三次元座標の変化量に対応する浮遊画像データを即刻に算出してもよい。 In step S507, the amount of change in the three-dimensional coordinates due to one or more key parts is determined from the gesture, and the dialogue command is determined based on the amount of change. In a particular embodiment, the dialogue command is transmitted to the computer system and compared with the image coordinate information of the original display floating image to calculate the image coordinate information of the new floating image (step S509). Among them, in a specific embodiment, when the floating image display device determines the dialogue command based on the gesture, the image processor in the display device checks the image data in the storage unit based on the dialogue command. When the image data corresponding to the gesture exists, the floating image data corresponding to the amount of change in the three-dimensional coordinates can be acquired. Alternatively, the image processor may immediately calculate the floating image data corresponding to the amount of change in the three-dimensional coordinates based on the dialogue command.
特定の実施形態において、コンピュータシステムで実行されるドライバープログラムは、コンピュータシステムが当該対話コマンドに応じて生成したメッセージに基づいて、画像サーバーに保存した画像データベースをチェックするように画像サーバーにリクエストを発信してもよい。その後、対応的な画像データがあったと確認した場合、対応的な画像データをダウンロードすることによって、浮遊画像表示装置は、コンピュータシステムから、浮遊画像を各種ジェスチャーで操作された後表示すべき次の浮遊画像データを得ることができる（ステップＳ５１１）。そして、その次の浮遊画像データにより、新たな浮遊画像を表示する（ステップＳ５１３）。 In certain embodiments, the driver program running on the computer system makes a request to the image server to check the image database stored on the image server based on the message generated by the computer system in response to the interactive command. You may. After that, when it is confirmed that there is corresponding image data, by downloading the corresponding image data, the floating image display device should display the floating image after being operated by various gestures from the computer system. Floating image data can be obtained (step S511). Then, a new floating image is displayed based on the next floating image data (step S513).
続いて、図６は、浮遊画像表示装置が対話方法を執行する実施形態フローチャートである。このフローチャートは、ジェスチャーセンサー６１、浮遊画像表示装置６２、コンピュータシステム６３及びアプリケーションサーバ６４の間の対話プロセスを示している。
Subsequently, FIG. 6 is a flowchart of an embodiment in which the floating image display device executes the dialogue method. This flowchart shows the dialogue process between the
当該対話プロセスの実施形態によって、対話方法を適用されるコンピュータ装置は、浮遊画像表示装置６２に接続される。使用者がコンピュータシステム６３におけるアプリケーションプログラムを操作して、ソフトウェアプログラムを起動すると、そのソフトウェアプログラムは、アプリケーションサーバ６４から例えば、Ｗｅｂコンテンツ等のコンテンツを読み込む（ステップＳ６０１）。この時、コンピュータシステム６３にコンピュータ画像が表示される（ステップＳ６０３）。浮遊画像を表示するために、まず浮遊画像に係る関連情報を含むコマンドデータを生成して、そのコマンドデータを所定の通信インターフェースに介して浮遊画像表示装置６２に送信する（ステップＳ６０５）。浮遊画像表示装置６２における画像プロセッサーは、浮遊画像に係るカラー情報及び三次元空間情報に基づいて、浮遊画像データを算出する（ステップＳ６０７）。浮遊画像データは、表示パネルに浮遊画像を表示するために用いられる。
According to the embodiment of the dialogue process, the computer device to which the dialogue method is applied is connected to the floating
そのように、使用者は、浮遊画像表示装置６２に表示された浮遊画像を見ることができる。そして、ジェスチャーを介して浮遊画像を操作できる。浮遊画像表示装置６２は、ジェスチャーセンサー６１によって、ジェスチャーを検知する（ステップＳ６０９）。そして、得られたジェスチャーによる移動、回転、ズーム等の動作が計算され三次元座標の変化量に変換した。三次元座標の変化量によっては、対応的な対話コマンドが生成される（ステップＳ６１１）。
As such, the user can see the floating image displayed on the floating
その後、浮遊画像表示装置６２から対話コマンドがコンピュータシステム６３に送信される（ステップＳ６１３）。そして、コンピュータシステム６３に執行されるソフトウェアプログラムは、対話コマンドに基づいて、例えば、対話によるコンピュータ画像を表示する対応的なプロセスを実行できる（ステップＳ６１５）。この場合、コンピュータシステム６３が対話コマンドを処理する間に、アプリケーションサーバ６４から更なるコンテンツを取得する工程が実行されてもよい。また、同時に三次元座標の変化量に対応する新たな画像データを得って、その更なるコンテンツ又は三次元座標の変化量に対応する新たな画像データをコマンドパケットとして形成して、浮遊画像表示装置６２に送信する工程が実行されてもよい（ステップＳ６１７）。
After that, the floating
浮遊画像表示装置６２では、受信したコマンドパケットから画像データを取得して、その画像データを計算して浮遊画像を表示するためのデータに変換してから、表示パネルに今回の対話により形成した浮遊画像が表示される（ステップＳ６１９）。そして、浮遊画像表示装置６２は、次のジェスチャーを検知するようになる（ステップＳ６２１）。
The floating
異なる実施形態において、前記浮遊画像表示装置とコンピュータ装置と協働する方法は、様々な変化ができる。例えば、浮遊画像表示装置をモジュール化してコンピュータシステムの構造に内蔵してもよい。また、ジェスチャーセンサーは、自身のセンサー技術によって、ジェスチャーが検知できる位置に配置さればよい。 In different embodiments, the method of cooperating with the floating image display device and the computer device can be varied. For example, the floating image display device may be modularized and built into the structure of a computer system. In addition, the gesture sensor may be placed at a position where the gesture can be detected by its own sensor technology.
特定の実施形態では、例えば、図７を参照されたい。図７は、コンピュータ装置に浮遊画像表示装置が配置された実施形態を示す模式図である。 In certain embodiments, see, for example, FIG. FIG. 7 is a schematic view showing an embodiment in which a floating image display device is arranged on a computer device.
図７では、例えば、ラップトップ等のコンピュータ装置７０が示されて、そのキーボードの部分に、モジュール化された浮遊画像表示装置が配置される。即ち、図７では、コンピュータ装置７０に内蔵した浮遊画像表示モジュール７２が示されている。その詳細な構造又は回路は、図１及び図２に示した実施形態を参考できる。
In FIG. 7, for example, a
浮遊画像表示モジュール７２における処理回路は、コンピュータシステムが提供した画像データを変換することによって浮遊画像７２１を表示できる。コンピュータ装置７０における所定の位置にジェスチャーセンサー７４が配置される。ジェスチャーセンサー７４は、浮遊画像表示モジュール７２と電気的に接続されており、映像検知手段、光線遮断手段または音波反射手段等の検知技術で、使用者のジェスチャーを取得する。得られたジェスチャーは、使用者の指、手のひら及び指関節の三次元座標に変化、或いは、他のオブジェクトまたは人体部分が浮遊画像で行った対話である。精確に言えば、ジェスチャーセンサー７４で使用される技術は、３次元空間タッチ技術を実現している。空間センサーは、例えば、２次元カメラ（２Ｄ Ｃａｍｅｒａ）、深度カメラ（Ｄｅｐｔｈ Ｃａｍｅｒａ）、グレーティングセンサ等の光学センサーであるか、またはレーダ（Ｒａｄａｒ）、超音波（Ｕｌｔｒａｓｏｎｉｃ）等の音波センサーを基に、フローティングタッチ（Ｈｏｖｅｒｉｎｇ ｔｏｕｃｈ）を実現したセンサーをいう。そのように、前記ジェスチャーセンサー技術によれば、使用者の手部（又は所定のオブジェクト、人体部分）の動作を継続的に追跡できる。また、ジェスチャーセンサー７４に、追跡計算、手部関節位置分析、座標の転換等の機能が含まれてもよい。そのように、ジェスチャーセンサー７４は、予めに設定したジェスチャーと対話コマンドとの対照表を用意して、所定の人体部分が浮遊画像の表示範囲内の移動、回転、またはズームの動作の１つ又は任意の組み合わせに基づいて、対話コマンドを決定することができる。
The processing circuit in the floating
図８は、コンピュータ装置８０に浮遊画像表示モジュール８２が内蔵した実施形態を示す模式図である。これは、構造を介して内蔵されモジュール化された浮遊画像表示装置の実施形態である。浮遊画像表示モジュール８２によって、コンピュータ装置８０の所定の位置に浮遊画像８２１が表示され、コンピュータ装置８０で実行されるソフトウェアプログラムに応じて、対応的なコンピュータ画像８０１が表示される。
FIG. 8 is a schematic view showing an embodiment in which the floating
図９は、別の実施形態を示す模式図である。図９は、コンピュータ装置９０が外部のアプリケーションサーバからコンテンツを取得する例を示している。この実施形態において、外部のアプリケーションサーバとしては、Ｅコマースプラットフォームである。図９において、商品画像９０１に、商品名、価格など、又は使用者が選択をすることができる（コレクト、カートに入れる）等の選択肢が標示されている商品画像９０１が、コンピュータ装置９０に表示される。また、外部接続でコンピュータ装置９０と接続された浮遊画像表示装置９２には、同期に商品浮遊画像９２１が表示される。
FIG. 9 is a schematic view showing another embodiment. FIG. 9 shows an example in which the
この時、使用者は、浮遊画像表示装置９２に介して商品の浮遊画像９２１を見ることができる他、ジェスチャーで商品を見る角度を変更するように商品の三次元画像を操作できる。商品浮遊画像９２１が三次元画像であるため、ジェスチャーは、例えば、図９に記載された矢印の示すように、左右の水平回転、上下の垂直回転など、空間内の様々な方向への回転を含めることができる。なかでも、ジェスチャーを浮遊画像に変換するための方法では、上記の実施形態に説明しました。なお、浮遊画像表示装置９２の内部にその商品の立体画像を示すための全て画像データが予めに記憶されてもよいが、実際のニーズに応じて、コンピュータ装置９０または外部画像サーバーからその画像データを取り込むようにしてもよい。
At this time, the user can see the floating
例えば、浮遊画像表示装置９２に使用者が興味を持つ１つまたは複数のアイテムを表示する。使用者は単一または複数のジェスチャーの組み合わせで選択することができ、アイテムを前進、後退、左右水平移動、垂直上下移動などあらゆる方向に移動させることができ、また、アイテムを自由に回転させたり、ズームインして詳細を確認したり、ズームアウトして他のアイテムと一緒に確認したりと、あらゆる角度からアイテムを見ることができる。また、ジェスチャーを使って、前または次のアイテムのリストに移動し、或いは、購入を完了するためにある商品の立体画像を選択するなどができる。
For example, the floating
図１０は、コンピュータ装置９０におけるコンピュータシステムが１つまたは複数のアプリケーションプログラムを実行すると、表示モニターにアプリケーション画像９０２が表示されることを示す模式図である。この時、外付けの浮遊画像表示装置９２に、１つ又は複数のアプリケーションプログラムのソフトウェア浮遊画像９２２が表示される。なかでも、メニュー表の形式で複数のアプリケーションプログラムのアイコン（ｉｃｏｎ）が表示されてもよい。使用者は、ジェスチャーでソフトウェア浮遊画像９２２を操作することによって、執行又は見るアプリケーションプログラムコンテンツを選択する。その場合、関連対話コマンドは、コンピュータシステムに送信され、対応的なアプリケーション画像９０２が表示される。
FIG. 10 is a schematic diagram showing that when the computer system in the
例えば、使用者が浮遊画像表示装置９２を利用して複数のアプリケーションプログラムのアイコンを見る時、浮遊画像表示装置９２に、１つまたは複数のフローティングアイコンを表示させるために、ソフトウェア浮遊画像９２２をフローティング操作できる。その上で、使用者は、１つ又は複数の組み合わせたジェスチャーで見たい浮遊画像をズームインしたりズームアウトしたりすることができる。
For example, when the user uses the floating
図１１は、コンピュータ装置９０にビデオ再生プログラムが実行されることを示している。それに対応的に表示されたのは、音声・動画再生画像９０３である。この実施形態において、外付けの浮遊画像表示装置９２に表示された浮遊画像は、使用者がそのビデオ再生機能を操作するための音楽再生ツールの浮遊画像９２３である。図１１は模式的に、一時停止、停止、再生、早送り、早戻しなど、いくつかのオーディオおよびビデオ再生機能のためのボタンが表示される。使用者は、浮遊画像表示装置９２に表示された音楽再生ツール浮遊画像９２３を利用して、オーディオおよびビデオコンテンツを一時停止、停止、再生、早送り、早戻すように操作できる。
FIG. 11 shows that a video playback program is executed on the
例えば、使用者が浮遊画像表示装置９２に表示された音楽再生ツールの浮遊画像９２３を操作して、動画の再生を選択することによって、例えば、図１１に示した音声・動画再生画像９０３’等に構成した動画を再生できる。使用者は、浮遊画像表示装置９２を利用して、ジェスチャーで動画を回転して異なる角度から動画のコンテンツを見ることができるが。他のジェスチャーでの操作は、例えば、浮遊画像のズームイン、ズームアウト、動画のフローティング再生、動画の一時停止、前の動画の再生、次の動画の再生等が挙げられる。
For example, when the user operates the floating
図１２にコンピュータ装置１２０が示されている。コンピュータ装置１２０のある位置に浮遊画像表示モジュール１２２が内蔵されている。コンピュータシステムの作動によって、浮遊画像表示モジュール１２２にバーチャルアシスタントの浮遊画像１２３が表示されると共に、それと同時にコンピュータ装置１２０に、バーチャルアシスタントの浮遊画像１２３が操作された結果を示すためのコンピュータ画像１２１が表示されてもよい。
FIG. 12 shows the
例えば、コンピュータシステムでは、浮遊画像表示モジュール１２２に、バーチャルアシスタントを実現するためのバーチャルアシスタントの浮遊画像１２３が表示される。使用者は、そのフローティングアシスタントと対話することができる。実例を挙げれば、バーチャルアシスタントの浮遊画像１２３の異なる部分を形式的に触ることによって、浮遊画像１２３に異なる反応をトリガーしてもよい。例えば、浮遊画像の頭に触るとバーチャルアシスタントが挨拶をするようになり、浮遊画像の脚に触るとバーチャルアシスタントが転んでなるという対話効果が果たせる。
For example, in a computer system, a floating
上記を踏まえて、本発明は、浮遊画像表示技術の応用を開示する。特に、システムとなるように、コンピュータシステムに接続して対話方法を実行する浮遊画像表示装置が開示される。浮遊画像表示装置が生成した浮遊画像は、複数の光束が投射するように形成したリアルイメージであり、非遠近両用視差による立体視効果ではないため、当該表示装置を利用して生成した対話効果、及びコンピュータシステムとの対話プロセスは、従来の技術に対して斬新な発想であることも明らかである。 Based on the above, the present invention discloses an application of a floating image display technique. In particular, a floating image display device that connects to a computer system and executes a dialogue method so as to be a system is disclosed. The floating image generated by the floating image display device is a real image formed so that a plurality of light beams are projected, and is not a stereoscopic effect due to non-perspective parallax. And it is also clear that the dialogue process with the computer system is a novel idea to the conventional technology.
以上に開示された内容は本発明の好ましい実施形態に過ぎず、これにより本発明の特許請求の範囲を制限するものではない。そのため、本発明の明細書及び添付図面の内容に基づき為された等価の技術変形は、全て本発明の特許請求の範囲に含まれるものとする。 The contents disclosed above are merely preferable embodiments of the present invention, and thereby do not limit the scope of claims of the present invention. Therefore, all equivalent technical modifications made based on the contents of the specification and the accompanying drawings of the present invention shall be included in the claims of the present invention.
１２：手
１０：浮遊画像表示装置
１０１：光学ユニット
１０２：表示パネル
１０３：浮遊画像
１０５：ジェスチャーセンサー
２０：浮遊画像表示装置
２０１：入力インターフェース
２０３：画像プロセッサー
２０４：表示駆動ユニット
２０５：表示ユニット
２０６：記憶ユニット
２２：ジェスチャーセンサー
２２１：センサーユニット
２２２：制御ユニット
２２３：インターフェイスユニット
２０２：コンピュータ接続ユニット
２５：コンピュータシステム
３０：ネットワーク
３０１：画像サーバー
３０３：画像データベース
３５：コンピュータシステム
６１：ジェスチャーセンサー
６２：浮遊画像表示装置
６３：コンピュータシステム
６４：アプリケーションサーバ
７０：コンピュータ装置
７２：浮遊画像表示モジュール
７２１：浮遊画像
７４：ジェスチャーセンサー
８０：コンピュータ装置
８０１：コンピュータ画像
８２：浮遊画像表示モジュール
８２１：浮遊画像
９０：コンピュータ装置
９０１：商品画像
９２：浮遊画像表示装置
９２１：商品浮遊画像
９０２：アプリケーション画像
９２２：ソフトウェア浮遊画像
９０３， ９０３’：音声・動画再生画像
９２３：音楽再生ツール浮遊画像
１２０：コンピュータ装置
１２１：コンピュータ画像
１２２：浮遊画像表示モジュール
１２３：バーチャルアシスタント浮遊画像
ステップＳ４０１〜Ｓ４２３
ステップＳ５０１〜Ｓ５１３
ステップＳ６０１〜Ｓ６２１
12: Hand 10: Floating image display device 101: Optical unit 102: Display panel 103: Floating image 105: Gesture sensor 20: Floating image display device 201: Input interface 203: Image processor 204: Display drive unit 205: Display unit 206: Storage unit 22: Gesture sensor 221: Sensor unit 222: Control unit 223: Interface unit 202: Computer connection unit 25: Computer system 30: Network 301: Image server 303: Image database 35: Computer system 61: Gesture sensor 62: Floating image Display device 63: Computer system 64: Application server 70: Computer device 72: Floating image display module 721: Floating image 74: Gesture sensor 80: Computer device 801: Computer image 82: Floating image display module 821: Floating image 90: Computer device 901: Product image 92: Floating image display device 921: Floating product image 902: Application image 922:
Steps S501 to S513
Steps S601 to S621
Claims (16)
前記浮遊画像表示装置が前記コンピュータシステムから画像データを受信し、前記画像データを浮遊画像データに変換し、
前記浮遊画像表示装置が前記浮遊画像データに基づいて、前記浮遊画像表示装置における表示パネルに浮遊画像を表示し、
ジェスチャーセンサーによって、ジェスチャーを検知し、前記ジェスチャーによる三次元座標の変化量を取得し、
前記三次元座標の変化量に基づいて対話コマンドを決定し、
前記コンピュータシステムが前記対話コマンドに応じて、前記三次元座標の変化量に照会した新たな画像データを取得し、前記浮遊画像表示装置が前記コンピュータシステムから前記新たな画像データを受信し、前記新たな画像データを新たな浮遊画像データに変換し、
前記浮遊画像表示装置が前記新たな浮遊画像データを基づいて、前記表示パネルに新たな浮遊画像を表示する、
ことを特徴とする浮遊画像との対話方法。 A method of interacting with a floating image, which is performed on a floating image display device connected to a computer system.
The floating image display device receives image data from the computer system, converts the image data into floating image data, and then converts the image data into floating image data.
The floating image display device displays the floating image on the display panel of the floating image display device based on the floating image data.
The gesture sensor detects the gesture and acquires the amount of change in the three-dimensional coordinates due to the gesture.
The dialogue command is determined based on the amount of change in the three-dimensional coordinates.
In response to the dialogue command, the computer system acquires new image data inquired about the amount of change in the three-dimensional coordinates, the floating image display device receives the new image data from the computer system, and the new image data is received. Convert image data into new floating image data,
The floating image display device displays a new floating image on the display panel based on the new floating image data.
A method of interacting with a floating image, which is characterized by the fact that.
ジェスチャーを検知してジェスチャーによるメッセージを生成するジェスチャーセンサーと、前記画像プロセッサーとに電気的に接続される、入力インターフェースと、
前記画像プロセッサーに電気的に接続され、前記浮遊画像の画像データに基づいて、前記浮遊画像を取得し、表示ユニットに前記浮遊画像を表示する表示駆動ユニットと、
前記画像プロセッサーに電気的に接続されると共に、通信インターフェースに介して、コンピュータシステムを実行するコンピュータ装置に接続される、コンピュータ接続ユニットと、
を備える、浮遊画像表示装置であって、
前記浮遊画像表示装置は、前記コンピュータシステムから画像データを受信し、画像データを前記浮遊画像データに変換し、前記浮遊画像データは前記表示駆動ユニットによって前記浮遊画像に変換し、前記表示ユニットに前記浮遊画像が表示され、
前記浮遊画像表示装置は、前記ジェスチャーセンサーから前記ジェスチャーによるメッセージを受信し、前記ジェスチャーによるメッセージを三次元座標の変化量に変換して、対話コマンドを決定し、
前記対話コマンドに応じて、前記三次元座標の変化量に対応する新たな画像データを生成させるために、前記浮遊画像表示装置は、前記コンピュータ接続ユニットに介して、前記対話コマンドを前記コンピュータシステムに送信し、
前記浮遊画像表示装置は、前記コンピュータシステムから前記新たな画像データを取得し、前記新たな画像データを新たな浮遊画像データに変換し、前記新たな浮遊画像データがさらに新たな浮遊画像に変換され、前記表示ユニットに表示される、
ことを特徴とする浮遊画像表示装置。 An image processor that forms image data for floating images,
A gesture sensor that detects a gesture and generates a message by the gesture, an input interface that is electrically connected to the image processor, and the like.
A display drive unit that is electrically connected to the image processor, acquires the floating image based on the image data of the floating image, and displays the floating image on the display unit.
A computer connection unit that is electrically connected to the image processor and is connected to a computer device that executes a computer system via a communication interface.
It is a floating image display device equipped with
The floating image display device receives image data from the computer system, converts the image data into the floating image data, converts the floating image data into the floating image by the display driving unit, and displays the floating image data on the display unit. Floating image is displayed,
The floating image display device receives a message by the gesture from the gesture sensor, converts the message by the gesture into a change amount of three-dimensional coordinates, and determines a dialogue command.
In order to generate new image data corresponding to the amount of change in the three-dimensional coordinates in response to the dialogue command, the floating image display device sends the dialogue command to the computer system via the computer connection unit. Send and
The floating image display device acquires the new image data from the computer system, converts the new image data into new floating image data, and further converts the new floating image data into a new floating image. , Displayed on the display unit,
A floating image display device characterized by this.
前記浮遊画像表示装置は、
浮遊画像の画像データを形成する画像プロセッサーと、
ジェスチャーを検知してジェスチャーによるメッセージを生成するジェスチャーセンサーと、前記画像プロセッサーとに電気的に接続される、入力インターフェースと、
前記画像プロセッサーに電気的に接続され、前記浮遊画像の画像データに基づいて、前記浮遊画像を取得し、表示ユニットに前記浮遊画像を表示する表示駆動ユニットと、
前記画像プロセッサーに電気的に接続されると共に、通信インターフェースに介して、コンピュータシステムを実行するコンピュータ装置に接続される、コンピュータ接続ユニットと、
を備え、
前記コンピュータシステムにドライバープログラムが実行され、前記ドライバープログラムは、前記コンピュータシステムと前記浮遊画像表示装置との間の通信インターフェースを構築し、前記コンピュータシステムと前記浮遊画像表示装置との間に送受信されるメッセージをンタプリタ又はコンパイルするために機能され、
前記浮遊画像表示装置は、前記コンピュータシステムから画像データを受信し、画像データを前記浮遊画像データに変換し、前記浮遊画像データは前記表示駆動ユニットによって前記浮遊画像に変換し、前記表示ユニットに前記浮遊画像が表示され、
前記浮遊画像表示装置は、前記ジェスチャーセンサーから前記ジェスチャーによるメッセージを受信し、前記ジェスチャーによるメッセージを三次元座標の変化量に変換して、対話コマンドを決定し、
前記対話コマンドに応じて、前記三次元座標の変化量に対応する新たな画像データを生成させるために、前記コンピュータ接続ユニットを介して、前記対話コマンドは前記コンピュータシステムに送信され、
前記浮遊画像表示装置は、前記コンピュータシステムから前記新たな画像データを取得し、前記新たな画像データを新たな浮遊画像データに変換し得て、前記新たな浮遊画像データが新たな浮遊画像に変換された後、前記表示ユニットに前記新たな浮遊画像が表示される、
ことを特徴とする浮遊画像表示システム。 A floating image display system that includes a floating image display device and a computer system.
The floating image display device is
An image processor that forms image data for floating images,
A gesture sensor that detects a gesture and generates a message by the gesture, an input interface that is electrically connected to the image processor, and the like.
A display drive unit that is electrically connected to the image processor, acquires the floating image based on the image data of the floating image, and displays the floating image on the display unit.
A computer connection unit that is electrically connected to the image processor and is connected to a computer device that executes a computer system via a communication interface.
With
A driver program is executed in the computer system, and the driver program constructs a communication interface between the computer system and the floating image display device, and is transmitted and received between the computer system and the floating image display device. Functioned to interface or compile messages,
The floating image display device receives image data from the computer system, converts the image data into the floating image data, converts the floating image data into the floating image by the display driving unit, and displays the floating image data on the display unit. Floating image is displayed,
The floating image display device receives a message by the gesture from the gesture sensor, converts the message by the gesture into a change amount of three-dimensional coordinates, and determines a dialogue command.
In response to the dialogue command, the dialogue command is transmitted to the computer system via the computer connection unit in order to generate new image data corresponding to the amount of change in the three-dimensional coordinates.
The floating image display device can acquire the new image data from the computer system, convert the new image data into new floating image data, and convert the new floating image data into a new floating image. After that, the new floating image is displayed on the display unit.
A floating image display system characterized by this.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109106409A TWI754899B (en) | 2020-02-27 | 2020-02-27 | Floating image display apparatus, interactive method and system for the same |
| TW109106409 | 2020-02-27 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022004102U Continuation JP3242079U (en) | 2020-02-27 | 2022-12-13 | Floating image display device and floating image display system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021136036A true JP2021136036A (en) | 2021-09-13 |
Family
ID=77661466
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021028402A Pending JP2021136036A (en) | 2020-02-27 | 2021-02-25 | Floating image display device, interactive method with floating image, and floating image display system |
| JP2022004102U Active JP3242079U (en) | 2020-02-27 | 2022-12-13 | Floating image display device and floating image display system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022004102U Active JP3242079U (en) | 2020-02-27 | 2022-12-13 | Floating image display device and floating image display system |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP2021136036A (en) |
| TW (1) | TWI754899B (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023081278A (en) * | 2021-11-30 | 2023-06-09 | 幻景▲ケイ▼動股▲フン▼有限公司 | Interactive operation method for stereoscopic image and stereoscopic image display system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202321894A (en) | 2021-11-19 | 2023-06-01 | 全台晶像股份有限公司 | Hover touch device with sensory feedback |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05336549A (en) * | 1992-05-29 | 1993-12-17 | Toshiba Corp | Stereoscopic video device |
| JP2007086931A (en) * | 2005-09-20 | 2007-04-05 | Sony Corp | Input display device and input display method |
| US20120113104A1 (en) * | 2010-11-05 | 2012-05-10 | Korea Electronics Technology Institute | Table type interactive 3d system |
| JP2013510342A (en) * | 2009-11-09 | 2013-03-21 | クゥアルコム・インコーポレイテッド | Multi-screen image display |
| JP2016524262A (en) * | 2013-07-10 | 2016-08-12 | リアル ビュー イメージング リミテッド | 3D user interface |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201104494A (en) * | 2009-07-20 | 2011-02-01 | J Touch Corp | Stereoscopic image interactive system |
| TW201248452A (en) * | 2011-05-30 | 2012-12-01 | Era Optoelectronics Inc | Floating virtual image touch sensing apparatus |
| CN104714646A (en) * | 2015-03-25 | 2015-06-17 | 中山大学 | 3D virtual touch control man-machine interaction method based on stereoscopic vision |
| JP2019023767A (en) * | 2015-11-17 | 2019-02-14 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus |
| DE102016120999B4 (en) * | 2016-11-03 | 2018-06-14 | Visteon Global Technologies, Inc. | User interface and method for inputting and outputting information in a vehicle |
-
2020
- 2020-02-27 TW TW109106409A patent/TWI754899B/en active
-
2021
- 2021-02-25 JP JP2021028402A patent/JP2021136036A/en active Pending
-
2022
- 2022-12-13 JP JP2022004102U patent/JP3242079U/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05336549A (en) * | 1992-05-29 | 1993-12-17 | Toshiba Corp | Stereoscopic video device |
| JP2007086931A (en) * | 2005-09-20 | 2007-04-05 | Sony Corp | Input display device and input display method |
| JP2013510342A (en) * | 2009-11-09 | 2013-03-21 | クゥアルコム・インコーポレイテッド | Multi-screen image display |
| US20120113104A1 (en) * | 2010-11-05 | 2012-05-10 | Korea Electronics Technology Institute | Table type interactive 3d system |
| JP2016524262A (en) * | 2013-07-10 | 2016-08-12 | リアル ビュー イメージング リミテッド | 3D user interface |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023081278A (en) * | 2021-11-30 | 2023-06-09 | 幻景▲ケイ▼動股▲フン▼有限公司 | Interactive operation method for stereoscopic image and stereoscopic image display system |
| JP7450289B2 (en) | 2021-11-30 | 2024-03-15 | 幻景▲ケイ▼動股▲フン▼有限公司 | Interactive operation method for stereoscopic images and stereoscopic image display system |
| US11934585B2 (en) | 2021-11-30 | 2024-03-19 | Lixel Inc. | Method for performing interactive operation upon a stereoscopic image and stereoscopic image display system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3242079U (en) | 2023-05-26 |
| TW202132951A (en) | 2021-09-01 |
| TWI754899B (en) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3607418B1 (en) | Virtual object user interface display | |
| US20200320793A1 (en) | Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments | |
| US10417827B2 (en) | Syndication of direct and indirect interactions in a computer-mediated reality environment | |
| JP3242079U (en) | Floating image display device and floating image display system | |
| CN110753899B (en) | Displacement orientation interaction in computer-mediated reality | |
| Burdea et al. | Virtual reality technology | |
| US10521028B2 (en) | System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors | |
| CN107771309B (en) | Method of processing three-dimensional user input | |
| US20180314322A1 (en) | System and method for immersive cave application | |
| US20180300953A1 (en) | Method And System For Receiving Gesture Input Via Virtual Control Objects | |
| US20110107216A1 (en) | Gesture-based user interface | |
| CN106980377B (en) | A kind of interactive system and its operating method of three-dimensional space | |
| US20190240573A1 (en) | Method for controlling characters in virtual space | |
| US11194402B1 (en) | Floating image display, interactive method and system for the same | |
| CN105074617A (en) | Three-dimensional user interface device and three-dimensional operation processing method | |
| KR102147430B1 (en) | virtual multi-touch interaction apparatus and method | |
| CN109313510A (en) | Integrated free space and surface input device | |
| US20170177077A1 (en) | Three-dimension interactive system and method for virtual reality | |
| TW202045983A (en) | Interactive stereoscopic display and interactive sensing method for the same | |
| JP2007047294A (en) | Stereoscopic image display device | |
| JP2019008623A (en) | Information processing apparatus, information processing apparatus control method, computer program, and storage medium | |
| CN111373347A (en) | Provision of virtual reality content | |
| Caruso et al. | Interactive augmented reality system for product design review | |
| JP7292597B2 (en) | Display system, image processing device, and program | |
| CN113377190A (en) | Floating image display equipment, interaction method and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220517 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220913 |