JP2012022639A - 表示装置、映像表示システムおよび映像表示方法 - Google Patents

表示装置、映像表示システムおよび映像表示方法 Download PDF

Info

Publication number
JP2012022639A
JP2012022639A JP2010162160A JP2010162160A JP2012022639A JP 2012022639 A JP2012022639 A JP 2012022639A JP 2010162160 A JP2010162160 A JP 2010162160A JP 2010162160 A JP2010162160 A JP 2010162160A JP 2012022639 A JP2012022639 A JP 2012022639A
Authority
JP
Japan
Prior art keywords
external force
operation element
display
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010162160A
Other languages
English (en)
Inventor
Masafumi Tsuboi
雅史 壷井
Shinji Kimura
真治 木村
Masaaki Fukumoto
雅朗 福本
Tsutomu Horikoshi
力 堀越
Takayuki Tamura
隆幸 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010162160A priority Critical patent/JP2012022639A/ja
Priority to EP11172827.5A priority patent/EP2407863A3/en
Priority to TW100124216A priority patent/TWI468995B/zh
Priority to US13/180,760 priority patent/US8866739B2/en
Priority to CN2011101959163A priority patent/CN102339162A/zh
Priority to KR1020110069881A priority patent/KR101298848B1/ko
Publication of JP2012022639A publication Critical patent/JP2012022639A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】従来に比べて操作の自由度が高く、構成が簡易な操作子に、映像の内容に応じた外力を付与する。
【解決手段】検出部１００は、制御部の制御の下、操作子２０の位置を検出し、制御部に検出した結果を通知する。表示部２００は、制御部の制御の下、表示面に映像を表示する。制御部は、検出部１００が検出した操作子２０の位置と、表示部２００が表示した映像との関係を決定し、これに基づいて操作子２０に付与する外力の向きと大きさを決定する。そして、制御部は、外力付与部３００に磁場を発生させ、操作子２０に外力を付与する。これにより、使用者は、あたかも映像に触れたかのような反力を感知する。
【選択図】図１

Description

本発明は、表示する映像に応じた力覚や触覚を使用者に与える表示装置および映像表示システムに関するものである。
使用者の手や指に力覚や触覚の少なくとも一方を提示する装置として、外部に固定された操作子により使用者の手や指に外力を与えるものがある。例えば、机上などに設置されたロボット装置によって、把持部（操作子）に力覚や触覚を提示するもの（特許文献１）や、周囲に固定した駆動源から使用者の手や指にワイヤを張り、それらワイヤの張力によって力覚を付与するもの（特許文献２）がある。
また、操作子が外部に固定されていないものとしては、複数のジャイロモーターを用いて回転角速度を変化させることにより所望の方向への外力を発生させるもの（特許文献３）があるほか、ペン型の操作子にマーカーと振動モーターを内蔵させ、カメラで検出したペン位置に応じて振動を生じることで、ペンを把持する使用者に映像に触れた感覚を感じさせることができるものがある（非特許文献１）。また、指に２つのモーターとベルトを接続し、モーターの回転方向を制御することで、指を押す方向の力（垂直力）と、指を横に引く力（せん断力）を表現することにより物体の重さや慣性質量を提示するものが提案されている（非特許文献２）。
以上のように、入力操作に応じて使用者に力覚や触覚を提示する方法が提案されており、特に、ディスプレイなどに映し出された映像に実際に触れたかのような感覚を与えることを目的とし、バーチャルリアリティなどの分野における応用が期待されている。
特表２００７−５１０２３２号公報 特開２００３−１７２６６２号公報 特開２００４−１７７３６０号公報
Sho Kamuro、Kouta Minamizawa、Naoki Kawakami、Susumu Tachi、"Pen de touch"、International Conference on Computer Graphics and Interactive Techniques archive SIGGRAPH '09: Posters、 2009 南澤孝太、深町聡一郎、梶本裕之、川上直樹、舘▲すすむ▼、"バーチャルな物体の質量および内部ダイナミクスを提示する装着型触力覚ディスプレイ"、日本バーチャルリアリティ学会論文誌、Vol.13, No.1,2008年3月
しかしながら、特許文献１や２に記載された技術のように、操作子の一部が外部に固定されているものの場合、固定された操作子との接続に物理的制約が発生するため、特許文献１の装置のように、可動領域が限られるか、特許文献２に記載の技術のように、非常に大掛かりな装置が必要となるなどの問題があった。
また、特許文献３や非特許文献１、２などには、少なくとも使用者に装着もしくは把持させる操作子には、外部との接続部位を持たない方式も提案されているが、モーターやアクチュエータなどを稼動させるために動力を必要とするため、使用者に装着もしくは把持させる操作子に、モーターやアクチュエータなどの装置や、電池などの動力源を搭載する必要があった。
本発明は、従来に比べて操作の自由度が高く、構成が簡易な操作子に、映像の内容に応じた外力を付与することを目的とする。
上述した課題を解決するため、本発明に係る表示装置は、表示面に映像を表示する表示手段と、磁性体を有する操作子の、前記表示面に対する位置を検出する検出手段と、前記検出手段により検出された前記操作子の位置および前記表示手段により表示された前記映像の内容に応じて前記表示面が面する空間に磁場を発生させることにより、前記磁性体を介して前記操作子に外力を付与する外力付与手段とを具備することを特徴とする。
好ましくは、前記検出手段は、撮影する撮影手段を有し、当該撮影手段により撮影された前記操作子の画像に基づいて、当該操作子の位置を検出するとよい。
また、好ましくは、前記表示手段は、視点の位置が異なる複数の映像を合成して、空間に重ねて仮想物体を立体視させる映像を表示し、前記検出手段は、互いに撮影方向が異なる複数の撮影手段を有するとともに、当該複数の撮影手段によりそれぞれ撮影された前記操作子の各画像に基づいて、前記空間における当該操作子の前記表示面に対する位置を検出し、前記外力付与手段は、前記映像により立体視される前記仮想物体の前記空間における位置と、検出された前記操作子の位置とに基づいて決定された外力を当該操作子に付与するとよい。
また、好ましくは、前記外力付与手段は、電荷を蓄える蓄電手段と、コイルとを有し、前記蓄電手段に蓄えた電荷を放電して前記コイルに電流を流すことにより、当該コイルから前記磁場を発生させるとよい。
また、好ましくは、前記操作子は、或る波長域の電磁波または音波を反射する反射材を有し、前記検出手段は、前記反射材に反射された反射波に基づいて前記操作子の位置を検出するとよい。
また、好ましくは、前記操作子は、或る波長域の赤外線を反射する再帰性反射材を有するとよい。
また、好ましくは、前記検出手段は、前記外力付与手段により外力が付与された前および後の前記操作子の各位置をそれぞれ検出し、前記表示装置は、前記検出手段により検出された前記各位置間の距離と、前記外力付与手段が付与した前記外力とに応じた映像を表示するとよい。
また、本発明に係る映像表示システムは、磁性体を有する操作子と、上述の表示装置とを具備することを特徴とする。
また、本発明に係る映像表示方法は、表示手段により、表示面に映像を表示し、検出手段により、磁性体を有する操作子の前記表示面に対する位置を検出し、外力付与手段により、前記操作子の位置および前記映像の内容に応じて前記表示面が面する空間に磁場を発生させることにより、前記磁性体を介して前記操作子に外力を付与することを特徴とする。
本発明によれば、従来に比べて操作の自由度が高く、構成が簡易な操作子に、映像の内容に応じた外力を付与することができる。
本発明の実施形態に係る映像表示システムの外観を示す概略図である。 映像表示システムの構成を示す図である。 映像表示システムの動作を説明するフローチャートである。 変形例における操作子の一例を示す図である。 変形例に係る映像表示システムの外観を示す概略図である。 複数のコイルを利用した外力付与部を説明する図である。 変形例における映像表示システムの動作を説明するフローチャートである。
１．構成
図１は、本発明の実施形態に係る映像表示システム１の外観を示す概略図である。また、図２は、映像表示システム１の構成を示す図である。映像表示システム１は、映画やゲームなどの映像を含む作品を使用者に表示すると共に、その映像に表示される内容に応じた外力を使用者の人体に付与して、使用者に映像の内容に触れているような感覚を与えるためのシステムである。なお、以下において、空間における座標のｘ，ｙ，ｚ成分が増加する各方向をそれぞれｘ（＋）方向、ｙ（＋）方向、ｚ（＋）方向と呼び、ｘ，ｙ，ｚ成分が減少する各方向をそれぞれｘ（−）方向、ｙ（−）方向、ｚ（−）方向と呼ぶ。
映像表示システム１は、表示装置１０と操作子２０とを具備する。操作子２０は、使用者が把持しやすいようにペンを模した形状を有しており、動力を必要としない部材のみで構成されている。操作子２０は、永久磁石ＭＧを備える。永久磁石ＭＧは、磁性体であるため、操作子２０は、この永久磁石ＭＧを介して磁場に応じた外力を受ける。なお、ここでいう「磁場に応じた外力」とは、或る強さ以上の磁場に置かれたときに付与される閾値以上の外力をいう。
操作子２０は、外部と接続されていないので、使用者は、操作子２０を把持した状態で自由に動かすことができる。また、操作子２０は、位置の検出に用いられるマーカーとして再帰性反射材を有する。この再帰性反射材は、複数の反射面が組み合わされたものであり、この各反射面により或る方向から入射された光を再帰的に反射させて、その光源の方向に導く。
表示装置１０は、検出部１００、表示部２００、外力付与部３００、および制御部４００を有する。制御部４００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、記憶部などを備えており、ＲＯＭに記憶されているブートローダや記憶部に記憶されているコンピュータプログラムを読み出して実行することにより表示装置１０の各部を制御する。なお、制御部４００は、表示装置１０の筐体内部に収容されているため、図１において図示を省略する。
表示部２００は、例えば、複数の画素により構成される表示面を有する。この表示面は、液晶ディスプレイとレンチキュラーレンズにより構成される多視点方式の裸眼立体ディスプレイである。表示部２００は、制御部４００からの指示に応じて、この表示面に視点の位置が異なる複数の映像を合成して表示する。これらの映像を構成する光は、レンチキュラーレンズによりそれぞれ異なる指向性を持って進むため、使用者には映像の表す物（以下、仮想物体という）が空間に重なる立体として感じられる。すなわち、表示部２００は、視点の位置が異なる複数の映像を合成して、空間に重ねて仮想物体を立体視させる映像を表示する表示手段として機能する。
例えば、図１に示すように、ｘ，ｙ，ｚ軸で表される空間において、表示部２００はｚ（＋）方向に法線を有する表示面を備えていると仮定する。表示部２００が表示面に視点の位置が異なる複数の映像を合成した映像を表示すると、この表示面からｚ（＋）方向に存在する空間に向けてこれら複数の映像に応じた光が照射される。この表示面が表す映像の光が照射される空間を“表示面が面する空間”という。表示面が面する空間に居て表示面を見ている使用者は、左右両眼の視差により、この空間において破線で示した位置に仮想物体５０が存在しているように感じることとなる。
検出部１００は、表示部２００の表示面に対する操作子２０の位置を検出する。上述したように、操作子２０は動力を必要としない部材のみで構成されるため、検出部１００は、カメラなどの光学撮影素子（撮影手段）を備え、これにより操作子２０を撮影する。そして、制御部４００は、撮影された操作子２０の画像に基づいて、その操作子２０の位置を検出する。具体的には、検出部１００は、図１に示すように、表示面が面する空間からの赤外線を感知する２つの光学撮影素子ＣａｍＲ、ＣａｍＬを有しているほか、表示面が面する空間のうち予め定められた範囲に赤外線を照射するＬＥＤ（Light Emitting Diode）を有している。この範囲内に操作子２０が存在していると、照射された赤外線は、操作子２０に設けられた再帰性反射材などのマーカーにより反射される。
反射された赤外線は、２つの光学撮影素子ＣａｍＲ、ＣａｍＬにより感知され、赤外反射光による操作子２０の位置や形状が写し出された画像が生成される。この画像に基づいて、制御部４００により表示装置１０に対する操作子２０の位置が検出される。ここで２つの光学撮影素子ＣａｍＲ、ＣａｍＬは、互いに異なる撮影方向から操作子２０を撮影する。そして、２つの光学撮影素子ＣａｍＲ、ＣａｍＬは、表示部２００の表示面に対して、予め定められた位置に設けられているので、検出部１００は、表示部２００の表示面に対する操作子２０の位置を検出していることとなる。
このように、検出部１００に備える光学撮影素子を２台としているため、検出部１００は、いわゆる三角測量を行うことで操作子２０の位置を、縦、横のみならず、奥行きも含めた３軸方向に検出する。すなわち、検出部１００は、３次元空間（空間）における操作子２０の位置を検出する。
外力付与部３００は、板状の筐体の内側に、電荷を蓄えるキャパシタ（蓄電手段）と、コイル３１０とをそれぞれ１つずつ有する。コイル３１０は、図１に示すように、表示部２００の表示面の裏側に配置されている。すなわち、コイル３１０は、筐体の面のうち、表示部２００の表示面を介して“表示面が面する空間”に面し、ｚ（＋）方向に法線を有する面に向けて表示部２００の表示面を透過する磁場を発生可能なよう設けられている。制御部４００がコイル３１０とキャパシタとの間の図示しないスイッチを制御して、キャパシタからコイル３１０に電流が流れると、コイル３１０は筐体の上記面から磁力線を発生させる。これにより、コイル３１０は、表示部２００の周囲に磁場を発生させる。この磁場により、永久磁石ＭＧを介して操作子２０に外力が加わる。例えば、外力付与部３００からｚ（＋）方向に操作子２０のペン先を遠ざけるように動かすには、コイル３１０の操作子２０に面した側に、そのペン先に固定された永久磁石ＭＧのコイル３１０側に向いているのと同じ極の磁力を発生させることで，永久磁石ＭＧに対して反発力を生じさせればよい。
２．動作
図３は、映像表示システム１の動作を説明するフローチャートである。
検出部１００は、制御部４００の制御の下、操作子２０の位置を検出し、制御部４００に検出した結果を通知する（ステップＳ１００）。次に、表示部２００は、制御部４００の制御の下、表示面に映像を表示する（ステップＳ２００）。
制御部４００は、検出部１００が検出した操作子２０の位置と、表示部２００が表示した映像との関係を決定し、これに基づいて操作子２０に付与する外力の向きと大きさを決定する（ステップＳ３００）。具体的には、制御部４００は、表示面に表示させた映像の基礎となるデータを有しており、このデータによって映像に表される仮想物体が、使用者に立体として存在しているように感じられるときの、空間（３次元空間）における位置を算出する。すなわち、制御部４００は、映像により使用者に立体視される仮想物体の空間における位置を算出する。
制御部４００は、検出部１００から通知された操作子２０の位置と、算出した上記の仮想物体の空間における位置とを比較し、これに基づいて、操作子２０に付与する外力の向きと大きさを決定する。例えば、操作子２０の位置が、仮想物体の内部の位置と重なっているときには、制御部４００は、仮想物体の表面のうち、操作子２０の位置から最も近い位置に向かう方向に、その位置間の距離に比例した大きさの外力を付与するように決定する。
外力の方向および大きさを決定すると、制御部４００は、外力付与部３００に磁場を発生させ、操作子２０に外力を付与する（ステップＳ４００）。具体的には、外力付与部３００は、制御部４００の制御の下、キャパシタに充電していた電荷をコイル３１０に放電する。これにより、コイル３１０の周辺に制御部４００が指示する磁場が発生し、この磁場によって、操作子２０は、これに備えられた永久磁石ＭＧを介して上述の方向および大きさの外力を受ける。すなわち、操作子２０は、その位置と表示された映像とに応じた外力を表示装置１０から受ける。このとき、使用者が操作子２０を把持または装着していれば、操作子２０の受けた外力が使用者に伝わるため、これにより、使用者は、あたかも映像に触れたかのような反力を感知する。つまり、制御部４００および外力付与部３００は、検出手段により検出された操作子２０の位置および表示した映像の内容に応じて磁場を発生させることにより、前記操作子２０に外力を付与する。
以上説明したように、本発明によれば、使用者の操作および表示された映像に基づいて、使用者に力覚や触覚を付与することが可能であり、特に、使用者に把持させる操作子は、外部と接続されておらず、且つ動力源や、動力を必要とする装置を備えていない。したがって、使用者は物理的な制約がない状態で操作子を、空間中の任意の位置に動かすことができる。
また、上記の操作子は、動力源や、動力を必要とする装置を備えるものに比べて、軽量化することできる。また、表示部に表示する映像を立体映像とすることで、空間中の操作子の３次元位置と、提示した立体映像の３次元位置とを対応付けることができ、あたかも立体映像に触れているかのような感覚を付与することが可能となる。
３．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
（１）操作子に関する変形例
（１−１）上述の実施形態において、操作子２０の形状と、その操作子２０に備えた永久磁石ＭＧの磁力線の向きとの関係について特に言及しなかったが、磁力線の方向が操作子２０における特定の方向に向くように、操作子２０に永久磁石ＭＧを固定してもよい。例えば、永久磁石ＭＧは、ペン型の操作子２０の長手方向に沿って磁力線を発生させるようにしてもよい。具体的には、この永久磁石ＭＧは、操作子２０のペン先に相当する一端にＮ極が位置し、その長手方向における反対の他端にＳ極が位置するように、操作子２０に固定されていてもよい。なお、Ｎ極とＳ極は逆であってもよい。これにより、その形状に応じた特定の方向に向いた外力が操作子２０に付与される。
（１−２）上述の実施形態において、操作子２０は、使用者に把持しやすいようにペンを模した形状をしていたが、他の形状であってもよい。また、操作子２０は、永久磁石ＭＧそのものであってもよい。すなわち、操作子２０として単に永久磁石ＭＧを使用者に把持させてもよい。
（１−３）上述の実施形態において、操作子２０は、使用者に把持されるものであったが、装着されるものであってもよい。例えば、操作子２０は留具などにより、使用者の人体の部位に装着されてもよい。また、操作子２０は、付け爪、指輪、腕輪などの装飾具や、防止、手袋など衣服といった、人体の部位に装着される物品で構成されてもよい。
図４は、この変形例における操作子２０の一例を示す図である。例えば，図４に示すように、操作子２０は、付け爪の要領で使用者の爪に貼り付けられる。この操作子２０は、指の腹にではなく爪の上に貼り付けられるので、指で物を掴むときの邪魔にならず、日常生活に影響なく装着することが可能である。したがって、これにより、使用者は特殊な装置を装着している感覚なしに、指差し動作によって操作を行い、反力を得ることができる。
（１−４）上述の実施形態において、操作子２０は、磁性体として永久磁石ＭＧを備えていたが、操作子２０に備える磁性体は永久磁石ＭＧに限られない。例えば、永久磁石ＭＧよりも保磁力の低い他の磁性体であってもよい。具体的には、鉄やコバルトなどの強磁性体であってもよいし、磁鉄鉱などのフェリ磁性体であってもよい。要するに、操作子２０は、磁場に応じた外力を付与される部材として磁性体を備え、その部材を介して磁場に応じた外力を付与されるように構成されていればよい。
（１−５）上述の実施形態において、操作子２０は、マーカーとして再帰性反射材を有していたが、マーカーは再帰性反射材ではなく、入射した光を拡散反射させる反射材であってもよい。入射光を全反射させることで、位置の検知精度は向上するが、拡散反射であっても入射光の反射光を受けることができるからである。
（１−６）上述の実施形態において、操作子２０が有するマーカーの数について特に言及しなかったが、操作子２０は、複数のマーカーを有していてもよい。また、操作子２０が有するマーカーの種類は、複数であってもよい。例えば、磁性体として永久磁石ＭＧを用いる場合には、この永久磁石ＭＧの磁極の位置が操作子２０に付与する外力に影響するので重要である。そこで、この場合、操作子２０に備えられた永久磁石ＭＧのＮ極に赤外線を反射させるマーカーを、Ｓ極に可視光線を反射させるマーカーをそれぞれ貼り付けてもよい。そして、検出部１００は、操作子２０に備えられた永久磁石ＭＧの磁極の位置を個別に検出し、制御部４００は、検出された各磁極の位置に応じて外力付与部３００に発生させる磁場の向きを制御すればよい。
（２）検出部に関する変形例
（２−１）上述の実施形態において、検出部１００は、２つの光学撮影素子を有していたが、光学撮影素子は１つであってもよい。この場合であっても、例えば、光学撮影素子の撮影する画像の画角が予め定められているのであれば、表示部２００の表示面に対する操作子２０の位置は、これに基づいて特定される。なお、制御部４００は、画像を解析することで焦点深度を特定し、光学撮影素子の備えられた位置からの操作子２０の距離を特定してもよい。
（２−２）上述の実施形態において、検出部１００は、ＬＥＤにより予め定められた範囲に赤外線を照射して、操作子２０からの反射波を検出していたが、赤外線以外の電磁波を用いて検出を行ってもよい。例えば、検出部１００に備えられた光学撮像素子は、可視光線を感知して撮像を行ってもよい。これにより、可視光線の照射下であれば、検出部１００は、操作子２０の位置を検出することができる。この場合、赤外線を照射する装置はなくてもよい。
（２−３）上述の実施形態において、検出部１００は、赤外線を照射するＬＥＤと、赤外線を感知する光学撮影素子を有していたが、操作子２０の位置を検出するために光などの電磁波を用いなくてもよい。検出部１００は、例えば、超音波などの音波を照射して、操作子２０の位置を検出してもよい。この場合、操作子２０は、検出部１００から照射される超音波などの音波を反射する反射材を有していればよい。要するに、操作子は、或る波長域の波動を反射する反射材を有し、検出手段は、その反射材に反射された波動に基づいて操作子の位置を検出すればよい。
（３）表示部に関する変形例
（３−１）上述の実施形態において、表示部２００の表示面は、液晶ディスプレイとレンチキュラーレンズにより構成されていたが、この構成に限られない。この表示面は、例えば、コレステリック液晶等の記憶性表示体により構成されてもよい。
（３−２）上述の実施形態において、表示部２００の表示面は、裸眼立体ディスプレイであったが、２次元映像を表示してもよい。この場合、３次元位置に応じて映像に触れるような感覚を実現することはできないが、タッチパネルのような、本来入力操作に応じてフォースフィードバックを与えることのできない入力装置を用いた場合に、画面上のスイッチ押下などの操作に応じたフィードバックを与えることができるようになる。
（３−３）上述の実施形態において、表示部２００の表示面は、液晶ディスプレイとレンチキュラーレンズにより構成される多視点方式の裸眼立体ディスプレイであったが、例えば、液晶シャッターなどを用いた眼鏡を装着することで立体映像を表示できる立体ディスプレイを用いてもよいし、レンチキュラーレンズを用いず、パララクスバリアやレンズアレイを用いたその他の立体ディスプレイを用いて立体映像を表示してもよい。
（３−４）また、表示部２００は、白布などのスクリーンに向けて映像を表す光線を投影する投影機であってもよい。この場合、表示部２００の表示面は、映像が投影されるスクリーンである。例えば、表示面としてＴＦＴ（Thin Film Transistor）液晶などを用いると、外力付与部３００により発生する磁場によってアクティブ素子などの駆動装置に影響が生じる可能性がある。一方、表示部２００を投影機とし、表示面にスクリーンを用いれば、表示面に電磁力を用いた駆動装置などを使う場合に比較して、表示面に対する磁場の影響が低減する。
（４）外力付与部に関する変形例
（４−１）上述の実施形態において、外力付与部３００は、電荷を蓄えるキャパシタ（蓄電手段）と、コイル３１０とを有していたが、コイル３１０に流す電流の電源はキャパシタに限られず、他の様々な電源を用いることができる。
（４−２）上述の実施形態において、外力付与部３００のキャパシタの数は、特に言及されていなかったが、外力付与部３００は、複数のキャパシタを備えていてもよい。複数のキャパシタを用意しておくことで、放電したキャパシタが充電している間に別のキャパシタを放電することができるため、連続的に磁力を発生させることができる。このように外力付与部３００に複数のキャパシタを備え、連続的に放電した場合には、撃力などの瞬間的な力だけではなく、例えば、剛体に押されているときの外力を使用者に付与することも可能となる。
（４−３）また、複数のキャパシタを用いた場合、静電容量の異なるキャパシタを用い、それらを選択的に放電することで、発生する磁場の強さも可変とすることができる。
（４−４）また、放電時にコイル３１０に流す電流の向きを逆にすることで、発生する磁場の極性が反転し、発生する磁場の極性を逆にすることができる。操作子に与える力の方向を制御することが可能となり、すなわち、外力付与部３００から押し出す外力と、外力付与部３００に引き込む外力とのいずれかを選択的に付与することも可能となる。
（４−５）上述の実施形態において、表示部２００の表示面と、外力付与部３００が磁場を発生させる面とは、ともにｚ（＋）方向に法線を有していたが、これら２つの面が同じ方向に法線を有していなくてもよい。
図５は、この変形例に係る映像表示システム１の外観を示す概略図である。この変形例において、表示部２００の表示面はｘ（＋）方向に法線を有し、外力付与部３００が磁場を発生させる面はｚ（＋）方向に法線を有する。この構成であっても、外力付与部３００のコイル３１０は、表示部２００の表示面の面する空間に向いた磁力線を発生させるので、この空間に存在する操作子２０は、外力付与部３００により外力を付与される。
（４−６）また、外力付与部３００は複数の面を有していてもよい。例えば、外力付与部３００は、対向する３組の面、すなわち、ｘ（＋）方向／ｘ（−）方向、ｙ（＋）方向／ｙ（−）方向、ｚ（＋）方向／ｚ（−）方向にそれぞれ法線を有する６つの面を有しており、これらの面からそれぞれ発生させられる磁場により、操作子２０に外力が付与されてもよい。
（４−７）上述の実施形態において、外力付与部３００のコイル３１０の数は１つであったが、複数のコイルを利用して選択的に磁力を発生させてもよい。これにより、特定の位置および方向に磁場を発生させることも可能となる。
図６は、複数のコイルを利用した外力付与部３００を説明する図である。外力付与部３００は、１６個のコイル３１０が格子状に並べられている。コイル３１０−１０のｘ（＋）側には、コイル３１０−１１が配置されており、ｘ（−）側には、コイル３１０−９が配置されている。また、コイル３１０−１０のｙ（＋）側には、コイル３１０−１４が配置されており、ｙ（−）側には、コイル３１０−６が配置されている。
ここで、使用者が、操作子２０を外力付与部３００に近づけたと仮定する。このとき操作子２０のペン先が最も近づいたコイル３１０は、コイル３１０−１０であるとする。検出部１００は、操作子２０の位置を検出する。そして、制御部４００は、検出された操作子２０の位置とともに、表示部２００の表示面に表示される映像の内容に基づいて、操作子２０に付与すべき外力の方向と大きさを決定する。
例えば、上記の映像により、コイル３１０−１０の位置からｚ（＋）方向に棒状の仮想物体が描かれていた場合には、この仮想物体から操作子２０に加えられる反力の方向と大きさを決定する。例えば、ペンを模した形状の操作子２０におけるペン先に相当する部分にＮ極が位置するように永久磁石ＭＧが固定されているとすると、制御部４００は、コイル３１０−１０の操作子２０に面した側にＮ極を発生させるとともに、決定された方向が、ｘ（＋）方向であれば、コイル３１０−１１にＳ極を発生させる。これにより、コイル３１０−１０のｘ（＋）側にあるコイル３１０−１１に、永久磁石ＭＧのＮ極が固定されたペン先を近づける外力が操作子２０に付与される。同様に、決定された方向が、ｘ（−）方向であれば、コイル３１０−９に、ｙ（＋）方向であれば、コイル３１０−１４に、ｙ（−）方向であれば、コイル３１０−６に、それぞれＳ極を発生させる。これにより、外力付与部３００は、操作子２０のペン先に対してｘｙ平面上のどの方向の外力も付与することができる。
（５）制御部に関する変形例
（５−１）上述の実施形態において、制御部４００は、仮想物体の空間における位置を算出して、検出部１００から通知された操作子２０の位置と比較し、これに基づいて、操作子２０に付与する外力の向きと大きさを決定していたが、検出部１００が操作子２０の３次元位置を検出し、表示部２００が２次元映像を表示した場合には、制御部４００は、操作子２０の３次元位置を表示部２００の表示面上に投影させ、その位置と２次元映像の位置関係をこの表示面の２次元上で決定しても良い。
（５−２）上述の実施形態において、制御部４００は、操作子２０の位置と仮想物体の位置とに基づいて向きと大きさが決定された外力を、外力付与部３００により操作子２０に付与させていたが、外力付与部３００により外力が付与された後の操作子２０の変位と、その外力とに基づいて決定された映像を表示部２００により表示させてもよい。
図７は、この変形例における映像表示システム１の動作を説明するフローチャートである。ステップＳ１０１〜Ｓ４０１は、いずれも図３におけるステップＳ１００〜Ｓ４００と同内容であるため、説明を省略する。制御部４００は、外力付与部３００に磁場を発生させた後、検出部１００が検出した操作子２０の位置を取得する（ステップＳ５００）。すなわち、検出部１００は、外力付与手段により外力が付与された前および後の操作子の各位置をそれぞれ検出する検出手段として機能する。そして、制御部４００は、外力付与部３００に磁場を発生させる前および磁場を発生させた後の操作子２０の各位置間の距離を算出し、この距離と、外力付与部３００が付与した外力とに応じた映像を決定する。そして、制御部４００は、決定した映像を表示部２００により表示させる（ステップＳ６００）。
自然界において二つの物体が互いに力を及ぼしあうときには、これらの力は常に大きさが等しく、向きが反対である。したがって、仮想物体に自然界の物体の運動を模した動きを表現させるとすると、仮想物体が操作子２０から受ける反対方向の力を、仮想物体の運動に反映させなければならない。
この変形例では、制御部４００は、仮想物体および操作子２０のそれぞれの質量を予め定めている。制御部４００は、外力付与部３００によって外力が付与される前後の操作子２０の各位置間の距離（操作子２０の変位）と、外力付与部３００が付与した外力と、上記の予め定められた各質量とに基づいて、仮想物体が操作子２０から受ける反対方向の力を算出する。しして、制御部４００は、操作子２０によって与えた力に応じて仮想物体が運動する映像を表示面に表示させる。この映像を視聴するので、使用者は、映像で表される仮想物体から操作子２０を介して反力を受けたように感じるとともに仮想物体を動かしたように感じ、あたかも仮想物体に触れている感覚を持つことができる。
１…映像表示システム、１０…表示装置、１００…検出部、２０…操作子、２００…表示部、３００…外力付与部、４００…制御部、５０…仮想物体、ＭＧ…永久磁石。

Claims (9)

  1. 表示面に映像を表示する表示手段と、
    磁性体を有する操作子の、前記表示面に対する位置を検出する検出手段と、
    前記検出手段により検出された前記操作子の位置および前記表示手段により表示された前記映像の内容に応じて前記表示面が面する空間に磁場を発生させることにより、前記磁性体を介して前記操作子に外力を付与する外力付与手段と
    を具備することを特徴とする表示装置。
  2. 前記検出手段は、撮影する撮影手段を有し、
    当該撮影手段により撮影された前記操作子の画像に基づいて、当該操作子の位置を検出する
    ことを特徴とする請求項１に記載の表示装置。
  3. 前記表示手段は、視点の位置が異なる複数の映像を合成して、空間に重ねて仮想物体を立体視させる映像を表示し、
    前記検出手段は、互いに撮影方向が異なる複数の撮影手段を有するとともに、当該複数の撮影手段によりそれぞれ撮影された前記操作子の各画像に基づいて、前記空間における当該操作子の前記表示面に対する位置を検出し、
    前記外力付与手段は、前記映像により立体視される前記仮想物体の前記空間における位置と、検出された前記操作子の位置とに基づいて決定された外力を当該操作子に付与する
    ことを特徴とする請求項１に記載の表示装置。
  4. 前記外力付与手段は、電荷を蓄える蓄電手段と、コイルとを有し、
    前記蓄電手段に蓄えた電荷を放電して前記コイルに電流を流すことにより、当該コイルから前記磁場を発生させる
    ことを特徴とする請求項１から３のいずれかに記載の表示装置。
  5. 前記操作子は、或る波長域の電磁波または音波を反射する反射材を有し、
    前記検出手段は、前記反射材に反射された反射波に基づいて前記操作子の位置を検出する
    ことを特徴とする請求項１から４のいずれかに記載の表示装置。
  6. 前記操作子は、或る波長域の赤外線を反射する再帰性反射材を有する
    ことを特徴とする請求項５に記載の表示装置。
  7. 前記検出手段は、前記外力付与手段により外力が付与された前および後の前記操作子の各位置をそれぞれ検出し、
    前記表示装置は、前記検出手段により検出された前記各位置間の距離と、前記外力付与手段が付与した前記外力とに応じた映像を表示する
    ことを特徴とする請求項１から６のいずれかに記載の表示装置。
  8. 磁性体を有する操作子と、
    請求項１から７のいずれかに記載の表示装置と
    を具備することを特徴とする映像表示システム。
  9. 表示手段により、表示面に映像を表示し、
    検出手段により、磁性体を有する操作子の前記表示面に対する位置を検出し、
    外力付与手段により、前記操作子の位置および前記映像の内容に応じて前記表示面が面する空間に磁場を発生させることにより、前記磁性体を介して前記操作子に外力を付与する
    ことを特徴とする映像表示方法。
JP2010162160A 2010-07-16 2010-07-16 表示装置、映像表示システムおよび映像表示方法 Pending JP2012022639A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010162160A JP2012022639A (ja) 2010-07-16 2010-07-16 表示装置、映像表示システムおよび映像表示方法
EP11172827.5A EP2407863A3 (en) 2010-07-16 2011-07-06 Display device, image display system, and image display method
TW100124216A TWI468995B (zh) 2010-07-16 2011-07-08 顯示裝置、影像顯示系統及影像顯示方法
US13/180,760 US8866739B2 (en) 2010-07-16 2011-07-12 Display device, image display system, and image display method
CN2011101959163A CN102339162A (zh) 2010-07-16 2011-07-13 显示设备、图像显示***和图像显示方法
KR1020110069881A KR101298848B1 (ko) 2010-07-16 2011-07-14 표시 장치, 영상 표시 시스템, 및 영상 표시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010162160A JP2012022639A (ja) 2010-07-16 2010-07-16 表示装置、映像表示システムおよび映像表示方法

Publications (1)

Publication Number Publication Date
JP2012022639A true JP2012022639A (ja) 2012-02-02

Family

ID=44483981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010162160A Pending JP2012022639A (ja) 2010-07-16 2010-07-16 表示装置、映像表示システムおよび映像表示方法

Country Status (6)

Country Link
US (1) US8866739B2 (ja)
EP (1) EP2407863A3 (ja)
JP (1) JP2012022639A (ja)
KR (1) KR101298848B1 (ja)
CN (1) CN102339162A (ja)
TW (1) TWI468995B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044662A (ja) * 2012-08-28 2014-03-13 Nec Casio Mobile Communications Ltd 電子機器、その制御方法及びプログラム
WO2016051480A1 (ja) * 2014-09-29 2016-04-07 日立マクセル株式会社 表示装置およびそれを用いた組込み機器
JP2019121388A (ja) * 2017-12-28 2019-07-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 仮想現実の長距離相互作用のためのシステム及び方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2743798A1 (en) * 2012-12-13 2014-06-18 BlackBerry Limited Magnetically coupling stylus and host electronic device
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US9526443B1 (en) 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US8704855B1 (en) * 2013-01-19 2014-04-22 Bertec Corporation Force measurement system having a displaceable force measurement assembly
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US9081436B1 (en) 2013-01-19 2015-07-14 Bertec Corporation Force and/or motion measurement system and a method of testing a subject using the same
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US8847989B1 (en) 2013-01-19 2014-09-30 Bertec Corporation Force and/or motion measurement system and a method for training a subject using the same
CA2911458C (en) * 2013-05-08 2018-03-06 Advanced Lithium Electrochemistry Co., Ltd. Preparation method of battery composite material and precursor thereof
CN103294225B (zh) * 2013-06-09 2016-09-28 深圳超多维光电子有限公司 立体显示设备、指点设备、立体显示***及其操作方法
US9817489B2 (en) * 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
US11429205B2 (en) 2014-07-31 2022-08-30 Hewlett-Packard Development Company, L.P. Tip-switch and manual switch to override the tip-switch for a stylus
US10318023B2 (en) * 2014-08-05 2019-06-11 Hewlett-Packard Development Company, L.P. Determining a position of an input object
US9489049B2 (en) * 2014-08-26 2016-11-08 Samsung Electronics Co., Ltd. Force simulation finger sleeve using orthogonal uniform magnetic field
US9400570B2 (en) 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
US9575573B2 (en) 2014-12-18 2017-02-21 Apple Inc. Stylus with touch sensor
US10591869B2 (en) 2015-03-24 2020-03-17 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces
JP6639181B2 (ja) * 2015-10-13 2020-02-05 キヤノン株式会社 撮像装置、生産システム、撮像方法、プログラム及び記録媒体
JP7298809B2 (ja) 2016-07-15 2023-06-27 ライト フィールド ラボ、インコーポレイテッド ２次元、ライトフィールドおよびホログラフィックリレーによるエネルギー伝搬および横方向アンダーソン局在
EP3737980A4 (en) 2018-01-14 2021-11-10 Light Field Lab, Inc. SYSTEMS AND METHODS FOR LOCATING TRANSVERSE ENERGY IN ENERGY RELAYS USING ORDERED STRUCTURES
JP7401427B2 (ja) * 2018-05-21 2023-12-19 株式会社ワコム 位置指示デバイス及び空間位置指示システム
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US20200286298A1 (en) * 2019-03-06 2020-09-10 Immersion Corporation Systems and methods for a user interaction proxy
US11367368B2 (en) * 2019-07-12 2022-06-21 Universal City Studios Llc Electronic display with deformable surface
KR102268293B1 (ko) * 2019-10-28 2021-06-23 방신웅 자성체를 이용한 감각 제공장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114225A1 (ja) * 2006-03-31 2007-10-11 Pioneer Corporation 立体的二次元画像表示装置
JP2008067169A (ja) * 2006-09-08 2008-03-21 Ntt Comware Corp 立体映像合成装置、形状データ生成方法およびそのプログラム
JP2008198196A (ja) * 1998-08-11 2008-08-28 Toudai Tlo Ltd 情報提示装置
JP2008226279A (ja) * 2008-06-23 2008-09-25 Matsushita Electric Works Ltd 仮想空間内位置指示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483499B1 (en) * 2000-04-21 2002-11-19 Hong Kong Productivity Council 3D sculpturing input device
JP2002095018A (ja) 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
TW499657B (en) 2000-12-20 2002-08-21 Inventec Multimedia & Telecom Pen-touch type data input device
JP2003172662A (ja) 2001-12-10 2003-06-20 Rikogaku Shinkokai 力覚提示装置における張力計算のアルゴリズム
US6938222B2 (en) 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US20030222977A1 (en) * 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
JP4225768B2 (ja) 2002-07-31 2009-02-18 シャープ株式会社 立体画像データ処理装置および立体画像データ処理用プログラム
JP4002970B2 (ja) 2002-11-29 2007-11-07 独立行政法人産業技術総合研究所 力覚型ヒューマンナビゲーションシステム及びそれに用いるデバイス
JP4230331B2 (ja) 2003-10-21 2009-02-25 富士フイルム株式会社 立体視画像生成装置および画像配信サーバ
US7411576B2 (en) 2003-10-30 2008-08-12 Sensable Technologies, Inc. Force reflecting haptic interface
US20060209019A1 (en) * 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US8160363B2 (en) * 2004-09-25 2012-04-17 Samsung Electronics Co., Ltd Device and method for inputting characters or drawings in a mobile terminal using a virtual screen
KR101585460B1 (ko) * 2009-03-12 2016-01-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 입력 방법
TWM381120U (en) 2009-11-10 2010-05-21 Chih-Ming Tsao Touch-controlled wireless mouse

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008198196A (ja) * 1998-08-11 2008-08-28 Toudai Tlo Ltd 情報提示装置
WO2007114225A1 (ja) * 2006-03-31 2007-10-11 Pioneer Corporation 立体的二次元画像表示装置
JP2008067169A (ja) * 2006-09-08 2008-03-21 Ntt Comware Corp 立体映像合成装置、形状データ生成方法およびそのプログラム
JP2008226279A (ja) * 2008-06-23 2008-09-25 Matsushita Electric Works Ltd 仮想空間内位置指示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044662A (ja) * 2012-08-28 2014-03-13 Nec Casio Mobile Communications Ltd 電子機器、その制御方法及びプログラム
WO2016051480A1 (ja) * 2014-09-29 2016-04-07 日立マクセル株式会社 表示装置およびそれを用いた組込み機器
JP2019121388A (ja) * 2017-12-28 2019-07-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 仮想現実の長距離相互作用のためのシステム及び方法
US10558267B2 (en) 2017-12-28 2020-02-11 Immersion Corporation Systems and methods for long-range interactions for virtual reality
JP2020091898A (ja) * 2017-12-28 2020-06-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 仮想現実の長距離相互作用のためのシステム及び方法
US10747325B2 (en) 2017-12-28 2020-08-18 Immersion Corporation Systems and methods for long-range interactions for virtual reality

Also Published As

Publication number Publication date
TW201222343A (en) 2012-06-01
US20120013530A1 (en) 2012-01-19
KR101298848B1 (ko) 2013-08-23
US8866739B2 (en) 2014-10-21
TWI468995B (zh) 2015-01-11
CN102339162A (zh) 2012-02-01
EP2407863A2 (en) 2012-01-18
KR20120008450A (ko) 2012-01-30
EP2407863A3 (en) 2013-05-22

Similar Documents

Publication Publication Date Title
JP2012022639A (ja) 表示装置、映像表示システムおよび映像表示方法
JP7118007B2 (ja) 視野周辺の視覚的背光
Burdea et al. Virtual reality technology
CN105653031B (zh) 带有多个视图、显示器以及物理学的姿势输入
JP2019192242A (ja) 没入型現実インターフェースモードを提供するシステム、デバイス及び方法
EP3398030B1 (en) Haptic feedback for non-touch surface interaction
KR100812624B1 (ko) 입체영상 기반 가상현실장치
Steinicke et al. Moving towards generally applicable redirected walking
US20170150108A1 (en) Autostereoscopic Virtual Reality Platform
CN116719415A (zh) 用于提供计算机生成的体验的设备、方法和图形用户界面
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
EP3470960A1 (en) Haptic effects with multiple peripheral devices
WO2017009529A1 (en) Mediated reality
WO2018176773A1 (zh) 三维空间的交互***及其操作方法
JP2013084096A (ja) 情報処理装置
Kajita et al. Skyanchor: Optical design for anchoring mid-air images onto physical objects
Uematsu et al. HALUX: projection-based interactive skin for digital sports
Gotsch et al. Holoflex: A flexible light-field smartphone with a microlens array and a p-oled touchscreen
Bohdal Devices for Virtual and Augmented Reality
Matsumaru et al. Three-dimensional aerial image interface, 3DAII
WO2015196877A1 (en) Autostereoscopic virtual reality platform
Ray et al. Creating an interaction interface to improve user engagement in virtual reality systems
Rodrigues et al. Mixed Reality TVs: Applying Motion Parallax for Enhanced Viewing and Control Experiences on Consumer TVs
Steinicke et al. The holodeck construction manual.
KR20200083762A (ko) 모션인식 기반의 홀로그램 출력 전자칠판

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130219