JP2018014078A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2018014078A JP2018014078A JP2017043969A JP2017043969A JP2018014078A JP 2018014078 A JP2018014078 A JP 2018014078A JP 2017043969 A JP2017043969 A JP 2017043969A JP 2017043969 A JP2017043969 A JP 2017043969A JP 2018014078 A JP2018014078 A JP 2018014078A
- Authority
- JP
- Japan
- Prior art keywords
- input device
- pointer
- information processing
- information
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 142
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 30
- 238000012986 modification Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000012850 discrimination method Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8023—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game the game being played by multiple players at a common site, e.g. in an arena, theatre, shopping mall using a large public display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【解決手段】1または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、を備える、情報処理装置。
【選択図】図1
Description
1.本開示の一実施形態による情報処理システムの概要
2.構成
2−1.全体構成
2−2.情報処理装置の構成
3.第1の実施形態
3−1.概要
3−2.入力デバイスの構成
3−3.動作処理
3−4.その他
4.第2の実施形態
4−1.入力デバイスの構成
4−2.動作処理
4−3.第1の変形例
4−4.第2の変形例
5.補足
6.まとめ
7.伝送遅延について
8.入力デバイスの識別について
9.変形例
本開示の一実施形態による情報処理システムの概要について図1を参照して説明する。本実施形態による情報処理システムは、多数のユーザがそれぞれ入力デバイス2(2A〜2K)を所持し、前方のスクリーン3に表示された立体視オブジェクト30に対して入力デバイス2を振る等の操作を行う。入力デバイス2は、赤外線等の非可視光線を発光する発光部を有し、スクリーン3に対してポインタの照射を行い得る。
<2−1.全体構成>
図5は、本実施形態による情報処理システムの全体構成を示す図である。図5に示すように、本実施形態による情報処理システムは、情報処理装置1、多数の入力デバイス2(2A〜2C)、多数の触覚刺激出力デバイス4(4A〜4C)、プロジェクター5、カメラ6、およびスピーカ7を有する。
図6は、本実施形態による情報処理装置1の構成の一例を示すブロック図である。図6に示すように、情報処理装置1は、制御部10、通信部11、入力部12、出力部13、および記憶部14を有する。
<3−1.概要>
上述したように、本実施形態による情報処理装置1は、判別部102により表示画面上の各ポインタがどの入力デバイス2により発光されたポインタであるかを判別することで、各入力デバイス2の入力(すなわちポインタの位置や動き)に応じてそれぞれに所定の触覚刺激出力をフィードバックすることを可能とする。
まず、本実施形態による入力デバイス2−1の構成について図8を参照して説明する。図8は、本実施形態による入力デバイス2−1の構成の一例を示すブロック図である。図8に示すように、入力デバイス2−1は、制御部20、操作部21、発光部22、通信部23、および振動部24を有する。
続いて、第1の実施形態による動作処理について図9を参照して説明する。図9は、本実施形態による動作処理を示すフローチャートである。
以上説明した例では、n種類の波長を用いて2n−1人の識別を可能とするが、さらに以下のようなポインタ特徴を持たせることで、さらに大人数の識別が可能となる。
例えばポインタのマーク形状、マークの大きさ、マークの向き、点光源の配置、線光源による文字等により、さらに入力デバイスの判別数を増やすことが可能である。図12は、2種類の波長を用いて9個の入力デバイスを判別する場合について説明する図である。
判別部102は、入力デバイス2のスイング中であってもポインタの発光軌跡の状態に基づいて相違を認識し、入力デバイスの判別を行うことが可能である。ポインタが静止状態であれば図12に示すように各マーク形状を認識できるが、スイング中の場合は露光時間に応じてボケるため、異なるマーク形状やマークの大きさに応じて発光軌跡が異なる。判別部102は、発光軌跡の太さや本線、どの方向にスイングされているかといったポインタ特徴に基づいて、対応する入力デバイス2を判別し得る。
また、各入力デバイス2−1から発光されるIRの輝度値の大きさを異ならせる(すなわち、明るさの相違)により、対応する入力デバイス2−1を判別することも可能である。
情報処理装置1は、入力デバイス2−1での発光タイミングとカメラ6のシャッタータイミングを同期させて、それぞれのポインタが特定倍数フレームにしか映らないようにすることで、単一波長を用いた場合でも複数の入力デバイス2−1を判別することを可能とする。以下、図13を参照して具体的に説明する。
上述した各手法内でのパターンの組み合わせにより、さらに入力デバイス2−1の判別数を増やすことも可能である。例えば上述した実施形態で説明したような複数波長の組み合わせが考えられる。
上述した異なる手法を組み合わせて、さらに入力デバイス2−1の判別数を増やすことも可能である。例えば2種類のIR波長を用いる場合に、さらにマーク形状、大きさ、明るさ、点滅等による多数の識別を組み合わせて、より多くの人数の識別に対応することが可能である。
次に、第2の実施形態による情報処理システムについて図14〜図20を参照して説明する。本実施形態では、IR発光機能を有する入力デバイス2−2に、さらに動きや姿勢を検知するセンサを設けて、入力デバイス2−2の動きと、カメラ6により撮像した表示画面の撮像画像に基づいて、各ポインタに対応する入力デバイス2−2の判別を行う。
図14は、本実施形態による入力デバイス2−2の構成の一例を示すブロック図である。図14に示すように、入力デバイス2−2は、制御部20、操作部21、発光部22、通信部23、振動部24、およびセンサ部25を有する。ここでは、第1の実施形態による入力デバイス2−1と異なる部分について説明し、共通する部分についての説明は省略する。
次に、本実施形態の動作処理について説明する。図15は、本実施形態による動作処理を示すフローチャートである。
以上説明した例では、入力デバイス2−2のセンサ部25により検知されたセンサ情報を用いて判別する手法について説明したが、本実施形態はこれに限定されない。例えばユーザ側を撮影するIRカメラを用意し、当該IRカメラにより撮像された撮像画像を用いることで、センサ部25のセンサ情報を用いずに発光軌跡に対応する入力デバイスを判別することが可能である。以下、図19〜図20を参照して具体的に説明する。
以上説明した例では、スクリーン3上の発光軌跡を、スクリーン3を撮像するカメラ6で撮像したIR撮像画像を解析して認識していたが、本実施形態はこれに限定されない。例えば、スクリーン3の周囲にIRセンサを配置し、当該IRセンサの検知結果に基づいて、スクリーン3を撮像するカメラ6を用いずにスクリーン3上の発光軌跡を推定することが可能である。以下、図21〜図25を参照して具体的に説明する。
0 < t2 - t1 < Tth
続いて、本開示の一実施形態による情報処理システムについて補足を行う。
上述したように、本開示の実施形態による情報処理システムでは、多数の入力デバイスからの入力に基づいて所定の触覚刺激を対応する入力デバイスに提示し、よりリアリティのある直感的な触覚インターフェースを実現することを可能とする。
上記各実施形態において、情報処理装置1が備える通信部11と入力デバイス2が備える通信部23の間で無線通信を実行する際、遅延が発生する。この遅延に対しては以下のように対応することが可能である。
上記のように、カメラ6の露光タイミング及び発光部22の発光タイミングを制御する場合の入力デバイス2の識別について説明する。図29乃至図32は、入力デバイス2の識別方法を示す模式図である。以下に示す例では通信部11及び通信部23の通信は有線通信であるものとするが、無線通信であってもよい。また、複数の入力デバイス2をそれぞれ入力デバイス2a、2b、2cとする。
本技術に係る情報処理システムにおいて、情報処理装置1と入力デバイス2は遠隔地に配置されてもよい。各構成の動作はクラウドサーバ等を利用することにより実現することが可能である。
(1)
1または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
を備える、情報処理装置。
(2)
前記生成部は、前記ポインタの位置または軌道が特定の立体視オブジェクトと重複した場合、所定の前記触覚刺激信号を生成する、前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、前記生成された触覚刺激信号を、対応する入力デバイスに送信する送信部をさらに備える、前記(1)または(2)のいずれか1項に記載の情報処理装置。
(4)
前記生成部は、前記ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスを所持するユーザ着用の触覚刺激出力デバイスに出力する所定の触覚刺激信号をさらに生成する、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)
前記センサデータは、ポインタが照射されている表示画面を撮像した撮像画像情報である、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記ポインタ情報の特徴は、複数波長の組み合わせである、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記ポインタ情報の特徴は、マークの形状である、前記(6)に記載の情報処理装置。
(8)
前記ポインタ情報の特徴は、スイング中の状態である、前記(6)に記載の情報処理装置。
(9)
前記ポインタ情報の特徴は、マークの状態である、前記(6)に記載の情報処理装置。
(10)
前記複数波長の組み合わせと対応する入力デバイスは動的に構築される、前記(6)に記載の情報処理装置。
(11)
前記判別部は、異なる各波長にそれぞれ対応するバンドパスフィルタを有する複数の撮像装置で撮像された各撮像画像情報に基づいて、複数の撮像画像上の略同じ座標のポインタに対応する入力デバイスを判別する、前記(6)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記取得部は、前記入力デバイスの入力タイミングに応じたポインタ情報を取得する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記判別部は、前記入力デバイスのセンサにより検知されたセンサ情報と前記ポインタ情報の特徴に基づいて、各ポインタに対応する入力デバイスを判別する、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記入力デバイスのセンサにより検知されたセンサ情報が所定の条件を満たす場合、前記入力デバイスによる入力が行われる、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記入力デバイスの入力は、前記入力デバイスに設けられた発光部からの発光である、前記(12)〜(14)のいずれか1項に記載の情報処理装置。
(16)
前記判別部は、前記入力デバイスから出力された動きセンサ情報または姿勢センサ情報の少なくともいずれかと、前記ポインタ情報の特徴で示されるポインタの軌跡または軌跡の角度に基づいて、当該ポインタに対応する入力デバイスを判別する、前記(13)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記送信部は、複数ポインタに対応する各入力デバイスの判別が出来なかった場合、複数ポインタのうち前記所定の条件を満たすものがあれば、当該条件を満たすポインタに対応する入力デバイスに出力する所定の触覚刺激信号を、前記判別の出来ない全ての入力デバイスに送信する、前記(3)に記載の情報処理装置。
(18)
プロセッサが、
1または複数のセンサデータに基づいて複数のポインタ情報を取得することと、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別すること部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成することと、
を含む、情報処理方法。
(19)
コンピュータを、
1または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
として機能させるための、プログラム。
2、2−1、2−2 入力デバイス
3 スクリーン
4 触覚刺激出力デバイス
4−1 バンド型触覚刺激出力デバイス
4−2 ジャケット型触覚刺激出力デバイス
5 プロジェクター
6 カメラ
7 スピーカ
10 制御部
11 通信部
12 入力部
13 出力部
14 記憶部
20 制御部
21 操作部
22 発光部
23 通信部
24 振動部
25 センサ部
30 立体視オブジェクト
41 振動部
42 振動部
43 ステレオスピーカ
101 情報解析部
102 判別部
103 出力信号生成部
111 タイミング生成部
112 露光コントローラー
211 発光コントローラー
Claims (19)
- 1または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
を備える、情報処理装置。 - 前記生成部は、前記ポインタの位置または軌道が特定の立体視オブジェクトと重複した場合、所定の前記触覚刺激信号を生成する、請求項1に記載の情報処理装置。
- 前記情報処理装置は、前記生成された触覚刺激信号を、対応する入力デバイスに送信する送信部をさらに備える、請求項1に記載の情報処理装置。
- 前記生成部は、前記ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスを所持するユーザ着用の触覚刺激出力デバイスに出力する所定の触覚刺激信号をさらに生成する、請求項1に記載の情報処理装置。
- 前記センサデータは、ポインタが照射されている表示画面を撮像した撮像画像情報である、請求項1に記載の情報処理装置。
- 前記ポインタ情報の特徴は、複数波長の組み合わせである、請求項1に記載の情報処理装置。
- 前記ポインタ情報の特徴は、マークの形状である、請求項6に記載の情報処理装置。
- 前記ポインタ情報の特徴は、スイング中の状態である、請求項6に記載の情報処理装置。
- 前記ポインタ情報の特徴は、マークの状態である、請求項6に記載の情報処理装置。
- 前記複数波長の組み合わせと対応する入力デバイスは動的に構築される、請求項6に記載の情報処理装置。
- 前記判別部は、異なる各波長にそれぞれ対応するバンドパスフィルタを有する複数の撮像装置で撮像された各撮像画像情報に基づいて、複数の撮像画像上の略同じ座標のポインタに対応する入力デバイスを判別する、請求項6に記載の情報処理装置。
- 前記取得部は、前記入力デバイスの入力タイミングに応じたポインタ情報を取得する、請求項1に記載の情報処理装置。
- 前記判別部は、前記入力デバイスのセンサにより検知されたセンサ情報と前記ポインタ情報の特徴に基づいて、各ポインタに対応する入力デバイスを判別する、請求項1に記載の情報処理装置。
- 前記入力デバイスのセンサにより検知されたセンサ情報が所定の条件を満たす場合、前記入力デバイスによる入力が行われる、請求項1に記載の情報処理装置。
- 前記入力デバイスの入力は、前記入力デバイスに設けられた発光部からの発光である、請求項12に記載の情報処理装置。
- 前記判別部は、前記入力デバイスから出力された動きセンサ情報または姿勢センサ情報の少なくともいずれかと、前記ポインタ情報の特徴で示されるポインタの軌跡または軌跡の角度に基づいて、当該ポインタに対応する入力デバイスを判別する、請求項13に記載の情報処理装置。
- 前記送信部は、複数ポインタに対応する各入力デバイスの判別が出来なかった場合、複数ポインタのうち前記所定の条件を満たすものがあれば、当該条件を満たすポインタに対応する入力デバイスに出力する所定の触覚刺激信号を、前記判別の出来ない全ての入力デバイスに送信する、請求項3に記載の情報処理装置。
- プロセッサが、
1または複数のセンサデータに基づいて複数のポインタ情報を取得することと、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別すること部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成することと、
を含む、情報処理方法。 - コンピュータを、
1または複数のセンサデータに基づいて複数のポインタ情報を取得する取得部と、
前記複数のポインタ情報の特徴に基づいて各ポインタに対応する入力デバイスを判別する判別部と、
ポインタの位置が所定の条件を満たす場合、当該ポインタに対応する入力デバイスに出力する所定の触覚刺激信号を生成する生成部と、
として機能させるための、プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/902,497 US10668372B2 (en) | 2016-07-12 | 2018-02-22 | Information processing apparatus, information processing method, and program |
CN201810171478.9A CN108572728B (zh) | 2016-07-12 | 2018-03-01 | 信息处理设备、信息处理方法和程序 |
DE102018105289.8A DE102018105289A1 (de) | 2016-07-12 | 2018-03-07 | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016137894 | 2016-07-12 | ||
JP2016137894 | 2016-07-12 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018014078A true JP2018014078A (ja) | 2018-01-25 |
JP2018014078A5 JP2018014078A5 (ja) | 2020-04-09 |
JP6834614B2 JP6834614B2 (ja) | 2021-02-24 |
Family
ID=60952503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017043969A Active JP6834614B2 (ja) | 2016-07-12 | 2017-03-08 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11027195B2 (ja) |
JP (1) | JP6834614B2 (ja) |
CN (1) | CN108572728B (ja) |
DE (2) | DE112017003556T5 (ja) |
WO (1) | WO2018012062A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7484586B2 (ja) | 2020-08-31 | 2024-05-16 | 株式会社Jvcケンウッド | 表示制御装置、及び表示制御プログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11156473B2 (en) * | 2016-08-18 | 2021-10-26 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
US10945484B1 (en) * | 2017-06-28 | 2021-03-16 | Apple Inc. | Haptic output devices |
CN109364478B (zh) | 2018-09-07 | 2022-08-23 | 深圳市腾讯信息技术有限公司 | 信息同步方法、装置及存储介质 |
WO2020080433A1 (ja) * | 2018-10-19 | 2020-04-23 | ソニー株式会社 | 情報処理装置、情報処理方法、および、プログラム |
EP3869300A4 (en) * | 2018-10-19 | 2021-12-15 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
WO2021145026A1 (ja) * | 2020-01-17 | 2021-07-22 | ソニーグループ株式会社 | 情報処理装置及び情報処理端末 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5003260A (en) * | 1987-05-28 | 1991-03-26 | Auchterlonie Richard C | Inductive position sensor having plural phase windings on a support and a displaceable phase sensing element returning a phase indicating signal by electromagnetic induction to eliminate wire connections |
JP3744418B2 (ja) * | 2001-12-17 | 2006-02-08 | 株式会社日立製作所 | 情報表示装置 |
US20080291179A1 (en) * | 2005-11-30 | 2008-11-27 | Koninklijke Philips Electronics, N.V. | Light Pen Input System and Method, Particularly for Use with Large Area Non-Crt Displays |
JP5004518B2 (ja) * | 2006-06-22 | 2012-08-22 | 任天堂株式会社 | ゲーム装置、ゲームプログラム、ゲームシステム、およびゲーム処理方法 |
JP5410710B2 (ja) * | 2007-09-12 | 2014-02-05 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、ゲームシステム |
EP2312858B1 (en) * | 2008-06-18 | 2012-09-26 | Panasonic Corporation | Image processing apparatus, imaging apparatus, image processing method, and program |
US20110276113A1 (en) * | 2010-04-12 | 2011-11-10 | Cybulski James S | RF Tissue Modulation Devices and Methods of Using the Same |
JP5279482B2 (ja) * | 2008-12-25 | 2013-09-04 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
EP2417513A4 (en) * | 2009-04-05 | 2013-10-30 | Radion Engineering Co Ltd | SYSTEM AND METHOD FOR UNIFIED DISPLAY AND INPUT |
JP2012014361A (ja) * | 2010-06-30 | 2012-01-19 | Canon Inc | 情報処理装置およびその制御方法 |
WO2012094740A1 (en) * | 2011-01-12 | 2012-07-19 | Smart Technologies Ulc | Method for supporting multiple menus and interactive input system employing same |
JP6112807B2 (ja) * | 2012-09-11 | 2017-04-12 | 株式会社キーエンス | 形状測定装置、形状測定方法および形状測定プログラム |
JP6175913B2 (ja) * | 2013-06-04 | 2017-08-09 | 船井電機株式会社 | 入力装置、入力システム及び入力方法 |
WO2015017242A1 (en) * | 2013-07-28 | 2015-02-05 | Deluca Michael J | Augmented reality based user interfacing |
JP2015166890A (ja) | 2014-03-03 | 2015-09-24 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US9677840B2 (en) * | 2014-03-14 | 2017-06-13 | Lineweight Llc | Augmented reality simulator |
US9779633B2 (en) * | 2014-08-08 | 2017-10-03 | Greg Van Curen | Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same |
FR3028051B1 (fr) * | 2014-10-31 | 2016-12-09 | Thales Sa | Systeme de visualisation stereoscopique a multiplexage de longueur d'onde actif |
US9685005B2 (en) * | 2015-01-02 | 2017-06-20 | Eon Reality, Inc. | Virtual lasers for interacting with augmented reality environments |
WO2016114015A1 (ja) * | 2015-01-15 | 2016-07-21 | ソニー株式会社 | 撮像制御装置、撮像制御方法及びプログラム |
US10078917B1 (en) * | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
US11221750B2 (en) * | 2016-02-12 | 2022-01-11 | Purdue Research Foundation | Manipulating 3D virtual objects using hand-held controllers |
-
2017
- 2017-03-08 JP JP2017043969A patent/JP6834614B2/ja active Active
- 2017-04-06 US US16/302,764 patent/US11027195B2/en active Active
- 2017-04-06 DE DE112017003556.2T patent/DE112017003556T5/de active Pending
- 2017-04-06 WO PCT/JP2017/014384 patent/WO2018012062A1/ja active Application Filing
-
2018
- 2018-02-22 US US15/902,497 patent/US10668372B2/en not_active Expired - Fee Related
- 2018-03-01 CN CN201810171478.9A patent/CN108572728B/zh active Active
- 2018-03-07 DE DE102018105289.8A patent/DE102018105289A1/de active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7484586B2 (ja) | 2020-08-31 | 2024-05-16 | 株式会社Jvcケンウッド | 表示制御装置、及び表示制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2018012062A1 (ja) | 2018-01-18 |
JP6834614B2 (ja) | 2021-02-24 |
CN108572728A (zh) | 2018-09-25 |
DE102018105289A1 (de) | 2018-09-13 |
DE112017003556T5 (de) | 2019-03-28 |
CN108572728B (zh) | 2022-11-08 |
US11027195B2 (en) | 2021-06-08 |
US10668372B2 (en) | 2020-06-02 |
US20190291002A1 (en) | 2019-09-26 |
US20180256974A1 (en) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6834614B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP3425481B1 (en) | Control device | |
US8009022B2 (en) | Systems and methods for immersive interaction with virtual objects | |
US11016569B2 (en) | Wearable device and method for providing feedback of wearable device | |
JP2020091904A (ja) | システムおよびコントローラ | |
TWI377055B (en) | Interactive rehabilitation method and system for upper and lower extremities | |
BR112012000698B1 (pt) | Método para aplicar uma animação em uma representação visual de um usuário e memória legível por computador | |
EP2435147A2 (en) | Gesture coach | |
KR20150086278A (ko) | 주체와 객체의 연관 | |
KR20150116897A (ko) | Nui 관여의 검출 | |
JP5980404B1 (ja) | 仮想空間内オブジェクトへの動作指示方法、及びプログラム | |
WO2019163260A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2018116544A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP3138145U (ja) | 脳トレーニング装置 | |
WO2018079383A1 (ja) | 情報処理装置、制御方法、プログラム、及び記録媒体 | |
WO2021196584A1 (zh) | 激光感应***及方法、计算机可读存储介质、电子设备 | |
JP2018010665A (ja) | 仮想空間内オブジェクトへの動作指示方法、及びプログラム | |
JP2018190196A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018010348A (ja) | 仮想空間内のキャラクタを動作させる方法、当該方法をコンピュータに実行させるためのプログラム及びコンピュータ装置 | |
WO2019171830A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2018190397A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
KR20230031765A (ko) | 감각 전달이 가능한 핸드 트래킹 시스템 | |
TWI549728B (zh) | 偵測多人體感之管理方法及其系統 | |
JP2018117970A (ja) | ゲームシステム、ゲーム実行方法、及び、コンピュータ装置 | |
JP2017097835A (ja) | 仮想空間内オブジェクトへの動作指示方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6834614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |