JP6959991B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6959991B2 JP6959991B2 JP2019559894A JP2019559894A JP6959991B2 JP 6959991 B2 JP6959991 B2 JP 6959991B2 JP 2019559894 A JP2019559894 A JP 2019559894A JP 2019559894 A JP2019559894 A JP 2019559894A JP 6959991 B2 JP6959991 B2 JP 6959991B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- manipulator
- information
- finger
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
- A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Description
f1=θ1−Fθ1、
f2=θ2−Fθ2、…
を、マニュピレータが、当該マニピュレータに接触している仮想的な物体に対して与える仮想的な力の大きさとしてそれぞれ求める。
本実施の形態は、以上の構成を備えており、次のように動作する。ユーザは、例えばヘッドマウントディスプレイを装着し、左右の手の少なくとも一方には、指の曲げ具合を測定するセンサを備えた操作デバイス20を装着するものとする。
ここまでの説明では、制御部11の提示処理部115は、決定処理部114が決定した力の大きさを表す情報をユーザに提示するため、マニピュレータの指に対応する部分F1,F2…ごとに、決定処理部114が決定した力の大きさの値f1,f2…に応じて、色を設定することとしていた。しかしながら本実施の形態はこれに限られない。例えば、提示処理部115は、色に代えて、あるいは色とともにマニピュレータの指に対応する部分F1,F2…ごとに、決定処理部114が決定した力の大きさの値f1,f2…に応じて、テクスチャを変更してもよい。
また本実施の形態では、提示処理部115が、決定処理部114により決定された力の大きさを表す情報を提示するにあたり、対応するマニピュレータが接触している仮想的な物体の部分の大きさにより、色、テクスチャまたは透過度を変化させる領域の大きさを異ならせてもよい。
さらに本実施の形態の一例では、提示処理部115は、マニピュレータの指に対応する部分Fまたは当該部分が接触する仮想的な物体の部分の色、テクスチャまたは透過度を変化させるのに代えて、またはそれとともに、対応する部分の近傍(対応する部分から予め定めた距離の範囲にある位置)に、決定処理部114により決定された、対応する力の大きさを表すゲージ(力の大きさに応じて伸縮するバー、または力の大きさに応じて色の変わる範囲が制御される円グラフ状のゲージ)を表示してもよい。あるいは、このゲージの表示位置は、マニピュレータの手の部分Hであってもよい。
さらに本実施の形態のある例では、提示処理部115は、ユーザに提示する画像を変更するのではなく、操作デバイス20に対して、ユーザに情報を提示するよう指示してもよい。
また、ここまでの説明では、仮想的なマニピュレータは、ユーザの手の形状を模して、手の部分と指の部分とを有する形状としたが、本実施の形態はこれに限られず、開閉可能なつかみ具を模した形状として、つかみ具の開度をユーザの指の曲げ具合に応じて決定してもよい。一例としてこの開度は、ユーザの各指の曲げ具合の情報の平均値等の統計量に応じて決定してもよい。
Claims (9)
- 仮想空間内に仮想的な物体を配し、当該仮想空間内の画像を生成してユーザに提示する情報処理装置であって、
ユーザからの操作を表す情報を受け入れる受入手段と、
当該受け入れた操作を表す情報に応じ、前記仮想空間内に、前記仮想的な物体を操作する手指を表す三次元的なモデルである、仮想的なマニュピレータを表示するマニュピレータ表示手段と、
前記仮想的なマニュピレータの各指が前記仮想的な物体に対して与える仮想的な力の大きさを決定する決定手段と、
前記決定した力の大きさを表す情報をユーザに提示する提示手段と、
を有し、
前記提示手段は、前記仮想的なマニュピレータの各指に対応する部分の色、テクスチャ、透過度、または色変更の周期を、対応する指ごとに求めた仮想的な力の大きさに基づいて設定する情報処理装置。 - 請求項1記載の情報処理装置であって、
前記受入手段は、ユーザから、ユーザの各指の曲げ角度の情報を、操作を表す情報として受け入れ、
前記マニュピレータ表示手段は、ユーザの少なくとも一部の指に対応するマニュピレータを表示する手段であって、前記受入手段が受け入れた情報で表される指ごとの曲げ角度の情報と、前記仮想空間内に配された前記仮想的な物体との衝突判定結果とに基づいて、対応するマニュピレータの姿勢を決定して表示し、
前記決定手段は、前記マニュピレータ表示手段が決定したマニュピレータの姿勢と、対応する指の曲げ角度の情報とに基づいて、前記仮想的なマニュピレータが前記仮想的な物体に対して与える仮想的な力の大きさを決定する情報処理装置。 - 請求項2記載の情報処理装置であって、
前記決定手段は、前記マニュピレータ表示手段が決定したマニュピレータの姿勢と、対応する指の曲げ角度の情報との差に基づいて、前記仮想的なマニュピレータが前記仮想的な物体に対して与える仮想的な力の大きさを決定する情報処理装置。 - 請求項1から3のいずれか一項に記載の情報処理装置であって、
前記提示手段は、さらに、
前記決定した力の大きさを表す情報を、当該情報に応じて、対応するマニュピレータまたは当該マニュピレータが接触している前記仮想的な物体の部分の色、テクスチャ、透過度、色変更の周期を異ならせることにより提示する情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記提示手段が前記決定した力の大きさを表す情報を、当該情報に応じて、対応するマニュピレータの各指またはマニュピレータが接触している前記仮想的な物体の部分の色、テクスチャ、透過度、色変更の周期を異ならせることにより提示する場合、当該対応するマニュピレータが接触している仮想的な物体の部分の大きさにより、色、テクスチャまたは透過度を変化させる領域の大きさを異ならせる情報処理装置。 - 請求項1から5のいずれか一項に記載の情報処理装置であって、
さらに、前記決定した力の大きさを表す情報を、出力する音声により提示する情報処理装置。 - 請求項1から6のいずれか一項に記載の情報処理装置であって、
ユーザが操作するコントローラに通信可能に接続されており、
前記提示手段は、前記コントローラに対して、前記決定した力の大きさを表す情報を提示させる指示を出力する情報処理装置。 - 仮想空間内に仮想的な物体を配し、当該仮想空間内の画像を生成してユーザに提示する情報処理装置を用い、
受入手段が、ユーザからの操作を表す情報を受け入れる工程と、
表示手段が、当該受け入れた操作を表す情報に応じ、前記仮想空間内に、前記仮想的な物体を操作する仮想的なマニュピレータを表示する工程と、
決定手段が、前記仮想的なマニュピレータが前記仮想的な物体に対して与える仮想的な力の大きさを決定する工程と、
提示手段が、前記決定した力の大きさを表す情報をユーザに提示する工程と、
を有し、
前記情報を提示する工程では、前記仮想的なマニュピレータの各指に対応する部分の色、テクスチャ、透過度、または色変更の周期を、対応する指ごとに求めた仮想的な力の大きさに基づいて設定する情報処理方法。 - コンピュータを、
仮想空間内に仮想的な物体を配し、当該仮想空間内の画像を生成してユーザに提示する手段と、
ユーザからの操作を表す情報を受け入れる受入手段と、
当該受け入れた操作を表す情報に応じ、前記仮想空間内に、前記仮想的な物体を操作する仮想的なマニュピレータを表示するマニュピレータ表示手段と、
前記仮想的なマニュピレータが前記仮想的な物体に対して与える仮想的な力の大きさを決定する決定手段と、
前記決定した力の大きさを表す情報をユーザに提示する提示手段と、
として機能させ、
前記提示手段として機能させる際には、前記仮想的なマニュピレータの各指に対応する部分の色、テクスチャ、透過度、または色変更の周期を、対応する指ごとに求めた仮想的な力の大きさに基づいて設定するプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/045523 WO2019123530A1 (ja) | 2017-12-19 | 2017-12-19 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019123530A1 JPWO2019123530A1 (ja) | 2020-07-27 |
JP6959991B2 true JP6959991B2 (ja) | 2021-11-05 |
Family
ID=66993188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559894A Active JP6959991B2 (ja) | 2017-12-19 | 2017-12-19 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11385759B2 (ja) |
JP (1) | JP6959991B2 (ja) |
WO (1) | WO2019123530A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6874149B2 (ja) * | 2017-10-26 | 2021-05-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法およびプログラム |
EP3566823A1 (en) * | 2018-05-11 | 2019-11-13 | Siemens Aktiengesellschaft | Method, apparatus and system for robotic programming |
EP3782775A4 (en) * | 2018-05-25 | 2021-06-23 | Meltin MMI Co., Ltd. | MOTION DETECTION DEVICE |
US10332367B1 (en) * | 2018-10-17 | 2019-06-25 | Capital One Services, Llc | Systems and methods for using haptic vibration for inter device communication |
KR20210069491A (ko) * | 2019-12-03 | 2021-06-11 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100222628B1 (ko) * | 1994-07-19 | 1999-10-01 | 야마모토 카즈모토 | 가상 현실감 및 원격 현실감 시스템 |
JP3539645B2 (ja) * | 1995-02-16 | 2004-07-07 | 株式会社日立製作所 | 遠隔手術支援装置 |
US6407679B1 (en) * | 1998-07-31 | 2002-06-18 | The Research Foundation Of The State University Of New York | System and method for entering text in a virtual environment |
US6827579B2 (en) * | 2000-11-16 | 2004-12-07 | Rutgers, The State University Of Nj | Method and apparatus for rehabilitation of neuromotor disorders |
US7683889B2 (en) * | 2004-12-21 | 2010-03-23 | Microsoft Corporation | Pressure based selection |
JP4323446B2 (ja) * | 2005-03-15 | 2009-09-02 | 日本電信電話株式会社 | 作業指示システムとそのプログラム |
JP2008165488A (ja) * | 2006-12-28 | 2008-07-17 | Fujitsu Ltd | 組立操作性評価装置、方法及びプログラム |
US11325029B2 (en) * | 2007-09-14 | 2022-05-10 | National Institute Of Advanced Industrial Science And Technology | Virtual reality environment generating apparatus and controller apparatus |
US8875041B1 (en) * | 2011-08-19 | 2014-10-28 | Google Inc. | Methods and systems for providing feedback on an interface controlling a robotic device |
US10627904B2 (en) * | 2014-02-07 | 2020-04-21 | Ultrahaptics IP Two Limited | Systems and methods of determining interaction intent in three-dimensional (3D) sensory space |
WO2016205143A1 (en) * | 2015-06-14 | 2016-12-22 | Sony Interactive Entertainment Inc. | Gloves that include haptic feedback for use with hmd systems |
US10572054B2 (en) * | 2016-10-28 | 2020-02-25 | Nanning Fugui Precision Industrial Co., Ltd. | Interface control method for operation with one hand and electronic device thereof |
US11069148B2 (en) * | 2018-01-25 | 2021-07-20 | Facebook Technologies, Llc | Visualization of reconstructed handstate information |
-
2017
- 2017-12-19 WO PCT/JP2017/045523 patent/WO2019123530A1/ja active Application Filing
- 2017-12-19 US US16/766,097 patent/US11385759B2/en active Active
- 2017-12-19 JP JP2019559894A patent/JP6959991B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20200356235A1 (en) | 2020-11-12 |
US11385759B2 (en) | 2022-07-12 |
WO2019123530A1 (ja) | 2019-06-27 |
JPWO2019123530A1 (ja) | 2020-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6959991B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7199476B2 (ja) | 制御システム、制御装置、制御方法、及びプログラム | |
JP6854871B2 (ja) | 制御装置及び制御プログラム | |
JP6799077B2 (ja) | 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム | |
CN108621156B (zh) | 机器人控制装置、机器人***、机器人以及机器人控制方法 | |
TW201707895A (zh) | 機器人系統 | |
JP6574892B2 (ja) | 制御装置及び制御プログラム | |
KR20190021435A (ko) | 정보 처리 시스템, 조작 장치, 및 조작 장치 제어 방법 | |
JP6526098B2 (ja) | ロボットを操作するための操作装置、ロボットシステム、および操作方法 | |
US11813518B2 (en) | Information processing system, controller apparatus, information processing apparatus, and program | |
JP7057389B2 (ja) | 情報処理装置、制御方法、プログラム、及び記憶媒体 | |
JP6959349B2 (ja) | 操作デバイス、及びその制御装置 | |
WO2019077652A1 (ja) | 情報処理システム、コントローラデバイス、及び情報処理装置 | |
EP3489804A1 (en) | Haptic accessory apparatus | |
JP6653293B2 (ja) | 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法 | |
JP6650890B2 (ja) | ゲームシステム、ゲームプログラム、情報処理装置およびゲーム制御方法 | |
JP6661783B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
JP6687749B2 (ja) | 情報処理装置、制御方法、プログラム、及び記録媒体 | |
WO2020039507A1 (ja) | コントローラ装置 | |
WO2023170843A1 (ja) | コントローラ装置、コントローラ装置の制御方法、及びプログラム | |
JP7319813B2 (ja) | 力覚提示システム、力覚提示装置、及びプログラム | |
JP2022033934A (ja) | ロボットシステム及びロボットシステムの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6959991 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |