JP6687749B2 - 情報処理装置、制御方法、プログラム、及び記録媒体 - Google Patents
情報処理装置、制御方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP6687749B2 JP6687749B2 JP2018547603A JP2018547603A JP6687749B2 JP 6687749 B2 JP6687749 B2 JP 6687749B2 JP 2018547603 A JP2018547603 A JP 2018547603A JP 2018547603 A JP2018547603 A JP 2018547603A JP 6687749 B2 JP6687749 B2 JP 6687749B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- information
- pose
- finger
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
なお、ここまでの説明において判別部112は、受入部111が受け入れた指の屈伸状態の検出結果や手の角度の検出結果に合致するポーズ特定情報を検索し、検出結果に合致するポーズ特定情報が見いだされたときには、直ちに当該ポーズ特定情報(P)に関連付けられた処理特定情報(Q)を読み出して、処理実行部113に出力するものとして説明したが、本実施の形態はこれに限られない。
次に、本発明の実施の形態に係る情報処理装置1の基本的な動作例について説明する。本実施の形態の以下の例では、記憶部12のポーズデータベースにおいて、「親指が伸ばされ、人差指、中指、薬指、及び小指が曲げられた状態にあり、かつ、Z軸が鉛直下向きとなっている」との条件(いわゆるサムズダウンのポーズ)を表すポーズを特定するポーズ特定情報に対し、キャラクタの各指を、ユーザにより指示された手のポーズ(指センサ241にて検出したユーザの指の屈伸状態)に設定せず、指示がなかったものとして直前の手のポーズを継続する処理を特定する処理特定情報を関連付けて記憶しているものとする。
また本実施の形態において、情報処理装置1に接続されるコントローラデバイス20が、少なくとも一部の指について指の傾きを判断できる場合(指センサ241の一部が、対象物までの距離だけでなく、比較的近い対象物の方向も判別できる場合)は、当該屈伸状態の情報だけでなく、指の傾きの情報も用いてポーズを判別してもよい。
さらに本実施の形態の一例では、コントローラデバイス20の加速度センサ243の検出結果情報を用いてもよい。例えば加速度センサ243の検出結果情報を用いて、ポーズ特定情報を、ハイタッチのポーズを表す、「第1から小指までが伸ばされた状態であり、Z軸が水平方向から±10度の範囲にあって、かつ、加速度センサ243が衝撃を検出した」との条件とすれば、ハイタッチ等のポーズに対応した処理を実行させることが可能となる。
さらに本実施の形態の情報処理装置1は、加速度センサ243と傾きセンサ242との検出結果情報を用いて、ユーザの手の動きの情報を得てもよい。コントローラデバイス20の加速度センサ243と傾きセンサ242との検出結果情報を用いたユーザの手の動きの情報取得は、広く知られた方法があるので、ここでの詳しい説明を省略する。
また本実施の形態の別の例では、手の位置を検出してポーズの判別に用いてもよい。すなわち本実施の形態の情報処理装置1は、撮像部14が出力する画像データからデバイス20の位置提示部213を検出する。
なお、本実施の形態の情報処理装置1は、アプリケーションプログラムを実行し、アプリケーションプログラムの指示に従って、ポーズ特定情報と、それに関連付けられた処理特定情報とを、ポーズデータベースに登録・削除する処理を行ってもよい。
また、手のポーズの妥当性は、ユーザの年齢や居住地域等にも依存することを考慮して、ポーズデータベースは、ポーズ特定情報と、当該ポーズ特定情報により特定されるポーズが指示されたときに処理を実行する条件(以下実行条件と呼ぶ)と、処理特定情報とを互いに関連付けて保持するものであってもよい。
また図6に例示した本実施の形態において、処理S17で比較するカウンタしきい値は、ポーズ特定情報ごとに異なっていてもよい。この場合、カウンタしきい値をポーズデータベースに、ポーズ特定情報に関連付けて登録しておけばよい。この例では制御部11は、処理S20にて変数pを処理S13にて今回検索されたポーズ特定情報に設定し、カウンタ変数cを「1」にセットするとともに、処理S13にて今回検索されたポーズ特定情報に関連付けて登録されているカウンタしきい値を読み出して、処理S17にて使用すればよい。
なお、ここまでの説明において、コントローラデバイス20の位置(当該コントローラデバイス20を装着したユーザの手の位置)を検出する方法として、情報処理装置1が備える撮像部14にてコントローラデバイス20を撮像する方法について説明したが、本実施の形態において、コントローラデバイス20の位置を検出する方法は、他の方法であってもよい。
Claims (7)
- ユーザの手に固定されるデバイスに接続される情報処理装置であって、
前記デバイスは、少なくとも一部の指について、指の屈伸状態を検出する指センサと、
固定されている手の角度を検出する角度センサと、
を含み、
前記情報処理装置は、
少なくとも一つの手のポーズについて、手のポーズを特定する情報と行うべき処理を表す処理特定情報とを関連付けて保持する保持手段に接続され、
前記デバイスから指センサによる指の屈伸状態の検出結果と、手の角度の検出結果とを受け入れる受入手段と、
当該受け入れた検出結果に基づいて、前記保持手段に保持されている情報で特定される手のポーズのいずれかに一致するか否かを判断し、いずれかに一致すると判断したときに、当該一致した手のポーズを特定する情報に関連付けられた処理特定情報を取得する判別手段と、
前記判別手段が取得した処理特定情報で特定される処理を実行する実行手段と、
を含み、
前記処理特定情報には、受け入れた検出結果情報を破棄するべき旨の処理特定情報を含む情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記受入手段は、所定のタイミングごとに繰り返して前記デバイスから指センサによる指の屈伸状態の検出結果と、手の角度の検出結果とを受け入れており、
前記判別手段は、予め定めた時間に亘って繰り返し受け入れた検出結果がいずれも、前記保持手段に保持されている情報で特定されるいずれかの手のポーズのうち、同じ手のポーズに一致すると判断したときに、当該一致した手のポーズを特定する情報に関連付けられた処理特定情報を取得する情報処理装置。 - ユーザの手に固定されるデバイスに接続される情報処理装置であって、
前記デバイスは、少なくとも一部の指について、指の屈伸状態を検出する指センサと、
固定されている手の角度を検出する角度センサと、
を含み、
前記情報処理装置は、
少なくとも一つの手のポーズについて、手のポーズを特定する情報と行うべき処理を表す処理特定情報とを関連付けて保持する保持手段に接続され、
前記デバイスから指センサによる指の屈伸状態の検出結果と、手の角度の検出結果とを受け入れる受入手段と、
当該受け入れた検出結果に基づいて、前記保持手段に保持されている情報で特定される手のポーズのいずれかに一致するか否かを判断するとともに、所定の実行条件を満足するか否かを判断し、前記受け入れた検出結果が前記保持手段に保持されている情報で特定される手のポーズのいずれかに一致し、かつ、前記実行条件を満足すると判断したときに、当該一致した手のポーズを特定する情報に関連付けられた処理特定情報を取得する判別手段と、
前記判別手段が取得した処理特定情報で特定される処理を実行する実行手段と、
を含み、
前記実行条件は、前記情報処理装置により実行中のアプリケーションプログラムのレーティング情報または実行している地域に係る条件である情報処理装置。 - 請求項3に記載の情報処理装置であって、
前記アプリケーションプログラムは、オンラインゲームのアプリケーションであり、前記実行条件は、オンラインゲームの対戦相手がメッセージ表示のために選択している言語の情報に係る条件を含む情報処理装置。 - ユーザの手に固定され、少なくとも一部の指について、指の屈伸状態を検出する指センサと、固定されている手の角度を検出する角度センサと、を備えたデバイスに接続され、少なくとも一つの手のポーズについて、手のポーズを特定する情報と行うべき処理を表す処理特定情報とを関連付けて保持する保持手段に接続される情報処理装置を用い、
取得手段が、前記デバイスから指センサによる指の屈伸状態の検出結果と、手の角度の検出結果と、手の位置の検出結果と、前記デバイスの加速度の検出結果と、のうち、少なくとも指の屈伸状態の検出結果と、手の角度の検出結果とを含む検出結果を取得する工程と、
判別手段が、当該取得した検出結果に基づいて、前記保持手段に保持されている情報で特定される手のポーズのいずれかに一致するか否かを判断し、いずれかに一致すると判断したときに、当該一致した手のポーズを特定する情報に関連付けられた処理特定情報を取得する工程と、
実行手段が、前記取得した処理特定情報で特定される処理を実行する工程と、
を含み、
前記処理特定情報には、受け入れた検出結果情報を破棄するべき旨の処理特定情報を含む情報処理装置の制御方法。 - ユーザの手に固定され、少なくとも一部の指について、指の屈伸状態を検出する指センサと、固定されている手の角度を検出する角度センサと、を備えたデバイスに接続され、
少なくとも一つの手のポーズについて、手のポーズを特定する情報と行うべき処理を表す処理特定情報とを関連付けて保持する保持手段に接続される情報処理装置を、
前記デバイスから指センサによる指の屈伸状態の検出結果と、手の角度の検出結果とを受け入れる受入手段と、
当該受け入れた検出結果に基づいて、前記保持手段に保持されている情報で特定される手のポーズのいずれかに一致するか否かを判断し、いずれかに一致すると判断したときに、当該一致した手のポーズを特定する情報に関連付けられた処理特定情報を取得する判別手段と、
前記判別手段が取得した処理特定情報で特定される処理を実行する実行手段と、
として機能させ、
前記処理特定情報には、受け入れた検出結果情報を破棄するべき旨の処理特定情報を含むプログラム。 - ユーザの手に固定され、少なくとも一部の指について、指の屈伸状態を検出する指センサと、固定されている手の角度を検出する角度センサと、を備えたデバイスに接続され、少なくとも一つの手のポーズについて、手のポーズを特定する情報と行うべき処理を表す処理特定情報とを関連付けて保持する保持手段に接続される情報処理装置を、
前記デバイスから指センサによる指の屈伸状態の検出結果と、手の角度の検出結果とを受け入れる受入手段と、
当該受け入れた検出結果に基づいて、前記保持手段に保持されている情報で特定される手のポーズのいずれかに一致するか否かを判断し、いずれかに一致すると判断したときに、当該一致した手のポーズを特定する情報に関連付けられた処理特定情報を取得する判別手段と、
前記判別手段が取得した処理特定情報で特定される処理を実行する実行手段と、
として機能させ、
前記処理特定情報には、受け入れた検出結果情報を破棄するべき旨の処理特定情報を含むプログラムを格納した、コンピュータ可読な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016212079 | 2016-10-28 | ||
JP2016212079 | 2016-10-28 | ||
PCT/JP2017/037732 WO2018079383A1 (ja) | 2016-10-28 | 2017-10-18 | 情報処理装置、制御方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018079383A1 JPWO2018079383A1 (ja) | 2019-03-28 |
JP6687749B2 true JP6687749B2 (ja) | 2020-04-28 |
Family
ID=62024744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018547603A Active JP6687749B2 (ja) | 2016-10-28 | 2017-10-18 | 情報処理装置、制御方法、プログラム、及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6687749B2 (ja) |
WO (1) | WO2018079383A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220159176A (ko) * | 2021-05-25 | 2022-12-02 | (주)코어센스 | 휨 센서를 이용한 손동작 인식 장치 및 그 방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11648464B2 (en) | 2018-08-07 | 2023-05-16 | Sony Interactive Entertainment Inc. | Controller device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008065860A (ja) * | 2007-11-26 | 2008-03-21 | Olympus Corp | 操作入力装置 |
US9245177B2 (en) * | 2010-06-02 | 2016-01-26 | Microsoft Technology Licensing, Llc | Limiting avatar gesture display |
JP5641970B2 (ja) * | 2011-02-18 | 2014-12-17 | シャープ株式会社 | 操作装置、再生装置及びテレビ受信装置 |
JP2014102674A (ja) * | 2012-11-20 | 2014-06-05 | Alpine Electronics Inc | ジェスチャー入力装置 |
US10635171B2 (en) * | 2014-09-10 | 2020-04-28 | Sony Corporation | Detection device, detection method, control device, and control method |
JP2016081286A (ja) * | 2014-10-16 | 2016-05-16 | 株式会社東芝 | 端末操作支援装置および端末操作支援方法 |
-
2017
- 2017-10-18 WO PCT/JP2017/037732 patent/WO2018079383A1/ja active Application Filing
- 2017-10-18 JP JP2018547603A patent/JP6687749B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220159176A (ko) * | 2021-05-25 | 2022-12-02 | (주)코어센스 | 휨 센서를 이용한 손동작 인식 장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2018079383A1 (ja) | 2018-05-03 |
JPWO2018079383A1 (ja) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10969867B2 (en) | Information processing system, controller device, controller device control method and program | |
US10636212B2 (en) | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device | |
JP6626992B2 (ja) | 情報処理システム、振動制御方法、及びプログラム | |
JP6574892B2 (ja) | 制御装置及び制御プログラム | |
CN109690447B (zh) | 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机 | |
JP6710285B2 (ja) | 情報処理装置、制御方法、プログラム、及び記憶媒体 | |
JP6716028B2 (ja) | 制御装置、情報処理システム、制御方法、及びプログラム | |
JP6834614B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10512833B2 (en) | Presentation method, swing analysis apparatus, swing analysis system, swing analysis program, and recording medium | |
WO2017047182A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6687749B2 (ja) | 情報処理装置、制御方法、プログラム、及び記録媒体 | |
JP6661783B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
US10948978B2 (en) | Virtual object operating system and virtual object operating method | |
JP3138145U (ja) | 脳トレーニング装置 | |
TW202144983A (zh) | 與虛擬實境環境中的虛擬生物互動的方法和虛擬物件操作系統 | |
TWI730535B (zh) | 虛擬物件操作系統及虛擬物件操作方法 | |
WO2020166351A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
US20240220027A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6687749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |