WO2022014445A1 - 検出装置及び検出方法 - Google Patents

検出装置及び検出方法 Download PDF

Info

Publication number
WO2022014445A1
WO2022014445A1 PCT/JP2021/025658 JP2021025658W WO2022014445A1 WO 2022014445 A1 WO2022014445 A1 WO 2022014445A1 JP 2021025658 W JP2021025658 W JP 2021025658W WO 2022014445 A1 WO2022014445 A1 WO 2022014445A1
Authority
WO
WIPO (PCT)
Prior art keywords
finger
sensor
information
posture
hand
Prior art date
Application number
PCT/JP2021/025658
Other languages
English (en)
French (fr)
Inventor
邦仁 澤井
郁男 山野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/013,137 priority Critical patent/US20230244312A1/en
Priority to CN202180048229.0A priority patent/CN115777091A/zh
Priority to JP2022536299A priority patent/JPWO2022014445A1/ja
Publication of WO2022014445A1 publication Critical patent/WO2022014445A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • This disclosure relates to a detection device and a detection method.
  • Patent Document 1 discloses that various controls are performed based on the shape of a user's finger (for example, index finger, middle finger, ring finger, little finger) detected by a non-contact sensor.
  • a user's finger for example, index finger, middle finger, ring finger, little finger
  • one finger may be hidden by another, and the shape of the finger may not be detected correctly.
  • the index finger is hidden by the thumb, and the shape of the index finger cannot be detected correctly.
  • it is necessary to provide a contact sensor for each finger which increases the number of sensors. Therefore, it is inconvenient for the user to move his / her fingers or grab an object.
  • FIG. 1A is a view of the controller 100 from the back side of the hand
  • FIG. 1B is a view of the controller 100 seen from the side surface of the thumb side
  • FIG. 2 is a view of the controller 100 as viewed from the palm side.
  • the sensor 1 detects information (first information) that senses at least one finger (first finger) included in the detection range of the sensor 1.
  • the sensor 1 detects depth information indicating a distance (depth) from a finger included in the detection range. More specifically, the sensor 1 detects the depth information of each joint portion included in the at least one finger.
  • the sensor 1 is a depth sensor, and the sensor 1 detects the depth information of each joint portion.
  • the information detected by the sensor 1 is not limited to the depth information, and may be any information as long as it is useful for specifying the finger (or the position and posture of each joint included in the finger). For example, an image that does not include a distance (RGB image, black-and-white image, infrared image, etc.
  • the measurement marker 14 may be a light emitting marker.
  • the measurement marker 14 may be a two-dimensional marker or a three-dimensional marker. In the case of a two-dimensional marker or a three-dimensional marker, non-light emission or light emission may be detected by an RGB camera or a black-and-white camera, and in the case of a light-emitting marker, detection is possible even in a dark place.
  • an infrared camera may be used to detect a marker that emits infrared rays.
  • a contact sensor 25 is provided on the back surface of the mounting portion 10 (the surface facing the palm) on the palm side.
  • the contact sensor 25 is a sensor that detects contact with the palm.
  • the contact sensor 25 is electrically connected to the main body 11 via wiring provided in the mounting portion 10 (for example, wiring embedded in a belt). By detecting the contact with the palm by the contact sensor 25, it is possible to detect that the user is wearing the controller 100.
  • the signal processing circuit 42 calculates information (posture information) that identifies the postures of five fingers or at least one finger based on the depth information of the sensor 1. More specifically, the position / posture information that specifies the position / posture of each joint of each finger is calculated. The position / posture information of each joint of each finger calculated from the depth information of the sensor 1 is referred to as position / posture information 1.
  • the position / attitude information 1 is the position / attitude information of the local coordinate system based on the position of the sensor 1.
  • the calculation unit 44 determines the position / posture information of each joint of each finger with respect to the main body 11 based on the position / posture information 1 of each joint of each finger and the position / posture information 2 of each joint of each finger. ..
  • the position of the main body 11 is detected by the head device (or IMU43).
  • the position of the main body 11 may be treated as the position of the sensor 1 as an example.
  • the sensor 1 is fixed to the housing 12, and the positional relationship with the housing 12 is constant.
  • the sensor 2 since the sensor 2 is connected to the sensor 1 (housing 12) via the mounting portion 10, the relative position and orientation of the coordinate system between the sensor 1 and the sensor 2 is undefined.
  • Equation (3) can be transformed into equation (4).
  • the capacitance detection circuit 45 When it is determined that the user has mounted the controller 100, the capacitance detection circuit 45 provides the mounting detection signal to the transmission / reception unit 46. When it is determined that the user does not wear the controller 100, the wearing detection signal is not provided to the transmission / reception unit 46, or the non-wearing detection signal is provided to the transmission / reception unit 46.
  • the infrared irradiation unit 301 is, for example, an LED (Light Emitting Diode) that emits infrared rays.
  • LED Light Emitting Diode
  • the computer 200 includes a transmission / reception unit 201, a transmission / reception unit 202, a gesture recognition unit 230, an instruction generation unit 240, and an application unit 250.
  • an input unit for inputting data or instructions by the user, an output unit for outputting information to the user, and the like may be provided.
  • the elements 201, 202, 230, 240, and 250 are configured by, for example, a hardware circuit, a storage device, and the like.
  • the hardware circuit is composed of a processing circuit such as a CPU, DSP, ASIC, FPGA, or a combination thereof.
  • [Item 10] The detection device according to any one of items 1 to 9, further comprising a contact sensor for detecting contact between the thumb and the index finger.
  • [Item 11] The detection device according to any one of items 7 to 9, further comprising a contact sensor for detecting contact with at least one of the palm and the back of the hand.
  • [Item 12] A calculation for calculating the relative position and posture of the first sensor and the second sensor based on the first information and the second information of the joint portion commonly included in the first finger and the second finger.
  • the detection device according to item 3 comprising a unit.
  • [Item 13] The detection device according to item 12, wherein the joint portion commonly included is the terminal segment of the index finger.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

［課題］ユーザの手指の姿勢をより確実に検出する検出装置及び検出方法を提供する。 ［解決手段］本開示の検出装置は、親指と人差し指との間の空間に配置され、第１検出領域に含まれる手指である第１手指をセンシングした第１情報を検出する第１センサと、手の平に配置され、第２検出領域に含まれる手指である第２手指をセンシングした第２情報を検出する第２センサと、を備える。

Description

検出装置及び検出方法
　本開示は、検出装置及び検出方法に関する。
　ユーザの手指の姿勢を装置の制御に利用する技術が提案されている。例えば、下記特許文献１には、非接触センサで検出したユーザの手指（例えば人差し指、中指、薬指、小指）の形状に基づき各種の制御を行うことが開示されている。しかしながら、手指の曲げ方によっては、ある手指が別の手指に隠されてしまい、手指の形状を正しく検出できない場合も生じ得る。例えば親指によって人差し指が隠されてしまい、人差し指の形状を正しく検出できなくなる。また手指ごとに接触センサを設ける必要があり、センサ数が多くなる。このため、ユーザが手指を動かしたり、物を掴んだりするのに不便である。
国際公開第２０１６－０３８９５３号
　本開示は、ユーザの手指の姿勢をより確実に検出する検出装置及び検出方法を提供する。
　本開示の検出装置は、親指と人差し指との間の空間に配置され、第１検出領域に含まれる手指である第１手指をセンシングした第１情報を検出する第１センサと、手の平に配置され、第２検出領域に含まれる手指である第２手指をセンシングした第２情報を検出する第２センサと、を備える。
　本開示の検出方法は、親指と人差し指との間の空間に配置された第１センサによって、前記第１センサの第１検出領域に含まれる手指である第１手指をセンシングした第１情報を検出し、手の平に配置された第２センサによって、前記第２センサの第２検出領域に含まれる手指である第２手指をセンシングした第２情報を検出する。
本開示の第１実施形態に係る検出装置を含むコントローラのブロック図。 図１のコントローラを手の平側からみた図。 手の甲側のセンサ及び手の平側のセンサの検出範囲の例を模式的に示す図。 手の甲側のセンサにより検出されたデプス情報の例を示す図。 手の平側のセンサにより検出されたデプス情報の例を示す図。 本実施形態に係るコントローラの機能ブロック図。 ２つのセンサの座標系の相対的な位置姿勢を算出する動作の一例を示すフローチャート。 ２つのセンサのそれぞれの座標系及び人差し指の末節の座標系の例を示す図。 右手用及び左手用のコントローラと、コンピュータと、頭部装置とを備えたコンピュータシステムのブロック図。 右手用及び左手用のコントローラと、頭部装置とをユーザが装着した例を示す図。
　以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。
　図１及び図２は、本開示の第１実施形態に係る検出装置の一形態であるコントローラ１００のブロック図である。図１（Ａ）はコントローラ１００を手の甲側から見た図であり、図１（Ｂ）はコントローラ１００を親指側の側面から見た図である。図２はコントローラ１００を手の平側からみた図である。
　図１及び図２に示すコントローラ１００は右手用のコントローラである。コントローラ１００がユーザの右手に装着された状態が示されている。左手用のコントローラも、左右の形状の違い等を除き、右手用のコントローラと同様の構成を有する。
　コントローラ１００は、手の甲側の本体部１１と、手の平側のサブ部２１（図２参照）と、装着部１０とを備えている。本体部１１は、後述する制御装置であるコンピュータ（図９、図１０参照）と配線１７で接続されており、コンピュータと通信可能である。コンピュータは、コントローラ１００と、ユーザの頭部に装着させる頭部装置（図９、図１０参照）とを用いてユーザにアプリケーションによるサービスを提供する。ここでは本体部１１がコンピュータと有線で通信する構成を説明したが、本体部１１がコンピュータと無線で通信する構成も可能である。またコントローラ１００が頭部装置と、有線又は無線で通信可能な構成であってもよい。
　装着部１０は、本体部１１及びサブ部２１をユーザの手に装着させる。装着部１０は、手の甲と手の平とを少なくとも部分的に覆う被覆部（装着カバー）を含む。被覆部は、一例として、布のような柔らかな素材又は弾力性のある素材によるベルトである。これにより手の大きさ又は形状といった個人差に拘わらず、コントローラ１００を手にフィットさせることができる。装着部１０は、親指を通過させる開口を備える。ユーザはコントローラ１００を手に装着する際、開口に親指をくぐらせることで、コントローラ１００を簡単に装着できる。装着部１０にファスナー又はボタン等を設け、装着時のフィット状態を調整できるようにしてもよい。
　図１（Ａ）において、本体部１１は、手の甲側で装着部１０に装着されている。本体部１１は、筐体（第１筐体）１２と、測定マーカ１４と、センサ１（第１センサ）とを含む。
　筐体１２は、手の甲側において装着部１０の表面に装着（固定）されている。筐体１２は、一例として樹脂等の誘電体材料により構成される。ユーザがコントローラ１００を装着して、手を広げたとき、筐体１２の一部が、人差し指と親指との間の空間に含まれる。筐体１２のうち、この空間に含まれる部分を突出部１２Ａと呼ぶ。
　図２において、突出部１２Ａの面のうち、手の甲と反対側の面にはセンサ１と測定マーカ１４が設けられている。また、図１（Ａ）及び図１（Ｂ）に示すように、筐体１２の面のうち手の甲と反対側の面及び側面には測定マーカ１４が設けられている。図１（Ｂ）では親指側の側面に測定マーカ１４が設けられているが、他の側面にも測定マーカが設けられていてもよい。
　図２においてセンサ１は、センサ１の検出範囲に含まれる少なくとも１つの手指（第１手指）をセンシングした情報（第１情報）を検出する。一例として、センサ１は、検出範囲に含まれる指との距離（デプス）を示すデプス情報を検出する。より詳細には、センサ１は、当該少なくとも１つの手指に含まれる各関節部のデプス情報を検出する。本例では、センサ１はデプスセンサであり、センサ１は各関節部のデプス情報を検出するとする。但し、センサ１が検出する情報は、デプス情報に限定されず、手指（又は手指に含まれる各関節部の位置姿勢）を特定するのに有用な情報であれば、何でもよい。例えば、距離を含まない画像（カメラにより取得されるＲＧＢ画像や白黒画像、赤外線画像等）でもよい。画像をパターン認識等で解析することで、手指の姿勢を特定できる場合もあり得る。なお、赤外線画像により手指の姿勢を特定する場合には、センサ１と合わせて赤外線発光素子（例えば９４０nm波長を有するＩＲＬＥＤ等）を配置することで、暗所や直射日光の当たるような明るい場所でも、安定して手指の画像を取得し、その姿勢を特定することができる。発光素子の発光は、カメラ等のセンサ１による画像取得の撮像タイミングに限定して行えばよい。
　センサ１として、一例として、ＴｏＦ（Time of Flight）を用いることができる。その他にもＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）、レーダ、ステレオカメラなどの距離を検出可能なセンサや、単眼カメラ、ＤＶＳカメラ、赤外線カメラなど、任意のセンサを用いることができる。また、センサ１は例えば水平画角１５０度を越えるような広いセンシングエリアを必要とすることが想定されるが、その要件を満たすために、単一のセンサの使用に替えて、同じ位置に２個や３個などの複数のセンサを角度差を付けて並べて配置する実施も考えられる。
　センサ１は、ユーザが手を広げた状態において、人差し指と親指との間の空間に含まれる。より具体的には、センサ１は、人差し指の根本と、親指との間の空間に含まれる。
　測定マーカ１４は、ユーザの頭部に設置する頭部装置から本体部１１の位置及び姿勢（位置姿勢）を検出するための部材である。測定マーカ１４として、頭部装置から位置姿勢を算出する手法に応じて適切な部材を用いることができる。一例として、測定マーカ１４として、光学センシング用の反射マーカを用いることができる。具体的には、測定マーカ１４は赤外線を反射する反射部材（例えば再帰性反射部材）である。この場合、頭部装置では赤外線を照射し、測定マーカ１４からの反射光を検出することで、頭部装置の座標系を基準とした、本体部１１の位置姿勢を算出できる。頭部装置から画像解析により位置姿勢を算出する場合は、画像解析で検出が容易な色又は形状等を有する部材を用いてもよい。また測定マーカ１４は発光マーカでもよい。また、測定マーカ１４は２次元マーカでもよいし、３次元マーカでもよい。２次元マーカあるいは３次元マーカの場合、ＲＧＢカメラや白黒カメラで非発光あるいは発光を検出するのでもよく、発光マーカの場合は暗所でも検出が可能となる。あるいは、赤外線カメラによって、赤外線発光するマーカを検出するのでもよい。赤外線カメラを使用する場合、カメラに使用するバンドパスフィルタとマーカ発光用のＬＥＤの波長を940nm付近とすることで、取得画像に太陽光等の外光の影響が出にくくなり、画像処理によるマーカ検出が容易となる。
　図１（Ａ）において、手の甲側における装着部１０の裏面（手の甲と対向する面）には、接触センサ１５が設けられている。接触センサ１５は、手との接触を検知するセンサである。接触センサ１５は装着部１０内に設けられた配線（例えばベルトに埋め込まれた配線）を介して、本体部１１に電気的に接続されている。接触センサ１５により手の甲との接触を検知することで、ユーザがコントローラ１００を装着していることを検出できる。
　接触センサ１５の一例として、静電容量センサを用いることができる。例えば、静電容量センサは電極と誘電体とを含む。コントローラ１００の装着時に、電極と手の甲との間に当該誘電体が挟まれ、このときの静電容量の変化を検出することで、手の平との接触を検知できる。
　接触センサ１５を、筐体１２の表面、より具体的には、筐体１２の面のうち、手の甲側の面に設けることも可能である。この場合、装着部１０に開口を設け、開口を介して接触センサ１５が手の甲に直接、接触可能にしてもよい。あるいは、接触センサ１５が、筐体１２と装着部１０との間に挟まれてもよい。この場合、接触センサ１５は、手の甲との間接的な接触を検知できる。
　また、接触センサを用いた別のセンシングの例として、人差し指先と親指先の接触を検出してもよい。この場合、例えば、装着部１０などに手の甲、手の平、あるいは指の根本などに直接接触するような形で電極を２つ配置する。２つの電極の内の片方は回路のＧＮＤに接続され、もう片方には交流電圧等が印加される。そして、指先同士の接触に伴う静電容量変化及び抵抗値の少なくとも一方の変化を、この電極の電圧値の変化等により検出する。これにより人差し指先と親指先の接触を検出する。人差し指先と親指先を接触させる動作に対するジェスチャコマンドの検出が可能となる。
　図２において、サブ部２１は、装着部１０の手の平側に装着されている。サブ部２１は、一例として、ユーザがコントローラ１００を手に装着した際に、小指球を含む領域又は鉤骨上の領域上に位置する。ただし、サブ部２１が、当該領域以外の領域に設けられてもよい。サブ部２１は、筐体（第２筐体）２２と、測定マーカ２４と、センサ（第２センサ）２とを含む。
　筐体２２は、手の平側において装着部１０の表面に装着（固定）されている。筐体２２は、一例として樹脂等の誘電体材料により構成される。筐体２２の面のうち、手の平と反対側の面には、センサ２と測定マーカ２４とが設けられている。
　センサ２は、センサ２の検出範囲に含まれる少なくとも１つの手指（第２手指）をセンシングした情報（第２情報）を検出する。一例として、センサ２は、検出範囲に含まれる指との距離（デプス）を示すデプス情報を検出する。より詳細には、センサ２は、当該少なくとも１つの手指に含まれる各関節部のデプス情報を検出する。本例では、センサ２はデプスセンサであり、センサ２は各関節部のデプス情報を検出するとする。但し、センサ２が検出する情報は、デプス情報に限定されず、手指の姿勢（又は手指に含まれる各関節部の位置姿勢）を特定するのに有用な情報であれば、何でもよい。例えば、距離を含まない画像（カメラにより取得されるＲＧＢ画像や白黒画像、赤外線画像等）でもよい。画像をパターン認識等で解析することで、手指の姿勢を特定できる場合もあり得る。なお、赤外線画像により手指の姿勢を特定する場合には、センサ２と合わせて赤外線発光素子（例えば９４０nm波長を有するＩＲＬＥＤ等）を配置することで、暗所や直射日光の当たるような明るい場所でも、安定して手指の画像を取得し、その姿勢を特定することができる。発光素子の発光は、カメラ等のセンサ２による画像取得の撮像タイミングに限定して行えばよい。センサ２は、装着部１０内に設けられた配線（例えばベルトに埋め込まれた配線）を介して、本体部１１に電気的に接続されている。
　センサ２は、一例として小指球を含む領域（又は鉤骨上の領域）上に位置する。これによりユーザのすべての手指または多くの手指のデプス情報を、各手指の姿勢にかかわらず、効果的に検出することが可能となる。
　センサ２の例として、ＴｏＦ（Time of Flight）を用いることができる。その他にもＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）、レーダ、ステレオカメラなどの距離を検出可能なセンサや、単眼カメラ、ＤＶＳカメラ、赤外線カメラなど、任意のセンサを用いることができる。また、センサ２は例えば水平画角１００度を越えるような広いセンシングエリアを必要とすることが想定されるが、その要件を満たすために、単一のセンサの使用に替えて、同じ位置に２個や３個などの複数のセンサを角度差を付けて並べて配置する実施も考えられる。
　測定マーカ２４は、ユーザの頭部に設置する頭部装置からサブ部２１の位置姿勢（手の位置姿勢）を検出するための部材である。測定マーカ２４として、光学センシング用の反射マーカを用いることができる。測定マーカ２４の構成例は、測定マーカ１４と同様でよい。
　手の平側において装着部１０の裏面（手の平と対向する面）には、接触センサ２５が設けられている。接触センサ２５は、手の平との接触を検知するセンサである。接触センサ２５は装着部１０内に設けられた配線（例えばベルトに埋め込まれた配線）を介して、本体部１１に電気的に接続されている。接触センサ２５により手の平との接触を検知することで、ユーザがコントローラ１００を装着していることを検出できる。
　接触センサ２５の構成は、接触センサ１５と同様でよい。例えば、接触センサ２５として、静電容量センサを用いることができる。静電容量センサは電極と誘電体とを含む。コントローラ１００の装着時に電極と手の平との間に当該誘電体が挟まれ、このときの静電容量の変化を検出することで、手の平との接触を検知できる。静電容量センサ以外にも、手の平に接触したときに圧力の変化を検出する圧力センサなど、他の方式のセンサを用いてもよい。
　装着部１０に開口を設け、開口を介して接触センサ２５が手の平に直接、接触可能にしてもよい。また接触センサ２５が、筐体２２と装着部１０との間に挟まれる構成も可能である。この場合、接触センサ２５は、装着部１０を介して手の平との間接的な接触を検知できる。
　また、接触センサ２５を用いた別のセンシングの例として、接触センサ１５の説明で記載したように、装着部１０などに手の平などに直接接触するような形で電極を２つ配置することで、人差し指先と親指先の接触を検出してもよい。人差し指先と親指先の接触を検出することで、人差し指先と親指先を接触させる動作に対するジェスチャコマンドの検出が可能となる。
　図３は、手の甲側のセンサ１及び手の平側のセンサ２の検出範囲の例を模式的に示す。センサ１の検出範囲１３Ａ及びセンサ２の検出範囲２３Ａは、概ね四角錐の形状を有する。但し、検出範囲１３Ａ及び検出範囲２３Ａの形状は、円錐など他の形状でもよい。検出範囲１３Ａ及び検出範囲２３Ａで検出可能な手指（例えば各手指に含まれる各関節部）は、手指の姿勢（形状）に応じて変わり得る。
　図４（Ａ）及び図４（Ｂ）は、手の甲側のセンサ１により検出されたデプス情報の例を示す。図４（Ａ）及び図４（Ｂ）のデプス情報は、各画素にデプス値を格納したデプス画像である。図４（Ａ）は、親指の先端と、人差し指の先端との間を広げた状態で撮像されたデプス画像の例である。図４（Ｂ）は、親指の先端と、人差し指の先端とを接触させた状態で撮像されたデプス画像の例である。図４（Ａ）及び図４（Ｂ）のいずれにおいても親指と人差し指が他の指に遮蔽されることなく検出（撮像）されている。一方、中指、薬指及び小指のデプス情報は、図４（Ａ）及び図４（Ｂ）のいずれにおいても検出されていない。すなわち、図４（Ａ）及び図４（Ｂ）のデプス画像を撮像したときの各手指の姿勢（形状）では、中指、薬指及び小指のデプス情報を検出できない。なお、各手指の姿勢によっては、中指、薬指及び小指のうちの少なくとも１つの手指のデプス情報（例えば、手指に含まれる少なくとも１つの関節部のデプス情報）が、センサ１で検出される場合もある。
　図５（Ａ）及び図５（Ｂ）は、手の平側のセンサ２により検出されたデプス情報の例を示す。図５（Ａ）及び図５（Ｂ）のデプス情報は、各画素にデプス値を格納したデプス画像である。図５（Ａ）は、手を握った状態で撮像されたデプス画像の例である。図５（Ｂ）は、手を広げた状態で撮像されたデプス画像の例である。図５（Ｂ）では全ての手指のデプス情報（各手指に含まれる少なくとも１つの関節部のデプス情報）が検出されている。図５（Ａ）では人差し指の大部分が親指によって遮蔽されている。図５（Ａ）のデプス情報からでは、人差し指の姿勢（例えば人差し指の各節の姿勢）を高精度の認識することは困難な場合もある。
　手の甲側の筐体１２内には、ＩＭＵ（Inertial Measurement Unit）等のセンサ、振動子４８等のアクチュエータ、処理システムが格納されている。処理システムは、センサ１、センサ２、接触センサ１５、接触センサ２５、ＩＭＵ等により検出された信号及びコンピュータから受信する信号に基づいた処理を行う。筐体１２には、バッテリが格納されていてもよい。この場合、バッテリは、各種センサ及び筐体１２内の各要素に対する動作電圧を供給する。動作電圧は、本体部１１及びコンピュータ間の配線１７（図１参照）を介して供給されてもよい。本実施形態では、動作電圧は、配線１７を介してコンピュータから供給される場合を想定する。
　図６は、図１及び図２に示したコントローラ１００の機能ブロック図である。コントローラ１００は、センサ１、センサ２、接触センサ１５、接触センサ２５、測定マーカ１４、処理システム４１、ＩＭＵ４３、及び振動子４８を備えている。処理システム４１、ＩＭＵ４３及び振動子４８は筐体１２内に配置されている。
　処理システム４１は、処理部４９（信号処理回路４２、演算部４４）、静電容量検出回路４５、送受信部４６、及び増幅器４７を備えている。処理システム４１は、ハードウェア回路及び記憶装置等により構成される。ハードウェア回路は、ＣＰＵ、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又はこれらの組み合わせ等の処理回路により構成される。記憶装置は、揮発性メモリ、書き換え可能不揮発性メモリ、ＲＯＭ（Read On Memory）、磁気記憶メモリ、ハードディスク、光学ディスクなど、任意の記録媒体により構成される。処理システムは、一例として１チップ又は複数のチップにより構成される。ＣＰＵ等のプロセッサがコンピュータプログラムである情報処理プログラムを実行することにより、要素４２、４４、４５、４６、４７、４９のうちの少なくとも１つの機能が実現されてもよい。
　信号処理回路４２は、センサ１から検出信号（デプス情報）を取得する。信号処理回路４２は、センサ２から検出信号（デプス情報）を取得する。信号処理回路４２は、センサ１から第１情報の一例であるデプス情報を取得する第１取得部と、センサ２から第２情報の一例であるデプス情報を取得する第２取得部とを備えている。
　信号処理回路４２は、センサ１のデプス情報に基づき、５つの手指又は少なくとも１つの手指の姿勢を特定する情報（姿勢情報）を算出する。より詳細には、各手指の各関節部の位置姿勢を特定する位置姿勢情報を算出する。センサ１のデプス情報から算出された各手指の各関節部の位置姿勢情報を位置姿勢情報１と記載する。位置姿勢情報１は、センサ１の位置を基準とするローカル座標系の位置姿勢情報である。
　信号処理回路４２は、センサ２のデプス情報に基づき、５つの手指又は少なくとも１つの手指の姿勢を特定する情報（姿勢情報）を算出する。より詳細には、各手指の各関節部の位置姿勢を特定する位置姿勢情報を算出する。センサ２のデプス情報から算出された各手指の各関節部の位置姿勢情報を、位置姿勢情報２と記載する。位置姿勢情報２は、センサ２の位置を基準とするローカル座標系の位置姿勢情報である。
　センサ１のデプス情報又はセンサ２のデプス情報から各手指の各関節部の位置姿勢情報を算出するために、機械学習により生成したモデルを用いることができる。例えば、デプス情報から各手指の各関節部の位置姿勢情報を回帰する回帰モデルを用いることができる。回帰モデルの例として、ニューラルネットワーク（例えばディープニューラルネットワーク：ＤＮＮ）、非線形回帰モデル、ＳＶＭ（Support Vector Machine）などがある。
　信号処理回路４２は、各手指の各関節部の位置姿勢情報１を演算部４４に提供する。信号処理回路４２は、各手指の各関節部の位置姿勢情報２を演算部４４に提供する。なお、位置姿勢を算出できなかった手指の関節部が存在する場合、算出できなかったことを示す情報を位置姿勢情報１又は位置姿勢情報２に含めればよい。なお、センサ１及びセンサ２のデプス情報のいずれにも、ある手指のある関節部のデプスが含まれていない場合であっても、ニューラルネットターク等のモデルにより当該関節部の位置姿勢が推定される場合もあり得る。
　ＩＭＵ（Inertial Measurement Unit）４３は、一例としてジャイロセンサと加速度センサとを含む。ジャイロセンサは、基準軸に対する３軸の角速度を検出する。加速度センサは、基準軸に対する３軸の加速度を検出する。ＩＭＵ４３は、３軸の磁気センサを含んでもよい。
　演算部４４は、ＩＭＵ４３の検出信号に基づき、本体部１１の位置（ローカル位置）と、姿勢（方向）とを算出する。すなわち、ユーザの手の位置姿勢を算出する。また、演算部４４は、本体部１１の移動距離及び速度の少なくとも一方を算出してもよい。
　演算部４４は、各手指の各関節部の位置姿勢情報１と、各手指の各関節部の位置姿勢情報２とに基づき、本体部１１に対する各手指の各関節部の位置姿勢情報を決定する。本体部１１の位置は頭部装置（又はＩＭＵ４３）により検出される。本体部１１の位置は一例としてセンサ１の位置として扱ってもよい。センサ１は筐体１２に固定されており、筐体１２との位置関係は一定である。一方、センサ２は装着部１０を介してセンサ１（筐体１２）と接続されるため、センサ１とセンサ２との座標系の相対的な位置姿勢は不定である。具体的には、ユーザの手の大きさ、形状の違いや、ベルトの装着位置の違いにより、装着時のベルトの形状が変化する。この結果として、センサ１及びセンサ２間の座標系の相対的な位置姿勢が変化する。そこで、センサ１及びセンサ２間の座標系の相対的な位置姿勢を算出し、算出した相対的な位置姿勢に基づき、位置姿勢情報２をセンサ１の座標系に変換する。変換の方法を以下に説明する。
　センサ１とセンサ２の座標系の相対的な位置姿勢を求めることは、回転行列Ｒと並進ベクトルＴを用いて、センサ２の座標系の３次元ベクトルから、センサ１の座標系の３次元ベクトルに変換する式を求めることと同義と捉えられる。
　センサ１の検出範囲とセンサ２の検出範囲とは互いに重複するため、センサ１とセンサ２との両方から検出される関節部（対象となる関節部）がある。例えば、人差し指の先端の節（末節）については、センサ１、２の両方から検出されることになる場合が多い。
　センサ１の座標系を座標系１、センサ２の座標系を座標系２，人差し指の末節の座標系を座標系３とする。
　図８に、センサ１の座標系１、センサ２の座標系２、及び、人差し指の末節５１の座標系３の例を示す。なお図８には人差し指の末節５１以外の関節部も丸の記号で示されている。
　センサ１の座標系１と、人差し指の末節の座標系３との関係は、式（１）により表される。
Figure JPOXMLDOC01-appb-M000001
　センサ２の座標系２と、人差し指の末節の座標系３との関係は、式（２）により表される。
Figure JPOXMLDOC01-appb-M000002
　式（１）と式（２）から式（３）が得られる。
Figure JPOXMLDOC01-appb-M000003
　式（３）を式（４）に変形することができる。
Figure JPOXMLDOC01-appb-M000004
　式（４）のＲａ－１・ＲｂをＲ、Ｒａ－１・（Ｔｂ－Ｔａ）をＴとすると、以下の式（５）が得られる。
Figure JPOXMLDOC01-appb-M000005
 　式（５）は、回転行列Ｒと並進ベクトルＴを用いて、センサ２の座標系２の３次元ベクトルを、センサ１の座標系１の３次元ベクトルに変換する式である。このようにして、センサ１とセンサ２間の座標系の相対的な位置姿勢を求めることができる。
　演算部４４は、式（５）の関係に基づき、位置姿勢情報２を、センサ１の座標系１に変換する。そして、変換後の位置姿勢情報２と、位置姿勢情報１とから、各手指（例えば、センサ１で検出された手指とセンサ２で検出された手指とに含まれる手指）の各関節部の位置姿勢情報を決定する。一例として、位置姿勢情報１及び変換後の位置姿勢情報２の一方にのみ含まれる手指の関節部については、当該一方に含まれる手指の関節部の位置姿勢情報を用いる。両方に含まれる手指の関節部については両方の位置姿勢情報の平均を用いてもよいし、いずれか一方を採用してもよい。演算部４４は各手指の各関節部の位置姿勢情報を送受信部４６に提供する。ここでは演算部４４が位置姿勢情報１及び位置姿勢情報２から各手指の各関節部の位置姿勢情報を決定したが、位置姿勢情報１及び位置姿勢情報２をコンピュータ（図９、図１０参照）に送信し、コンピュータ側で各手指の各関節部の位置姿勢情報を決定してもよい。
　センサ１とセンサ２の座標系の相対的な位置姿勢は、手指の動きに伴って時々刻々と変化するため、上記の式（１）～（５）のような演算によりパラメータを求める処理を、一定期間毎に行ってもよい。
　図７は、一定時間毎にセンサ１とセンサ２の座標系の相対的な位置姿勢を算出する動作の一例を示すフローチャートである。まず、センサ１とセンサ２の座標系の相対的な位置姿勢に関するパラメータＴｐ、Ｒｐとしてデフォルト値のＴｄ、Ｒｄを設定する（Ｓ１０１）。センサ１およびセンサ２の検出信号（デプス情報）に基づき、各指の各関節部の位置姿勢を検出する（Ｓ１０２）。センサ１から検出された各関節部の位置姿勢に、対象となる関節部（例えば、人差し指の末節）の位置姿勢が含まれるかを判断する（Ｓ１０３）。対象となる関節部の位置姿勢が含まれる場合に（ＹＥＳ）、センサ２から検出された各関節部の位置姿勢に、対象となる関節部の位置姿勢（例えば、人差し指の末節）が含まれるかを判断する（Ｓ１０４）。対象となる関節部の位置姿勢が含まれる場合に（ＹＥＳ）、式（５）により求まるＴ，ＲによってパラメータＴｐ，Ｒｐを更新する（Ｓ１０５）。この後、ステップＳ１０２に戻る。ステップＳ１０３又はステップＳ１０４で対象となる関節部の位置姿勢が含まれないと判断された場合は、パラメータＴｐ，Ｒｐの更新を行わずに、ステップＳ１０２に戻る。
　コントローラ１００の使用中における上記相対的な位置姿勢の変化量は、ユーザの手の形状、大きさ、コントローラ１００の装着位置の違い等を起因とする上記変化量に比べると通常は小さくなる。そのため、ユーザがコントローラ１００を一旦装着した後は、相対的な位置姿勢は一定とみなすことも可能である。この場合には、コントローラ１００の装着後にユーザに対して、センサ１及びセンサ２が対象となる関節部（例えば、人差し指の末節）を共通に検出可能な姿勢を取らせる。例えば、初期設定モード時に音声メッセージ又は頭部装置で提供する画像などを介して、ユーザに当該姿勢を取らせるメッセージを提示してもよい。ユーザが当該姿勢を取っている間に、センサ１及びセンサ２の座標系の相対的な位置姿勢を算出する処理を行う。これによればセンサ１、２の両方で対象となる関節部を確実に検出することができるため、検出ロスが無く、効率的である。
　図２の構成では、センサ２をセンサ１とは別の筐体（構造物）に設けたが、センサ２をセンサ１と同じ筐体に設けてもよい。これにより、センサ２の位置姿勢が本体１１に対して変化することを抑制できる。具体的には、例えば、図１の本体１１の筐体を小指側に手の甲から手の平にかけて沿うように延長された構造とし、図２に示す位置にセンサ２を配置する構成が考えられる。センサ２がセンサ１と同じ筐体上に配置されることによって、センサ１とセンサ２の間の相対位置姿勢の変化を抑えることができる。これにより、手指関節のセンシング誤算の影響を受ける式（５）を用いた演算の必要がなくなるため、手指の各関節の位置姿勢の検出精度を向上させることが可能となる。
　図６において、静電容量検出回路４５は、接触センサ１５から検出信号を取得する。また静電容量検出回路４５は、接触センサ２５から検出信号を取得する。静電容量検出回路４５は、接触センサ１５及び接触センサ２５の検出信号の少なくとも一方に基づき、ユーザがコントローラ１００を装着したかを判断する。一例として、静電容量の変化量が接触センサ１５及び接触センサ２５の両方、もしくはいずれか一方で閾値以上になった場合は、ユーザがコントローラ１００を装着したと判断する。あるいは、静電容量の値が接触センサ１５及び接触センサ２５の両方、もしくはいずれか一方も閾値以上になった場合は、ユーザがコントローラ１００を装着したと判断する。静電容量検出回路４５は、ユーザがコントローラ１００を装着したと判断した場合は、装着検出信号を送受信部４６に提供する。ユーザがコントローラ１００を装着していないと判断した場合、装着検出信号を送受信部４６に提供しない、あるいは非装着検出信号を送受信部４６に提供する。
　送受信部４６は、演算部４４から提供された本体部１１の位置姿勢情報（手の位置姿勢情報）をコンピュータ（図９、図１０参照）に送信する。送受信部４６は、演算部４４から提供された各手指の姿勢を特定する情報（例えば各手指の各関節部の位置姿勢情報）をコンピュータに送信する。送受信部４６は、演算部４４から提供された装着検出信号をコンピュータに送信する。送受信部４６は、演算部４４から提供された非装着検出信号をコンピュータに送信する。送受信部４６は、コンピュータから振動子４８用の制御信号を受信した場合、制御信号を増幅器４７に提供する。
　増幅器４７は、送受信部４６から提供された振動子４８用の制御信号を増幅し、増幅された制御信号を振動子４８に提供する。
　振動子４８は、入力された信号に基づき振動するバイブレータである。振動子４８は、増幅器４７から提供された制御信号に基づき振動する。振動子４８の振動は、コントローラ１００を装着したユーザの手に触覚として知覚される。これによりユーザは手指及び手を使って生成したジェスチャ（ハンドサイン）として行った指示に対応するフィードバックを触覚により取得できる。
　図９は、右手用のコントローラ１００と、左手用のコントローラ１００と、コンピュータ２００と、頭部装置３００とを備えたコンピュータシステムのブロック図である。
　図１０は、図９のコンピュータシステムの一構成例において右手用及び左手用のコントローラ１００と、頭部装置３００とをユーザが装着した例を示す。
　図１０において、コンピュータ２００は、右手用及び左手用のコントローラ１００は有線により接続されている。コンピュータ２００は頭部装置３００と有線により接続されている。右手用及び左手用のコントローラ１００の配線は、頭部装置３００の後部において、頭部装置３００の配線と１つにまとめられて、コンピュータ２００に接続されている。但し、コンピュータ２００と、右手用及び左手用のコントローラ１００とが無線により接続されていてもよい。コンピュータ２００と頭部装置３００とが無線により接続されていてもよい。
　右手用のコントローラ１００及び左手用のコントローラ１００は、上述の図６に示した構成を有する。以下の説明において、コントローラ１００を記載するとき、左手用及び右手用のいずれのコントローラ１００、又は両方のコントローラ１００を指してもよい。また、手と記載するときは、左手、右手、又はこれらの両方を指してもよい。
　図９のコンピュータシステムにおいて、現実空間における座標系である実座標系が基準点を原点として予め設定されている。基準点は、現実空間における任意の位置又は所定の位置でもよいし、頭部装置３００に含まれる任意の位置又は所定の位置でもよい。
　頭部装置３００は、赤外線照射部３０１、赤外線カメラ部３０２、右左手位置姿勢認識部３０３、ＩＭＵ３１１、ＲＧＢカメラ部３１２、頭部位置姿勢認識部３１３、３次元情報統合部３２０、送受信部３３０、ディスプレイドライバ３４０、左目用の表示部３５１及び右目用の表示部３５２を備える。要素３０３、３１３、３２０、３３０、３４０は、ハードウェア回路及び記憶装置等により構成される。ハードウェア回路は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、又はこれらの組み合わせ等の処理回路により構成される。記憶装置は、揮発性メモリ、書き換え可能不揮発性メモリ、ＲＯＭ、磁気記憶メモリ、ハードディスク、光学ディスクなど、任意の記録媒体により構成される。ＣＰＵ等のプロセッサがコンピュータプログラムである情報処理プログラムを実行することにより、要素３０３、３１３、３２０、３３０、３４０のうちの少なくとも１つの機能が実現されてもよい。
　頭部装置３００は、ユーザの頭部に装着され、動作中に左目用の表示部３５１及び右目用の表示部３５２を介して、ユーザに情報を提供する装置である。本実施形態では、頭部装置３００は、ＲＧＢカメラ部３１２を介して得られる現実世界の画像に、仮想空間を構成する画像の一部を合成した視界画像を出力する拡張現実（ＡＲ：Augmented　Reality）グラスである場合を想定する。
　但し、頭部装置３００は、右目用の画像および左目用の画像を非透過型の表示部３５１、３５２にそれぞれ表示し、ユーザの両目の視差に基づき当該画像を３次元画像として認識させるＶＲ（Virtual　Reality）グラスでもよい。また頭部装置３００は、非透過型の表示部３５１、３５２にデジタル情報を提示するスマートグラスでもよい。表示部３５１、３５２は、例えば液晶ディスプレイや有機ＥＬモニタなどの表示装置である。
　頭部装置３００において、赤外線照射部３０１及び赤外線カメラ部３０２はそれぞれ２つ設けられる（図１０参照）。
　赤外線照射部３０１は、例えば、赤外線を発するＬＥＤ（Light　Emitting　Diode）である。
　２つの赤外線カメラ部３０２は、少なくとも一方の赤外線照射部３０１により照射され、コントローラ１００の測定マーカ１４で反射された赤外線を読み取る。赤外線カメラ部３０２は、読み取った赤外線に基づき、赤外線画像を生成する。右左手位置姿勢認識部３０３は、２つの赤外線カメラ部３０２と対象の手（本体部１１）の測定マーカ１４とによる三角測量で、手の位置又は位置姿勢を算出する。手本体の測定マーカ１４の配置を左右の手で異ならせることで、右手と左手との判別が可能である。赤外線を用いるため、屋外などでも測定マーカ１４からの反射を得ることができる。また赤外線照射部３０１を複数設けることで手の検出範囲を広くできる。また、他の動作例として、２つの赤外線照射部３０１をそれぞれ右手用及び左手用とし、２つの赤外線カメラ部３０２をそれぞれ右手用及び左手用とする。右手（又は左手）の赤外線カメラ部３０２は、右手（又は左手）に対応する赤外線照射部３０１の照射により得られた赤外線画像を解析することで、右手（又は左手）の位置姿勢を認識してもよい。
　ＩＭＵ３１１は、一例としてジャイロセンサと加速度センサとを含む。ＩＭＵ３１１の構成は、前述したコントローラ１００におけるＩＭＵと同様である。
　ＲＧＢカメラ部３１２は、一定時間毎に現実世界の空間を撮像し、ＲＧＢの画像データを取得する。ＲＧＢカメラ部３１２は、例えば、頭部装置３００の筐体の前方に設けられている。
　頭部位置姿勢認識部３１３は、ＩＭＵ３１１の検出信号に基づき頭部（頭部装置３００）の位置姿勢を認識する。頭部位置姿勢認識部３１３は、認識した位置姿勢を基準とした座標系を、現実空間の座標系とし、ＲＧＢカメラ２１２の画像を、カメラ座標系から現実空間の座標系に変換する。
　３次元情報統合部３２０は、現実空間の変換後の画像と、コンピュータ２００から提供される情報（例えば現実空間の画像に重ねて表示する仮想画像等）とに基づき統合処理を行い、ユーザに提示する３次元の画像情報を左目用及び右目用に生成する。統合処理において、右左手位置姿勢認識部３０３によって得られた左右の手の位置又は位置姿勢を利用してもよい。例えばユーザの手が存在する位置に、手を模した仮想画像を統合してもよい。手を模した仮想画像は、コンピュータ２００から提供される情報に含まれていてもよいし、あらかじめ頭部装置３００のメモリ装置に格納されており、メモリ装置から仮想画像を読み出してもよい。手の姿勢に応じて仮想画像の手の姿勢を変えてもよい。この場合、姿勢に応じた手の仮想画像が複数用意されていてもよいし、姿勢の変更を計算し、レンダリングしてもよい。
　送受信部３３０は、右左手位置姿勢認識部３０３によって取得された左右の手の位置又は位置姿勢情報をコンピュータ２００に送信する。また、送受信部３３０は、３次元情報統合部３２０により生成された画像情報をディスプレイドライバ３４０に提供する。送受信部３３０は、３次元情報統合部３２０により生成された画像情報をコンピュータ２００に送信してもよい。
　ディスプレイドライバ３４０は、左目用の画像情報に基づき、左目用の表示部３５１に画像を表示するための駆動信号を生成する。ディスプレイドライバ３４０は、右目用の画像情報に基づき、右目用の表示部３５２に画像を表示するための駆動信号を生成する。ディスプレイドライバ３４０は、これらの生成した駆動信号を、左目用の表示部３５１及び右目用の表示部３５２に提供する。
　左目用の表示部３５１及び右目用の表示部３５２は、ディスプレイドライバ３４０から提供された駆動信号に基づき、画面に画像を表示する。左目用の表示部３５１及び右目用の表示部３５２に表示された画像は、頭部装置３００を装着したユーザに視認される。
　コンピュータ２００は、パーソナルコンピュータ（デスクトップ型、ノート型）、スマートフォン等の移動体端末、タブレット装置などの情報機器端末である。コンピュータ２００は頭部装置３００の外部に設けられる構成が示されているが、コンピュータ２００と頭部装置３００とが一体に構成されていてもよい。例えば、コンピュータ２００は頭部装置３００に内蔵されていてもよい。
　コンピュータ２００は、送受信部２０１、送受信部２０２、ジェスチャ認識部２３０、命令生成部２４０、及びアプリケーション部２５０を備えている。その他、ユーザがデータ又は指示等を入力する入力部、ユーザに情報を出力する出力部等が備えられていてもよい。要素２０１、２０２、２３０、２４０、２５０は、一例として、ハードウェア回路及び記憶装置等により構成される。ハードウェア回路は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、又はこれらの組み合わせ等の処理回路により構成される。記憶装置は、揮発性メモリ、書き換え可能不揮発性メモリ、ＲＯＭ、磁気記憶メモリ、ハードディスク、光学ディスクなど、任意の記録媒体により構成される。ＣＰＵ等のプロセッサがコンピュータプログラムである情報処理プログラムを実行することにより、要素２０１、２０２、２３０、２４０、２５０のうちの少なくとも１つの機能が実現されてもよい。コンピュータ２００は単一のコンピュータにより構成されてもよいし、相互に接続された複数のコンピュータ装置からなるシステムとして構成されてもよい。コンピュータ２００はクラウド等の広域ネットワークにサーバとして存在してもよい。
　送受信部２０１はコントローラ１００との間で所定の通信方式に従って信号を送受信する。送受信部２０２は頭部装置３００との間で所定の通信方式に従って信号を送受信する。各所定の通信方式は、専用の通信方式、ＵＳＢ（Universal Serial Bus）等のシリアル通信、無線ＬＡＮ（Local Area Network）、ブルートゥース、赤外線通信など、任意の方式を用いることができる。
　コンピュータ２００は、送受信部２０１を介して、コントローラ１００からユーザの手指の姿勢又は動きに関する情報として、各手指の姿勢又は動きを特定する情報（各手指の各関節部の位置姿勢情報又は当該位置姿勢情報の時系列データ）を取得する。またコンピュータ２００は、送受信部２０２を介して、頭部装置３００から現実空間の座標系における手の位置又は位置姿勢の情報又はその時系列データを取得する。コントローラ１００の本体部１１が赤外線照射部３０１の照射範囲から外れるなどの理由で、頭部装置３００から手の位置又は位置姿勢の情報を取得できなくなる場合もあり得る。この場合、コンピュータ２００は、コントローラ１００から送受信部２０１を介して取得する手（本体部１１）の位置又は位置姿勢の情報に基づき、現実空間の座標系における手（本体部１１）の位置又は位置姿勢を把握してもよい。より詳細には、頭部装置３００から受信した最新の位置情報からの位置の変化量を、コントローラ１００から受信する位置情報に基づき更新することで、現実空間の座標系における手（本体部１１）の位置を特定する。手（本体部１１）の姿勢は、コントローラ１００から受信する姿勢情報を用いて特定する。
　ジェスチャ認識部２３０は、各手指の各関節部の位置姿勢情報と、手の位置又は位置姿勢情報とに基づき、ユーザのジェスチャ（ハンドサイン）を認識する。手指の各関節部の位置姿勢から、手指の姿勢（形状）が特定可能である。また各手指について複数の時刻分の位置姿勢を特定すれば、各手指の動きが特定可能である。
　命令生成部２４０は、認識されたハンドサインに応じて、アプリケーションに対する操作命令を生成する。例えば、ジェスチャ認識部２３０は、各手指の姿勢（形状）と、手の位置姿勢とに基づき、ユーザのハンドサインを識別する。具体的には、各手指の姿勢と、手の位置又は位置姿勢と、ハンドサインとを対応付けたテーブルを用意しておき、テーブルから、該当するハンドサインを特定する。手指の姿勢（形状）と、手の位置又は位置姿勢との組み合わせ、又は、当該組み合わせの時系列データは、指し示す、押す、開ける、掴む、回す、投げるなどの様々なアクションのハンドサインとして認識できる。
　命令生成部２４０がハンドサインに応じて生成する操作命令の例として、メニューを開くことのハンドサインが認識された場合に、メニューを開く命令を生成することがある。また開いたメニューにおいて、ある項目の位置で選択を示すハンドサインが認識された場合に、当該項目の詳細画面を開く命令を生成することがある。また、ある状況で所定のハンドサインが認識された場合に、ユーザのコントローラ１００を振動させる命令を生成することがある。例えば、頭部装置３００にコップの仮想画像又は現実世界の画像が表示されている場合に、コップを掴むハンドサインが識別されたとする。この場合に、ユーザにコップを掴んだことを通知するために、ユーザがハンドサインを行った対象（例えばコップ等）又はハンドサインに応じたパターンで振動させる命令を生成することがある。現実世界の画像にコップが表示されていることは、セマンティックセグメンテーション等の画像解析を用いて行うことができる。この場合、命令生成部２４０は画像解析を行う機能を備えていてもよい。
　アプリケーション部２５０は、コントローラ１００と頭部装置３００とを利用したアプリケーションのサービス（例えばゲーム等のエンターテイメント）をユーザに提供する。アプリケーション部２５０は、例えば、ユーザからアプリケーションの実行指示データを受信した場合に、コントローラ１００から接触センサ１５及び接触センサ２５の少なくとも一方又は両方について装着検出信号を受信したかを判断し、装着検出信号を受信した場合に、アプリケーションの実行を開始する。実行指示データは、コンピュータ２００に直接ユーザが入力部を介して入力してもよい。あるいは、ユーザが実行指示データを頭部装置３００又はコントローラ１００に入力し、頭部装置３００又はコントローラ１００から実行指示データを受信してもよい。
　アプリケーション部２５０は、命令生成部２４０からアプリケーションに対する操作命令を取得し、取得した操作命令を実行する。例えばメニューを開く操作命令を実行した場合、メニューを表す仮想画像を表示することを指示する指示データを頭部装置３００の３次元情報統合部３２０に送信する。仮想画像を表示する位置は、あらかじめ定めた位置でもよいし、ユーザのハンドサインが認識されたときのユーザの手指の姿勢又は手の位置姿勢に応じて決まる位置でもよい。指示データには、仮想画像を表示する位置を含めてもよい。また、アプリケーション部２５０は、コントローラ１００を振動させる命令を実行した場合、振動子用のドライバを用いて、振動子を振動させるための制御信号を生成する。アプリケーション部２５０は、生成した振動子の制御信号を、送受信部２０１を介して、コントローラ１００に送信する。
　図９に示した構成は一例であり、様々なバリエーションが可能である。例えば頭部装置３００にスピーカとサウンドドライバが設けられていてもよい。コンピュータ２００のアプリケーション部２５０が、認識されたハンドサインに応じた音の出力を指示する指示データを、サウンドドライバに送信する。サウンドドライバは指示データに基づき制御信号を生成し、スピーカに提供する。スピーカは制御信号に応じた音又は音声を出力する。
　またコントローラ１００に視覚的なフィードバックを提供するＬＥＤランプ等の発光部が設けられていてもよい。コンピュータ２００のアプリケーション部２５０が、認識されたハンドサインに応じた発光を行う制御信号を、発光素子用のドライバを用いて生成し、制御信号をコントローラ１００に送信する。コントローラ１００の発光素子は制御信号に応じて発光する。
　以上、本実施形態によれば、親指と人差し指との間の空間に配置されたセンサ１により、検出領域内の手指との距離を含むデプス情報を検出し、手の平に配置されたセンサ２により、検出領域内の手指との距離を含むデプス情報を検出する。これにより、ユーザの各手指が少なくともいずれかのセンサにより検出される可能性が高くなるため、各手指の姿勢をより確実に検出することができる。例えば、センサ２で検出されたデプス情報では人差し指が親指に隠されていても、センサ１で検出されたデプス情報では人差し指が親指に隠されてない。このように第１センサ及び第２センサは互いに補完し合うことができるため、各手指の姿勢を正しく検出する可能性を高めることができる。
　また本実施形態によれば、ユーザが装着する装着部は柔軟な素材により構成されており、またユーザの手の平側には小型の薄いサブ部を設ければよいため、ユーザは各手指を動かしたり、物を掴んだりする行為を、容易に行うことができる。
　また本実施形態によれば、本体部１１に振動子を設けたことにより、ユーザに対して触覚によりフィードバックを与えることができる。
　なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
　なお、本開示は以下のような構成を取ることもできる。
　［項目１］
　親指と人差し指との間の空間に配置され、第１検出領域に含まれる手指である第１手指をセンシングした第１情報を検出する第１センサと、
　手の平に配置され、第２検出領域に含まれる手指である第２手指をセンシングした第２情報を検出する第２センサと、
　を備えた検出装置。
　［項目２］
　前記第１情報と、前記第２情報と、前記第１センサと前記第２センサとの相対的な位置姿勢とに基づき、前記第１手指及び前記第２手指の姿勢を特定する情報を取得する処理部　を備えた項目１に記載の検出装置。
　［項目３］
　前記第１手指の姿勢を特定する情報は、前記第１手指に含まれる関節部の位置姿勢を含み、
　前記第２手指の姿勢を特定する情報は、前記第２手指に含まれる関節部の位置姿勢を含む
　項目２に記載の検出装置。
　［項目４］
　前記第１センサは、前記人差し指の根元と前記親指の間の空間に配置される
　項目１～３のいずれか一項に記載の検出装置。
　［項目５］
　前記第２センサは、前記手の平の小指球、又は有鈎骨上に配置される
　項目１～４のいずれか一項に記載の検出装置。
　［項目６］
　前記第１センサ及び前記第２センサを手に装着する装着部
　を備えた項目１～５のいずれか一項に記載の検出装置。
　［項目７］
　前記装着部は親指を通す開口を有し、前記手の平と前記手の甲とを少なくとも部分的に覆う被覆部を含み、
　前記第１センサを含む第１筐体が、前記被覆部における前記手の甲側に設けられ、
　前記第２センサを含む第２筐体が、前記被覆部における前記手の平側に設けられる
　項目６に記載の検出装置。
　［項目８］
　前記第１筐体の表面には、頭部装置からの位置測定用のマーカが設けられている
　項目７に記載の検出装置。
　［項目９］
　前記第２筐体の表面には、頭部装置からの位置測定用のマーカが設けられている
　項目７又は８に記載の検出装置。
　［項目１０］
　前記親指と前記人差し指との接触を検知する接触センサ
　を備えた項目１～９のいずれか一項に記載の検出装置。
　［項目１１］
　前記手の平及び前記手の甲の少なくとも一方との接触を検知する接触センサ
　を備えた項目７～９のいずれか一項に記載の検出装置。
　［項目１２］
　前記第１手指と前記第２手指に共通に含まれる前記関節部の前記第１情報及び前記第２情報に基づき、前記第１センサと前記第２センサとの相対的な位置姿勢を算出する演算部　を備えた項目３に記載の検出装置。
　［項目１３］
　前記共通に含まれる前記関節部は、人差し指の末節を含む
　項目１２に記載の検出装置。
　［項目１４］
　前記処理部は、前記共通の手指の第１情報と、前記共通の手指の第２情報とに基づき、前記第１センサの第１座標系と前記第２センサの第２座標系との関係を表すパラメータを算出し、
　前記第１情報に基づき前記第１手指に含まれる関節部の位置姿勢情報を取得し、前記第２情報に基づき前記第２手指に含まれる関節部の位置姿勢情報を取得し、
　前記パラメータに基づき、前記第２手指に含まれる前記関節部の位置姿勢情報を前記第１座標系に変換し、
　前記第１手指に含まれる前記関節部の位置姿勢情報と、前記第２手指に含まれる前記関節部の位置姿勢情報とに基づき、前記第１手指及び前記第２手指に含まれる手指の各関節部の位置姿勢を決定する
　項目１２に記載の検出装置。
　［項目１５］
　前記パラメータは、回転行列と並進ベクトルとを含む
　項目１４に記載の検出装置。
　［項目１６］
　前記第１情報は、前記第１手指までの距離を含むデプス情報であり
　前記第２情報は、前記第２手指までの距離を含むデプス情報である
　項目１～１５のいずれか一項に記載の検出装置。
　［項目１７］
　親指と人差し指との間の空間に配置された第１センサによって、前記第１センサの第１検出領域に含まれる手指である第１手指をセンシングした第１情報を検出し、
　手の平に配置された第２センサによって、前記第２センサの第２検出領域に含まれる手指である第２手指をセンシングした第２情報を検出する
　検出方法。
１　センサ（第１センサ）
２　センサ（第２センサ）
１０　装着部
１１　本体部
１２　筐体（第１筐体）
１２Ａ　突出部
１３Ａ　検出範囲
１４　測定マーカ
１５　接触センサ
２１　サブ部
２２　筐体（第２筐体）
２３Ａ　検出範囲
２４　測定マーカ
２５　接触センサ
４１　処理システム
４２　信号処理回路
４３　ＩＭＵ
４４　演算部
４５　静電容量検出回路
４６　送受信部
４７　増幅器
４８　振動子
４９　処理部
５１　人差し指の末節
１００　コントローラ
２００　コンピュータ
２０１　送受信部
２０２　送受信部
２１２　ＲＧＢカメラ
２３０　ジェスチャ認識部
２４０　命令生成部
２５０　アプリケーション部
３００　頭部装置
３０１　赤外線照射部
３０２　赤外線カメラ部
３０３　右左手位置姿勢認識部
３１１　ＩＭＵ
３１２　ＲＧＢカメラ部
３１３　頭部位置姿勢認識部
３３０　送受信部
３４０　ディスプレイドライバ
３５１、３５２　表示部

Claims (17)

  1. 　親指と人差し指との間の空間に配置され、第１検出領域に含まれる手指である第１手指をセンシングした第１情報を検出する第１センサと、
    　手の平に配置され、第２検出領域に含まれる手指である第２手指をセンシングした第２情報を検出する第２センサと、
    　を備えた検出装置。
  2. 　前記第１情報と、前記第２情報と、前記第１センサと前記第２センサとの相対的な位置姿勢とに基づき、前記第１手指及び前記第２手指の姿勢を特定する情報を取得する処理部　を備えた請求項１に記載の検出装置。
  3. 　前記第１手指の姿勢を特定する情報は、前記第１手指に含まれる関節部の位置姿勢を含み、
    　前記第２手指の姿勢を特定する情報は、前記第２手指に含まれる関節部の位置姿勢を含む
    　請求項２に記載の検出装置。
  4. 　前記第１センサは、前記人差し指の根元と前記親指の間の空間に配置される
    　請求項１に記載の検出装置。
  5. 　前記第２センサは、前記手の平の小指球、又は有鈎骨上に配置される
    　請求項１に記載の検出装置。
  6. 　前記第１センサ及び前記第２センサを手に装着する装着部
    　を備えた請求項１に記載の検出装置。
  7. 　前記装着部は親指を通す開口を有し、前記手の平と前記手の甲とを少なくとも部分的に覆う被覆部を含み、
    　前記第１センサを含む第１筐体が、前記被覆部における前記手の甲側に設けられ、
    　前記第２センサを含む第２筐体が、前記被覆部における前記手の平側に設けられる
    　請求項６に記載の検出装置。
  8. 　前記第１筐体の表面には、頭部装置からの位置測定用のマーカが設けられている
    　請求項７に記載の検出装置。
  9. 　前記第２筐体の表面には、頭部装置からの位置測定用のマーカが設けられている
    　請求項７に記載の検出装置。
  10. 　前記親指と前記人差し指との接触を検知する接触センサ
    　を備えた請求項１に記載の検出装置。
  11. 　前記手の平及び前記手の甲の少なくとも一方との接触を検知する接触センサ
    　を備えた請求項７に記載の検出装置。
  12. 　前記第１手指と前記第２手指に共通に含まれる前記関節部の前記第１情報及び前記第２情報に基づき、前記第１センサと前記第２センサとの相対的な位置姿勢を算出する処理部　を備えた請求項３に記載の検出装置。
  13. 　前記共通に含まれる前記関節部は、人差し指の末節を含む
    　請求項１２に記載の検出装置。
  14. 　前記処理部は、前記共通の手指の第１情報と、前記共通の手指の第２情報とに基づき、前記第１センサの第１座標系と前記第２センサの第２座標系との関係を表すパラメータを算出し、
    　前記第１情報に基づき前記第１手指に含まれる関節部の位置姿勢情報を取得し、前記第２情報に基づき前記第２手指に含まれる関節部の位置姿勢情報を取得し、
    　前記パラメータに基づき、前記第２手指に含まれる前記関節部の位置姿勢情報を前記第１座標系に変換し、
    　前記第１手指に含まれる前記関節部の位置姿勢情報と、前記第２手指に含まれる前記関節部の位置姿勢情報とに基づき、前記第１手指及び前記第２手指に含まれる手指の各関節部の位置姿勢を決定する
    　請求項１２に記載の検出装置。
  15. 　前記パラメータは、回転行列と並進ベクトルとを含む
    　請求項１４に記載の検出装置。
  16. 　前記第１情報は、前記第１手指までの距離を含むデプス情報であり
    　前記第２情報は、前記第２手指までの距離を含むデプス情報である
    　請求項１に記載の検出装置。
  17. 　親指と人差し指との間の空間に配置された第１センサによって、前記第１センサの第１検出領域に含まれる手指である第１手指をセンシングした第１情報を検出し、
    　手の平に配置された第２センサによって、前記第２センサの第２検出領域に含まれる手指である第２手指をセンシングした第２情報を検出する
    　検出方法。
PCT/JP2021/025658 2020-07-14 2021-07-07 検出装置及び検出方法 WO2022014445A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/013,137 US20230244312A1 (en) 2020-07-14 2021-07-07 Detection device and detection method
CN202180048229.0A CN115777091A (zh) 2020-07-14 2021-07-07 检测装置及检测方法
JP2022536299A JPWO2022014445A1 (ja) 2020-07-14 2021-07-07

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-120810 2020-07-14
JP2020120810 2020-07-14

Publications (1)

Publication Number Publication Date
WO2022014445A1 true WO2022014445A1 (ja) 2022-01-20

Family

ID=79554830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025658 WO2022014445A1 (ja) 2020-07-14 2021-07-07 検出装置及び検出方法

Country Status (4)

Country Link
US (1) US20230244312A1 (ja)
JP (1) JPWO2022014445A1 (ja)
CN (1) CN115777091A (ja)
WO (1) WO2022014445A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11872499B2 (en) * 2019-02-08 2024-01-16 Sony Interactive Entertainment Inc. Wearing member
US11959997B2 (en) * 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050179644A1 (en) * 2002-03-12 2005-08-18 Gunilla Alsio Data input device
JP2006276651A (ja) * 2005-03-30 2006-10-12 Nagasaki Prefecture 動作検出装置および手話動作検出システム
US20100156783A1 (en) * 2001-07-06 2010-06-24 Bajramovic Mark Wearable data input device
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
US20140098018A1 (en) * 2012-10-04 2014-04-10 Microsoft Corporation Wearable sensor for tracking articulated body-parts
JP2017516185A (ja) * 2014-03-14 2017-06-15 株式会社ソニー・インタラクティブエンタテインメント 回転自在に設置されたカメラ付きのゲーミングデバイス
WO2017102922A1 (de) * 2015-12-18 2017-06-22 Schannath Christina Handschuh-artige vorrichtung mit ergonomisch vorteilhaft auslösbarer integrierter kamera
JP2017227687A (ja) * 2016-06-20 2017-12-28 聖 星野 カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
WO2018079384A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、制御方法、及びプログラム
WO2018198272A1 (ja) * 2017-04-27 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 制御装置、情報処理システム、制御方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7498956B2 (en) * 2006-01-04 2009-03-03 Iron Will Creations, Inc. Apparatus and method for inputting information
US20100023314A1 (en) * 2006-08-13 2010-01-28 Jose Hernandez-Rebollar ASL Glove with 3-Axis Accelerometers
US20150035743A1 (en) * 2013-07-31 2015-02-05 Plantronics, Inc. Wrist Worn Platform for Sensors
US9710060B2 (en) * 2014-06-09 2017-07-18 BeBop Senors, Inc. Sensor system integrated with a glove
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
WO2016074087A2 (en) * 2014-11-11 2016-05-19 Helio Technology Inc. A method of detecting user input in a 3d space and a 3d input system employing same
AU2015362045C1 (en) * 2014-12-08 2020-10-15 Rohit Seth Wearable wireless HMI device
US9652038B2 (en) * 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips
US10168776B2 (en) * 2016-08-23 2019-01-01 International Business Machines Corporation Remote control via proximity data
KR102414497B1 (ko) * 2017-09-29 2022-06-29 애플 인크. Imu 기반 장갑
US11681369B2 (en) * 2019-09-16 2023-06-20 Iron Will Innovations Canada Inc. Control-point activation condition detection for generating corresponding control signals

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156783A1 (en) * 2001-07-06 2010-06-24 Bajramovic Mark Wearable data input device
US20050179644A1 (en) * 2002-03-12 2005-08-18 Gunilla Alsio Data input device
JP2006276651A (ja) * 2005-03-30 2006-10-12 Nagasaki Prefecture 動作検出装置および手話動作検出システム
JP2012073830A (ja) * 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
US20140098018A1 (en) * 2012-10-04 2014-04-10 Microsoft Corporation Wearable sensor for tracking articulated body-parts
JP2017516185A (ja) * 2014-03-14 2017-06-15 株式会社ソニー・インタラクティブエンタテインメント 回転自在に設置されたカメラ付きのゲーミングデバイス
WO2017102922A1 (de) * 2015-12-18 2017-06-22 Schannath Christina Handschuh-artige vorrichtung mit ergonomisch vorteilhaft auslösbarer integrierter kamera
JP2017227687A (ja) * 2016-06-20 2017-12-28 聖 星野 カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
WO2018079384A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、制御方法、及びプログラム
WO2018198272A1 (ja) * 2017-04-27 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 制御装置、情報処理システム、制御方法、及びプログラム

Also Published As

Publication number Publication date
US20230244312A1 (en) 2023-08-03
JPWO2022014445A1 (ja) 2022-01-20
CN115777091A (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN210573659U (zh) 计算机***、头戴式设备、手指设备和电子设备
US11150730B1 (en) Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11068057B1 (en) Wearable device with fiducial markers in virtual reality
JP6669069B2 (ja) 検出装置、検出方法、制御装置、および制御方法
US9367136B2 (en) Holographic object feedback
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
CN117120962A (zh) 用于控制虚拟和图形元素的映射手部区域之间的双手交互
US20140160055A1 (en) Wearable multi-modal input device for augmented reality
CN110647237A (zh) 在人工现实环境中基于手势的内容共享
US10775946B2 (en) Universal handheld controller of a computer system
WO2022014445A1 (ja) 検出装置及び検出方法
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
JP7135444B2 (ja) 情報処理装置及びプログラム
US20230259207A1 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
US20230341936A1 (en) Information processing device, information processing method, computer program, and augmented reality system
US20210318759A1 (en) Input device to control a computing device with a touch pad having a curved surface configured to sense touch input
WO2018074054A1 (ja) 表示制御装置、表示制御方法及びプログラム
US11662815B2 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
WO2023042489A1 (ja) 触感生成装置、触感生成方法及びプログラム
WO2022208612A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
WO2024049740A2 (en) Wearable computing devices for spatial computing interactions
KR20170110442A (ko) 증강현실 기능을 구비한 제어용 컴퓨터 장치 및 그 제어방법
BRPI1002746A2 (pt) dispositivo posicionado na cabeça de um usuário e técnica para reconhecimento dos comandos gestuais do mesmo

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21842587

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536299

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21842587

Country of ref document: EP

Kind code of ref document: A1