JP2016076104A - Method for processing data of gesture input system - Google Patents

Method for processing data of gesture input system Download PDF

Info

Publication number
JP2016076104A
JP2016076104A JP2014206354A JP2014206354A JP2016076104A JP 2016076104 A JP2016076104 A JP 2016076104A JP 2014206354 A JP2014206354 A JP 2014206354A JP 2014206354 A JP2014206354 A JP 2014206354A JP 2016076104 A JP2016076104 A JP 2016076104A
Authority
JP
Japan
Prior art keywords
gesture
coordinate system
sensor
vector
reference coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2014206354A
Other languages
Japanese (ja)
Inventor
亮平 神谷
Ryohei Kamiya
亮平 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOGBAR Inc
Original Assignee
LOGBAR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOGBAR Inc filed Critical LOGBAR Inc
Priority to JP2014206354A priority Critical patent/JP2016076104A/en
Priority to PCT/JP2015/054773 priority patent/WO2016056259A1/en
Publication of JP2016076104A publication Critical patent/JP2016076104A/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a method for processing data of a gesture input system that can allow a coordinate system that a user uses as a reference and a coordinate system that a sensor uses as a reference to be consistent with each other by correcting output of the sensor by three-dimensional rotation processing.SOLUTION: There is provided the method for processing data of a gesture input system of a wearable device, in which three-dimensional rotation processing is performed on a gesture locus obtained by a first sensor of the wearable device so that a coordinate system as a device reference based on the direction of the wearable device and a coordinate system as a gesture reference that a user uses as a reference when inputting a gesture become consistent with each other.SELECTED DRAWING: Figure 5

Description

本発明は、ジェスチャ入力システムによる入力値を補正し、ユーザの意図するジェスチャ入力を補助するためのジェスチャ入力システムのデータ加工方法に関するものである。   The present invention relates to a data processing method of a gesture input system for correcting an input value by a gesture input system and assisting a user's intended gesture input.

近年、ウェアラブルコンピュータやウェアラブルデバイスといった、身に着けて利用する電子機器の開発が進んでいる。例えば腕時計型のコンピュータや、眼鏡型のコンピュータなどが有る。ユーザが常に身に着けている特性から、体調管理やライフログの記録など、これまでにない新たな機能を提供するものとして注目を集めている。   In recent years, development of wearable electronic devices such as wearable computers and wearable devices has been progressing. For example, there are a watch-type computer and a glasses-type computer. Due to the characteristics that users always wear, it is attracting attention as providing new functions such as physical condition management and life log recording.

また、既存の入力デバイスに代わる新たな入力方法として、ユーザの動きや姿勢を検出することで入力を行う、ジェスチャ検出による入力方法が注目されている。   In addition, as a new input method that replaces an existing input device, attention is focused on an input method based on gesture detection in which input is performed by detecting a user's movement and posture.

特許文献１には、ジャイロセンサを用いて手書き文字の検出を行う為の、手の指又は手に装着する装着体に関する技術が記載されている。この装着体を身に着けた状態で、空中や面上に文字を書き込むことで、手の角度変化を検出し、手書きの文字をコンピュータ上に出力することが可能である。この技術によって、キーボード等の入力装置によらない、新たな文字入力を行うことが可能となった。   Patent Document 1 describes a technique related to a finger attached to a hand or a hand attached to the hand for detecting a handwritten character using a gyro sensor. By writing a character in the air or on the surface while wearing this wearing body, it is possible to detect a change in the angle of the hand and output the handwritten character on a computer. This technology makes it possible to perform new character input without using an input device such as a keyboard.

また、特許文献１に記載されるように、ジャイロセンサを用いて入力を行う場合には、ユーザがデバイスを保持する際の傾きなどの影響によって、ジャイロセンサの検出する入力値と、ユーザが意図した入力値と、の間に差異が生じることが多々ある。   In addition, as described in Patent Document 1, when input is performed using a gyro sensor, the input value detected by the gyro sensor and the user's intention are affected by the influence of the tilt when the user holds the device. In many cases, there is a difference between the input value and the input value.

特許文献２には、空中に描くジェスチャの軌跡を入力することによって、テレビやパソコン等のディスプレイ機器の画面上におけるカーソルの動きを制御する入力デバイスに関する技術が記載されている。この技術によって、入力デバイスに搭載された加速度センサによって検出する重力加速度の向きを、入力デバイスとディスプレイ機器の双方で共通の向きとしてジャイロセンサによる検出値の２次元回転処理を行うことにより、入力デバイスの保持のされ方に関係なく、ディスプレイ機器の画面上のカーソルの動きを効率的に制御可能となった。   Patent Document 2 describes a technique related to an input device that controls the movement of a cursor on the screen of a display device such as a television or a personal computer by inputting a trajectory of a gesture drawn in the air. By this technology, the direction of gravity acceleration detected by the acceleration sensor mounted on the input device is set to a common direction for both the input device and the display device, and the two-dimensional rotation processing of the detection value by the gyro sensor is performed. Regardless of how it is held, the movement of the cursor on the screen of the display device can be controlled efficiently.

特開２００１−２３６１７４号公報JP 2001-236174 A 特開２０１２−１９０４７９号公報JP 2012-190479 A

特許文献２に記載される技術では、設置されたディスプレイに対する入力デバイスの傾きの補正を行っている。すなわち、重力加速度が生じている鉛直方向を基準としてユーザが入力する際に基準とする座標系とディスプレイが基準とする座標系の関係を捉え、入力デバイスによる入力値の補正を行っている。ユーザの入力姿勢やデバイスの保持の仕方はユーザが基準とする座標系に影響し、ディスプレイが基準とする座標系には影響しない。特許文献２に記載される技術は、ディスプレイが基準とする座標系において重力加速度の向きが不変であることを前提として、ディスプレイ上でのカーソルの動きを効率的に補正する。   In the technique described in Patent Document 2, the inclination of the input device with respect to the installed display is corrected. That is, the input value is corrected by the input device by grasping the relationship between the reference coordinate system when the user inputs with respect to the vertical direction in which the gravitational acceleration is generated and the reference coordinate system. The user's input posture and device holding method affect the coordinate system that the user uses as a reference, and do not affect the coordinate system that the display uses as a reference. The technique described in Patent Document 2 efficiently corrects the movement of the cursor on the display on the assumption that the direction of gravitational acceleration is unchanged in the coordinate system on which the display is a reference.

しかし、全てのジェスチャ入力システムにおいて、鉛直方向を不変の基準とする座標系を定義することができるわけではない。例えば、ユーザが空中の任意の方向にキャンバスをイメージして、そのキャンバス上に描いたジェスチャ軌跡を取得する入力デバイスにおいては、ユーザがイメージするキャンバス上の座標系は鉛直方向と必ずしも一定の関係にはない。   However, not all gesture input systems can define a coordinate system that uses the vertical direction as an invariant reference. For example, in an input device in which the user images the canvas in any direction in the air and obtains a gesture trajectory drawn on the canvas, the coordinate system on the canvas that the user images is not necessarily in a fixed relationship with the vertical direction. There is no.

このように、ジェスチャを描く空間の座標系として鉛直方向を基準に用いない座標系をユーザが基準とし得る入力デバイスにおいては、ユーザが該入力デバイスを保持又は装着する向きに係る補正を、特許文献２に記載される技術によって行うことができない。   As described above, in an input device in which a user can use a coordinate system that does not use the vertical direction as a reference as a coordinate system of a space for drawing a gesture, the correction related to the direction in which the user holds or wears the input device is disclosed in Patent Literature 2 cannot be performed by the technique described in 2.

そこで、本発明では、センサの出力に３次元回転処理による補正を行い、ユーザが基準とする座標系と、センサが基準とする座標系と、を一致させることができるジェスチャ入力システムのデータ加工方法を提供することを課題とする。   Therefore, in the present invention, a data processing method of a gesture input system that can correct a sensor output by a three-dimensional rotation process so that the coordinate system that the user uses as a reference and the coordinate system that the sensor uses as a reference match. It is an issue to provide.

上記課題を解決するため、本発明に係るジェスチャ入力システムのデータ加工方法は、
ウェアラブルデバイスによるジェスチャ入力システムにおいて、前記ウェアラブルデバイスの向きに基づいたデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ウェアラブルデバイスに設けられた第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする。 In order to solve the above problems, a data processing method of a gesture input system according to the present invention includes:
In a gesture input system using a wearable device, a device reference coordinate system based on an orientation of the wearable device and a gesture reference coordinate system used as a reference when a user performs gesture input are provided in the wearable device. The gesture trajectory acquired by the first sensor is subjected to a three-dimensional rotation process.

これにより、前記ウェアラブルデバイスをユーザが装着する向きや、ユーザの姿勢が傾いている場合などにおいても、前記デバイス基準座標系と前記ジェスチャ基準座標系とを一致させ、ユーザはより正確に前記ウェアラブルデバイスを用いた入力を行うことができる。   Thus, even when the user wears the wearable device or when the user's posture is inclined, the device reference coordinate system and the gesture reference coordinate system are matched, and the user can more accurately match the wearable device. Can be used for input.

本発明の好ましい形態では、前記第１のセンサが値を検出する際に基準とするセンサ基準座標系と、前記ウェアラブルデバイスの向きに基づいたデバイス基準座標系と、を一致させるために、前記第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする。
これにより、ウェアラブルデバイス内の空間的な事情などにより、前記センサ基準座標系と前記デバイス基準座標系とが一致しない場合においても、３次元回転処理によって、ユーザが前記ウェアラブルデバイスを用いて入力した３次元的な入力をより正確に取得することができる。 In a preferred embodiment of the present invention, in order to make a sensor reference coordinate system that is a reference when the first sensor detects a value match a device reference coordinate system based on the orientation of the wearable device, the first sensor A three-dimensional rotation process is performed on the gesture trajectory acquired by one sensor.
As a result, even when the sensor reference coordinate system and the device reference coordinate system do not match due to spatial circumstances in the wearable device, etc., the user inputs 3 using the wearable device by three-dimensional rotation processing. A dimensional input can be obtained more accurately.

本発明の好ましい形態では、
前記第１のセンサによって、前記ジェスチャ基準座標系の１つの座標軸を回転軸とするねじれ角度を算出するステップと、
前記ねじれ角度に基づいて、前記第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする。
これにより、ユーザによるジェスチャ入力中に、前記ウェアラブルデバイスに前記ユーザが意図しないねじれ運動が加わる場合においても、ユーザが意図する３次元的な入力をより正確に取得することができる。 In a preferred form of the invention,
Calculating a twist angle with one coordinate axis of the gesture reference coordinate system as a rotation axis by the first sensor;
A three-dimensional rotation process is performed on the gesture trajectory acquired by the first sensor based on the twist angle.
As a result, even when a twist motion unintended by the user is applied to the wearable device during the gesture input by the user, the three-dimensional input intended by the user can be obtained more accurately.

本発明の好ましい形態では、前記ジェスチャ基準座標系を、前記ウェアラブルデバイスに設けられた第２のセンサによって検出された値によって決定することを特徴とする。
このように、第２のセンサを用いて前記ジェスチャ基準座標系を決定することにより、前記ジェスチャ基準座標系の変化などに柔軟に対応することができる。 In a preferred embodiment of the present invention, the gesture reference coordinate system is determined by a value detected by a second sensor provided in the wearable device.
As described above, by determining the gesture reference coordinate system using the second sensor, it is possible to flexibly cope with a change in the gesture reference coordinate system.

本発明の好ましい形態では、
前記デバイス基準座標系の第１の座標軸と、前記ジェスチャ基準座標系の第１の座標軸と、が重なっており、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される平面上において、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記第２のセンサよって検出された重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする。
これにより、ジェスチャ基準座標系が、重力加速度が生じている鉛直方向を直接の基準にできないような場合においても、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。 In a preferred form of the invention,
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system overlap,
Setting a reference vector group having two or more vectors extending from the origin of the device reference coordinate system on a plane represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system;
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector detected by the second sensor;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a step of performing a rotation process so as to overlap each other.
Thus, even when the gesture reference coordinate system cannot directly use the vertical direction in which the gravitational acceleration occurs as a reference, the correction processing related to the deviation between the gesture reference coordinate system and the device reference coordinate system is performed. Can do.

本発明の好ましい形態では、
前記基準ベクトル群が、少なくとも、前記デバイス基準座標系の原点より第２の座標軸の正方向に伸びる第１の基準ベクトルと、前記デバイス基準座標系の原点より第２の座標軸の負方向に伸びる第２の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の正方向に伸びる第３の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の負方向に伸びる第４の基準ベクトルと、を有することを特徴とする。
これにより、ジェスチャ入力時に、ユーザが直立している状態や、体の左右側面の内のどちらかを下にして横たわっている状態など、主要なジェスチャ入力姿勢において、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。 In a preferred form of the invention,
The reference vector group includes at least a first reference vector extending in the positive direction of the second coordinate axis from the origin of the device reference coordinate system, and a first reference vector extending in the negative direction of the second coordinate axis from the origin of the device reference coordinate system. A second reference vector, a third reference vector extending in the positive direction of the third coordinate axis from the origin of the device reference coordinate system, and a fourth reference vector extending in the negative direction of the third coordinate axis from the origin of the device reference coordinate system. And a reference vector.
Accordingly, when a gesture is input, the gesture reference coordinate system and the device in a main gesture input posture such as a state where the user is standing upright or a state where the user lies down on either the left or right side of the body. Correction processing related to the deviation from the reference coordinate system can be performed.

本発明の好ましい形態では、
前記回転基準ベクトルと前記重力ベクトルとの間になす角度が、予め設定した補正対象範囲内に収まる場合にのみ、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うことを特徴とする。
これにより、ユーザが想定外のジェスチャ入力姿勢をとっている場合に、補正処理によって前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれがかえって大きくなることを抑止できる。 In a preferred form of the invention,
Only when the angle formed between the rotation reference vector and the gravity vector falls within a preset correction target range,
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. Rotation processing is performed so as to overlap.
As a result, when the user takes an unexpected gesture input posture, it is possible to prevent the deviation between the gesture reference coordinate system and the device reference coordinate system from being increased by correction processing.

本発明の好ましい形態では、前記第２のセンサが加速度センサであることを特徴とする。
これにより、重力加速度が生じる方向、すなわち鉛直下向き方向を容易に特定することができる。 In a preferred aspect of the present invention, the second sensor is an acceleration sensor.
As a result, the direction in which the gravitational acceleration occurs, that is, the vertically downward direction can be easily specified.

本発明の好ましい形態では、前記第１のセンサがジャイロセンサであることを特徴とする。
これにより、ジャイロセンサによって検出した角速度の変化でユーザのジェスチャ入力を取得するジェスチャ入力システムにおいて、本発明に係るデータ加工方法を適用することができる。 In a preferred aspect of the present invention, the first sensor is a gyro sensor.
Accordingly, the data processing method according to the present invention can be applied to a gesture input system that acquires a user's gesture input based on a change in angular velocity detected by a gyro sensor.

本発明の好ましい形態では、前記回転処理に、クォータニオンによる演算を用いることを特徴とする。
これにより、回転行列による演算などと比較し、システムに係る負荷をより小さくすることができる。 In a preferred embodiment of the present invention, a calculation using quaternions is used for the rotation processing.
Thereby, compared with the calculation by a rotation matrix etc., the load concerning a system can be made smaller.

本発明に係るデータ加工方法を用いるウェアラブルデバイスは、
センサ部を備えるウェアラブルデバイスであって、
前記センサ部が角速度を検出するジャイロセンサを有し、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記センサ部の実装位置及び実装角度に基づいた、３次元回転処理による補正を行うことを特徴とする。
このように、センサ部の実装位置及び角度に基づいた補正を行うことにより、ウェアラブルデバイス内でのセンサ部の配置の自由度が増加し、ウェアラブルデバイスの筐体の小型化などを行うことができる。 A wearable device using the data processing method according to the present invention is:
A wearable device including a sensor unit,
The sensor unit has a gyro sensor that detects angular velocity,
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process based on the mounting position and mounting angle of the sensor unit.
Thus, by performing correction based on the mounting position and angle of the sensor unit, the degree of freedom of arrangement of the sensor unit in the wearable device is increased, and the housing of the wearable device can be downsized. .

本発明に係るデータ加工方法を用いるウェアラブルデバイスの好ましい形態では、
前記センサ部が加速度を検出する加速度センサを有し、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、３次元回転処理による補正を行うことを特徴とする。
このように、重力加速度に基づいた補正を行うことにより、ユーザがウェアラブルデバイスを使用する際の装着形態や姿勢の自由度を増すことができる。 In a preferred form of the wearable device using the data processing method according to the present invention,
The sensor unit has an acceleration sensor for detecting acceleration;
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process based on the gravitational acceleration detected by the acceleration sensor.
Thus, by performing the correction based on the gravitational acceleration, it is possible to increase the degree of freedom of the wearing form and posture when the user uses the wearable device.

本発明に係るデータ加工方法を用いるウェアラブルデバイスは、
角速度を検出する角速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
前記角速度検出手段の実装位置及び実装角度に基づいて、前記ジェスチャ軌跡に３次元回転処理による補正を行う第１のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、ウェアラブルデバイス内にて角速度検出手段の実装位置及び実装角度に基づいたジェスチャ軌跡の補正を行うことができる。 A wearable device using the data processing method according to the present invention is:
Angular velocity detecting means for detecting angular velocity;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
1st gesture locus | trajectory correction means which correct | amends the said gesture locus | trajectory by a three-dimensional rotation process based on the mounting position and mounting angle of the said angular velocity detection means, It is characterized by the above-mentioned.
Thereby, it is possible to correct the gesture trajectory based on the mounting position and mounting angle of the angular velocity detection means in the wearable device.

本発明に係るデータ加工方法を用いるウェアラブルデバイスの好ましい形態では、
加速度を検出する加速度検出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に次元回転処理による補正を行う第２のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、ウェアラブルデバイス内にて加速度検出手段によって検出した加速度に基づいたジェスチャ軌跡の補正を行うことができる。 In a preferred form of the wearable device using the data processing method according to the present invention,
Acceleration detecting means for detecting acceleration;
And a second gesture trajectory correction unit that corrects the gesture trajectory by dimension rotation processing based on the detected acceleration.
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the wearable device.

本発明によれば、ウェアラブルデバイスを用いたジェスチャ入力システムにおいて、ユーザの意図する入力をより正確に取得することができる。   ADVANTAGE OF THE INVENTION According to this invention, the input which a user intends can be acquired more correctly in the gesture input system using a wearable device.

本発明の実施形態１に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスの装着状態を示す図である。It is a figure which shows the mounting state of the ring type device made into the illustration of the application object of the data processing method of the gesture input system which concerns on Embodiment 1 of this invention. 本発明の実施形態１に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスの構成を示すブロック図である。It is a block diagram which shows the structure of the ring-type device made into the illustration of the application object of the data processing method of the gesture input system which concerns on Embodiment 1 of this invention. 本発明の実施形態１に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスによるジェスチャ入力取得処理を示すフローチャートである。It is a flowchart which shows the gesture input acquisition process by a ring type device made into the illustration of the application object of the data processing method of the gesture input system which concerns on Embodiment 1 of this invention. 本発明の実施形態１に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスによるジェスチャ入力の一例を示す図である。It is a figure which shows an example of the gesture input by a ring type device made into the illustration of the application object of the data processing method of the gesture input system which concerns on Embodiment 1 of this invention. 本発明の実施形態１に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスのジェスチャ基準座標系とセンサ基準座標系とを示す概念図である。It is a conceptual diagram which shows the gesture reference | standard coordinate system and sensor reference | standard coordinate system of a ring type device which are the illustrations of the application object of the data processing method of the gesture input system which concerns on Embodiment 1 of this invention. 本発明の実施形態２に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスのデバイス基準座標系とセンサ基準座標系、およびジェスチャ基準座標系を示す概念図である。It is a conceptual diagram which shows the device reference coordinate system of a ring type device, a sensor reference coordinate system, and a gesture reference coordinate system as an example of the application object of the data processing method of the gesture input system which concerns on Embodiment 2 of this invention. 本発明の実施形態２に係るジェスチャ入力システムのデータ加工方法を用いた、ジェスチャ入力取得処理を示すフローチャートである。It is a flowchart which shows the gesture input acquisition process using the data processing method of the gesture input system which concerns on Embodiment 2 of this invention. 本発明の実施形態２に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスのデバイス基準座標系とセンサ基準座標系、およびジェスチャ基準座標系を示す図である。It is a figure which shows the device reference coordinate system of the ring type device, the sensor reference coordinate system, and the gesture reference coordinate system as an example of the application target of the data processing method of the gesture input system according to the second embodiment of the present invention. 本発明の実施形態２に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスのデバイス基準座標系とセンサ基準座標系、およびジェスチャ基準座標系を示す図である。It is a figure which shows the device reference coordinate system of the ring type device, the sensor reference coordinate system, and the gesture reference coordinate system as an example of the application target of the data processing method of the gesture input system according to the second embodiment of the present invention. 本発明の実施形態３に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスによるジェスチャ入力動作の例を示す図である。It is a figure which shows the example of gesture input operation | movement by a ring type device made into the illustration of the application object of the data processing method of the gesture input system which concerns on Embodiment 3 of this invention. 本発明の実施形態３に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスによるジェスチャ入力の一例を示す図である。It is a figure which shows an example of the gesture input by a ring type device made into the illustration of the application object of the data processing method of the gesture input system which concerns on Embodiment 3 of this invention. 本発明の実施形態３に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイスによるジェスチャ入力の一例を示す図である。It is a figure which shows an example of the gesture input by a ring type device made into the illustration of the application object of the data processing method of the gesture input system which concerns on Embodiment 3 of this invention. 本発明の実施形態３に係るジェスチャ入力システムのデータ加工方法を用いた、ジェスチャ入力取得処理を示すフローチャートである。It is a flowchart which shows the gesture input acquisition process using the data processing method of the gesture input system which concerns on Embodiment 3 of this invention.

（実施形態１）
以下、図面を参照しながら、本発明の実施形態１について詳細に説明する。
図１は、本発明に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイス１の装着状態を示す図である。 (Embodiment 1)
Hereinafter, Embodiment 1 of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a wearing state of a ring-type device 1 as an example of an application target of a data processing method of a gesture input system according to the present invention.

図１に示すように、本実施形態において例示に用いる指輪型デバイス１をユーザが装着した際に、指の付け根から指先に向かう方向をzg軸、指の腹から背に向かう方向をyg軸、それらに直交し、かつyg軸をzg軸の向きに回転させたときに右ネジの進む方向をxg軸とする。そして、このようにxg軸、yg軸、zg軸で表される座標系を、ユーザが指輪型デバイス１を用いてジェスチャ入力を行う際に基準とする、ジェスチャ基準座標系とする。 As shown in FIG. 1, when the user wears the ring type device 1 used for illustration in this embodiment, the direction from the base of the finger to the fingertip is the z g axis, and the direction from the finger belly to the back is y g X g axis is the direction in which the right screw advances when the y g axis is rotated in the direction of the z g axis. Then, the coordinate system represented by the x g axis, the y g axis, and the z g axis is used as a gesture reference coordinate system that is used as a reference when the user performs gesture input using the ring device 1.

なお、本実施形態においては、ユーザは、指輪型デバイス１を正しい向き、すなわち、指輪型デバイス１の向きを基準としたデバイス基準座標系と、前記ジェスチャ基準座標系とが一致する状態で、装着しているものとする。   In the present embodiment, the user wears the ring-type device 1 in a correct orientation, that is, in a state where the device reference coordinate system based on the orientation of the ring-type device 1 matches the gesture reference coordinate system. Suppose you are.

指輪型デバイス１は、図２に示すように、
指輪型デバイス１の動きを検出するセンサ部１１と、
ジェスチャ入力受付の開始の指示などを、物理ボタンやタッチセンサなどの任意の手段によって受け付ける補助入力部１２と、
ジェスチャ入力受付の開始、終了などを、光や振動、音などの任意の手段によってユーザへ伝達するフィードバック部１３と、
ジェスチャ入力処理に係る種々の演算を行う演算部１４と、
演算部１４による演算の際に利用される揮発性メモリによる主記憶部１５と、
ジェスチャ入力処理に係る各種の設定情報などを記憶する、不揮発性メモリなどの補助記憶部１６と、
ジェスチャ入力によって取得した情報を、一般的なスマートフォン端末やタブレット端末、パーソナルコンピュータなどに送信する通信部１７と、
ここまでに挙げた指輪型デバイス１を構成する各要素へと電源を供給する電源部１８と、を備える。 As shown in FIG. 2, the ring-type device 1
A sensor unit 11 for detecting movement of the ring-type device 1;
An auxiliary input unit 12 that receives an instruction to start gesture input reception by an arbitrary means such as a physical button or a touch sensor;
A feedback unit 13 for transmitting the start and end of the gesture input reception to the user by any means such as light, vibration, and sound;
A calculation unit 14 for performing various calculations related to the gesture input process;
A main storage unit 15 that is a volatile memory used in the calculation by the calculation unit 14;
An auxiliary storage unit 16 such as a non-volatile memory for storing various setting information relating to the gesture input process;
A communication unit 17 for transmitting information acquired by gesture input to a general smartphone terminal, tablet terminal, personal computer, etc .;
And a power supply unit 18 that supplies power to each element constituting the ring-type device 1 described so far.

そして、センサ部１１は、第１のセンサとして、指輪型デバイス１に生じる３軸の角速度を検出するジャイロセンサ１１ａと、指輪型デバイス１に生じる３軸の加速度を検出する加速度センサ１１ｂと、を有する。   The sensor unit 11 includes, as a first sensor, a gyro sensor 11a that detects a triaxial angular velocity generated in the ring type device 1, and an acceleration sensor 11b that detects a triaxial acceleration generated in the ring type device 1. Have.

センサ部１１が角速度及び加速度を検出する際に基準とする座標系をセンサ基準座標系とし、xs軸、ys軸、zs軸によって表されるものとする。 Sensor unit 11 is a sensor reference coordinate system to the coordinate system as a reference in detecting the angular velocity and acceleration, and those represented x s-axis, y s axis, the z s axis.

なお、補助入力部１２やフィードバック部１３などを省略した構成としてもよい。その場合には、例えば、センサ部１１によって、ユーザが指輪型デバイス１を振るなど、任意の動作を行った際にジェスチャ入力の受付を開始する構成などとしてもよい。   The auxiliary input unit 12 and the feedback unit 13 may be omitted. In that case, for example, the sensor unit 11 may be configured to start accepting a gesture input when the user performs an arbitrary operation such as shaking the ring device 1.

以下、指輪型入力デバイス１による基本的なジェスチャ入力方法を説明する。ここに記載されたジェスチャ入力の検出方法は本実施形態における一例であり、本発明におけるジェスチャの検出方法は、これに限定されるものではない。   Hereinafter, a basic gesture input method using the ring-type input device 1 will be described. The gesture input detection method described here is an example in the present embodiment, and the gesture detection method in the present invention is not limited to this.

指輪型入力デバイス１によるジェスチャ入力は、式（１）に示すベクトルv(i)の３次元的な回転を考えて行う。   Gesture input by the ring-type input device 1 is performed in consideration of the three-dimensional rotation of the vector v (i) shown in Expression (1).

ここで、iはステップ数を示し、ジェスチャ入力が終了する最後のステップをステップnとする。すなわち、iは0以上であり、n以下の整数である。また、ステップiが0である時点の時刻をt(0)、ステップiがnである時点の時刻をt(n)というように、ステップiにおける時刻をt(i)とする。
なお、ジェスチャ入力の終了判定は、センサ部１１によって検出される指輪型デバイス１の動きの大きさが予め設定された閾値を下回った場合や、補助入力部１２の操作があった場合など、任意の条件にて行ってよい。 Here, i indicates the number of steps, and the last step at which the gesture input ends is defined as step n. That is, i is an integer of 0 or more and n or less. The time at step i is t (i), such that the time when step i is 0 is t (0) and the time when step i is n is t (n).
Note that the gesture input end determination can be arbitrarily determined when the magnitude of the movement of the ring-type device 1 detected by the sensor unit 11 falls below a preset threshold or when the auxiliary input unit 12 is operated. It may be performed under the following conditions.

また、q(i)は、時刻t(i)におけるクォータニオン、又は四元数と呼ばれ、３次元的な回転を表す量として用いられる。クォータニオンqは１つのスカラー要素qwと、xs方向の単位ベクトルi、ys方向の単位ベクトルj、zs方向の単位ベクトルkの、３つのベクトル要素と、からなる量であり、式（２）に示すように表される。ただし、i、j、kは、式（３）に示す関係を満たすものとする。 Further, q (i) is called a quaternion or quaternion at time t (i), and is used as an amount representing three-dimensional rotation. Quaternion q is a single scalar elements q w, unit vectors i of x s direction unit vector j of y s direction, the unit vector k of z s direction, an amount consisting of the three vector components, the formula ( It is expressed as shown in 2). However, i, j, and k satisfy the relationship shown in Expression (3).

また、クォータニオンqのベクトル部の符号を反転したものを共役クォータニオンq*と呼び、式（４）のように表される。ここで、式（５）が成り立つものとする。 Further, the one obtained by inverting the sign of the vector portion of the quaternion q is called a conjugate quaternion q *, and is expressed as in Expression (4). Here, equation (5) is assumed to hold.

図３は、指輪型デバイス１を用いて、ユーザによるジェスチャ入力を取得する際の処理を示すフローチャートである。
まず、補助入力部１２への入力などの任意の条件により、ジェスチャ入力の開始を受け付ける。そして、時刻t(i)におけるクォータニオンq(i)を求めるために、ステップＳ１１において、ジャイロセンサ１１ａより、式（６）に示すような、時刻t(i)における角速度ω(i)を取得する。 FIG. 3 is a flowchart showing a process when a gesture input by the user is acquired using the ring-type device 1.
First, the start of gesture input is accepted according to an arbitrary condition such as input to the auxiliary input unit 12. Then, in order to obtain the quaternion q (i) at time t (i), in step S11, the angular velocity ω (i) at time t (i) is obtained from the gyro sensor 11a as shown in equation (6). .

そして、ステップＳ１２において、式（７）により、クォータニオンq(i)を求める。   In step S12, the quaternion q (i) is obtained by the equation (7).

ステップＳ１２で求めたクォータニオンq(i)と、時刻t(i-1)におけるクォータニオンq(i-1)、および時刻t(0)におけるベクトルv(0)より、式（８）を用いて、ステップＳ１３で、ベクトルv(i)を位置ベクトルとする座標の変位ベクトルε(i)を求める。   From the quaternion q (i) obtained in step S12, the quaternion q (i-1) at time t (i-1), and the vector v (0) at time t (0), using equation (8), In step S13, a displacement vector ε (i) of coordinates having the vector v (i) as a position vector is obtained.

ステップＳ１４では、求まった変位ベクトルε(i)用いて、時刻t(i)において、ベクトルv(i)の変位をxs軸とys軸とによって表される平面へと投影した点p(i)を、式（９）によって求める。 In step S14, using the obtained displacement vector ε (i), at time t (i), the displacement of the vector v (i) is projected onto a plane represented by the x s axis and the y s axis, p ( i) is obtained by equation (9).

ステップＳ１５にて、ジェスチャ入力終了と判断するまで、ステップＳ１６でステップiを進めながら、ステップＳ１１からステップＳ１４までの処理を繰り返し行う。   In step S15, the process from step S11 to step S14 is repeated while proceeding to step i in step S16 until it is determined that the gesture input is completed.

これによって、図４（ａ）に一例を示すように、時刻t(0)からt(n)までの各時刻におけるベクトルv(i)を求めることができる。このベクトルv(i)を位置ベクトルとする点が描く軌跡は、原点を中心、ベクトルv(i)のノルムを半径とする、球面上に分布する。
そして、図４（ｂ）に示すように、zs軸の負方向より、xs軸とys軸とによって表される平面を見た際の、時刻t(1)から時刻t(i)までの変位ベクトルε(i)によって求めた点p(i)の軌跡によって、ユーザのジェスチャ入力の軌跡を求めることができる。 Thereby, as shown in FIG. 4A, for example, a vector v (i) at each time from time t (0) to t (n) can be obtained. A trajectory drawn by a point having the vector v (i) as a position vector is distributed on a spherical surface with the origin as the center and the norm of the vector v (i) as the radius.
Then, as shown in FIG. 4B, from the time t (1) to the time t (i) when the plane represented by the x s axis and the y s axis is viewed from the negative direction of the z s axis. The locus of the user's gesture input can be obtained from the locus of the point p (i) obtained from the displacement vector ε (i) up to.

上記の処理によって求められるジェスチャ軌跡は、ステップＳ１１において、センサ部１１によって、xs軸、ys軸、zs軸を基準として検出された角速度ω(i)を利用していることより、センサ基準座標系において求められるものである。 The gesture trajectory obtained by the above processing uses the angular velocity ω (i) detected by the sensor unit 11 with reference to the x s axis, the y s axis, and the z s axis in step S11. It is obtained in the reference coordinate system.

ここで、xs軸とxg軸、ys軸とyg軸、zs軸とzg軸の方向がそれぞれ一致している場合、すなわち、センサ基準座標系とジェスチャ基準座標系とが同一である場合には、ユーザが意図したジェスチャ入力が正しく認識される。しかし、実際には、センサ基準座標系とジェスチャ基準座標系とが一致するとは限らない。特に、指輪型デバイス１のように、筐体サイズなどの問題によって、センサ部１１の実装位置に制約が課される場合などにおいては、図５に示すように、センサ基準座標系とジェスチャ基準座標系との間にずれが生じる場合も多い。 Here, the x s axis and x g axis, y s axis and y g axis, z s axis and z g axis directions are the same, that is, the sensor reference coordinate system and the gesture reference coordinate system are the same. If it is, the gesture input intended by the user is correctly recognized. However, in practice, the sensor reference coordinate system and the gesture reference coordinate system do not always match. In particular, when a restriction is imposed on the mounting position of the sensor unit 11 due to a problem such as a housing size as in the ring-type device 1, as shown in FIG. 5, as shown in FIG. In many cases, a deviation occurs between the system and the system.

このように、センサ基準座標系とジェスチャ基準座標系とが一致しない場合には、ユーザがジェスチャ基準座標系に基づいて入力したジェスチャ軌跡を、センサ基準座標系に基づいて検出することによって、ジェスチャ軌跡に回転や歪みが生じてしまう。   As described above, when the sensor reference coordinate system and the gesture reference coordinate system do not coincide with each other, the gesture locus input by the user based on the gesture reference coordinate system is detected based on the sensor reference coordinate system. Will cause rotation and distortion.

そこで、式（１０）を用いてベクトルv(0)を、式（１１）を用いて座標の変位ベクトルε(i)と点p(i)を求めることにより、ユーザがジェスチャ基準座標系に基づいて入力したジェスチャ軌跡を、正しく検出することができる。   Therefore, by obtaining the vector v (0) using the equation (10) and the coordinate displacement vector ε (i) and the point p (i) using the equation (11), the user can use the gesture reference coordinate system. It is possible to correctly detect the gesture trajectory input in the above manner.

ここで、クォータニオンq(-1)と、ベクトルv(-1)は、センサ部１１の実装位置、姿勢に起因する、センサ基準座標系から見たジェスチャ基準座標系のずれを表す。
ベクトルnはzs軸とzg軸で表される平面の法線ベクトルであり、zs軸の正方向の単位ベクトルとzg軸の正方向の単位ベクトルとの外積によって求まる向きの大きさが1のベクトル、θはベクトルnを回転軸とした場合のzs軸からzg軸までの回転角度、ベクトルmはzg軸の正方向の単位ベクトル、φはベクトルmを回転軸とした場合のθ回転後のxs軸からxg軸までの回転角度である。
また、ベクトルv(-1)は、図５に示すように、センサ基準座標系の原点からジェスチャ基準座標系の原点への平行移動量である。 Here, the quaternion q (-1) and the vector v (-1) represent the deviation of the gesture reference coordinate system as viewed from the sensor reference coordinate system due to the mounting position and orientation of the sensor unit 11.
Vector n is the normal vector of the plane represented by z s axis and z g axis, the magnitude of the orientation determined by the outer product of the positive direction of the unit vector in the positive direction of the unit vector and the z g axis z s axis Is the vector of 1, θ is the rotation angle from the z s axis to the z g axis when the vector n is the rotation axis, the vector m is the unit vector in the positive direction of the z g axis, φ is the vector m as the rotation axis Is the rotation angle from the x s axis to the x g axis after θ rotation.
Further, the vector v (−1) is a parallel movement amount from the origin of the sensor reference coordinate system to the origin of the gesture reference coordinate system, as shown in FIG.

このように、指輪型デバイス１におけるセンサ部１１の実装位置に基づいて、クォータニオンq(-1)による３次元回転処理と、ベクトルv(-1)による平行移動処理と、を行うことにより、センサ基準座標系とジェスチャ基準座標系とのずれに起因する、ジェスチャ入力データのずれを補正することができる。   Thus, based on the mounting position of the sensor unit 11 in the ring-type device 1, the sensor is obtained by performing the three-dimensional rotation process using the quaternion q (-1) and the parallel movement process using the vector v (-1). It is possible to correct a deviation in gesture input data caused by a deviation between the reference coordinate system and the gesture reference coordinate system.

なお、指輪型デバイス１は指輪型であるがゆえに小型であり、センサの実装位置とデバイス基準座標系の原点は空間上ほぼ同一の位置にあるとみなすこともできる。すなわち、v(-1)=0としてベクトルv(-1)による平行移動処理は省略可能である。   The ring-type device 1 is small because it is a ring-type device, and the mounting position of the sensor and the origin of the device reference coordinate system can be regarded as being substantially the same in space. That is, it is possible to omit the translation process using the vector v (-1) when v (-1) = 0.

また、本実施形態においては、クォータニオンを用いて回転処理を行っているが、回転行列や、指数マップなど、その他の数学的に等価な回転の表現を用いて回転処理を行ってもよい。以降の実施形態においても同様に、クォータニオン以外の回転の表現を用いて回転処理を行ってもよい。   In this embodiment, the rotation process is performed using quaternions. However, the rotation process may be performed using other mathematically equivalent expressions of rotation such as a rotation matrix or an exponent map. Similarly, in the subsequent embodiments, the rotation process may be performed using a representation of rotation other than the quaternion.

(実施形態２)
以下、本発明の実施形態２について、図面を参照して説明する。なお、上述した実施形態１と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。
本実施形態に係るジェスチャ入力システムのデータ加工方法の適用対象も、実施形態１において説明したものと同様の、指輪型デバイス１である。 (Embodiment 2)
Embodiment 2 of the present invention will be described below with reference to the drawings. In addition, about the fundamentally same component as Embodiment 1 mentioned above, the same code | symbol is attached | subjected and the description is simplified.
The application target of the data processing method of the gesture input system according to the present embodiment is also the ring-type device 1 similar to that described in the first embodiment.

ただし、実施形態１においては、指輪型デバイス１の向きを基準としたデバイス基準座標系と、ユーザが指輪型デバイス１を用いてジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、が一致している状態でユーザが指輪型デバイス１を装着している状態を想定していたため、センサ基準座標系とデバイス基準座標系とのずれを補正することが、すなわち、センサ基準座標系とジェスチャ基準座標系とのずれを補正することであった。
本実施形態においては、センサ基準座標系とデバイス基準座標系との間のずれに加え、デバイス基準座標系とジェスチャ基準座標系との間のずれも生じている場合に、補正を行うためのデータ加工方法を示す。 However, in the first embodiment, the device reference coordinate system based on the orientation of the ring-type device 1 and the gesture reference coordinate system used as a reference when the user performs gesture input using the ring-type device 1 are the same. Since it is assumed that the user wears the ring-type device 1 in the state of being touched, it is possible to correct the deviation between the sensor reference coordinate system and the device reference coordinate system, that is, the sensor reference coordinate system and the gesture reference. It was to correct the deviation from the coordinate system.
In this embodiment, in addition to the deviation between the sensor reference coordinate system and the device reference coordinate system, the data for performing correction when there is a deviation between the device reference coordinate system and the gesture reference coordinate system. The processing method is shown.

デバイス基準座標系とジェスチャ基準座標系との間に生じうる各軸のずれを考えると、指輪型デバイス１の場合には、指の付け根から指先に向かう方向をzg軸としているため、zr軸を指輪の円環の面に垂直な方向に設定すれば、ユーザが指輪型デバイス１を逆向きに装着しない限り、zg軸とzr軸とは一致する。 Considering the shift of each axis that may occur between the device reference coordinate system and the gesture reference coordinate system, in the case of the ring-type device 1, the direction from the base of the finger to the fingertip is the z g axis, and therefore, z r If the axis is set in a direction perpendicular to the ring surface of the ring, the z g axis and the z r axis coincide with each other unless the user wears the ring type device 1 in the opposite direction.

しかし、指輪型である特性上、装着する指を中心とした指輪型デバイス１の回転、すなわち、zg軸を中心とした回転により、xg軸とxr軸、yg軸とyr軸については、図６に示すようにずれが生じる可能性がある。 However, due to the characteristics of the ring type, the rotation of the ring type device 1 around the finger to be worn, that is, the rotation around the z g axis, the x g axis and the x r axis, the y g axis and the y r axis There is a possibility that a shift occurs as shown in FIG.

図７は、本実施形態に係る補正処理を行い、ユーザによるジェスチャ入力を取得する際の処理を示すフローチャートである。   FIG. 7 is a flowchart showing processing when the correction processing according to the present embodiment is performed and a gesture input by the user is acquired.

まず、ステップＳ２１において、加速度センサ１１ｂにより、時刻t(0)における重力加速度を検出し、式（１２）に示す、重力加速度のxs軸成分とys軸成分とからなる２次元ベクトルg(0)を求める。 First, in step S21, the acceleration sensor 11b detects the gravitational acceleration at time t (0), and the two-dimensional vector g (consisting of the x s axis component and the y s axis component of the gravitational acceleration shown in the equation (12). 0).

ユーザが鉛直方向にyg軸をとって指輪型デバイス１を使用する場合には、ベクトルg(0)は図８に示すようになる。ここで、xr軸上の正方向の単位ベクトルのxs成分とys成分とからなる２次元ベクトルe1と、xr軸上の負方向の単位ベクトルのxs成分とys成分とからなる２次元ベクトルe2と、yr軸上の正方向の単位ベクトルのxs成分とys成分とからなる２次元ベクトルe3と、yr軸上の負方向の単位ベクトルのxs成分とys成分とからなる２次元ベクトルe4と、を考える。 When the user uses the ring-type device 1 along the y g axis in the vertical direction, the vector g (0) is as shown in FIG. Here, the x s component and two-dimensional vector e 1 comprising a y s component in the positive direction of the unit vector on x r-axis, and x s component and y s component in the negative direction of the unit vector on x r axis a two-dimensional vector e 2 consisting of a x s component and two-dimensional vector e 3 comprising a y s component in the positive direction of the unit vector on the y r axes, the negative direction of the unit vector on the y r axes x s Consider a two-dimensional vector e 4 composed of a component and a y s component.

ベクトルg(0)とベクトルe1との間の角度をδ１、ベクトルg(0)とベクトルe2との間の角度をδ２、ベクトルg(0)とベクトルe3との間の角度をδ3、ベクトルg(0)とベクトルe4との間の角度をδ4とし、δ１からδ4の内で、最も小さな角度を、ψとする。また、e1からe4のうちg(0)とψの角度をなすベクトルをeとする。 The angle between vector g (0) and vector e 1 is δ 1 , the angle between vector g (0) and vector e 2 is δ 2 , and the angle between vector g (0) and vector e 3 the [delta] 3, the angle between the vectors e 4 vector g (0) and [delta] 4, among from [delta] 1 of [delta] 4, the smallest angle, and [psi. Moreover, let e be a vector that forms an angle of ψ with g (0) from e 1 to e 4 .

このようにψを求めれば、ステップＳ２２において、式（１３）を用いて、ジェスチャ基準座標系とデバイス基準座標系とのずれを補正するためのクォータニオンq(-2)と、デバイス基準座標系とセンサ基準座標系とのずれに加えてジェスチャ基準座標系とデバイス基準座標系とのずれを考慮したベクトルv(0)と、を算出することができる。
なお、ここで、ベクトルlは、zr軸方向の単位ベクトルであり、その向きはベクトルeをベクトルg(0)に合わせる方向に右ねじを回転させた場合に右ねじが進む方向である。 If ψ is obtained in this way, in step S22, using equation (13), the quaternion q (−2) for correcting the deviation between the gesture reference coordinate system and the device reference coordinate system, the device reference coordinate system, In addition to the deviation from the sensor reference coordinate system, a vector v (0) that takes into account the deviation between the gesture reference coordinate system and the device reference coordinate system can be calculated.
Here, the vector l is a unit vector in the zr- axis direction, and the direction thereof is the direction in which the right-handed screw advances when the right-handed screw is rotated in a direction to match the vector e with the vector g (0).

そして、ステップＳ２３において、角速度センサ１１ａより角速度ω(i)を取得し、ステップＳ２４で、式（７）によって、クォータニオンq(i)を算出する。   Then, in step S23, the angular velocity ω (i) is acquired from the angular velocity sensor 11a, and in step S24, the quaternion q (i) is calculated by the equation (7).

ステップＳ２５では、ステップＳ２４で求めたクォータニオンq(i)と、時刻t(i-1)におけるクォータニオンq(i-1)、ステップＳ２２で求めたベクトルv(0)より、式（１４）を用いて、ベクトルv(i)の変位ベクトルε(i)を求める。   In step S25, the quaternion q (i) obtained in step S24, the quaternion q (i-1) at time t (i-1), and the vector v (0) obtained in step S22 are used. Thus, the displacement vector ε (i) of the vector v (i) is obtained.

ステップＳ２６では、求まった変位ベクトルε(i)用いて、時刻t(i)において、ベクトルv(i)の変位を、xg軸とyg軸とによって表される平面へと投影した点p(i)を、式（１５）によって求める。 In step S26, Motoma' displacement vector ε with (i), at time t (i), a displacement vector v (i), the point is projected into a plane represented by the x g-axis and y g axis p (i) is determined by equation (15).

ステップＳ２７にて、ジェスチャ入力終了と判断するまで、ステップＳ２８でステップiを進めながら、ステップＳ２３からステップＳ２６までの処理を繰り返し行う。   In step S27, the process from step S23 to step S26 is repeated while proceeding to step i in step S28 until it is determined that the gesture input is completed.

このように、センサ基準座標系とデバイス基準座標系とのずれに係る補正と、デバイス基準座標系とジェスチャ基準座標系とのずれに係る補正とを合わせて行うことにより、ユーザは指輪型デバイス１を装着する向きに神経質にならずとも、自身の意図したジェスチャ入力を行うことができる。   In this way, the user can perform the correction related to the deviation between the sensor reference coordinate system and the device reference coordinate system and the correction related to the deviation between the device reference coordinate system and the gesture reference coordinate system, thereby allowing the user to use the ring-type device 1. Even if it is not nervous in the direction of wearing, it is possible to perform the gesture input intended.

また、ユーザの入力姿勢に関する補正が必要な場合、例えば、ユーザが鉛直方向をyg軸として捉えているにも関わらず、指輪型デバイス１を装着している指が、zg軸を軸として回転しているために、ユーザの意図するyg軸と実際のyg軸とが一致しない場合などにおいても、本実施形態に係るデータ加工方法による補正処理を実施することにより、ユーザの意図するジェスチャ入力を正しく取得することができる。 Further, when correction related to the user's input posture is necessary, for example, the finger wearing the ring type device 1 is used with the z g axis as the axis even though the user views the vertical direction as the y g axis. Even if the y g axis intended by the user and the actual y g axis do not match because of the rotation, the correction is performed by the data processing method according to the present embodiment, so that the user intends The gesture input can be acquired correctly.

また、本実施形態に係るデータ加工方法による補正処理は、ユーザがジェスチャ基準座標系のyg軸を鉛直上向き以外とする場合においても適用することができる。
例えば、ユーザが体の右側面が接地する形態にて横たわり、指輪型デバイス１を装着した指の右側面が下向きとなった状態でジェスチャ入力を行う場合を考えると、ジェスチャ基準系は、図９に示すように、yg軸が地面と水平な形態となる。そして、この状態においては、g(0)の向きはxg軸の負方向となり、δ２がψに、ベクトルe２がeになる。 Further, the correction processing by the data processing method according to the present embodiment can be applied even when the user sets the y g axis of the gesture reference coordinate system to other than vertically upward.
For example, when the user inputs a gesture with the right side of the body lying in a grounded manner and the right side of the finger wearing the ring type device 1 facing downward, the gesture reference system is as shown in FIG. As shown in the figure, the y g axis is horizontal with the ground. In this state, the direction of g (0) is the negative direction of the xg axis, δ 2 is ψ, and vector e 2 is e.

これらの値を用いて式（１３）による補正を実施することにより、ジェスチャ基準系のyg軸が鉛直方向と一致しない場合においても、デバイス基準座標系とジェスチャ基準座標系とのずれに係る補正を行うことができる。 By performing the correction according to Expression (13) using these values, even when the y g axis of the gesture reference system does not coincide with the vertical direction, the correction relating to the deviation between the device reference coordinate system and the gesture reference coordinate system is performed. It can be performed.

なお、さらに多くのベクトルと、ベクトルg(0)とのなす角度を比較対象とし、ベクトルe及び角度ψを決定する構成としてもよい。これにより、デバイス基準座標系とジェスチャ基準座標系とのずれを、より詳細に補正することが可能になる。   In addition, it is good also as a structure which determines the vector e and the angle (psi) by making the angle which more vectors and the vector g (0) make into a comparison object. Thereby, it becomes possible to correct the deviation between the device reference coordinate system and the gesture reference coordinate system in more detail.

また、補正の基準方向ψが予め設定した範囲内に収まる場合のみ、補正処理を適用するように構成してもよい。例えば、補正処理の基準方向を示すベクトルeを４方向から動的に選択する場合は-45°≦ψ<+45°として考えてよいが、-10°≦ψ<+10°のように補正可能な角度の範囲を狭め、ψがその範囲に含まれる場合のみ補正処理を行うように構成してもよい。ユーザが想定されるパターン以外の入力姿勢で入力した場合は、本補正処理を適用しない方がかえって望ましいこともあり、補正可能な角度の範囲を狭めることでそのような問題を回避することができる。   Alternatively, the correction process may be applied only when the correction reference direction ψ falls within a preset range. For example, when the vector e indicating the reference direction of the correction process is dynamically selected from four directions, it may be considered that −45 ° ≦ ψ <+ 45 °, but it is corrected so that −10 ° ≦ ψ <+ 10 °. The range of possible angles may be narrowed, and correction processing may be performed only when ψ is included in the range. When the user inputs an input posture other than the assumed pattern, it may be preferable not to apply this correction processing, and such a problem can be avoided by narrowing the range of the correctable angle. .

（実施形態３）
以下、本発明の実施形態３について、図面を参照して説明する。なお、上述した実施形態２と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。
本実施形態に係るジェスチャ入力システムのデータ加工方法の適用対象も、実施形態１において説明したものと同様の、指輪型デバイス１である。 (Embodiment 3)
Embodiment 3 of the present invention will be described below with reference to the drawings. In addition, about the component fundamentally the same as Embodiment 2 mentioned above, the same code | symbol is attached | subjected and the description is simplified.
The application target of the data processing method of the gesture input system according to the present embodiment is also the ring-type device 1 similar to that described in the first embodiment.

ここで、xg軸の負方向に直線を引くジェスチャ入力をユーザが行う場合を考える。
まず、図１０（ａ）に示すように、指輪型デバイス１を装着する人差し指の腹の向きを一定としたまま、手首を軸とした左回転を行った場合である。 Here, consider a case where the user performs gesture input for drawing a straight line in the negative direction of the x g axis.
First, as shown to Fig.10 (a), it is the case where left rotation centering on a wrist is performed, with the direction of the belly of the index finger which wears the ring-type device 1 fixed.

ユーザがこのような形態でジェスチャ入力を行った場合には、ベクトルv(i)は、図１１（ａ）に示すように、zg軸とxg軸とで表される平面内を移動する。 When the user performs a gesture input in such a form, the vector v (i) moves in a plane represented by the z g axis and the x g axis as shown in FIG. .

この場合の点p(i)のxg軸とyg軸で表される平面内での軌道は、図１１（ｂ）に示すように、xg軸の負方向に移動していくものとなり、ユーザが意図した直線が、正しく入力される。 In this case, the trajectory of the point p (i) in the plane represented by the x g axis and the y g axis moves in the negative direction of the x g axis as shown in FIG. The straight line intended by the user is correctly input.

次に、図１０（ｂ）に示すように、図１０（ａ）にて示した手首を軸とした左回転に加え、ジェスチャ終了時に指の腹がxg軸の負方向を向くように、指を捻ってジェスチャ入力が行われた場合を考える。 Next, as shown in FIG. 10 (b), in addition to the left rotation about the wrist shown in FIG. 10 (a), the belly of the finger faces the negative direction of the xg axis at the end of the gesture. Consider the case where a gesture input is performed by twisting a finger.

この場合には、ベクトルv(i)は、図１２（ａ）に示すように、yg軸方向の成分が含まれる。そのため、ジェスチャ軌跡は、図１２（ｂ）に示すような湾曲したものとなり、ユーザの意図した直線のジェスチャ入力と異なるものとなってしまう。 In this case, the vector v (i) includes a component in the y g axis direction as shown in FIG. Therefore, the gesture trajectory is curved as shown in FIG. 12B, which is different from the straight line gesture input intended by the user.

図１３は、このような指のねじれによる影響を補正して、ユーザによるジェスチャ入力を取得する際の処理を示すフローチャートである。   FIG. 13 is a flowchart illustrating a process when the user's gesture input is acquired by correcting the influence of the twist of the finger.

ここではまず、実施形態２と共通のステップＳ２１とＳ２２の処理を行った後に、ステップＳ３１において、時刻t(i)における角速度ω(i)を取得し、ステップＳ３２において、時刻t(i)におけるクォータニオンq(i)を算出している。 Here, first, after performing the processes of steps S21 and S22 common to the second embodiment, the angular velocity ω (i) at time t (i) is obtained in step S31, and in step S32, the angular velocity ω (i) is obtained. Quaternion q (i) is calculated.

そして、ステップＳ３３において、時刻t(i)のクォータニオンq(i)を用いて、時刻t(0)から時刻t(i)までのzg軸まわりの回転角度φt(i)を、式（１６）より求める。ただし、式（１６）は、クォータニオンq(i)が、zg軸まわりの回転、zg軸まわりの回転を受けた後のyg軸まわりの回転、zg軸とyg軸まわりの回転を受けた後のxg軸まわりの回転、の順に回転の合成を行った場合の３次元的な回転と等価として求めた式である。また、arctan2(y,x)は、tanφt(i)=y/xの逆関数であり、-πから+πの範囲の値をとる。 In step S33, using the quaternion q (i) at time t (i), the rotation angle φ t (i) about the z g axis from time t (0) to time t (i) 16). However, equation (16), quaternion q (i) is, rotation about z g axis, rotation about y g-axis after receiving the rotation about z g axis, rotation about z g-axis and y g shaft This is an expression obtained as an equivalent to a three-dimensional rotation in the case of combining rotations in the order of rotation around the x g axis after receiving. Arctan2 (y, x) is an inverse function of tanφ t (i) = y / x and takes a value in the range of −π to + π.

このように求めたφt(i)から、ステップＳ３４において、式（１７）により、指のねじれの影響の補正に用いるクォータニオンqt(i)を求める。なお、式（１７）におけるベクトルmは、zg軸上の正方向の単位ベクトルである。 From φ t (i) obtained in this way, in step S34, quaternion q t (i) used for correcting the influence of finger torsion is obtained by equation (17). Note that the vector m in Expression (17) is a unit vector in the positive direction on the z g axis.

そして、ステップＳ３５において、式（１８）によって、クォータニオンqt(i)を用いて、指のねじれによる影響を補正した変位ベクトルε(i)を求めた後、ステップＳ３６において、式（１９）によって、ジェスチャ軌跡を示す点p(i)を算出する。 In step S35, the displacement vector ε (i) corrected for the influence of torsion of the finger is obtained by quaternion q t (i) by equation (18), and then in step S36, equation (19) is obtained. Then, a point p (i) indicating the gesture trajectory is calculated.

ステップＳ３７にて、ジェスチャ入力終了と判断するまで、ステップＳ３８でステップiを進めながら、ステップＳ３１からステップＳ３６までの処理を繰り返し行う。   In step S37, the process from step S31 to step S36 is repeated while proceeding to step i in step S38 until it is determined that the gesture input is completed.

このように、クォータニオンqt(i)によって計算を行いユーザによるジェスチャ軌跡を取得することにより、指のねじれによる影響の補正を行うことができる。 As described above, by calculating with the quaternion q t (i) and acquiring the gesture trajectory by the user, it is possible to correct the influence due to the twist of the finger.

１ 指輪型デバイス
１１ センサ部
１１ａ ジャイロセンサ
１１ｂ 加速度センサ
１２ 補助入力部
１３ フィードバック部
１４ 演算部
１５ 主記憶部
１６ 補助記憶部
１７ 通信部
１８ 電源部
DESCRIPTION OF SYMBOLS 1 Ring type device 11 Sensor part 11a Gyro sensor 11b Acceleration sensor 12 Auxiliary input part 13 Feedback part 14 Calculation part 15 Main memory part 16 Auxiliary memory part 17 Communication part 18 Power supply part

本発明に係るデータ加工方法を用いるウェアラブルデバイスは、
角速度を検出する角速度検出手段と、
加速度を検出する加速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に３次元回転処理による補正を行う第１のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、ウェアラブルデバイス内にて加速度検出手段によって検出した加速度に基づいたジェスチャ軌跡の補正を行うことができる。 A wearable device using the data processing method according to the present invention is:
Angular velocity detecting means for detecting angular velocity;
Acceleration detecting means for detecting acceleration;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
And a first gesture trajectory correction unit that corrects the gesture trajectory by a three-dimensional rotation process based on the detected acceleration .
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the wearable device.

本発明に係るデータ加工方法を用いるウェアラブルデバイスの好ましい形態では、
前記角速度検出手段の実装位置及び実装角度に基づいて、前記ジェスチャ軌跡に３次元回転処理による補正を行う第２のジェスチャ軌跡補正手段を有することを特徴とする。
これにより、ウェアラブルデバイス内にて角速度検出手段の実装位置及び実装角度に基づいたジェスチャ軌跡の補正を行うことができる。
In a preferred form of the wearable device using the data processing method according to the present invention ,
Based on the mounting position and mounting angle of said angular velocity detecting means, and having a second gesture trajectory compensation hand stage corrected by three-dimensional rotation processing to the gesture trajectory.
Thereby, it is possible to correct the gesture trajectory based on the mounting position and mounting angle of the angular velocity detection means in the wearable device.

上記課題を解決するため、本発明に係るジェスチャ入力システムのデータ加工方法は、
ユーザの指に装着され、前記指の動きを検出してジェスチャ軌跡を取得する第１のセンサを備える指輪型デバイスによるジェスチャ入力システムにおいて、前記指輪型デバイスの向きに基づいたデバイス基準座標系と、前記ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ジェスチャ軌跡に対して３次元回転処理を行うことを特徴とする。 In order to solve the above problems, a data processing method of a gesture input system according to the present invention includes:
In a gesture input system by a ring-type device that is mounted on a user's finger and includes a first sensor that detects a movement of the finger and acquires a gesture trajectory, a device reference coordinate system based on the orientation of the ring-type device; to match a gesture reference coordinate system based upon the user performs a gesture input, and performs three-dimensional rotation processing for the gesture trajectory.

これにより、前記指輪型デバイスをユーザが装着する向きや、ユーザの姿勢が傾いている場合などにおいても、前記デバイス基準座標系と前記ジェスチャ基準座標系とを一致させ、ユーザはより正確に前記指輪型デバイスを用いた入力を行うことができる。 Thus, orientation and that the ring-type device the user wears, even in a case where the posture of the user is tilted, is matched with the said gesture reference coordinate system and the device reference frame, the user more accurately the ring Input using a type device.

本発明の好ましい形態では、前記第１のセンサが、互いに直行する３軸のそれぞれについての検出値から前記指の動きを検出するセンサであって、
前記互いに直行する３軸によって定義される、前記第１のセンサが値を検出する際に基準とするセンサ基準座標系と、前記デバイス基準座標系と、を一致させるために、前記第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする。
これにより、指輪型デバイス内の空間的な事情などにより、前記センサ基準座標系と前記デバイス基準座標系とが一致しない場合においても、３次元回転処理によって、ユーザが前記指輪型デバイスを用いて入力した３次元的な入力をより正確に取得することができる。 In a preferred embodiment of the present invention, the first sensor is a sensor that detects the movement of the finger from detection values for each of the three axes orthogonal to each other.
It said defined by three axes orthogonal to each other, wherein a first sensor is a sensor reference coordinate system based upon the detection values, in order to pre-match the Kide Vice reference coordinate system, the said first A three-dimensional rotation process is performed on the gesture trajectory acquired by the sensor.
Thus, even when the sensor reference coordinate system and the device reference coordinate system do not match due to spatial circumstances in the ring type device, the user can input using the ring type device by the three-dimensional rotation process. The obtained three-dimensional input can be acquired more accurately.

本発明の好ましい形態では、
前記第１のセンサによって、前記ジェスチャ基準座標系の前記第１の座標軸を回転軸とするねじれ角度を算出するステップと、
前記ねじれ角度に基づいて、前記第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする。
これにより、ユーザによるジェスチャ入力中に、前記指輪型デバイスに前記ユーザが意図しないねじれ運動が加わる場合においても、ユーザが意図する３次元的な入力をより正確に取得することができる。 In a preferred form of the invention,
Calculating a twist angle with the first coordinate axis of the gesture reference coordinate system as a rotation axis by the first sensor;
A three-dimensional rotation process is performed on the gesture trajectory acquired by the first sensor based on the twist angle.
As a result, even when a twisting motion unintended by the user is applied to the ring-type device during the gesture input by the user, the three-dimensional input intended by the user can be obtained more accurately.

本発明の好ましい形態では、前記ジェスチャ基準座標系を、前記指輪型デバイスに設けられた重力ベクトルを検出する第２のセンサによって検出された値によって決定することを特徴とする。
このように、第２のセンサを用いて前記ジェスチャ基準座標系を決定することにより、前記ジェスチャ基準座標系の変化などに柔軟に対応することができる。 In a preferred embodiment of the present invention, the gesture reference coordinate system is determined by a value detected by a second sensor that detects a gravity vector provided in the ring type device.
As described above, by determining the gesture reference coordinate system using the second sensor, it is possible to flexibly cope with a change in the gesture reference coordinate system.

本発明の好ましい形態では、
前記デバイス基準座標系の第１の座標軸及び前記ジェスチャ基準座標系の第１の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であって、
前記３次元回転処理が、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される、前記デバイス基準座標系の前記第１の座標軸と直行する平面上において、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする。
これにより、ジェスチャ基準座標系が、重力加速度が生じている鉛直方向を直接の基準にできないような場合においても、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。 In a preferred form of the invention,
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The three-dimensional rotation process is
Two lines extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis of the device reference coordinate system represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Setting a reference vector group having the above vectors;
Of the reference vector group, and selecting a rotational reference vector angle formed between the gravity vector becomes minimum,
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a step of performing a rotation process so as to overlap each other.
Thus, even when the gesture reference coordinate system cannot directly use the vertical direction in which the gravitational acceleration occurs as a reference, the correction processing related to the deviation between the gesture reference coordinate system and the device reference coordinate system is performed. Can do.

本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出するジャイロセンサと、加速度を検出する加速度センサと、を有するセンサ部を備え、
デバイスの向きに基づいたデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、３次元回転処理による補正処理を行う、前記ユーザの指に装着されて使用される指輪型デバイスであって、
前記デバイス基準座標系の第１の座標軸及び前記ジェスチャ基準座標系の第１の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であり、
前記補正処理が、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される、前記第１の座標軸と直行する平面上において、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群を設定し、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択し、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うものであることを特徴とする。
このように、重力加速度に基づいた補正を行うことにより、ユーザが指輪型デバイスを使用する際の装着形態や姿勢の自由度を増すことができる。 A ring-type device using the data processing method according to the present invention ,
Comprising a gyro sensor for detecting angular velocity, and an acceleration sensor for detecting acceleration, a sensor unit having,
In order to make the device reference coordinate system based on the orientation of the device coincide with the gesture reference coordinate system used as a reference when the user performs gesture input , the acceleration sensor is used with respect to the gesture trajectory acquired by the gyro sensor. A ring-type device that is used by being attached to the user's finger, performing correction processing by three-dimensional rotation processing based on the gravitational acceleration detected by
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The correction process is
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set vector group,
A rotation reference vector that minimizes an angle between the reference vector group and the gravity vector is selected;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. The rotation processing is performed so as to overlap each other.
Thus, by performing the correction based on the gravitational acceleration, it is possible to increase the degree of freedom of the wearing form and posture when the user uses the ring type device .

本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記ジャイロセンサが、互いに直行する３軸のそれぞれの軸周りの角速度を検出するものであって、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記３軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、３次元回転処理による補正を行うことを特徴とする。
このように、センサ部の実装位置及び角度に基づいた補正を行うことにより、指輪型デバイス内でのセンサ部の配置の自由度が増加し、指輪型デバイスの筐体の小型化などを行うことができる。 In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The gyro sensor detects angular velocities around the three axes orthogonal to each other;
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process so that the sensor reference coordinate system defined by the three axes matches the device reference coordinate system .
As described above, by performing correction based on the mounting position and angle of the sensor unit, the degree of freedom of arrangement of the sensor unit in the ring type device is increased, and the casing of the ring type device is reduced in size. Can do.

本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出する角速度検出手段と、
加速度を検出する加速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に３次元回転処理による補正を行う第１のジェスチャ軌跡補正手段と、を有し、ユーザの指に装着されて使用される指輪型デバイスであって、
前記第１のジェスチャ軌跡補正手段が、前記指輪型デバイスの向きに基づいた、第１の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とする、第１の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるジェスチャ基準座標系と、を一致させるために、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される、前記第１の座標軸と直行する平面上における、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群の設定と、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルの選択と、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるようにする３次元回転処理と、を行うことを特徴とする。
これにより、指輪型デバイス内にて加速度検出手段によって検出した加速度に基
づいたジェスチャ軌跡の補正を行うことができる。 A ring-type device using the data processing method according to the present invention,
Angular velocity detecting means for detecting angular velocity;
Acceleration detecting means for detecting acceleration;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
Based on the detected acceleration, the a first gesture trajectory correction means for correcting by 3D rotation process to the gesture trajectory, have a, a ring-type device used is attached to the user's finger,
The first gesture trajectory correcting means includes a device reference coordinate system in which the first coordinate axis is substantially in the same direction as the direction from the base of the finger toward the fingertip based on the orientation of the ring-type device, and the user inputs a gesture In order to match a gesture reference coordinate system in which the first coordinate axis, which is a reference when performing the above, is substantially in the same direction as the direction from the base of the finger toward the fingertip,
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, which is represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set the vector group,
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a three-dimensional rotation process for overlapping .
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the ring type device.

本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記角速度検出手段が、互いに直行する３軸のそれぞれの軸周りの角速度を検出するものであって、前記３軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、前記ジェスチャ軌跡に３次元回転処理による補正を行う第２のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、指輪型デバイス内にて角速度検出手段の実装位置及び実装角度に基
づいたジェスチャ軌跡の補正を行うことができる。 In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The angular velocity detecting means detects angular velocities around the three axes orthogonal to each other, and the sensor reference coordinate system defined by the three axes and the device reference coordinate system are matched. And a second gesture trajectory correction unit that corrects the gesture trajectory by three- dimensional rotation processing.
Thereby, the correction | amendment of the gesture locus | trajectory based on the mounting position and mounting angle of an angular velocity detection means can be performed within a ring type device.

本発明によれば、指輪型デバイスを用いたジェスチャ入力システムにおいて、ユーザの意図する入力をより正確に取得することができる。
ADVANTAGE OF THE INVENTION According to this invention, the input which a user intends can be acquired more correctly in the gesture input system using a ring type device.

本発明の好ましい形態では、前記第１のセンサが、互いに直交する３軸のそれぞれについての検出値から前記指の動きを検出するセンサであって、
前記互いに直交する３軸によって定義される、前記第１のセンサが値を検出する際に基準とするセンサ基準座標系と、前記デバイス基準座標系と、を一致させるために、前記第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする。
これにより、指輪型デバイス内の空間的な事情などにより、前記センサ基準座標系と前記デバイス基準座標系とが一致しない場合においても、３次元回転処理によって、ユーザが前記指輪型デバイスを用いて入力した３次元的な入力をより正確に取得することができる。 In a preferred embodiment of the present invention, the first sensor is a sensor that detects the movement of the finger from detection values for each of three axes orthogonal to each other.
In order to match the sensor reference coordinate system defined by the three axes orthogonal to each other and used as a reference when the first sensor detects a value, the device reference coordinate system is used. A three-dimensional rotation process is performed on the gesture trajectory acquired by the above.
Thus, even when the sensor reference coordinate system and the device reference coordinate system do not match due to spatial circumstances in the ring type device, the user can input using the ring type device by the three-dimensional rotation process. The obtained three-dimensional input can be acquired more accurately.

本発明の好ましい形態では、
前記デバイス基準座標系の第１の座標軸及び前記ジェスチャ基準座標系の第１の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であって、
前記３次元回転処理が、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される、前記デバイス基準座標系の前記第１の座標軸と直交する平面上において、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする。
これにより、ジェスチャ基準座標系が、重力加速度が生じている鉛直方向を直接の基準にできないような場合においても、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。 In a preferred form of the invention,
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The three-dimensional rotation process is
Two lines extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis of the device reference coordinate system represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Setting a reference vector group having the above vectors;
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector; and
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a step of performing a rotation process so as to overlap each other.
Thus, even when the gesture reference coordinate system cannot directly use the vertical direction in which the gravitational acceleration occurs as a reference, the correction processing related to the deviation between the gesture reference coordinate system and the device reference coordinate system is performed. Can do.

本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出するジャイロセンサと、加速度を検出する加速度センサと、を有するセンサ部を備え、
デバイスの向きに基づいたデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、３次元回転処理による補正処理を行う、前記ユーザの指に装着されて使用される指輪型デバイスであって、
前記デバイス基準座標系の第１の座標軸及び前記ジェスチャ基準座標系の第１の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であり、
前記補正処理が、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される、前記第１の座標軸と直交する平面上において、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群を設定し、
前記基準ベクトル群の内、前記重力加速度によって定まる重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択し、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うものであり、
前記基準ベクトル群が、少なくとも、前記デバイス基準座標系の原点より第２の座標軸の正方向に伸びる第１の基準ベクトルと、前記デバイス基準座標系の原点より第２の座標軸の負方向に伸びる第２の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の正方向に伸びる第３の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の負方向に伸びる第４の基準ベクトルと、を有することを特徴とする。
このように、重力加速度に基づいた補正を行うことにより、ユーザが指輪型デバイスを使用する際の装着形態や姿勢の自由度を増すことができる。 A ring-type device using the data processing method according to the present invention,
A sensor unit having a gyro sensor for detecting angular velocity and an acceleration sensor for detecting acceleration;
In order to make the device reference coordinate system based on the orientation of the device coincide with the gesture reference coordinate system used as a reference when the user performs gesture input, the acceleration sensor is used with respect to the gesture trajectory acquired by the gyro sensor. A ring-type device that is used by being attached to the user's finger, performing correction processing by three-dimensional rotation processing based on the gravitational acceleration detected by
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The correction process is
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, which is represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set vector group,
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector determined by the gravitational acceleration ;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. so as to overlap state, and are not performing a rotation process,
The reference vector group includes at least a first reference vector extending in the positive direction of the second coordinate axis from the origin of the device reference coordinate system, and a first reference vector extending in the negative direction of the second coordinate axis from the origin of the device reference coordinate system. A second reference vector, a third reference vector extending in the positive direction of the third coordinate axis from the origin of the device reference coordinate system, and a fourth reference vector extending in the negative direction of the third coordinate axis from the origin of the device reference coordinate system. And a reference vector .
Thus, by performing the correction based on the gravitational acceleration, it is possible to increase the degree of freedom of the wearing form and posture when the user uses the ring type device.

本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記ジャイロセンサが、互いに直交する３軸のそれぞれの軸周りの角速度を検出するものであって、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記３軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、３次元回転処理による補正を行うことを特徴とする。
このように、センサ部の実装位置及び角度に基づいた補正を行うことにより、指輪型デバイス内でのセンサ部の配置の自由度が増加し、指輪型デバイスの筐体の小型化などを行うことができる。 In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The gyro sensor detects angular velocities around three axes orthogonal to each other;
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process so that the sensor reference coordinate system defined by the three axes coincides with the device reference coordinate system.
As described above, by performing correction based on the mounting position and angle of the sensor unit, the degree of freedom of arrangement of the sensor unit in the ring type device is increased, and the casing of the ring type device is reduced in size. Can do.

本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出する角速度検出手段と、
加速度を検出する加速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に３次元回転処理による補正を行う第１のジェスチャ軌跡補正手段と、を有し、ユーザの指に装着されて使用される指輪型デバイスであって、
前記第１のジェスチャ軌跡補正手段が、前記指輪型デバイスの向きに基づいた、第１の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とする、第１の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるジェスチャ基準座標系と、を一致させるために、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される、前記第１の座標軸と直交する平面上における、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群の設定と、
前記基準ベクトル群の内、前記加速度検出手段によって検出した重力加速度によって定まる重力ベクトルとの間になす角度が最小となる回転基準ベクトルの選択と、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるようにする３次元回転処理と、を行い、
前記基準ベクトル群が、少なくとも、前記デバイス基準座標系の原点より第２の座標軸の正方向に伸びる第１の基準ベクトルと、前記デバイス基準座標系の原点より第２の座標軸の負方向に伸びる第２の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の正方向に伸びる第３の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の負方向に伸びる第４の基準ベクトルと、を有することを特徴とする。
これにより、指輪型デバイス内にて加速度検出手段によって検出した加速度に基
づいたジェスチャ軌跡の補正を行うことができる。 A ring-type device using the data processing method according to the present invention,
Angular velocity detecting means for detecting angular velocity;
Acceleration detecting means for detecting acceleration;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
A first gesture trajectory correction unit that corrects the gesture trajectory by three-dimensional rotation processing based on the detected acceleration, and is a ring-type device that is used by being worn on a user's finger,
The first gesture trajectory correcting means includes a device reference coordinate system in which the first coordinate axis is substantially in the same direction as the direction from the base of the finger toward the fingertip based on the orientation of the ring-type device, and the user inputs a gesture In order to match a gesture reference coordinate system in which the first coordinate axis, which is a reference when performing the above, is substantially in the same direction as the direction from the base of the finger toward the fingertip,
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, which is represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set the vector group,
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector determined by the gravitational acceleration detected by the acceleration detecting means ;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. 3D rotation process and to overlap, stomach line,
The reference vector group includes at least a first reference vector extending in the positive direction of the second coordinate axis from the origin of the device reference coordinate system, and a first reference vector extending in the negative direction of the second coordinate axis from the origin of the device reference coordinate system. A second reference vector, a third reference vector extending in the positive direction of the third coordinate axis from the origin of the device reference coordinate system, and a fourth reference vector extending in the negative direction of the third coordinate axis from the origin of the device reference coordinate system. And a reference vector .
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the ring type device.

本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記角速度検出手段が、互いに直交する３軸のそれぞれの軸周りの角速度を検出するものであって、前記３軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、前記ジェスチャ軌跡に３次元回転処理による補正を行う第２のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、指輪型デバイス内にて角速度検出手段の実装位置及び実装角度に基づいたジェスチャ軌跡の補正を行うことができる。 In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The angular velocity detection means detects angular velocities around three axes orthogonal to each other, and the sensor reference coordinate system defined by the three axes and the device reference coordinate system are matched with each other. And a second gesture trajectory correction unit that corrects the gesture trajectory by three-dimensional rotation processing.
Thereby, the correction | amendment of the gesture locus | trajectory based on the mounting position and mounting angle of an angular velocity detection means can be performed within a ring type device.

Claims (14)

ウェアラブルデバイスによるジェスチャ入力システムにおいて、前記ウェアラブルデバイスの向きに基づいたデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ウェアラブルデバイスに設けられた第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする、ジェスチャ入力システムのデータ加工方法。   In a gesture input system using a wearable device, a device reference coordinate system based on an orientation of the wearable device and a gesture reference coordinate system used as a reference when a user performs gesture input are provided in the wearable device. A data processing method for a gesture input system, wherein a three-dimensional rotation process is performed on a gesture trajectory acquired by the first sensor. 前記第１のセンサが値を検出する際に基準とするセンサ基準座標系と、前記ウェアラブルデバイスの向きに基づいたデバイス基準座標系と、を一致させるために、前記第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする、請求項１に記載のジェスチャ入力システムのデータ加工方法。   The gesture acquired by the first sensor in order to match the sensor reference coordinate system used as a reference when the first sensor detects a value and the device reference coordinate system based on the orientation of the wearable device. The data processing method of the gesture input system according to claim 1, wherein a three-dimensional rotation process is performed on the trajectory. 前記第１のセンサによって、前記ジェスチャ基準座標系の１つの座標軸を回転軸とするねじれ角度を算出するステップと、
前記ねじれ角度に基づいて、前記第１のセンサによって取得したジェスチャ軌跡に３次元回転処理を行うことを特徴とする、請求項１又は請求項２に記載のジェスチャ入力システムのデータ加工方法。 Calculating a twist angle with one coordinate axis of the gesture reference coordinate system as a rotation axis by the first sensor;
3. The data processing method of the gesture input system according to claim 1, wherein a three-dimensional rotation process is performed on the gesture trajectory acquired by the first sensor based on the twist angle. 前記ジェスチャ基準座標系を、前記ウェアラブルデバイスに設けられた第２のセンサによって検出された値によって決定することを特徴とする、請求項１から請求項３の何れかに記載のジェスチャ入力システムのデータ加工方法。   The data of the gesture input system according to any one of claims 1 to 3, wherein the gesture reference coordinate system is determined by a value detected by a second sensor provided in the wearable device. Processing method. 前記デバイス基準座標系の第１の座標軸と、前記ジェスチャ基準座標系の第１の座標軸と、が重なっており、
前記デバイス基準座標系の第２の座標軸と第３の座標軸とで表される平面上において、前記デバイス基準座標系の原点より伸びる２本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記第２のセンサよって検出された重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする、請求項４に記載のジェスチャ入力システムのデータ加工方法。 The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system overlap,
Setting a reference vector group having two or more vectors extending from the origin of the device reference coordinate system on a plane represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system;
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector detected by the second sensor;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. The method for processing data of the gesture input system according to claim 4, further comprising a step of performing a rotation process so as to overlap. 前記基準ベクトル群が、少なくとも、前記デバイス基準座標系の原点より第２の座標軸の正方向に伸びる第１の基準ベクトルと、前記デバイス基準座標系の原点より第２の座標軸の負方向に伸びる第２の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の正方向に伸びる第３の基準ベクトルと、前記デバイス基準座標系の原点より第３の座標軸の負方向に伸びる第４の基準ベクトルと、を有することを特徴とする、請求項５に記載のジェスチャ入力システムのデータ加工方法。   The reference vector group includes at least a first reference vector extending in the positive direction of the second coordinate axis from the origin of the device reference coordinate system, and a first reference vector extending in the negative direction of the second coordinate axis from the origin of the device reference coordinate system. A second reference vector, a third reference vector extending in the positive direction of the third coordinate axis from the origin of the device reference coordinate system, and a fourth reference vector extending in the negative direction of the third coordinate axis from the origin of the device reference coordinate system. The method according to claim 5, further comprising: a reference vector. 前記回転基準ベクトルと前記重力ベクトルとの間になす角度が、予め設定した補正対象範囲内に収まる場合にのみ、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第２の座標軸の成分と、前記デバイス基準座標系の前記第３の座標軸の成分と、からなる２次元ベクトルの方向に重なるように、回転処理を行うことを特徴とする、請求項５又は請求項６に記載のジェスチャ入力システムのデータ加工方法。 Only when the angle formed between the rotation reference vector and the gravity vector falls within a preset correction target range,
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. The data processing method of the gesture input system according to claim 5 or 6, wherein the rotation processing is performed so as to overlap each other. 前記第２のセンサが加速度センサであることを特徴とする、請求項４から請求項７の何れかに記載のジェスチャ入力システムのデータ加工方法。   The data processing method for a gesture input system according to any one of claims 4 to 7, wherein the second sensor is an acceleration sensor. 前記第１のセンサがジャイロセンサであることを特徴とする、請求項１から請求項８の何れかに記載のジェスチャ入力システムのデータ加工方法。   The data processing method of the gesture input system according to any one of claims 1 to 8, wherein the first sensor is a gyro sensor. 前記回転処理に、クォータニオンによる演算を用いることを特徴とする、請求項１から請求項９の何れかに記載のジェスチャ入力システムのデータ加工方法。   The data processing method of the gesture input system according to any one of claims 1 to 9, wherein a calculation by quaternion is used for the rotation processing. センサ部を備えるウェアラブルデバイスであって、
前記センサ部が角速度を検出するジャイロセンサと、加速度を検出する加速度センサと、を有し、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、３次元回転処理による補正を行うことを特徴とするウェアラブルデバイス。 A wearable device including a sensor unit,
The sensor unit includes a gyro sensor that detects angular velocity, and an acceleration sensor that detects acceleration,
A wearable device, wherein a gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process based on the gravitational acceleration detected by the acceleration sensor. 前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記センサ部の実装位置及び実装角度に基づいた、３次元回転処理による補正を行うことを特徴とする、請求項１１に記載のウェアラブルデバイス。   The wearable device according to claim 11, wherein the gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process based on a mounting position and a mounting angle of the sensor unit. 角速度を検出する角速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に３次元回転処理による補正を行う第１のジェスチャ軌跡補正手段と、を有することを特徴とするウェアラブルデバイス。 Angular velocity detecting means for detecting angular velocity;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
A wearable device comprising: a first gesture trajectory correction unit configured to correct the gesture trajectory by a three-dimensional rotation process based on the detected acceleration. 加速度を検出する加速度検出手段と、
前記角速度検出手段の実装位置及び実装角度に基づいて、前記ジェスチャ軌跡に３次元回転処理による補正を行う第２のジェスチャ軌跡補正手段と、を有することを特徴とする、請求項１３に記載のウェアラブルデバイス。
Acceleration detecting means for detecting acceleration;
The wearable according to claim 13, further comprising: a second gesture trajectory correction unit that corrects the gesture trajectory by a three-dimensional rotation process based on a mounting position and a mounting angle of the angular velocity detection unit. device.
JP2014206354A 2014-10-07 2014-10-07 Method for processing data of gesture input system Ceased JP2016076104A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014206354A JP2016076104A (en) 2014-10-07 2014-10-07 Method for processing data of gesture input system
PCT/JP2015/054773 WO2016056259A1 (en) 2014-10-07 2015-02-20 Gesture input system data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014206354A JP2016076104A (en) 2014-10-07 2014-10-07 Method for processing data of gesture input system

Publications (1)

Publication Number Publication Date
JP2016076104A true JP2016076104A (en) 2016-05-12

Family

ID=55652889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014206354A Ceased JP2016076104A (en) 2014-10-07 2014-10-07 Method for processing data of gesture input system

Country Status (2)

Country Link
JP (1) JP2016076104A (en)
WO (1) WO2016056259A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6308643B1 (en) * 2017-03-24 2018-04-11 望月 玲於奈 Attitude calculation program, program using attitude information
JP2018087805A (en) * 2016-10-17 2018-06-07 ジック シュテークマン ゲーエムベーハーＳＩＣＫ ＳＴＥＧＭＡＮＮ ＧｍｂＨ Angle measuring device for determination of rotational angle
WO2023166885A1 (en) * 2022-03-04 2023-09-07 株式会社小松製作所 Information calibration method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240468B (en) * 2019-12-31 2023-04-25 北京诺亦腾科技有限公司 Calibration method and device for hand motion capture, electronic equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728591A (en) * 1993-05-13 1995-01-31 Toshiba Corp Space manipulation mouse system and space operation pattern input method
JP2002062981A (en) * 2000-08-16 2002-02-28 Nippon Hoso Kyokai <Nhk> Display screen indicating device
JP2009301531A (en) * 2007-10-22 2009-12-24 Sony Corp Space operation type apparatus, control apparatus, control system, control method, method of producing space operation input apparatus, and handheld apparatus
JP2013011979A (en) * 2011-06-28 2013-01-17 Jvc Kenwood Corp Motion instruction apparatus, motion instruction system, motion instruction method and program
JP2013029921A (en) * 2011-07-27 2013-02-07 Nintendo Co Ltd Pointing system, information processing system, setting method for coordinate system and the like, information processing device, and information processing program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728591A (en) * 1993-05-13 1995-01-31 Toshiba Corp Space manipulation mouse system and space operation pattern input method
JP2002062981A (en) * 2000-08-16 2002-02-28 Nippon Hoso Kyokai <Nhk> Display screen indicating device
JP2009301531A (en) * 2007-10-22 2009-12-24 Sony Corp Space operation type apparatus, control apparatus, control system, control method, method of producing space operation input apparatus, and handheld apparatus
JP2013011979A (en) * 2011-06-28 2013-01-17 Jvc Kenwood Corp Motion instruction apparatus, motion instruction system, motion instruction method and program
JP2013029921A (en) * 2011-07-27 2013-02-07 Nintendo Co Ltd Pointing system, information processing system, setting method for coordinate system and the like, information processing device, and information processing program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018087805A (en) * 2016-10-17 2018-06-07 ジック シュテークマン ゲーエムベーハーＳＩＣＫ ＳＴＥＧＭＡＮＮ ＧｍｂＨ Angle measuring device for determination of rotational angle
JP6308643B1 (en) * 2017-03-24 2018-04-11 望月 玲於奈 Attitude calculation program, program using attitude information
JP2018163626A (en) * 2017-03-24 2018-10-18 望月 玲於奈 Posture calculation program and program using posture information
US11747974B2 (en) 2017-03-24 2023-09-05 Leona MOCHIZUKI Orientation calculation program and device, and program and device using orientation information
WO2023166885A1 (en) * 2022-03-04 2023-09-07 株式会社小松製作所 Information calibration method

Also Published As

Publication number Publication date
WO2016056259A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
US10788934B2 (en) Input adjustment
TWI378367B (en)
KR100543701B1 (en) Apparatus and method for inputting information spatially
JP4582116B2 (en) INPUT DEVICE, CONTROL DEVICE, CONTROL SYSTEM, CONTROL METHOD AND ITS PROGRAM
US20050237296A1 (en) Apparatus, system and method for virtual user interface
JP5732792B2 (en) Information processing apparatus and information processing program
WO2016056259A1 (en) Gesture input system data processing method
JP5589549B2 (en) Information processing apparatus and method of operating information processing apparatus
US20200387227A1 (en) Length Calibration for Computer Models of Users to Generate Inputs for Computer Systems
US20150260750A1 (en) Electronic apparatus and program
CN105389578A (en) information processing apparatus, information processing system and information processing method
US11531392B2 (en) Tracking upper arm movements using sensor modules attached to the hand and forearm
JP6209581B2 (en) Attitude calculation device, attitude calculation method, portable device, and program
CN110096134B (en) VR handle ray jitter correction method, device, terminal and medium
CN112328099B (en) Low-power pointing method and electronic device for realizing same
JP5652647B2 (en) Small electronic device, processing method and program
KR20200113601A (en) Input Device and Electronic Device which interact with the Input Device
JPH10232739A (en) Pen type input device
JP5780568B1 (en) Gesture input data detection method
KR102468082B1 (en) Correction method for handwriting input, electronic device and storage medium therefor
WO2022035458A1 (en) Slippage resistant gaze tracking user interfaces
US10936147B2 (en) Tablet computing device with display dock
JP5867554B2 (en) Information processing apparatus and method of operating information processing apparatus
US11961601B1 (en) Adaptive user interface for determining errors in performance of activities
JP6481360B2 (en) Input method, input program, and input device

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A045 Written measure of dismissal of application

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20160830