JP2016076104A - Method for processing data of gesture input system - Google Patents
Method for processing data of gesture input system Download PDFInfo
- Publication number
- JP2016076104A JP2016076104A JP2014206354A JP2014206354A JP2016076104A JP 2016076104 A JP2016076104 A JP 2016076104A JP 2014206354 A JP2014206354 A JP 2014206354A JP 2014206354 A JP2014206354 A JP 2014206354A JP 2016076104 A JP2016076104 A JP 2016076104A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- coordinate system
- sensor
- vector
- reference coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ジェスチャ入力システムによる入力値を補正し、ユーザの意図するジェスチャ入力を補助するためのジェスチャ入力システムのデータ加工方法に関するものである。 The present invention relates to a data processing method of a gesture input system for correcting an input value by a gesture input system and assisting a user's intended gesture input.
近年、ウェアラブルコンピュータやウェアラブルデバイスといった、身に着けて利用する電子機器の開発が進んでいる。例えば腕時計型のコンピュータや、眼鏡型のコンピュータなどが有る。ユーザが常に身に着けている特性から、体調管理やライフログの記録など、これまでにない新たな機能を提供するものとして注目を集めている。 In recent years, development of wearable electronic devices such as wearable computers and wearable devices has been progressing. For example, there are a watch-type computer and a glasses-type computer. Due to the characteristics that users always wear, it is attracting attention as providing new functions such as physical condition management and life log recording.
また、既存の入力デバイスに代わる新たな入力方法として、ユーザの動きや姿勢を検出することで入力を行う、ジェスチャ検出による入力方法が注目されている。 In addition, as a new input method that replaces an existing input device, attention is focused on an input method based on gesture detection in which input is performed by detecting a user's movement and posture.
特許文献1には、ジャイロセンサを用いて手書き文字の検出を行う為の、手の指又は手に装着する装着体に関する技術が記載されている。この装着体を身に着けた状態で、空中や面上に文字を書き込むことで、手の角度変化を検出し、手書きの文字をコンピュータ上に出力することが可能である。この技術によって、キーボード等の入力装置によらない、新たな文字入力を行うことが可能となった。 Patent Document 1 describes a technique related to a finger attached to a hand or a hand attached to the hand for detecting a handwritten character using a gyro sensor. By writing a character in the air or on the surface while wearing this wearing body, it is possible to detect a change in the angle of the hand and output the handwritten character on a computer. This technology makes it possible to perform new character input without using an input device such as a keyboard.
また、特許文献1に記載されるように、ジャイロセンサを用いて入力を行う場合には、ユーザがデバイスを保持する際の傾きなどの影響によって、ジャイロセンサの検出する入力値と、ユーザが意図した入力値と、の間に差異が生じることが多々ある。 In addition, as described in Patent Document 1, when input is performed using a gyro sensor, the input value detected by the gyro sensor and the user's intention are affected by the influence of the tilt when the user holds the device. In many cases, there is a difference between the input value and the input value.
特許文献2には、空中に描くジェスチャの軌跡を入力することによって、テレビやパソコン等のディスプレイ機器の画面上におけるカーソルの動きを制御する入力デバイスに関する技術が記載されている。この技術によって、入力デバイスに搭載された加速度センサによって検出する重力加速度の向きを、入力デバイスとディスプレイ機器の双方で共通の向きとしてジャイロセンサによる検出値の2次元回転処理を行うことにより、入力デバイスの保持のされ方に関係なく、ディスプレイ機器の画面上のカーソルの動きを効率的に制御可能となった。 Patent Document 2 describes a technique related to an input device that controls the movement of a cursor on the screen of a display device such as a television or a personal computer by inputting a trajectory of a gesture drawn in the air. By this technology, the direction of gravity acceleration detected by the acceleration sensor mounted on the input device is set to a common direction for both the input device and the display device, and the two-dimensional rotation processing of the detection value by the gyro sensor is performed. Regardless of how it is held, the movement of the cursor on the screen of the display device can be controlled efficiently.
特許文献2に記載される技術では、設置されたディスプレイに対する入力デバイスの傾きの補正を行っている。すなわち、重力加速度が生じている鉛直方向を基準としてユーザが入力する際に基準とする座標系とディスプレイが基準とする座標系の関係を捉え、入力デバイスによる入力値の補正を行っている。ユーザの入力姿勢やデバイスの保持の仕方はユーザが基準とする座標系に影響し、ディスプレイが基準とする座標系には影響しない。特許文献2に記載される技術は、ディスプレイが基準とする座標系において重力加速度の向きが不変であることを前提として、ディスプレイ上でのカーソルの動きを効率的に補正する。 In the technique described in Patent Document 2, the inclination of the input device with respect to the installed display is corrected. That is, the input value is corrected by the input device by grasping the relationship between the reference coordinate system when the user inputs with respect to the vertical direction in which the gravitational acceleration is generated and the reference coordinate system. The user's input posture and device holding method affect the coordinate system that the user uses as a reference, and do not affect the coordinate system that the display uses as a reference. The technique described in Patent Document 2 efficiently corrects the movement of the cursor on the display on the assumption that the direction of gravitational acceleration is unchanged in the coordinate system on which the display is a reference.
しかし、全てのジェスチャ入力システムにおいて、鉛直方向を不変の基準とする座標系を定義することができるわけではない。例えば、ユーザが空中の任意の方向にキャンバスをイメージして、そのキャンバス上に描いたジェスチャ軌跡を取得する入力デバイスにおいては、ユーザがイメージするキャンバス上の座標系は鉛直方向と必ずしも一定の関係にはない。 However, not all gesture input systems can define a coordinate system that uses the vertical direction as an invariant reference. For example, in an input device in which the user images the canvas in any direction in the air and obtains a gesture trajectory drawn on the canvas, the coordinate system on the canvas that the user images is not necessarily in a fixed relationship with the vertical direction. There is no.
このように、ジェスチャを描く空間の座標系として鉛直方向を基準に用いない座標系をユーザが基準とし得る入力デバイスにおいては、ユーザが該入力デバイスを保持又は装着する向きに係る補正を、特許文献2に記載される技術によって行うことができない。 As described above, in an input device in which a user can use a coordinate system that does not use the vertical direction as a reference as a coordinate system of a space for drawing a gesture, the correction related to the direction in which the user holds or wears the input device is disclosed in Patent Literature 2 cannot be performed by the technique described in 2.
そこで、本発明では、センサの出力に3次元回転処理による補正を行い、ユーザが基準とする座標系と、センサが基準とする座標系と、を一致させることができるジェスチャ入力システムのデータ加工方法を提供することを課題とする。 Therefore, in the present invention, a data processing method of a gesture input system that can correct a sensor output by a three-dimensional rotation process so that the coordinate system that the user uses as a reference and the coordinate system that the sensor uses as a reference match. It is an issue to provide.
上記課題を解決するため、本発明に係るジェスチャ入力システムのデータ加工方法は、
ウェアラブルデバイスによるジェスチャ入力システムにおいて、前記ウェアラブルデバイスの向きに基づいたデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ウェアラブルデバイスに設けられた第1のセンサによって取得したジェスチャ軌跡に3次元回転処理を行うことを特徴とする。
In order to solve the above problems, a data processing method of a gesture input system according to the present invention includes:
In a gesture input system using a wearable device, a device reference coordinate system based on an orientation of the wearable device and a gesture reference coordinate system used as a reference when a user performs gesture input are provided in the wearable device. The gesture trajectory acquired by the first sensor is subjected to a three-dimensional rotation process.
これにより、前記ウェアラブルデバイスをユーザが装着する向きや、ユーザの姿勢が傾いている場合などにおいても、前記デバイス基準座標系と前記ジェスチャ基準座標系とを一致させ、ユーザはより正確に前記ウェアラブルデバイスを用いた入力を行うことができる。 Thus, even when the user wears the wearable device or when the user's posture is inclined, the device reference coordinate system and the gesture reference coordinate system are matched, and the user can more accurately match the wearable device. Can be used for input.
本発明の好ましい形態では、前記第1のセンサが値を検出する際に基準とするセンサ基準座標系と、前記ウェアラブルデバイスの向きに基づいたデバイス基準座標系と、を一致させるために、前記第1のセンサによって取得したジェスチャ軌跡に3次元回転処理を行うことを特徴とする。
これにより、ウェアラブルデバイス内の空間的な事情などにより、前記センサ基準座標系と前記デバイス基準座標系とが一致しない場合においても、3次元回転処理によって、ユーザが前記ウェアラブルデバイスを用いて入力した3次元的な入力をより正確に取得することができる。
In a preferred embodiment of the present invention, in order to make a sensor reference coordinate system that is a reference when the first sensor detects a value match a device reference coordinate system based on the orientation of the wearable device, the first sensor A three-dimensional rotation process is performed on the gesture trajectory acquired by one sensor.
As a result, even when the sensor reference coordinate system and the device reference coordinate system do not match due to spatial circumstances in the wearable device, etc., the user inputs 3 using the wearable device by three-dimensional rotation processing. A dimensional input can be obtained more accurately.
本発明の好ましい形態では、
前記第1のセンサによって、前記ジェスチャ基準座標系の1つの座標軸を回転軸とするねじれ角度を算出するステップと、
前記ねじれ角度に基づいて、前記第1のセンサによって取得したジェスチャ軌跡に3次元回転処理を行うことを特徴とする。
これにより、ユーザによるジェスチャ入力中に、前記ウェアラブルデバイスに前記ユーザが意図しないねじれ運動が加わる場合においても、ユーザが意図する3次元的な入力をより正確に取得することができる。
In a preferred form of the invention,
Calculating a twist angle with one coordinate axis of the gesture reference coordinate system as a rotation axis by the first sensor;
A three-dimensional rotation process is performed on the gesture trajectory acquired by the first sensor based on the twist angle.
As a result, even when a twist motion unintended by the user is applied to the wearable device during the gesture input by the user, the three-dimensional input intended by the user can be obtained more accurately.
本発明の好ましい形態では、前記ジェスチャ基準座標系を、前記ウェアラブルデバイスに設けられた第2のセンサによって検出された値によって決定することを特徴とする。
このように、第2のセンサを用いて前記ジェスチャ基準座標系を決定することにより、前記ジェスチャ基準座標系の変化などに柔軟に対応することができる。
In a preferred embodiment of the present invention, the gesture reference coordinate system is determined by a value detected by a second sensor provided in the wearable device.
As described above, by determining the gesture reference coordinate system using the second sensor, it is possible to flexibly cope with a change in the gesture reference coordinate system.
本発明の好ましい形態では、
前記デバイス基準座標系の第1の座標軸と、前記ジェスチャ基準座標系の第1の座標軸と、が重なっており、
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される平面上において、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記第2のセンサよって検出された重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする。
これにより、ジェスチャ基準座標系が、重力加速度が生じている鉛直方向を直接の基準にできないような場合においても、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。
In a preferred form of the invention,
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system overlap,
Setting a reference vector group having two or more vectors extending from the origin of the device reference coordinate system on a plane represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system;
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector detected by the second sensor;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a step of performing a rotation process so as to overlap each other.
Thus, even when the gesture reference coordinate system cannot directly use the vertical direction in which the gravitational acceleration occurs as a reference, the correction processing related to the deviation between the gesture reference coordinate system and the device reference coordinate system is performed. Can do.
本発明の好ましい形態では、
前記基準ベクトル群が、少なくとも、前記デバイス基準座標系の原点より第2の座標軸の正方向に伸びる第1の基準ベクトルと、前記デバイス基準座標系の原点より第2の座標軸の負方向に伸びる第2の基準ベクトルと、前記デバイス基準座標系の原点より第3の座標軸の正方向に伸びる第3の基準ベクトルと、前記デバイス基準座標系の原点より第3の座標軸の負方向に伸びる第4の基準ベクトルと、を有することを特徴とする。
これにより、ジェスチャ入力時に、ユーザが直立している状態や、体の左右側面の内のどちらかを下にして横たわっている状態など、主要なジェスチャ入力姿勢において、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。
In a preferred form of the invention,
The reference vector group includes at least a first reference vector extending in the positive direction of the second coordinate axis from the origin of the device reference coordinate system, and a first reference vector extending in the negative direction of the second coordinate axis from the origin of the device reference coordinate system. A second reference vector, a third reference vector extending in the positive direction of the third coordinate axis from the origin of the device reference coordinate system, and a fourth reference vector extending in the negative direction of the third coordinate axis from the origin of the device reference coordinate system. And a reference vector.
Accordingly, when a gesture is input, the gesture reference coordinate system and the device in a main gesture input posture such as a state where the user is standing upright or a state where the user lies down on either the left or right side of the body. Correction processing related to the deviation from the reference coordinate system can be performed.
本発明の好ましい形態では、
前記回転基準ベクトルと前記重力ベクトルとの間になす角度が、予め設定した補正対象範囲内に収まる場合にのみ、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うことを特徴とする。
これにより、ユーザが想定外のジェスチャ入力姿勢をとっている場合に、補正処理によって前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれがかえって大きくなることを抑止できる。
In a preferred form of the invention,
Only when the angle formed between the rotation reference vector and the gravity vector falls within a preset correction target range,
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. Rotation processing is performed so as to overlap.
As a result, when the user takes an unexpected gesture input posture, it is possible to prevent the deviation between the gesture reference coordinate system and the device reference coordinate system from being increased by correction processing.
本発明の好ましい形態では、前記第2のセンサが加速度センサであることを特徴とする。
これにより、重力加速度が生じる方向、すなわち鉛直下向き方向を容易に特定することができる。
In a preferred aspect of the present invention, the second sensor is an acceleration sensor.
As a result, the direction in which the gravitational acceleration occurs, that is, the vertically downward direction can be easily specified.
本発明の好ましい形態では、前記第1のセンサがジャイロセンサであることを特徴とする。
これにより、ジャイロセンサによって検出した角速度の変化でユーザのジェスチャ入力を取得するジェスチャ入力システムにおいて、本発明に係るデータ加工方法を適用することができる。
In a preferred aspect of the present invention, the first sensor is a gyro sensor.
Accordingly, the data processing method according to the present invention can be applied to a gesture input system that acquires a user's gesture input based on a change in angular velocity detected by a gyro sensor.
本発明の好ましい形態では、前記回転処理に、クォータニオンによる演算を用いることを特徴とする。
これにより、回転行列による演算などと比較し、システムに係る負荷をより小さくすることができる。
In a preferred embodiment of the present invention, a calculation using quaternions is used for the rotation processing.
Thereby, compared with the calculation by a rotation matrix etc., the load concerning a system can be made smaller.
本発明に係るデータ加工方法を用いるウェアラブルデバイスは、
センサ部を備えるウェアラブルデバイスであって、
前記センサ部が角速度を検出するジャイロセンサを有し、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記センサ部の実装位置及び実装角度に基づいた、3次元回転処理による補正を行うことを特徴とする。
このように、センサ部の実装位置及び角度に基づいた補正を行うことにより、ウェアラブルデバイス内でのセンサ部の配置の自由度が増加し、ウェアラブルデバイスの筐体の小型化などを行うことができる。
A wearable device using the data processing method according to the present invention is:
A wearable device including a sensor unit,
The sensor unit has a gyro sensor that detects angular velocity,
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process based on the mounting position and mounting angle of the sensor unit.
Thus, by performing correction based on the mounting position and angle of the sensor unit, the degree of freedom of arrangement of the sensor unit in the wearable device is increased, and the housing of the wearable device can be downsized. .
本発明に係るデータ加工方法を用いるウェアラブルデバイスの好ましい形態では、
前記センサ部が加速度を検出する加速度センサを有し、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、3次元回転処理による補正を行うことを特徴とする。
このように、重力加速度に基づいた補正を行うことにより、ユーザがウェアラブルデバイスを使用する際の装着形態や姿勢の自由度を増すことができる。
In a preferred form of the wearable device using the data processing method according to the present invention,
The sensor unit has an acceleration sensor for detecting acceleration;
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process based on the gravitational acceleration detected by the acceleration sensor.
Thus, by performing the correction based on the gravitational acceleration, it is possible to increase the degree of freedom of the wearing form and posture when the user uses the wearable device.
本発明に係るデータ加工方法を用いるウェアラブルデバイスは、
角速度を検出する角速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
前記角速度検出手段の実装位置及び実装角度に基づいて、前記ジェスチャ軌跡に3次元回転処理による補正を行う第1のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、ウェアラブルデバイス内にて角速度検出手段の実装位置及び実装角度に基づいたジェスチャ軌跡の補正を行うことができる。
A wearable device using the data processing method according to the present invention is:
Angular velocity detecting means for detecting angular velocity;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
1st gesture locus | trajectory correction means which correct | amends the said gesture locus | trajectory by a three-dimensional rotation process based on the mounting position and mounting angle of the said angular velocity detection means, It is characterized by the above-mentioned.
Thereby, it is possible to correct the gesture trajectory based on the mounting position and mounting angle of the angular velocity detection means in the wearable device.
本発明に係るデータ加工方法を用いるウェアラブルデバイスの好ましい形態では、
加速度を検出する加速度検出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に次元回転処理による補正を行う第2のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、ウェアラブルデバイス内にて加速度検出手段によって検出した加速度に基づいたジェスチャ軌跡の補正を行うことができる。
In a preferred form of the wearable device using the data processing method according to the present invention,
Acceleration detecting means for detecting acceleration;
And a second gesture trajectory correction unit that corrects the gesture trajectory by dimension rotation processing based on the detected acceleration.
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the wearable device.
本発明によれば、ウェアラブルデバイスを用いたジェスチャ入力システムにおいて、ユーザの意図する入力をより正確に取得することができる。 ADVANTAGE OF THE INVENTION According to this invention, the input which a user intends can be acquired more correctly in the gesture input system using a wearable device.
(実施形態1)
以下、図面を参照しながら、本発明の実施形態1について詳細に説明する。
図1は、本発明に係るジェスチャ入力システムのデータ加工方法の適用対象の例示とする、指輪型デバイス1の装着状態を示す図である。
(Embodiment 1)
Hereinafter, Embodiment 1 of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a wearing state of a ring-type device 1 as an example of an application target of a data processing method of a gesture input system according to the present invention.
図1に示すように、本実施形態において例示に用いる指輪型デバイス1をユーザが装着した際に、指の付け根から指先に向かう方向をzg軸、指の腹から背に向かう方向をyg軸、それらに直交し、かつyg軸をzg軸の向きに回転させたときに右ネジの進む方向をxg軸とする。そして、このようにxg軸、yg軸、zg軸で表される座標系を、ユーザが指輪型デバイス1を用いてジェスチャ入力を行う際に基準とする、ジェスチャ基準座標系とする。 As shown in FIG. 1, when the user wears the ring type device 1 used for illustration in this embodiment, the direction from the base of the finger to the fingertip is the z g axis, and the direction from the finger belly to the back is y g X g axis is the direction in which the right screw advances when the y g axis is rotated in the direction of the z g axis. Then, the coordinate system represented by the x g axis, the y g axis, and the z g axis is used as a gesture reference coordinate system that is used as a reference when the user performs gesture input using the ring device 1.
なお、本実施形態においては、ユーザは、指輪型デバイス1を正しい向き、すなわち、指輪型デバイス1の向きを基準としたデバイス基準座標系と、前記ジェスチャ基準座標系とが一致する状態で、装着しているものとする。 In the present embodiment, the user wears the ring-type device 1 in a correct orientation, that is, in a state where the device reference coordinate system based on the orientation of the ring-type device 1 matches the gesture reference coordinate system. Suppose you are.
指輪型デバイス1は、図2に示すように、
指輪型デバイス1の動きを検出するセンサ部11と、
ジェスチャ入力受付の開始の指示などを、物理ボタンやタッチセンサなどの任意の手段によって受け付ける補助入力部12と、
ジェスチャ入力受付の開始、終了などを、光や振動、音などの任意の手段によってユーザへ伝達するフィードバック部13と、
ジェスチャ入力処理に係る種々の演算を行う演算部14と、
演算部14による演算の際に利用される揮発性メモリによる主記憶部15と、
ジェスチャ入力処理に係る各種の設定情報などを記憶する、不揮発性メモリなどの補助記憶部16と、
ジェスチャ入力によって取得した情報を、一般的なスマートフォン端末やタブレット端末、パーソナルコンピュータなどに送信する通信部17と、
ここまでに挙げた指輪型デバイス1を構成する各要素へと電源を供給する電源部18と、を備える。
As shown in FIG. 2, the ring-type device 1
A sensor unit 11 for detecting movement of the ring-type device 1;
An auxiliary input unit 12 that receives an instruction to start gesture input reception by an arbitrary means such as a physical button or a touch sensor;
A feedback unit 13 for transmitting the start and end of the gesture input reception to the user by any means such as light, vibration, and sound;
A calculation unit 14 for performing various calculations related to the gesture input process;
A main storage unit 15 that is a volatile memory used in the calculation by the calculation unit 14;
An auxiliary storage unit 16 such as a non-volatile memory for storing various setting information relating to the gesture input process;
A communication unit 17 for transmitting information acquired by gesture input to a general smartphone terminal, tablet terminal, personal computer, etc .;
And a power supply unit 18 that supplies power to each element constituting the ring-type device 1 described so far.
そして、センサ部11は、第1のセンサとして、指輪型デバイス1に生じる3軸の角速度を検出するジャイロセンサ11aと、指輪型デバイス1に生じる3軸の加速度を検出する加速度センサ11bと、を有する。 The sensor unit 11 includes, as a first sensor, a gyro sensor 11a that detects a triaxial angular velocity generated in the ring type device 1, and an acceleration sensor 11b that detects a triaxial acceleration generated in the ring type device 1. Have.
センサ部11が角速度及び加速度を検出する際に基準とする座標系をセンサ基準座標系とし、xs軸、ys軸、zs軸によって表されるものとする。 Sensor unit 11 is a sensor reference coordinate system to the coordinate system as a reference in detecting the angular velocity and acceleration, and those represented x s-axis, y s axis, the z s axis.
なお、補助入力部12やフィードバック部13などを省略した構成としてもよい。その場合には、例えば、センサ部11によって、ユーザが指輪型デバイス1を振るなど、任意の動作を行った際にジェスチャ入力の受付を開始する構成などとしてもよい。 The auxiliary input unit 12 and the feedback unit 13 may be omitted. In that case, for example, the sensor unit 11 may be configured to start accepting a gesture input when the user performs an arbitrary operation such as shaking the ring device 1.
以下、指輪型入力デバイス1による基本的なジェスチャ入力方法を説明する。ここに記載されたジェスチャ入力の検出方法は本実施形態における一例であり、本発明におけるジェスチャの検出方法は、これに限定されるものではない。 Hereinafter, a basic gesture input method using the ring-type input device 1 will be described. The gesture input detection method described here is an example in the present embodiment, and the gesture detection method in the present invention is not limited to this.
指輪型入力デバイス1によるジェスチャ入力は、式(1)に示すベクトルv(i)の3次元的な回転を考えて行う。 Gesture input by the ring-type input device 1 is performed in consideration of the three-dimensional rotation of the vector v (i) shown in Expression (1).
ここで、iはステップ数を示し、ジェスチャ入力が終了する最後のステップをステップnとする。すなわち、iは0以上であり、n以下の整数である。また、ステップiが0である時点の時刻をt(0)、ステップiがnである時点の時刻をt(n)というように、ステップiにおける時刻をt(i)とする。
なお、ジェスチャ入力の終了判定は、センサ部11によって検出される指輪型デバイス1の動きの大きさが予め設定された閾値を下回った場合や、補助入力部12の操作があった場合など、任意の条件にて行ってよい。
Here, i indicates the number of steps, and the last step at which the gesture input ends is defined as step n. That is, i is an integer of 0 or more and n or less. The time at step i is t (i), such that the time when step i is 0 is t (0) and the time when step i is n is t (n).
Note that the gesture input end determination can be arbitrarily determined when the magnitude of the movement of the ring-type device 1 detected by the sensor unit 11 falls below a preset threshold or when the auxiliary input unit 12 is operated. It may be performed under the following conditions.
また、q(i)は、時刻t(i)におけるクォータニオン、又は四元数と呼ばれ、3次元的な回転を表す量として用いられる。クォータニオンqは1つのスカラー要素qwと、xs方向の単位ベクトルi、ys方向の単位ベクトルj、zs方向の単位ベクトルkの、3つのベクトル要素と、からなる量であり、式(2)に示すように表される。ただし、i、j、kは、式(3)に示す関係を満たすものとする。 Further, q (i) is called a quaternion or quaternion at time t (i), and is used as an amount representing three-dimensional rotation. Quaternion q is a single scalar elements q w, unit vectors i of x s direction unit vector j of y s direction, the unit vector k of z s direction, an amount consisting of the three vector components, the formula ( It is expressed as shown in 2). However, i, j, and k satisfy the relationship shown in Expression (3).
また、クォータニオンqのベクトル部の符号を反転したものを共役クォータニオンq*と呼び、式(4)のように表される。ここで、式(5)が成り立つものとする。 Further, the one obtained by inverting the sign of the vector portion of the quaternion q is called a conjugate quaternion q *, and is expressed as in Expression (4). Here, equation (5) is assumed to hold.
図3は、指輪型デバイス1を用いて、ユーザによるジェスチャ入力を取得する際の処理を示すフローチャートである。
まず、補助入力部12への入力などの任意の条件により、ジェスチャ入力の開始を受け付ける。そして、時刻t(i)におけるクォータニオンq(i)を求めるために、ステップS11において、ジャイロセンサ11aより、式(6)に示すような、時刻t(i)における角速度ω(i)を取得する。
FIG. 3 is a flowchart showing a process when a gesture input by the user is acquired using the ring-type device 1.
First, the start of gesture input is accepted according to an arbitrary condition such as input to the auxiliary input unit 12. Then, in order to obtain the quaternion q (i) at time t (i), in step S11, the angular velocity ω (i) at time t (i) is obtained from the gyro sensor 11a as shown in equation (6). .
そして、ステップS12において、式(7)により、クォータニオンq(i)を求める。 In step S12, the quaternion q (i) is obtained by the equation (7).
ステップS12で求めたクォータニオンq(i)と、時刻t(i-1)におけるクォータニオンq(i-1)、および時刻t(0)におけるベクトルv(0)より、式(8)を用いて、ステップS13で、ベクトルv(i)を位置ベクトルとする座標の変位ベクトルε(i)を求める。 From the quaternion q (i) obtained in step S12, the quaternion q (i-1) at time t (i-1), and the vector v (0) at time t (0), using equation (8), In step S13, a displacement vector ε (i) of coordinates having the vector v (i) as a position vector is obtained.
ステップS14では、求まった変位ベクトルε(i)用いて、時刻t(i)において、ベクトルv(i)の変位をxs軸とys軸とによって表される平面へと投影した点p(i)を、式(9)によって求める。 In step S14, using the obtained displacement vector ε (i), at time t (i), the displacement of the vector v (i) is projected onto a plane represented by the x s axis and the y s axis, p ( i) is obtained by equation (9).
ステップS15にて、ジェスチャ入力終了と判断するまで、ステップS16でステップiを進めながら、ステップS11からステップS14までの処理を繰り返し行う。 In step S15, the process from step S11 to step S14 is repeated while proceeding to step i in step S16 until it is determined that the gesture input is completed.
これによって、図4(a)に一例を示すように、時刻t(0)からt(n)までの各時刻におけるベクトルv(i)を求めることができる。このベクトルv(i)を位置ベクトルとする点が描く軌跡は、原点を中心、ベクトルv(i)のノルムを半径とする、球面上に分布する。
そして、図4(b)に示すように、zs軸の負方向より、xs軸とys軸とによって表される平面を見た際の、時刻t(1)から時刻t(i)までの変位ベクトルε(i)によって求めた点p(i)の軌跡によって、ユーザのジェスチャ入力の軌跡を求めることができる。
Thereby, as shown in FIG. 4A, for example, a vector v (i) at each time from time t (0) to t (n) can be obtained. A trajectory drawn by a point having the vector v (i) as a position vector is distributed on a spherical surface with the origin as the center and the norm of the vector v (i) as the radius.
Then, as shown in FIG. 4B, from the time t (1) to the time t (i) when the plane represented by the x s axis and the y s axis is viewed from the negative direction of the z s axis. The locus of the user's gesture input can be obtained from the locus of the point p (i) obtained from the displacement vector ε (i) up to.
上記の処理によって求められるジェスチャ軌跡は、ステップS11において、センサ部11によって、xs軸、ys軸、zs軸を基準として検出された角速度ω(i)を利用していることより、センサ基準座標系において求められるものである。 The gesture trajectory obtained by the above processing uses the angular velocity ω (i) detected by the sensor unit 11 with reference to the x s axis, the y s axis, and the z s axis in step S11. It is obtained in the reference coordinate system.
ここで、xs軸とxg軸、ys軸とyg軸、zs軸とzg軸の方向がそれぞれ一致している場合、すなわち、センサ基準座標系とジェスチャ基準座標系とが同一である場合には、ユーザが意図したジェスチャ入力が正しく認識される。しかし、実際には、センサ基準座標系とジェスチャ基準座標系とが一致するとは限らない。特に、指輪型デバイス1のように、筐体サイズなどの問題によって、センサ部11の実装位置に制約が課される場合などにおいては、図5に示すように、センサ基準座標系とジェスチャ基準座標系との間にずれが生じる場合も多い。 Here, the x s axis and x g axis, y s axis and y g axis, z s axis and z g axis directions are the same, that is, the sensor reference coordinate system and the gesture reference coordinate system are the same. If it is, the gesture input intended by the user is correctly recognized. However, in practice, the sensor reference coordinate system and the gesture reference coordinate system do not always match. In particular, when a restriction is imposed on the mounting position of the sensor unit 11 due to a problem such as a housing size as in the ring-type device 1, as shown in FIG. 5, as shown in FIG. In many cases, a deviation occurs between the system and the system.
このように、センサ基準座標系とジェスチャ基準座標系とが一致しない場合には、ユーザがジェスチャ基準座標系に基づいて入力したジェスチャ軌跡を、センサ基準座標系に基づいて検出することによって、ジェスチャ軌跡に回転や歪みが生じてしまう。 As described above, when the sensor reference coordinate system and the gesture reference coordinate system do not coincide with each other, the gesture locus input by the user based on the gesture reference coordinate system is detected based on the sensor reference coordinate system. Will cause rotation and distortion.
そこで、式(10)を用いてベクトルv(0)を、式(11)を用いて座標の変位ベクトルε(i)と点p(i)を求めることにより、ユーザがジェスチャ基準座標系に基づいて入力したジェスチャ軌跡を、正しく検出することができる。 Therefore, by obtaining the vector v (0) using the equation (10) and the coordinate displacement vector ε (i) and the point p (i) using the equation (11), the user can use the gesture reference coordinate system. It is possible to correctly detect the gesture trajectory input in the above manner.
ここで、クォータニオンq(-1)と、ベクトルv(-1)は、センサ部11の実装位置、姿勢に起因する、センサ基準座標系から見たジェスチャ基準座標系のずれを表す。
ベクトルnはzs軸とzg軸で表される平面の法線ベクトルであり、zs軸の正方向の単位ベクトルとzg軸の正方向の単位ベクトルとの外積によって求まる向きの大きさが1のベクトル、θはベクトルnを回転軸とした場合のzs軸からzg軸までの回転角度、ベクトルmはzg軸の正方向の単位ベクトル、φはベクトルmを回転軸とした場合のθ回転後のxs軸からxg軸までの回転角度である。
また、ベクトルv(-1)は、図5に示すように、センサ基準座標系の原点からジェスチャ基準座標系の原点への平行移動量である。
Here, the quaternion q (-1) and the vector v (-1) represent the deviation of the gesture reference coordinate system as viewed from the sensor reference coordinate system due to the mounting position and orientation of the sensor unit 11.
Vector n is the normal vector of the plane represented by z s axis and z g axis, the magnitude of the orientation determined by the outer product of the positive direction of the unit vector in the positive direction of the unit vector and the z g axis z s axis Is the vector of 1, θ is the rotation angle from the z s axis to the z g axis when the vector n is the rotation axis, the vector m is the unit vector in the positive direction of the z g axis, φ is the vector m as the rotation axis Is the rotation angle from the x s axis to the x g axis after θ rotation.
Further, the vector v (−1) is a parallel movement amount from the origin of the sensor reference coordinate system to the origin of the gesture reference coordinate system, as shown in FIG.
このように、指輪型デバイス1におけるセンサ部11の実装位置に基づいて、クォータニオンq(-1)による3次元回転処理と、ベクトルv(-1)による平行移動処理と、を行うことにより、センサ基準座標系とジェスチャ基準座標系とのずれに起因する、ジェスチャ入力データのずれを補正することができる。 Thus, based on the mounting position of the sensor unit 11 in the ring-type device 1, the sensor is obtained by performing the three-dimensional rotation process using the quaternion q (-1) and the parallel movement process using the vector v (-1). It is possible to correct a deviation in gesture input data caused by a deviation between the reference coordinate system and the gesture reference coordinate system.
なお、指輪型デバイス1は指輪型であるがゆえに小型であり、センサの実装位置とデバイス基準座標系の原点は空間上ほぼ同一の位置にあるとみなすこともできる。すなわち、v(-1)=0としてベクトルv(-1)による平行移動処理は省略可能である。 The ring-type device 1 is small because it is a ring-type device, and the mounting position of the sensor and the origin of the device reference coordinate system can be regarded as being substantially the same in space. That is, it is possible to omit the translation process using the vector v (-1) when v (-1) = 0.
また、本実施形態においては、クォータニオンを用いて回転処理を行っているが、回転行列や、指数マップなど、その他の数学的に等価な回転の表現を用いて回転処理を行ってもよい。以降の実施形態においても同様に、クォータニオン以外の回転の表現を用いて回転処理を行ってもよい。 In this embodiment, the rotation process is performed using quaternions. However, the rotation process may be performed using other mathematically equivalent expressions of rotation such as a rotation matrix or an exponent map. Similarly, in the subsequent embodiments, the rotation process may be performed using a representation of rotation other than the quaternion.
(実施形態2)
以下、本発明の実施形態2について、図面を参照して説明する。なお、上述した実施形態1と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。
本実施形態に係るジェスチャ入力システムのデータ加工方法の適用対象も、実施形態1において説明したものと同様の、指輪型デバイス1である。
(Embodiment 2)
Embodiment 2 of the present invention will be described below with reference to the drawings. In addition, about the fundamentally same component as Embodiment 1 mentioned above, the same code | symbol is attached | subjected and the description is simplified.
The application target of the data processing method of the gesture input system according to the present embodiment is also the ring-type device 1 similar to that described in the first embodiment.
ただし、実施形態1においては、指輪型デバイス1の向きを基準としたデバイス基準座標系と、ユーザが指輪型デバイス1を用いてジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、が一致している状態でユーザが指輪型デバイス1を装着している状態を想定していたため、センサ基準座標系とデバイス基準座標系とのずれを補正することが、すなわち、センサ基準座標系とジェスチャ基準座標系とのずれを補正することであった。
本実施形態においては、センサ基準座標系とデバイス基準座標系との間のずれに加え、デバイス基準座標系とジェスチャ基準座標系との間のずれも生じている場合に、補正を行うためのデータ加工方法を示す。
However, in the first embodiment, the device reference coordinate system based on the orientation of the ring-type device 1 and the gesture reference coordinate system used as a reference when the user performs gesture input using the ring-type device 1 are the same. Since it is assumed that the user wears the ring-type device 1 in the state of being touched, it is possible to correct the deviation between the sensor reference coordinate system and the device reference coordinate system, that is, the sensor reference coordinate system and the gesture reference. It was to correct the deviation from the coordinate system.
In this embodiment, in addition to the deviation between the sensor reference coordinate system and the device reference coordinate system, the data for performing correction when there is a deviation between the device reference coordinate system and the gesture reference coordinate system. The processing method is shown.
デバイス基準座標系とジェスチャ基準座標系との間に生じうる各軸のずれを考えると、指輪型デバイス1の場合には、指の付け根から指先に向かう方向をzg軸としているため、zr軸を指輪の円環の面に垂直な方向に設定すれば、ユーザが指輪型デバイス1を逆向きに装着しない限り、zg軸とzr軸とは一致する。 Considering the shift of each axis that may occur between the device reference coordinate system and the gesture reference coordinate system, in the case of the ring-type device 1, the direction from the base of the finger to the fingertip is the z g axis, and therefore, z r If the axis is set in a direction perpendicular to the ring surface of the ring, the z g axis and the z r axis coincide with each other unless the user wears the ring type device 1 in the opposite direction.
しかし、指輪型である特性上、装着する指を中心とした指輪型デバイス1の回転、すなわち、zg軸を中心とした回転により、xg軸とxr軸、yg軸とyr軸については、図6に示すようにずれが生じる可能性がある。 However, due to the characteristics of the ring type, the rotation of the ring type device 1 around the finger to be worn, that is, the rotation around the z g axis, the x g axis and the x r axis, the y g axis and the y r axis There is a possibility that a shift occurs as shown in FIG.
図7は、本実施形態に係る補正処理を行い、ユーザによるジェスチャ入力を取得する際の処理を示すフローチャートである。 FIG. 7 is a flowchart showing processing when the correction processing according to the present embodiment is performed and a gesture input by the user is acquired.
まず、ステップS21において、加速度センサ11bにより、時刻t(0)における重力加速度を検出し、式(12)に示す、重力加速度のxs軸成分とys軸成分とからなる2次元ベクトルg(0)を求める。 First, in step S21, the acceleration sensor 11b detects the gravitational acceleration at time t (0), and the two-dimensional vector g (consisting of the x s axis component and the y s axis component of the gravitational acceleration shown in the equation (12). 0).
ユーザが鉛直方向にyg軸をとって指輪型デバイス1を使用する場合には、ベクトルg(0)は図8に示すようになる。ここで、xr軸上の正方向の単位ベクトルのxs成分とys成分とからなる2次元ベクトルe1と、xr軸上の負方向の単位ベクトルのxs成分とys成分とからなる2次元ベクトルe2と、yr軸上の正方向の単位ベクトルのxs成分とys成分とからなる2次元ベクトルe3と、yr軸上の負方向の単位ベクトルのxs成分とys成分とからなる2次元ベクトルe4と、を考える。 When the user uses the ring-type device 1 along the y g axis in the vertical direction, the vector g (0) is as shown in FIG. Here, the x s component and two-dimensional vector e 1 comprising a y s component in the positive direction of the unit vector on x r-axis, and x s component and y s component in the negative direction of the unit vector on x r axis a two-dimensional vector e 2 consisting of a x s component and two-dimensional vector e 3 comprising a y s component in the positive direction of the unit vector on the y r axes, the negative direction of the unit vector on the y r axes x s Consider a two-dimensional vector e 4 composed of a component and a y s component.
ベクトルg(0)とベクトルe1との間の角度をδ1、ベクトルg(0)とベクトルe2との間の角度をδ2、ベクトルg(0)とベクトルe3との間の角度をδ3、ベクトルg(0)とベクトルe4との間の角度をδ4とし、δ1からδ4の内で、最も小さな角度を、ψとする。また、e1からe4のうちg(0)とψの角度をなすベクトルをeとする。 The angle between vector g (0) and vector e 1 is δ 1 , the angle between vector g (0) and vector e 2 is δ 2 , and the angle between vector g (0) and vector e 3 the [delta] 3, the angle between the vectors e 4 vector g (0) and [delta] 4, among from [delta] 1 of [delta] 4, the smallest angle, and [psi. Moreover, let e be a vector that forms an angle of ψ with g (0) from e 1 to e 4 .
このようにψを求めれば、ステップS22において、式(13)を用いて、ジェスチャ基準座標系とデバイス基準座標系とのずれを補正するためのクォータニオンq(-2)と、デバイス基準座標系とセンサ基準座標系とのずれに加えてジェスチャ基準座標系とデバイス基準座標系とのずれを考慮したベクトルv(0)と、を算出することができる。
なお、ここで、ベクトルlは、zr軸方向の単位ベクトルであり、その向きはベクトルeをベクトルg(0)に合わせる方向に右ねじを回転させた場合に右ねじが進む方向である。
If ψ is obtained in this way, in step S22, using equation (13), the quaternion q (−2) for correcting the deviation between the gesture reference coordinate system and the device reference coordinate system, the device reference coordinate system, In addition to the deviation from the sensor reference coordinate system, a vector v (0) that takes into account the deviation between the gesture reference coordinate system and the device reference coordinate system can be calculated.
Here, the vector l is a unit vector in the zr- axis direction, and the direction thereof is the direction in which the right-handed screw advances when the right-handed screw is rotated in a direction to match the vector e with the vector g (0).
そして、ステップS23において、角速度センサ11aより角速度ω(i)を取得し、ステップS24で、式(7)によって、クォータニオンq(i)を算出する。 Then, in step S23, the angular velocity ω (i) is acquired from the angular velocity sensor 11a, and in step S24, the quaternion q (i) is calculated by the equation (7).
ステップS25では、ステップS24で求めたクォータニオンq(i)と、時刻t(i-1)におけるクォータニオンq(i-1)、ステップS22で求めたベクトルv(0)より、式(14)を用いて、ベクトルv(i)の変位ベクトルε(i)を求める。 In step S25, the quaternion q (i) obtained in step S24, the quaternion q (i-1) at time t (i-1), and the vector v (0) obtained in step S22 are used. Thus, the displacement vector ε (i) of the vector v (i) is obtained.
ステップS26では、求まった変位ベクトルε(i)用いて、時刻t(i)において、ベクトルv(i)の変位を、xg軸とyg軸とによって表される平面へと投影した点p(i)を、式(15)によって求める。 In step S26, Motoma' displacement vector ε with (i), at time t (i), a displacement vector v (i), the point is projected into a plane represented by the x g-axis and y g axis p (i) is determined by equation (15).
ステップS27にて、ジェスチャ入力終了と判断するまで、ステップS28でステップiを進めながら、ステップS23からステップS26までの処理を繰り返し行う。 In step S27, the process from step S23 to step S26 is repeated while proceeding to step i in step S28 until it is determined that the gesture input is completed.
このように、センサ基準座標系とデバイス基準座標系とのずれに係る補正と、デバイス基準座標系とジェスチャ基準座標系とのずれに係る補正とを合わせて行うことにより、ユーザは指輪型デバイス1を装着する向きに神経質にならずとも、自身の意図したジェスチャ入力を行うことができる。 In this way, the user can perform the correction related to the deviation between the sensor reference coordinate system and the device reference coordinate system and the correction related to the deviation between the device reference coordinate system and the gesture reference coordinate system, thereby allowing the user to use the ring-type device 1. Even if it is not nervous in the direction of wearing, it is possible to perform the gesture input intended.
また、ユーザの入力姿勢に関する補正が必要な場合、例えば、ユーザが鉛直方向をyg軸として捉えているにも関わらず、指輪型デバイス1を装着している指が、zg軸を軸として回転しているために、ユーザの意図するyg軸と実際のyg軸とが一致しない場合などにおいても、本実施形態に係るデータ加工方法による補正処理を実施することにより、ユーザの意図するジェスチャ入力を正しく取得することができる。 Further, when correction related to the user's input posture is necessary, for example, the finger wearing the ring type device 1 is used with the z g axis as the axis even though the user views the vertical direction as the y g axis. Even if the y g axis intended by the user and the actual y g axis do not match because of the rotation, the correction is performed by the data processing method according to the present embodiment, so that the user intends The gesture input can be acquired correctly.
また、本実施形態に係るデータ加工方法による補正処理は、ユーザがジェスチャ基準座標系のyg軸を鉛直上向き以外とする場合においても適用することができる。
例えば、ユーザが体の右側面が接地する形態にて横たわり、指輪型デバイス1を装着した指の右側面が下向きとなった状態でジェスチャ入力を行う場合を考えると、ジェスチャ基準系は、図9に示すように、yg軸が地面と水平な形態となる。そして、この状態においては、g(0)の向きはxg軸の負方向となり、δ2がψに、ベクトルe2がeになる。
Further, the correction processing by the data processing method according to the present embodiment can be applied even when the user sets the y g axis of the gesture reference coordinate system to other than vertically upward.
For example, when the user inputs a gesture with the right side of the body lying in a grounded manner and the right side of the finger wearing the ring type device 1 facing downward, the gesture reference system is as shown in FIG. As shown in the figure, the y g axis is horizontal with the ground. In this state, the direction of g (0) is the negative direction of the xg axis, δ 2 is ψ, and vector e 2 is e.
これらの値を用いて式(13)による補正を実施することにより、ジェスチャ基準系のyg軸が鉛直方向と一致しない場合においても、デバイス基準座標系とジェスチャ基準座標系とのずれに係る補正を行うことができる。 By performing the correction according to Expression (13) using these values, even when the y g axis of the gesture reference system does not coincide with the vertical direction, the correction relating to the deviation between the device reference coordinate system and the gesture reference coordinate system is performed. It can be performed.
なお、さらに多くのベクトルと、ベクトルg(0)とのなす角度を比較対象とし、ベクトルe及び角度ψを決定する構成としてもよい。これにより、デバイス基準座標系とジェスチャ基準座標系とのずれを、より詳細に補正することが可能になる。 In addition, it is good also as a structure which determines the vector e and the angle (psi) by making the angle which more vectors and the vector g (0) make into a comparison object. Thereby, it becomes possible to correct the deviation between the device reference coordinate system and the gesture reference coordinate system in more detail.
また、補正の基準方向ψが予め設定した範囲内に収まる場合のみ、補正処理を適用するように構成してもよい。例えば、補正処理の基準方向を示すベクトルeを4方向から動的に選択する場合は-45°≦ψ<+45°として考えてよいが、-10°≦ψ<+10°のように補正可能な角度の範囲を狭め、ψがその範囲に含まれる場合のみ補正処理を行うように構成してもよい。ユーザが想定されるパターン以外の入力姿勢で入力した場合は、本補正処理を適用しない方がかえって望ましいこともあり、補正可能な角度の範囲を狭めることでそのような問題を回避することができる。 Alternatively, the correction process may be applied only when the correction reference direction ψ falls within a preset range. For example, when the vector e indicating the reference direction of the correction process is dynamically selected from four directions, it may be considered that −45 ° ≦ ψ <+ 45 °, but it is corrected so that −10 ° ≦ ψ <+ 10 °. The range of possible angles may be narrowed, and correction processing may be performed only when ψ is included in the range. When the user inputs an input posture other than the assumed pattern, it may be preferable not to apply this correction processing, and such a problem can be avoided by narrowing the range of the correctable angle. .
(実施形態3)
以下、本発明の実施形態3について、図面を参照して説明する。なお、上述した実施形態2と基本的に同一の構成要素については、同一の符号を付してその説明を簡略化する。
本実施形態に係るジェスチャ入力システムのデータ加工方法の適用対象も、実施形態1において説明したものと同様の、指輪型デバイス1である。
(Embodiment 3)
Embodiment 3 of the present invention will be described below with reference to the drawings. In addition, about the component fundamentally the same as Embodiment 2 mentioned above, the same code | symbol is attached | subjected and the description is simplified.
The application target of the data processing method of the gesture input system according to the present embodiment is also the ring-type device 1 similar to that described in the first embodiment.
ここで、xg軸の負方向に直線を引くジェスチャ入力をユーザが行う場合を考える。
まず、図10(a)に示すように、指輪型デバイス1を装着する人差し指の腹の向きを一定としたまま、手首を軸とした左回転を行った場合である。
Here, consider a case where the user performs gesture input for drawing a straight line in the negative direction of the x g axis.
First, as shown to Fig.10 (a), it is the case where left rotation centering on a wrist is performed, with the direction of the belly of the index finger which wears the ring-type device 1 fixed.
ユーザがこのような形態でジェスチャ入力を行った場合には、ベクトルv(i)は、図11(a)に示すように、zg軸とxg軸とで表される平面内を移動する。 When the user performs a gesture input in such a form, the vector v (i) moves in a plane represented by the z g axis and the x g axis as shown in FIG. .
この場合の点p(i)のxg軸とyg軸で表される平面内での軌道は、図11(b)に示すように、xg軸の負方向に移動していくものとなり、ユーザが意図した直線が、正しく入力される。 In this case, the trajectory of the point p (i) in the plane represented by the x g axis and the y g axis moves in the negative direction of the x g axis as shown in FIG. The straight line intended by the user is correctly input.
次に、図10(b)に示すように、図10(a)にて示した手首を軸とした左回転に加え、ジェスチャ終了時に指の腹がxg軸の負方向を向くように、指を捻ってジェスチャ入力が行われた場合を考える。 Next, as shown in FIG. 10 (b), in addition to the left rotation about the wrist shown in FIG. 10 (a), the belly of the finger faces the negative direction of the xg axis at the end of the gesture. Consider the case where a gesture input is performed by twisting a finger.
この場合には、ベクトルv(i)は、図12(a)に示すように、yg軸方向の成分が含まれる。そのため、ジェスチャ軌跡は、図12(b)に示すような湾曲したものとなり、ユーザの意図した直線のジェスチャ入力と異なるものとなってしまう。 In this case, the vector v (i) includes a component in the y g axis direction as shown in FIG. Therefore, the gesture trajectory is curved as shown in FIG. 12B, which is different from the straight line gesture input intended by the user.
図13は、このような指のねじれによる影響を補正して、ユーザによるジェスチャ入力を取得する際の処理を示すフローチャートである。 FIG. 13 is a flowchart illustrating a process when the user's gesture input is acquired by correcting the influence of the twist of the finger.
ここではまず、実施形態2と共通のステップS21とS22の処理を行った後に、ステップS31において、時刻t(i)における角速度ω(i)を取得し、ステップS32において、時刻t(i)におけるクォータニオンq(i)を算出している。 Here, first, after performing the processes of steps S21 and S22 common to the second embodiment, the angular velocity ω (i) at time t (i) is obtained in step S31, and in step S32, the angular velocity ω (i) is obtained. Quaternion q (i) is calculated.
そして、ステップS33において、時刻t(i)のクォータニオンq(i)を用いて、時刻t(0)から時刻t(i)までのzg軸まわりの回転角度φt(i)を、式(16)より求める。ただし、式(16)は、クォータニオンq(i)が、zg軸まわりの回転、zg軸まわりの回転を受けた後のyg軸まわりの回転、zg軸とyg軸まわりの回転を受けた後のxg軸まわりの回転、の順に回転の合成を行った場合の3次元的な回転と等価として求めた式である。また、arctan2(y,x)は、tanφt(i)=y/xの逆関数であり、-πから+πの範囲の値をとる。 In step S33, using the quaternion q (i) at time t (i), the rotation angle φ t (i) about the z g axis from time t (0) to time t (i) 16). However, equation (16), quaternion q (i) is, rotation about z g axis, rotation about y g-axis after receiving the rotation about z g axis, rotation about z g-axis and y g shaft This is an expression obtained as an equivalent to a three-dimensional rotation in the case of combining rotations in the order of rotation around the x g axis after receiving. Arctan2 (y, x) is an inverse function of tanφ t (i) = y / x and takes a value in the range of −π to + π.
このように求めたφt(i)から、ステップS34において、式(17)により、指のねじれの影響の補正に用いるクォータニオンqt(i)を求める。なお、式(17)におけるベクトルmは、zg軸上の正方向の単位ベクトルである。 From φ t (i) obtained in this way, in step S34, quaternion q t (i) used for correcting the influence of finger torsion is obtained by equation (17). Note that the vector m in Expression (17) is a unit vector in the positive direction on the z g axis.
そして、ステップS35において、式(18)によって、クォータニオンqt(i)を用いて、指のねじれによる影響を補正した変位ベクトルε(i)を求めた後、ステップS36において、式(19)によって、ジェスチャ軌跡を示す点p(i)を算出する。 In step S35, the displacement vector ε (i) corrected for the influence of torsion of the finger is obtained by quaternion q t (i) by equation (18), and then in step S36, equation (19) is obtained. Then, a point p (i) indicating the gesture trajectory is calculated.
ステップS37にて、ジェスチャ入力終了と判断するまで、ステップS38でステップiを進めながら、ステップS31からステップS36までの処理を繰り返し行う。 In step S37, the process from step S31 to step S36 is repeated while proceeding to step i in step S38 until it is determined that the gesture input is completed.
このように、クォータニオンqt(i)によって計算を行いユーザによるジェスチャ軌跡を取得することにより、指のねじれによる影響の補正を行うことができる。 As described above, by calculating with the quaternion q t (i) and acquiring the gesture trajectory by the user, it is possible to correct the influence due to the twist of the finger.
1 指輪型デバイス
11 センサ部
11a ジャイロセンサ
11b 加速度センサ
12 補助入力部
13 フィードバック部
14 演算部
15 主記憶部
16 補助記憶部
17 通信部
18 電源部
DESCRIPTION OF SYMBOLS 1 Ring type device 11 Sensor part 11a Gyro sensor 11b Acceleration sensor 12 Auxiliary input part 13 Feedback part 14 Calculation part 15 Main memory part 16 Auxiliary memory part 17 Communication part 18 Power supply part
本発明に係るデータ加工方法を用いるウェアラブルデバイスは、
角速度を検出する角速度検出手段と、
加速度を検出する加速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に3次元回転処理による補正を行う第1のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、ウェアラブルデバイス内にて加速度検出手段によって検出した加速度に基づいたジェスチャ軌跡の補正を行うことができる。
A wearable device using the data processing method according to the present invention is:
Angular velocity detecting means for detecting angular velocity;
Acceleration detecting means for detecting acceleration;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
And a first gesture trajectory correction unit that corrects the gesture trajectory by a three-dimensional rotation process based on the detected acceleration .
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the wearable device.
本発明に係るデータ加工方法を用いるウェアラブルデバイスの好ましい形態では、
前記角速度検出手段の実装位置及び実装角度に基づいて、前記ジェスチャ軌跡に3次元回転処理による補正を行う第2のジェスチャ軌跡補正手段を有することを特徴とする。
これにより、ウェアラブルデバイス内にて角速度検出手段の実装位置及び実装角度に基づいたジェスチャ軌跡の補正を行うことができる。
In a preferred form of the wearable device using the data processing method according to the present invention ,
Based on the mounting position and mounting angle of said angular velocity detecting means, and having a second gesture trajectory compensation hand stage corrected by three-dimensional rotation processing to the gesture trajectory.
Thereby, it is possible to correct the gesture trajectory based on the mounting position and mounting angle of the angular velocity detection means in the wearable device.
上記課題を解決するため、本発明に係るジェスチャ入力システムのデータ加工方法は、
ユーザの指に装着され、前記指の動きを検出してジェスチャ軌跡を取得する第1のセンサを備える指輪型デバイスによるジェスチャ入力システムにおいて、前記指輪型デバイスの向きに基づいたデバイス基準座標系と、前記ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ジェスチャ軌跡に対して3次元回転処理を行うことを特徴とする。
In order to solve the above problems, a data processing method of a gesture input system according to the present invention includes:
In a gesture input system by a ring-type device that is mounted on a user's finger and includes a first sensor that detects a movement of the finger and acquires a gesture trajectory, a device reference coordinate system based on the orientation of the ring-type device; to match a gesture reference coordinate system based upon the user performs a gesture input, and performs three-dimensional rotation processing for the gesture trajectory.
これにより、前記指輪型デバイスをユーザが装着する向きや、ユーザの姿勢が傾いている場合などにおいても、前記デバイス基準座標系と前記ジェスチャ基準座標系とを一致させ、ユーザはより正確に前記指輪型デバイスを用いた入力を行うことができる。 Thus, orientation and that the ring-type device the user wears, even in a case where the posture of the user is tilted, is matched with the said gesture reference coordinate system and the device reference frame, the user more accurately the ring Input using a type device.
本発明の好ましい形態では、前記第1のセンサが、互いに直行する3軸のそれぞれについての検出値から前記指の動きを検出するセンサであって、
前記互いに直行する3軸によって定義される、前記第1のセンサが値を検出する際に基準とするセンサ基準座標系と、前記デバイス基準座標系と、を一致させるために、前記第1のセンサによって取得したジェスチャ軌跡に3次元回転処理を行うことを特徴とする。
これにより、指輪型デバイス内の空間的な事情などにより、前記センサ基準座標系と前記デバイス基準座標系とが一致しない場合においても、3次元回転処理によって、ユーザが前記指輪型デバイスを用いて入力した3次元的な入力をより正確に取得することができる。
In a preferred embodiment of the present invention, the first sensor is a sensor that detects the movement of the finger from detection values for each of the three axes orthogonal to each other.
It said defined by three axes orthogonal to each other, wherein a first sensor is a sensor reference coordinate system based upon the detection values, in order to pre-match the Kide Vice reference coordinate system, the said first A three-dimensional rotation process is performed on the gesture trajectory acquired by the sensor.
Thus, even when the sensor reference coordinate system and the device reference coordinate system do not match due to spatial circumstances in the ring type device, the user can input using the ring type device by the three-dimensional rotation process. The obtained three-dimensional input can be acquired more accurately.
本発明の好ましい形態では、
前記第1のセンサによって、前記ジェスチャ基準座標系の前記第1の座標軸を回転軸とするねじれ角度を算出するステップと、
前記ねじれ角度に基づいて、前記第1のセンサによって取得したジェスチャ軌跡に3次元回転処理を行うことを特徴とする。
これにより、ユーザによるジェスチャ入力中に、前記指輪型デバイスに前記ユーザが意図しないねじれ運動が加わる場合においても、ユーザが意図する3次元的な入力をより正確に取得することができる。
In a preferred form of the invention,
Calculating a twist angle with the first coordinate axis of the gesture reference coordinate system as a rotation axis by the first sensor;
A three-dimensional rotation process is performed on the gesture trajectory acquired by the first sensor based on the twist angle.
As a result, even when a twisting motion unintended by the user is applied to the ring-type device during the gesture input by the user, the three-dimensional input intended by the user can be obtained more accurately.
本発明の好ましい形態では、前記ジェスチャ基準座標系を、前記指輪型デバイスに設けられた重力ベクトルを検出する第2のセンサによって検出された値によって決定することを特徴とする。
このように、第2のセンサを用いて前記ジェスチャ基準座標系を決定することにより、前記ジェスチャ基準座標系の変化などに柔軟に対応することができる。
In a preferred embodiment of the present invention, the gesture reference coordinate system is determined by a value detected by a second sensor that detects a gravity vector provided in the ring type device.
As described above, by determining the gesture reference coordinate system using the second sensor, it is possible to flexibly cope with a change in the gesture reference coordinate system.
本発明の好ましい形態では、
前記デバイス基準座標系の第1の座標軸及び前記ジェスチャ基準座標系の第1の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であって、
前記3次元回転処理が、
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される、前記デバイス基準座標系の前記第1の座標軸と直行する平面上において、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする。
これにより、ジェスチャ基準座標系が、重力加速度が生じている鉛直方向を直接の基準にできないような場合においても、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。
In a preferred form of the invention,
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The three-dimensional rotation process is
Two lines extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis of the device reference coordinate system represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Setting a reference vector group having the above vectors;
Of the reference vector group, and selecting a rotational reference vector angle formed between the gravity vector becomes minimum,
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a step of performing a rotation process so as to overlap each other.
Thus, even when the gesture reference coordinate system cannot directly use the vertical direction in which the gravitational acceleration occurs as a reference, the correction processing related to the deviation between the gesture reference coordinate system and the device reference coordinate system is performed. Can do.
本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出するジャイロセンサと、加速度を検出する加速度センサと、を有するセンサ部を備え、
デバイスの向きに基づいたデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、3次元回転処理による補正処理を行う、前記ユーザの指に装着されて使用される指輪型デバイスであって、
前記デバイス基準座標系の第1の座標軸及び前記ジェスチャ基準座標系の第1の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であり、
前記補正処理が、
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される、前記第1の座標軸と直行する平面上において、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群を設定し、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択し、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うものであることを特徴とする。
このように、重力加速度に基づいた補正を行うことにより、ユーザが指輪型デバイスを使用する際の装着形態や姿勢の自由度を増すことができる。
A ring-type device using the data processing method according to the present invention ,
Comprising a gyro sensor for detecting angular velocity, and an acceleration sensor for detecting acceleration, a sensor unit having,
In order to make the device reference coordinate system based on the orientation of the device coincide with the gesture reference coordinate system used as a reference when the user performs gesture input , the acceleration sensor is used with respect to the gesture trajectory acquired by the gyro sensor. A ring-type device that is used by being attached to the user's finger, performing correction processing by three-dimensional rotation processing based on the gravitational acceleration detected by
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The correction process is
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set vector group,
A rotation reference vector that minimizes an angle between the reference vector group and the gravity vector is selected;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. The rotation processing is performed so as to overlap each other.
Thus, by performing the correction based on the gravitational acceleration, it is possible to increase the degree of freedom of the wearing form and posture when the user uses the ring type device .
本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記ジャイロセンサが、互いに直行する3軸のそれぞれの軸周りの角速度を検出するものであって、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記3軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、3次元回転処理による補正を行うことを特徴とする。
このように、センサ部の実装位置及び角度に基づいた補正を行うことにより、指輪型デバイス内でのセンサ部の配置の自由度が増加し、指輪型デバイスの筐体の小型化などを行うことができる。
In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The gyro sensor detects angular velocities around the three axes orthogonal to each other;
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process so that the sensor reference coordinate system defined by the three axes matches the device reference coordinate system .
As described above, by performing correction based on the mounting position and angle of the sensor unit, the degree of freedom of arrangement of the sensor unit in the ring type device is increased, and the casing of the ring type device is reduced in size. Can do.
本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出する角速度検出手段と、
加速度を検出する加速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に3次元回転処理による補正を行う第1のジェスチャ軌跡補正手段と、を有し、ユーザの指に装着されて使用される指輪型デバイスであって、
前記第1のジェスチャ軌跡補正手段が、前記指輪型デバイスの向きに基づいた、第1の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とする、第1の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるジェスチャ基準座標系と、を一致させるために、
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される、前記第1の座標軸と直行する平面上における、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群の設定と、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルの選択と、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるようにする3次元回転処理と、を行うことを特徴とする。
これにより、指輪型デバイス内にて加速度検出手段によって検出した加速度に基
づいたジェスチャ軌跡の補正を行うことができる。
A ring-type device using the data processing method according to the present invention,
Angular velocity detecting means for detecting angular velocity;
Acceleration detecting means for detecting acceleration;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
Based on the detected acceleration, the a first gesture trajectory correction means for correcting by 3D rotation process to the gesture trajectory, have a, a ring-type device used is attached to the user's finger,
The first gesture trajectory correcting means includes a device reference coordinate system in which the first coordinate axis is substantially in the same direction as the direction from the base of the finger toward the fingertip based on the orientation of the ring-type device, and the user inputs a gesture In order to match a gesture reference coordinate system in which the first coordinate axis, which is a reference when performing the above, is substantially in the same direction as the direction from the base of the finger toward the fingertip,
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, which is represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set the vector group,
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a three-dimensional rotation process for overlapping .
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the ring type device.
本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記角速度検出手段が、互いに直行する3軸のそれぞれの軸周りの角速度を検出するものであって、前記3軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、前記ジェスチャ軌跡に3次元回転処理による補正を行う第2のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、指輪型デバイス内にて角速度検出手段の実装位置及び実装角度に基
づいたジェスチャ軌跡の補正を行うことができる。
In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The angular velocity detecting means detects angular velocities around the three axes orthogonal to each other, and the sensor reference coordinate system defined by the three axes and the device reference coordinate system are matched. And a second gesture trajectory correction unit that corrects the gesture trajectory by three- dimensional rotation processing.
Thereby, the correction | amendment of the gesture locus | trajectory based on the mounting position and mounting angle of an angular velocity detection means can be performed within a ring type device.
本発明によれば、指輪型デバイスを用いたジェスチャ入力システムにおいて、ユーザの意図する入力をより正確に取得することができる。
ADVANTAGE OF THE INVENTION According to this invention, the input which a user intends can be acquired more correctly in the gesture input system using a ring type device.
本発明の好ましい形態では、前記第1のセンサが、互いに直交する3軸のそれぞれについての検出値から前記指の動きを検出するセンサであって、
前記互いに直交する3軸によって定義される、前記第1のセンサが値を検出する際に基準とするセンサ基準座標系と、前記デバイス基準座標系と、を一致させるために、前記第1のセンサによって取得したジェスチャ軌跡に3次元回転処理を行うことを特徴とする。
これにより、指輪型デバイス内の空間的な事情などにより、前記センサ基準座標系と前記デバイス基準座標系とが一致しない場合においても、3次元回転処理によって、ユーザが前記指輪型デバイスを用いて入力した3次元的な入力をより正確に取得することができる。
In a preferred embodiment of the present invention, the first sensor is a sensor that detects the movement of the finger from detection values for each of three axes orthogonal to each other.
In order to match the sensor reference coordinate system defined by the three axes orthogonal to each other and used as a reference when the first sensor detects a value, the device reference coordinate system is used. A three-dimensional rotation process is performed on the gesture trajectory acquired by the above.
Thus, even when the sensor reference coordinate system and the device reference coordinate system do not match due to spatial circumstances in the ring type device, the user can input using the ring type device by the three-dimensional rotation process. The obtained three-dimensional input can be acquired more accurately.
本発明の好ましい形態では、
前記デバイス基準座標系の第1の座標軸及び前記ジェスチャ基準座標系の第1の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であって、
前記3次元回転処理が、
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される、前記デバイス基準座標系の前記第1の座標軸と直交する平面上において、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする。
これにより、ジェスチャ基準座標系が、重力加速度が生じている鉛直方向を直接の基準にできないような場合においても、前記ジェスチャ基準座標系と前記デバイス基準座標系とのずれに係る補正処理を行うことができる。
In a preferred form of the invention,
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The three-dimensional rotation process is
Two lines extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis of the device reference coordinate system represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Setting a reference vector group having the above vectors;
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector; and
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. And a step of performing a rotation process so as to overlap each other.
Thus, even when the gesture reference coordinate system cannot directly use the vertical direction in which the gravitational acceleration occurs as a reference, the correction processing related to the deviation between the gesture reference coordinate system and the device reference coordinate system is performed. Can do.
本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出するジャイロセンサと、加速度を検出する加速度センサと、を有するセンサ部を備え、
デバイスの向きに基づいたデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とするジェスチャ基準座標系と、を一致させるために、前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、3次元回転処理による補正処理を行う、前記ユーザの指に装着されて使用される指輪型デバイスであって、
前記デバイス基準座標系の第1の座標軸及び前記ジェスチャ基準座標系の第1の座標軸が、共に前記指の付け根から指先に向かう方向と略同一方向であり、
前記補正処理が、
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される、前記第1の座標軸と直交する平面上において、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群を設定し、
前記基準ベクトル群の内、前記重力加速度によって定まる重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択し、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うものであり、
前記基準ベクトル群が、少なくとも、前記デバイス基準座標系の原点より第2の座標軸の正方向に伸びる第1の基準ベクトルと、前記デバイス基準座標系の原点より第2の座標軸の負方向に伸びる第2の基準ベクトルと、前記デバイス基準座標系の原点より第3の座標軸の正方向に伸びる第3の基準ベクトルと、前記デバイス基準座標系の原点より第3の座標軸の負方向に伸びる第4の基準ベクトルと、を有することを特徴とする。
このように、重力加速度に基づいた補正を行うことにより、ユーザが指輪型デバイスを使用する際の装着形態や姿勢の自由度を増すことができる。
A ring-type device using the data processing method according to the present invention,
A sensor unit having a gyro sensor for detecting angular velocity and an acceleration sensor for detecting acceleration;
In order to make the device reference coordinate system based on the orientation of the device coincide with the gesture reference coordinate system used as a reference when the user performs gesture input, the acceleration sensor is used with respect to the gesture trajectory acquired by the gyro sensor. A ring-type device that is used by being attached to the user's finger, performing correction processing by three-dimensional rotation processing based on the gravitational acceleration detected by
The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system are both substantially in the same direction as the direction from the base of the finger toward the fingertip,
The correction process is
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, which is represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set vector group,
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector determined by the gravitational acceleration ;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. so as to overlap state, and are not performing a rotation process,
The reference vector group includes at least a first reference vector extending in the positive direction of the second coordinate axis from the origin of the device reference coordinate system, and a first reference vector extending in the negative direction of the second coordinate axis from the origin of the device reference coordinate system. A second reference vector, a third reference vector extending in the positive direction of the third coordinate axis from the origin of the device reference coordinate system, and a fourth reference vector extending in the negative direction of the third coordinate axis from the origin of the device reference coordinate system. And a reference vector .
Thus, by performing the correction based on the gravitational acceleration, it is possible to increase the degree of freedom of the wearing form and posture when the user uses the ring type device.
本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記ジャイロセンサが、互いに直交する3軸のそれぞれの軸周りの角速度を検出するものであって、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記3軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、3次元回転処理による補正を行うことを特徴とする。
このように、センサ部の実装位置及び角度に基づいた補正を行うことにより、指輪型デバイス内でのセンサ部の配置の自由度が増加し、指輪型デバイスの筐体の小型化などを行うことができる。
In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The gyro sensor detects angular velocities around three axes orthogonal to each other;
The gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process so that the sensor reference coordinate system defined by the three axes coincides with the device reference coordinate system.
As described above, by performing correction based on the mounting position and angle of the sensor unit, the degree of freedom of arrangement of the sensor unit in the ring type device is increased, and the casing of the ring type device is reduced in size. Can do.
本発明に係るデータ加工方法を用いる指輪型デバイスは、
角速度を検出する角速度検出手段と、
加速度を検出する加速度検出手段と、
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に3次元回転処理による補正を行う第1のジェスチャ軌跡補正手段と、を有し、ユーザの指に装着されて使用される指輪型デバイスであって、
前記第1のジェスチャ軌跡補正手段が、前記指輪型デバイスの向きに基づいた、第1の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるデバイス基準座標系と、ユーザがジェスチャ入力を行う際に基準とする、第1の座標軸が前記指の付け根から指先に向かう方向と略同一方向であるジェスチャ基準座標系と、を一致させるために、
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される、前記第1の座標軸と直交する平面上における、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群の設定と、
前記基準ベクトル群の内、前記加速度検出手段によって検出した重力加速度によって定まる重力ベクトルとの間になす角度が最小となる回転基準ベクトルの選択と、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるようにする3次元回転処理と、を行い、
前記基準ベクトル群が、少なくとも、前記デバイス基準座標系の原点より第2の座標軸の正方向に伸びる第1の基準ベクトルと、前記デバイス基準座標系の原点より第2の座標軸の負方向に伸びる第2の基準ベクトルと、前記デバイス基準座標系の原点より第3の座標軸の正方向に伸びる第3の基準ベクトルと、前記デバイス基準座標系の原点より第3の座標軸の負方向に伸びる第4の基準ベクトルと、を有することを特徴とする。
これにより、指輪型デバイス内にて加速度検出手段によって検出した加速度に基
づいたジェスチャ軌跡の補正を行うことができる。
A ring-type device using the data processing method according to the present invention,
Angular velocity detecting means for detecting angular velocity;
Acceleration detecting means for detecting acceleration;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
A first gesture trajectory correction unit that corrects the gesture trajectory by three-dimensional rotation processing based on the detected acceleration, and is a ring-type device that is used by being worn on a user's finger,
The first gesture trajectory correcting means includes a device reference coordinate system in which the first coordinate axis is substantially in the same direction as the direction from the base of the finger toward the fingertip based on the orientation of the ring-type device, and the user inputs a gesture In order to match a gesture reference coordinate system in which the first coordinate axis, which is a reference when performing the above, is substantially in the same direction as the direction from the base of the finger toward the fingertip,
A reference having two or more vectors extending from the origin of the device reference coordinate system on a plane orthogonal to the first coordinate axis, which is represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system Set the vector group,
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector determined by the gravitational acceleration detected by the acceleration detecting means ;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. 3D rotation process and to overlap, stomach line,
The reference vector group includes at least a first reference vector extending in the positive direction of the second coordinate axis from the origin of the device reference coordinate system, and a first reference vector extending in the negative direction of the second coordinate axis from the origin of the device reference coordinate system. A second reference vector, a third reference vector extending in the positive direction of the third coordinate axis from the origin of the device reference coordinate system, and a fourth reference vector extending in the negative direction of the third coordinate axis from the origin of the device reference coordinate system. And a reference vector .
Thereby, it is possible to correct the gesture trajectory based on the acceleration detected by the acceleration detecting means in the ring type device.
本発明に係るデータ加工方法を用いる指輪型デバイスの好ましい形態では、
前記角速度検出手段が、互いに直交する3軸のそれぞれの軸周りの角速度を検出するものであって、前記3軸によって定義されるセンサ基準座標系と前記デバイス基準座標系とが一致するよう、前記ジェスチャ軌跡に3次元回転処理による補正を行う第2のジェスチャ軌跡補正手段と、を有することを特徴とする。
これにより、指輪型デバイス内にて角速度検出手段の実装位置及び実装角度に基づいたジェスチャ軌跡の補正を行うことができる。
In a preferred embodiment of the ring type device using the data processing method according to the present invention,
The angular velocity detection means detects angular velocities around three axes orthogonal to each other, and the sensor reference coordinate system defined by the three axes and the device reference coordinate system are matched with each other. And a second gesture trajectory correction unit that corrects the gesture trajectory by three-dimensional rotation processing.
Thereby, the correction | amendment of the gesture locus | trajectory based on the mounting position and mounting angle of an angular velocity detection means can be performed within a ring type device.
Claims (14)
前記ねじれ角度に基づいて、前記第1のセンサによって取得したジェスチャ軌跡に3次元回転処理を行うことを特徴とする、請求項1又は請求項2に記載のジェスチャ入力システムのデータ加工方法。 Calculating a twist angle with one coordinate axis of the gesture reference coordinate system as a rotation axis by the first sensor;
3. The data processing method of the gesture input system according to claim 1, wherein a three-dimensional rotation process is performed on the gesture trajectory acquired by the first sensor based on the twist angle.
前記デバイス基準座標系の第2の座標軸と第3の座標軸とで表される平面上において、前記デバイス基準座標系の原点より伸びる2本以上のベクトルを有する基準ベクトル群を設定するステップと、
前記基準ベクトル群の内、前記第2のセンサよって検出された重力ベクトルとの間になす角度が最小となる回転基準ベクトルを選択するステップと、
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うステップと、を備えることを特徴とする、請求項4に記載のジェスチャ入力システムのデータ加工方法。 The first coordinate axis of the device reference coordinate system and the first coordinate axis of the gesture reference coordinate system overlap,
Setting a reference vector group having two or more vectors extending from the origin of the device reference coordinate system on a plane represented by the second coordinate axis and the third coordinate axis of the device reference coordinate system;
Selecting a rotation reference vector that minimizes an angle between the reference vector group and the gravity vector detected by the second sensor;
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. The method for processing data of the gesture input system according to claim 4, further comprising a step of performing a rotation process so as to overlap.
前記回転基準ベクトルの方向が、前記重力ベクトルの前記デバイス基準座標系の前記第2の座標軸の成分と、前記デバイス基準座標系の前記第3の座標軸の成分と、からなる2次元ベクトルの方向に重なるように、回転処理を行うことを特徴とする、請求項5又は請求項6に記載のジェスチャ入力システムのデータ加工方法。 Only when the angle formed between the rotation reference vector and the gravity vector falls within a preset correction target range,
The direction of the rotation reference vector is a direction of a two-dimensional vector consisting of the component of the second coordinate axis of the device reference coordinate system of the gravity vector and the component of the third coordinate axis of the device reference coordinate system. The data processing method of the gesture input system according to claim 5 or 6, wherein the rotation processing is performed so as to overlap each other.
前記センサ部が角速度を検出するジャイロセンサと、加速度を検出する加速度センサと、を有し、
前記ジャイロセンサによって取得したジェスチャ軌跡に対して、前記加速度センサによって検出した重力加速度に基づいた、3次元回転処理による補正を行うことを特徴とするウェアラブルデバイス。 A wearable device including a sensor unit,
The sensor unit includes a gyro sensor that detects angular velocity, and an acceleration sensor that detects acceleration,
A wearable device, wherein a gesture trajectory acquired by the gyro sensor is corrected by a three-dimensional rotation process based on the gravitational acceleration detected by the acceleration sensor.
検出した前記角速度からジェスチャ軌跡を導出するジェスチャ軌跡導出手段と、
検出した前記加速度に基づいて、前記ジェスチャ軌跡に3次元回転処理による補正を行う第1のジェスチャ軌跡補正手段と、を有することを特徴とするウェアラブルデバイス。 Angular velocity detecting means for detecting angular velocity;
Gesture trajectory deriving means for deriving a gesture trajectory from the detected angular velocity;
A wearable device comprising: a first gesture trajectory correction unit configured to correct the gesture trajectory by a three-dimensional rotation process based on the detected acceleration.
前記角速度検出手段の実装位置及び実装角度に基づいて、前記ジェスチャ軌跡に3次元回転処理による補正を行う第2のジェスチャ軌跡補正手段と、を有することを特徴とする、請求項13に記載のウェアラブルデバイス。
Acceleration detecting means for detecting acceleration;
The wearable according to claim 13, further comprising: a second gesture trajectory correction unit that corrects the gesture trajectory by a three-dimensional rotation process based on a mounting position and a mounting angle of the angular velocity detection unit. device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014206354A JP2016076104A (en) | 2014-10-07 | 2014-10-07 | Method for processing data of gesture input system |
PCT/JP2015/054773 WO2016056259A1 (en) | 2014-10-07 | 2015-02-20 | Gesture input system data processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014206354A JP2016076104A (en) | 2014-10-07 | 2014-10-07 | Method for processing data of gesture input system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016076104A true JP2016076104A (en) | 2016-05-12 |
Family
ID=55652889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014206354A Ceased JP2016076104A (en) | 2014-10-07 | 2014-10-07 | Method for processing data of gesture input system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2016076104A (en) |
WO (1) | WO2016056259A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6308643B1 (en) * | 2017-03-24 | 2018-04-11 | 望月 玲於奈 | Attitude calculation program, program using attitude information |
JP2018087805A (en) * | 2016-10-17 | 2018-06-07 | ジック シュテークマン ゲーエムベーハーSICK STEGMANN GmbH | Angle measuring device for determination of rotational angle |
WO2023166885A1 (en) * | 2022-03-04 | 2023-09-07 | 株式会社小松製作所 | Information calibration method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111240468B (en) * | 2019-12-31 | 2023-04-25 | 北京诺亦腾科技有限公司 | Calibration method and device for hand motion capture, electronic equipment and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0728591A (en) * | 1993-05-13 | 1995-01-31 | Toshiba Corp | Space manipulation mouse system and space operation pattern input method |
JP2002062981A (en) * | 2000-08-16 | 2002-02-28 | Nippon Hoso Kyokai <Nhk> | Display screen indicating device |
JP2009301531A (en) * | 2007-10-22 | 2009-12-24 | Sony Corp | Space operation type apparatus, control apparatus, control system, control method, method of producing space operation input apparatus, and handheld apparatus |
JP2013011979A (en) * | 2011-06-28 | 2013-01-17 | Jvc Kenwood Corp | Motion instruction apparatus, motion instruction system, motion instruction method and program |
JP2013029921A (en) * | 2011-07-27 | 2013-02-07 | Nintendo Co Ltd | Pointing system, information processing system, setting method for coordinate system and the like, information processing device, and information processing program |
-
2014
- 2014-10-07 JP JP2014206354A patent/JP2016076104A/en not_active Ceased
-
2015
- 2015-02-20 WO PCT/JP2015/054773 patent/WO2016056259A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0728591A (en) * | 1993-05-13 | 1995-01-31 | Toshiba Corp | Space manipulation mouse system and space operation pattern input method |
JP2002062981A (en) * | 2000-08-16 | 2002-02-28 | Nippon Hoso Kyokai <Nhk> | Display screen indicating device |
JP2009301531A (en) * | 2007-10-22 | 2009-12-24 | Sony Corp | Space operation type apparatus, control apparatus, control system, control method, method of producing space operation input apparatus, and handheld apparatus |
JP2013011979A (en) * | 2011-06-28 | 2013-01-17 | Jvc Kenwood Corp | Motion instruction apparatus, motion instruction system, motion instruction method and program |
JP2013029921A (en) * | 2011-07-27 | 2013-02-07 | Nintendo Co Ltd | Pointing system, information processing system, setting method for coordinate system and the like, information processing device, and information processing program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018087805A (en) * | 2016-10-17 | 2018-06-07 | ジック シュテークマン ゲーエムベーハーSICK STEGMANN GmbH | Angle measuring device for determination of rotational angle |
JP6308643B1 (en) * | 2017-03-24 | 2018-04-11 | 望月 玲於奈 | Attitude calculation program, program using attitude information |
JP2018163626A (en) * | 2017-03-24 | 2018-10-18 | 望月 玲於奈 | Posture calculation program and program using posture information |
US11747974B2 (en) | 2017-03-24 | 2023-09-05 | Leona MOCHIZUKI | Orientation calculation program and device, and program and device using orientation information |
WO2023166885A1 (en) * | 2022-03-04 | 2023-09-07 | 株式会社小松製作所 | Information calibration method |
Also Published As
Publication number | Publication date |
---|---|
WO2016056259A1 (en) | 2016-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10788934B2 (en) | Input adjustment | |
TWI378367B (en) | ||
KR100543701B1 (en) | Apparatus and method for inputting information spatially | |
JP4582116B2 (en) | INPUT DEVICE, CONTROL DEVICE, CONTROL SYSTEM, CONTROL METHOD AND ITS PROGRAM | |
US20050237296A1 (en) | Apparatus, system and method for virtual user interface | |
JP5732792B2 (en) | Information processing apparatus and information processing program | |
WO2016056259A1 (en) | Gesture input system data processing method | |
JP5589549B2 (en) | Information processing apparatus and method of operating information processing apparatus | |
US20200387227A1 (en) | Length Calibration for Computer Models of Users to Generate Inputs for Computer Systems | |
US20150260750A1 (en) | Electronic apparatus and program | |
CN105389578A (en) | information processing apparatus, information processing system and information processing method | |
US11531392B2 (en) | Tracking upper arm movements using sensor modules attached to the hand and forearm | |
JP6209581B2 (en) | Attitude calculation device, attitude calculation method, portable device, and program | |
CN110096134B (en) | VR handle ray jitter correction method, device, terminal and medium | |
CN112328099B (en) | Low-power pointing method and electronic device for realizing same | |
JP5652647B2 (en) | Small electronic device, processing method and program | |
KR20200113601A (en) | Input Device and Electronic Device which interact with the Input Device | |
JPH10232739A (en) | Pen type input device | |
JP5780568B1 (en) | Gesture input data detection method | |
KR102468082B1 (en) | Correction method for handwriting input, electronic device and storage medium therefor | |
WO2022035458A1 (en) | Slippage resistant gaze tracking user interfaces | |
US10936147B2 (en) | Tablet computing device with display dock | |
JP5867554B2 (en) | Information processing apparatus and method of operating information processing apparatus | |
US11961601B1 (en) | Adaptive user interface for determining errors in performance of activities | |
JP6481360B2 (en) | Input method, input program, and input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
A045 | Written measure of dismissal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20160830 |