JPWO2017134732A1 - Input device, input support method, and input support program - Google Patents
Input device, input support method, and input support program Download PDFInfo
- Publication number
- JPWO2017134732A1 JPWO2017134732A1 JP2017564988A JP2017564988A JPWO2017134732A1 JP WO2017134732 A1 JPWO2017134732 A1 JP WO2017134732A1 JP 2017564988 A JP2017564988 A JP 2017564988A JP 2017564988 A JP2017564988 A JP 2017564988A JP WO2017134732 A1 JPWO2017134732 A1 JP WO2017134732A1
- Authority
- JP
- Japan
- Prior art keywords
- input
- mode
- unit
- information
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
ウェアラブルデバイスは、入力を受け付けるスイッチを備えると共に人体に装着され、姿勢センサを有する。ウェアラブルデバイスは、姿勢センサから出力される運動情報を取得する。そして、ウェアラブルデバイスは、取得された運動情報のうちスイッチが入力されている期間で取得された運動情報を用いて、第１のモードまたは第２のモードのいずれか一方の動作モードに対応する情報を出力する。また、ウェアラブルデバイスは、取得された運動情報のうちスイッチが入力されていない期間で取得された運動情報が予め設定された条件を満たす場合は、動作モードを他方の動作モードに切り替える。The wearable device includes a switch that receives an input, is mounted on a human body, and has a posture sensor. The wearable device acquires motion information output from the posture sensor. The wearable device uses the exercise information acquired in the period when the switch is input among the acquired exercise information, and corresponds to the operation mode of either the first mode or the second mode. Is output. Further, the wearable device switches the operation mode to the other operation mode when the exercise information acquired in a period in which the switch is not input among the acquired exercise information satisfies a preset condition.
Description
本発明は、入力装置、入力支援方法および入力支援プログラムに関する。 The present invention relates to an input device, an input support method, and an input support program.
スマートウォッチやスマートグラスなどのウェアラブルデバイスの市場への投入が進み、従来のパソコンやスマートフォンとは異なる新しいサービスが普及している。このようなウェアラブルデバイスは、身に着けて使用されることから、画面を触って操作するなどの入力が難しい。 With the introduction of wearable devices such as smart watches and smart glasses, new services different from conventional personal computers and smartphones are spreading. Since such a wearable device is worn and used, it is difficult to input by touching the screen.
従来から、ウェアラブルデバイスに対して音声によって文字等を入力する手法が知られている。近年では、センサを有するウェアラブルデバイスを指に装着し、指の動きによるジェスチャで簡単なコマンドや手書き文字を、ウェアラブルデバイスと無線通信されるデバイスへ入力する手法が知られている。 2. Description of the Related Art Conventionally, a method for inputting characters and the like by voice to a wearable device is known. In recent years, a method is known in which a wearable device having a sensor is worn on a finger and a simple command or handwritten character is input to a device wirelessly communicated with the wearable device by a gesture of finger movement.
しかしながら、上記技術では、ウェアラブルデバイスの入力モードを切り替える際の操作性がよくない。例えば、上記ウェアラブルデバイスをマウスなどと同様にポインタデバイスとして使用する場合や手書き入力を行うデバイスとして使用することが考えられる。この場合、ウェアラブルデバイスと接続される表示デバイス側で、ポインタとして使用する場合のアプリケーションと手書き入力を行う場合のアプリケーションとを切り替えることになり、ユーザの利便性が悪い。 However, the above technique does not provide good operability when switching the input mode of the wearable device. For example, when the wearable device is used as a pointer device like a mouse or the like, it can be used as a device for handwritten input. In this case, the display device connected to the wearable device switches between an application for use as a pointer and an application for handwriting input, which is inconvenient for the user.
１つの側面では、操作性を向上させることができる入力装置、入力支援方法および入力支援プログラムを提供することを目的とする。 An object of one aspect is to provide an input device, an input support method, and an input support program that can improve operability.
第１の案では、入力装置は、入力を受け付けるスイッチを備えると共に人体に装着され、モーションセンサを有する。入力装置は、前記モーションセンサから出力される運動情報を取得する取得部を有する。入力装置は、前記取得部により取得された前記運動情報のうち前記スイッチが入力されている期間で取得された運動情報を用いて、第１のモードまたは第２のモードのいずれか一方の動作モードに対応する情報を出力する出力部を有する。入力装置は、前記取得部により取得された前記運動情報のうち前記スイッチが入力されていない期間で取得された運動情報が予め設定された条件を満たす場合は、前記動作モードを他方の動作モードに切り替える切替部を有する。 In the first proposal, the input device includes a switch that receives an input, is attached to a human body, and includes a motion sensor. The input device includes an acquisition unit that acquires exercise information output from the motion sensor. The input device uses either the first mode or the second mode of operation mode using the exercise information acquired during the period when the switch is input among the exercise information acquired by the acquisition unit. And an output unit for outputting information corresponding to. When the exercise information acquired during the period when the switch is not input among the exercise information acquired by the acquisition unit satisfies a preset condition, the input device sets the operation mode to the other operation mode. A switching unit for switching is provided.
一実施形態によれば、操作性を向上させることができる。 According to one embodiment, operability can be improved.
以下に、本発明にかかる入力装置、入力支援方法および入力支援プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。 Hereinafter, embodiments of an input device, an input support method, and an input support program according to the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments. In addition, the embodiments can be appropriately combined within a consistent range.
［全体構成］
図１は、実施例１にかかるシステムの全体構成例を示す図である。図１に示す入力システムは、ウェアラブルデバイス１０と、ヘッドマウントディスプレイ３０と、入力装置５０とを有する。ウェアラブルデバイス１０とヘッドマウントディスプレイ３０と入力装置５０は、ネットワークを介して通信可能に接続され、各種の情報を交換することが可能とされている。かかるネットワークの一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。本実施例では、ウェアラブルデバイス１０とヘッドマウントディスプレイ３０と入力装置５０が無線通信により通信を行う場合を例に説明する。[overall structure]
FIG. 1 is a diagram illustrating an example of the overall configuration of a system according to the first embodiment. The input system shown in FIG. 1 includes a
入力システムは、ユーザの入力の支援を行うシステムである。例えば、入力システムは、工場などでのユーザの作業支援に用いられ、ユーザがメモなどを取る場合や他の装置へのコマンド発行などに使用される。ユーザは、様々な場所を移動しながら作業する場合がある。このため、パーソナルコンピュータなどの固定端末ではなく、ウェアラブルデバイス１０を用いて各種入力を可能とすることにより、ユーザは、様々な場所を移動しながら入力を行うことができる。
The input system is a system that supports user input. For example, the input system is used for user work support in a factory or the like, and is used when the user takes notes or issues commands to other devices. A user may work while moving in various places. For this reason, by enabling various inputs using the
ウェアラブルデバイス１０は、ユーザが身に着けて使用し、ユーザの指操作やジェスチャを検出するデバイスである。本実施例では、ウェアラブルデバイス１０を、指に装着するデバイスとする。ウェアラブルデバイス１０は、マウスなどのようなポインタ（ポインティング）デバイスや空中手書き入力用デバイスとして機能する。また、ウェアラブルデバイス１０は、指の姿勢変化を検出し、指の姿勢変化に関する情報を入力装置５０へ送信する。なお、本実施例では、ポインタデバイス（ポインティングデバイス）として機能する場合をポインタモード、空中手書き入力用デバイスとして機能する場合を手書きモードと記載する場合がある。
The
図２Ａ〜図２Ｃは、ウェアラブルデバイスの一例を示す図である。ウェアラブルデバイス１０は、指輪のように、リング形状とされており、図２Ｃに示すように、リングに指を通すことで指への装着が可能とされている。ウェアラブルデバイス１０は、リングの一部分が他の部分より厚く且つ幅広に形成され、主要な電子部品を内蔵する部品内蔵部とされている。また、ウェアラブルデバイス１０は、リングの部品内蔵部の内面が平面状に形成されている。すなわち、ウェアラブルデバイス１０は、部品内蔵部を指の上側にした場合に指とフィットしやすい形状となっている。
2A to 2C are diagrams illustrating an example of a wearable device. The
ウェアラブルデバイス１０は、図２Ｃに示すように、部品内蔵部を指の上側としてほぼ同様の向きで指に装着される。また、ウェアラブルデバイス１０は、図２Ａに示すように、リングの側面側にスイッチ１４が設けられている。また、図２Ａに示すように、ウェアラブルデバイス１０には、ＬＥＤ発光部１０ａと１０ｂとが設けられており、例えばＬＥＤ発光部１０ａは赤色に発光し、ＬＥＤ発光部１０ｂは緑色に発光する。スイッチ１４は、図２Ｃに示すように、ウェアラブルデバイス１０を右手の人差指に装着した場合に親指に対応する位置に配置されている。ウェアラブルデバイス１０は、スイッチ１４の周辺部分が、スイッチ１４の上面と同様の高さまで***させた形状に形成されている。これにより、ウェアラブルデバイス１０は、指をスイッチ１４部分に置いただけではスイッチ１４がオンとならない。
As shown in FIG. 2C, the
図２Ｄは、ウェアラブルデバイスのスイッチに対する操作の一例を示す図である。図２Ｄの例は、ウェアラブルデバイス１０を人差指に装着してスイッチ１４を親指で操作する場合を示している。ウェアラブルデバイス１０は、図２Ｄの左側に示すように、親指をスイッチ１４部分に置いただけではスイッチ１４がオンされず、図２Ｄの右側に示すように、親指を押し込むことでスイッチ１４がオンされる。ユーザは、入力開始時においては、指を入力ポジションにそえ、入力を行う際に指で押し込むことで入力を開始する。
FIG. 2D is a diagram illustrating an example of an operation on a switch of the wearable device. The example of FIG. 2D shows a case where the
スイッチ１４は、縮んだ状態でオン状態となり、伸びた状態でオフ状態となり、内蔵されたバネなどの弾性体により伸張した状態となるように付勢されている。これにより、スイッチ１４は、指で押し込まれることでオン状態となり、指の力を抜き緩めることでオフ状態となる。このように構成することで、ウェアラブルデバイス１０は、正常な状態で装着されないと入力を開始することができず、指に装着した際に装着位置が正常な状態の位置に自然に矯正される。また、ユーザは、指をスイッチ１４から離さずに入力、非入力区間をコントロールできる。
The
図１に戻り、ヘッドマウントディスプレイ３０は、ユーザが頭に装着し、各種の情報をユーザに視認可能に表示するデバイスである。ヘッドマウントディスプレイ３０は、両眼に対応したものであってもよく、片眼のみに対応したものであってもよい。
Returning to FIG. 1, the head mounted
図３は、ヘッドマウントディスプレイの一例を示す図である。本実施例では、ヘッドマウントディスプレイ３０は、両眼に対応する眼鏡形状とされている。ヘッドマウントディスプレイ３０は、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性を有する。また、ヘッドマウントディスプレイ３０は、レンズ部分の一部に透過性を有する表示部が内蔵され、表示部に画像などの各種の情報の表示が可能とされている。これにより、ヘッドマウントディスプレイ３０は、装着したユーザに現実環境を視認させつつ、視界の一部で各種の情報を視認させて現実環境を拡張する拡張現実を実現する。図３には、装着したユーザの視界３０Ａの一部に設けられた表示部３０Ｂが模式的に示されている。
FIG. 3 is a diagram illustrating an example of a head mounted display. In the present embodiment, the head mounted
また、ヘッドマウントディスプレイ３０は、２つのレンズ部分の間にカメラが内蔵され、当該カメラにより、装着したユーザの視線方向の画像の撮影が可能とされている。
The head mounted
図１に戻り、入力装置５０は、ユーザの指操作による各種入力を支援する装置である。入力装置５０は、例えば、スマートフォンやタブレット端末など、携帯可能な情報処理装置である。なお、入力装置５０は、データセンタなどに設けられた１台または複数台のコンピュータとして実装してもよい。すなわち、入力装置５０は、ウェアラブルデバイス１０およびヘッドマウントディスプレイ３０と通信可能であれば、クラウドのコンピュータであってもよい。
Returning to FIG. 1, the
このような入力システムは、ウェアラブルデバイス１０が有するモーションセンサから出力される運動情報を取得する。入力システムは、取得された運動情報のうちスイッチ１４が入力されている期間で取得された運動情報を用いて、第１のモードまたは第２のモードのいずれか一方の動作モードに対応する情報を出力する。また、入力システムは、取得された運動情報のうちスイッチ１４が入力されていない期間で取得された運動情報が予め設定された条件を満たす場合は、動作モードを他方の動作モードに切り替える。
Such an input system acquires motion information output from a motion sensor included in the
例えば、入力システムは、所定時間内に、ウェアラブルデバイス１０が所定値以上の加速度で所定回数移動した場合に、現在選択中の動作モードを他方の動作モードに切り替える。つまり、入力システムは、ヘッドマウントディスプレイ３０などの表示装置側でアプリなどの切替操作を行わずに、ウェアラブルデバイス１０を動かすことで、動作モードを切り替えることができる。したがって、操作性を向上させることができる。
For example, the input system switches the currently selected operation mode to the other operation mode when the
［各装置の構成］
次に、図１に示した入力システムの機能構成を説明する。図４は、実施例１にかかるシステムの機能構成を示す機能ブロック図である。ここでは、ウェアラブルデバイス１０、ヘッドマウントディスプレイ３０、入力装置５０の機能構成について説明する。[Configuration of each device]
Next, the functional configuration of the input system shown in FIG. 1 will be described. FIG. 4 is a functional block diagram of the functional configuration of the system according to the first embodiment. Here, functional configurations of the
（ウェアラブルデバイスの機能構成）
図４に示すように、ウェアラブルデバイス１０は、無線部１１、記憶部１２、加速度センサ１３、スイッチ１４、姿勢センサ１５、制御部２０を有する。なお、ウェアラブルデバイス１０は、上記の機器以外の他の機器を有してもよい。(Functional configuration of wearable device)
As illustrated in FIG. 4, the
無線部１１は、他の装置との間で無線の通信制御を行うインタフェースである。無線部１１としては、無線チップなどのネットワークインタフェースカードを採用できる。また、無線部１１は、無線により通信を行うデバイスであり、無線により他の装置と各種情報を送受信する。例えば、無線部１１は、指の操作情報や姿勢変化情報などの各種情報を入力装置５０へ送信する。
The wireless unit 11 is an interface that performs wireless communication control with other devices. As the wireless unit 11, a network interface card such as a wireless chip can be adopted. The wireless unit 11 is a device that communicates wirelessly, and transmits and receives various information to and from other devices wirelessly. For example, the wireless unit 11 transmits various information such as finger operation information and posture change information to the
例えば、無線部１１は、入力装置５０との間で２つの通信経路を確立する。具体的には、無線部１１は、ブルートゥース（登録商標）の標準プロファイルの１つであるＨＩＤ（Human Interface Device Profile）による、ポインタ情報を送信する経路と、手書き入力用に予め設定したＵｓｅｒＰｒｏｆｉｌｅ（ユーザプロファイル）による経路とを接続する。
For example, the wireless unit 11 establishes two communication paths with the
記憶部１２は、制御部２０が実行するプログラムや各種情報を記憶する記憶装置であり、例えばハードディスクやメモリなどである。例えば、記憶部１２は、制御部２０で生成される各種情報、制御部２０が実行する処理の中間データなどを記憶する。 The storage unit 12 is a storage device that stores programs executed by the control unit 20 and various types of information, such as a hard disk and a memory. For example, the storage unit 12 stores various information generated by the control unit 20, intermediate data of processing executed by the control unit 20, and the like.
加速度センサ１３は、ウェアラブルデバイス１０の加速度を検知するセンサであり、例えば３軸加速度センサである。例えば、加速度センサ１３は、測定した加速度を制御部２０に出力する。
The acceleration sensor 13 is a sensor that detects the acceleration of the
スイッチ１４は、ユーザからの入力を受け付けるデバイスである。スイッチ１４は、図２Ｃに示したように、ウェアラブルデバイス１０のリングの側面側に設けられている。スイッチ１４は、押されるとオンとなり、離されるとオフとなる。スイッチ１４は、ユーザからの操作入力を受け付ける。例えば、ウェアラブルデバイス１０がユーザの人差指に装着された場合、スイッチ１４は、ユーザの親指による操作入力を受け付ける。スイッチ１４は、受け付けた操作内容を示す操作情報を制御部２０へ出力する。ユーザは、スイッチ１４を操作して各種の入力を行う。例えば、ユーザは、指操作による入力を開始する際、スイッチ１４をオンする。
The
姿勢センサ１５は、ユーザの指操作を検出するデバイスであり、モーションセンサの一例である。例えば、姿勢センサ１５は、３軸のジャイロセンサなどを採用できる。姿勢センサ１５は、図２Ｃに示すように、ウェアラブルデバイス１０が正しく指に装着された場合、３軸が指の回転軸と対応するようにウェアラブルデバイス１０に内蔵されている。図５は、指の回転軸の一例を示す図である。図５の例では、互いに直交するＸ、Ｙ、Ｚの３軸が示されている。図５の例では、指を曲げる動作方向の回転軸がＹ軸とされ、指を左右に振る動作方向の回転軸がＺ軸とされ、指を回す動作方向の回転軸がＸ軸とされている。姿勢センサ１５は、制御部２０からの制御に応じて、Ｘ、Ｙ、Ｚの各回転軸の回転を検出し、検出された３軸の回転を指の姿勢変化を示す姿勢変化情報として制御部２０へ出力する。
The
制御部２０は、ウェアラブルデバイス１０を制御するデバイスである。制御部２０としては、マイコン、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部２０は、無線部１１を介して、スイッチ１４の操作情報を入力装置５０へ送信する。また、制御部２０は、スイッチ１４がオンとなると、姿勢センサ１５を制御して姿勢変化を検出させる。制御部２０は、無線部１１を介して、姿勢センサ１５により検出される姿勢変化情報などを入力装置５０へ送信する。
The control unit 20 is a device that controls the
このような制御部２０は、検出部２１、モード選択部２２、モード切替部２３、情報生成部２４、出力部２５を有する。
Such a control unit 20 includes a detection unit 21, a mode selection unit 22, a mode switching unit 23, an information generation unit 24, and an
検出部２１は、姿勢センサ１５から出力されるセンサ値、すなわち運動情報を検出する処理部である。具体的には、検出部２１は、スイッチ１４がオンにされた時点の位置を基準に設定し、スイッチ１４がオンからオフになるまで、基準からの移動履歴を検出し続けて、検出する移動履歴を運動情報として検出する。なお、移動履歴としては、座標や３軸ジャイロを用いることもでき、座標と３軸ジャイロとを組み合わせた情報を用いることもできる。また、検出部２１は、スイッチ１４がオンにされた時、オフにされた時、動きが停止した停止時間などを、運動情報の該当箇所に対応付けて出力することもできる。
The detection unit 21 is a processing unit that detects a sensor value output from the
モード選択部２２は、ポインタモードか手書きモードかのいずれかを選択する処理部である。例えば、モード選択部２２は、初期モードとしてはポインタモードを選択し、選択した動作モードの情報を出力部２５に通知する。また、モード選択部２２は、後述するモード切替部２３による指示によって切替が指示された場合は、選択している動作モードを他方に切り替える。例えば、モード選択部２２は、ポインタモードを選択中に切り替え指示を受付けると、手書きモードに切り替えて、切り替えた動作モードを出力部２５に通知する。なお、初期モードは任意に設定変更することができる。
The mode selection unit 22 is a processing unit that selects either the pointer mode or the handwriting mode. For example, the mode selection unit 22 selects the pointer mode as the initial mode, and notifies the
モード切替部２３は、スイッチ１４が入力されていない期間で取得された運動情報が予め設定された動作を検出した場合、動作モードを他方の動作モードに切り替える処理部である。例えば、モード切替部２３は、スイッチ１４がオフの状態で、例えば１秒以内に、ウェアラブルデバイス１０の加速度が２回所定値以上になった場合に、モード切替指示をモード選択部２２に通知する。
The mode switching unit 23 is a processing unit that switches the operation mode to the other operation mode when the exercise information acquired in a period when the
例を挙げると、モード切替部２３は、スイッチ１４がオフになったことを検知すると、ウェアラブルデバイス１０をアイドル状態に遷移させる。つまり、モード切替部２３は、スイッチ１４のオフ時は、姿勢センサ１５による検出を抑制する。
For example, when the mode switching unit 23 detects that the
そして、モード切替部２３は、このアイドル状態から、加速度センサ１３を介して閾値（α（ｍ／ｓ２））以上の加速度を検知した後、１秒以内に、閾値（α（ｍ／ｓ２））以上の加速度を再度検知した場合に、モード切替操作を検出する。その後、モード切替部２３は、モード切替指示をモード選択部２２に出力する。The mode switching unit 23, from the idle state, after detecting an acceleration above a threshold value (α (m / s 2) ) through an acceleration sensor 13, within one second, the threshold value (α (m / s 2 )) A mode switching operation is detected when the above acceleration is detected again. Thereafter, the mode switching unit 23 outputs a mode switching instruction to the mode selection unit 22.
なお、モード切替部２３は、モード切替操作時に、選択中のモードをユーザに報知することもできる。例えば、モード切替部２３は、アイドル状態で閾値以上の加速度を検知した場合、選択されているモードに対応するＬＥＤ発光部１０ａを点灯させる。その後、モード切替部２３は、モード切替操作を検知すると、他方のＬＥＤ発光部１０ｂを発光させる。
Note that the mode switching unit 23 can also notify the user of the mode being selected during the mode switching operation. For example, when the mode switching unit 23 detects an acceleration equal to or higher than the threshold value in the idle state, the mode switching unit 23 lights the LED
情報生成部２４は、検出部２１から受信した運動情報から、スイッチ１４がオンからオフになるまでの一連の運動情報を抽出して、指の移動軌跡を生成する処理部である。つまり、情報生成部２４は、スイッチ１４がオンからオフになるまでの１つのセグメントで、指が移動した一連の移動情報を抽出して移動軌跡を生成する。
The information generation unit 24 is a processing unit that extracts a series of exercise information from the exercise information received from the detection unit 21 until the
また、情報生成部２４は、検出部２１から受信した運動情報から、指の運動開始から終了までの期間を抽出し、各期間内の運動情報を抽出して、指の移動軌跡を生成する。つまり、情報生成部２４は、複数のセグメントを抽出し、一つ一つのセグメントにおける指の操作を特定する移動情報を抽出した後、一連の移動情報から指の移動軌跡を生成する。 In addition, the information generation unit 24 extracts a period from the start to the end of finger movement from the movement information received from the detection unit 21, extracts movement information within each period, and generates a finger movement trajectory. That is, the information generation unit 24 extracts a plurality of segments, extracts movement information for specifying a finger operation in each segment, and then generates a finger movement locus from a series of movement information.
例えば、情報生成部２４は、運動情報において、スイッチ１４がオンになった位置を基準に設定し、スイッチ１４がオフになった位置を終了位置に設定する。そして、情報生成部２４は、基準を軌跡の開始に設定し、開始から終了位置までを結んだ軌跡を生成する。その後、情報生成部２４は、生成した軌跡情報を生成時間などと対応付けて記憶部１２に格納する。また、情報生成部２４は、生成した軌跡情報を出力部２５に出力する。
For example, in the exercise information, the information generation unit 24 sets the position where the
ここで、ウェアラブルデバイス１０が一連の指操作を検出したときに、その指操作（運動情報）から生成される軌跡情報について説明する。図６は、ウェアラブルデバイスからの出力例を示す図である。情報生成部２４は、図６に示すように、ユーザの指動作として、ａからスタートし、ｂで一時停止した後、ｃまでさらに移動させたことを検出し、このａ→ｂ→ｃの動作を運動情報として抽出する。続いて、情報生成部２４は、ａを基準としてａ→ｂ→ｃの一連の動作を抽出して軌跡情報を生成する。さらに、情報生成部２４は、ａ→ｂの軌跡と、ｂ→ｃの軌跡とを抽出して軌跡情報を生成する。
Here, the trajectory information generated from the finger operation (exercise information) when the
出力部２５は、選択されている動作モードに該当する通信経路を用いて、情報生成部２４によって生成された軌跡情報を入力装置５０に送信する処理部である。例えば、出力部２５は、動作モードがポインタモードである場合、情報生成部２４によって生成された軌跡情報をポインタ情報として入力装置５０に送信し、動作モードが手書きモードである場合、情報生成部２４によって生成された軌跡情報を文字情報として入力装置５０に送信する。
The
ここで、経路について説明する。図７は、通信経路を説明する図である。図７に示すように、ウェアラブルデバイス１０と入力装置５０とは、ＨＩＤにより規定される経路とＵｓｅｒＰｒｏｆｉｌｅにより規定される経路との両方で、ドライバ層上での通信が確立されている。このような状態で、出力部２５は、ポインタモードに切替えられた場合、情報生成部２４によって生成された軌跡情報をＨＩＤ経由で送信することで、軌跡情報をポインタ情報として入力装置５０に送信することができる。この結果、入力装置５０が取得した情報は、アプリケーション層においてポインティング処理として扱われる。つまり、ポインタモード時は、ユーザの指の軌跡がリアルタイムに入力装置５０に送信された後、リアルタイムでヘッドマウントディスプレイ３０に表示される。
Here, the route will be described. FIG. 7 is a diagram for explaining a communication path. As shown in FIG. 7, communication between the
一方、出力部２５は、手書きモードに切替えられた場合、情報生成部２４によって生成された軌跡情報をＵｓｅｒＰｒｏｆｉｌｅ経由で送信することで、軌跡情報を文字情報として入力装置５０に送信することができる。つまり、手書きモード時は、ユーザの手書き操作の軌跡がリアルタイムに入力装置５０に送信された後、ヘッドマウントディスプレイ３０に表示される。なお、ＵｓｅｒＰｒｏｆｉｌｅは、ウェアラブルデバイス１０と入力装置５０との間で予め規定された通信規約などである。
On the other hand, when the
（ヘッドマウントディスプレイの機能構成）
図４に示すように、ヘッドマウントディスプレイ３０は、無線部３１、カメラ３２、表示部３３、制御部３４を有する。なお、ヘッドマウントディスプレイ３０は、上記の機器以外の他の機器を有してもよい。(Functional configuration of head-mounted display)
As illustrated in FIG. 4, the head mounted
無線部３１は、無線により通信を行うデバイスである。無線部３１は、無線により他の装置と各種情報を送受信する。例えば、無線部３１は、表示部３３に表示する画像の画像情報や撮影を指示する操作コマンドを入力装置５０から受信する。また、無線部３１は、カメラ３２により撮影された画像の画像情報を入力装置５０へ送信する。
The wireless unit 31 is a device that performs wireless communication. The wireless unit 31 transmits and receives various types of information to and from other devices wirelessly. For example, the wireless unit 31 receives image information of an image to be displayed on the
カメラ３２は、画像を撮影するデバイスである。カメラ３２は、図３に示したように、２つのレンズ部分の間に設けられている。カメラ３２は、制御部３４の制御に応じて、画像を撮影する。 The camera 32 is a device that captures an image. As shown in FIG. 3, the camera 32 is provided between two lens portions. The camera 32 captures an image under the control of the control unit 34.
表示部３３は、各種情報を表示するデバイスである。表示部３３は、図３に示したように、ヘッドマウントディスプレイ３０のレンズ部分に設けられている。表示部３３は、各種情報を表示する。例えば、表示部３３は、メニュー画面や、仮想的なレーザポインタ、入力の軌跡などを表示する。
The
制御部３４は、ヘッドマウントディスプレイ３０を制御するデバイスである。制御部３４としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、マイコン、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部３４は、入力装置５０から受信した画像情報を表示部３３に表示させる制御を行う。また、制御部３４は、入力装置５０から撮影を指示する操作コマンドを受信すると、カメラ３２を制御して画像を撮影する。そして、制御部３４は、撮影された画像の画像情報を、無線部３１を制御して入力装置５０へ送信する。
The control unit 34 is a device that controls the head mounted
（入力装置の機能構成）
図４に示すように、入力装置５０は、無線部５１と、記憶部５２と、制御部６０とを有する。なお、入力装置５０は、上記の機器以外の他の機器を有してもよい。(Functional configuration of input device)
As illustrated in FIG. 4, the
無線部５１は、無線により通信を行うデバイスである。無線部５１は、無線により他の装置と各種情報を送受信する。例えば、無線部５１は、ウェアラブルデバイス１０と２つの経路を確立し、軌跡情報（ポインタ情報や文字情報）、姿勢変化情報などをウェアラブルデバイス１０から受信する。また、無線部５１は、ヘッドマウントディスプレイ３０で表示させる画像の画像情報やポインタなどをヘッドマウントディスプレイ３０へ送信する。また、無線部５１は、ヘッドマウントディスプレイ３０のカメラ３２により撮影された画像の画像情報を受信する。
The wireless unit 51 is a device that performs wireless communication. The wireless unit 51 transmits / receives various information to / from other devices wirelessly. For example, the wireless unit 51 establishes two paths with the
記憶部５２は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置である。なお、記憶部５２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリであってもよい。 The storage unit 52 is a storage device such as a hard disk, an SSD (Solid State Drive), or an optical disk. The storage unit 52 may be a semiconductor memory capable of rewriting data, such as a RAM (Random Access Memory), a flash memory, and an NVSRAM (Non Volatile Static Random Access Memory).
また、記憶部５２は、制御部６０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部５２は、入力の支援に用いる各種のプログラムを記憶する。さらに、記憶部５２は、制御部６０で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部５２は、認識辞書データ５３と、メモ情報５４と、画像情報５５とを記憶する。 The storage unit 52 stores an OS (Operating System) executed by the control unit 60 and various programs. For example, the storage unit 52 stores various programs used for input support. Further, the storage unit 52 stores various data used in programs executed by the control unit 60. For example, the storage unit 52 stores recognition dictionary data 53, memo information 54, and image information 55.
認識辞書データ５３は、手書き入力された文字の認識のための辞書データである。例えば、認識辞書データ５３には、各種の文字の標準的な軌跡情報が記憶されている。メモ情報５４は、手書き入力された情報を記憶したデータである。例えば、メモ情報５４には、手書き入力された文字の画像と、手書き入力された文字を認識した結果の文字情報とが対応付けて記憶される。画像情報５５は、ヘッドマウントディスプレイ３０のカメラ３２により撮影された画像の画像情報である。
The recognition dictionary data 53 is dictionary data for recognizing handwritten characters. For example, the recognition dictionary data 53 stores standard trajectory information of various characters. The memo information 54 is data storing information input by handwriting. For example, in the memo information 54, an image of a character input by handwriting and character information obtained as a result of recognizing the character input by handwriting are stored in association with each other. The image information 55 is image information of an image taken by the camera 32 of the head mounted
制御部６０は、入力装置５０を制御するデバイスである。制御部６０としては、ＣＰＵ、ＭＰＵ等の電子回路や、マイコン、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部６０は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。
The control unit 60 is a device that controls the
制御部６０は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部６０は、入力検出部６１と、表示制御部６２と、キャリブレーション部６３と、軸検出部６４と、文字認識部６５と、ポインタ出力部６６とを有する。 The control unit 60 functions as various processing units by operating various programs. For example, the control unit 60 includes an input detection unit 61, a display control unit 62, a calibration unit 63, an axis detection unit 64, a character recognition unit 65, and a pointer output unit 66.
入力検出部６１は、ウェアラブルデバイス１０から受信される操作情報および姿勢変化情報に基づいて、各種の入力の検出を行う。例えば、入力検出部６１は、操作情報に基づいて、スイッチ１４に対する操作を検出する。例えば、入力検出部６１は、所定時間以内にスイッチ１４が押された回数からシングルクリック、ダブルクリック、トリプルクリックや、スイッチ１４の長押し操作を検出する。また、入力検出部６１は、ウェアラブルデバイス１０から受信される姿勢変化情報から３軸の回転や各軸への移動を特定し、指の姿勢変化を検出する。
The input detection unit 61 detects various inputs based on operation information and posture change information received from the
表示制御部６２は、各種の表示制御を行う。例えば、表示制御部６２は、入力検出部６１による検出結果に応じて各種の画面の画像情報を生成し、無線部５１を介して、生成した画像情報をヘッドマウントディスプレイ３０へ送信する。これにより、ヘッドマウントディスプレイ３０の表示部３３には、画像情報の画像が表示される。例えば、表示制御部６２は、入力検出部６１によりダブルクリックが検出されると、ヘッドマウントディスプレイ３０の表示部３３にメニュー画面を表示させる。なお、メニュー画面には、動作モードを選択するメニューやキャリブレーションを行うメニューなどが表示される。
The display control unit 62 performs various display controls. For example, the display control unit 62 generates image information of various screens according to the detection result by the input detection unit 61, and transmits the generated image information to the head mounted
キャリブレーション部６３は、検出される指の姿勢情報のキャリブレーションを行う。例えば、メニュー画面でキャリブレーションモードが選択された場合、キャリブレーション部６３は、検出される指の姿勢情報のキャリブレーションを行う。 The calibration unit 63 calibrates detected finger posture information. For example, when the calibration mode is selected on the menu screen, the calibration unit 63 calibrates the detected finger posture information.
ここで、ウェアラブルデバイス１０は、指に対して周方向に回転したずれ状態で装着される場合がある。ウェアラブルデバイス１０が指に対してずれ状態で装着された場合、ウェアラブルデバイス１０により検出される姿勢変化に回転分のずれが生じ、検出される動作がユーザの意図と異なるものとなる場合がある。このような場合、ユーザは、メニュー画面でキャリブレーションモードを選択する。ユーザは、メニュー画面でキャリブレーションモードを選択すると、指にウェアラブルデバイス１０が装着された手を開閉させる。ウェアラブルデバイス１０は、手を開閉させた際の指の姿勢変化の姿勢変化情報を入力装置５０へ送信する。
Here, the
例えば、キャリブレーション部６３は、姿勢変化情報に基づき、手の開閉によりウェアラブルデバイス１０が装着された指を屈伸させた際の指の動作を検出する。キャリブレーション部６３は、検出した指の動作に基づいて、指の動作の基準方向をキャリブレーションする。
For example, the calibration unit 63 detects the movement of the finger when the finger wearing the
軸検出部６４は、入力検出部６１により検出される指の姿勢変化に基づき、姿勢を示す軸を検出する。例えば、軸検出部６４は、指の姿勢変化に応じて方向移動する軸を検出する。例えば、軸検出部６４は、３次元空間上で原点を通り、Ｘ、Ｙ、Ｚの各回転軸についてそれぞれの回転方向および回転速度に応じて、Ｘ、Ｙ、Ｚの各方向に移動する軸の方向ベクトルを算出する。なお、姿勢だけで動きを検出する場合、手首を正対方向から離れれば離れるほど大きく動かすことは困難である。また、手のひらを水平にした場合、上下方向の自由度は高いが左右方向の自由度は低い場合がある。 The axis detecting unit 64 detects an axis indicating the posture based on the posture change of the finger detected by the input detecting unit 61. For example, the axis detection unit 64 detects an axis that moves in the direction according to a change in the posture of the finger. For example, the axis detector 64 passes through the origin in a three-dimensional space, and moves in the X, Y, and Z directions according to the respective rotation directions and rotation speeds of the X, Y, and Z rotation axes. The direction vector of is calculated. In addition, when detecting a motion only by a posture, it is difficult to move the wrist as far as it goes away from the facing direction. Further, when the palm is horizontal, the degree of freedom in the vertical direction is high, but the degree of freedom in the horizontal direction may be low.
そこで、軸検出部６４は、キャリブレーション部６３により補正された軸の方向の中心点から上下と左右のポインティング感度を変えてもよい。例えば、軸検出部６４は、手の上下方向の回転より、手の左右方向の回転を大きく補正して軸の方向ベクトルを算出する。すなわち、軸検出部６４は、回転量が同じ場合、上下方向の回転による移動量より、左右方向の回転による移動量を大きく補正する。また、軸検出部６４は、補正された軸の方向の中心点から離れれば離れるほど感度を大きくしてもよい。例えば、軸検出部６４は、軸の方向の中心点から離れるほど回転を大きく補正して軸の方向ベクトルを算出する。すなわち、軸検出部６４は、回転量が同じ場合、軸の方向の中心点から離れた周辺部分での回転による移動量を、中心点付近での回転による移動量よりも大きく補正する。これにより、手首の可動のし易さに対応して回転の感度が設定されるため、正確なポインティングをしやすくすることができる。 Therefore, the axis detection unit 64 may change the vertical and left pointing sensitivity from the center point in the axis direction corrected by the calibration unit 63. For example, the axis detection unit 64 calculates the axis direction vector by correcting the rotation in the left-right direction of the hand to be larger than the rotation in the up-down direction of the hand. That is, when the rotation amount is the same, the axis detection unit 64 corrects the movement amount due to the rotation in the left-right direction larger than the movement amount due to the rotation in the vertical direction. Further, the axis detection unit 64 may increase the sensitivity as the distance from the center point in the corrected axis direction increases. For example, the axis detection unit 64 calculates the axis direction vector by correcting the rotation to be greater as the distance from the center point in the axis direction increases. That is, when the rotation amount is the same, the axis detection unit 64 corrects the movement amount due to the rotation in the peripheral portion away from the center point in the axis direction larger than the movement amount due to the rotation near the center point. Thereby, since the sensitivity of rotation is set corresponding to the ease of movement of the wrist, accurate pointing can be facilitated.
文字認識部６５は、ウェアラブルデバイス１０から取得した軌跡情報にしたがって文字認識を実行する処理部である。例えば、文字認識部６５は、ＵｓｅｒＰｒｏｆｉｌｅを介して取得した軌跡情報を文字情報と認識し、認識辞書データ５３に記憶された各種の文字の標準的な軌跡と比較する。そして、文字認識部６５は、最も類似度の高い文字を特定し、特定した文字の文字コードを出力する。また、文字認識部６５は、無線部５１を介して、認識した文字をヘッドマウントディスプレイ３０の表示部３３に表示させる。
The character recognition unit 65 is a processing unit that performs character recognition in accordance with the trajectory information acquired from the
また、文字認識部６５は、認識した文字に撥ねがある場合、軌跡情報から特定される軌跡もしくは文字認識の結果を補正した上で、再度文字認識を実行することもできる。例えば、文字認識部６５は、一般的な漢字では使用頻度の少ない「左上への撥ね」がある場合、当該撥ねに対応する軌跡を削除して、文字認識を実行することもできる。 In addition, when the recognized character is repelled, the character recognition unit 65 can perform character recognition again after correcting the locus specified from the locus information or the result of character recognition. For example, if there is “upper left splash” that is less frequently used in general Chinese characters, the character recognition unit 65 can also perform character recognition by deleting the locus corresponding to the hit.
ここで、ユーザは、文字の手書き入力を行う場合、文字ごとに、スイッチ１４を長押し操作して入力を行うこともできる。すなわち、スイッチ１４は、１文字ごとに一旦、離される。この結果、ウェアラブルデバイス１０から１文字ごとの軌跡情報が送られてくるので、文字認識部６５は、１文字ずつ手書き入力の軌跡を記録し、１文字ずつ軌跡から文字を認識することもできる。
Here, when performing handwritten input of characters, the user can also perform input by long pressing the
図８は、手書き入力された文字の軌跡の表示結果の一例を示す図である。図８（Ａ）は、「鳥」を手書き入力した例である。図８（Ｂ）は、「神」を手書き入力した例である。図８（Ａ）〜図８（Ｂ）に示すように、制御部６０は、左上に移動する軌跡を薄く区別して表示することにより、軌跡で示される文字を認識しやすくする。なお、図８の例では、薄く表示される線部分を破線で示している。文字認識部６５は、図８（Ａ）〜図８（Ｂ）の濃い線で示された軌跡について文字認識を行う。 FIG. 8 is a diagram illustrating an example of a display result of a locus of characters input by handwriting. FIG. 8A shows an example in which “bird” is input by handwriting. FIG. 8B is an example in which “God” is input by handwriting. As shown in FIG. 8A to FIG. 8B, the control unit 60 makes it easy to recognize the character indicated by the trajectory by displaying the trajectory moving to the upper left in a thinly distinguished manner. In the example of FIG. 8, a thin line portion is indicated by a broken line. The character recognizing unit 65 performs character recognition on the trajectory indicated by the dark line in FIGS.
また、文字認識部６５は、軌跡、認識結果、文字コード、認識実行時間などを対応付けて記憶部５２に格納する。例えば、文字認識部６５は、手書きされた文字の軌跡および認識された文字をメモ情報５４に格納する。例えば、メニュー画面でメモ入力モードが選択された場合、文字認識部６５は、軌跡情報と、認識された文字とを対応付けて、日時情報と共に、メモ情報５４に格納する。メモ情報５４に格納された情報は、参照可能である。例えば、メニュー画面でメモ入力モードが選択された場合、文字認識部６５は、記憶部５２のメモ情報５４に格納された情報を表示する。 In addition, the character recognition unit 65 stores the locus, the recognition result, the character code, the recognition execution time, and the like in the storage unit 52 in association with each other. For example, the character recognition unit 65 stores the locus of handwritten characters and the recognized characters in the memo information 54. For example, when the memo input mode is selected on the menu screen, the character recognition unit 65 associates the trajectory information with the recognized character, and stores it in the memo information 54 together with the date / time information. Information stored in the memo information 54 can be referred to. For example, when the memo input mode is selected on the menu screen, the character recognition unit 65 displays information stored in the memo information 54 of the storage unit 52.
一例を挙げると、文字認識部６５は、メモ入力の入力日時と、手書きされた文字を認識したテキストの文章と、手書きされた文字の画像による文章が対応付けて表示されている。このようにテキストの文章と、手書きされた文字の画像による文章とを対応付けて表示することで、ユーザは、手書きされた文字が正しく認識されているかを確認できる。また、テキストの文章と、手書きされた文字の画像による文章とを対応付けて表示することで、ユーザは、軌跡の認識で文字が誤変換された場合でも、対応する文字の画像を参照することで、手書きした文字を把握できる。また、手書きされた文字の画像には、ユーザの筆跡の特徴が記録される。このため、手書きされた文字の画像も格納することで、例えば、サインのように、ユーザが入力したことの証明に用いることもできる。 For example, the character recognition unit 65 displays the input date and time of memo input, the text of a text recognizing a handwritten character, and the text of a handwritten character image in association with each other. Thus, the user can confirm whether the handwritten character is correctly recognized by displaying the sentence of the text and the sentence of the handwritten character image in association with each other. In addition, by displaying a text sentence and a sentence based on a handwritten character image in association with each other, the user can refer to the corresponding character image even when the character is erroneously converted by the recognition of the trajectory. You can grasp the handwritten characters. In addition, the handwriting characteristics of the user are recorded in the handwritten character image. For this reason, the image of the handwritten character can also be stored and used for proof that the user has input, for example, like a signature.
ポインタ出力部６６は、ウェアラブルデバイス１０から取得した軌跡情報にしたがってポインタ情報を表示させる処理部である。例えば、ポインタ出力部６６は、ＨＩＤを介して取得した軌跡情報をポインタ情報と認識する。そして、ポインタ出力部６６は、無線部５１を介して、認識したポインタ情報をヘッドマウントディスプレイ３０の表示部３３に表示させる。つまり、ポインタ出力部６６は、ウェアラブルデバイス１０を装着した指の動きを、マウスなどのポインタ操作（ジェスチャ）と捉えて、ヘッドマウントディスプレイ３０の表示部３３に表示させる。
The pointer output unit 66 is a processing unit that displays pointer information according to the trajectory information acquired from the
ここで、ポインタの動作例を説明する。図９は、ポインタの動作例を示す図である。図９に示すように、空間上の点Ｘにおいて、指に装着されたウェアラブルデバイス１０のスイッチ１４がオンにされた後、空間上の点Ｙまでウェアラブルデバイス１０が移動したとする（軌跡Ｌ）。この場合、ウェアラブルデバイス１０の情報生成部２４は、点Ｘを始点とし、点Ｙを終点とする軌跡情報を生成する。そして、ウェアラブルデバイス１０の出力部２５は、ＨＩＤを介して、この軌跡情報を入力装置５０に送信する。
Here, an example of the operation of the pointer will be described. FIG. 9 is a diagram illustrating an example of the operation of the pointer. As shown in FIG. 9, it is assumed that the
すると、入力装置５０のポインタ出力部６６は、ＨＩＤを介して受信したことにより、この軌跡情報をポインタ情報と認識する。そして、ポインタ出力部６６は、ヘッドマウントディスプレイ３０の表示部３３上で点Ｘに該当する点Ｌ１を出力し、点Ｌ１から軌跡Ｌを移動させて、点Ｙに該当する点Ｌ２を出力する。
Then, the pointer output unit 66 of the
このように、ウェアラブルデバイス１０により検出される軌跡情報に連動し、ヘッドマウントディスプレイ３０に表示させることができる。つまり、ヘッドマウントディスプレイ３０に表示されるポインタは、ウェアラブルデバイス１０からＨＩＤを介して取得した軌跡情報と同期して表示される。
In this way, it can be displayed on the head mounted
なお、ヘッドマウントディスプレイ３０の表示部３３で表示する手法は、ウェアラブルデバイス１０からレーダーポインタを出力してもよく、一般的なコンピュータのマウスと同様の処理を採用できる。また、入力装置５０がヘッドマウントディスプレイ３０へ座標等を表示し、ヘッドマウントディスプレイ３０が該当する座標にポインタなどを表示してもよい。
As a method of displaying on the
［処理の流れ］
図１０は、処理の流れを示すフローチャートである。図１０に示すように、ウェアラブルデバイス１０の検出部２１は、電源がＯＮになり（Ｓ１０１：Ｙｅｓ）、スイッチ１４もＯＮになると（Ｓ１０２：Ｙｅｓ）、姿勢センサ１５を介して指先の動きを検出する（Ｓ１０３）。[Process flow]
FIG. 10 is a flowchart showing the flow of processing. As shown in FIG. 10, the detection unit 21 of the
続いて、情報生成部２４は、指操作の運動成分（運動情報）を抽出し（Ｓ１０４）、運動が開始されてからの運動パターン（軌跡情報）を抽出する（Ｓ１０５）。そして、情報生成部２４は、動作モードが手書きモードである場合（Ｓ１０６：Ｙｅｓ）、軌跡情報を生成して（Ｓ１０７）、ＵｓｅｒＰｒｏｆｉｌｅを用いた通信で、軌跡情報を入力装置５０に送信する（Ｓ１０８）。一方、情報生成部２４は、動作モードがポインタモードである場合（Ｓ１０６：Ｎｏ）、軌跡情報からポインタ情報を生成して（Ｓ１０９）、ＨＩＤを用いた通信で、ポインタ情報を入力装置５０に送信する（Ｓ１１０）。
Subsequently, the information generation unit 24 extracts a motion component (motion information) of finger operation (S104), and extracts a motion pattern (trajectory information) after the motion is started (S105). Then, when the operation mode is the handwriting mode (S106: Yes), the information generation unit 24 generates trajectory information (S107), and transmits the trajectory information to the
その後、スイッチ１４がＯＮの間は（Ｓ１１１：Ｎｏ）、Ｓ１０３以降を繰り返す。一方、スイッチ１４がＯＦＦになると（Ｓ１１１：Ｙｅｓ）、モード切替部２３は、ウェアラブルデバイス１０をアイドル状態に遷移させる（Ｓ１１２）。
Thereafter, while the
そして、モード切替部２３は、加速度を検知すると、検知した時間からタイマ（経過時間Ｔ＝０ｓ）をスタートさせる（Ｓ１１３）。ここで、モード切替部２３は、検知した加速度が閾値未満である場合（Ｓ１１４：Ｎｏ）、Ｓ１１２以降を繰り返す。 Then, when detecting the acceleration, the mode switching unit 23 starts a timer (elapsed time T = 0 s) from the detected time (S113). Here, when the detected acceleration is less than the threshold (S114: No), the mode switching unit 23 repeats S112 and subsequent steps.
一方、モード切替部２３は、検知した加速度が閾値以上である場合（Ｓ１１４：Ｙｅｓ）、現動作モードをユーザに報知する（Ｓ１１５）。その後、モード切替部２３は、加速度を再度検知すると（Ｓ１１６）、検知した加速度が閾値以上か否かを判定する（Ｓ１１７）。 On the other hand, when the detected acceleration is equal to or greater than the threshold (S114: Yes), the mode switching unit 23 notifies the user of the current operation mode (S115). Thereafter, when the mode switching unit 23 detects the acceleration again (S116), the mode switching unit 23 determines whether the detected acceleration is equal to or greater than a threshold value (S117).
ここで、モード切替部２３は、検知した加速度が閾値未満である場合（Ｓ１１７：Ｎｏ）、Ｓ１１２以降を繰り返す。一方、モード切替部２３は、検知した加速度が閾値以上である場合（Ｓ１１７：Ｙｅｓ）、経過時間Ｔが閾値未満か否かを判定する（Ｓ１１８）。つまり、Ｓ１１６で検知された加速度が、Ｓ１１３で加速度が検知されてから所定時間以内に検知されたものかを判定する。 Here, when the detected acceleration is less than the threshold value (S117: No), the mode switching unit 23 repeats S112 and subsequent steps. On the other hand, when the detected acceleration is equal to or greater than the threshold (S117: Yes), the mode switching unit 23 determines whether the elapsed time T is less than the threshold (S118). That is, it is determined whether the acceleration detected in S116 is detected within a predetermined time after the acceleration is detected in S113.
ここで、モード切替部２３は、経過時間Ｔが閾値以上である場合（Ｓ１１８：Ｎｏ）、Ｓ１１２以降を繰り返す。一方、モード切替部２３は、経過時間Ｔが閾値未満である場合（Ｓ１１８：Ｙｅｓ）、動作モードを変更する（Ｓ１１９）。 Here, when the elapsed time T is greater than or equal to the threshold (S118: No), the mode switching unit 23 repeats S112 and subsequent steps. On the other hand, when the elapsed time T is less than the threshold (S118: Yes), the mode switching unit 23 changes the operation mode (S119).
その後、スイッチ１４がＯＦＦのままの場合は（Ｓ１２０：Ｎｏ）、Ｓ１１２以降が繰り返され、スイッチ１４がＯＮになると（Ｓ１２０：Ｙｅｓ）、Ｓ１０３以降が繰り返される。
Thereafter, when the
［効果］
このように、スイッチ操作という入力と無関係な動作によりモードを切り替えることで、不要な入力と誤動作が発生せず、直観的にモード切り替えが可能となる。したがって、アプリケーションの設定変更等を行わずに、動作モードの切替が実行できるので、操作性を向上させることができる。[effect]
In this way, by switching the mode by an operation unrelated to the input of the switch operation, unnecessary input and malfunction do not occur, and the mode can be switched intuitively. Therefore, the operation mode can be switched without changing the application settings, and the operability can be improved.
また、各動作モードに対応した通信経路を隔離しておき、選択中の動作モードに対応した経路のみで各種情報を出力することができるので、経路切替の時間を抑制できる。また、１つの経路のみを用いたときに比べて、各種情報の送信ミスなどを抑制することもできる。 In addition, since communication paths corresponding to each operation mode can be isolated and various information can be output using only the path corresponding to the selected operation mode, the time for path switching can be suppressed. In addition, it is possible to suppress mistransmissions of various information as compared with the case where only one route is used.
ところで、実施例１では、ウェアラブルデバイス１０と入力装置５０とが２つの経路で接続される例を説明したが、これに限定されるものではない。例えば、ウェアラブルデバイス１０と入力装置５０とが１つの経路で接続される場合でも同様に処理することができる。
Incidentally, in the first embodiment, the example in which the
そこで、実施例２では、ウェアラブルデバイス１０と入力装置５０とが１つの経路で接続される例について説明する。図１１は、実施例２の通信経路を説明する図である。
Therefore, in the second embodiment, an example in which the
図１１に示すように、ウェアラブルデバイス１０と入力装置５０とは、ＨＩＤにより規定される経路のみで通信が確立されている。このような状態で、出力部２５は、ポインタモードに切替えられた場合、情報生成部２４によって生成された軌跡情報をＨＩＤ経由で送信することで、軌跡情報をポインタ情報として入力装置５０に送信することができる。
As shown in FIG. 11, communication between the
一方、手書きモードに切替えられた場合、情報生成部２４は、生成した軌跡情報と、認識辞書データ等とを用いて、軌跡情報の文字認識を行う。そして、情報生成部２４は、認識した文字に対応する文字コードを、ＨＩＤにより規定される経路で入力装置５０に送信する。つまり、手書きモード時は、入力装置５０の文字認識部６５と同様の処理を行い、認識結果をリアルタイムに入力装置５０に送信する。
On the other hand, when the handwriting mode is switched, the information generation unit 24 performs character recognition of the trajectory information using the generated trajectory information, recognition dictionary data, and the like. Then, the information generation unit 24 transmits a character code corresponding to the recognized character to the
このように、予め確保する通信経路の数を減らすこともできるので、無線通信の混信などを抑制することもでき、送信エラーの発生も低減できる。また、プロファイルの数も削減できるので、メモリ容量の削減も実現できる。なお、実施例１や実施例２で説明したブルートゥース（登録商標）標準のプロファイル等はあくまで一例であり、他の標準プロファイルや通信形式を採用することもできる。また、ＨＩＤで送信する情報は、ポインタ情報に限らず、例えばウェアラブルデバイス１０が有するＮＦＣ（Near Field Communication）などで読み取った情報を送信することもできる。
Thus, since the number of communication paths to be secured in advance can be reduced, it is possible to suppress radio communication interference and the like, and to reduce the occurrence of transmission errors. In addition, since the number of profiles can be reduced, memory capacity can also be reduced. Note that the Bluetooth (registered trademark) standard profile described in the first and second embodiments is merely an example, and other standard profiles and communication formats may be employed. Further, the information transmitted by the HID is not limited to the pointer information, and for example, information read by NFC (Near Field Communication) included in the
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。 Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above.
［条件］
上記実施例では、加速度と時間をモード切替の条件とする例を説明したが、これに限定されるものではない。例えば、モード切替用の切替ボタンや光センサをウェアラブルデバイス１０に設けて、切替ボタンが押下された場合や光センサによって親指等の他の指との接触を検知した場合に、モード切替を実行することもできる。[conditions]
In the above-described embodiment, an example in which acceleration and time are used as conditions for mode switching has been described. However, the present invention is not limited to this. For example, a switch button for switching modes and an optical sensor are provided in the
また、上記実施例では、加速度を用いた例を説明したが、これに限定されるものではなく、姿勢センサ１５によって検出される運動情報のうちスイッチ１４が入力されていない期間で取得された運動情報が予め設定された条件を満たす場合に、動作モードを切り替えることもできる。例えば、ウェアラブルデバイス１０は、スイッチ１４が入力されていない期間で取得された運動情報が予め指定された軌跡情報と一致する場合に、動作モードを切り替える。
In the above embodiment, an example using acceleration has been described. However, the present invention is not limited to this, and exercise acquired during a period when the
［ゲイン補正］
ところで、指の操作に関して、動きやすい方向と動きにくい方向とがあり、これらを同じように処理すると、正しく軌跡が認識されないこともある。例えば、右手の人差し指にウェアラブルデバイス１０を装着し、手首を動かさず指だけを動かす場合、一般的に左方向よりも右方向の方が動かしやすく、上方向よりも下方向の方が動かしやすい。そこで、実施例２では、方向によってゲインを変化させることで、軌跡を正しく認識する例を説明する。[Gain correction]
By the way, with respect to the operation of the finger, there are a direction in which movement is easy and a direction in which movement is difficult, and if these are processed in the same way, the locus may not be recognized correctly. For example, when the
図１２は、軌跡の補正例を説明する図である。図１２に示すように、スイッチ１４がオンにされた姿勢を姿勢０点とし、指操作の運動成分抽出後のデータを元に算出される姿勢０点からの指の姿勢変化の推定値を軌跡の長さに変換するゲインを設定する。このゲインが大きい方が僅かな姿勢変化で長い軌跡が描ける。例えば、姿勢０点からの姿勢変化方向によって軌跡生成ゲイン変化のプロファイルを変え、姿勢０点からの姿勢変化量に応じて軌跡生成ゲインの変化率を変え、姿勢０点のゲインＣは一致させて上記を満足する連続関数とする。
FIG. 12 is a diagram for explaining a correction example of the trajectory. As shown in FIG. 12, the posture at which the
このようにすることで、縦軸方向の軌跡については、＋Ｙ軸の姿勢変化についてゲインを大きくし、横軸方向の軌跡については、−Ｚ軸の姿勢変化についてゲインを大きくする。この結果、動かしにくい方向の軌跡も、動かしやすい方向の軌跡と同じように処理することができるので、軌跡を正確に認識することができる。 In this way, with respect to the trajectory in the vertical axis direction, the gain is increased with respect to the + Y-axis posture change, and with respect to the trajectory in the horizontal axis direction, the gain is increased with respect to the −Z-axis posture change. As a result, a trajectory in a direction that is difficult to move can be processed in the same way as a trajectory in a direction that is easy to move, so that the trajectory can be accurately recognized.
［ウェアラブルデバイス］
上記実施例では、ウェアラブルデバイス１０と入力装置５０とを別々の装置で実行する例を説明したが、これに限定されるものではなく、入力装置５０と同様の処理部を有するウェアラブルデバイス１０だけで実現することもできる。また、ウェアラブルデバイス１０の処理能力に応じて、ウェアラブルデバイス１０と入力装置５０に分散させる処理部を任意に変更することもできる。[Wearable device]
In the above-described embodiment, the example in which the
［システム］
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。[system]
In addition, each component of each part illustrated does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each unit is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed / integrated in arbitrary units according to various loads or usage conditions. Can be configured. Furthermore, various processing functions performed by each device may be executed entirely or arbitrarily on a CPU (or a microcomputer such as an MPU or MCU (Micro Controller Unit)). In addition, various processing functions may be executed in whole or in any part on a program that is analyzed and executed by a CPU (or a microcomputer such as an MPU or MCU) or on hardware based on wired logic. Needless to say, it is good.
［ハードウェア］
上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１３は、入力支援プログラムを実行するコンピュータの一例を示す説明図である。[hardware]
The various processes described in the above embodiments can be realized by executing a prepared program on a computer. Therefore, in the following, an example of a computer that executes a program having the same function as in the above embodiment will be described. FIG. 13 is an explanatory diagram illustrating an example of a computer that executes an input support program.
図１３が示すように、コンピュータ３００は、ＣＰＵ３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３１０〜３４０の各部は、バス４００を介して接続される。
As illustrated in FIG. 13, the
ＨＤＤ３２０には、ウェアラブルデバイス１０の検出部２１、モード選択部２２、モード切替部２３、情報生成部２４、出力部２５と同様の機能を発揮する入力支援プログラム３２０ａ、または入力装置５０の入力検出部６１と、表示制御部６２と、キャリブレーション部６３と、軸検出部６４と、文字認識部６５と、ポインタ出力部６６と同様の機能を発揮する入力支援プログラム３２０ａが予め記憶される。なお、入力支援プログラム３２０ａについては、適宜分離しても良い。また、ＨＤＤ３２０は、各種情報を記憶する。
The
そして、ＣＰＵ３１０が、入力支援プログラム３２０ａをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、入力支援プログラム３２０ａは、検出部２１、モード選択部２２、モード切替部２３、情報生成部２４、出力部２５と同様の動作、または、入力検出部６１と、表示制御部６２と、キャリブレーション部６３と、軸検出部６４と、文字認識部６５と、ポインタ出力部６６と同様の動作を実行する。
Then, the CPU 310 reads out and executes the
なお、上記した入力支援プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
Note that the
１０ ウェアラブルデバイス
１１ 無線部
１２ 記憶部
１３ 加速度センサ
１４ スイッチ
１５ 姿勢センサ
２０ 制御部
２１ 検出部
２２ モード選択部
２３ モード切替部
２４ 情報生成部
２５ 出力部
３０ ヘッドマウントディスプレイ
３１ 無線部
３２ カメラ
３３ 表示部
３４ 制御部
５０ 入力装置
５１ 無線部
５２ 記憶部
５３ 認識辞書データ
５４ メモ情報
５５ 画像情報
６０ 制御部
６１ 入力検出部
６２ 表示制御部
６３ キャリブレーション部
６４ 軸検出部
６５ 文字認識部
６６ ポインタ出力部DESCRIPTION OF
Claims (6)
モーションセンサと、
前記モーションセンサから出力される運動情報を取得する取得部と、
前記取得部により取得された前記運動情報のうち前記スイッチが入力されている期間で取得された運動情報を用いて、第１のモードまたは第２のモードのいずれか一方の動作モードに対応する情報を出力する出力部と、
前記取得部により取得された前記運動情報のうち前記スイッチが入力されていない期間で取得された運動情報が予め設定された条件を満たす場合は、前記動作モードを他方の動作モードに切り替える切替部と、
を有することを特徴とする入力装置。An input device having a switch for receiving input and attached to a human body,
A motion sensor,
An acquisition unit for acquiring exercise information output from the motion sensor;
Information corresponding to one of the operation modes of the first mode or the second mode using the exercise information acquired during the period when the switch is input among the exercise information acquired by the acquisition unit. An output unit for outputting
A switching unit that switches the operation mode to the other operation mode when the exercise information acquired during the period when the switch is not input among the exercise information acquired by the acquisition unit satisfies a preset condition; ,
An input device comprising:
モーションセンサから出力される運動情報を取得し、
取得された前記運動情報のうち前記スイッチが入力されている期間で取得された運動情報を用いて、第１のモードまたは第２のモードのいずれか一方の動作モードに対応する情報を出力し、
取得された前記運動情報のうち前記スイッチが入力されていない期間で取得された運動情報が予め設定された条件を満たす場合は、前記動作モードを他方の動作モードに切り替える、
処理を実行することを特徴とする入力支援方法。An input device equipped with a switch for receiving input and attached to the human body,
Get motion information output from the motion sensor,
Using the exercise information acquired in the period during which the switch is input among the acquired exercise information, output information corresponding to one of the operation modes of the first mode or the second mode,
When the exercise information acquired in a period when the switch is not input among the acquired exercise information satisfies a preset condition, the operation mode is switched to the other operation mode.
An input support method characterized by executing processing.
モーションセンサから出力される運動情報を取得し、
取得された前記運動情報のうち前記スイッチが入力されている期間で取得された運動情報を用いて、第１のモードまたは第２のモードのいずれか一方の動作モードに対応する情報を出力し、
取得された前記運動情報のうち前記スイッチが入力されていない期間で取得された運動情報が予め設定された条件を満たす場合は、前記動作モードを他方の動作モードに切り替える、
処理を実行させることを特徴とする入力支援プログラム。An input device equipped with a switch for receiving input and worn on the human body,
Get motion information output from the motion sensor,
Using the exercise information acquired in the period during which the switch is input among the acquired exercise information, output information corresponding to one of the operation modes of the first mode or the second mode,
When the exercise information acquired in a period when the switch is not input among the acquired exercise information satisfies a preset condition, the operation mode is switched to the other operation mode.
An input support program characterized by causing processing to be executed.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/052938 WO2017134732A1 (en) | 2016-02-01 | 2016-02-01 | Input device, input assistance method, and input assistance program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2017134732A1 true JPWO2017134732A1 (en) | 2018-09-27 |
Family
ID=59500645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017564988A Pending JPWO2017134732A1 (en) | 2016-02-01 | 2016-02-01 | Input device, input support method, and input support program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2017134732A1 (en) |
| WO (1) | WO2017134732A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020066110A (en) * | 2018-10-25 | 2020-04-30 | 国立大学法人千葉大学 | Method for controlling work auxiliary tool |
| US20200326765A1 (en) * | 2019-04-12 | 2020-10-15 | XRSpace CO., LTD. | Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium |
| JP7365501B2 (en) | 2020-04-28 | 2023-10-19 | 株式会社Ｎｔｔドコモ | information processing equipment |
| CN118020048A (en) * | 2021-10-05 | 2024-05-10 | 索尼集团公司 | Information processing device, information processing method, and program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236174A (en) * | 2000-02-25 | 2001-08-31 | Fujitsu Ltd | Device for inputting handwritten character and method for recognizing handwritten character |
| JP2008027082A (en) * | 2006-07-19 | 2008-02-07 | Fujitsu Ltd | Handwriting input device, handwriting input method and computer program |
| JP2009301531A (en) * | 2007-10-22 | 2009-12-24 | Sony Corp | Space operation type apparatus, control apparatus, control system, control method, method of producing space operation input apparatus, and handheld apparatus |
| JP2010231736A (en) * | 2009-03-30 | 2010-10-14 | Sony Corp | Input device and method, information processing device and method, information processing system, and program |
| JP2013143139A (en) * | 2012-01-06 | 2013-07-22 | Samsung Electronics Co Ltd | Input apparatus, display apparatus, control method thereof and display system |
| JP2016009994A (en) * | 2014-06-24 | 2016-01-18 | キヤノン株式会社 | Information processing device, information processing device communication method, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6206099B2 (en) * | 2013-11-05 | 2017-10-04 | セイコーエプソン株式会社 | Image display system, method for controlling image display system, and head-mounted display device |
-
2016
- 2016-02-01 WO PCT/JP2016/052938 patent/WO2017134732A1/en active Application Filing
- 2016-02-01 JP JP2017564988A patent/JPWO2017134732A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236174A (en) * | 2000-02-25 | 2001-08-31 | Fujitsu Ltd | Device for inputting handwritten character and method for recognizing handwritten character |
| JP2008027082A (en) * | 2006-07-19 | 2008-02-07 | Fujitsu Ltd | Handwriting input device, handwriting input method and computer program |
| JP2009301531A (en) * | 2007-10-22 | 2009-12-24 | Sony Corp | Space operation type apparatus, control apparatus, control system, control method, method of producing space operation input apparatus, and handheld apparatus |
| JP2010231736A (en) * | 2009-03-30 | 2010-10-14 | Sony Corp | Input device and method, information processing device and method, information processing system, and program |
| JP2013143139A (en) * | 2012-01-06 | 2013-07-22 | Samsung Electronics Co Ltd | Input apparatus, display apparatus, control method thereof and display system |
| JP2016009994A (en) * | 2014-06-24 | 2016-01-18 | キヤノン株式会社 | Information processing device, information processing device communication method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017134732A1 (en) | 2017-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9983687B1 (en) | Gesture-controlled augmented reality experience using a mobile communications device | |
| JP6669069B2 (en) | Detection device, detection method, control device, and control method | |
| EP3090331B1 (en) | Systems with techniques for user interface control | |
| JP6524661B2 (en) | INPUT SUPPORT METHOD, INPUT SUPPORT PROGRAM, AND INPUT SUPPORT DEVICE | |
| US10055064B2 (en) | Controlling multiple devices with a wearable input device | |
| US9978261B2 (en) | Remote controller and information processing method and system | |
| KR100630806B1 (en) | Command input method using motion recognition device | |
| KR102441328B1 (en) | Method for displaying an image and an electronic device thereof | |
| US20150054730A1 (en) | Wristband type information processing apparatus and storage medium | |
| US10120444B2 (en) | Wearable device | |
| JP2015121979A (en) | Wearable information input device, information input system and information input method | |
| US10372223B2 (en) | Method for providing user commands to an electronic processor and related processor program and electronic circuit | |
| WO2017134732A1 (en) | Input device, input assistance method, and input assistance program | |
| JP2015142317A (en) | Electronic apparatus | |
| JPWO2015104884A1 (en) | Information processing system, information processing method, and program | |
| WO2019021566A1 (en) | Information processing device, information processing method, and program | |
| US20230076068A1 (en) | Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof | |
| CN108369477B (en) | Information processing apparatus, information processing method, and program | |
| JP2010086367A (en) | Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment | |
| US20170199578A1 (en) | Gesture control method for interacting with a mobile or wearable device | |
| US20200348749A1 (en) | Information processing apparatus, information processing method, and program | |
| JP6481360B2 (en) | Input method, input program, and input device | |
| JP6444345B2 (en) | Method and apparatus for supporting input in virtual space, and program for causing computer to execute the method | |
| WO2017013805A1 (en) | Input device, input support method and input support program | |
| US20240103629A1 (en) | Control device and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180605 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191015 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200107 |