JP2016118929A - 入力支援方法、入力支援プログラムおよび入力支援装置 - Google Patents

Abstract

【課題】指による入力を支援できる入力支援方法、入力支援プログラムおよび入力支援装置を提供する。【解決手段】入力検出部６０は、ウェアブルデバイス１１を装着した指の動作を検出する。軸検出部６３は、検出した指の動作に基づいて、当該指の姿勢を示す軸を検出する。表示制御部６１は、検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイ１２に表示する。【選択図】図４

Description

本発明は、入力支援方法、入力支援プログラムおよび入力支援装置に関する。

近年、作業支援にウェアブルデバイスが利用されている。このウェアブルデバイスは、身に着けて使用されるため、例えば、スマートフォンなどのように画面に触って操作するといった入力が行えず、操作の入力が難しい。そこで、ジェスチャにより入力を行う技術がある。例えば、指に装着するウェアブルデバイスにより指の動作を検出して手書き文字入力を行う。

特開２００６−５３９０９号公報 特開２００２−３１８６６２号公報 特開２００１−２３６１７４号公報

しかしながら、従来の技術では、指による入力が難しい場合がある。指に装着したウェアブルデバイスにより検出される動作には、並進成分と回転成分とがある。回転成分は、指の曲げ伸ばしなど指の姿勢変化による検出される。並進成分は、手の左右の平行移動など並進移動による検出され、身体全体の移動による成分が大きく含まれる。よって、並進成分では、指の動作のみの検出が困難である。このため、検出される動作がユーザの意図と異なり、指による入力が難しい場合がある。

一つの側面では、指による入力を支援できる入力支援方法、入力支援プログラムおよび入力支援装置を提供することを目的とする。

第１の案では、入力支援方法は、コンピュータが、ウェアブルデバイスを装着した指の動作を検出する。入力支援方法は、コンピュータが、検出した指の動作に基づいて、当該指の姿勢を示す軸を検出する。入力支援方法は、コンピュータが、検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイに表示する。

本発明の一の実施態様によれば、指による入力を支援できるという効果を奏する。

図１は、入力システムのシステム構成の一例を説明する図である。 図２Ａは、ウェアブルデバイスの一例を示す図である。 図２Ｂは、ウェアブルデバイスの一例を示す図である。 図２Ｃは、ウェアブルデバイスの一例を示す図である。 図２Ｄは、ウェアブルデバイスのスイッチに対する操作の一例を示す図である。 図３は、ヘッドマウントディスプレイの一例を示す図である。 図４は、装置構成の一例を示す図である。 図５は、指の回転軸の一例を示す図である。 図６は、メニュー画面の一例を示す図である。 図７は、指の動作の基準方向を説明する図である。 図８は、ウェアブルデバイスを正常に装着した状態での回転速度の変化を示す図である。 図９は、ウェアブルデバイスをななめにずらして装着した状態での回転速度の変化を示す図である。 図１０は、表示される仮想的なレーザポインタの一例を示す図である。 図１１は、ユーザへのフィードバックの一例を示す図である。 図１２は、ジェスチャの判定の一例を示す図である。 図１３は、手書き入力された文字の軌跡の表示結果の一例を示す図である。 図１４は、文字認識の結果の一例を示す図である。 図１５は、文字の撥ねに対応する軌跡の表示結果の一例を示す図である。 図１６は、メモ情報の保続内容を表示した一例を示す図である。 図１７は、メニュー処理の手順の一例を示すフローチャートである。 図１８は、キャリブレーション処理の手順の一例を示すフローチャートである。 図１９は、メモ入力処理の手順の一例を示すフローチャートである。 図２０は、メモ閲覧処理の手順の一例を示すフローチャートである。 図２１は、操作コマンド出力処理の手順の一例を示すフローチャートである。 図２２は、軌跡の補正の一例を示す図である。 図２３は、軌跡の補正の一例を示す図である。 図２４は、軌跡の補正の一例を示す図である。 図２５は、入力支援プログラムを実行するコンピュータを示す図である。

以下に、本発明にかかる入力支援方法、入力支援プログラムおよび入力支援装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
最初に、実施例１に係る入力支援装置を用いて入力を行う入力システムの一例を説明する。図１は、入力システムのシステム構成の一例を説明する図である。図１に示すように、入力システム１０は、ウェアブルデバイス１１と、ヘッドマウントディスプレイ１２と、入力支援装置１３と有する。ウェアブルデバイス１１とヘッドマウントディスプレイ１２と入力支援装置１３は、ネットワークを介して通信可能に接続され、各種の情報を交換することが可能とされている。かかるネットワークの一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。本実施例では、ウェアブルデバイス１１とヘッドマウントディスプレイ１２と入力支援装置１３が無線通信により通信を行う場合を例に説明する。

入力システム１０は、ユーザの入力の支援を行うシステムである。例えば、入力システム１０は、工場などでのユーザの作業支援に用いられ、ユーザがメモなどをジェスチャにより入力する場合に使用される。ユーザは、様々な場所を移動しながら作業する場合がある。このため、パーソナルコンピュータなどの固定端末ではなく、ウェアブルデバイス１１を用いてジェスチャにより入力を可能とすることにより、ユーザは、様々な場所を移動しながら入力を行うことができる。

ウェアブルデバイス１１は、ユーザが身に着けて使用し、ユーザのジェスチャを検出するデバイスである。本実施例では、ウェアブルデバイス１１を、指に装着するデバイスとする。ウェアブルデバイス１１は、ユーザのジェスチャとして、指の姿勢変化を検出し、指の姿勢変化に関する情報を入力支援装置１３へ送信する。

図２Ａ〜図２Ｃは、ウェアブルデバイスの一例を示す図である。ウェアブルデバイス１１は、指輪のように、リング形状とされており、図２Ｃに示すように、リングに指を通すことで指への装着が可能とされている。ウェアブルデバイス１１は、リングの一部分が他の部分より厚く且つ幅広に形成され、主要な電子部品を内蔵する部品内蔵部とされている。また、ウェアブルデバイス１１は、リングの部品内蔵部の内面が平面状に形成されている。すなわち、ウェアブルデバイス１１は、部品内蔵部を指の上側にした場合に指とフィットしやすい形状となっている。ウェアブルデバイス１１は、図２Ｃに示すように、部品内蔵部を指の上側としてほぼ同様の向きで指に装着される。また、ウェアブルデバイス１１は、図２Ａに示すように、リングの側面側のスイッチ２０が設けられている。スイッチ２０は、図２Ｃに示すように、ウェアブルデバイス１１を右手の人差指に装着した場合に親指に対応する位置に配置されている。ウェアブルデバイス１１は、スイッチ２０の周辺部分が、スイッチ２０の上面と同様の高さまで***させた形状に形成されている。これにより、ウェアブルデバイス１１は、指をスイッチ２０部分に置いただけではスイッチ２０がオンとならない。図２Ｄは、ウェアブルデバイスのスイッチに対する操作の一例を示す図である。図２Ｄの例は、ウェアブルデバイス１１を人差指に装着してスイッチ２０を親指で操作する場合を示している。ウェアブルデバイス１１は、図２Ｄの左側に示すように、親指をスイッチ２０部分に置いただけではスイッチ２０をオンされず、図２Ｄの右側に示すように、親指を押し込むことでスイッチ２０がオンされる。ユーザは、入力開始時においては、指を入力ポジションにそえ、入力を行う際に指で押し込むことで入力を開始する。スイッチ２０は、伸縮した状態でオン状態となり、伸長した状態でオフ状態となり、内蔵されたバネなどの弾性体により伸張した状態となるように付勢されている。これにより、スイッチ２０は、指で押し込まれるとことでオン状態となり、指の力を抜き緩めることでオフ状態となる。このように構成とすることで、ウェアブルデバイス１１は、正常な状態で装着されないと入力を開始することができず、指に装着した際に装着位置が正常な状態の位置に自然に矯正される。また、ユーザは、指をスイッチ２０から離さずに入力、非入力区間のコントロールできる。

図１に戻り、ヘッドマウントディスプレイ１２は、ユーザが頭に装着し、各種の情報をユーザに視認可能に表示するデバイスである。ヘッドマウントディスプレイ１２は、両眼に対応したものであってもよく、片眼のみに対応したものであってもよい。

図３は、ヘッドマウントディスプレイの一例を示す図である。本実施例では、ヘッドマウントディスプレイ１２は、両眼に対応する眼鏡形状とされている。ヘッドマウントディスプレイ１２は、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性を有する。また、ヘッドマウントディスプレイ１２は、レンズ部分の一部に透過性を有する表示部が内蔵され、表示部に画像などの各種の情報の表示が可能とされている。これにより、ヘッドマウントディスプレイ１２は、装着したユーザに現実環境を視認させつつ、視界の一部で各種の情報を視認させて現実環境を拡張する拡張現実を実現する。図３には、装着したユーザの視界１２Ａの一部に設けられた表示部３０が模式的に示されている。

また、ヘッドマウントディスプレイ１２は、２つのレンズ部分の間にカメラが内蔵され、当該カメラにより、装着したユーザの視線方向の画像の撮影が可能とされている。

図１に戻り、入力支援装置１３は、ユーザのジェスチャによる入力を支援する装置である。入力支援装置１３は、例えば、スマートフォンやタブレット端末など、携帯可能な情報処理装置である。なお、入力支援装置１３は、データセンタなどに設けられた１台または複数台のコンピュータとして実装してもよい。すなわち、入力支援装置１３は、ウェアブルデバイス１１およびヘッドマウントディスプレイ１２と通信可能であれば、クラウドのコンピュータであってもよい。

入力支援装置１３は、ウェアブルデバイス１１から送信される指の姿勢変化に関する情報を基に、ユーザのジェスチャのよる入力を認識し、認識された入力の内容に応じた情報をヘッドマウントディスプレイ１２に表示させる。

［各装置の構成］
次に、ウェアブルデバイス１１、ヘッドマウントディスプレイ１２および入力支援装置１３の各装置の装置構成について説明する。図４は、装置構成の一例を示す図である。

最初に、ウェアブルデバイス１１について説明する。図４に示すように、ウェアブルデバイス１１は、スイッチ２０と、姿勢センサ２１と、無線通信Ｉ／Ｆ（インタフェース）部２２と、制御部２３と、電源部２４とを有する。なお、ウェアブルデバイス１１は、上記の機器以外の他の機器を有してもよい。

スイッチ２０は、ユーザからの入力を受け付けるデバイスである。スイッチ２０は、図２Ｃに示したように、ウェアブルデバイス１１のリングの側面側に設けられている。スイッチ２０は、押されるとオンとなり、離されるとオフとなる。スイッチ２０は、ユーザからの操作入力を受け付ける。例えば、ウェアブルデバイス１１がユーザの人差指に装着された場合、スイッチ２０は、ユーザの親指による操作入力を受け付ける。スイッチ２０は、受け付けた操作内容を示す操作情報を制御部２３へ出力する。ユーザは、スイッチ２０を操作して各種の入力を行う。例えば、ユーザは、ジェスチャによる入力を開始する際、スイッチ２０をオンする。

姿勢センサ２１は、ユーザのジェスチャを検出するデバイスである。例えば、姿勢センサ２１は、３軸のジャイロセンサである。姿勢センサ２１は、図２Ｃに示すように、ウェアブルデバイス１１が正しく指に装着された場合、３軸が指の回転軸と対応するようにウェアブルデバイス１１に内蔵されている。図５は、指の回転軸の一例を示す図である。図５の例では、互いに直交するＸ、Ｙ、Ｚの３軸が示されている。図５の例では、指を曲げる動作方向の回転軸がＹ軸とされ、指を左右に振る動作方向の回転軸がＺ軸とされ、指を回す動作方向の回転軸がＸ軸とされている。姿勢センサ２１は、制御部２３からの制御に応じて、Ｘ、Ｙ、Ｚの各回転軸の回転を検出し、検出された３軸の回転を指の姿勢変化を示す姿勢変化情報として制御部２３へ出力する。

無線通信Ｉ／Ｆ部２２は、他の装置との間で無線の通信制御を行うインタフェースである。無線通信Ｉ／Ｆ部２２としては、無線チップなどのネットワークインタフェースカードを採用できる。

無線通信Ｉ／Ｆ部２２は、無線により通信を行うデバイスである。無線通信Ｉ／Ｆ部２２は、無線により他の装置と各種情報を送受信する。例えば、無線通信Ｉ／Ｆ部２２は、制御部２３の制御により、操作情報および姿勢変化情報を入力支援装置１３へ送信する。

制御部２３は、ウェアブルデバイス１１を制御するデバイスである。制御部２３としては、マイコン、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部２３は、スイッチ２０の操作情報を無線通信Ｉ／Ｆ部２２を制御して入力支援装置１３へ送信する。また、制御部２３は、スイッチ２０がオンとなると、姿勢センサ２１を制御して姿勢変化を検出させる。制御部２３は、姿勢センサ２１により検出される姿勢変化情報を無線通信Ｉ／Ｆ部２２を制御して入力支援装置１３へ送信する。

電源部２４は、バッテリや電池などの電力源を含み、ウェアブルデバイス１１の各電子部品に電力を供給する。

次に、ヘッドマウントディスプレイ１２について説明する。図４に示すように、ヘッドマウントディスプレイ１２は、表示部３０と、カメラ３１と、無線通信Ｉ／Ｆ部３２と、制御部３３と、電源部３４とを有する。なお、ヘッドマウントディスプレイ１２は、上記の機器以外の他の機器を有してもよい。

表示部３０は、各種情報を表示するデバイスである。表示部３０は、図３に示したように、ヘッドマウントディスプレイ１２のレンズ部分に設けられている。表示部３０は、各種情報を表示する。例えば、表示部３０は、後述するメニュー画面や、仮想的なレーザポインタ、入力の軌跡などを表示する。

カメラ３１は、画像を撮影するデバイスである。カメラ３１は、図３に示したように、２つのレンズ部分の間に設けられている。カメラ３１は、制御部３３の制御に応じて、画像を撮影する。

無線通信Ｉ／Ｆ部３２は、無線により通信を行うデバイスである。無線通信Ｉ／Ｆ部３２は、無線により他の装置と各種情報を送受信する。例えば、無線通信Ｉ／Ｆ部３２は、表示部３０に表示する画像の画像情報や撮影を指示する操作コマンドを入力支援装置１３から受信する。また、無線通信Ｉ／Ｆ部３２は、カメラ３１により撮影された画像の画像情報を入力支援装置１３へ送信する。

制御部３３は、ヘッドマウントディスプレイ１２を制御するデバイスである。制御部３３としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、マイコン、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部３３は、入力支援装置１３から受信した画像情報を表示部３０に表示させる制御を行う。また、制御部３３は、入力支援装置１３から撮影を指示する操作コマンドを受信すると、カメラ３１を制御して画像を撮影する。そして、制御部３３は、撮影された画像の画像情報を無線通信Ｉ／Ｆ部３２を制御して入力支援装置１３へ送信する。

電源部３４は、バッテリや電池などの電力源を含み、ヘッドマウントディスプレイ１２の各電子部品に電力を供給する。

次に、入力支援装置１３について説明する。図４に示すように、入力支援装置１３は、無線通信Ｉ／Ｆ部４０と、記憶部４１と、制御部４２と、電源部４３とを有する。なお、入力支援装置１３は、上記の機器以外の他の機器を有してもよい。

無線通信Ｉ／Ｆ部４０は、無線により通信を行うデバイスである。無線通信Ｉ／Ｆ部４０は、無線により他の装置と各種情報を送受信する。例えば、無線通信Ｉ／Ｆ部４０は、操作情報および姿勢変化情報をウェアブルデバイス１１から受信する。また、無線通信Ｉ／Ｆ部４０は、ヘッドマウントディスプレイ１２で表示させる画像の画像情報や各種の操作コマンドをヘッドマウントディスプレイ１２へ送信する。また、無線通信Ｉ／Ｆ部４０は、ヘッドマウントディスプレイ１２のカメラ３１により撮影された画像の画像情報を受信する。

記憶部４１は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置である。なお、記憶部４１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリであってもよい。

記憶部４１は、制御部４２で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部４１は、入力の支援に用いる各種のプログラムを記憶する。さらに、記憶部４１は、制御部４２で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部４１は、認識辞書データ５０と、メモ情報５１と、画像情報５２とを記憶する。

認識辞書データ５０は、手書き入力された文字の認識ための辞書データである。例えば、認識辞書データ５０には、各種の文字の標準的な軌跡情報が記憶されている。

メモ情報５１は、手書き入力されたメモに関する情報を記憶したデータである。例えば、メモ情報５１には、手書き入力された文字の画像と、手書き入力された文字を認識した結果の文字情報とが対応付けて記憶される。

画像情報５２は、ヘッドマウントディスプレイ１２のカメラ３１により撮影された画像の画像情報である。

制御部４２は、入力支援装置１３を制御するデバイスである。制御部４２としては、ＣＰＵ、ＭＰＵ等の電子回路や、マイコン、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部４２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部４２は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部４２は、入力検出部６０と、表示制御部６１と、キャリブレーション部６２と、軸検出部６３と、軌跡記録部６４と、判定部６５と、認識部６６と、格納部６７と、操作コマンド出力部６８とを有する。

入力検出部６０は、ウェアブルデバイス１１から受信される操作情報および姿勢変化情報に基づいて、各種の入力の検出を行う。例えば、入力検出部６０は、操作情報に基づいて、スイッチ２０に対する操作を検出する。例えば、入力検出部６０は、所定時間以内にスイッチ２０が押された回数からシングルクリック、ダブルクリック、トリプルクリックや、スイッチ２０の長押し操作を検出する。また、入力検出部６０は、ウェアブルデバイス１１から受信される姿勢変化情報から３軸の回転による指の姿勢変化を検出する。

表示制御部６１は、各種の表示制御を行う。例えば、表示制御部６１は、入力検出部６０による検出結果に応じて各種の画面の画像情報を生成し、生成した画像情報を無線通信Ｉ／Ｆ部４０を制御してヘッドマウントディスプレイ１２へ送信する。これにより、ヘッドマウントディスプレイ１２の表示部３０には、画像情報の画像が表示される。例えば、表示制御部６１は、入力検出部６０によりダブルクリックが検出されると、ヘッドマウントディスプレイ１２の表示部３０にメニュー画面を表示させる。

図６は、メニュー画面の一例を示す図である。図６に示すように、メニュー画面７０には、「１ キャリブレーション」、「２ メモ入力」、「３ メモ閲覧」、「４ 撮影」の各項目が表示されている。「１ キャリブレーション」の項目は、検出される指の姿勢情報のキャリブレーションするキャリブレーションモードを指定するものである。「２ メモ入力」の項目は、手書きによりメモの入力するメモ入力モードを指定するものである。「３ メモ閲覧」の項目は、入力済みのメモの閲覧する閲覧モードを指定するものである。「４ 撮影」の項目は、ヘッドマウントディスプレイ１２のカメラ３１による画像の撮影する撮影モードを指定するものである。

本実施例に係る入力支援装置１３は、手書き入力、または、カーソルによりメニュー画面７０の項目の選択が可能とされている。例えば、表示制御部６１は、手書きの入力された軌跡が、後述する認識部６６により「１」〜「４」の数字であると認識された場合、認識された数字に対応する項目のモードが選択されたと判定する。また、表示制御部６１は、画面上にカーソルを表示させ、入力検出部６０により検出される指の姿勢変化に応じてカーソルを移動させる。例えば、表示制御部６１は、Ｙ軸の回転が検出されると回転に応じた速度でカーソルを画面の左右方向に移動させる。また、表示制御部６１は、Ｚ軸の回転が検出されると回転に応じた速度でカーソルを画面の上下方向に移動させる。表示制御部６１は、メニュー画面７０の何れかの項目の上にカーソルが位置し、入力検出部６０によりシングルクリックが検出されると、カーソルが位置する項目のモードが選択されたと判定する。表示制御部６１は、メニュー画面７０の何れの項目が選択されると、メニュー画面７０を消去する。

キャリブレーション部６２は、検出される指の姿勢情報のキャリブレーションを行う。例えば、メニュー画面７０でキャリブレーションモードが選択された場合、キャリブレーション部６２は、検出される指の姿勢情報のキャリブレーションを行う。

ここで、ウェアブルデバイス１１は、指に対して周方向に回転したずれ状態で装着される場合がある。ウェアブルデバイス１１が指に対してずれ状態で装着された場合、ウェアブルデバイス１１により検出される姿勢変化に回転分のずれが生じ、検出される動作がユーザの意図と異なるものとなる場合がある。このような場合、ユーザは、メニュー画面７０でキャリブレーションモードを選択する。ユーザは、メニュー画面７０でキャリブレーションモードを選択すると、指にウェアブルデバイス１１が装着された手を開閉させる。ウェアブルデバイス１１は、手を開閉させた際の指の姿勢変化の姿勢変化情報を入力支援装置１３へ送信する。

キャリブレーション部６２は、姿勢変化情報に基づき、手を開閉によるウェアブルデバイス１１が装着された指を屈伸させた際の指の動作を検出する。キャリブレーション部６２は、検出した指の動作に基づいて、指の動作の基準方向をキャリブレーションする。

図７は、指の動作の基準方向を説明する図である。図７には、手を開閉させた図が示されている。手を開閉させた際、指の動作は、屈伸の動作に制限される。この指の屈伸の動作による姿勢の変化は、図７のように、Ｙ軸の回転に主に表れる。

図８および図９には、ウェアブルデバイス１１を装着した状態で手を開閉させて検出されたＸ、Ｙ、Ｚの各回転軸の回転速度の経時的な変化が示されている。図８は、ウェアブルデバイスを正常に装着した状態での回転速度の変化を示す図である。図９は、ウェアブルデバイスをななめにずらして装着した状態での回転速度の変化を示す図である。図８（Ａ）、（Ｂ）および図９（Ａ）、（Ｂ）には、それぞれ手を開いた状態および手を閉じた状態でのウェアブルデバイス１１のＸ、Ｙ、Ｚの各回転軸が示されている。ウェアブルデバイス１１を正常に装着した状態では、図８（Ｃ）に示すように、Ｙ軸で主に回転が検出される。一方、ウェアブルデバイス１１をずらして装着した状態では、図９（Ｃ）に示すように、Ｙ軸およびＺ軸で主に回転が検出される。

キャリブレーション部６２は、指を屈伸させた際の姿勢変化情報に基づいて、指の動作の基準方向を補正する補正情報を算出する。例えば、キャリブレーション部６２は、補正情報として、図８（Ｃ）のＸ、Ｙ、Ｚの各回転軸を、図９（Ｃ）のＸ、Ｙ、Ｚの各回転軸に補正する回転角を算出する。

キャリブレーション部６２によるキャリブレーションが終了すると、入力検出部６０は、キャリブレーション部６２により算出された補正情報を用いて姿勢変化情報を補正して姿勢変化を検出する。このように、補正情報を用いて姿勢変化情報を補正することにより、姿勢変化情報は、図８に示すＸ、Ｙ、Ｚの各回転軸を基準としたものに補正される。

軸検出部６３は、入力検出部６０により検出される指の姿勢変化に基づき、姿勢を示す軸を検出する。例えば、軸検出部６３は、指の姿勢変化に応じて方向移動する軸を検出する。例えば、軸検出部６３は、３次元空間上で原点を通り、Ｘ、Ｙ、Ｚの各回転軸についてそれぞれの回転方向および回転速度に応じて、Ｘ、Ｙ、Ｚの各方向に移動する軸の方向ベクトルを算出する。なお、姿勢だけで動きを検出する場合、手首を正対方向から離れれば離れるほど大きく動かすことは困難である。また、手のひらを水平にした場合、上下方向の自由度は高いが左右方向の自由度は低い場合がある。そこで、軸検出部６３は、キャリブレーション部６２により補正された軸の方向の中心点から上下と左右のポインティング感度を変えてもよい。例えば、軸検出部６３は、手の上下方向の回転より、手の左右方向の回転を大きく補正して軸の方向ベクトルを算出する。すなわち、軸検出部６３は、回転量が同じ場合、上下方向の回転による移動量より、左右方向の回転による移動量を大きく補正する。また、軸検出部６３は、補正された軸の方向の中心点から離れれば離れるほど感度を大きくしてもよい。例えば、軸検出部６３は、軸の方向の中心点から離れるほど回転を大きく補正して軸の方向ベクトルを算出する。すなわち、軸検出部６３は、回転量が同じ場合、軸の方向の中心点から離れた周辺部分での回転による移動量を、中心点付近での回転による移動量よりも大きく補正する。これにより、分析装置１０は、手首の可動のし易さに対応して回転の感度が設定されるため、正確なポインティングがしやすくすることができる。

表示制御部６１は、軸検出部６３により検出される軸に連動する仮想的なレーザポインタをヘッドマウントディスプレイ１２の表示部３０に表示させる。例えば、メニュー画面７０でキャリブレーションモードが選択された場合、表示制御部６１は、軸検出部６３により検出される軸に連動する仮想的なレーザポインタを配置した画面の画像情報を生成する。そして、表示制御部６１は、生成した画像情報を無線通信Ｉ／Ｆ部４０を制御してヘッドマウントディスプレイ１２へ送信する。これにより、ヘッドマウントディスプレイ１２の表示部３０には、仮想的なレーザポインタの画像が表示される。

図１０は、表示される仮想的なレーザポインタの一例を示す図である。図１０には、原点Ｘから正面に設けられた仮想面Ｂに向かって仮想的なレーザーポインタＰが示されている。この仮想的なレーザーポインタＰは、ウェアブルデバイス１１により検出される姿勢変化に連動して移動する。

軌跡記録部６４は、入力に関するジェスチャを検出する。例えば、軌跡記録部６４は、自由空間上にジェスチャにより手書きされた文字を検出する。例えば、軌跡記録部６４は、入力検出部６０によりスイッチ２０の長押し操作が検出されると、長押し操作の間の軸の軌跡を記録することにより、手書きされた文字を検出する。

表示制御部６１は、軌跡記録部６４により記録された軸の軌跡を合わせて表示させる。図１０の例では、仮想面Ｂに軌跡Ｌが表示されている。軌跡Ｌの始点Ｌ１は、スイッチ２０が押された位置である。なお、軌跡Ｌは、レーザーポインタＰと合わせ表示しなくもてもよい。例えば、表示制御部６１は、画面を２つの領域に分けて軌跡ＬとレーザーポインタＰを別な領域に表示してもよい。

このようにレーザーポインタＰを表示させることにより、ヘッドマウントディスプレイ１２を装着したユーザは、自由空間への入力が行いやすくなる。ユーザが指により自由空間へ入力を行う場合、検出される指の動作には、並進成分と回転成分とがある。この並進成分は、手の平行移動やユーザの身体全体の移動によるもので、指の動作のみの検出が困難である。このため、検出される動作がユーザの意図と異なり、指による入力が難しい場合がある。そこで、入力支援装置１３は、指の姿勢の変化である回転成分を検出し、検出される回転成分から指の姿勢を示す軸を検出して軸に連動する仮想的なレーザポインタを表示させ、検出結果をユーザにフィードバックする。

図１１は、ユーザへのフィードバックの一例を示す図である。図１１（Ａ）には、ヘッドマウントディスプレイ１２の表示部３０に仮想的なレーザポインタが表示されている。ユーザは、ヘッドマウントディスプレイ１２を通して仮想的なレーザポインタを見ることで、指の姿勢の変化でどのような入力が行われるかが把握しやくなり、入力が容易になる。また、ユーザは、ヘッドマウントディスプレイ１２を通して仮想的なレーザポインタを見ることで、現実環境を視認させつつ、現実環境を拡張する拡張現実を実現できる。例えば、図１１（Ｂ）に示すように、自由空間の現実環境に仮想的な壁が現れ、仮想的な壁にレーザーポインタで手書きを行っているように視認させることができる。このように、入力支援装置１３が検出結果をユーザにフィードバックすることにより、ユーザが入力の細かい変化を把握しやすくなるため、例えば、漢字など複雑な文字を手書き入力する場合の認識率も向上させることができる。また、入力支援装置１３は、指の姿勢の変化である回転成分を検出して入力を行うため、例えば、ユーザが移動中であっても入力を行うことができる。

判定部６５は、入力対象外とするジェスチャを判定する。例えば、検出したジェスチャのうち、所定条件を満たすジェスチャを入力対象外と判定する。

ここで、自由空間上にジェスチャにより手書きされた文字の軌跡には、文字を構成する所謂、画（かく）と呼ばれる線部分と、線部分の間を移動する移動部分が含まれる。手書きされた文字は、この移動部分が含まれると、認識し難く、ユーザが意図した文字と異なる文字に認識される場合がある。手書きされた文字は、画数の多い文字ほど誤認識されやすい。特に、一筆書きされた文字は、移動部分が多く含まれるため、文字の認識が困難となる。

一方、漢字などの文字は、左から右、上から下へ移動して書くものが多い。左上への移動は、線部分の間を移動であることが多い。

そこで、この所定条件を、左上に移動するジェスチャとする。判定部６５は、左上へ移動するジェスチャを入力対象外と判定し、左上へ移動するジェスチャ以外を入力対象と判定する。図１２は、ジェスチャの判定の一例を示す図である。図１２には、長押し操作の間の軸の位置を所定周期でサンプリングした結果が示されている。点Ｘ_１〜Ｘ_５は、サンプリングされた位置を示している。判定部６５は、各サンプリングされた位置をそれぞれ１つ前のサンプリングされた位置と比較し、サンプリングされた位置が１つ前のサンプリングされた位置に対して左上となる場合、入力対象外と判定する。例えば、点Ｘ_４、Ｘ_５は、Ｙ座標がマイナスかつＺ座標がマイナスとなり、左上となるため、入力対象外と判定される。

表示制御部６１は、判定部６５による判定結果に基づき、入力対象外と入力対象とを区別して表示する。例えば、表示制御部６１は、入力対象外を入力対象よりも視認性を低く表示する。例えば、表示制御部６１は、入力対象外とされたジェスチャの軌跡を、入力対象とされたジェスチャの軌跡より薄く表示する。図１２の例では、点Ｘ_４、Ｘ_５の軌跡は、点Ｘ_１〜Ｘ_３の軌跡より階調値が低くされ、薄く表示されている。なお、以下では、薄く表示する線部分を識別しやすくするため、薄く表示する線部分を破線で示す。図１２の例では、薄く表示される線部分を破線で示している。

図１３は、手書き入力された文字の軌跡の表示結果の一例を示す図である。図１３（Ａ）は、「鳥」を手書き入力した例である。図１３（Ｂ）は、「神」を手書き入力した例である。図１３（Ｃ）は、「瀬」を手書き入力した例である。図１３（Ｄ）は、「枝」を手書き入力した例である。図１３（Ｅ）は、「磯」を手書き入力した例である。図１３（Ｆ）は、「薔」を手書き入力した例である。図１３（Ｇ）は、「薇」を手書き入力した例である。図１３（Ａ）〜図１３（Ｆ）に示すように、左上に移動する軌跡を薄く区別して表示することにより、軌跡で示される文字が認識しやくなる。なお、図１３の例では、薄く表示される線部分を破線で示している。

なお、表示制御部６１は、色を変えて入力対象外を入力対象よりも視認性を低く表示してもよい。例えば、表示制御部６１は、入力対象を赤で表示し、入力対象外をグレーで表示してもよい。また、表示制御部６１は、入力対象外とされたジェスチャの軌跡を消去し、入力対象とされたジェスチャの軌跡を表示してもよい。すなわち、表示制御部６１は、図１２の例の点Ｘ_４、Ｘ_５の軌跡を表示しないように表示制御してもよい。

認識部６６は、軌跡記録部６４により記録された軌跡から文字の認識を行う。例えば、認識部６６は、軌跡記録部６４により記録された軌跡のうち、入力対象とされた軌跡の文字認識を行う。例えば、認識部６６は、図１３（Ａ）〜図１３（Ｇ）の濃い線で示された軌跡について文字認識を行う。認識部６６は、入力対象とされた軌跡を、認識辞書データ５０に記憶された各種の文字の標準的な軌跡と比較し、最も類似度の高い文字を特定する。認識部６６は、特定した文字の文字コードを出力する。ここで、ユーザは、文字の手書き入力を行う場合、文字ごとに、スイッチ２０の長押し操作して入力を行う。すなわち、スイッチ２０は、１文字ごとに一旦、離される。軌跡記録部６４は、１文字ずつ手書き入力の軌跡を記録する。認識部６６は、１文字ずつ軌跡から文字を認識する。

図１４は、文字認識の結果の一例を示す図である。図１４の例では、薄く表示される線部分を破線で示している。図１４（Ａ）は、手書き入力された「森」について文字認識を行った結果である。図１４（Ｂ）は、手書き入力された「村」について文字認識を行った結果である。図１４（Ｃ）は、手書き入力された「通」について文字認識を行った結果である。図１４（Ｄ）は、手書き入力された「利」について文字認識を行った結果である。図１４（Ａ）〜図１４（Ｄ）には、左上へ移動した左上軌跡を削除せずに文字認識した場合と、左上軌跡を削除して文字認識した場合について、候補となる文字と、類似度を示すスコア（ｓｃｏｒｅ）が示されている。候補となる文字は、「ｃｏｄｅ：」の後に示されている。スコアは、類似度を示し、値が大きいほど類似度が高いことを示す。例えば、手書き入力された「森」は、左上軌跡を削除せずに文字認識した場合、スコアが９２０であり、左上軌跡を削除して文字認識した場合、スコアが９２８であり、左上軌跡を削除した方がスコアが高くなる。また、左上軌跡を削除した方が、誤変換も抑制できる。例えば、手書き入力された「森」は、認識の候補となる文字に「森」、「蘇」、「穀」があるが、左上軌跡を削除した方がスコアが高くなるため、誤変換を抑制できる。

表示制御部６１は、認識部６６により認識された文字に撥ねがある場合、入力対象外とされたジェスチャの軌跡のうち、文字の撥ねに対応する軌跡を入力対象とされたジェスチャの軌跡と同様に表示する。例えば、軌跡記録部６４は、記録した軌跡のうち、文字の撥ねに対応する軌跡を文字部分の軌跡と同様に変更する。表示制御部６１は、軌跡記録部６４により変更された文字の画像を表示する。

図１５は、文字の撥ねに対応する軌跡の表示結果の一例を示す図である。図１５の例では、薄く表示される線部分を破線で示している。図１５は、手書き入力された「村」についての表示結果を示している。手書き入力された「村」は、文字の撥ねに対応する軌跡８０が他の文字部分と同様に表示されている。このように、文字の撥ねに対応する軌跡を表示することにより、手書きされた文字が認識しやすくなる。

格納部６７は、各種の格納を行う。例えば、格納部６７は、手書きされた文字の軌跡および認識された文字をメモ情報５１に格納する。例えば、メニュー画面７０でメモ入力モードが選択された場合、格納部６７は、軌跡記録部６４に記録された文字の画像と、認識部６６により認識された文字とを対応付けて、日時情報と共に、メモ情報５１に格納する。メモ情報５１に格納された情報は、参照可能である。例えば、メニュー画面７０でメモ入力モードが選択された場合、表示制御部６１は、記憶部４１のメモ情報５１に格納された情報を表示する。

図１６は、メモ情報の保続内容を表示した一例を示す図である。図１６の例では、薄く表示される線部分を破線で示している。図１６の例では、メモ入力の入力日時と、手書きされた文字を認識したテキストの文章と、手書きされた文字の画像による文章が対応付けて表示されている。このようにテキストの文章と、手書きされた文字の画像による文章と対応付けて表示することで、ユーザは、手書きされた文字が正しく認識されているかを確認できる。また、テキストの文章と、手書きされた文字の画像による文章と対応付けて表示することで、ユーザは、軌跡の認識で文字が誤変換された場合でも、対応する文字の画像を参照することで、手書きした文字を把握できる。また、手書きされた文字の画像には、ユーザの筆跡の特徴が記録される。このため、手書きされた文字の画像も格納することで、例えば、サインのように、ユーザが入力したことの証明に用いることもできる。

操作コマンド出力部６８は、認識した文字または記号に基づいて、他の機器へ操作コマンドを出力する。例えば、ユーザは、ヘッドマウントディスプレイ１２のカメラ３１による撮影を行う場合、メニュー画面７０で撮影モードを選択する。そして、ユーザは、撮影を希望するタイミングでウェアブルデバイス１１のスイッチ２０の長押し操作して所定文字を手書き入力する。この所定文字は、文字、数字、記号の何れであってもよく、例えば、「１」とする。操作コマンド出力部６８は、メニュー画面７０で撮影モードが選択された場合、撮影準備の状態となる。軌跡記録部６４は、撮影準備の状態で手書き入力された軌跡を記録する。認識部６６は、軌跡から文字を認識する。操作コマンド出力部６８は、認識部６６により所定文字が認識されると、撮影を指示する操作コマンドをヘッドマウントディスプレイ１２へ送信する。ヘッドマウントディスプレイ１２は、撮影を指示する操作コマンドを受信すると、カメラ３１による撮影を行い、撮影された画像の画像情報を入力支援装置１３へ送信する。格納部６７は、撮影された画像の画像情報を画像情報５２として記憶部４１に格納する。このように、入力支援装置１３は、他の機器へ操作コマンドを出力して操作を行うことができる。

電源部４３は、バッテリや電池などの電力源を含み、入力支援装置１３の各電子部品に電力を供給する。

［処理の流れ］
次に、入力支援装置１３により入力を行う流れについて説明する。最初に、メニュー画面によりモードの選択を受け付けるメニュー処理の流れについて説明する。図１７は、メニュー処理の手順の一例を示すフローチャートである。このメニュー処理は、所定のタイミング、例えば、入力検出部６０によりダブルクリックが検出されたタイミングで実行される。

図１７に示すように、表示制御部６１は、メニュー画面７０を表示領域の一部に配置した画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信して表示部３０にメニュー画面７０を表示させる（Ｓ１０）。入力検出部６０は、ウェアブルデバイス１１から受信される姿勢変化情報から３軸の回転による指の姿勢変化を検出する（Ｓ１１）。軸検出部６３は、入力検出部６０により検出される指の姿勢変化に基づき、姿勢を示す軸を検出する（Ｓ１２）。表示制御部６１は、メニュー画面７０の表示領域と異なる表示領域に仮想的なレーザポインタを配置した画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信して表示部３０に仮想的なレーザポインタも表示させる（Ｓ１３）。

表示制御部６１は、入力検出部６０によりスイッチ２０の長押し操作が検出されているか判定する（Ｓ１４）。スイッチ２０の長押し操作が検出されている場合（Ｓ１４肯定）、軌跡記録部６４は、軸の軌跡を記録する（Ｓ１５）。判定部６５は、ジェスチャが入力対象外であるか判定する（Ｓ１６）。例えば、判定部６５は、左上へ移動するジェスチャを入力対象外と判定し、左上へ移動するジェスチャ以外を入力対象と判定する。表示制御部６１は、仮想的なレーザポインタの表示領域の仮想面に、記録された軸の軌跡を表示させた画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信して表示部３０に軸の軌跡も表示させる（Ｓ１７）。この際、表示制御部６１は、入力対象外と入力対象とを区別して表示させる。例えば、表示制御部６１は、入力対象外の軌跡を入力対象の軌跡よりも視認性を低く表示する。表示制御部６１は、入力検出部６０により検出されるスイッチ２０の長押し操作が終了したか否か判定する（Ｓ１８）。スイッチ２０の長押し操作が終了していない場合（Ｓ１８否定）、上述のＳ１１に移行する。

一方、スイッチ２０の長押し操作が終了した場合（Ｓ１８肯定）、認識部６６は、軌跡記録部６４により記録された軌跡から文字の認識を行う（Ｓ１９）。表示制御部６１は、認識部６６により「１」〜「４」の数字が認識されたか否かを判定する（Ｓ２０）。「１」〜「４」の数字が認識されていない場合（Ｓ２０否定）、軌跡記録部６４は、軸の軌跡を消去する（Ｓ２１）。表示制御部６１は、仮想的なレーザポインタの表示領域の仮想面に表示した軸の軌跡を消去した画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信して軸の軌跡を消去し（Ｓ２２）、上述のＳ１１に移行する。

一方、「１」〜「４」の数字が認識された場合（Ｓ２０肯定）、表示制御部６１は、認識された数字に対応する項目のモードが選択されたと判定してメニュー画面７０を消去し（Ｓ２３）、処理を終了する。

一方、スイッチ２０の長押し操作が検出されていない場合（Ｓ１４否定）、表示制御部６１は、入力検出部６０によりスイッチ２０のシングルクリックが検出されたかを判定する（Ｓ２４）。スイッチ２０のシングルクリックが検出されない場合（Ｓ２４否定）、上述のＳ１１へ移行する。

一方、スイッチ２０のシングルクリックが検出された場合（Ｓ２４肯定）、表示制御部６１は、シングルクリックが検出された位置がメニュー画面７０の何れかの項目の上であるか否かを判定する（Ｓ２５）。シングルクリックが検出された位置がメニュー画面７０の何れの項目の上でもない場合（Ｓ２５否定）、上述のＳ１１に移行する。一方、シングルクリックが検出された位置がメニュー画面７０の何れかの項目の上である場合（Ｓ２５肯定）、表示制御部６１は、カーソルが位置する項目のモードが選択されたと判定してメニュー画面７０を消去し（Ｓ２６）、処理を終了する。

次に、指の姿勢情報のキャリブレーションするキャリブレーション処理の流れについて説明する。図１８は、キャリブレーション処理の手順の一例を示すフローチャートである。このメニュー処理は、所定のタイミング、例えば、メニュー画面７０によりキャリブレーションモードが選択されたタイミングで実行される。ユーザは、メニュー画面７０でキャリブレーションモードを選択すると、指にウェアブルデバイス１１が装着された手を開閉させる。

図１８に示すように、キャリブレーション部６２は、ウェアブルデバイス１１から受信される姿勢変化情報に基づき、手を開閉によるウェアブルデバイス１１が装着された指を屈伸させた際の指の動作を検出する（Ｓ３０）。キャリブレーション部６２は、指を屈伸させた際の姿勢変化情報に基づいて、指の動作の基準方向を補正する補正情報を算出し（Ｓ３１）、処理を終了する。

次に、手書きによりメモの入力するメモ入力処理の流れについて説明する。図１９は、メモ入力処理の手順の一例を示すフローチャートである。このメモ入力処理は、所定のタイミング、例えば、メニュー画面７０によりメモ入力モードが選択されたタイミングで実行される。

図１９に示すように、入力検出部６０は、ウェアブルデバイス１１から受信される姿勢変化情報から３軸の回転による指の姿勢変化を検出する（Ｓ４０）。軸検出部６３は、入力検出部６０により検出される指の姿勢変化に基づき、姿勢を示す軸を検出する（Ｓ４１）。表示制御部６１は、表示領域の一部に仮想的なレーザポインタを配置した画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信して表示部３０に仮想的なレーザポインタを表示させる（Ｓ４２）。

表示制御部６１は、入力検出部６０によりスイッチ２０の長押し操作が検出されるか判定する（Ｓ４３）。スイッチ２０の長押し操作が検出されない場合（Ｓ４３否定）、上述のＳ４０へ移行する。

一方、スイッチ２０の長押し操作が検出される場合（Ｓ４３肯定）、軌跡記録部６４は、軸の軌跡を記録する（Ｓ４４）。判定部６５は、ジェスチャが入力対象外であるか判定する（Ｓ４５）。例えば、判定部６５は、左上へ移動するジェスチャを入力対象外と判定し、左上へ移動するジェスチャ以外を入力対象と判定する。表示制御部６１は、仮想的なレーザポインタの表示領域の仮想面に、記録された軸の軌跡を表示させた画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信して表示部３０に軸の軌跡も表示させる（Ｓ４６）。この際、表示制御部６１は、入力対象外と入力対象とを区別して表示させる。例えば、表示制御部６１は、入力対象外の軌跡を入力対象の軌跡よりも視認性を低く表示する。表示制御部６１は、入力検出部６０により検出されるスイッチ２０の長押し操作が終了したか否か判定する（Ｓ４７）。スイッチ２０の長押し操作が終了していない場合（Ｓ４７否定）、上述のＳ４０に移行する。

一方、スイッチ２０の長押し操作が終了した場合（Ｓ４７肯定）、認識部６６は、軌跡記録部６４により記録された軌跡から文字の認識を行う（Ｓ４８）。表示制御部６１は、認識部６６により認識された文字に撥ねがあるか否か判定する（Ｓ４９）。撥ねがない場合（Ｓ４９否定）、後述のＳ５２へ移行する。一方、撥ねがある場合（Ｓ４９肯定）、軌跡記録部６４は、記録した軌跡のうち、文字の撥ねに対応する軌跡を文字部分の軌跡と同様に変更する（Ｓ５０）。表示制御部６１は、軌跡記録部６４により変更された軌跡を表示する（Ｓ５１）。

格納部６７は、文字の軌跡の画像および認識部６６により認識された文字をメモ情報５１に格納する（Ｓ５２）。軌跡記録部６４は、軸の軌跡を消去する（Ｓ５３）。表示制御部６１は、仮想的なレーザポインタの表示領域の仮想面に表示した軸の軌跡を消去した画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信して表示部３０の仮想面に表示した軸の軌跡を消去する（Ｓ５４）。なお、表示制御部６１は、認識部６６により認識された文字を一時的に表示させてもよい。

表示制御部６１は、入力検出部６０により手書き入力を終了する所定の終了操作が検出されたか否かを判定する（Ｓ５５）。この終了操作は、例えば、トリプルクリックとする。所定の終了操作が検出されていない場合（Ｓ５５否定）、上述のＳ４０に移行する。一方、終了操作が検出された場合（Ｓ５５肯定）、処理を終了する。

次に、メモを閲覧するメモ閲覧処理の流れについて説明する。図２０は、メモ閲覧処理の手順の一例を示すフローチャートである。このメモ閲覧処理は、所定のタイミング、例えば、メニュー画面７０により閲覧モードが選択されたタイミングで実行される。

図２０に示すように、表示制御部６１は、記憶部４１のメモ情報５１を読み出し、メモ情報５１の内容を表示領域の一部に配置した画面の画像情報を生成し、生成した画像情報をヘッドマウントディスプレイ１２へ送信してメモ情報５１を表示させる（Ｓ６０）。

表示制御部６１は、入力検出部６０により手書き入力を終了する所定の終了操作が検出されたか否かを判定する（Ｓ６１）。この終了操作は、例えば、トリプルクリックとする。所定の終了操作が検出されていない場合（Ｓ６１否定）、上述のＳ６１に移行する。一方、終了操作が検出された場合（Ｓ６１肯定）、表示制御部６１は、メモ情報５１の情報の表示を終了して、処理を終了する。

次に、撮影の操作コマンドを出力する操作コマンド出力処理の流れについて説明する。図２１は、操作コマンド出力処理の手順の一例を示すフローチャートである。この操作コマンド出力処理は、所定のタイミング、例えば、メニュー画面７０により撮影モードが選択されたタイミングで実行される。

図２１に示すように、入力検出部６０は、ウェアブルデバイス１１から受信される姿勢変化情報から３軸の回転による指の姿勢変化を検出する（Ｓ７０）。軸検出部６３は、入力検出部６０により検出される指の姿勢変化に基づき、姿勢を示す軸を検出する（Ｓ７１）。なお、本実施例では、撮影モードについて撮影の邪魔にならないよう仮想的なレーザポインタを表示させないが、仮想的なレーザポインタを表示させてもよい。

表示制御部６１は、入力検出部６０によりスイッチ２０の長押し操作が検出されているか判定する（Ｓ７２）。スイッチ２０の長押し操作が検出されない場合（Ｓ７２否定）、後述のＳ８１へ移行する。

一方、スイッチ２０の長押し操作が検出されている場合（Ｓ７２肯定）、軌跡記録部６４は、軸の軌跡を記録する（Ｓ７３）。判定部６５は、ジェスチャが入力対象外であるか判定する（Ｓ７４）。例えば、判定部６５は、左上へ移動するジェスチャを入力対象外と判定し、左上へ移動するジェスチャ以外を入力対象と判定する。表示制御部６１は、入力検出部６０により検出されるスイッチ２０の長押し操作が終了したか否か判定する（Ｓ７５）。スイッチ２０の長押し操作が終了していない場合（Ｓ７５否定）、上述のＳ７０に移行する。

一方、スイッチ２０の長押し操作が終了した場合（Ｓ７５肯定）、認識部６６は、軌跡記録部６４により記録された軌跡から文字の認識を行う（Ｓ７６）。操作コマンド出力部６８は、認識部６６により所定文字が認識されたか否かを判定する（Ｓ７７）。所定文字が認識された場合（Ｓ７７肯定）、操作コマンド出力部６８は、撮影を指示する操作コマンドをヘッドマウントディスプレイ１２へ送信する（Ｓ７８）。格納部６７は、ヘッドマウントディスプレイ１２から受信した撮影された画像の画像情報を画像情報５２として記憶部４１に格納する（Ｓ７９）。

一方、所定文字が認識されない場合（Ｓ７７否定）、後述のＳ８０へ移行する。

軌跡記録部６４は、軸の軌跡を消去する（Ｓ８０）。

表示制御部６１は、入力検出部６０により手書き入力を終了する所定の終了操作が検出されたか否かを判定する（Ｓ８１）。この終了操作は、例えば、トリプルクリックとする。所定の終了操作が検出されていない場合（Ｓ８１否定）、上述のＳ７０に移行する。一方、終了操作が検出された場合（Ｓ８１肯定）、処理を終了する。

［効果］
上述してきたように、本実施例に係る入力支援装置１３は、ウェアブルデバイス１１を装着した指の動作を検出する。入力支援装置１３は、検出した指の動作に基づいて、当該指の姿勢を示す軸を検出する。入力支援装置１３は、検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイ１２に表示する。これにより、入力支援装置１３は、指による入力を支援できる。

また、本実施例に係る入力支援装置１３は、指を屈伸させた際の指の動作を検出する。入力支援装置１３は、検出した指の動作に基づいて、指の動作の基準方向をキャリブレーションする。これにより、入力支援装置１３は、ウェアブルデバイス１１が指にずれて装着された場合でも、指の動作を精度よく検出できる。

また、本実施例に係る入力支援装置１３は、軸の軌跡から文字を認識する。入力支援装置１３は、認識した文字を軌跡と対応させて格納する。これにより、入力支援装置１３は、軌跡の認識で文字が誤変換された場合でも、何をメモしたかの把握を支援できる。

また、本実施例に係る入力支援装置１３は、軸の軌跡から文字または記号を認識する。入力支援装置１３は、認識した文字または記号に基づいて、他の機器へ操作コマンドを出力する。これにより、入力支援装置１３は、手書き文字により、他の機器を操作できる。

さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

例えば、上記の実施例では、入力システム１０が、ウェアブルデバイス１１、ヘッドマウントディスプレイ１２および入力支援装置１３を有する場合について説明したが、これに限定されない。例えば、ウェアブルデバイス１１またはヘッドマウントディスプレイ１２が入力支援装置１３の機能を有してもよい。

また、上記の実施例では、ウェアブルデバイス１１を用いて手書き入力を行う場合について説明したが、これに限定されない。例えば、スマートフォン、タブレット端末など、タッチパネルを有する情報処理装置のタッチパネルに手書き入力された文字にも適用できる。また、パーソナルコンピュータでマウスなどに位置を指定可能な入力デバイスを用いてに手書き入力された文字にも適用できる。この場合も手書きされた文字を認識しやすくすることができる。

また、上記の実施例では、ヘッドマウントディスプレイ１２に表示を行う場合について説明したが、これに限定されない。例えば、外部のディスプレイやスマートフォン、タブレット端末などタッチパネルに表示してもよい。

また、上記の実施例では、他の機器として、ヘッドマウントディスプレイ１２に対して撮影の操作コマンドを出力する場合について説明したが、これに限定されない。他の機器は、何れであってもよい。例えば、入力支援装置１３は、各種の機器の操作コマンドを記憶部４１に記憶する。そして、入力支援装置１３は、ヘッドマウントディスプレイ１２のカメラ３１により撮影された画像から画像認識により機器を判別し、手書き入力に応じて、判別した機器の操作コマンドを出力してもよい。

また、上記の実施例では、キャリブレーションモードにおいて補正情報を算出する場合について説明したが、これに限定されない。例えば、キャリブレーションモードにおいて、正常に装着されていないことを通知して、ユーザによってウェアブルデバイス１１を正常に装着状態に変更させてもよい。

また、上記の実施例では、認識部６６が、軌跡記録部６４により記録された軌跡のうち、入力対象とされた軌跡の文字認識を行う場合について説明したが、これに限定されない。認識部６６は、ウェアブルデバイス１１での手書き入力特有の事象に着目した各種のフィルタ処理を行った後、文字認識を行ってもよい。

例えば、手書き入力では、上下方向や左右方向に入力を行おうとしても、軌跡が上下方向や左右方向から角度がずれた入力となる場合がある。特に、自由空間への手書き入力では、入力の対象とする面が無いため、ずれが発生しやすい。そこで、認識部６６は、軌跡が上下方向または左右方向から所定角度以内の線と見なせる場合、軌跡に対して角度の補正を行って文字認識を行ってもよい。認識部６６は、軌跡の始点と終点を結ぶ直線が、上下方向または左右方向から所定角度以内であり、軌跡が直線から所定幅以内である場合、上下方向または左右方向からの角度のずれ分、軌跡の角度の補正を行って文字認識を行ってもよい。所定角度は、例えば、３０度とする。所定幅は、例えば、始点と終点の距離の１／１０とする。この所定角度および所定幅は、外部から設定可能としてもよい。また、ユーザに上下方向または左右方向の軌跡の入力を行わせ、認識部６６が、入力された軌跡から始点と終点を結ぶ直線の角度のずれ、軌跡の直線から幅を検出して、所定角度および所定幅を学習してもよい。図２２は、軌跡の補正の一例を示す図である。図２２の例では、数字の「１」が手書き入力されたが、上下方向に対して軌跡に角度のずれが発生している。図２２の例では、認識部６６は、軌跡の始点と終点を結ぶ直線１１０が上下方向からずれている角度分、軌跡の角度の補正を行って文字認識を行う。これにより、入力支援装置１３は、手書き入力された軌跡を精度よく文字認識できる。

また、例えば、ウェアブルデバイス１１による手書き入力では、スイッチ２０の操作が遅くなる場合や早くなる場合がある。そこで、認識部６６は、スイッチ２０の長押し操作の開始前後の姿勢変化情報に基づいて、軌跡の補正を行って文字認識を行ってもよい。例えば、認識部６６は、スイッチ２０の長押し操作の終了の前後で、姿勢の急激な変化および加速度の急激な変化の何れか一方、または両方が検出された場合、急激な変化に対応する軌跡の部分を除いて軌跡の文字認識を行う。この急激な変化を検出する閾値は、固定で定めてもよく、ユーザに所定の文字を手書き入力させ、文字の終了前後の姿勢変化情報から学習してもよい。図２３は、軌跡の補正の一例を示す図である。図２３の例では、数字の「６」が手書き入力を行った際に、スイッチ２０の長押し操作の終了が遅れて、軌跡の終了部分１１１で急激な変化が発生している。認識部６６は、終了部分１１１を除いて軌跡の文字認識を行う。なお、姿勢の急激な変化は、長押し操作の間に所定周期でサンプリングされる位置の変化から検出してもよい。これにより、入力支援装置１３は、手書き入力された軌跡を精度よく文字認識できる。

また、例えば、認識部６６は、スイッチ２０の長押し操作の前の軌跡を追加する補正を行って文字認識を行ってもよい。例えば、認識部６６は、文字の認識の結果、認識率が低い場合や、長押し操作の前から長押し操作開始時と同様の姿勢変化が継続している場合、所定時間分前の軌跡、またはスイッチ２０の長押し操作の直前の停止状態からの軌跡を追加する補正を行って文字認識を行ってもよい。図２４は、軌跡の補正の一例を示す図である。図２４の例では、数字の「３」が手書き入力されたが、スイッチ２０の長押し操作が遅れて、最初の部分１１２の軌跡が不足している。認識部６６は、スイッチ２０の長押し操作の前の部分１１２の軌跡を追加する補正を行って文字認識を行う。これにより、入力支援装置１３は、手書き入力された軌跡を精度よく文字認識できる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、入力検出部６０、表示制御部６１、キャリブレーション部６２、軸検出部６３、軌跡記録部６４、判定部６５、認識部６６、格納部６７および操作コマンド出力部６８の各処理部が適宜統合されてもよい。また、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［入力支援プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図２５は、入力支援プログラムを実行するコンピュータを示す図である。

図２５に示すように、コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。

ＨＤＤ３２０には上記の入力検出部６０、表示制御部６１、キャリブレーション部６２、軸検出部６３、軌跡記録部６４、判定部６５、認識部６６、格納部６７および操作コマンド出力部６８と同様の機能を発揮する入力支援プログラム３２０ａが予め記憶される。なお、入力支援プログラム３２０ａについては、適宜分離しても良い。

また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、ＯＳや発注量の決定に用いる各種データを記憶する。

そして、ＣＰＵ３１０が、入力支援プログラム３２０ａをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、入力支援プログラム３２０ａは、入力検出部６０、表示制御部６１、キャリブレーション部６２、軸検出部６３、軌跡記録部６４、判定部６５、認識部６６、格納部６７および操作コマンド出力部６８と同様の動作を実行する。

なお、上記した入力支援プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。

例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

１０ 入力システム
１１ ウェアブルデバイス
１２ ヘッドマウントディスプレイ
１３ 入力支援装置
２０ スイッチ
２１ 姿勢センサ
２３ 制御部
３０ 表示部
３１ カメラ
３３ 制御部
４１ 記憶部
４２ 制御部
５０ 認識辞書データ
５１ メモ情報
５２ 画像情報
６０ 入力検出部
６１ 表示制御部
６２ キャリブレーション部
６３ 軸検出部
６４ 軌跡記録部
６５ 判定部
６６ 認識部
６７ 格納部
６８ 操作コマンド出力部

Claims (6)

1. コンピュータが、
   ウェアブルデバイスを装着した指の動作を検出し、
   検出した指の動作に基づいて、当該指の姿勢を示す軸を検出し、
   検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイに表示する
   処理を実行することを特徴とする入力支援方法。
2. コンピュータが、
   前記指を屈伸させた際の指の動作を検出し、
   検出した指の動作に基づいて、指の動作の基準方向をキャリブレーションする処理をさらに実行し、
   前記軸を検出する処理は、前記キャリブレーションされた基準方向を基準として、前記指の姿勢を示す軸を検出する
   ことを特徴とする請求項１に記載の入力支援方法。
3. コンピュータが、
   前記軸の軌跡から文字を認識し、
   認識した文字を前記軌跡と対応させて格納する
   処理をさらに実行することを特徴とする請求項１または２に記載の入力支援方法。
4. コンピュータが、
   前記軸の軌跡から文字または記号を認識し、
   認識した文字または記号に基づいて、他の機器へ操作コマンドを出力する
   処理をさらに実行することを特徴とする請求項１〜３の何れか１つに記載の入力支援方法。
5. コンピュータに、
   ウェアブルデバイスを装着した指の動作を検出し、
   検出した指の動作に基づいて、当該指の姿勢を示す軸を検出し、
   検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイに表示する
   処理を実行させることを特徴とする入力支援プログラム。
6. ウェアブルデバイスを装着した指の動作を検出する第１検出部と、
   前記第１検出部により検出した指の動作に基づいて、当該指の姿勢を示す軸を検出する第２検出部と、
   前記第２検出部により検出した軸に連動する仮想的なレーザポインタと当該軸の軌跡とをヘッドマウントディスプレイに表示する制御を行う表示制御部と、
   を有することを特徴とする入力支援装置。

Images