JP6891891B2 - 情報処理装置 - Google Patents

Description

本技術は、ウェアラブルデバイスに適用可能な情報処理装置、情報処理方法、及びプログラムに関する。

近年、眼鏡型や腕時計型等の種々のウェアラブルデバイスの開発が進められている。例えば特許文献１には、制御部、入力部、センサ部、記憶部、通信部、表示部等を備えたリストバンド型の表示制御装置が開示されている。また特許文献２には、機器の消費電力を抑えて電池の長寿命化を図ることが可能な電子機器が開示されている。

特開２０１５−１２５６１６号公報 ＷＯ２００９／００８４１１号

近年、ウェアラブルデバイス等の電子機器においては小型化、高機能化のほか、低消費電力化の要求が高まっている。このためには、例えばユーザの有意なジェスチャ入力を必要最小限の電力で検出することが求められる。

以上のような事情に鑑み、本技術の目的は、ユーザの状態変化を必要最小限の電力で実行することができる情報処理装置、情報処理方法及びプログラムを提供することにある。

本技術の一形態に係る情報処理装置は、信号生成部と、第１の判別部と、第２の判別部とを具備する。
上記信号生成部は、検出対象に取り付けられたセンサユニットの出力を処理し、上記検出対象の状態変化を検出したときにトリガ信号を生成する。
上記第１の判別部は、上記トリガ信号を受けて休止状態から起動し、上記センサユニットの出力から上記検出対象の状態変化を第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力する。
上記第２の判別部は、上記判別不能信号を受けて休止状態から起動し、上記センサユニットの出力から上記検出対象の状態変化を上記第１の判別基準とは異なる第２の判別基準で判別する。

上記情報処理装置において、第１の判別部は、検出対象の状態変化が検出されたときに起動し、第２の判別部は、第１の判別部における判別が不可能な場合に起動するように構成される。これにより電力消費を抑えつつ、検出対象の状態判別を行うことができる。

上記信号生成部は、上記検出対象の状態変化から上記検出対象を装着したユーザの動きを検出し、上記第１の判別部及び上記第２の判別部は、上記ユーザの動きの態様に基づき、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別するように構成されてもよい。

上記第１の判別部は、上記複数のジェスチャ候補の中から上記ユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行し、上記ジェスチャ候補の特定が不可能な場合は上記判別不能信号を出力するように構成されてもよい。

上記第２の判別部は、上記複数のジェスチャ候補の中から上記ユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行するように構成されてもよい。

上記情報処理装置は、上記複数のジェスチャ候補を設定する設定部をさらに具備してもよい。この場合、上記信号生成部は、設定された上記複数のジェスチャ候補の種類に応じて、上記トリガ信号を生成する基準を変更するように構成されてもよい。

上記信号生成部は、上記検出対象が装着された上記ユーザの腕の動きを検出し、上記第１の判別部及び上記第２の判別部は、上記ユーザの腕の振り上げ動作、振り下げ動作、ツイスト動作及びシェイク動作のいずれか１つを特定するように構成されてもよい。

上記第１の判別部及び上記第２の判別部は、上記検出対象の状態変化が判別された後、再び休止するように構成されてもよい。

上記情報処理装置は、上記センサユニットの出力を時系列的に記憶することが可能なバッファメモリをさらに具備してもよい。

本技術の一形態に係る情報処理方法は、検出対象に取り付けられたセンサユニットの出力に基づいて上記検出対象の状態変化に関する状態変化を検出したとき、上記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させることを含む。
上記第１の判別部で判別が不可能なとき、上記検出対象の状態変化を上記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部が休止状態から起動させられる。

本技術の一形態に係るプログラムは、検出対象に取り付けられたセンサユニットの出力に基づいて上記検出対象の状態変化に関する状態変化を検出したとき、上記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させるステップと、
上記第１の判別部で判別が不可能なとき、上記検出対象の状態変化を上記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させるステップと
をコンピュータに実行させる。

以上のように、本技術によれば、ユーザの状態変化を必要最小限の電力で実行することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る情報処理装置を示す概略斜視図である。 上記情報処理装置の構成を説明するブロック図である。 上記情報処理装置における制御部の構成を示すブロック図である。 上記制御部における信号生成部の一構成例を示すブロック図である。 上記情報処理装置の典型的な動作例を示すシーケンス図である。 ジェスチャの例を示す模式図である。 本技術の第２の実施形態に係る情報処理装置の構成を示すブロック図である。 上記情報処理装置の作用を説明する図である。 本技術の第３の実施形態に係る情報処理装置の構成を示すブロック図である。 上記情報処理装置の一作用を説明する図である。 上記情報処理装置の動作例を説明するフローチャートである。 上記情報処理装置の動作例を説明するフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
図１は、本技術の第１の実施形態に係る情報処理装置を示す概略斜視図である。本実施形態の情報処理装置１は、腕時計型あるいはリストバンド型のウェアラブルデバイスで構成される。

本実施形態の情報処理装置１は、時刻表示等の基本機能のほか、ユーザの腕の動きを検出して表示や制御を切り替えるジェスチャ認識機能を有する。なお情報処理装置１は、仕様に応じて、電子メール等の送受信、ウェブ情報の閲覧、ユーザの生体情報の計測・管理等を行うことが可能な端末装置として用いられてもよい。

［全体構成］
情報処理装置１は、本体１０と、本体１０を支持しユーザの腕に取り付けられるバンド部２０とを有する。

図２は、本体１０の構成を説明するブロック図である。

本体１０は、制御部１１と、入力部１２と、センサ部１３と、記憶部１４と、通信部１５と、表示部１６と、バッテリ１７と、これらを収容する筐体１８とを有する。

制御部１１は、コンピュータで構成され、記憶部１４又はその他の記憶媒体に記憶されたプログラムを実行することで、情報処理装置１の全体の動作を制御する。制御部１１は、典型的には、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on Chip）などの単数又は複数のプロセッサを含む。

制御部１１は、後述するように、センサ部１３の出力に基づいて、情報処理装置１を装着するユーザの腕の動きや姿勢変化から、ユーザの有意なジェスチャ入力の有無や種類を判別し、その判別結果に応じて通信部１５や表示部１６等を制御する。

また制御部１１は、後述するように、ユーザの有意な動作を検出するまでは、表示部１６を消灯したり、ジェスチャの判別を行わないようにしたりして、バッテリ１７の消費電力の低減を図るように構成されている。

入力部１２は、ユーザによる入力操作を受け付けて制御部１１へ出力する。入力部１２は、キー、スイッチ等の各種のデバイスで構成されてもよいし、タッチセンサで構成されてもよい。入力部１２がタッチセンサで構成される場合、表示部１６と一体的に構成されてもよい。

センサ部１３は、筐体１８に作用する加速度を検出し、それを制御部１１へ出力する。センサ部１３は、主として、情報処理装置１を装着したユーザの腕の動きや姿勢を検出する機能を有する。

センサ部１３は、典型的には、直交する３軸方向（図１におけるＸ，Ｙ及びＺ軸方向。以下同様）の加速度を検出することが可能な加速度センサを含むセンサユニットで構成される。センサ部１３のサンプリング周波数は適宜設定可能であり、例えば８Ｈｚである。

上記加速度センサは、各軸の加速度を検出する複数のセンサで構成されてもいし、単独のセンサで構成されてもよい。さらにセンサ部１３は、加速度センサだけでなく、角速度センサ等の他のモーションセンサ、ユーザの体温や脈拍、発汗等を検出可能な生体センサ等を含んでもよい。

記憶部１４は、典型的には、半導体メモリで構成され、制御部１１を動作させるためのプログラム、ユーザの動き検出やジェスチャの判別に必要なパラメータや関数等を記憶する。また記憶部１４は、プログラムによって使用される各種のデータを記憶することが可能に構成される。さらに記憶部１４は、制御部１１において実行される各種アプリケーションソフトウェアが格納される。

通信部１５は、携帯情報端末やサーバ、他の情報処理装置１等と無線又は有線により通信可能に構成される。通信部１５は、典型的には、情報処理装置１を装着するユーザの携帯情報端末（スマートホン、携帯電話、ノート型パーソナルコンピュータ等）と通信可能に構成される。通信部１５は、通信回路やアンテナ等を含み、制御部１１の出力を当該携帯情報端末へ送信し、あるいは、当該携帯情報端末からの入力情報を受信して制御部１１へ出力する。

表示部１６は、制御部１１からの表示制御信号を受けて各種情報の表示を行うためのもので、情報処理装置１の画面を構成する。表示部１６は、典型的には、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示素子を含む。表示部１６は、制御部１１の指令に基づき、時刻や入力キー、受信情報、計測情報等の各種画像の表示を行う。

バッテリ１７は、本体１０の動作に必要な電力を供給するためのもので、典型的には、一次電池、二次電池等の蓄電素子で構成される。またバッテリ１７は、太陽光や振動等で発電可能な発電素子で構成されてもよい。

筐体１８は、金属製又は合成樹脂製のケーシングであり、本実施形態では薄型の直方体形状を有する。これに限られず、筐体１８は、円盤形状その他の幾何学的形状に形成されてもよい。筐体１８は、バンド部２０を介してユーザに装着可能に構成される。

本実施形態において、センサ部１３は筐体１８を検出対象とし、制御部１１は筐体１８の姿勢変化を通じてユーザの腕の動き（ジェスチャ）を判別するように構成される。これに限られず、センサ部１３はユーザの腕に直接的に取り付けられてもよい。

［制御部の構成］
続いて制御部１１の詳細について説明する。図３は、制御部１１の構成を示すブロック図である。制御部１１は、ユーザの腕の動きを検出し、その動きに応じた所定の処理を実行するように構成される。

制御部１１は、判別回路部１１Ａと、実行回路部１１Ｂとを有する。
判別回路部１１Ａは、センサ部１３で検出されたユーザの動きがジェスチャ判別に有意な情報か否かを判別する回路である。実行回路部１１Ｂは、判別されたジェスチャ動作に応じて各種アプリケーションを実行するメインプロセッサである。

判別回路部１１Ａは、信号生成部１１０と、判別部１１３と、リングバッファ１１４とを有する。判別部１１３は、第１の判別器１１１と、第２の判別器１１２とを有する。

（信号生成部）
信号生成部１１０は、センサ部１３の出力を処理し、ユーザの姿勢に関する状態変化を検出したときにトリガ信号を生成するように構成される。

本実施形態において信号生成部１１０は、センサ部１３の出力を処理し、ユーザの姿勢に関する状態変化の有無を検出する。ユーザの姿勢に関する状態変化とは、具体的には、ユーザの腕の動きを意味する。信号生成部１１０は、ユーザの動きを検出したとき、判別部１１３へトリガ信号を生成する。信号生成部１１０は、情報処理装置１の起動から常時稼働してセンサ部１３の出力を監視するように構成される。

図４は、信号生成部１１０の一構成例を示すブロック図である。

信号生成部１１０は、ローパスフィルタ（ＬＰＦ）１０１と、差分回路１０２と、ノルム算出回路１０３と、閾値判別回路１０４とを有する。

ＬＰＦ１０１は、センサ部１３の出力（３軸方向の加速度信号）から不要ノイズを除去して真に評価すべきジェスチャを検出するためのフィルタ関数である。ＬＰＦ１０１のカットオフ周波数は、ユーザの歩行や走行、あるいは乗り物の搭乗中に生じ得る加速度信号の高周波成分を除去することが可能な適宜の値（例えば４Ｈｚ）に設定される。ＬＰＦ１０１の出力は、差分回路１０２と、リングバッファ１１４とに出力される。

信号生成部１１０は、ＬＰＦ１０１から出力された３軸方向の加速度信号をそれぞれ差分回路１０２によって時間微分し、ノルムを算出回路１０３によって算出する判別関数を有する。閾値判別回路１０４は、その判別関数の値が予め設定された閾値を超えるか否かを判別する。閾値判別回路１０４は、３軸方向各々について固有の閾値を有し、各軸のノルム値のうち少なくとも１つが閾値を超えるときはトリガ信号を生成して、これを第１の判別器１１１へ出力するように構成される。

（第１の判別器）
第１の判別器１１１は、トリガ信号を受けて休止状態（スリープ状態）から起動し、センサ部１３の出力からユーザの腕の動きを第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力するように構成される。

第１の判別器１１１には、処理速度が比較的低い簡素なＣＰＵを用いることができる。第１の判別器１１１は、信号生成部１１０がトリガ信号を生成するまで休止状態を維持することで、バッテリ１７の電力消耗を低減する。

第１の判別器１１１は、ユーザの動きの態様に基づき、第１の判別基準によって、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別する。ユーザの動きの態様にはリングバッファ１１４に格納されたＬＰＦ１０１の出力データが参照され、ジェスチャ候補の判別には記憶部１４に格納された複数のジェスチャ候補が参照される。複数のジェスチャ候補は特に限定されず、例えば、ユーザの腕の振り上げ動作、振り下げ動作、シェイク動作、ツイスト動作等が挙げられる（図６参照）。

この際、第１の判別器１１１は、上記複数のジェスチャ候補の中からユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行する。

第１の判別処理としては、例えば、記憶部１４に格納された複数のジェスチャ候補の中から、ユーザの動きの態様を基礎づける加速度データに対応するデータを有するジェスチャ候補を特定する等の比較的簡素なアルゴリズムが実行される。この第１の判別処理でジェスチャ候補が特定されたとき、第１の判別器１１１は、特定したジェスチャ候補に関する情報を実行回路部１１Ｂへ出力する。

一方、この第１の判別処理でジェスチャ候補の特定が不可能なとき、第１の判別器１１１は判別不能信号を出力する。ジェスチャ候補の特定が不可能なときとは、いずれのジェスチャ候補に該当するか認識できないときを含む。

（第２の判別器）
第２の判別器１１２は、判別不能信号を受けて休止状態から起動し、センサ部１３の出力から筐体１８の姿勢を第１の判別基準とは異なる第２の判別基準で判別するように構成される。

第２の判別器１１２は、第１の判別器１１１よりも消費電力が大きい、演算能力が高い、あるいは処理速度が速い、又はこれらの組み合わせである等、第１の判別器１１１よりも高性能なＣＰＵで構成される。第２の判別器１１２は、第１の判別器１１１が判別不能信号を生成するまで休止状態を維持することで、バッテリ１７の電力消耗を低減する。

第２の判別器１１２は、ユーザの動きの態様に基づき、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別する。ユーザの動きの態様にはリングバッファ１１４に格納されたＬＰＦ１０１の出力データが参照され、ジェスチャ候補の判別には記憶部１４に格納された複数のジェスチャ候補が参照される。

このとき第２の判別器１１２は、複数のジェスチャ候補の中からユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行する。

第２の判別処理としては、上記第１の判別処理よりも高度なアルゴリズムが実行される。例えば機械学習の判別器を利用した演算等のような比較的演算量の多いアルゴリズムを用いることができる。このような高度な判別基準を採用することで、ユーザの意図に合致したジェスチャ候補である蓋然性の高いジェスチャ候補を精度よく特定することが可能となる。

第２の判別処理で特定されたジェスチャ候補に関する情報は、実行回路部１１Ｂへ出力される。このジェスチャ候補に関する情報は、第１の判別器１１１から出力されてもよいし、第２の判別器１１２から出力されてもよい。

第１の判別器１１１及び第２の判別器１１２は、特定したジェスチャ候補に関する情報を実行回路部１１Ｂへ出力したとき、あるいは、ユーザの動きに対応するジェスチャ候補が無いと判別したとき、再び休止状態に移行し、バッテリ１７の電力消耗を抑える。特に第２の判別器１１２は、第１の判別部１１１よりも大きな消費電力を必要とするため、消費電力低減の観点から第２の判別器１１２を休止させておくメリットは高い。

（リングバッファ）
リングバッファ１１４は、センサ部１３の出力（３軸方向各々の加速度信号）を時系列的に記憶することが可能なバッファメモリで構成される。リングバッファ１１４の容量は、第１及び第２の判別器１１１，１１２においてユーザの動きに対応するジェスチャ候補の特定に用いられる情報量があれば十分であり、例えば過去１秒分のセンサ情報を蓄積できる大きさであればよい。

［情報処理装置の動作］
続いて、本実施形態に係る情報処理方法について情報処理装置１の動作とともに説明する。図５は、情報処理装置１の典型的な動作例を示すシーケンス図である。ここでは、ジェスチャ認識のフローを説明する。

センサ部１３は、各軸の加速度センサの値を所定時間間隔で読みだした後、その値にフィルタ関数（ＬＰＦ１０１）を適用し、トリガ判別関数（差分回路１０２、ノルム算出回路１０３）を計算して、その値が一定値を超えるなど条件を満たすとトリガ発生（発動）イベントを行う（トリガ信号の生成）（ステップ１０１〜１０４）。

トリガが発生すると判別部１１３が起動し、ジェスチャの検出処理が行われる。ジェスチャ検出時には、トリガ発生前からのセンサ部１３の出力がリングバッファ１１４に保持されているので、これも利用して計算が行われる。

ジェスチャ検出のアルゴリズムは複数に分割されており、まず軽量だが正確性に劣るアルゴリズムが第１の判別器１１１で計算される（ステップ１０５，１０６）。この結果、明確にジェスチャと認識できた場合は、ジェスチャイベントが発生される（ステップ１０８）。一方、このアルゴリズムで検出されなかったが、ジェスチャである可能性が残っている場合は、第２の判別器１１２を起動してより正確な処理で判断を行う（ステップ１０７）。これには機械学習による判別器を使ってもよい。ジェスチャが検出されるか不検出が決定され、その他の処理も終わると、第１及び第２の判別器１１１，１１２は再び休止状態に戻る。

図示の例では、第２の判別器１１２でジェスチャが認識されたとき、第１の判別器１１１においてジェスチャイベントが発生されるが、これに代えて、第２の判別器１１２においてジェスチャイベントが発生されてもよい。実行回路部１１Ｂはジェスチャイベントを受信したとき、認識あるいは特定されたジェスチャ候補に関する情報に基づいてアプリケーションソフトウェアを実行する（ステップ１０９）。

なお、判別部１１３が起動する条件としては、センサ部１３からのトリガの他に、定時的な割り込み、ユーザの操作等が挙げられる。定時割り込みは、動きが激しい時などにトリガの条件が厳しく設定されたとき、その後動きが少なくなってトリガが適切でない場合があるため、定期的に運動強度等からトリガの適切さを計算して再設定するものである。

図６Ａ〜Ｄは、ジェスチャの種類の一例を示す模式図である。Ａは腕の振り上げ動作、Ｂは腕の振り下げ動作、Ｃは腕振り（シェイク）動作、Ｄは腕回し（ツイスト）動作をそれぞれ示している。

図６Ａの振り上げ動作は、主としてＺ軸方向の加速度センサの出力で認識される。振り上げ動作が認識されると、ユーザが情報処理装置１の表示面１６を上側に向けて表示を確認する操作と推定される。この場合、例えば、消灯状態に維持されていた表示部１６が点灯し、現在時刻等の所定の情報を表示する。

図６Ｂの振り下げ動作は、主としてＺ軸方向の加速度センサの出力で認識される。振り下げ動作が認識されると、ユーザによる表示部１６の確認が終了した推定されるため、この場合は例えば、表示部１６を点灯状態から消灯状態に遷移させる。

図６Ｃのシェイク動作は、主としてＺ軸方向の加速度センサの出力で認識される。また、図６Ｄのツイスト動作は、主としてＸ軸方向及びＹ軸方向の加速度センサの出力で認識される。シェイク動作又はツイスト動作が認識されると、例えば、これらに対応するアプリケーションソフトウェアが実行される。あるいは、携帯情報端末等から再生される楽曲の選択や音量の調整等が実行されてもよい。

以上のように本実施形態の情報処理装置１は、ユーザの動きを認識するジェスチャ認識機能を有するため、ボタンやタッチパネルを操作せずとも入力操作が可能となり、ユーザの利便性が向上する。

また本実施形態においてジェスチャ認識のための判別部１１３は、処理速度が比較的低い簡素なＣＰＵ（第１の判別器１１１）と、処理速度が比較的高い高性能なＣＰＵ（第２の判別器１１２）とに分割され、トリガが発生されるまで休止モードで待機する。そして、トリガが発生したときはまず第１の判別器１１１が起動し、第２の判別器１１２は、第１の判別器１１１における判別が不可能な場合に起動するように構成される。これにより制御部１１の平均消費電流を大幅に低減できるため、電力消費を最小限に抑えつつ、ユーザの動きに対応するジェスチャを認識することができる。

さらに本実施形態によれば、判別部１１３が休止している間もリングバッファ１１４にセンサ部１３の出力が時系列的に蓄積されるため、判別部１１３が常時起動している場合と同様の精度のジェスチャ認識処理を実現することができる。

次に、第１の判別器１１１と第２の判別器１１２でのジェスチャ認識処理の分担方法について説明する。

一般にジェスチャとジェスチャでない動きを判別する際、明らかにジェスチャでない動きは比較的簡単な演算で判別できる場合がある。例えば、センサ値（センサ部１３の出力）が一定値で全く変化が無かった場合、これがジェスチャである可能性は0である。もう少し複雑に動いていても、例えば振り上げジェスチャにおいて表示部１６が下側を向いている場合、これが時計を見る振り上げジェスチャだった可能性は低い。

これに対し、センサ値にある程度複雑な動きがあり、簡単な演算だけではジェスチャかどうか判断できない場合がある。例えば振り上げジェスチャの例では、腕が下がった状態から上がった状態への動きは第１の判別器１１１での簡単な演算で振り上げジェスチャと認識できるが、腕が上がった状態の中での動きは第２の判別器１１２において複雑な判別アルゴリズムを用いて、ユーザが本当に画面を見たかったのか判別する必要が生じる。この複雑な判別アルゴリズムには、Deep Learning 等の機械学習器にかける手法を用いてもよい。なお、第１の判別器１１１での簡単な演算はルールベースの機械学習を用いない手法を使ってもよいし、後段の機械学習器よりも大幅に簡単な簡易的な機械学習の判別器を用いてもよい。

複数のジェスチャを認識する際に、認識するジェスチャの種類により第１及び第２の判別器１１１，１１２を使い分ける他の例を説明する。ここでは腕の上げ下げ、および指をタップする操作を検知するリストバンド端末を考える。

腕を上げた状態においては、端末は腕を下げる操作と指をタップする操作の両方を、加速度センサを用いて判別する。ここで、腕を下げる操作は大きな動きでかつ判別しやすいので、第１の判別器１１１において処理可能である。一方、指タップの判別は機械学習の判別器を用いた高速な演算が必要なので、第２の判別器１１２で処理する必要がある。ここで、ジェスチャは同時に一種類のみしか認識しないものとする。この場合、もし何らかの動きがあったとき、第１の判別器１１１で腕を下げる動きを認識し、もし認識されれば指タップの判別はする必要がないので、第２の判別器１１２は用いない。一方、腕を下げる動きが認識できず、かつ簡単なルールベースによるフィルタで指タップの可能性が検出された場合は、第２の判別器１１２で指タップの判別処理を行う。

＜第２の実施形態＞
図７は、本技術の第２の実施形態に係る情報処理装置における制御部２１１の構成を示すブロック図である。以下、第１の実施形態と異なる構成について主に説明し、第１の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。

本実施形態では制御部２１１が設定部１１５を有する点で第１の実施形態と相違する。設定部１１５は、実行回路部１１Ｂからの要求を受けて、認識すべき複数のジェスチャ候補を設定するように構成される。

典型的には、ジェスチャ認識を実行する判別回路部１１Ａは、判別回路部１１Ａによって特定されたジェスチャを利用する実行回路部１１Ｂからの要求を受けてジェスチャ認識を行い、ジェスチャを認識したら実行回路部１１Ｂに対しジェスチャイベントを発行する。

本実施形態の判別回路部１１Ａは、アプリ起動時に実行回路部１１Ｂから当該アプリの実行に必要な種類のジェスチャの要求を受けて、判別部１１３で判別すべき当該ジェスチャの種類を設定する。判別回路部１１Ａは、最初に要求された種類のジェスチャのみを認識してイベントとして実行回路部１１Ｂに送信する。

アプリが複数存在する場合、設定部１１５は、それらのアプリが必要とするジェスチャを過不足なくカバーするようなジェスチャの種類を計算し、それに応じた認識処理を行う。例えば図８に示すように、実行回路部１１Ｂが、第１のアプリB1として振り上げ（a）と振り下げ（b）、第２のアプリB2として振り上げ（a）とシェイクジェスチャ（c）を必要とする場合、判別回路部１１Ａは、振り上げ（a）、振り下げ（b）、シェイク（c）の3種類のジェスチャを認識して、要求している各アプリにイベントを通知する。

本実施形態によれば、判別すべきジェスチャ候補の数が制限されるため、判別部１３における演算負荷が低減されるとともに、処理時間や演算処理に要する電力を低減することが可能となる。

一方、先に説明した通り、判別回路部１１Ａは複数のアプリケーションからのジェスチャ認識要求を受け付け、必要とされるジェスチャを認識する。ジェスチャの種類によって、トリガ関数やジェスチャ判別に用いる判別器、必要な加速度センサのモードが異なる場合があるが、それはアプリからの要求やその時の腕や端末の状態によって変わる。すなわち、判別回路部１１Ａが認識するジェスチャは、アプリからの要求だけではなく、ユーザの腕の状態によっても変化する。

そこで本実施形態では、判別回路部１１Ａは、認識すべきジェスチャの種類に応じて、信号生成部１１０におけるトリガ信号の生成基準を変更することが可能に構成される。トリガ信号の生成基準としては、例えば、加速度センサ（センサ部１３）のサンプリング周波数、ローパスフィルタ１０１のカットオフ周波数、閾値判別回路１０４の閾値等のトリガ判別関数が挙げられる。トリガ信号の生成基準の変更は、例えば、設定部１１５において実行される。

例えば、振り上げ・振り下げのみを認識する場合には加速度センサのサンプリング周波数は低くし、動きを伴うジェスチャを利用する場合は加速度センサのサンプリング周波数を高くする。

すなわち腕ジェスチャ認識において、腕を上げ下げするジェスチャ(arm_up, arm_down)と、腕を回すジェスチャ(twist)、腕を振るジェスチャ(shake)の4種類を認識する際、arm_upとarm_downはジェスチャ開始時と終了時に腕の位置が変わっているので、加速度センサの周波数を低くして、かつトリガ関数としても重力加速度の方向変化を見るようなもので十分である。一方、後者のtwistとshakeを取る場合は、腕の位置が開始時と終了時で同じため、動き自体を観測する必要が生じ、加速度センサの周波数を高くし、かつトリガ関数として腕の動き自体を見るものが必要になる。前者のモードと後者のモードは同時に存在するものではなく、端末の状態としてどちらかを選択するものとする。ここで前者と後者の切り替えは、アプリの要求によりtwist/shakeの認識を必要とするかどうかで判断される。

また、振り上げと振り下げは腕の位置に変化が生じるため差分で発生するようなトリガを使えるが、シェイクやツイストでは腕の位置は元の位置に戻るため、差分ではなく加速度のノルムが一定値を超えるなどのトリガを設定する。つまり、図４において差分回路１０２の機能を無効化する。これにより、最も誤発動率が低いトリガを選択することができるとともに、状況に応じて、センサ部１３や信号生成部１１０の消費電力を低減することができる。

＜第３の実施形態＞
続いて、本技術の第３の実施形態について説明する。

図９は、本実施形態の情報処理装置としてのセンサ装置３１０の構成を示すブロック図である。以下、第１の実施形態と異なる構成について主に説明し、第１の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。

センサ装置３１０は、トリガ機能付きのセンサユニット３１と、ＣＰＵ３２と、リングバッファ３３とを有する。センサユニット３１は、第１の実施形態におけるセンサ部１３と信号生成部１１０との混合回路に相当する。判別器３２は、第１の実施形態における判別部１１３に相当し、センサユニット３１からのトリガ信号を受信して起動する。リングバッファ３３は、第１の実施形態におけるリングバッファ１１４に相当する。

なお、判別器３２は、第１の実施形態と同様に第１及び第２の判別器１１１，１１２を備えていてもよいし、これらのうち一方のみであってもよい。以下、判別器３２が単一のＣＰＵで構成されている場合を例に挙げて説明する。

本実施形態では、センサユニット３１自体がトリガ機能を持ち、トリガにより通常休止している判別器３２を起動させる。トリガとして使用できる関数は限定されていてもよい。例えば、特定の軸がしきい値を超える、または全軸の絶対値がしきい値を超える、といった単純な機能しか持たないものとすることができる。

リストバンド型ウェアラブルデバイスで有用なトリガとして、
（a）Ｚ軸方向の加速度センサの出力がしきい値を超えると発生する、
（b）Ｘ，Ｙ，Ｚ各軸方向の加速度センサの出力の前フレームとの差分がしきい値を超えると発生する、
の２つがある。前者は画面（表示部１６）を上に向けたことに対応し、後者は動きがあったことに対応している。

ここで、（a）のトリガを用いると、歩行中や走行中に誤ってトリガが発生することは少ないものの、机に座って作業をしているなど、画面が既に上に向いている状況ではトリガを発生させることができない。一方、（b）のトリガを用いると、机に座っている時など様々な状況でトリガを発生させられるが、歩いている時や走っている時の誤発動が多くなってしまう。

そこで本実施形態では、腕の位置に応じて（a）のトリガと（b）のトリガとを使い分ける。判別器３２が起動状態から休止状態に移行する直前に、その時の腕の位置によってトリガ検知回路の判定関数を設定する。

すなわち、センサユニット３１の出力は、重力方向（Ｚ軸方向）を含む多軸方向に沿った動きに関する信号を含む。センサ装置３１０は、腕の姿勢の状態変化を検出する直前の姿勢に応じて相互に異なる上記状態変化に関する複数の検出基準を有する。具体的に、センサ装置３１０は、前回ジェスチャ認識した腕の状態に応じて、重力方向に沿った腕の動きの態様に基づいて上記状態変化を検出する第１の検出モードと、上記多軸方向における上記検出対象の動きの態様に基づいて上記状態変化を検出する第２の検出モードとを切り替えて実行するように構成される。

例えば腕が下りている時にはＺ軸方向加速度センサの出力が閾値を超えたことによるトリガ（以下、Ｚ軸トリガともいう）をセットし、腕が上がっているときには３軸方向の加速度センサの出力のノルムが閾値を超えたことによるトリガ（以下、動きトリガともいう）をセットする。トリガが発生した際、必ずしも画面を点ける必要がなかった場合もあるが、そのような場合でも次回設定すべきトリガは毎回計算して求める。

腕が下がっているときにＺ軸トリガをセットすることで、歩行・走行中のように動きが激しく誤発しやすい環境であってもローパスフィルタなどの付帯回路なしに誤発率を下げる事ができる。さらに腕が上がっているときは全軸を用いた動きトリガに切り替えることで、机で作業しているときに手首を軽くひねるだけで画面をつける事ができる。画面をつけずにトリガを切り替えることで、ユーザは現在のモードを意識することなく常に自然な所作で画面を点灯させることができる。

動きトリガの具体的なアルゴリズムとしては、リストバンドの加速度センサの各軸の絶対値が1Gより有意に大きい値(例えば1.2G)になったことで発動させるものが挙げられる。他にも、各軸のうちいずれかの軸において、前フレームとの加速度の差が0より有意に大きい (例えば0.2G)とき、発生するようにしてもよい。Ｚ軸トリガの具体的なアルゴリズムとしては、Ｚ軸方向の加速度がしきい値(例えば0.6G)を超えたことによって発動させるとよい。動きトリガは腕を上げているとき、例えば机での作業中に適する。Ｚ軸トリガは腕を下げている時、例えば歩いている時やソファに座って腕を降ろしているときに適する。

図１０は、Ｚ軸トリガと動きトリガとの間の遷移関係を説明する図である。図１１及び図１２は、センサ装置３１０の動作例を説明するフローチャートである。

ここでは、トリガの切り替えをＺ軸加速度acc_zによって行う例を説明する。Ｚ軸トリガは、腕が動いたことを検知するものであり、動きトリガは、腕の上面、時計でいうと文字盤の方向の姿勢が変化したことを検知するものである。

Ｚ軸トリガは、Ｚ軸加速度acc_zが第１のしきい値 THRES_0を超えると発生し、判別器３２が休止状態（スリープ状態）から復帰する（ステップ２０１）。トリガに紐付いた処理（判別器３２によるジェスチャ認識処理）が終了した後、Ｚ軸加速度acc_zの大きさが判定される（ステップ２０２，２０３）。Ｚ軸加速度acc_zが引き続き THRES_0 を超えている場合は、検出モードを動きトリガに切り替え（ステップ２０４）、そうでない場合は、Ｚ軸トリガを維持する（ステップ２０５）。動きトリガモードにある場合は、各軸の絶対値を見て発生する。判別器３２はその後、休止する（ステップ２０６）。

動きトリガは、Ｚ軸加速度acc_zが第２のしきい値 THRES_1を超えると発生し、判別器３２が休止状態（スリープ状態）から復帰する（ステップ３０１）。トリガに紐付いた処理（判別器３２によるジェスチャ認識処理）が終了した後、Ｚ軸加速度acc_z と第２のしきい値 THRES_1 とを比較して（ステップ３０３）、THRES_1 より小さい場合はＺ軸トリガに切り替え（ステップ３０４）、そうでない場合は、動きトリガを維持する（ステップ３０５）。THRES_1 は THRES_0 より小さくすることが好ましく、これによりＺ軸加速度acc_z が THRES_0 に近い範囲で振動する場合、トリガが多発してしまうおそれをなくすことができる。

以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、種々変更を加え得ることは勿論である。

例えば以上の実施形態では、情報処理装置１としてリストバンド型のウェアラブルデバイスを例に挙げて説明したが、これに限られず、眼鏡型のウェアラブルデバイスにも本技術は適用可能である。この場合、ユーザの頭の動きで所定のジェスチャ（頷き、首振り等）を認識することが可能となる。

また以上の実施形態では、センサ部１３を備えた情報処理装置１を例に挙げて説明したが、センサ部１３と制御部１１とは別機器で構成されてもよく、例えば制御部１１は、センサ部１３と無線ネットワーク等を介して通信可能な携帯情報端末やサーバ装置として構成されてもよい。

また、第３の実施形態で説明したセンサトリガの発生アルゴリズムが第１、第２の実施形態における信号生成部１１０に適用されてもよい。

さらに以上の実施形態では、ユーザのジェスチャ認識に用いられる情報処理装置を例に挙げて説明したが、これ以外にも、例えば、車両や無人自律飛行体の姿勢判別あるいは姿勢制御等にも本技術は適用可能である。

さらに以上の実施形態では、検出対象の状態変化としてユーザの姿勢変化を例に挙げて説明したが、これに限られず、ユーザの音声や心拍変化などの状態変化を検出し、認識するように情報処理装置が構成されてもよい。

なお、本技術は以下のような構成もとることができる。
（１） 検出対象に取り付けられたセンサユニットの出力を処理し、前記検出対象の状態変化を検出したときにトリガ信号を生成する信号生成部と、
前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力する第１の判別部と、
前記判別不能信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部と
を具備する情報処理装置。
（２）上記（１）に記載の情報処理装置であって、
前記信号生成部は、前記検出対象の状態変化から前記検出対象を装着したユーザの動きを検出し、
前記第１の判別部及び前記第２の判別部は、前記ユーザの動きの態様に基づき、予め設定された複数のジェスチャ候補から対応するジェスチャ候補の有無を判別する
情報処理装置。
（３）上記（２）に記載の情報処理装置であって、
前記第１の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行し、前記ジェスチャ候補の特定が不可能な場合は前記判別不能信号を出力する
情報処理装置。
（４）上記（２）又は（３）に記載の情報処理装置であって、
前記第２の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行する
情報処理装置。
（５）上記（２）〜（４）のいずれか１つに記載の情報処理装置であって、
前記複数のジェスチャ候補を設定する設定部をさらに具備し、
前記信号生成部は、設定された前記複数のジェスチャ候補の種類に応じて、前記トリガ信号を生成する基準を変更する
情報処理装置。
（６）上記（２）〜（５）のいずれか１つに記載の情報処理装置であって、
前記信号生成部は、前記検出対象が装着された前記ユーザの腕の動きを検出し、
前記第１の判別部及び前記第２の判別部は、前記ユーザの腕の振り上げ動作、振り下げ動作、ツイスト動作及びシェイク動作の何れか１つを特定する
情報処理装置。
（７）上記（１）〜（６）のいずれか１つに記載の情報処理装置であって、
前記第１の判別部及び前記第２の判別部は、前記検出対象の状態変化が判別された後、再び休止する
情報処理装置。
（８）上記（１）〜（７）のいずれか１つに記載の情報処理装置であって、
前記センサユニットの出力を時系列的に記憶することが可能なバッファメモリをさらに具備する
情報処理装置。
（９）上記（１）〜（８）のいずれか１つに記載の情報処理装置であって、
前記信号生成部は、前記検出対象の姿勢に関する状態変化を検出したときに前記トリガ信号を生成する
情報処理装置。
（１０）上記（１）〜（９）のいずれか１つに記載の情報処理装置であって、
前記第２の判別部の消費電力は、前記第１の判別部の消費電力よりも大きい
情報処理装置。
（１１）上記（１）〜（１０）のいずれか１つに記載の情報処理装置であって、
前記信号生成部、前記第１の判別部および前記第２の判別部を格納するための筐体をさらに具備し、
前記筐体は、前記検出対象に装着可能に構成される
情報処理装置。
（１２） 検出対象に取り付けられたセンサユニットの出力に基づいて前記検出対象の状態変化を検出したとき、前記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させ、
前記第１の判別部で判別が不可能なとき、前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させる
情報処理方法。
（１３） 検出対象に取り付けられたセンサユニットの出力に基づいて前記検出対象の状態変化に関する状態変化を検出したとき、前記検出対象の状態変化を第１の判別基準で判別する第１の判別部を休止状態から起動させるステップと、
前記第１の判別部で判別が不可能なとき、前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部を休止状態から起動させるステップと
をコンピュータに実行させるプログラム。
（１４）判定すべき複数のジェスチャ候補を設定する設定部と、
ユーザに取り付けられたセンサユニットの出力を処理し、前記複数のジェスチャ候補に応じて定まる所定の検出基準に基づいて前記ユーザの動きに関する状態変化を検出したときにトリガ信号を生成する信号生成部と、
前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力に基づいて、前記複数のジェスチャ候補から前記ユーザの動きの態様に対応するジェスチャ候補の有無を判定する判定部と
を具備する情報処理装置。
（１５）上記（１４）に記載の情報処理装置であって、
前記信号生成部は、前記状態変化を検出する直前の検出対象の状態変化に応じて相互に異なる前記状態変化に関する複数の検出基準を有する
情報処理装置。
（１６）ユーザに取り付けられたセンサユニットの出力を処理し、所定の検出基準に基づいて前記ユーザの動きに関する状態変化を検出したときにトリガ信号を生成する信号生成部と、
前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力に基づいて、前記複数のジェスチャ候補から前記ユーザの動きの態様に対応するジェスチャ候補の有無を判定する判定処理を実行し、前記判定処理の実行後に再び休止する判定部と、を具備し、
前記信号生成部は、前記判定部が休止したときの前記ユーザの状態変化に応じて前記所定の検出基準を切り替える
情報処理装置。
（１７）上記（１６）に記載の情報処理装置であって、
前記センサユニットの出力は、重力方向を含む多軸方向に沿った動きに関する信号を含み、
前記信号生成部は、前記重力方向における前記ユーザの動きの態様に基づいて前記状態変化を検出する第１の検出モードと、前記多軸方向における前記ユーザの動きの態様の時間変化に基づいて前記状態変化を検出する第２の検出モードとを選択的に切り替える
情報処理装置。

１…情報処理装置
１１…制御部
１１Ａ…判別回路部
１１Ｂ…実行回路部
１３…センサ部
１６…表示部
１１０…信号生成部
１１１…第１の判別器
１１２…第２の判別器
１１４…リングバッファ
１１５…設定部
３１０…センサ装置

Claims (9)

1. 検出対象に取り付けられたセンサユニットの出力を処理し、前記検出対象の状態変化を検出したときにトリガ信号を生成する信号生成部と、
   前記トリガ信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を第１の判別基準で判別し、判別が不可能な場合は判別不能信号を出力する第１の判別部と、
   前記判別不能信号を受けて休止状態から起動し、前記センサユニットの出力から前記検出対象の状態変化を前記第１の判別基準とは異なる第２の判別基準で判別する第２の判別部と、
   複数のジェスチャ候補を設定する設定部と
   を具備し、
   前記信号生成部は、前記検出対象の状態変化から前記検出対象を装着したユーザの動きを検出し、
   前記第１の判別部及び前記第２の判別部は、前記ユーザの動きの態様に基づき、前記複数のジェスチャ候補から対応するジェスチャ候補の有無を判別し、
   前記信号生成部は、前記複数のジェスチャ候補の種類に応じて、前記トリガ信号を生成する基準を変更する
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記第１の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に対応するジェスチャ候補を特定する第１の判別処理を実行し、前記ジェスチャ候補の特定が不可能な場合は前記判別不能信号を出力する
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記第２の判別部は、前記複数のジェスチャ候補の中から前記ユーザの動きの態様に最も相関の高いジェスチャ候補を特定する第２の判別処理を実行する
   情報処理装置。
4. 請求項１〜３のいずれか１つに記載の情報処理装置であって、
   前記信号生成部は、前記検出対象が装着された前記ユーザの腕の動きを検出し、
   前記第１の判別部及び前記第２の判別部は、前記ユーザの腕の振り上げ動作、振り下げ動作、ツイスト動作及びシェイク動作の何れか１つを特定する
   情報処理装置。
5. 請求項１〜４のいずれか１つに記載の情報処理装置であって、
   前記第１の判別部及び前記第２の判別部は、前記検出対象の状態変化が判別された後、再び休止する
   情報処理装置。
6. 請求項１〜５のいずれか１つに記載の情報処理装置であって、
   前記センサユニットの出力を時系列的に記憶することが可能なバッファメモリをさらに具備する
   情報処理装置。
7. 請求項１〜６のいずれか１つに記載の情報処理装置であって、
   前記信号生成部は、前記検出対象の姿勢に関する状態変化を検出したときに前記トリガ信号を生成する
   情報処理装置。
8. 請求項１〜７のいずれか１つに記載の情報処理装置であって、
   前記第２の判別部の消費電力は、前記第１の判別部の消費電力よりも大きい
   情報処理装置。
9. 請求項１〜８のいずれか１つに記載の情報処理装置であって、
   前記信号生成部、前記第１の判別部および前記第２の判別部を格納するための筐体をさらに具備し、
   前記筐体は、前記検出対象に装着可能に構成される
   情報処理装置。

Images