JP2014085965A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】ユーザーの手の平を撮影して画像データに変換し、ユーザーの手の平を検出し、ユーザーの手の平として検出された部分を比較することにより手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理を実施する際に、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて手の平の移動をジェスチャーとして認識する。
【選択図】図４

Description

本発明は、ジェスチャー操作が可能な情報処理装置、情報処理方法、及びプログラムに関する。

近年、技術の進歩により種々の機能を有する情報処理装置が開発されており、ジェスチャー操作が可能なパーソナルコンピュータが挙げられる（例えば、特許文献１参照）。
特許文献１に記載の発明は、「インターフェース装置及びその方法」に関するものであり、具体的には「テレビやコンピュータ等の機器を操作するためのインターフェース装置におけるジェスチャー情報表示部は、操作に用いるジェスチャーの一覧、ジェスチャー認識部の認識結果、及び操作者の手と思われる部分の画像を表示し、操作者はジェスチャーを覚えることなく画面を確認しながら操作を行えるようになると共に、ジェスチャー認識部に認識させやすいように操作者が行うジェスチャーを修正することが可能となり、操作性が向上する」ものである。

特開２００８−５２５９０号公報

しかし、特許文献１に記載の発明は、情報処理装置の表示部の画面をユーザーがその都度確認しながら操作を行うため、ジェスチャーを覚えた場合に比べて、ジェスチャーの認識精度が低いため、操作を開始してから終了するまでの時間が係る。このため、例えば、テレビの番組をすぐに録画したい場合には最初の場面を録画しそこなったり、ジェスチャーのガイド部により見たい番組の一部が隠れてしまったりするおそれがある。
また、ジェスチャーを覚えるためには、情報処理装置に添付されたマニュアルを見て画面操作しつつ覚えるという煩わしさがあった。

そこで、本発明の目的は、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記課題を解決するため、請求項１記載の発明は、ユーザーの手の平を撮影して画像データに変換し、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する情報処理方法において、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識することを特徴とする。

本発明によれば、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムの提供を実現できる。

（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、（ｂ）は、（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。 情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。 （ａ）〜（ｄ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示す説明図である。 図１に示したノートパソコンの動作のうち手の平の移動時間及び手の平の軌跡が形成するパターンの面積でジェスチャーを認識する場合を含む動作を説明するためのフローチャートの一例である。 ジェスチャー練習をする場合に表示される画面の一例である。 ジェスチャー練習を終了したときに表示される画面の一例である。 ジェスチャー機能を起動させたときに表示される画面の一例である。

次に本実施形態について図面を参照して説明する。
本実施形態では、情報処理装置がノートパソコンの場合で説明するが、本発明はノートパソコンに限定されるものではなく、デスクトップパソコンであってもよい。
＜構 成＞
図１（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、図１（ｂ）は、図１（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。
このノートパソコン１００は、キーボード１０１やマウス１０２による操作の他、Ｗｅｂカメラ（以下、カメラと表記する。）１０３でユーザーの手を認識し、認識した手の平の動き（ジェスチャー、もしくはハンドジェスチャーとも言う）によりノートパソコン１００で一定の操作を行うことができるようになっている。
液晶表示装置１０４は、通常の表示を行う他、ユーザーの顔や手を表示したり、ジェスチャー操作練習のための画像を表示したりできるようになっている。

図２は、情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。
ノートパソコン１００は、ハードウェア的には通常のノートパソコンであり、キーボード１０１、マウス１０２、撮影手段としてのカメラ（Ｗｅｂカメラ）１０３、表示装置１０４、光学読取装置１０５、ＨＤＤ（Hard Disc Drive）１０６、制御部１０７、ＲＡＭ（Random Access Memory：読み出し／書き込みメモリ）１０８、ＲＯＭ（Read Only Memory：読み出し専用メモリ）１０９、及びＩ／Ｏ（Input/Output）１１０を有するが、本発明はこれに限定されるものではなく、地上デジタルテレビジョン放送を視聴するためのチューナーやインターネット接続のためのモデムを備えていてもよい。尚、１１１はバスラインである。

キーボード１０１は、例えば、ＱＷＥＲＴＹ配列の英字キー、数字キー、テンキー、スペースキー、エンターキー、ファンクションキー、デリートキー、スペースキー等の通常の入力キーを有する。

マウス１０２は、少なくとも左ボタン、右ボタンを有しており、ホイールを有してもよい。尚、図ではマウス１０２はケーブルでノートパソコン１００に接続されているが、本発明はこれに限定されるものではなく、マウス１０２はワイヤレスでノートパソコン１００に接続されていてもよい。

カメラ１０３は、ノートパソコン１００の上側筐体の上側の中央にユーザー側に向かって設けられており、例えばＣＣＤ（Charge-Coupled Device）が用いられる。

表示装置１０４は、例えば液晶ディスプレイが用いられるが、液晶ディスプレイの代わりにプラズマディスプレイを用いてもよい。

光学読取装置１０５は、例えば、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）、ＣＤＲ（CD Recordable）等の光学媒体を読み取る装置である。

ＨＤＤ１０６で構成される不揮発記憶部は、文字データ、画像データ、音声データ等のデータをＲＡＭ１０８に比べて大容量のデータを記憶するための記憶装置である。ＨＤＤ１０６の代わりにＳＳＤ（Solid State Drive）を用いてもよい。

制御部１０７は、ノートパソコン１００を統括制御する機能を有し、例えば、マイクロプロセッサのＣＰＵ（Central Processing Unit：中央演算処理装置）を含む回路である。制御部１０７は、ソフトウェアとして入力制御手段１０７ａ、トレーニング手段１０７ｂ、解析手段１０７ｃ、割り込み制御手段１０７ｄ、ディスク制御手段１０７ｅ、表示装置制御手段１０７ｆ、及び実行手段１０７ｇを有する。

入力制御手段１０７ａは、キーボード１０１、マウス１０２、カメラ１０３、及び光学読取装置１０５からデータを管理する。

トレーニング手段１０７ｂは、ソフトウェアで構成され、ユーザーの手の平の動作をジェスチャーとして認識する認識精度を向上させるため、ジェスチャーアプリケーション（以下、ジェスチャーアプリと表記）の初回起動時に、強制的にジェスチャーの練習を実行させる機能を有する。
本実施形態におけるジェスチャーは、ノートパソコン１００のカメラ１０３の撮影可能な範囲（カメラ画像内とも言う）におけるユーザーの手の平の動作を意味し、二の腕や全身を動かすことを要求するものではない。

解析手段１０７ｃは、ソフトウェアで構成され、カメラ１０３からの画像データを解析して撮影されたユーザーの手の平として検出された部分の面積の変化に基づいてユーザーの手の平の動作をジェスチャーとして認識する機能を有する。
割り込み制御手段１０７ｄは、あるプログラムの処理中に他のプログラムの処理を割り込ませる割り込み処理の制御を行う。
ディスク制御手段１０７ｅは、光学読取装置１０５に挿入された光学媒体の種類を判別し、文字データ、画像データ、音声データの読み出しの管理を行う。
表示装置制御手段１０７ｆは、表示装置１０４の画像表示を管理する。
実行手段１０７ｇは、アプリケーションを実行する。

ＲＡＭ１０８は、例えばフラッシュメモリが用いられる。
ＲＯＭ１０９は、例えばマスクＲＯＭが用いられる。
Ｉ／Ｏ１０９は、ノートパソコン１００と、図には示されないＵＳＢ（Universal Serial Bus）フラッシュメモリを含む外部のデバイスとのデータの授受を管理する。

図３（ａ）〜（ｃ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示す説明図であり、ユーザーの手の平の動きをユーザーの対面から見た図である。本実施形態では、ユーザーが右手をカメラ１０３にかざした場合で説明するが、左手であってもよい。
図中の矢印で、一本線の矢印（→）は手形状や手の状態の遷移を表し、中抜きの矢印は手の平の移動を表す。
本実施形態において３種類のジェスチャーにより、ノートパソコン１００を操作する場合について説明しているが、本発明はこれに限定されるものではなく、手の平の移動時間及び手の平の軌跡が形成するパターンの面積とで認識できるジェスチャーについて適用可能である。
ここで、他のジェスチャー、例えば、右クリック、左クリック、右フリック、左フリック、ドラッグ＆ドロップ、マウスカーソル操作等については、公知の技術が用いられる。すなわち、手の平の移動方向及び移動距離に基づいて判断してもよく、手の平の移動方向に基づいて判断してもよいが、本実施形態では説明を省略する。

図３（ａ）は、手の平を拡げたままノートパソコン１００の表示装置１０４に向かって近づけることでプッシュのジェスチャー動作となる。図３（ｂ）は、図３（ａ）に示した手の平の軌跡が形成するパターンの変化分を示す図である。手の平の軌跡のパターンが任意の時間内に拡大することによりプッシュであることが判断できる。

図３（ｃ）は、手の平を拡げたままノートパソコン１００の表示装置１０４から離すことでプルのジェスチャー動作となる。図３（ｄ）は、図３（ｃ）に示した手の平の軌跡が形成するパターンの変化分を示す図である。手の平の軌跡のパターンが任意の時間内に縮小することによりプルであることが判断できる。

ここで、認識されるジェスチャーと動作との対応付けの一例についてのべる。「クリック」のジェスチャーはマウスの左クリックに対応し、「ドラッグ＆ドロップ」のジェスチャーはマウスのドラッグ＆ドロップに対応する。また、「右フリック」のジェスチャーは、進むに対応し、「左フリック」のジェスチャーは戻るに対応する。「上フリック」のジェスチャーは上スクロールに対応し、「下フリック」のジェスチャーは下スクロールに対応する。「時計回りのサークル」のジェスチャーは拡大に対応し、「反時計回りのサークル」のジェスチャーは縮小に対応する。「プル」のジェスチャーは、図示しない携帯情報端末の起動に対応し、「ウェイブ」のジェスチャーは、スタート画面に戻るコマンド操作に対応する。

＜動 作＞
図４は、図１に示したノートパソコンの動作のうち手の平の移動時間及び手の平の軌跡が形成するパターンの面積でジェスチャーを認識する場合を含む動作を説明するためのフローチャートの一例である。図５は、ジェスチャー練習をする場合に表示される画面の一例であり、図６は、ジェスチャー練習を終了したときに表示される画面の一例であり、図７は、ジェスチャー機能を起動させたときに表示される画面の一例である。

図４に示すフローチャートの動作の主体は、図２に示した制御部１０７である。
制御部１０７は、ジェスチャーアプリが起動されたか否かを判断し（ステップＳ１）、ジェスチャーアプリが起動されない場合は待機し（ステップＳ１／Ｎｏ）、ジェスチャーアプリが起動された場合は、ジェスチャー入力が開始される。

尚、図５に示す画面において、左側にジェスチャーのお手本画像が表示され、右側にモニターウィンドウが表示される。モニターウィンドウの上側にはガイドアイコンが表示される。お手本画像とモニターウィンドウ、ガイドアイコンの位置関係はこのかぎりではない。尚、本実施形態ではガイドアイコンが表示される場合で説明しているが、本発明はこれに限定されるものではなく、ガイドアイコンは表示されなくてもよい。
モニターウィンドウにはユーザーの手の平の位置を抽出していることを表示するための枠が表示される。

お手本画像としては、例えば、インストラクターの動画像またはアニメ動画像もしくはインストラクターの静止画像またはアニメ静止画像を１コマずつ表示するスライド表示画像が挙げられる。お手本画像が表示されると同時にジェスチャーの説明の音声を発生させるか、もしくは説明文をお手本画像中に表示してもよい。

モニターウィンドウは、カメラ１０３で撮影されたユーザーの手を含む画像が表示されるが、そのまま表示すると、お手本画像としてのインストラクターの手の平の動きと左右が逆になり、ユーザーが混乱するおそれがあるので、左右反転させてインストラクターと同じ動きを表示するようになっている。モニターウィンドウのうち、ユーザーの手の平を囲むように矩形が表示される。これは、ノートパソコン１００の画像処理において、手の平を抽出していることを表示することにより、ユーザーに手の平が画面内に位置するように注意を促すためである。

お手本画像の上側には例えば、「次のジェスチャー練習に進むには「＞」を押してください。前のジェスチャーの練習に戻るには「＜」を押してください。」の文字情報が表示されている。この表示に従ってユーザーが「＞」、もしくは「＜」を選択することにより、練習したいジェスチャーのお手本画像が表示される。
モニターウィンドウの右下側には終了のボタンが表示されている。

ステップＳ２に進むと、図６に示すジェスチャー機能の設定画面が表示される。ボタンＢ２は、ジェスチャー機能を使用するためのボタンであり、ボタンＢ３はジェスチャー機能を終了するためのボタンである。
すなわち、ジェスチャー練習が終了すると、ジェスチャー機能を使用することができるのである。

ユーザーがキーボード１０１もしくはマウス１０２によりボタンＢ２をクリックすると、ジェスチャー入力の動作が開始し（ステップＳ２）、図７に示す画面が表示される。画面の中央には、例えば数秒間「ジェスチャー機能起動」の文字情報が表示される。画面の右下の隅には画面の十数分の１程度の大きさのモニターウィンドウが表示される。画面の上方にはジェスチャーのアイコンが表示される。これらはユーザー確認用のための画像である。
ここで、アイコンは、画面の中央ではなく周辺に表示されるようになっている。これは、画面に例えば地上デジタルテレビジョン放送やインターネット放送の画面を表示する際に邪魔にならないようにするためである。
制御部１０７は、前述と同様に、ユーザーの手の平の動きを解析し（ステップＳ３）、ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能であるか否かを判断し（ステップＳ４）、ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能であると判断した場合（ステップＳ４／Ｙｅｓ）、認識アルゴリズムから、プッシュ、プル、又はウェイブの認識を行う（ステップＳ５）。ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能でないと判断した場合（ステップＳ４／Ｎｏ）、認識アルゴリズムから、そのほかのジェスチャー認識を行う（ステップＳ６）。
ノートパソコン１００は、ジェスチャーに対応した動作を行う（ステップＳ７）。ジェスチャー入力を終了する場合には、画面の中の終了ボタン（例えば、画面右下の閉じるボタン）をクリックすることで終了する（ステップＳ８）。ジェスチャー入力を継続する場合にはステップＳ３に戻る。

ここで、図６に示す画面は、ユーザーが２回目以降のジェスチャー操作を行う場合にジェスチャーの練習画面を表示するか否かを選択するための選択画面に対応する。
すなわち、ユーザーが練習画面の表示を選択した場合には練習画面を表示し、選択しない場合には、練習画面を省略してジェスチャー操作の本番画面としての図７を表示するのである。

＜作用効果＞
以上において、本実施形態によれば、撮影されたユーザーの手の平の移動方向及び移動距離、もしくは手の平の軌跡が形成するパターンの面積及び手の平の移動時間に基づいて手の平の移動をジェスチャーとして認識することにより、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムの提供を実現できる。

＜プログラム＞
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

例えば、
情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
前記制御手段が、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識する手順、
を実行させるプログラムが挙げられる。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明に係る情報処理装置を実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

＜プログラム及び記憶媒体＞
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（CD Recordable）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Hard Disc Drive）が挙げられる。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

例えば、手の平として検出された部分の面積が変化したときに、その面積の変化の開始から終了までの時間と所定の閾値との関係に応じて手の平の移動を異なるジェスチャーとして認識するように構成してもよい。ここで、異なるジェスチャーとは、例えばゆっくりした変化の場合はジェスチャーと認識しないことを意味する。

１００ ノートパソコン
１０１ キーボード
１０２ マウス
１０３ カメラ（Ｗｅｂカメラ）
１０４ 液晶表示装置
１０５ 光学読取装置
１０６ ＨＤＤ
１０７ 制御部
１０７ａ 入力制御手段
１０７ｂ トレーニング手段
１０７ｃ 解析手段
１０７ｄ 割り込み制御手段
１０７ｅ ディスク制御手段
１０７ｆ 表示装置制御手段
１０７ｇ 実行手段
１０８ ＲＡＭ
１０９ ＲＯＭ
１１０ Ｉ／Ｏ
１１１ バスライン

Claims (5)

1. ユーザーの手の平を撮影して画像データに変換し、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する情報処理方法において、
   撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識することを特徴とする情報処理方法。
2. 前記手の平として検出された部分の面積が変化したときに、該変化の開始から終了までの時間と所定の閾値との関係に応じて前記手の平の移動をジェスチャーとして認識することを特徴とする請求項１記載の情報処理方法。
3. 前記撮影された前記ユーザーの画像と、インストラクターによる手本の画像とを同一画面上に表示することを特徴とする請求項１または２記載の情報処理方法。
4. アプリケーションを実行する実行手段と、
   ユーザーの手の平を撮影して画像データに変換する撮影手段と、
   前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、
   前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する制御手段と、を備えた情報処理装置において、
   前記制御手段は、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識することを特徴とする情報処理装置。
5. 情報処理装置のコンピュータに、
   実行手段が、アプリケーションを実行する手順、
   撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
   解析手段が、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
   制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
   を実行させるプログラムにおいて、
   前記制御手段が、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識する手順、
   を実行させることを特徴とするプログラム。

Images