JP5831882B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、ジェスチャー操作が可能な情報処理装置、情報処理方法、及びプログラムに関する。

近年、技術の進歩により種々の機能を有する情報処理装置が開発されており、ジェスチャー操作が可能なパーソナルコンピュータが挙げられる（例えば、特許文献１参照）。
特許文献１に記載の発明は、「インターフェース装置及びその方法」に関するものであり、具体的には「テレビやコンピュータ等の機器を操作するためのインターフェース装置におけるジェスチャー情報表示部は、操作に用いるジェスチャーの一覧、ジェスチャー認識部の認識結果、及び操作者の手と思われる部分の画像を表示し、操作者はジェスチャーを覚えることなく画面を確認しながら操作を行えるようになると共に、ジェスチャー認識部に認識させやすいように操作者が行うジェスチャーを修正することが可能となり、操作性が向上する」ものである。

特開２００８−５２５９０号公報

しかし、特許文献１に記載の発明は、情報処理装置の表示部の画面をユーザーがその都度確認しながら操作を行うため、ジェスチャーを覚えた場合に比べて、ジェスチャーの認識精度が低いため、操作を開始してから終了するまでの時間が係る。このため、例えば、テレビの番組をすぐに録画したい場合には最初の場面を録画しそこなったり、ジェスチャーのガイド部により見たい番組の一部が隠れてしまったりするおそれがある。
また、ジェスチャーを覚えるためには、情報処理装置に添付されたマニュアルを見て画面操作しつつ覚えるという煩わしさがあった。

そこで、本発明の目的は、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記課題を解決するため、請求項１記載の発明は、アプリケーションを実行する実行手段と、前記アプリケーションの実行結果を表示する表示手段と、ユーザーの手の平を撮影して画像データに変換する撮影手段と、前記撮影手段からの複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する制御手段と、を備えた情報処理装置において、前記制御手段は、前記ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、前記ジェスチャーアプリケーションと前記特定されたジェスチャーとに関連づけられた処理を実施しないことを特徴とする。

本発明によれば、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムの提供を実現することができる。

（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、（ｂ）は、（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。 情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。 （ａ）〜（ｎ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示す説明図である。 図１に示したノートパソコンの動作を説明するためのフローチャートの一例である。 図１に示したノートパソコンにおいて、ジェスチャーアプリの初回起動時に表示される画面の一例である。 ジェスチャー練習をする場合に表示される画面の一例である。 ジェスチャー練習を終了したときに表示される画面の一例である。 ジェスチャー機能を起動させたときに表示される画面の一例である。

次に本実施形態について図面を参照して説明する。
本実施形態では、情報処理装置がノートパソコンの場合で説明するが、本発明はノートパソコンに限定されるものではなく、デスクトップパソコンであってもよい。
＜構 成＞
図１（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、図１（ｂ）は、図１（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。
このノートパソコン１００は、キーボード１０１やマウス１０２による操作の他、Ｗｅｂカメラ（以下、カメラと表記する。）１０３でユーザーの手を認識し、認識した手の平の動き（ジェスチャー、もしくはハンドジェスチャーとも言う）によりノートパソコン１００で一定の操作を行うことができるようになっている。
液晶表示装置１０４は、通常の表示を行う他、ユーザーの顔や手を表示したり、ジェスチャー操作練習のための画像を表示したりできるようになっている。

図２は、情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。
ノートパソコン１００は、キーボード１０１、マウス１０２、撮影手段としてのカメラ（Ｗｅｂカメラ）１０３、表示装置１０４、光学読取装置１０５、ＨＤＤ（Hard Disc Drive）１０６、制御部１０７、ＲＡＭ（Random Access Memory：読み出し／書き込みメモリ）１０８、ＲＯＭ（Read Only Memory：読み出し専用メモリ）１０９、及びＩ／Ｏ（Input/Output）１１０を有するが、本発明はこれに限定されるものではない。尚、１１１はバスラインである。

キーボード１０１は、ＱＷＥＲＴＹ配列の英字キー、数字キー、テンキー、スペースキー、エンターキー、ファンクションキー、デリートキー、スペースキー等の通常の入力キーを有する。

マウス１０２は、少なくとも左ボタン、右ボタンを有しており、ホイールボタンを有してもよい。尚、図ではマウス１０２はケーブルでノートパソコン１００に接続されているが、本発明はこれに限定されるものではなく、マウス１０２はワイヤレスでノートパソコン１００に接続されていてもよい。

カメラ１０３は、ノートパソコン１００の上側筐体の上側の中央にユーザー側に向かって設けられており、例えばＣＣＤ（Charge-Coupled Device）が用いられる。

表示装置１０４は、アプリケーションの実行結果を表示する機能を有し、例えば液晶ディスプレイが用いられるが、液晶ディスプレイの代わりにプラズマディスプレイを用いてもよい。

光学読取装置１０５は、例えば、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）、ＣＤＲ（CD Recordable）等の光学媒体を読み取る装置である。

ＨＤＤ１０６は、アプリケーションおよび制御ソフトウェアなどの実行プログラムや文字データ、画像データ、音声データ等のデータをＲＡＭ１０８に比べて大容量のデータを記憶するための記憶装置である。ＨＤＤ１０６の代わりにＳＳＤ（Solid State Drive）を用いてもよい。

制御部１０７は、ノートパソコン１００を統括制御する機能を有し、例えば、マイクロプロセッサのＣＰＵ（Central Processing Unit：中央演算処理装置）を含む回路である。制御部１０７は、ソフトウェアとして入力制御手段１０７ａ、トレーニング手段１０７ｂ、解析手段１０７ｃ、割り込み制御手段１０７ｄ、ディスク制御手段１０７ｅ、表示装置制御手段１０７ｆ、及び実行手段１０７ｇを有する。

入力制御手段１０７ａは、キーボード１０１、マウス１０２、カメラ１０３、及び光学読取装置１０５からデータを管理する。

トレーニング手段１０７ｂは、ソフトウェアで構成され、ユーザーの手の平の動作をジェスチャーとして認識する認識精度を向上させるため、ユーザーの手の平を認識し、手の平の動きをジェスチャーとして認識し、表示装置１０４にモニタ表示させるエンジンと、起動終了、切り替わりを検出し、アプリケーション毎のジェスチャーへのコマンド割当を行うユーザーインターフェースとを有するジェスチャーアプリケーション（以下、ジェスチャーアプリと表記）の初回起動時に、強制的にジェスチャーの練習を実行させる機能を有する。
本実施形態におけるジェスチャーは、ノートパソコン１００のカメラ１０３の撮影可能な範囲（カメラ画像内とも言う）におけるユーザーの手の平の動作を意味する。

解析手段１０７ｃは、ソフトウェアで構成され、カメラ１０３からの画像データを解析してユーザーの手の平の動作をジェスチャーとして認識する機能を有する。
割り込み制御手段１０７ｄは、あるプログラムの処理中に他のプログラムの処理を割り込ませる割り込み処理の制御を行う。
ディスク制御手段１０７ｅは、光学読取装置１０５に挿入された光学媒体の種類を判別し、文字データ、画像データ、音声データの読み出しの管理を行う。
表示装置制御手段１０７ｆは、表示装置１０４の画像表示を管理する。
実行手段１０７ｇは、アプリケーションを実行する。

ＲＡＭ１０８は、例えばフラッシュメモリが用いられる。
ＲＯＭ１０９は、例えばマスクＲＯＭが用いられる。
Ｉ／Ｏ１０９は、ノートパソコン１００と、図には示されないＵＳＢ（Universal Seri
al Bus）フラッシュメモリを含む外部のデバイスとのデータの授受を管理する。
尚、図１に示したノートパソコン１００は、ハードウェア的には通常のノートパソコンの構成を有しており、地上デジタルチューナ、インターネット接続のためのモデムを備えていてもよい。

図３（ａ）〜（ｎ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示した説明図であり、ユーザー自身の手の平の動きをユーザーの視点から見た図である。本実施形態では、ユーザーが右手をカメラ１０３にかざした場合で説明するが左手であってもよい。
図中の矢印で、一本線に矢印（→）は手形状や手の状態の遷移を表し、中抜きの矢印は手の平の移動を表す。
本実施形態において１２種類のジェスチャーにより、ノートパソコン１００を操作しているが、本発明はこれに限定されるものではない。
図３（ａ）は、ユーザーの右手によるマウスカーソル操作を示す図であり、両矢印のように移動させる場合を示しているが限定されるものではない。
図３（ｂ）は、「パー→グー→パー」のように手の平を開いたり閉じたりすることで左クリックのジェスチャー動作となる。
図３（ｃ）〜（ｅ）は、「パー→グー→グーで動かす→パー」のように手の平を動かすことでドラッグ及びドロップのジェスチャー動作となる。
図３（ｆ）は、手の平を拡げたまま矢印方向（右方向）にマウスカーソル操作より素早く動かすことで右フリックのジェスチャー動作となる。ここで、「フリック」とは、本来タッチパネルにおける操作の一種であり、画面を軽く払うように指を動かすことであるが、手の平を素早く動かすことを含む。

図３（ｇ）は、手の平を拡げたまま矢印方向（左方向）にマウスカーソル操作より素早く動かすことで左フリックのジェスチャー動作となる。

図３（ｈ）は、手の平を拡げたまま矢印方向（上方向）にマウスカーソル操作より素早く動かすことで上フリックのジェスチャー動作となる。

図３（ｉ）は、手の平を拡げたまま矢印方向（下方向）にマウスカーソル操作より素早く動かすことで下フリックのジェスチャー動作となる。

図３（ｊ）は、手の平を拡げたまま時計方向の円を描くことで時計回りのサークルのジェスチャー動作となる。

図３（ｋ）は、手の平を拡げたまま反時計方向の円を描くことで反時計回りのサークルのジェスチャー動作となる。

図３（ｌ）は、手の平を拡げたままノートパソコン１００の表示装置１０４に向かって押し指すことでプッシュのジェスチャー動作となる。

図３（ｍ）は、手の平を拡げたままノートパソコン１００の表示装置１０４から離れる方向に押し指すことでプルのジェスチャー動作となる。

図３（ｎ）は、手の平を拡げたままノートパソコン１００の表示装置１０４に向かって左右に振ることでウェイブのジェスチャー動作となる。本ジェスチャー動作をウェイブともいう。

ここで、「クリック」はマウスの左クリック、「ドラッグ＆ドロップ」はマウスのドラッグ＆ドロップに対応する。また、右フリックは、「進む」、左フリックは「戻る」、上フリックは「上スクロール」、下フリックは「下スクロール」、時計回りのサークルは「拡大」、反時計回りのサークルは「縮小」、「プル」は、図示しない携帯情報端末の起動、「ウェイブ」は、スタート画面に戻るコマンド操作に対応する。
ここで、上述したジェスチャー動作は、トレーニング手段による練習中は、あくまで手の平の動きがジェスチャーとして認識可能か否かを確認するためであり、何ら操作に影響を与えるものではない。

＜動 作＞
図４は、図１に示したノートパソコンの動作を説明するためのフローチャートの一例である。図５は、図１に示したノートパソコンにおいて、ジェスチャーアプリの初回起動時に表示される画面の一例であり、図６は、ジェスチャー練習をする場合に表示される画面の一例であり、図７は、ジェスチャー練習を終了したときに表示される画面の一例であり、図８は、ジェスチャー機能を起動させたときに表示される画面の一例である。
ここで、トレーニングは、いわゆるリハーサルであり、トレーニング中の手の平の動きが、例えば、文書入力ソフトウェアの起動やインターネット接続させるためのコマンドに対応した動きであっても無関係であり、トレーニングが終了するか、もしくはトレーニングを実施せずに後述するジェスチャー機能の設定画面においてジェスチャー機能を使用するボタンＢ２（図７参照）を押して初めてジェスチャーによる操作が可能となる。尚、予め文書入力ソフトウェアやインターネット接続等の他のアプリを起動していた場合には、これらの動作は中断することになる。

図４に示すフローチャートの動作の主体は、図２に示した制御部１０７である。
制御部１０７は、ジェスチャーアプリが起動されたか否かを判断し（ステップＳ１）、ジェスチャーアプリが起動されない場合は待機し（ステップＳ１／Ｎｏ）、ジェスチャーアプリが起動された場合は、図５に示すメニュー画面を表示する。
図５において、メニュー画面としてのジェスチャー機能の設定の画面には、注意書きの一例として、「ハンドジェスチャーでは、リモコンやマウスを使わずに手の平のジェスチャーだけで情報処理装置の操作をおこなうことができます。」の文字情報が表示される。情報処理装置の操作とは、前述したカーソル操作やコマンド操作を意味する。

図５に示す画面の左側には複数（図では４つであるが限定されない。）のボタンＢ１〜Ｂ４が表示される。このうち「練習する」及び「キャンセル」のボタンＢ１、Ｂ４のみアクティブになっている。これは、ジェスチャーアプリの初回起動時にユーザーに強制的に練習させるためである。「練習する」のボタンＢ１の横には例えば、「各ジェスチャーの方法を練習することができます。ハンドジェスチャーを快適に使うには練習することをおすすめします。」の文字情報が表示される。ハンドジェスチャーを快適に使うにはジェスチャーの認識率を向上させる必要があり、そのため、ユーザーに練習することを促しているのである。「キャンセル」のボタンＢ４は表示されている画面を終了するためのボタンである。

ユーザーによりボタンＢ１がマウス１０２もしくはキーボード１０１により押されることで練習画面を表示するか否か判断する（ステップＳ２）。
制御部１０７は、ユーザーにより、ボタンＢ１が押されたと判断した場合（ステップＳ２／Ｙｅｓ）、カメラ１０３で撮影したユーザーの手を含む画像を図６に示すようにハンドジェスチャーの練習画面として表示する。このとき、制御部１０７は、ユーザーの手の平の動作を解析し、ジェスチャー認識を行う（ステップＳ３）。
図６に示す画面において、左側にジェスチャーのお手本画像が表示され、右側にモニターウィンドウが並んで表示される。お手本動画とモニターウィンドウの位置関係はこの限りではない。
モニターウィンドウにはユーザーの手の平の位置を抽出していることを表示するための枠が表示される。

お手本画像としては、例えば、インストラクターの動画像またはアニメ画像もしくはインストラクターの静止画像またはアニメ静止画像を１コマずつ表示するスライド表示画像が挙げられる。お手本画像が表示されると同時にジェスチャーの説明の音声を発生させるか、もしくは説明文をお手本画像中に表示してもよい。

モニターウィンドウは、カメラ１０３で撮影されたユーザーの手を含む画像が表示されるが、そのまま表示すると、お手本画像としてのインストラクターの手の平の動きと左右が逆になり、ユーザーが混乱するおそれがあるので、左右反転させてインストラクターと同じ動きを表示するようになっている。モニターウィンドウのうち、ユーザーの手の平を囲むように矩形が表示される。これは、ノートパソコン１００の画像処理において、手の平を抽出していることを表示することにより、ユーザーに手の平が画面内に位置するように注意を促すためである。

お手本画像の上側には例えば、「次のジェスチャー練習に進むには「＞」を押してください。前のジェスチャーの練習に戻るには「＜」を押してください。」の文字情報が表示されている。この表示に従ってユーザーが「＞」、もしくは「＜」を選択することにより、練習したいジェスチャーのお手本画像が表示される。
モニターウィンドウの右下側には終了のボタンが表示されている。

ユーザーによるジェスチャーの練習が終了すると、終了のボタンをキーボード１０１もしくはマウス１０２の操作によりクリックするとハンドジェスチャーの画面が終了して、ステップＳ５に進む。

ステップＳ５に進むと、図７に示すジェスチャー機能の設定画面が表示される。図７に示す画面と図５に示す画面との相違点は、ボタンＢ２、Ｂ３がアクティブになっている点である。ボタンＢ２は、ジェスチャー機能を使用するためのボタンであり、ボタンＢ３はジェスチャー機能を終了するためのボタンである。
すなわち、ジェスチャー練習が終了すると、ジェスチャー機能を使用することができるのである。

ユーザーがキーボード１０１もしくはマウス１０２によりボタンＢ２をクリックすると、ジェスチャー入力の動作が開始し（ステップＳ５）、図８に示す画面が表示される。画面の中央には、例えば数秒間「ジェスチャー機能起動」の文字情報が表示される。画面の右下の隅には画面の十数分の１程度の大きさのモニターウィンドウが表示される。画面の上方にはジェスチャーのアイコンが表示される。これらはユーザー確認用のための画像である。
ここで、アイコンは、画面の中央ではなく周辺に表示されるようになっている。これは、画面に例えば地上デジタルテレビジョン放送やインターネット放送の画面を表示する際に邪魔にならないようにするためである。
制御部１０７は、ユーザーの手の平の動作を解析し（ステップＳ６）、ジェスチャーに対応した動作（例えば、クリックやフリック等の動作）を行う（ステップＳ７）。ジェスチャー入力を終了する場合には、画面の中の終了ボタン（例えば、画面右下の閉じるボタン）をクリックすることで終了する（ステップＳ８）。

ここで、図７に示す画面は、ユーザーが２回目以降のジェスチャー操作を行う場合にジェスチャーの練習画面を表示するか否かを選択するための選択画面に対応する。
すなわち、ユーザーが練習画面の表示を選択した場合には練習画面を表示し、選択しない場合には、練習画面を省略してジェスチャー操作の本番画面としての図８を表示するのである。

＜作用効果＞
以上において、本実施形態によれば、トレーニング手段によりユーザーがジェスチャー入力（操作）を行う前に手の動きの練習のみ行うことにより、余分な動作や不十分な動作によるジェスチャーの誤認識を防止することができるので、ジェスチャーの認識精度を向上させることができる。

＜プログラム＞
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

例えば、
情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
表示手段が、アプリケーションの実行結果を表示する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、撮影手段からの複数の画像データに基づいて手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、実行手段で実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
制御手段が、ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、ジェスチャーアプリケーションと特定されたジェスチャーとに関連づけられた処理を実施しない手順、
を実行させるプログラムが挙げられる。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明に係る情報処理装置を実現することができる。

＜記憶媒体＞
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤが挙げられる。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述の説明では、ノートパソコンの場合で説明したが、デスクトップパソコンであってもよい。

１００ ノートパソコン
１０１ キーボード
１０２ マウス
１０３ カメラ（Ｗｅｂカメラ）
１０４ 液晶表示装置
１０５ 光学読取装置
１０６ ＨＤＤ
１０７ 制御部
１０７ａ 入力制御手段
１０７ｂ トレーニング手段
１０７ｃ 解析手段
１０７ｄ 割り込み制御手段
１０７ｅ ディスク制御手段
１０７ｆ 表示装置制御手段
１０８ ＲＡＭ
１０９ ＲＯＭ
１１０ Ｉ／Ｏ
１１１ バスライン

Claims (6)

1. アプリケーションを実行する実行手段と、
   前記アプリケーションの実行結果を表示する表示手段と、
   ユーザーの手の平を撮影して画像データに変換する撮影手段と、
   前記撮影手段からの複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、
   前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する制御手段と、を備えた情報処理装置において、
   前記制御手段は、前記ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、前記ジェスチャーアプリケーションと前記特定されたジェスチャーとに関連づけられた処理を実施しないことを特徴とする、情報処理装置。
2. 前記制御手段は、前記ジェスチャーアプリケーションの初回起動時に前記ジェスチャーが特定されると、前記特定されたジェスチャーに関連づけられた画像を前記表示手段に表示させることを特徴とする、請求項１記載の情報処理装置。
3. 前記制御手段は、前記ジェスチャーアプリケーションの初回起動時に、前記撮影手段で撮影された前記ユーザーの手の平の画像と、前記予め定義されたジェスチャーに対応する手の平の動作パターンを示す手本画像とを並べて前記表示手段に表示させることを特徴とする、請求項１または２記載の情報処理装置。
4. 前記制御手段は、前記ジェスチャーアプリケーションの初回起動時に、前記手の平の動作によって所定の前記ジェスチャーが特定されるようにユーザーが練習するための練習手順をガイドする練習ガイダンスを表示することを特徴とする、請求項１から３の何れか一項記載の情報処理装置。
5. ユーザーの手の平を撮影して画像データに変換し、複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する情報処理方法において、前記ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、前記ジェスチャーアプリケーションと前記特定されたジェスチャーとに関連づけられた処理を実施しないことを特徴とする情報処理方法。
6. 情報処理装置のコンピュータに、
   実行手段が、アプリケーションを実行する手順、
   表示手段が、前記アプリケーションの実行結果を表示する手順、
   撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
   解析手段が、前記撮影手段からの複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
   制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
   を実行させるプログラムにおいて、
   前記制御手段が、前記ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、前記ジェスチャーアプリケーションと前記特定されたジェスチャーとに関連づけられた処理を実施しない手順、
   を実行させることを特徴とするプログラム。

Images