JP2014085966A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ジェスチャー動作の認識率の向上を図った情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】ユーザーの手の平を撮影して画像データに変換し、複数の画像データに基づいて手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理を実施する際に、ジェスチャーが特定されたとき、特定されたジェスチャーに対応する表示を行う。
【選択図】図４

Description

本発明は、ジェスチャー操作が可能な情報処理装置、情報処理方法、及びプログラムに関する。

近年、技術の進歩により種々の機能を有する情報処理装置が開発されており、ジェスチャー操作が可能なパーソナルコンピュータが挙げられる（例えば、特許文献１参照）。
特許文献１に記載の発明は、「インターフェース装置及びその方法」に関するものであり、具体的には「テレビやコンピュータ等の機器を操作するためのインターフェース装置におけるジェスチャー情報表示部は、操作に用いるジェスチャーの一覧、ジェスチャー認識部の認識結果、及び操作者の手と思われる部分の画像を表示し、操作者はジェスチャーを覚えることなく画面を確認しながら操作を行えるようになると共に、ジェスチャー認識部に認識させやすいように操作者が行うジェスチャーを修正することが可能となり、操作性が向上する」ものである。

特開２００８−５２５９０号公報

しかしながら、特許文献１に記載の発明は、ジェスチャーを覚えることなくその都度画面を確認しながら操作を行うため、ジェスチャー動作開始から認識まで時間がかかり、画面を確認しながらジェスチャー動作を行うため認識率について改善の余地がある。

そこで、本発明の目的は、ジェスチャー動作の認識率の向上を図った情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記課題を解決するため、請求項１記載の発明は、アプリケーションを実行する実行手段と、前記アプリケーションの実行結果を表示する表示手段と、ユーザーの手の平を撮影して画像データに変換する撮影手段と、前記撮影手段からの複数の像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する制御手段と、を備えた情報処理装置において、解析手段によってジェスチャーが特定されたとき、前記特定されたジェスチャーに対応する表示を行う表示手段をさらに備えたことを特徴とする。

本発明によれば、ジェスチャー動作の認識率の向上を図った情報処理装置、情報処理方法、及びプログラムの提供を実現できる。

（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、（ｂ）は、（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。 情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。 （ａ）〜（ｎ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示す説明図である。 図１に示したノートパソコンの動作を説明するためのフローチャートの一例である。 図１に示したノートパソコンにおいて、ジェスチャーアプリの初回起動時に表示される画面の一例である。 ジェスチャー練習をする場合に表示されるジェスチャー認識成功の場合の画面の一例である。 ジェスチャー練習をする場合に表示されるジェスチャー認識失敗の場合の画面の一例である。 ジェスチャー練習を終了したときに表示される画面の一例である。 ジェスチャー機能を起動させたときに表示される画面の一例である。

次に本実施形態について図面を参照して説明する。
本実施形態では、情報処理装置がノートパソコンの場合で説明するが、本発明はノートパソコンに限定されるものではなく、デスクトップパソコンであってもよい。

＜構 成＞
図１（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、図１（ｂ）は、図１（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。
このノートパソコン１００は、キーボード１０１やマウス１０２による操作の他、Ｗｅｂカメラ（以下、カメラと表記する。）１０３でユーザーの手の平を認識し、認識した手の平の動き（ジェスチャー、もしくはハンドジェスチャーとも言う）によりノートパソコン１００で一定の操作を行うことができるようになっている。
液晶表示装置１０４は、通常の表示を行う他、ユーザーの顔や手を表示したり、ジェスチャー操作練習のための画像を表示したりできるようになっている。

図２は、情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。
ノートパソコン１００は、ハードウェア的には通常のノートパソコンと同様であり、キーボード１０１、マウス１０２、撮影手段としてのカメラ（Ｗｅｂカメラ）１０３、表示装置１０４、光学読取装置１０５、ＨＤＤ（Hard Disc Drive）１０６、制御部１０７、ＲＡＭ（Random Access Memory：読み出し／書き込みメモリ）１０８、ＲＯＭ（Read Only Memory：読み出し専用メモリ）１０９、及びＩ／Ｏ（Input/Output）１１０を有するが、本発明はこれに限定されるものではなく、地上波デジタルテレビジョン放送を視聴するためのチューナーやインターネット接続を行うためのモデムをそなえていてもよい。尚、１１１はバスラインである。

キーボード１０１は、ＱＷＥＲＴＹ配列の英字キー、数字キー、テンキー、スペースキー、エンターキー、ファンクションキー、デリートキー、スペースキー等の通常の入力キーを有する。

マウス１０２は、少なくとも左ボタン、右ボタンを有しており、ホイールボタンを有してもよい。尚、図ではマウス１０２はケーブルでノートパソコン１００に接続されているが、本発明はこれに限定されるものではなく、マウス１０２はワイヤレスでノートパソコン１００に接続されていてもよい。

カメラ１０３は、ノートパソコン１００の上側筐体の上側の中央にユーザー側に向かって設けられており、例えばＣＣＤ（Charge-Coupled Device）が用いられる。

表示装置１０４は、解析手段１０７ｃによってジェスチャーが特定されたとき、特定されたジェスチャーに対応する表示もしくは制御部の制御による表示を行う機能を有し、例えば液晶ディスプレイが用いられるが、液晶ディスプレイの代わりにプラズマディスプレイを用いてもよい。

光学読取装置１０５は、例えば、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）、ＣＤＲ（CD Recordable）等の光学媒体を読み取る装置である。

ＨＤＤ１０６は、文字データ、画像データ、音声データ等のデータをＲＡＭ１０８に比べて大容量のデータを記憶するための記憶装置である。ＨＤＤ１０６の代わりにＳＳＤ（Solid State Drive）を用いてもよい。

制御部１０７は、ノートパソコン１００を統括制御する機能を有し、例えば、マイクロプロセッサのＣＰＵ（Central Processing Unit：中央演算処理装置）を含む回路である。制御部１０７は、ソフトウェアとして入力制御手段１０７ａ、トレーニング手段１０７ｂ、解析手段１０７ｃ、割り込み制御手段１０７ｄ、ディスク制御手段１０７ｅ、表示装置制御手段１０７ｆ、及び実行手段１０７ｇを有する。

入力制御手段１０７ａは、キーボード１０１、マウス１０２、カメラ１０３、及び光学読取装置１０５からデータを管理する。

トレーニング手段１０７ｂは、ソフトウェアで構成され、ユーザーの手の平の動作をジェスチャーとして認識する認識精度を向上させるため、ジェスチャーアプリケーション（以下、ジェスチャーアプリと表記）の初回起動時に、強制的にジェスチャーの練習を実行させる機能を有する。
本実施形態におけるジェスチャーは、ノートパソコン１００のカメラ１０３の撮影可能な範囲（カメラ画像内とも言う）におけるユーザーの手の平の動作を意味する。

解析手段１０７ｃは、ソフトウェアで構成され、カメラ１０３からの画像データを解析してユーザーの手の平の動作をジェスチャーとして認識する機能を有する。
割り込み制御手段１０７ｄは、あるプログラムの処理中に他のプログラムの処理を割り込ませる割り込み処理の制御を行う。
ディスク制御手段１０７ｅは、光学読取装置１０５に挿入された光学媒体の種類を判別し、文字データ、画像データ、音声データの読み出しの管理を行う。
表示装置制御手段１０７ｆは、表示装置１０４の画像表示を管理する。
実行手段１０７ｇは、アプリケーションを実行する。

ＲＡＭ１０８は、例えばフラッシュメモリが用いられる。
ＲＯＭ１０９は、例えばマスクＲＯＭが用いられる。
Ｉ／Ｏ１０９は、ノートパソコン１００と、図には示されないＵＳＢ（Universal Serial Bus）フラッシュメモリを含む外部のデバイスとのデータの授受を管理する。

図３（ａ）〜（ｎ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示す図であり、ユーザー自身の手の動きをユーザーの視点から見た図である。本実施形態では、ユーザーが右手をカメラ１０３にかざした場合で説明するが左手であってもよい。
図中の矢印で、一本線の矢印（→）は手形状や手の状態の遷移を表し、中抜きの矢印は手の平の移動を表す。
本実施形態において１２種類のジェスチャーにより、ノートパソコン１００を操作しているが、本発明はこれに限定されるものではない。
図３（ａ）は、ユーザーの右手によるマウスカーソル操作を示す図であり、両矢印のように移動させる場合を示しているが限定されるものではない。
図３（ｂ）は、「パー→グー→パー」のように手の平を開いたり閉じたりすることで左クリックのジェスチャー動作となる。
図３（ｃ）〜（ｅ）は、「パー→グー→グーで動かす→パー」のように手の平を動かすことでドラッグ及びドロップのジェスチャー動作となる。
図３（ｆ）は、手の平を拡げたまま矢印方向（右方向）にクリックより素早く動かすことで右フリックのジェスチャー動作となる。ここで、「フリック」とは、本来タッチパネルにおける操作の一種であり、画面を軽く払うように指を動かすことであるが、手の平を素早く動かすことを含む。

図３（ｇ）は、手の平を拡げたまま矢印方向（左方向）にクリックより素早く動かすことで左フリックのジェスチャー動作となる。

図３（ｈ）は、手の平を拡げたまま矢印方向（上方向）にクリックより素早く動かすことで上フリックのジェスチャー動作となる。

図３（ｉ）は、手の平を拡げたまま矢印方向（下方向）にクリックより素早く動かすことで下フリックのジェスチャー動作となる。

図３（ｊ）は、手の平を拡げたままノートパソコン１００の表示装置１０４程度の大きさの時計方向の円（直径１０ｃｍ〜２０ｃｍ程度）を描くことで時計回りのサークルのジェスチャー動作となる。

図３（ｋ）は、手の平を拡げたままノートパソコン１００の表示装置１０４程度の大きさの反時計方向の円（直径１０ｃｍ〜２０ｃｍ程度）を描くことで反時計回りのサークルのジェスチャー動作となる。

図３（ｌ）は、手の平を拡げたままノートパソコン１００の表示装置１０４に向かって押し指すことでプッシュのジェスチャー動作となる。

図３（ｍ）は、手の平を拡げたままノートパソコン１００の表示装置１０４から離れる方向に押し指すことでプルのジェスチャー動作となる。

図３（ｎ）は、手の平を拡げたままノートパソコン１００の表示装置１０４に向かって左右に振ることでウェイブのジェスチャー動作となる。本ジェスチャー動作をウェイブともいう。

ここで、「クリック」はマウスの左クリック、「ドラッグ＆ドロップ」はマウスのドラッグ＆ドロップに対応する。また、右フリックは、「進む」、左フリックは「戻る」、上フリックは「上スクロール」、下フリックは「下スクロール」、時計回りのサークルは「拡大」、反時計回りのサークルは「縮小」、「プル」は、図示しない携帯情報端末の起動、「ウェイブ」は、スタート画面に戻るコマンド操作に対応する。

＜動 作＞
図４は、図１に示したノートパソコンの動作を説明するためのフローチャートの一例である。図５は、図１に示したノートパソコンにおいて、ジェスチャーアプリの初回起動時に表示される画面の一例である。図６は、ジェスチャー練習をする場合に表示されるジェスチャー認識成功の場合の画面の一例であり、図７は、ジェスチャー練習をする場合に表示されるジェスチャー認識失敗の場合の画面の一例である。図８は、ジェスチャー練習を終了したときに表示される画面の一例であり、図９は、ジェスチャー機能を起動させたときに表示される画面の一例である。

図４に示すフローチャートの動作の主体は、図２に示した制御部１０７である。
制御部１０７は、ジェスチャーアプリが起動されたか否かを判断し（ステップＳ１）、ジェスチャーアプリが起動されない場合は待機し（ステップＳ１／Ｎｏ）、ジェスチャーアプリが起動された場合は、図５に示すメニュー画面を表示する。
図５において、メニュー画面としてのジェスチャー機能の設定の画面には、注意書きの一例として、「ハンドジェスチャーでは、リモコンやマウスを使わずに手の平のジェスチャーだけで情報処理装置の操作をおこなうことができます。」の文字情報が表示される。情報処理装置の操作とは、前述したカーソル操作やコマンド操作を意味する。

図５に示す画面の左側には複数（図では４つであるが限定されない。）のボタンＢ１〜Ｂ４が表示される。このうち「練習する」及び「キャンセル」のボタンＢ１、Ｂ４のみアクティブになっている。これは、ジェスチャーアプリの初回起動時にユーザーに強制的に練習させるためである。「練習する」のボタンＢ１の横には例えば、「各ジェスチャーの方法を練習することができます。ハンドジェスチャーを快適に使うには練習することをおすすめします。」の文字情報が表示される。ハンドジェスチャーを快適に使うにはジェスチャーの認識率を向上させる必要があり、そのため、ユーザーに練習することを促しているのである。「キャンセル」のボタンＢ４は表示されている画面を終了するためのボタンである。

ユーザーによりボタンＢ１がマウス１０２もしくはキーボード１０１により押されることで練習画面１頁目を表示するか否か判断する（ステップＳ２）。
制御部１０７は、ユーザーにより、ボタンＢ１が押されたと判断した場合（ステップＳ２／Ｙｅｓ）、カメラ１０３で撮影したユーザーの手を含む画像を図６に示すようにハンドジェスチャーの練習画面として表示する。練習画面の表示と共に音声や文字による説明を行ってもよい。このとき、制御部１０７は、ユーザーの手の平の動作を解析する（ステップＳ３）。
ジェスチャーの認識が成功したか否かを判断し（ステップＳ４）、認識に成功した場合（ステップＳ４／Ｙｅｓ）、認識成功のアイコン表示を行う。

ここで、図６に示す画面において、左側にジェスチャーのお手本画像が表示され、右側にモニターウィンドウが表示される。モニターウィンドウの上側にはガイドアイコンが表示される。お手本動画とモニターウィンドウ、ガイドアイコンの位置関係はこの限りではない。尚、本実施形態ではガイドアイコンが表示される場合で説明しているが、本発明はこれに限定されるものではなく、ガイドアイコンは表示されなくてもよい。
モニターウィンドウにはユーザーの手の平の位置を抽出していることを表示するための枠が表示される。

お手本画像としては、例えば、インストラクターの動画像またはアニメ動画像もしくはインストラクターの静止画像またはアニメ静止画像を１コマずつ表示するスライド表示画像が挙げられる。お手本画像が表示されると同時にジェスチャーの説明の音声を発生させるか、もしくは説明文をお手本画像中に表示してもよい。

モニターウィンドウは、カメラ１０３で撮影されたユーザーの手を含む画像が表示されるが、そのまま表示すると、お手本画像としてのインストラクターの手の平の動きと左右が逆になり、ユーザーが混乱するおそれがあるので、左右反転させてインストラクターと同じ動きを表示するようになっている。モニターウィンドウのうち、ユーザーの手の平を囲むように矩形が表示される。これは、ノートパソコン１００の画像処理において、手の平を抽出していることを表示することにより、ユーザーに手の平が画面内に位置するように注意を促すためである。

お手本画像の上側には、認識成功の説明文として例えば、「認識されると右側にあるガイドアイコンが光ります。認識されました。よかったですねぇ〜。じゃあ次頁へ。」と表示され、お手本画像のインストラクターが笑顔になっていてもよい。この場合、認識成功の説明文の右側に表示されるガイドアイコンの中の該当するアイコンが明るくなる（もしくはアイコンが点滅してもよい。）。この光るアイコンが認識成功のアイコンとなる。
認識結果の下には、「次のジェスチャー練習に進むには「＞」を押してください。前のジェスチャーの練習に戻るには「＜」を押してください。」の文字情報が表示されている。この表示に従ってユーザーが「＞」、もしくは「＜」を選択することにより、練習したいジェスチャーのお手本画像が表示される。
モニターウィンドウの右下側には終了のボタンが表示されている。

ジェスチャーの認識が失敗した場合（ステップＳ４／Ｎｏ）、認識失敗の画像表示を行う（ステップＳ１２）。

認識失敗の画像表示としての図７において、お手本画面の上側の説明文として例えば「認識されると右側にあるガイドアイコンが光ります。認識されませんでした。もう一回やってみて。もう少し早く動かしてね〜。」と表示される。この場合にはガイドアイコンは発光したり点滅したりせず、インストラクターの笑顔が真顔になっていてもよい。
ユーザーは、再度手の平をインストラクターの動きに会わせて動かしてノートパソコン１００に解析させることができる。
認識成功のアイコン表示がなされると（ステップＳ５）、制御部１０７は練習を終了するか否かを判断し（ステップＳ６）、練習を終了しない場合、すなわちジェスチャー練習を継続する場合（ステップＳ６／Ｎｏ）、ユーザーが選択したジェスチャーの練習画面の表示を行い（ステップＳ１１）、ステップＳ３に戻る。

終了のボタンをキーボード１０１もしくはマウス１０２の操作によりクリックすると（ステップＳ６／Ｙｅｓ）、ハンドジェスチャーの画面が終了して、ステップＳ７に進む。

ステップＳ７に進むと、図８に示すジェスチャー機能の設定画面が表示される。図８に示す画面と図５に示す画面との相違点は、ボタンＢ２、Ｂ３がアクティブになっている点である。ボタンＢ２は、ジェスチャー機能を使用するためのボタンであり、ボタンＢ３はジェスチャー機能を終了するためのボタンである。
すなわち、ジェスチャー練習が終了すると、ジェスチャー機能を使用することができるのである。

ユーザーがキーボード１０１もしくはマウス１０２によりボタンＢ２をクリックすると、ジェスチャー入力の動作が開始し（ステップＳ７）、図９に示す画面が表示される。画面の中央には、例えば数秒間「ジェスチャー機能起動」の文字情報が表示される。画面の右下の隅には画面の十数分の１程度の大きさのモニターウィンドウが表示される。画面の上方にはジェスチャーのアイコンが表示される。ガイドアイコンは、練習画面同様、ジェスチャーが認識されると明るくなって（もしくは点滅してもよい）、ユーザーにジェスチャーが認識されたことのフィードバックを与える。

ここで、アイコンは、画面の中央ではなく周辺に表示されるようになっている。これは、画面に例えば地上デジタルテレビジョン放送やインターネット放送の画面を表示する際に邪魔にならないようにするためである。
制御部１０７は、ユーザーの手の平の動作を解析し（ステップＳ８）、ジェスチャーに対応した動作（例えば、クリックやフリック等の動作）を行う（ステップＳ９）。ジェスチャー入力を終了する場合には、画面の中の終了ボタン（例えば、画面右下の閉じるボタン）をクリックすることで終了する（ステップＳ１０）。

ここで、図８に示す画面は、ユーザーが２回目以降のジェスチャー操作を行う場合にジェスチャーの練習画面を表示するか否かを選択するための選択画面に対応する。
すなわち、ユーザーが練習画面の表示を選択した場合には練習画面を表示し、選択しない場合には、練習画面を省略してジェスチャー操作の本番画面としての図９を表示するのである。

＜作用効果＞
以上において、本実施形態によれば、ジェスチャー認識結果のアイコン表示を行うので、ジェスチャー動作の認識率の向上を図ることができる。

＜プログラム＞
以上で説明した本発明にかかる情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

例えば、
情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
表示手段が、アプリケーションの実行結果を表示する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、前記撮影手段からの複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
表示手段が、ジェスチャーが特定されたとき、前記特定されたジェスチャーに対応する表示を行う手順、
を実行させるプログラムが挙げられる。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明に係る情報処理装置を実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

＜記憶媒体＞
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（CD Recordable）などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤ（Hard Disc Drive）が挙げられる。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
例えば、上述した実施の形態では、ジェスチャー練習をする場合で説明したが、本発明は、これに限定されるものではなく、ジェスチャー入力する場合に適用してもよい。

１００ ノートパソコン
１０１ キーボード
１０２ マウス
１０３ Ｗｅｂカメラ（カメラ）
１０４ 液晶表示装置
１０５ 光学読取装置
１０６ ＨＤＤ
１０７ 制御部
１０７ａ 入力制御手段
１０７ｂ トレーニング手段
１０７ｃ 解析手段
１０７ｄ 割り込み手段
１０７ｅ ディスク制御手段
１０７ｆ 表示装置制御手段
１０７ｇ 実行手段
１０８ ＲＡＭ
１０９ ＲＯＭ
１１０ Ｉ／Ｏ
１１１ バスライン

Claims (6)

1. アプリケーションを実行する実行手段と、
   前記アプリケーションの実行結果を表示する表示手段と、
   ユーザーの手の平を撮影して画像データに変換する撮影手段と、
   前記撮影手段からの複数の像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、
   前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する制御手段と、を備えた情報処理装置において、
   解析手段によってジェスチャーが特定されたとき、前記特定されたジェスチャーに対応する表示を行う表示手段をさらに備えたことを特徴とする、情報処理装置。
2. 前記制御手段は、前記実行手段で実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理に対応する表示を行うことを特徴とする請求項１記載の情報処理装置。
3. 前記制御手段は、ガイドアイコンを表示させることを特徴とする、請求項１又は２記載の情報処理装置。
4. 前記制御手段は、定義されたジェスチャーに対応して表示されているガイドアイコンのうち特定されたジェスチャーに対応するものの表示を、それ以外のガイドアイコンの表示と異なる表示を行うことを特徴とする、請求項１から３の何れか一項記載の情報処理装置。
5. ユーザーの手の平を撮影して画像データに変換し、複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する情報処理方法において、
   ジェスチャーが特定されたとき、前記特定されたジェスチャーに対応する表示を行うことを特徴とする情報処理方法。
6. 情報処理装置のコンピュータに、
   実行手段が、アプリケーションを実行する手順、
   表示手段が、前記アプリケーションの実行結果を表示する手順、
   撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
   解析手段が、前記撮影手段からの複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
   制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
   を実行させるプログラムにおいて、
   前記表示手段が、ジェスチャーが特定されたとき、前記特定されたジェスチャーに対応する表示を行う手順、
   を実行させることを特徴とするプログラム。

Images