JP2014085965A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2014085965A JP2014085965A JP2012236126A JP2012236126A JP2014085965A JP 2014085965 A JP2014085965 A JP 2014085965A JP 2012236126 A JP2012236126 A JP 2012236126A JP 2012236126 A JP2012236126 A JP 2012236126A JP 2014085965 A JP2014085965 A JP 2014085965A
- Authority
- JP
- Japan
- Prior art keywords
- palm
- gesture
- user
- information processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】ユーザーの手の平を撮影して画像データに変換し、ユーザーの手の平を検出し、ユーザーの手の平として検出された部分を比較することにより手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理を実施する際に、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて手の平の移動をジェスチャーとして認識する。
【選択図】図4
【解決手段】ユーザーの手の平を撮影して画像データに変換し、ユーザーの手の平を検出し、ユーザーの手の平として検出された部分を比較することにより手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理を実施する際に、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて手の平の移動をジェスチャーとして認識する。
【選択図】図4
Description
本発明は、ジェスチャー操作が可能な情報処理装置、情報処理方法、及びプログラムに関する。
近年、技術の進歩により種々の機能を有する情報処理装置が開発されており、ジェスチャー操作が可能なパーソナルコンピュータが挙げられる(例えば、特許文献1参照)。
特許文献1に記載の発明は、「インターフェース装置及びその方法」に関するものであり、具体的には「テレビやコンピュータ等の機器を操作するためのインターフェース装置におけるジェスチャー情報表示部は、操作に用いるジェスチャーの一覧、ジェスチャー認識部の認識結果、及び操作者の手と思われる部分の画像を表示し、操作者はジェスチャーを覚えることなく画面を確認しながら操作を行えるようになると共に、ジェスチャー認識部に認識させやすいように操作者が行うジェスチャーを修正することが可能となり、操作性が向上する」ものである。
特許文献1に記載の発明は、「インターフェース装置及びその方法」に関するものであり、具体的には「テレビやコンピュータ等の機器を操作するためのインターフェース装置におけるジェスチャー情報表示部は、操作に用いるジェスチャーの一覧、ジェスチャー認識部の認識結果、及び操作者の手と思われる部分の画像を表示し、操作者はジェスチャーを覚えることなく画面を確認しながら操作を行えるようになると共に、ジェスチャー認識部に認識させやすいように操作者が行うジェスチャーを修正することが可能となり、操作性が向上する」ものである。
しかし、特許文献1に記載の発明は、情報処理装置の表示部の画面をユーザーがその都度確認しながら操作を行うため、ジェスチャーを覚えた場合に比べて、ジェスチャーの認識精度が低いため、操作を開始してから終了するまでの時間が係る。このため、例えば、テレビの番組をすぐに録画したい場合には最初の場面を録画しそこなったり、ジェスチャーのガイド部により見たい番組の一部が隠れてしまったりするおそれがある。
また、ジェスチャーを覚えるためには、情報処理装置に添付されたマニュアルを見て画面操作しつつ覚えるという煩わしさがあった。
また、ジェスチャーを覚えるためには、情報処理装置に添付されたマニュアルを見て画面操作しつつ覚えるという煩わしさがあった。
そこで、本発明の目的は、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記課題を解決するため、請求項1記載の発明は、ユーザーの手の平を撮影して画像データに変換し、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する情報処理方法において、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識することを特徴とする。
本発明によれば、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムの提供を実現できる。
次に本実施形態について図面を参照して説明する。
本実施形態では、情報処理装置がノートパソコンの場合で説明するが、本発明はノートパソコンに限定されるものではなく、デスクトップパソコンであってもよい。
<構 成>
図1(a)は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、図1(b)は、図1(a)に示したノートパソコンのユーザー側から見た外観斜視図である。
このノートパソコン100は、キーボード101やマウス102による操作の他、Webカメラ(以下、カメラと表記する。)103でユーザーの手を認識し、認識した手の平の動き(ジェスチャー、もしくはハンドジェスチャーとも言う)によりノートパソコン100で一定の操作を行うことができるようになっている。
液晶表示装置104は、通常の表示を行う他、ユーザーの顔や手を表示したり、ジェスチャー操作練習のための画像を表示したりできるようになっている。
本実施形態では、情報処理装置がノートパソコンの場合で説明するが、本発明はノートパソコンに限定されるものではなく、デスクトップパソコンであってもよい。
<構 成>
図1(a)は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、図1(b)は、図1(a)に示したノートパソコンのユーザー側から見た外観斜視図である。
このノートパソコン100は、キーボード101やマウス102による操作の他、Webカメラ(以下、カメラと表記する。)103でユーザーの手を認識し、認識した手の平の動き(ジェスチャー、もしくはハンドジェスチャーとも言う)によりノートパソコン100で一定の操作を行うことができるようになっている。
液晶表示装置104は、通常の表示を行う他、ユーザーの顔や手を表示したり、ジェスチャー操作練習のための画像を表示したりできるようになっている。
図2は、情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。
ノートパソコン100は、ハードウェア的には通常のノートパソコンであり、キーボード101、マウス102、撮影手段としてのカメラ(Webカメラ)103、表示装置104、光学読取装置105、HDD(Hard Disc Drive)106、制御部107、RAM(Random Access Memory:読み出し/書き込みメモリ)108、ROM(Read Only Memory:読み出し専用メモリ)109、及びI/O(Input/Output)110を有するが、本発明はこれに限定されるものではなく、地上デジタルテレビジョン放送を視聴するためのチューナーやインターネット接続のためのモデムを備えていてもよい。尚、111はバスラインである。
ノートパソコン100は、ハードウェア的には通常のノートパソコンであり、キーボード101、マウス102、撮影手段としてのカメラ(Webカメラ)103、表示装置104、光学読取装置105、HDD(Hard Disc Drive)106、制御部107、RAM(Random Access Memory:読み出し/書き込みメモリ)108、ROM(Read Only Memory:読み出し専用メモリ)109、及びI/O(Input/Output)110を有するが、本発明はこれに限定されるものではなく、地上デジタルテレビジョン放送を視聴するためのチューナーやインターネット接続のためのモデムを備えていてもよい。尚、111はバスラインである。
キーボード101は、例えば、QWERTY配列の英字キー、数字キー、テンキー、スペースキー、エンターキー、ファンクションキー、デリートキー、スペースキー等の通常の入力キーを有する。
マウス102は、少なくとも左ボタン、右ボタンを有しており、ホイールを有してもよい。尚、図ではマウス102はケーブルでノートパソコン100に接続されているが、本発明はこれに限定されるものではなく、マウス102はワイヤレスでノートパソコン100に接続されていてもよい。
カメラ103は、ノートパソコン100の上側筐体の上側の中央にユーザー側に向かって設けられており、例えばCCD(Charge-Coupled Device)が用いられる。
表示装置104は、例えば液晶ディスプレイが用いられるが、液晶ディスプレイの代わりにプラズマディスプレイを用いてもよい。
光学読取装置105は、例えば、DVD(Digital Versatile Disc)、CD(Compact Disc)、CDR(CD Recordable)等の光学媒体を読み取る装置である。
HDD106で構成される不揮発記憶部は、文字データ、画像データ、音声データ等のデータをRAM108に比べて大容量のデータを記憶するための記憶装置である。HDD106の代わりにSSD(Solid State Drive)を用いてもよい。
制御部107は、ノートパソコン100を統括制御する機能を有し、例えば、マイクロプロセッサのCPU(Central Processing Unit:中央演算処理装置)を含む回路である。制御部107は、ソフトウェアとして入力制御手段107a、トレーニング手段107b、解析手段107c、割り込み制御手段107d、ディスク制御手段107e、表示装置制御手段107f、及び実行手段107gを有する。
入力制御手段107aは、キーボード101、マウス102、カメラ103、及び光学読取装置105からデータを管理する。
トレーニング手段107bは、ソフトウェアで構成され、ユーザーの手の平の動作をジェスチャーとして認識する認識精度を向上させるため、ジェスチャーアプリケーション(以下、ジェスチャーアプリと表記)の初回起動時に、強制的にジェスチャーの練習を実行させる機能を有する。
本実施形態におけるジェスチャーは、ノートパソコン100のカメラ103の撮影可能な範囲(カメラ画像内とも言う)におけるユーザーの手の平の動作を意味し、二の腕や全身を動かすことを要求するものではない。
本実施形態におけるジェスチャーは、ノートパソコン100のカメラ103の撮影可能な範囲(カメラ画像内とも言う)におけるユーザーの手の平の動作を意味し、二の腕や全身を動かすことを要求するものではない。
解析手段107cは、ソフトウェアで構成され、カメラ103からの画像データを解析して撮影されたユーザーの手の平として検出された部分の面積の変化に基づいてユーザーの手の平の動作をジェスチャーとして認識する機能を有する。
割り込み制御手段107dは、あるプログラムの処理中に他のプログラムの処理を割り込ませる割り込み処理の制御を行う。
ディスク制御手段107eは、光学読取装置105に挿入された光学媒体の種類を判別し、文字データ、画像データ、音声データの読み出しの管理を行う。
表示装置制御手段107fは、表示装置104の画像表示を管理する。
実行手段107gは、アプリケーションを実行する。
割り込み制御手段107dは、あるプログラムの処理中に他のプログラムの処理を割り込ませる割り込み処理の制御を行う。
ディスク制御手段107eは、光学読取装置105に挿入された光学媒体の種類を判別し、文字データ、画像データ、音声データの読み出しの管理を行う。
表示装置制御手段107fは、表示装置104の画像表示を管理する。
実行手段107gは、アプリケーションを実行する。
RAM108は、例えばフラッシュメモリが用いられる。
ROM109は、例えばマスクROMが用いられる。
I/O109は、ノートパソコン100と、図には示されないUSB(Universal Serial Bus)フラッシュメモリを含む外部のデバイスとのデータの授受を管理する。
ROM109は、例えばマスクROMが用いられる。
I/O109は、ノートパソコン100と、図には示されないUSB(Universal Serial Bus)フラッシュメモリを含む外部のデバイスとのデータの授受を管理する。
図3(a)〜(c)は、図1に示したノートパソコン100に用いられるジェスチャーの一例を示す説明図であり、ユーザーの手の平の動きをユーザーの対面から見た図である。本実施形態では、ユーザーが右手をカメラ103にかざした場合で説明するが、左手であってもよい。
図中の矢印で、一本線の矢印(→)は手形状や手の状態の遷移を表し、中抜きの矢印は手の平の移動を表す。
本実施形態において3種類のジェスチャーにより、ノートパソコン100を操作する場合について説明しているが、本発明はこれに限定されるものではなく、手の平の移動時間及び手の平の軌跡が形成するパターンの面積とで認識できるジェスチャーについて適用可能である。
ここで、他のジェスチャー、例えば、右クリック、左クリック、右フリック、左フリック、ドラッグ&ドロップ、マウスカーソル操作等については、公知の技術が用いられる。すなわち、手の平の移動方向及び移動距離に基づいて判断してもよく、手の平の移動方向に基づいて判断してもよいが、本実施形態では説明を省略する。
図中の矢印で、一本線の矢印(→)は手形状や手の状態の遷移を表し、中抜きの矢印は手の平の移動を表す。
本実施形態において3種類のジェスチャーにより、ノートパソコン100を操作する場合について説明しているが、本発明はこれに限定されるものではなく、手の平の移動時間及び手の平の軌跡が形成するパターンの面積とで認識できるジェスチャーについて適用可能である。
ここで、他のジェスチャー、例えば、右クリック、左クリック、右フリック、左フリック、ドラッグ&ドロップ、マウスカーソル操作等については、公知の技術が用いられる。すなわち、手の平の移動方向及び移動距離に基づいて判断してもよく、手の平の移動方向に基づいて判断してもよいが、本実施形態では説明を省略する。
図3(a)は、手の平を拡げたままノートパソコン100の表示装置104に向かって近づけることでプッシュのジェスチャー動作となる。図3(b)は、図3(a)に示した手の平の軌跡が形成するパターンの変化分を示す図である。手の平の軌跡のパターンが任意の時間内に拡大することによりプッシュであることが判断できる。
図3(c)は、手の平を拡げたままノートパソコン100の表示装置104から離すことでプルのジェスチャー動作となる。図3(d)は、図3(c)に示した手の平の軌跡が形成するパターンの変化分を示す図である。手の平の軌跡のパターンが任意の時間内に縮小することによりプルであることが判断できる。
ここで、認識されるジェスチャーと動作との対応付けの一例についてのべる。「クリック」のジェスチャーはマウスの左クリックに対応し、「ドラッグ&ドロップ」のジェスチャーはマウスのドラッグ&ドロップに対応する。また、「右フリック」のジェスチャーは、進むに対応し、「左フリック」のジェスチャーは戻るに対応する。「上フリック」のジェスチャーは上スクロールに対応し、「下フリック」のジェスチャーは下スクロールに対応する。「時計回りのサークル」のジェスチャーは拡大に対応し、「反時計回りのサークル」のジェスチャーは縮小に対応する。「プル」のジェスチャーは、図示しない携帯情報端末の起動に対応し、「ウェイブ」のジェスチャーは、スタート画面に戻るコマンド操作に対応する。
<動 作>
図4は、図1に示したノートパソコンの動作のうち手の平の移動時間及び手の平の軌跡が形成するパターンの面積でジェスチャーを認識する場合を含む動作を説明するためのフローチャートの一例である。図5は、ジェスチャー練習をする場合に表示される画面の一例であり、図6は、ジェスチャー練習を終了したときに表示される画面の一例であり、図7は、ジェスチャー機能を起動させたときに表示される画面の一例である。
図4は、図1に示したノートパソコンの動作のうち手の平の移動時間及び手の平の軌跡が形成するパターンの面積でジェスチャーを認識する場合を含む動作を説明するためのフローチャートの一例である。図5は、ジェスチャー練習をする場合に表示される画面の一例であり、図6は、ジェスチャー練習を終了したときに表示される画面の一例であり、図7は、ジェスチャー機能を起動させたときに表示される画面の一例である。
図4に示すフローチャートの動作の主体は、図2に示した制御部107である。
制御部107は、ジェスチャーアプリが起動されたか否かを判断し(ステップS1)、ジェスチャーアプリが起動されない場合は待機し(ステップS1/No)、ジェスチャーアプリが起動された場合は、ジェスチャー入力が開始される。
制御部107は、ジェスチャーアプリが起動されたか否かを判断し(ステップS1)、ジェスチャーアプリが起動されない場合は待機し(ステップS1/No)、ジェスチャーアプリが起動された場合は、ジェスチャー入力が開始される。
尚、図5に示す画面において、左側にジェスチャーのお手本画像が表示され、右側にモニターウィンドウが表示される。モニターウィンドウの上側にはガイドアイコンが表示される。お手本画像とモニターウィンドウ、ガイドアイコンの位置関係はこのかぎりではない。尚、本実施形態ではガイドアイコンが表示される場合で説明しているが、本発明はこれに限定されるものではなく、ガイドアイコンは表示されなくてもよい。
モニターウィンドウにはユーザーの手の平の位置を抽出していることを表示するための枠が表示される。
モニターウィンドウにはユーザーの手の平の位置を抽出していることを表示するための枠が表示される。
お手本画像としては、例えば、インストラクターの動画像またはアニメ動画像もしくはインストラクターの静止画像またはアニメ静止画像を1コマずつ表示するスライド表示画像が挙げられる。お手本画像が表示されると同時にジェスチャーの説明の音声を発生させるか、もしくは説明文をお手本画像中に表示してもよい。
モニターウィンドウは、カメラ103で撮影されたユーザーの手を含む画像が表示されるが、そのまま表示すると、お手本画像としてのインストラクターの手の平の動きと左右が逆になり、ユーザーが混乱するおそれがあるので、左右反転させてインストラクターと同じ動きを表示するようになっている。モニターウィンドウのうち、ユーザーの手の平を囲むように矩形が表示される。これは、ノートパソコン100の画像処理において、手の平を抽出していることを表示することにより、ユーザーに手の平が画面内に位置するように注意を促すためである。
お手本画像の上側には例えば、「次のジェスチャー練習に進むには「>」を押してください。前のジェスチャーの練習に戻るには「<」を押してください。」の文字情報が表示されている。この表示に従ってユーザーが「>」、もしくは「<」を選択することにより、練習したいジェスチャーのお手本画像が表示される。
モニターウィンドウの右下側には終了のボタンが表示されている。
モニターウィンドウの右下側には終了のボタンが表示されている。
ステップS2に進むと、図6に示すジェスチャー機能の設定画面が表示される。ボタンB2は、ジェスチャー機能を使用するためのボタンであり、ボタンB3はジェスチャー機能を終了するためのボタンである。
すなわち、ジェスチャー練習が終了すると、ジェスチャー機能を使用することができるのである。
すなわち、ジェスチャー練習が終了すると、ジェスチャー機能を使用することができるのである。
ユーザーがキーボード101もしくはマウス102によりボタンB2をクリックすると、ジェスチャー入力の動作が開始し(ステップS2)、図7に示す画面が表示される。画面の中央には、例えば数秒間「ジェスチャー機能起動」の文字情報が表示される。画面の右下の隅には画面の十数分の1程度の大きさのモニターウィンドウが表示される。画面の上方にはジェスチャーのアイコンが表示される。これらはユーザー確認用のための画像である。
ここで、アイコンは、画面の中央ではなく周辺に表示されるようになっている。これは、画面に例えば地上デジタルテレビジョン放送やインターネット放送の画面を表示する際に邪魔にならないようにするためである。
制御部107は、前述と同様に、ユーザーの手の平の動きを解析し(ステップS3)、ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能であるか否かを判断し(ステップS4)、ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能であると判断した場合(ステップS4/Yes)、認識アルゴリズムから、プッシュ、プル、又はウェイブの認識を行う(ステップS5)。ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能でないと判断した場合(ステップS4/No)、認識アルゴリズムから、そのほかのジェスチャー認識を行う(ステップS6)。
ノートパソコン100は、ジェスチャーに対応した動作を行う(ステップS7)。ジェスチャー入力を終了する場合には、画面の中の終了ボタン(例えば、画面右下の閉じるボタン)をクリックすることで終了する(ステップS8)。ジェスチャー入力を継続する場合にはステップS3に戻る。
ここで、アイコンは、画面の中央ではなく周辺に表示されるようになっている。これは、画面に例えば地上デジタルテレビジョン放送やインターネット放送の画面を表示する際に邪魔にならないようにするためである。
制御部107は、前述と同様に、ユーザーの手の平の動きを解析し(ステップS3)、ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能であるか否かを判断し(ステップS4)、ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能であると判断した場合(ステップS4/Yes)、認識アルゴリズムから、プッシュ、プル、又はウェイブの認識を行う(ステップS5)。ユーザーの手の平の移動時間と面積の変化でジェスチャー認識可能でないと判断した場合(ステップS4/No)、認識アルゴリズムから、そのほかのジェスチャー認識を行う(ステップS6)。
ノートパソコン100は、ジェスチャーに対応した動作を行う(ステップS7)。ジェスチャー入力を終了する場合には、画面の中の終了ボタン(例えば、画面右下の閉じるボタン)をクリックすることで終了する(ステップS8)。ジェスチャー入力を継続する場合にはステップS3に戻る。
ここで、図6に示す画面は、ユーザーが2回目以降のジェスチャー操作を行う場合にジェスチャーの練習画面を表示するか否かを選択するための選択画面に対応する。
すなわち、ユーザーが練習画面の表示を選択した場合には練習画面を表示し、選択しない場合には、練習画面を省略してジェスチャー操作の本番画面としての図7を表示するのである。
すなわち、ユーザーが練習画面の表示を選択した場合には練習画面を表示し、選択しない場合には、練習画面を省略してジェスチャー操作の本番画面としての図7を表示するのである。
<作用効果>
以上において、本実施形態によれば、撮影されたユーザーの手の平の移動方向及び移動距離、もしくは手の平の軌跡が形成するパターンの面積及び手の平の移動時間に基づいて手の平の移動をジェスチャーとして認識することにより、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムの提供を実現できる。
以上において、本実施形態によれば、撮影されたユーザーの手の平の移動方向及び移動距離、もしくは手の平の軌跡が形成するパターンの面積及び手の平の移動時間に基づいて手の平の移動をジェスチャーとして認識することにより、ジェスチャーの認識精度を向上させた情報処理装置、情報処理方法、及びプログラムの提供を実現できる。
<プログラム>
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
例えば、
情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
前記制御手段が、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識する手順、
を実行させるプログラムが挙げられる。
情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
前記制御手段が、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識する手順、
を実行させるプログラムが挙げられる。
これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明に係る情報処理装置を実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
<プログラム及び記憶媒体>
ここで、記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD−R(CD Recordable)などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)、FeRAM(強誘電体メモリ)等の半導体メモリやHDD(Hard Disc Drive)が挙げられる。
ここで、記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD−R(CD Recordable)などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)、FeRAM(強誘電体メモリ)等の半導体メモリやHDD(Hard Disc Drive)が挙げられる。
尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
例えば、手の平として検出された部分の面積が変化したときに、その面積の変化の開始から終了までの時間と所定の閾値との関係に応じて手の平の移動を異なるジェスチャーとして認識するように構成してもよい。ここで、異なるジェスチャーとは、例えばゆっくりした変化の場合はジェスチャーと認識しないことを意味する。
100 ノートパソコン
101 キーボード
102 マウス
103 カメラ(Webカメラ)
104 液晶表示装置
105 光学読取装置
106 HDD
107 制御部
107a 入力制御手段
107b トレーニング手段
107c 解析手段
107d 割り込み制御手段
107e ディスク制御手段
107f 表示装置制御手段
107g 実行手段
108 RAM
109 ROM
110 I/O
111 バスライン
101 キーボード
102 マウス
103 カメラ(Webカメラ)
104 液晶表示装置
105 光学読取装置
106 HDD
107 制御部
107a 入力制御手段
107b トレーニング手段
107c 解析手段
107d 割り込み制御手段
107e ディスク制御手段
107f 表示装置制御手段
107g 実行手段
108 RAM
109 ROM
110 I/O
111 バスライン
Claims (5)
- ユーザーの手の平を撮影して画像データに変換し、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する情報処理方法において、
撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識することを特徴とする情報処理方法。 - 前記手の平として検出された部分の面積が変化したときに、該変化の開始から終了までの時間と所定の閾値との関係に応じて前記手の平の移動をジェスチャーとして認識することを特徴とする請求項1記載の情報処理方法。
- 前記撮影された前記ユーザーの画像と、インストラクターによる手本の画像とを同一画面上に表示することを特徴とする請求項1または2記載の情報処理方法。
- アプリケーションを実行する実行手段と、
ユーザーの手の平を撮影して画像データに変換する撮影手段と、
前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、
前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する制御手段と、を備えた情報処理装置において、
前記制御手段は、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識することを特徴とする情報処理装置。 - 情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
前記制御手段が、撮影されたユーザーの手の平として検出された部分の面積の変化に基づいて前記手の平の移動をジェスチャーとして認識する手順、
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012236126A JP2014085965A (ja) | 2012-10-25 | 2012-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012236126A JP2014085965A (ja) | 2012-10-25 | 2012-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014085965A true JP2014085965A (ja) | 2014-05-12 |
Family
ID=50788942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012236126A Pending JP2014085965A (ja) | 2012-10-25 | 2012-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014085965A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111338461A (zh) * | 2018-12-18 | 2020-06-26 | 鸿合科技股份有限公司 | 一种手势操作方法及装置、电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056059A (ja) * | 2003-08-01 | 2005-03-03 | Canon Inc | 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法 |
JP2011517357A (ja) * | 2008-03-04 | 2011-06-02 | ジェスチャー テック,インコーポレイテッド | 改良されたジェスチャに基づく画像操作 |
JP2011186730A (ja) * | 2010-03-08 | 2011-09-22 | Sony Corp | 情報処理装置および方法、並びにプログラム |
WO2011142317A1 (ja) * | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
JP2012063824A (ja) * | 2010-09-14 | 2012-03-29 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2012146304A (ja) * | 2011-01-06 | 2012-08-02 | Samsung Electronics Co Ltd | モーションによって制御されるディスプレイ装置及びそのモーション制御方法 |
-
2012
- 2012-10-25 JP JP2012236126A patent/JP2014085965A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056059A (ja) * | 2003-08-01 | 2005-03-03 | Canon Inc | 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法 |
JP2011517357A (ja) * | 2008-03-04 | 2011-06-02 | ジェスチャー テック,インコーポレイテッド | 改良されたジェスチャに基づく画像操作 |
JP2011186730A (ja) * | 2010-03-08 | 2011-09-22 | Sony Corp | 情報処理装置および方法、並びにプログラム |
WO2011142317A1 (ja) * | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
JP2012063824A (ja) * | 2010-09-14 | 2012-03-29 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2012146304A (ja) * | 2011-01-06 | 2012-08-02 | Samsung Electronics Co Ltd | モーションによって制御されるディスプレイ装置及びそのモーション制御方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111338461A (zh) * | 2018-12-18 | 2020-06-26 | 鸿合科技股份有限公司 | 一种手势操作方法及装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105814522B (zh) | 基于运动识别来显示虚拟输入设备的用户界面的设备和方法 | |
US7849421B2 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
JP5343676B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
EP2715491B1 (en) | Edge gesture | |
US20120304131A1 (en) | Edge gesture | |
US10191554B2 (en) | Display apparatus and controlling method thereof | |
CA2836265A1 (en) | Edge gesture | |
JP6991486B2 (ja) | 文字列に文字を挿入するための方法およびシステム | |
KR20080104099A (ko) | 입력 장치 및 그 입력 방법 | |
US10031667B2 (en) | Terminal device, display control method, and non-transitory computer-readable recording medium | |
JP2010102395A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101488662B1 (ko) | Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치 | |
TW201403386A (zh) | 眼動操控方法及系統 | |
JP5831882B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20140317549A1 (en) | Method for Controlling Touchscreen by Using Virtual Trackball | |
JP5831883B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2014085964A (ja) | 情報処理方法、情報処理装置、及びプログラム | |
JP2014085967A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5198548B2 (ja) | 電子機器、表示制御方法及びプログラム | |
US20130097543A1 (en) | Capture-and-paste method for electronic device | |
JP2014085965A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TW201635098A (zh) | 書寫裝置及其操作方法 | |
TWI699670B (zh) | 電子裝置與畫面凍結方法 | |
JP2014082605A (ja) | 情報処理装置、その制御方法及びプログラム | |
JP7077024B2 (ja) | 電子機器、情報処理方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150616 |