JP5831882B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP5831882B2 JP5831882B2 JP2012236124A JP2012236124A JP5831882B2 JP 5831882 B2 JP5831882 B2 JP 5831882B2 JP 2012236124 A JP2012236124 A JP 2012236124A JP 2012236124 A JP2012236124 A JP 2012236124A JP 5831882 B2 JP5831882 B2 JP 5831882B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- application
- information processing
- palm
- predefined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
特許文献1に記載の発明は、「インターフェース装置及びその方法」に関するものであり、具体的には「テレビやコンピュータ等の機器を操作するためのインターフェース装置におけるジェスチャー情報表示部は、操作に用いるジェスチャーの一覧、ジェスチャー認識部の認識結果、及び操作者の手と思われる部分の画像を表示し、操作者はジェスチャーを覚えることなく画面を確認しながら操作を行えるようになると共に、ジェスチャー認識部に認識させやすいように操作者が行うジェスチャーを修正することが可能となり、操作性が向上する」ものである。
また、ジェスチャーを覚えるためには、情報処理装置に添付されたマニュアルを見て画面操作しつつ覚えるという煩わしさがあった。
本実施形態では、情報処理装置がノートパソコンの場合で説明するが、本発明はノートパソコンに限定されるものではなく、デスクトップパソコンであってもよい。
<構 成>
図1(a)は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、図1(b)は、図1(a)に示したノートパソコンのユーザー側から見た外観斜視図である。
このノートパソコン100は、キーボード101やマウス102による操作の他、Webカメラ(以下、カメラと表記する。)103でユーザーの手を認識し、認識した手の平の動き(ジェスチャー、もしくはハンドジェスチャーとも言う)によりノートパソコン100で一定の操作を行うことができるようになっている。
液晶表示装置104は、通常の表示を行う他、ユーザーの顔や手を表示したり、ジェスチャー操作練習のための画像を表示したりできるようになっている。
ノートパソコン100は、キーボード101、マウス102、撮影手段としてのカメラ(Webカメラ)103、表示装置104、光学読取装置105、HDD(Hard Disc Drive)106、制御部107、RAM(Random Access Memory:読み出し/書き込みメモリ)108、ROM(Read Only Memory:読み出し専用メモリ)109、及びI/O(Input/Output)110を有するが、本発明はこれに限定されるものではない。尚、111はバスラインである。
本実施形態におけるジェスチャーは、ノートパソコン100のカメラ103の撮影可能な範囲(カメラ画像内とも言う)におけるユーザーの手の平の動作を意味する。
割り込み制御手段107dは、あるプログラムの処理中に他のプログラムの処理を割り込ませる割り込み処理の制御を行う。
ディスク制御手段107eは、光学読取装置105に挿入された光学媒体の種類を判別し、文字データ、画像データ、音声データの読み出しの管理を行う。
表示装置制御手段107fは、表示装置104の画像表示を管理する。
実行手段107gは、アプリケーションを実行する。
ROM109は、例えばマスクROMが用いられる。
I/O109は、ノートパソコン100と、図には示されないUSB(Universal Seri
al Bus)フラッシュメモリを含む外部のデバイスとのデータの授受を管理する。
尚、図1に示したノートパソコン100は、ハードウェア的には通常のノートパソコンの構成を有しており、地上デジタルチューナ、インターネット接続のためのモデムを備えていてもよい。
図中の矢印で、一本線に矢印(→)は手形状や手の状態の遷移を表し、中抜きの矢印は手の平の移動を表す。
本実施形態において12種類のジェスチャーにより、ノートパソコン100を操作しているが、本発明はこれに限定されるものではない。
図3(a)は、ユーザーの右手によるマウスカーソル操作を示す図であり、両矢印のように移動させる場合を示しているが限定されるものではない。
図3(b)は、「パー→グー→パー」のように手の平を開いたり閉じたりすることで左クリックのジェスチャー動作となる。
図3(c)〜(e)は、「パー→グー→グーで動かす→パー」のように手の平を動かすことでドラッグ及びドロップのジェスチャー動作となる。
図3(f)は、手の平を拡げたまま矢印方向(右方向)にマウスカーソル操作より素早く動かすことで右フリックのジェスチャー動作となる。ここで、「フリック」とは、本来タッチパネルにおける操作の一種であり、画面を軽く払うように指を動かすことであるが、手の平を素早く動かすことを含む。
ここで、上述したジェスチャー動作は、トレーニング手段による練習中は、あくまで手の平の動きがジェスチャーとして認識可能か否かを確認するためであり、何ら操作に影響を与えるものではない。
図4は、図1に示したノートパソコンの動作を説明するためのフローチャートの一例である。図5は、図1に示したノートパソコンにおいて、ジェスチャーアプリの初回起動時に表示される画面の一例であり、図6は、ジェスチャー練習をする場合に表示される画面の一例であり、図7は、ジェスチャー練習を終了したときに表示される画面の一例であり、図8は、ジェスチャー機能を起動させたときに表示される画面の一例である。
ここで、トレーニングは、いわゆるリハーサルであり、トレーニング中の手の平の動きが、例えば、文書入力ソフトウェアの起動やインターネット接続させるためのコマンドに対応した動きであっても無関係であり、トレーニングが終了するか、もしくはトレーニングを実施せずに後述するジェスチャー機能の設定画面においてジェスチャー機能を使用するボタンB2(図7参照)を押して初めてジェスチャーによる操作が可能となる。尚、予め文書入力ソフトウェアやインターネット接続等の他のアプリを起動していた場合には、これらの動作は中断することになる。
制御部107は、ジェスチャーアプリが起動されたか否かを判断し(ステップS1)、ジェスチャーアプリが起動されない場合は待機し(ステップS1/No)、ジェスチャーアプリが起動された場合は、図5に示すメニュー画面を表示する。
図5において、メニュー画面としてのジェスチャー機能の設定の画面には、注意書きの一例として、「ハンドジェスチャーでは、リモコンやマウスを使わずに手の平のジェスチャーだけで情報処理装置の操作をおこなうことができます。」の文字情報が表示される。情報処理装置の操作とは、前述したカーソル操作やコマンド操作を意味する。
制御部107は、ユーザーにより、ボタンB1が押されたと判断した場合(ステップS2/Yes)、カメラ103で撮影したユーザーの手を含む画像を図6に示すようにハンドジェスチャーの練習画面として表示する。このとき、制御部107は、ユーザーの手の平の動作を解析し、ジェスチャー認識を行う(ステップS3)。
図6に示す画面において、左側にジェスチャーのお手本画像が表示され、右側にモニターウィンドウが並んで表示される。お手本動画とモニターウィンドウの位置関係はこの限りではない。
モニターウィンドウにはユーザーの手の平の位置を抽出していることを表示するための枠が表示される。
モニターウィンドウの右下側には終了のボタンが表示されている。
すなわち、ジェスチャー練習が終了すると、ジェスチャー機能を使用することができるのである。
ここで、アイコンは、画面の中央ではなく周辺に表示されるようになっている。これは、画面に例えば地上デジタルテレビジョン放送やインターネット放送の画面を表示する際に邪魔にならないようにするためである。
制御部107は、ユーザーの手の平の動作を解析し(ステップS6)、ジェスチャーに対応した動作(例えば、クリックやフリック等の動作)を行う(ステップS7)。ジェスチャー入力を終了する場合には、画面の中の終了ボタン(例えば、画面右下の閉じるボタン)をクリックすることで終了する(ステップS8)。
すなわち、ユーザーが練習画面の表示を選択した場合には練習画面を表示し、選択しない場合には、練習画面を省略してジェスチャー操作の本番画面としての図8を表示するのである。
以上において、本実施形態によれば、トレーニング手段によりユーザーがジェスチャー入力(操作)を行う前に手の動きの練習のみ行うことにより、余分な動作や不十分な動作によるジェスチャーの誤認識を防止することができるので、ジェスチャーの認識精度を向上させることができる。
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
表示手段が、アプリケーションの実行結果を表示する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、撮影手段からの複数の画像データに基づいて手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、実行手段で実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
制御手段が、ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、ジェスチャーアプリケーションと特定されたジェスチャーとに関連づけられた処理を実施しない手順、
を実行させるプログラムが挙げられる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD−R、などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)、FeRAM(強誘電体メモリ)等の半導体メモリやHDDが挙げられる。
101 キーボード
102 マウス
103 カメラ(Webカメラ)
104 液晶表示装置
105 光学読取装置
106 HDD
107 制御部
107a 入力制御手段
107b トレーニング手段
107c 解析手段
107d 割り込み制御手段
107e ディスク制御手段
107f 表示装置制御手段
108 RAM
109 ROM
110 I/O
111 バスライン
Claims (6)
- アプリケーションを実行する実行手段と、
前記アプリケーションの実行結果を表示する表示手段と、
ユーザーの手の平を撮影して画像データに変換する撮影手段と、
前記撮影手段からの複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、
前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する制御手段と、を備えた情報処理装置において、
前記制御手段は、前記ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、前記ジェスチャーアプリケーションと前記特定されたジェスチャーとに関連づけられた処理を実施しないことを特徴とする、情報処理装置。 - 前記制御手段は、前記ジェスチャーアプリケーションの初回起動時に前記ジェスチャーが特定されると、前記特定されたジェスチャーに関連づけられた画像を前記表示手段に表示させることを特徴とする、請求項1記載の情報処理装置。
- 前記制御手段は、前記ジェスチャーアプリケーションの初回起動時に、前記撮影手段で撮影された前記ユーザーの手の平の画像と、前記予め定義されたジェスチャーに対応する手の平の動作パターンを示す手本画像とを並べて前記表示手段に表示させることを特徴とする、請求項1または2記載の情報処理装置。
- 前記制御手段は、前記ジェスチャーアプリケーションの初回起動時に、前記手の平の動作によって所定の前記ジェスチャーが特定されるようにユーザーが練習するための練習手順をガイドする練習ガイダンスを表示することを特徴とする、請求項1から3の何れか一項記載の情報処理装置。
- ユーザーの手の平を撮影して画像データに変換し、複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する情報処理方法において、前記ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、前記ジェスチャーアプリケーションと前記特定されたジェスチャーとに関連づけられた処理を実施しないことを特徴とする情報処理方法。
- 情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
表示手段が、前記アプリケーションの実行結果を表示する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、前記撮影手段からの複数の画像データに基づいて前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理を実施する手順、
を実行させるプログラムにおいて、
前記制御手段が、前記ジェスチャーに対応する処理が予め定義されているアプリケーションであるジェスチャーアプリケーションの初回起動時には、前記ジェスチャーアプリケーションと前記特定されたジェスチャーとに関連づけられた処理を実施しない手順、
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012236124A JP5831882B2 (ja) | 2012-10-25 | 2012-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012236124A JP5831882B2 (ja) | 2012-10-25 | 2012-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014085963A JP2014085963A (ja) | 2014-05-12 |
JP5831882B2 true JP5831882B2 (ja) | 2015-12-09 |
Family
ID=50788940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012236124A Active JP5831882B2 (ja) | 2012-10-25 | 2012-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5831882B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6494926B2 (ja) | 2014-05-28 | 2019-04-03 | 京セラ株式会社 | 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法 |
EP3474116B1 (en) | 2016-06-17 | 2023-04-26 | Citizen Watch Co., Ltd. | Detection device, information input device, and watching system |
WO2018170713A1 (zh) * | 2017-03-21 | 2018-09-27 | 深圳市欸阿技术有限公司 | 基于手势识别的小车控制方法、装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4275304B2 (ja) * | 2000-11-09 | 2009-06-10 | シャープ株式会社 | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
JP4943659B2 (ja) * | 2005-02-22 | 2012-05-30 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
-
2012
- 2012-10-25 JP JP2012236124A patent/JP5831882B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014085963A (ja) | 2014-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6965319B2 (ja) | 文字入力インターフェース提供方法及び装置 | |
RU2591671C2 (ru) | Краевой жест | |
JP5980913B2 (ja) | エッジ・ジェスチャー | |
CN105814522B (zh) | 基于运动识别来显示虚拟输入设备的用户界面的设备和方法 | |
US7849421B2 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
US20120304131A1 (en) | Edge gesture | |
TWI655572B (zh) | Information processing device, information processing method and computer readable recording medium | |
JP5963291B2 (ja) | タッチセンシティブ・スクリーンからシンボルを入力する方法および装置 | |
JP5831882B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TW201403386A (zh) | 眼動操控方法及系統 | |
US20140317549A1 (en) | Method for Controlling Touchscreen by Using Virtual Trackball | |
JP5831883B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2014085967A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2014085964A (ja) | 情報処理方法、情報処理装置、及びプログラム | |
JP5198548B2 (ja) | 電子機器、表示制御方法及びプログラム | |
JP5911321B2 (ja) | 表示制御装置および表示制御装置の制御方法 | |
TW201635098A (zh) | 書寫裝置及其操作方法 | |
JP2014085965A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TWI699670B (zh) | 電子裝置與畫面凍結方法 | |
JP6327834B2 (ja) | 操作表示装置、操作表示方法及びプログラム | |
JP7077024B2 (ja) | 電子機器、情報処理方法、プログラム及び記憶媒体 | |
JP7030529B2 (ja) | 電子機器、情報処理方法、プログラム及び記憶媒体 | |
Yang | Blurring the boundary between direct & indirect mixed mode input environments | |
JP2013101681A (ja) | 電子機器、表示制御方法及びプログラム | |
KR20160059079A (ko) | 터치 압력을 이용한 애플리케이션 제어 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5831882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |