JP5733056B2

JP5733056B2 - 仮想マウスによるデータ入力方法

Info

Publication number: JP5733056B2
Application number: JP2011146109A
Authority: JP
Inventors: 齋藤　隆; 隆齋藤; 前川　雄二; 雄二前川
Original assignee: 株式会社ナカヨ
Priority date: 2011-06-30
Filing date: 2011-06-30
Publication date: 2015-06-10
Anticipated expiration: 2031-06-30
Also published as: JP2013015877A

Description

本発明は、通信機器や情報機器において、物理的には実在しない仮想マウスを操作する、操作者の手の動きおよび指先の動きを検出して、表示されているポインタの移動操作やクリック操作等の画面操作を実行して、通常のマウスによる入力と同等のデータ入力を実現する方法に関する。

近年、半導体技術の進歩に伴い、小型軽量で高性能なモバイル用携帯型パーソナルコンピュータ（以下、モバイルパソコンと略す）等の普及が進展している。また、モバイルパソコンにインストールされるアプリケーションソフトウェアにおける画面操作やデータ入力手段は、キーボード以外にマウスによる、クリックやドラッグ等のグラフィカルユーザインタフェース（ＧＵＩ）に基づく操作が一般的である。

そのため、例えば、モバイルパソコンを使用する場合、自席や自宅では通常のマウスを有線または無線で接続してＧＵＩ操作し、出先ではジョイスティック，タッチパッド，トラックボール等のモバイルパソコン本体に付属しているポインティングデバイスを利用してＧＵＩ操作することが通例である。この理由は、出先へモバイルパソコン本体以外に別ユニットである通常のマウスを携帯することを忌避しているためであり、本来は通常のマウスにより操作する方が快適であると思われる。

これを改善する方法として、カメラによる撮影画像から例えば手の動き方向などを解析して、その解析情報に基づいてコマンド入力処理を実行する技術がある（例えば、特許文献１）。この技術は、例えば、認識対象オブジェクトとしての手や指が認識領域（Ｈｏｔｓｐｏｔ）を横切る方向として、下から上、左から右、上から下、右から左の４種類を識別可能とし、該認識領域として３つの領域を設定した場合、６４（＝４×４×４）通りの識別が可能となるので、これらの動作を６４個のＧＵＩ操作コマンドに対応付けるものである。これにより、ユーザはカメラに対して予め定められたジェスチャ動作することで、物理的なマウス等を用いることなく、画面を操作する所定のコマンド入力が可能となる。

しかしながら、特許文献１に記載されている技術は、例えば、視聴しているテレビの音量やチャンネルの操作を、リモコン機器無しにリモート操作するには適していると思われるが、手や指が認識領域を横切る方向を識別する程度の大きな動きが必要なジェスチャ入力なので、一般的なマウスを操作する感覚とは大きく異なっている。また、操作者は多くの予め定められたジェスチャ動作を覚える必要があり、物理的なマウスを代替する技術としては不充分である。

特開２００７−３４５２５号公報

そこで、本発明の課題は、モバイルパソコン等の通信機器や情報機器において、通常のマウスを操作する感覚で、物理的には実在しない仮想マウスを操作し、その手および指先の動きを検出して、表示されているポインタの移動操作やクリック操作等の画面操作を実行して、通常のマウスによる入力と同等のデータ入力を実現する方法を提供することにある。

上記課題を解決するために、第１の本発明は、操作者の手および指先を撮影する所定の
映像カメラからの映像データを解析し、
実体の無い仮想マウスに対する操作内容を判定して所定の画像表示装置に表示されている
ポインタの移動およびクリック操作に係るデータを入力するデータ入力方法であって、前
記映像データを解析して前記仮想マウスを操作する操作者の手の移動を検出する移動検出ステップと、前記映像データを解析して前記仮想マウスを操作する１以上の指先の位置および動作を検出する指先検出ステップと、を有し、前記指先検出ステップが前記１以上の指先による予め定められた特定形状を検出している状態で前記移動検出ステップが手の移動を検出した場合に、前記手の移動に応じて表示中のポインタを移動させる移動コマンドを所定の情報処理ステップへ出力し、前記指先検出ステップが前記１以上の指先による予め定められた特定形状を検出している状態で前記１以上の指先のいずれかの往復移動を検出している場合に、表示中の画面をスクロールするスクロールコマンドを前記情報処理ステップへ出力し、前記指先検出ステップが前記１以上の指先による予め定められた特定形状を検出している状態で前記１以上の指先のいずれかによる押下動作を検出した場合に、クリック操作が為されたことを通知するクリックコマンドを前記情報処理ステップへ出力することを特徴とする。

本発明によれば、通常のマウスを操作する感覚で、物理的には実在しない仮想マウスを操作するので、特殊なジェスチャコマンドを覚える必要がない。従って、モバイルパソコンを出先で使用する場合で、通常のマウスを携帯していない状況であっても、通常のマウスと同等の快適な操作性を提供できる効果がある。

本発明方法の全体説明図本発明方法を適用した装置のブロック構成図本発明方法を適用した装置の動作フローチャート

以下、本発明の実施形態として、情報装置や通信装置のマウス入力部に適用した場合を例に、図面を用いて説明する。

図１は、本発明方法の全体説明図であって、１は本発明方法を適用した情報装置や通信装置（以下、本装置と略す）、２は本装置１に組み込まれている映像カメラ、３０は本装置１に組み込まれている表示部、３１は表示部３０に表示されているポインタ、３２および３３は表示部３０に表示されているクリック領域、４０は仮想マウスを操作する操作者の手、４１は手４０の人差指の指先、４２は手４０の中指の指先、５０は仮想マウス、５１は仮想マウスの左クリックスイッチ、５２は仮想マウスの右クリックスイッチである。なお、図示しないが、通常のマウスと同様に、仮想マウス５０の左クリックスイッチ５１と右クリックスイッチ５２の間にスクロールキーがある。

破線で示した５０〜５２は物理的には実在していない。操作者は、表示部３０に表示されたポインタ３１を見ながら、物理的には実在しない仮想マウス５０を手４０で握っているとイメージして、仮想マウス５０を手４０により机上で動かし、指先４１，４２によりクリック操作や画面のスクロール操作をする。このマウス操作している操作者の手４０，指先４１，４２は、映像カメラ２により撮影されており、映像カメラ２からの映像データを画像処理して解析することにより、手４０の移動および指先４１，４２による左クリックまたは右クリック操作を検出する。そして、それらの検出結果に応じて、ポインタ３１は移動する。

なお、図１では、表示部３０に表示されたポインタ３１をＹＥＳのクリック領域３２に移動してクリック操作した場合の例である。なお、ポインタ３１が最初に表示される位置は、表示部３０のセンタ，上下左右の端，所定のクリック領域のセンタ等、アプリケーションソフトの処理により適宜設定される。

図２は、本装置１のブロック構成図であって、１１は指先検出部、１２は特定形状検出部、１３は移動検出部、１４はマウス設定部、１５はクリック判定部、１６はマウスインタフェース、１７は情報処理部である。

指先検出部１１は、映像カメラ２が撮影した仮想マウス５０を操作する各指先の映像データを解析して、手や各指先が位置している座標を検出し、特定形状検出部１２，移動検出部１３，クリック判定部１５へ検出したデータを通知する。

特定形状検出部１２は、指先検出部１１からのデータを解析して、各指による形状を判定し、予め登録されている特定形状（例えば、じゃんけんのチョキ）を検出した場合に、その旨をマウスインタフェース１６へ通知する。

移動検出部１３は、指先検出部１１からのデータを解析して、仮想マウス５０を操作する手４０の移動を検出し、その移動方向と移動量をマウスインタフェース１６へ通知する。

マウス設定部１４は、仮想マウス５０の左クリックスイッチ５１および右クリックスイッチ５２の機能や手４０の移動量（即ち仮想マウス５０の移動量）に対するポインタ３１の移動比率等、仮想マウス５０の動作に係るデータを設定する手段である。なお、マウス設定部１４へ設定するデータは、キーボード等（図示せず）の仮想マウス５０以外の入力機器で入力してもよいし、特定形状検出部１２を介して、各指先による所定の形状に対応して予め定められたデータを入力するようにしてもよい。

クリック判定部１５は、指先検出部１１からのデータを解析して、指先４１または指先４２の押下動作を監視し、押下動作を検出した場合、仮想マウス５０の左クリックスイッチ５１または右クリックスイッチ５２のいずれがクリックされたかを判定し、その判定結果をマウスインタフェース１６へ通知する。例えば、指先４１による押下動作を検出した場合は左クリックスイッチ５１がクリックされたと判定し、指先４２による押下動作を検出した場合は右クリックスイッチ５２がクリックされたと判定する。

マウスインタフェース１６は、特定形状検出部１２，移動検出部１３，クリック判定部１５から入力したデータにより、ポインタ３１の移動データ，クリックコマンド，スクロールコマンドを情報処理部１７へ出力する。

例えば、じゃんけんのチョキの形は、仮想マウス５０を手４０でグリップすると共に、右手人差指の指先４１および右手薬指の指先４２が仮想マウス５０の左クリックスイッチ５１および右クリックスイッチ５２の位置にセットされた状態を模しているので、この形での移動はポインタ３１を移動させるべき仮想マウス５０の移動もしくはドラッグと定義する。この場合、チョキ以外の形（例えば、パーまたはグー）での移動は、ポインタ３１を移動させない仮想マウス５０の空間移動（通常のマウス操作において、マウスを浮かせて元の位置に戻す操作に相当）となる。これにより、操作者は通常のマウスを操作する感覚で各指先を動かせばよいので、違和感が小さい。

情報処理部１７は、マウスによる移動データ，クリックコマンド，スクロールコマンドの入力を伴うアプリケーションソフトウェア一般による情報処理手段である。

なお、情報処理部１７に入力する移動データ，クリックコマンド，スクロールコマンドは、通常の物理的なマウスからのデータと同一であり、情報処理部１７のマウス対応部（図示せず）は、マウスインタフェース１６から入力した移動データ，クリックコマンドに応じて、表示中のポインタ３１を移動処理すると共に、表示中のポインタ３１の形状をクリック操作やドラッグ操作に対応した形状に変形させる。また，マウスインタフェース１６から入力したスクロールコマンドに応じて表示中の画像をスクロールする。

図３は、本装置１の動作フローチャートである。以下、図１および図２を併用して、本装置１の動作フローを説明する。なお、本フローは本装置１の電源が投入され、情報処理部１７がマウスからのデータ入力待ちの状態でスタートする（Ｓ３００）。この状態において、ポインタ３１は、情報処理部１７が起動しているアプリケーションソフトウェアが指定するホームポジションまたは特定のポジションに表示されている。

本装置１を操作している操作者の手４０およびその指先の映像データ（映像カメラ２が撮影）が指先検出部１１へ入力すると（Ｓ３１０）、指先検出部１１は、その映像データを解析して手４０および各指先の位置を検出する（Ｓ３１１）。

特定形状検出部１２は、指先検出部１１が検出した各指先が位置する座標データから、予め定められた特定形状（例えば、チョキ）か否かを監視し、特定形状を検出すると（Ｓ３２０，ＹＥＳ）、操作者が仮想マウス５０を掴んでいると判断してＳ３３０へ進む。特定形状を検出しなければ（Ｓ３２０，ＮＯ）、Ｓ３１０へ戻る。

Ｓ３３０において、移動検出部１３は、指先検出部１１から通知される手４０が位置する座標データの履歴から手４０の移動を監視し、手４０の移動を検出した場合（Ｓ３３０，ＹＥＳ）、手４０の移動方向と移動量を含む移動データを、マウスインタフェース１６を介して、情報処理部１７に出力し（Ｓ３３１）、Ｓ３４０へ進む。なお、この移動データに含まれる移動量の値は手４０の移動量にマウス設定部１４に設定されている移動に係るパラメータを乗じた値である。情報処理部１７は入力した移動データに応じて、表示中のポインタ３１を相対的に移動処理する。Ｓ３３０でＮＯであれば、Ｓ３３１をスキップしてＳ３４０へ進む。

Ｓ３４０において、クリック判定部１５は、指先検出部１１から通知される人差指４１と中指４２の指先が位置する座標データの履歴から各指先の押下動作を監視し、押下動作を検出すると（Ｓ３４０，ＹＥＳ）、マウスインタフェース１６を介して、右クリックまたは左クリックに対応するクリックコマンドを情報処理部１７へ出力し（Ｓ３４１）、Ｓ３５０へ進む。

なお、操作者が行うクリック操作には、シングルクリック操作，ダブルクリック操作やクリックスイッチを押したままのドラッグ操作があるが、これらの識別は情報処理部１７が行う（図示せず）。また、右クリックと左クリックの識別は押下動作をした指先が指先４１または指先４２のいずれであるかにより識別すればよい。Ｓ３４０でＮＯであれば、Ｓ３４１をスキップしてＳ３５０へ進む。

Ｓ３５０において、マウスインタフェース１６が指先４１または指先４２により、仮想マウス５０のスクロールキー（図示せず）の操作に対応する上下または前後方向の往復動作を検出すると（Ｓ３５０，ＹＥＳ）、マウスインタフェース１６は、マウス設定部１４を参照して、画面スクロールに係るコマンドを情報処理部１７へ出力し（Ｓ３５１）、Ｓ３１０へ戻る。

ここで、画面のスクロール方向は、例えば、指先４１の往復動作を検出した場合は画面の上方スクロール、指先４２の往復動作を検出した場合は画面の下方スクロールと定義すればよい。Ｓ３５０でＮＯであれば、Ｓ３５１をスキップしてＳ３１０へ戻り、Ｓ３１０以降を繰り返す。

以上、実在しない仮想マウスを操作する、操作者の手，指先を撮影した映像カメラからの映像データを画像処理技術により解析して、通常のマウスを操作したのと同様の移動データ，クリックコマンド，スクロールコマンドを情報処理部１７へ出力する方法について説明した。

本方法において、操作者の各指先の位置を検出する具体的な方法は、例えば、画像認識処理技術を駆使して、爪の部位を抽出してそのセンタ位置を指先の位置と判定すればよい。また、手の位置は、例えば、前記検出した各指先の中心や重心の位置とすればよい。

さらに、指先の位置を簡易な処理で判定する方法として、各指先の爪にネールアートのように特徴点を有する物を付着し、または特徴点を有する絵やマークを描き、または特徴点のある手袋や指サックを装着し、画像処理技術によりそれらの特徴点を検出するようにしてもよい。

ところで、本発明の実施の形態において、各指先の位置および動作を検出する方法として、映像カメラ２からの映像データを分析（画像処理）して検出する方法を例に説明したが、本発明はこれに限定されない。詳細な説明は省略するが、例えば、映像カメラ２の代わりに、各指先の位置を直接的に検出するセンサからのデータによって、仮想マウス５０への操作内容を検出する方法も適用可能である。例えば、各指先の爪または手袋に磁性体や無線タグを装着して、それらの位置や動作を所定のセンサ（例えばホール素子や無線タグリーダ）で検出するようにしてもよい。

また、特定形状検出部１２が識別する特定形状を自由に定義することも可能である（図示せず）。例えば、手４０の各指先によるグー，チョキ，パー以外にも、親指と人差指によるＯＫサイン，グーの形から所定本数の指を伸ばした形状等、種々の形状もしくは動作により、ポインタ３１のホームポジションへの移動，ポインタ３１の表示／停止，表示部３０に表示している画像の拡大／縮小等、各種の画面操作コマンドを定義できる。

１・・・本発明方法を適用した装置
２・・・映像カメラ
１１・・・指先検出部
１２・・・特定形状検出部
１３・・・移動検出部
１４・・・マウス設定部
１５・・・クリック判定部
１６・・・マウスインタフェース
１７・・・情報処理部
３０・・・表示部
３１・・・ポインタ
３２・・・クリック領域（ＹＥＳ）
３３・・・クリック領域（ＮＯ）
４０・・・仮想マウスを操作する手
４１・・・仮想マウスを操作する人差指の指先
４２・・・仮想マウスを操作する中指の指先
５０・・・仮想マウス
５１・・・仮想マウスの左クリックスイッチ
５２・・・仮想マウスの右クリックスイッチ

Claims

操作者の手および指先を撮影する所定の映像カメラからの映像データを解析し、実体の無い仮想マウスに対する操作内容を判定して所定の画像表示装置に表示されているポインタの移動およびクリック操作に係るデータを入力するデータ入力方法であって、
前記映像データを解析して前記仮想マウスを操作する操作者の手の移動を検出する移動検出ステップと、前記映像データを解析して前記仮想マウスを操作する１以上の指先の位置および動作を検出する指先検出ステップと、を有し、
前記指先検出ステップが前記１以上の指先による予め定められた特定形状を検出している状態で前記移動検出ステップが手の移動を検出した場合に、前記手の移動に応じて表示中のポインタを移動させる移動コマンドを所定の情報処理ステップへ出力し、前記指先検出ステップが前記１以上の指先による予め定められた特定形状を検出している状態で前記１以上の指先のいずれかの往復移動を検出している場合に、表示中の画面をスクロールするスクロールコマンドを前記情報処理ステップへ出力し、前記指先検出ステップが前記１以上の指先による予め定められた特定形状を検出している状態で前記１以上の指先のいずれかによる押下動作を検出した場合に、クリック操作が為されたことを通知するクリックコマンドを前記情報処理ステップへ出力することを特徴とする仮想マウスによるデータ入力方法。