JP2019012485A - ユーザインターフェース - Google Patents

Abstract

【課題】端末や周辺機器に触れることなく端末への指令を入力可能なユーザインターフェースの提供。【解決手段】ノートＰＣ１は、インターフェースとして、所定の情報を表示する表示部８と、使用者の手１０を撮影する撮影部２と、撮影部２より撮影された映像に基づいて、手１０の指先１１を認識する指先認識部と、指先１１の動きを判断するモーション検出部と、指先認識部とモーション検出部との検出結果に基づいて表示部８の表示を制御する制御部と、を有している。【選択図】図１

Description

本発明は、ユーザインターフェースに関し、特に端末で使用されるユーザインターフェースに関する。

コンピュータ等の端末への入力手段として、広くマウスが用いられている（例えば、特許文献１）。使用者は、マウスを操作することによってコンピュータのディスプレイ上に表示されたポインタを移動させ、各種プログラムの実行やメニューの決定を行うことができる。

また、ノートパソコンには、入力手段としてタッチパッド装置が搭載されている（例えば、特許文献２）。タッチパッド装置は、使用者が指を操作面に接触させスライドさせることによりポインタを操作する。マウスのボタンと同様に、右クリック及び左クリックに対応するスイッチが設けられている。

ノートパソコンのような端末は、多様な環境で使用されており、例えば、水などが跳ねる台所、食品加工の現場や手術室内などがある。近年の医療技術の発達に伴い、医療現場ではパソコンのディスプレイ上にＣＴ画像やレントゲン画像を映し出し治療部位を説明するということが行われている。さらに、プレゼンテーションの場においても様々な端末が使用されており、プレゼンテーションを行う者の指示により、隣にいる補助者がスライド操作やマウス操作等を行っている。

特開２０１６−２２４６７３号公報 特開２０１５−２１５８３０号公報

しかしながら、手術室内などでパソコンを用いる場合にはマウスやタッチパッド装置などの入力装置をオートクレープ滅菌処理（高圧蒸気滅菌処理）等により消毒することが必須となる。また、食品加工の現場においても、衛生管理の観点からマウスやタッチパッド装置を操作した後は手を消毒する必要があった。さらに、台所でパソコンを操作する場合には濡れた手でマウスを操作することとなるため、マウスの故障の原因となっていた。また、プレゼンテーションにおいては、スライド操作やマウス操作を行う際には補助者が必要となっていた。このような状況から、パソコン本体やマウス等に触れることなく端末の各種操作を行う手段が求められていた。

そこで、本発明は端末や周辺機器に触れることなく端末への指令を入力可能なユーザインターフェースを提供することを目的とする。

上記課題を解決するために本発明は、所定の情報を表示する表示部と、使用者の手を撮影する撮影部と、前記撮影部より撮影された映像に基づいて、前記手の指先を認識する指先認識部と、前記指先の動きを判断するモーション検出部と、前記指先認識部と前記モーション検出部との検出結果に基づいて表示部の表示を制御する制御部と、を有することを特徴とするユーザインターフェースを提供している。

このような構成によると、指先認識部及びモーション検出部の検出結果に基づいて表示部を制御するため、使用者は端末や周辺機器に触れることなく表示部の表示を操作することができる。これにより、例えば、手術室内や食肉工場など各種機器の除菌が必要となるような施設内であっても、周辺機器を持ち込むことなく端末の操作を行うことができる。また、プレゼンテーションにおいても、使用者は指の動きだけでスライド等の操作を行うことができる。

また、前記制御部は、所定の機能を実行する実行部を有し、前記実行部は、前記指先認識部が前記指先のうちの一の指先を認識するとともに、前記指先のうち他の指先が前記一の指先によって隠されたことを認識したとき、第１の機能を実行してもよい。

また、前記実行部は、前記指先認識部が前記他の指先を認識するとともに、前記一の指先が前記他の指先によって隠されたことを認識したとき、前記第１の機能とは異なる第２の機能を実行してもよい。

このような構成によると、使用者の手の指先の動きに基づいて第１の機能又は第２の機能を実行するため、使用者は端末や周辺機器に触れることなく所望の機能を実行することができる。これにより、端末などを様々な環境で使用することができる。一の指先が他の指先によって隠されたことを認識して第１の機能を実行するため、指先認識部による誤検知を低減することができる。同様に、他の指先が一の指先によって隠されたことを認識して第２の機能を実行するため、指先認識部による誤検知を低減することができる。

また、前記モーション検出部が前記指先の所定方向に円弧状に動く円弧モーションを検出したとき、前記実行部は特定モードに移行してもよい。

また、前記モーション検出部は、前記マーカーの前記所定方向とは逆方向に円弧状に動く逆円弧モーションを検出したとき、前記実行部は前記特定モードを終了してもよい。

このような構成によると、モーション検出部が円弧モーションを検出したことに基づいて実行部が特定モードに移行し、逆円弧モーションを検出したことに基づいて特定モードを終了するため、使用者は端末や周辺機器に触れることなく特定モードに移行・終了することができる。これにより、端末などを様々な環境で使用することができる。

本発明によれば、端末や周辺機器に触れることなく端末への指令を入力可能なユーザインターフェースを提供することができる。

本発明の実施の形態のユーザインターフェースの概略図。 本発明の実施の形態のユーザインターフェースが搭載されている端末のブロック図。 本発明の実施の形態のユーザインターフェースの操作方法を説明するための図。 本発明の実施の形態のユーザインターフェースのモード移行を説明するための図。 本発明の実施の形態のユーザインターフェースの上スクロールモードのフロー図。 本発明の実施の形態のユーザインターフェースの下スクロールモードのフロー図。 本発明の実施の形態の変形例のユーザインターフェースの拡大モードのフロー図。 本発明の実施の形態の変形例のユーザインターフェースの縮小モードのフロー図。

本発明の実施の形態によるユーザインターフェースを図１乃至図６に基づき説明する。図１に示すように上下左右方向を定義する。本実施の形態のユーザインターフェースでは、カメラ等により撮影した画像から使用者の手１０、人差し指１１、及び中指１２を認識し、それらの指の動きに基づいて端末の一例であるデスクトップ型パソコン（以下、ノートＰＣ）１を制御する。

ノートＰＣ１は、撮影部２と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５と、接続部６と、制御部７と、表示部８と、操作部９と、を備えている。

撮影部２は、カメラであって表示部８の右上部に設けられ、図１の点線で示す範囲を撮影可能である。本実施の形態では、操作部９を操作した際の誤検知を防止するとともに使用者が右利きであることを想定し、撮影部２の撮影範囲を操作部９の右側に設定した。撮影部２には図示せぬ回転機構が設けられており、使用者は撮影範囲を任意に設定することができる。撮影部２の撮影範囲は、操作部９の左側であってもよく、操作部９の手前側であってもよい。

ＨＤＤ３は、制御部７が実行するための各種プログラム、及び撮影部２が撮影した手１０の動きとノートＰＣ１の制御とを関連づけるテーブルなどが記憶されている。ＨＤＤ３は、接続部６に接続された外付けＨＤＤであってもよく、テーブルやプログラムは、接続部６に接続されたフラッシュメモリリーダに挿入されたＳＤカード等の大容量メディアに記憶されてもよく、クラウド上に記憶されていてもよい。

ＲＡＭ４は、制御部７の作業領域として使用されるとともに、プログラムのデータの一時記憶領域として用いられる。ＲＯＭ５は、制御部７がプログラムを実行する際に必要となるデータが記憶されている。接続部６は、ノートＰＣ１に周辺機器を接続するためのポートであって、外部機器２０が接続されている。外部機器２０は、外付けＨＤＤ、外部撮影部、フラッシュメモリリーダー等任意の機器を選択することができる。

制御部７はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｇ Ｕｎｉｔ）であって、指先認識部７１と、モーション認識部７２と、実行部７３と、から構成されている。指先認識部７１は、撮影部２が撮影した２次元の画像を公知の画像解析アプリケーションによって解析し、手１０の人差し指１１の指先と中指１２の指先とを認識する。具体的には、撮影部２から得られた画像から使用者の手を抽出し、抽出された手が含まれるデータを２値化するとともにノイズキャンセル処理を行い、手の中心部分から最も離間した部位を指先と認識する。指先認識部７１は、認識した人差し指１１及び中指１２の指先の情報をモーション認識部７２及び実行部７３に出力する。モーション認識部７２は、指先認識部７１の認識結果に基づいて、公知の動作認識アプリケーションによって、指先認識部７１が解析した人差し指１１及び中指１２の動きを認識し、その結果を実行部７３に出力する。実行部７３は、指先認識部７１及びモーション認識部７２の認識結果に基づいて各種の機能を実行する。

図１に示すように、表示部８にはカーソル８１が表示され、カーソル８１の操作に基づいて、制御部７がＨＤＤ３に記憶されている各種プログラムを実行する。操作部９は、使用者が情報を入力するためのキーボード及びタッチパッド装置である。

次に、撮影部２の撮影結果に基づいて制御部７が行う制御について説明する。

ＨＤＤ３に記憶されている所定のアプリケーションを起動すると、撮影部２が起動し撮影結果が制御部７に出力される。図１に示すように、指先認識部７１が撮影結果から人差し指１１の位置を認識し、モーション認識部７２が指先認識部７１からの入力信号に基づいて人差し指１１の移動を認識すると、実行部７３は人差し指１１の移動量に応じて表示部８上のカーソル８１を移動させる。詳細には、人差し指１１が右に動くとこれに連動してカーソル８１は右に動き、人差し指１１が左に動くとこれに連動してカーソル８１も左に動き、人差し指１１が斜めに移動するとこれに連動してカーソル８１も斜めに移動する。人差し指１１の動作量に対するカーソル８１の動作量の割合は、任意に設定することができる。

図３に示すように、指先認識部７１が中指１２の指先（爪）で人差し指１１の指先（爪）を隠した状態を認識すると、換言すると、指先認識部７１が、中指１２が人差し指１１の上に重なった状態を認識すると、実行部７３はマウスの左クリックと同様の機能を実行する。中指１２で人差し指１１を隠している間がマウスの左ボタンを押下している間に対応し、人差し指１１が中指１２から露出した時が左ボタンを離した時に対応している。

指先認識部７１が人差し指１１の指先（爪）で中指１２の指先（爪）を隠した状態を認識すると、換言すると、指先認識部７１が、人差し指１１が中指１２の上に重なった状態を認識すると、実行部７３はマウスの右クリックと同様の機能を実行する。人差し指１１で中指１２を隠している間がマウスの右ボタンを押下している間に対応し、中指１２が人差し指１１から露出した時が右ボタンを離した時に対応している。実行部７３が行うマウスの右クリックの機能は本発明の第１の機能又は第２の機能のいずれか一方に対応し、実行部７３が行うマウスの左クリックの機能は本発明の第１の機能又は第２の機能の他方に対応する。

指先認識部７１が中指１２の指先で人差し指１１の指先を隠し、人差し指１１の指先が中指１２の指先から露出し、再び中指１２の指先で人差し指１１の指先を隠し、再び人差し指１１の指先が中指１２から露出した一連の動作を所定時間の間に認識した場合には、実行部７３はマウスの左ボタンのダブルクリックと同様の機能を実行する。

指先認識部７１及びモーション認識部７２が中指１２の指先で人差し指１１の指先を隠した状態のまま移動し、人差し指１１の指先が中指１２の指先から露出した場合には、実行部７３はドラッグアンドドロップと同様の機能を実行する。

次に、スクロールモードについて図４乃至図６を参照しながら説明する。

スクロールモードとは、表示部８の画面をスクロールするモードであって、表示部８の画面を上方向にスクロールする上スクロールモードと、下方向にスクロールする下スクロールモードと、がある。スクロールモードでは、人差し指１１の動きに対応するカーソル８１の動きが制限される。上スクロールモード及び下スクロールモードは、本発明の特定モードに対応する。

図４に示すように、指先認識部７１及びモーション認識部７２が人差し指１１の指先が一度下に移動し、その後反時計回りに半円を描く移動を認識した場合には、実行部７３は図５に示す上スクロールモードに移行する（図５、Ｓ１：ＹＥＳ）。このとき、表示部８に上スクロールモード中の文字が表示される。反時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。

上スクロールモードでは、指先認識部７１及びモーション認識部７２が人差し指１１の下方向への移動を認識した場合には（Ｓ２：ＹＥＳ）、実行部７３が表示部８の画面を上方向にスクロールさせる（Ｓ３）。人差し指１１が斜め下方向に移動した場合であっても、モーション認識部７２は人差し指１１の移動方向の下方向成分のみ抽出し、実行部７３が画面を上方向にスクロールさせる。実行部７３が表示部８の画面をスクロールさせる動作速度及び動作量は、人差し指１１の移動速度や移動量に応じて任意に設定することができる。人差し指１１が上方向又は斜め上方向に移動した場合は、実行部７３は何らの動作も行わない（Ｓ２：ＮＯ）。換言すると、上スクロールモードは画面の上スクロールのみを行うモードである。

図４に示すように、指先認識部７１及びモーション認識部７２が人差し指１１の指先が一度下に移動し、その後時計回りに半円を描くように移動した場合には（Ｓ４：ＹＥＳ）、実行部７３は上スクロールモードを終了する。このとき、表示部８に表示されていた上スクロールモード中の文字が消える。実行部７３は、当該モーションを検出しない間は（Ｓ４：ＮＯ）、上スクロールモードを継続する。時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。

図４に示すように、指先認識部７１及びモーション認識部７２が人差し指１１の指先が一度上に移動し、その後時計回りに半円を描く移動を認識した場合には、実行部７３は図６に示す下スクロールモードに移行する（図６、Ｓ１１：ＹＥＳ）。このとき、表示部８に下スクロールモード中の文字が表示される。時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。

下スクロールモードでは、指先認識部７１及びモーション認識部７２が人差し指１１の上方向への移動を認識した場合には（Ｓ１２：ＹＥＳ）、実行部７３が表示部８の画面を下方向にスクロールさせる（Ｓ１３）。人差し指１１が斜め上方向に移動した場合であっても、モーション認識部７２は人差し指１１の移動方向の上方向成分のみ抽出し、実行部７３が表示部８の画面を下方向にスクロールさせる。実行部７３が表示部８の画面をスクロールさせる動作速度及び動作量は、人差し指１１の移動速度や移動量に応じて任意に設定することができる。人差し指１１が下方向又は斜め下方向に移動した場合には、実行部７３は何らの動作も行わない（Ｓ１２：ＮＯ）。換言すると、下スクロールモードは、画面の下スクロールのみを行うモードである。

図４に示すように、指先認識部７１及びモーション認識部７２が人差し指１１の指先が一度上に移動し、その後反時計回りに半円を描くように移動した場合には（Ｓ１４：ＹＥＳ）、実行部７３は下スクロールモードを終了する。このとき、表示部８に表示されていた下スクロールモード中の文字が消える。実行部７３は、当該モーションを検出しない間は（Ｓ１４：ＮＯ）、下スクロールモードを継続する。反時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。

このような構成によると、指先認識部７１及びモーション認識部７２の検出結果に基づいて表示部８を制御するため、使用者はノートＰＣ１や周辺機器に触れることなく表示部８の表示を操作することができる。これにより、例えば、手術室内や食肉工場など各種機器の除菌が必要となるような施設内であっても、周辺機器を持ち込むことなく端末の操作を行うことができる。また、プレゼンテーションにおいても、使用者は指の動きだけでスライド等の操作を行うことができる。

このような構成によると、使用者の手１０の指先の動きに基づいてマウスと略同一の機能を実行するため、使用者は端末や周辺機器に触れることなく入力作業を行うことができる。これにより、端末などを様々な環境で使用することができる。人差し指１１の指先が中指１２の指先によって隠されたことを認識して右クリックと略同一の機能を実行するため、指先認識部による誤検知の可能性を低減することができる。

次に、本実施の形態の変形例について、図７及び図８を参照しながら説明する。変形例では、図４に示す操作によって、スクロールモードに替えて表示部８の拡大・縮小を行うピンチモードに移行する。

ピンチモードには、表示部８の画面を拡大する拡大モードと、表示部８の画面を縮小する縮小モードと、がある。ピンチモードの間は、人差し指１１の動きに対応するカーソル８１の動き及び図３に示すような各種動作はいずれも実行することができる。拡大モード及び縮小モードは、本発明の特定モードに対応する。

図４に示すように、指先認識部７１及びモーション認識部７２が人差し指１１の指先が一度上に移動し、その後時計回りに半円を描く移動を認識した場合には、実行部７３は図７に示す拡大モードに移行する（図７、Ｓ３１：ＹＥＳ）。このとき、表示部８に拡大モード中の文字が表示される。時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。

拡大モードでは、指先認識部７１及びモーション認識部７２が人差し指１１と中指１２とが互いに離間する動作を認識した場合には（Ｓ３２：ＹＥＳ）、実行部７３が表示部８の画面を拡大する（Ｓ３３）。実行部７３が表示部８の画面を拡大させる動作速度及び動作量は、人差し指１１の移動速度や移動量に応じて任意に設定することができる。人差し指１１と中指１２とが離間した状態から再び近づく動作を検出した場合は、実行部７３は何らの動作も行わない（Ｓ３２：ＮＯ）。換言すると、拡大モードは、表示部８の画面の拡大操作のみを行うモードである。

指先認識部７１及びモーション認識部７２が、人差し指１１の指先が一度上に移動しその後反時計回りに半円を描くように移動した場合には（Ｓ３４：ＹＥＳ）、実行部７３は拡大モードを終了する。このとき、表示部８に表示されていた拡大モード中の文字が消える。実行部７３は、当該モーションを検出しない間は（Ｓ３４：ＮＯ）、拡大モードを継続する。反時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。

図４に示すように、指先認識部７１及びモーション認識部７２が人差し指１１の指先が一度下に移動し、その後反時計回りに半円を描くように移動した場合には、実行部７３は縮小モードに移行する（図８、Ｓ４１：ＹＥＳ）。このとき、表示部８に縮小モード中の文字が表示される。半時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。

縮小モードでは、指先認識部７１及びモーション認識部７２が人差し指１１と中指１２とが互いに近接する動作を認識した場合には（Ｓ４２：ＹＥＳ）、実行部７３が表示部８の画面を縮小する（Ｓ４３）。人差し指１１と中指１２とが近接した状態から再び離間する動作を検出した場合は、実行部７３は何らの動作も行わない（Ｓ４２：ＮＯ）。換言すると、縮小モードは、表示部８の画面の縮小操作のみを行うモードである。

指先認識部７１及びモーション認識部７２が人差し指１１の指先が一度下に移動し、その後時計回りに半円を描くように移動した場合には（Ｓ４４：ＹＥＳ）、実行部７３は縮小モードを終了する。このとき、表示部８に表示されていた縮小モード中の文字が消える。実行部７３は、当該モーションを検出しない間は（Ｓ４４：ＮＯ）、縮小モードを継続する。時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。

本発明によるユーザインターフェースは、上述した実施の形態に限定されず、特許請求の範囲に記載された発明の要旨の範囲内で種々の変更が可能である。

上述の実施の形態では、人差し指１１の動きに基づいて表示部８に表示されたカーソル８１が移動したが、中指１２の動きに基づいてカーソル８１が移動してもよく、他の指に基づいて移動してもよい。

上述の実施の形態では、端末としてノートパソコンを用いたが、これに限定されない。デスクトップパソコン、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｇｔ）、タブレット、携帯電話端末、テレビ等であってもよい。また、情報処理機能を有しディスプレイが搭載されているカーナビゲーションシステムや家電などの各種電気機器に適用することができる。

上述の実施の形態では、人差し指及び中指の先端を認識することにより実行部が各種機能を実行したが、人差し指及び中指の先端部分にＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカーを付し、撮影部の画像から制御部がＡＲマーカーを認識することにより実行部が各種機能を実行してもよい。これにより、撮影部の語認識を低減することができる。

上述の実施の形態では、図３に示す各種機能を実行するために人差し指１１と中指１２とを用いたが、任意の指を選択することができる。例えば、中指が人差し指を隠す動作が右クリックに対応し、中指が薬指を隠す動作が左クリックに対応してもよい。

上述の実施の形態では、特定モードへの移行等は人差し指１１の指先の動きに基づいて判断したが、これに限定されない。例えば、図３の右クリックに相当する中指が人差し指を隠した状態、又は左クリックに相当する人差し指が中指を隠した状態で図４に示すモーションを検出した場合に各モードへの移行等を実行してもよい。これにより、カーソル操作中に誤って各モードに移行することを防止できる。

上述の実施の形態では、特定モードに移行すると、例えば上スクロールモード中の文字が表示部８に表示されたが、これに限定されない。例えば、任意の記号を表示部に表示してもよく、音声によって特定モードへの移行及び終了を通知してもよい。

上述の実施の形態では、スクロールモードは、上スクロールモードと下スクロールモードとから構成されたが、右スクロールモードと左スクロールモードとをさらに備えていてもよい。実行部は、人差し指１１が右に移動した後時計回りに円弧を描くことによって右スクロールモードに移行し、右に移動した後反時計回りに円弧を描くことによって右スクロールモードを終了する。右スクロールモードでは、人差し指が右方向に移動すると画面が右にスクロールし人差し指が左方向に移動した場合には何らの動作も行わない。実行部は、人差し指１１が左に移動した後反時計回りに円弧を描くことによって左スクロールモードに移行し、左に移動した後時計回りに円弧を描くことによって左スクロールモードを終了する。左スクロールモードでは、人差し指が左方向に移動すると画面が左にスクロールし人差し指が右方向に移動した場合には何らの動作も行わない。

１ ノートＰＣ
２ 撮影部
７ 制御部
８ 表示部
９ 操作部
１０ 手
１１ 人差し指
１２ 中指
７１ 指先認識部
７２ モーション認識部
７３ 実行部

Claims (5)

1. 所定の情報を表示する表示部と、
   使用者の手を撮影する撮影部と、
   前記撮影部より撮影された映像に基づいて、前記手の指先を認識する指先認識部と、
   前記指先の動きを認識するモーション認識部と、
   前記指先認識部と前記モーション認識部との検出結果に基づいて表示部の表示を制御する制御部と、を有することを特徴とするユーザインターフェース。
2. 前記制御部は、所定の機能を実行する実行部を有し、
   前記実行部は、前記指先認識部が前記指先のうちの一の指先を認識するとともに、前記指先のうち他の指先が前記一の指先によって隠されたことを認識したとき、第１の機能を実行することを特徴とする請求項１に記載のユーザインターフェース。
3. 前記実行部は、前記指先認識部が前記他の指先を認識するとともに、前記一の指先が前記他の指先によって隠されたことを認識したとき、前記第１の機能とは異なる第２の機能を実行することを特徴とする請求項２に記載のユーザインターフェース。
4. 前記実行部は、前記モーション認識部が前記指先の所定方向に円弧状に動く円弧モーションを検出したとき、特定モードに移行することを特徴とする請求項２または３に記載のユーザインターフェース。
5. 前記実行部は、前記モーション認識部が前記指先の前記所定方向とは逆方向に円弧状に動く逆円弧モーションを検出したとき、前記特定モードを終了することを特徴とする請求項４に記載のユーザインターフェース。