JP2019012485A - ユーザインターフェース - Google Patents
ユーザインターフェース Download PDFInfo
- Publication number
- JP2019012485A JP2019012485A JP2017130002A JP2017130002A JP2019012485A JP 2019012485 A JP2019012485 A JP 2019012485A JP 2017130002 A JP2017130002 A JP 2017130002A JP 2017130002 A JP2017130002 A JP 2017130002A JP 2019012485 A JP2019012485 A JP 2019012485A
- Authority
- JP
- Japan
- Prior art keywords
- fingertip
- unit
- motion
- recognition unit
- index finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】端末や周辺機器に触れることなく端末への指令を入力可能なユーザインターフェースの提供。【解決手段】ノートPC1は、インターフェースとして、所定の情報を表示する表示部8と、使用者の手10を撮影する撮影部2と、撮影部2より撮影された映像に基づいて、手10の指先11を認識する指先認識部と、指先11の動きを判断するモーション検出部と、指先認識部とモーション検出部との検出結果に基づいて表示部8の表示を制御する制御部と、を有している。【選択図】図1
Description
本発明は、ユーザインターフェースに関し、特に端末で使用されるユーザインターフェースに関する。
コンピュータ等の端末への入力手段として、広くマウスが用いられている(例えば、特許文献1)。使用者は、マウスを操作することによってコンピュータのディスプレイ上に表示されたポインタを移動させ、各種プログラムの実行やメニューの決定を行うことができる。
また、ノートパソコンには、入力手段としてタッチパッド装置が搭載されている(例えば、特許文献2)。タッチパッド装置は、使用者が指を操作面に接触させスライドさせることによりポインタを操作する。マウスのボタンと同様に、右クリック及び左クリックに対応するスイッチが設けられている。
ノートパソコンのような端末は、多様な環境で使用されており、例えば、水などが跳ねる台所、食品加工の現場や手術室内などがある。近年の医療技術の発達に伴い、医療現場ではパソコンのディスプレイ上にCT画像やレントゲン画像を映し出し治療部位を説明するということが行われている。さらに、プレゼンテーションの場においても様々な端末が使用されており、プレゼンテーションを行う者の指示により、隣にいる補助者がスライド操作やマウス操作等を行っている。
しかしながら、手術室内などでパソコンを用いる場合にはマウスやタッチパッド装置などの入力装置をオートクレープ滅菌処理(高圧蒸気滅菌処理)等により消毒することが必須となる。また、食品加工の現場においても、衛生管理の観点からマウスやタッチパッド装置を操作した後は手を消毒する必要があった。さらに、台所でパソコンを操作する場合には濡れた手でマウスを操作することとなるため、マウスの故障の原因となっていた。また、プレゼンテーションにおいては、スライド操作やマウス操作を行う際には補助者が必要となっていた。このような状況から、パソコン本体やマウス等に触れることなく端末の各種操作を行う手段が求められていた。
そこで、本発明は端末や周辺機器に触れることなく端末への指令を入力可能なユーザインターフェースを提供することを目的とする。
上記課題を解決するために本発明は、所定の情報を表示する表示部と、使用者の手を撮影する撮影部と、前記撮影部より撮影された映像に基づいて、前記手の指先を認識する指先認識部と、前記指先の動きを判断するモーション検出部と、前記指先認識部と前記モーション検出部との検出結果に基づいて表示部の表示を制御する制御部と、を有することを特徴とするユーザインターフェースを提供している。
このような構成によると、指先認識部及びモーション検出部の検出結果に基づいて表示部を制御するため、使用者は端末や周辺機器に触れることなく表示部の表示を操作することができる。これにより、例えば、手術室内や食肉工場など各種機器の除菌が必要となるような施設内であっても、周辺機器を持ち込むことなく端末の操作を行うことができる。また、プレゼンテーションにおいても、使用者は指の動きだけでスライド等の操作を行うことができる。
また、前記制御部は、所定の機能を実行する実行部を有し、前記実行部は、前記指先認識部が前記指先のうちの一の指先を認識するとともに、前記指先のうち他の指先が前記一の指先によって隠されたことを認識したとき、第1の機能を実行してもよい。
また、前記実行部は、前記指先認識部が前記他の指先を認識するとともに、前記一の指先が前記他の指先によって隠されたことを認識したとき、前記第1の機能とは異なる第2の機能を実行してもよい。
このような構成によると、使用者の手の指先の動きに基づいて第1の機能又は第2の機能を実行するため、使用者は端末や周辺機器に触れることなく所望の機能を実行することができる。これにより、端末などを様々な環境で使用することができる。一の指先が他の指先によって隠されたことを認識して第1の機能を実行するため、指先認識部による誤検知を低減することができる。同様に、他の指先が一の指先によって隠されたことを認識して第2の機能を実行するため、指先認識部による誤検知を低減することができる。
また、前記モーション検出部が前記指先の所定方向に円弧状に動く円弧モーションを検出したとき、前記実行部は特定モードに移行してもよい。
また、前記モーション検出部は、前記マーカーの前記所定方向とは逆方向に円弧状に動く逆円弧モーションを検出したとき、前記実行部は前記特定モードを終了してもよい。
このような構成によると、モーション検出部が円弧モーションを検出したことに基づいて実行部が特定モードに移行し、逆円弧モーションを検出したことに基づいて特定モードを終了するため、使用者は端末や周辺機器に触れることなく特定モードに移行・終了することができる。これにより、端末などを様々な環境で使用することができる。
本発明によれば、端末や周辺機器に触れることなく端末への指令を入力可能なユーザインターフェースを提供することができる。
本発明の実施の形態によるユーザインターフェースを図1乃至図6に基づき説明する。図1に示すように上下左右方向を定義する。本実施の形態のユーザインターフェースでは、カメラ等により撮影した画像から使用者の手10、人差し指11、及び中指12を認識し、それらの指の動きに基づいて端末の一例であるデスクトップ型パソコン(以下、ノートPC)1を制御する。
ノートPC1は、撮影部2と、HDD(Hard Disk Drive)3と、RAM(Random Access Memory)4と、ROM(Read Only Memory)5と、接続部6と、制御部7と、表示部8と、操作部9と、を備えている。
撮影部2は、カメラであって表示部8の右上部に設けられ、図1の点線で示す範囲を撮影可能である。本実施の形態では、操作部9を操作した際の誤検知を防止するとともに使用者が右利きであることを想定し、撮影部2の撮影範囲を操作部9の右側に設定した。撮影部2には図示せぬ回転機構が設けられており、使用者は撮影範囲を任意に設定することができる。撮影部2の撮影範囲は、操作部9の左側であってもよく、操作部9の手前側であってもよい。
HDD3は、制御部7が実行するための各種プログラム、及び撮影部2が撮影した手10の動きとノートPC1の制御とを関連づけるテーブルなどが記憶されている。HDD3は、接続部6に接続された外付けHDDであってもよく、テーブルやプログラムは、接続部6に接続されたフラッシュメモリリーダに挿入されたSDカード等の大容量メディアに記憶されてもよく、クラウド上に記憶されていてもよい。
RAM4は、制御部7の作業領域として使用されるとともに、プログラムのデータの一時記憶領域として用いられる。ROM5は、制御部7がプログラムを実行する際に必要となるデータが記憶されている。接続部6は、ノートPC1に周辺機器を接続するためのポートであって、外部機器20が接続されている。外部機器20は、外付けHDD、外部撮影部、フラッシュメモリリーダー等任意の機器を選択することができる。
制御部7はCPU(Central Processig Unit)であって、指先認識部71と、モーション認識部72と、実行部73と、から構成されている。指先認識部71は、撮影部2が撮影した2次元の画像を公知の画像解析アプリケーションによって解析し、手10の人差し指11の指先と中指12の指先とを認識する。具体的には、撮影部2から得られた画像から使用者の手を抽出し、抽出された手が含まれるデータを2値化するとともにノイズキャンセル処理を行い、手の中心部分から最も離間した部位を指先と認識する。指先認識部71は、認識した人差し指11及び中指12の指先の情報をモーション認識部72及び実行部73に出力する。モーション認識部72は、指先認識部71の認識結果に基づいて、公知の動作認識アプリケーションによって、指先認識部71が解析した人差し指11及び中指12の動きを認識し、その結果を実行部73に出力する。実行部73は、指先認識部71及びモーション認識部72の認識結果に基づいて各種の機能を実行する。
図1に示すように、表示部8にはカーソル81が表示され、カーソル81の操作に基づいて、制御部7がHDD3に記憶されている各種プログラムを実行する。操作部9は、使用者が情報を入力するためのキーボード及びタッチパッド装置である。
次に、撮影部2の撮影結果に基づいて制御部7が行う制御について説明する。
HDD3に記憶されている所定のアプリケーションを起動すると、撮影部2が起動し撮影結果が制御部7に出力される。図1に示すように、指先認識部71が撮影結果から人差し指11の位置を認識し、モーション認識部72が指先認識部71からの入力信号に基づいて人差し指11の移動を認識すると、実行部73は人差し指11の移動量に応じて表示部8上のカーソル81を移動させる。詳細には、人差し指11が右に動くとこれに連動してカーソル81は右に動き、人差し指11が左に動くとこれに連動してカーソル81も左に動き、人差し指11が斜めに移動するとこれに連動してカーソル81も斜めに移動する。人差し指11の動作量に対するカーソル81の動作量の割合は、任意に設定することができる。
図3に示すように、指先認識部71が中指12の指先(爪)で人差し指11の指先(爪)を隠した状態を認識すると、換言すると、指先認識部71が、中指12が人差し指11の上に重なった状態を認識すると、実行部73はマウスの左クリックと同様の機能を実行する。中指12で人差し指11を隠している間がマウスの左ボタンを押下している間に対応し、人差し指11が中指12から露出した時が左ボタンを離した時に対応している。
指先認識部71が人差し指11の指先(爪)で中指12の指先(爪)を隠した状態を認識すると、換言すると、指先認識部71が、人差し指11が中指12の上に重なった状態を認識すると、実行部73はマウスの右クリックと同様の機能を実行する。人差し指11で中指12を隠している間がマウスの右ボタンを押下している間に対応し、中指12が人差し指11から露出した時が右ボタンを離した時に対応している。実行部73が行うマウスの右クリックの機能は本発明の第1の機能又は第2の機能のいずれか一方に対応し、実行部73が行うマウスの左クリックの機能は本発明の第1の機能又は第2の機能の他方に対応する。
指先認識部71が中指12の指先で人差し指11の指先を隠し、人差し指11の指先が中指12の指先から露出し、再び中指12の指先で人差し指11の指先を隠し、再び人差し指11の指先が中指12から露出した一連の動作を所定時間の間に認識した場合には、実行部73はマウスの左ボタンのダブルクリックと同様の機能を実行する。
指先認識部71及びモーション認識部72が中指12の指先で人差し指11の指先を隠した状態のまま移動し、人差し指11の指先が中指12の指先から露出した場合には、実行部73はドラッグアンドドロップと同様の機能を実行する。
次に、スクロールモードについて図4乃至図6を参照しながら説明する。
スクロールモードとは、表示部8の画面をスクロールするモードであって、表示部8の画面を上方向にスクロールする上スクロールモードと、下方向にスクロールする下スクロールモードと、がある。スクロールモードでは、人差し指11の動きに対応するカーソル81の動きが制限される。上スクロールモード及び下スクロールモードは、本発明の特定モードに対応する。
図4に示すように、指先認識部71及びモーション認識部72が人差し指11の指先が一度下に移動し、その後反時計回りに半円を描く移動を認識した場合には、実行部73は図5に示す上スクロールモードに移行する(図5、S1:YES)。このとき、表示部8に上スクロールモード中の文字が表示される。反時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。
上スクロールモードでは、指先認識部71及びモーション認識部72が人差し指11の下方向への移動を認識した場合には(S2:YES)、実行部73が表示部8の画面を上方向にスクロールさせる(S3)。人差し指11が斜め下方向に移動した場合であっても、モーション認識部72は人差し指11の移動方向の下方向成分のみ抽出し、実行部73が画面を上方向にスクロールさせる。実行部73が表示部8の画面をスクロールさせる動作速度及び動作量は、人差し指11の移動速度や移動量に応じて任意に設定することができる。人差し指11が上方向又は斜め上方向に移動した場合は、実行部73は何らの動作も行わない(S2:NO)。換言すると、上スクロールモードは画面の上スクロールのみを行うモードである。
図4に示すように、指先認識部71及びモーション認識部72が人差し指11の指先が一度下に移動し、その後時計回りに半円を描くように移動した場合には(S4:YES)、実行部73は上スクロールモードを終了する。このとき、表示部8に表示されていた上スクロールモード中の文字が消える。実行部73は、当該モーションを検出しない間は(S4:NO)、上スクロールモードを継続する。時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。
図4に示すように、指先認識部71及びモーション認識部72が人差し指11の指先が一度上に移動し、その後時計回りに半円を描く移動を認識した場合には、実行部73は図6に示す下スクロールモードに移行する(図6、S11:YES)。このとき、表示部8に下スクロールモード中の文字が表示される。時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。
下スクロールモードでは、指先認識部71及びモーション認識部72が人差し指11の上方向への移動を認識した場合には(S12:YES)、実行部73が表示部8の画面を下方向にスクロールさせる(S13)。人差し指11が斜め上方向に移動した場合であっても、モーション認識部72は人差し指11の移動方向の上方向成分のみ抽出し、実行部73が表示部8の画面を下方向にスクロールさせる。実行部73が表示部8の画面をスクロールさせる動作速度及び動作量は、人差し指11の移動速度や移動量に応じて任意に設定することができる。人差し指11が下方向又は斜め下方向に移動した場合には、実行部73は何らの動作も行わない(S12:NO)。換言すると、下スクロールモードは、画面の下スクロールのみを行うモードである。
図4に示すように、指先認識部71及びモーション認識部72が人差し指11の指先が一度上に移動し、その後反時計回りに半円を描くように移動した場合には(S14:YES)、実行部73は下スクロールモードを終了する。このとき、表示部8に表示されていた下スクロールモード中の文字が消える。実行部73は、当該モーションを検出しない間は(S14:NO)、下スクロールモードを継続する。反時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。
このような構成によると、指先認識部71及びモーション認識部72の検出結果に基づいて表示部8を制御するため、使用者はノートPC1や周辺機器に触れることなく表示部8の表示を操作することができる。これにより、例えば、手術室内や食肉工場など各種機器の除菌が必要となるような施設内であっても、周辺機器を持ち込むことなく端末の操作を行うことができる。また、プレゼンテーションにおいても、使用者は指の動きだけでスライド等の操作を行うことができる。
このような構成によると、使用者の手10の指先の動きに基づいてマウスと略同一の機能を実行するため、使用者は端末や周辺機器に触れることなく入力作業を行うことができる。これにより、端末などを様々な環境で使用することができる。人差し指11の指先が中指12の指先によって隠されたことを認識して右クリックと略同一の機能を実行するため、指先認識部による誤検知の可能性を低減することができる。
次に、本実施の形態の変形例について、図7及び図8を参照しながら説明する。変形例では、図4に示す操作によって、スクロールモードに替えて表示部8の拡大・縮小を行うピンチモードに移行する。
ピンチモードには、表示部8の画面を拡大する拡大モードと、表示部8の画面を縮小する縮小モードと、がある。ピンチモードの間は、人差し指11の動きに対応するカーソル81の動き及び図3に示すような各種動作はいずれも実行することができる。拡大モード及び縮小モードは、本発明の特定モードに対応する。
図4に示すように、指先認識部71及びモーション認識部72が人差し指11の指先が一度上に移動し、その後時計回りに半円を描く移動を認識した場合には、実行部73は図7に示す拡大モードに移行する(図7、S31:YES)。このとき、表示部8に拡大モード中の文字が表示される。時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。
拡大モードでは、指先認識部71及びモーション認識部72が人差し指11と中指12とが互いに離間する動作を認識した場合には(S32:YES)、実行部73が表示部8の画面を拡大する(S33)。実行部73が表示部8の画面を拡大させる動作速度及び動作量は、人差し指11の移動速度や移動量に応じて任意に設定することができる。人差し指11と中指12とが離間した状態から再び近づく動作を検出した場合は、実行部73は何らの動作も行わない(S32:NO)。換言すると、拡大モードは、表示部8の画面の拡大操作のみを行うモードである。
指先認識部71及びモーション認識部72が、人差し指11の指先が一度上に移動しその後反時計回りに半円を描くように移動した場合には(S34:YES)、実行部73は拡大モードを終了する。このとき、表示部8に表示されていた拡大モード中の文字が消える。実行部73は、当該モーションを検出しない間は(S34:NO)、拡大モードを継続する。反時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。
図4に示すように、指先認識部71及びモーション認識部72が人差し指11の指先が一度下に移動し、その後反時計回りに半円を描くように移動した場合には、実行部73は縮小モードに移行する(図8、S41:YES)。このとき、表示部8に縮小モード中の文字が表示される。半時計回りに半円を描く移動が、本発明の所定方向の円弧モーションに対応する。
縮小モードでは、指先認識部71及びモーション認識部72が人差し指11と中指12とが互いに近接する動作を認識した場合には(S42:YES)、実行部73が表示部8の画面を縮小する(S43)。人差し指11と中指12とが近接した状態から再び離間する動作を検出した場合は、実行部73は何らの動作も行わない(S42:NO)。換言すると、縮小モードは、表示部8の画面の縮小操作のみを行うモードである。
指先認識部71及びモーション認識部72が人差し指11の指先が一度下に移動し、その後時計回りに半円を描くように移動した場合には(S44:YES)、実行部73は縮小モードを終了する。このとき、表示部8に表示されていた縮小モード中の文字が消える。実行部73は、当該モーションを検出しない間は(S44:NO)、縮小モードを継続する。時計回りに半円を描く移動が、本発明の所定方向とは逆方向の逆円弧モーションに対応する。
本発明によるユーザインターフェースは、上述した実施の形態に限定されず、特許請求の範囲に記載された発明の要旨の範囲内で種々の変更が可能である。
上述の実施の形態では、人差し指11の動きに基づいて表示部8に表示されたカーソル81が移動したが、中指12の動きに基づいてカーソル81が移動してもよく、他の指に基づいて移動してもよい。
上述の実施の形態では、端末としてノートパソコンを用いたが、これに限定されない。デスクトップパソコン、スマートフォン、PDA(Personal Digital Assistangt)、タブレット、携帯電話端末、テレビ等であってもよい。また、情報処理機能を有しディスプレイが搭載されているカーナビゲーションシステムや家電などの各種電気機器に適用することができる。
上述の実施の形態では、人差し指及び中指の先端を認識することにより実行部が各種機能を実行したが、人差し指及び中指の先端部分にAR(Augmented Reality)マーカーを付し、撮影部の画像から制御部がARマーカーを認識することにより実行部が各種機能を実行してもよい。これにより、撮影部の語認識を低減することができる。
上述の実施の形態では、図3に示す各種機能を実行するために人差し指11と中指12とを用いたが、任意の指を選択することができる。例えば、中指が人差し指を隠す動作が右クリックに対応し、中指が薬指を隠す動作が左クリックに対応してもよい。
上述の実施の形態では、特定モードへの移行等は人差し指11の指先の動きに基づいて判断したが、これに限定されない。例えば、図3の右クリックに相当する中指が人差し指を隠した状態、又は左クリックに相当する人差し指が中指を隠した状態で図4に示すモーションを検出した場合に各モードへの移行等を実行してもよい。これにより、カーソル操作中に誤って各モードに移行することを防止できる。
上述の実施の形態では、特定モードに移行すると、例えば上スクロールモード中の文字が表示部8に表示されたが、これに限定されない。例えば、任意の記号を表示部に表示してもよく、音声によって特定モードへの移行及び終了を通知してもよい。
上述の実施の形態では、スクロールモードは、上スクロールモードと下スクロールモードとから構成されたが、右スクロールモードと左スクロールモードとをさらに備えていてもよい。実行部は、人差し指11が右に移動した後時計回りに円弧を描くことによって右スクロールモードに移行し、右に移動した後反時計回りに円弧を描くことによって右スクロールモードを終了する。右スクロールモードでは、人差し指が右方向に移動すると画面が右にスクロールし人差し指が左方向に移動した場合には何らの動作も行わない。実行部は、人差し指11が左に移動した後反時計回りに円弧を描くことによって左スクロールモードに移行し、左に移動した後時計回りに円弧を描くことによって左スクロールモードを終了する。左スクロールモードでは、人差し指が左方向に移動すると画面が左にスクロールし人差し指が右方向に移動した場合には何らの動作も行わない。
1 ノートPC
2 撮影部
7 制御部
8 表示部
9 操作部
10 手
11 人差し指
12 中指
71 指先認識部
72 モーション認識部
73 実行部
2 撮影部
7 制御部
8 表示部
9 操作部
10 手
11 人差し指
12 中指
71 指先認識部
72 モーション認識部
73 実行部
Claims (5)
- 所定の情報を表示する表示部と、
使用者の手を撮影する撮影部と、
前記撮影部より撮影された映像に基づいて、前記手の指先を認識する指先認識部と、
前記指先の動きを認識するモーション認識部と、
前記指先認識部と前記モーション認識部との検出結果に基づいて表示部の表示を制御する制御部と、を有することを特徴とするユーザインターフェース。 - 前記制御部は、所定の機能を実行する実行部を有し、
前記実行部は、前記指先認識部が前記指先のうちの一の指先を認識するとともに、前記指先のうち他の指先が前記一の指先によって隠されたことを認識したとき、第1の機能を実行することを特徴とする請求項1に記載のユーザインターフェース。 - 前記実行部は、前記指先認識部が前記他の指先を認識するとともに、前記一の指先が前記他の指先によって隠されたことを認識したとき、前記第1の機能とは異なる第2の機能を実行することを特徴とする請求項2に記載のユーザインターフェース。
- 前記実行部は、前記モーション認識部が前記指先の所定方向に円弧状に動く円弧モーションを検出したとき、特定モードに移行することを特徴とする請求項2または3に記載のユーザインターフェース。
- 前記実行部は、前記モーション認識部が前記指先の前記所定方向とは逆方向に円弧状に動く逆円弧モーションを検出したとき、前記特定モードを終了することを特徴とする請求項4に記載のユーザインターフェース。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017130002A JP2019012485A (ja) | 2017-07-01 | 2017-07-01 | ユーザインターフェース |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017130002A JP2019012485A (ja) | 2017-07-01 | 2017-07-01 | ユーザインターフェース |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019012485A true JP2019012485A (ja) | 2019-01-24 |
Family
ID=65226415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017130002A Pending JP2019012485A (ja) | 2017-07-01 | 2017-07-01 | ユーザインターフェース |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019012485A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102592923B1 (ko) * | 2023-06-27 | 2023-10-23 | 주식회사 토노베이션 | 행동분석을 통한 사용자 맞춤형 인터페이스 제공용키오스크 및 그 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000298544A (ja) * | 1999-04-12 | 2000-10-24 | Matsushita Electric Ind Co Ltd | 入出力装置と入出力方法 |
JP2011070368A (ja) * | 2009-09-25 | 2011-04-07 | Hitachi Solutions Ltd | プレゼンテーションシステム |
JP2012175282A (ja) * | 2011-02-18 | 2012-09-10 | Sharp Corp | 操作装置、再生装置及びテレビ受信装置 |
WO2012147961A1 (ja) * | 2011-04-28 | 2012-11-01 | Necシステムテクノロジー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
US20130050076A1 (en) * | 2011-08-22 | 2013-02-28 | Research & Business Foundation Sungkyunkwan University | Method of recognizing a control command based on finger motion and mobile device using the same |
CN104102336A (zh) * | 2013-04-09 | 2014-10-15 | 三星电子株式会社 | 提供非接触交互的便携式设备和方法 |
JP2016149094A (ja) * | 2015-02-13 | 2016-08-18 | 三菱自動車工業株式会社 | 車両用情報処理装置 |
JP2016177658A (ja) * | 2015-03-20 | 2016-10-06 | カシオ計算機株式会社 | 仮想入力装置、入力方法、およびプログラム |
-
2017
- 2017-07-01 JP JP2017130002A patent/JP2019012485A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000298544A (ja) * | 1999-04-12 | 2000-10-24 | Matsushita Electric Ind Co Ltd | 入出力装置と入出力方法 |
JP2011070368A (ja) * | 2009-09-25 | 2011-04-07 | Hitachi Solutions Ltd | プレゼンテーションシステム |
JP2012175282A (ja) * | 2011-02-18 | 2012-09-10 | Sharp Corp | 操作装置、再生装置及びテレビ受信装置 |
WO2012147961A1 (ja) * | 2011-04-28 | 2012-11-01 | Necシステムテクノロジー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
US20130050076A1 (en) * | 2011-08-22 | 2013-02-28 | Research & Business Foundation Sungkyunkwan University | Method of recognizing a control command based on finger motion and mobile device using the same |
CN104102336A (zh) * | 2013-04-09 | 2014-10-15 | 三星电子株式会社 | 提供非接触交互的便携式设备和方法 |
JP2016149094A (ja) * | 2015-02-13 | 2016-08-18 | 三菱自動車工業株式会社 | 車両用情報処理装置 |
JP2016177658A (ja) * | 2015-03-20 | 2016-10-06 | カシオ計算機株式会社 | 仮想入力装置、入力方法、およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102592923B1 (ko) * | 2023-06-27 | 2023-10-23 | 주식회사 토노베이션 | 행동분석을 통한 사용자 맞춤형 인터페이스 제공용키오스크 및 그 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9069386B2 (en) | Gesture recognition device, method, program, and computer-readable medium upon which program is stored | |
KR100837283B1 (ko) | 터치스크린을 구비한 휴대용 단말기 | |
US20120174044A1 (en) | Information processing apparatus, information processing method, and computer program | |
US20150002424A1 (en) | Information processing apparatus and control method, and recording medium | |
US11150797B2 (en) | Method and device for gesture control and interaction based on touch-sensitive surface to display | |
CA2847177A1 (en) | Semantic zoom gestures | |
JP2013546110A (ja) | コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化 | |
JP2006209563A (ja) | インターフェース装置 | |
JP2010170573A (ja) | グラフィカル・ユーザ・インターフェース・オブジェクトを操作する方法及びコンピュータシステム | |
JP2014211858A (ja) | ジェスチャに基づくユーザ・インターフェイスを提供するシステム、方法及びプログラム | |
JP2017517071A (ja) | タッチ入力のための方法及びシステム | |
JP5275429B2 (ja) | 情報処理装置、プログラムおよびポインティング方法 | |
TW201403386A (zh) | 眼動操控方法及系統 | |
EP2899623A2 (en) | Information processing apparatus, information processing method, and program | |
TWI564780B (zh) | 觸控螢幕姿態技術 | |
US20150268736A1 (en) | Information processing method and electronic device | |
JP2019012485A (ja) | ユーザインターフェース | |
CN112534390A (zh) | 用于提供虚拟输入工具的电子装置及其方法 | |
JP6327834B2 (ja) | 操作表示装置、操作表示方法及びプログラム | |
JP6232694B2 (ja) | 情報処理装置、その制御方法及びプログラム | |
KR20110049162A (ko) | 휴대용 영상 처리기에서 가상 입출력 장치 및 방법 | |
KR20110006251A (ko) | 터치 패널 입력장치, 방법 및 이를 이용한 모바일 기기 | |
Le et al. | Imprint-based input techniques for touch-based mobile devices | |
Takahashi et al. | Extending Three-Dimensional Space Touch Interaction using Hand Gesture | |
JP7213396B1 (ja) | 電子機器及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210329 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211012 |