JP5183398B2 - 入力装置 - Google Patents

入力装置 Download PDF

Info

Publication number
JP5183398B2
JP5183398B2 JP2008249510A JP2008249510A JP5183398B2 JP 5183398 B2 JP5183398 B2 JP 5183398B2 JP 2008249510 A JP2008249510 A JP 2008249510A JP 2008249510 A JP2008249510 A JP 2008249510A JP 5183398 B2 JP5183398 B2 JP 5183398B2
Authority
JP
Japan
Prior art keywords
movement
hand
speed
video signal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008249510A
Other languages
English (en)
Other versions
JP2010079771A (ja
Inventor
孝志 松原
真弓 中出
友哉 尾崎
有人 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008249510A priority Critical patent/JP5183398B2/ja
Priority to CN201210247928.0A priority patent/CN102981610B/zh
Priority to CN2009101416102A priority patent/CN101714025B/zh
Priority to US12/481,739 priority patent/US20100079677A1/en
Publication of JP2010079771A publication Critical patent/JP2010079771A/ja
Priority to US13/523,672 priority patent/US8667426B2/en
Application granted granted Critical
Publication of JP5183398B2 publication Critical patent/JP5183398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ユーザの指示を入力する入力装置に関する。
グラフィカルユーザインタフェース（以下、ＧＵＩ）を介してユーザの操作を受け付けると同時にユーザに操作結果のフィードバックを与えるパソコンやテレビが普及している。
たとえば、特許文献１には、人物の手足の動きの特徴を示す点の３次元座標を計測し、抽出された特徴点のうち手以外の特徴点を利用して人物の３次元位置／姿勢を推定し、推定されたユーザの３次元位置を基準点としてユーザ姿勢に応じて各座標軸が一意に定まるユーザ座標系を構成し、ユーザの手足の特徴点を該ユーザ座標系に変換することで、ユーザの位置／姿勢に依存しない特徴量を抽出し、
その時系列変化とジェスチャモデルとのマッチングをとり人物の行なったジェスチャを推定するジェスチャ認識装置が開示される。
特開２０００−１４９０２５
しかし、特許文献１に記載のジェスチャ認識装置をテレビ等の機器への入力操作に用いた場合、ユーザを撮像した動画像が、該機器への入力を表すのか否かの区別がすることが難しい。例えば、該機器への入力を示すためユーザが手で右方向を指し、その後で元に位置に手を戻した場合、元の位置に手を戻した動きが左方向を指す入力動作として認識されることがある。つまり、特許文献１では、ユーザがジェスチャを行った際に、動きのどの部分を装置への入力として受け付けるかについての仕組みについては考慮されていない。
さらに、機器やソフトウェアの操作においては、連続入力を行いたいという要望が存在する。例えば、テレビを操作する際に、リモコンの音量調整ボタンを連続して押下することや、チャンネル切換えボタンを連続して押下することである。しかし、特許文献１では、ジェスチャコマンドにより連続して入力する操作を円滑に行わせることは考慮されていない。
そこで、本発明は、かかる事情を考慮した上で、たとえば、ユーザに操作に有効な動作の提示をすると同時にリアルタイムなフィードバックを与え、さらに連続した入力動作が可能であり、ユーザにとって使い勝手の良い入力装置を提供することを目的とする。
上記目的を達成するために、本発明は特許請求の範囲に記載された構成を採用する。

たとえば、ユーザが手を振る動作をした後にはユーザの手が手を振る前の位置に戻る動作が行われるが、前記アニメーションが継続しており項目が選択途中の状態ではユーザが手の動きを認識しないことにより、ユーザの手が手を振る前の位置に戻る動きが項目の選択操作として受け付けられないようにする。
本発明によると、たとえば、ユーザに操作に有効な動作の提示をすると同時にリアルタイムなフィードバックを与え、さらに連続した入力動作が可能であり、ユーザにとって使い勝手の良い入力装置を提供することができる。
以下、本発明を適用した各実施例について説明する。
本実施例の入力装置１００は、ユーザを撮像した動画像からユーザの手の動作を検出し、該動作に応じてＧＵＩの表示を変更することが可能な装置である。
図１は、表示部１０１、撮像部１０２、ユーザ１０３、メニュー項目１０４、選択項目１０５、により入力装置１００をユーザが使用する際の動作環境の概観を示す。
表示部１０１は、入力装置１００の表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置で構成される。表示部１０１は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像処理部２０２から供給されるデータで構成される映像を表示パネルに表示する。撮像部１０２は、入力装置１００に動画像を入力するための装置であり、たとえばカメラである。ユーザ１０３は、入力装置１００に対して操作を行うユーザである。メニュー項目１０４は表示部１０１に表示されるＧＵＩであり、複数の項目で構成されるメニューである。選択項目１０５は該メニュー項目１０４の項目の中でユーザの操作により選択状態となっている項目である。
入力装置１００は、例えば図２に示すように、表示部１０１、撮像部１０２、動作検出(動き検出)部２００、システム制御部２０１、映像処理部２０２、を備える。
動作検出(動き検出)部２００は、撮像部１０２から動画像信号を受信し、受信した動画像信号より人物の動作を検出し、検出した動作を所定のコマンドとして出力する回路である。
システム制御部２０１は例えばマイクロプロセッサから構成され、動作検出(動き検出)部２００から受信したコマンドに応じて、映像表示部２０２の動作を制御する。
映像処理部２０２は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＭＰＵ等の処理装置により構成される。映像処理部２０２は、システム制御部２０１の制御に従いＧＵＩの映像データを、表示部１０１で処理可能な形態に変換して出力する。
図３は、本発明の入力装置をユーザが操作する際のユーザの動作を示す。本発明ではユーザが手を左右に振る操作により、ユーザが手を振った方向や速度に応じてメニュー項目１０４が移動し、ユーザは手を左右に振る操作で任意の項目を選択項目１０５の位置に移動させることにより項目の選択を行うことができる。認識ポイント３０１は該入力装置が認識するユーザの手の位置を示している。手の振り３０２はユーザが該メニュー項目１０４を動かすために手を振った動きを示しており、該入力装置１００に入力されるユーザの操作となる。また、手の戻り３０３はユーザが手の振り３０２のように手を振った後に、ユーザの手が手を振る前の位置に戻る動きを示している。
図４は入力装置１００をユーザが操作する際の、ユーザの手と表示部１０１に表示されるＧＵＩの状態を示している。
次に、上記構成の入力装置１００の動作を図１、図２、図３、図４、及び図５のフローチャートを参照して説明する。
入力装置１００は、ユーザを撮像した動画像信号からユーザの手の動作を検出し、該動作に応じてＧＵＩの表示を変更することが可能な装置である。
先ず、入力装置１００がユーザの手の動きを検出し、該動作に応じてＧＵＩの表示を変更するまでの処理の流れについて、図２を参照して説明する。ユーザが、入力端末１００に対し、図示しない電源ボタンの押下等により、入力端末１００の動作を開始させたとする。システム制御部２０１は前記動作の開始に応答して、映像処理部２０２にＧＵＩの表示を指示する。映像処理部２０２は前記指示に応答して、表示部１０１の入力に適した映像信号を出力する。これにより、表示部１０１にはＧＵＩが表示される。
また、システム制御部２０１は前記動作の開始に応答して、撮像機１０２に対して動画像の撮像の開始を指示する。撮像機１０２は前記指示に応答して、動画像の撮像を開始し、撮像した動画像のデータを動作検出(動き検出)部２００に出力する。動作検出(動き検出)部２００は受信した前記動画像から特徴点抽出などの方法を用いてユーザの手の位置を検出し、該手の位置のデータをシステム制御部２０１に出力する。システム制御部２０１は該手の位置のデータからユーザの手の動きの方向や速度を算出し、予め決められた方向に従い、且つ予め決められた速度以上の手の動きであれば、該方向や該速度に従い映像処理部２０２にＧＵＩの表示の変更を指示する。映像処理部２０２は前記指示に応答して、ＧＵＩを構成するデータを変更し、該データに基づく表示部１０１の入力に適した映像信号を出力する。これにより、表示部１０１に表示されるＧＵＩが更新される。
次に、入力装置１００が、ユーザが手を動かす操作を入力として受け付ける際の動作の詳細を図４及び図５のフローチャートを参照しながら説明する。先ず、ユーザは所定の手順にて入力端末１００の操作を開始する（ステップ５００）。この時のユーザの手と表示部１０１に表示されるＧＵＩの状態の一例を図４の表示１に示す。前記操作の開始を受け、入力端末１００はユーザの手の動きの監視を開始する（ステップ５０１）。
ユーザの手が所定の速度以上の速さで特定の方向に動いた場合（ステップ５０１：Ｙｅｓ）、図４の表示２に示すように、入力端末１００はユーザの手が動いた方向や速度に従いメニュー項目１０４のアニメーションを開始する。一方、ユーザの手が所定の速度以上の速さで動いていない場合（ステップ５０１：Ｎｏ）、入力端末１００はユーザの手の動きの監視を継続する。次に入力装置１００はステップ５０２で開始したアニメーションの動作の継続状態を監視する（ステップ５０３：Ｙｅｓ）。
ここで該アニメーションは所定の時間をかけてメニュー項目１０４の移動を行う構成となっており、入力端末１００は該アニメーションが動作中の場合は、前記ユーザの手の動きの監視を行わない。これにより、図４の表示３に示すように前記アニメーションが動作中はユーザが手の戻り３０３の動作を行った場合も、該動作はメニュー項目１０４の動きに反映されず、手の振り３０２に従った操作が反映された状態となる。
該アニメーションの動作が終わった際には（ステップ５０３：Ｎｏ）、入力装置１００はユーザが操作の終了を指示したかを確認し、操作が継続される場合は（ステップ５０４：Ｎｏ）、再びユーザの手の動きの監視を行う。この時のユーザの手と表示部１０１に表示されるＧＵＩの状態は図４の表示４に示す通り、ユーザの手の位置は手の振り３０２の動きを行う前の位置になり、メニュー項目１０４はユーザが手を動かした方向に従い別の項目が選択された状態となるため、ユーザは再びメニュー項目１０４に対しての操作を開始することができる。また、ステップ５０４において、ユーザが操作の終了を指示した際は（ステップ５０４：Ｙｅｓ）、入力装置１００はユーザの手の動きの監視等の動作を終了する（ステップ５０５）。
このように、入力装置１００は、ユーザが手を動かす方向や速度を認識し、該方向や該速度に応じてメニュー項目１０４をアニメーションさせ、該アニメーションが動いている間はユーザの手の動きを認識しないようにする。これにより、ユーザは、手を振って方向を示した後に手の戻りの動きが認識されることなく手を元の位置に戻すことができるため、手を振るだけの簡単な操作でメニュー項目の選択等の操作を連続して円滑に行うことができる。
また、本実施例では、映像信号処理部により所定の映像信号が出力されている場合には、動作検出(動き検出)部は動作検出(動き検出)を行わないように構成したが、映像信号処理部により所定の映像信号が出力されてから時間を制御部が計測し、この時間が所定値を超えない場合に、動作検出(動き検出)部は動作検出(動き検出)を行わないように動作検出(動き検出)部を制御してもよい。
なお、前記表示部１０１に表示されるＧＵＩは、例えば、図６に示すように、ユーザが手を上下に振る動きで操作できるメニュー構成Ａやメニュー構成Ｂや、ユーザが手を左右に振る動きで操作できるメニュー構成Ｃのような構成でもよい。
次に、実施例２について説明する。本実施例では、実施例１の入力装置１００において説明した操作方法に加えて、ユーザが手を振る動きが所定の速度以下の場合にもメニュー項目の操作が行えるようにした操作方法について説明する。入力装置１００の構成や表示部１０１に表示するＧＵＩの構成は実施例１と同様であり、ユーザが手を振る動きの認識方法が異なる。
以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等なものには同一の符合を付し、その説明は重複を避ける為に割愛する。
図７は本実施例において入力装置１００をユーザが操作する際の、ユーザの手と表示部１０１に表示されるＧＵＩの状態を示している。ユーザの手の動き７０１、７０２は、後述する入力端末１００の操作において、ユーザが所定の速度以下の速さでゆっくりと手を動かした場合の手の動きを示している。
本実施例の入力装置１００の動作を図７及び図８のフローチャートを参照して説明する。
先ず、ユーザは所定の手順にて入力端末１００の操作を開始する（ステップ８００）。この時のユーザの手と表示部１０１に表示されるＧＵＩの状態の一例を図７の表示１に示す。前記操作の開始を受け、入力端末１００はユーザの手の動きの監視を開始する（ステップ８０１）。ユーザの手が特定の方向に動いている場合は（ステップ８０１：Ｙｅｓ）、ユーザの手の動きの速度を算出する（ステップ８０２）。
この時、ユーザの手の動きが、所定の速度以上の速さではない場合は（ステップ８０２：Ｎｏ）、図７の表示２や表示３に示すようにユーザが手を動かす方向に追従して、ユーザの手が動いた方向と動きの大きさに従いメニュー項目１０４を動かす。一方、ステップ８０２においてユーザの手の動きが所定の速度以上の速さで動いた場合には、前記実施例１と同様の動作となる。
このように、入力装置１００は、ユーザが手を動かす方向や速度を認識し、ユーザの手の動きが所定の速度以下で動いている場合は、ユーザの手の動きの方向や動きの大きさに従いメニュー項目１０４を動かし、ユーザの手の動きが所定の速度以上で動いた場合は、手が動いた方向や該速度に応じてメニュー項目１０４のアニメーションを開始し、該アニメーションが動いている間はユーザの手の動きを認識しないようにする。
これにより、ユーザは、小さな手の動きやゆっくりとした手の動きで入力装置１００にユーザ自身の手の動きが正確に認識されていることを把握することができ、また、ユーザはどの程度の速さの手の動きでメニュー項目１０４の選択項目１０５の変更を行うことができるかを把握することができるため、実施例１の入力装置１００の操作方法や操作の状態をより円滑に把握し、より直感的に操作することできる。
次に、実施例３について説明する。本実施例では、実施例１の入力装置１００において説明した操作方法に加えて、ユーザが手を振る動きでメニュー項目１０４のアニメーションが開始され、アニメーションが動いている間にユーザが手を動かし続けている場合は、ユーザが手を振る方向に関係なく、前記アニメーションの動きを継続する操作が行えるようにした操作方法について説明する。入力装置１００の構成や表示部１０１に表示するＧＵＩの構成は実施例１と同様であり、ユーザが手を振る動きの認識方法が異なる。
以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等なものには同一の符合を付し、その説明は重複を避ける為に割愛する。
図９は本実施例において入力装置１００をユーザが操作する際の、ユーザの手と表示部１０１に表示されるＧＵＩの状態を示している。ユーザの手の動き９００は、図９の表示２においてユーザが手を振る動きでメニュー項目１０４のアニメーションが開始された後に、ユーザが継続して手を振り続けた際の手の動きを示している。
本実施例の入力装置１００の動作を図９及び図１０のフローチャートを参照して説明する。
先ず、ユーザは所定の手順にて入力端末１００の操作を開始する（ステップ１０００）。この時のユーザの手と表示部１０１に表示されるＧＵＩの状態の一例を図９の表示１に示す。前記操作の開始を受け、入力端末１００はユーザの手の動きの監視を開始する（ステップ１００１）。ユーザの手が所定の速度以上の速さで特定の方向に動いた場合（ステップ１００１：Ｙｅｓ）、図９の表示２に示すように、入力端末１００はユーザの手が動いた方向や速度に従いメニュー項目１０４のアニメーションを開始する。
さらに、入力端末１００はユーザの手の動きの監視を継続し（ステップ１００３）、ユーザの手が所定の速度以上の速さで動き続けている場合は（ステップ１００３：Ｙｅｓ）、ユーザの手の動きの方向に関係なく、前記アニメーションを継続する。この時、該アニメーションは、図９の表示３に示すように、メニュー項目１０４の選択項目１０５が前記アニメーションを開始する際に認識した始めの手の動きに従って、連続して次の項目が選択されるように動作する。一方、ステップ１００３においてユーザの手の動きが所定の速度以上の速さで動き続けていない場合には、前記実施例１と同様の動作となる。
このように、入力装置１００は、ユーザが手を動かす方向や速度を認識し、ユーザの手の動きが所定の速度以上で動いた場合は、手が動いた方向や該速度に応じてメニュー項目１０４のアニメーションを開始し、これに続いてユーザの手が所定の速度以上で動き続けている場合は、メニュー項目１０４が同じ方向にアニメーションを続け、選択項目１０５が次々と変わるように動作する。
これにより、ユーザは、連続したメニュー項目の選択を行う場合は、はじめにメニュー項目を動かす方向に手を振り、その後は手を振る方向に関係なく手を動かし続けるだけで次々と項目を選択することができるため、より円滑に連続したメニュー項目の選択を行うことができる。
次に、実施例４について説明する。本実施例では、実施例１の入力装置１００において、マウスやタッチパッドなどのいわゆるポインティングデバイスや加速度センサ等のセンサデバイスを介した入力が可能な場合に、実施例１と同等の操作方法を実現する入力装置について説明する。
以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等なものには同一の符合を付し、その説明は重複を避ける為に割愛する
実施例４の入力装置２００は、マウスやタッチパッドなどのいわゆるポインティングデバイスや加速度センサ等のセンサデバイス介した入力が可能であり、図１１に示すように、入力部１１００によりシステム制御部２０２に動き情報(ポインティング情報や方向を示す情報)が入力される構成となっている。
また、図１２は本実施例において入力装置１００をユーザが操作する際の、入力部１１００から得られる入力結果の状態と表示部１０１に表示されるＧＵＩの状態を示している。カーソル１２００は該入力結果に基づき画面上の特定の座標の位置が示されるカーソルである。本実施例では、該カーソル１２００の動きを、実施例１におけるユーザの手の動きと同等に扱うことにより、ユーザは実施例１と同様の操作を行うことができる。また、入力部１１００が加速度センサ等のセンサデバイスで構成される場合は、カーソル１２００が表示部１０１に表示されることなく、該センサデバイスの出力情報を、実施例１におけるユーザの手の動きの情報と同等に扱うことにより、ユーザは実施例１と同様の操作を行うことができる。
これにより、本実施例の入力装置１００は、入力装置１００が前記撮像部１０２等の入力手段を有さない場合も、ユーザは実施例１と同様の方法により、従来のポインティング操作のような細かい操作を必要とせず、入力部１１００に特定の方向に対する大きな動きを入力するだけで、円滑にメニュー項目を選択する操作を行うことができる。
実施例１の入力装置を示す概観図である。 実施例１の入力装置の構成を示すブロック図である。 実施例１の入力装置のユーザの操作方法を示す概観図である。 実施例１のＧＵＩの動きとユーザの操作の対応を説明する概観図である。 実施例１の入力装置の動作を説明する流れ図である。 実施例１のＧＵＩの構成を示す概観図である。 実施例２のＧＵＩの動きとユーザの操作の対応を説明する概観図である。 実施例２の入力装置の動作を説明する流れ図である。 実施例３のＧＵＩの動きとユーザの操作の対応を説明する概観図である。 実施例３の入力装置の動作を説明する流れ図である。 実施例４の入力装置の構成を示すブロック図である。 実施例４のＧＵＩの動きとポインタの動作の対応を説明する概観図である。
符号の説明
１００・・・入力装置、
１０１・・・表示部、
１０２・・・撮像部、
１０３・・・ユーザ、
１０４・・・メニュー項目、
１０５・・・選択項目、
２００・・・動作検出（動き検出）部、
２０１・・・システム制御部、
２０２・・・映像処理部、
３０１・・・認識ポイント、
３０２・・・手の振り、
３０３・・・手の戻り、
７０１・・・手の動き、
７０２・・・手の動き、
９００・・・手の動き、
１１００・・・入力部、
１２００・・・カーソル、

Claims (6)

  1. 所定の動き画像信号が入力される入力部と、
    前記入力部に入力された動き画像信号から動き検出を行う動き検出部と、
    前記動き検出部により検出された動きが所定の速度以上の速さで特定の方向に動いた手の動きであった場合に前記速度や方向に従い所定の映像信号を出力する映像信号処理部と、
    前記手の動き以降の動きが、手を特定の方向に沿って振り続ける動きであり、前記所定の速度以上の速さで動き続けている場合は、該手の動き以降の動きの方向に関係なく、前記速度や方向に従った前記所定の映像信号の出力を継続させるように前記映像信号処理部を制御する制御部とを備えることを特徴とする入力装置。
  2. 請求項１に記載の入力装置において、
    前記制御部は、前記手の動き以降の動きが、所定の速度以上の速さで動き続けなくなった場合には、前記映像信号処理部において、前記速度や方向に従った前記所定の映像信号が出力し終わってから、前記動き検出部が検出する次の動きに従った映像信号を出力させることを特徴とする入力装置。
  3. 請求項１に記載の入力装置において、
    前記制御部は、前記手の動き以降の動きが、所定の速度以上の速さで動き続けなくなった場合には、前記映像信号処理部において、前記速度や方向に従った前記所定の映像信号が出力し始めてから所定の期間を経過した後に、前記動き検出部が検出する次の動きに従った映像信号を出力させることを特徴とする入力装置。
  4. 所定の動き情報が入力される入力部と、
    前記入力部により入力された動き情報の動きが所定の速度以上の速さで特定の方向に動いた手の動きであった場合に前記速度や方向に従い所定の映像信号を出力する映像信号処理部と、
    前記手の動き以降の動きが、手を特定の方向に沿って振り続ける動きであり、前記所定の速度以上の速さで動き続けている場合は、該手の動き以降の動きの方向に関係なく、前記速度や方向に従った前記所定の映像信号の出力を継続させるように前記映像信号処理部を制御する制御部とを備えることを特徴とする入力装置。
  5. 請求項４に記載の入力装置において、
    前記制御部は、前記手の動き以降の動きが、所定の速度以上の速さで動き続けなくなった場合には、前記映像信号処理部において、前記速度や方向に従った前記所定の映像信号が出力し終わってから、前記入力部が入力する次の動き情報に従った映像信号を出力させることを特徴とする入力装置。
  6. 請求項４に記載の入力装置において、
    前記制御部は、前記手の動き以降の動きが、所定の速度以上の速さで動き続けなくなった場合には、前記映像信号処理部において、前記速度や方向に従った前記所定の映像信号が出力し始めてから所定の期間を経過した後に、前記入力部が入力する次の動き情報に従った映像信号を出力させることを特徴とする入力装置。
JP2008249510A 2008-09-29 2008-09-29 入力装置 Active JP5183398B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008249510A JP5183398B2 (ja) 2008-09-29 2008-09-29 入力装置
CN201210247928.0A CN102981610B (zh) 2008-09-29 2009-05-18 输入装置
CN2009101416102A CN101714025B (zh) 2008-09-29 2009-05-18 输入装置
US12/481,739 US20100079677A1 (en) 2008-09-29 2009-06-10 Input Apparatus
US13/523,672 US8667426B2 (en) 2008-09-29 2012-06-14 Input apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008249510A JP5183398B2 (ja) 2008-09-29 2008-09-29 入力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013002214A Division JP5386645B2 (ja) 2013-01-10 2013-01-10 入力方法

Publications (2)

Publication Number Publication Date
JP2010079771A JP2010079771A (ja) 2010-04-08
JP5183398B2 true JP5183398B2 (ja) 2013-04-17

Family

ID=42057069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008249510A Active JP5183398B2 (ja) 2008-09-29 2008-09-29 入力装置

Country Status (3)

Country Link
US (2) US20100079677A1 (ja)
JP (1) JP5183398B2 (ja)
CN (2) CN102981610B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081466A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 操作制御装置及び操作表示方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569613B2 (ja) 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2012033059A (ja) 2010-07-30 2012-02-16 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
TW201220174A (en) * 2010-11-15 2012-05-16 Ind Tech Res Inst Graphical user interface in multimedia apparatus and graphic object browsing method and system thereof
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
TW201222429A (en) * 2010-11-23 2012-06-01 Inventec Corp Web camera device and operating method thereof
JP5439347B2 (ja) * 2010-12-06 2014-03-12 日立コンシューマエレクトロニクス株式会社 操作制御装置
JP5653206B2 (ja) * 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
KR101858531B1 (ko) * 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
JP2012215963A (ja) 2011-03-31 2012-11-08 Hitachi Consumer Electronics Co Ltd 映像表示装置
JP5482740B2 (ja) * 2011-07-11 2014-05-07 コニカミノルタ株式会社 プレゼンテーションシステム、プレゼンテーション装置およびプログラム
JP5701714B2 (ja) * 2011-08-05 2015-04-15 株式会社東芝 ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム
JP2013069224A (ja) * 2011-09-26 2013-04-18 Sony Corp 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
CN103218035B (zh) * 2012-01-19 2016-10-05 联想(北京)有限公司 一种手势输入方法及电子设备
TWI476706B (zh) * 2012-04-30 2015-03-11 Pixart Imaging Inc 偵測物件移動輸出命令的方法及其系統
CN109508091A (zh) * 2012-07-06 2019-03-22 原相科技股份有限公司 输入***
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
US10120540B2 (en) * 2013-03-14 2018-11-06 Samsung Electronics Co., Ltd. Visual feedback for user interface navigation on television system
JP6033431B2 (ja) * 2013-06-26 2016-11-30 楽天株式会社 情報処理方法、情報処理装置、及び情報処理プログラム
CN103488294B (zh) * 2013-09-12 2016-08-17 华南理工大学 一种基于用户交互习惯的非接触手势控制映射调整方法
CN104679230B (zh) * 2013-12-03 2018-05-18 华为终端（东莞）有限公司 一种非接触式输入信息的方法及终端
CN104679400B (zh) * 2013-12-03 2018-02-06 华为终端（东莞）有限公司 一种非接触式输入信息的方法及终端
US9959351B2 (en) 2014-06-09 2018-05-01 Ebay Inc. Systems and methods to identify values for a selected filter
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
CN104182132B (zh) * 2014-08-07 2017-11-14 天津三星电子有限公司 一种智能终端手势控制方法及智能终端
USD765692S1 (en) * 2014-08-25 2016-09-06 Ebay Inc. Portion of a display with a graphical user interface
CN105516815A (zh) * 2014-09-25 2016-04-20 冠捷投资有限公司 使用者通过动作控制显示装置的操作界面的方法
CN104777900A (zh) * 2015-03-12 2015-07-15 广东威法科技发展有限公司 一种基于手势趋势的图形界面响应方法
CN106484104A (zh) * 2016-09-19 2017-03-08 深圳市金立通信设备有限公司 一种应用程序的运行方法及终端
USD845337S1 (en) 2017-12-01 2019-04-09 Nasdaq, Inc. Display screen or portion thereof with animated graphical user interface
JP2019021338A (ja) * 2018-10-04 2019-02-07 株式会社三菱Ｕｆｊ銀行 情報処理装置
CN110865748A (zh) * 2019-11-13 2020-03-06 北京无限光场科技有限公司 菜单呈现方法、装置、电子设备及计算机可读存储介质
CN114198555A (zh) * 2020-09-02 2022-03-18 林世轩 水龙头供水装置及感应式供水装置
US11693551B2 (en) * 2021-05-21 2023-07-04 Huawei Technologies Co., Ltd. Methods and systems for providing feedback for multi-precision mid-air gestures on a gesture-controlled device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JPH1185369A (ja) * 1997-09-11 1999-03-30 Toshiba Corp 命令指示装置、命令指示方法、自動取引装置、自動取引方法
JP3144400B2 (ja) 1998-11-13 2001-03-12 日本電気株式会社 ジェスチャ認識装置及び方法
JP4172793B2 (ja) * 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
KR20060118195A (ko) * 2005-05-16 2006-11-23 삼성전자주식회사 영상 입력부를 구비한 휴대용 단말기에서 영상을입력신호로 인식하는 장치 및 방법
JP2007072564A (ja) * 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
JP2007310914A (ja) * 2007-08-31 2007-11-29 Nippon Telegr & Teleph Corp <Ntt> マウス代替方法、マウス代替プログラム、および記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081466A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 操作制御装置及び操作表示方法

Also Published As

Publication number Publication date
US20100079677A1 (en) 2010-04-01
JP2010079771A (ja) 2010-04-08
CN101714025A (zh) 2010-05-26
CN102981610A (zh) 2013-03-20
CN101714025B (zh) 2012-09-05
US8667426B2 (en) 2014-03-04
CN102981610B (zh) 2016-01-13
US20120249767A1 (en) 2012-10-04

Similar Documents

Publication Publication Date Title
JP5183398B2 (ja) 入力装置
JP5256109B2 (ja) 表示装置
US8693732B2 (en) Computer vision gesture based control of a device
JP5205195B2 (ja) 操作方法
JP5014848B2 (ja) 映像パターンを利用したポインティング入力装置、方法、およびシステム
US9405373B2 (en) Recognition apparatus
JP5386645B2 (ja) 入力方法
JP5581817B2 (ja) 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
CN103797513A (zh) 对内容的基于计算机视觉的双手控制
JP2011081469A (ja) 入力装置
JP2009042796A (ja) ジェスチャー入力装置および方法
US20140053115A1 (en) Computer vision gesture based control of a device
JP5921981B2 (ja) 映像表示装置および映像表示方法
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
US20130293460A1 (en) Computer vision based control of an icon on a display
JP2004078977A (ja) インターフェイス装置
JP2012027515A (ja) 入力方法及び入力装置
WO2015091638A1 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit.
JP2015135572A (ja) 情報処理装置とその制御方法
JP2006268212A (ja) 命令入力装置
WO2016051521A1 (ja) 画面操作装置及び画面操作方法
TW201419051A (zh) 電腦遙控系統及方法
JP6083908B1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6400110B2 (ja) カーソル制御装置及びカーソル制御方法
JP2012063805A (ja) 入力装置及び入力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130115

R151 Written notification of patent or utility model registration

Ref document number: 5183398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250