JPH07141101A - 画像を用いた入力システム - Google Patents

画像を用いた入力システム

Info

Publication number
JPH07141101A
JPH07141101A JP5290699A JP29069993A JPH07141101A JP H07141101 A JPH07141101 A JP H07141101A JP 5290699 A JP5290699 A JP 5290699A JP 29069993 A JP29069993 A JP 29069993A JP H07141101 A JPH07141101 A JP H07141101A
Authority
JP
Japan
Prior art keywords
image
image pickup
output
input system
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5290699A
Other languages
English (en)
Other versions
JP3419050B2 (ja
Inventor
Noriyuki Iura
則行 井浦
Yoshimichi Kudo
善道 工藤
Kenji Ichige
健志 市毛
Naoki Yamamoto
直樹 山本
Takuya Imaide
宅哉 今出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP29069993A priority Critical patent/JP3419050B2/ja
Priority to US08/343,962 priority patent/US5617312A/en
Publication of JPH07141101A publication Critical patent/JPH07141101A/ja
Application granted granted Critical
Publication of JP3419050B2 publication Critical patent/JP3419050B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【目的】 コンピュータ機器において、従来用いられて
いるマウス等の入力機器の代わりに、画像抽出機能を有
するビデオカメラを用いて、操作性の良い入力システム
を構築すること。 【構成】 画像認識及び抽出機能を有するビデオカメラ
を用いて、人間の動き情報をコンピュータ機器に入力
し、その情報を基にコンピュータ機器を制御する。ま
た、特定の物体から出力される光を上記ビデオカメラが
検出し、コンピュータ機器を制御する。 【効果】 コンピュータ機器において、従来用いられて
いるマウス等の入力機器を介すること無く、人間の意志
をコンピュータ機器に認識させることができ、人間にと
って操作性に優れた入力システムを提供することができ
る。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、コンピュータ機器への
入力装置に係り、特に、ビデオカメラを用いコンピュー
タ機器と人間とのインタフェイスを良好に行なうための
画像を用いた入力システムに関する。
【０００２】
【従来の技術】パーソナルコンピュータ（以下ＰＣと呼
ぶ）やワークステーション（以下ＷＳと呼ぶ）またはゲ
ーム機器等において、人間とこれらの機器とのインタフ
ェイスつまり入力装置としては、マウス，キーボード，
トラックボール，ジョイスティック等があげられが、最
近は、ＰＣやＷＳへの入力手段としてマウスを用いるこ
とが多くなっている。
【０００３】マウスを用いたＰＣやＷＳの操作例とし
て、アイコン（ｉｃｏｎ；ディスプレイ上に表示される
特定の処理や指令等を象徴化した絵文字などの領域）を
クリックする操作（対象を指定するためマウスの所定ボ
タンをプッシュする操作）があり、アイコンをクリック
する場合には、まず現在画面上に置かれているカーソル
の位置を所望のアイコンのある位置まで移動させる必要
がある。そこで、人間は右手にマウスを持ち机等の平面
の上でマウスを移動させる。このときマウスは、移動量
を垂直方向の移動量と水平方向の移動量に分解し、垂直
／水平の各々の移動量をＰＣやＷＳに出力する。そし
て、画面上のカーソルの位置は、マウスから与えられる
垂直／水平の移動量に応じて移動する。
【０００４】
【発明が解決しようとする課題】しかし、以下に示す問
題から、マウスを代表とする上記した入力装置は、必ず
しも完全な入力装置とはいえない。 マウス等を代表とする入力装置を用いるということ
は、人間の意志を直接コンピュータ機器に認識させるの
ではない。つまり人間の意志は、マウス等の入力機器を
通して間接的にコンピュータ機器に伝わるので、完全な
マン／マシンインタフェイスであるとは言えない。 マウスを用いる時、机上にマウスを操作するに十分な
スペースが必要である。ところが、コンピュータ機器を
人間が操作する時には、操作に必要な資料や書類を机上
に展開していることが多く、マウスを使用するために、
これらを避けてそれ相応のスペースを机上に確保しなけ
ればならない。
【０００５】一方、最近では画像取り込み機能を有する
ＰＣやＷＳが数多く市販されており、中にはビデオカメ
ラを装備した製品すらある。よって今後、ＰＣやＷＳ等
のコンピュータ機器とビデオカメラとの関係は、より一
層深いものになっていくと思われる。しかし、現在のＰ
ＣやＷＳ等のコンピュータ機器は、ビデオカメラから出
力される映像信号を、単なる画像データとして取り扱っ
ているに過ぎないのが現状である。
【０００６】本発明は上記の点に鑑みなされたもので、
その目的とするところは、コンピュータ機器において従
来用いられているマウス等の入力機器を操作することな
く（入力操作用のツールを手動操作することなく）、画
像抽出機能を有するビデオカメラを用いることによっ
て、人間の意志を直接コンピュータ機器に認識させ得
る、操作性の良い入力システムを提供することにある。
【０００７】
【課題を解決するための手段】本発明による画像を用い
た入力システムは、上記した目的を達成するため、画像
データを生成出力するビデオカメラをマウス等の入力装
置の代わりに用いる。そして、ビデオカメラは、人間の
手や手に持った特定の物体、または体の一部分等の任意
の部位が存在する位置を画像抽出の手段を用いて判定
し、その位置情報をコンピュータ機器に出力するよう
に、構成される。
【０００８】
【作用】上記ビデオカメラを用いた入力動作は、従来の
マウス等の入力装置を用いた場合と異なり、見掛け上で
はあるが、人間の意志を直接コンピュータ機器に認識さ
せることが出来る。また、マウス等の入力装置の代わり
のビデオカメラを、ＰＣやＷＳと一体化、若しくはディ
スプレイ上に設置等すれば、机上に余計な物を置く必要
が無くなる。
【０００９】
【実施例】以下、本発明の各実施例を図を用いて説明す
る。図１は本発明の第１実施例に係る画像を用いた入力
システムの構成図である。図１において、１０１はレン
ズ、１０２は撮像素子、１０３はアンプ、１０４はＡ／
Ｄ変換器、１０５は映像信号処理回路、１０６は画像抽
出回路、１０７はマイクロコンピュータ、１０８は上記
１０１から１０７までを有する撮像装置とＰＣやＷＳ等
とを接続するための通信線、１０９はＰＣやＷＳ等のコ
ンピュータ機器である。
【００１０】上記１０１から１０７までを有する撮像装
置とコンピュータ機器１０９とを接続し、実際に使用す
る場合の構成図を図２に示す。図２において、２０１は
上記１０１から１０７までを有する撮像装置、２０２は
コンピュータ機器１０９のディスプレイ、２０３はディ
スプレイ２０２上にあるアイコン、２０４はディスプレ
イ２０２上にあるカーソル、２０５はコンピュータ機器
１０９のキーボード、２０６はコンピュータ機器１０９
を操作する人間（オペレータ）である。
【００１１】ここで、本実施例におけるＰＣやＷＳ等の
コンピュータ機器１０９の操作手法を説明する前に、従
来のマウスを用いてアイコンをクリックする操作を、図
３によって説明する。
【００１２】図３は、一般的なＰＣの構成を示すブロッ
ク図である。同図は、図２と共通する部分があるので、
共通部分には同じ番号を付け、異なる部分のみ説明す
る。図３において３０１はマウスである。アイコン２０
３をクリックする場合には、まずカーソル２０４の位置
をアイコン２０３のある位置まで移動させる必要があ
る。 そこで、人間２０６は右手にマウス３０１を持
ち、机等の平面の上でマウス３０１を移動させる。この
時マウス３０１は、移動量を垂直方向の移動量と水平方
向の移動量に分解し、垂直／水平の各々の移動量をコン
ピュータ機器１０９に出力する。カーソル２０４の位置
は、マウス３０１から与えられる垂直／水平の移動量に
応じて移動する。以上の動作でカーソル２０４を所望の
アイコン２０３上に移動させた後、マウス３０１のクリ
ックボタンを押し、アイコン２０３をクリックする。
【００１３】次に、マウスの代わりに撮像装置を用いて
所望するアイコン上にカーソルを移動させる操作、及び
これに引き続いて行われる、アイコンをクリックする操
作を説明する。上記した通りに、カーソル２０４を動か
すには、コンピュータ機器１０９に垂直／水平の各々の
移動量を与えなければならない。本発明では、コンピュ
ータ機器１０９に垂直／水平の各々の移動量を与える手
段として、撮像装置２０１を用いている。
【００１４】以下、本発明の第１実施例における撮像装
置２０１の動作を説明する。レンズ１０１を通して撮像
素子１０２に入射した光は、撮像素子１０２で光電変換
される。このとき、撮像装置２０１は、人間２０６を撮
像している事とする。撮像素子１０２で光電変換された
信号は、アンプ１０３で増幅され、Ａ／Ｄ変換器１０４
に入力される。Ａ／Ｄ変換器１０４は、入力されたアナ
ログ信号をディジタル信号に変換し、変換したディジタ
ル信号を映像信号処理回路１０５に出力する。映像信号
処理回路１０５に入力された信号は、γ補正等の公知の
処理を施され、映像信号に変換される。映像信号処理回
路１０５で変換された映像信号は、画像抽出回路１０６
に出力される。画像抽出回路１０６は、例えば、あらか
じめ設定してあるデータを基に人間２０６の手の部分を
抽出する（なお、このような画像抽出手法は、例えば、
１９９３年テレビジョン学会年次大会講演予稿集９３頁
〜９４頁に記載の「逐次成長法による画像抽出の一検
討」に示されているので、必要とあれば参照された
い）。ここで、上記のあらかじめ設定してあるデータと
は、輝度情報や色彩情報や形状情報等を指し、何れかに
よって人間２０６の手の部分を表す数値のことである。
また、図示していないが、撮像装置２０１は上記データ
を記憶保持する手段を有し、このデータは任意に書換え
が可能とされている。
【００１５】図４は、撮像装置２０１が撮像した画面の
１例を表す図であり、同図において、４０１は代表ポイ
ントである。また図５は、図４中の抽出物体である人間
２０６の手の部分の拡大図であり、同図において、５０
１は抽出物体の重心、５０２は抽出物体の先端である。
【００１６】図５に示した本例においては、画像抽出回
路１０６は、抽出した人間２０６の手の部分から（手指
を全て開いた状態の手の部分から）、代表ポイント４０
１を決定し、その垂直及び水平座標をマイクロコンピュ
ータ１０７に出力する。上記代表ポイント４０１は、抽
出した人間２０６の手の部分の重心５０１や先端５０２
等、抽出部分中の任意の１ヶ所を選択する。また、ここ
でいう垂直座標とは、画面の上から何ライン目に代表ポ
イント４０１があるかを指し、水平座標とは、画面の左
から何画素目に代表ポイント４０１があるかを指してい
る。いま仮に、図４，図５に示す位置に人間２０６の手
の部分があり、手の部分の重心５０１が代表ポイント４
０１とされている場合には、代表ポイント４０１の垂直
座標は「Ｎ＋４」、水平座標は「Ｍ＋２」となる。な
お、上記垂直及び水平座標は、ライン数や画素にかかわ
らず画面を縦横任意の数に分割して表わすようにしても
良い。
【００１７】画像抽出回路１０６は、上記したようにし
て抽出した人間２０６の手の代表ポイント４０１の座標
を、マイクロコンピュータ１０７に出力する。マイクロ
コンピュータ１０７は、画像抽出回路１０６が一つ前に
出力した位置座標と現在出力した位置座標との差分を演
算し、移動量をコンピュータ機器１０９が認識できる信
号フォーマット、つまり、マウス３０１が出力する信号
フォーマットと同様の信号フォーマットに変換する。
【００１８】なお、マイクロコンピュータ１０７は、マ
ウス３０１が位置座標を直接出力する機器であった場合
には、画像抽出回路１０６が出力する位置座標を、上記
信号フォーマットに直接変換しても良い。
【００１９】図示していないがマイクロコンピュータ１
０７は、入出力ポートを有しており、この入出力ポート
に接続された信号線１０８を介して、コンピュータ機器
１０９に、マウスの出力する信号フォーマットと同様の
信号フォーマットで位置情報（移動量または位置座標の
情報）を出力する。これによって、コンピュータ機器１
０９は、入力された位置情報に基づきカーソル２０４を
所定の場所へ移動させる。
【００２０】しかし、撮像装置２０１は、人間２０６と
対面しているため、人間２０６との左右関係が逆になっ
てしまう。そこで、マイクロコンピュータ１０７は、画
像抽出回路１０６から与えられる位置座標のうち、水平
方向の座標を反転させてコンピュータ機器１０９に出力
する。なお、マイクロコンピュータ１０７が行なう左右
反転処理動作は、コンピュータ機器１０９で行なっても
良い。
【００２１】上記したような手法で、所望のアイコン２
０３上にカーソル２０４を移動させたら、アイコン２０
３を選択する事をコンピュータ機器１０９に認識させる
ため、クリックの操作を行う。本実施例では図示してい
ないが、例えば、キーボード２０５にマウス３０１のク
リックキーと同じ働きをするキーを具備させ、そのキー
を押すことでクリック動作を行なわせるようになってい
る。
【００２２】このクリック動作のための操作は、撮像装
置２０１によって行わせることも可能で、例えば、所望
のアイコン２０３上にカーソル２０４を移動させた後、
前記したカーソル２０４移動用の抽出画像（ここでは、
人間２０６の開いた手）以外に、アイコンクリック（指
定アイコンの確定）を表わす特定画像、例えばカーソル
２０４移動用以外の握った形の手等々を、撮像装置２０
１の画像抽出回路１０６で抽出・識別させることによっ
て、マイクロコンピュータ１０７からクリック操作を示
す信号をコンピュータ機器１０９に出力させることもで
きる。
【００２３】なお、本実施例においては図１に示した様
に、撮像装置２０１の映像信号処理回路１０５は、ディ
ジタル映像信号をコンピュータ機器１０９に出力可能と
なっていて、したがって撮像装置２０１は、一般的な画
像データ供給ソースの一つとも用いることが可能なよう
に構成されている。
【００２４】以上のように本実施例によれば、マウス等
の入力機器を介すること無く、直接人間がコンピュータ
機器に命令を入力することが出来る。
【００２５】次に、本発明の第２実施例を説明する。図
６は本発明の第２実施例に係る画像を用いた入力システ
ムの構成図である。同図は、図１と共通する部分があ
り、同じ動作をするものには同じ番号を付け、その説明
は重複を避けるため省略する。図６において、６０１は
画像抽出回路、６０２はマイクロコンピュータ、６０３
は、１０１から１０５及び６０１から６０２までを有す
る撮像装置に撮像される目的で、画像抽出回路６０１が
抽出可能な物体である。
【００２６】１０１から１０５及び６０１から６０２ま
でを有する撮像装置とコンピュータ機器１０９とを接続
し、実際に使用する場合の構成図を図７に示す。図７に
おいて、７０１は１０１から１０５及び６０１から６０
２までを有する撮像装置、７０２はコンピュータ機器１
０９のディスプレイ、７０３はディスプレイ７０２上に
あるアイコン、７０４はディスプレイ７０２上にあるカ
ーソル、７０５はコンピュータ機器１０９のキーボー
ド、７０６はコンピュータ機器１０９を操作する人間で
ある。
【００２７】また、上記物体６０３の具体例を図８に示
す。同図において、８０１は発光素子、８０２は発光素
子８０１の明滅を制御するスイッチである。なお、本実
施例における物体６０３には、筆記具としての機能も具
備されている。そして、物体６０３は、図７に示したと
おり人間７０６が手に持つようになっている。
【００２８】続いて、本実施例によるアイコン上にカー
ソルを移動させる操作、及びこれに引き続いて行われ
る、アイコンをクリックする操作について説明する。
【００２９】図９の（ａ）は、撮像装置７０１が撮像し
た画面を表す図であり、同図において９０１は代表ポイ
ントである。また、図９の（ｂ）は、図９の（ａ）中の
抽出物体である物体６０３部分の拡大図である。
【００３０】画像抽出回路６０１は、抽出した物体６０
３の部分から、代表ポイント９０１を決定し、その垂直
及び水平座標をマイクロコンピュータ６０２に出力す
る。本実施例では、代表ポイント９０１は、抽出した物
体６０３部分の先端が選択される。また、ここでいう垂
直及び水平座標とは、前述の第１実施例と同様のもので
ある。
【００３１】画像抽出回路６０１は、抽出した物体６０
３の代表ポイント９０１の座標を、マイクロコンピュー
タ６０２に出力する。マイクロコンピュータ６０２は、
画像抽出回路６０１が一つ前に出力した位置座標と現在
出力した位置座標との差分を演算し、移動量をコンピュ
ータ機器１０９が認識できる信号フォーマット、つまり
マウス３０１が出力する信号フォーマットと同様の信号
フォーマットに変換する。なお先にも述べたように、マ
イクロコンピュータ６０２は、マウス３０１が位置座標
を直接出力する機器であった場合には、画像抽出回路６
０１が出力する位置座標を、上記信号フォーマットに直
接変換しても良い。
【００３２】前記第１実施例と同様に、図示していない
がマイクロコンピュータ６０２は、入出力ポートを有し
ており、この入出力ポートに接続された信号線１０８を
介して、コンピュータ機器１０９に、マウスの出力する
信号フォーマットと同様の信号フォーマットで位置情報
（移動量または位置座標の情報）を出力する。これによ
って、コンピュータ機器１０９は、入力された位置情報
に基づきカーソル７０４を所定の場所へ移動させる。し
かし、撮像装置７０１は、人間７０６と対面しているた
め、人間７０６との左右関係が逆になってしまう。そこ
で本実施例でも、マイクロコンピュータ６０２は、画像
抽出回路６０１から与えられる位置座標のうち、水平方
向の座標を反転させてコンピュータ機器１０９に出力す
る（このマイクロコンピュータ６０２が行なう左右反転
処理動作は、コンピュータ機器１０９で行なっても良
い）。
【００３３】上記した動作で、所望するアイコン７０３
上にカーソル７０４を移動させたら、アイコン７０３を
選択する事をコンピュータ機器１０９に認識させるた
め、クリックの操作を行う。以下、クリックの動作を説
明する。
【００３４】上記した様に画像抽出回路６０１は、物体
６０３を抽出し、物体６０３の撮像画面中における位置
を算出する機能を有するが、もう一つの機能として、物
体６０１の有する発光素子８０１から出力される光を認
識する機能も有する。画像抽出回路６０１は、物体６０
３の画面中における位置を出力し、また、上記光が撮像
画面中に存在するとき、何らかの信号をマイクロコンピ
ュータ６０２に出力する。マイクロコンピュータ６０２
は、画像抽出回路６０１から入力される上記信号をコン
ピュータ機器１０９が認識できる信号フォーマット、つ
まりマウス３０１が、そのクリックボタンを押されたと
きに出力する信号と等価の信号フォーマットに変換す
る。そして、マイクロコンピュータ６０２の入出力ポー
トに接続された信号線１０８を介して、コンピュータ機
器１０９に上記クリック操作を示す信号を出力する。
【００３５】なお、本実施例においても図６に示した様
に、撮像装置７０１の映像信号処理回路１０５は、ディ
ジタル映像信号をコンピュータ機器１０９に出力可能と
なっていて、したがって撮像装置７０１は、一般的な画
像データ供給ソースの一つとも用いることが可能なよう
に構成されている。
【００３６】以上のように本実施例においても、前述の
第１実施例と同様、マウス等の入力機器を介すること無
く、直接人間がコンピュータ機器に命令を入力すること
が出来る。
【００３７】次に、本発明の第３実施例を説明する。図
１０は本発明の第３実施例に係る画像を用いた入力シス
テムの構成図である。同図は、図１と共通する部分があ
り、同じ動作をするものには同じ番号を付け、その説明
は重複を避けるため省略する。図１０において、１００
１は人間、１００２はゲーム機器、１００３は画像抽出
回路、１００４はマイクロコンピュータである。
【００３８】１０１から１０５及び１００３から１００
４までを有する撮像装置とゲーム機器１００２とを接続
し、実際に使用する場合の構成図を図１１に示す。図１
１において、１１０１は１０１から１０５及び１００３
から１００４までを有する撮像装置、１１０２はテレビ
画面、１１０３はテレビ画面１１０２上のキャラクタで
ある。本実施例は、ゲーム機器において、キャラクタを
動かす場合に適用される。
【００３９】まず、本実施例の動作説明に先立ち、従来
のゲーム機器の操作について説明する。図１２は、従来
のゲーム機器のコントローラの１例である。同図におい
て、１２０１は方向選択ボタン、１２０２はＡボタン、
１２０３はＢボタンである。従来のゲーム機器は、キャ
ラクタを動かす為にコントローラを操作する。例えば、
キャラクタにパンチの動作をさせる場合には、コントロ
ーラのＡボタン１２０２を押す。つまり、パンチすると
いう意志を、Ａボタン１２０２を押すことでゲーム機器
１００２に認識させる。このときのキャラクタの動作
は、誰が行なっても全く同じに行なわれる。したがっ
て、ゲームの上手下手は、いかにＡボタン１２０２など
をタイミング良く押すかで決まる。
【００４０】次に、本実施例においてキャラクタにパン
チの動作を行なわせる動作を説明する。図１３は、撮像
装置１１０１が撮像した画面である。同図において、１
３０１は頭、１３０２は手、１３０３は足、１３０４は
頭検出エリア、１３０５は手検出エリア、１３０６は足
検出エリアである。画像抽出回路１００３は、図１３に
示す撮像画面中から、頭１３０１と手１３０２及び足１
３０３を抽出し、各々の先端を代表ポイントにして、画
面中の代表ポイントの位置座標をマイクロコンピュータ
１００４に出力する。マイクロコンピュータ１００４
は、画像抽出回路１００３から与えられる各々の位置座
標から、手１３０２の代表ポイントの存在する位置が、
手検出エリア１３０５中に有るか無いかを判定する。こ
の時、手１３０２の代表ポイントが手検出エリア１３０
５の外にある場合は、キャラクタ１１０３の手も下がっ
た状態（初期状態）である。その後、手１３０２の代表
ポイントが手検出エリア１３０５の中に入ったら（人間
１００１がパンチの動作をしたら）、マイクロコンピュ
ータ１００４は、パンチの動作をゲーム機器１００２に
認識させるために、ゲーム機器１００２が認識できる信
号フォーマット、つまりＡボタン１２０２が押されたと
きに従来のコントローラが出力する信号と同様の信号フ
ォーマットに変換し、ゲーム機器１００２に出力する。
これにより、ゲーム機器１００２は、入力された信号に
基づきキャラクタ１１０３にパンチの動作を行なわせ
る。
【００４１】ここで本実施例では、パンチの動作のみを
代表して説明をしたが、上記方法を応用すれば、キッ
ク，ジャンプ，しゃがみ込む等といった動作をキャラク
タ１１０３に行なわせる事が可能であり、実際に自分の
体を動かしてキャラクタ１１０３の動きをコントロール
しているので、よりリアリティーの有るゲームシステム
を構築する事ができる。
【００４２】
【発明の効果】以上のように本発明によれば、コンピュ
ータ機器等を用いたシステムにおいて、従来用いられて
いるマウス等の入力機器を介すること無く（入力操作用
のツールを手動操作することなく）、人間の意志をコン
ピュータ機器に認識させることができ、人間にとって操
作性に優れた入力装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る入力システムの構成
を示すブロック図である。
【図２】本発明の第１実施例に係る機器の構成等を示す
説明図である。
【図３】従来のアイコンのクリック手法を示す説明図で
ある。
【図４】本発明の第１実施例によって得られる撮像画像
の１例を示す説明図である。
【図５】図５の撮像画像の要部拡大図である。
【図６】本発明の第２実施例に係る入力システムの構成
を示すブロック図である。
【図７】本発明の第２実施例に係る機器の構成等を示す
説明図である。
【図８】本発明の第２実施例で用いられる抽出物体の具
体例を示す説明図である。
【図９】本発明の第２実施例によって得られる撮像画像
の１例を示す説明図である。
【図１０】本発明の第３実施例に係る入力システムの構
成を示すブロック図である。
【図１１】本発明の第３実施例に係る機器の構成等を示
す説明図である。
【図１２】従来のゲーム機器の入力操作用のコントロー
ラの具体例を示す説明図である。
【図１３】本発明の第３実施例によって得られる撮像画
像の１例を示す説明図である。
【符号の説明】
１０１ レンズ １０２ 撮像素子 １０３ アンプ １０４ Ａ／Ｄ変換器 １０５ 映像信号処理回路 １０６ 画像抽出回路 １０７ マイクロコンピュータ １０８ 通信線 １０９ コンピュータ機器 ２０１ 撮像装置 ２０２ ディスプレイ ２０３ アイコン ２０４ カーソル ２０５ キーボード ２０６ 人間 ３０１ マウス ４０１ 代表ポイント ５０１ 重心 ５０２ 先端 ６０１ 画像抽出回路 ６０２ マイクロコンピュータ ６０３ 物体 ７０１ 撮像装置 ７０２ ディスプレイ ７０３ アイコン ７０４ カーソル ７０５ キーボード ７０６ 人間 ８０１ 発光素子 ８０２ スイッチ ９０１ 代表ポイント １００１ 人間 １００２ ゲーム機器 １００３ 画像抽出回路 １００４ マイクロコンピュータ １１０１ 撮像装置 １１０２ テレビ画面 １１０３ キャラクタ １２０１ 方向選択ボタン １２０２ Ａボタン １２０３ Ｂボタン １３０１ 頭 １３０２ 手 １３０３ 足 １３０４ 頭検出エリア １３０５ 手検出エリア １３０６ 足検出エリア
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 直樹 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内 (72)発明者 今出 宅哉 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 物体を撮像し映像信号を生成する撮像手
    段と、該撮像手段より出力される映像信号中より任意の
    物体を抽出する画像抽出手段と、該画像抽出手段で抽出
    した物体の位置情報を出力する通信手段とを有する撮像
    装置を用いる入力システムであって、 上記撮像装置をパーソナルコンピュータやワークステー
    ションやゲーム機器等のコンピュータ機器と接続し、上
    記通信手段より出力される位置情報で上記コンピュータ
    機器を制御することを特徴とする画像を用いた入力シス
    テム。
  2. 【請求項２】 請求項１記載において、 上記撮像装置に撮像される目的で上記撮像装置が有する
    画像抽出手段で抽出可能な任意の光を出力することが出
    来る物体を有し、上記画像抽出手段は、上記物体の位置
    情報を演算すると共に、上記物体から出力される任意の
    光の有無を判定し、その情報を上記物体の位置情報と共
    に上記通信手段を介して上記コンピュータ機器に出力
    し、上記通信手段から出力される位置情報と任意の光の
    有無を示す情報とによって上記コンピュータ機器を制御
    することを特徴とする画像を用いた入力システム。
  3. 【請求項３】 物体を撮像し映像信号を生成する撮像手
    段と、該撮像手段より出力される映像信号中より任意の
    物体を抽出する画像抽出手段と、該画像抽出手段で抽出
    した信号の移動量を算出する演算手段と、該演算手段で
    計算された移動量を出力する通信手段とを有する撮像装
    置を用いる入力システムであって、 上記撮像装置をパーソナルコンピュータやワークステー
    ションやゲーム機器等のコンピュータ機器と接続し、上
    記通信手段より出力される移動量情報に基づき上記コン
    ピュータ機器を制御することを特徴とする画像を用いた
    入力システム。
  4. 【請求項４】 請求項３記載において、 上記撮像装置に撮像される目的で上記撮像装置が有する
    画像抽出手段で抽出可能な任意の光を出力することが出
    来る物体を有し、上記画像抽出手段は、上記物体の位置
    情報を演算すると共に、上記物体から出力される任意の
    光の有無を判定し、その情報を上記物体の位置情報と共
    に上記演算手段に出力し、上記演算手段で計算された物
    体の移動量と上記物体から出力される任意の光の有無を
    示す情報とを通信手段を介して上記コンピュータ機器に
    出力し、上記通信手段から出力される移動量情報と任意
    の光の有無を示す情報とによって上記コンピュータ機器
    を制御することを特徴とする画像を用いた入力システ
    ム。
  5. 【請求項５】 人物等の物体を撮像し映像信号を生成す
    る撮像手段と、該撮像手段より出力される映像信号中よ
    り人物の手や足等の人体の任意の部分を抽出する画像抽
    出手段と、該画像抽出手段より出力される手や足等の人
    体の任意の部分の位置情報を基に人体の任意の部分の移
    動量を計算する演算手段と、該演算手段より得られる情
    報を出力する通信手段とを有する撮像装置を用いる入力
    システムであって、 上記撮像装置をゲーム機器等のコンピュータ機器と接続
    し、該ゲーム機器等のコンピュータ機器を、上記通信手
    段から出力される手や足等の人体の任意の部分の移動量
    に応じて制御することを特徴とする画像を用いた入力シ
    ステム。
  6. 【請求項６】 人物等の物体を撮像し映像信号を生成す
    る撮像手段と、該撮像手段より出力される映像信号中よ
    り人物の手や足等の人体の任意の部分を抽出する画像抽
    出手段と、該画像抽出手段より出力される手や足等の人
    体の任意の部分が、撮像画面中の所定の場所に存在する
    かどうかを判定し、上記所定の場所に手や足等の人体の
    任意の部分が存在している場合に信号を出力する検出手
    段と、該検出手段より得られる情報を出力する通信手段
    とを有する撮像装置を用いる入力システムであって、 上記撮像装置をゲーム機器等のコンピュータ機器と接続
    し、該ゲーム機器等のコンピュータ機器を、上記通信手
    段から出力される信号に応じて制御することを特徴とす
    る画像を用いた入力システム。
  7. 【請求項７】 請求項１乃至６の何れかに記載におい
    て、 上記通信手段は、上記画像抽出手段から与えられる位置
    情報の水平座標を反転させる事が可能とされたことを特
    徴とする画像を用いた入力システム。
JP29069993A 1993-11-19 1993-11-19 入力装置 Expired - Fee Related JP3419050B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP29069993A JP3419050B2 (ja) 1993-11-19 1993-11-19 入力装置
US08/343,962 US5617312A (en) 1993-11-19 1994-11-18 Computer system that enters control information by means of video camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29069993A JP3419050B2 (ja) 1993-11-19 1993-11-19 入力装置

Publications (2)

Publication Number Publication Date
JPH07141101A true JPH07141101A (ja) 1995-06-02
JP3419050B2 JP3419050B2 (ja) 2003-06-23

Family

ID=17759373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29069993A Expired - Fee Related JP3419050B2 (ja) 1993-11-19 1993-11-19 入力装置

Country Status (2)

Country Link
US (1) US5617312A (ja)
JP (1) JP3419050B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031551A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp ヒューマンインターフェースシステムおよびこれを使用した高速移動物***置検出装置
US6628335B1 (en) 1997-09-05 2003-09-30 Kabushiki Kaisha Toshiba Image capture module and image capture apparatus for inputting shape of object on three dimensional space
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
KR100511044B1 (ko) * 2001-12-26 2005-08-30 이문기 카메라를 이용한 포인팅장치
WO2006043437A1 (ja) * 2004-10-21 2006-04-27 Pioneer Corporation 処理装置及び処理プログラム
JP2007080187A (ja) * 2005-09-16 2007-03-29 Tokai Rika Co Ltd 操作入力装置
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
CN1324437C (zh) * 2004-02-26 2007-07-04 三菱扶桑卡客车公司 手势开关装置
WO2007129432A1 (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc. ゲーム装置
JP2007323660A (ja) * 2007-06-25 2007-12-13 Sony Corp 描画装置、及び描画方法
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2009519552A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント 相互対話的な電子的にシミュレートされた環境の音声および映像制御
JP2010045658A (ja) * 2008-08-14 2010-02-25 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
JP2012040435A (ja) * 2011-11-30 2012-03-01 Sony Computer Entertainment Inc ゲーム装置および仮想オブジェクト制御方法
CN104199548A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、***及方法

Families Citing this family (335)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
IL112513A (en) * 1995-02-01 1999-05-09 Ald Advanced Logistics Dev Ltd System and method for failure reporting and collection
US6950094B2 (en) * 1998-03-30 2005-09-27 Agilent Technologies, Inc Seeing eye mouse for a computer system
US5944530A (en) 1996-08-13 1999-08-31 Ho; Chi Fai Learning method and system that consider a student's concentration level
JP3311259B2 (ja) * 1996-11-29 2002-08-05 キヤノン株式会社 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
KR100278358B1 (ko) * 1997-06-03 2001-01-15 윤종용 카메라 장착장치를 갖는 휴대용 컴퓨터
US5864334A (en) * 1997-06-27 1999-01-26 Compaq Computer Corporation Computer keyboard with switchable typing/cursor control modes
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
WO1999035633A2 (en) * 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US6172354B1 (en) 1998-01-28 2001-01-09 Microsoft Corporation Operator input device
WO1999039302A1 (en) * 1998-01-28 1999-08-05 California Institute Of Technology Camera-based handwriting tracking
JPH11265249A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6531692B1 (en) 1999-03-22 2003-03-11 Microsoft Corporation Optical coupling assembly for image sensing operator input device
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US6538645B1 (en) * 2000-10-26 2003-03-25 Sunplus Technology Co., Ltd. Computer input system utilizing a camera to sense point source
EP1353263A4 (en) * 2000-12-27 2009-01-21 Ntt Docomo Inc METHOD AND DEVICE FOR ENTERING MANUALLY WRITE DATA, AND AUTHENTICATION METHOD AND DEVICE
US6704447B2 (en) * 2001-02-21 2004-03-09 Justsystem Corporation Method and apparatus for using illumination from a display for computer vision based user interfaces and biometric authentication
US8306635B2 (en) 2001-03-07 2012-11-06 Motion Games, Llc Motivation and enhancement of physical and mental exercise, rehabilitation, health and social interaction
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US8508508B2 (en) * 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
IL161002A0 (en) 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) * 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US20060036947A1 (en) * 2004-08-10 2006-02-16 Jelley Kevin W User interface controller method and apparatus for a handheld electronic device
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
KR20080106218A (ko) 2006-02-01 2008-12-04 토비 테크놀로지 에이비 컴퓨터 시스템에서 그래픽 피드백의 생성
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
US8013838B2 (en) 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
KR20100075460A (ko) * 2007-08-30 2010-07-02 넥스트 홀딩스 인코포레이티드 저 프로파일 터치 패널 시스템
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US20090166684A1 (en) * 2007-12-26 2009-07-02 3Dv Systems Ltd. Photogate cmos pixel for 3d cameras having reduced intra-pixel cross talk
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
WO2009137355A2 (en) * 2008-05-06 2009-11-12 Next Holdings, Inc. Systems and methods for resolving multitouch scenarios using software filters
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
TWI366780B (en) * 2008-05-16 2012-06-21 Tatung Co A video based apparatus and method for controlling the cursor
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US8325909B2 (en) 2008-06-25 2012-12-04 Microsoft Corporation Acoustic echo suppression
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8339378B2 (en) * 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
CN101751771B (zh) * 2008-12-09 2012-09-05 联想(北京)有限公司 红外控制装置和方法
US8681321B2 (en) * 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8732623B2 (en) * 2009-02-17 2014-05-20 Microsoft Corporation Web cam based user interaction
US20100229090A1 (en) * 2009-03-05 2010-09-09 Next Holdings Limited Systems and Methods for Interacting With Touch Displays Using Single-Touch and Multi-Touch Gestures
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) * 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9313376B1 (en) 2009-04-01 2016-04-12 Microsoft Technology Licensing, Llc Dynamic depth power equalization
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8660303B2 (en) * 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8693724B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US8509479B2 (en) * 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8264536B2 (en) * 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8330134B2 (en) 2009-09-14 2012-12-11 Microsoft Corporation Optical fault monitoring
US8508919B2 (en) * 2009-09-14 2013-08-13 Microsoft Corporation Separation of electrical and optical components
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8760571B2 (en) * 2009-09-21 2014-06-24 Microsoft Corporation Alignment of lens and image sensor
US8428340B2 (en) * 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US8452087B2 (en) * 2009-09-30 2013-05-28 Microsoft Corporation Image selection techniques
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US20110083108A1 (en) * 2009-10-05 2011-04-07 Microsoft Corporation Providing user interface feedback regarding cursor position on a display screen
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US20110099476A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Decorating a display environment
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110151974A1 (en) * 2009-12-18 2011-06-23 Microsoft Corporation Gesture style recognition and reward
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US8631355B2 (en) 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US9019201B2 (en) * 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8676581B2 (en) 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) * 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8891067B2 (en) 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8499257B2 (en) * 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8928579B2 (en) * 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
CN101783865A (zh) * 2010-02-26 2010-07-21 中山大学 基于数字机顶盒智能化鼠标控制方法及数字机顶盒
US8422769B2 (en) 2010-03-05 2013-04-16 Microsoft Corporation Image segmentation using reduced foreground training data
US8411948B2 (en) 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8655069B2 (en) * 2010-03-05 2014-02-18 Microsoft Corporation Updating image segmentation following user input
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8605763B2 (en) 2010-03-31 2013-12-10 Microsoft Corporation Temperature measurement and control for laser and light-emitting diodes
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US8498481B2 (en) 2010-05-07 2013-07-30 Microsoft Corporation Image segmentation using star-convexity constraints
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US9008355B2 (en) 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8330822B2 (en) 2010-06-09 2012-12-11 Microsoft Corporation Thermally-tuned depth camera light source
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US9789392B1 (en) * 2010-07-09 2017-10-17 Open Invention Network Llc Action or position triggers in a game play mode
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8963836B2 (en) * 2010-09-17 2015-02-24 Tencent Technology (Shenzhen) Company Limited Method and system for gesture-based human-machine interaction and computer-readable medium thereof
US8988508B2 (en) 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8548270B2 (en) 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9484065B2 (en) 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US8592739B2 (en) 2010-11-02 2013-11-26 Microsoft Corporation Detection of configuration changes of an optical element in an illumination system
US8866889B2 (en) 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
US8667519B2 (en) 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US10234545B2 (en) 2010-12-01 2019-03-19 Microsoft Technology Licensing, Llc Light source module
US8553934B2 (en) 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
US8618405B2 (en) 2010-12-09 2013-12-31 Microsoft Corp. Free-space gesture musical instrument digital interface (MIDI) controller
US8408706B2 (en) 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8920241B2 (en) 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US8884968B2 (en) 2010-12-15 2014-11-11 Microsoft Corporation Modeling an object from image data
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8994718B2 (en) 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US8385596B2 (en) 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US9123316B2 (en) 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8724887B2 (en) 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8497838B2 (en) 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8782566B2 (en) 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US9551914B2 (en) 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US9067136B2 (en) 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9470778B2 (en) 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US8824749B2 (en) 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US8503494B2 (en) 2011-04-05 2013-08-06 Microsoft Corporation Thermal management system
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8702507B2 (en) 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
US9259643B2 (en) 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8888331B2 (en) 2011-05-09 2014-11-18 Microsoft Corporation Low inductance light source module
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8526734B2 (en) 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9594430B2 (en) 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US9208571B2 (en) 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
US8597142B2 (en) 2011-06-06 2013-12-03 Microsoft Corporation Dynamic camera based practice mode
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9724600B2 (en) 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
US9557836B2 (en) 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
US8724906B2 (en) 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
US8509545B2 (en) 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US8803800B2 (en) 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8630457B2 (en) 2011-12-15 2014-01-14 Microsoft Corporation Problem states for pose tracking pipeline
US8879831B2 (en) 2011-12-15 2014-11-04 Microsoft Corporation Using high-level attributes to guide image processing
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9342139B2 (en) 2011-12-19 2016-05-17 Microsoft Technology Licensing, Llc Pairing a computing device to a user
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
JP6018707B2 (ja) 2012-06-21 2016-11-02 マイクロソフト コーポレーション デプスカメラを使用するアバター構築
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US8882310B2 (en) 2012-12-10 2014-11-11 Microsoft Corporation Laser die light source module with low inductance
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9704350B1 (en) 2013-03-14 2017-07-11 Harmonix Music Systems, Inc. Musical combat game
US9953213B2 (en) 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
US9654763B2 (en) * 2013-04-02 2017-05-16 Htc Corporation Controlling method of detecting image-capturing gesture
US9749541B2 (en) * 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
US9769459B2 (en) 2013-11-12 2017-09-19 Microsoft Technology Licensing, Llc Power efficient laser diode driver circuit and method
US9508385B2 (en) 2013-11-21 2016-11-29 Microsoft Technology Licensing, Llc Audio-visual project generator
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
US10412280B2 (en) 2016-02-10 2019-09-10 Microsoft Technology Licensing, Llc Camera with light valve over sensor array
JP6702746B2 (ja) * 2016-02-10 2020-06-03 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
US10257932B2 (en) 2016-02-16 2019-04-09 Microsoft Technology Licensing, Llc. Laser diode chip on printed circuit board
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
DE102019215953A1 (de) * 2019-10-16 2021-04-22 E.G.O. Elektro-Gerätebau GmbH Bediensystem für ein Elektrohaushaltsgerät und Bedienverfahren zur Bedienung eines Elektrohaushaltsgeräts

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891630A (en) * 1988-04-22 1990-01-02 Friedman Mark B Computer vision system with improved object orientation technique
JPH0317696A (ja) * 1989-06-14 1991-01-25 Fujitsu Ltd カーソル制御装置
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
US5347371A (en) * 1990-11-29 1994-09-13 Hitachi, Ltd. Video camera with extraction unit for extracting specific portion of video signal
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JPH05183811A (ja) * 1992-01-06 1993-07-23 Nippon Telegr & Teleph Corp <Ntt> テレビ電話機
US5388059A (en) * 1992-12-30 1995-02-07 University Of Maryland Computer vision system for accurate monitoring of object pose
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031551A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp ヒューマンインターフェースシステムおよびこれを使用した高速移動物***置検出装置
US6628335B1 (en) 1997-09-05 2003-09-30 Kabushiki Kaisha Toshiba Image capture module and image capture apparatus for inputting shape of object on three dimensional space
US7042490B2 (en) 1997-09-05 2006-05-09 Kabushiki Kaisha Toshiba Image capture module and image capture apparatus for inputting shape of object on three dimensional space
KR100511044B1 (ko) * 2001-12-26 2005-08-30 이문기 카메라를 이용한 포인팅장치
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
CN1324437C (zh) * 2004-02-26 2007-07-04 三菱扶桑卡客车公司 手势开关装置
JPWO2006043437A1 (ja) * 2004-10-21 2008-08-07 パイオニア株式会社 処理装置及び処理プログラム
WO2006043437A1 (ja) * 2004-10-21 2006-04-27 Pioneer Corporation 処理装置及び処理プログラム
US8054726B2 (en) 2004-10-21 2011-11-08 Pioneer Corporation Processor and processing program
JP4481996B2 (ja) * 2004-10-21 2010-06-16 パイオニア株式会社 処理装置及び処理プログラム
JP2007080187A (ja) * 2005-09-16 2007-03-29 Tokai Rika Co Ltd 操作入力装置
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
JP2009519552A (ja) * 2005-12-12 2009-05-14 株式会社ソニー・コンピュータエンタテインメント 相互対話的な電子的にシミュレートされた環境の音声および映像制御
JP2007296248A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc ゲーム装置
WO2007129432A1 (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc. ゲーム装置
JP2007323660A (ja) * 2007-06-25 2007-12-13 Sony Corp 描画装置、及び描画方法
JP4513830B2 (ja) * 2007-06-25 2010-07-28 ソニー株式会社 描画装置、及び描画方法
US8643598B2 (en) 2007-09-19 2014-02-04 Sony Corporation Image processing apparatus and method, and program therefor
JP2009075685A (ja) * 2007-09-19 2009-04-09 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8896535B2 (en) 2007-09-19 2014-11-25 Sony Corporation Image processing apparatus and method, and program therefor
JP2010045658A (ja) * 2008-08-14 2010-02-25 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
US8237655B2 (en) 2008-08-14 2012-08-07 Sony Corporation Information processing apparatus, method and program
US8698743B2 (en) 2008-08-14 2014-04-15 Sony Corporation Information processing apparatus, method and program
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2012040435A (ja) * 2011-11-30 2012-03-01 Sony Computer Entertainment Inc ゲーム装置および仮想オブジェクト制御方法
CN104199548A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、***及方法

Also Published As

Publication number Publication date
US5617312A (en) 1997-04-01
JP3419050B2 (ja) 2003-06-23

Similar Documents

Publication Publication Date Title
JP3419050B2 (ja) 入力装置
US7215322B2 (en) Input devices for augmented reality applications
JP3114813B2 (ja) 情報入力方法
JP3909554B2 (ja) プレゼンテーション制御システム及びその制御方法
JPH0844490A (ja) インターフェイス装置
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
US20140145941A1 (en) Computer vision gesture based control of a device
EP2352112B1 (en) Remote control system for electronic device and remote control method thereof
US7762672B2 (en) Data presentation apparatus and operation method of terminal
KR20020052217A (ko) 이미지 센서를 이용한 전자 기기
CN103092432A (zh) 人机交互操作指令的触发控制方法和***及激光发射装置
JP2006209563A (ja) インターフェース装置
US20140053115A1 (en) Computer vision gesture based control of a device
JP2004078977A (ja) インターフェイス装置
JP2001236181A (ja) ポインティングデバイス
CN116114250A (zh) 显示设备、人体姿态检测方法及应用
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP2000056916A (ja) ハンドポインティング装置
JPH07160412A (ja) 指示位置検出方法
KR100858138B1 (ko) 원격 포인팅 장치를 이용한 제어 시스템
JP2003099196A (ja) 会議等支援用画像投影装置
CN109144235A (zh) 基于头手协同动作的人机交互方法与***
JP2005148555A (ja) 画像投影表示装置、画像投影表示方法および画像投影表示プログラム
CN101876870A (zh) 显示终端和操作显示画面的方法
KR102023187B1 (ko) 디스플레이 장치에 설치되는 착탈식 터치 패널 장치

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100418

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees