JP2006527443A - 奥行き検出を用いた対象の向きの推定 - Google Patents
奥行き検出を用いた対象の向きの推定 Download PDFInfo
- Publication number
- JP2006527443A JP2006527443A JP2006516618A JP2006516618A JP2006527443A JP 2006527443 A JP2006527443 A JP 2006527443A JP 2006516618 A JP2006516618 A JP 2006516618A JP 2006516618 A JP2006516618 A JP 2006516618A JP 2006527443 A JP2006527443 A JP 2006527443A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- depth
- current
- image
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title description 17
- 238000012549 training Methods 0.000 claims abstract description 86
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000013519 translation Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 78
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000001186 cumulative effect Effects 0.000 claims 1
- 238000013459 approach Methods 0.000 abstract description 14
- 230000036544 posture Effects 0.000 description 87
- 210000003128 head Anatomy 0.000 description 40
- 230000001815 facial effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005206 flow analysis Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 235000019988 mead Nutrition 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
[0001] 本発明は、一般に、リアルタイムコンピュータビジョンに関し、より詳しくは、対象の向きまたは姿勢に関するコンピュータに基づく推定に関する。
[0002] 姿勢の推定は、人間とコンピュータとのインタラクションなどリアルタイムコンピュータビジョンの多くの領域における重要な要素である。例えば、運転者をモニタリングすることにより顔面に表れる多様な手がかりを用いて頭部姿勢を判定し、関連する注意力情報を導出する研究がなされている。運転者補助システムにおいて、運転者の疲労または注意力をモニタリングすることは、安全上の懸念が生じた際に運転者に注意を喚起するために有用である。他のより一般的な人間とコンピュータとのインタラクションの応用では、表示制御、オンライン命令などのような、利用者の注意力に関する情報を必要とする作業のために、頭部姿勢の推定が重要となる。さらに、対象の向きの推定は、例えば、物体同定用や、顔面認識用などの他のマシンビジョンの応用において有用である。
[0010] 運転者などの対象の向きを推定するコンピュータに基づく方法の一実施形態は、タイムオブフライトカメラからの奥行き画像データを用いる。本実施形態によれば、対象を捕捉している奥行き画像のフィードを受ける。奥行き画像は、画像のピクセルに対するピクセル奥行き情報を含む。画像の最初の1セットに基づいて、各画像と対応する向きの尺度との間の相関関係が決定される。前記画像のセットは、特定用途に関する前記対象の1セットの向きを表している。この相関関係は、画像と、その画像の中に捕捉された対象の向きを表す対応する向きの尺度との間の対応を提供する。その後、前記対象の画像のセットと前記相関関係は保存される。前記対象の現在の奥行き画像と保存された画像のセットとの間の外観に基づく比較がなされ、現在の奥行き画像の中に捕捉された対象の現在の向きを表す対応する向きの尺度が、前記相関関係に基づいて決定される。
[0035] 図面および以下の記述は、本発明の好適な実施形態に関するものであるが、あくまで例示に過ぎない。以下の議論を考慮すれば、本明細書に開示された構造および方法の他の実施形態は、請求の範囲に記載されている本発明の原理を逸脱することなく使用しうる実行可能な代案として容易に認識されるであろう。
[0046] 対象の静止画または動画(すなわち、画像または画像ストリーム)に基づき、対象の向きまたは姿勢を推定するために、準備作業として画像内の対象の位置を判定する。運転者の頭部姿勢、例えば、運転者が前方を見ているのか横を向いているのか、を判定するために、車両室内の運転者領域について撮影された画像に基づいて、画像内の運転者の頭部を見つけるために、画像を分析する必要がある。どのピクセルが対象104に対応するかを判定する画像処理は、画像のセグメント化と呼ばれる。セグメント化プロセスは、対象104を表す画像内の「セグメント」を見つける。さらに、向きの推定が、フレームまたは画像のストリームについて実行されるとき、対象の位置はフレーム間で変化しうる。したがって、対象104に対応する画像内の「セグメント」は、向き変化を決定するために、フレームを跨いで追跡する必要がある。このプロセスを追跡(tracking)と呼ぶ。リアルタイムの姿勢または向きの推定システムのために、これら両プロセスが(例えば、セグメント化および追跡モジュール112において)迅速に実行されるため、シンプルで高速な計算が好ましい。
[0054] 一実施形態では、セグメント化および追跡モジュールは、特定の対象の形状に関連するサイズ情報を提供するために、サイズ推定モジュールを具備する。例えば、顔面姿勢推定システムでは、例えば、対象顔面上にウィンドウの位置を決めるために平均シフトアルゴリズムを用いて、顔面の概略的な位置が画像内に見出されると、空間統計を用いて適応的に顔面サイズを計算できる。例えば、システムの実験的な実施形態に基づく観測結果は、顔面のサイズが共分散行列の固有ベクトルの2つの直交方向の標準偏差の約4倍であることを示す。したがって、本実施形態を実現する1つのアプローチは、以下の計算からなる。
1. 顔面位置の分布:
ここでf(i,j)はピクセル値である。
2. 顔面平均位置:
3. 顔面位置の共分散:
4. 共分散行列の固有分解:
5. 顔面サイズ推定:
長さa=4σ1、およびb=4σ2
係数値の4は、実験結果に基づいて選択されるが、合理的な選択肢である任意の係数(一般に4〜6)を用いることができる。システムの一実施形態のガウス分布に関する係数間の一般的な関係は、人間の頭部の一般的な形状による楕円関数に基づいている。他の対象形状への応用に対して、同様の関係を用いることができる。実験結果は、特定形状に適用可能な係数間の合理的な関係の範囲を提供することができる。
[0055] 向き決定用システムの他の態様は、対象の姿勢または向き変化の適応学習を含む。本実施形態のシステムは、初期設定期間の間のリアルタイムで捕捉された実際の対象の訓練画像を用いる。その後、何らかの対象に依存しない一般化されたデータベースを用いる代わりに、被写体および環境固有ライブラリに基づいて動作するような分類装置が用いられる。例えば、隠れマルコフモデル(Hidden Markov Model:HMM)に基づく顔面姿勢分類装置は、適応学習される対象固有の訓練セットを用いて、構成要素的な人間の顔面構成をモデル化するために用いられる。このアプローチの1つの利点は、データベースに保存された一般化された対象に関して、対象の外観変化または環境の相違が、性能に影響を及ぼさないことである。例えば、複数の人間についてシステムが作動するとき、同じ量の訓練データを用いた場合、人間依存型の実施形態は、一般化された対象モデルより性能が優れていることが一般的に観察される。
・m次元の列ベクトルxを定義する。ここで、m=p×q、およびp、qは顔面画像サイズである。
・顔面画像の列から観測ベクトル{x1,x2,…,xn}を形成する。
・以下の式に基づいて、平均uおよび共分散行列Σを計算する。
・最初の最大K個の固有値λj、および共分散行列Σの対応する固有ベクトルφj(j=1,2,…,K)を計算する。
・任意の画像ベクトルxに対して、そのK次元射影係数ベクトルは以下の式によって計算される。
a.ステップ1:平均ベクトルおよび共分散行列を構成する。
・ステップ2:PCA分析を実行する。
ここで、Cの最大P個の固有値に対応する最初のP個の固有ベクトルが、固有空間の最適線形近似値として選択される。
・ステップ3:姿勢曲線を推定する。
各観測値xiに対して、その各々をP次元の固有空間に射影することができ、すなわち、
となる。したがって、頭部姿勢曲線410は、これらのwi(i=1,…,n)を結ぶことによって形成され、ここで、nは後続の推定段階において用いられるべき顔面姿勢の個数である。
・画像フレームのPCA分析を実行する。
・Parzenウィンドウアプローチを用いて、PDFを推定する。
・PDFの最頻値として主要な頭部姿勢を求める。
・その姿勢が、一定のフレーム数に対して主要姿勢としてあり続けるとき、正面頭部姿勢が検出される。
[0065] 向き検出システムの他の態様には、奥行き画像データに基づく三次元の回転推定がある。二次元(「2D」)オプティカルフローから三次元(「3D」)の動きを復元することは、本質的に曖昧な作業である。図5を参照すると、一般化されたオプティカルフロー図が、この問題を説明するために示されている。説明のために、対象501を人間の頭部と仮定するが、それは任意の剛性物体でありうる。人間が動き回るとき、対象501の各点503は、第1の位置Aから第2の位置Bまで移動する。画像シーケンスの第1のフレームは、位置Aの点503に対応しており、後続のフレームは、位置Bの点503に対応している。画像データから得られる2Dオプティカルフロー505からのこのような画像シーケンスから、3D頭部動き推定を確定することは、曖昧性という問題を提示する。遠い距離における位置Aから位置Bまでの対象501の回転は、位置Aから位置B’までの像平面に平行な並進運動によって生じるものと同様の2次元フロー場を生じる。したがって、3D動き推定は、回転および並進の選択肢を判別することができない。この曖昧性の問題に対処するために、奥行きに基づくオプティカルフロー分析法の一実施形態は、シーケンス中の2つの奥行き画像の間の奥行き変化に基づいて、並進または回転の2つの選択肢の内の1つを除去するための奥行き情報の拘束条件を有する。
既知の変数は以下の通りである。
(x,y):オプティカルフロー点の位置
(u,v):オプティカルフロー
F:カメラ焦点長
Z:奥行き画像から得られる奥行き
未知の変数は以下の通りである。
(TX,TY,TZ):3D動きの並進
(α,β,γ):3D動きの回転角
ここで、bは、ある特定の特徴点に対する2D動きベクトルである。
ここで、Nは追跡される特徴点の個数である。H(i)およびb(i)は、i番目の特徴点によって形成される。f(x)はコスト関数である。実験的に、f(x)=?x?を用いた最小絶対値法は、f(x)=x2を用いた最小二乗法より安定した解を与える。
Et=Et-1+Rt
t=t+1
[0076] 対応する向きの値を有する被写体固有の画像データベースが決定されると、いくつかのリアルタイムの向きの推定の実施形態を用いることができる。
Claims (24)
- 奥行き画像データを用いて対象の向きを推定するコンピュータに基づく方法であって、
ピクセル奥行き情報を含む奥行き画像であって、対象を捕捉する奥行き画像のフィードを受けるステップと、
前記フィード中の、1セットの対象の向きを表す1セットの画像に対して、各画像と対応する向きの尺度との間の相関関係であって、画像とその画像の中に捕捉された対象の向きを表す対応する向きの尺度との間の対応を提供する相関関係を決定するステップと、
前記対象の奥行き画像のセットと前記相関関係とを保存するステップと、
前記対象の現在の奥行き画像を、前記奥行き画像のセットの中の前記奥行き画像と、外観に基づいて比較し、前記現在の奥行き画像の中に捕捉された前記対象の現在の向きを示す対応する向きの尺度を、前記相関関係に基づいて決定するステップと
を含む方法。 - 前記相関関係は、1セットの既知の向きと前記画像のセットとの間の写像を含むことを特徴とする請求項1の方法。
- 前記相関関係を決定するステップは、さらに、
前記画像のセットを分析することによって主たる向きを決定し、
前記主たる向きを向いた対象を捕捉する前記画像のセットの中の画像に、基準となる向きの尺度を割り当て、
前記主たる向き以外の向きを向いた対象を捕捉する前記画像のセットの中の画像に対して、前記基準となる向きの尺度との関連で、前記画像中の特徴点のオプティカルフローに基づく向きの尺度を決定する
ことを特徴とする請求項1の方法。 - 前記特徴点のオプティカルフローは、部分的に、前記画像中の特徴点に対応するピクセル奥行き情報に基づくことを特徴とする請求項3の方法。
- 前記対象の外観の変化を決定するステップと、
前記外観の変化の値が最大変化を超過している場合に、前記対象の第2の画像セットに対する相関関係を決定するステップと、
前記相関関係を保存するステップと、
前記保存された画像のセットを前記画像の第2のセットに置換するステップと
をさらに含む請求項1の方法。 - 前記対象は人間の頭部であり、前記向きは頭部姿勢であることを特徴とする請求項1の方法。
- 奥行き画像データを用いて対象の向きを推定するために、コンピュータのプロセッサによって実行されて、
ピクセル奥行き情報を含む奥行き画像であって、対象を捕捉する奥行き画像のフィードを受けるステップと、
前記フィード中の、1セットの対象の向きを表す1セットの画像に対して、各画像と対応する向きの尺度との間の相関関係であって、画像とその画像の中に捕捉された対象の向きを表す対応する向きの尺度との間の対応を提供する相関関係を決定するステップと、
前記対象の奥行き画像のセットと前記相関関係とを保存するステップと、
前記対象の現在の奥行き画像を、前記奥行き画像のセットの中の前記奥行き画像と、外観に基づいて比較し、前記現在の奥行き画像の中に捕捉された前記対象の現在の向きを示す対応する向きの尺度を、前記相関関係に基づいて決定するステップと
を実行するコンピュータプログラムを含む、コンピュータ可読媒体。 - 奥行き画像データを用いて対象の向きを推定するシステムであって、
ピクセル奥行き情報を含む奥行き画像であって、対象を捕捉する奥行き画像のフィードを受ける手段と、
前記フィード中の、1セットの対象の向きを表す1セットの画像に対して、各画像と対応する向きの尺度との間の相関関係であって、画像とその画像の中に捕捉された対象の向きを表す対応する向きの尺度との間の対応を提供する相関関係を決定する手段と、
前記対象の奥行き画像のセットと前記相関関係とを保存する手段と、
前記対象の現在の奥行き画像を、前記奥行き画像のセットの中の前記奥行き画像と、外観に基づいて比較し、前記現在の奥行き画像の中に捕捉された前記対象の現在の向きを示す対応する向きの尺度を、前記相関関係に基づいて決定する手段と
を含むシステム。 - 奥行きビデオ画像データを用いて対象のリアルタイムの向きの尺度を推定するコンピュータに基づく方法であって、
リアルタイムに対象を捕捉するとともに奥行きピクセルデータを含む奥行きビデオフレームのフィードを入力として受けるステップと、
初期訓練期間中に奥行きビデオフレームの対象固有の訓練セットを保存するステップと、
前記奥行きビデオフレームの対象固有の訓練セットを分析することによって、主要な向きを向いた対象を捕捉する前記奥行きビデオフレームの対象固有の訓練セットのフレームを特定するステップと、
現在の奥行きビデオフレームを、前記奥行きビデオフレームの対象固有の訓練セットと、外観に基づいて比較し、前記現在の奥行きビデオフレームが前記主要な向きを向いた対象を含むか否かを判定するステップと、
部分的に、前記現在の奥行きビデオフレームに対応する奥行きデータに基づく現在の向きの尺度であって、前記奥行きビデオフレームの中に捕捉された前記対象の現在の向きに対応する現在の向きの尺度を決定するステップと、
前記現在の奥行きビデオフレームが前記主要な向きを向いた対象を含むと判定した場合に、前記現在の向きの尺度を、基準となる向きの尺度に設定するステップと
を含む方法。 - 前記奥行きビデオフレームの対象固有の訓練セットを分析する際に、Parzenウィンドウに基づくPDFを実行して、そのPDFのモードを判定することを特徴とする請求項9の方法。
- 前記奥行きビデオフレームの対象固有の訓練セットを分析する際に、各奥行きビデオフレームを分割して、前記対象に対応する画像データを含むフレームのセグメントを決定することを特徴とする請求項9の方法。
- 前記奥行きビデオフレームの対象固有の訓練セットを分析する際に、さらに、楕円フィッティング法または平均シフトアルゴリズムのうちの一方に基づきフレーム毎にセグメント位置を追跡することを特徴とする請求項11の方法。
- 外観に基づいて比較するステップは、さらに、
前記奥行きビデオフレームの対象固有の訓練セットのPCA分析によって、射影行列および姿勢曲線を決定し、
前記射影行列に基づいて、1セットの多次元固有空間上に、前記現在の奥行きビデオフレームを射影し、
前記射影された現在の奥行きビデオフレームに基づき向きを推定する
ことを特徴とする請求項9の方法。 - 前記向きを推定する際に、前記現在の奥行きビデオフレームの射影と前記姿勢曲線を構成する点に基づいて、最近傍を求めることを特徴とする請求項13の方法。
- 前記向きを推定する際に、前記射影された現在の奥行きビデオフレームに対応する前記姿勢曲線中の点の間で線形補間を行うことを特徴とする請求項13の方法。
- 前記現在の向きの尺度を決定するステップは、さらに、
先行する奥行きビデオフレームおよび前記現在の奥行きビデオフレーム中の特徴点の間のオプティカルフローを推定して、二次元モーションフィールドを決定し、
前記二次元モーションフィールドと、前記特徴点に対応する奥行きピクセルデータに基づく奥行き拘束条件とを用いて、前記先行する奥行きビデオフレームおよび前記現在の奥行きビデオフレームの間の三次元回転および並進パラメータを回収し、
前記先行する奥行きビデオフレームおよび前記三次元回転および並進パラメータに対する向きの尺度に基づいて、前記現在の向きの尺度を累積された向きの値に設定する
ことを特徴とする請求項9の方法。 - 前記対象は運転者の頭部であり、前記向きは頭部姿勢であることを特徴とする請求項9の方法。
- 奥行きビデオ画像データを用いて対象のリアルタイムの向きの尺度を推定するために、コンピュータのプロセッサによって実行されて、
リアルタイムに対象を捕捉するとともに奥行きピクセルデータを含む奥行きビデオフレームのフィードを入力として受けるステップと、
初期訓練期間中に奥行きビデオフレームの対象固有の訓練セットを保存するステップと、
前記奥行きビデオフレームの対象固有の訓練セットを分析することによって、主要な向きを向いた対象を捕捉する前記奥行きビデオフレームの対象固有の訓練セットのフレームを特定するステップと、
現在の奥行きビデオフレームを、前記奥行きビデオフレームの対象固有の訓練セットと、外観に基づいて比較し、前記現在の奥行きビデオフレームが前記主要な向きを向いた対象を含むか否かを判定するステップと、
部分的に、前記現在の奥行きビデオフレームに対応する奥行きデータに基づく現在の向きの尺度であって、前記奥行きビデオフレームの中に捕捉された前記対象の現在の向きに対応する現在の向きの尺度を決定するステップと、
前記現在の奥行きビデオフレームが前記主要な向きを向いた対象を含むと判定した場合に、前記現在の向きの尺度を、基準となる向きの尺度に設定するステップと
を実行するコンピュータプログラムを含む、コンピュータ可読媒体。 - 奥行きビデオ画像データを用いて対象のリアルタイムの向きの尺度を推定するシステムであって、
リアルタイムに対象を捕捉するとともに奥行きピクセルデータを含む奥行きビデオフレームのフィードを入力として受ける手段と、
初期訓練期間中に奥行きビデオフレームの対象固有の訓練セットを保存するステップと、
前記奥行きビデオフレームの対象固有の訓練セットを分析することによって、主要な向きを向いた対象を捕捉する前記奥行きビデオフレームの対象固有の訓練セットのフレームを特定する手段と、
現在の奥行きビデオフレームを、前記奥行きビデオフレームの対象固有の訓練セットと、外観に基づいて比較し、前記現在の奥行きビデオフレームが前記主要な向きを向いた対象を含むか否かを判定する手段と、
部分的に、前記現在の奥行きビデオフレームに対応する奥行きデータに基づく現在の向きの尺度であって、前記奥行きビデオフレームの中に捕捉された前記対象の現在の向きに対応する現在の向きの尺度を決定する手段と、
前記現在の奥行きビデオフレームが前記主要な向きを向いた対象を含むと判定した場合に、前記現在の向きの尺度を、基準となる向きの尺度に設定する手段と
を含むシステム。 - 対象のリアルタイムビデオを捕捉するとともに奥行きウィンドウ内で動作するよう構成されたタイムオブフライトカメラであって、そのリアルタイムビデオはフレームのストリームを含み、各フレームはピクセル毎に色と奥行きの情報を含むハイブリッド画像データを含む、タイムオブフライトカメラと、
前記タイムオブフライトカメラに接続され、前記リアルタイムビデオを受信し、対象固有の訓練画像セットを用いて外観に基づく分類に基づくとともに、前記ビデオストリームのフレーム間の前記対象の特徴点の位置変化および前記対応する奥行き情報により与えられた拘束条件を用いた動き推定計算に基づく、前記対象の推定向きを出力するよう構成されたコンピュータ処理システムと
を含むシステム。 - 前記コンピュータ処理システムは、
前記タイムオブフライトカメラから前記リアルタイムビデオストリームを受信し、前記対象の推定向きを提供する入出力モジュールと、
前記入出力モジュールに接続され、前記リアルタイムビデオストリームのフレーム毎のハイブリッド画像データを受信し、前記対象に対応するように、前記ハイブリッド画像データに含まれる奥行き情報に基づいて決定された1セットのピクセルからなる前記画像データのセグメントを提供するよう構成されたセグメント化および追跡モジュールと、
前記セグメント化および追跡モジュールに接続され、前記ハイブリッド画像および前記対応するセグメントを受信する適応学習モジュールであって、訓練期間中に前記タイムオブフライトカメラによって捕捉された前記対象のビデオフレームの最初の1セットから、対応する向きの尺度を有する少なくとも一つのフレームを含む前記対象固有の訓練画像セットを構成するよう構成された適応学習モジュールと、
前記セグメント化および追跡モジュールに接続されて、少なくとも前記対象を含む現在のビデオフレームの画像データのセグメントを受信し、前記入出力モジュールに接続されて、前記現在のビデオフレーム内の前記対象の推定向きを提供する外観分類装置モジュールであって、前記現在のビデオフレームを前記対象固有の訓練画像セットと比較して、前記現在のフレームに最も類似したフレームに対応する向きに基づき前記現在の向きを推定するよう構成された外観分類装置モジュールと
を含むことを特徴とする請求項20のシステム。 - 前記コンピュータ処理システムは、
前記セグメント化および追跡モジュールに接続されて、前記少なくとも前記対象を含む現在のビデオフレームの画像データのセグメントを受信し、前記入出力モジュールに接続されて、前記現在のビデオフレーム中の前記対象の前記推定向きを提供するとともに、前記外観分類装置モジュールに接続されて、前記現在のビデオフレームが前記対象の主要な向きに対応するとの判断を示す指示を受信する動き推定モジュールであって、前記ビデオストリームのフレーム間の前記対象の特徴点の位置変化および前記対応する奥行き情報により与えられた拘束条件に基づいて、前記現在のフレームの中の前記対象の向きに対応する現在の向きの尺度を計算するよう構成されるとともに、前記現在のビデオフレームが前記対象の主要な向きに対応するとの指示を受信したときに前記現在の向きの尺度を基準値に再設定するよう構成された動き推定モジュール
をさらに含むことを特徴とする請求項21のシステム。 - 前記コンピュータ処理システムは、
前記適応学習モジュールと前記外観分類装置とに接続されて、前記対象固有の訓練画像セットを保存するよう構成されたメモリモジュール
をさらに含むことを特徴とする請求項21のシステム。 - 前記タイムオブフライトカメラは、車両室内に搭載されて、対象となる運転者のリアルタイムビデオを捕捉するとともに、前記コンピュータ処理システムは、前記運転者の推定向きに基づいて動作するよう構成された安全機能を有する車両安全システムの一部であることを特徴とする請求項20のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US47821103P | 2003-06-12 | 2003-06-12 | |
PCT/IB2004/003149 WO2004111687A2 (en) | 2003-06-12 | 2004-06-14 | Target orientation estimation using depth sensing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006527443A true JP2006527443A (ja) | 2006-11-30 |
JP4546956B2 JP4546956B2 (ja) | 2010-09-22 |
Family
ID=33551812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006516618A Expired - Fee Related JP4546956B2 (ja) | 2003-06-12 | 2004-06-14 | 奥行き検出を用いた対象の向きの推定 |
Country Status (4)
Country | Link |
---|---|
US (2) | US7620202B2 (ja) |
EP (3) | EP3196805A3 (ja) |
JP (1) | JP4546956B2 (ja) |
WO (1) | WO2004111687A2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148663A (ja) * | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
KR101227569B1 (ko) | 2011-05-26 | 2013-01-29 | 한국과학기술연구원 | 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법 |
WO2012170357A3 (en) * | 2011-06-06 | 2013-06-13 | Microsoft Corporation | Head rotation tracking from depth-based center of mass |
KR20130082053A (ko) * | 2012-01-10 | 2013-07-18 | 삼성전자주식회사 | 깊이 영상을 처리하는 방법 및 장치 |
JP2014517392A (ja) * | 2011-05-17 | 2014-07-17 | クアルコム,インコーポレイテッド | Rgbdカメラを用いた頭部ポーズ推定 |
KR101792501B1 (ko) * | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
CN107430821A (zh) * | 2015-04-02 | 2017-12-01 | 株式会社电装 | 图像处理装置 |
JP2018088247A (ja) * | 2016-11-28 | 2018-06-07 | ソニー株式会社 | オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法 |
JP2019527448A (ja) * | 2016-07-21 | 2019-09-26 | ゲシュティゴン、ゲゼルシャフト、ミット、ベシュレンクテル、ハフツングGestigon Gmbh | 車両の運転者の状態を監視するための方法及びシステム |
JP2020018704A (ja) * | 2018-08-02 | 2020-02-06 | 株式会社Yoods | 眼振解析システム |
JP2020123239A (ja) * | 2019-01-31 | 2020-08-13 | コニカミノルタ株式会社 | 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法 |
WO2024017413A3 (zh) * | 2022-07-22 | 2024-03-14 | 顺丰科技有限公司 | 车辆进出港检测方法、装置、设备和存储介质 |
Families Citing this family (350)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7197186B2 (en) * | 2003-06-17 | 2007-03-27 | Mitsubishi Electric Research Laboratories, Inc. | Detecting arbitrarily oriented objects in images |
US7526123B2 (en) * | 2004-02-12 | 2009-04-28 | Nec Laboratories America, Inc. | Estimating facial pose from a sparse representation |
EP1721287A4 (en) * | 2004-03-02 | 2009-07-15 | Sarnoff Corp | METHOD AND APPARATUS FOR DETECTING PRESENCE |
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
JP2006048322A (ja) * | 2004-08-04 | 2006-02-16 | Seiko Epson Corp | オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法 |
CN100399247C (zh) * | 2004-12-22 | 2008-07-02 | 联想(北京)有限公司 | 一种显示设备的光标的控制***及方法 |
US7492921B2 (en) * | 2005-01-10 | 2009-02-17 | Fuji Xerox Co., Ltd. | System and method for detecting and ranking images in order of usefulness based on vignette score |
US8948461B1 (en) * | 2005-04-29 | 2015-02-03 | Hewlett-Packard Development Company, L.P. | Method and system for estimating the three dimensional position of an object in a three dimensional physical space |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
KR100682987B1 (ko) * | 2005-12-08 | 2007-02-15 | 한국전자통신연구원 | 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법 |
JP5041458B2 (ja) * | 2006-02-09 | 2012-10-03 | 本田技研工業株式会社 | 三次元物体を検出する装置 |
US8467570B2 (en) * | 2006-06-14 | 2013-06-18 | Honeywell International Inc. | Tracking system with fused motion and object detection |
US8009900B2 (en) * | 2006-09-28 | 2011-08-30 | Siemens Medical Solutions Usa, Inc. | System and method for detecting an object in a high dimensional space |
KR100776805B1 (ko) * | 2006-09-29 | 2007-11-19 | 한국전자통신연구원 | 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법 |
US7778446B2 (en) * | 2006-12-06 | 2010-08-17 | Honda Motor Co., Ltd | Fast human pose estimation using appearance and motion via multi-dimensional boosting regression |
KR100834577B1 (ko) * | 2006-12-07 | 2008-06-02 | 한국전자통신연구원 | 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치 |
US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
US20080288255A1 (en) * | 2007-05-16 | 2008-11-20 | Lawrence Carin | System and method for quantifying, representing, and identifying similarities in data streams |
US8005237B2 (en) | 2007-05-17 | 2011-08-23 | Microsoft Corp. | Sensor array beamformer post-processor |
US8629976B2 (en) | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
JP4985293B2 (ja) * | 2007-10-04 | 2012-07-25 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP5186874B2 (ja) * | 2007-10-10 | 2013-04-24 | セイコーエプソン株式会社 | 測位方法、プログラム、測位装置及び電子機器 |
JP5251090B2 (ja) | 2007-11-30 | 2013-07-31 | セイコーエプソン株式会社 | 測位方法、プログラム及び測位装置 |
JP5176572B2 (ja) * | 2008-02-05 | 2013-04-03 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5181704B2 (ja) * | 2008-02-07 | 2013-04-10 | 日本電気株式会社 | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム |
US8385557B2 (en) | 2008-06-19 | 2013-02-26 | Microsoft Corporation | Multichannel acoustic echo reduction |
US8325909B2 (en) | 2008-06-25 | 2012-12-04 | Microsoft Corporation | Acoustic echo suppression |
US8203699B2 (en) | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
US20100014711A1 (en) * | 2008-07-16 | 2010-01-21 | Volkswagen Group Of America, Inc. | Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor |
US8325978B2 (en) * | 2008-10-30 | 2012-12-04 | Nokia Corporation | Method, apparatus and computer program product for providing adaptive gesture analysis |
WO2010052830A1 (ja) * | 2008-11-06 | 2010-05-14 | 日本電気株式会社 | 画像向き判定装置、画像向き判定方法及び画像向き判定プログラム |
US7995909B2 (en) * | 2008-12-12 | 2011-08-09 | Samsung Electro-Mechanics Co., Ltd. | Auto-focusing method |
US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
EP2208831A1 (de) * | 2009-01-20 | 2010-07-21 | Geberit International AG | Verfahren und elektronische Steuervorrichtung zur berührungslosen Steuerung einer sanitären Anlage |
US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
US8565476B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
US20100199231A1 (en) | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
US8487938B2 (en) | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
US8565477B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8448094B2 (en) | 2009-01-30 | 2013-05-21 | Microsoft Corporation | Mapping a natural input device to a legacy system |
US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
US8773355B2 (en) | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
US8988437B2 (en) | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
US9313376B1 (en) | 2009-04-01 | 2016-04-12 | Microsoft Technology Licensing, Llc | Dynamic depth power equalization |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
US8638985B2 (en) * | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
US9498718B2 (en) | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US8253746B2 (en) | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
US9015638B2 (en) | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
US8340432B2 (en) * | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
US8660303B2 (en) | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
JP5227888B2 (ja) * | 2009-05-21 | 2013-07-03 | 富士フイルム株式会社 | 人物追跡方法、人物追跡装置および人物追跡プログラム |
JP5214533B2 (ja) * | 2009-05-21 | 2013-06-19 | 富士フイルム株式会社 | 人物追跡方法、人物追跡装置および人物追跡プログラム |
US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
US8693724B2 (en) | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US9182814B2 (en) | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
US8418085B2 (en) | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US8625837B2 (en) | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
US8487871B2 (en) | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
US8849616B2 (en) * | 2009-08-04 | 2014-09-30 | Microsoft Corporation | Method and system for noise simulation analysis useable with systems including time-of-flight depth systems |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
US9141193B2 (en) | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
US8330134B2 (en) | 2009-09-14 | 2012-12-11 | Microsoft Corporation | Optical fault monitoring |
US8508919B2 (en) | 2009-09-14 | 2013-08-13 | Microsoft Corporation | Separation of electrical and optical components |
US8976986B2 (en) * | 2009-09-21 | 2015-03-10 | Microsoft Technology Licensing, Llc | Volume adjustment based on listener position |
US8428340B2 (en) | 2009-09-21 | 2013-04-23 | Microsoft Corporation | Screen space plane identification |
US8760571B2 (en) | 2009-09-21 | 2014-06-24 | Microsoft Corporation | Alignment of lens and image sensor |
US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
US8452087B2 (en) | 2009-09-30 | 2013-05-28 | Microsoft Corporation | Image selection techniques |
US8723118B2 (en) | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US8867820B2 (en) * | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
US8116527B2 (en) * | 2009-10-07 | 2012-02-14 | The United States Of America As Represented By The Secretary Of The Army | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US8963829B2 (en) * | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
US9400548B2 (en) | 2009-10-19 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture personalization and profile roaming |
US8988432B2 (en) | 2009-11-05 | 2015-03-24 | Microsoft Technology Licensing, Llc | Systems and methods for processing an image for target tracking |
US8600166B2 (en) * | 2009-11-06 | 2013-12-03 | Sony Corporation | Real time hand tracking, pose classification and interface control |
US8843857B2 (en) | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
US8891818B2 (en) * | 2009-12-08 | 2014-11-18 | Texas Instruments Incorporated | Method and apparatus for tracking objects across images |
US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
US20110150271A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Motion detection using depth images |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
EP2339537B1 (en) * | 2009-12-23 | 2016-02-24 | Metaio GmbH | Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method |
EP2339507B1 (en) * | 2009-12-28 | 2013-07-17 | Softkinetic Software | Head detection and localisation method |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
US9019201B2 (en) | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
US8933884B2 (en) | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
US8676581B2 (en) | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
US8265341B2 (en) | 2010-01-25 | 2012-09-11 | Microsoft Corporation | Voice-body identity correlation |
US8760631B2 (en) * | 2010-01-27 | 2014-06-24 | Intersil Americas Inc. | Distance sensing by IQ domain differentiation of time of flight (TOF) measurements |
US8864581B2 (en) | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
US8687044B2 (en) | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US8717469B2 (en) | 2010-02-03 | 2014-05-06 | Microsoft Corporation | Fast gating photosurface |
US8659658B2 (en) | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
US8499257B2 (en) | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US8928579B2 (en) | 2010-02-22 | 2015-01-06 | Andrew David Wilson | Interacting with an omni-directionally projected display |
JP4852159B2 (ja) * | 2010-02-24 | 2012-01-11 | 株式会社東芝 | 画像処理装置、画像処理方法および空調制御装置 |
US8422769B2 (en) | 2010-03-05 | 2013-04-16 | Microsoft Corporation | Image segmentation using reduced foreground training data |
US8655069B2 (en) | 2010-03-05 | 2014-02-18 | Microsoft Corporation | Updating image segmentation following user input |
US8411948B2 (en) | 2010-03-05 | 2013-04-02 | Microsoft Corporation | Up-sampling binary images for segmentation |
US20110223995A1 (en) | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
US8213680B2 (en) | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
US8514269B2 (en) | 2010-03-26 | 2013-08-20 | Microsoft Corporation | De-aliasing depth images |
US8523667B2 (en) | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
US8605763B2 (en) | 2010-03-31 | 2013-12-10 | Microsoft Corporation | Temperature measurement and control for laser and light-emitting diodes |
US9098873B2 (en) | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
EP2378310B1 (en) | 2010-04-15 | 2016-08-10 | Rockwell Automation Safety AG | Time of flight camera unit and optical surveillance system |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
US8379919B2 (en) | 2010-04-29 | 2013-02-19 | Microsoft Corporation | Multiple centroid condensation of probability distribution clouds |
US8284847B2 (en) | 2010-05-03 | 2012-10-09 | Microsoft Corporation | Detecting motion for a multifunction sensor device |
US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
US8498481B2 (en) | 2010-05-07 | 2013-07-30 | Microsoft Corporation | Image segmentation using star-convexity constraints |
US8457353B2 (en) | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
US8803888B2 (en) | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
US9008355B2 (en) | 2010-06-04 | 2015-04-14 | Microsoft Technology Licensing, Llc | Automatic depth camera aiming |
US9557574B2 (en) | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
US8330822B2 (en) | 2010-06-09 | 2012-12-11 | Microsoft Corporation | Thermally-tuned depth camera light source |
US8675981B2 (en) | 2010-06-11 | 2014-03-18 | Microsoft Corporation | Multi-modal gender recognition including depth data |
US9384329B2 (en) | 2010-06-11 | 2016-07-05 | Microsoft Technology Licensing, Llc | Caloric burn determination from body movement |
US8749557B2 (en) | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
US8982151B2 (en) | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
US8558873B2 (en) | 2010-06-16 | 2013-10-15 | Microsoft Corporation | Use of wavefront coding to create a depth image |
US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
US8296151B2 (en) | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
US8381108B2 (en) | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
US8416187B2 (en) | 2010-06-22 | 2013-04-09 | Microsoft Corporation | Item navigation using motion-capture data |
US8896684B2 (en) * | 2010-06-24 | 2014-11-25 | Tk Holdings Inc. | Vehicle display enhancements |
WO2012001755A1 (ja) * | 2010-07-02 | 2012-01-05 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、情報処理装置および情報処理方法 |
US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
US8613666B2 (en) | 2010-08-31 | 2013-12-24 | Microsoft Corporation | User selection and navigation based on looped motions |
US8437506B2 (en) | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US20120058824A1 (en) | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
US8988508B2 (en) | 2010-09-24 | 2015-03-24 | Microsoft Technology Licensing, Llc. | Wide angle field of view active illumination imaging system |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US8548270B2 (en) | 2010-10-04 | 2013-10-01 | Microsoft Corporation | Time-of-flight depth imaging |
US9484065B2 (en) | 2010-10-15 | 2016-11-01 | Microsoft Technology Licensing, Llc | Intelligent determination of replays based on event identification |
US8599027B2 (en) | 2010-10-19 | 2013-12-03 | Deere & Company | Apparatus and method for alerting machine operator responsive to the gaze zone |
US8592739B2 (en) | 2010-11-02 | 2013-11-26 | Microsoft Corporation | Detection of configuration changes of an optical element in an illumination system |
US9185388B2 (en) * | 2010-11-03 | 2015-11-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
US8866889B2 (en) | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
US8667519B2 (en) | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US10726861B2 (en) | 2010-11-15 | 2020-07-28 | Microsoft Technology Licensing, Llc | Semi-private communication in open environments |
US9349040B2 (en) | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
US10234545B2 (en) | 2010-12-01 | 2019-03-19 | Microsoft Technology Licensing, Llc | Light source module |
US8553934B2 (en) | 2010-12-08 | 2013-10-08 | Microsoft Corporation | Orienting the position of a sensor |
US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
US8408706B2 (en) | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
US8884968B2 (en) | 2010-12-15 | 2014-11-11 | Microsoft Corporation | Modeling an object from image data |
US9171264B2 (en) | 2010-12-15 | 2015-10-27 | Microsoft Technology Licensing, Llc | Parallel processing machine learning decision tree training |
US8920241B2 (en) | 2010-12-15 | 2014-12-30 | Microsoft Corporation | Gesture controlled persistent handles for interface guides |
US8448056B2 (en) | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
US8994718B2 (en) | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
US9821224B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
US8385596B2 (en) | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
US9848106B2 (en) | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
US9123316B2 (en) | 2010-12-27 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive content creation |
US8488888B2 (en) | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
KR101758058B1 (ko) | 2011-01-20 | 2017-07-17 | 삼성전자주식회사 | 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 |
US9247238B2 (en) | 2011-01-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Reducing interference between multiple infra-red depth cameras |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8401242B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Real-time camera tracking using depth maps |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
US8724887B2 (en) | 2011-02-03 | 2014-05-13 | Microsoft Corporation | Environmental modifications to mitigate environmental factors |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US8497838B2 (en) | 2011-02-16 | 2013-07-30 | Microsoft Corporation | Push actuation of interface controls |
US9551914B2 (en) * | 2011-03-07 | 2017-01-24 | Microsoft Technology Licensing, Llc | Illuminator with refractive optical element |
US9067136B2 (en) | 2011-03-10 | 2015-06-30 | Microsoft Technology Licensing, Llc | Push personalization of interface controls |
US8571263B2 (en) | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
US9470778B2 (en) | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US8503494B2 (en) | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
US8824749B2 (en) | 2011-04-05 | 2014-09-02 | Microsoft Corporation | Biometric recognition |
US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
US9259643B2 (en) | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
US10671841B2 (en) | 2011-05-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Attribute state classification |
US8888331B2 (en) | 2011-05-09 | 2014-11-18 | Microsoft Corporation | Low inductance light source module |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
US9137463B2 (en) | 2011-05-12 | 2015-09-15 | Microsoft Technology Licensing, Llc | Adaptive high dynamic range camera |
US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
US8788973B2 (en) | 2011-05-23 | 2014-07-22 | Microsoft Corporation | Three-dimensional gesture controlled avatar configuration interface |
US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
US8526734B2 (en) | 2011-06-01 | 2013-09-03 | Microsoft Corporation | Three-dimensional background removal for vision system |
US9594430B2 (en) | 2011-06-01 | 2017-03-14 | Microsoft Technology Licensing, Llc | Three-dimensional foreground selection for vision system |
US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US9013489B2 (en) | 2011-06-06 | 2015-04-21 | Microsoft Technology Licensing, Llc | Generation of avatar reflecting player appearance |
US8597142B2 (en) | 2011-06-06 | 2013-12-03 | Microsoft Corporation | Dynamic camera based practice mode |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
US9724600B2 (en) | 2011-06-06 | 2017-08-08 | Microsoft Technology Licensing, Llc | Controlling objects in a virtual environment |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
US10089327B2 (en) | 2011-08-18 | 2018-10-02 | Qualcomm Incorporated | Smart camera for sharing pictures automatically |
US20130201344A1 (en) * | 2011-08-18 | 2013-08-08 | Qualcomm Incorporated | Smart camera for taking pictures automatically |
US8786730B2 (en) | 2011-08-18 | 2014-07-22 | Microsoft Corporation | Image exposure using exclusion regions |
US8583361B2 (en) | 2011-08-24 | 2013-11-12 | Modular Mining Systems, Inc. | Guided maneuvering of a mining vehicle to a target destination |
US9823082B2 (en) * | 2011-08-24 | 2017-11-21 | Modular Mining Systems, Inc. | Driver guidance for guided maneuvering |
JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
US8861893B2 (en) * | 2011-09-27 | 2014-10-14 | The Boeing Company | Enhancing video using super-resolution |
TWI455839B (zh) * | 2011-10-31 | 2014-10-11 | Hon Hai Prec Ind Co Ltd | 交通意外防止系統及方法 |
US9557836B2 (en) | 2011-11-01 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth image compression |
KR101901591B1 (ko) * | 2011-11-01 | 2018-09-28 | 삼성전자주식회사 | 얼굴 인식 장치 및 그 제어방법 |
US9117281B2 (en) | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
JP5607012B2 (ja) * | 2011-11-04 | 2014-10-15 | 本田技研工業株式会社 | 手話動作生成装置及びコミュニケーションロボット |
US8854426B2 (en) | 2011-11-07 | 2014-10-07 | Microsoft Corporation | Time-of-flight camera with guided light |
US8724906B2 (en) | 2011-11-18 | 2014-05-13 | Microsoft Corporation | Computing pose and/or shape of modifiable entities |
US8509545B2 (en) | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
JP5806606B2 (ja) * | 2011-12-01 | 2015-11-10 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US8803800B2 (en) | 2011-12-02 | 2014-08-12 | Microsoft Corporation | User interface control based on head orientation |
US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
US9964643B2 (en) | 2011-12-08 | 2018-05-08 | Conduent Business Services, Llc | Vehicle occupancy detection using time-of-flight sensor |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
US8971612B2 (en) | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US8630457B2 (en) | 2011-12-15 | 2014-01-14 | Microsoft Corporation | Problem states for pose tracking pipeline |
US8879831B2 (en) | 2011-12-15 | 2014-11-04 | Microsoft Corporation | Using high-level attributes to guide image processing |
US8811938B2 (en) | 2011-12-16 | 2014-08-19 | Microsoft Corporation | Providing a user interface experience based on inferred vehicle state |
US8682087B2 (en) * | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
US9342139B2 (en) | 2011-12-19 | 2016-05-17 | Microsoft Technology Licensing, Llc | Pairing a computing device to a user |
CN103177269B (zh) * | 2011-12-23 | 2017-12-15 | 北京三星通信技术研究有限公司 | 用于估计对象姿态的设备和方法 |
US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
SE536976C2 (sv) * | 2012-04-16 | 2014-11-18 | Scania Cv Ab | Förfarande och system för att bestämma information om huvudet hos en fordonsförare |
EP2654028B1 (en) * | 2012-04-20 | 2018-09-26 | Honda Research Institute Europe GmbH | Orientation sensitive traffic collision warning system |
US9707892B2 (en) | 2012-04-25 | 2017-07-18 | Gentex Corporation | Multi-focus optical system |
US9550455B2 (en) | 2012-04-25 | 2017-01-24 | Gentex Corporation | Multi-focus optical system |
US9210401B2 (en) | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
JP5900161B2 (ja) * | 2012-05-29 | 2016-04-06 | ソニー株式会社 | 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 |
US10002297B2 (en) * | 2012-06-20 | 2018-06-19 | Imprivata, Inc. | Active presence detection with depth sensing |
JP6018707B2 (ja) | 2012-06-21 | 2016-11-02 | マイクロソフト コーポレーション | デプスカメラを使用するアバター構築 |
US9836590B2 (en) | 2012-06-22 | 2017-12-05 | Microsoft Technology Licensing, Llc | Enhanced accuracy of user presence status determination |
US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
US9690334B2 (en) | 2012-08-22 | 2017-06-27 | Intel Corporation | Adaptive visual output based on change in distance of a mobile device to a user |
TWI496090B (zh) | 2012-09-05 | 2015-08-11 | Ind Tech Res Inst | 使用深度影像的物件定位方法與裝置 |
CN102999760A (zh) * | 2012-09-28 | 2013-03-27 | 常州工学院 | 投票权值在线自适应调整的目标图像区域跟踪方法 |
US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
US8882310B2 (en) | 2012-12-10 | 2014-11-11 | Microsoft Corporation | Laser die light source module with low inductance |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9251590B2 (en) | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
US10133754B2 (en) * | 2013-02-10 | 2018-11-20 | Qualcomm Incorporated | Peer-to-peer picture sharing using custom based rules for minimal power consumption and better user experience |
US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US9158381B2 (en) | 2013-02-25 | 2015-10-13 | Honda Motor Co., Ltd. | Multi-resolution gesture recognition |
US9798302B2 (en) | 2013-02-27 | 2017-10-24 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with redundant system input support |
US9804576B2 (en) | 2013-02-27 | 2017-10-31 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with position and derivative decision reference |
US9498885B2 (en) | 2013-02-27 | 2016-11-22 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
US9393695B2 (en) | 2013-02-27 | 2016-07-19 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with person and object discrimination |
US9292923B2 (en) | 2013-03-06 | 2016-03-22 | The Nielsen Company (Us), Llc | Methods, apparatus and articles of manufacture to monitor environments |
US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
US9092657B2 (en) | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
US10712529B2 (en) | 2013-03-13 | 2020-07-14 | Cognex Corporation | Lens assembly with integrated feedback loop for focus adjustment |
US11002854B2 (en) | 2013-03-13 | 2021-05-11 | Cognex Corporation | Lens assembly with integrated feedback loop and time-of-flight sensor |
US9274606B2 (en) | 2013-03-14 | 2016-03-01 | Microsoft Technology Licensing, Llc | NUI video conference controls |
JP5834253B2 (ja) * | 2013-03-27 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US9953213B2 (en) | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
CN103237228B (zh) * | 2013-04-28 | 2015-08-12 | 清华大学 | 双目立体视频的时空一致性分割方法 |
US9442186B2 (en) | 2013-05-13 | 2016-09-13 | Microsoft Technology Licensing, Llc | Interference reduction for TOF systems |
KR102137264B1 (ko) | 2013-07-09 | 2020-07-24 | 삼성전자주식회사 | 카메라 포즈 추정 장치 및 방법 |
US9286717B2 (en) | 2013-07-30 | 2016-03-15 | Hewlett-Packard Development Company, L.P. | 3D modeling motion parameters |
US9462253B2 (en) | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
US9558563B1 (en) * | 2013-09-25 | 2017-01-31 | Amazon Technologies, Inc. | Determining time-of-fight measurement parameters |
US9443310B2 (en) | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
TW201517615A (zh) * | 2013-10-16 | 2015-05-01 | Novatek Microelectronics Corp | 對焦方法 |
US9674563B2 (en) | 2013-11-04 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for recommending content |
US9769459B2 (en) | 2013-11-12 | 2017-09-19 | Microsoft Technology Licensing, Llc | Power efficient laser diode driver circuit and method |
US9508385B2 (en) | 2013-11-21 | 2016-11-29 | Microsoft Technology Licensing, Llc | Audio-visual project generator |
US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
TWI530909B (zh) | 2013-12-31 | 2016-04-21 | 財團法人工業技術研究院 | 影像合成系統及方法 |
US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
EP2905724B1 (en) | 2014-02-07 | 2024-03-13 | Tata Consultancy Services Limited | Object detection system and method |
JP2017512398A (ja) | 2014-02-27 | 2017-05-18 | トムソン ライセンシングThomson Licensing | 映像を提示する方法及び装置 |
GB2525655B (en) * | 2014-05-01 | 2018-04-25 | Jaguar Land Rover Ltd | Dynamic lighting apparatus and method |
CN105096304B (zh) * | 2014-05-22 | 2018-01-02 | 华为技术有限公司 | 一种图像特征的估计方法和设备 |
KR101566910B1 (ko) * | 2014-07-09 | 2015-11-13 | 현대모비스 주식회사 | 차량 운전 보조 장치 및 그 동작 방법 |
US10339389B2 (en) * | 2014-09-03 | 2019-07-02 | Sharp Laboratories Of America, Inc. | Methods and systems for vision-based motion estimation |
US20160073087A1 (en) * | 2014-09-10 | 2016-03-10 | Lenovo (Singapore) Pte. Ltd. | Augmenting a digital image with distance data derived based on acoustic range information |
US9773155B2 (en) * | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
US10110881B2 (en) | 2014-10-30 | 2018-10-23 | Microsoft Technology Licensing, Llc | Model fitting from raw time-of-flight images |
US10121259B2 (en) * | 2015-06-04 | 2018-11-06 | New York University Langone Medical | System and method for determining motion and structure from optical flow |
US9396400B1 (en) * | 2015-07-30 | 2016-07-19 | Snitch, Inc. | Computer-vision based security system using a depth camera |
US10360718B2 (en) * | 2015-08-14 | 2019-07-23 | Samsung Electronics Co., Ltd. | Method and apparatus for constructing three dimensional model of object |
US10113877B1 (en) * | 2015-09-11 | 2018-10-30 | Philip Raymond Schaefer | System and method for providing directional information |
US10104302B2 (en) * | 2015-10-27 | 2018-10-16 | Pixart Imaging Inc. | Image determining method and image sensing apparatus applying the image determining method |
US10229502B2 (en) | 2016-02-03 | 2019-03-12 | Microsoft Technology Licensing, Llc | Temporal time-of-flight |
CN105760826B (zh) * | 2016-02-03 | 2020-11-13 | 歌尔股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
US10257932B2 (en) | 2016-02-16 | 2019-04-09 | Microsoft Technology Licensing, Llc. | Laser diode chip on printed circuit board |
US10462452B2 (en) | 2016-03-16 | 2019-10-29 | Microsoft Technology Licensing, Llc | Synchronizing active illumination cameras |
WO2017206147A1 (en) | 2016-06-02 | 2017-12-07 | Intel Corporation | Recognition of activity in a video image sequence using depth information |
US20180012196A1 (en) * | 2016-07-07 | 2018-01-11 | NextEv USA, Inc. | Vehicle maintenance manager |
US10165168B2 (en) | 2016-07-29 | 2018-12-25 | Microsoft Technology Licensing, Llc | Model-based classification of ambiguous depth image data |
GB201621879D0 (en) * | 2016-12-21 | 2017-02-01 | Branston Ltd | A crop monitoring system and method |
US10241520B2 (en) * | 2016-12-22 | 2019-03-26 | TCL Research America Inc. | System and method for vision-based flight self-stabilization by deep gated recurrent Q-networks |
US11127158B2 (en) | 2017-02-23 | 2021-09-21 | Siemens Mobility GmbH | Image indexing and retrieval using local image patches for object three-dimensional pose estimation |
US10646999B2 (en) * | 2017-07-20 | 2020-05-12 | Tata Consultancy Services Limited | Systems and methods for detecting grasp poses for handling target objects |
LU100684B1 (en) * | 2018-01-26 | 2019-08-21 | Technische Univ Kaiserslautern | Method and system for head pose estimation |
JP7109207B2 (ja) * | 2018-02-23 | 2022-07-29 | パナソニックホールディングス株式会社 | 相互作用装置、相互作用方法、相互作用プログラム及びロボット |
US11050933B2 (en) * | 2018-04-27 | 2021-06-29 | Continenal Automotive Systems, Inc. | Device and method for determining a center of a trailer tow coupler |
US11094079B2 (en) * | 2018-08-28 | 2021-08-17 | Facebook Technologies, Llc | Determining a pose of an object from RGB-D images |
RU2698402C1 (ru) | 2018-08-30 | 2019-08-26 | Самсунг Электроникс Ко., Лтд. | Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты) |
TWI715903B (zh) * | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
CN109816700B (zh) * | 2019-01-11 | 2023-02-24 | 佰路得信息技术(上海)有限公司 | 一种基于目标识别的信息统计方法 |
WO2020243629A1 (en) * | 2019-05-30 | 2020-12-03 | Nvidia Corporation | Virtual reality simulations using surface tracking |
US11181978B2 (en) * | 2019-06-17 | 2021-11-23 | Hemy8 Sa | System and method for gaze estimation |
US11416998B2 (en) * | 2019-07-30 | 2022-08-16 | Microsoft Technology Licensing, Llc | Pixel classification to reduce depth-estimation error |
CN110705432B (zh) * | 2019-09-26 | 2022-10-25 | 长安大学 | 一种基于彩色和深度摄像头的行人检测装置及方法 |
US11200458B1 (en) | 2020-06-15 | 2021-12-14 | Bank Of America Corporation | System for integration of a hexagonal image processing framework within a technical environment |
CN112037254B (zh) * | 2020-08-11 | 2024-07-12 | 浙江大华技术股份有限公司 | 目标跟踪方法及相关装置 |
CN113926725A (zh) * | 2021-10-26 | 2022-01-14 | 东北大学秦皇岛分校 | 基于密度估计的煤与矸石快速分选装置及方法 |
CN115910310A (zh) * | 2022-01-27 | 2023-04-04 | 首都医科大学宣武医院 | 一种心肺复苏按压姿势标准阈值的确定方法及处理器 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03262290A (ja) * | 1990-03-12 | 1991-11-21 | Mitsubishi Electric Corp | 準動画テレビ電話方式 |
JPH1147196A (ja) * | 1997-08-06 | 1999-02-23 | Fuji Heavy Ind Ltd | 電動車椅子の走行制御装置 |
JPH1183530A (ja) * | 1997-09-11 | 1999-03-26 | Fuji Heavy Ind Ltd | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム |
JP2000222585A (ja) * | 1999-02-01 | 2000-08-11 | Toshiba Corp | 動き検出方法および動き検出装置および動き認識方法および動き認識装置および記録媒体 |
JP2001143075A (ja) * | 1999-11-10 | 2001-05-25 | Yaskawa Electric Corp | テンプレートマッチング方法 |
JP2001250121A (ja) * | 2000-03-03 | 2001-09-14 | Nippon Hoso Kyokai <Nhk> | 画像認識装置および記録媒体 |
JP2002366963A (ja) * | 2001-06-12 | 2002-12-20 | Ricoh Co Ltd | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
JP2003058884A (ja) * | 2001-08-13 | 2003-02-28 | Nippon Signal Co Ltd:The | 物体存在密度測定装置 |
JP2003141551A (ja) * | 2001-10-31 | 2003-05-16 | Toshiba Corp | 顔向き計算方法及びその装置 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3244798B2 (ja) * | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
US5454043A (en) * | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US6278798B1 (en) * | 1993-08-09 | 2001-08-21 | Texas Instruments Incorporated | Image object recognition system and method |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
CN1101056C (zh) * | 1995-06-22 | 2003-02-05 | 3Dv***有限公司 | 生成距景物距离的图象的方法和装置 |
US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
US5944530A (en) * | 1996-08-13 | 1999-08-31 | Ho; Chi Fai | Learning method and system that consider a student's concentration level |
DE69626208T2 (de) * | 1996-12-20 | 2003-11-13 | Hitachi Europe Ltd., Maidenhead | Verfahren und System zur Erkennung von Handgesten |
US20020036617A1 (en) * | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
EP0905644A3 (en) * | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
AU1916100A (en) | 1998-11-17 | 2000-06-05 | Holoplex, Inc. | Stereo-vision for gesture recognition |
US7003134B1 (en) * | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
US6674904B1 (en) * | 1999-12-14 | 2004-01-06 | Intel Corporation | Contour tracing and boundary detection for object identification in a digital image |
AU2001250802A1 (en) * | 2000-03-07 | 2001-09-17 | Sarnoff Corporation | Camera pose estimation |
JP4387552B2 (ja) | 2000-04-27 | 2009-12-16 | 富士通株式会社 | 画像照合処理システム |
US6671391B1 (en) * | 2000-05-26 | 2003-12-30 | Microsoft Corp. | Pose-adaptive face detection system and process |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6804391B1 (en) * | 2000-11-22 | 2004-10-12 | Microsoft Corporation | Pattern detection methods and systems, and face detection methods and systems |
JP4597391B2 (ja) * | 2001-01-22 | 2010-12-15 | 本田技研工業株式会社 | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
US6804416B1 (en) * | 2001-03-16 | 2004-10-12 | Cognex Corporation | Method and system for aligning geometric object models with images |
US6804396B2 (en) * | 2001-03-28 | 2004-10-12 | Honda Giken Kogyo Kabushiki Kaisha | Gesture recognition system |
US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
JP4573085B2 (ja) * | 2001-08-10 | 2010-11-04 | 日本電気株式会社 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
WO2003071410A2 (en) * | 2002-02-15 | 2003-08-28 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
WO2003073359A2 (en) * | 2002-02-26 | 2003-09-04 | Canesta, Inc. | Method and apparatus for recognizing objects |
US7203356B2 (en) * | 2002-04-11 | 2007-04-10 | Canesta, Inc. | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications |
US6959109B2 (en) * | 2002-06-20 | 2005-10-25 | Identix Incorporated | System and method for pose-angle estimation |
AU2003280516A1 (en) * | 2002-07-01 | 2004-01-19 | The Regents Of The University Of California | Digital processing of video images |
US7224830B2 (en) * | 2003-02-04 | 2007-05-29 | Intel Corporation | Gesture detection from digital video images |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US20070098250A1 (en) | 2003-05-01 | 2007-05-03 | Delta Dansk Elektronik, Lys Og Akustik | Man-machine interface based on 3-D positions of the human body |
-
2004
- 2004-06-14 EP EP17158332.1A patent/EP3196805A3/en not_active Withdrawn
- 2004-06-14 EP EP04769493.0A patent/EP1631937B1/en not_active Expired - Fee Related
- 2004-06-14 WO PCT/IB2004/003149 patent/WO2004111687A2/en active Application Filing
- 2004-06-14 JP JP2006516618A patent/JP4546956B2/ja not_active Expired - Fee Related
- 2004-06-14 US US10/868,707 patent/US7620202B2/en active Active
- 2004-06-14 EP EP17158335.4A patent/EP3190546A3/en not_active Ceased
-
2009
- 2009-10-02 US US12/572,619 patent/US8031906B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03262290A (ja) * | 1990-03-12 | 1991-11-21 | Mitsubishi Electric Corp | 準動画テレビ電話方式 |
JPH1147196A (ja) * | 1997-08-06 | 1999-02-23 | Fuji Heavy Ind Ltd | 電動車椅子の走行制御装置 |
JPH1183530A (ja) * | 1997-09-11 | 1999-03-26 | Fuji Heavy Ind Ltd | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム |
JP2000222585A (ja) * | 1999-02-01 | 2000-08-11 | Toshiba Corp | 動き検出方法および動き検出装置および動き認識方法および動き認識装置および記録媒体 |
JP2001143075A (ja) * | 1999-11-10 | 2001-05-25 | Yaskawa Electric Corp | テンプレートマッチング方法 |
JP2001250121A (ja) * | 2000-03-03 | 2001-09-14 | Nippon Hoso Kyokai <Nhk> | 画像認識装置および記録媒体 |
JP2002366963A (ja) * | 2001-06-12 | 2002-12-20 | Ricoh Co Ltd | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
JP2003058884A (ja) * | 2001-08-13 | 2003-02-28 | Nippon Signal Co Ltd:The | 物体存在密度測定装置 |
JP2003141551A (ja) * | 2001-10-31 | 2003-05-16 | Toshiba Corp | 顔向き計算方法及びその装置 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148663A (ja) * | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
JP4682820B2 (ja) * | 2005-11-25 | 2011-05-11 | ソニー株式会社 | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
KR101792501B1 (ko) * | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
JP2014517392A (ja) * | 2011-05-17 | 2014-07-17 | クアルコム,インコーポレイテッド | Rgbdカメラを用いた頭部ポーズ推定 |
JP2016035775A (ja) * | 2011-05-17 | 2016-03-17 | クアルコム,インコーポレイテッド | Rgbdカメラを用いた頭部ポーズ推定 |
US9582707B2 (en) | 2011-05-17 | 2017-02-28 | Qualcomm Incorporated | Head pose estimation using RGBD camera |
KR101227569B1 (ko) | 2011-05-26 | 2013-01-29 | 한국과학기술연구원 | 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법 |
WO2012170357A3 (en) * | 2011-06-06 | 2013-06-13 | Microsoft Corporation | Head rotation tracking from depth-based center of mass |
US9098110B2 (en) | 2011-06-06 | 2015-08-04 | Microsoft Technology Licensing, Llc | Head rotation tracking from depth-based center of mass |
US9669260B2 (en) | 2011-10-21 | 2017-06-06 | Korea Institute Of Science And Technology | Apparatus and method for tracking the position of each part of the body for golf swing analysis |
KR20130082053A (ko) * | 2012-01-10 | 2013-07-18 | 삼성전자주식회사 | 깊이 영상을 처리하는 방법 및 장치 |
KR101896307B1 (ko) * | 2012-01-10 | 2018-09-10 | 삼성전자주식회사 | 깊이 영상을 처리하는 방법 및 장치 |
CN107430821A (zh) * | 2015-04-02 | 2017-12-01 | 株式会社电装 | 图像处理装置 |
JP2019527448A (ja) * | 2016-07-21 | 2019-09-26 | ゲシュティゴン、ゲゼルシャフト、ミット、ベシュレンクテル、ハフツングGestigon Gmbh | 車両の運転者の状態を監視するための方法及びシステム |
JP2018088247A (ja) * | 2016-11-28 | 2018-06-07 | ソニー株式会社 | オブジェクトセグメンテーションのための前景マスク補正のための画像処理装置及び方法 |
US10198621B2 (en) | 2016-11-28 | 2019-02-05 | Sony Corporation | Image-Processing device and method for foreground mask correction for object segmentation |
JP2020018704A (ja) * | 2018-08-02 | 2020-02-06 | 株式会社Yoods | 眼振解析システム |
JP7209954B2 (ja) | 2018-08-02 | 2023-01-23 | 株式会社Yoods | 眼振解析システム |
JP2020123239A (ja) * | 2019-01-31 | 2020-08-13 | コニカミノルタ株式会社 | 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法 |
JP7196645B2 (ja) | 2019-01-31 | 2022-12-27 | コニカミノルタ株式会社 | 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法 |
WO2024017413A3 (zh) * | 2022-07-22 | 2024-03-14 | 顺丰科技有限公司 | 车辆进出港检测方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3190546A3 (en) | 2017-10-04 |
EP3190546A2 (en) | 2017-07-12 |
EP1631937A4 (en) | 2010-09-08 |
EP3196805A3 (en) | 2017-11-01 |
WO2004111687A3 (en) | 2005-03-31 |
US8031906B2 (en) | 2011-10-04 |
EP1631937A2 (en) | 2006-03-08 |
US7620202B2 (en) | 2009-11-17 |
EP1631937B1 (en) | 2018-03-28 |
EP3196805A2 (en) | 2017-07-26 |
US20100034427A1 (en) | 2010-02-11 |
JP4546956B2 (ja) | 2010-09-22 |
WO2004111687A2 (en) | 2004-12-23 |
US20050058337A1 (en) | 2005-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4546956B2 (ja) | 奥行き検出を用いた対象の向きの推定 | |
US7853085B2 (en) | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery | |
Ahmad et al. | HMM-based human action recognition using multiview image sequences | |
JP4912388B2 (ja) | 2次元見え方およびマルチキュー奥行き推定を使用する実世界の物体の視覚的追跡方法 | |
US7308112B2 (en) | Sign based human-machine interaction | |
USRE45768E1 (en) | Method and system for enhancing three dimensional face modeling using demographic classification | |
US7274800B2 (en) | Dynamic gesture recognition from stereo sequences | |
US6757571B1 (en) | System and process for bootstrap initialization of vision-based tracking systems | |
EP2192549B1 (en) | Target tracking device and target tracking method | |
Hermes et al. | Vehicle tracking and motion prediction in complex urban scenarios | |
KR101035055B1 (ko) | 이종 카메라를 이용한 객체 추적 시스템 및 방법 | |
JP2003015816A (ja) | ステレオカメラを使用した顔・視線認識装置 | |
WO2004107266A1 (en) | Visual tracking using depth data | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
Taylor et al. | Fusion of multimodal visual cues for model-based object tracking | |
Nguyen et al. | Tracking aspects of the foreground against the background | |
Rekik et al. | 3d face pose tracking using low quality depth cameras | |
Canton-Ferrer et al. | Fusion of multiple viewpoint information towards 3D face robust orientation detection | |
Park et al. | Head segmentation and head orientation in 3d space for pose estimation of multiple people | |
Htwe et al. | Vision-Based Autonomous Human Tracking Mobile Robot | |
Panin et al. | Real-time 3d face tracking with mutual information and active contours | |
Wildermann et al. | 3D person tracking with a color-based particle filter | |
Van den Bergh et al. | Real-Time 3D Body Pose Estimation. | |
Chen et al. | Multi-cue facial feature detection and tracking | |
Abdellaoui et al. | Body tracking and motion analysis using hybrid model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070205 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20090903 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20090915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100622 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100702 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4546956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |