JP2002511617A - ビデオ画像からの顔認識 - Google Patents

ビデオ画像からの顔認識

Info

Publication number
JP2002511617A
JP2002511617A JP2000543917A JP2000543917A JP2002511617A JP 2002511617 A JP2002511617 A JP 2002511617A JP 2000543917 A JP2000543917 A JP 2000543917A JP 2000543917 A JP2000543917 A JP 2000543917A JP 2002511617 A JP2002511617 A JP 2002511617A
Authority
JP
Japan
Prior art keywords
image
recognizing
node
wavelet
jet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000543917A
Other languages
English (en)
Inventor
マウラー，トーマス
エラジン，イゴー・バレリビッチ
ノセラ，ルシアノ・パスクゥアレ・アゴスティーノ
ステファンズ，ヨハネス・バーナード
ネベン，ハルトムット
Original Assignee
アイマティック・インターフェイシズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイマティック・インターフェイシズ・インコーポレイテッド filed Critical アイマティック・インターフェイシズ・インコーポレイテッド
Publication of JP2002511617A publication Critical patent/JP2002511617A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

(57)【要約】 本発明は、画像フレームにおける物体を検出および認識するための装置および関連の方法において実施される。物体は、たとえば、特定の顔の特色を有する頭である。物体検出プロセスでは、強力かつ計算上効率的な技術を用いる。物体識別および認識プロセスは、画像の特徴をジェットとして効率的に表わすモデルグラフおよびバンチグラフに基づく。ジェットはウェーブレット変換からなり、容易に識別可能な特徴に対応する画像のノードまたはランドマークロケーションで処理される。本発明のシステムは特に、人物を広範囲の姿勢角度にわたって認識する場合に好都合である。

Description

【発明の詳細な説明】
【０００１】
【関連出願の相互参照】
本願は、米国特許法第１１９条（ｅ）（１）および米国特許法施行規則第１．
７８条（ａ）（４）に基づき、１９９８年４月１３日出願の、「VISION ARCHITE
CTURE TO DESCRIBE FEATURES OF PERSONS」と題された、米国仮出願第６０／０
８１，６１５号の優先権を主張する。
【０００２】
【発明の分野】
本発明は、視覚に基づく物体検出および追跡に関し、より特定的には、ビデオ
画像における物体、たとえば人間の顔を検出し、その物体をリアルタイムで追跡
し、識別するためのシステムに関する。
【０００３】
【発明の背景】
最近開発された物体および顔の認識技術には、弾性バンチグラフマッチングの
使用が含まれる。バンチグラフ認識技術は、解析されている画像が、画像の顔部
分がその画像のほとんどの部分を占めるように分割される場合に、顔を認識する
のに非常に効果的である。しかしながら、弾性バンチグラフ技術は、大きなシー
ンにおいて、対象となる物体がそのシーンのほんのわずかな部分しか占めない場
合に、物体を信頼性高く検出しないかもしれない。加えて、弾性バンチグラフ認
識技術をリアルタイムで使用するには、画像を分割するプロセスが計算上効率的
でなければならない。さもなければ、この認識技術の性能上の多くの利点が得ら
れない。
【０００４】 したがって、ビデオ画像における物体を検出し、ビデオ画像を、バンチグラフ
マッチングプロセスにより計算上効率的な態様でさらに処理するために準備する
ための、画像処理技術が、現在非常に必要とされている。本発明はこの必要を満
たしている。
【０００５】
【発明の概要】
本発明は、画像フレームにおける物体を検出および認識するための装置および
関連の方法において実施される。物体検出プロセスは、強力かつ計算上効率的な
技術を用いる。物体識別認識プロセスは、画像の特徴をジェットとして効率的に
表わすモデルグラフおよびバンチグラフに基づいた画像処理技術を利用する。本
発明のシステムは特に、人物を、広範囲の姿勢角度にわたって認識するのに有利
である。
【０００６】 本発明のある実施例において、物体が検出され、その物体と関連する画像フレ
ームの一部が、囲みボックスによって境界が示される。画像フレームの囲み部分
は、ウェーブレット変換を用いて変換され、変換された画像が生成される。代表
的な複数の物体画像から生成されたバンチグラフのウェーブレットジェットによ
り定められる物体の目立つ特徴と関連するノードの場所を、変換された画像にお
いて求める。物体は、物体画像のギャラリーにおけるある物体画像と関連するウ
ェーブレットジェットと、変換された画像のノードのウェーブレットジェットと
の類似度に基づいて、識別される。
【０００７】 加えて、画像の囲み部分内で、検出された物体の大きさを定めこの物体を中心
に置くことで、検出された物体が囲み部分内で予め定められた大きさおよびロケ
ーションを有するようにしてもよく、物体認識の前に物体に関連しない画像フレ
ームの囲み部分の背景部分を抑制してもよい。この物体は、顔の領域を示す人物
の頭であることが多い。バンチグラフは、物体の３次元表現に基づくものでもよ
い。さらに、ウェーブレット変換を、ハードウェア適応位相表現を用いて行なう
位相計算を利用して行なうことができる。
【０００８】 本発明のある代替実施例において、物体は画像のシーケンス内にあり、物体を
検出するステップはさらに、物体を、その物体と関連する軌道に基づき、画像フ
レーム間で追跡することを含む。また、ノードの場所を求めるステップは、ノー
ドを画像フレーム間で追跡し、追跡されたノードを、そのノードの位置が画像フ
レーム間の予め定められた位置制約を超えて逸れている場合に、再初期化するこ
とを含む。加えて、画像フレームはステレオ画像でもよく、検出するステップは
、頭の移動に関連する凸領域を検出することを含み得る。
【０００９】 本発明の他の特徴および利点は、例示として本発明の原理を示す添付の図面と
関連付けられた以下の好ましい実施例の記載から、明らかになるはずである。
【００１０】
【好ましい実施例の詳細な説明】
本発明は、画像フレームにおける物体を検出および認識するための方法および
関連の装置において実施される。物体は、たとえば特定の顔の特色を有する頭で
ある。物体検出プロセスでは、強力かつ計算上効率的な技術が用いられる。物体
識別および認識プロセスでは、画像の特徴をジェットとして効率的に表わすモデ
ルグラフおよびバンチグラフに基づく画像処理技術が用いられる。ジェットは、
ウェーブレット変換からなり、容易に識別可能な特徴に対応する画像のノードま
たはランドマークロケーションで処理される。本発明のシステムは特に、人物を
種々の姿勢角度にわたって認識するのに有利である。
【００１１】 本発明の画像処理システムについて、図１−３を参照して説明する。物体認識
プロセス１０は、画像処理システム１２から与えられるデジタル化されたビデオ
画像データに対して働く。画像データは、人間の顔といった物体の種類の画像を
含む。画像データは、単一のビデオ画像フレームでもよく、または、一連のシー
ケンシャルな単眼もしくはステレオ画像フレームでもよい。
【００１２】 顔の画像を弾性バンチグラフ技術を用いて処理する前に、本発明に従って、画
像の中の頭を、頭検出および追跡プロセス１４を用いて、大まかに配置する。画
像データの性質次第で、頭検出モジュールは、例として、モーション、カラー、
またはサイズ（ステレオビジョン）、トポロジーまたはパターンに基づく種々の
視覚的経路のうち１つを用いる。頭検出プロセスでは、検出された頭の周りに囲
みボックスを置くことによって、ランドマーク発見プロセスによって処理しなけ
ればならない画像領域を減じる。ヘッド検出および追跡プロセスから受けたデー
タに基づき、前選択プロセス１６は、さらなる解析のために画像材料の最も適切
な眺めを選択し、ヘッド検出を精密にして頭の画像を中心に置きかつその大きさ
を定める。選択された頭の画像は、弾性バンチグラフ技術を用いて個々の顔の特
徴を検出するために、ランドマーク発見プロセス１８に与えられる。顔のランド
マークが顔の画像において発見されると、ランドマーク追跡プロセス２０を用い
てランドマークを追跡することができる。次に、ランドマークで抽出された特徴
を、識別プロセス２２によって、ギャラリー画像から抽出された対応の特徴と比
較する。この画像認識プロセスの部分は、ランドマーク発見プロセスは比較的時
間がかかりフレームレートが比較的高い一連の画像フレームに対しリアルタイム
で実施できないことがよくあるため、好都合である。しかしながら、他方、ラン
ドマーク追跡は、フレームレートよりも高速で行なうことができる。したがって
、最初のランドマーク発見プロセスの間に、バッファを新たに入来する画像フレ
ームで満たせばよい。ランドマークがの場所が求められると、ランドマーク追跡
が開始され、処理システムは、バッファが空になるまでバッファされた画像を処
理することによって、追いつくことができる。なお、前選択およびランドマーク
追跡モジュールは、顔認識プロセスから省略してもよい。
【００１３】 図３において、検出、ランドマーク発見および識別プロセスのための、認識プ
ロセスのスクリーン出力が示される。左上の画像ウィンドウは、獲得した画像を
、囲んでいる矩形により示される検出された頭とともに示している。頭の画像を
中心に置き、大きさを再び定め、ランドマーク発見プロセスに与える。右上の画
像ウィンドウは、ランドマーク発見モジュールの出力を、顔のランドマークのノ
ードでマークされた顔の画像とともに示したものである。マークされた画像は、
下側のウィンドウに示されている識別されたプロセスに与えられる。左端の画像
は、識別のためにランドマーク発見プロセスから与えられた、選択された顔を表
わす。右端３つの画像は、最も似ているギャラリー画像を、類似度の順に分類し
たものであり、最も似ている顔は左端の位置にある。各ギャラリー画像には、画
像に関連するタグ（たとえばｉｄ番号および人物の名前）が添えられる。次に、
システムは、最も似ている顔に関連するタグを報告する。
【００１４】 顔認識プロセスは、ステレオ画像に基づく３次元（３Ｄ）再構成プロセス２４
を用いて実現できる。３次元顔認識プロセスにより、視点に左右されない認識が
得られる。
【００１５】 本発明の顔認識プロセスを実現するための画像処理システム１２を、図２に示
す。この処理システムは、デジタルビデオ画像フレームのストリームを生成する
ビデオソース２６からある人物の画像を受ける。ビデオ画像フレームは、処理の
ためにビデオランダムアクセスメモリ（ＶＲＡＭ）２８に転送される。従来のＣ
ＣＤカメラにより生成されたデジタル化画像を発生しその画像をリアルタイムで
３０Ｈｚというフレームレートでメモリに転送する、Matrox (登録商標、Dorval
, Quebec, Canada、www.matrox.com）から入手可能なMatrox Meteor IIは、申し
分のない撮像システムである。画像フレームに対する典型的な解像度は、２５６
画素×２５６画素である。画像フレームは、ＶＲＡＭおよびランダムアクセスメ
モリ（ＲＡＭ）３２に結合された中央処理装置（ＣＰＵ）３０を備える画像プロ
セッサにより処理される。ＲＡＭは、本発明の顔認識プロセスを実現するための
プログラムコード３４およびデータを記憶する。その代わりとして、画像処理シ
ステムは、特定用途ハードウェアにおいて実現されてもよい。
【００１６】 頭検出プロセスについて、図４を参照してより詳細に説明する。顔の画像は、
ＶＲＡＭ２８に、単一画像３６として、画像の単眼ビデオストリーム３８として
、または、画像の両眼ビデオストリーム４０として、記憶することができる。
【００１７】 単一画像の場合、処理時間は重要でないかもしれず、以下でより詳細に説明す
る弾性バンチグラフマッチングを用いて、顔を、その顔が画像の少なくとも１０
％をカバーしかつ直径が少なくとも５０画素の場合に、検出できる。顔が画像の
１０％よりも小さいまたは複数の顔がある場合は、H. A. Rowley, S. Baluja an
d T. Kanade, "Rotation Invarient Neural Network-Based Face Detection", P
roceedings Computer Vision and Pattern Recognition, 1998 に記載されてい
るように、ニューラルネットワークに基づく顔検出器を用いることができる。画
像が色情報を含む場合は、皮膚色検出プロセスを用いて顔検出の信頼度を高める
ことができる。皮膚色検出プロセスは、可能な皮膚の色を含むルックアップテー
ブルに基づくものでもよい。顔検出の信頼度を示すもので、バンチグラフマッチ
ング中にまたはニューラルネットワークにより生まれる信頼度値を、皮膚色の画
像領域に対し、高めることができる。
【００１８】 画像の動きについて、毎秒少なくとも１０フレームの単眼画像ストリームを、
特にこの画像ストリームが静止背景の前で動いている人物を一人のみ含むような
場合、分析できる。頭追跡のある技術には、異なる画像を用いて、ある画像のど
の領域が動いているのかを判断することが含まれる。
【００１９】 複眼画像に関して以下でより詳細に説明するように、頭が動くと、異なる画像
が、動きシルエット内に凸領域を有することが多い。画像が静止背景の前で直立
位置にある単一の人物を含む場合は、この動きシルエット技術によって容易に頭
の動きの場所を求めてこれを追跡することができる。クラスタアルゴリズムによ
り、動いている領域をクラスタにグループ化する。最低しきい値サイズおよび直
径を超える最高クラスタのトップが、ヘッドであるとみなされかつマークされる
。
【００２０】 頭の動き検出のもう１つの有利な用途では、画像の動きにより影響される画素
数が最低しきい値を超えるようなときにのみ使用されるグラフマッチングを用い
る。このしきい値は、比較的時間のかかるグラフマッチング画像解析が、画像に
おける変化が新たな綿密な解析を必要とするのに十分である場合のみ行なわれる
ように、選択される。たとえば、Turk et al., "Eignefaces for Recognition",
Journal of Cognitive Neuroscience, Vol. 3, No. 1, p. 71, 1991 のように
、雑音の多い動きシルエットの凸領域を求めるために他の技術を用いてもよい。
D. J. Fleet, "Measurement of Image Velocity", Kluwer International Serie
s in Engineering and Computer Science, No. 169, 1992 に記載されているよ
うなオプチカルフロー法は、どの画像領域が変化しているかを求めるための代替
のかつ信頼できる手段をもたらすが、計算上はより集中的なものである。
【００２１】 図５を参照して、信頼性がありかつ高速の頭および顔検出を、ステレオ両眼ビ
デオ画像の画像ストリームを用いて行なうことができる（ブロック５０）。ステ
レオ視野により、前景および背景物体間の区別が可能であり、かつ、これは、頭
および手といったサイズがわかっている物体の物体サイズを求めることを考慮し
ている。動きは、一連の画像における２つの画像間で、右画像チャネルおよび左
画像チャネル双方の画像に異なるルーチンを与えることによって、検出される（
ブロック５２）。双方の画像チャネルにおいて動いている画素に対しディスパリ
ティマップが計算される（ブロック５４）。次に、凸検出器がディスパリティヒ
ストグラムを用いる（ブロック５６）。これはディスパリティに対する画素数を
示す。あるディスパリティ間隔に限定されたディスパリティを有する画像領域が
、ディスパリティヒストグラムの局所最大を調べることによって選択される（ブ
ロック５８）。局所最大に関連する画素は、動きシルエットと呼ばれる。この動
きシルエットは２値画像である。
【００２２】 いくつかの動きシルエットを、ひとりの人物により生じるものとしては小さす
ぎるとして、廃棄してもよい（ブロック６０）。所与の深さに関連する動きシル
エットは、人物を他の動いている物体から区別することができる（ブロック６２
）。
【００２３】 動きシルエットの凸領域は（ブロック６４）、図６に示すように凸検出器によ
って検出される。凸検出器は、シルエット内の凸領域を分析する。凸検出器は、
近隣の画素を有する動きシルエットに属する画素６８が、周囲の許容領域７０内
にあるのか、または、ディスパリティの幅７２内にあるのか検査する。接続され
た許容領域は、周囲のどこかの部分に配置できる。凸検出器の出力は２値である
。
【００２４】 同様に、皮膚色シルエットを用いて頭および手を検出できる。動きシルエット
、皮膚色シルエット、動きシルエットに適用される凸検出器の出力、および、皮
膚色シルエットに適用される凸検出器の出力は、異なる４つの証拠マップを提供
する。証拠マップは、ある画素が顔または手に属するという証拠を示す画像ドメ
インにわたるスカラ関数である。４つの証拠マップ各々は２値のものである。証
拠マップは、所与のディスパリティに対して線形的に重ね合わされ、局所最大に
ついて検査が行なわれる。局所最大は、頭または手を発見し得る位置の候補を示
す。次に、予期される頭の直径を、証拠マップを生み出すディスパリティマップ
の局所最大から推察する。上記のように、頭検出は、強い背景の動きがある場合
合でさえうまく機能する。
【００２５】 頭追跡プロセス（ブロック４２）は、頭軌道検査を生じさせるのに用い得る頭
位置情報を発生する。図７に示すように、新たに検出された頭の位置（ブロック
７８）を、既存の頭軌道と比較することができる。細線化を行ない（ブロック８
０）、複数の近い検出を、１つの代表的な検出と置換える（ブロック８２）。新
たな位置を検査し、時空間連続性を仮定して、新たに推定された位置が既に存在
している軌道に属するかどうかを検査する（ブロック８４）。時間ｔで得たフレ
ームに対し発見されたすべての位置推定について、このアルゴリズムは、時間ｔ
−１での先行フレームに対し求めた最も近い頭位置推定を探し（ブロック８６）
、これを接続する（ブロック８８）。十分に近い推定が発見できなければ、新た
な頭が現われたと仮定し（ブロック９０）、新たな軌道が始まる。個々の推定を
軌道に接続するために、画像座標のみを用いる。
【００２６】 すべての軌道には、漏れのある積分器を用いて更新される信頼度が割り当てら
れる。信頼度の値が予め定められたしきい値を下回る場合、その軌道は削除され
る（ブロック９２）。ヒステリシスメカニズムを用いて、軌道の作成および削除
を安定化させる。軌道を開始するためには（ブロック９０）、軌道を削除するよ
りも高い信頼度の値に達していなければならない。
【００２７】 前選択器１６（図２）の動作により、同じ軌道に属する一連の画像から、適切
な画像を認識のために選択する。この選択は、ハードウェアの計算力が軌道の各
画像を個々に分析するのに十分でない場合に、特に好都合である。しかしながら
、利用できる計算力が発見されたすべての顔を分析するのに十分であれば、前選
択器を用いる必要がない場合もある。
【００２８】 前選択器１６は、頭追跡プロセス１４から入力を受け、ランドマーク発見プロ
セス１８に出力を与える。入力は以下のとおりである。
【００２９】 ＊２次元バイトアレイにより表わされる、サイズ２５６×２５６画素の単眼グ
レー値画像。
【００３０】 ＊画像のシーケンス番号を表わす整数。この数は同じシーケンスに属するすべ
ての画像について同じである。
【００３１】 ＊顔を囲む正方形の囲み矩形の左上および右下隅の画素座標を表わす４つの整
数値。
【００３２】 前選択器の出力は以下のとおりである。 ＊先行するシーケンスから選択された単眼グレー値画像。
【００３３】 ＊前選択器が入力として受ける矩形と比較して、より正確なやり方で顔の位置
を表わす、正方形の囲み矩形の左上および右下隅の画素座標を表わす４つの整数
値。
【００３４】 図８に示すように、前選択器１６は、頭追跡プロセス１４で求めたのと同じ軌
道に属する一連の顔候補を処理する（ブロック１００）。ランドマーク発見に関
して以下で説明するように、弾性バンチグラフマッチングを、対象となる物体（
たとえばある人物の頭）を含む画像のシーケンスに適用し（ブロック１０２）、
さらなる処理のために最も適した画像を選択する（すなわちランドマーク発見／
認識）。前選択器は、各画像を品質によって評価するためにグラフマッチングを
適用する。加えて、マッチングの結果は、頭検出モジュールよりも正確な、顔の
位置およびサイズに関する情報をもたらす。マッチング手順により発生した信頼
度の値を、画像の適切度の尺度として用いる。前選択器は、画像を、その信頼度
の値が現在のシーケンスにおいて今までに測定した最高信頼度値を超えている場
合に、次のモジュールに与える（ブロック１０４−１１０）。前選択器は、検出
された画像を囲みボックスによって囲み、その画像をランドマーク発見プロセス
１８に与える。次のプロセスは、入来する各画像に対し処理を開始するが、同じ
シーケンス内で信頼度の値（前選択器によって測定されたもの）のより高い画像
が来た場合、処理を終了する。このことにより、ＣＰＵの作業負荷が増すが、予
備結果が早く得られる。
【００３５】 このようにして、前選択器は、最も適切な１組の画像をさらなる処理のために
取出す。その代わりとして、前選択器は、以下のようにして画像を評価すること
ができる。
【００３６】 ＊後続のモジュール（たとえばランドマーカ、識別子）は、最後の、したがっ
て、前選択器が認めた最も確実な画像を、選択するために、シーケンスが終了す
るまで待つ。これにより、ＣＰＵの作業負荷は小さくなるが、最終結果（たとえ
ば認識）が得られるまで時間的な遅れがあることが示唆される。
【００３７】 ＊後続のモジュールは、前選択器が認めた各画像を取込み、それを個々に評価
し、最終的な選択は次のモジュールに委ねる（たとえば認識信頼度により）。こ
れによっても予備結果は早く得られる。この場合最終的な認識結果はあるシーケ
ンス内で変化し、結局のところ認識率は向上する。しかしながら、この方策では
、３つの評価選択肢の中でＣＰＵ時間量が最も多い。
【００３８】 頭部の顔のランドマークおよび特徴の場所を、図９に示す弾性グラフマッチン
グ技術を用いて求めることができる。この弾性グラフマッチング技術では、捕捉
された画像（ブロック１４０）を、図１０を参照して以下でさらに詳細に説明す
るウェーブレット変換を用いて、ガボール空間に変換する（ブロック１４２）。
変換された画像（ブロック１４４）は、当初の画像の各画素につき、ウェーブレ
ット成分を表わす４０の複素値によって表現される。次に、図１２を参照して以
下でさらに詳細に説明するモデルグラフのハードコピーを、変換された画像の上
の、変化するモデルノード位置に位置決めし、最適類似度の位置を求める（ブロ
ック１４６）。最適類似度の探索は、モデルグラフを画像の左上隅に位置決めし
、ノードにあるジェットを抽出し、画像グラフとモデルグラフとの間の類似度を
求めることによって行なうことができる。この探索は、モデルグラフを、画像の
左上隅から始めて左から右へとスライドさせることによって続けられる（ブロッ
ク１４８）。顔のおおよその位置がわかると（ブロック１５０）、ノードを個別
に動かして弾性グラフ歪みを導入する（ブロック１５２）。うまくマッチングす
る場所を求めるために、以下で述べる位相の影響を受けない類似度関数を用いる
（ブロック１５４）。次に、位相の影響を受ける類似度関数を用いて、正確にジ
ェットの場所を発見する。その理由は、位相がジェットの小さな変位の影響を大
きくうけるからである。位相の影響を受けない類似度関数および位相の影響を受
ける類似度関数については、図１０−１３を参照して以下で説明する。なお、図
９では当初の画像に関するグラフが示されているが、モデルグラフの移動および
マッチングは、実際には変換された画像に対して行なわれる。
【００３９】 ウェーブレット変換について図１０を参照して説明する。当初の画像をガボー
ルウェーブレットを用いて処理し、畳込みの結果を得る。ガボールに基づくウェ
ーブレットは、ガウスエンベロープにより変調された２次元の複合波フィールド
からなる。
【００４０】
【数１】
【００４１】 ウェーブレットは、ガウス窓により制限される、波数ベクトルｋ→（記号→は
本来ｋの上に示されるものである。以下の表記も同様。）の平面波であり、波長
に対するその大きさは、σによりパラメータ化される。括弧内の項はＤＣ成分を
除去する。波数ベクトルｋの振幅は以下のようにして選択できる。式中νは所望
の空間解像度に関連する。
【００４２】
【数２】
【００４３】 典型的には、波数ベクトルｋ→の空間を、解像度レベルが５（２分の１オクタ
ーブずつ異なる）および各解像度レベルでの配向が８の離散階層構造において（
例として図１３参照）サンプリングすることにより、サンプリングされた画像ポ
イント各々に対し４０の複素値を生成する。（実成分および虚成分は平面波の正
弦および余弦相を指す。）ｋ−空間におけるサンプルは、インデックスｊ＝１、
…、４０で指定され、１つの画像ポイントを中心とするすべてのウェーブレット
成分は、ジェット６０と呼ばれるベクトルとみなされる。各ジェットは、ｘ→を
囲む領域の局所的な特徴を記述する。サンプリングの際の密度が十分であれば、
画像を、サンプリングされた周波数によりカバーされる帯域内のジェットから再
構成できる。このように、あるジェットの各成分は、画像のポイント（ｘ，ｙ）
で抽出されたガボールウェーブレットのフィルタ応答である。
【００４４】 図１１に示す１６２で示した画像グラフを用いて物体の外観を記述する（この
コンテクストでは顔）。この番号で示されたグラフのノード１６４は、物体上の
ポイントを指し、ジェット１６０として示される。グラフのエッジ１６６は、ノ
ード間の距離ベクトルで示される。ノードおよびエッジはグラフトポロジーを定
める。ジオメトリが等しいグラフを比較することができる。２つのジェットの絶
対成分の正規化ドット積が、ジェット類似度を定める。この値は照度およびコン
ラストの変化と無関係である。２つのグラフ間の類似度を計算するために、グラ
フ間の対応するジェットの類似度に対して和を取る。
【００４５】 画像における人間の顔を発見するために具体的に指定されるモデルグラフ１６
８を図１２に示す。グラフにおいて数字が付されたノードは以下のロケーション
を有する。
【００４６】 ０ 右の瞳 １ 左の瞳 ２ 鼻の上端 ３ 右眉の右隅 ４ 右眉の左隅 ５ 左眉の右隅 ６ 左眉の左隅 ７ 右の鼻孔 ８ 鼻尖 ９ 左の鼻孔 １０ 口の右隅 １１ 上唇の中心 １２ 口の左隅 １３ 下唇の中心 １４ 右耳の下部 １５ 右耳の上部 １６ 左耳の上部 １７ 左耳の下部 顔を表わすために、バンチグラフ１７０と呼ばれるデータ構造を用いる。これは
上記のグラフと似ているが、各ノードに対しジェットを１つだけ設ける代わりに
、ジェットのバンチ（束）全体７２（バンチジェット）を各ノードに設ける。各
ジェットは異なる顔の画像から得たものである。バンチグラフを形成するために
、顔の画像のコレクション（バンチグラフギャラリー）を、頭の規定された位置
のノードロケーションでマークする。この規定された位置はランドマークと呼ば
れる。バンチグラフと画像とのマッチングの際、画像から抽出された各ジェット
を、バンチグラフに設けられた対応のバンチにおけるすべてのジェットと比較し
、最もよくマッチングしているもの１つを選択する。このマッチングプロセスは
、弾性バンチグラフマッチングと呼ばれる。バンチグラフは、慎重に選択したギ
ャラリーを用いて構成されると、局所的性質が大きく異なる多岐にわたる顔をカ
バーする。
【００４７】 画像における顔を発見するために、グラフが最もよくマッチングしている場所
を発見するまで、画像フレームの上でグラフを移動させ、スケーリングする（バ
ンチジェット内で最も適合するジェットは、ノードの現在の位置で画像から抽出
されたジェットに最も類似する）。顔の特徴は顔ごとに異なるため、グラフはこ
のタスクに対してより一般的に作成される。たとえば、各ノードには、１０から
１００の個々の顔から取り入れた、対応するランドマークのジェットが割当てら
れる。
【００４８】 グラフに相対的な歪みがある場合、幾何学的ひずみを説明する第２の項を導入
してもよい。異なるまたは相補的でさえある２つのタスクに対して異なる２つの
ジェット類似度関数が用いられる。ジェットＪ→の成分が振幅ａjおよび位相ψj を用いた形式で書かれる場合、２つのジェットＪ→およびＪ′→の類似度は、以
下のような、振幅ベクトルの正規化されたスカラ積である。
【００４９】
【数３】
【００５０】 この関数は、２つのジェットが指す画像ポイント間の相対移動ベクトルを含む。
グラフマッチング中に２つのジェットを比較するとき、これらの類似度をｄに関
して最大化し、ジェット位置の正確な判断を行なう。双方の類似度関数を用いる
が、最初にグラフのマッチングを行なうときには位相の影響を受けない方（これ
は相対的位置とともに滑らかに変化する）が好まれることが多く、ジェットを正
確に位置決めするときには位相の影響を受ける方が好まれることが多い。
【００５１】 図１４に示す粗から精へのランドマーク発見方策では、解像度がより低い画像
においてノードおよびカーネルがより少ないグラフを用いる。粗いランドマーク
発見に成功した後、特定の顔の特徴を正確に発見するために、解像度のより高い
画像に対してより高い精度で局所化を行なうことができる。
【００５２】 ガボール畳込みの応答は、通常絶対値および位相値として記憶される複素数で
ある。なぜなら、ガボールジェットの比較は、値が実−虚ドメインにおいてでは
なくそのドメインで表現されている場合、より効率的に行なうことができるから
である。典型的に、絶対値および位相値は、「浮動」値として記憶される。次に
浮動に基づく算術を用いて計算を行なう。位相値は、−πからπの範囲であり、
−πはπに等しいため、数の分布を図１５に示すように円形の軸で表示できる。
位相値がこの範囲を超えるときは常に、すなわち一定の位相値の加算または減算
によってこの範囲を超える場合、結果として得られる値をこの範囲内に再調整し
なければならない。これは浮動−加算のみよりも計算上の手間がかかる。
【００５３】 通常用いられる整数表現および多くのプロセッサが提供する関連の算術は、２
の補数である。この値は有限範囲を有するため、加算および減算の演算において
オーバフローまたはアンダフローが起こり得る。２バイトの整数の正の最大数は
３２７６７である。１を加算することにより、実際−３２７６８を表現する数に
なる。２の補数の整数の算術的振る舞いは、位相算術の要求に非常に近い。した
がって、位相の値を、２バイトの整数で表わすことができる。位相値ｊを、図１
６に示すように整数値Ｉにマッピングする。後で説明するマッチングおよび比較
段中、−πからπの範囲にある値が要求されることは稀である。したがって、［
−π，π］および［−３２７６８，３２７６８］間のマッピングを、頻繁に計算
する必要はない。しかしながら、位相加算および減算は頻繁に生じる。これは、
プロセッサ適応間隔を用いてより高速で計算を行なう。したがって、この適応技
術により、プロセッサの計算速度を大幅に向上させることができる。
【００５４】 顔の特徴およびランドマークの場所を示した後、顔の特徴を、図１７および１
８に示すように、連続するフレームにわたって追跡できる。本発明の追跡技術に
より、特徴またはノードの追跡に失敗したかどうかを検出してそのノードに対す
る追跡プロセスを再初期化する追跡修正方法を用いることで、長いフレームシー
ケンスに対し強力な追跡を行なう。
【００５５】 画像シーケンスの画像Ｉ＿ｎにおける１つのノードの位置Ｘ＿ｎは、上記のラ
ンドマーク発見方法（ブロック１８０）を用いて画像Ｉ＿ｎでランドマークを発
見する、または、追跡プロセスを用いて画像Ｉ＿（ｎ−１）からＩ＿ｎへとノー
ドを追跡することによりわかる。次に、このノードを、いくつかの技術のうち１
つによって、画像Ｉ＿（ｎ＋１）における対応の位置Ｘ＿（ｎ＋１）まで追跡す
る（ブロック１８２）。以下で説明する追跡法により、有利に高速の動きに対処
することができる。
【００５６】 第１の追跡技術は線形動き予測を含む。新規の画像Ｉ＿（ｎ＋１）における対
応のノード位置Ｘ＿（ｎ＋１）に対する探索は、動き予測子が発生した位置で開
始される。速度が一定であると仮定して、先行する２つのフレーム間でのノード
の変位を表わすディスパリティベクトル（Ｘ＿ｎ−Ｘ＿（ｎ−１））を計算する
。ディスパリティまたは変位ベクトルＤ＿ｎを位置Ｘ＿ｎに加算して、ノード位
置Ｘ＿（ｎ＋１）を予測することができる。この線形動きモデルは、一定速度の
動きに対処するのに特に好都合である。線形動きモデルはまた、追跡されている
物体の加速度と比較してフレームレートが高い場合に、優れた追跡をもたらす。
しかしながら、フレームレートが低すぎて、画像シーケンスにおけるフレーム間
で物体の加速度が大きい場合、線形動きモデルの性能は低い。動きモデルがこう
いった条件下で物体を追跡するのは困難であるため、フレームレートのより高い
カメラを用いることが推奨される。
【００５７】 線形動きモデルが発生する推定動きベクトルＤ＿ｎが大きすぎると、動き予測
における誤差の累積につながり得る。したがって、線形予測を減衰定数ｆ＿Ｄを
用いて減衰することができる。結果として得られる、予測された動きベクトルは
、Ｄ＿ｎ＝ｆ＿Ｄ＊（Ｘ＿ｎ−Ｘ＿（ｎ−１））である。適切な減衰定数は０．
９である。先行するフレームＩ＿（ｎ−１）がない場合、たとえば、ランドマー
ク発見直後のフレームに対し、予測される動きベクトルは０と等しくなるように
設定される（Ｄ＿ｎ＝０）。
【００５８】 １次元に適用される、ガウス画像ピラミッドに基づく追跡技術は、図１９に示
される。当初の画像解像度を用いる代わりに、画像を２から４倍にダウンサンプ
リングして画像のガウスピラミッドを作成する。４レベルの画像ピラミッドは、
結果として、最も粗いレベルにおいて３画素のみとして表わされている最も精細
な当初の解像度レベルに対し２４画素の距離をもたらす。ピラミッドのいずれか
のレベルでジェットを計算および比較することができる。
【００５９】 一般的に、ガウス画像ピラミッドにおけるノードの追跡は、最初に最も粗いレ
ベルで行ない次に最も精細なレベルに移る。ジェットは、上記のように減衰され
た線形動き予測Ｘ＿（ｎ＋１）＝（Ｘ＿ｎ＋Ｄ＿ｎ）を用い、位置Ｘ＿（ｎ＋１
）の実際の画像フレームＩ＿（ｎ＋１）の最も粗いガウスレベルで抽出され、先
行する画像フレームの最も粗いガウスレベルで計算した対応するジェットと比較
される。これらの２つのジェットから、ディスパリティを求める、すなわちＸ＿
（ｎ＋１）から、先行するフレームからのジェットに最もよく対応する位置まで
を指し示す２次元ベクトルを求める。この新しい位置がＸ＿（ｎ＋１）に割当て
られる。このディスパリティ計算については、以下でさらに詳細に説明する。最
も粗いガウスレベルの位置Ｘ＿（ｎ＋１）に対応する、実際の画像の次に精細な
ガウスレベルの位置が（２＊Ｘ＿（ｎ＋１）である）、この次に精細なレベルの
ディスパリティ計算についての開始点である。この点で抽出されたジェットは、
先行する画像フレームの同じガウスレベルについて計算された対応するジェット
と比較される。このプロセスは、最も精細な解像度レベルに達するまで、または
、先行するフレームの位置に対応するノードの位置を求めるのに特定されたガウ
スレベルに達するまで、すべてのガウスレベルに対して繰返される。
【００６０】 ガウス画像ピラミッドの代表的な２つのレベルが図１９に示されており、粗い
方のレベル１９４は上であり、精細な方のレベル１９６は下である。各ジェット
は、２つの周波数レベルに対するフィルタ応答を有すると仮定される。粗い方の
ガウスレベルの位置１、Ｘ＿（ｎ＋１）＝Ｘ＿ｎ＋Ｄ＿ｎで始めて、最低周波数
ジェット係数のみを用いた第１のディスパリティ移動により、位置２に至る。双
方の周波数レベルのすべてのジェット係数を用いた第２のディスパリティ移動に
より位置３に至り、これは、このガウスレベルの最終位置である。精細な方のガ
ウスレベルの位置１は、座標が２倍の粗い方のレベルの位置３に対応する。ディ
スパリティ移動シーケンスは繰返され、最も精細なガウスレベルの位置３が、追
跡されたランドマークの最終位置である。
【００６１】 実際の画像フレームにおいて追跡されたノードの新規の位置を求めた後、すべ
のガウスレベルにおけるジェットをこの位置で計算する。追跡されたノードを表
わす、先行するフレームに対して計算されたジェットの記憶されたアレイを、現
在のフレームに対して計算されたジェットの新規のアレイと置き換える。
【００６２】 ガウス画像ピラミッドを用いることには２つの主要な利点がある。第１に、粗
い方のレベルにおける画素に関しノードの移動が当初の画像におけるものよりも
遥かに小さく、これによって、大きな画像領域において徹底的に探索を行なう代
わりに局所的な移動のみを行なうことによって追跡が可能になる。第２に、ジェ
ット成分の計算が低周波数に対して非常に速い。なぜなら、この計算は、当初の
解像度の画像の大きなカーネルウィンドウに対してではなく、ダウンサンプリン
グされた画像の小さなカーネルウィンドウを用いて行なわれるからである。
【００６３】 なお、対応レベルは動的に選択してもよい。たとえば、顔の特徴の追跡の場合
、対応レベルを顔の実際の大きさに依存して選択してもよい。ガウス画像ピラミ
ッドの大きさも、追跡プロセスを通して変更できる。すなわち、この大きさを、
動きが速くなったときに大きくし動きが遅くなったときに小さくできる。典型的
には、最も粗いガウスレベルの最大ノード移動は１から４画素の範囲に制限され
る。なお、動き予測は最も粗いレベルでのみ行なわれることも多い。
【００６４】 同じガウスレベルの所与の２つのジェット間の移動ベクトル（ディスパリティ
ベクトル）の計算について次に説明する。連続する２つのフレーム間の変位を計
算するために用いるある方法は、本来、D. J. Fleet および A. D. Jepson, "Co
mputation of component image velocity from local phase information", Int
ernational Journal of Computer Vision, volume 5, issue 1, pages 77-104,
1990、ならびに、W. M. Theimer および H. A. Mallot, "Phase-based binocula
r vergence control and depth reconstruction using active vision", CVGIP:
Image Understanding, volume 60, issue 3, pages 343-358, November 1994
に基づき、ステレオ画像におけるディスパリティ推定に対して開発されたもので
ある。複合フィルタ応答の位相の強い変化を用いて、サブピクセル精度で変位を
明確に計算する（Wiskott, L.,"Labeled Graphs and Dynamic Link Matching fo
r Face Recognition and Scene Analysis", Verlag Harri Deutsch, Thun-Frank
furt am Main, Reihe Physik 53, PhD thesis, 1995 参照）。振幅ａjおよび位
相ψｊに関しｊ番目のガボールフィルタへの応答Ｊを書くことにより、類似度関
数を以下のように定めることができる。
【００６５】
【数４】
【００６６】 ＪおよびＪ′を位置ＸおよびＸ′＝Ｘ＋ｄの２つのジェットとすると、変位ｄは
、ｄに関する類似度Ｓを最大化することによって発見でき、ｋjはＪjを発生する
フィルタと関連する波数ベクトルである。ｄの推定は、小さな変位、すなわちガ
ボールジェットの大きな重なりのみに対して正確であるため、大きな移動ベクト
ルは第１の推定のみとして扱われ、このプロセスは以下の態様で繰返される。最
初に、最も周波数レベルの低いフィルタ応答のみを用いて第１の推定ｄ＿１が生
まれる。次に、この推定を実行し、ジェットＪをジェットＪ′の位置Ｘ′により
近い位置Ｘ＿１＝Ｘ＋ｄ＿１で再計算する。次に、２つの最も低い周波数レベル
を変位ｄ＿２の推定のために用い、ジェットＪを位置Ｘ＿２＝Ｘ＿１＋ｄ＿２で
再計算する。これは、用いた最大周波数レベルに達するまで反復され、２つの開
始ジェットＪおよびＪ′間の最終ディスパリティｄが、和ｄ＝ｄ＿１＋ｄ＿２＋
…として与えられる。このようにして、最低周波数のカーネルの波長の半分まで
変位を計算することができる（先のWiskott、1995参照）。
【００６７】 変位は浮動小数点数を用いて求めているが、ジェットを（整数）画素位置のみ
で抽出してもよい（すなわち畳込みによって計算してもよい）。その結果、シス
テム的な丸め誤差が生まれる。このサブピクセル誤差Δｄを補償するために、複
合ガボールフィルタ応答の位相を以下に従いシフトする必要がある。
【００６８】
【数５】
【００６９】 こうすれば、ジェットは、あたかも正しいサブピクセル位置で抽出されたかのよ
うに見えるであろう。このように、ガボールジェットを、さらなる丸め誤差を考
慮せずに、サブピクセル精度で追跡できる。なお、ガボールジェットは画像処理
において実質的な利点をもたらす。その理由は、サブピクセル精度の問題は他の
ほとんどの画像処理方法において対処がより困難なためである。
【００７０】 追跡誤差は、信頼度または類似度の値が予め定められたしきい値よりも小さい
かどうかを判断することによって検出できる（図１７のブロック１８４）。類似
度（または信頼度）の値Ｓを計算して、２つの画像フレームにおける２つの画像
領域がいかにうまく対応しているかを、連続する画像フレーム間のノードの変位
の計算と同時に、示すことができる。典型的には、信頼度の値が１に近いことは
、対応度の高いことを示す。信頼度の値が１に近くなければ、画像において対応
するポイントが発見されていないか（たとえばフレームレートが動いている物体
の速度と比較して低すぎるため）、または、この画像領域がある画像フレームか
ら次のフレームへとあまりにも大幅に変化しているため対応性をうまく定めるこ
とができないかである（たとえば瞳を追跡するノードに対し瞳が閉じられる）。
信頼度の値があるしきい値よりも低いノードはスイッチオフされる。
【００７１】 何らかの幾何学的制約が侵害されたときにも追跡誤差が検出され得る（ブロッ
ク１８６）。同時に多くのノードが追跡される場合、ノードの幾何学的構成が一
致しているかどうかについて検査される。このような幾何学的制約はかなり緩や
かでよい。たとえば、顔の特徴を追跡するとき鼻は目と口との間になければなら
ないといったことである。代わりに、こういった幾何学的制約はかなり厳しいも
のでもよい。たとえば、追跡される顔の正確な形状情報を含むモデルといったも
のである。この中間の精度に対しては、制約は平面モデルに基づき得る。平面モ
デルでは、顔グラフのノードは平面にあると仮定される。正面図で始まる画像シ
ーケンスについては、追跡されるノード位置を、アフィン変換により実際のフレ
ームに変換される正面グラフの対応するノード位置と比較することができる。最
適アフィン変換の６つのパラメータが、ノード位置における最小二乗誤差を最小
にすることによって発見される。追跡されたノード位置と変換されたノード位置
との間のずれがしきい値と比較される。しきい値よりもずれの大きいノードはス
イッチオフされる。アフィン変換のパラメータを用いて、姿勢および相対的なス
ケール（開始グラフと比較したもの）を同時に求めることができる（ブロック１
８８）。このように、この大まかな平面モデルによって、追跡誤差が予め定めら
れたしきい値よりも大きくなることが確実になくなる。
【００７２】 追跡されたノードが追跡誤差のためにスイッチオフされた場合、このノードを
、異なる姿勢を含むバンチグラフを有利に用いて正しい位置で再び活性化し（ブ
ロック１９０）、修正された位置から追跡を続行することができる（ブロック１
９２）。追跡されたノードがスイッチオフされた後、システムは、姿勢に固有の
バンチグラフが存在する予め規定された姿勢に達するまで待ってもよい。それ以
外の場合は、正面のバンチグラフのみが記憶されているならば、システムは、正
面の姿勢に達するまで待って追跡誤差を修正しなければならない。記憶されたジ
ェットのバンチを適合位置を囲む画像領域と比較してもよい（たとえば平面モデ
ルからのもの）。これは追跡と同じ態様で作用するが、異なる点は、先行する画
像フレームのジェットとの比較の代わりに、比較は例のバンチのジェットすべて
について繰返され最も似ているものが取込まれることである。顔の特徴はわかっ
ているので、たとえば、実際の姿勢、スケールおよび大まかな位置までもわかっ
ているので、グラフマッチングまたは画像における徹底的な探索および／または
姿勢空間は不要であり、ノード追跡修正をリアルタイムで行なうことができる。
【００７３】 追跡訂正のために、多くの異なる姿勢およびスケールに対するバンチグラフは
不要である。なぜなら、画像面における回転およびスケールは、局所的画像領域
またはバンチグラフのジェットの変換を図２０に示すようにして行なうことによ
り、考慮されているからである。正面の姿勢に加え、深さにおける回転に対して
のみバンチグラフを作成する必要がある。
【００７４】 再初期化プロセスの速度を、ひとつの画像シーケンス中は追跡される人物のア
イデンティティが同じであるという事実を利用して、高めることができる。した
がって、最初の学習セッションでは、人物の最初のシーケンスは、正面の顔の表
情の全レパートリーを表わしている人物とともに取込むことができる。この最初
のシーケンスを、異なる多くの人物に関する知識を含む大きな一般化されたバン
チグラフに基づき上述の追跡および訂正方法を用いて、精度高く追跡することが
できる。このプロセスをオフラインで行ない、個人別にされた新たなバンチグラ
フを生成することができる。次に、個人別にされたバンチグラフを用いて、この
人物をリアルタイムで高速レートで追跡できる。なぜならば、個人別にされたバ
ンチグラフは一般化された大きなバンチグラフよりも遥かに小さいからである。
【００７５】 再初期化プロセスの速度を、部分バンチグラフ再初期化を利用して高めること
もできる。部分バンチグラフは、全バンチグラフのノードのサブセットのみを含
む。このサブセットの大きさは１つのノードぐらいでしかない。
【００７６】 姿勢推定バンチグラフは、画像面において定められる２次元バンチグラフの一
族を利用する。１つの族内の異なるグラフは、頭の、異なる姿勢および／または
スケールを説明する。ランドマーク発見プロセスは、画像における頭の姿勢また
は大きさを求めるために、その族からの各バンチグラフを入力画像とマッチング
させようとする。こうした姿勢推定手順の一例が図２１に示される。この姿勢推
定の第１ステップは、通常のランドマーク発見のものと等しい。画像（ブロック
１９８）は、グラフ類似度関数を用いるために、変換される（ブロック２００お
よび２０２）。次に、１つだけではなく、３つのバンチグラフの族を用いる。第
１のバンチグラフは正面の姿勢の顔のみを含み（上記の正面図と等しい）、他の
２つのバンチグラフは４分の１だけ回転させた顔を含む（一方が左への回転を表
わし、他方が右への回転を表わす）。先のように、グラフ各々に対する初期位置
は左上隅にあり、グラフの位置は画像においてスキャンされ、ランドマーク発見
後最も高い類似度を戻す位置およびグラフが選択される（ブロック２０４−２１
４）。
【００７７】 各グラフに対する最初のマッチングの後、最終位置の類似度が比較される（ブ
ロック２１６）。画像において与えられた姿勢に最もよく対応しているグラフは
類似度が最も高い（ブロック２１８）。図２１において、左に回転させたグラフ
は、類似度によって示されるように最もよく適合している。像における顔の解像
度および回転の角度に応じて、正しいグラフおよび他の姿勢に対するグラフの類
似度は、変化し、グラフを規定した２つの姿勢間のおよそ中間に顔があるときに
、非常に近くなる。より多くの姿勢に対してバンチグラフを作成することにより
、姿勢推定手順がより精細になり、これにより、他の方向（たとえば上または下
）への頭の回転およびハンドル回転のより多くの角度が区別される。
【００７８】 カメラから任意の距離にある顔を確実に発見するために、同様の方策を用いて
、各々がスケールの異なる異なる２または３のバンチグラフを用いてもよい。画
像における顔は、最高のものを顔の画像に戻すバンチグラフと同じスケールを有
すると仮定される。
【００７９】 上記の技術に関連する３次元（３Ｄ）ランドマーク発見技術を用いて、異なる
姿勢に適合させた複数のバンチグラフを用いることもできる。しかしながら、こ
の３次元方策は３次元空間で規定されるバンチグラフ１つのみを用いる。３次元
グラフのジオメトリは、平均的な顔または頭のジオメトリを反映する。回転度数
の異なる数人の人物の顔の画像からジェットを抽出することにより、３次元バン
チグラフを作成する。これは、２次元方策と似ている。次に各ジェットを３つの
回転角度でパラメータ化する。２次元方策のように、ノードは頭の表面の基準点
に位置する。次に、３次元グラフの突起をマッチングプロセスで用いる。３次元
方策におけるある重要な一般化は、各ノードに、異なる姿勢に適合するバンチジ
ェットのパラメータ化された族を設けることである。第２の一般化は、グラフが
画像面での変換のみではなく３次元空間でユークリッド変換し得ることである。
【００８０】 ３次元グラフマッチングプロセスは、粗から精への方策として定めることがで
きる。ここでは初めにノードおよびカーネルの少ないグラフを用い、次に後続の
ステップではより密度の高いグラフを利用する。粗から精への方策は、顔のある
領域における特徴ポイントの高精度の局所化が所望される場合に特に適している
。このように、階層的方策を採用することによって、計算上の手間を省く。ここ
では、最初に粗い解像度についてランドマーク発見を行ない、次に、適合したグ
ラフをより高い解像度で検査して、ある領域をより精細に解析する。
【００８１】 さらに、計算上の作業負荷を、マルチプロセッサマシンで簡単に分割してもよ
い。こうすれば一旦粗い領域が発見されると、少数の子プロセスが並列に、各々
が画像全体のうちそれ自身の部分に対して作業を開始する。子プロセスの最後に
、これらプロセスはそれらが位置する特徴座標をマスタプロセスに送り、マスタ
プロセスは適切にこれらをスケーリングし組合せて当初の画像に合うようにし、
こうして計算の総時間が大幅に短縮する。
【００８２】 テクスチャマッピングされた頭部３次元モデルを構成するために、多数の方法
が開発されてきた。このセクションでは、ステレオに基づく方策について説明す
る。ステレオに基づくアルゴリズムを、十分に校正されたカメラの場合について
説明する。このアルゴリズムは、画像の画素の面積に基づきマッチングを行ない
、密度の高い３次元情報が必要な場合に適している。次にこれを用いてより高度
な物体の記述を正確に定めることができる。ステレオ撮像およびマッチングに関
するさらなる背景情報は、U. Dhond および J. Aggrawal, "Structure from Ste
reo: a Review", IEEE Transactions on Systems, Man, and Cybernetics, 19 (
6), pp. 1489-1510, 1989, または、より最近では、R. Sara および R. Bajcsy,
"On Occluding Contour Artifacts in Stereo Vision", Proc. Int. Conf. Com
puter Vision and Pattern Recognition, IEEE Computer Society, Puerto Rico
, 1997.; M. Okutomi および T. Kanade, "Multiple-baseline Stereo", IEEE T
rans. on Pattern Analysis and Machine Intelligence 15 (4), pp. 353-363,
1993; P. Belhumeur, "A Bayesian Approach to Binocular Stereopsis", Intl.
J. of Compute Vision, 19 (3), pp. 237-260, 1996; Roy, S. および Cox, I.
, "Maximum-Flow Formulation of the N-camera Stereo Correspondence Proble
m", Proc. Int. Conf. Computer Vision, Narosa Publishing House, Bombay, I
ndia, 1998; Scharstein, D. および Szeliski, R., "Stereo Matching with No
n-Linear Diffusion", Proc. Int. Conf. Computer Vision and Pattern Recogn
ition, IEEE Computer Society, San Francisco, CA, 1996; ならびに Tomasi,
C. および Manduchi, R., "Stereo without Search", Proc. European Conf. Co
mputer Vision, Cambridge, UK, 1996 に示される。
【００８３】 二眼式立体映像において重要なことは、対応性（マッチング）の問題であると
して知られている。すなわち、両眼ステレオからレンジ（領域）データを取戻す
ために、空間３次元ポイントの対応の射影を左右の画像で発見しなければならな
い。探索−空間次元を減じるために、エピポーラ（epipolar）制約を適用する（
S. Maybank および O. Faugeras, "A Theory of Self-Calibration of a Moving
Camera" Intl. J. of Computer Vision, 8 (2), pp. 123-151, 1992参照）。二
眼式立体映像は、以下のようにして４ステッププロセスで定めることができる。
【００８４】 ＊校正：カメラのパラメータを計算する。 ＊調整：ステレオ対を投影し、画像における対応の特徴が同じ線にあるように
する。このラインは視線像（エピポーラライン、epipolar line）と呼ばれる。
これは全く必要なわけではないが、アルゴリズムの性能を大幅に高める。なぜな
ら、マッチングプロセスを、１次元探索として、調整された画像の水平線に沿い
行なうことができるからである。
【００８５】 ＊マッチング：探索ウィンドウにおいてコスト関数を各位置について局所的に
計算する。相関の最大値を用いてステレオ対における対応の画素を選択する。
【００８６】 ＊再構成：ステレオ対においてマッチングした画素座標から３次元座標を計算
する。 マッチング誤差を取除くために、マッチングの直後に後処理を加えることができ
る。可能性として、誤差は、マッチングの曖昧さにより生じ、その原因はマッチ
ングが局所的に行われることにあることが多い。いくつかの幾何学的制約および
フィルタリングを適用して、誤ったマッチングの数を減じる。連続する面を扱う
ときには（例として前位置にある顔）、内挿を用いてマッチングしていない領域
を回復させることができる（大抵は非テクスチャ領域であり相関スコアは明らか
なモノモード最大値を有さない）。
【００８７】 調整および再構成プロセスにおいて用いられる等式に至る形式は、射影幾何学
と呼ばれており、O. Faugeras, "Three-Dimensional Computer Vision, A Geome
tric Viewpoint", MIT Press, Cambridge, Massachusetts, 1993 において詳細
に示されている。使用されるモデルは多大な利点をもたらす。一般に、図２２に
示す簡単なピンホールカメラモデルを想定する。必要であれば、校正時にレンズ
の歪を計算することもできる（最も重要なファクタは放射方向のレンズ歪である
）。実際的な観点からすれば、校正は、校正補助具すなわち既知の３次元構造の
物体を用いて行われる。通常、目に見えるドットまたは正方形パターンを備える
立方体を、図２３に示すように校正補助具として用いる。
【００８８】 調整アルゴリズムを簡単にするために、最初に各ステレオ対の入力画像を調整
し（N. Ayache および C. Hansen, "Rectification of Images for Binocularan
d Trinocular Stereovision", Proc. of 9th International Conference on Pat
tern Recognition, 1, pp. 11-16, Italy, 1988参照）、対応するポイントが同
じ画像の線上にあるようにする。こうすれば、明らかに、対応するポイントは左
右の調整された画像において座標（ｕL，ｖL，）および（ｕL-d,ｖL）を有し、
「ｄ」はディスパリティとして知られているものである。調整プロセスの詳細に
ついては先のFaugerasを参照。調整面（画像を投影して調整された画像を得るの
に用いる面）の選択は重要である。通常、この面は、投影された画像の歪が最小
になるように、かつ、対応する画素が図２４に示すように同じライン番号（視線
像は並列でありかつ整列している）に沿う位置にあるように、選択される。この
ような構造は標準ジオメトリと呼ばれる。
【００８９】 図２６を参照して、マッチングは、左右の画像において対応するポイントを発
見するプロセスである。いくつかの相関関数を用いてこのディスパリティを計算
することができる。たとえば、正規化された交差相関（H. Moravec, "Robot Rov
er Visual Navigation", Computer Science: Artificial Intelligence, pp. 13
-15, 105-108, UMI Research Press 1980/1981参照）は、以下によって与えられ
る。
【００９０】 ｃ（ＩL，ＩR）＝２ｃｏｖ（ＩL，ＩR）／（ｖａｒ（ＩL）＋ｖａｒ（ＩR））
…（６） 式中、ＩLおよびＩRは調整された左右の画像である。相関関数を矩形領域のポイ
ント（ｕL，ｖL）および（ｕR，ｖR）に適用する。サイズ１×Ｎの探索ウィンド
ウについて、コスト関数ｃ（ＩL，ＩR）を、図２５に示すようにして計算する（
調整プロセスのため）。ここでＮはある許容可能な整数である。左の画像の各画
素（ｕL，ｖL）について、マッチングにより、相関プロファイルｃ（ｕL，ｖL，
ｄ）が生まれる。ここで「ｄ」はポイント（ｕL，ｖL，）でのディスパリティと
して定められる。すなわち以下のとおりである。
【００９１】 ｄu＝ｕR−ｕL …（７） ｄv＝０ …（８） ２番目の等式は、視線像が整列していることを表わしている。マッチング手順に
より、ディスパリティマップが出力される、または、ベース画像に重ねることが
できるディスパリティの画像が出力される（ここではステレオ対の左の画像）。
このディスパリティマップは、「ステレオ対の右の画像において画素の対応物を
発見するために視線像に沿ってどれだけ移動すべきか」を示している。
【００９２】 マッチング時にいくつかの精細化を利用してもよい。たとえば、可能な対応物
のリストを各ポイントで保持し、鮮明度の制約、順序の制約およびディスパリテ
ィ傾斜制約といった制約を用いて（A. Yuille および T. Poggio, "A Generaliz
ed Ordering Constraint for Stereo Correspondence", MIT, Artificial Intel
ligence Laboratory Memo, No. 777, 1984; 上記 Dhond et al. ならびに Fauge
ras 参照）、不可能な構造を取除くことができる（上記 R. Sara et al，1997参
照）。クロスマッチングを用いることもできる。このマッチングは、左から右へ
と次に右から左へと行われ、候補（相関ピーク）は、双方のマッチングが同じ画
像の画素に至る場合に受入れられる。すなわち、以下の場合である。
【００９３】 ｄLR＝ｕL−ｕR＝−ｄLR …（９） 式中ｄLRは、左から右へのマッチングで発見されたディスパリティであり、ｄRL は右から左の場合のものである。さらに、ピラミッド形の機構を用いて探索ウィ
ンドウを制限することによりマッチングプロセス全体を助けることができる。こ
れは、先行するレベルの推定を用いて、解像度のピラミッドの各レベルでマッチ
ングを行なうことにより実現される。なお、階層的機構は表面の連続性を強化す
る。
【００９４】 なお、ステレオを２次元分割目的で用いた場合、ディスパリティマップのみが
必要である。このようにして、先に説明した校正プロセスなしで済まし、投影ジ
オメトリの結果を用いることができる（Q. T. Luong, "Fundamental Matrix and
autocalibration in Computer Vision", Ph.D. Thesis, University of Paris
Sud, Orsay, France, December 1992参照）。これは、基本マトリックス（Funda
mental Matrix）が利用できるならば調整が可能であることを示している。今度
は、基本マトリックスを用いて画像を調整し、マッチングが先に述べたように実
施できるようにする。
【００９５】 ３次元位置推定を正確にするために、整数ディスパリティマップのサブピクセ
ル補正を計算し、結果としてサブピクセルディスパリティマップを得る。サブピ
クセルディスパリティは、以下のいずれかにより得ることができる。
【００９６】 ＊検出された最大値の周囲の相関スコアの２次内挿を用いる。 ＊F. Devernay, "Computing Differential Properties of｛３−Ｄ｝Shapes f
rom Stereoscopic Images without｛３−Ｄ｝Models", INRIA, RR-2304, Sophia
Antipolis, 1994に記載されているような、より一般的な方策を用いる。（ここ
では、表面の平坦なパッチが撮像されると仮定して、斜めからの投影により生ま
れる左右の相関ウィンドウ間の歪を考慮している。） 第１の方策は最も速いが、第２の方策ではサブピクセルディスパリティのより
信頼性の高い推定が得られる。高速サブピクセル推定を行なう一方で推定の正確
度を保つために、以下のようにする。ＩLおよびＩRが左および右の調整された画
像であるとする。εが未知のサブピクセル補正であるとし、Ａ（ｕ、ｖ）が相関
ウィンドウを左から右の画像へとマッピングする変換であるとする（平坦なター
ゲットに対しては画像列を保存するアフィンマッピングである）。左右の画像の
対応する画素については以下のとおりである。
【００９７】 ＩR（ｕL−ｄ＋ε，ｖL）＝αＩL（Ａ（ｕL，ｖL）） …（１０） 式中、係数αはカメラ利得において起こり得る差を考慮している。「ε」および
「Ａ」に関する上記の式の１次線形近似により、線形系がもたらされ、各係数は
、対応する左右の相関ウィンドウにわたって推定される。この線形系の最小二乗
解により、サブピクセル補正が得られる。
【００９８】 なお、連続する面を回復させる場合（前姿勢の顔について）、内挿方法を、フ
ィルタリングされたディスパリティマップに用いることができる。このような方
法は以下のことを考慮することによって導き出すことができる。ここでは下にあ
る面が連続していると想定しているため、内挿され平滑化されるディスパリティ
マップｄは、以下の等式を確かめなければならない。
【００９９】 ｍｉｎ｛∬［（ｄ′−ｄ）＋λ（∇ｄ）2］ｄｕ ｄｖ｝ …（１１） 式中、λは平滑化パラメータであり、積分を画像全体に対して取入れている（画
素座標ｕおよびｖに対して）。反復アルゴリズムは、オイラー等式を用い、かつ
ラプラシアン演算子の近似を用いて、簡単に得られる。
【０１００】 ディスパリティマップおよびカメラ校正から、３次元ポイントの空間位置が、
三角測量に基づいて計算される（上記のDhond et al.参照）。（１つの画像ステ
レオ対からの）再構成の結果、空間ポイントのリストを得る。
【０１０１】 いくつかの画像を用いる場合（複眼（polynocular)ステレオ）、検証ステップ
を用いることができる（R. Sara, "Reconstruction of 3-D Geometry and Topol
ogy from Polynocular Stereo", http://com.felk.cvut.cz/〜sara参照）。この
手続中、すべてのステレオ対からの再構成されたポイントの組は、すべてのカメ
ラ対のディスパリティ空間に再び戻すように投影され、投影されたポイントが各
対の他の画像において予測された位置とマッチングしている場合は、検証される
。検証によってはずれ値が非常に効果的に取除かれるように思われる（特に閉塞
近くのマッチングの結果）。
【０１０２】 図２６は、ステレオアルゴリズムを、テクスチャ光を投影することにより得ら
れた画像のステレオ対に適用した、典型的な結果を示す。図２６の上の列は、主
体が動かないことを保証して短い時間間隔において取込まれた左右のおよび色画
像を示している。下の列は、ステレオをテクスチャ画像に適用し、かつ色画像で
テクスチャマッピングすることにより得た、再構成された顔のモデルの２つの図
を示している。なお、内挿およびフィルタリングをディスパリティマップに適用
しているので、顔の再構成は滑らかで連続している。また、この結果は、ステレ
オから得た未処理のポイントの組として表示されており、これらのポイントを網
目状にして、たとえば、アルゴリズム用いて、位置を記憶されたギャラリー画像
から抽出したジェットと比較し、連続面を得ることができる。顔認識アプリケー
ションのように完全なグラフを比較するか、または、部分的なグラフもしくは個
々のノードを比較する。
【０１０３】 ジェットを実際の比較のために抽出する前に、多数の画像正規化を適用する。
このような正規化の１つは背景抑制と呼ばれる。プローブ画像に対する背景の影
響を抑制しなければならない。なぜなら、プローブおよびギャラリー画像間で異
なる背景が、類似度を低下させ、しばしば分類の誤りに至ることがあるためであ
る。したがって、顔を囲むノードおよびエッジを顔の境界とする。背景画素は、
顔から逸れているときに、滑らかにトーンダウンされる。頭の外側の各画素値は
以下のように変形される。
【０１０４】 Ｐnew＝Ｐold・λ＋ｃ・（１−λ） …（１２）
【０１０５】
【数６】
【０１０６】 ここでｃは、グラフの最も近いエッジからの画素位置のユークリッド距離を表わ
す、一定の背景グレー値である。ｄ0は、一定のトーンダウン値である。もちろ
ん、画素値およびグラフ境界からの距離間の、他の関数従属性も可能である。
【０１０７】 図２８に示すように、自動背景抑制により、グレー値は、最も近いエッジから
逸れているときに滑らかに一定になる。この方法ではなおも顔を囲む背景領域が
見えているが、画像において強く妨害するようなエッジはない。これは、この領
域が単純に一定のグレー値で満たされているようなときに生じるであろう。
【０１０８】 上記は本発明の特定の実施例に関するものであるが、当業者であれば、これが
例示としてのものにすぎず、こうした実施例における変更が、本発明の原理から
逸脱することなく可能であり、本発明の範囲は前掲の特許請求の範囲によって定
められていることを理解するであろう。
【図面の簡単な説明】
【図１】 本発明に従う顔認識プロセスのブロック図である。
【図２】 本発明に従う顔認識システムのブロック図である。
【図３】 図１の認識プロセスの検出、発見、および識別プロセスを示す、
一連の画像である。
【図４】 本発明に従う頭検出および追跡プロセスのブロック図である。
【図５】 本発明に従うディスパリティ検出プロセスを示すためのフロー図
に、画像を添えたものである。
【図６】 本発明に従う凸検出器の概略図である。
【図７】 本発明に従う頭追跡プロセスのフロー図である。
【図８】 本発明に従う前選択器のフロー図である。
【図９】 図１の顔認識装置およびシステムのランドマーク発見技術を示す
フロー図に写真を添えたものである。
【図１０】 本発明に従うガボールウェーブレットを用いた顔の像の処理を
示す、一連の画像である。
【図１１】 本発明に従う、図１０のウェーブレット処理技術を用いた、ジ
ェット、画像グラフ、およびバンチグラフの構成を示す、一連のグラフである。
【図１２】 本発明に従う、顔の画像を処理するためのモデルグラフの図で
ある。
【図１３】 ウェーブレット処理を用いて顔の特徴をの場所を求めることを
示す２つの図を含む。
【図１４】 粗から精へのランドマーク発見技術を示すための顔の図であり
、これとともに抽出された目および口領域が示されている。
【図１５】 相の円形の振る舞いを示す概略図である。
【図１６】 本発明に従う、円形の振る舞いを有する相の２の補数を示す概
略図である。
【図１７】 本発明のランドマーク発見技術により発見されるランドマーク
を追跡するための追跡技術を示す、フロー図である。
【図１８】 本発明に従う顔の特徴の追跡を示す、一連の顔の画像である。
【図１９】 １次元でのランドマーク追跡を示すためのガウス画像ピラミッ
ド技術の図である。
【図２０】 ２つの顔の一連の画像に、５０の画像フレームのシーケンスに
わたる顔の特徴の追跡を示す、姿勢角度対フレーム数のグラフを添えたものであ
る。
【図２１】 図１の認識装置およびシステムの姿勢推定技術を示すためのフ
ロー図に、写真を添えたものである。
【図２２】 ３次元（３Ｄ）ビューアクセスの配向を示すピンホールカメラ
モデルのグラフである。
【図２３】 ３次元カメラ校正構造の斜視図である。
【図２４】 同じライン番号に添うステレオ画像の対応画素を投影するため
の調整の概略図である。
【図２５】 一方の画像フレームのウィンドウと他方の画像フレームの探索
ウィンドウとの間の相関マッチングプロセスを示す、画像フレームである。
【図２６】 ステレオ画像対の画像、ディスパリティマップ、および３次元
画像デコードを示す画像再構成である。
【図２７】 本発明に従う画像識別プロセスのフロー図である。
【図２８】 背景抑制の使用を示した画像である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，Ｚ Ａ，ＺＷ (72)発明者 エラジン，イゴー・バレリビッチ アメリカ合衆国、90007 カリフォルニア 州、ロス・アンジェルス、セベランス・ス トリート、2636、ナンバー・エイ (72)発明者 ノセラ，ルシアノ・パスクゥアレ・アゴス ティーノ アメリカ合衆国、90025 カリフォルニア 州、ロス・アンジェルス、サウス・ウェス トゲート・アベニュ、1230、ユニット・エ フ (72)発明者 ステファンズ，ヨハネス・バーナード アメリカ合衆国、90230 カリフォルニア 州、カルバー・シティ、グリーン・バレ ー・サークル、6420、ナンバー・207 (72)発明者 ネベン，ハルトムット アメリカ合衆国、90405 カリフォルニア 州、サンタ・モニカ、トゥエンティエイ ス・ストリート、2336、ナンバー・イー Ｆターム(参考） 5B057 CA01 CA12 CA13 CA16 CG09 DA11 DB02 DB03 DC36 5L096 AA02 FA02 FA26 HA03 JA11

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】 画像フレームにおける物体を認識するためのプロセスであっ
    て、 画像フレームにおける物体を検出し、前記物体に関連する画像フレームの部分
    を囲むことと、 前記画像フレームの前記囲み部分をウェーブレット変換を用いて変換し、変換
    された画像を生成することと、 前記変換された画像における、代表的な複数の物体画像から生成したバンチグ
    ラフのウェーブレットジェットにより定められる物体の目立つ特徴に関連するノ
    ードの場所を求めることと、 前記物体を、物体画像のギャラリーにおける物体画像に関連するウェーブレッ
    トジェットと、前記変換された画像のノードのウェーブレットジェットとの類似
    度に基づいて、識別することとを含む、物体を認識するためのプロセス。
  2. 【請求項２】 前記画像の前記囲み部分内において、前記検出された物体の
    大きさを定めかつその物体を中心に置いて、前記検出された物体が、前記囲み部
    分内で予め定められた大きさおよびロケーションを有するようにすることをさら
    に含む、請求項１に記載の物体を認識するためのプロセス。
  3. 【請求項３】 前記物体の識別前に前記物体に関連しない前記画像フレーム
    の囲み部分の背景部分を抑制することをさらに含む、請求項１に記載の物体を認
    識するためのプロセス。
  4. 【請求項４】 前記抑制された背景部分は、前記画像フレームの囲み部分に
    おける前記物体のエッジ近くで徐々に抑制される、請求項３に記載の物体を認識
    するためのプロセス。
  5. 【請求項５】 前記物体は顔領域を示す人物の頭である、請求項１に記載の
    物体を認識するためのプロセス。
  6. 【請求項６】 前記バンチグラフは前記物体の３次元表現に基づく、請求項
    １に記載の物体を認識するためのプロセス。
  7. 【請求項７】 前記ウェーブレット変換は、ハードウェア適応位相表現を用
    いて行なわれる位相計算を利用して行なわれる、請求項１に記載の物体を認識す
    るためのプロセス。
  8. 【請求項８】 前記場所を求めるステップは、粗から精への方策を用いて行
    なわれる、請求項１に記載の物体を認識するためのプロセス。
  9. 【請求項９】 前記バンチグラフは予め定められた姿勢に基づく、請求項１
    に記載の物体を認識するためのプロセス。
  10. 【請求項１０】 前記識別するステップは、前記物体の３次元表現を用いる
    、請求項１に記載の物体を認識するためのプロセス。
  11. 【請求項１１】 画像フレームのシーケンスにおける物体を認識するための
    プロセスであって、 前記画像フレームにおける物体を検出し、前記物体に関連する各画像フレーム
    の部分を囲むことと、 各画像フレームの前記囲み部分をウェーブレット変換を用いて変換し、変換さ
    れた画像を生成することと、 前記変換された画像において、代表的な複数の物体画像から生成されたバンチ
    グラフのウェーブレットジェットにより定められる前記物体の目立つ特徴に関連
    するノードの場所を求めることと、 前記物体を、物体画像のギャラリーにおける物体画像に関連するウェーブレッ
    トジェットと、前記変換された画像のノードのウェーブレットジェットとの類似
    度に基づいて、識別することとを含む、物体を認識するためのプロセス。
  12. 【請求項１２】 前記物体を検出するステップは、前記物体を、前記物体に
    関連する軌道に基づいて画像フレーム間で追跡するステップをさらに含む、請求
    項１１に記載の物体を認識するためのプロセス。
  13. 【請求項１３】 特定の軌道に属する眺めのシーケンスから物体の最も適切
    な眺めを選択する、前選択プロセスをさらに含む、請求項１１に記載の物体を認
    識するためのプロセス。
  14. 【請求項１４】 前記ノードの場所を求めるステップは、画像フレーム間で
    ノードを追跡することを含む、請求項１１に記載の物体を認識するためのプロセ
    ス。
  15. 【請求項１５】 追跡されたノードを、前記ノードの位置が画像フレーム間
    の予め定められた位置制約を超えて逸れた場合に、再初期化することをさらに含
    む、請求項１４に記載の物体を認識するためのプロセス。
  16. 【請求項１６】 前記予め定められた位置制約は、ノードロケーション間の
    相対的位置に関連する幾何学的位置制約に基づく、請求項１５に記載の物体を認
    識するためのプロセス。
  17. 【請求項１７】 前記画像フレームはステレオ画像であり、前記検出するス
    テップは、ディスパリティヒストグラムおよびシルエット画像を生成して前記物
    体を検出することを含む、請求項１１に記載の物体を認識するためのプロセス。
  18. 【請求項１８】 前記ディスパリティヒストグラムおよびシルエット画像は
    、頭の移動に関連しかつ凸検出器により検出される凸領域を生成する、請求項１
    ７に記載の物体を認識するためのプロセス。
  19. 【請求項１９】 前記ウェーブレット変換は、ハードウェア適応位相表現を
    用いて行なわれる位相計算を利用して行なわれる、請求項１１に記載の物体を認
    識するためのプロセス。
  20. 【請求項２０】 前記バンチグラフは物体の３次元表現に基づく、請求項１
    １に記載の物体を認識するためのプロセス。
  21. 【請求項２１】 前記場所を求めるステップは、粗から精への方策を用いて
    行なわれる、請求項１１に記載の物体を認識するためのプロセス。
  22. 【請求項２２】 前記バンチグラフは予め定められた姿勢に基づく、請求項
    １１に記載の物体を認識するためのプロセス。
  23. 【請求項２３】 画像フレームにおける物体を認識するための装置であって
    、 前記画像フレームにおける物体を検出し、前記物体に関連する画像フレームの
    部分を囲むための手段と、 前記画像フレームの前記囲み部分をウェーブレット変換を用いて変換し、変換
    された画像を生成するための手段と、 前記変換された画像において、代表的な複数の物体画像から生成されたバンチ
    グラフのウェーブレットジェットにより定められる前記物体の目立つ特徴に関連
    するノードの場所を求めるための手段と、 前記物体を、物体画像のギャラリーにおける物体画像に関連するウェーブレッ
    トジェットと、前記変換された画像のノードのウェーブレットジェットとの類似
    度に基づいて、識別するための手段とを含む、物体を認識するための装置。
  24. 【請求項２４】 画像フレームのシーケンスにおける物体を認識するための
    プロセスであって、 前記画像フレームにおいて物体を検出し、前記物体に関連する各画像フレーム
    の部分を囲むための手段と、 各画像フレームの前記囲み部分をウェーブレット変換を用いて変換し、変換さ
    れた画像を生成するための手段と、 前記変換された画像において、代表的な複数の物体画像から生成されたバンチ
    グラフのウェーブレットジェットにより定められる前記物体の目立つ特徴に関連
    するノードの場所を求めるための手段と、 前記物体を、物体画像のギャラリーにおける物体画像に関連するウェーブレッ
    トジェットと、前記変換された画像のノードのウェーブレットジェットとの類似
    度に基づいて、識別するための手段とを含む、物体を認識するためのプロセス。
JP2000543917A 1998-04-13 1999-04-12 ビデオ画像からの顔認識 Pending JP2002511617A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US8161598P 1998-04-13 1998-04-13
US60/081,615 1998-04-13
US09/206,195 US6301370B1 (en) 1998-04-13 1998-12-04 Face recognition from video images
US09/206,195 1998-12-04
PCT/US1999/007935 WO1999053427A1 (en) 1998-04-13 1999-04-12 Face recognition from video images

Publications (1)

Publication Number Publication Date
JP2002511617A true JP2002511617A (ja) 2002-04-16

Family

ID=26765755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000543917A Pending JP2002511617A (ja) 1998-04-13 1999-04-12 ビデオ画像からの顔認識

Country Status (10)

Country Link
US (1) US6301370B1 (ja)
EP (1) EP1072014B1 (ja)
JP (1) JP2002511617A (ja)
KR (1) KR100653288B1 (ja)
AT (2) ATE283519T1 (ja)
AU (1) AU3554199A (ja)
BR (1) BR9909623B1 (ja)
CA (1) CA2326816C (ja)
DE (2) DE69940225D1 (ja)
WO (1) WO1999053427A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202886B2 (en) 2003-03-19 2007-04-10 Matsushita Electric Industrial Co., Ltd. Videophone terminal
JP2007141228A (ja) * 2005-11-15 2007-06-07 Sharp Corp 自由視点におけるバーチャルビューの特定および合成
US8515180B2 (en) 2009-12-28 2013-08-20 Canon Kabushiki Kaisha Image data correction apparatus and method using feature points vector data
JP2013191181A (ja) * 2012-03-15 2013-09-26 Omron Corp 画像マッチング方法、およびこの方法を用いた画像マッチング装置およびプログラム
CN103632672A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种变声***、方法及人机交互***及方法
JP7517733B2 (ja) 2022-03-15 2024-07-17 延世大学校 産学協力団 マルチスケールオブジェクト探知装置及び方法

Families Citing this family (364)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US7650015B2 (en) * 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
CA2327304A1 (en) * 1998-04-13 1999-10-21 Johannes Bernhard Steffens Wavelet-based facial motion capture for avatar animation
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) * 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
DE19837004C1 (de) * 1998-08-14 2000-03-09 Christian Eckes Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen
JP3141004B2 (ja) * 1998-08-31 2001-03-05 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 動画中のオブジェクトを分類する方法
US6714661B2 (en) * 1998-11-06 2004-03-30 Nevengineering, Inc. Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
JP4157234B2 (ja) * 1999-09-02 2008-10-01 株式会社東芝 動画像内の移動物体検出装置
US6741756B1 (en) * 1999-09-30 2004-05-25 Microsoft Corp. System and method for estimating the orientation of an object
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
GB2360581A (en) * 2000-03-15 2001-09-26 Television Monitoring Services Quantification of brand exposure on screen
US6738520B1 (en) 2000-06-19 2004-05-18 Intel Corporation Method of compressing an image
US7046728B1 (en) * 2000-06-30 2006-05-16 Intel Corporation Method of video coding the movement of a human face from a sequence of images
GB2364590B (en) * 2000-07-07 2004-06-02 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
AUPQ921600A0 (en) * 2000-08-04 2000-08-31 Canon Kabushiki Kaisha Automatic person meta-data labeller
EP1332443A2 (en) * 2000-09-11 2003-08-06 Pinotage, LLC System and method for obtaining and utilizing maintenance information
US20030215128A1 (en) * 2001-09-12 2003-11-20 Pinotage Llc System and method for obtaining and utilizing maintenance information
WO2002023901A2 (en) * 2000-09-11 2002-03-21 Dynapel Systems, Inc. Special effects in video in response to depicted motion
US7095444B1 (en) * 2000-11-06 2006-08-22 Sri International Method and apparatus for generating, distributing and reconstructing deconstructed video
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6690414B2 (en) * 2000-12-12 2004-02-10 Koninklijke Philips Electronics N.V. Method and apparatus to reduce false alarms in exit/entrance situations for residential security monitoring
KR100416991B1 (ko) * 2001-01-11 2004-02-05 삼성전자주식회사 가상 배경 표시 기능을 갖는 영상 단말 장치 및 그 구현방법
US6961449B2 (en) * 2001-01-16 2005-11-01 University Of Massachusetts Lowell Method of correlation of images in biometric applications
US7031502B1 (en) 2001-01-29 2006-04-18 University Of Massachusetts Lowell Adjustable guide for viewing biometric surface patterns
US6917703B1 (en) * 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
GB0110480D0 (en) 2001-04-28 2001-06-20 Univ Manchester Metropolitan Methods and apparatus for analysing the behaviour of a subject
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
TW505892B (en) * 2001-05-25 2002-10-11 Ind Tech Res Inst System and method for promptly tracking multiple faces
US20050008198A1 (en) * 2001-09-14 2005-01-13 Guo Chun Biao Apparatus and method for selecting key frames of clear faces through a sequence of images
WO2003025805A1 (en) * 2001-09-18 2003-03-27 Pro-Corp Holdings International Limited Image recognition inventory management system
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP3758034B2 (ja) * 2001-10-30 2006-03-22 株式会社デンソー 車両用乗員保護装置
US20030126622A1 (en) * 2001-12-27 2003-07-03 Koninklijke Philips Electronics N.V. Method for efficiently storing the trajectory of tracked objects in video
US20030123734A1 (en) * 2001-12-28 2003-07-03 Koninklijke Philips Electronics N.V. Methods and apparatus for object recognition
AU2003209355A1 (en) 2002-01-22 2003-09-02 Matchlight Software Inc. System and method for image attribute recording and analysis for biometric applications
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
KR20030073895A (ko) * 2002-03-09 2003-09-19 박동발 얼굴인식 현금인출기 차단시스템
US20040052418A1 (en) * 2002-04-05 2004-03-18 Bruno Delean Method and apparatus for probabilistic image analysis
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
EP1357515A1 (de) * 2002-04-22 2003-10-29 Agfa-Gevaert AG Verfahren zur Verarbeitung digitaler Bilddaten von fotografischen Bildern
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
KR100478222B1 (ko) * 2002-06-17 2005-03-21 전진규 영상 데이터의 처리장치
US7031499B2 (en) * 2002-07-22 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Object recognition system
EP1540582A2 (en) * 2002-08-29 2005-06-15 Paul Rudolf Associative memory device and method based on wave propagation
US6996460B1 (en) 2002-10-03 2006-02-07 Advanced Interfaces, Inc. Method and apparatus for providing virtual touch interaction in the drive-thru
KR20040042501A (ko) * 2002-11-14 2004-05-20 엘지전자 주식회사 형판 정합 기반 얼굴 검출방법
US7283650B1 (en) 2002-11-27 2007-10-16 Video Mining Corporation Method and system for printing of automatically captured facial images augmented with promotional content
US7272467B2 (en) * 2002-12-17 2007-09-18 Evolution Robotics, Inc. Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping
US7734070B1 (en) * 2002-12-31 2010-06-08 Rajeev Sharma Method and system for immersing face images into a video sequence
JP3854229B2 (ja) * 2003-01-07 2006-12-06 株式会社東芝 画像処理装置
CN101064004B (zh) 2003-02-13 2010-05-26 日本电气株式会社 伪装检测装置及伪装检测方法
DE602004008594T2 (de) * 2003-03-18 2008-07-31 Koninklijke Philips Electronics N.V. Verfahren und vorrichtung zum optimalen anpassen von datensätzen
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
US7711155B1 (en) * 2003-04-14 2010-05-04 Videomining Corporation Method and system for enhancing three dimensional face modeling using demographic classification
US7602941B2 (en) * 2003-05-14 2009-10-13 Siemens Corporate Research, Inc. Component fusion for face detection
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US7391888B2 (en) 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8189927B2 (en) 2007-03-05 2012-05-29 DigitalOptics Corporation Europe Limited Face categorization and annotation of a mobile phone contact list
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7218760B2 (en) * 2003-06-30 2007-05-15 Microsoft Corporation Stereo-coupled face shape registration
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
WO2005034025A1 (en) * 2003-10-08 2005-04-14 Xid Technologies Pte Ltd Individual identity authentication systems
US7689043B2 (en) * 2003-10-09 2010-03-30 University Of York Image recognition
US20050104960A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with trajectory hypothesis spawning and local pruning
US7148912B2 (en) * 2003-11-17 2006-12-12 Vidient Systems, Inc. Video surveillance system in which trajectory hypothesis spawning allows for trajectory splitting and/or merging
US20050105764A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with connection probability computation that is a function of object size
US20050104959A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with trajectory hypothesis scoring based on at least one non-spatial parameter
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
US7088846B2 (en) * 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US6984039B2 (en) * 2003-12-01 2006-01-10 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
US7525584B2 (en) * 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
US20050197981A1 (en) * 2004-01-20 2005-09-08 Bingham Clifton W. Method for identifying unanticipated changes in multi-dimensional data sets
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US7072494B2 (en) * 2004-02-20 2006-07-04 Siemens Corporate Research, Inc. Method and system for multi-modal component-based tracking of an object using robust information fusion
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
US7292735B2 (en) * 2004-04-16 2007-11-06 Microsoft Corporation Virtual image artifact detection
US7257272B2 (en) * 2004-04-16 2007-08-14 Microsoft Corporation Virtual image generation
EP1741066B1 (fr) * 2004-04-19 2020-06-03 Adobe Inc. Methode et dispositif pour generer une carte procedurale a partir d'un parametre externe tel une caracteristique d'une image
US20050267657A1 (en) * 2004-05-04 2005-12-01 Devdhar Prashant P Method for vehicle classification
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
TW200540732A (en) * 2004-06-04 2005-12-16 Bextech Inc System and method for automatically generating animation
EP1766555B1 (en) * 2004-06-21 2010-08-04 Google Inc. Single image based multi-biometric system and method
WO2006010855A1 (fr) * 2004-06-30 2006-02-02 France Telecom Procede et dispositif de signature et de reconnaissance d'un visage base sur des transformations ondelettes
US7623685B2 (en) * 2004-08-20 2009-11-24 The Regents Of The University Of Colorado Biometric signatures and identification through the use of projective invariants
US7555151B2 (en) * 2004-09-02 2009-06-30 Siemens Medical Solutions Usa, Inc. System and method for tracking anatomical structures in three dimensional images
EP1640910A1 (de) * 2004-09-28 2006-03-29 AgfaPhoto GmbH Verfahren zum Erkennen von Rote-Augen-Defekten in digitalen Bilddaten von fotografischen Aufnahmen
US7864221B2 (en) * 2004-10-15 2011-01-04 Lifesize Communications, Inc. White balance for video applications
US8477173B2 (en) * 2004-10-15 2013-07-02 Lifesize Communications, Inc. High definition videoconferencing system
US7545435B2 (en) * 2004-10-15 2009-06-09 Lifesize Communications, Inc. Automatic backlight compensation and exposure control
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US20060120571A1 (en) * 2004-12-03 2006-06-08 Tu Peter H System and method for passive face recognition
TWI235041B (en) * 2004-12-09 2005-07-01 Univ Tsinghua Characteristic points automatically identification method for three-dimensional space scanning data of human body
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US8995715B2 (en) * 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US20060184066A1 (en) * 2005-02-15 2006-08-17 Baylor College Of Medicine Method for aiding stent-assisted coiling of intracranial aneurysms by virtual parent artery reconstruction
US8235725B1 (en) 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
US7370190B2 (en) * 2005-03-03 2008-05-06 Digimarc Corporation Data processing systems and methods with enhanced bios functionality
WO2006099597A2 (en) * 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7353034B2 (en) 2005-04-04 2008-04-01 X One, Inc. Location sharing and tracking using mobile phones or other wireless devices
US8606950B2 (en) * 2005-06-08 2013-12-10 Logitech Europe S.A. System and method for transparently processing multimedia data
JP2007037088A (ja) * 2005-06-24 2007-02-08 Matsushita Electric Ind Co Ltd ドアホン装置
JP4830650B2 (ja) * 2005-07-05 2011-12-07 オムロン株式会社 追跡装置
EP1742169B1 (en) * 2005-07-05 2012-02-22 Omron Corporation Tracking apparatus
US7450736B2 (en) * 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7917286B2 (en) 2005-12-16 2011-03-29 Google Inc. Database assisted OCR for street scenes and other images
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
JP2007174378A (ja) * 2005-12-22 2007-07-05 Fujifilm Corp 画像ファイリング方法及びデジタルカメラ及び画像ファイリング処理プログラム及び動画記録再生装置
US20070162761A1 (en) * 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
CN100361138C (zh) * 2005-12-31 2008-01-09 北京中星微电子有限公司 视频序列中人脸的实时检测与持续跟踪的方法及***
US8125509B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Facial recognition for a videoconference
US8487976B2 (en) * 2006-01-24 2013-07-16 Lifesize Communications, Inc. Participant authentication for a videoconference
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US7606424B2 (en) * 2006-02-13 2009-10-20 3M Innovative Properties Company Combined forward and reverse correlation
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US7515734B2 (en) * 2006-03-27 2009-04-07 Eyecue Vision Technologies Ltd. Device, system and method for determining compliance with a positioning instruction by a figure in an image
US8611587B2 (en) 2006-03-27 2013-12-17 Eyecue Vision Technologies Ltd. Device, system and method for determining compliance with an instruction by a figure in an image
CA2654960A1 (en) 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US20080086311A1 (en) * 2006-04-11 2008-04-10 Conwell William Y Speech Recognition, and Related Systems
DE602007012246D1 (de) 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
CN101089874B (zh) * 2006-06-12 2010-08-18 华为技术有限公司 一种远程人脸图像的身份识别方法
US7515740B2 (en) 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US8010511B2 (en) 2006-08-29 2011-08-30 Attributor Corporation Content monitoring and compliance enforcement
US8707459B2 (en) 2007-01-19 2014-04-22 Digimarc Corporation Determination of originality of content
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US8296808B2 (en) * 2006-10-23 2012-10-23 Sony Corporation Metadata from image recognition
US7987111B1 (en) * 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US20100150405A1 (en) * 2006-11-22 2010-06-17 Nader Butto System and method for diagnosis of human behavior based on external body markers
EP2104930A2 (en) 2006-12-12 2009-09-30 Evans & Sutherland Computer Corporation System and method for aligning rgb light in a single modulator projector
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7792328B2 (en) * 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8295542B2 (en) * 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US7877706B2 (en) * 2007-01-12 2011-01-25 International Business Machines Corporation Controlling a document based on user behavioral signals detected from a 3D captured image stream
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
KR20090102827A (ko) * 2007-01-23 2009-09-30 조스텐즈 인코포레이팃드 커스터마이즈된 출력을 생성하는 방법 및 시스템
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
WO2008107002A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US20080243614A1 (en) * 2007-03-30 2008-10-02 General Electric Company Adaptive advertising and marketing system and method
WO2008123967A1 (en) * 2007-04-02 2008-10-16 Roamware, Inc. System and method for making a face call
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8331632B1 (en) 2007-08-06 2012-12-11 University Of South Florida Indexing face templates using linear models
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
US20090067706A1 (en) * 2007-09-12 2009-03-12 Artec Ventures System and Method for Multiframe Surface Measurement of the Shape of Objects
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
US20110238361A1 (en) * 2007-09-28 2011-09-29 Kazuya Ueki Tallying system, tallying apparatus and tallying method
JP4881278B2 (ja) * 2007-10-31 2012-02-22 株式会社東芝 物体認識装置及びその方法
KR100840022B1 (ko) * 2007-11-05 2008-06-20 (주)올라웍스 프리뷰 히스토리를 참조로 디지털 데이터에 포함된 인물을인식하는 방법 및 시스템
US20090123035A1 (en) * 2007-11-13 2009-05-14 Cisco Technology, Inc. Automated Video Presence Detection
US8064653B2 (en) * 2007-11-29 2011-11-22 Viewdle, Inc. Method and system of person identification by facial image
KR100940862B1 (ko) * 2007-12-17 2010-02-09 한국전자통신연구원 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법
CN101211411B (zh) * 2007-12-21 2010-06-16 北京中星微电子有限公司 一种人体检测的方法和装置
KR100939294B1 (ko) 2007-12-26 2010-01-29 주식회사 케이티 3차원 공간에서의 사람 움직임 추적 방법 및 장치
US8705810B2 (en) * 2007-12-28 2014-04-22 Intel Corporation Detecting and indexing characters of videos by NCuts and page ranking
WO2009082814A1 (en) * 2007-12-31 2009-07-09 Ray Ganong Method, system, and computer program for identification and sharing of digital images with face signatures
US9721148B2 (en) 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
US9639740B2 (en) 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
US7894639B2 (en) * 2008-01-03 2011-02-22 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring a face glossary data
US9105298B2 (en) * 2008-01-03 2015-08-11 International Business Machines Corporation Digital life recorder with selective playback of digital video
US9270950B2 (en) * 2008-01-03 2016-02-23 International Business Machines Corporation Identifying a locale for controlling capture of data by a digital life recorder based on location
US8014573B2 (en) * 2008-01-03 2011-09-06 International Business Machines Corporation Digital life recording and playback
US8005272B2 (en) * 2008-01-03 2011-08-23 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring face glossary data
US9164995B2 (en) * 2008-01-03 2015-10-20 International Business Machines Corporation Establishing usage policies for recorded events in digital life recording
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
GB2491987B (en) 2008-03-03 2013-03-27 Videoiq Inc Method of searching data for objects identified by object detection
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN101990667B (zh) 2008-04-02 2013-08-28 谷歌公司 将自动人脸识别合并入数字图像集中的方法和装置
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
US8358317B2 (en) 2008-05-23 2013-01-22 Evans & Sutherland Computer Corporation System and method for displaying a planar image on a curved surface
US8553984B2 (en) * 2008-06-02 2013-10-08 Massachusetts Institute Of Technology Fast pattern classification based on a sparse transform
US8702248B1 (en) 2008-06-11 2014-04-22 Evans & Sutherland Computer Corporation Projection method for reducing interpixel gaps on a viewing surface
KR20110033207A (ko) * 2008-06-17 2011-03-30 조스텐즈 인코포레이팃드 졸업 앨범 생성 시스템 및 방법
EP2277141A2 (en) 2008-07-30 2011-01-26 Tessera Technologies Ireland Limited Automatic face and skin beautification using face detection
JP2010039788A (ja) * 2008-08-05 2010-02-18 Toshiba Corp 画像処理装置及びその方法並びに画像処理プログラム
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8843974B2 (en) 2008-08-27 2014-09-23 Albert John McGowan Media playback system with multiple video formats
JP5237037B2 (ja) * 2008-10-01 2013-07-17 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
CN101727568B (zh) * 2008-10-10 2013-04-17 索尼（中国）有限公司 前景动作估计装置和前景动作估计方法
US8077378B1 (en) 2008-11-12 2011-12-13 Evans & Sutherland Computer Corporation Calibration system and method for light modulation device
DE102008060141B4 (de) * 2008-12-03 2017-12-21 Forschungszentrum Jülich GmbH Verfahren zur Vermessung des Wachstums von Blattscheiben sowie eine dazu geeignete Vorrichtung
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8649555B1 (en) * 2009-02-18 2014-02-11 Lucasfilm Entertainment Company Ltd. Visual tracking framework
US20100259610A1 (en) * 2009-04-08 2010-10-14 Celsia, Llc Two-Dimensional Display Synced with Real World Object Movement
JP5214533B2 (ja) * 2009-05-21 2013-06-19 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
JP5227888B2 (ja) * 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
WO2010134200A1 (ja) * 2009-05-22 2010-11-25 株式会社東芝 画像処理装置、方法及びプログラム
US9134848B2 (en) * 2009-06-03 2015-09-15 Stmicroelectronics Asia Pacific Pte Ltd Touch tracking on a touch sensitive interface
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8238671B1 (en) 2009-12-07 2012-08-07 Google Inc. Scene classification for place recognition
US8189964B2 (en) 2009-12-07 2012-05-29 Google Inc. Matching an approximately located query image against a reference image set
US8774527B1 (en) 2009-12-07 2014-07-08 Google Inc. Matching an approximately located query image against a reference image set using cellular base station and wireless access point information
US8385630B2 (en) * 2010-01-05 2013-02-26 Sri International System and method of processing stereo images
CN102214291B (zh) * 2010-04-12 2013-01-16 云南清眸科技有限公司 一种快速准确的基于视频序列的人脸检测跟踪方法
US8249361B1 (en) 2010-04-22 2012-08-21 Google Inc. Interdependent learning of template map and similarity metric for object identification
US9015139B2 (en) 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US9286810B2 (en) 2010-09-24 2016-03-15 Irobot Corporation Systems and methods for VSLAM optimization
US20120098971A1 (en) * 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
US8831416B2 (en) 2010-12-22 2014-09-09 Michael Braithwaite System and method for illuminating and identifying a person
US20110181684A1 (en) * 2011-02-07 2011-07-28 InnovatioNet Method of remote video communication and system of synthesis analysis and protection of user video images
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US8509525B1 (en) 2011-04-06 2013-08-13 Google Inc. Clustering of forms from large-scale scanned-document collection
US8306267B1 (en) * 2011-05-09 2012-11-06 Google Inc. Object tracking
US9323980B2 (en) 2011-05-13 2016-04-26 Microsoft Technology Licensing, Llc Pose-robust recognition
US9251402B2 (en) 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
CN102254304B (zh) * 2011-06-17 2012-08-29 电子科技大学 一种目标物体轮廓检测方法
US8776250B2 (en) * 2011-07-08 2014-07-08 Research Foundation Of The City University Of New York Method of comparing private data without revealing the data
US9197637B2 (en) 2011-07-08 2015-11-24 Research Foundation Of The City University Of New York Method of comparing private data without revealing the data
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US8903138B1 (en) 2011-09-06 2014-12-02 Google Inc. Face recognition using pre-templates
US8966613B2 (en) 2011-09-30 2015-02-24 Microsoft Technology Licensing, Llc Multi-frame depth image information identification
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9641826B1 (en) 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
KR20130070340A (ko) * 2011-12-19 2013-06-27 한국전자통신연구원 모션인식에서 광흐름 처리 가속기 및 방법
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
TWI488128B (zh) * 2012-03-07 2015-06-11 Altek Corp 人臉辨識系統及其人臉辨識方法
US9020192B2 (en) 2012-04-11 2015-04-28 Access Business Group International Llc Human submental profile measurement
CN102799871A (zh) * 2012-07-13 2012-11-28 Tcl集团股份有限公司 一种人脸跟踪识别的方法
US8953843B1 (en) 2012-07-17 2015-02-10 Google Inc. Selecting objects in a sequence of images
US8977003B1 (en) 2012-07-17 2015-03-10 Google Inc. Detecting objects in a sequence of images
US9020637B2 (en) 2012-11-02 2015-04-28 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US9482732B2 (en) * 2012-11-08 2016-11-01 Nicolas Chesneau MRI reconstruction with motion-dependent regularization
US9330301B1 (en) 2012-11-21 2016-05-03 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US9336435B1 (en) 2012-11-21 2016-05-10 Ozog Media, LLC System, method, and computer program product for performing processing based on object recognition
US8805017B2 (en) * 2012-12-13 2014-08-12 Intel Corporation Gesture pre-processing of video stream to reduce platform power
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
KR20140099098A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9292103B2 (en) 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9190061B1 (en) 2013-03-15 2015-11-17 Google Inc. Visual speech detection using facial landmarks
US9262671B2 (en) 2013-03-15 2016-02-16 Nito Inc. Systems, methods, and software for detecting an object in an image
US9037396B2 (en) 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
CN104252614A (zh) * 2013-06-27 2014-12-31 南京理工大学常熟研究院有限公司 基于sift算法的二代身份证人脸比对方法
EP2824913A1 (en) * 2013-07-09 2015-01-14 Alcatel Lucent A method for generating an immersive video of a plurality of persons
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
TWI723271B (zh) * 2013-09-18 2021-04-01 日商半導體能源研究所股份有限公司 顯示裝置、顯示裝置的驅動方法、程式以及儲存介質
US9418703B2 (en) 2013-10-09 2016-08-16 Mindset Systems Incorporated Method of and system for automatic compilation of crowdsourced digital media productions
US9147061B1 (en) 2013-11-22 2015-09-29 Google Inc. Multi-level authentication
KR101506155B1 (ko) * 2013-12-12 2015-03-26 주식회사 슈프리마 생체 인증 장치와 얼굴 검출 방법
US9501498B2 (en) * 2014-02-14 2016-11-22 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
EP2916290A1 (en) * 2014-03-07 2015-09-09 Thomson Licensing Method and apparatus for disparity estimation
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
EP3134850B1 (en) 2014-04-22 2023-06-14 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
US9195904B1 (en) * 2014-05-08 2015-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects in stereo images
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
US9727776B2 (en) 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
US10027883B1 (en) 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
US9729865B1 (en) * 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
KR102412290B1 (ko) 2014-09-24 2022-06-22 프린스톤 아이덴티티, 인크. 생체측정 키를 이용한 모바일 장치에서의 무선 통신 장치 기능의 제어
KR102349059B1 (ko) 2014-11-07 2022-01-10 삼성전자주식회사 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
US9665804B2 (en) * 2014-11-12 2017-05-30 Qualcomm Incorporated Systems and methods for tracking an object
US10484584B2 (en) 2014-12-03 2019-11-19 Princeton Identity, Inc. System and method for mobile device biometric add-on
US9791541B2 (en) * 2014-12-19 2017-10-17 The Boeing Company System and method to improve object tracking using multiple tracking systems
US9940726B2 (en) * 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
RU2595620C1 (ru) * 2015-01-29 2016-08-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Способ автокалибровки стереокамер, используемых в целях автоматического распознавания лица человека
US10445391B2 (en) 2015-03-27 2019-10-15 Jostens, Inc. Yearbook publishing system
US10956493B2 (en) 2015-05-19 2021-03-23 Micro Focus Llc Database comparison operation to identify an object
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
KR102415503B1 (ko) 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
IL259904B (en) 2015-12-09 2022-08-01 Apstec Systems Usa Llc Multiple threat detection system
JP2019506694A (ja) 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
WO2017172695A1 (en) 2016-03-31 2017-10-05 Princeton Identity, Inc. Systems and methods of biometric anaysis with adaptive trigger
US10366296B2 (en) 2016-03-31 2019-07-30 Princeton Identity, Inc. Biometric enrollment systems and methods
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
US10282595B2 (en) 2016-06-24 2019-05-07 International Business Machines Corporation Facial recognition encode analysis
US10627887B2 (en) 2016-07-01 2020-04-21 Microsoft Technology Licensing, Llc Face detection circuit
US10950275B2 (en) 2016-11-18 2021-03-16 Facebook, Inc. Methods and systems for tracking media effects in a media effect index
US10122965B2 (en) 2016-11-29 2018-11-06 Facebook, Inc. Face detection for background management
US10303928B2 (en) * 2016-11-29 2019-05-28 Facebook, Inc. Face detection for video calls
US10554908B2 (en) 2016-12-05 2020-02-04 Facebook, Inc. Media effect application
US10372974B2 (en) 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
US10817722B1 (en) 2017-03-20 2020-10-27 Cross Match Technologies, Inc. System for presentation attack detection in an iris or face scanner
WO2018187337A1 (en) 2017-04-04 2018-10-11 Princeton Identity, Inc. Z-dimension user feedback biometric system
US10902104B2 (en) 2017-07-26 2021-01-26 Princeton Identity, Inc. Biometric security systems and methods
US10691925B2 (en) * 2017-10-28 2020-06-23 Altumview Systems Inc. Enhanced face-detection and face-tracking for resource-limited embedded vision systems
CN108062511A (zh) * 2017-11-17 2018-05-22 维库（厦门）信息技术有限公司 一种跨区域多摄像头目标识别关联跟踪方法及计算机设备
US10311334B1 (en) 2018-12-07 2019-06-04 Capital One Services, Llc Learning to process images depicting faces without leveraging sensitive attributes in deep learning models
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
CN109871771A (zh) * 2019-01-21 2019-06-11 北京轻舟科技有限公司 一种基于单视角视频的自动检测人体的方法及***
CN111738096B (zh) * 2020-05-28 2022-08-19 复旦大学 一种基于骨架姿态的人物跟踪方法
WO2022147411A1 (en) 2020-12-30 2022-07-07 Assa Abloy Ab Facial expression to augment face id and presentation attack detection
KR20240101253A (ko) 2022-12-23 2024-07-02 서강대학교산학협력단 딥러닝 기반의 성별 인식 장치 및 성별 인식 방법

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59226981A (ja) 1983-06-08 1984-12-20 Fujitsu Ltd パタ−ンマツチング方法および装置
JPS60592A (ja) 1983-06-15 1985-01-05 三菱電機株式会社 いねむり防止装置
US4827413A (en) 1987-06-16 1989-05-02 Kabushiki Kaisha Toshiba Modified back-to-front three dimensional reconstruction algorithm
US5168529A (en) 1988-08-29 1992-12-01 Rayethon Company Confirmed boundary pattern matching
WO1991019265A1 (en) 1990-05-29 1991-12-12 Axiom Innovation Limited Machine vision stereo matching
JPH0771288B2 (ja) 1990-08-24 1995-07-31 神田通信工業株式会社 自動視野調整方法及び装置
GB9019538D0 (en) 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5220441A (en) 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
US5533177A (en) 1990-10-24 1996-07-02 Siemens Aktiengesellschaft Method for detecting and estimating the spatial position of objects from a two-dimensional image
US5159647A (en) 1991-03-04 1992-10-27 David Sarnoff Research Center, Inc. Fast and efficient search method for graphical data
US5680487A (en) 1991-12-23 1997-10-21 Texas Instruments Incorporated System and method for determining optical flow
US5333165A (en) 1992-02-27 1994-07-26 John K. Grady Method and apparatus for three-dimensional video signals
JP3298072B2 (ja) 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5383013A (en) 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
US5550928A (en) 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5511153A (en) 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
US5581625A (en) 1994-01-31 1996-12-03 International Business Machines Corporation Stereo vision system for counting items in a queue
DE4406020C1 (de) 1994-02-24 1995-06-29 Zentrum Fuer Neuroinformatik G Verfahren zur automatisierten Erkennung von Objekten
JP3242529B2 (ja) 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
US5736982A (en) 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
US5699449A (en) 1994-11-14 1997-12-16 The University Of Connecticut Method and apparatus for implementation of neural networks for face recognition
US5714997A (en) 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US5982853A (en) 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US5588033A (en) 1995-06-06 1996-12-24 St. Jude Children's Research Hospital Method and apparatus for three dimensional image reconstruction from multiple stereotactic or isocentric backprojections
US5715325A (en) 1995-08-30 1998-02-03 Siemens Corporate Research, Inc. Apparatus and method for detecting a face in a video image
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5802220A (en) 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5809171A (en) 1996-01-05 1998-09-15 Mcdonnell Douglas Corporation Image processing method and apparatus for correlating a test image with a template
US5764803A (en) 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
GB9610212D0 (en) 1996-05-16 1996-07-24 Cyberglass Limited Method and apparatus for generating moving characters
US5828769A (en) 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US6044168A (en) 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6052123A (en) 1997-05-14 2000-04-18 International Business Machines Corporation Animation reuse in three dimensional virtual reality
US5995119A (en) 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202886B2 (en) 2003-03-19 2007-04-10 Matsushita Electric Industrial Co., Ltd. Videophone terminal
CN100359941C (zh) * 2003-03-19 2008-01-02 松下电器产业株式会社 可视电话终端
JP2007141228A (ja) * 2005-11-15 2007-06-07 Sharp Corp 自由視点におけるバーチャルビューの特定および合成
US8515180B2 (en) 2009-12-28 2013-08-20 Canon Kabushiki Kaisha Image data correction apparatus and method using feature points vector data
JP2013191181A (ja) * 2012-03-15 2013-09-26 Omron Corp 画像マッチング方法、およびこの方法を用いた画像マッチング装置およびプログラム
CN103632672A (zh) * 2012-08-28 2014-03-12 腾讯科技（深圳）有限公司 一种变声***、方法及人机交互***及方法
CN103632672B (zh) * 2012-08-28 2017-03-22 腾讯科技（深圳）有限公司 一种变声***、方法及人机交互***及方法
JP7517733B2 (ja) 2022-03-15 2024-07-17 延世大学校 産学協力団 マルチスケールオブジェクト探知装置及び方法

Also Published As

Publication number Publication date
DE69922183T2 (de) 2005-12-01
KR20010042659A (ko) 2001-05-25
US6301370B1 (en) 2001-10-09
EP1072014B1 (en) 2004-11-24
ATE283519T1 (de) 2004-12-15
DE69940225D1 (de) 2009-02-12
EP1072014A1 (en) 2001-01-31
ATE419591T1 (de) 2009-01-15
WO1999053427A1 (en) 1999-10-21
AU3554199A (en) 1999-11-01
KR100653288B1 (ko) 2006-12-04
DE69922183D1 (de) 2004-12-30
BR9909623B1 (pt) 2012-09-04
CA2326816A1 (en) 1999-10-21
BR9909623A (pt) 2000-12-19
CA2326816C (en) 2005-04-05

Similar Documents

Publication Publication Date Title
JP2002511617A (ja) ビデオ画像からの顔認識
JP3970520B2 (ja) 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉
US6272231B1 (en) Wavelet-based facial motion capture for avatar animation
US10049277B2 (en) Method and apparatus for tracking object, and method and apparatus for calculating object pose information
US7856125B2 (en) 3D face reconstruction from 2D images
EP1580684B1 (en) Face recognition from video images
US6931145B1 (en) Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model
Tan et al. Fast Vehicle Localisation and Recognition Without Line Extraction and Matching.
WO1999027493A2 (en) Detection of image correspondence using radial cumulative similarity
WO1999053430A1 (en) Vision architecture to describe features of persons
JP2000088523A (ja) 特徴ベクトルを利用した物体の認識装置および方法
Panagiotakis et al. Recognition and tracking of the members of a moving human body
AU2004212509B2 (en) Face recognition from video images
Bartesaghi et al. Tracking of moving objects under severe and total occlusions
Subramanian et al. Segmentation and range sensing using a moving-aperture lens
Thimm et al. Optimal parameterization of point distribution models
MXPA00010043A (en) Face recognition from video images
Jain Dynamic scene analysis
Le et al. A multiscale technique for optical flow computation using piecewise affine approximation
Dasgupta Reconstruction of 3D rigid body motion in a virtual environment from a 2D image sequence
Pitas et al. Motion Estimation
Calais et al. New trends towards a marker-free system for gait analysis

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20041119

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20041209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050318

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060209

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060310