JP2003203240A - 照明不変の客体追跡方法及びこれを用いた映像編集装置 - Google Patents

照明不変の客体追跡方法及びこれを用いた映像編集装置

Info

Publication number
JP2003203240A
JP2003203240A JP2002321741A JP2002321741A JP2003203240A JP 2003203240 A JP2003203240 A JP 2003203240A JP 2002321741 A JP2002321741 A JP 2002321741A JP 2002321741 A JP2002321741 A JP 2002321741A JP 2003203240 A JP2003203240 A JP 2003203240A
Authority
JP
Japan
Prior art keywords
color
image
modeling
unit
initial position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002321741A
Other languages
English (en)
Other versions
JP4194025B2 (ja
Inventor
Tae Kyun Kim
泰 均 金
In-Myung Cho
仁 明 趙
Jong-Ha Lee
宗 河 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2003203240A publication Critical patent/JP2003203240A/ja
Application granted granted Critical
Publication of JP4194025B2 publication Critical patent/JP4194025B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 【課題】 照明不変の客体追跡方法及びこれを用いた映
像編集装置を提供する。 【解決手段】 （ａ）映像で追跡しようとする客体の初
期位置を指定する段階と、（ｂ）前記映像の隣接したピ
クセルのカラー比を考慮したカラーモデリングを行う段
階と、（ｃ）前記カラーモデリングの結果に応答して客
体追跡のための確率マップを生成する段階と、（ｄ）前
記初期の位置及び前記確率マップに基づき前記客体の現
在の位置を追跡する段階とを含むことを特徴とする客体
追跡方法、及び映像で追跡しようとする客体の初期位置
を指定する初期位置指定部と、前記客体及び前記全映像
の隣接したピクセルのカラー比を考慮したカラーモデリ
ングを行うカラーモデリング部と、前記カラーモデリン
グ結果に応答して、前記客体の追跡のための確率マップ
を構成する確率マップ構成部と、前記初期位置及び前記
確率マップに応答して前記客体の現位置を追跡する客体
追跡部とを備える前記追跡方法を用いた映像編集装置
。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は客体追跡方法に係
り、特に、照明不変の客体追跡方法及びこれを用いたビ
デオ映像編集装置に関する。
【０００２】
【従来の技術】近年、ほとんどの情報の流通及び流れに
マルチメディア的な要素が使われている。このために、
デジタルカメラ、画像通信用カメラなどのように、カメ
ラを通じて取得されたビデオ画面を処理するための装置
及びソフトウェアが出始めつつある。
【０００３】カメラを通じて取得されたビデオ映像を編
集するビデオ映像編集システムは、画面で特定人物の顔
や製品をモザイク処理する等、様々な映像編集機能を行
う。このうち、モザイク機能は、全体画面や固定位置に
対して行われることもあれば、本出願人により取得され
た大韓民国特許公報に記載の「リアルタイム映像モザイ
クシステム」（特許文献１参照）のように、映像の動き
に従いモザイク機能をリアルタイムにて行うこともあ
る。
【０００４】一般に、カメラにより撮影された映像は、
ほとんど輝度が一様でない所で獲得される。特に、野外
撮影の場合、次から次へと変化する自然光の輝度または
スペクトルの変化によって撮影された映像の輝度または
カラーが一様にならない。従って、この場合、輝度また
はカラーの変化を考慮しないままモザイク処理を施せ
ば、輝度の変化によって相異なる値を有する映像のピク
セル値の変化によりモザイク処理が不正確に行われるこ
とがある。このような問題を解決するために、最近、客
体の形状情報に基づく追跡アルゴリズムを用いて該当客
体をモザイク処理する方法が提案されている。しかし、
この方法は、複雑度が高くて高性能の演算装置及びメモ
リを必要とし、リアルタイム処理が困難であるといった
問題をもっている。
【０００５】
【特許文献１】大韓民国特許登録番号第１０−１７０６
９８号明細書
【０００６】
【発明が解決しようとする課題】本発明が解決しようと
する技術的課題は、照明変化に関係なく映像の所望の領
域を信頼性良く追跡し、これをリアルタイムにて編集で
きる映像編集装置を提供するところにある。
【０００７】
【課題を解決するための手段】前記課題を達成するため
に、本発明に係る照明不変の客体追跡方法は、（ａ）映
像で追跡しようとする客体の初期位置を指定する段階
と、（ｂ）前記映像の隣接したピクセルのカラー比を考
慮したカラーモデリングを行う段階と、（ｃ）前記カラ
ーモデリングの結果に応答して客体追跡のための確率マ
ップを生成する段階と、（ｄ）前記初期の位置及び前記
確率マップに基づき前記客体の現在の位置を追跡する段
階とを含むことを特徴とする。
【０００８】前記課題を達成するために、本発明に係る
照明不変の追跡技術を用いた映像編集方法は、（ａ）編
集しようとする映像を受け入れる段階と、（ｂ）前記映
像で隣接ピクセルのカラー比を考慮して前記客体を追跡
する段階と、（ｃ）前記追跡された客体の位置、大きさ
及び境界線情報に応答して所定の領域に属する映像を変
換して出力する映像編集段階とを含むことを特徴とす
る。
【０００９】前記客体追跡方法は、これを実行する手段
としてコンピュータを機能させるためのプログラムの形
態で提供可能である。また、当該プログラムは、コンピ
ュータで読取り可能な記録媒体で流通させることができ
ると共に、電気通信媒体を通じて送信することも可能で
ある。
【００１０】前記課題を達成するために、本発明に係る
照明不変の客体追跡装置は、映像で追跡しようとする客
体の初期位置を指定する初期位置指定部と、前記客体及
び前記全映像の隣接したピクセルのカラー比を考慮した
カラーモデリングを行うカラーモデリング部と、前記カ
ラーモデリング結果に応答して、前記客体の追跡のため
の確率マップを構成する確率マップ構成部と、前記初期
位置及び前記確率マップに応答して前記客体の現位置を
追跡する客体追跡部とを備えることを特徴とする。
【００１１】前記課題を達成するために、本発明に係る
照明不変の追跡技術を用いた映像編集装置は、編集しよ
うとする映像を受け入れるデータ入力手段と、前記映像
で隣接ピクセルのカラー比を考慮して前記客体を追跡す
る客体追跡手段と、前記追跡された客体の位置、大きさ
及び境界線情報に応答して所定の領域に属する映像を変
換して出力する映像編集手段とを備えることを特徴とす
る。
【００１２】
【発明の実施の形態】以下、添付した図面に基づき、本
発明の望ましい実施の形態について詳細に説明する。
【００１３】図１は、本発明の望ましい実施の形態によ
る照明不変の客体追跡方法及びこれを用いた映像編集方
法を説明するフローチャートである。図１を参照すれ
ば、先ず、本発明に係る映像編集方法は、映像信号が入
力されれば（第１００段階）、映像の隣接ピクセルのカ
ラー比を用いた客体追跡（第２００段階）を行った後、
追跡された客体を編集して（第３００段階）ディスプレ
ーする（第４００段階）。
【００１４】カメラにより撮影された映像は輝度が一様
でない所で獲得される場合がほとんどであるため、映像
の輝度が一様でない場合が頻繁に起こる。これは、編集
しようとする客体の追跡に誤りを生じるため、本発明で
は、前記のように輝度の変化に影響されないように映像
の隣接ピクセルのカラー比を用いた客体追跡を行う。
【００１５】映像処理分野において、照明不変の特徴を
探そうとする多くの研究があった。そのうち、ブレイン
・Ｖ．フント（Brain V. Funt），グラハム・Ｄ．フィ
ンレイソン（Graham D. Finlayson）共著，「カラーコ
ンスタント、カラーインデクシング（Color Constant C
olor Indexing）」，アイトリプリー・トランザクショ
ンズ・オン・パターン・アナリシス・アンド・マシン・
インテリジェンス（IEEE Transactions on Pattern Ana
lysis and Machine Intelligence）（アメリカ合衆国，
インスティチュート・オブ・エレクトリカル・アンド・
エレクトロニクス・エンジニアーズ・インコーポレイテ
ッド（Institute of Electrical and Electronics Engi
neers, Inc.），１９９５年）には、隣接したピクセル
のカラー比が空間的に一様でない照明にも変化しないと
いうことが開示されている。この論文では、照明が全体
的にまたは空間的に変わるとしても、直ぐ隣りに隣接し
たピクセルの輝度はピクセルが属する表面の反射特徴に
のみ依存するため、隣接したピクセルのカラー比が照明
の変化に影響されないということを示している。
【００１６】図２の（ａ）ないし（ｄ）は、隣接したピ
クセルの輝度比の変化を示す図面である。図２を参照す
れば、（ａ）に示された映像のＡ及びＢ地点をつなぐ経
路に位置した隣接ピクセルは、（ｂ）に示された如き輝
度値を有する。この輝度値は、照明が変化する場合、照
明の変化に応じてその値が敏感に変わる。しかし、前記
ブレイン・Ｖ．フント，グラハム・Ｄ．フィンレイソン
共著論文によれば、前記映像の隣接ピクセル間の輝度ま
たはカラー比は照明が変化しても、（ｃ）に示されたよ
うに照明の変化に影響されず、映像がもっている特性を
そのまま維持するということが分かる。
【００１７】本発明では、このような特性に基づき、下
記のように照明不変の客体追跡を行う。図１を参照すれ
ば、本発明に係る客体追跡方法は、まず、編集しようと
する映像区間及び追跡しようとする客体の初期位置を指
定する（第２１０段階）。次に、追跡しようとする客体
に関するカラー情報をモデリングし（第２２０段階）、
全映像に関するカラー情報をモデリングする（第２２５
段階）。そして、第２２０段階及び第２２５段階で行わ
れたカラー情報のモデリング結果及び第２１０段階で指
定された位置情報を考慮して確率マップを構成し（第２
４０段階）、構成された確率マップに基づきカルマンフ
ィルタリングを行う（第２６０段階）。後述するよう
に、カルマンフィルターは客体の動作を予測するフィル
ターであって、動きがある客体の追跡に主として使われ
る。本発明に係る客体追跡方法の各段階別動作の詳細
は、次の通りである。
【００１８】図３は、図１に示された客体の初期位置指
定方法（第２１０段階）を説明するフローチャートであ
る。図３を参照すれば、まず、客体の初期位置が自動的
に指定されるか、あるいはマニュアルで指定されるかを
判別する（第２１００段階）。判別の結果、客体の初期
位置がマニュアルで指定される場合、ユーザはマウスで
客体を含む境界ボックスを映像に指定することにより、
追跡客体の位置をマニュアルで指定する（第２１１０段
階）。そして、第２１００段階における判別の結果、客
体の初期位置が自動的に指定される場合、ユーザが所定
のデータ貯蔵領域に予め生成しておいた客体データベー
ス目録のうち編集しようとする客体の目録を指定すれ
ば、前記データベースから該当客体のカラーヒストグラ
ムを読み出し（第２１２０段階）、読み出されたヒスト
グラムを逆投射することにより客体の初期位置を自動的
に指定する（第２１３０段階）。
【００１９】第２１３０段階で使われたカラーヒストグ
ラムの逆投射アルゴリズムは、映像で客体を検出するの
に邪魔となるカラーの影響、すなわち、客体以外の領域
で現れたカラーの影響を減らし、対象客体のカラーが最
も強く現れる位置を捜し出すのに使われる。これに対す
る具体的な方法は下記の通りである。
【００２０】図４は、図３に示された逆投射方法（第２
１３０段階）を説明するフローチャートである。図４を
参照すれば、カラーヒストグラムの逆投射方法は、Ｄr
を半径がｒであるディスクであるとした時、まず、各ヒ
ストグラムビンｊに対して を計算する（第２１３１段階）。ここで、Ｍjはヒスト
グラムビンｊに対して以前のモデルのカラーヒストグラ
ムを表わし、Ｉjはヒストグラムビンｊに対して現映像
のカラーヒストグラムを表わす。Ｒj値は、Ｍj値でＩj
値を割った値及び１のうち小さい方の値として定義され
る。
【００２１】次に、全ての位置（ｘ，ｙ）のカラーに該
当するＲを計算する（第２１３２段階）。これは b＿x,
y = R＿h (C(x, y)) として表わされる。第２１３２段
階で計算されたｂ値はディスクＤrとコンボルーション
される（第２１３３段階）。これは、 b = Dr * bとし
て表わされ、この時、Ｄrの値は の値を有する。コンボルーションが行われれば、コンボ
ルーション結果ｂが最大となる座標を探してこれを客体
の初期位置として決める（第２１３４段階）。この時に
決められる初期位置は として表わされる。
【００２２】次に、図１に示された追跡客体に関するカ
ラー情報モデリング方法（第２２０段階）を説明すれ
ば、下記の通りである。
【００２３】図５は、図１に示された追跡客体に関する
カラー情報モデリング方法（第２２０段階）を説明する
フローチャートである。図５を参照すれば、まず、追跡
客体の色相構成を分析し（第２２１１段階）、分析結果
に基づき客体の色相が単色より構成されたか、それとも
多色より構成されたかを判別する（第２２１２段階）。
【００２４】この時に使われる式は、下記式１の通りで
ある。
【００２５】
【数１】
【００２６】ここで、Ｓは（ｉ，ｊ）組みの総数であ
り、ｕＲは（ｉ，ｊ）組みに対する赤色（Ｒ）値の平均
値を、ｕGは（ｉ，ｊ）組みに対する緑色（Ｇ）値の平
均値を、ｕBは（ｉ，ｊ）組みに対する青色（Ｂ）値の
平均値を各々表わす。そして、Ｔｈはスレショルド値で
あって、前式１の左辺値が右辺のスレショルド値より小
さければ単色客体として判別し、それ以上であれば多色
客体として判別する。
【００２７】判別の結果、客体が多色より構成されたと
判別されれば、前記客体のカラー情報はＲ、Ｇ、Ｂの各
チャンネルに対して隣接したピクセルの輝度比を軸とす
る３次元ヒストグラム として貯蔵される（第２２１３段階）。このようにして
構成されたカラー比のヒストグラム を客体追跡に用いれば、照明の変化に影響されずに客体
を追跡することができる。
【００２８】これに対し、追跡対象の客体が顔の如く単
色より構成された場合には、カラー比が客体の主な特徴
を表現できなくなる。従って、前記の如きカラー比のヒ
ストグラム は単色より構成された客体の検出及び追跡に有効でな
い。従って、本発明では、単色客体に対しては映像の輝
度による色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏ
ｎ）の２次元ガウスモデリングを通じて照明不変の客体
のカラーをモデリングして全客体のカラー確率を定義し
（第２２１４段階）、定義された客体のカラー確率に基
づき客体のカラーヒストグラムを構成する（第２２１５
段階）。これに関する詳細は、下記の通りである。
【００２９】図６の（ａ）及び（ｂ）は、照明の変化に
よる皮膚色及び彩度の変化を各々示す図面である。ここ
で、皮膚は単一色相より構成された客体の一例を示す。
図６の（ａ）及び（ｂ）を参照すれば、ＨＳＩカラー空
間で皮膚の色相は周辺の輝度とは独立的であり、彩度は
輝度に対して線形的に低まる特性を有するということが
分かる。このような特性は、皮膚のほかに一般的なカラ
ーにも適用可能である。従って、前記特性に基づき、下
記式２のように客体、例えば、皮膚のカラー確率を定義
することができる。
【００３０】
【数２】
【００３１】ここで、 は２次元ガウス関数を、ｎは客体のサイズを、そしてＩ
は映像の平均輝度を各々表わす。このような客体のカラ
ー確率が定義されれば、本発明では、これをヒストグラ
ム の軸としてカラーヒストグラムを構成する。
【００３２】客体のカラー分布に基づき客体を有効に追
跡するためには、前述の如き客体に関するカラー分布情
報のほかにも、全映像のカラー分布情報も必要である。
全映像のカラー分布情報をモデリングする方法は、下記
の通りである。
【００３３】図７は、図１に示された全映像に関するカ
ラー情報モデリング方法（第２２５段階）を説明するフ
ローチャートである。図７を参照すれば、まず、全映像
のカラー変化を測定し（第２２２１段階）、測定の結果
に基づき照明が白色照明であるか、それともカラー照明
であるかを判別する（第２２２２段階）。
【００３４】この時に使われる式は、下記式３の通りで
ある。
【００３５】
【数３】
【００３６】ここで、Ｔｈはスレショルドであって、前
式３の左辺の値が右辺のスレショルド値より小さければ
白色照明として判別し、左辺の値が右辺のスレショルド
値より大きいか同じであればカラー照明として判別す
る。この時、ｎは現フレームの映像を、ｍは以前のフレ
ームの映像を各々意味する。
【００３７】第２２２２段階における判別の結果、照明
がカラー照明として判別されれば、直前のフレームで探
した客体の領域からカラー分布を新しく抽出してカラー
情報を再びモデリングし、全映像に対するカラー分布を
ヒストグラムとして構成する適応的カラーモデリングを
行う（第２２３０段階）。この時に使われるカラーモデ
リング方法は、図５でのそれと同一である。そして、照
明が白色照明として判別されれば、カラー情報の再モデ
リング過程を経ず、図５において構成された客体ヒスト
グラムの軸と同じ軸に対して映像の全体カラー分布をヒ
ストグラム として構成する（第２２２３段階）。
【００３８】すなわち、全映像のカラー変化の測定の結
果、全映像の輝度が変わったり映像の一部の輝度が異な
る白色照明が照らされたりする場合には以前に行われた
カラー情報モデリングの結果（すなわち、図１の第２２
０段階）がそのまま使われ、波長別に強度が異なるカラ
ー照明が照らされる場合には第２２３０段階の如きカラ
ー情報が適応的にモデリングされる。
【００３９】さらに図１を参照すれば、第２４０段階で
は、第２１０段階で指定された位置情報と、第２２０段
階及び第２２５段階を経てモデリングされたカラー情報
を考慮して確率マップを構成する。この時に構成される
確率マップは、下記式４及び５の通りである。
【００４０】
【数４】
【００４１】
【数５】
【００４２】第２６０段階では、前式４及び５により構
成された確率マップによりカルマンフィルタリングを行
い、客体を追跡する。
【００４３】カルマンフィルターは、下記式６に基づき
連続した映像で対象客体の位置及び大きさを追跡し続け
る。
【００４４】
【数６】
【００４５】ここで、は客体の中心座標を意味し、Ｃ
（ｉ，ｊ）は共分散行列を意味する。客体の中心座標及
び共分散行列Ｃ（ｉ，ｊ）を構成する各々のパラメータ
は、 の値を有する。
【００４６】第２６０段階のカルマンフィルタリング段
階では、現在計算された客体の位置及び所定のデータ領
域に貯蔵されている以前のデータの両方に基づき現在動
いている客体の速度を予測し、下記式７の如き共分散行
列を更新することにより、客体の急な動きや停止を信頼
性良く追跡する。
【００４７】
【数７】
【００４８】このような一連の客体追跡方法により所定
の客体が追跡されれば、追跡された客体にはモザイク処
理などの編集機能が行われた後（第３００段階）、ディ
スプレーされる（第４００段階）。
【００４９】図８は、本発明の望ましい実施の形態によ
る映像編集装置１００のブロック図である。図８を参照
すれば、本発明に係る映像編集装置１００は、編集しよ
うとする映像を受け入れるデータ入力ユニット１０、前
記映像で隣接ピクセルのカラー比を考慮して客体を追跡
する客体追跡ユニット２０、及び追跡された客体の位
置、大きさ及び境界線情報に応答して所定の領域に属す
る映像を変換して出力する映像編集ユニット３０を備え
る。
【００５０】データ入力ユニット１０は、アナログ映像
信号を受け入れるビデオカメラ１１と、取得されたアナ
ログ映像信号を連続的なデジタル映像信号に変換するＡ
／Ｄコンバーター１２とを備える。
【００５１】客体追跡ユニット２０は、映像で追跡しよ
うとする客体の初期位置を指定する初期位置指定部２
１、客体及び全映像の隣接したピクセルのカラー比を考
慮したカラーモデリングを行うカラーモデリング部２
２、カラーモデリング結果に基づき客体追跡のための確
率マップを構成する確率マップ構成部２４、確率マップ
構成部２４の入力を選択するＭＵＸ ２５、前記初期位
置及び前記確率マップに応答して客体の現位置を追跡す
る客体追跡部２６を備える。
【００５２】初期位置指定部２１は、ユーザが指定した
所定の位置を前記客体の初期位置として受け入れる第１
の初期位置指定部２１１、前記客体の目録及び前記客体
に対応するカラーモデリングデータを貯蔵する客体デー
タベース２１２、及びユーザが指定した客体の目録に対
応するカラーモデリングデータを客体データベース２１
２から読み出し、読み出されたカラーモデリングデータ
を逆投射して前記客体の初期位置を自動的に指定する第
２の初期位置指定部２１３を備える。第１の初期位置指
定部２１１は、前述した初期位置のマニュアル指定機能
を行い、第２の初期位置指定部２１３は、初期位置の自
動指定機能を行う。
【００５３】前記カラーモデリング部２２は、客体に関
するカラー情報をモデリングする第１のカラーモデリン
グ部２２１、全映像に関するカラー情報をモデリングす
る第２のカラーモデリング部２２２、及び映像の照明に
関する変化を考慮して前記客体に関するカラー情報を適
応的にモデリングする第３のカラーモデリング部２２３
を備える。
【００５４】第１のカラーモデリング部２２１は、第１
または第２の初期位置指定部２１１または２１３を通じ
て編集しようとする客体の初期位置がマニュアルまたは
自動的に指定されれば、前記客体の初期領域からカラー
情報を抽出し、客体を追跡するのにこれを使用する。第
１のカラーモデリング部２２１は、該当客体が単色より
構成されるか、それとも多色より構成されるかを判別
し、該当客体が多色より構成された場合には前記客体の
情報をＲ，Ｇ，Ｂの各チャンネルに対して隣接したピク
セルのカラー比を軸とする３次元ヒストグラム として貯蔵する。このようなカラー比のヒストグラム を使用すれば、照明の変化に影響されずにカラー情報に
基づき客体を認識することができる。
【００５５】しかしながら、対象客体が顔の如く単色よ
り構成された客体である場合にはカラー比が客体の主な
特徴を表現できないため、客体を検出、追跡する上で有
効でない。従って、本発明では、単色より構成された客
体に対しては映像の輝度による色相、彩度の２次元ガウ
スモデリングを通じて照明に強く客体のカラーをモデリ
ングする。
【００５６】一般に、追跡、検出しようとする対象客体
が高精度でないか、それとも回転が激しい場合には、形
状情報よりカラー情報を用いた方が時間及び正確度の面
で多くの利点を有する。しかし、放送用として製作され
たビデオ信号は室内外の激しい照明の変化を含むため、
一般的なＲ，Ｇ，Ｂのカラー空間で対象客体のカラーが
激しく変化し、これは、客体の追跡、検出を困難にす
る。従って、本発明では、このように激しい照明の変化
にも強く客体を追跡するために、カラー情報の抽出にお
いて、第１のカラーモデリング部２２１及び第３のカラ
ーモデリング部２２３で行われた客体のカラーモデリン
グ結果を同時に使用する。
【００５７】このために、第３のカラーモデリング部２
２３は、全映像に対するカラー変化を測定し、測定の結
果、映像がカラー照明下で取得されたと判別された場
合、前記映像の以前のフレームで追跡された客体の領域
に対するカラーモデリングを再び行い、全映像に対する
カラー分布をヒストグラムとして構成する。そして、測
定の結果、映像が白色照明下で取得されたと判別された
場合、第１のカラーモデリング部２２１で行われた客体
のカラーモデリング結果をそのまま使用する。
【００５８】客体のカラー分布に基づき客体を有効に追
跡するためには、前述の如き客体に関するカラー分布情
報のほかにも、全映像のカラー分布情報も必要である。
このために、第２のカラーモデリング部２２２は、現映
像の全体カラー分布を客体ヒストグラムの軸と同じ軸に
対するヒストグラム として構成する。
【００５９】確率マップ構成部２４は、第２のカラーモ
デリング部２２２で行われたカラーモデリング結果を受
け入れ、選択された客体の位置と、第１または第３のカ
ラーモデリング部２２１または２２３で行われたカラー
モデリング結果をＭＵＸ ２５を通じて受け入れる。こ
の時に生成される確率マップは、前式４及び５の通りで
ある。
【００６０】一方、客体データベース２１２は、第１の
カラーモデリング部２２１で生成された照明不変のカラ
ーヒストグラムを貯蔵するが、物体の色相構成に応じて
カラー比のヒストグラムや照明によるガウスヒストグラ
ムとして貯蔵する。客体データベース２１２に貯蔵され
た客体のカラー分布情報は、ユーザが関心客体を目録で
指定すれば、第２の初期位置指定部２１３で客体の初期
位置を自動的に検出するのに使われる。
【００６１】客体追跡部２６は、メモリ２６１、速度予
測部２６２及びカルマンフィルター２６３を備え、客体
の現位置を追跡する。
【００６２】カルマンフィルター２６３は、確率マップ
構成部２４で生成された客体の確率マップＣＯＬＯＲ＿
ＭＯＤＥＬ及び客体の初期位置ＯＢＪ＿ＰＯＳＩＴＩＯ
Ｎを受け入れ、前式６に基づき連続的な映像で関心客体
の位置及び大きさを追跡し続ける。速度予測部２６２
は、メモリ２６１を用いて以前の客体の位置を貯蔵して
おき、現在計算された客体の位置及び以前のデータの両
方に基づき現在動いている客体の速度を予測する。そし
て、前式７のようにカルマンフィルター２６３の共分散
行列を更新することにより、客体の急な動きや停止を信
頼性良く追跡する。
【００６３】前述の如き一連の客体追跡方法により所定
の客体が追跡されれば、追跡された客体は映像編集ユニ
ット３０を通じてモザイク処理などの簡単な編集機能が
自動的に行われる。映像編集ユニット３０は、さらに様
々な編集機能を与えるために、映像編集を行う映像編集
部３２、及び編集されたビデオ信号をアナログ信号に変
換して出力するＤ／Ａコンバーター３３に加えて、境界
線抽出部３１をさらに備える。境界線抽出部３１は、映
像編集部３２に接続されて追跡中の客体の境界線情報を
与える。境界線抽出方法は、量子化したカラー映像及び
モーション差映像の両方を用いて客体領域を２進化した
映像として定義し、境界追跡アルゴリズムを適用して境
界線を抽出する。
【００６４】本発明に係る映像編集ユニット３０には、
予め貯蔵しておいた編集機能リスト（図示せず）が備え
られており、ユーザが特定の機能を選択すれば、その選
択結果に応じて編集アルゴリズムが動作し、編集された
結果がＤ／Ａコンバーター３３を通じてアナログの形に
変換される。映像編集部３２で行う編集アルゴリズム
は、デジタル映像の各々の一枚に対し、関心客体の位置
と大きさまたは境界線情報（または輪郭線情報）に基づ
き特定領域に特定の色を塗ったり、または特定フィルタ
ーを通過させて映像を変換する過程を含む。編集に使用
可能なフィルターとしてモザイクフィルター、ブラリン
グフィルター、反転フィルターなどがある。
【００６５】前述した本発明に係る映像編集装置１００
を実際の映像に適用した場合、その結果は下記の通りで
ある。
【００６６】図９は、様々な照明条件下にある合成モン
ドリアン映像を示す図面であり、図１０は、様々な照明
条件下で取得された実際の映像の例を示す図面である。
【００６７】まず、図９を参照すれば、図９の（ａ）
は、空間的に一定であり、且つ、スペクトル的にも一定
である照明下における合成モンドリアン映像を示し、図
９の（ｂ）は、空間的には一定であるものの、スペクト
ル的には一定ではない照明下における合成モンドリアン
映像を示す。そして、図９の（ｃ）は、空間的にも一定
ではなく、且つ、スペクトル的にも一定ではない照明下
における合成モンドリアン映像を示す。
【００６８】この場合、図９の（ａ）、（ｂ）及び
（ｃ）の各々に対するＲ，Ｇ，Ｂ空間、オッポネントカ
ラー空間、正規化したＲ，Ｇ空間、ＨＳＩ空間、及びカ
ラー比空間の比較結果は、下記表１ないし３の通りであ
る。
【００６９】
【表１】
【００７０】
【表２】
【００７１】
【表３】
【００７２】表１ないし表３から明らかなように、カラ
ー比空間を基準とする時、合成モンドリアン映像は照明
の変化に関係なく全てのカラー空間に対して高い平均白
分率のマッチング結果を示すということが分かる。これ
により、本発明に係る客体追跡方法は、照明不変の特性
を有するということが分かる。
【００７３】次に、図１０を参照すれば、図１０の
（ａ）はある映像に対する他の映像の角度が捩じれて見
えるスウェインモデル映像の場合を示し、図１０の
（ｂ）は、類似の照明下で取得された２枚の映像を示
す。そして、図１０の（ｃ）は、顕著に異なる照明下で
取得された２枚の映像を示す。
【００７４】この場合、図１０の（ａ）、（ｂ）、
（ｃ）の各々に対するＲ，Ｇ，Ｂ空間、オッポネントカ
ラー空間、正規化したＲ，Ｇ空間、ＨＳＩ空間、及びカ
ラー比空間の比較結果は、下記表４ないし表６の通りで
ある。
【００７５】
【表４】
【００７６】
【表５】
【００７７】
【表６】
【００７８】表４から明らかなように、映像の角度が捩
じれているスウェインモデル映像の場合にも、カラー比
空間を基準とする時、全てのカラー空間に対して高い平
均白分率のマッチング結果を示すということが分かる。
のみならず、表５及び表６から明らかなように、カラー
比空間を基準とする時、相異なる条件下にある映像は、
照明が類似に変化しようが、または照明が大いに変化し
ようが、照明の変化に関係なく全てのカラー空間に対し
て高い平均白分率のマッチング結果を示すということが
分かる。これにより、本発明に係る客体追跡方法は、照
明不変の特性を有するということが分かる。
【００７９】図１１は、様々な照明条件下で皮膚色デー
タが収集される一例を示す図面である。図１１には、映
像が取得された位置と、取得された映像とが各々示され
ている。図１１を参照すれば、同じ事務室の場合であっ
ても、映像が取得される位置に応じて相異なる輝度を有
する。この場合、本発明に使われるカラーモデリングを
行うために、様々な位置で映像を取得して実験を行っ
た。
【００８０】図１２は、図１１で収集された皮膚色デー
タの一例を示す図面である。図１２を参照すれば、図１
１に示された位置で取得された皮膚色データは、図１２
のグラフの通りである。
【００８１】図１３は、図１１で収集された映像の全体
照明の変化を分析した結果を示す図面である。図１３を
参照すれば、図１１のように収集された映像の全体照明
の変化をＨＳＩヒストグラムにて表わせる。
【００８２】例えば、取得されたビデオ映像で人の顔を
追跡しようとする場合、図１１ないし図１３に示された
方法により収集されて分析されたデータに基づき客体
（人の顔）を追跡することができ、その追跡の結果は、
下記の通りである。
【００８３】図１４は、図１１ないし図１３に示された
方法により取得された情報に基づき複数の顔を追跡した
結果を示す図面であり、図１５は、本発明に係る映像編
集装置により特定の顔をモザイク処理した結果を示す図
面である。
【００８４】図１４及び図１５を参照すれば、本発明に
係る客体追跡方法によれば、様々な照明の変化にも拘わ
らず、一つまたは複数の特定客体に対する追跡が正確に
行え、追跡された客体に対する編集（例えば、モザイク
処理等）も正確に行えることが分かる。
【００８５】以上、本発明の実施の形態としてビデオデ
ータに対する自動客体追跡及びこれを用いた編集につい
て具体的に例示したが、その他にも放送用撮影装置を始
めとして家庭用撮影装置に至るまであらゆる映像装置の
ための映像編集に適用でき、セキュリティシステム、画
像チャット、通信等にも本発明を適用することができ
る。
【００８６】本発明はまた、コンピュータにて読取り可
能な記録・伝送媒体によって流通する、コンピュータに
て読取り可能なコード（プログラム）として具現可能で
ある。コンピュータにて読取り可能な記録媒体はコンピ
ュータシステムにより読み込まれるデータが貯蔵される
あらゆる種類の記録装置を備える。コンピュータにて読
取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、Ｃ
Ｄ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディ
スク、光データ貯蔵装置などがあり、またキャリアウェ
ーブ（例えば、インターネットを介して伝送）の形にて
具現されるものも含む。また、コンピュータにて読取り
可能な記録媒体はネットワークに接続されたコンピュー
タシステムに分散されて、分散方式によりコンピュータ
にて読取り可能なコードとして貯蔵されて実行できる。
【００８７】
【発明の効果】以上述べたように、本発明に係る照明不
変の客体追跡方法及びこれを用いた映像編集装置によれ
ば、リアルタイムまたは録画撮影中に映像編集処理が必
要とされる領域が照明の変化が大きい環境下で撮影され
る場合、照明の変化に関係なく所望の領域を信頼性良く
追跡及び編集することができる。よって、客体の追跡及
び編集に際して高い正確性を有することができる。
【図面の簡単な説明】
【図１】本発明の望ましい実施の形態による照明不変の
客体追跡方法及びこれを用いた映像編集方法を説明する
フローチャートである。
【図２】（ａ）ないし（ｃ）は、隣接したピクセルの輝
度比の変化を示す図面である。
【図３】図１に示された客体の初期位置指定方法を説明
するフローチャートである。
【図４】図３に示された逆投射方法を説明するフローチ
ャートである。
【図５】図１に示された追跡客体に関するカラー情報モ
デリング方法を説明するフローチャートである。
【図６】（ａ）及び（ｂ）は、照明の変化による皮膚
色、彩度の変化を各々示す図面である。
【図７】図１に示された全映像に関するカラー情報モデ
リング方法を説明するフローチャートである。
【図８】本発明の望ましい実施の形態による映像編集装
置のブロック図である。
【図９】（ａ）ないし（ｃ）は、様々な照明条件下にあ
る合成モンドリアン映像を示す図面である。
【図１０】（ａ）ないし（ｃ）は、様々な照明条件下で
取得された実際映像の例を示す図面である。
【図１１】様々な照明条件下で皮膚色データが収集され
る一例を示す図面である。
【図１２】図１１で収集された皮膚色データの一例を示
す図面である。
【図１３】図１１で収集された映像の全体照明の変化を
分析した結果を示す図面である。
【図１４】図１１ないし図１３に示された方法により取
得された情報に基づき複数の顔を追跡した結果を示す図
面である。
【図１５】本発明に係る映像編集装置により特定顔をモ
ザイク処理した結果を示す図面である。 ＜符号の説明＞ １０ データ入力ユニット １１ ビデオカメラ １２ Ａ／Ｄコンバーター ２０ 客体追跡ユニット ２１ 初期位置指定部 ２２ カラーモデリング部 ２４ 確率マップ構成部 ２５ ＭＵＸ ２６ 客体追跡部 ３０ 映像編集ユニット ３１ 境界線抽出部 ３２ 映像編集部 ３３ Ｄ／Ａコンバーター １００ 映像編集装置
フロントページの続き (72)発明者 李 宗 河 大韓民国 京畿道 龍仁市 器興邑 農書 里 山14−１番地 三星綜合技術院内 Ｆターム(参考） 5C066 AA01 CA00 ED05 EF11 GA01 KC01 KD02 KD06 KE01 KE02 KE03 KE17 5L096 AA02 AA06 FA32 FA33 FA37 FA39 FA69 GA30 GA40 HA05

Claims (46)

    【特許請求の範囲】
  1. 【請求項１】 （ａ）映像で追跡しようとする客体の初
    期位置を指定する段階と、 （ｂ）前記映像の隣接したピクセルのカラー比を考慮し
    たカラーモデリングを行う段階と、 （ｃ）前記カラーモデリングの結果に応答して客体追跡
    のための確率マップを生成する段階と、 （ｄ）前記初期の位置及び前記確率マップに基づき前記
    客体の現在の位置を追跡する段階とを含むことを特徴と
    する客体追跡方法。
  2. 【請求項２】 前記（ａ）段階は、 （ａ−１）前記客体の初期位置指定方法を判別する段階
    と、 （ａ−２）前記（ａ−１）段階における判別の結果、前
    記客体の初期位置指定方法がマニュアル指定方法である
    場合、ユーザが前記客体の初期位置を直接的に入力する
    段階と、 （ａ−３）前記（ａ−１）段階における判別の結果、前
    記客体の初期位置指定方法が自動指定方法である場合、
    各客体のカラーヒストグラムが貯蔵されたデータ貯蔵手
    段からカラーヒストグラムを読み出す段階と、 （ａ−４）前記読み出されたカラーヒストグラムを逆投
    射して前記客体の初期位置を自動的に指定する段階とを
    含むことを特徴とする請求項１に記載の客体追跡方法。
  3. 【請求項３】 Ｄrを半径がｒであるディスクとした
    時、前記（ａ−４）段階は、 （ａ−４−１）前記ヒストグラムの各ビンに対し、以前
    のモデルに対するカラーヒストグラムで現映像のカラー
    ヒストグラムを割った値及び１値のうち小さい値を出力
    する段階と、 （ａ−４−２）前記（ａ−４−１）段階の演算を前記映
    像の全ての位置座標に対して行う段階と、 （ａ−４−３）前記（ａ−４−２）段階で行われた演算
    結果及び前記Ｄrをコンボルーションする段階と、 （ａ−４−４）前記（ａ−４−３）段階で行われたコン
    ボルーション結果が最大値を有する座標を検索し、前記
    座標を前記客体の初期位置として指定する段階とを含
    み、 前記Ｄrは前記映像の（ｘ，ｙ）座標に対して の値を有することを特徴とする客体追跡方法。
  4. 【請求項４】 前記（ｂ）段階は、 （ｂ−１）前記カラー比を考慮して前記客体に関するカ
    ラー情報モデリングを行う段階と、 （ｂ−２）前記カラー比を考慮して前記全映像に関する
    カラー情報モデリングを行う段階とを含むことを特徴と
    する請求項１に記載の客体追跡方法。
  5. 【請求項５】 前記（ｂ−１）段階は、 （ｂ−１−１）前記客体の色相構成を分析する段階と、 （ｂ−１−２）前記（ｂ−１−１）段階における分析の
    結果、前記客体が複数の色相より構成された場合、前記
    映像のカラーを構成する赤色（Ｒ）、緑色（Ｇ）、青色
    （Ｂ）の各チャンネルに対し、隣接したピクセルの輝度
    比を軸とする前記客体の３次元ヒストグラムを構成する
    段階と、 （ｂ−１−３）前記（ｂ−１−１）段階における分析の
    結果、前記客体が単一色相より構成された場合、前記映
    像の色相、彩度に対する２次元ガウスモデリングを行
    い、客体のカラー確率を定義する段階と、 （ｂ−１−４）前記（ｂ−１−３）段階で定義された前
    記客体のカラー確率を軸として前記客体のカラーヒスト
    グラムを構成する段階とを含むことを特徴とする請求項
    ４に記載の客体追跡方法。
  6. 【請求項６】 前記（ｂ−１−１）段階は、Ｒ，Ｇ，Ｂ
    が前記映像のカラーを構成する赤色、緑色、青色データ
    を各々意味し、Ｓは（ｉ，ｊ）組みの総数、ｕRは前記
    （ｉ，ｊ）組みに対する赤色（Ｒ）値の平均値、ｕGは
    前記（ｉ，ｊ）組みに対する緑色（Ｇ）値の平均値、ｕ
    Bは前記（ｉ，ｊ）組みに対する青色（Ｂ）値の平均値
    を各々意味する時、 を計算し、前記計算の結果が所定のスレショルド値より
    小さい場合に前記客体が単一色相より構成されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像が複数の色相より構成されたと
    判別することを特徴とする請求項５に記載の客体追跡方
    法。
  7. 【請求項７】 前記（ｂ−１−３）段階で計算される前
    記客体のカラー確率は、 であり、 である時、 であることを特徴とする請求項５に記載の客体追跡方
    法。
  8. 【請求項８】 前記（ｂ−２）段階は、 （ｂ−２−１）前記全映像に対するカラー変化を測定す
    る段階と、 （ｂ−２−２）前記（ｂ−２−１）段階における測定の
    結果、前記映像が白色照明下で取得されたと判別された
    場合、前記（ｂ−１）段階で行われた前記客体のカラー
    情報モデリング結果の変化無しに前記全映像に対するカ
    ラー分布をヒストグラムとして構成する段階と、 （ｂ−２−３）前記（ｂ−２−１）段階における測定の
    結果、前記映像がカラー照明下で取得されたと判別され
    た場合、前記映像の以前のフレームで追跡された客体の
    領域に対して前記（ｂ−１）段階を再び行い、前記全映
    像に対するカラー分布をヒストグラムとして構成する段
    階とを含むことを特徴とする請求項４に記載の客体追跡
    方法。
  9. 【請求項９】 前記（ｂ−２−１）段階は、ｎは現フレ
    ームの映像を意味し、ｍは以前のフレームの映像を意味
    し、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、緑
    色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
    さい場合に前記映像が白色照明下で取得されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像がカラー照明下で取得されたと
    判別することを特徴とする請求項８に記載の客体追跡方
    法。
  10. 【請求項１０】 前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時、 前記確率マップは であることを特徴とする請求項４に記載の客体追跡方
    法。
  11. 【請求項１１】 前記（ｄ）段階は、 （ｄ−１）前記客体の以前の位置を貯蔵する段階と、 （ｄ−２）前記初期の位置及び前記確率マップに基づき
    連続した映像のうち対象客体の現在の位置及び大きさを
    追跡するカルマンフィルタリングを行う段階と、 （ｄ−３）前記客体の前記以前の位置及び前記現在の位
    置に基づきカルマンフィルタの共分散行列を更新する段
    階とを含むことを特徴とする請求項１に記載の客体追跡
    方法。
  12. 【請求項１２】 （ａ）編集しようとする映像を受け入
    れる段階と、 （ｂ）前記映像で隣接ピクセルのカラー比を考慮して客
    体を追跡する段階と、 （ｃ）前記追跡された客体の位置、大きさ及び境界線情
    報に応答して所定の領域に属する映像を変換して出力す
    る映像編集段階とを含むことを特徴とする映像編集方
    法。
  13. 【請求項１３】 前記（ｂ）段階は、 （ｂ−１）映像で追跡しようとする客体の初期位置を指
    定する段階と、 （ｂ−２）前記客体に関するカラー情報をモデリングす
    る段階と、 （ｂ−３）前記全映像に関するカラー情報をモデリング
    する段階と、 （ｂ−４）前記客体の位置情報及び前記（ｂ−２）及び
    （ｂ−３）段階でモデリングされた前記カラー情報を考
    慮した確率マップを生成する段階と、 （ｂ−５）前記客体の初期位置及び前記確率マップに基
    づきカルマンフィルタリングを行う段階とを含むことを
    特徴とする請求項１２に記載の映像編集方法。
  14. 【請求項１４】 前記（ｂ−１）段階は、 （ｂ−１−１）前記客体の初期位置指定方法を判別する
    段階と、 （ｂ−１−２）前記（ｂ−１−１）段階における判別の
    結果、前記客体の初期位置指定方法がマニュアル指定方
    法である場合、ユーザが前記客体の初期位置を直接的に
    入力する段階と、 （ｂ−１−３）前記（ｂ−１−１）段階における判別の
    結果、前記客体の初期位置指定方法が自動指定方法であ
    る場合、各客体のカラーヒストグラムが貯蔵されたデー
    タ貯蔵手段からカラーヒストグラムを読み出し、読み出
    されたカラーヒストグラムを逆投射して前記客体の初期
    位置を自動的に指定する段階とを含むことを特徴とする
    請求項１３に記載の映像編集方法。
  15. 【請求項１５】 Ｄrを半径がｒであるディスクとした
    時、前記（ｂ−１−４）段階は、 （ｂ−１−３−１）前記ヒストグラムの各ビンに対し、
    以前のモデルに対するカラーヒストグラムで現映像のカ
    ラーヒストグラムを割った値及び１のうち小さい値を出
    力する段階と、 （ｂ−１−３−２）前記（ｂ−１−３−１）段階の演算
    を前記映像の全ての位置座標に対して行う段階と、 （ｂ−１−３−３）前記（ｂ−１−３−２）段階で行わ
    れた演算結果及び前記Ｄrをコンボルーションする段階
    と、 （ｂ−１−３−４）前記（ｂ−１−３−３）段階で行わ
    れたコンボルーション結果が最大値を有する座標を検索
    し、前記座標を前記客体の初期位置として指定する段階
    とを含み、 前記Ｄrは、前記映像の（ｘ，ｙ）座標に対して の値を有することを特徴とする請求項１４に記載の映像
    編集方法。
  16. 【請求項１６】 前記（ｂ−２）段階は、 （ｂ−２−１）前記客体の色相構成を分析する段階と、 （ｂ−２−２）前記（ｂ−２−１）段階における分析の
    結果、前記客体が複数の色相より構成された場合、前記
    映像のカラーを構成する赤色（Ｒ）、緑色（Ｇ）、青色
    （Ｂ）の各チャンネルに対し、隣接したピクセルの輝度
    比を軸とする前記客体の３次元ヒストグラムを構成する
    段階と、 （ｂ−２−３）前記（ｂ−２−１）段階における分析の
    結果、前記客体が単一色相より構成された場合、前記映
    像の色相、彩度に対する２次元ガウスモデリングを行
    い、客体のカラー確率を定義する段階と、 （ｂ−２−４）前記（ｂ−２−３）段階で定義された前
    記客体のカラー確率を軸として前記客体のカラーヒスト
    グラムを構成する段階とを含むことを特徴とする請求項
    １３に記載の映像編集方法。
  17. 【請求項１７】 前記（ｂ−２−１）段階は、Ｒ，Ｇ，
    Ｂが前記映像のカラーを構成する赤色、緑色、青色デー
    タを各々意味し、Ｓは（ｉ，ｊ）組みの総数、ｕRは前
    記（ｉ，ｊ）組みに対する赤色（Ｒ）値の平均値、ｕG
    は前記（ｉ，ｊ）組みに対する緑色（Ｇ）値の平均値、
    ｕBは前記（ｉ，ｊ）組みに対する青色（Ｂ）値の平均
    値を各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
    さい場合に前記客体が単一色相より構成されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像が複数の色相より構成されたと
    判別することを特徴とする請求項１６に記載の映像編集
    方法。
  18. 【請求項１８】 前記（ｂ−２−３）段階で計算される
    前記確率は、 であり、 である時、 であることを特徴とする請求項１６に記載の映像編集方
    法。
  19. 【請求項１９】 前記（ｂ−３）段階は、 （ｂ−３−１）前記全映像に対するカラー変化を測定す
    る段階と、 （ｂ−３−２）前記（ｂ−３−１）段階における測定の
    結果、前記映像が白色照明下で取得されたと判別された
    場合、前記（ｂ−２）段階で行われた前記客体のカラー
    情報モデリング結果の変化無しに前記全映像に対するカ
    ラー分布をヒストグラムとして構成する段階と、 （ｂ−３−３）前記（ｂ−３−１）段階における測定の
    結果、前記映像がカラー照明下で取得されたと判別され
    た場合、前記映像の以前のフレームで追跡された客体の
    領域に対して前記（ｂ−２）段階を再び行い、前記全映
    像に対するカラー分布をヒストグラムとして構成する段
    階とを含むことを特徴とする請求項１３に記載の映像編
    集方法。
  20. 【請求項２０】 前記（ｂ−３−１）段階は、ｎは現フ
    レームの映像を意味し、ｍは以前のフレームの映像を意
    味し、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、
    緑色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
    さい場合に前記映像が白色照明下で取得されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像がカラー照明下で取得されたと
    判別することを特徴とする請求項１９に記載の映像編集
    方法。
  21. 【請求項２１】 前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時、 前記確率マップは であることを特徴とする請求項１３に記載の映像編集方
    法。
  22. 【請求項２２】 請求項１または１２のうち何れか一項
    に記載の方法をコンピュータにて実行するためのプログ
    ラムを記録したコンピュータにて読取り可能な記録媒
    体。
  23. 【請求項２３】 映像で追跡しようとする客体の初期位
    置を指定する初期位置指定部と、 前記客体及び前記全映像の隣接したピクセルのカラー比
    を考慮したカラーモデリングを行うカラーモデリング部
    と、 前記カラーモデリング結果に応答して、前記客体の追跡
    のための確率マップを構成する確率マップ構成部と、 前記初期位置及び前記確率マップに応答して前記客体の
    現位置を追跡する客体追跡部とを備えることを特徴とす
    る客体追跡装置。
  24. 【請求項２４】 前記初期位置指定部は、 ユーザが指定した所定の位置を前記客体の初期位置とし
    て受け入れる第１の初期位置指定部と、 前記客体の目録及び前記客体に対応するカラーモデリン
    グデータを貯蔵する客体データベースと、 ユーザが指定した客体の目録に対応するカラーモデリン
    グデータを前記客体データベースから読み出し、読み出
    された前記カラーモデリングデータを逆投射して前記客
    体の初期位置を自動的に指定する第２の初期位置指定部
    とを備えることを特徴とする請求項２３に記載の客体追
    跡装置。
  25. 【請求項２５】 前記カラーモデリング部は、 前記客体に関するカラー情報をモデリングする第１のカ
    ラーモデリング部と、 前記全映像に関するカラー情報をモデリングする第２の
    カラーモデリング部と、 前記映像の照明に関する変化を考慮して前記客体に関す
    るカラー情報を適応的にモデリングする第３のカラーモ
    デリング部とを備えることを特徴とする請求項２３に記
    載の客体追跡装置。
  26. 【請求項２６】 前記第１のカラーモデリング部は、前
    記客体の色相構成を分析し、前記客体が複数の色相より
    構成された場合、前記映像のカラーを構成する赤色
    （Ｒ）、緑色（Ｇ）、青色（Ｂ）の各チャンネルに対
    し、隣接したピクセルの輝度比を軸とする前記客体の３
    次元ヒストグラムを構成し、 前記客体が単一色相より構成された場合、前記映像の色
    相、彩度に対する２次元ガウスモデリングを行い、客体
    のカラー確率を定義し、前記客体のカラーヒストグラム
    を構成することを特徴とする請求項２５に記載の客体追
    跡装置。
  27. 【請求項２７】 前記第１のカラーモデリング部は、
    Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、緑色、
    青色データを各々意味し、Ｓは（ｉ，ｊ）組みの総数、
    ｕRは前記（ｉ，ｊ）組みに対する赤色（Ｒ）値の平均
    値、ｕGは前記（ｉ，ｊ）組みに対する緑色（Ｇ）値の
    平均値、ｕBは前記（ｉ，ｊ）組みに対する青色（Ｂ）
    値の平均値を各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
    さい場合に前記客体が単一色相より構成されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像が複数の色相より構成されたと
    判別することを特徴とする請求項２６に記載の客体追跡
    装置。
  28. 【請求項２８】 前記第１のカラーモデリング部で２次
    元ガウスモデリングを通じて求められる前記客体のカラ
    ー確率は、 で、 である時、 であることを特徴とする請求項２６に記載の客体追跡装
    置。
  29. 【請求項２９】 前記第３のカラーモデリング部は、前
    記全映像に対するカラー変化を測定し、前記測定の結
    果、前記映像がカラー照明下で取得されたと判別された
    場合、前記映像の以前のフレームで追跡された客体の領
    域に対するカラーモデリングを再び行い、前記全映像に
    対するカラー分布をヒストグラムとして構成することを
    特徴とする請求項２５に記載の客体追跡装置。
  30. 【請求項３０】 前記第３のカラーモデリング部は、ｎ
    が現フレームの映像を意味し、ｍが以前のフレームの映
    像を意味し、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する
    赤色、緑色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
    さい場合に前記映像が白色照明下で取得されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像がカラー照明下で取得されたと
    判別することを特徴とする請求項２９に記載の客体追跡
    装置。
  31. 【請求項３１】 前記確率マップ構成部で構成される前
    記確率マップは、前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時、 であることを特徴とする請求項２３に記載の客体追跡装
    置。
  32. 【請求項３２】 前記客体追跡部は、 前記客体の以前の位置を貯蔵するメモリと、 前記初期の位置及び前記確率マップに基づき連続した映
    像のうち対象客体の現在の位置及び大きさを追跡するカ
    ルマンフィルタと、 前記客体の前記以前の位置及び前記現在の位置に基づき
    前記カルマンフィルタの共分散行列を更新する速度予測
    部とを備えることを特徴とする請求項２３に記載の客体
    追跡装置。
  33. 【請求項３３】 編集しようとする映像を受け入れるデ
    ータ入力手段と、 前記映像で隣接ピクセルの輝度比を考慮して前記客体を
    追跡する客体追跡手段と、 前記追跡された客体の位置、大きさ及び境界線情報に応
    答して所定の領域に属する映像を変換して出力する映像
    編集手段とを備えることを特徴とする映像編集装置。
  34. 【請求項３４】 前記客体追跡手段は、 映像で追跡しようとする客体の初期位置を指定する初期
    位置指定部と、 前記客体及び前記全映像の隣接したピクセルのカラー比
    を考慮したカラーモデリングを行うカラーモデリング部
    と、 前記カラーモデリング結果に応答して、前記客体の追跡
    のための確率マップを構成する確率マップ構成部と、 前記初期位置及び前記確率マップに応答して前記客体の
    現位置を追跡するカルマンフィルターとを備えることを
    特徴とする請求項３３に記載の映像編集装置。
  35. 【請求項３５】 前記客体追跡手段は、前記客体の目録
    及び前記客体に対応するカラーモデリングデータを貯蔵
    するデータ貯蔵部をさらに備えることを特徴とする請求
    項３４に記載の映像編集装置。
  36. 【請求項３６】 前記初期位置指定部は、ユーザが指定
    した所定の位置を前記客体の初期位置として受け入れる
    ことを特徴とする請求項３４に記載の映像編集装置。
  37. 【請求項３７】 前記初期位置指定部は、ユーザが指定
    した客体目録に対応するカラーモデリングデータを前記
    データ貯蔵部から読み出し、読み出された前記カラーモ
    デリングデータを逆投射して前記客体の初期位置を自動
    的に指定することを特徴とする請求項３５に記載の映像
    編集装置。
  38. 【請求項３８】 前記カラーモデリング部は、 前記客体に関するカラー情報をモデリングする第１のカ
    ラーモデリング部と、 前記全映像に関するカラー情報をモデリングする第２の
    カラーモデリング部とを備えることを特徴とする請求項
    ３４に記載の映像編集装置。
  39. 【請求項３９】 前記第１のカラーモデリング部は、前
    記客体の色相構成を分析し、前記客体が複数の色相より
    構成された場合、前記映像のカラーを構成する赤色
    （Ｒ）、緑色（Ｇ）、青色（Ｂ）の各チャンネルに対
    し、隣接したピクセルの輝度比を軸とする前記客体の３
    次元ヒストグラムを構成し、 前記客体が単一色相より構成された場合、前記映像の色
    相、彩度に対する２次元ガウスモデリングを行い、客体
    のカラー確率を定義し、前記客体のカラーヒストグラム
    を構成することを特徴とする請求項３８に記載の映像編
    集装置。
  40. 【請求項４０】 前記第２のカラーモデリング部は、
    Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、緑色、
    青色データを各々意味し、Ｓは（ｉ，ｊ）組みの総数、
    ｕRは前記（ｉ，ｊ）組みに対する赤色（Ｒ）値の平均
    値、ｕGは前記（ｉ，ｊ）組みに対する緑色（Ｇ）値の
    平均値、ｕBは前記（ｉ，ｊ）組みに対する青色（Ｂ）
    値の平均値を各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
    さい場合に前記客体が単一色相より構成されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像が複数の色相より構成されたと
    判別することを特徴とする請求項３８に記載の映像編集
    装置。
  41. 【請求項４１】 前記第１のカラーモデリング部で前記
    ２次元ガウスモデリングを通じて求められる前記客体の
    カラー確率は、 で、 である時、 であることを特徴とする請求項３９に記載の映像編集装
    置。
  42. 【請求項４２】 前記カラーモデリング部は、前記全映
    像に対するカラー変化を測定し、前記測定の結果、前記
    映像がカラー照明下で取得されたと判別された場合、前
    記映像の以前のフレームで追跡された客体の領域に対す
    るカラーモデリングを再び行い、前記全映像に対するカ
    ラー分布をヒストグラムとして構成する第３のカラーモ
    デリング部をさらに備えることを特徴とする請求項３４
    に記載の映像編集装置。
  43. 【請求項４３】 前記第３のカラーモデリング部は、ｎ
    が現フレームの映像を意味し、ｍが以前のフレームの映
    像を意味し、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する
    赤色、緑色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
    さい場合に前記映像が白色照明下で取得されたと判別
    し、前記計算された値が所定のスレショルド値より大き
    いか同じ場合に前記映像がカラー照明下で取得されたと
    判別することを特徴とする請求項４２に記載の映像編集
    装置。
  44. 【請求項４４】 前記確率マップ構成部で構成される前
    記確率マップは、前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時 であることを特徴とする請求項３４に記載の映像編集装
    置。
  45. 【請求項４５】 前記映像編集手段は、前記追跡手段を
    通じて追跡された前記客体の境界線情報を抽出する境界
    線抽出部と、 前記抽出された境界線情報と、前記客体の位置及び大き
    さ情報を受け入れて前記客体に対して少なくとも一つ以
    上の映像フィルタリングを行う映像編集部とを備えるこ
    とを特徴とする請求項３３に記載の映像編集装置。
  46. 【請求項４６】 前記映像編集部は、モザイクフィルタ
    ー、ブラリングフィルター及び反転フィルターのうち少
    なくとも何れか一つのフィルターを備えることを特徴と
    する請求項４５に記載の映像編集装置。
JP2002321741A 2001-11-05 2002-11-05 照明不変の客体追跡方法及びこれを用いた映像編集装置 Expired - Fee Related JP4194025B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2001-0068636A KR100421221B1 (ko) 2001-11-05 2001-11-05 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
KR2001-68636 2001-11-05

Publications (2)

Publication Number Publication Date
JP2003203240A true JP2003203240A (ja) 2003-07-18
JP4194025B2 JP4194025B2 (ja) 2008-12-10

Family

ID=19715709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002321741A Expired - Fee Related JP4194025B2 (ja) 2001-11-05 2002-11-05 照明不変の客体追跡方法及びこれを用いた映像編集装置

Country Status (4)

Country Link
US (2) US7171023B2 (ja)
EP (1) EP1308896A3 (ja)
JP (1) JP4194025B2 (ja)
KR (1) KR100421221B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010501440A (ja) * 2006-08-25 2010-01-21 オーチス エレベータ カンパニー 目的階登録配車運転においてセキュリティ保護の追跡を匿名で行う乗客指標付けシステム

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254298A (ja) * 2003-01-30 2004-09-09 Ricoh Co Ltd 画像処理装置、プログラム及び記憶媒体
JP2004348674A (ja) * 2003-05-26 2004-12-09 Noritsu Koki Co Ltd 領域検出方法及びその装置
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7792970B2 (en) * 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8189927B2 (en) 2007-03-05 2012-05-29 DigitalOptics Corporation Europe Limited Face categorization and annotation of a mobile phone contact list
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
WO2007024351A2 (en) * 2005-08-26 2007-03-01 Idt Corporation Region of interest tracking and integration into a video codec
US7694885B1 (en) 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US7636450B1 (en) * 2006-01-26 2009-12-22 Adobe Systems Incorporated Displaying detected objects to indicate grouping
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7716157B1 (en) 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US7720258B1 (en) * 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
US7813526B1 (en) * 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7706577B1 (en) 2006-01-26 2010-04-27 Adobe Systems Incorporated Exporting extracted faces
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
DE602007012246D1 (de) * 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US7711157B2 (en) * 2006-08-01 2010-05-04 California Institute Of Technology Artificial intelligence systems for identifying objects
WO2008015586A2 (en) * 2006-08-02 2008-02-07 Fotonation Vision Limited Face recognition with combined pca-based datasets
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US20080056566A1 (en) * 2006-09-01 2008-03-06 Texas Instruments Incorporated Video processing
KR100822459B1 (ko) * 2006-10-10 2008-04-16 엠텍비젼 주식회사 움직임 인식 방법 및 그 장치
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2115662B1 (en) * 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
WO2008107002A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
TWI357582B (en) * 2008-04-18 2012-02-01 Univ Nat Taiwan Image tracking system and method thereof
JP5157721B2 (ja) * 2008-07-29 2013-03-06 ソニー株式会社 画像データの分布モデル更新装置、画像処理装置、画像データの分布モデル更新方法およびプログラム
CN106919911A (zh) 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
KR101341637B1 (ko) * 2008-08-29 2013-12-16 서울대학교산학협력단 물체 추적 장치 및 방법
KR101249737B1 (ko) * 2008-12-03 2013-04-03 한국전자통신연구원 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
JP5045817B2 (ja) * 2009-01-23 2012-10-10 日本電気株式会社 画像識別子抽出装置
US8340435B2 (en) * 2009-06-11 2012-12-25 California Institute Of Technology Method and system for object recognition search
US20120128209A1 (en) * 2009-06-30 2012-05-24 Shigetoshi Sakimura Image analysis device and image analysis program
US8379917B2 (en) * 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP2013031034A (ja) * 2011-07-29 2013-02-07 Sony Corp 画像編集プログラム、画像編集方法、画像編集装置、記録媒体
US20130201344A1 (en) * 2011-08-18 2013-08-08 Qualcomm Incorporated Smart camera for taking pictures automatically
US10089327B2 (en) 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
KR101409810B1 (ko) * 2012-10-24 2014-06-24 계명대학교 산학협력단 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
JP6351240B2 (ja) * 2013-11-20 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
CN105844663B (zh) * 2016-03-21 2018-11-27 中国地质大学（武汉） 一种自适应orb目标跟踪方法
US10635116B2 (en) 2017-10-19 2020-04-28 Ford Global Technologies, Llc Video calibration with illumination invariant image
EP3534294B1 (en) * 2018-03-02 2023-09-06 Akademia Gorniczo-Hutnicza im. Stanislawa Staszica w Krakowie Computer implemented method for processing a frame sequence, digital frame processing device computer program product and monitoring system
CN110033478A (zh) * 2019-04-12 2019-07-19 北京影谱科技股份有限公司 基于深度对抗训练的视觉目标跟踪方法和装置
CN115908642A (zh) * 2021-09-30 2023-04-04 北京字跳网络技术有限公司 一种图像编辑方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248040B1 (ko) * 1992-09-17 2000-03-15 윤종용 목표물 예측방법
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
KR0170698B1 (ko) 1995-10-28 1999-03-20 김광호 실시간 영상 모자이크 시스템
JPH10336506A (ja) * 1997-05-29 1998-12-18 Canon Inc 画像処理システム、追尾システム，追尾方法，記憶媒体
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6917692B1 (en) * 1999-05-25 2005-07-12 Thomson Licensing S.A. Kalman tracking of color objects
US6539099B1 (en) * 1999-08-30 2003-03-25 Electric Planet System and method for visual chat
KR100312427B1 (ko) * 1999-12-23 2001-11-03 오길록 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치
KR100372774B1 (ko) * 2000-10-27 2003-02-25 한국과학기술연구원 컬러정보를 사용한 영상 추적방법
US20020176001A1 (en) * 2001-05-11 2002-11-28 Miroslav Trajkovic Object tracking based on color distribution

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010501440A (ja) * 2006-08-25 2010-01-21 オーチス エレベータ カンパニー 目的階登録配車運転においてセキュリティ保護の追跡を匿名で行う乗客指標付けシステム

Also Published As

Publication number Publication date
EP1308896A2 (en) 2003-05-07
US7171023B2 (en) 2007-01-30
US20070003106A1 (en) 2007-01-04
KR100421221B1 (ko) 2004-03-02
KR20030037776A (ko) 2003-05-16
US20030099376A1 (en) 2003-05-29
JP4194025B2 (ja) 2008-12-10
EP1308896A3 (en) 2005-10-19
US7346189B2 (en) 2008-03-18

Similar Documents

Publication Publication Date Title
JP2003203240A (ja) 照明不変の客体追跡方法及びこれを用いた映像編集装置
CN101802842B (zh) 用于识别图像中的复杂特征点的***和方法
US5471535A (en) Method for detecting a contour of a given subject to be separated from images and apparatus for separating a given subject from images
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
JP5998049B2 (ja) 画像を処理するための自動化されコンピュータ化された方法とそのような方法を実行するコンピュータプログラム
Koschan et al. Detection and classification of edges in color images
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
US7127104B2 (en) Vectorized image segmentation via trixel agglomeration
US20090161950A1 (en) Image segregation system with method for handling textures
JP2012511207A (ja) 画像分離用制約条件生成プログラム
CN110263813A (zh) 一种基于残差网络和深度信息融合的显著性检测方法
CN110569859B (zh) 一种服装图像的颜色特征提取方法
JPH08123958A (ja) カラー画像処理方法及びカラー画像処理装置
JP2003162718A (ja) 画像処理方法及びプログラム
JP2002342758A (ja) 視覚認識システム
CN109523594A (zh) 一种视觉托盒特征点坐标定位方法及***
Duchêne et al. Mixed illumination analysis in single image for interactive color grading
Burger et al. Corner detection
JP2002208013A (ja) 画像領域抽出装置及び画像領域抽出方法
JP2000270343A (ja) 画像合成用識別パタンパネルを備えた仮想スタジオシステム及び画像合成用識別パタンパネルを用いた識別方法
Ancuti et al. CC-SIFT: Exploiting chromatic contrast forwide-baseline matching
Yin et al. A new qem for parametrization of raster images
De Rosa et al. Image Processing for Virtual Artwork Restoration
Kim et al. Unsupervised salient object matting
CN117911495A (zh) 一种空地协同下的全局环境地图构建及定位方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061107

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080918

R150 Certificate of patent or registration of utility model

Ref document number: 4194025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees