JP4194025B2 - 照明不変の客体追跡方法及びこれを用いた映像編集装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は客体追跡方法に係り、特に、照明不変の客体追跡方法及びこれを用いたビデオ映像編集装置に関する。
【０００２】
【従来の技術】
近年、ほとんどの情報の流通及び流れにマルチメディア的な要素が使われている。このために、デジタルカメラ、画像通信用カメラなどのように、カメラを通じて取得されたビデオ画面を処理するための装置及びソフトウェアが出始めつつある。
【０００３】
カメラを通じて取得されたビデオ映像を編集するビデオ映像編集システムは、画面で特定人物の顔や製品をモザイク処理する等、様々な映像編集機能を行う。このうち、モザイク機能は、全体画面や固定位置に対して行われることもあれば、本出願人により取得された大韓民国特許公報に記載の「リアルタイム映像モザイクシステム」（特許文献１参照）のように、映像の動きに従いモザイク機能をリアルタイムにて行うこともある。
【０００４】
一般に、カメラにより撮影された映像は、ほとんど輝度が一様でない所で獲得される。特に、野外撮影の場合、次から次へと変化する自然光の輝度またはスペクトルの変化によって撮影された映像の輝度またはカラーが一様にならない。従って、この場合、輝度またはカラーの変化を考慮しないままモザイク処理を施せば、輝度の変化によって相異なる値を有する映像のピクセル値の変化によりモザイク処理が不正確に行われることがある。このような問題を解決するために、最近、客体の形状情報に基づく追跡アルゴリズムを用いて該当客体をモザイク処理する方法が提案されている。しかし、この方法は、複雑度が高くて高性能の演算装置及びメモリを必要とし、リアルタイム処理が困難であるといった問題をもっている。
【０００５】
【特許文献１】
大韓民国特許登録番号第１０−１７０６９８号明細書
【０００６】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、照明変化に関係なく映像の所望の領域を信頼性良く追跡し、これをリアルタイムにて編集できる映像編集装置を提供するところにある。
【０００７】
【課題を解決するための手段】
前記課題を達成するために、本発明に係る照明不変の客体追跡方法は、（ａ）映像で追跡しようとする客体の初期位置を指定する段階と、（ｂ）前記映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行う段階と、（ｃ）前記カラーモデリングの結果に応答して客体追跡のための確率マップを生成する段階と、（ｄ）前記初期の位置及び前記確率マップに基づき前記客体の現在の位置を追跡する段階とを含むことを特徴とする。
【０００８】
前記課題を達成するために、本発明に係る照明不変の追跡技術を用いた映像編集方法は、（ａ）編集しようとする映像を受け入れる段階と、（ｂ）前記映像で隣接ピクセルのカラー比を考慮して前記客体を追跡する段階と、（ｃ）前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集段階とを含むことを特徴とする。
【０００９】
前記客体追跡方法は、これを実行する手段としてコンピュータを機能させるためのプログラムの形態で提供可能である。また、当該プログラムは、コンピュータで読取り可能な記録媒体で流通させることができると共に、電気通信媒体を通じて送信することも可能である。
【００１０】
前記課題を達成するために、本発明に係る照明不変の客体追跡装置は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備えることを特徴とする。
【００１１】
前記課題を達成するために、本発明に係る照明不変の追跡技術を用いた映像編集装置は、編集しようとする映像を受け入れるデータ入力手段と、前記映像で隣接ピクセルのカラー比を考慮して前記客体を追跡する客体追跡手段と、前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集手段とを備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の望ましい実施の形態について詳細に説明する。
【００１３】
図１は、本発明の望ましい実施の形態による照明不変の客体追跡方法及びこれを用いた映像編集方法を説明するフローチャートである。図１を参照すれば、先ず、本発明に係る映像編集方法は、映像信号が入力されれば（第１００段階）、映像の隣接ピクセルのカラー比を用いた客体追跡（第２００段階）を行った後、追跡された客体を編集して（第３００段階）ディスプレーする（第４００段階）。
【００１４】
カメラにより撮影された映像は輝度が一様でない所で獲得される場合がほとんどであるため、映像の輝度が一様でない場合が頻繁に起こる。これは、編集しようとする客体の追跡に誤りを生じるため、本発明では、前記のように輝度の変化に影響されないように映像の隣接ピクセルのカラー比を用いた客体追跡を行う。
【００１５】
映像処理分野において、照明不変の特徴を探そうとする多くの研究があった。そのうち、ブレイン・Ｖ．フント（Brain V. Funt），グラハム・Ｄ．フィンレイソン（Graham D. Finlayson）共著，「カラーコンスタント、カラーインデクシング（Color Constant Color Indexing）」，アイトリプリー・トランザクションズ・オン・パターン・アナリシス・アンド・マシン・インテリジェンス（IEEE Transactions on Pattern Analysis and Machine Intelligence）（アメリカ合衆国，インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド（Institute of Electrical and Electronics Engineers, Inc.），１９９５年）には、隣接したピクセルのカラー比が空間的に一様でない照明にも変化しないということが開示されている。この論文では、照明が全体的にまたは空間的に変わるとしても、直ぐ隣りに隣接したピクセルの輝度はピクセルが属する表面の反射特徴にのみ依存するため、隣接したピクセルのカラー比が照明の変化に影響されないということを示している。
【００１６】
図２の（ａ）ないし（ｄ）は、隣接したピクセルの輝度比の変化を示す図面である。図２を参照すれば、（ａ）に示された映像のＡ及びＢ地点をつなぐ経路に位置した隣接ピクセルは、（ｂ）に示された如き輝度値を有する。この輝度値は、照明が変化する場合、照明の変化に応じてその値が敏感に変わる。しかし、前記ブレイン・Ｖ．フント，グラハム・Ｄ．フィンレイソン共著論文によれば、前記映像の隣接ピクセル間の輝度またはカラー比は照明が変化しても、（ｃ）に示されたように照明の変化に影響されず、映像がもっている特性をそのまま維持するということが分かる。
【００１７】
本発明では、このような特性に基づき、下記のように照明不変の客体追跡を行う。図１を参照すれば、本発明に係る客体追跡方法は、まず、編集しようとする映像区間及び追跡しようとする客体の初期位置を指定する（第２１０段階）。次に、追跡しようとする客体に関するカラー情報をモデリングし（第２２０段階）、全映像に関するカラー情報をモデリングする（第２２５段階）。そして、第２２０段階及び第２２５段階で行われたカラー情報のモデリング結果及び第２１０段階で指定された位置情報を考慮して確率マップを構成し（第２４０段階）、構成された確率マップに基づきカルマンフィルタリングを行う（第２６０段階）。後述するように、カルマンフィルターは客体の動作を予測するフィルターであって、動きがある客体の追跡に主として使われる。本発明に係る客体追跡方法の各段階別動作の詳細は、次の通りである。
【００１８】
図３は、図１に示された客体の初期位置指定方法（第２１０段階）を説明するフローチャートである。図３を参照すれば、まず、客体の初期位置が自動的に指定されるか、あるいはマニュアルで指定されるかを判別する（第２１００段階）。判別の結果、客体の初期位置がマニュアルで指定される場合、ユーザはマウスで客体を含む境界ボックスを映像に指定することにより、追跡客体の位置をマニュアルで指定する（第２１１０段階）。そして、第２１００段階における判別の結果、客体の初期位置が自動的に指定される場合、ユーザが所定のデータ貯蔵領域に予め生成しておいた客体データベース目録のうち編集しようとする客体の目録を指定すれば、前記データベースから該当客体のカラーヒストグラムを読み出し（第２１２０段階）、読み出されたヒストグラムを逆投射することにより客体の初期位置を自動的に指定する（第２１３０段階）。
【００１９】
第２１３０段階で使われたカラーヒストグラムの逆投射アルゴリズムは、映像で客体を検出するのに邪魔となるカラーの影響、すなわち、客体以外の領域で現れたカラーの影響を減らし、対象客体のカラーが最も強く現れる位置を捜し出すのに使われる。これに対する具体的な方法は下記の通りである。
【００２０】
図４は、図３に示された逆投射方法（第２１３０段階）を説明するフローチャートである。図４を参照すれば、カラーヒストグラムの逆投射方法は、Ｄ^rを半径がｒであるディスクであるとした時、まず、各ヒストグラムビンｊに対して
Ｒj＝min（Ｍj/Ｉj，１）
を計算する（第２１３１段階）。ここで、Ｍjはヒストグラムビンｊに対して以前のモデルのカラーヒストグラムを表わし、Ｉjはヒストグラムビンｊに対して現映像のカラーヒストグラムを表わす。Ｒj値は、Ｍj値をＩj値で割った値及び１のうち小さい方の値として定義される。
【００２１】
次に、全ての位置（ｘ，ｙ）のカラーに該当するＲを計算する（第２１３２段階）。これはｂx、y＝Ｒ_{ｈ（ｃ（ｘ，ｙ））}として表わされる。第２１３２段階で計算されたｂ値はディスクＤ^rとコンボルーションされる（第２１３３段階）。
これは、 b = D^r
* bとして表わされ、この時、Ｄ^rの値は
Ｄ^ｒ（ｘ，ｙ）＝１ if √（ｘ^２＋ｙ^２）
０ otherwise
の値を有する。コンボルーションが行われれば、コンボルーション結果ｂが最大となる座標を探してこれを客体の初期位置として決める（第２１３４段階）。この時に決められる初期位置は
（ｘ_ｔ，ｙ_ｔ）＝loc（max（x，y）b）
として表わされる。
【００２２】
次に、図１に示された追跡客体に関するカラー情報モデリング方法（第２２０段階）を説明すれば、下記の通りである。
【００２３】
図５は、図１に示された追跡客体に関するカラー情報モデリング方法（第２２０段階）を説明するフローチャートである。図５を参照すれば、まず、追跡客体の色相構成を分析し（第２２１１段階）、分析結果に基づき客体の色相が単色より構成されたか、それとも多色より構成されたかを判別する（第２２１２段階）。
【００２４】
この時に使われる式は、下記式１の通りである。
【００２５】
【数１】

【００２６】
ここで、Ｓは（ｉ，ｊ）組みの総数であり、ｕＲは（ｉ，ｊ）組みに対する赤色（Ｒ）値の平均値を、ｕ_Gは（ｉ，ｊ）組みに対する緑色（Ｇ）値の平均値を、ｕ_Bは（ｉ，ｊ）組みに対する青色（Ｂ）値の平均値を各々表わす。そして、Ｔｈはスレショルド値であって、前式１の左辺値が右辺のスレショルド値より小さければ単色客体として判別し、それ以上であれば多色客体として判別する。
【００２７】
判別の結果、客体が多色より構成されたと判別されれば、前記客体のカラー情報はＲ、Ｇ、Ｂの各チャンネルに対して隣接したピクセルの輝度比を軸とする３次元ヒストグラム

として貯蔵される（第２２１３段階）。このようにして構成されたカラー比のヒストグラム

を客体追跡に用いれば、照明の変化に影響されずに客体を追跡することができる。
【００２８】
これに対し、追跡対象の客体が顔の如く単色より構成された場合には、カラー比が客体の主な特徴を表現できなくなる。従って、前記の如きカラー比のヒストグラム

は単色より構成された客体の検出及び追跡に有効でない。従って、本発明では、単色客体に対しては映像の輝度による色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）の２次元ガウスモデリングを通じて照明不変の客体のカラーをモデリングして全客体のカラー確率を定義し（第２２１４段階）、定義された客体のカラー確率に基づき客体のカラーヒストグラムを構成する（第２２１５段階）。これに関する詳細は、下記の通りである。
【００２９】
図６の（ａ）及び（ｂ）は、照明の変化による皮膚色及び彩度の変化を各々示す図面である。ここで、皮膚は単一色相より構成された客体の一例を示す。図６の（ａ）及び（ｂ）を参照すれば、ＨＳＩカラー空間で皮膚の色相は周辺の輝度とは独立的であり、彩度は輝度に対して線形的に低まる特性を有するということが分かる。このような特性は、皮膚のほかに一般的なカラーにも適用可能である。従って、前記特性に基づき、下記式２のように客体、例えば、皮膚のカラー確率を定義することができる。
【００３０】
【数２】

【００３１】
ここで、

は２次元ガウス関数を、ｎは客体のサイズを、そしてＩは映像の平均輝度を各々表わす。このような客体のカラー確率が定義されれば、本発明では、これをヒストグラム

の軸としてカラーヒストグラムを構成する。
【００３２】
客体のカラー分布に基づき客体を有効に追跡するためには、前述の如き客体に関するカラー分布情報のほかにも、全映像のカラー分布情報も必要である。全映像のカラー分布情報をモデリングする方法は、下記の通りである。
【００３３】
図７は、図１に示された全映像に関するカラー情報モデリング方法（第２２５段階）を説明するフローチャートである。図７を参照すれば、まず、全映像のカラー変化を測定し（第２２２１段階）、測定の結果に基づき照明が白色照明であるか、それともカラー照明であるかを判別する（第２２２２段階）。
【００３４】
この時に使われる式は、下記式３の通りである。
【００３５】
【数３】

【００３６】
ここで、Ｔｈはスレショルドであって、前式３の左辺の値が右辺のスレショルド値より小さければ白色照明として判別し、左辺の値が右辺のスレショルド値より大きいか同じであればカラー照明として判別する。この時、ｎは現フレームの映像を、ｍは以前のフレームの映像を各々意味する。
【００３７】
第２２２２段階における判別の結果、照明がカラー照明として判別されれば、直前のフレームで探した客体の領域からカラー分布を新しく抽出してカラー情報を再びモデリングし、全映像に対するカラー分布をヒストグラムとして構成する適応的カラーモデリングを行う（第２２３０段階）。この時に使われるカラーモデリング方法は、図５でのそれと同一である。そして、照明が白色照明として判別されれば、カラー情報の再モデリング過程を経ず、図５において構成された客体ヒストグラムの軸と同じ軸に対して映像の全体カラー分布をヒストグラム

として構成する（第２２２３段階）。
【００３８】
すなわち、全映像のカラー変化の測定の結果、全映像の輝度が変わったり映像の一部の輝度が異なる白色照明が照らされたりする場合には以前に行われたカラー情報モデリングの結果（すなわち、図１の第２２０段階）がそのまま使われ、波長別に強度が異なるカラー照明が照らされる場合には第２２３０段階の如きカラー情報が適応的にモデリングされる。
【００３９】
さらに図１を参照すれば、第２４０段階では、第２１０段階で指定された位置情報と、第２２０段階及び第２２５段階を経てモデリングされたカラー情報を考慮して確率マップを構成する。この時に構成される確率マップは、下記式４及び５の通りである。
【００４０】
【数４】

【００４１】
【数５】

【００４２】
第２６０段階では、前式４及び５により構成された確率マップによりカルマンフィルタリングを行い、客体を追跡する。
【００４３】
カルマンフィルターは、下記式６に基づき連続した映像で対象客体の位置及び大きさを追跡し続ける。
【００４４】
【数６】

【００４５】
ここで、は客体の中心座標を意味し、Ｃ（ｉ，ｊ）は共分散行列を意味する。客体の中心座標及び共分散行列Ｃ（ｉ，ｊ）を構成する各々のパラメータは、

の値を有する。
【００４６】
第２６０段階のカルマンフィルタリング段階では、現在計算された客体の位置及び所定のデータ領域に貯蔵されている以前のデータの両方に基づき現在動いている客体の速度を予測し、下記式７の如き共分散行列を更新することにより、客体の急な動きや停止を信頼性良く追跡する。
【００４７】
【数７】

【００４８】
このような一連の客体追跡方法により所定の客体が追跡されれば、追跡された客体にはモザイク処理などの編集機能が行われた後（第３００段階）、ディスプレーされる（第４００段階）。
【００４９】
図８は、本発明の望ましい実施の形態による映像編集装置１００のブロック図である。図８を参照すれば、本発明に係る映像編集装置１００は、編集しようとする映像を受け入れるデータ入力ユニット１０、前記映像で隣接ピクセルのカラー比を考慮して客体を追跡する客体追跡ユニット２０、及び追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集ユニット３０を備える。
【００５０】
データ入力ユニット１０は、アナログ映像信号を受け入れるビデオカメラ１１と、取得されたアナログ映像信号を連続的なデジタル映像信号に変換するＡ／Ｄコンバーター１２とを備える。
【００５１】
客体追跡ユニット２０は、映像で追跡しようとする客体の初期位置を指定する初期位置指定部２１、客体及び全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部２２、カラーモデリング結果に基づき客体追跡のための確率マップを構成する確率マップ構成部２４、確率マップ構成部２４の入力を選択するＭＵＸ ２５、前記初期位置及び前記確率マップに応答して客体の現位置を追跡する客体追跡部２６を備える。
【００５２】
初期位置指定部２１は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れる第１の初期位置指定部２１１、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵する客体データベース２１２、及びユーザが指定した客体の目録に対応するカラーモデリングデータを客体データベース２１２から読み出し、読み出されたカラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定する第２の初期位置指定部２１３を備える。第１の初期位置指定部２１１は、前述した初期位置のマニュアル指定機能を行い、第２の初期位置指定部２１３は、初期位置の自動指定機能を行う。
【００５３】
前記カラーモデリング部２２は、客体に関するカラー情報をモデリングする第１のカラーモデリング部２２１、全映像に関するカラー情報をモデリングする第２のカラーモデリング部２２２、及び映像の照明に関する変化を考慮して前記客体に関するカラー情報を適応的にモデリングする第３のカラーモデリング部２２３を備える。
【００５４】
第１のカラーモデリング部２２１は、第１または第２の初期位置指定部２１１または２１３を通じて編集しようとする客体の初期位置がマニュアルまたは自動的に指定されれば、前記客体の初期領域からカラー情報を抽出し、客体を追跡するのにこれを使用する。第１のカラーモデリング部２２１は、該当客体が単色より構成されるか、それとも多色より構成されるかを判別し、該当客体が多色より構成された場合には前記客体の情報をＲ，Ｇ，Ｂの各チャンネルに対して隣接したピクセルのカラー比を軸とする３次元ヒストグラム

として貯蔵する。このようなカラー比のヒストグラム

を使用すれば、照明の変化に影響されずにカラー情報に基づき客体を認識することができる。
【００５５】
しかしながら、対象客体が顔の如く単色より構成された客体である場合にはカラー比が客体の主な特徴を表現できないため、客体を検出、追跡する上で有効でない。従って、本発明では、単色より構成された客体に対しては映像の輝度による色相、彩度の２次元ガウスモデリングを通じて照明に強く客体のカラーをモデリングする。
【００５６】
一般に、追跡、検出しようとする対象客体が高精度でないか、それとも回転が激しい場合には、形状情報よりカラー情報を用いた方が時間及び正確度の面で多くの利点を有する。しかし、放送用として製作されたビデオ信号は室内外の激しい照明の変化を含むため、一般的なＲ，Ｇ，Ｂのカラー空間で対象客体のカラーが激しく変化し、これは、客体の追跡、検出を困難にする。従って、本発明では、このように激しい照明の変化にも強く客体を追跡するために、カラー情報の抽出において、第１のカラーモデリング部２２１及び第３のカラーモデリング部２２３で行われた客体のカラーモデリング結果を同時に使用する。
【００５７】
このために、第３のカラーモデリング部２２３は、全映像に対するカラー変化を測定し、測定の結果、映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、全映像に対するカラー分布をヒストグラムとして構成する。そして、測定の結果、映像が白色照明下で取得されたと判別された場合、第１のカラーモデリング部２２１で行われた客体のカラーモデリング結果をそのまま使用する。
【００５８】
客体のカラー分布に基づき客体を有効に追跡するためには、前述の如き客体に関するカラー分布情報のほかにも、全映像のカラー分布情報も必要である。このために、第２のカラーモデリング部２２２は、現映像の全体カラー分布を客体ヒストグラムの軸と同じ軸に対するヒストグラム

として構成する。
【００５９】
確率マップ構成部２４は、第２のカラーモデリング部２２２で行われたカラーモデリング結果を受け入れ、選択された客体の位置と、第１または第３のカラーモデリング部２２１または２２３で行われたカラーモデリング結果をＭＵＸ ２５を通じて受け入れる。この時に生成される確率マップは、前式４及び５の通りである。
【００６０】
一方、客体データベース２１２は、第１のカラーモデリング部２２１で生成された照明不変のカラーヒストグラムを貯蔵するが、物体の色相構成に応じてカラー比のヒストグラムや照明によるガウスヒストグラムとして貯蔵する。客体データベース２１２に貯蔵された客体のカラー分布情報は、ユーザが関心客体を目録で指定すれば、第２の初期位置指定部２１３で客体の初期位置を自動的に検出するのに使われる。
【００６１】
客体追跡部２６は、メモリ２６１、速度予測部２６２及びカルマンフィルター２６３を備え、客体の現位置を追跡する。
【００６２】
カルマンフィルター２６３は、確率マップ構成部２４で生成された客体の確率マップＣＯＬＯＲ＿ＭＯＤＥＬ及び客体の初期位置ＯＢＪ＿ＰＯＳＩＴＩＯＮを受け入れ、前式６に基づき連続的な映像で関心客体の位置及び大きさを追跡し続ける。速度予測部２６２は、メモリ２６１を用いて以前の客体の位置を貯蔵しておき、現在計算された客体の位置及び以前のデータの両方に基づき現在動いている客体の速度を予測する。そして、前式７のようにカルマンフィルター２６３の共分散行列を更新することにより、客体の急な動きや停止を信頼性良く追跡する。
【００６３】
前述の如き一連の客体追跡方法により所定の客体が追跡されれば、追跡された客体は映像編集ユニット３０を通じてモザイク処理などの簡単な編集機能が自動的に行われる。映像編集ユニット３０は、さらに様々な編集機能を与えるために、映像編集を行う映像編集部３２、及び編集されたビデオ信号をアナログ信号に変換して出力するＤ／Ａコンバーター３３に加えて、境界線抽出部３１をさらに備える。境界線抽出部３１は、映像編集部３２に接続されて追跡中の客体の境界線情報を与える。境界線抽出方法は、量子化したカラー映像及びモーション差映像の両方を用いて客体領域を２進化した映像として定義し、境界追跡アルゴリズムを適用して境界線を抽出する。
【００６４】
本発明に係る映像編集ユニット３０には、予め貯蔵しておいた編集機能リスト（図示せず）が備えられており、ユーザが特定の機能を選択すれば、その選択結果に応じて編集アルゴリズムが動作し、編集された結果がＤ／Ａコンバーター３３を通じてアナログの形に変換される。映像編集部３２で行う編集アルゴリズムは、デジタル映像の各々の一枚に対し、関心客体の位置と大きさまたは境界線情報（または輪郭線情報）に基づき特定領域に特定の色を塗ったり、または特定フィルターを通過させて映像を変換する過程を含む。編集に使用可能なフィルターとしてモザイクフィルター、ブラリングフィルター、反転フィルターなどがある。
【００６５】
前述した本発明に係る映像編集装置１００を実際の映像に適用した場合、その結果は下記の通りである。
【００６６】
図９は、様々な照明条件下にある合成モンドリアン映像を示す図面であり、図１０は、様々な照明条件下で取得された実際の映像の例を示す図面である。
【００６７】
まず、図９を参照すれば、図９の（ａ）は、空間的に一定であり、且つ、スペクトル的にも一定である照明下における合成モンドリアン映像を示し、図９の（ｂ）は、空間的には一定であるものの、スペクトル的には一定ではない照明下における合成モンドリアン映像を示す。そして、図９の（ｃ）は、空間的にも一定ではなく、且つ、スペクトル的にも一定ではない照明下における合成モンドリアン映像を示す。
【００６８】
この場合、図９の（ａ）、（ｂ）及び（ｃ）の各々に対するＲ，Ｇ，Ｂ空間、オッポネントカラー空間、正規化したＲ，Ｇ空間、ＨＳＩ空間、及びカラー比空間の比較結果は、下記表１ないし３の通りである。
【００６９】
【表１】

【００７０】
【表２】

【００７１】
【表３】

【００７２】
表１ないし表３から明らかなように、カラー比空間を基準とする時、合成モンドリアン映像は照明の変化に関係なく全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。これにより、本発明に係る客体追跡方法は、照明不変の特性を有するということが分かる。
【００７３】
次に、図１０を参照すれば、図１０の（ａ）はある映像に対する他の映像の角度が捩じれて見えるスウェインモデル映像の場合を示し、図１０の（ｂ）は、類似の照明下で取得された２枚の映像を示す。そして、図１０の（ｃ）は、顕著に異なる照明下で取得された２枚の映像を示す。
【００７４】
この場合、図１０の（ａ）、（ｂ）、（ｃ）の各々に対するＲ，Ｇ，Ｂ空間、オッポネントカラー空間、正規化したＲ，Ｇ空間、ＨＳＩ空間、及びカラー比空間の比較結果は、下記表４ないし表６の通りである。
【００７５】
【表４】

【００７６】
【表５】

【００７７】
【表６】

【００７８】
表４から明らかなように、映像の角度が捩じれているスウェインモデル映像の場合にも、カラー比空間を基準とする時、全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。のみならず、表５及び表６から明らかなように、カラー比空間を基準とする時、相異なる条件下にある映像は、照明が類似に変化しようが、または照明が大いに変化しようが、照明の変化に関係なく全てのカラー空間に対して高い平均白分率のマッチング結果を示すということが分かる。これにより、本発明に係る客体追跡方法は、照明不変の特性を有するということが分かる。
【００７９】
図１１は、様々な照明条件下で皮膚色データが収集される一例を示す図面である。図１１には、映像が取得された位置と、取得された映像とが各々示されている。図１１を参照すれば、同じ事務室の場合であっても、映像が取得される位置に応じて相異なる輝度を有する。この場合、本発明に使われるカラーモデリングを行うために、様々な位置で映像を取得して実験を行った。
【００８０】
図１２は、図１１で収集された皮膚色データの一例を示す図面である。図１２を参照すれば、図１１に示された位置で取得された皮膚色データは、図１２のグラフの通りである。
【００８１】
図１３は、図１１で収集された映像の全体照明の変化を分析した結果を示す図面である。図１３を参照すれば、図１１のように収集された映像の全体照明の変化をＨＳＩヒストグラムにて表わせる。
【００８２】
例えば、取得されたビデオ映像で人の顔を追跡しようとする場合、図１１ないし図１３に示された方法により収集されて分析されたデータに基づき客体（人の顔）を追跡することができ、その追跡の結果は、下記の通りである。
【００８３】
図１４は、図１１ないし図１３に示された方法により取得された情報に基づき複数の顔を追跡した結果を示す図面であり、図１５は、本発明に係る映像編集装置により特定の顔をモザイク処理した結果を示す図面である。
【００８４】
図１４及び図１５を参照すれば、本発明に係る客体追跡方法によれば、様々な照明の変化にも拘わらず、一つまたは複数の特定客体に対する追跡が正確に行え、追跡された客体に対する編集（例えば、モザイク処理等）も正確に行えることが分かる。
【００８５】
以上、本発明の実施の形態としてビデオデータに対する自動客体追跡及びこれを用いた編集について具体的に例示したが、その他にも放送用撮影装置を始めとして家庭用撮影装置に至るまであらゆる映像装置のための映像編集に適用でき、セキュリティシステム、画像チャット、通信等にも本発明を適用することができる。
【００８６】
本発明はまた、コンピュータにて読取り可能な記録・伝送媒体によって流通する、コンピュータにて読取り可能なコード（プログラム）として具現可能である。コンピュータにて読取り可能な記録媒体はコンピュータシステムにより読み込まれるデータが貯蔵されるあらゆる種類の記録装置を備える。コンピュータにて読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ貯蔵装置などがあり、またキャリアウェーブ（例えば、インターネットを介して伝送）の形にて具現されるものも含む。また、コンピュータにて読取り可能な記録媒体はネットワークに接続されたコンピュータシステムに分散されて、分散方式によりコンピュータにて読取り可能なコードとして貯蔵されて実行できる。
【００８７】
【発明の効果】
以上述べたように、本発明に係る照明不変の客体追跡方法及びこれを用いた映像編集装置によれば、リアルタイムまたは録画撮影中に映像編集処理が必要とされる領域が照明の変化が大きい環境下で撮影される場合、照明の変化に関係なく所望の領域を信頼性良く追跡及び編集することができる。よって、客体の追跡及び編集に際して高い正確性を有することができる。
【図面の簡単な説明】
【図１】本発明の望ましい実施の形態による照明不変の客体追跡方法及びこれを用いた映像編集方法を説明するフローチャートである。
【図２】（ａ）ないし（ｃ）は、隣接したピクセルの輝度比の変化を示す図面である。
【図３】図１に示された客体の初期位置指定方法を説明するフローチャートである。
【図４】図３に示された逆投射方法を説明するフローチャートである。
【図５】図１に示された追跡客体に関するカラー情報モデリング方法を説明するフローチャートである。
【図６】（ａ）及び（ｂ）は、照明の変化による皮膚色、彩度の変化を各々示す図面である。
【図７】図１に示された全映像に関するカラー情報モデリング方法を説明するフローチャートである。
【図８】本発明の望ましい実施の形態による映像編集装置のブロック図である。
【図９】（ａ）ないし（ｃ）は、様々な照明条件下にある合成モンドリアン映像を示す図面である。
【図１０】（ａ）ないし（ｃ）は、様々な照明条件下で取得された実際映像の例を示す図面である。
【図１１】様々な照明条件下で皮膚色データが収集される一例を示す図面である。
【図１２】図１１で収集された皮膚色データの一例を示す図面である。
【図１３】図１１で収集された映像の全体照明の変化を分析した結果を示す図面である。
【図１４】図１１ないし図１３に示された方法により取得された情報に基づき複数の顔を追跡した結果を示す図面である。
【図１５】本発明に係る映像編集装置により特定顔をモザイク処理した結果を示す図面である。＜符号の説明＞
１０ データ入力ユニット
１１ ビデオカメラ
１２ Ａ／Ｄコンバーター
２０ 客体追跡ユニット
２１ 初期位置指定部
２２ カラーモデリング部
２４ 確率マップ構成部
２５ ＭＵＸ
２６ 客体追跡部
３０ 映像編集ユニット
３１ 境界線抽出部
３２ 映像編集部
３３ Ｄ／Ａコンバーター
１００ 映像編集装置

Claims (16)

1. 映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、
   前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、
   前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、
   前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡する客体追跡部とを備え、
   前記初期位置指定部は、
   ユーザが指定した所定の位置を前記客体の初期位置として受け入れる第１の初期位置指定部と、
   前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵する客体データベースと、
   ユーザが指定した客体の目録に対応するカラーモデリングデータを前記客体データベースから読み出し、読み出された前記カラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定する第２の初期位置指定部と、
   前記カラーモデリング部は、
   前記客体に関するカラー情報をモデリングする第１のカラーモデリング部と、
   前記全映像に関するカラー情報をモデリングする第２のカラーモデリング部と、
   前記映像の照明に関する変化を考慮して前記客体に関するカラー情報を適応的にモデリングする第３のカラーモデリング部とを備えることを特徴とする客体追跡装置。
2. 前記第１のカラーモデリング部は、前記客体の色相構成を分析し、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の３次元ヒストグラムを構成し、
   前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する２次元ガウスモデリングを行い、客体のカラー確率を定義し、前記客体のカラーヒストグラムを構成することを特徴とする請求項１に記載の客体追跡装置。
3. 前記第１のカラーモデリング部は、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Ｓは（ｉ，ｊ）組みの総数、ｕRは前記（ｉ，ｊ）組みに対する赤色（Ｒ）値の平均値、ｕGは前記（ｉ，ｊ）組みに対する緑色（Ｇ）値の平均値、ｕBは前記（ｉ，ｊ）組みに対する青色（Ｂ）値の平均値を各々意味する時、
   

   

   を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項２に記載の客体追跡装置。
4. 前記第３のカラーモデリング部は、前記全映像に対するカラー変化を測定し、前記測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、前記全映像に対するカラー分布をヒストグラムとして構成することを特徴とする請求項１に記載の客体追跡装置。
5. 前記第３のカラーモデリング部は、ｎが現フレームの映像を意味し、ｍが以前のフレームの映像を意味し、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
   

   

   を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項４に記載の客体追跡装置。
6. 前記確率マップ構成部で構成される前記確率マップは、前記客体のカラーモデリング結果が
   

   

   であり、前記全映像のカラーモデリング結果が
   

   

   である時、
   

   

   であることを特徴とする請求項１に記載の客体追跡装置。
7. 前記客体追跡部は、
   前記客体の以前の位置を貯蔵するメモリと、
   前記初期の位置及び前記確率マップに基づき連続した映像のうち対象客体の現在の位置及び大きさを追跡するカルマンフィルタと、
   前記客体の前記以前の位置及び前記現在の位置に基づき前記カルマンフィルタの共分散行列を更新する速度予測部とを備えることを特徴とする請求項１に記載の客体追跡装置。
8. 編集しようとする映像を受け入れるデータ入力手段と、
   前記映像で隣接ピクセルの輝度比を考慮して前記客体を追跡する客体追跡手段と、
   前記追跡された客体の位置、大きさ及び境界線情報に応答して所定の領域に属する映像を変換して出力する映像編集手段とを備え、
   前記客体追跡手段は、
   映像で追跡しようとする客体の初期位置を指定する初期位置指定部と、
   前記客体及び前記全映像の隣接したピクセルのカラー比を考慮したカラーモデリングを行うカラーモデリング部と、
   前記カラーモデリング結果に応答して、前記客体の追跡のための確率マップを構成する確率マップ構成部と、
   前記初期位置及び前記確率マップに応答して前記客体の現位置を追跡するカルマンフィルターとを備え、
   前記客体追跡手段は、前記客体の目録及び前記客体に対応するカラーモデリングデータを貯蔵するデータ貯蔵部を備え、
   前記カラーモデリング部は、
   前記客体に関するカラー情報をモデリングする第１のカラーモデリング部と、
   前記全映像に関するカラー情報をモデリングする第２のカラーモデリング部と、
   前記全映像に対するカラー変化を測定し、前記測定の結果、前記映像がカラー照明下で取得されたと判別された場合、前記映像の以前のフレームで追跡された客体の領域に対するカラーモデリングを再び行い、前記全映像に対するカラー分布をヒストグラムとして構成する第３のカラーモデリング部とを備えることを特徴とする映像編集装置。
9. 前記初期位置指定部は、ユーザが指定した所定の位置を前記客体の初期位置として受け入れることを特徴とする請求項８に記載の映像編集装置。
10. 前記初期位置指定部は、ユーザが指定した客体目録に対応するカラーモデリングデータを前記データ貯蔵部から読み出し、読み出された前記カラーモデリングデータを逆投射して前記客体の初期位置を自動的に指定することを特徴とする請求項８に記載の映像編集装置。
11. 前記第１のカラーモデリング部は、前記客体の色相構成を分析し、前記客体が複数の色相より構成された場合、前記映像のカラーを構成する赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各チャンネルに対し、隣接したピクセルの輝度比を軸とする前記客体の３次元ヒストグラムを構成し、
    前記客体が単一色相より構成された場合、前記映像の色相、彩度に対する２次元ガウスモデリングを行い、客体のカラー確率を定義し、前記客体のカラーヒストグラムを構成することを特徴とする請求項８に記載の映像編集装置。
12. 前記第２のカラーモデリング部は、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、緑色、青色データを各々意味し、Ｓは（ｉ，ｊ）組みの総数、ｕRは前記（ｉ，ｊ）組みに対する赤色（Ｒ）値の平均値、ｕGは前記（ｉ，ｊ）組みに対する緑色（Ｇ）値の平均値、ｕBは前記（ｉ，ｊ）組みに対する青色（Ｂ）値の平均値を各々意味する時、
    

    

    を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記客体が単一色相より構成されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像が複数の色相より構成されたと判別することを特徴とする請求項８に記載の映像編集装置。
13. 前記第３のカラーモデリング部は、ｎが現フレームの映像を意味し、ｍが以前のフレームの映像を意味し、Ｒ，Ｇ，Ｂが前記映像のカラーを構成する赤色、緑色、青色データを各々意味する時、
    

    

    を計算し、前記計算結果が所定のスレショルド値より小さい場合に前記映像が白色照明下で取得されたと判別し、前記計算された値が所定のスレショルド値より大きいか同じ場合に前記映像がカラー照明下で取得されたと判別することを特徴とする請求項８に記載の映像編集装置。
14. 前記確率マップ構成部で構成される前記確率マップは、前記客体のカラーモデリング結果が
    

    

    であり、前記全映像のカラーモデリング結果が
    

    

    である時
    

    

    であることを特徴とする請求項８に記載の映像編集装置。
15. 前記映像編集手段は、前記追跡手段を通じて追跡された前記客体の境界線情報を抽出する境界線抽出部と、
    前記抽出された境界線情報と、前記客体の位置及び大きさ情報を受け入れて前記客体に対して少なくとも一つ以上の映像フィルタリングを行う映像編集部とを備えることを特徴とする請求項８に記載の映像編集装置。
16. 前記映像編集部は、モザイクフィルター、ブラリングフィルター及び反転フィルターのうち少なくとも何れか一つのフィルターを備えることを特徴とする請求項１５に記載の映像編集装置。

Images