JP2003203240A - 照明不変の客体追跡方法及びこれを用いた映像編集装置 - Google Patents
照明不変の客体追跡方法及びこれを用いた映像編集装置Info
- Publication number
- JP2003203240A JP2003203240A JP2002321741A JP2002321741A JP2003203240A JP 2003203240 A JP2003203240 A JP 2003203240A JP 2002321741 A JP2002321741 A JP 2002321741A JP 2002321741 A JP2002321741 A JP 2002321741A JP 2003203240 A JP2003203240 A JP 2003203240A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- modeling
- unit
- initial position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
像編集装置を提供する。 【解決手段】 (a)映像で追跡しようとする客体の初
期位置を指定する段階と、(b)前記映像の隣接したピ
クセルのカラー比を考慮したカラーモデリングを行う段
階と、(c)前記カラーモデリングの結果に応答して客
体追跡のための確率マップを生成する段階と、(d)前
記初期の位置及び前記確率マップに基づき前記客体の現
在の位置を追跡する段階とを含むことを特徴とする客体
追跡方法、及び映像で追跡しようとする客体の初期位置
を指定する初期位置指定部と、前記客体及び前記全映像
の隣接したピクセルのカラー比を考慮したカラーモデリ
ングを行うカラーモデリング部と、前記カラーモデリン
グ結果に応答して、前記客体の追跡のための確率マップ
を構成する確率マップ構成部と、前記初期位置及び前記
確率マップに応答して前記客体の現位置を追跡する客体
追跡部とを備える前記追跡方法を用いた映像編集装置
。
Description
り、特に、照明不変の客体追跡方法及びこれを用いたビ
デオ映像編集装置に関する。
マルチメディア的な要素が使われている。このために、
デジタルカメラ、画像通信用カメラなどのように、カメ
ラを通じて取得されたビデオ画面を処理するための装置
及びソフトウェアが出始めつつある。
集するビデオ映像編集システムは、画面で特定人物の顔
や製品をモザイク処理する等、様々な映像編集機能を行
う。このうち、モザイク機能は、全体画面や固定位置に
対して行われることもあれば、本出願人により取得され
た大韓民国特許公報に記載の「リアルタイム映像モザイ
クシステム」(特許文献1参照)のように、映像の動き
に従いモザイク機能をリアルタイムにて行うこともあ
る。
ほとんど輝度が一様でない所で獲得される。特に、野外
撮影の場合、次から次へと変化する自然光の輝度または
スペクトルの変化によって撮影された映像の輝度または
カラーが一様にならない。従って、この場合、輝度また
はカラーの変化を考慮しないままモザイク処理を施せ
ば、輝度の変化によって相異なる値を有する映像のピク
セル値の変化によりモザイク処理が不正確に行われるこ
とがある。このような問題を解決するために、最近、客
体の形状情報に基づく追跡アルゴリズムを用いて該当客
体をモザイク処理する方法が提案されている。しかし、
この方法は、複雑度が高くて高性能の演算装置及びメモ
リを必要とし、リアルタイム処理が困難であるといった
問題をもっている。
98号明細書
する技術的課題は、照明変化に関係なく映像の所望の領
域を信頼性良く追跡し、これをリアルタイムにて編集で
きる映像編集装置を提供するところにある。
に、本発明に係る照明不変の客体追跡方法は、(a)映
像で追跡しようとする客体の初期位置を指定する段階
と、(b)前記映像の隣接したピクセルのカラー比を考
慮したカラーモデリングを行う段階と、(c)前記カラ
ーモデリングの結果に応答して客体追跡のための確率マ
ップを生成する段階と、(d)前記初期の位置及び前記
確率マップに基づき前記客体の現在の位置を追跡する段
階とを含むことを特徴とする。
照明不変の追跡技術を用いた映像編集方法は、(a)編
集しようとする映像を受け入れる段階と、(b)前記映
像で隣接ピクセルのカラー比を考慮して前記客体を追跡
する段階と、(c)前記追跡された客体の位置、大きさ
及び境界線情報に応答して所定の領域に属する映像を変
換して出力する映像編集段階とを含むことを特徴とす
る。
としてコンピュータを機能させるためのプログラムの形
態で提供可能である。また、当該プログラムは、コンピ
ュータで読取り可能な記録媒体で流通させることができ
ると共に、電気通信媒体を通じて送信することも可能で
ある。
照明不変の客体追跡装置は、映像で追跡しようとする客
体の初期位置を指定する初期位置指定部と、前記客体及
び前記全映像の隣接したピクセルのカラー比を考慮した
カラーモデリングを行うカラーモデリング部と、前記カ
ラーモデリング結果に応答して、前記客体の追跡のため
の確率マップを構成する確率マップ構成部と、前記初期
位置及び前記確率マップに応答して前記客体の現位置を
追跡する客体追跡部とを備えることを特徴とする。
照明不変の追跡技術を用いた映像編集装置は、編集しよ
うとする映像を受け入れるデータ入力手段と、前記映像
で隣接ピクセルのカラー比を考慮して前記客体を追跡す
る客体追跡手段と、前記追跡された客体の位置、大きさ
及び境界線情報に応答して所定の領域に属する映像を変
換して出力する映像編集手段とを備えることを特徴とす
る。
発明の望ましい実施の形態について詳細に説明する。
る照明不変の客体追跡方法及びこれを用いた映像編集方
法を説明するフローチャートである。図1を参照すれ
ば、先ず、本発明に係る映像編集方法は、映像信号が入
力されれば(第100段階)、映像の隣接ピクセルのカ
ラー比を用いた客体追跡(第200段階)を行った後、
追跡された客体を編集して(第300段階)ディスプレ
ーする(第400段階)。
でない所で獲得される場合がほとんどであるため、映像
の輝度が一様でない場合が頻繁に起こる。これは、編集
しようとする客体の追跡に誤りを生じるため、本発明で
は、前記のように輝度の変化に影響されないように映像
の隣接ピクセルのカラー比を用いた客体追跡を行う。
探そうとする多くの研究があった。そのうち、ブレイン
・V.フント(Brain V. Funt),グラハム・D.フィ
ンレイソン(Graham D. Finlayson)共著,「カラーコ
ンスタント、カラーインデクシング(Color Constant C
olor Indexing)」,アイトリプリー・トランザクショ
ンズ・オン・パターン・アナリシス・アンド・マシン・
インテリジェンス(IEEE Transactions on Pattern Ana
lysis and Machine Intelligence)(アメリカ合衆国,
インスティチュート・オブ・エレクトリカル・アンド・
エレクトロニクス・エンジニアーズ・インコーポレイテ
ッド(Institute of Electrical and Electronics Engi
neers, Inc.),1995年)には、隣接したピクセル
のカラー比が空間的に一様でない照明にも変化しないと
いうことが開示されている。この論文では、照明が全体
的にまたは空間的に変わるとしても、直ぐ隣りに隣接し
たピクセルの輝度はピクセルが属する表面の反射特徴に
のみ依存するため、隣接したピクセルのカラー比が照明
の変化に影響されないということを示している。
クセルの輝度比の変化を示す図面である。図2を参照す
れば、(a)に示された映像のA及びB地点をつなぐ経
路に位置した隣接ピクセルは、(b)に示された如き輝
度値を有する。この輝度値は、照明が変化する場合、照
明の変化に応じてその値が敏感に変わる。しかし、前記
ブレイン・V.フント,グラハム・D.フィンレイソン
共著論文によれば、前記映像の隣接ピクセル間の輝度ま
たはカラー比は照明が変化しても、(c)に示されたよ
うに照明の変化に影響されず、映像がもっている特性を
そのまま維持するということが分かる。
記のように照明不変の客体追跡を行う。図1を参照すれ
ば、本発明に係る客体追跡方法は、まず、編集しようと
する映像区間及び追跡しようとする客体の初期位置を指
定する(第210段階)。次に、追跡しようとする客体
に関するカラー情報をモデリングし(第220段階)、
全映像に関するカラー情報をモデリングする(第225
段階)。そして、第220段階及び第225段階で行わ
れたカラー情報のモデリング結果及び第210段階で指
定された位置情報を考慮して確率マップを構成し(第2
40段階)、構成された確率マップに基づきカルマンフ
ィルタリングを行う(第260段階)。後述するよう
に、カルマンフィルターは客体の動作を予測するフィル
ターであって、動きがある客体の追跡に主として使われ
る。本発明に係る客体追跡方法の各段階別動作の詳細
は、次の通りである。
定方法(第210段階)を説明するフローチャートであ
る。図3を参照すれば、まず、客体の初期位置が自動的
に指定されるか、あるいはマニュアルで指定されるかを
判別する(第2100段階)。判別の結果、客体の初期
位置がマニュアルで指定される場合、ユーザはマウスで
客体を含む境界ボックスを映像に指定することにより、
追跡客体の位置をマニュアルで指定する(第2110段
階)。そして、第2100段階における判別の結果、客
体の初期位置が自動的に指定される場合、ユーザが所定
のデータ貯蔵領域に予め生成しておいた客体データベー
ス目録のうち編集しようとする客体の目録を指定すれ
ば、前記データベースから該当客体のカラーヒストグラ
ムを読み出し(第2120段階)、読み出されたヒスト
グラムを逆投射することにより客体の初期位置を自動的
に指定する(第2130段階)。
ラムの逆投射アルゴリズムは、映像で客体を検出するの
に邪魔となるカラーの影響、すなわち、客体以外の領域
で現れたカラーの影響を減らし、対象客体のカラーが最
も強く現れる位置を捜し出すのに使われる。これに対す
る具体的な方法は下記の通りである。
130段階)を説明するフローチャートである。図4を
参照すれば、カラーヒストグラムの逆投射方法は、Dr
を半径がrであるディスクであるとした時、まず、各ヒ
ストグラムビンjに対して を計算する(第2131段階)。ここで、Mjはヒスト
グラムビンjに対して以前のモデルのカラーヒストグラ
ムを表わし、Ijはヒストグラムビンjに対して現映像
のカラーヒストグラムを表わす。Rj値は、Mj値でIj
値を割った値及び1のうち小さい方の値として定義され
る。
当するRを計算する(第2132段階)。これは b_x,
y = R_h (C(x, y)) として表わされる。第2132段
階で計算されたb値はディスクDrとコンボルーション
される(第2133段階)。これは、 b = Dr * bとし
て表わされ、この時、Drの値は の値を有する。コンボルーションが行われれば、コンボ
ルーション結果bが最大となる座標を探してこれを客体
の初期位置として決める(第2134段階)。この時に
決められる初期位置は として表わされる。
ラー情報モデリング方法(第220段階)を説明すれ
ば、下記の通りである。
カラー情報モデリング方法(第220段階)を説明する
フローチャートである。図5を参照すれば、まず、追跡
客体の色相構成を分析し(第2211段階)、分析結果
に基づき客体の色相が単色より構成されたか、それとも
多色より構成されたかを判別する(第2212段階)。
ある。
り、uRは(i,j)組みに対する赤色(R)値の平均
値を、uGは(i,j)組みに対する緑色(G)値の平
均値を、uBは(i,j)組みに対する青色(B)値の
平均値を各々表わす。そして、Thはスレショルド値で
あって、前式1の左辺値が右辺のスレショルド値より小
さければ単色客体として判別し、それ以上であれば多色
客体として判別する。
判別されれば、前記客体のカラー情報はR、G、Bの各
チャンネルに対して隣接したピクセルの輝度比を軸とす
る3次元ヒストグラム として貯蔵される(第2213段階)。このようにして
構成されたカラー比のヒストグラム を客体追跡に用いれば、照明の変化に影響されずに客体
を追跡することができる。
色より構成された場合には、カラー比が客体の主な特徴
を表現できなくなる。従って、前記の如きカラー比のヒ
ストグラム は単色より構成された客体の検出及び追跡に有効でな
い。従って、本発明では、単色客体に対しては映像の輝
度による色相(Hue)、彩度(Saturatio
n)の2次元ガウスモデリングを通じて照明不変の客体
のカラーをモデリングして全客体のカラー確率を定義し
(第2214段階)、定義された客体のカラー確率に基
づき客体のカラーヒストグラムを構成する(第2215
段階)。これに関する詳細は、下記の通りである。
よる皮膚色及び彩度の変化を各々示す図面である。ここ
で、皮膚は単一色相より構成された客体の一例を示す。
図6の(a)及び(b)を参照すれば、HSIカラー空
間で皮膚の色相は周辺の輝度とは独立的であり、彩度は
輝度に対して線形的に低まる特性を有するということが
分かる。このような特性は、皮膚のほかに一般的なカラ
ーにも適用可能である。従って、前記特性に基づき、下
記式2のように客体、例えば、皮膚のカラー確率を定義
することができる。
は映像の平均輝度を各々表わす。このような客体のカラ
ー確率が定義されれば、本発明では、これをヒストグラ
ム の軸としてカラーヒストグラムを構成する。
跡するためには、前述の如き客体に関するカラー分布情
報のほかにも、全映像のカラー分布情報も必要である。
全映像のカラー分布情報をモデリングする方法は、下記
の通りである。
ラー情報モデリング方法(第225段階)を説明するフ
ローチャートである。図7を参照すれば、まず、全映像
のカラー変化を測定し(第2221段階)、測定の結果
に基づき照明が白色照明であるか、それともカラー照明
であるかを判別する(第2222段階)。
ある。
式3の左辺の値が右辺のスレショルド値より小さければ
白色照明として判別し、左辺の値が右辺のスレショルド
値より大きいか同じであればカラー照明として判別す
る。この時、nは現フレームの映像を、mは以前のフレ
ームの映像を各々意味する。
がカラー照明として判別されれば、直前のフレームで探
した客体の領域からカラー分布を新しく抽出してカラー
情報を再びモデリングし、全映像に対するカラー分布を
ヒストグラムとして構成する適応的カラーモデリングを
行う(第2230段階)。この時に使われるカラーモデ
リング方法は、図5でのそれと同一である。そして、照
明が白色照明として判別されれば、カラー情報の再モデ
リング過程を経ず、図5において構成された客体ヒスト
グラムの軸と同じ軸に対して映像の全体カラー分布をヒ
ストグラム として構成する(第2223段階)。
果、全映像の輝度が変わったり映像の一部の輝度が異な
る白色照明が照らされたりする場合には以前に行われた
カラー情報モデリングの結果(すなわち、図1の第22
0段階)がそのまま使われ、波長別に強度が異なるカラ
ー照明が照らされる場合には第2230段階の如きカラ
ー情報が適応的にモデリングされる。
は、第210段階で指定された位置情報と、第220段
階及び第225段階を経てモデリングされたカラー情報
を考慮して確率マップを構成する。この時に構成される
確率マップは、下記式4及び5の通りである。
成された確率マップによりカルマンフィルタリングを行
い、客体を追跡する。
連続した映像で対象客体の位置及び大きさを追跡し続け
る。
(i,j)は共分散行列を意味する。客体の中心座標及
び共分散行列C(i,j)を構成する各々のパラメータ
は、 の値を有する。
階では、現在計算された客体の位置及び所定のデータ領
域に貯蔵されている以前のデータの両方に基づき現在動
いている客体の速度を予測し、下記式7の如き共分散行
列を更新することにより、客体の急な動きや停止を信頼
性良く追跡する。
の客体が追跡されれば、追跡された客体にはモザイク処
理などの編集機能が行われた後(第300段階)、ディ
スプレーされる(第400段階)。
る映像編集装置100のブロック図である。図8を参照
すれば、本発明に係る映像編集装置100は、編集しよ
うとする映像を受け入れるデータ入力ユニット10、前
記映像で隣接ピクセルのカラー比を考慮して客体を追跡
する客体追跡ユニット20、及び追跡された客体の位
置、大きさ及び境界線情報に応答して所定の領域に属す
る映像を変換して出力する映像編集ユニット30を備え
る。
信号を受け入れるビデオカメラ11と、取得されたアナ
ログ映像信号を連続的なデジタル映像信号に変換するA
/Dコンバーター12とを備える。
うとする客体の初期位置を指定する初期位置指定部2
1、客体及び全映像の隣接したピクセルのカラー比を考
慮したカラーモデリングを行うカラーモデリング部2
2、カラーモデリング結果に基づき客体追跡のための確
率マップを構成する確率マップ構成部24、確率マップ
構成部24の入力を選択するMUX 25、前記初期位
置及び前記確率マップに応答して客体の現位置を追跡す
る客体追跡部26を備える。
所定の位置を前記客体の初期位置として受け入れる第1
の初期位置指定部211、前記客体の目録及び前記客体
に対応するカラーモデリングデータを貯蔵する客体デー
タベース212、及びユーザが指定した客体の目録に対
応するカラーモデリングデータを客体データベース21
2から読み出し、読み出されたカラーモデリングデータ
を逆投射して前記客体の初期位置を自動的に指定する第
2の初期位置指定部213を備える。第1の初期位置指
定部211は、前述した初期位置のマニュアル指定機能
を行い、第2の初期位置指定部213は、初期位置の自
動指定機能を行う。
するカラー情報をモデリングする第1のカラーモデリン
グ部221、全映像に関するカラー情報をモデリングす
る第2のカラーモデリング部222、及び映像の照明に
関する変化を考慮して前記客体に関するカラー情報を適
応的にモデリングする第3のカラーモデリング部223
を備える。
または第2の初期位置指定部211または213を通じ
て編集しようとする客体の初期位置がマニュアルまたは
自動的に指定されれば、前記客体の初期領域からカラー
情報を抽出し、客体を追跡するのにこれを使用する。第
1のカラーモデリング部221は、該当客体が単色より
構成されるか、それとも多色より構成されるかを判別
し、該当客体が多色より構成された場合には前記客体の
情報をR,G,Bの各チャンネルに対して隣接したピク
セルのカラー比を軸とする3次元ヒストグラム として貯蔵する。このようなカラー比のヒストグラム を使用すれば、照明の変化に影響されずにカラー情報に
基づき客体を認識することができる。
り構成された客体である場合にはカラー比が客体の主な
特徴を表現できないため、客体を検出、追跡する上で有
効でない。従って、本発明では、単色より構成された客
体に対しては映像の輝度による色相、彩度の2次元ガウ
スモデリングを通じて照明に強く客体のカラーをモデリ
ングする。
が高精度でないか、それとも回転が激しい場合には、形
状情報よりカラー情報を用いた方が時間及び正確度の面
で多くの利点を有する。しかし、放送用として製作され
たビデオ信号は室内外の激しい照明の変化を含むため、
一般的なR,G,Bのカラー空間で対象客体のカラーが
激しく変化し、これは、客体の追跡、検出を困難にす
る。従って、本発明では、このように激しい照明の変化
にも強く客体を追跡するために、カラー情報の抽出にお
いて、第1のカラーモデリング部221及び第3のカラ
ーモデリング部223で行われた客体のカラーモデリン
グ結果を同時に使用する。
23は、全映像に対するカラー変化を測定し、測定の結
果、映像がカラー照明下で取得されたと判別された場
合、前記映像の以前のフレームで追跡された客体の領域
に対するカラーモデリングを再び行い、全映像に対する
カラー分布をヒストグラムとして構成する。そして、測
定の結果、映像が白色照明下で取得されたと判別された
場合、第1のカラーモデリング部221で行われた客体
のカラーモデリング結果をそのまま使用する。
跡するためには、前述の如き客体に関するカラー分布情
報のほかにも、全映像のカラー分布情報も必要である。
このために、第2のカラーモデリング部222は、現映
像の全体カラー分布を客体ヒストグラムの軸と同じ軸に
対するヒストグラム として構成する。
デリング部222で行われたカラーモデリング結果を受
け入れ、選択された客体の位置と、第1または第3のカ
ラーモデリング部221または223で行われたカラー
モデリング結果をMUX 25を通じて受け入れる。こ
の時に生成される確率マップは、前式4及び5の通りで
ある。
カラーモデリング部221で生成された照明不変のカラ
ーヒストグラムを貯蔵するが、物体の色相構成に応じて
カラー比のヒストグラムや照明によるガウスヒストグラ
ムとして貯蔵する。客体データベース212に貯蔵され
た客体のカラー分布情報は、ユーザが関心客体を目録で
指定すれば、第2の初期位置指定部213で客体の初期
位置を自動的に検出するのに使われる。
測部262及びカルマンフィルター263を備え、客体
の現位置を追跡する。
構成部24で生成された客体の確率マップCOLOR_
MODEL及び客体の初期位置OBJ_POSITIO
Nを受け入れ、前式6に基づき連続的な映像で関心客体
の位置及び大きさを追跡し続ける。速度予測部262
は、メモリ261を用いて以前の客体の位置を貯蔵して
おき、現在計算された客体の位置及び以前のデータの両
方に基づき現在動いている客体の速度を予測する。そし
て、前式7のようにカルマンフィルター263の共分散
行列を更新することにより、客体の急な動きや停止を信
頼性良く追跡する。
の客体が追跡されれば、追跡された客体は映像編集ユニ
ット30を通じてモザイク処理などの簡単な編集機能が
自動的に行われる。映像編集ユニット30は、さらに様
々な編集機能を与えるために、映像編集を行う映像編集
部32、及び編集されたビデオ信号をアナログ信号に変
換して出力するD/Aコンバーター33に加えて、境界
線抽出部31をさらに備える。境界線抽出部31は、映
像編集部32に接続されて追跡中の客体の境界線情報を
与える。境界線抽出方法は、量子化したカラー映像及び
モーション差映像の両方を用いて客体領域を2進化した
映像として定義し、境界追跡アルゴリズムを適用して境
界線を抽出する。
予め貯蔵しておいた編集機能リスト(図示せず)が備え
られており、ユーザが特定の機能を選択すれば、その選
択結果に応じて編集アルゴリズムが動作し、編集された
結果がD/Aコンバーター33を通じてアナログの形に
変換される。映像編集部32で行う編集アルゴリズム
は、デジタル映像の各々の一枚に対し、関心客体の位置
と大きさまたは境界線情報(または輪郭線情報)に基づ
き特定領域に特定の色を塗ったり、または特定フィルタ
ーを通過させて映像を変換する過程を含む。編集に使用
可能なフィルターとしてモザイクフィルター、ブラリン
グフィルター、反転フィルターなどがある。
を実際の映像に適用した場合、その結果は下記の通りで
ある。
ドリアン映像を示す図面であり、図10は、様々な照明
条件下で取得された実際の映像の例を示す図面である。
は、空間的に一定であり、且つ、スペクトル的にも一定
である照明下における合成モンドリアン映像を示し、図
9の(b)は、空間的には一定であるものの、スペクト
ル的には一定ではない照明下における合成モンドリアン
映像を示す。そして、図9の(c)は、空間的にも一定
ではなく、且つ、スペクトル的にも一定ではない照明下
における合成モンドリアン映像を示す。
(c)の各々に対するR,G,B空間、オッポネントカ
ラー空間、正規化したR,G空間、HSI空間、及びカ
ラー比空間の比較結果は、下記表1ないし3の通りであ
る。
ー比空間を基準とする時、合成モンドリアン映像は照明
の変化に関係なく全てのカラー空間に対して高い平均白
分率のマッチング結果を示すということが分かる。これ
により、本発明に係る客体追跡方法は、照明不変の特性
を有するということが分かる。
(a)はある映像に対する他の映像の角度が捩じれて見
えるスウェインモデル映像の場合を示し、図10の
(b)は、類似の照明下で取得された2枚の映像を示
す。そして、図10の(c)は、顕著に異なる照明下で
取得された2枚の映像を示す。
(c)の各々に対するR,G,B空間、オッポネントカ
ラー空間、正規化したR,G空間、HSI空間、及びカ
ラー比空間の比較結果は、下記表4ないし表6の通りで
ある。
じれているスウェインモデル映像の場合にも、カラー比
空間を基準とする時、全てのカラー空間に対して高い平
均白分率のマッチング結果を示すということが分かる。
のみならず、表5及び表6から明らかなように、カラー
比空間を基準とする時、相異なる条件下にある映像は、
照明が類似に変化しようが、または照明が大いに変化し
ようが、照明の変化に関係なく全てのカラー空間に対し
て高い平均白分率のマッチング結果を示すということが
分かる。これにより、本発明に係る客体追跡方法は、照
明不変の特性を有するということが分かる。
タが収集される一例を示す図面である。図11には、映
像が取得された位置と、取得された映像とが各々示され
ている。図11を参照すれば、同じ事務室の場合であっ
ても、映像が取得される位置に応じて相異なる輝度を有
する。この場合、本発明に使われるカラーモデリングを
行うために、様々な位置で映像を取得して実験を行っ
た。
タの一例を示す図面である。図12を参照すれば、図1
1に示された位置で取得された皮膚色データは、図12
のグラフの通りである。
照明の変化を分析した結果を示す図面である。図13を
参照すれば、図11のように収集された映像の全体照明
の変化をHSIヒストグラムにて表わせる。
追跡しようとする場合、図11ないし図13に示された
方法により収集されて分析されたデータに基づき客体
(人の顔)を追跡することができ、その追跡の結果は、
下記の通りである。
方法により取得された情報に基づき複数の顔を追跡した
結果を示す図面であり、図15は、本発明に係る映像編
集装置により特定の顔をモザイク処理した結果を示す図
面である。
係る客体追跡方法によれば、様々な照明の変化にも拘わ
らず、一つまたは複数の特定客体に対する追跡が正確に
行え、追跡された客体に対する編集(例えば、モザイク
処理等)も正確に行えることが分かる。
ータに対する自動客体追跡及びこれを用いた編集につい
て具体的に例示したが、その他にも放送用撮影装置を始
めとして家庭用撮影装置に至るまであらゆる映像装置の
ための映像編集に適用でき、セキュリティシステム、画
像チャット、通信等にも本発明を適用することができ
る。
能な記録・伝送媒体によって流通する、コンピュータに
て読取り可能なコード(プログラム)として具現可能で
ある。コンピュータにて読取り可能な記録媒体はコンピ
ュータシステムにより読み込まれるデータが貯蔵される
あらゆる種類の記録装置を備える。コンピュータにて読
取り可能な記録媒体の例としては、ROM、RAM、C
D−ROM、磁気テープ、フロッピー(登録商標)ディ
スク、光データ貯蔵装置などがあり、またキャリアウェ
ーブ(例えば、インターネットを介して伝送)の形にて
具現されるものも含む。また、コンピュータにて読取り
可能な記録媒体はネットワークに接続されたコンピュー
タシステムに分散されて、分散方式によりコンピュータ
にて読取り可能なコードとして貯蔵されて実行できる。
変の客体追跡方法及びこれを用いた映像編集装置によれ
ば、リアルタイムまたは録画撮影中に映像編集処理が必
要とされる領域が照明の変化が大きい環境下で撮影され
る場合、照明の変化に関係なく所望の領域を信頼性良く
追跡及び編集することができる。よって、客体の追跡及
び編集に際して高い正確性を有することができる。
客体追跡方法及びこれを用いた映像編集方法を説明する
フローチャートである。
度比の変化を示す図面である。
するフローチャートである。
ャートである。
デリング方法を説明するフローチャートである。
色、彩度の変化を各々示す図面である。
リング方法を説明するフローチャートである。
置のブロック図である。
る合成モンドリアン映像を示す図面である。
取得された実際映像の例を示す図面である。
る一例を示す図面である。
す図面である。
分析した結果を示す図面である。
得された情報に基づき複数の顔を追跡した結果を示す図
面である。
ザイク処理した結果を示す図面である。 <符号の説明> 10 データ入力ユニット 11 ビデオカメラ 12 A/Dコンバーター 20 客体追跡ユニット 21 初期位置指定部 22 カラーモデリング部 24 確率マップ構成部 25 MUX 26 客体追跡部 30 映像編集ユニット 31 境界線抽出部 32 映像編集部 33 D/Aコンバーター 100 映像編集装置
Claims (46)
- 【請求項1】 (a)映像で追跡しようとする客体の初
期位置を指定する段階と、 (b)前記映像の隣接したピクセルのカラー比を考慮し
たカラーモデリングを行う段階と、 (c)前記カラーモデリングの結果に応答して客体追跡
のための確率マップを生成する段階と、 (d)前記初期の位置及び前記確率マップに基づき前記
客体の現在の位置を追跡する段階とを含むことを特徴と
する客体追跡方法。 - 【請求項2】 前記(a)段階は、 (a−1)前記客体の初期位置指定方法を判別する段階
と、 (a−2)前記(a−1)段階における判別の結果、前
記客体の初期位置指定方法がマニュアル指定方法である
場合、ユーザが前記客体の初期位置を直接的に入力する
段階と、 (a−3)前記(a−1)段階における判別の結果、前
記客体の初期位置指定方法が自動指定方法である場合、
各客体のカラーヒストグラムが貯蔵されたデータ貯蔵手
段からカラーヒストグラムを読み出す段階と、 (a−4)前記読み出されたカラーヒストグラムを逆投
射して前記客体の初期位置を自動的に指定する段階とを
含むことを特徴とする請求項1に記載の客体追跡方法。 - 【請求項3】 Drを半径がrであるディスクとした
時、前記(a−4)段階は、 (a−4−1)前記ヒストグラムの各ビンに対し、以前
のモデルに対するカラーヒストグラムで現映像のカラー
ヒストグラムを割った値及び1値のうち小さい値を出力
する段階と、 (a−4−2)前記(a−4−1)段階の演算を前記映
像の全ての位置座標に対して行う段階と、 (a−4−3)前記(a−4−2)段階で行われた演算
結果及び前記Drをコンボルーションする段階と、 (a−4−4)前記(a−4−3)段階で行われたコン
ボルーション結果が最大値を有する座標を検索し、前記
座標を前記客体の初期位置として指定する段階とを含
み、 前記Drは前記映像の(x,y)座標に対して の値を有することを特徴とする客体追跡方法。 - 【請求項4】 前記(b)段階は、 (b−1)前記カラー比を考慮して前記客体に関するカ
ラー情報モデリングを行う段階と、 (b−2)前記カラー比を考慮して前記全映像に関する
カラー情報モデリングを行う段階とを含むことを特徴と
する請求項1に記載の客体追跡方法。 - 【請求項5】 前記(b−1)段階は、 (b−1−1)前記客体の色相構成を分析する段階と、 (b−1−2)前記(b−1−1)段階における分析の
結果、前記客体が複数の色相より構成された場合、前記
映像のカラーを構成する赤色(R)、緑色(G)、青色
(B)の各チャンネルに対し、隣接したピクセルの輝度
比を軸とする前記客体の3次元ヒストグラムを構成する
段階と、 (b−1−3)前記(b−1−1)段階における分析の
結果、前記客体が単一色相より構成された場合、前記映
像の色相、彩度に対する2次元ガウスモデリングを行
い、客体のカラー確率を定義する段階と、 (b−1−4)前記(b−1−3)段階で定義された前
記客体のカラー確率を軸として前記客体のカラーヒスト
グラムを構成する段階とを含むことを特徴とする請求項
4に記載の客体追跡方法。 - 【請求項6】 前記(b−1−1)段階は、R,G,B
が前記映像のカラーを構成する赤色、緑色、青色データ
を各々意味し、Sは(i,j)組みの総数、uRは前記
(i,j)組みに対する赤色(R)値の平均値、uGは
前記(i,j)組みに対する緑色(G)値の平均値、u
Bは前記(i,j)組みに対する青色(B)値の平均値
を各々意味する時、 を計算し、前記計算の結果が所定のスレショルド値より
小さい場合に前記客体が単一色相より構成されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像が複数の色相より構成されたと
判別することを特徴とする請求項5に記載の客体追跡方
法。 - 【請求項7】 前記(b−1−3)段階で計算される前
記客体のカラー確率は、 であり、 である時、 であることを特徴とする請求項5に記載の客体追跡方
法。 - 【請求項8】 前記(b−2)段階は、 (b−2−1)前記全映像に対するカラー変化を測定す
る段階と、 (b−2−2)前記(b−2−1)段階における測定の
結果、前記映像が白色照明下で取得されたと判別された
場合、前記(b−1)段階で行われた前記客体のカラー
情報モデリング結果の変化無しに前記全映像に対するカ
ラー分布をヒストグラムとして構成する段階と、 (b−2−3)前記(b−2−1)段階における測定の
結果、前記映像がカラー照明下で取得されたと判別され
た場合、前記映像の以前のフレームで追跡された客体の
領域に対して前記(b−1)段階を再び行い、前記全映
像に対するカラー分布をヒストグラムとして構成する段
階とを含むことを特徴とする請求項4に記載の客体追跡
方法。 - 【請求項9】 前記(b−2−1)段階は、nは現フレ
ームの映像を意味し、mは以前のフレームの映像を意味
し、R,G,Bが前記映像のカラーを構成する赤色、緑
色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
さい場合に前記映像が白色照明下で取得されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像がカラー照明下で取得されたと
判別することを特徴とする請求項8に記載の客体追跡方
法。 - 【請求項10】 前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時、 前記確率マップは であることを特徴とする請求項4に記載の客体追跡方
法。 - 【請求項11】 前記(d)段階は、 (d−1)前記客体の以前の位置を貯蔵する段階と、 (d−2)前記初期の位置及び前記確率マップに基づき
連続した映像のうち対象客体の現在の位置及び大きさを
追跡するカルマンフィルタリングを行う段階と、 (d−3)前記客体の前記以前の位置及び前記現在の位
置に基づきカルマンフィルタの共分散行列を更新する段
階とを含むことを特徴とする請求項1に記載の客体追跡
方法。 - 【請求項12】 (a)編集しようとする映像を受け入
れる段階と、 (b)前記映像で隣接ピクセルのカラー比を考慮して客
体を追跡する段階と、 (c)前記追跡された客体の位置、大きさ及び境界線情
報に応答して所定の領域に属する映像を変換して出力す
る映像編集段階とを含むことを特徴とする映像編集方
法。 - 【請求項13】 前記(b)段階は、 (b−1)映像で追跡しようとする客体の初期位置を指
定する段階と、 (b−2)前記客体に関するカラー情報をモデリングす
る段階と、 (b−3)前記全映像に関するカラー情報をモデリング
する段階と、 (b−4)前記客体の位置情報及び前記(b−2)及び
(b−3)段階でモデリングされた前記カラー情報を考
慮した確率マップを生成する段階と、 (b−5)前記客体の初期位置及び前記確率マップに基
づきカルマンフィルタリングを行う段階とを含むことを
特徴とする請求項12に記載の映像編集方法。 - 【請求項14】 前記(b−1)段階は、 (b−1−1)前記客体の初期位置指定方法を判別する
段階と、 (b−1−2)前記(b−1−1)段階における判別の
結果、前記客体の初期位置指定方法がマニュアル指定方
法である場合、ユーザが前記客体の初期位置を直接的に
入力する段階と、 (b−1−3)前記(b−1−1)段階における判別の
結果、前記客体の初期位置指定方法が自動指定方法であ
る場合、各客体のカラーヒストグラムが貯蔵されたデー
タ貯蔵手段からカラーヒストグラムを読み出し、読み出
されたカラーヒストグラムを逆投射して前記客体の初期
位置を自動的に指定する段階とを含むことを特徴とする
請求項13に記載の映像編集方法。 - 【請求項15】 Drを半径がrであるディスクとした
時、前記(b−1−4)段階は、 (b−1−3−1)前記ヒストグラムの各ビンに対し、
以前のモデルに対するカラーヒストグラムで現映像のカ
ラーヒストグラムを割った値及び1のうち小さい値を出
力する段階と、 (b−1−3−2)前記(b−1−3−1)段階の演算
を前記映像の全ての位置座標に対して行う段階と、 (b−1−3−3)前記(b−1−3−2)段階で行わ
れた演算結果及び前記Drをコンボルーションする段階
と、 (b−1−3−4)前記(b−1−3−3)段階で行わ
れたコンボルーション結果が最大値を有する座標を検索
し、前記座標を前記客体の初期位置として指定する段階
とを含み、 前記Drは、前記映像の(x,y)座標に対して の値を有することを特徴とする請求項14に記載の映像
編集方法。 - 【請求項16】 前記(b−2)段階は、 (b−2−1)前記客体の色相構成を分析する段階と、 (b−2−2)前記(b−2−1)段階における分析の
結果、前記客体が複数の色相より構成された場合、前記
映像のカラーを構成する赤色(R)、緑色(G)、青色
(B)の各チャンネルに対し、隣接したピクセルの輝度
比を軸とする前記客体の3次元ヒストグラムを構成する
段階と、 (b−2−3)前記(b−2−1)段階における分析の
結果、前記客体が単一色相より構成された場合、前記映
像の色相、彩度に対する2次元ガウスモデリングを行
い、客体のカラー確率を定義する段階と、 (b−2−4)前記(b−2−3)段階で定義された前
記客体のカラー確率を軸として前記客体のカラーヒスト
グラムを構成する段階とを含むことを特徴とする請求項
13に記載の映像編集方法。 - 【請求項17】 前記(b−2−1)段階は、R,G,
Bが前記映像のカラーを構成する赤色、緑色、青色デー
タを各々意味し、Sは(i,j)組みの総数、uRは前
記(i,j)組みに対する赤色(R)値の平均値、uG
は前記(i,j)組みに対する緑色(G)値の平均値、
uBは前記(i,j)組みに対する青色(B)値の平均
値を各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
さい場合に前記客体が単一色相より構成されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像が複数の色相より構成されたと
判別することを特徴とする請求項16に記載の映像編集
方法。 - 【請求項18】 前記(b−2−3)段階で計算される
前記確率は、 であり、 である時、 であることを特徴とする請求項16に記載の映像編集方
法。 - 【請求項19】 前記(b−3)段階は、 (b−3−1)前記全映像に対するカラー変化を測定す
る段階と、 (b−3−2)前記(b−3−1)段階における測定の
結果、前記映像が白色照明下で取得されたと判別された
場合、前記(b−2)段階で行われた前記客体のカラー
情報モデリング結果の変化無しに前記全映像に対するカ
ラー分布をヒストグラムとして構成する段階と、 (b−3−3)前記(b−3−1)段階における測定の
結果、前記映像がカラー照明下で取得されたと判別され
た場合、前記映像の以前のフレームで追跡された客体の
領域に対して前記(b−2)段階を再び行い、前記全映
像に対するカラー分布をヒストグラムとして構成する段
階とを含むことを特徴とする請求項13に記載の映像編
集方法。 - 【請求項20】 前記(b−3−1)段階は、nは現フ
レームの映像を意味し、mは以前のフレームの映像を意
味し、R,G,Bが前記映像のカラーを構成する赤色、
緑色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
さい場合に前記映像が白色照明下で取得されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像がカラー照明下で取得されたと
判別することを特徴とする請求項19に記載の映像編集
方法。 - 【請求項21】 前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時、 前記確率マップは であることを特徴とする請求項13に記載の映像編集方
法。 - 【請求項22】 請求項1または12のうち何れか一項
に記載の方法をコンピュータにて実行するためのプログ
ラムを記録したコンピュータにて読取り可能な記録媒
体。 - 【請求項23】 映像で追跡しようとする客体の初期位
置を指定する初期位置指定部と、 前記客体及び前記全映像の隣接したピクセルのカラー比
を考慮したカラーモデリングを行うカラーモデリング部
と、 前記カラーモデリング結果に応答して、前記客体の追跡
のための確率マップを構成する確率マップ構成部と、 前記初期位置及び前記確率マップに応答して前記客体の
現位置を追跡する客体追跡部とを備えることを特徴とす
る客体追跡装置。 - 【請求項24】 前記初期位置指定部は、 ユーザが指定した所定の位置を前記客体の初期位置とし
て受け入れる第1の初期位置指定部と、 前記客体の目録及び前記客体に対応するカラーモデリン
グデータを貯蔵する客体データベースと、 ユーザが指定した客体の目録に対応するカラーモデリン
グデータを前記客体データベースから読み出し、読み出
された前記カラーモデリングデータを逆投射して前記客
体の初期位置を自動的に指定する第2の初期位置指定部
とを備えることを特徴とする請求項23に記載の客体追
跡装置。 - 【請求項25】 前記カラーモデリング部は、 前記客体に関するカラー情報をモデリングする第1のカ
ラーモデリング部と、 前記全映像に関するカラー情報をモデリングする第2の
カラーモデリング部と、 前記映像の照明に関する変化を考慮して前記客体に関す
るカラー情報を適応的にモデリングする第3のカラーモ
デリング部とを備えることを特徴とする請求項23に記
載の客体追跡装置。 - 【請求項26】 前記第1のカラーモデリング部は、前
記客体の色相構成を分析し、前記客体が複数の色相より
構成された場合、前記映像のカラーを構成する赤色
(R)、緑色(G)、青色(B)の各チャンネルに対
し、隣接したピクセルの輝度比を軸とする前記客体の3
次元ヒストグラムを構成し、 前記客体が単一色相より構成された場合、前記映像の色
相、彩度に対する2次元ガウスモデリングを行い、客体
のカラー確率を定義し、前記客体のカラーヒストグラム
を構成することを特徴とする請求項25に記載の客体追
跡装置。 - 【請求項27】 前記第1のカラーモデリング部は、
R,G,Bが前記映像のカラーを構成する赤色、緑色、
青色データを各々意味し、Sは(i,j)組みの総数、
uRは前記(i,j)組みに対する赤色(R)値の平均
値、uGは前記(i,j)組みに対する緑色(G)値の
平均値、uBは前記(i,j)組みに対する青色(B)
値の平均値を各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
さい場合に前記客体が単一色相より構成されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像が複数の色相より構成されたと
判別することを特徴とする請求項26に記載の客体追跡
装置。 - 【請求項28】 前記第1のカラーモデリング部で2次
元ガウスモデリングを通じて求められる前記客体のカラ
ー確率は、 で、 である時、 であることを特徴とする請求項26に記載の客体追跡装
置。 - 【請求項29】 前記第3のカラーモデリング部は、前
記全映像に対するカラー変化を測定し、前記測定の結
果、前記映像がカラー照明下で取得されたと判別された
場合、前記映像の以前のフレームで追跡された客体の領
域に対するカラーモデリングを再び行い、前記全映像に
対するカラー分布をヒストグラムとして構成することを
特徴とする請求項25に記載の客体追跡装置。 - 【請求項30】 前記第3のカラーモデリング部は、n
が現フレームの映像を意味し、mが以前のフレームの映
像を意味し、R,G,Bが前記映像のカラーを構成する
赤色、緑色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
さい場合に前記映像が白色照明下で取得されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像がカラー照明下で取得されたと
判別することを特徴とする請求項29に記載の客体追跡
装置。 - 【請求項31】 前記確率マップ構成部で構成される前
記確率マップは、前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時、 であることを特徴とする請求項23に記載の客体追跡装
置。 - 【請求項32】 前記客体追跡部は、 前記客体の以前の位置を貯蔵するメモリと、 前記初期の位置及び前記確率マップに基づき連続した映
像のうち対象客体の現在の位置及び大きさを追跡するカ
ルマンフィルタと、 前記客体の前記以前の位置及び前記現在の位置に基づき
前記カルマンフィルタの共分散行列を更新する速度予測
部とを備えることを特徴とする請求項23に記載の客体
追跡装置。 - 【請求項33】 編集しようとする映像を受け入れるデ
ータ入力手段と、 前記映像で隣接ピクセルの輝度比を考慮して前記客体を
追跡する客体追跡手段と、 前記追跡された客体の位置、大きさ及び境界線情報に応
答して所定の領域に属する映像を変換して出力する映像
編集手段とを備えることを特徴とする映像編集装置。 - 【請求項34】 前記客体追跡手段は、 映像で追跡しようとする客体の初期位置を指定する初期
位置指定部と、 前記客体及び前記全映像の隣接したピクセルのカラー比
を考慮したカラーモデリングを行うカラーモデリング部
と、 前記カラーモデリング結果に応答して、前記客体の追跡
のための確率マップを構成する確率マップ構成部と、 前記初期位置及び前記確率マップに応答して前記客体の
現位置を追跡するカルマンフィルターとを備えることを
特徴とする請求項33に記載の映像編集装置。 - 【請求項35】 前記客体追跡手段は、前記客体の目録
及び前記客体に対応するカラーモデリングデータを貯蔵
するデータ貯蔵部をさらに備えることを特徴とする請求
項34に記載の映像編集装置。 - 【請求項36】 前記初期位置指定部は、ユーザが指定
した所定の位置を前記客体の初期位置として受け入れる
ことを特徴とする請求項34に記載の映像編集装置。 - 【請求項37】 前記初期位置指定部は、ユーザが指定
した客体目録に対応するカラーモデリングデータを前記
データ貯蔵部から読み出し、読み出された前記カラーモ
デリングデータを逆投射して前記客体の初期位置を自動
的に指定することを特徴とする請求項35に記載の映像
編集装置。 - 【請求項38】 前記カラーモデリング部は、 前記客体に関するカラー情報をモデリングする第1のカ
ラーモデリング部と、 前記全映像に関するカラー情報をモデリングする第2の
カラーモデリング部とを備えることを特徴とする請求項
34に記載の映像編集装置。 - 【請求項39】 前記第1のカラーモデリング部は、前
記客体の色相構成を分析し、前記客体が複数の色相より
構成された場合、前記映像のカラーを構成する赤色
(R)、緑色(G)、青色(B)の各チャンネルに対
し、隣接したピクセルの輝度比を軸とする前記客体の3
次元ヒストグラムを構成し、 前記客体が単一色相より構成された場合、前記映像の色
相、彩度に対する2次元ガウスモデリングを行い、客体
のカラー確率を定義し、前記客体のカラーヒストグラム
を構成することを特徴とする請求項38に記載の映像編
集装置。 - 【請求項40】 前記第2のカラーモデリング部は、
R,G,Bが前記映像のカラーを構成する赤色、緑色、
青色データを各々意味し、Sは(i,j)組みの総数、
uRは前記(i,j)組みに対する赤色(R)値の平均
値、uGは前記(i,j)組みに対する緑色(G)値の
平均値、uBは前記(i,j)組みに対する青色(B)
値の平均値を各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
さい場合に前記客体が単一色相より構成されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像が複数の色相より構成されたと
判別することを特徴とする請求項38に記載の映像編集
装置。 - 【請求項41】 前記第1のカラーモデリング部で前記
2次元ガウスモデリングを通じて求められる前記客体の
カラー確率は、 で、 である時、 であることを特徴とする請求項39に記載の映像編集装
置。 - 【請求項42】 前記カラーモデリング部は、前記全映
像に対するカラー変化を測定し、前記測定の結果、前記
映像がカラー照明下で取得されたと判別された場合、前
記映像の以前のフレームで追跡された客体の領域に対す
るカラーモデリングを再び行い、前記全映像に対するカ
ラー分布をヒストグラムとして構成する第3のカラーモ
デリング部をさらに備えることを特徴とする請求項34
に記載の映像編集装置。 - 【請求項43】 前記第3のカラーモデリング部は、n
が現フレームの映像を意味し、mが以前のフレームの映
像を意味し、R,G,Bが前記映像のカラーを構成する
赤色、緑色、青色データを各々意味する時、 を計算し、前記計算結果が所定のスレショルド値より小
さい場合に前記映像が白色照明下で取得されたと判別
し、前記計算された値が所定のスレショルド値より大き
いか同じ場合に前記映像がカラー照明下で取得されたと
判別することを特徴とする請求項42に記載の映像編集
装置。 - 【請求項44】 前記確率マップ構成部で構成される前
記確率マップは、前記客体のカラーモデリング結果が であり、前記全映像のカラーモデリング結果が である時 であることを特徴とする請求項34に記載の映像編集装
置。 - 【請求項45】 前記映像編集手段は、前記追跡手段を
通じて追跡された前記客体の境界線情報を抽出する境界
線抽出部と、 前記抽出された境界線情報と、前記客体の位置及び大き
さ情報を受け入れて前記客体に対して少なくとも一つ以
上の映像フィルタリングを行う映像編集部とを備えるこ
とを特徴とする請求項33に記載の映像編集装置。 - 【請求項46】 前記映像編集部は、モザイクフィルタ
ー、ブラリングフィルター及び反転フィルターのうち少
なくとも何れか一つのフィルターを備えることを特徴と
する請求項45に記載の映像編集装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0068636A KR100421221B1 (ko) | 2001-11-05 | 2001-11-05 | 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치 |
KR2001-68636 | 2001-11-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003203240A true JP2003203240A (ja) | 2003-07-18 |
JP4194025B2 JP4194025B2 (ja) | 2008-12-10 |
Family
ID=19715709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002321741A Expired - Fee Related JP4194025B2 (ja) | 2001-11-05 | 2002-11-05 | 照明不変の客体追跡方法及びこれを用いた映像編集装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US7171023B2 (ja) |
EP (1) | EP1308896A3 (ja) |
JP (1) | JP4194025B2 (ja) |
KR (1) | KR100421221B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010501440A (ja) * | 2006-08-25 | 2010-01-21 | オーチス エレベータ カンパニー | 目的階登録配車運転においてセキュリティ保護の追跡を匿名で行う乗客指標付けシステム |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004254298A (ja) * | 2003-01-30 | 2004-09-09 | Ricoh Co Ltd | 画像処理装置、プログラム及び記憶媒体 |
JP2004348674A (ja) * | 2003-05-26 | 2004-12-09 | Noritsu Koki Co Ltd | 領域検出方法及びその装置 |
US8498452B2 (en) * | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7792335B2 (en) * | 2006-02-24 | 2010-09-07 | Fotonation Vision Limited | Method and apparatus for selective disqualification of digital images |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7792970B2 (en) * | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US8189927B2 (en) | 2007-03-05 | 2012-05-29 | DigitalOptics Corporation Europe Limited | Face categorization and annotation of a mobile phone contact list |
US7471846B2 (en) * | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US7269292B2 (en) * | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US8330831B2 (en) * | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US8989453B2 (en) * | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US8553949B2 (en) * | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US7440593B1 (en) * | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US8948468B2 (en) * | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US8363951B2 (en) * | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US8503800B2 (en) * | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US8488023B2 (en) * | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
WO2007024351A2 (en) * | 2005-08-26 | 2007-03-01 | Idt Corporation | Region of interest tracking and integration into a video codec |
US7694885B1 (en) | 2006-01-26 | 2010-04-13 | Adobe Systems Incorporated | Indicating a tag with visual data |
US7636450B1 (en) * | 2006-01-26 | 2009-12-22 | Adobe Systems Incorporated | Displaying detected objects to indicate grouping |
US8259995B1 (en) | 2006-01-26 | 2012-09-04 | Adobe Systems Incorporated | Designating a tag icon |
US7716157B1 (en) | 2006-01-26 | 2010-05-11 | Adobe Systems Incorporated | Searching images with extracted objects |
US7720258B1 (en) * | 2006-01-26 | 2010-05-18 | Adobe Systems Incorporated | Structured comparison of objects from similar images |
US7813526B1 (en) * | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Normalizing detected objects |
US7813557B1 (en) | 2006-01-26 | 2010-10-12 | Adobe Systems Incorporated | Tagging detected objects |
US7706577B1 (en) | 2006-01-26 | 2010-04-27 | Adobe Systems Incorporated | Exporting extracted faces |
US7978936B1 (en) | 2006-01-26 | 2011-07-12 | Adobe Systems Incorporated | Indicating a correspondence between an image and an object |
US7804983B2 (en) | 2006-02-24 | 2010-09-28 | Fotonation Vision Limited | Digital image acquisition control and correction method and apparatus |
DE602007012246D1 (de) * | 2006-06-12 | 2011-03-10 | Tessera Tech Ireland Ltd | Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern |
US7711157B2 (en) * | 2006-08-01 | 2010-05-04 | California Institute Of Technology | Artificial intelligence systems for identifying objects |
WO2008015586A2 (en) * | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
US7916897B2 (en) * | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US20080056566A1 (en) * | 2006-09-01 | 2008-03-06 | Texas Instruments Incorporated | Video processing |
KR100822459B1 (ko) * | 2006-10-10 | 2008-04-16 | 엠텍비젼 주식회사 | 움직임 인식 방법 및 그 장치 |
KR100777199B1 (ko) * | 2006-12-14 | 2007-11-16 | 중앙대학교 산학협력단 | 이동 객체 추적 장치 및 그 방법 |
US8055067B2 (en) * | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
EP2115662B1 (en) * | 2007-02-28 | 2010-06-23 | Fotonation Vision Limited | Separating directional lighting variability in statistical face modelling based on texture space decomposition |
WO2008107002A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
US7916971B2 (en) * | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
US8750578B2 (en) | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
US7855737B2 (en) * | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
TWI357582B (en) * | 2008-04-18 | 2012-02-01 | Univ Nat Taiwan | Image tracking system and method thereof |
JP5157721B2 (ja) * | 2008-07-29 | 2013-03-06 | ソニー株式会社 | 画像データの分布モデル更新装置、画像処理装置、画像データの分布モデル更新方法およびプログラム |
CN106919911A (zh) | 2008-07-30 | 2017-07-04 | 快图有限公司 | 使用脸部检测的自动脸部和皮肤修饰 |
KR101341637B1 (ko) * | 2008-08-29 | 2013-12-16 | 서울대학교산학협력단 | 물체 추적 장치 및 방법 |
KR101249737B1 (ko) * | 2008-12-03 | 2013-04-03 | 한국전자통신연구원 | 움직이는 카메라 환경에서의 물체 추적 장치 및 그 방법 |
WO2010063463A2 (en) * | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
JP5045817B2 (ja) * | 2009-01-23 | 2012-10-10 | 日本電気株式会社 | 画像識別子抽出装置 |
US8340435B2 (en) * | 2009-06-11 | 2012-12-25 | California Institute Of Technology | Method and system for object recognition search |
US20120128209A1 (en) * | 2009-06-30 | 2012-05-24 | Shigetoshi Sakimura | Image analysis device and image analysis program |
US8379917B2 (en) * | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
TWI392366B (zh) * | 2009-12-31 | 2013-04-01 | Ind Tech Res Inst | 全周鳥瞰影像距離介面產生方法與系統 |
JP2013031034A (ja) * | 2011-07-29 | 2013-02-07 | Sony Corp | 画像編集プログラム、画像編集方法、画像編集装置、記録媒体 |
US20130201344A1 (en) * | 2011-08-18 | 2013-08-08 | Qualcomm Incorporated | Smart camera for taking pictures automatically |
US10089327B2 (en) | 2011-08-18 | 2018-10-02 | Qualcomm Incorporated | Smart camera for sharing pictures automatically |
KR101409810B1 (ko) * | 2012-10-24 | 2014-06-24 | 계명대학교 산학협력단 | 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법 |
JP6351240B2 (ja) * | 2013-11-20 | 2018-07-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9679212B2 (en) | 2014-05-09 | 2017-06-13 | Samsung Electronics Co., Ltd. | Liveness testing methods and apparatuses and image processing methods and apparatuses |
CN105844663B (zh) * | 2016-03-21 | 2018-11-27 | 中国地质大学(武汉) | 一种自适应orb目标跟踪方法 |
US10635116B2 (en) | 2017-10-19 | 2020-04-28 | Ford Global Technologies, Llc | Video calibration with illumination invariant image |
EP3534294B1 (en) * | 2018-03-02 | 2023-09-06 | Akademia Gorniczo-Hutnicza im. Stanislawa Staszica w Krakowie | Computer implemented method for processing a frame sequence, digital frame processing device computer program product and monitoring system |
CN110033478A (zh) * | 2019-04-12 | 2019-07-19 | 北京影谱科技股份有限公司 | 基于深度对抗训练的视觉目标跟踪方法和装置 |
CN115908642A (zh) * | 2021-09-30 | 2023-04-04 | 北京字跳网络技术有限公司 | 一种图像编辑方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100248040B1 (ko) * | 1992-09-17 | 2000-03-15 | 윤종용 | 목표물 예측방법 |
US5912980A (en) * | 1995-07-13 | 1999-06-15 | Hunke; H. Martin | Target acquisition and tracking |
KR0170698B1 (ko) | 1995-10-28 | 1999-03-20 | 김광호 | 실시간 영상 모자이크 시스템 |
JPH10336506A (ja) * | 1997-05-29 | 1998-12-18 | Canon Inc | 画像処理システム、追尾システム,追尾方法,記憶媒体 |
US6226388B1 (en) * | 1999-01-05 | 2001-05-01 | Sharp Labs Of America, Inc. | Method and apparatus for object tracking for automatic controls in video devices |
US6917692B1 (en) * | 1999-05-25 | 2005-07-12 | Thomson Licensing S.A. | Kalman tracking of color objects |
US6539099B1 (en) * | 1999-08-30 | 2003-03-25 | Electric Planet | System and method for visual chat |
KR100312427B1 (ko) * | 1999-12-23 | 2001-11-03 | 오길록 | 비디오 영상에서 템플레이트와 칼만 필터를 이용한 이동물체 추적방법 및 장치 |
KR100372774B1 (ko) * | 2000-10-27 | 2003-02-25 | 한국과학기술연구원 | 컬러정보를 사용한 영상 추적방법 |
US20020176001A1 (en) * | 2001-05-11 | 2002-11-28 | Miroslav Trajkovic | Object tracking based on color distribution |
-
2001
- 2001-11-05 KR KR10-2001-0068636A patent/KR100421221B1/ko active IP Right Grant
-
2002
- 2002-11-05 US US10/287,592 patent/US7171023B2/en active Active
- 2002-11-05 JP JP2002321741A patent/JP4194025B2/ja not_active Expired - Fee Related
- 2002-11-05 EP EP02257658A patent/EP1308896A3/en not_active Withdrawn
-
2006
- 2006-09-05 US US11/514,968 patent/US7346189B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010501440A (ja) * | 2006-08-25 | 2010-01-21 | オーチス エレベータ カンパニー | 目的階登録配車運転においてセキュリティ保護の追跡を匿名で行う乗客指標付けシステム |
Also Published As
Publication number | Publication date |
---|---|
EP1308896A2 (en) | 2003-05-07 |
US7171023B2 (en) | 2007-01-30 |
US20070003106A1 (en) | 2007-01-04 |
KR100421221B1 (ko) | 2004-03-02 |
KR20030037776A (ko) | 2003-05-16 |
US20030099376A1 (en) | 2003-05-29 |
JP4194025B2 (ja) | 2008-12-10 |
EP1308896A3 (en) | 2005-10-19 |
US7346189B2 (en) | 2008-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003203240A (ja) | 照明不変の客体追跡方法及びこれを用いた映像編集装置 | |
CN101802842B (zh) | 用于识别图像中的复杂特征点的***和方法 | |
US5471535A (en) | Method for detecting a contour of a given subject to be separated from images and apparatus for separating a given subject from images | |
RU2680765C1 (ru) | Автоматизированное определение и обрезка неоднозначного контура документа на изображении | |
JP5998049B2 (ja) | 画像を処理するための自動化されコンピュータ化された方法とそのような方法を実行するコンピュータプログラム | |
Koschan et al. | Detection and classification of edges in color images | |
JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
US7127104B2 (en) | Vectorized image segmentation via trixel agglomeration | |
US20090161950A1 (en) | Image segregation system with method for handling textures | |
JP2012511207A (ja) | 画像分離用制約条件生成プログラム | |
CN110263813A (zh) | 一种基于残差网络和深度信息融合的显著性检测方法 | |
CN110569859B (zh) | 一种服装图像的颜色特征提取方法 | |
JPH08123958A (ja) | カラー画像処理方法及びカラー画像処理装置 | |
JP2003162718A (ja) | 画像処理方法及びプログラム | |
JP2002342758A (ja) | 視覚認識システム | |
CN109523594A (zh) | 一种视觉托盒特征点坐标定位方法及*** | |
Duchêne et al. | Mixed illumination analysis in single image for interactive color grading | |
Burger et al. | Corner detection | |
JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 | |
JP2000270343A (ja) | 画像合成用識別パタンパネルを備えた仮想スタジオシステム及び画像合成用識別パタンパネルを用いた識別方法 | |
Ancuti et al. | CC-SIFT: Exploiting chromatic contrast forwide-baseline matching | |
Yin et al. | A new qem for parametrization of raster images | |
De Rosa et al. | Image Processing for Virtual Artwork Restoration | |
Kim et al. | Unsupervised salient object matting | |
CN117911495A (zh) | 一种空地协同下的全局环境地图构建及定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4194025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |