JP2001086388A - 画像処理装置および画像処理方法、並びに媒体 - Google Patents
画像処理装置および画像処理方法、並びに媒体Info
- Publication number
- JP2001086388A JP2001086388A JP25847399A JP25847399A JP2001086388A JP 2001086388 A JP2001086388 A JP 2001086388A JP 25847399 A JP25847399 A JP 25847399A JP 25847399 A JP25847399 A JP 25847399A JP 2001086388 A JP2001086388 A JP 2001086388A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- background
- image
- frame
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
る。 【解決手段】 読み出し部32において、第1フレーム
乃至第Nフレームの画像から、その各フレームの背景の
位置合わせを行った状態で空間的に同一位置にある画素
が検出され、度数カウント部33において、その空間的
に同一位置にある画素の画素値の度数が計数される。そ
して、書き込み部35において、空間的に同一位置にあ
る画素の個数に対する度数の割合が所定値以上の画素値
が、背景画像を構成する背景画素の画素値として、背景
メモリ15に記憶され、その背景メモリ15に画素値が
記憶された背景画素に基づいて、背景メモリ15に記憶
された背景画像が拡張される(画素値が記憶されていな
い背景画素の画素値が書き込まれる)。
Description
び画像処理方法、並びに媒体に関し、特に、一連の画像
に表示された背景を、精度良く抽出することができるよ
うにする画像処理装置および画像処理方法、並びに媒体
に関する。
して、例えば、オブジェクト符号化がある。オブジェク
ト符号化では、一連の画像(1シーンまたは1カットの
画像)(例えば、あるシーンチェンジから次のシーンチ
ェンジまでのフレームなど)から、その前景と背景とが
抽出される。即ち、一連の画像が、Nフレームで構成さ
れるときは、そのNフレームで表示される、1シーン全
体の背景(この背景は、例えば、ビデオカメラをパンニ
ングまたはチルティングして撮影されたシーンであれ
ば、横長または縦長の画像となる)と、Nフレームの中
に共通に存在する前景とが抽出される。そして、オブジ
ェクト符号化により得られたデータの復号は、背景に、
前景を配置することで行われる。
ジェクト符号化のように、前景と背景を抽出する符号化
では、例えば、背景を抽出する精度が、その復号画像の
画質に大きく影響する。
たものであり、一連の画像から、背景を、精度良く抽出
することができるようにするものである。
は、一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出手段と、空間的に同一位置にある画素の画素値の
度数を計数する度数計数手段と、空間的に同一位置にあ
る画素の個数に対する度数の割合が所定値以上の画素値
を、背景画像を構成する背景画素の画素値として記憶す
る背景画像記憶手段と、画素値が記憶された背景画素に
基づいて、背景画像記憶手段に記憶された背景画像を拡
張する背景拡張手段とを含むことを特徴とする。
の割合が所定値以上の画素値を、背景画像を構成する背
景画素の画素値として記憶させることができる。
ない背景画素の画素値を、それに近接する、画素値が記
憶されている背景画素に基づいて求めさせ、背景画像記
憶手段に書き込ませることができる。また、背景拡張手
段には、画素値が記憶されていない背景画素である未登
録背景画素の画素値を、それに近接する、画素値が記憶
されている背景画素である既登録背景画素との連続性に
基づいて求めさせ、背景画像記憶手段に書き込ませるこ
とができる。さらに、背景拡張手段には、未登録背景画
素と空間的に同一位置にある一連の画像の画素の画素値
の度数の割合が所定の順位内にある画素値が、未登録背
景画素に隣接する既登録背景画素の画素値と連続性を有
する場合、既登録背景画素の画素値と連続性を有する、
度数の割合が所定の順以内にある画素値に基づいて、未
登録背景画素の画素値を求めさせ、背景画像記憶手段に
書き込ませることができる。
ら、その各画面の背景の位置合わせを行った状態で空間
的に同一位置にある画素を検出する画素検出ステップ
と、空間的に同一位置にある画素の画素値の度数を計数
する度数計数ステップと、空間的に同一位置にある画素
の個数に対する度数の割合が所定値以上の画素値を、背
景画像を構成する背景画素の画素値として、背景画像を
記憶する背景画像記憶手段に記憶させる背景画像記憶ス
テップと、画素値が記憶された背景画素に基づいて、背
景画像記憶手段に記憶された背景画像を拡張する背景拡
張ステップとを含むことを特徴とする。
プログラムは、一連の画像から、その各画面の背景の位
置合わせを行った状態で空間的に同一位置にある画素を
検出する画素検出ステップと、空間的に同一位置にある
画素の画素値の度数を計数する度数計数ステップと、空
間的に同一位置にある画素の個数に対する度数の割合が
所定値以上の画素値を、背景画像を構成する背景画素の
画素値として、背景画像を記憶する背景画像記憶手段に
記憶させる背景画像記憶ステップと、画素値が記憶され
た背景画素に基づいて、背景画像記憶手段に記憶された
背景画像を拡張する背景拡張ステップとを含むことを特
徴とする。
法、並びに媒体においては、一連の画像から、その各画
面の背景の位置合わせを行った状態で空間的に同一位置
にある画素が検出され、その空間的に同一位置にある画
素の画素値の度数が計数される。そして、空間的に同一
位置にある画素の個数に対する度数の割合が所定値以上
の画素値が、背景画像を構成する背景画素の画素値とし
て、背景画像を記憶する背景画像記憶手段に記憶され、
画素値が記憶された背景画素に基づいて、背景画像記憶
手段に記憶された背景画像が拡張される。
送装置の一実施の形態の構成例を示している。
された、符号化の対象となる画像(ここでは、動画像と
する)としてのディジタル画像データが供給されるよう
になっており、そこでは、その画像が符号化され、その
結果得られる符号化データが出力される。この符号化デ
ータは、例えば、衛星回線や、地上波、CATV(Cable
Television)網、インターネット、ISDN(Integrate
d Service Digital Network)等の伝送媒体3を介して伝
送され、あるいは、光ディスクや、光磁気ディスク、磁
気ディスク、磁気テープ、相変化ディスク等の記録媒体
4に記録される。
されてくる符号化データ、あるいは記録媒体4から再生
される符号化データが供給されるようになっており、デ
コーダ2では、そこに供給される符号化データが復号さ
れ、その結果得られる復号画像が、例えば、図示せぬモ
ニタ等に供給されて表示される。
れた位置において画像の送受信を行う装置や、画像の記
録再生を行う装置等に適用することができる。
例を示している。
気ディスク等で構成され、エンコーダ1に供給される画
像データを一時記憶する。ここで、蓄積部11には、例
えば、あるシーンチェンジから次のシーンチェンジまで
等の一連の画像のフレーム単位で、画像データが入力さ
れて記憶されるようになっている。なお、ここでは、例
えば、図3に示すように、第1フレーム乃至第Nフレー
ムでなるNフレームの画像データが、一連の画像とし
て、蓄積部11に記憶されるものとする。
ームの画像が記憶されると、カメラ動き検出部12は、
そのNフレームの画像を蓄積部11から読み出し、各フ
レームにおけるカメラ動きの方向と大きさを表すカメラ
動きベクトルを検出する。
図4(A)に示すように、第1フレームの左上の点を原
点とするとともに、その左から右方向、または上から下
方向を、それぞれx軸またはy軸とする座標系(以下、
適宜、基準座標系という)において、第1フレームのカ
メラ動きベクトルv1を0(=(0,0))に設定す
る。そして、カメラ動き検出部12は、第2フレーム乃
至第Nフレームについて、各フレームの背景の位置合わ
せを行ったときに、第nフレームの左上の点が位置する
基準座表系の座標(x,y)を、その第nフレームのカ
メラ動きベクトルvnとして求める。
1フレームのカメラ動きベクトルv 1を0に設定した
後、図4(B)に示すように、基準座標系において、第
1フレームと背景どうしが一致するような第2フレーム
の位置を求め、その位置における第2フレームの左上の
点の座標を、そのカメラ動きベクトルv2として求め
る。さらに、カメラ動き検出部12は、図4(C)に示
すように、基準座標系において、背景の位置合わせを行
った第1フレームおよび第2フレームと背景どうしが一
致するような第3フレームの位置を求め、その位置にお
ける第3フレームの左上の点の座標を、そのカメラ動き
ベクトルv3として求める。
は、第4フレーム乃至第Nフレームのカメラ動きベクト
ルv4乃至vNも求めていく。
に、カメラ動きとしては、水平および垂直方向の動きの
みを考え、回転は考えないものとする。但し、本発明
は、カメラ動きに回転がある場合でも適用可能である。
で検出された、一連の画像としての第1フレーム乃至第
Nフレームのカメラ動きベクトルv1乃至vNは、カメラ
動きベクトル記憶部13に供給されて記憶される。
カメラ動きベクトルv1乃至vNが記憶されると、背景抽
出部14は、カメラ動きベクトル記憶部13から、カメ
ラ動きベクトルv1乃至vNを読み出すとともに、蓄積部
11から第1フレーム乃至第Nフレームの画像データを
読み出し、カメラ動きベクトルv1乃至vNに基づいて、
第1フレーム乃至第Nフレームの背景の位置合わせを行
うことで、その第1フレーム乃至第Nフレーム全体に亘
る背景(この背景は、例えば、一連の画像が、ビデオカ
メラをパンニングまたはチルティングして撮影されたも
のであれば、横長または縦長の画像となる)(以下、適
宜、全体背景という)を抽出する。背景抽出部14で抽
出された全体背景は、背景メモリ15に供給されて記憶
される。
されると、前景符号化部16は、その全体背景のうち、
蓄積部11に記憶された各フレームの背景を、カメラ動
きベクトル記憶部13に記憶された各フレームのカメラ
動きベクトルに基づいて検出し、その検出された各フレ
ームの背景を、各フレームの画像から減算することで、
各フレームの前景を抽出する。さらに、前景符号化部1
6は、各フレームの前景を符号化し、その符号化結果
を、MUX(マルチプレクサ)17に出力する。
景の符号化結果を受信すると、その前景の符号化結果
に、カメラ動きベクトル記憶部13に記憶されたカメラ
動きベクトルと、背景メモリ15に記憶された全体背景
とを多重化し、その多重化結果を、符号化データとして
出力する。
ータが、一連の画像単位で符号化される。
2の構成例を示している。
に記憶された一連の画像が、フレーム単位で供給される
ようになっており、重心算出部21は、各フレームにつ
いて、後述するような重心を求めるようになっている。
さらに、重心算出部21は、蓄積画像メモリ24に記憶
された、後述する蓄積画像に対して、注目している注目
フレームのカメラ動きベクトルを検出するのに用いる範
囲(以下、適宜、動き検出範囲という)を設定し、その
動き検出範囲の重心も求めるようになっている。重心算
出部21で求められる注目フレームおよび動き検出範囲
の重心は、ベクトル検出部22に供給されるようになっ
ている。
ら供給される注目フレームおよび動き検出範囲の重心に
基づいて、注目フレームのカメラ動きベクトルを検出
し、カメラ動きベクトル記憶部13(図2)に供給する
とともに、書き込み制御部23に供給するようになって
いる。
2からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ24が注目フレームの画像データを記憶するアドレス
を制御するようになっている。蓄積画像メモリ24は、
蓄積部11(図2)から、注目フレームの画像データを
読み出し、書き込み制御部23が指定するアドレスに記
憶するようになっている。
検出部12において行われる、カメラ動きベクトルを検
出するカメラ動き検出処理について説明する。
出処理は、画像の重心が、カメラ動きによって移動する
ことに着目し、基本的には、各フレームの重心が一致す
るように、各フレームの位置合わせを行い、その位置合
わせを行った状態での、各フレームの左上の点が、各フ
レームのカメラ動きベクトルとして検出されるようにな
っている。
とすると、蓄積画像メモリ24には、注目フレームの前
のフレームまでのフレームである第1乃至第n−1フレ
ームの画像データを、その順番で、各フレームの背景の
位置合わせを行って重ね合わせた状態の画像(蓄積画
像)が記憶されている。
に示すように、注目フレームである第nフレームの重心
cnを求める。さらに、重心算出部21は、図6(B)
に示すように、蓄積画像メモリ24に記憶された蓄積画
像の中の、注目フレームの1フレーム前の第n−1フレ
ームを包含する範囲を、動き検出範囲とし、その動き検
出範囲の重心cを求める。ここで、動き検出範囲として
は、例えば、第n−1フレームの上下左右の各方向に、
所定の画素数だけ広い範囲が設定される。
範囲の重心cが求められると、ベクトル検出部22で
は、図6(C)に示すように、動き検出範囲の重心c
に、注目フレームの重心cnが一致した状態での、注目
フレームの左上の点の位置が求められ、その位置の座標
が、注目フレームである第nフレームのカメラ動きベク
トルvnとして出力される。
て、そのカメラ動きベクトルvnを求める場合には、そ
の1フレーム前までのカメラ動きベクトルは、既に求ま
っている。そこで、図6(C)に示すように、動き検出
範囲の重心cの、第n−1フレームの左上の点を基準と
する位置をベクトルv’cで表すとともに、注目フレー
ムである第nフレームの重心cnの、その第nフレーム
の左上の点を基準とする位置をベクトルv’cnで表すと
すると、動き検出範囲の重心cと、注目フレームの重心
cnとが一致した状態での、注目フレームの左上の点の
位置の、基準座標系における座標が、注目フレームの動
きベクトルvnとなる。そして、このカメラ動きベクト
ルvnは、注目フレームの1フレーム前の第n−1フレ
ームの動きベクトルvn-1に、動き検出範囲の重心cの
位置を表すベクトルv’cを加算し、さらに、注目フレ
ームの重心cnの位置を表すベクトルv’cnを減算する
ことで求めることができる。即ち、注目フレームのカメ
ラ動きベクトルvnは、式vn=vn-1+v’c−v’cnを
計算することで求めることができる。
動きベクトルvnが求められた後は、書き込み制御部2
3において、そのカメラ動きベクトルvnに基づいて、
蓄積画像メモリ24における注目フレームの画像データ
を書き込むための書き込みアドレスが制御される。即
ち、これにより、蓄積画像メモリ24では、基準座標系
において、カメラ動きベクトルvnによって示される点
に、その左上の点が位置するように、注目フレームの画
像データが、上書きする形で書き込まれ、その書き込み
の結果得られる画像が、次の第n+1フレームを注目フ
レームとして、そのカメラ動きベクトルvn+1を検出す
る際の蓄積画像として用いられる。
図5のカメラ動き検出部12におけるカメラ動き検出処
理について、さらに説明する。
の画像のうちの第1フレームが注目フレームとして読み
出され、重心算出部21に供給されるとともに、蓄積画
像メモリ24の記憶値がクリアされる。
1において、注目フレームが第1フレームであるかどう
かが判定される。ステップS1において、注目フレーム
が第1フレームであると判定された場合、ステップS2
に進み、ベクトル検出部22は、そのカメラ動きベクト
ルv1として0を設定し、カメラ動きベクトル記憶部1
3および書き込み制御部23に出力して、ステップS6
に進む。
は、ベクトル検出部22からのカメラ動きベクトルに基
づいて、蓄積画像メモリ24における書き込みアドレス
を制御し、これにより、蓄積画像メモリ24に、注目フ
レームを書き込む。即ち、いまの場合、注目フレームは
第1フレームであり、そのカメラ動きベクトルv1は0
であるから、蓄積画像メモリ24では、基準座標系にお
ける原点に、その左上の点が位置するように、第1フレ
ームの画像データが書き込まれる。
に、一連の画像を構成する次のフレームがあるかどうか
が判定され、あると判定された場合、その、次のフレー
ムが、新たに注目フレームとして読み出され、重心算出
部21に供給される。そして、ステップS1に戻り、以
下、同様の処理が繰り返される。
ムが第1フレームでないと判定された場合、即ち、第2
フレーム乃至第Nフレームのうちのいずれかである場
合、ステップS3に進み、重心算出部21において、注
目フレームの重心を求める重心算出処理が行われ、ステ
ップS4に進む。ステップS4では、重心算出部21に
おいて、蓄積画像メモリ24に記憶された蓄積画像の中
に、注目フレームに対する動き検出範囲が設定され、そ
の動き検出範囲の重心を求める重心算出処理が行われ、
ステップS5に進む。
おいて、重心算出部21で求められた注目フレームの重
心と、動き検出範囲の重心とから、図6で説明したよう
にして、注目フレームのカメラ動きベクトルが求めら
れ、カメラ動きベクトル記憶部13および書き込み制御
部23に出力される。
うに、書き込み制御部23において、ベクトル検出部2
2からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ24における書き込みアドレスが制御され、これによ
り、蓄積画像メモリ24に、注目フレームが書き込まれ
る。即ち、蓄積画像メモリ24では、基準座標系におい
て、注目フレームのカメラ動きベクトルによって示され
る点に、その左上の点が位置するように、注目フレーム
の画像データが書き込まれる(上書きされる)。
うに、蓄積部11に、一連の画像を構成する次のフレー
ムがあるかどうかが判定され、ないと判定された場合、
即ち、一連の画像を構成する第1乃至第Nフレームそれ
ぞれのカメラ動きベクトルが求められた場合、カメラ動
き検出処理を終了する。
図7のステップS3において、重心算出部21が行う処
理(注目フレームの重心算出処理)について詳述する。
数XまたはYに対して、注目フレームの横(水平方向)
の画素数、または縦(垂直方向)の画素数が、それぞれ
セットされ、ステップS12に進む。
素のy座標を表す変数yに、初期値としての、例えば−
1がセットされ、ステップS22に進み、変数yが1だ
けインクリメントされる。
座標は、その最も左上の画素を原点とし、左から右方
向、または上から下方向に、それぞれx軸またはy軸を
とって表すものとする。
が、注目フレームの縦の画素数Y未満であるかどうかが
判定される。ステップS14において、変数yがY未満
であると判定された場合、ステップS15に進み、注目
フレームの各画素のx座標を表す変数xに、初期値とし
ての、例えば−1がセットされ、ステップS16に進
む。
クリメントされ、ステップS17に進み、変数xが、注
目フレームの横の画素数X未満であるかどうかが判定さ
れる。ステップS17において、変数xがX未満でない
と判定された場合、ステップS13に戻り、以下、同様
の処理が繰り返される。
X未満であると判定された場合、ステップS18に進
み、座標(x,y)にある画素p(x,y)が注目画素
とされ、その注目画素が、その画素値に基づいて、あら
かじめ設定されたレベルのうちのいずれかに分類され
る。
り得る値の範囲が、幾つかの範囲に、あらかじめ分割さ
れている。そして、いま、例えば、画素値としてとり得
る値の範囲がK個の範囲に分割されており、このK個の
範囲を、画素値の小さい範囲から順番に、レベル1,
2,・・・,Kというものとすると、ステップS18で
は、画素値がレベル1乃至Kのうちのいずれの範囲に属
するかによって、注目画素が分類される。
レベル分類結果が、レベルテーブルに登録される。
モリ(図示せず)に、例えば、図9に示すような、各レ
ベルk(k=1,2,・・・,K)について、そのレベ
ルkに属する画素の度数fkと、レベルkに属する画素
のx座標の積算値Σxkおよびy座標の積算値Σykを対
応付けたレベルテーブルを記憶しており、例えば、注目
画素の画素値がレベルkに属する場合には、レベルテー
ブルにおけるレベルkについての度数fkを1だけイン
クリメントするとともに、x座標の積算値Σxkまたは
y座標の積算値Σykに、注目画素のx座標またはy座
標をそれぞれ加算する。
ャートにしたがった処理が開始されるごとに、0にクリ
アされるようになっている。
様の処理が繰り返される。
Y未満でないと判定された場合、即ち、注目フレームを
構成する各画素を注目画素として処理を行い、注目フレ
ームを構成するすべての画素を、レベルテーブルに登録
した場合、ステップS19に進み、レベルテーブルの各
レベルに属する画素の重心が求められる。即ち、ステッ
プS19では、レベルテーブルの各レベルkにおけるx
座標の積算値Σxkまたはy座標の積算値Σykそれぞれ
が、その度数fkで除算され、その除算値で表される座
標(Σxk/fk,Σyk/fk)が、各レベルkに属する
画素の重心として求められる。
乃至Kそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。
Kそれぞれに属する画素の重心について、例えば、その
度数f1乃至fKを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。
て、図7のステップS4において、重心算出部21が行
う処理(動き検出範囲の重心算出処理)について詳述す
る。
き検出範囲が設定される。即ち、ステップS31では、
蓄積画像メモリ24に記憶された蓄積画像から、注目フ
レームの1フレーム前のフレームが書き込まれた範囲が
検出される。さらに、ステップS31では、その検出さ
れた範囲が、例えば、上下左右方向に、それぞれ所定の
画素数だけ拡げられ、その拡げられた範囲が、動き検出
範囲として設定される。
たはYに対して、動き検出範囲の横の画素数、または縦
の画素数が、それぞれセットされ、ステップS33に進
む。
ては、図8のステップS12乃至S20における場合と
それぞれ同様の処理が行われ、これにより、動き検出範
囲を構成する画素全体の重心が求められ、リターンす
る。
は、蓄積画像の中の、注目フレームの1フレーム前のフ
レームを含む所定の範囲を、動き検出範囲として設定
し、その動き検出範囲の重心と、注目フレームの重心を
算出し、それらの重心に基づいて、注目フレームのカメ
ラ動きベクトルを求め、そのカメラ動きベクトルに基づ
いて、注目フレームを、蓄積画像に書き込むことを繰り
返すようにしたので、いわゆるブロックマッチングを行
う場合に比較して、カメラ動きベクトルを、簡易に求め
ることができる。
3において、注目フレームの重心を求め、その後、ステ
ップS4において、動き検出範囲の重心を求めるように
したが、注目フレームの重心と、動き検出範囲の重心
は、どちらを先に求めても良いし、また、同時に求める
ようにすることも可能である。
ムの重心を、その注目フレームを構成する各画素を、そ
の画素値によって、幾つかのレベルのうちのいずれかに
分類(以下、適宜、レベル分類という)することで求め
るようにしたが、注目フレームの重心は、その他、例え
ば、その注目フレームを構成する各画素を、その周辺に
ある幾つかの画素(自身を含めても良いし、含めなくて
も良い)に基づいて、幾つかのクラスのうちのいずれか
に分類(以下、適宜、クラス分類という)することで行
うことも可能である。
する。いま、例えば、注目画素について、その上下左右
にそれぞれ隣接する4画素と、注目画素自身との合計5
画素で、注目画素のクラス分類に用いるタップ(以下、
適宜、クラスタップという)を構成するものとする。こ
の場合、例えば、画素値が1ビットで表現される(0ま
たは1のうちのいずれかの値となる)ものとすると、注
目画素は、その注目画素について構成されるクラスタッ
プの5画素が取り得る画素値によって、32(=
(21)5)のパターンに分類することができる。このよ
うなパターン分けがクラス分類であり、いまの場合、注
目画素は、32のクラスのうちのいずれかに分類される
ことになる。
程度が割り当てられるが、画素に8ビットが割り当てら
れている場合には、上述のように5画素でなるクラスタ
ップを構成してクラス分類を行うと、そのクラス数は、
(28)5という膨大な数になる。
構成されるクラスタップに対して、LビットADRC(Adapti
ve Dynamic Range Coding)処理し、そのADRC処理後のク
ラスタップに基づいて行うようにすることができる。
えば、クラスタップを構成する画素の画素値の最大値MA
Xと最小値MINが検出され、DR=MAX-MINを、集合の局所的
なダイナミックレンジとし、このダイナミックレンジDR
に基づいて、クラスタップを構成する画素がLビットに
再量子化される。即ち、クラスタップを構成する画素の
画素値の中から、最小値MINが減算され、その減算値がD
R/2Lで除算(量子化)される。従って、クラスタップ
が、LビットADRC処理された場合には、そのクラスタッ
プを構成する各画素の画素値はLビットとされることに
なり、Lを、画素に割り当てられたビット数より小さい
値とすることで、クラスタップをADRC処理せずにクラス
分類を行う場合に比較して、クラス数を減少させること
ができる。
は右端の画素が注目画素となった場合には、その上、
下、左、または右に隣接する画素は存在しないため、こ
の場合には、例えば、フレームの上側、下側、左側、ま
たは右側に、同一フレームが折り返して存在するものと
仮定して、クラスタップを構成するものとする。
て、注目フレームを構成する各画素を、その画素につい
てのクラスタップに基づいてクラス分類することによ
り、注目フレームの重心を求める場合の、重心算出部2
1で行われる処理(注目フレームの重心算出処理)につ
いて説明する。
いて、図8のステップS11乃至S17における場合と
それぞれ同様の処理が行われる。そして、図8のステッ
プS18に対応するステップS58では、座標(x,
y)にある画素p(x,y)が注目画素とされ、その注
目画素についてクラスタップが構成される。そして、注
目画素が、そのクラスタップに基づいて、例えば、K個
のクラスのうちのいずれかにクラス分類され、そのクラ
ス分類結果が、クラステーブルに登録される。
心算出部21は、その内蔵するメモリに、例えば、図1
2に示すような、各クラスk(k=1,2,・・・,
K)について、そのクラスkに属する画素の度数f
kと、クラスkに属する画素のx座標の積算値Σxkおよ
びy座標の積算値Σykを対応付けたクラステーブルを
記憶しており、例えば、注目画素がクラスkに属する場
合には、クラステーブルにおけるクラスkについての度
数fkを1だけインクリメントするとともに、x座標の
積算値Σxkまたはy座標の積算値Σykに、注目画素の
x座標またはy座標をそれぞれ加算する。
と同様に、図11のフローチャートにしたがった処理が
開始されるごとに、0にクリアされるようになってい
る。
6に戻り、以下、同様の処理が繰り返される。
Y未満でないと判定された場合、ステップS59に進
み、クラステーブルの各クラスに属する画素の重心が求
められる。即ち、ステップS59では、クラステーブル
の各クラスkにおけるx座標の積算値Σxkまたはy座
標の積算値Σykそれぞれが、その度数fkで除算され、
その除算値で表される座標(Σxk/fk,Σyk/fk)
が、各クラスkに属する画素の重心として求められる。
乃至Kそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。
Kそれぞれに属する画素の重心について、例えば、その
度数f1乃至fKを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。
を、その画素についてのクラスタップに基づいてクラス
分類することにより、注目フレームの重心を求める場合
には、動き検出範囲の重心も、その動き検出範囲を構成
する各画素についてクラスタップを構成し、そのクラス
タップに基づいてクラス分類を行うことにより求めるよ
うにするのが望ましい。
を行うことにより求める場合には、図11のフローチャ
ートに示した処理において、そのステップS51の処理
に替えて、図10のフローチャートに示したステップS
31およびS32の処理を行う他は、図11に示した場
合と同様であるため、その説明は省略する。
ームを構成する各画素を、その画素についてのクラスタ
ップに基づいてクラス分類し、その結果得られるすべて
のクラスに属する画素の重心を用いて、注目フレームの
重心を求めるようにしたが、注目フレームの重心は、そ
の他、例えば、クラス分類の結果得られる特定のクラス
に属する画素の重心のみを用いて求めるようにすること
が可能である。
ッジになっている部分の画素(以下、適宜、エッジ画素
という)が属するクラスを、特定のクラスとして、その
特定のクラス(以下、適宜、エッジクラスという)に属
する画素(エッジ画素)の重心のみを用いて求めるよう
にすることが可能である。
て、注目フレームを構成する各画素のクラス分類結果の
うち、エッジクラスに属するエッジ画素の重心のみを用
いて求める場合に、重心算出部21で行われる処理(注
目フレームの重心算出処理)について説明する。
おいて、図8のステップS11乃至S17における場合
とそれぞれ同様の処理が行われる。そして、ステップS
77において、変数xがX未満であると判定された場合
は、ステップS78に進み、座標(x,y)にある画素
p(x,y)が注目画素とされ、図11のステップS5
8における場合と同様に、その注目画素がクラス分類さ
れる。
S78におけるクラス分類の結果得られるクラスがエッ
ジクラスかどうか、即ち、注目画素がエッジ画素かどう
かが判定される。
構成されるクラスタップを、2ビットADRC処理してから
クラス分類を行う場合には、注目画素は、1024(=
(2 2)5)クラスのうちのいずれかに分類される。とこ
ろで、クラスタップを、2ビットADRC処理した場合に
は、そのクラスタップを構成する画素の画素値は、00
B,01B,10B,11Bのうちのいずれかの値とな
る(Bは、その前に配置された値が2進数であることを
表す)。従って、クラスタップが、上述したように、注
目画素と、その注目画素の上下左右にそれぞれ隣接する
4画素との合計5画素で構成される場合においては、注
目画素の画素値が、最小値である00Bであるととも
に、その上下左右にそれぞれ隣接する4画素の画素値が
00B以外であるときと、注目画素の画素値が、最大値
である11Bであるとともに、その上下左右にそれぞれ
隣接する4画素の画素値が11B以外であるときに、注
目画素がエッジ画素になっていると考えられる。
素の画素値が00Bであり、かつ、その上下左右にそれ
ぞれ隣接する4画素の画素値が、01B,10B,11
Bのうちのいずれかである場合は、画素値が、注目画素
において、いわば谷(凹)になっている。また、図14
(B)に示すように、注目画素の画素値が11Bであ
り、かつ、その上下左右にそれぞれ隣接する4画素の画
素値が、00B,01B,10Bのうちのいずれかであ
る場合は、画素値が、注目画素において、いわば山
(凸)になっている。従って、図14に示した場合にお
いては、注目画素がエッジ画素になっている。
かつ、その上下左右にそれぞれ隣接する4画素の画素値
が、01B,10B,11Bのうちのいずれかである場
合は、81(=3×3×3×3)通りあり、注目画素の
画素値が11Bであり、かつ、その上下左右にそれぞれ
隣接する4画素の画素値が、00B,01B,10Bの
うちのいずれかである場合も同様に、81通りある。従
って、エッジ画素が属するクラス(エッジクラス)は、
162(=81+81)通りある。
注目画素がエッジ画素でないと判定された場合、即ち、
注目画素のクラスが、上述の162通りあるエッジクラ
スのうちのいずれでもない場合、ステップS76に戻
る。
がエッジ画素であると判定された場合、即ち、注目画素
のクラスが、上述の162通りあるエッジクラスのうち
のいずれかである場合、ステップS80に進み、注目画
素のクラス分類結果が、クラステーブルに登録される。
即ち、ステップS80では、図12に示したようなクラ
ステーブルの、注目画素のクラスkについての度数fk
が1だけインクリメントされるとともに、x座標の積算
値Σxkまたはy座標の積算値Σykに、注目画素のx座
標またはy座標がそれぞれ加算される。
ラスに属する注目画素についてのみ、クラステーブルへ
の登録が行われるから、例えば、上述したように、5画
素で構成されるクラスタップを2ビットADRC処理した後
にクラス分類を行い、エッジクラスのみをクラステーブ
ルに登録する場合には、クラステーブルのクラス数K
は、上述したエッジクラスの数である162となる。
2ビットADRC処理した後にクラス分類を行い、すべての
クラスをクラステーブルに登録する場合には、注目画素
は、上述したように、1024クラスのうちのいずれか
に分類されるから、クラステーブルのクラス数Kは、1
024となる。
図11の実施の形態における場合に比較して、クラステ
ーブルの大きさ(容量)を小さくすることができる。
6に戻り、以下、同様の処理が繰り返される。
Y未満でないと判定された場合、ステップS81に進
み、クラステーブルの各エッジクラスに属する画素の重
心が求められる。即ち、ステップS81では、クラステ
ーブルの各エッジクラスkにおけるx座標の積算値Σx
kまたはy座標の積算値Σykそれぞれが、その度数fk
で除算され、その除算値で表される座標(Σxk/fk,
Σyk/fk)が、各エッジクラスkに属する画素の重心
として求められる。
ラス1乃至Kそれぞれに属する画素の重心の重心が、注
目フレームを構成する画素全体の重心として求められ、
リターンする。
1乃至Kそれぞれに属する画素の重心について、例え
ば、その度数f1乃至fKを重みとする重み付け平均値が
求められ、その重み付け平均値が、注目フレームを構成
する画素全体の重心として出力される。
ームを構成する画素のうち、エッジクラスに属するもの
のみを用いて求める場合には、動き検出範囲の重心も、
その動き検出範囲を構成する画素のうち、エッジクラス
に属するもののみを用いて求めるようにするのが望まし
い。
スに属する画素のみを用いて求める場合には、図13の
フローチャートに示した処理において、そのステップS
71の処理に替えて、図10のフローチャートに示した
ステップS31およびS32の処理を行う他は、図13
に示した場合と同様であるため、その説明は省略する。
のフレームに対して、カメラ動きのないものである場合
には、注目フレームのカメラ動きベクトルは、その1フ
レーム前のフレームのカメラ動きベクトルに等しくなる
べきである。しかしながら、上述したようにして、フレ
ームのカメラ動きベクトルを求める場合には、前景の動
きが影響することにより、注目フレームが、カメラ動き
のないものであっても、そのカメラ動きベクトルとし
て、その1フレーム前のフレームのカメラ動きベクトル
と異なるものが求まる可能性がある。
2には、同図に点線で示すように、注目フレームが、そ
の1フレーム前のフレームに対して、カメラ動きのない
ものであるかどうかを判定する動きなし判定部25を設
け、さらに、ベクトル検出部22において、注目フレー
ムがカメラ動きのないものである場合には、その1フレ
ーム前のフレームのカメラ動きベクトルを、注目フレー
ムのカメラ動きベクトルとして出力し、注目フレームが
カメラ動きのあるものである場合には、上述したように
して、注目フレームおよび動き検出範囲の重心から、注
目フレームのカメラ動きベクトルを求めるようにするこ
とができる。
メラ動きのないものである場合には、注目フレームのカ
メラ動きベクトルを、その1フレーム前のフレームのカ
メラ動きベクトルと等しくすることができる。
て、動きなし判定部25において行われる、注目フレー
ムがカメラ動きのないものであるかどうかを判定する処
理(動きなし判定処理)について説明する。
至S99において、図13のステップS71乃至S79
における場合とそれぞれ同様の処理が行われる。
素がエッジ画素であると判定された場合、ステップS1
00に進み、注目画素の画素値p(x,y)が、その1
フレーム前の同一位置にある画素の画素値p’(x,
y)に等しいかどうかが判定される。
(x,y)がp’(x,y)に等しいとは、p(x,
y)がp’(x,y)にほぼ等しい場合、即ち、|p
(x,y)−p’(x,y)|が、所定の微小値以内で
ある場合を含むものとする。
素値p(x,y)が、その1フレーム前の同一位置にあ
る画素の画素値p’(x,y)に等しくないと判定され
た場合、ステップS101をスキップして、ステップS
96に戻る。
素の画素値p(x,y)が、その1フレーム前の同一位
置にある画素の画素値p’(x,y)に等しいと判定さ
れた場合、即ち、エッジ画素である注目画素の画素値p
(x,y)が、空間的に同一位置にある1フレーム前の
画素の画素値p’(x,y)に等しい場合、ステップS
101に進み、変数cが1だけインクリメントされ、ス
テップS96に戻る。
処理が開始される前に0にクリアされるようになってい
る。
がY未満でないと判定された場合、即ち、注目フレーム
を構成する画素すべてを注目画素として処理を行った場
合、ステップS102に進み、変数cが、所定の閾値t
h以上であるか否かが判定される。ステップS102に
おいて、変数cが、所定の閾値th以上であると判定さ
れた場合、即ち、注目フレームのエッジ画素の中に、1
フレーム前の同一位置にある画素と同一(ほぼ同一)の
画素値となっている画素が、閾値th以上存在する場
合、ステップS103に進み、注目フレームが、その1
フレーム前のフレームに対して、カメラ動きのないもの
であるかどうかの判定結果として、動きがない旨のメッ
セージが、ベクトル検出部22に出力され、動きなし判
定処理を終了する。
が、所定の閾値th以上でないと判定された場合、即
ち、注目フレームのエッジ画素の中に、1フレーム前の
同一位置にある画素と同一(ほぼ同一)の画素値となっ
ている画素が、閾値th以上存在しない場合、ステップ
S104に進み、注目フレームが、その1フレーム前の
フレームに対して、カメラ動きのないものであるかどう
かの判定結果として、動きがある旨のメッセージが、ベ
クトル検出部22に出力され、動きなし判定処理を終了
する。
算出部21における、注目フレームおよび動き検出範囲
の重心を算出する処理に先だって行われ、さらに、第2
フレーム以降のフレームを対象に行われる。
構成例を示している。
トル記憶部13(図2)に記憶された一連の画像として
の第1フレーム乃至第Nフレームのカメラ動きベクトル
v1乃至vNが供給されるようになっており、存在範囲検
出部31は、第1乃至第Nフレームの背景の位置合わせ
を行った状態で、基準座標系において、その第1乃至第
Nフレームの画像が存在する最小の矩形の領域(存在範
囲)を検出するようになっている。
ム乃至第Nフレームのカメラ動きベクトルv1乃至vNに
基づき、第1フレーム乃至第Nフレームについて、その
背景の位置合わせを行った状態を想定し、その位置合わ
せを行った状態で、第1乃至第Nフレームの画素が存在
する最小の矩形の領域である存在範囲を検出する。さら
に、存在範囲検出部31は、その存在範囲の、基準座標
系における、例えば、最も左上の頂点の座標(Xmin,
Ymin)と、最も右下の頂点の座標(Xmax,Ym ax)を
求め、読み出し部32および書き込み部35に供給す
る。
景の位置合わせを行った状態は、図17に示すように、
基準座標系において、第1フレーム乃至第Nフレーム
を、それぞれのカメラ動きベクトルv1乃至vNによって
示される座標に、フレームの左上の頂点が位置するよう
に配置することで想定することができる。
記憶されている第1フレーム乃至第Nフレームを構成す
る画素のうち、その第1フレーム乃至第Nフレームの背
景の位置合わせを行った状態で空間的に同一位置にある
画素を検出して読み出し、度数カウント部33および書
き込み部35に供給するようになっている。
部21から座標(Xmin,Ymin)および(Xmax,
Ymax)が供給される他、カメラ動きベクトル記憶部1
3(図2)に記憶されたカメラ動きベクトルv1乃至vN
も供給されるようになっており、読み出し部32は、ま
ず、存在範囲検出部31と同様に、第1フレーム乃至第
Nフレームのカメラ動きベクトルv1乃至vNに基づき、
第1フレーム乃至第Nフレームについて、その背景の位
置合わせを行った状態を想定する。さらに、読み出し部
32は、基準座標系の、存在範囲検出部21から供給さ
れる座標(Xmin,Ym in)および(Xmax,Ymax)によ
って規定される存在範囲内の座標を順次スキャンしてい
き、図18に示すように、各座標(x,y)における、
背景の位置合わせを行った状態の第1フレーム乃至第N
フレームの画素を検出して読み出す。
合わせを行った状態において、基準座標系の座標(x,
y)に位置する、第nフレームの画素の検出は、その第
nフレームの左上の画素を原点とした、いわばローカル
な座標系(以下、適宜、ローカル座標系という)を考え
た場合には、座標(x,y)から、カメラ動きベクトル
vnを減算した座標にある画素を検出することによって
行うことができる。
ら供給される、第1乃至第Nフレームを構成する画素の
うち、その背景の位置合わせを行った状態で空間的に同
一位置にある画素(以下、適宜、位置合わせ状態での同
一位置画素という)の集合ごとに、例えば、上述した画
素値の各レベルに属する画素の度数を計数し、その計数
結果に基づいて、その後段の度数テーブル記憶部34に
記憶された度数テーブルへの登録を行うようになってい
る。
9に示すような度数テーブルを記憶するようになってい
る。即ち、度数テーブル記憶部34は、存在範囲内の各
座標(x,y)について、位置合わせ状態での同一位置
画素の画素値の各レベルと、そのレベルに属する画素の
度数の、位置合わせ状態での同一位置画素の画素数に対
する割合とを対応付けて登録するための度数テーブルを
記憶している。
おける位置合わせ状態での同一位置画素の集合におい
て、度数のm番目に大きい画素値のレベルを、第m度数
レベルという。
は、第1度数レベルから第M度数レベルまでのM個のレ
ベルと、その度数の割合とが登録されるようになってい
る。従って、ここでは、度数カウント部33は、度数
が、M+1番目以降のレベルについては、度数の計数結
果を、度数テーブルに登録せず破棄するようになってい
る。但し、度数の計数結果は、すべてのレベルについ
て、度数テーブルに登録するようにすることも可能であ
る。
得る値の範囲を、K個のレベルに分割した場合には、上
述のMは、K以下の値となる。
4に記憶された度数テーブルと、読み出し部32から供
給される画素とに基づき、背景メモリ15(図2)の、
存在範囲検出部31から供給される存在範囲内に相当す
る各アドレスに、全体背景を構成する背景画素を書き込
むようになっている。さらに、書き込み部35は、背景
フラグメモリ36への背景フラグの書き込みも行うよう
になっている。
画素について、背景画素が書き込まれているかどうかを
表す背景フラグを記憶するようになっている。即ち、書
き込み部35は、背景メモリ15のあるアドレスに背景
画素を書き込んだとき、そのアドレスに対応する、背景
フラグメモリ36のアドレスに背景フラグを書き込むよ
うになっている。ここで、背景フラグは、例えば、1ビ
ットのフラグであるとし、背景画素が書き込まれている
アドレスに対応する背景フラグは1とされ、まだ書き込
まれていないアドレスに対応する背景フラグは0とされ
るものとする。
て、図16の背景抽出部14において行われる、第1フ
レーム乃至第Nフレームから全体背景を抽出する背景抽
出処理について説明する。
ップS111において、カメラ動きベクトル記憶部13
からカメラ動きベクトルを読み出し、図17で説明した
ようにして、存在範囲を検出する。そして、その存在範
囲の、基準座標系における左上の点の座標(Xmin,Y
min)と、右下の点の座標(Xmax,Ymax)を、存在範
囲を特定するための情報として、読み出し部32および
書き込み部35に供給する。
めの座標(Xmin,Ymin)および(Xmax,Ymax)を受
信すると、ステップS112において、存在範囲を、基
準座標系のy軸方向にスキャンするための変数yに、初
期値としてのYmin−1をセットし、ステップS113
に進み、その変数yを1だけインクリメントして、ステ
ップS114に進む。ステップS114では、変数yが
Ymax以下であるかどうかが判定され、Ymax以下である
と判定された場合、ステップS115に進む。ステップ
S115では、読み出し部31は、存在範囲を、基準座
標系のx軸方向にスキャンするための変数xに、初期値
としてのXmin−1をセットし、ステップS116に進
み、その変数xを1だけインクリメントして、ステップ
S117に進む。ステップS117では、変数xがX
max以下であるかどうかが判定され、Xmax以下でないと
判定された場合、ステップS113に戻り、以下、同様
の処理が繰り返される。
がXmax以下であると判定された場合、ステップS11
8に進み、蓄積部11(図2)に記憶された一連の画像
としての第1フレーム乃至第Nフレームのフレーム数を
カウントするための変数nに、初期値としての0がセッ
トされ、ステップS119に進む。ステップS119で
は、変数nが1だけインクリメントされ、ステップS1
20に進み、変数nが、蓄積部11(図2)に記憶され
た一連の画像のフレーム数であるN以下であるかどうか
が判定される。
下であると判定された場合、ステップS121に進み、
読み出し部32において、第1フレーム乃至第Nフレー
ムの背景の位置合わせを行った状態で、基準座標系の座
標(x,y)の位置にある第nフレームの画素が、蓄積
部11(図2)から読み出される。即ち、読み出し部3
2は、第nフレームの左上の画素を原点としたローカル
座標系において、座標(x,y)から、カメラ動きベク
トルvnを減算した座標(x,y)−vnにある画素を、
蓄積部11(図2)から読み出す。
たはy座標を、それぞれxv#nまたはyv#nと表すととも
に、1フレームの横または縦の画素数を、それぞれXま
たはYと表すこととすると、読み出し部32は、第nフ
レームについてのローカル座標系における座標(x−x
v#n,y−yv#n)に位置する画素を読み出すこととなる
が、この場合、0≦x−xv#n<X、および0≦y−y
v#n<Yの範囲外における座標(x−xv#n,y−
yv#n)には、第nフレームの画素は存在しない。従っ
て、ステップS121における第nフレームの画素の読
み出しは、x−xv#nが、0≦x−xv#n<Xの範囲内で
あり、かつy−yv#nが、0≦y−yv#n<Yの範囲内で
あるときのみ行われる。
いて、蓄積部11(図2)から、第nフレームの画素を
読み出すと、その画素を、度数カウント部33および書
き込み部35に供給し、ステップS119に戻る。そし
て、ステップS120において、変数nがN以下でない
と判定されるまで、ステップS119乃至S121の処
理が繰り返され、これにより、第1フレーム乃至第Nフ
レームの背景の位置合わせを行った状態で、基準座標系
の座標(x,y)の位置にある第1フレーム乃至第Nフ
レームの画素(位置合わせ状態での同一位置画素)が、
度数カウント部33および書き込み部35に供給され
る。但し、上述したように、フレームによっては、基準
座標系の座標(x,y)に画素が存在しない場合があ
り、この場合、そのフレームの画素は、度数カウント部
33および書き込み部35に供給される画素には含まれ
ない。
nがN以下でないと判定されると、ステップS122に
進み、度数カウント部33は、読み出し部32から供給
される、基準座標系の座標(x,y)の位置にある、背
景の位置合わせを行った状態の第1乃至第Nフレームの
各画素を、その画素値が、例えば、レベル1乃至Kのう
ちのいずれの範囲に属するかによってレベル分類する。
さらに、度数カウント部33は、各レベルに属する画素
の度数を計数し、その度数の割合(各レベルに属する画
素の総数に対する割合)を求める。
ウント部33は、度数の割合が第1位から第M位までの
レベル(第1度数レベル乃至第M度数レベル)と、その
各レベルに属する画素の度数の割合とを、度数テーブル
記憶部34の、図19に示したような度数テーブルにお
ける、座標(x,y)の欄(行)に登録し、ステップS
116に戻る。
がYmax以下でないと判定された場合、即ち、存在範囲
内のすべての座標について処理を行った場合、ステップ
S124に進み、書き込み部35は、度数テーブル記憶
部34に記憶された度数テーブルにおいて、第1度数レ
ベルに属する画素の割合が所定値以上になっている座標
を検出し、その座標に対応する背景メモリ15のアドレ
スに、その第1度数レベルに対応する画素値を、背景画
素の画素値として書き込む背景画素抽出処理を行い、ス
テップS125に進む。ステップS125では、書き込
み部35は、ステップS124の背景画素抽出処理にお
いて画素値が書き込まれなかった存在範囲内の座標につ
いて、背景画素としての画素値を書き込む背景拡張処理
を行い、背景抽出処理を終了する。
て、図20のステップS124において書き込み部35
が行う背景画素抽出処理について説明する。
乃至S136において、図20のステップS112乃至
117における場合とそれぞれ同様の処理が行われ、ス
テップS136において、変数xがXmax以下であると
判定された場合、ステップS37に進み、度数テーブル
を参照することにより、座標(x,y)に対する第1度
数レベルの割合が所定の閾値Lth以上であるかどうかが
判定される。
y)に対する第1度数レベルの割合が所定の閾値Lth以
上でないと判定された場合、即ち、背景の位置合わせを
行った状態の第1フレーム乃至第Nフレームを構成する
画素のうち、座標(x,y)に位置する画素の最も度数
の多い画素値の、その度数の割合が高くない場合、ステ
ップS138およびS139をスキップして、ステップ
S135に戻る。
(x,y)に対応する背景メモリ15(図2)のアドレ
スには、背景画素の画素値は書き込まれない。
(x,y)に対する第1度数レベルの割合が所定の閾値
Lth以上であると判定された場合、即ち、背景の位置合
わせを行った状態の第1フレーム乃至第Nフレームを構
成する画素のうち、座標(x,y)に位置する画素の最
も度数の多い画素値の、その度数の割合が高い場合、ス
テップS138に進み、書き込み部35は、その度数の
割合が高い画素値を、座標(x,y)に位置する背景画
素の画素値として、背景メモリ15に書き込む。
せを行った状態の第1フレーム乃至第Nフレームの、座
標(x,y)に位置する画素のうち、第1度数レベルに
属するものを、読み出し部32から供給される画素から
抽出し、例えば、その平均値を計算する。そして、書き
込み部35は、その平均値を、座標(x,y)に位置す
る背景画素の画素値として、背景メモリ15に書き込
む。
139に進み、書き込み部35は、背景フラグメモリ3
6の、座標(x,y)に対応するアドレスに記憶された
背景フラグを1にし(背景フラグをたて)、ステップS
135に戻り、以下、ステップS133において、変数
yがYmax以下でないと判定されるまで、同様の処理が
繰り返される。
yがYmax以下でないと判定されると、リターンする。
は、例えば、図21の背景画素抽出処理が開始されると
きに、0にクリアされるようになっている。
では、上述したように、背景の位置合わせを行った状態
の第1フレーム乃至第Nフレームを構成する画素のう
ち、座標(x,y)に位置する画素の最も度数の多い画
素値の、その度数の割合が高くない場合においては、座
標(x,y)には、背景としての画素値が書き込まれな
い。
合わせを行った状態の第1フレーム乃至第Nフレームを
構成する画素のうち、座標(x,y)に位置する画素の
最も度数の多い画素値の、その度数の割合が高い場合、
その度数の最も多い画素値が、座標(x,y)における
全体背景の画素値として確からしいものとして、背景メ
モリ15に書き込まれる。従って、度数の最も多い画素
値が、座標(x,y)における全体背景の画素値として
確からしいとはいえない場合、即ち、ここでは、背景の
位置合わせを行った状態の第1フレーム乃至第Nフレー
ムを構成する画素のうち、座標(x,y)に位置する画
素の最も度数の多い画素値の、その度数の割合が高くな
い場合には、背景画素抽出処理では、座標(x,y)に
対応する背景メモリ15のアドレスには、全体背景の画
素値は書き込まれない。
景メモリ15に画素値が書き込まれることで構成される
全体背景は、いわば虫食い状態となっており、その虫食
い部分を埋めていく必要がある。このため、図20の背
景抽出処理では、ステップS124で背景画素抽出処理
(図21)が行われた後、ステップS125において、
虫食い部分を画素値で埋めることにより、いわば背景を
拡張していく背景拡張処理が行われるようになってい
る。
て、図20のステップS125における背景拡張処理に
ついて説明する。
いて、変数yに、初期値としてのY min−1がセットさ
れ、ステップS142に進み、その変数yが1だけイン
クリメントされ、ステップS143に進む。ステップS
143では、変数yがYmax以下であるかどうかが判定
され、Ymax以下であると判定された場合、ステップS
145に進む。ステップS145では、変数xに、初期
値としてのXmin−1がセットされ、ステップS146
に進み、その変数xが1だけインクリメントされて、ス
テップS147に進む。ステップS147では、変数x
がXmax以下であるかどうかが判定され、Xmax以下でな
いと判定された場合、ステップS142に戻り、以下、
同様の処理が繰り返される。
がXmax以下であると判定された場合、ステップS14
8に進み、座標(x,y)に対応する背景フラグメモリ
36のアドレスに記憶された背景フラグが0であるかど
うかが判定される。ステップS148において、座標
(x,y)に対応する背景フラグメモリ36のアドレス
に記憶された背景フラグが0でないと判定された場合、
即ち、その背景フラグが1であり、従って、座標(x,
y)に対応する背景メモリ15(図2)のアドレスに、
既に、全体背景としての画素値が書き込まれている場
合、ステップS146に戻り、以下、同様の処理が繰り
返される。
(x,y)に対応する背景フラグメモリ36のアドレス
に記憶された背景フラグが0であると判定された場合、
即ち、座標(x,y)に対応する背景メモリ15(図
2)のアドレスに、まだ、全体背景としての画素値が書
き込まれていない場合、ステップS149に進み、座標
(x,y)に位置する画素の周辺の画素としての、例え
ば、その上、下、左、右、左上、左下、右上、右下に隣
接する画素のうちのいずれかについての背景フラグが1
であるかどうかが、背景フラグメモリ36を参照するこ
とで判定される。
y)に位置する画素に隣接する画素のいずれの背景フラ
グも1でないと判定された場合、即ち、座標(x,y−
1),(x,y+1),(x−1,y),(x+1,
y),(x−1,y−1),(x−1,y+1),(x
+1,y−1),(x+1,y+1)それぞれに対応す
る背景メモリ15(図2)のアドレスのいずれにも、ま
だ、全体背景としての画素値が書き込まれていない場
合、ステップS146に戻る。
(x,y)に位置する画素に隣接する画素のいずれかの
背景フラグが1であると判定された場合、即ち、座標
(x,y−1),(x,y+1),(x−1,y),
(x+1,y),(x−1,y−1),(x−1,y+
1),(x+1,y−1),(x+1,y+1)それぞ
れに対応する背景メモリ15(図2)のアドレスのいず
れかに、既に、全体背景としての画素値が書き込まれて
いる場合、ステップS150に進む。
隣接する画素(に対応する背景メモリ15(図2)のア
ドレス)のうち、全体背景としての画素値が書き込まれ
ているものを、以下、適宜、既書き込み隣接画素とい
う。
素の画素値と連続性のある画素値のレベルが、座標
(x,y)に対する第1乃至第M度数レベルのうちのい
ずれかとして、度数テーブルに登録されているかどうか
が判定される。ここで、連続性のある画素値とは、値が
近い画素値(同一の画素値を含む)どうしを意味する。
接画素の画素値と連続性のある画素値のレベルが、座標
(x,y)に対する第1乃至第M度数レベルのうちのい
ずれかとして、度数テーブルに登録されていると判定さ
れた場合、即ち、背景の位置合わせを行った状態の第1
フレーム乃至第Nフレームを構成する、座標(x,y)
に位置する画素の中に、既書き込み隣接画素の画素値と
連続する画素値を有するものが、ある程度の割合以上存
在する場合、ステップS151に進み、その、ある程度
の割合以上存在する、既書き込み隣接画素の画素値と連
続する画素値に基づいて、座標(x,y)に位置する画
素の、全体背景としての画素値が算出され、背景メモリ
15(図2)の対応するアドレスに書き込まれる。
性のある画素値のレベルが、座標(x,y)に対する第
1乃至第M度数レベルのうちの第m度数レベルとして、
度数テーブルに登録されていたとすると、ステップS1
51では、背景の位置合わせを行った状態の第1フレー
ム乃至第Nフレームを構成する、座標(x,y)に位置
する画素のうちの、第m度数レベルに属する画素値の、
例えば平均値が算出され、その平均値が、座標(x,
y)に位置する画素の、全体背景としての画素値とし
て、背景メモリ15(図2)の対応するアドレスに書き
込まれる。
理では、背景の位置合わせを行った状態の第1フレーム
乃至第Nフレームを構成する画素のうち、座標(x,
y)に位置する最も度数の多い画素値の、その度数の割
合が高い場合に、その度数の最も多い画素値が、座標
(x,y)における全体背景の画素値として確からしい
ものとして、背景メモリ15に書き込まれるが、この背
景画素抽出処理によれば、例えば、ある風景を背景と
し、かつ、ある物体が前景として移動していくような、
Nフレームでなる一連の画像を考えた場合に、前景によ
って隠されずに、Nフレームのほとんどに亘って背景が
表示されている画素については、そのほとんどのフレー
ムに亘って表示されている画素値の度数の割合が高くな
ることから、その画素値が、背景の画素値として書き込
まれる。
り、前景が表示されたり、背景が表示されたりする画素
(以下、適宜、中間画素という)は、前景を構成する画
素値となったり、背景を構成する画素値となったりする
ことから、中間画素については、度数の割合が高くなる
画素値が存在しないため、背景画素抽出処理では、画素
値の書き込みが行われない。
ては、そこに背景が表示されているフレームの画素値を
書き込めば良いが、中間画素に背景が表示されているフ
レームを特定するのは困難である。そこで、背景拡張処
理では、中間画素に隣接する画素の中に、既に、全体背
景としての画素値が書き込まれているものがあり、か
つ、その画素値と近い画素値が、中間画素の画素値とし
て表示されたことがあれば、その表示されたことのある
画素値が、中間画素に背景が表示されたときの画素値と
して確からしいとして、背景メモリ15(図2)に書き
込まれる。
は、ある1フレームにおいてだけ、背景が表示された画
素(中間画素)についても、その1フレームにおいて表
示された背景の画素値を書き込むことが可能となる。
込み隣接画素の画素値と連続性のある画素値のレベル
が、座標(x,y)に対する第1乃至第M度数レベルの
うちのいずれかとして、度数テーブルに登録されていな
いと判定された場合、即ち、背景の位置合わせを行った
状態の第1フレーム乃至第Nフレームを構成する、座標
(x,y)に位置する画素の中に、既書き込み隣接画素
の画素値と連続する画素値を有するものが存在しない場
合、ステップS152に進み、既書き込み隣接画素の画
素値に基づいて、座標(x,y)に位置する画素の、全
体背景としての画素値が算出され、背景メモリ15(図
2)の対応するアドレスに書き込まれる。
に、全体背景としての画素値が書き込まれているもの
(既書き込み隣接画素)があるが、その画素値と近い画
素値が、中間画素の画素値として表示されたことがない
場合には、ステップS152において、例えば、既書き
込み隣接画素の画素値(既書き込み隣接画素が複数存在
する場合には、例えば、その平均値)が、座標(x,
y)に位置する画素の、全体背景としての画素値とし
て、背景メモリ15(図2)に書き込まれる。
は、いずれも、ステップS153に進み、ステップS1
51またはS152で全体背景としての画素値が書き込
まれた画素の背景フラグ、即ち、背景フラグメモリ36
の、座標(x,y)に対応するアドレスの背景フラグが
1にされ(たてられ)、ステップS146に戻り、以
下、同様の処理が繰り返される。
がYmax以下でないと判定された場合、ステップS14
4に進み、前景フラグメモリ36に記憶された、存在範
囲内の各座標に対する背景フラグがすべて1であるかど
うかが判定される。ステップS143において、存在範
囲内の各座標に対応する背景フラグの中に、1でないも
のがあると判定された場合、即ち、存在範囲内の座標に
位置する画素の中に、まだ、全体背景としての画素値が
書き込まれていないものがある場合、ステップS141
に戻り、以下、同様の処理が繰り返される。
囲内の各座標に対応する背景フラグの中に、1でないも
のがないと判定された場合、即ち、存在範囲内の座標に
位置する画素すべてに、全体背景としての画素値が書き
込まれた場合、リターンする。
示すように、既に、全体背景としての画素値が書き込ま
れた画素(同図において、●印で示す)に隣接する、ま
だ画素値が書き込まれていない画素P(x,y)(同図
において、斜線を付した○印で示す)が存在する場合に
は、その画素P(x,y)に隣接する既書き込み隣接画
素(同図においては、画素P(x−1,y),P(x−
1,y−1),P(x,y−1),P(x+1,y+
1))の画素値や、その画素値と連続性を有する画素値
等が、画素P(x,y)の全体背景としての画素値とし
て書き込まれ、これにより、全体背景が拡張されてい
く。このことから、図22の処理を、背景拡張処理と呼
んでいる。
の構成例を示している。
に記憶された一連の画像としての第1フレーム乃至第N
フレーム、背景メモリ15(図2)に記憶された全体背
景、およびカメラ動きベクトル記憶部13(図2)に記
憶されたカメラ動きベクトルが供給されるようになって
おり、前景抽出部41は、第1フレーム乃至第Nフレー
ムそれぞれから前景を抽出するようになっている。即
ち、前景抽出部41は、全体背景の、基準座標系におい
てカメラ動きベクトルvnだけずれた位置に、第nフレ
ームの左上の点が位置するように、第nフレームを配置
することで、全体背景と第nフレームとの位置合わせを
行い、第nフレームの各画素から、同一位置にある全体
背景の画素を減算することで、第nフレームから前景を
抽出する。
した第1乃至第Nフレームの前景を記憶するようになっ
ている。
ベクトル記憶部13(図2)に記憶されたカメラ動きベ
クトルが供給されるようになっており、前景蓄積画像構
成部43は、そのカメラ動きベクトルに基づき、前景記
憶部42に記憶された第1フレーム乃至第Nフレームの
前景を用いて、前方蓄積画像および後方蓄積画像を構成
するようになっている。即ち、前景蓄積画像構成部43
は、図25に示すように、カメラ動きベクトルに基づい
て、背景の位置合わせを行った状態の第1フレーム乃至
第Nフレームの前景を想定し、その第1フレーム乃至第
Nフレームの前景を、時間の進行方向に向かって見た場
合に得られる後方蓄積画像(過去から眺めた前景により
構成される画像)と、時間の進行方向と逆方向に向かっ
てみた場合に得られる前方蓄積画像(未来から眺めた前
景により構成される画像)とを構成する。
を行った状態の第1フレーム乃至第Nフレームの前景の
画素値を、第1フレームから第Nフレームの順番で、メ
モリ等に上書きしていくことで得ることができる。同様
に、後方蓄積画像は、背景の位置合わせを行った状態の
第1フレーム乃至第Nフレームの前景の画素値を、第N
フレームから第1フレームの順番で、メモリ等に上書き
していくことで得ることができる。
構成部43において構成された前方蓄積画像および後方
蓄積画像を記憶するようになっている。
記憶された前方蓄積画像および後方蓄積画像、さらに
は、必要に応じて、誤差画像記憶部49に記憶された、
後述する誤差画像を構成する画素から、第1フレーム乃
至第Nフレームそれぞれの前景を構成する画素を予測す
るための予測係数を求める学習処理を行うようになって
いる。
て学習が行われることにより求められる予測係数を記憶
するようになっている。
4に記憶された前方蓄積画像および後方蓄積画像を構成
する画素、予測係数記憶部46に記憶された予測係数、
さらには、必要に応じて、誤差画像記憶部49に記憶さ
れた誤差画像を用いて、第1フレーム乃至第Nフレーム
それぞれの前景を予測する適応処理を行うようになって
いる。
処理、および適応処理部47において行われる適応処理
について説明する。
(ここでは、前方蓄積画像および後方蓄積画像や、誤差
画像)を構成する画素と、所定の予測係数との線形結合
により、所望の画像(ここでは、第1フレーム乃至第N
フレームそれぞれの前景)を構成する画素の予測値が求
められる。
適宜、所望画像という)を教師データとするとともに、
その所望画像を求めようとするときに存在する画像(以
下、適宜、存在画像という)を生徒データとして、所望
画像を構成する画素(以下、適宜、所望画素という)の
画素値yの予測値E[y]を、例えば、幾つかの存在画
素(存在画像を構成する画素)の画素値x1,x2,・・
・の集合と、所定の予測係数w1,w2,・・・の線形結
合により規定される線形1次結合モデルにより求めるた
めの予測係数が求められる。この場合、予測値E[y]
は、次式で表すことができる。
jの集合でなる行列W、生徒データの集合でなる行列
X、および予測値E[y]の集合でなる行列Y’を、
合(i件目の教師データyiの予測に用いる生徒データ
の集合)の中のj番目の生徒データを意味し、行列Wの
成分wjは、生徒データの集合の中のj番目の生徒デー
タとの積が演算される予測係数を表す。また、yiは、
i件目の教師データを表し、従って、E[yi]は、i
件目の教師データの予測値を表す。なお、式(1)の左
辺におけるyは、行列Yの成分yiのサフィックスiを
省略したものであり、また、式(1)の右辺におけるx
1,x2,・・・も、行列Xの成分xijのサフィックスi
を省略したものである。
用して、所望画素の画素値yに近い予測値E[y]を求
めることを考える。この場合、教師データとなる所望画
素の真の画素値yの集合でなる行列Y、および所望画素
の画素値yに対する予測値E[y]の残差eの集合でな
る行列Eを、
成立する。
値E[y]を求めるための予測係数wjは、自乗誤差
微分したものが0になる場合、即ち、次式を満たす予測
係数wjが、所望画素の画素値yに近い予測値E[y]
を求めるため最適値ということになる。
で微分することにより、次式が成立する。
られる。
徒データxij、予測係数wj、教師データyi、および残
差eiの関係を考慮すると、式(6)から、次のような
正規方程式を得ることができる。
生徒データxijおよび教師データy iのセットを、ある
程度の数だけ用意することで、求めるべき予測係数wj
の数Jと同じ数だけたてることができ、従って、式
(7)を解くことで(但し、式(7)を解くには、式
(7)において、予測係数wjにかかる係数で構成され
る行列が正則である必要がある)、最適な予測係数wj
を求めることができる。なお、式(7)を解くにあたっ
ては、例えば、掃き出し法(Gauss-Jordanの消去法)な
どを用いることが可能である。
求めるのが学習処理であり、また、その予測係数wjを
用い、式(1)により、所望画素の画素値yに近い予測
値E[y]を求めるのが適応処理である。
は、前景蓄積画像記憶部44に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部49に記憶された誤差画像を、存在画像とする
とともに、第1フレーム乃至第Nフレームそれぞれの前
景を、所望画像として、学習処理または適応処理がそれ
ぞれ行われる。
いないが、所望画像に含まれる成分が再現される点で、
例えば、単なる補間処理とは異なる。即ち、適応処理で
は、式(1)だけを見る限りは、いわゆる補間フィルタ
を用いての補間処理と同一であるが、その補間フィルタ
のタップ係数に相当する予測係数wが、教師データyを
用いての、いわば学習により求められるため、所望画像
に含まれる成分を再現することができる。このことか
ら、適応処理は、いわば画像の創造(解像度想像)作用
がある処理ということができる。
1フレーム乃至第Nフレームそれぞれの前景を読み出
し、適応処理部47で求められた、第1フレーム乃至第
Nフレームそれぞれの前景の予測値の予測誤差を計算す
るようになっている。即ち、誤差計算部48は、例え
ば、第nフレームの前景を構成する画素の予測値から、
その画素の画素値の真値を減算することにより、画素ご
とに、予測誤差を求めるようになっている。
求められた、第1フレーム乃至第Nフレームの前景の予
測誤差でなる画像(以下、適宜、誤差画像という)を記
憶するようになっている。
記憶された誤差画像を構成する各画素の画素値としての
予測誤差の、例えば、絶対値和を演算し、その絶対値和
が所定の閾値以下(未満)になっているかどうかを判定
するようになっている。
定部50による判定結果に基づいて、前景蓄積画像記憶
部44に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部46に記憶された予測係数、さらには、
必要に応じて、誤差画像記憶部49に記憶された誤差画
像を多重化し、その結果得られる多重化データを、第1
フレーム乃至第Nフレームそれぞれの前景の符号化結果
として、マルチプレクサ17(図2)に出力するように
なっている。
成例を示している。
記憶部44に記憶された前方蓄積画像および後方蓄積画
像(以下、適宜、両方含めて、前景蓄積画像という)、
さらには、必要に応じて、誤差画像記憶部49に記憶さ
れた誤差画像が供給されるようになっている。そして、
予測タップ構成部61は、背景の位置合わせを行った状
態での第1フレーム乃至第Nフレームそれぞれの前景を
構成する画素のうち、予測値を求めようとするものを、
注目画素として、基準座標系において、注目画素と空間
的に近い位置にある前方蓄積画像および後方蓄積画像の
画素や、誤差画像の画素を抽出し、注目画素の予測値を
適応処理により求めるのに用いる予測タップとして、正
規方程式構成部62に出力する。
成部61から予測タップが供給される他、前景記憶部4
2に記憶された第1フレーム乃至第Nフレームそれぞれ
の前景を構成する画素が供給されるようになっている。
そして、正規方程式構成部62は、注目画素となってい
る前景の画素(教師データ)と、予測タップ(生徒デー
タ)を対象とした足し込みを行う。
プを用い、式(7)の正規方程式の左辺における、予測
係数の乗数となっている、生徒データ(予測タップ)ど
うしの乗算(xijxi ’ j ’)と、サメーション(Σ)に
相当する演算を行う。
ップおよび注目画素を用い、式(7)の正規方程式の右
辺における、生徒データ(予測タップ)と教師データ
(注目画素)の乗算(xijyj)と、サメーション
(Σ)に相当する演算を行う。
が、第1フレーム乃至第Nフレームそれぞれの前景を構
成する画素を、注目画素として行われ、これにより、式
(7)に示した正規方程式がたてられる。
正規方程式構成部62において生成された正規方程式を
解くことにより、予測係数を求め、予測係数記憶部46
(図24)に供給して記憶させる。
処理部47において、背景の位置合わせを行った状態で
の第1フレーム乃至第Nフレームのうち、第nフレーム
の、基準座標系の存在範囲内における位置(x,y)に
ある画素の画素値An(x,y)の予測値E[An(x,
y)]が、例えば、次式にしたがって求められるように
なっている。
方蓄積画像、後方蓄積画像、誤差画像を表し、関数g
(F,B,E,n)は、例えば、式(1)の線形一次式
に相当する次式で定義される。
wB1,wB2,・・・,wE1,wE2,・・・,wは、予測
係数を表す。また、f1,f2,・・・は、前方蓄積画像
Fを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、b1,b2,・・・は、後方蓄積画
像Bを構成する画素のうち、注目画素についての予測タ
ップを構成する画素を、e1,e2,・・・は、誤差画像
Eを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、それぞれ表す。
よって定義される場合、図26の正規方程式構成部62
では、式(9)における予測係数wF1,wF2,・・・,
wB1,wB2,・・・,wE1,wE2,・・・,wを求める
ための正規方程式がたてられ、予測係数算出部63で
は、その正規方程式を解くことで、予測係数wF1,
wF2,・・・,wB1,wB2,・・・,wE1,wE2,・・
・,wが求められる。従って、この場合、第1フレーム
乃至第Nフレームすべての前景について、1セットの予
測係数wF1,wF2,・・・,wB1,wB2,・・・,
wE1,wE2,・・・,wが求められる。
の構成例を示している。
記憶部44に記憶された前景蓄積画像、さらには、必要
に応じて、誤差画像記憶部49に記憶された誤差画像が
供給されるようになっている。そして、予測タップ構成
部71は、図26の予測タップ構成部61における場合
と同様に、背景の位置合わせを行った状態での第1フレ
ーム乃至第Nフレームそれぞれの前景を構成する画素の
うち、予測値を求めようとするものを、注目画素とし
て、基準座標系において、注目画素と空間的に近い位置
にある前方蓄積画像および後方蓄積画像の画素や、誤差
画像の画素を抽出し、予測タップとして、予測演算部7
2に出力する。
1から予測タップが供給される他、予測係数記憶部46
(図24)に記憶された予測係数が供給されるようにな
っている。そして、予測演算部72では、注目画素とな
っている前景の画素の予測値が、予測タップおよび予測
係数を用い、式(8)および(9)で定義される線形一
次式を演算することで求められ、誤差計算部48に出力
される。
て、図24の前景符号化部16において行われる、第1
フレーム乃至第Nフレームそれぞれの前景を符号化する
前景符号化処理について説明する。
前景抽出部41は、カメラ動きベクトル記憶部13(図
2)に記憶されたカメラ動きベクトル、および背景メモ
リ15(図2)に記憶された全体背景を用いて、蓄積部
11(図2)に記憶された第1フレーム乃至第Nフレー
ムの画像それぞれから、上述したようにして前景を抽出
し、前景記憶部42に供給して記憶させる。
積画像構成部43は、前景記憶部42に記憶された第1
フレーム乃至第Nフレームそれぞれの前景から、図25
で説明したような前方蓄積画像および後方蓄積画像を構
成し、前景蓄積画像記憶部44に供給して記憶させ、ス
テップ163に進む。
て、前景蓄積画像記憶部44に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部49に記憶された誤差画像を構成する画素を用
いて学習が行われ、これにより、第1フレーム乃至第N
フレームそれぞれの前景を構成する画素を予測するため
の予測係数が求められる。
理が行われる場合においては、誤差画像記憶部49に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに(用いることができない)、学習が行われ
る。
れた予測係数は、学習部45から予測係数記憶部46に
供給され、上書きする形で記憶される。予測係数記憶部
46に予測係数が記憶されると、ステップS164にお
いて、適応処理部47は、前景蓄積画像記憶部44に記
憶された前方蓄積画像および後方蓄積画像を構成する画
素、予測係数記憶部46に記憶された予測係数、さらに
は、必要に応じて、誤差画像記憶部49に記憶された誤
差画像を用いて、式(8)および(9)の線形一次式を
計算することにより、第1フレーム乃至第Nフレームそ
れぞれの前景を構成する各画素の予測値を求める適応処
理を行う。
理が行われる場合においても、誤差画像記憶部49に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに(用いることができない)、適応処理が行わ
れる。
得られた第1フレーム乃至第Nフレームそれぞれの前景
を構成する各画素の予測値は、誤差計算部48に供給さ
れ、誤差計算部48では、ステップS165において、
前景記憶部42に記憶された第1フレーム乃至第Nフレ
ームそれぞれの前景を参照することで、その前景を構成
する各画素の予測値の予測誤差が求められる。
算部48は、基準座標系の存在範囲内における各位置に
ついて、その位置における予測誤差の絶対値が最大にな
っている画素を、第1フレーム乃至第Nフレームそれぞ
れの前景を構成する画素から抽出し、その抽出された画
素の予測誤差でなる画像を誤差画像として、誤差画像記
憶部49に供給する。誤差画像記憶部49では、誤差計
算部48からの誤差画像が記憶される。
定部50において、誤差画像記憶部49に記憶された誤
差画像を構成する各画素の画素値(予測誤差)の絶対値
の総和が求められ、その総和が、所定の閾値以下(未
満)であるかどうかが判定される。
成する各画素の画素値(予測誤差)の絶対値の総和が、
所定の閾値以下でないと判定された場合、即ち、予測係
数と、前方蓄積画像および後方蓄積画像(さらには、必
要に応じて、誤差画像)とから得られる前景の予測値の
精度が高くない場合、ステップS163に戻り、以下、
同様の処理が繰り返される。
は、誤差画像が記憶されているので、次回のステップS
163またはS164では、図29に示すように、前方
蓄積画像および後方蓄積画像の他、誤差画像も用いて予
測タップが構成され、学習処理または適応処理がそれぞ
れ行われる。
像を構成する各画素の画素値(予測誤差)の絶対値の総
和が、所定の閾値以下であると判定された場合、即ち、
予測係数と、前方蓄積画像および後方蓄積画像(さらに
は、必要に応じて、誤差画像)とから得られる前景の予
測値の精度が高い場合、ステップS168に進み、誤差
判定部50は、MUX51を制御し、前景蓄積画像記憶
部44に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部46に記憶された予測係数、さらには、
誤差画像記憶部49に誤差画像が記憶されている場合に
は、その誤差画像を読み出して多重化させる。そして、
MUX51は、その多重化の結果得られた多重化データ
を、第1フレーム乃至第Nフレームそれぞれの前景の符
号化結果として、マルチプレクサ17(図2)に出力
し、前景符号化処理を終了する。
S166の処理が行われるごとに得られる新たな誤差画
像を、既に記憶されている誤差画像に上書きする形で記
憶させるようにしても良いし、既に記憶されている誤差
画像をそのまま残して記憶させるようにしても良い。
既に記憶されている誤差画像に上書きする形で記憶させ
る場合には、誤差画像は、予測係数の学習が繰り返し行
われても、常に、1枚であるため、前景の予測値の精度
の向上にある程度の限界があるが、多重化データのデー
タ量を少なくすることができる。
49に既に記憶されている誤差画像をそのまま残して記
憶させる場合には、誤差画像が複数枚になるため、多重
化データのデータ量が多少増加するが、図30に示すよ
うに、前方蓄積画像および後方蓄積画像、並びに2枚以
上の誤差画像を用いて予測タップが構成され、学習処理
または適応処理がそれぞれ行われるため、前景の予測値
の精度をより向上させることができる。なお、図30
は、誤差画像が2枚ある場合を示している。
より求めた予測係数を用いて適応処理を行うことにより
予測値を求め、その予測誤差が大きい場合には、誤差画
像も用いて学習処理を再度行い、予測誤差を小さくする
予測係数を求めるようにしたが、予測誤差の大小にかか
わらず、学習部45による最初の学習処理の結果得られ
た予測係数を、前景蓄積画像記憶部44に記憶された前
方蓄積画像および後方蓄積画像とともに、前景の符号化
結果として出力するようにすることも可能である。この
場合、前景符号化部16は、適応処理部47、誤差計算
部48、誤差画像記憶部49、および誤差判定部50は
設けずに構成することが可能となる。
求める関数g(F,B,E,n)を、式(9)によって
定義し、これにより、第1フレーム乃至第Nフレームす
べての前景の予測値を求めるのに共通に用いる1セット
の予測係数を求めるようにしたが、予測係数は、その
他、例えば、1フレームごとや、複数フレームごとに求
めることも可能である。
場合には、関数g(F,B,E,n)を、例えば、式
(10)に示すように定義し、各フレームごとに正規方
程式をたてて解くことにより、予測係数を求めるように
すれば良い。
wB1n,wB2n,・・・,wE1n,wE2n,・・・は、第n
フレームの前景の予測値を求めるのに用いる予測係数を
表す。
前景の予測値を求めるようにしたが、前景の予測値は、
その他、2次以上の高次の予測式によって求めるように
することも可能である。
フレームそれぞれの前景から構成された前方蓄積画像お
よび後方蓄積画像を用いて、第1フレーム乃至第Nフレ
ームそれぞれの前景の予測値を求めるための予測係数の
学習を行うようにしたが、予測係数の学習は、前方蓄積
画像および後方蓄積画像以外の画像を用いて行うように
することも可能である。即ち、予測係数の学習は、例え
ば、雑音でなる1枚以上の画像を用いて、前景の予測値
の予測誤差を小さくするように、その雑音でなる画像の
画素値を操作して行うようにすること等が可能である。
例を示している。
る符号化データ、あるいは記録媒体4(図1)から再生
された符号化データは、DMUX(デマルチプレクサ)
81に供給されるようになっており、DMUX81は、
そこに供給される符号化データを、前方蓄積画像、後方
蓄積画像、予測係数、全体背景、カメラ動きベクトルに
分離するようになっている。なお、符号化データに、誤
差画像が含まれる場合には、DMUX81は、その誤差
画像も、符号化データから分離するようになっている。
は、符号化データに誤差画像が含まれる場合にはその誤
差画像は、DMUX81から画像記憶部86に供給され
るようになっている。また、予測係数、全体背景、また
はカメラ動きベクトルは、DMUX81から、予測係数
記憶部82、背景メモリ87、カメラ動きベクトル記憶
部88にそれぞれ供給されるようになっている。
の予測係数を記憶するようになっている。適応処理部8
3は、予測係数記憶部82に記憶された予測係数、並び
に画像記憶部86に記憶された前方蓄積画像および後方
蓄積画像、さらには必要に応じて誤差画像を用い、図2
4の適応処理部47における場合と同様の適応処理を行
うことで、第1フレーム乃至第Nフレームそれぞれの前
景の予測値を求めるようになっている。
て求められる、第1フレーム乃至第Nフレームそれぞれ
の前景の予測値を、第1フレーム乃至第Nフレームそれ
ぞれの前景の復号結果として記憶するようになってい
る。
た全体背景から、カメラ動きベクトル記憶部88に記憶
された第nフレームのカメラ動きベクトルvnに基づい
て、第nフレームの背景を切り出し(抽出し)、その第
nフレームの背景と、前景記憶部84に記憶された第n
フレームの前景の復号結果とを合成することで、第nフ
レームの画像を復号して出力するようになっている。
される前方蓄積画像および後方蓄積画像、並びに誤差画
像を記憶するようになっている。背景メモリ87は、D
MUX81から供給される全体背景を記憶するようにな
っている。カメラ動きベクトル記憶部88は、DMUX
81から供給される第1フレーム乃至第Nフレームそれ
ぞれのカメラ動きベクトルを記憶するようになってい
る。
て、図31のデコーダ2において行われる、一連の画像
としての第1フレーム乃至第Nフレームの画像を復号す
る復号処理について説明する。
DMUX81は、そこに供給される符号化データを、前
方蓄積画像、後方蓄積画像、必要な誤差画像、予測係
数、全体背景、カメラ動きベクトルに分離する。前方蓄
積画像、後方蓄積画像、および必要な誤差画像は、画像
記憶部86に供給されて記憶される。また、予測係数、
全体背景、またはカメラ動きベクトルは、予測係数記憶
部82、背景メモリ87、カメラ動きベクトル記憶部8
8にそれぞれ供給されて記憶される。
理部83は、予測係数記憶部82に記憶された予測係
数、並びに画像記憶部86に記憶された前方蓄積画像、
後方蓄積画像、および必要な誤差画像を用い、図24の
適応処理部47における場合と同様の適応処理を行うこ
とで、第1フレーム乃至第Nフレームそれぞれの前景の
予測値を求める。この予測値は、前景記憶部84に供給
され、第1フレーム乃至第Nフレームそれぞれの前景の
復号結果として記憶される。
85において、背景メモリ87に記憶された全体背景か
ら、カメラ動きベクトル記憶部88に記憶された第nフ
レームのカメラ動きベクトルvnに基づいて、第nフレ
ームの背景が切り出され、その第nフレームの背景と、
前景記憶部84に記憶された第nフレームの前景の復号
結果とが合成される。合成部85では、以上の処理が、
第1フレーム乃至第Nフレームすべてについて行われ、
復号処理を終了する。
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
専用のハードウェアとしてのエンコーダ1やデコーダ2
に組み込まれているコンピュータ、または各種のプログ
ラムをインストールすることで各種の処理を行う汎用の
コンピュータ等にインストールされる。
の処理を実行するプログラムをコンピュータにインスト
ールし、コンピュータによって実行可能な状態とするた
めに用いられる媒体について説明する。
に、コンピュータ101に内蔵されている記録媒体とし
てのハードディスク102や半導体メモリ103に予め
インストールした状態でユーザに提供することができ
る。
(B)に示すように、フロッピーディスク111、CD-R
OM(Compact Disc Read Only Memory)112,MO(Magnet
o optical)ディスク113,DVD(Digital Versatile Di
sc)114、磁気ディスク115、半導体メモリ116
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウエアとして提供することができる。
すように、ダウンロードサイト121から、ディジタル
衛星放送用の人工衛星122を介して、コンピュータ1
01に無線で転送したり、LAN(Local Area Network)、
インターネットといったネットワーク131を介して、
コンピュータ123に有線で転送し、コンピュータ10
1において、内蔵するハードディスク102などに格納
させるようにすることができる。
媒体を含む広義の概念を意味するものである。
されるプログラムを記述するステップは、必ずしもフロ
ーチャートとして記載された順序に沿って時系列に処理
する必要はなく、並列的あるいは個別に実行される処理
(例えば、並列処理あるいはオブジェクトによる処理)
も含むものである。
01の構成例を示している。
に、CPU(Central Processing Unit)142を内蔵してい
る。CPU142には、バス141を介して、入出力イン
タフェース145が接続されており、CPU142は、入
出力インタフェース145を介して、ユーザによって、
キーボードやマウス等で構成される入力部147が操作
されることにより指令が入力されると、それにしたがっ
て、図33(A)の半導体メモリ103に対応するROM
(Read Only Memory)143に格納されているプログラム
を実行する。あるいは、また、CPU142は、ハードデ
ィスク102に格納されているプログラム、衛星122
若しくはネットワーク131から転送され、通信部14
8で受信されてハードディスク102にインストールさ
れたプログラム、またはドライブ149に装着されたフ
ロッピディスク111、CD-ROM112、MOディスク11
3、DVD114、若しくは磁気ディスク115から読み
出されてハードディスク102にインストールされたプ
ログラムを、RAM(Random Access Memory)144にロー
ドして実行する。そして、CPU142は、その処理結果
を、例えば、入出力インタフェース145を介して、LC
D(Liquid CryStal Display)等で構成される表示部14
6に、必要に応じて出力する。
法、並びに媒体によれば、一連の画像から、その各画面
の背景の位置合わせを行った状態で空間的に同一位置に
ある画素が検出され、その空間的に同一位置にある画素
の画素値の度数が計数される。そして、空間的に同一位
置にある画素の個数に対する度数の割合が所定値以上の
画素値が、背景画像を構成する背景画素の画素値とし
て、背景画像を記憶する背景画像記憶手段に記憶され、
画素値が記憶された背景画素に基づいて、背景画像記憶
手段に記憶された背景画像が拡張される。従って、一連
の画像から、背景を、精度良く抽出することが可能とな
る。
の構成例を示す図である。
である。
す図である。
ための図である。
ロック図である。
ベクトルの求め方を説明するための図である。
き検出処理)を説明するためのフローチャートである。
ムの重心算出処理)の詳細の第1の例を説明するための
フローチャートである。
範囲の重心算出処理)の詳細を説明するためのフローチ
ャートである。
2の例を説明するためのフローチャートである。
3の例を説明するためのフローチャートである。
判定処理)の詳細を説明するためのフローチャートであ
る。
ク図である。
るための図である。
めの図である。
理)を説明するためのフローチャートである。
抽出処理)の詳細を説明するためのフローチャートであ
る。
処理)の詳細を説明するためのフローチャートである。
ある。
ック図である。
明するための図である。
図である。
ック図である。
化処理)の詳細を説明するためのフローチャートであ
る。
様子を示す図である。
される様子を示す図である。
である。
明するためのフローチャートである。
ある。
ブロック図である。
4 記録媒体, 11蓄積部, 12 カメラ動き検出
部, 13 カメラ動きベクトル記憶部,14 背景抽
出部, 15 背景メモリ, 16 前景符号化部,
17 MUX, 21 重心算出部, 22 ベクトル
検出部, 23 書き込み制御部,24 蓄積画像メモ
リ, 25 動きなし判定部, 31 存在範囲検出
部,32 読み出し部, 33 度数カウント部, 3
4 度数テーブル記憶部,35 書き込み部, 36
背景フラグメモリ, 41 前景抽出部, 42前景記
憶部, 43 前景蓄積画像構成部, 44 前景蓄積
画像記憶部,45 学習部, 46 予測係数記憶部,
47 適応処理部, 48 誤差計算部, 49 誤
差画像記憶部, 50 誤差判定部, 51 MUX,
61予測タップ構成部, 62 正規方程式構成部,
63 予測係数算出部,71 予測タップ構成部,
72 予測演算部, 81 DMUX, 82 予測係
数記憶部, 83 適応処理部, 84 前景記憶部,
85 合成部,86 画像記憶部, 87 背景メモ
リ, 88 カメラ動きベクトル記憶部,101 コン
ピュータ, 102 ハードディスク, 103 半導
体メモリ, 111 フロッピーディスク, 112
CD-ROM, 113 MOディスク,114 DVD, 11
5 磁気ディスク, 116 半導体メモリ, 121
ダウンロードサイト, 122 衛星, 131 ネッ
トワーク, 141バス, 142 CPU, 143 R
OM, 144 RAM, 145 入出力インタフェー
ス, 146 表示部, 147 入力部, 148
通信部, 149 ドライブ
Claims (7)
- 【請求項1】 一連の画像から、その背景の画像である
背景画像を抽出する画像処理装置であって、 前記一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出手段と、 前記空間的に同一位置にある画素の画素値の度数を計数
する度数計数手段と、 前記空間的に同一位置にある画素の個数に対する前記度
数の割合が所定値以上の画素値を、前記背景画像を構成
する背景画素の画素値として記憶する背景画像記憶手段
と、 画素値が記憶された前記背景画素に基づいて、前記背景
画像記憶手段に記憶された前記背景画像を拡張する背景
拡張手段とを含むことを特徴とする画像処理装置。 - 【請求項2】 前記背景画像記憶手段は、画素値の最高
度数の前記割合が前記所定値以上の画素値を、前記背景
画像を構成する背景画素の画素値として記憶することを
特徴とする請求項1に記載の画像処理装置。 - 【請求項3】 前記背景拡張手段は、画素値が記憶され
ていない前記背景画素の画素値を、それに近接する、画
素値が記憶されている前記背景画素に基づいて求め、前
記背景画像記憶手段に書き込むことを特徴とする請求項
1に記載の画像処理装置。 - 【請求項4】 前記背景拡張手段は、画素値が記憶され
ていない前記背景画素である未登録背景画素の画素値
を、それに近接する、画素値が記憶されている前記背景
画素である既登録背景画素との連続性に基づいて求め、
前記背景画像記憶手段に書き込むことを特徴とする請求
項1に記載の画像処理装置。 - 【請求項5】 前記背景拡張手段は、前記未登録背景画
素と空間的に同一位置にある前記一連の画像の画素の画
素値の度数の割合が所定の順位内にある画素値が、前記
未登録背景画素に隣接する前記既登録背景画素の画素値
と連続性を有する場合、前記既登録背景画素の画素値と
連続性を有する、前記度数の割合が所定の順以内にある
画素値に基づいて、前記未登録背景画素の画素値を求
め、前記背景画像記憶手段に書き込むことを特徴とする
請求項4に記載の画像処理装置。 - 【請求項6】 一連の画像から、その背景の画像である
背景画像を抽出する画像処理方法であって、 前記一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出ステップと、 前記空間的に同一位置にある画素の画素値の度数を計数
する度数計数ステップと、 前記空間的に同一位置にある画素の個数に対する前記度
数の割合が所定値以上の画素値を、前記背景画像を構成
する背景画素の画素値として、前記背景画像を記憶する
背景画像記憶手段に記憶させる背景画像記憶ステップ
と、 画素値が記憶された前記背景画素に基づいて、前記背景
画像記憶手段に記憶された前記背景画像を拡張する背景
拡張ステップとを含むことを特徴とする画像処理方法。 - 【請求項7】 一連の画像から、その背景の画像である
背景画像を抽出する画像処理を行うためのプログラム
を、コンピュータに実行させる媒体であって、 前記一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出ステップと、 前記空間的に同一位置にある画素の画素値の度数を計数
する度数計数ステップと、 前記空間的に同一位置にある画素の個数に対する前記度
数の割合が所定値以上の画素値を、前記背景画像を構成
する背景画素の画素値として、前記背景画像を記憶する
背景画像記憶手段に記憶させる背景画像記憶ステップ
と、 画素値が記憶された前記背景画素に基づいて、前記背景
画像記憶手段に記憶された前記背景画像を拡張する背景
拡張ステップとを含むことを特徴とするプログラムを、
前記コンピュータに実行させる媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25847399A JP4186093B2 (ja) | 1999-09-13 | 1999-09-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
US10/854,851 US7133562B2 (en) | 1999-09-13 | 2004-05-27 | Image processing apparatus |
US10/855,753 US7003163B2 (en) | 1999-09-13 | 2004-05-27 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25847399A JP4186093B2 (ja) | 1999-09-13 | 1999-09-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001086388A true JP2001086388A (ja) | 2001-03-30 |
JP4186093B2 JP4186093B2 (ja) | 2008-11-26 |
Family
ID=17320721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25847399A Expired - Fee Related JP4186093B2 (ja) | 1999-09-13 | 1999-09-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4186093B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017092886A (ja) * | 2015-11-17 | 2017-05-25 | 日本電信電話株式会社 | 映像符号化方法、映像符号化装置及び映像符号化プログラム |
-
1999
- 1999-09-13 JP JP25847399A patent/JP4186093B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017092886A (ja) * | 2015-11-17 | 2017-05-25 | 日本電信電話株式会社 | 映像符号化方法、映像符号化装置及び映像符号化プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4186093B2 (ja) | 2008-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001086507A (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置 | |
KR101108634B1 (ko) | 화상 처리 장치 및 화상 처리 방법 및 기록 매체 | |
JP3679426B2 (ja) | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム | |
KR101092287B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP5263565B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
US20050265443A1 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
KR20090006068A (ko) | 동영상 시퀀스를 수정하는 방법 및 그 장치 | |
WO2006043258A2 (en) | Dominant motion estimation for image sequence processing | |
JP2009212605A (ja) | 情報処理方法、情報処理装置及びプログラム | |
JPH11112871A (ja) | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 | |
KR20060121971A (ko) | 작은 크기 디스플레이 상에 큰 스틸 사진을 가시화하는방법 | |
JP2001084368A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
JP2001086387A (ja) | 動き検出装置および動き検出方法、並びに媒体 | |
JPH10155139A (ja) | 画像処理装置および画像処理方法 | |
JP2001086388A (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
US20070008342A1 (en) | Segmentation refinement | |
JP4507639B2 (ja) | 画像信号処理装置 | |
JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
JP2010219715A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP4329331B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JPH0937255A (ja) | 動きパラメータ検出装置および動きパラメータ検出方法、並びに画像符号化装置 | |
Bolin | Content Activity Based Video Summarization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080814 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080827 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |