JP3446923B2 - カラー画像の領域分割方式及び方法 - Google Patents
カラー画像の領域分割方式及び方法Info
- Publication number
- JP3446923B2 JP3446923B2 JP14945396A JP14945396A JP3446923B2 JP 3446923 B2 JP3446923 B2 JP 3446923B2 JP 14945396 A JP14945396 A JP 14945396A JP 14945396 A JP14945396 A JP 14945396A JP 3446923 B2 JP3446923 B2 JP 3446923B2
- Authority
- JP
- Japan
- Prior art keywords
- scale factor
- color image
- color
- pixel
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、色によるカラー画
像の領域分割技術に関する。
像の領域分割技術に関する。
【０００２】
【従来の技術】画像の領域分割は重要かつ基本的な画像
処理の１つである。領域分割の目的は、認識対象物体毎
に画像を分割することで、個々の物体に対する処理を可
能にすることにある。画像の領域分割には様々な方法が
あり、例えば、“Digital Image Processing second ed
ition”(Wiley-Interscience、５９７頁〜６２８頁、１
９９１年）に開示された技術が知られている。
処理の１つである。領域分割の目的は、認識対象物体毎
に画像を分割することで、個々の物体に対する処理を可
能にすることにある。画像の領域分割には様々な方法が
あり、例えば、“Digital Image Processing second ed
ition”(Wiley-Interscience、５９７頁〜６２８頁、１
９９１年）に開示された技術が知られている。
【０００３】この開示によれば、画像中の各物体が他の
部分から見て異なる色からなり、かつ物体を構成する画
素同士の色が似ている場合、色による領域分割方法が有
効である。
部分から見て異なる色からなり、かつ物体を構成する画
素同士の色が似ている場合、色による領域分割方法が有
効である。
【０００４】色によるカラー画像の領域分割方法とは、
各画素の色を表しているベクトルの集合を、何らかの基
準によって似ている色を表しているベクトル毎にクラス
タリングし、ベクトルの属するクラスタのインデックス
を元の画素に付けることにより、画像平面上で同じイン
デックスが付き且つ互いに連結している領域毎に画像を
分割する方法である。
各画素の色を表しているベクトルの集合を、何らかの基
準によって似ている色を表しているベクトル毎にクラス
タリングし、ベクトルの属するクラスタのインデックス
を元の画素に付けることにより、画像平面上で同じイン
デックスが付き且つ互いに連結している領域毎に画像を
分割する方法である。
【０００５】
【発明が解決しようとする課題】従来の色による領域分
割方式は、画像を形成する画素が持つ色ベクトルをクラ
スタリングして実現されていた。しかし、認識対象物体
を構成している画素同士の色が大きく異なっている場合
は、クラスタリングによってそれらの画素は別のクラス
タへ属することになり、人間には１つの物体として感じ
られる領域であっても、分割してしまうことになる。
割方式は、画像を形成する画素が持つ色ベクトルをクラ
スタリングして実現されていた。しかし、認識対象物体
を構成している画素同士の色が大きく異なっている場合
は、クラスタリングによってそれらの画素は別のクラス
タへ属することになり、人間には１つの物体として感じ
られる領域であっても、分割してしまうことになる。
【０００６】このような問題は、大きく異なる複数の色
で構成される複雑なテクスチャの領域において顕著に起
こる。複雑なテクスチャの領域であっても、人間が感じ
る領域の色は周りの色と明確に区別できる場合が多い。
しかし、従来のカラー画像領域分割方式では、人間が周
りの色と明確に区別して１つの物体として認識している
領域を分割してしまう不具合がある。
で構成される複雑なテクスチャの領域において顕著に起
こる。複雑なテクスチャの領域であっても、人間が感じ
る領域の色は周りの色と明確に区別できる場合が多い。
しかし、従来のカラー画像領域分割方式では、人間が周
りの色と明確に区別して１つの物体として認識している
領域を分割してしまう不具合がある。
【０００７】従って、本発明は、大きく異なる複数の色
で構成される複雑なテクスチャの領域に対しても、人間
が観測する色を推定でき、人間が感じ取る領域毎に画像
を分割することが可能なカラー画像の領域分割方式を提
供することを目的とする。
で構成される複雑なテクスチャの領域に対しても、人間
が観測する色を推定でき、人間が感じ取る領域毎に画像
を分割することが可能なカラー画像の領域分割方式を提
供することを目的とする。
【０００８】
【課題を解決するための手段】本発明は、色による画像
の領域分割を行う際、処理対象となる色に着目してい
る。複雑なテクスチャの領域の場合、色による領域分割
を成功させるためには、原画像が持つ色ベクトルではな
く、人間が原画像を観測して感じる色を表すベクトル、
つまり観測色ベクトルをクラスタリングするべきであ
る。
の領域分割を行う際、処理対象となる色に着目してい
る。複雑なテクスチャの領域の場合、色による領域分割
を成功させるためには、原画像が持つ色ベクトルではな
く、人間が原画像を観測して感じる色を表すベクトル、
つまり観測色ベクトルをクラスタリングするべきであ
る。
【０００９】そこで、本発明は、各画素の位置において
人間が感じる色を推定するために、人間の視覚システム
モデルとして、「人は、ガウス関数のような平滑化関数
の窓を通して画像を観測している」という仮定を導入す
る。そして実際には、各画素の位置にスケールファクタ
を割り当て、それによって幾つか用意しておいた平滑化
関数のどれを使用するかを決定する。
人間が感じる色を推定するために、人間の視覚システム
モデルとして、「人は、ガウス関数のような平滑化関数
の窓を通して画像を観測している」という仮定を導入す
る。そして実際には、各画素の位置にスケールファクタ
を割り当て、それによって幾つか用意しておいた平滑化
関数のどれを使用するかを決定する。
【００１０】即ち、本発明に従うカラー画像の領域分割
方式は、スケールファクタによってスケールを制御でき
る平滑化フィルタ及びエッジ検出フィルタ（つまり、平
滑化関数及びエッジ検出関数）を有し、エッジ検出フィ
ルタをカラー画像に適用することにより、各画素におけ
る望ましいスケールファクタを決めるスケールファクタ
決定手段と、平滑化フィルタをカラー画像に適用するこ
とにより、望ましいスケールファクタに対する各画素の
観測色ベクトルを決定する観測色ベクトル決定手段と、
観測色ベクトルに基づいて、カラー画像内の全画素に対
するクラスタリングを行うクラスタリング手段とを備え
る。
方式は、スケールファクタによってスケールを制御でき
る平滑化フィルタ及びエッジ検出フィルタ（つまり、平
滑化関数及びエッジ検出関数）を有し、エッジ検出フィ
ルタをカラー画像に適用することにより、各画素におけ
る望ましいスケールファクタを決めるスケールファクタ
決定手段と、平滑化フィルタをカラー画像に適用するこ
とにより、望ましいスケールファクタに対する各画素の
観測色ベクトルを決定する観測色ベクトル決定手段と、
観測色ベクトルに基づいて、カラー画像内の全画素に対
するクラスタリングを行うクラスタリング手段とを備え
る。
【００１１】スケールファクタの決定基準としては、平
滑化関数がエッジを覆わない範囲で最大となるようなも
のを選ぶという基準が好ましい。そのような基準でスケ
ールファクタを決定する一つの方法は、エッジ検出フィ
ルタをカラー画像に適用することにより、任意のスケー
ルファクタに対する任意の画素近傍のエッジ強度を計算
し、そして、各画素近傍における複数個のスケールファ
クタに対するエッジ強度に基づいて、各画素における望
ましいスケールファクタを選択する、という方法であ
る。
滑化関数がエッジを覆わない範囲で最大となるようなも
のを選ぶという基準が好ましい。そのような基準でスケ
ールファクタを決定する一つの方法は、エッジ検出フィ
ルタをカラー画像に適用することにより、任意のスケー
ルファクタに対する任意の画素近傍のエッジ強度を計算
し、そして、各画素近傍における複数個のスケールファ
クタに対するエッジ強度に基づいて、各画素における望
ましいスケールファクタを選択する、という方法であ
る。
【００１２】上記のような基準でスケールファクタを決
定することにより、テクスチャの領域においては大きな
スケールを表すスケールファクタが選択され、エッジの
近傍では小さなスケールを表すスケールファクタが選択
されることになる。結果として、テクスチャ領域では各
画素が持つ色ではなく、平滑化されて周囲の色と混ざっ
たものを、その画素の位置において人間が感じる色とし
て推定できることになる。また、エッジの近傍では平滑
化関数が異なる色の領域に跨がりにくくなるので、分割
するべき領域の境界において人間が観測しないような色
を推定してしなう問題が回避される。
定することにより、テクスチャの領域においては大きな
スケールを表すスケールファクタが選択され、エッジの
近傍では小さなスケールを表すスケールファクタが選択
されることになる。結果として、テクスチャ領域では各
画素が持つ色ではなく、平滑化されて周囲の色と混ざっ
たものを、その画素の位置において人間が感じる色とし
て推定できることになる。また、エッジの近傍では平滑
化関数が異なる色の領域に跨がりにくくなるので、分割
するべき領域の境界において人間が観測しないような色
を推定してしなう問題が回避される。
【００１３】このような工夫により、大きく異なる複数
の色で構成される複雑なテスクチャの領域に対しても、
人間が観測する色を推定でき、人間が感じ取る領域毎に
画像を分割することが可能になる。
の色で構成される複雑なテスクチャの領域に対しても、
人間が観測する色を推定でき、人間が感じ取る領域毎に
画像を分割することが可能になる。
【００１４】好ましくは、各画素の観測色の重要性を領
域分割に反映させることができる。そのための一つの方
法は、各画素の望ましいスケールファクタから各画素の
重要度を決めて、その重要度によって各画素の観測色ベ
クトルを重み付けし、その重み付けられた観測色ベクト
ルに基づいてクラスタリングを行う、という方法であ
る。
域分割に反映させることができる。そのための一つの方
法は、各画素の望ましいスケールファクタから各画素の
重要度を決めて、その重要度によって各画素の観測色ベ
クトルを重み付けし、その重み付けられた観測色ベクト
ルに基づいてクラスタリングを行う、という方法であ
る。
【００１５】このように各画素の観測色の重要性を領域
分割に反映させることにより、人間にとって取り出した
い情報を強調すること、つまり確実に１つの物体として
他から区別したい物体を分離するような領域分割が可能
となる。重要度は、取り出したい物体、つまり強調した
い情報が何であるかに応じて、適宜に調整できることが
望ましい。
分割に反映させることにより、人間にとって取り出した
い情報を強調すること、つまり確実に１つの物体として
他から区別したい物体を分離するような領域分割が可能
となる。重要度は、取り出したい物体、つまり強調した
い情報が何であるかに応じて、適宜に調整できることが
望ましい。
【００１６】
【発明の実施の形態】以下、本発明の実施の形態を添付
図面に基づいて詳細に説明する。
図面に基づいて詳細に説明する。
【００１７】図１は本発明の一実施形態に係るカラー画
像の領域分割装置の概略構成を示すブロック図である。
像の領域分割装置の概略構成を示すブロック図である。
【００１８】この領域分割装置は、図１に示すように、
入力装置１と、演算処理装置２と、出力装置３と、外部
記憶装置６とを備える。カラーの原画像が入力装置１か
ら演算処理装置２に入力される。演算処理装置２はこの
原画像を色に基づいて処理して、最終的に個々の領域に
区別したカラーインデックス画像を生成する。原画像、
カラーインデックス画像、及び分割処理の過程で作られ
た種々の画像は外部記憶装置６に保存される。出力装置
３はそれらの画像を出力することができる。
入力装置１と、演算処理装置２と、出力装置３と、外部
記憶装置６とを備える。カラーの原画像が入力装置１か
ら演算処理装置２に入力される。演算処理装置２はこの
原画像を色に基づいて処理して、最終的に個々の領域に
区別したカラーインデックス画像を生成する。原画像、
カラーインデックス画像、及び分割処理の過程で作られ
た種々の画像は外部記憶装置６に保存される。出力装置
３はそれらの画像を出力することができる。
【００１９】演算処理装置２は、中央演算装置（ＣＰ
Ｕ）４とメモリ５を有する。このメモリ５には、分割処
理を行うための制御プログラム、処理プログラム等が格
納されている。
Ｕ）４とメモリ５を有する。このメモリ５には、分割処
理を行うための制御プログラム、処理プログラム等が格
納されている。
【００２０】外部記憶装置６には、原画像１１、重要度
１２、エッジ強度１３、スケールファクタ画像１４、平
滑化画像１５、観測色ベクトル１６、代表ベクトル１
７、カラーインデックス画像１８が各々ファイルとして
格納される。これらのファイルは（代表ベクトル１７を
除いて）、それぞれ図２に示すような二次元の座標
（ｃ、ｒ）によってアクセス可能な画素単位のデータの
配列である。
１２、エッジ強度１３、スケールファクタ画像１４、平
滑化画像１５、観測色ベクトル１６、代表ベクトル１
７、カラーインデックス画像１８が各々ファイルとして
格納される。これらのファイルは（代表ベクトル１７を
除いて）、それぞれ図２に示すような二次元の座標
（ｃ、ｒ）によってアクセス可能な画素単位のデータの
配列である。
【００２１】演算処理装置２は事前に複数個のスケール
ファクタＳを用意する。それらのスケールファクタＳ
は、０以上で所定の最大値Ｓｍａｘ（非負の整数）以下
の整数値である。
ファクタＳを用意する。それらのスケールファクタＳ
は、０以上で所定の最大値Ｓｍａｘ（非負の整数）以下
の整数値である。
【００２２】図３は演算処理装置２が行う分割処理の全
体的な流れ示す。
体的な流れ示す。
【００２３】カラーの原画像を入力し（Ｓ１）、その原
画像について、予め用意したスケールファクタのうちの
０からＳｍａｘ−１までの各スケールファクタＳに対す
る、エッジ強度と平滑化画像とを計算する（Ｓ２）。こ
の計算の詳細は後に説明する。結果として、各スケール
ファクタＳ毎に、全座標のエッジ強度と平滑化画像とが
得られ、これらをエッジ強度ファイル１３、平滑化画像
ファイル１５として外部記憶装置６に格納する。エッジ
強度ファイル１３又は平滑化画像ファイル１５におい
て、スケールファクタＳと座標（ｃ、ｒ）とを指定する
ことにより、任意の画素（ｃ、ｒ）における任意のスケ
ールファクタＳに対するエッジ強度値又は平滑画像ベク
トルにアクセスすることができる。
画像について、予め用意したスケールファクタのうちの
０からＳｍａｘ−１までの各スケールファクタＳに対す
る、エッジ強度と平滑化画像とを計算する（Ｓ２）。こ
の計算の詳細は後に説明する。結果として、各スケール
ファクタＳ毎に、全座標のエッジ強度と平滑化画像とが
得られ、これらをエッジ強度ファイル１３、平滑化画像
ファイル１５として外部記憶装置６に格納する。エッジ
強度ファイル１３又は平滑化画像ファイル１５におい
て、スケールファクタＳと座標（ｃ、ｒ）とを指定する
ことにより、任意の画素（ｃ、ｒ）における任意のスケ
ールファクタＳに対するエッジ強度値又は平滑画像ベク
トルにアクセスすることができる。
【００２４】次に、各座標（ｃ、ｒ）毎に、エッジ強度
ファイル１３から種々のスケールファクタに対するエッ
ジ強度を読み出し、これに基づいて各座標（ｃ、ｒ）に
最適なスケールファクタａ（ｃ、ｒ）を決定する（Ｓ
３）。このアルゴリズムの詳細は後に述べる。その結
果、スケールファクタ画像が得られ、これをスケールフ
ァクタ画像ファイル１４として外部記憶装置６に格納す
る。
ファイル１３から種々のスケールファクタに対するエッ
ジ強度を読み出し、これに基づいて各座標（ｃ、ｒ）に
最適なスケールファクタａ（ｃ、ｒ）を決定する（Ｓ
３）。このアルゴリズムの詳細は後に述べる。その結
果、スケールファクタ画像が得られ、これをスケールフ
ァクタ画像ファイル１４として外部記憶装置６に格納す
る。
【００２５】次に、全ての座標（ｃ、ｒ）について観測
色ベクトルと重要度とを計算し（Ｓ４）、外部記憶装置
６に格納する。各座標（ｃ、ｒ）における観測色ベクト
ルは、スケールファクタ画像ファイル１４からの各座標
（ｒ、ｃ）の最適スケールファクタａ（ｒ、ｃ）に基づ
いて、以下の規則に従って決める。即ち、もし最適スケ
ールファクタａ（ｒ、ｃ）＝０ならば、原画像の当該座
標（ｒ、ｃ）における色ベクトルを当該座標（ｒ、ｃ）
の観測色ベクトルとする。もし最適スケールファクタａ
（ｒ、ｃ）＞０ならば、このａ（ｒ、ｃ）より１だけ小
さいスケールファクタＳに対する平滑化画像の当該座標
（ｒ、ｃ）における色ベクトルを、当該座標（ｒ、ｃ）
の観測色ベクトルとする。一方、各座標（ｒ、ｃ）にお
ける重要度は、予めプログラムされたスケールファクタ
Ｓと重要度との対応テーブルを参照して、当該座標
（ｒ、ｃ）の最適スケールファクタａ（ｒ、ｃ）に対応
した重要度を選ぶことにより決める。
色ベクトルと重要度とを計算し（Ｓ４）、外部記憶装置
６に格納する。各座標（ｃ、ｒ）における観測色ベクト
ルは、スケールファクタ画像ファイル１４からの各座標
（ｒ、ｃ）の最適スケールファクタａ（ｒ、ｃ）に基づ
いて、以下の規則に従って決める。即ち、もし最適スケ
ールファクタａ（ｒ、ｃ）＝０ならば、原画像の当該座
標（ｒ、ｃ）における色ベクトルを当該座標（ｒ、ｃ）
の観測色ベクトルとする。もし最適スケールファクタａ
（ｒ、ｃ）＞０ならば、このａ（ｒ、ｃ）より１だけ小
さいスケールファクタＳに対する平滑化画像の当該座標
（ｒ、ｃ）における色ベクトルを、当該座標（ｒ、ｃ）
の観測色ベクトルとする。一方、各座標（ｒ、ｃ）にお
ける重要度は、予めプログラムされたスケールファクタ
Ｓと重要度との対応テーブルを参照して、当該座標
（ｒ、ｃ）の最適スケールファクタａ（ｒ、ｃ）に対応
した重要度を選ぶことにより決める。
【００２６】次に、観測色ベクトルを所定の量子化数で
量子化するための代表ベクトルを決定する（Ｓ５）。代
表ベクトルを決定するための基準は、全座標の観測色ベ
クトルをそれら代表ベクトルに量子化したとき、全体の
量子化誤差の期待値が最小になるようにすることであ
る。その際、各座標（ｒ、ｃ）の観測色ベクトルが当該
座標（ｒ、ｃ）の重要度によって重み付けられているも
のとして、量子化誤差を計算する。尚、ベクトル量子化
のための代表ベクトルの具体的な決定方法には、既に様
々なものが知られており、いずれの具体的方法を用いて
もよい。決定された代表ベクトルには、それぞれの色の
区別のためのインデックス（カラーインデクスという）
が付与される。例えば、量子化数がｎの場合にはｎ個の
代表ベクトルが決定されるが、それらの代表ベクトルに
１からｎまでのカラーインデックスが付与される。
量子化するための代表ベクトルを決定する（Ｓ５）。代
表ベクトルを決定するための基準は、全座標の観測色ベ
クトルをそれら代表ベクトルに量子化したとき、全体の
量子化誤差の期待値が最小になるようにすることであ
る。その際、各座標（ｒ、ｃ）の観測色ベクトルが当該
座標（ｒ、ｃ）の重要度によって重み付けられているも
のとして、量子化誤差を計算する。尚、ベクトル量子化
のための代表ベクトルの具体的な決定方法には、既に様
々なものが知られており、いずれの具体的方法を用いて
もよい。決定された代表ベクトルには、それぞれの色の
区別のためのインデックス（カラーインデクスという）
が付与される。例えば、量子化数がｎの場合にはｎ個の
代表ベクトルが決定されるが、それらの代表ベクトルに
１からｎまでのカラーインデックスが付与される。
【００２７】最後に、各座標（ｒ、ｃ）の観測色ベクト
ルを代表ベクトルに量子化する方法に類似した方法を用
いてカラーインデックス画像を計算する（Ｓ６）。図４
はカラーインデックス画像を計算するときのデータの流
れを示すブロック図である。
ルを代表ベクトルに量子化する方法に類似した方法を用
いてカラーインデックス画像を計算する（Ｓ６）。図４
はカラーインデックス画像を計算するときのデータの流
れを示すブロック図である。
【００２８】図４に示すように、演算処理装置２は、ま
ず代表ベクトルファイル１７から全ての代表ベクトルを
入力し、次に観測色ベクトルファイル１６から各座標
（ｒ、ｃ）毎に観測色ベクトルを入力して、その観測ベ
クトルと各代表ベクトルとの間の２乗距離を計算する。
そして、その２乗距離の最も小さい代表ベクトル（つま
り、当該座標（ｒ、ｃ）の観測色ベクトルに最も近い代
表ベクトル）に付いているカラーインデックスを、当該
座標（ｒ、ｃ）に対して割り当てる。全ての座標（ｒ、
ｃ）に対し上記のようにカラーインデックスが割り当て
られると、カラーインデックス画像が完成する。
ず代表ベクトルファイル１７から全ての代表ベクトルを
入力し、次に観測色ベクトルファイル１６から各座標
（ｒ、ｃ）毎に観測色ベクトルを入力して、その観測ベ
クトルと各代表ベクトルとの間の２乗距離を計算する。
そして、その２乗距離の最も小さい代表ベクトル（つま
り、当該座標（ｒ、ｃ）の観測色ベクトルに最も近い代
表ベクトル）に付いているカラーインデックスを、当該
座標（ｒ、ｃ）に対して割り当てる。全ての座標（ｒ、
ｃ）に対し上記のようにカラーインデックスが割り当て
られると、カラーインデックス画像が完成する。
【００２９】図５はカラーインデックス画像の一例を示
す。ここで、個々の正方形が各座標の画素を示す。
す。ここで、個々の正方形が各座標の画素を示す。
【００３０】図５に示すカラーインデックス画像では、
各座標に０から２までのカラーインデックスが割り当て
られている。そして、同じカラーインデックスが割り当
てられた連続する画素の塊が、分割された一つの領域を
表している。つまり、カラーインデックス画像は原画像
の領域分割結果を表している。
各座標に０から２までのカラーインデックスが割り当て
られている。そして、同じカラーインデックスが割り当
てられた連続する画素の塊が、分割された一つの領域を
表している。つまり、カラーインデックス画像は原画像
の領域分割結果を表している。
【００３１】図６は、上述のエッジ強度と平滑化画像を
計算する処理（図５、ステップＳ２）で用いられる一次
元平滑化関数（同図（ａ））と一次元エッジ検出関数
（同図（ｂ））の一例を示す特性図である。以下、エッ
ジ強度と平滑化画像を計算する方法について詳細に説明
する。
計算する処理（図５、ステップＳ２）で用いられる一次
元平滑化関数（同図（ａ））と一次元エッジ検出関数
（同図（ｂ））の一例を示す特性図である。以下、エッ
ジ強度と平滑化画像を計算する方法について詳細に説明
する。
【００３２】ここで、図６に示すような一次元平滑化関
数（例えばガウス関数）と一次元エッジ検出関数（例え
ばガウス関数の一次微分）をそれぞれφ（ｘ）、Ψ
（ｘ）と表記する。また、任意の関数ξ（ｘ）につい
て、スケールファクタＳを用いてξs（ｘ）と表記した
とき、この関数ξs（ｘ）の意味は
数（例えばガウス関数）と一次元エッジ検出関数（例え
ばガウス関数の一次微分）をそれぞれφ（ｘ）、Ψ
（ｘ）と表記する。また、任意の関数ξ（ｘ）につい
て、スケールファクタＳを用いてξs（ｘ）と表記した
とき、この関数ξs（ｘ）の意味は
【数１】
であることとする。
【００３３】さて、任意のスケールファクタＳにおける
平滑化フィルタΦｓ（ｒ、ｃ）は次の(2)式で定義され
る。
平滑化フィルタΦｓ（ｒ、ｃ）は次の(2)式で定義され
る。
【００３４】
【数２】
また、エッジ検出フィルタは次の(3)、(4)、(5)式で定
義される。ここに、(3)、(4)、(5)式はそれぞれ、縦方
向、横方向、斜め方向のエッジ検出フィルタを定義して
いる。
義される。ここに、(3)、(4)、(5)式はそれぞれ、縦方
向、横方向、斜め方向のエッジ検出フィルタを定義して
いる。
【００３５】
【数３】
ところで、カラー画像は複数の色成分（例えばＲ、Ｇ、
Ｂの３成分）から構成されている。そこで、平滑化画像
は、各座標毎に、当該座標を平滑化フィルタΦs（ｒ、
ｃ）の原点（０、０）として、各色成分画像と平滑化フ
ィルタΦs（ｒ、ｃ）との畳み込み（convolution）を求
め、各座標毎に全ての畳み込みを２乗してから足し合わ
せることにより計算する。また、エッジ強度は、各座標
毎に、当該座標を上記３方向のエッジ検出フィルタの原
点（０、０）として、各色成分画像と３方向のエッジ検
出フィルタとの畳み込みをそれぞれ求め、各座標毎に全
ての畳み込みを２乗してから足し合せることにより計算
する。この平滑化画像とエッジ強度の計算は、各スケー
ルファクタＳ毎に行われる。
Ｂの３成分）から構成されている。そこで、平滑化画像
は、各座標毎に、当該座標を平滑化フィルタΦs（ｒ、
ｃ）の原点（０、０）として、各色成分画像と平滑化フ
ィルタΦs（ｒ、ｃ）との畳み込み（convolution）を求
め、各座標毎に全ての畳み込みを２乗してから足し合わ
せることにより計算する。また、エッジ強度は、各座標
毎に、当該座標を上記３方向のエッジ検出フィルタの原
点（０、０）として、各色成分画像と３方向のエッジ検
出フィルタとの畳み込みをそれぞれ求め、各座標毎に全
ての畳み込みを２乗してから足し合せることにより計算
する。この平滑化画像とエッジ強度の計算は、各スケー
ルファクタＳ毎に行われる。
【００３６】次に、スケールファクタ画像を計算する処
理（図５、ステップＳ６）について詳細に説明する。
理（図５、ステップＳ６）について詳細に説明する。
【００３７】図７は、各座標（ｒ、ｃ）における最適ス
ケールファクタａ（ｒ、ｃ）の計算アルゴリズムを示
す。
ケールファクタａ（ｒ、ｃ）の計算アルゴリズムを示
す。
【００３８】ここで、初期スケールファクタＳ0と、閾
値Ｔと、最大スケールファクタＳｍａｘとは定数であ
る。また、スケールフアクタＳと、座標（ｒ、ｃ）にお
ける最適スケールファクタａ（ｒ、ｃ）と、スケールフ
ァクタＳ及び座標（ｒ、ｃ）におけるエッジ強度Ｅ
（Ｓ、ｒ、ｃ）は変数である。閾値Ｔは、Ｅ（Ｓ、ｒ、
ｃ）≧Ｔであれば座標（ｒ、ｃ）にてエッジが検出され
ており、Ｅ（Ｓ、ｒ、ｃ）＜Ｔであれば座標（ｒ、ｃ）
にてエッジが検出されていないことを意味する。
値Ｔと、最大スケールファクタＳｍａｘとは定数であ
る。また、スケールフアクタＳと、座標（ｒ、ｃ）にお
ける最適スケールファクタａ（ｒ、ｃ）と、スケールフ
ァクタＳ及び座標（ｒ、ｃ）におけるエッジ強度Ｅ
（Ｓ、ｒ、ｃ）は変数である。閾値Ｔは、Ｅ（Ｓ、ｒ、
ｃ）≧Ｔであれば座標（ｒ、ｃ）にてエッジが検出され
ており、Ｅ（Ｓ、ｒ、ｃ）＜Ｔであれば座標（ｒ、ｃ）
にてエッジが検出されていないことを意味する。
【００３９】図７に示すアルゴリズムは各座標（ｒ、
ｃ）毎に実行される。まず、当該座標（ｒ、ｃ）におけ
る最適スケールファクタａ（ｒ、ｃ）に初期スケールフ
ァクタＳ0を代入する（Ｓ１１）。また、スケールファ
クタＳにも初期スケールファクタＳ0を代入する（Ｓ１
２）。
ｃ）毎に実行される。まず、当該座標（ｒ、ｃ）におけ
る最適スケールファクタａ（ｒ、ｃ）に初期スケールフ
ァクタＳ0を代入する（Ｓ１１）。また、スケールファ
クタＳにも初期スケールファクタＳ0を代入する（Ｓ１
２）。
【００４０】次に、当該座標（ｒ、ｃ）における現在の
スケールファクタＳに対するエッジ強度Ｅ（Ｓ、ｒ、
ｃ）が閾値Ｔ未満であるかどうかチェックし（Ｓ１
５）、Ｔ未満でなければ、スケールファクタＳを１づつ
減らしていって（Ｓ１３）、Ｅ（Ｓ、ｒ、ｃ）がＴ未満
になったところで、そのときのスケールファクタＳを最
適スケールファクタａ（ｒ、ｃ）に代入する（Ｓ１
６）。この過程で、もしスケールファクタＳが０未満に
なってしまった場合は（Ｓ１４でＹ）、０を最適スケー
ルファクタａ（ｒ、ｃ）に代入する（Ｓ２０）。
スケールファクタＳに対するエッジ強度Ｅ（Ｓ、ｒ、
ｃ）が閾値Ｔ未満であるかどうかチェックし（Ｓ１
５）、Ｔ未満でなければ、スケールファクタＳを１づつ
減らしていって（Ｓ１３）、Ｅ（Ｓ、ｒ、ｃ）がＴ未満
になったところで、そのときのスケールファクタＳを最
適スケールファクタａ（ｒ、ｃ）に代入する（Ｓ１
６）。この過程で、もしスケールファクタＳが０未満に
なってしまった場合は（Ｓ１４でＹ）、０を最適スケー
ルファクタａ（ｒ、ｃ）に代入する（Ｓ２０）。
【００４１】ステップＳ１５でＥ（Ｓ、ｒ、ｃ）がＴ未
満であった場合は、スケールファクタＳを１だけ増やし
てみて（Ｓ１７）、そのスケールファクタＳに対するＥ
（Ｓ、ｒ、ｃ）がＴ以上になったかどうかチェックする
（Ｓ１９）。その結果、依然としてＴ未満であれば、現
在のスケールファクタＳを１を加えた値を最適スケール
ファクタａ（ｒ、ｃ）に代入し（Ｓ２０）、そしてステ
ップＳ１７に戻る。こうしてスケールファクタＳを１づ
つ増やしていって、Ｅ（Ｓ、ｒ、ｃ）がＴ以上になった
ところで、又は、スケールファクタＳが最大値Ｓｍａｘ
以上になったところで、この処理を終了する。
満であった場合は、スケールファクタＳを１だけ増やし
てみて（Ｓ１７）、そのスケールファクタＳに対するＥ
（Ｓ、ｒ、ｃ）がＴ以上になったかどうかチェックする
（Ｓ１９）。その結果、依然としてＴ未満であれば、現
在のスケールファクタＳを１を加えた値を最適スケール
ファクタａ（ｒ、ｃ）に代入し（Ｓ２０）、そしてステ
ップＳ１７に戻る。こうしてスケールファクタＳを１づ
つ増やしていって、Ｅ（Ｓ、ｒ、ｃ）がＴ以上になった
ところで、又は、スケールファクタＳが最大値Ｓｍａｘ
以上になったところで、この処理を終了する。
【００４２】以上の処理は要するに、各座標において、
エッジ強度Ｅが閾値Ｔより大きい間は最適スケールファ
クタａを小さくし、逆にエッジ強度Ｅが閾値Ｔより小さ
い間は最適スケールファクタａを大きくして、最終的に
エッジ強度Ｅが閾値Ｔ未満の範囲（つまり、エッジを検
出しない範囲）での最大値に最適スケールファクタａを
設定する。その結果、エッジ附近の座標では最適スケー
ルファクタが相対的に小さくなり、エッジが附近にない
座標では最適スケールファクタが相対的に大きくなる。
エッジ強度Ｅが閾値Ｔより大きい間は最適スケールファ
クタａを小さくし、逆にエッジ強度Ｅが閾値Ｔより小さ
い間は最適スケールファクタａを大きくして、最終的に
エッジ強度Ｅが閾値Ｔ未満の範囲（つまり、エッジを検
出しない範囲）での最大値に最適スケールファクタａを
設定する。その結果、エッジ附近の座標では最適スケー
ルファクタが相対的に小さくなり、エッジが附近にない
座標では最適スケールファクタが相対的に大きくなる。
【００４３】そして、最適スケールファクタが小さい
所、つまり、エッジが附近に存在する所では、その小さ
いスケールファクタを用いた小さい範囲での平滑化画像
の色が観測色として選ばれるから、エッジをカバーしな
い小さい範囲の平均色が観測色となる。尚、エッジをカ
バーする範囲の平滑化は、別の領域の色を混ぜることに
なり、人間が観測しない色を作り出すことになるので、
避けなくてはならない。
所、つまり、エッジが附近に存在する所では、その小さ
いスケールファクタを用いた小さい範囲での平滑化画像
の色が観測色として選ばれるから、エッジをカバーしな
い小さい範囲の平均色が観測色となる。尚、エッジをカ
バーする範囲の平滑化は、別の領域の色を混ぜることに
なり、人間が観測しない色を作り出すことになるので、
避けなくてはならない。
【００４４】一方、最適スケールファクタが大きい所、
つまり付近にエッジが無い所では、その大きいスケール
ファクタを用いた大きい範囲での平滑化画像が観測色と
して選ばれるから、画素同士の色が大きく異なるような
複雑なテクスチャ領域においても適切な色を推定できる
ことになる。
つまり付近にエッジが無い所では、その大きいスケール
ファクタを用いた大きい範囲での平滑化画像が観測色と
して選ばれるから、画素同士の色が大きく異なるような
複雑なテクスチャ領域においても適切な色を推定できる
ことになる。
【００４５】初期スケールファクタＳ0 を設定するの
は、そのスケールファクタよりも小さいエッジが存在し
ていても重要でないと判断して無視するためである。初
期スケールファクタＳ0 を大きい値に設定しておくと、
その大きいスケールファクタから処理が始まるため、細
かい表現は無視されて、大局的に画像を観測した結果が
得られることが期待できる。一方、初期スケールファク
タＳ0 を小さい値に設定しておくと、その小さいスケー
ルファクタから処理が始まるため、細かい所の微妙な表
現も重視した結果が得られることが期待できる。実用上
は用途や原画像の内容などにより、初期スケールファク
タＳ0を調節することになる。
は、そのスケールファクタよりも小さいエッジが存在し
ていても重要でないと判断して無視するためである。初
期スケールファクタＳ0 を大きい値に設定しておくと、
その大きいスケールファクタから処理が始まるため、細
かい表現は無視されて、大局的に画像を観測した結果が
得られることが期待できる。一方、初期スケールファク
タＳ0 を小さい値に設定しておくと、その小さいスケー
ルファクタから処理が始まるため、細かい所の微妙な表
現も重視した結果が得られることが期待できる。実用上
は用途や原画像の内容などにより、初期スケールファク
タＳ0を調節することになる。
【００４６】また、閾値Ｔも用途や原画像の内容などに
より調節することができる。また、全てのスケールファ
クタＳを通じて同じ閾値Ｔを用いるのでなく、各スケー
ルファクタＳ毎に個別の閾値Ｔを設定してもよい。
より調節することができる。また、全てのスケールファ
クタＳを通じて同じ閾値Ｔを用いるのでなく、各スケー
ルファクタＳ毎に個別の閾値Ｔを設定してもよい。
【００４７】上記のように決定された各座標の最適スケ
ールファクタに基づいて各座標の観測色が決定されると
共に、前述したように、各座標の最適スケールファクタ
に基づいて各座標の重要度も決定される。重要度は各ス
ケールファクタ毎に予め設定されているが、この重要度
も用途や原画像の内容などに応じて調整することができ
る。即ち、重要度は各画素の観測色の重要性を表したも
のであるから、画像の何を強調したいかなどの用途に応
じて重要度を調整することが望ましい。例えば、人間が
観測した結果に忠実な領域分割結果を得たいときは、一
般に人間は高周波に対する感度が低く、低周波に対して
感度が高いから、小さいスケールファクタには低い重要
度を設定し、大きいスケールファクタには大きい重要度
を設定することができる。また、エッジを強調した領域
分割結果が得たい場合には、逆に小さいスケールファク
タには大きい重要度を設定し、大きいスケールファクタ
には大きいは小さい重要度を設定することもできる。こ
のように、重要度の設定を調整することによって、最終
的な結果を変えることができる。
ールファクタに基づいて各座標の観測色が決定されると
共に、前述したように、各座標の最適スケールファクタ
に基づいて各座標の重要度も決定される。重要度は各ス
ケールファクタ毎に予め設定されているが、この重要度
も用途や原画像の内容などに応じて調整することができ
る。即ち、重要度は各画素の観測色の重要性を表したも
のであるから、画像の何を強調したいかなどの用途に応
じて重要度を調整することが望ましい。例えば、人間が
観測した結果に忠実な領域分割結果を得たいときは、一
般に人間は高周波に対する感度が低く、低周波に対して
感度が高いから、小さいスケールファクタには低い重要
度を設定し、大きいスケールファクタには大きい重要度
を設定することができる。また、エッジを強調した領域
分割結果が得たい場合には、逆に小さいスケールファク
タには大きい重要度を設定し、大きいスケールファクタ
には大きいは小さい重要度を設定することもできる。こ
のように、重要度の設定を調整することによって、最終
的な結果を変えることができる。
【００４８】尚、本発明は、上記の実施形態だけに限ら
れず、変更、改良、修正を加えた他の種々の形態によっ
ても実施することができる。本発明の方法は、専用のハ
ードウェアによっても、プログラムされたコンピュータ
によっても行うことができる。後者の場合、そのコンピ
ュータプログラムは、メモリやストレージのような固定
的にプログラムを担持する媒体によっても、通信ネット
ワークのような流動的にプログラムを担持する媒体によ
っても、コンピュータに供給されることができる。
れず、変更、改良、修正を加えた他の種々の形態によっ
ても実施することができる。本発明の方法は、専用のハ
ードウェアによっても、プログラムされたコンピュータ
によっても行うことができる。後者の場合、そのコンピ
ュータプログラムは、メモリやストレージのような固定
的にプログラムを担持する媒体によっても、通信ネット
ワークのような流動的にプログラムを担持する媒体によ
っても、コンピュータに供給されることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るカラー画像の領域分
割装置の概略構成を示すブロック図である。
割装置の概略構成を示すブロック図である。
【図２】画像の二次元座標を示す説明図である。
【図３】本実施形態にの全体的な処理過程を示すフロー
チャートである。
チャートである。
【図４】カラーインデックス画像計算時のデータの流れ
を示すブロック図である。
を示すブロック図である。
【図５】カラーインデックス画像の一例を示す説明図で
ある。
ある。
【図６】一次元平滑化関数と一次元エッジ検出関数の一
例を示す特性図である。
例を示す特性図である。
【図７】スケールファクタの計算アルゴリズムのフロー
チャートである。
チャートである。
１ 入力装置
２ 演算処理装置
３ 出力装置
４ 演算処理装置２のＣＰＵ
５ 演算処理装置２のメモリ
６ 外部記憶装置
フロントページの続き
(56)参考文献 内山俊郎外１名，多重スケールフィル
タを用いたカラーテクスチャ画像の領域
分割，電子情報通信学会技術報告ＰＲＵ
95−216〜234，1996年 ３月14日，Ｖｏ
ｌ．95，Ｎｏ．583，ｐｐ．55−62
内山俊郎外１名，セイレンシイグルー
ピングによる領域分割画像からの物体抽
出，電子情報通信学会技術報告ＰＲＵ92
−18〜24，1992年 ６月19日，Ｖｏｌ.
92，Ｎｏ．104，ｐｐ．37−44
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
Claims (8)
- 【請求項１】 スケールファクタによってスケールを制
御できる平滑化フィルタ及びエッジ検出フィルタを有
し、 前記エッジ検出フィルタをカラー画像に適用して各画素
におけるエッジを検出しないスケールファクタの範囲を
求め、各画素における望ましいスケールファクタを前記
エッジを検出しない範囲に設定するスケールファクタ決
定手段と、 前記平滑化フィルタを前記カラー画像に適用することに
より、前記望ましいスケールファクタに対する各画素の
観測色ベクトルを決定する観測色ベクトル決定手段と、 前記各画素の望ましいスケールファクタから各画素の重
要度を決める重要度決定手段と、 前記観測色ベクトルを前記重要度で重み付けしたものに
基づいて、前記カラー画像内の全画素に対するクラスタ
リングを行うクラスタリング手段とを備えたカラー画像
の領域分割方式。 - 【請求項２】 請求項１記載のカラー画像の領域分割方
式において、 前記スケールファクタ決定手段が、 前記エッジ検出フィルタをカラー画像に適用することに
より、任意のスケールファクタに対する任意の画素近傍
のエッジ強度を計算するエッジ強度計算手段と、 各画素近傍における複数個のスケールファクタに対する
エッジ強度に基づいて、前記各画素における望ましいス
ケールファクタを選択するスケールファクタ選択手段と
を有することを特徴とするカラー画像の領域分割方式。 - 【請求項３】 請求項２記載のカラー画像の領域分割方
式において、 前記エッジ強度計算手段が、前記カラー画像の各色成分
にエッジ検出フィルタを適用して得たエッジ強度を全て
の色成分に亘って合計することを特徴とするカラー画像
の領域分割方式。 - 【請求項４】 請求項２記載のカラー画像の領域分割方
式において前記スケールファクタ選択手段が、各画素近
傍における複数個のスケールファクタに対するエッジ強
度を、所定の閾値と比較することにより、前記各画素に
おける望ましいスケールファクタを選択することを特徴
とするカラー画像の領域分割方式。 - 【請求項５】 請求項４記載のカラー画像の領域分割方
式において、 前記スケールファクタ選択手段が、初期スケールファク
タを設定する手段と、 前記スケールファクタを前記初期スケールファクタから
変更しつつ、変更されたスケールファクタにおけるエッ
ジ強度と前記閾値とを比較する手段と、 前記比較の結果に基づいて、前記エッジ強度が前記閾値
未満になるようなスケールファクタの中の最大値を、前
記望ましいスケールファクタとして選択する手段とを有
することを特徴とするカラー画像の領域分割方式。 - 【請求項６】 請求項４記載のカラー画像の領域分割方
式において、 前記閾値が調整可能であることを特徴とするカラー画像
の領域分割方式。 - 【請求項７】 請求項１記載のカラー画像の領域分割方
式において、前記重要度が調整可能であることを特徴と
するカラー画像の領域分割方式。 - 【請求項８】 スケールファクタによってスケールを制
御できるエッジ検出フィルタをカラー画像に適用して各
画素におけるエッジを検出しないスケールファクタの範
囲を求め、各画素における望ましいスケールファクタを
前記エッジを検出しない範囲に設定するステップと、 前記スケールファクタによってスケールを制御できる平
滑化フィルタを前記カラー画像に適用することにより、
前記望ましいスケールファクタに対する各画素の観測色
ベクトルを決定するステップと、 前記各画素の望ましいスケールファクタから各画素の重
要度を決めるステップと、 前記観測色ベクトルを前記重要度で重み付けしたものに
基づいて、前記カラー画像内の全画素に対するクラスタ
リングを行うステップとを備えたカラー画像の領域分割
方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14945396A JP3446923B2 (ja) | 1996-06-11 | 1996-06-11 | カラー画像の領域分割方式及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14945396A JP3446923B2 (ja) | 1996-06-11 | 1996-06-11 | カラー画像の領域分割方式及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09330401A JPH09330401A (ja) | 1997-12-22 |
| JP3446923B2 true JP3446923B2 (ja) | 2003-09-16 |
Family
ID=15475461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14945396A Expired - Fee Related JP3446923B2 (ja) | 1996-06-11 | 1996-06-11 | カラー画像の領域分割方式及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3446923B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002005543A1 (fr) * | 2000-07-06 | 2002-01-17 | Seiko Epson Corporation | Procede de traitement d'image, support d'enregistrement, et dispositif de traitement d'image |
-
1996
- 1996-06-11 JP JP14945396A patent/JP3446923B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| 内山俊郎外１名，セイレンシイグルーピングによる領域分割画像からの物体抽出，電子情報通信学会技術報告ＰＲＵ９２−１８〜２４，１９９２年 ６月１９日，Ｖｏｌ．９２，Ｎｏ．１０４，ｐｐ．３７−４４ |
| 内山俊郎外１名，多重スケールフィルタを用いたカラーテクスチャ画像の領域分割，電子情報通信学会技術報告ＰＲＵ９５−２１６〜２３４，１９９６年 ３月１４日，Ｖｏｌ．９５，Ｎｏ．５８３，ｐｐ．５５−６２ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09330401A (ja) | 1997-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339643B2 (en) | Algorithm and device for image processing | |
| US7092573B2 (en) | Method and system for selectively applying enhancement to an image | |
| US7599579B2 (en) | Interpolated image filtering method and apparatus | |
| EP0555674B1 (en) | Image rendering system and associated method for minimizing contours in a quantized digital color image | |
| US6529202B2 (en) | Color adviser | |
| US6535632B1 (en) | Image processing in HSI color space using adaptive noise filtering | |
| US8849035B2 (en) | Image processing apparatus image processing method, and control program to perform face-detection processing | |
| US7970212B2 (en) | Method for automatic detection and classification of objects and patterns in low resolution environments | |
| JP3073682B2 (ja) | イメージ内の幾何学的形状を認識するための方法および装置 | |
| Etoh et al. | Segmentation and 2D motion estimation by region fragments | |
| JP4480958B2 (ja) | デジタル画像作成方法 | |
| Yu et al. | A new algorithm for image segmentation based on region growing and edge detection | |
| JP3446923B2 (ja) | カラー画像の領域分割方式及び方法 | |
| CN109166114A (zh) | 脊柱椎间隙识别方法、设备、存储介质及装置 | |
| Xu et al. | Improved Canny Edge Detection Operator | |
| US5778105A (en) | Method of and apparatus for removing artifacts from a reproduction | |
| KR101776501B1 (ko) | 비국부 평균 알고리즘을 이용한 영상 잡음 제거 장치 및 방법 | |
| CN111429383B (zh) | 图像降噪方法及装置、计算机可读存储介质 | |
| Dunn et al. | Determining Gabor-filter parameters for texture segmentation | |
| JP3724525B2 (ja) | 画像処理方法および画像処理装置 | |
| CN116708995B (zh) | 摄影构图方法、装置及摄影设备 | |
| CN115375713B (zh) | 地面点云的分割方法、装置及计算机可读存储介质 | |
| CN116684748B (zh) | 摄影构图框的生成方法、装置及摄影设备 | |
| JP2004362381A (ja) | 画像処理装置及び方法 | |
| US10902560B2 (en) | Or relating to filters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090704 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090704 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100704 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |