JP2865697B2 - エクスチャ分離方法 - Google Patents
エクスチャ分離方法Info
- Publication number
- JP2865697B2 JP2865697B2 JP1066122A JP6612289A JP2865697B2 JP 2865697 B2 JP2865697 B2 JP 2865697B2 JP 1066122 A JP1066122 A JP 1066122A JP 6612289 A JP6612289 A JP 6612289A JP 2865697 B2 JP2865697 B2 JP 2865697B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- area
- discriminant function
- pixel
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
- G06V30/162—Quantising the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、２種類のテクスチャ（細かな模様）が混在
している全体領域をそれぞれのテクスチャ種類ごとの領
域に分離する、特に、新聞や雑誌等の印刷物の背景模様
のある見だし領域から文字を自動分離するのに最適なテ
クスチャ分離方法に関するものである。
している全体領域をそれぞれのテクスチャ種類ごとの領
域に分離する、特に、新聞や雑誌等の印刷物の背景模様
のある見だし領域から文字を自動分離するのに最適なテ
クスチャ分離方法に関するものである。
最近、パソコンやワープロの普及と記録媒体の低価格
化に伴い、文書のデータベース化や印刷物の電子ファイ
ル化がオフィスオートメーションの重要な位置を占めつ
つある。特に、新聞や雑誌や公文書等の印刷文書に含ま
れる情報を蓄積し、そのなかから必要な情報のみを検索
できる文書自動登録検索システムの構築が望まれてい
る。登録時、このシステムでは、先ず、画像処理にて文
書を見だし領域、本文領域、写真領域等に自動分割し、
前者２つの領域では文字認識による文字部のコード化を
行なった後、文字コード列や写真画像データを登録する
必要がある。このような形で登録されたファイルは、文
書全体を画像としてそのまま蓄積しておく場合より、蓄
積や伝送のためのコストが低く、内容の検索も容易であ
る。そのため、このようなシステムの開発を目標に、例
えば、電子通信学会論文誌,'86/8,Vol.J69−D,No.8,
「周辺分布、線密度、外形矩形特徴を併用した文書画像
の領域分割」等、多くの研究や開発が行なわれている。
化に伴い、文書のデータベース化や印刷物の電子ファイ
ル化がオフィスオートメーションの重要な位置を占めつ
つある。特に、新聞や雑誌や公文書等の印刷文書に含ま
れる情報を蓄積し、そのなかから必要な情報のみを検索
できる文書自動登録検索システムの構築が望まれてい
る。登録時、このシステムでは、先ず、画像処理にて文
書を見だし領域、本文領域、写真領域等に自動分割し、
前者２つの領域では文字認識による文字部のコード化を
行なった後、文字コード列や写真画像データを登録する
必要がある。このような形で登録されたファイルは、文
書全体を画像としてそのまま蓄積しておく場合より、蓄
積や伝送のためのコストが低く、内容の検索も容易であ
る。そのため、このようなシステムの開発を目標に、例
えば、電子通信学会論文誌,'86/8,Vol.J69−D,No.8,
「周辺分布、線密度、外形矩形特徴を併用した文書画像
の領域分割」等、多くの研究や開発が行なわれている。
上記システムに於いて、特に、見だし領域内の文字列
は、本文内容のキーワードを含んでいるため、そのコー
ド化による蓄積が重要な意味を持つ。すなわち、キーワ
ードとして本文データに付加しておくことで、内容検索
が容易となる。このように、見だし領域内の文字抽出
は、重要なものであるが、１つの困難な課題を含んでい
る。それは、新聞等の重要記事のみだしには、注意を引
くための模様（テクスチャ）が文字の背景にあることで
ある。従って、例えば、上記従来技術等で見だし領域を
検出できても、その領域から文字列のみを抽出するの
は、単純な処理では困難である。何故なら、単純は濃淡
レベルの２値化処理では、文字と共に背景模様も同時に
抽出されてしまうからである。この種のテクスチャー分
離方法としては、例えば、「電子通信学会論文誌,'84/
1,Vol.J67−D,No.1、自己組織化法によるテクスチャ解
析、等があるが、この方法では、テクスチャの要素の大
きさが既知でなければならない。しかも、見だし領域の
背景模様は見出しごとに異なるのが普通であり、予め幾
つかの模様を想定した最適な分離処理を設計しておくこ
ともできない。 本発明は上記事情に鑑みてなされたもので、その目的
は、如何なる背景模様の見だしからも文字のみを確実に
分離できる方法を提供することにある。
は、本文内容のキーワードを含んでいるため、そのコー
ド化による蓄積が重要な意味を持つ。すなわち、キーワ
ードとして本文データに付加しておくことで、内容検索
が容易となる。このように、見だし領域内の文字抽出
は、重要なものであるが、１つの困難な課題を含んでい
る。それは、新聞等の重要記事のみだしには、注意を引
くための模様（テクスチャ）が文字の背景にあることで
ある。従って、例えば、上記従来技術等で見だし領域を
検出できても、その領域から文字列のみを抽出するの
は、単純な処理では困難である。何故なら、単純は濃淡
レベルの２値化処理では、文字と共に背景模様も同時に
抽出されてしまうからである。この種のテクスチャー分
離方法としては、例えば、「電子通信学会論文誌,'84/
1,Vol.J67−D,No.1、自己組織化法によるテクスチャ解
析、等があるが、この方法では、テクスチャの要素の大
きさが既知でなければならない。しかも、見だし領域の
背景模様は見出しごとに異なるのが普通であり、予め幾
つかの模様を想定した最適な分離処理を設計しておくこ
ともできない。 本発明は上記事情に鑑みてなされたもので、その目的
は、如何なる背景模様の見だしからも文字のみを確実に
分離できる方法を提供することにある。
上記目的を達成するために、本発明は、見だし領域内
の濃淡画像の投影分布を解析することで、見だし領域内
の周辺部の背景模様のみの領域に学習領域A,中心部の背
景模様と文字を含んだ領域に学習領域Ｂを自動設定する
第１ステップと、見だし領域内のある注目画素がいずれ
の領域に含まれるかを判別するための、注目画素の近傍
の複数個の画素濃淡値を用いた特徴量を変数として持つ
判別関数を、学習領域Ａの各位置での判別関数の各出力
値が値Vaを中心とした分布に、学習領域Ｂの各位置での
各出力値が値Vbを中心とした分布になり、しかも、両分
布の分散値の和が一定値以下となるように決定する第２
のステップと、見だし領域内の各画素ごとに判別関数の
出力値が値Vaに近いか、もしくは、値Vbに近いかで、そ
の画素が背景模様と文字のどちらの領域に含まれるかを
決定して見だし領域をそれぞれの領域に分離する第３の
ステップを有することを特徴とする。
の濃淡画像の投影分布を解析することで、見だし領域内
の周辺部の背景模様のみの領域に学習領域A,中心部の背
景模様と文字を含んだ領域に学習領域Ｂを自動設定する
第１ステップと、見だし領域内のある注目画素がいずれ
の領域に含まれるかを判別するための、注目画素の近傍
の複数個の画素濃淡値を用いた特徴量を変数として持つ
判別関数を、学習領域Ａの各位置での判別関数の各出力
値が値Vaを中心とした分布に、学習領域Ｂの各位置での
各出力値が値Vbを中心とした分布になり、しかも、両分
布の分散値の和が一定値以下となるように決定する第２
のステップと、見だし領域内の各画素ごとに判別関数の
出力値が値Vaに近いか、もしくは、値Vbに近いかで、そ
の画素が背景模様と文字のどちらの領域に含まれるかを
決定して見だし領域をそれぞれの領域に分離する第３の
ステップを有することを特徴とする。
以上述べたステップで、テクスチャ分離のための判別
関数を各見だし領域毎に自動的に設計できるので、如何
なる模様が背景にある見だしに対しても、適応的な文字
分離が可能となる。
関数を各見だし領域毎に自動的に設計できるので、如何
なる模様が背景にある見だしに対しても、適応的な文字
分離が可能となる。
以下、本発明の実施例を図面に基づいて詳細に説明す
る。 第２図に、本発明に係わるテクスチャ分離方法を採用
した文書自動登録検索システムの全体構成を示す。先
ず、新聞等の印刷物１の画像情報は、スキャナ６により
デジタル信号1sに変換され、一端、画像メモリ２に２次
元画像として格納される。次に、計算機３を用いて、画
像メモリ２内の画像を、見だし領域、本文領域、写真領
域等に分割する。これは、前述した公知例における周辺
分布、線密度、外形矩形特徴を用いた技術等で可能であ
る。そして、見だし領域からは本テクスチャ分離方法を
用いて文字部を分離した後、文字認識により文字列をコ
ード化する。コード化されたデータ群は、各記事毎にフ
ァイリングされ、メモリ４に蓄積される。CRT5は、登録
時や検索時に人間が計算機３に作業内容を指示するため
のものである。 次に、本発明に直接係わる、見だし領域からの文字の
分離方法を第１図（ａ）を用いて説明する。最終目標
は、第１図（ｂ）に示したように、背景に模様Ｔがある
見だし領域Ｍから、文字部Ｃを分離することである。先
ず、第１ステップで、抽出された見だし領域内の周辺部
の背景模様のみの学習領域Ａと中央部の背景模様と文字
を含んだ学習領域Ｂを、第１図（ｂ）に示したように設
定する。印刷物の背景模様のある見だし領域内は、その
周辺部に、通常、模様のみの領域が存在するので、後述
する方法でこれらの領域を自動的に設定できる。第２ス
テップで、領域Ａの各位置での判別関数ｆの各出力値が
値Vaを中心とした分布に、領域Ｂの各位置での判別関数
の各出力値が値Vbを中心とした分布になり、しかも両分
布の分散値との和が一定値Ｓ以下となるように、注目画
素の近傍の複数個の画素濃淡値を用いた特徴量を変数と
してもつ判別関数ｆを決定する。このようにすれば、領
域Ｂの全体の出力平均値がVbに規定されているにも係わ
らず、領域Ｂのなかの背景模様部のみはVaを中心とした
分布となるため、残された文字部は、異なる値を持つ分
布を形成することになる。従って、両者の分離が可能と
なる。第３図に、これらの分布の関係を示す。第３ステ
ップで、見だし領域全体の各位置毎に、その位置での判
別関数の出力値がどちらの分布に入るかで、文字部の分
布に入る場合は１、模様部の分布に入る場合は０を出力
することで、第１図（ｂ）の文字部Ｃが求まる。第４ス
テップでは、文字部Ｃの画像データから、投影分布解析
等による１文字切り出しと文字認識を行ない、文字部Ｃ
を文字コード列に変換する。 第４図は、第１図（ａ）の第１ステップの学習領域Ａ
とＢの具体的な設定方法を示したものである。この図の
第１ステップでは、見だし領域内のＸ及びＹ方向の濃淡
投影分布を求め、適度のスムージング処理を各分布に施
す。第５図にその結果を示す。一般に、背景模様を伴っ
た見だしでは、見出し内周辺部には、背景模様のみの領
域が存在する。従って、Ｘ方向またはＹ方向濃淡投影分
布のいずれかのこの部分の分布は凹凸の少ないものとな
り、文字部領域では凹凸の激しい分布となる。そこで、
第２ステップで、見だし領域の周辺で凹凸の少ないＸ方
向またはＹ方向の濃淡投影分布を有する範囲Laを、投影
分布の閾処理等でみつける。第３ステップで、第２ステ
ップで求めた範囲から第１図（ｂ）に示すような学習領
域Ａを設定する。なお、学習領域Ｂは、分布上で凹凸の
激しい範囲とすればよい。 第６図は、第３図（ａ）の第２ステップの判別関数を
決定する具体的な方法を示したものである。第１ステッ
プでは、先ず、世代番号ｎを０とし、分離すべき画像P
naとPnbをそれぞれ領域Ａと領域Ｂ内の画像自体とす
る。第２ステップでは、後述する方法を用いて、第ｎ判
別関数fn(x,y)を、画像Pnaの各位置（x,y）での関数の
各出力値が値Vaを中心とした分布に、画像Pnbの各位置
（x,y）での関数の各出力値が値Vbを中心とした分布に
なり、しかもそれぞれの分布の分散値の和がSnが最小と
なるように、決定する。第３ステップでは、Sm＞Sn＞Ｓ
（ただし、ｍ＝ｎ−１）の場合には次ステップ、その他
の場合は最終ステップに行くようにする。第４ステップ
では、世代を更新（ｎ＝−ｎ＋１）し、分離すべき画像
PnaとPnbを第ｍ判別関数fm(x,y)の領域Ａでの出力値と
領域Ｂでの出力値とする。そして、第２ステップに戻
る。最終ステップでは、得られた判別関数f0………fnを
用いて、最終的な判別関数ｆ＝fn（fm（……（f0）
…））を再構成する。 第６図のステップ２における第ｎ判別関数fn(x,y)の
求め方を、第７図（ａ）を用いて説明する。第１ステッ
プでは、注目画素を中心とした一定の大きさの近傍エリ
アより、一定個数の特徴量c1……ckを求める。それは、
例えば、第７図（ｂ）や（ｃ）に示したような近傍エリ
アに含まれるサブエリアr1……rk内の各平均値又は濃淡
値そのものでよい。第２ステップでは、各特徴量の組合
せ（ci，cj）ごとに、式（１）のSijが最小となり、し
かも、式（２）が成立するような、式（３）の形式で表
現された第０基本判別関数ｆ′0ij(x,y)の各未知係数
a0，a1，a2，a3をラグランジェの未知係数法で求める。 ただし、Sa,Sbは領域ＡとＢの面積 第３ステップでは、各sijの最小値がＳ以下の場合に
は最終ステップに、その他の場合には次ステップに行く
ようにする。第４ステップでは、各sijが小さな値の特
徴量の組合せ（（i0，j0）、（i1，j1）…）での第０基
本判別関数ｆ′0ij(x,y)をｋ個選び、その各出力を次ス
テップへの入力画像とする。ここで、ｉとｊをまとめて
１（ただし、１≦ｌ≦ｋでｌ＝１のとき（i0，j0）、ｌ
＝２のとき（i1，j1）…とする）、入力画像をｆ′
nl(x,y)（ただし、０≦ｎ）と表現する。第５ステップ
では、入力画像の組合せ（ｆ′ni(x,y),f′nj(x,y)）ご
とに、式（４）のsmijが最小となり、しかも、式（５）
が成立するような、式（６）の形式で表現された第ｍ基
本判別関数ｆ′mij(x,y)（ただし、ｍ＝ｎ＋１）の各未
知係数am0，am1，am2，am3をラグランジェの未定係数法
で求める。 第６ステップでは、smijの最小値がＳ以下の場合、又
は、smijの最小値がsnijの最小値以上の場合には、最終
ステップに、その他の場合には次ステップに行くように
する。第７ステップでは、各smijが小さな値を持つ第ｍ
基本判別関数ｆ′mij(x,y)をｋ′個を選び、その各出力
を、再び、第５ステップへの入力画像ｆ′ml(x,y)（た
だし、ｌ＝ｋ′）とする。このように第５図ステップを
繰り返して、徐々に分散値smijを小さくしていき、収束
したところで最終ステップに行くようにする。最終ステ
ップでは、smij又はsijの最小値がＳ以下の場合には、
その最小値を持つ第ｍ基本判別関数ｆ′mij(x,y)から逆
に、親である基本判別関数をたどっていくことで求める
判別関数を再構成し、smijの最小値がsnijの最小値以上
の場合には、その最小値を持つ第ｎ基本判別関数ｆ′
nij(x,y)から逆に、親である基本判別関数をたどってい
くことで求める判別関数を再構成する。そして、このル
ーチン（第７図（ａ））を終了する。ここで求めた判別
関数は、注目画素を中心とした限られた大きさの近傍エ
リア内の一定個数の特徴量c1……ckの多次元多項式とな
っている点に特徴がある。 以上をまとめると、領域Ａの各位置での判別関数ｆの
各出力値が値Vaを中心とした分布に、領域Ｂの各位置で
の判別関数の各出力値が値Vbを中心とした分布になり、
しかも両分布の分散値との和が一定値Ｓ以下となるよう
に、注目画素の近傍エリアからの複数個の濃淡値を変数
としてもつ判別関数ｆを決定するのに、第６図と第７図
（ａ）に示したようなステップを用いる。第７図（ａ）
のステップでは、両分布の分散値との和が最小となるよ
うに、注目画素を中心とした一定の大きさの近傍エリア
内の一定個数の特徴量c1……ckの多次元多項式の形の判
別関数fnを求めている。第６図のステップでは、判別関
数fnに対して、第２ステップを再度作用させて両分布の
分散値との和が小さくなるようにしている。すなわち、
第６図のステップでは、第２ステップを繰り返すことで
近傍エリアを徐々に拡大しながら、テクスチャの分離が
可能となる（分散値がＳ以下となる）、複数個の特徴量
とそれからなる判別関数を求めていることになる。この
ようにすれば、第３図（ｂ）に示すように、領域Ａのな
かの背景模様部はVaを中心とした分散値の小さな分布と
なる。そのため、領域Ｂのなかの背景模様部はVaを中心
とした分布であることから、残された文字部は、異なる
値を持つ分布を形成することになり、両者の分離が可能
となる。文字抽出結果を第１図（ｃ）に示す。 なお、本実施例においては、印刷文書内の見だし領域
からの文字抽出を用いて本発明を説明したが、生体組織
画像からの特定組織の抽出や航空写真画像からの特定エ
リアの抽出等も、学習領域ＡとＢを設定し本発明の判別
関数を得ることで実現できる。
る。 第２図に、本発明に係わるテクスチャ分離方法を採用
した文書自動登録検索システムの全体構成を示す。先
ず、新聞等の印刷物１の画像情報は、スキャナ６により
デジタル信号1sに変換され、一端、画像メモリ２に２次
元画像として格納される。次に、計算機３を用いて、画
像メモリ２内の画像を、見だし領域、本文領域、写真領
域等に分割する。これは、前述した公知例における周辺
分布、線密度、外形矩形特徴を用いた技術等で可能であ
る。そして、見だし領域からは本テクスチャ分離方法を
用いて文字部を分離した後、文字認識により文字列をコ
ード化する。コード化されたデータ群は、各記事毎にフ
ァイリングされ、メモリ４に蓄積される。CRT5は、登録
時や検索時に人間が計算機３に作業内容を指示するため
のものである。 次に、本発明に直接係わる、見だし領域からの文字の
分離方法を第１図（ａ）を用いて説明する。最終目標
は、第１図（ｂ）に示したように、背景に模様Ｔがある
見だし領域Ｍから、文字部Ｃを分離することである。先
ず、第１ステップで、抽出された見だし領域内の周辺部
の背景模様のみの学習領域Ａと中央部の背景模様と文字
を含んだ学習領域Ｂを、第１図（ｂ）に示したように設
定する。印刷物の背景模様のある見だし領域内は、その
周辺部に、通常、模様のみの領域が存在するので、後述
する方法でこれらの領域を自動的に設定できる。第２ス
テップで、領域Ａの各位置での判別関数ｆの各出力値が
値Vaを中心とした分布に、領域Ｂの各位置での判別関数
の各出力値が値Vbを中心とした分布になり、しかも両分
布の分散値との和が一定値Ｓ以下となるように、注目画
素の近傍の複数個の画素濃淡値を用いた特徴量を変数と
してもつ判別関数ｆを決定する。このようにすれば、領
域Ｂの全体の出力平均値がVbに規定されているにも係わ
らず、領域Ｂのなかの背景模様部のみはVaを中心とした
分布となるため、残された文字部は、異なる値を持つ分
布を形成することになる。従って、両者の分離が可能と
なる。第３図に、これらの分布の関係を示す。第３ステ
ップで、見だし領域全体の各位置毎に、その位置での判
別関数の出力値がどちらの分布に入るかで、文字部の分
布に入る場合は１、模様部の分布に入る場合は０を出力
することで、第１図（ｂ）の文字部Ｃが求まる。第４ス
テップでは、文字部Ｃの画像データから、投影分布解析
等による１文字切り出しと文字認識を行ない、文字部Ｃ
を文字コード列に変換する。 第４図は、第１図（ａ）の第１ステップの学習領域Ａ
とＢの具体的な設定方法を示したものである。この図の
第１ステップでは、見だし領域内のＸ及びＹ方向の濃淡
投影分布を求め、適度のスムージング処理を各分布に施
す。第５図にその結果を示す。一般に、背景模様を伴っ
た見だしでは、見出し内周辺部には、背景模様のみの領
域が存在する。従って、Ｘ方向またはＹ方向濃淡投影分
布のいずれかのこの部分の分布は凹凸の少ないものとな
り、文字部領域では凹凸の激しい分布となる。そこで、
第２ステップで、見だし領域の周辺で凹凸の少ないＸ方
向またはＹ方向の濃淡投影分布を有する範囲Laを、投影
分布の閾処理等でみつける。第３ステップで、第２ステ
ップで求めた範囲から第１図（ｂ）に示すような学習領
域Ａを設定する。なお、学習領域Ｂは、分布上で凹凸の
激しい範囲とすればよい。 第６図は、第３図（ａ）の第２ステップの判別関数を
決定する具体的な方法を示したものである。第１ステッ
プでは、先ず、世代番号ｎを０とし、分離すべき画像P
naとPnbをそれぞれ領域Ａと領域Ｂ内の画像自体とす
る。第２ステップでは、後述する方法を用いて、第ｎ判
別関数fn(x,y)を、画像Pnaの各位置（x,y）での関数の
各出力値が値Vaを中心とした分布に、画像Pnbの各位置
（x,y）での関数の各出力値が値Vbを中心とした分布に
なり、しかもそれぞれの分布の分散値の和がSnが最小と
なるように、決定する。第３ステップでは、Sm＞Sn＞Ｓ
（ただし、ｍ＝ｎ−１）の場合には次ステップ、その他
の場合は最終ステップに行くようにする。第４ステップ
では、世代を更新（ｎ＝−ｎ＋１）し、分離すべき画像
PnaとPnbを第ｍ判別関数fm(x,y)の領域Ａでの出力値と
領域Ｂでの出力値とする。そして、第２ステップに戻
る。最終ステップでは、得られた判別関数f0………fnを
用いて、最終的な判別関数ｆ＝fn（fm（……（f0）
…））を再構成する。 第６図のステップ２における第ｎ判別関数fn(x,y)の
求め方を、第７図（ａ）を用いて説明する。第１ステッ
プでは、注目画素を中心とした一定の大きさの近傍エリ
アより、一定個数の特徴量c1……ckを求める。それは、
例えば、第７図（ｂ）や（ｃ）に示したような近傍エリ
アに含まれるサブエリアr1……rk内の各平均値又は濃淡
値そのものでよい。第２ステップでは、各特徴量の組合
せ（ci，cj）ごとに、式（１）のSijが最小となり、し
かも、式（２）が成立するような、式（３）の形式で表
現された第０基本判別関数ｆ′0ij(x,y)の各未知係数
a0，a1，a2，a3をラグランジェの未知係数法で求める。 ただし、Sa,Sbは領域ＡとＢの面積 第３ステップでは、各sijの最小値がＳ以下の場合に
は最終ステップに、その他の場合には次ステップに行く
ようにする。第４ステップでは、各sijが小さな値の特
徴量の組合せ（（i0，j0）、（i1，j1）…）での第０基
本判別関数ｆ′0ij(x,y)をｋ個選び、その各出力を次ス
テップへの入力画像とする。ここで、ｉとｊをまとめて
１（ただし、１≦ｌ≦ｋでｌ＝１のとき（i0，j0）、ｌ
＝２のとき（i1，j1）…とする）、入力画像をｆ′
nl(x,y)（ただし、０≦ｎ）と表現する。第５ステップ
では、入力画像の組合せ（ｆ′ni(x,y),f′nj(x,y)）ご
とに、式（４）のsmijが最小となり、しかも、式（５）
が成立するような、式（６）の形式で表現された第ｍ基
本判別関数ｆ′mij(x,y)（ただし、ｍ＝ｎ＋１）の各未
知係数am0，am1，am2，am3をラグランジェの未定係数法
で求める。 第６ステップでは、smijの最小値がＳ以下の場合、又
は、smijの最小値がsnijの最小値以上の場合には、最終
ステップに、その他の場合には次ステップに行くように
する。第７ステップでは、各smijが小さな値を持つ第ｍ
基本判別関数ｆ′mij(x,y)をｋ′個を選び、その各出力
を、再び、第５ステップへの入力画像ｆ′ml(x,y)（た
だし、ｌ＝ｋ′）とする。このように第５図ステップを
繰り返して、徐々に分散値smijを小さくしていき、収束
したところで最終ステップに行くようにする。最終ステ
ップでは、smij又はsijの最小値がＳ以下の場合には、
その最小値を持つ第ｍ基本判別関数ｆ′mij(x,y)から逆
に、親である基本判別関数をたどっていくことで求める
判別関数を再構成し、smijの最小値がsnijの最小値以上
の場合には、その最小値を持つ第ｎ基本判別関数ｆ′
nij(x,y)から逆に、親である基本判別関数をたどってい
くことで求める判別関数を再構成する。そして、このル
ーチン（第７図（ａ））を終了する。ここで求めた判別
関数は、注目画素を中心とした限られた大きさの近傍エ
リア内の一定個数の特徴量c1……ckの多次元多項式とな
っている点に特徴がある。 以上をまとめると、領域Ａの各位置での判別関数ｆの
各出力値が値Vaを中心とした分布に、領域Ｂの各位置で
の判別関数の各出力値が値Vbを中心とした分布になり、
しかも両分布の分散値との和が一定値Ｓ以下となるよう
に、注目画素の近傍エリアからの複数個の濃淡値を変数
としてもつ判別関数ｆを決定するのに、第６図と第７図
（ａ）に示したようなステップを用いる。第７図（ａ）
のステップでは、両分布の分散値との和が最小となるよ
うに、注目画素を中心とした一定の大きさの近傍エリア
内の一定個数の特徴量c1……ckの多次元多項式の形の判
別関数fnを求めている。第６図のステップでは、判別関
数fnに対して、第２ステップを再度作用させて両分布の
分散値との和が小さくなるようにしている。すなわち、
第６図のステップでは、第２ステップを繰り返すことで
近傍エリアを徐々に拡大しながら、テクスチャの分離が
可能となる（分散値がＳ以下となる）、複数個の特徴量
とそれからなる判別関数を求めていることになる。この
ようにすれば、第３図（ｂ）に示すように、領域Ａのな
かの背景模様部はVaを中心とした分散値の小さな分布と
なる。そのため、領域Ｂのなかの背景模様部はVaを中心
とした分布であることから、残された文字部は、異なる
値を持つ分布を形成することになり、両者の分離が可能
となる。文字抽出結果を第１図（ｃ）に示す。 なお、本実施例においては、印刷文書内の見だし領域
からの文字抽出を用いて本発明を説明したが、生体組織
画像からの特定組織の抽出や航空写真画像からの特定エ
リアの抽出等も、学習領域ＡとＢを設定し本発明の判別
関数を得ることで実現できる。
以上述べたように、本発明によれば、２つのテクスチ
ャ（細かな模様）領域毎に学習領域ＡとＢを自動的に設
定し、それらの領域を学習することで最適なテクスチャ
分離用の判別関数を得ている。このようにすることで、
たとえ、未知のテクスチャからなるパターンに遭遇して
も、適応的に、テクスチャ分離が可能となる。
ャ（細かな模様）領域毎に学習領域ＡとＢを自動的に設
定し、それらの領域を学習することで最適なテクスチャ
分離用の判別関数を得ている。このようにすることで、
たとえ、未知のテクスチャからなるパターンに遭遇して
も、適応的に、テクスチャ分離が可能となる。
第１（ａ）図は本発明の文字抽出方法を説明するための
図、第１（ｂ）図は本発明の文字抽出方法における学習
領域Ａ及び学習領域Ｂの設定を示す図、第１（ｃ）図は
本発明の文字抽出方法による文字抽出の結果を示す図、
第２図は本発明を採用した文書自動登録検索システムの
全体構成図、第３図は判別関数の出力状態を示した図、
第４図は学習領域ＡとＢを設定方法を説明するための
図、第５図は投影分布の一例を示した図、第６図は判別
関数を求める方法を示した図、第７図は第６図における
第ｎ判別関数を求める方法を示した図である。 符号の説明 １…印刷物、２…画像メモリ、３…計算機、４…メモ
リ、５…CRT、６…スキャナ、Ｍ…見だし領域、Ｃ…文
字部、Ｔ…模様、ｒ…近傍エリアのサブエリア。
図、第１（ｂ）図は本発明の文字抽出方法における学習
領域Ａ及び学習領域Ｂの設定を示す図、第１（ｃ）図は
本発明の文字抽出方法による文字抽出の結果を示す図、
第２図は本発明を採用した文書自動登録検索システムの
全体構成図、第３図は判別関数の出力状態を示した図、
第４図は学習領域ＡとＢを設定方法を説明するための
図、第５図は投影分布の一例を示した図、第６図は判別
関数を求める方法を示した図、第７図は第６図における
第ｎ判別関数を求める方法を示した図である。 符号の説明 １…印刷物、２…画像メモリ、３…計算機、４…メモ
リ、５…CRT、６…スキャナ、Ｍ…見だし領域、Ｃ…文
字部、Ｔ…模様、ｒ…近傍エリアのサブエリア。
フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 7/00 - 7/60
Claims (9)
- 【請求項１】複数のテクスチャ（細かな模様）が混在し
ている全体領域から、ある１つのテクスチャ種類の領域
を分離する方法において、 全体領域内に、分離すべきテクスチャ種類のみ含まない
で、他の全てのテクスチャ種類を含むような学習領域Ａ
と、複数のテクスチャ種類すべてを含むか、または、分
離すべきテクスチャ種類のみを含むような学習領域Ｂを
設定する第１のステップと、 全体領域内のある注目画素が分離すべきテクスチャ種類
の領域に含まれているかを判定するための判別関数を、
学習領域ＡとＢの濃淡画像情報から決定する第２のステ
ップと、 全体領域内の各画素ごとに判別関数の出力値により、分
離すべきテクスチャ種類の領域に含まれるか否かを決定
する第３のステップ を有することを特徴とするテクスチャ分離方法。 - 【請求項２】請求項１記載のテクスチャ分離方法におい
て、 全体領域内のある注目画素がいずれの領域に含まれるか
を判別するための、注目画素の近傍の複数個の画素濃淡
値を用いた特徴量を変数として持つ判別関数を、学習領
域Ａの各位置での判別関数の出力値が値Vaを中心とした
分布に、学習領域Ｂの各位置での出力値が値Vbを中心と
した分布になり、しかも両分布の分散値の和が一定値以
下となるように決定すること を特徴とするテクスチャ分離方法。 - 【請求項３】２種類のテクスチャ（細かな模様）が混在
している全体領域をそれぞれのテクスチャ種類ごとの領
域に分離する方法において、 いずれかの１つのテクスチャ種類のみを含む学習領域Ａ
と、他方のテクスチャ種類のみ、又は、両テクスチャ種
類を含む学習領域Ｂを全体領域内に設定する第１のステ
ップと、 全体領域内のある注目画素がいずれの領域に含まれるか
を判別するための、注目画素の近傍の複数個の画素濃淡
値を用いた特徴量を変数として持つ判別関数ｆを、学習
領域Ａの各位置での判別関数ｆの出力値が値Vaを中心と
した分布に、学習領域Ｂの各位置での出力値が値Vbを中
心とした分布になり、しかも両分布の分散値の和が一定
値以下となるように決定する第２のステップと、 全体領域内の各画素ごとに判別関数ｆの出力値が値Vaに
近いか、もしくは、値Vbに近いかで、その画素がどちら
の領域に含まれるかを決定して全体領域をそれぞれの領
域に分離する第３のステップ、 を有することを特徴とするテクスチャ分離方法。 - 【請求項４】新聞や雑誌等の印刷物画像内の背景模様を
持っているを文字領域と背景模様領域とに分離する方法
において、 見だし領域内の濃淡画像情報を用いて、見だし領域内の
周辺部の背景模様のみの領域に学習領域Ａ、中心部の背
景模様と文字を含んだ領域に学習領域Ｂを見だし領域内
に設定する第１のステップと、 見だし領域内のある注目画素がいずれの領域に含まれる
かを判別するための、注目画素の近傍の複数個の画素濃
淡値を用いた特徴量を変数として持つ判別関数ｆを、学
習領域Ａの各位置での判別関数ｆの各出力値が値Vaを中
心とした分布に、学習領域Ｂの各位置での各出力値が値
Vbを中心とした分布になり、しかも両分布の分散値の和
が一定値以下となるように決定する第２のステップと、 見だし領域内の各画素ことに判別関数ｆの出力値が値Va
に近いか、もしくは、値Vbに近いかで、その画素が背景
模様と文字のどちらの領域に含まれるかを決定して見だ
し領域をそれぞれの領域に分離する第３のステップ、 を有することを特徴とする文字分離方法。 - 【請求項５】新聞や雑誌等の印刷物画像の内容を記録す
る方法において、 背景模様を持った見だし領域を印刷物画像から抽出する
第１のステップと、 請求項２記載のテクスチャ分離方法により、見だし領域
内の文字のみを抽出する第２のステップと、 各文字を、文字認識によりコード情報する第３のステッ
プ、 コード情報を検索用のキーワードとして他の情報に付加
する第３のステップ、 を有することを特徴とする内容記録方法。 - 【請求項６】２種類のテクスチャ（細かな模様）が混在
している全体領域において、ある注目画素がいずれのテ
クスチャ領域に含まれるかを判別するための、注目画素
の近傍の複数個の画素濃淡値を用いた特徴量を変数とし
て持つ多項式の判別関数ｆを、いずれかの１つのテクス
チャ種類のみを含む学習領域Ａの各位置での判別関数ｆ
の出力値が値Vaを中心とした分布に、他方のテクスチャ
種類のみ、又は、両テクスチャ種類を含む学習領域Ｂの
各位置での出力値が値Vbを中心とした分布になり、しか
も両分布の分散値の和が一定値Ｓ以下となるように決定
する方法において 注目画素の近傍の複数個の画素濃淡値を用いた特徴量を
変数として持つ第ｎ多項式判別関数fn(x,y)を、画像Pna
の各位置（x,y）での関数の各出力値が値Vaを中心とし
た分布に、画像Pnbの各位置（x,y）での関数の各出力値
が値Vbを中心とした分布になり、しかもそれぞれの分布
の分散値の和Snが最小となるように、ラグランジェの未
定係数法で決定する第１のステップ（ただし、世代番号
ｎが０の場合は画像PnaとPnbを領域Ａと領域Ｂ内の画像
自体とする）、Sm＞Sn＞Ｓ（ただし、ｍ＝ｎ−１、ｎ＝
０のときはSn＞Ｓの判定）の場合には次ステップ、その
他の場合は最終ステップに行くようにした第２のステッ
プと 世代を更新（ｎ＜−ｎ＋１）し、分離すべき画像PnaとP
nbを第ｍ多項式判別関数fm(x,y)（ただし、ｍ＝ｎ−
１）の領域Ａでの出力値と領域Ｂでの出力値とた後、第
１ステップに戻るようにした第３のステップと 得られた多項式判別関数群f0………fnを用いて、最終的
な多項式判別関数ｆ＝fn（fm（……（f0）…））を再構
成する最終ステップ、 を有することを特徴とするテクスチャ判別用多項式判別
関数ｆの決定方法 - 【請求項７】画像の学習領域Ａの各位置での多項式判別
関数ｆ′の各出力値が値Vaを中心とした分布に、学習領
域Ｂの各位置での多項式判別関数ｆ′の各出力値が値Vb
を中心とした分布になり、しかも両分布の分散値の和が
最小となるように、注目画素の一定の大きさの近傍のエ
リアからの複数個の画素濃淡値を用いた特徴量を変数と
して持つ多項式判別関数ｆ′を決定する方法において 注目画素を中心とした一定の大きさの近傍エリアより、
近傍エリアに含まれるサブエリアr1……rk内の濃淡平均
値を特徴量c1……ckとして求める第１ステップと、 各特徴量の組合せ（ci，cj）ごとに、式（１）のSijが
最小となり、しかも、式（２）が成立するような、式
（３）の形式で表現された第０基本判別関数ｆ′0ij(x,
y)の各未知係数a0，a1，a2，a3をラグランジェの未定係
数法で求める第２ステップと、 ただし、SaとSbは学習領域ＡとＢの面積 sijの最小値がＳ以下の場合には最終ステップに、その
他の場合には次ステップに行くようにする第３ステップ
と、 各sijが小さな値の特徴量の組合せでの第０基本判別関
数ｆ′0ij(x,y)をｋ個（（i0，j0），（i1，j1）…）を
選び、その各出力を次ステップへの入力画像とする第４
ステップと、 ここで、ｉとｊをまとめてｌ（ただし、１≦ｌ≦ｋでｌ
＝１のとき（i0，j0）、ｌ＝２のとき（i1，j1）…）と
し、入力画像をｆ′nl(x,y)（ただし、０≦ｎ）と表現
した時、入力画像の組合せ（ｆ′ni(x,y),f′nj(x,y)）
ごとに、式（４）のsmijが最小となり、しかも、式
（５）が成立するような、式（６）の形式で表現された
第ｍ基本判別関数ｆ′mij(x,y)（ただし、ｍ＝ｎ＋１）
の各未知係数am0，am1，am2，am3をラグランジェの未定
係数法で求める第５ステップと、 ただし、SaとSbは学習領域ＡとＢの面積 smijの最小値がＳ以下の場合、又はsmijの最小値がsnij
の最小値以上の場合には、最終ステップに、その他の場
合には次ステップに行くようにする第６ステップと、 各smijが小さな値を持つ第ｍ基本判別関数ｆ′mij(x,y)
をｋ′個選び、その各出力を、再び、第５ステップへの
入力画像ｆ′ml(x,y)（ただし、ｌ＝ｋ′）とする第７
ステップと、 smij又はsijの最小値がＳ以下である場合には、その最
小値を持つ第ｍ基本判別関数ｆ′mij(x,y)から逆に、親
である基本判別関数をたどっていくことで求める判別関
数ｆ′を再構成し、smijの最小値がsnijの最小値以上の
場合には、その最小値を持つ第ｎ基本判別関数ｆ′
nij(x,y)から逆に、親である基本判別関数をたどってい
くことで求める判別関数ｆ′を再構成する最終ステッ
プ、 を有することを特徴とする判別関数ｆ′の決定方法。 - 【請求項８】請求項６記載の判別関数ｆの決定方法にお
いて、第２ステップの第ｎ判別関数fnの決定に請求項７
記載の判別関数ｆ′の決定方法を用いることを特徴とす
る判別関数ｆの決定方法 - 【請求項９】請求項２又は３記載のテクスチャ分離方法
又は請求項４記載の文字分離方法において、第２ステッ
プの判別関数ｆの決定に請求項８記載の判別関数ｆの決
定方法を用いることを特徴とするテクスチャ分離方法及
び文字分離方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1066122A JP2865697B2 (ja) | 1989-03-20 | 1989-03-20 | エクスチャ分離方法 |
| EP90104476A EP0388725B1 (en) | 1989-03-20 | 1990-03-08 | Texture discrimination method |
| DE69028332T DE69028332T2 (de) | 1989-03-20 | 1990-03-08 | Texturunterscheidungsverfahren |
| US08/267,552 US5448651A (en) | 1989-03-20 | 1994-06-21 | Texture discrimination method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1066122A JP2865697B2 (ja) | 1989-03-20 | 1989-03-20 | エクスチャ分離方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02245882A JPH02245882A (ja) | 1990-10-01 |
| JP2865697B2 true JP2865697B2 (ja) | 1999-03-08 |
Family
ID=13306757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1066122A Expired - Lifetime JP2865697B2 (ja) | 1989-03-20 | 1989-03-20 | エクスチャ分離方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5448651A (ja) |
| EP (1) | EP0388725B1 (ja) |
| JP (1) | JP2865697B2 (ja) |
| DE (1) | DE69028332T2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE38787E1 (en) | 1993-12-15 | 2005-08-30 | Mlr, Llc | Apparatus and methods for networking omni-modal radio devices |
| US5754708A (en) * | 1994-11-16 | 1998-05-19 | Mita Industrial Co. Ltd. | Dotted image area detecting apparatus and dotted image area detecting method |
| US5847712A (en) * | 1995-01-03 | 1998-12-08 | University Of Washington | Method and system for generating graphic illustrations according to a stroke texture and a tone |
| US5802203A (en) * | 1995-06-07 | 1998-09-01 | Xerox Corporation | Image segmentation using robust mixture models |
| US6023534A (en) * | 1997-08-04 | 2000-02-08 | Xerox Corporation | Method of extracting image data from an area generated with a halftone pattern |
| JP4392907B2 (ja) * | 1999-07-30 | 2010-01-06 | 株式会社東芝 | 文字切出し方法 |
| US6766054B1 (en) | 2000-08-14 | 2004-07-20 | International Business Machines Corporation | Segmentation of an object from a background in digital photography |
| US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US6625310B2 (en) * | 2001-03-23 | 2003-09-23 | Diamondback Vision, Inc. | Video segmentation using statistical pixel modeling |
| US7424175B2 (en) * | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| US7079686B2 (en) * | 2002-08-20 | 2006-07-18 | Lexmark International, Inc. | Systems and methods for content-based document image enhancement |
| TW564377B (en) * | 2002-11-01 | 2003-12-01 | Star News Network Co Ltd | Pattern identification system |
| KR101392294B1 (ko) | 2006-04-17 | 2014-05-27 | 오브젝트비디오 인코퍼레이티드 | 통계적인 픽셀 모델링을 이용한 비디오 분할 |
| US10083364B2 (en) | 2014-04-16 | 2018-09-25 | Glory Ltd. | Method and apparatus for removing character background from colored image |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4408181A (en) * | 1979-04-10 | 1983-10-04 | Tokyo Shibaura Denki Kabushiki Kaisha | Document data filing/retrieval system |
| US4339745A (en) * | 1980-05-14 | 1982-07-13 | General Electric Company | Optical character recognition |
| JPS59128661A (ja) * | 1983-01-14 | 1984-07-24 | Fuji Xerox Co Ltd | 画像フアイル装置 |
| US4550435A (en) * | 1983-06-07 | 1985-10-29 | Rca Corporation | Multilevel thresholding for target tracking apparatus |
| US4769849A (en) * | 1985-12-19 | 1988-09-06 | The Palantir Corporation | Method and apparatus for separating overlapping patterns |
| US5065444A (en) * | 1988-02-08 | 1991-11-12 | Northrop Corporation | Streak removal filtering method and apparatus |
| DE3881392T2 (de) * | 1988-09-12 | 1993-10-21 | Oce Nederland Bv | System und Verfahren für automatische Segmentierung. |
| US5048096A (en) * | 1989-12-01 | 1991-09-10 | Eastman Kodak Company | Bi-tonal image non-text matter removal with run length and connected component analysis |
-
1989
- 1989-03-20 JP JP1066122A patent/JP2865697B2/ja not_active Expired - Lifetime
-
1990
- 1990-03-08 DE DE69028332T patent/DE69028332T2/de not_active Expired - Lifetime
- 1990-03-08 EP EP90104476A patent/EP0388725B1/en not_active Expired - Lifetime
-
1994
- 1994-06-21 US US08/267,552 patent/US5448651A/en not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 電子通信学会論文誌，Ｊ６９−Ｄ，［８］，（昭和６１年），ｐ１１８７−１１９６ |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69028332T2 (de) | 1997-04-30 |
| EP0388725A2 (en) | 1990-09-26 |
| US5448651A (en) | 1995-09-05 |
| JPH02245882A (ja) | 1990-10-01 |
| EP0388725A3 (en) | 1992-08-12 |
| DE69028332D1 (de) | 1996-10-10 |
| EP0388725B1 (en) | 1996-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2865697B2 (ja) | エクスチャ分離方法 | |
| US8634644B2 (en) | System and method for identifying pictures in documents | |
| US7991224B2 (en) | Segmenting digital image and producing compact representation | |
| Won et al. | Efficient use of MPEG‐7 edge histogram descriptor | |
| Pietikäinen et al. | Rotation-invariant texture classification using feature distributions | |
| JP5149259B2 (ja) | ランレングスヒストグラムを用いて文書の表現を生成する方法及び装置 | |
| JP5181886B2 (ja) | 電子書類の検索方法、検索システム及びコンピュータプログラム | |
| US8260062B2 (en) | System and method for identifying document genres | |
| JP5095534B2 (ja) | ジャンクションを生成するシステム及び方法 | |
| EP1096391A2 (en) | Automatic categorization of documents using document signatures | |
| US20040220898A1 (en) | Information processing apparatus, method, storage medium and program | |
| CN101133429A (zh) | 文档和/或图像检索方法及其程序、文档和/或图像存储设备和检索设备 | |
| US9047534B2 (en) | Method and apparatus for detecting near-duplicate images using content adaptive hash lookups | |
| JP2006338313A (ja) | 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 | |
| US10095677B1 (en) | Detection of layouts in electronic documents | |
| Rusiñol et al. | Boosting the handwritten word spotting experience by including the user in the loop | |
| KWAK et al. | Content‐Based Ultrasound Image Retrieval Using a Coarse to Fine Approach | |
| Kannan et al. | Efficient use of MPEG-7 color layout and edge histogram descriptors in CBIR systems | |
| Chiang et al. | Learning component-level sparse representation for image and video categorization | |
| Le et al. | Document classification using connectionist models | |
| JP3113785B2 (ja) | 画像分類装置 | |
| Dimov | Fast Image Retrieval by the Tree of Contours’ Content | |
| Sauvola et al. | Predictive coding for document layout characterization | |
| NL1006757C2 (nl) | Retrospectieve conversie. | |
| AU2004242419A1 (en) | Analysing digital image of a document page |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071218 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081218 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081218 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091218 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091218 Year of fee payment: 11 |