JPH06150057A - Area separation system - Google Patents

Area separation system

Info

Publication number
JPH06150057A
JPH06150057A JP4300937A JP30093792A JPH06150057A JP H06150057 A JPH06150057 A JP H06150057A JP 4300937 A JP4300937 A JP 4300937A JP 30093792 A JP30093792 A JP 30093792A JP H06150057 A JPH06150057 A JP H06150057A
Authority
JP
Japan
Prior art keywords
area
character
discrimination
region
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4300937A
Other languages
Japanese (ja)
Other versions
JP3281065B2 (en
Inventor
Masaaki Imaizumi
昌明 今泉
Tsunenori Yoshinari
恒典 吉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP30093792A priority Critical patent/JP3281065B2/en
Publication of JPH06150057A publication Critical patent/JPH06150057A/en
Application granted granted Critical
Publication of JP3281065B2 publication Critical patent/JP3281065B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE:To easily discriminate the area of a sentence picture with high accuracy and to automatically prepare a data base or the like by extracting a feature amount for area discrimination, setting plural conditional propositions for area discrimination by using a fuzzy set, and discriminating the area basing on the result of the fuzzy inference. CONSTITUTION:The inputted sentence picture is divided into areas, the feature amount required for discriminating those areas is extracted, the feature amount required for discriminating the areas is extracted according to prescribed rules, and the image areas completed with area discrimination are displayed or filed. Namely, in the case of extracting the feature amount required for the area discrimination from the image, the minimum circumscribed rectangle is calculated for each area, and the attribute of the labelled area is discriminated by using the feature amounts (W and L.) Further, the areas are discriminated by performing the similar processing concerning the respective discrimination rules of the photograph area, chart area and table area. Then, the discriminated area is filed as the character area for the character area as it is, for example, and the other areas are filed while keeping the form as they are.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、紙面に記載された情報
から文字領域,図表領域,写真領域を分離して抽出する
領域分離システムに関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an area separating system for separating and extracting a character area, a figure area and a photograph area from information written on a paper.

【0002】さらに詳述すれば、本発明は、新聞や雑誌
などの文章画像から所望とする記事内容を効果的に切抜
き抽出し、これをそのまま、または再編集して表示また
はファイルすることのできる実用性の高い新聞・雑誌な
どの切り出しのための領域分離システムに関するもので
ある。
More specifically, according to the present invention, desired article contents can be effectively cut out and extracted from text images of newspapers, magazines, etc., and can be displayed or filed as it is or re-edited. The present invention relates to an area separation system for clipping highly practical newspapers and magazines.

【0003】[0003]

【従来の技術】従来技術1 新聞や雑誌などの文章画像には、数多くの記事が予め定
められた枠組み構成規則に従ってレイアウトして載せら
れている。そして、最近では、これらの中から所望とす
る記事を人間が指定(切抜き)し、再構築してコンピュ
ータシステムにファイリングすることが試みられてい
る。
2. Description of the Related Art Prior Art 1 On a text image of a newspaper or magazine, many articles are laid out according to a predetermined framework configuration rule. Recently, it has been attempted that a person specifies (cuts out) a desired article from these, reconstructs it, and files it in a computer system.

【0004】従来技術2 また従来、この種の画像領域分離には、フーリエ変換に
よるエッジ検出等の方法が研究され、対象文書全体につ
いて演算するためのプログラムが開発されてきた。
Prior Art 2 Further, conventionally, for this kind of image area separation, methods such as edge detection by Fourier transform have been studied, and a program for operating the entire target document has been developed.

【0005】[0005]

【発明が解決しようとする課題】課題1 しかしながら、新聞・雑誌などは紙面サイズが決められ
ているものの、各種記事は上記紙面サイズを有効に利用
すべく、ある領域に割り付けがなされて組み込まれてい
るため、文字領域,図・表領域,写真領域などが混在し
てあり、単に紙面上の単純な位置・領域を特定するだけ
では所望とする文字領域のみを抽出することができない
という不具合がある。
Problem 1 However, although the paper size of newspapers and magazines is determined, various articles are assigned to a certain area and incorporated in order to effectively use the paper size. Therefore, there is a problem that a character area, a figure / table area, a photo area, and the like are mixed, and it is not possible to extract only a desired character area by simply specifying a simple position / area on the paper surface. .

【0006】すなわち、1枚の紙面上で表示あるいはフ
ァイル化の対象となる記事は多数存在し、その中で種々
の形状に割り付けがなされているある一つの記事だけが
一つの単位記事となるので、例えば一紙面をページなど
とする固定的な単位のみでは扱うことができない。
That is, there are many articles to be displayed or filed on one sheet of paper, and only one article assigned to various shapes becomes one unit article. , It cannot be handled only by a fixed unit such as one page as a page.

【0007】また、コード化された文字情報を扱う場合
と異なり、文章画像として入力される情報を取り扱うの
で、必然的に領域の理解・判断という処理が必要となっ
てくる。
Further, unlike the case of handling coded character information, since the information input as a text image is handled, it is inevitably necessary to understand and judge the area.

【0008】さらに、新聞・雑誌などの情報を効果的に
蓄積するために、コード化する領域(文字領域)と画像
情報として扱う領域(図・表領域,写真領域)などを適
切に判断することが要求される。
Further, in order to effectively store information on newspapers, magazines, etc., it is necessary to appropriately judge an area to be coded (character area) and an area to be treated as image information (figure / table area, photo area). Is required.

【0009】よって、本発明の第1の目的は、新聞や雑
誌などの中から所望とする記事を効果的に抽出して、割
り付け領域を抽出表示したり、あるいはファイル化する
ことのできる実用性の高い文章画像の領域分離システム
を提供することにある。
[0009] Therefore, the first object of the present invention is to put a desired article into effect from a newspaper or magazine, and to extract and display the allocated area, or to put it into a file. An object of the present invention is to provide a high-quality text image area separation system.

【0010】また、本発明の第2の目的は、図・表・グ
ラフなどの領域に含まれる文字領域を認識することによ
り、データベースなどに用いることができるよう構成し
た領域分離システムを提供することにある。
A second object of the present invention is to provide an area separation system constructed so that it can be used in a database or the like by recognizing character areas included in areas such as figures, tables and graphs. It is in.

【0011】課題2 上述した第2の従来例では、文書全体に対して定められ
た種々の複雑な演算を施し、その結果のデータを記憶
し、さらに定められたデータ処理を行った後、定められ
た手順に従って領域を分けるといった複雑なルーチンを
経て分離が行われるため、正確ではある反面、 (1)演算処理に長い時間を要する。
Problem 2 In the above-mentioned second conventional example, various complicated operations that have been set are performed on the entire document, the resulting data is stored, and after the predetermined data processing is performed, the setting is performed. Since the separation is performed through a complicated routine such as dividing the area in accordance with the procedure, it is accurate, but (1) a long time is required for the arithmetic processing.

【0012】(2)演算結果などのデータを格納する膨
大な記憶容量が必要になる。
(2) A huge storage capacity for storing data such as calculation results is required.

【0013】という欠点があった。There is a drawback that

【0014】ところが実際の文書は、ある程度まで(認
識率70〜80%程度)は、より簡単な方法で領域分離
することが可能であり、文書全体にこのように複雑な演
算処理をするのは無駄が多いことになる。
However, an actual document can be divided into areas by a simpler method up to a certain degree (recognition rate of about 70 to 80%), and it is not possible to perform such complicated arithmetic processing on the entire document. There will be a lot of waste.

【0015】よって、本発明の第3の目的は、演算時間
を短縮すると共に、少ない記憶容量で正確な領域の識別
を可能とした領域分離システムを提供することにある。
Therefore, a third object of the present invention is to provide an area separation system which shortens the calculation time and enables accurate area identification with a small storage capacity.

【0016】[0016]

【課題を解決するための手段】手段1 かかる目的を達成するために、本発明は文字領域,図表
領域,写真領域のうち少なくともひとつの領域を含む画
像情報を入力し、該画像情報から領域判別のための特徴
量を抽出する特徴量抽出手段と、前記特徴量を入力し、
前記領域判別を行うための複数の条件命題をファジィ集
合を用いて設定し、ファジィ推論の結果に基づいて文字
領域,図表領域および写真領域を判別する判別手段と、
判別された前記各領域を表示あるいはファイルし、また
は、前記各領域を再構成処理して表示あるいはファイル
する処理手段とを具備したものである。
Means for Solving the Problems Means 1 In order to achieve such an object, the present invention inputs image information including at least one of a character area, a figure area and a photograph area, and discriminates an area from the image information. For extracting a feature amount for inputting the feature amount,
Determination means for setting a plurality of conditional propositions for performing the area determination using a fuzzy set, and determining a character area, a figure area, and a photograph area based on the result of fuzzy inference;
And a processing unit for displaying or filing each of the discriminated areas, or for reconstructing each of the areas and displaying or filing.

【0017】ここで、前記判別手段における前記領域判
別において文字領域以外の判別された領域については、
当該領域の内部についてさらに領域分離を行い、当該領
域中に含まれる文字領域を抽出し、表示あるいはファイ
ル化することも可能である。
Here, regarding the discriminated area other than the character area in the area discrimination in the discrimination means,
It is also possible to further perform area separation inside the area, extract the character area included in the area, and display or create a file.

【0018】手段2 さらに、入力された画像の中から文字領域を抽出する領
域分離システムにおいて、入力された画像全体に対して
粗い文字領域識別処理を施す第1の識別手段と、前記第
1の識別手段において判別し得なかった残りの領域につ
いては、精密な文字領域識別処理を施す第2の識別手段
とを具備した構成とすることができる。
Means 2 Further, in the area separating system for extracting a character area from an input image, a first identifying means for performing a rough character area identifying process on the entire input image, and the first identifying means. The remaining area that cannot be discriminated by the discriminating means may be provided with a second discriminating means for performing precise character area discriminating processing.

【0019】[0019]

【作用】本発明によれば、文章画像として入力される新
聞や雑誌などの文章画像から領域判別のための特徴量を
抽出し、領域判別のための複数の条件命題をファジィ集
合を用いて設定し、ファジィ推論の結果に基づいて領域
の判別をすることによって、人為的な判断処理を要する
ことなしに実用性の高い領域分離システムを実現するこ
とができる。
According to the present invention, a feature quantity for area discrimination is extracted from a text image such as a newspaper or magazine input as a text image, and a plurality of conditional propositions for area discrimination are set using a fuzzy set. However, by discriminating the region based on the result of the fuzzy inference, it is possible to realize a highly practical region separation system without the need for artificial judgment processing.

【0020】さらに、その他の本発明によれば、まず、
文書全体にファジィ推論などを用いて粗い領域判別を行
い、明確に文字領域と識別される部分と、文字領域か画
像領域かの判別が困難である部分とに分け、この後者の
部分についてのみに先の従来例で示した種々の方法(F
FT法など)を適用することにより、演算時間を短く
し、少ない記憶容量で正確に画像領域分離を行うことが
できる。
According to another aspect of the present invention, first,
Rough area discrimination is performed on the entire document by using fuzzy reasoning, and it is divided into a portion that is clearly identified as a character area and a portion where it is difficult to determine whether it is a character area or an image area. The various methods (F
By applying the FT method or the like), the calculation time can be shortened and the image area can be accurately separated with a small storage capacity.

【0021】[0021]

【実施例】以下、図面を参照して本発明の各実施例を詳
細に説明する。なお、以下に述べる実施例では論文誌を
例に挙げて説明するが、一般的な新聞,雑誌,書籍など
も対象となることは言うまでもない。
Embodiments of the present invention will be described in detail below with reference to the drawings. In addition, in the embodiment described below, a thesis journal will be described as an example, but it goes without saying that general newspapers, magazines, books and the like are also applicable.

【0022】実施例1 領域判別の対象となる論文誌は、図2に模式的に示すよ
うに、その紙面にタイトル21、氏名22、所属23、
見出し24、本文25A,25B、図26、表27、写
真28などが所定のレイアウト規則に従って割り付けし
て構成されている。このように、1枚の誌面中に複数の
領域が混在したものとなっている。
Example 1 As shown in FIG. 2, a paper journal to be subjected to region discrimination has a title 21, a name 22, an affiliation 23,
The headline 24, the texts 25A and 25B, FIG. 26, the table 27, the photograph 28, and the like are arranged according to a predetermined layout rule. In this way, a plurality of areas are mixed in one magazine.

【0023】本発明の一実施例による領域分離システム
では、次のようにして画像入力される論文・新聞・雑誌
などの文章情報から所望とする領域の判定を行ってい
る。
In the area separation system according to the embodiment of the present invention, a desired area is determined from the text information of a paper, newspaper, magazine or the like which is input as an image as follows.

【0024】本システムにおける処理は基本的には、図
1に示すように、 (1)入力された文章画像の中から、領域に分割する処
理。:S11 (2)文章画像から領域の判別に必要な特徴量を抽出す
る処理。:S12 (3)所定の規則に従い、上記領域の特性を判別する処
理。:S13 (4)領域判別が終了した画像領域を表示する処理また
はファイル化する処理。:S14 に大別される。
Basically, the processing in this system is, as shown in FIG. 1, (1) processing for dividing an input text image into areas. : S11 (2) A process of extracting a feature amount necessary for discriminating an area from a text image. : S12 (3) A process of determining the characteristics of the region according to a predetermined rule. : S13 (4) A process of displaying or filing the image region for which the region determination is completed. : S14 is roughly classified.

【0025】次に、それぞれの処理S11〜S14につ
いて、具体的に説明する。
Next, the respective processes S11 to S14 will be specifically described.

【0026】(1)文章画像の文字領域・図表・写真の
境界は、例えば2値化後の画像拡大(deliatio
n)処理や画像融合(fusion)処理を用いたり、
画像の白黒反転を適宜用い、領域をラベリングすること
により実施できる。
(1) The boundary between the character area, the chart, and the photograph of the text image is, for example, the image enlargement (delayatio) after binarization.
n) processing or image fusion processing,
This can be performed by appropriately using black-and-white inversion of the image and labeling the area.

【0027】具体的には、多値画像の入力画像を適当な
しきい値処理した後の2値画像に図3に示すような拡大
処理(deliation):F(x,y)を適当な
数;m回を繰り返した後、ラベリング処理することによ
り各々の領域を作ることができる(図4参照)。
Specifically, an appropriate number of enlargement processes (delay): F (x, y) as shown in FIG. 3 are applied to a binary image obtained by subjecting an input image of a multi-valued image to an appropriate threshold value; After repeating m times, each region can be created by performing a labeling process (see FIG. 4).

【0028】(2)次に、画像から領域判別に必要な特
徴量を抽出する。まず、各領域について最小外接矩形を
求める(図5参照)。
(2) Next, the feature amount necessary for the area discrimination is extracted from the image. First, the minimum circumscribed rectangle is obtained for each area (see FIG. 5).

【0029】そして、その外接矩形のW,Lを求める
(図6参照)。
Then, W and L of the circumscribed rectangle are obtained (see FIG. 6).

【0030】(3)特徴量(W,L)を用いてラベリン
グした領域の属性を判別する。
(3) The attribute of the labeled area is determined by using the feature amount (W, L).

【0031】領域の判別にあたり、判別関数が複雑にな
ることが多い。そこで、認識率を高め判別関数の表現を
簡単にするために、ここではファジィ表現を用いる。
When discriminating an area, the discriminant function is often complicated. Therefore, in order to increase the recognition rate and simplify the expression of the discriminant function, fuzzy expression is used here.

【0032】具体的な例を以下に示す。A specific example is shown below.

【0033】文字領域の判別として ルール1 ファジィ表現 領域の幅;Wが短く かつ 領域の長さ;Lが長い時 その領域が文字領域の可能性が高い。Rule 1 for discriminating character areas Fuzzy expression Area width; W is short and area length; L is long It is highly possible that the area is a character area.

【0034】−−−−(ルール1) と言うように表現する。It is expressed as "---- (rule 1)".

【0035】次に特徴量W,Lからどのようにしてその
領域の特性を決定するかについて、図7および図8を用
いて説明する。
Next, how to determine the characteristic of the area from the characteristic amounts W and L will be described with reference to FIGS. 7 and 8.

【0036】ルール1を if {W(width) is SH(short)} and {L(length) is LN(long)} then Ptx(Possibility of text) is HG(high) ルール2を if{W(width) is VS(very short)} and {L(length) is MD(middle)} then Ptx(Possibility of text) is UK(unknown) ルールnについても同様である。Rule 1 if {W (width) is SH (short)} and {L (length) is LN (long)} then Ptx (Possibility of text) is HG (high) Rule 2 is if {W (width) ) Is VS (very short)} and {L (length) is MD (middle)} then Ptx (Possibility of text) is UK (unknown) The same applies to the rule n.

【0037】ここでifから後を前件部、thenから
後を後件部と呼ぶ。
Here, the part after if is called the antecedent part, and the part after then is called the consequent part.

【0038】そしてSH,LN,HGを各々言語真理値
と呼び、各々「短い」、「長い」、「高い」に相当す
る。
SH, LN, and HG are called language truth values, and correspond to "short", "long", and "high", respectively.

【0039】図8に戻って、領域i番目の特徴量をW
i,Liとする。
Returning to FIG. 8, the feature quantity of the i-th region is W
i and Li.

【0040】文字領域の判別に関するルールがn個あっ
た場合、ルール1の成立度:α1を求める。
When there are n rules relating to the discrimination of the character area, the degree of satisfaction of rule 1: α1 is obtained.

【0041】W is SHの成立度をαW1 L is LNの成立度をαL1とすると α1=min(αW1,αL1) ルール1の結論部をfc1とすると f1=α1×fc1 同様にルール2の成立度:α2 α2=min(αW2,αL2) ルール2の結論部をfc2とすると f2=α2×fc2 全てのルールに関する結論をファジィ集合fcとする
と、 fc=max(f1,f2,…,fn) で表せる。これを非ファジィ化する場合、確定値Ptx
とすると、 Ptx=(積分)fc*x/(積分)fc 文字領域の可能性Ptxが求められる。
When the degree of establishment of W is SH is αW1 and the degree of establishment of L is LN is αL1, α1 = min (αW1, αL1) When the conclusion part of rule 1 is fc1, f1 = α1 × fc1 Similarly, the degree of satisfaction of rule 2 : Α2 α2 = min (αW2, αL2) If the conclusion part of rule 2 is fc2, then f2 = α2 × fc2 If the conclusions for all rules are fuzzy set fc, then fc = max (f1, f2, ..., fn) . When defuzzifying this, the fixed value Ptx
Then, Ptx = (integration) fc * x / (integration) fc The possibility Ptx of the character area is obtained.

【0042】写真領域の判別ルール、図領域の判別ルー
ル、表領域の判別ルールに関して同様の処理を行うこと
により領域の判別を行う。
The region is discriminated by performing the same processing with respect to the photo region discrimination rule, the drawing region discrimination rule, and the table region discrimination rule.

【0043】(4)領域の判別が終了した領域について
は、例えば文字領域は文字領域としてファイル化を行
う。また、文字領域以外の領域については、そのままの
形でファイル化を行う。
(4) For the area for which the area determination has been completed, the character area is converted into a file as a character area. Areas other than the character area are filed as they are.

【0044】さらに、文字領域/その他の領域について
指定された形式で表示を行う。
Further, the character area / other areas are displayed in the designated format.

【0045】本発明の上記実施例によれば、文章画像の
なかの文字領域と、図・表・グラフ・写真領域の判別を
精度よく行うことができる。
According to the above-described embodiment of the present invention, the character area in the text image and the figure / table / graph / photo area can be accurately determined.

【0046】そして文字領域に関しては文字認識を行い
コード化し、その他の領域について画像領域として記録
することにより、文章画像に比べてデータ量の圧縮・デ
ータ転送時間の短縮化・ファイル内容の修正が可能とな
る。
Character recognition is performed on the character area, the character area is coded, and the other area is recorded as an image area, so that the data amount can be compressed, the data transfer time can be shortened, and the file content can be corrected as compared with the text image. Becomes

【0047】実施例2 図9は、本発明の第2の実施例による領域分離システム
を示すフローチャートである。
Embodiment 2 FIG. 9 is a flow chart showing a region separation system according to the second embodiment of the present invention.

【0048】本システムにおける処理は基本的には、図
9に示すように (1)入力された文章画像の中から、領域に分割する処
理。:S21 (2)文章画像から、領域の判別に必要な特徴量を抽出
する処理。:S22 (3)所定の規則に従い、上記領域の特性を判別する処
理。:S23 (4)文字領域以外と判別された領域について、再度文
字領域の判別を行う。:S24 (5)領域判別が終了した画像領域を表示する処理また
はファイル化する処理。:S25 に大別される。
Basically, the processing in this system is, as shown in FIG. 9, (1) processing for dividing an input text image into areas. : S21 (2) A process of extracting a feature amount necessary for discriminating an area from a text image. : S22 (3) A process of determining the characteristics of the region according to a predetermined rule. : S23 (4) With respect to the area determined to be other than the character area, the character area is determined again. : S24 (5) Processing for displaying or filing the image area for which the area determination has been completed. : S25.

【0049】次に、それぞれの処理S11〜S14につ
いて、具体的に説明する。
Next, the respective processes S11 to S14 will be specifically described.

【0050】(1)文章画像の文字領域・図表・写真の
境界は、例えば2値化後の画像拡大(deliatio
n)処理や画像融合(fusion)処理を用いたり、
画像の白黒反転を適宜用い、領域をラベリングすること
により実施できる。
(1) The boundary between the character area, the chart, and the photograph of the text image is, for example, the image enlarged after the binarization (deliatio).
n) processing or image fusion processing,
This can be performed by appropriately using black-and-white inversion of the image and labeling the area.

【0051】具体的には、多値画像の入力画像を適当な
しきい値処理した後の2値画像に図3に示すような拡大
処理(deliation):F(x,y)を適当な
数;m回を繰り返した後、ラベリング処理することによ
り各々の領域を作ることができる(図4参照)。
Specifically, an appropriate number of enlargement processes (delivery) F (x, y) as shown in FIG. 3 are applied to a binary image obtained by subjecting an input image of a multivalued image to an appropriate threshold value; After repeating m times, each region can be created by performing a labeling process (see FIG. 4).

【0052】(2)次に、画像から領域判別に必要な特
徴量を抽出する。まず、各領域について最小外接矩形を
求める(図5参照)。
(2) Next, the feature amount necessary for the area discrimination is extracted from the image. First, the minimum circumscribed rectangle is obtained for each area (see FIG. 5).

【0053】そして、その外接矩形のW,Lを求める
(図6参照)。
Then, W and L of the circumscribed rectangle are obtained (see FIG. 6).

【0054】(3)特徴量(W,L)を用いてラベリン
グした領域の属性を判別する。
(3) The attribute of the labeled area is determined by using the feature amount (W, L).

【0055】領域の判別にあたり、判別関数が複雑にな
ることが多い。そこで、認識率を高め判別関数の表現を
簡単にするために、ここではファジィ表現を用いる。
When discriminating an area, the discriminant function is often complicated. Therefore, in order to increase the recognition rate and simplify the expression of the discriminant function, fuzzy expression is used here.

【0056】具体的な例を以下に示す。A specific example is shown below.

【0057】文字領域の判別として ルール1 ファジィ表現 領域の幅;Wが短く かつ 領域の長さ;Lが長い時 その領域が文字領域の可能性が高い。Rule 1 for discriminating a character region Fuzzy expression Region width; W is short and region length; L is long It is highly possible that the region is a character region.

【0058】−−−−(ルール1) と言うように表現する。It is expressed as "---- (rule 1)".

【0059】次に特徴量W,Lからどのようにしてその
領域の特性を決定するかについて、図7および図8を用
いて説明する。
Next, how to determine the characteristic of the area from the characteristic amounts W and L will be described with reference to FIGS. 7 and 8.

【0060】ルール1を if {W(width) is SH(short)} and {L(length) is LN(long)} then Ptx(Possibility of text) is HG(high) ルール2を if{W(width) is VS(very short)} and {L(length) is MD(middle)} then Ptx(Possibility of text) is UK(unknown) ルールnについても同様である。Rule 1 is if {W (width) is SH (short)} and {L (length) is LN (long)} then Ptx (Possibility of text) is HG (high) Rule 2 is if {W (width) ) Is VS (very short)} and {L (length) is MD (middle)} then Ptx (Possibility of text) is UK (unknown) The same applies to the rule n.

【0061】ここifから後を前件部、thenから後
を後件部と呼ぶ。
The part after if is called the antecedent part, and the part after the is called the consequent part.

【0062】そしてSH,LN,HGを各々言語真理値
と呼び、各々「短い」、「長い」、「高い」に相当す
る。
SH, LN, and HG are called language truth values, and correspond to "short", "long", and "high", respectively.

【0063】図8に戻って、領域i番目の特徴量をW
i,Liとする。
Returning to FIG. 8, the feature quantity of the i-th region is set to W
i and Li.

【0064】文字領域の判別に関するルールがn個あっ
た場合、ルール1の成立度:α1を求める。
When there are n rules relating to the determination of the character area, the degree of satisfaction of rule 1: α1 is obtained.

【0065】W is SHの成立度をαW1 L is LNの成立度をαL1とすると α1=min(αW1,αL1) ルール1の結論部をfc1とすると f1=α1×fc1 同様にルール2の成立度:α2 α2=min(αW2,αL2) ルール2の結論部をfc2とすると f2=α2×fc2 全てのルールに関する結論をファジィ集合fcとする
と、 fc=max(f1,f2,…,fn) で表せる。これを非ファジィ化する場合、確定値Ptx
とすると、 Ptx=(積分)fc*x/(積分)fc 文字領域の可能性をPtxが求められる。
If the degree of satisfaction of W is SH is αW1 and the degree of satisfaction of L is LN is αL1, α1 = min (αW1, αL1) If the conclusion part of rule 1 is fc1, then f1 = α1 × fc1 Similarly, the degree of satisfaction of rule 2 is satisfied. : Α2 α2 = min (αW2, αL2) If the conclusion part of rule 2 is fc2, then f2 = α2 × fc2 If the conclusions for all rules are fuzzy set fc, then fc = max (f1, f2, ..., fn) . When defuzzifying this, the fixed value Ptx
Then, Ptx = (integration) fc * x / (integration) fc Ptx is calculated as the possibility of the character area.

【0066】写真領域の判別ルール、図領域の判別ルー
ル、表領域の判別ルールに関して同様の処理を行うこと
により領域の判別を行う。
The region is discriminated by performing the same processing with respect to the photo region discrimination rule, the drawing region discrimination rule, and the table region discrimination rule.

【0067】(4)上記判別で文字領域以外と判別され
た領域の中にある領域について、再度特徴量(W,L)
を用いてラベリングした領域の属性を判別する。
(4) For the area in the area determined to be other than the character area in the above determination, the feature amount (W, L) is again determined.
Is used to determine the attributes of the labeled area.

【0068】これを、図10を用いて説明する。This will be described with reference to FIG.

【0069】領域2{(XL1,YL1)、(XR2,
YR2)}…領域n{(XLn,YLn),(XRn,
YRn)}が領域1{(XL1,YL1)(XR1,Y
R1)}に内包:XL1≦XLn≦XRn≦XR1かつ
YL1≦YLn≦YRn≦YR1され、しかも領域1が
上記(3)により文字以外の領域として判別され領域
2,領域nが文字領域として判別されるとき、領域2,
領域nの属性を同一とする。
Area 2 {(XL1, YL1), (XR2,
YR2)} ... Region n {(XLn, YLn), (XRn,
YRn)} is the region 1 {(XL1, YL1) (XR1, Y
R1)} contains: XL1 ≤ XLn ≤ XRn ≤ XR1 and YL1 ≤ YLn ≤ YRn ≤ YR1, and region 1 is determined as a region other than the character by the above (3), and region 2 and region n are determined as the character region. Area 2,
The attributes of the region n are the same.

【0070】(5)領域の判別が終了した領域につい
て、例えば文字領域は文字領域としてファイル化を行
う。また、文字領域以外の領域についてはそのままの形
でファイル化を行う。
(5) For the area for which the area determination is completed, for example, the character area is filed as a character area. Areas other than the character area are filed as they are.

【0071】さらに、(4)で指定された文字領域+属
性の形でファイル化を、および、その他の領域について
指定された形式で表示を行う。
Further, the file is formed in the form of the character area + attribute specified in (4), and the other areas are displayed in the specified format.

【0072】実施例3 第3の実施例における処理は、基本的には第1の実施例
における処理(図1参照)と同じである。
Embodiment 3 The processing in the third embodiment is basically the same as the processing in the first embodiment (see FIG. 1).

【0073】そこで、本実施例における各処理を具体的
に説明する。
Therefore, each process in this embodiment will be specifically described.

【0074】(1)文章画像の文字領域・図表・写真の
境界は、例えば2値化後の画像拡大(deliatio
n)処理や画像融合(fusion)処理を用いたり、
画像の白黒反転を適宜用い、領域をラベリングすること
により実施できる。
(1) The boundary between the character area, the chart, and the photograph of the text image is, for example, the image enlargement (delayatio) after binarization.
n) processing or image fusion processing,
This can be performed by appropriately using black-and-white inversion of the image and labeling the area.

【0075】具体的には、多値画像の入力画像を適当な
しきい値処理した後の2値画像に図3に示すような拡大
処理(deliation):F(x,y)を適当な
数;m回を繰り返した後、ラベリング処理することによ
り各々の領域を作ることができる(図4参照)。
Specifically, an appropriate number of enlargement processes (delay) F (x, y) as shown in FIG. 3 are applied to a binary image obtained by subjecting an input image of a multivalued image to an appropriate threshold value; After repeating m times, each region can be created by performing a labeling process (see FIG. 4).

【0076】(2)次に、画像から領域判別に必要な特
徴量を抽出する。まず、各領域について最小外接矩形を
求める(図5参照)。
(2) Next, the feature amount necessary for area discrimination is extracted from the image. First, the minimum circumscribed rectangle is obtained for each area (see FIG. 5).

【0077】そして、その外接矩形のW,Lを求める
(図11参照)。
Then, W and L of the circumscribed rectangle are obtained (see FIG. 11).

【0078】(3)特徴量(W,L,Sa/S)を用い
てラベリングした領域の属性を判別する。
(3) The attribute of the labeled area is determined by using the feature amount (W, L, Sa / S).

【0079】領域の判別にあたり、判別関数が複雑にな
ることが多い。そこで、認識率を高め判別関数の表現を
簡単にするためにここではファジィ表現を用いる。
When discriminating an area, the discriminant function is often complicated. Therefore, in order to increase the recognition rate and simplify the expression of the discriminant function, fuzzy expression is used here.

【0080】具体的な例を以下に示す。A specific example is shown below.

【0081】文字領域の判別として ルール1 ファジィ表現 領域の幅;Wが短く かつ 領域の長さ;Lが長く か
つ面積比Sa/Sが中くらいの時 その領域が文字領域の可能性が高い。
Rule 1 for determination of character area Fuzzy expression Area width; W is short and area length; L is long and area ratio Sa / S is medium, the area is likely to be a character area.

【0082】−−−−(ルール1) と言うように表現する。特徴量W,L,Sa/Sからど
のようにしてその領域の特性を決定するかについて、図
12および図13を用いて説明する。
It is expressed as "---- (rule 1)". How to determine the characteristic of the region from the characteristic amounts W, L, Sa / S will be described with reference to FIGS. 12 and 13.

【0083】ルール1を if {W(width) is SH(short)} and {L(length) is LN(long)} and {Sa/S is MD(middle)} then Ptx(Possibility of text) is HG( high) ルール2を if{W(width) is VS(very short)} and {L(length) is MD(middle)} and {Sa/S is MD(middle)} then Ptx(Possibility of text) is UK(unknown) ルールnについても同様である。Rule 1 is defined as if {W (width) is SH (short)} and {L (length) is LN (long)} and {Sa / S is MD (middle)} then Ptx (Possibility of Hist text). (High) The rule 2 is if {W (width) is VS (very short)} and {L (length) is MD (middle)} and {Sa / S is MD (middle)} then Ptx (Positiveity of). The same applies to the UK (unknown) rule n.

【0084】ここでifから後を前件部、thenから
後を後件部と呼ぶ。
Here, the part after if is called the antecedent part, and the part after the is called the consequent part.

【0085】そしてSH,LN,MD,HGを各々言語
真理値と呼び、各々「短い」、「長い」、「中くらい」
「高い」に相当する。
SH, LN, MD, and HG are called language truth values, and they are "short", "long", and "medium", respectively.
Equivalent to "high".

【0086】図13に戻って、領域i番目の特徴量をW
i,Li,Sai/Siとする。
Returning to FIG. 13, the feature quantity of the i-th region is set to W
i, Li, Sai / Si.

【0087】文字領域の判別に関するルールがn個あっ
た場合、ルール1の成立度:α1を求める。
When there are n rules relating to the discrimination of the character area, the degree of satisfaction of rule 1: α1 is calculated.

【0088】W is SHの成立度をαW1 L is LNの成立度をαL1 Sa/S is MDの成立度をαSa1/S1とする
と α1=min(αW1,αL1,αSa1/S1) ルール1の結論部をfc1とすると f1=α1×fc1 同様にルール2の成立度:α2 α2=min(αW2,αL2,αSa2/S2) ルール2の結論部をfc2とすると f2=α2×fc2 全てのルールに関する結論をファジィ集合fcとする
と、 fc=max(f1,f2,…,fn) で表せる。これを非ファジィ化する場合、確定値Ptx
とすると、 Ptx=(積分)fc*x/(積分)fc 文字領域の可能性Ptxが求められる。
When the degree of establishment of W is SH is αW1 L is LN and the degree of establishment of αL1 Sa / S is MD is αSa1 / S1, α1 = min (αW1, αL1, αSa1 / S1) The conclusion of rule 1 Let fc1 be f1 = α1 × fc1 Similarly, the degree of satisfaction of rule 2: α2 α2 = min (αW2, αL2, αSa2 / S2) Let's assume that the conclusion part of rule 2 is fc2. F2 = α2 × fc2 Assuming that the fuzzy set is fc, it can be expressed by fc = max (f1, f2, ..., Fn). When defuzzifying this, the fixed value Ptx
Then, Ptx = (integration) fc * x / (integration) fc The possibility Ptx of the character area is obtained.

【0089】写真領域の判別ルール、図領域の判別ルー
ル、表領域の判別ルールに関して同様の処理を行うこと
により領域の判別を行う。
Area determination is performed by performing the same processing with respect to the photo area determination rule, the drawing area determination rule, and the table area determination rule.

【0090】(4)領域の判別が終了した領域について
は、例えば文字領域は文字領域としてファイル化を行
う。また、文字領域以外の領域については、そのままの
形でファイル化を行う。
(4) For the area for which the area determination is completed, for example, the character area is converted into a file as a character area. Areas other than the character area are filed as they are.

【0091】さらには、文字領域/その他の領域につい
て指定された形式で表示を行う。
Further, the character area / other area is displayed in the designated format.

【0092】実施例4 以下に詳述する第4の実施例では、文書画像の領域分離
処理において、ファジィ推論などの粗い識別法を用いて
はっきりそれとわかる領域を分離し、次にFFT法など
複雑であるが精密な識別法を残りの領域に適用すること
により、処理時間や記憶容量についての従来の欠点を補
うものである。
Fourth Embodiment In a fourth embodiment which will be described in detail below, in a document image area separation process, a clearly discernible area is separated by using a rough identification method such as fuzzy inference, and then a complex image such as an FFT method is created. However, by applying a precise identification method to the remaining area, the conventional drawbacks of processing time and storage capacity are compensated.

【0093】図14は、第4の実施例における処理手順
を示したフローチャートである。
FIG. 14 is a flow chart showing the processing procedure in the fourth embodiment.

【0094】まず、文書全体の画素をスキャナー等によ
って読み込み(ステップS41)、これをファジィ推論
を用いた粗い分離法(例えば、文字列や図表域をブロッ
ク化し、その幅W,長さL,面積Sといった“あいま
い”な特徴量からファジィ推論して領域の分離を行う)
を用いて明確に識別できる領域についてはこれを分離し
ておき(ステップS42)、残った不明確(はっきりど
ちらともいえない)な領域については、従来用いてきた
複雑な演算手法(FFT法など)を用いて何の領域かを
明確化することにより(ステップS43)、簡単である
が粗いファジィ推論による領域分離と、複雑であるが正
確な従来法との欠点を相補う利点が得られる。
First, the pixels of the entire document are read by a scanner or the like (step S41), and a coarse separation method using fuzzy inference is used (for example, character strings and chart areas are divided into blocks, width W, length L, area Areas are separated by fuzzy inference from "ambiguous" features such as S)
Areas that can be clearly identified using () are separated (step S42), and the remaining unclear (neither can be said clearly) areas are complicated calculation methods (FFT method, etc.) that have been used conventionally. By clarifying what area is using (step S43), there is an advantage that complements the drawbacks of the simple but coarse fuzzy reasoning area separation and the complicated but accurate conventional method.

【0095】なお、上記ステップS42における粗い分
離処理として、例えば、ニューラルネットワークを用い
た学習による特徴抽出法を用いることもできる。
As the coarse separation processing in step S42, for example, a feature extraction method by learning using a neural network can be used.

【0096】図15は、上述した実施例1〜実施例4に
おけるハードウェア構成を示す。本図において51は画
像入力部であり、図1に示したステップS11,図9に
示したステップS21,図14に示したステップS41
の内容を実行する。
FIG. 15 shows the hardware configuration of the above-described first to fourth embodiments. In the figure, reference numeral 51 is an image input unit, which is step S11 shown in FIG. 1, step S21 shown in FIG. 9, and step S41 shown in FIG.
Execute the contents of.

【0097】52はファジィ推論部であり、図1に示し
たステップS12およびS13,図9に示したステップ
S22〜S24,図14に示したステップS42の内容
を実行する。
Reference numeral 52 denotes a fuzzy inference unit, which executes the contents of steps S12 and S13 shown in FIG. 1, steps S22 to S24 shown in FIG. 9, and step S42 shown in FIG.

【0098】53は表示部、54はファイル部であり、
図1に示したステップS14,図9に示したステップS
25の内容を実行する。
53 is a display section, 54 is a file section,
Step S14 shown in FIG. 1 and step S shown in FIG.
The contents of 25 are executed.

【0099】55はFFT部であり、図14に示したス
テップS43の内容を実行する。
Reference numeral 55 denotes an FFT section, which executes the contents of step S43 shown in FIG.

【0100】[0100]

【発明の効果】効果1 以上説明したとおり、本発明(手段1)によれば、文章
画像の領域判別を簡単かつ高認識率で実現でき、データ
ベース化・ファイリング化の自動化が可能となる。
Effect 1 As described above, according to the present invention (means 1), it is possible to easily discriminate a region of a text image with a high recognition rate, and to automate databaseization and filing.

【0101】効果2 本発明(手段2)では、画像領域を分離する際に、粗い
分離と精密な分離を併用することとしているので、 (1)複雑な演算処理をしなければならない領域が大幅
(半分以下)に減る。
Effect 2 In the present invention (means 2), when the image area is separated, the rough separation and the precise separation are used together. Therefore, (1) there is a large area where complicated arithmetic processing must be performed. (Less than half).

【0102】(2)必要な記憶容量が大幅に減る。(2) The required storage capacity is greatly reduced.

【0103】(3)処理時間が短縮される。(3) The processing time is shortened.

【0104】といった効果が得られる。The following effects can be obtained.

【0105】効果3 本発明(手段1,手段2)は、光学的に原稿画像を読み
取る複写機・ファクシミリ装置・電子ファイル等にも適
用可能である。
Effect 3 The present invention (means 1, means 2) can be applied to a copying machine, a facsimile machine, an electronic file, etc. which optically read an original image.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施例を示すフローチャートであ
る。
FIG. 1 is a flowchart showing an embodiment of the present invention.

【図2】文章画像の一例を示す模式図である。FIG. 2 is a schematic diagram showing an example of a text image.

【図3】拡大処理の説明図である。FIG. 3 is an explanatory diagram of enlargement processing.

【図4】領域分離した結果を例示した図である。FIG. 4 is a diagram exemplifying a result of region separation.

【図5】最小外接矩形の説明図である。FIG. 5 is an explanatory diagram of a minimum circumscribed rectangle.

【図6】特徴量を説明するための模式図である。FIG. 6 is a schematic diagram for explaining a feature amount.

【図7】メンバーシップ関数の一例を示す図である。FIG. 7 is a diagram showing an example of a membership function.

【図8】ファジィ判別処理の一例を示す図である。FIG. 8 is a diagram illustrating an example of fuzzy discrimination processing.

【図9】本発明のその他の実施例を示すフローチャート
である。
FIG. 9 is a flowchart showing another embodiment of the present invention.

【図10】文字領域以外(図・表・グラフ)の領域に文
字領域が含まれている場合を示す説明図である。
FIG. 10 is an explanatory diagram showing a case where a character area is included in an area other than the character area (figure / table / graph).

【図11】特徴量を説明するための模式図である。FIG. 11 is a schematic diagram for explaining a feature amount.

【図12】メンバーシップ関数のその他の例を示す図で
ある。
FIG. 12 is a diagram showing another example of a membership function.

【図13】ファジィ判別処理のその他の例を示す図であ
る。
FIG. 13 is a diagram illustrating another example of fuzzy discrimination processing.

【図14】本発明のその他の実施例を示すフローチャー
トである。
FIG. 14 is a flowchart showing another embodiment of the present invention.

【図15】本発明を実施するためのハードウェア構成を
示すブロック図である。
FIG. 15 is a block diagram showing a hardware configuration for implementing the present invention.

【符号の説明】[Explanation of symbols]

51 画像入力部 52 ファジィ推論部 53 表示部 54 ファイル部 55 FFT部 51 image input unit 52 fuzzy inference unit 53 display unit 54 file unit 55 FFT unit

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 文字領域,図表領域,写真領域のうち少
なくともひとつの領域を含む画像情報を入力し、 該画像情報から領域判別のための特徴量を抽出する特徴
量抽出手段と、 前記特徴量を入力し、前記領域判別を行うための複数の
条件命題をファジィ集合を用いて設定し、ファジィ推論
の結果に基づいて文字領域,図表領域および写真領域を
判別する判別手段と、 判別された前記各領域を表示あるいはファイルし、また
は、前記各領域を再構成処理して表示あるいはファイル
する処理手段とを具備したことを特徴とする領域分離シ
ステム。
1. A feature quantity extraction means for inputting image information including at least one area of a text area, a chart area, and a photograph area, and extracting a feature quantity for area discrimination from the image information; And a plurality of conditional propositions for performing the area discrimination are set by using a fuzzy set, and a discrimination means for discriminating a character area, a figure area, and a photograph area based on the result of the fuzzy inference, An area separation system, comprising: processing means for displaying or filing each area, or for displaying or filing each area by reconstructing it.
【請求項2】 請求項1において、前記判別手段におけ
る前記領域判別において文字領域以外の判別された領域
については、当該領域の内部についてさらに領域分離を
行い、当該領域中に含まれる文字領域を抽出し、表示あ
るいはファイル化することを特徴とする領域分離システ
ム。
2. The area according to claim 1, wherein a region other than a character region is discriminated in the region discrimination by the discriminating means, the region inside the region is further separated, and the character region included in the region is extracted. An area separation system characterized by displaying or filing.
【請求項3】 入力された画像の中から文字領域を抽出
する領域分離システムにおいて、 入力された画像全体に対して粗い文字領域識別処理を施
す第1の識別手段と、 前記第1の識別手段において判別し得なかった残りの領
域については、精密な文字領域識別処理を施す第2の識
別手段とを具備したことを特徴とする領域分離システ
ム。
3. An area separation system for extracting a character area from an input image, wherein the first input means performs a rough character area identification process on the entire input image, and the first identification means. The remaining area that could not be discriminated in step 2 is provided with a second discriminating means for performing precise character area discriminating processing.
JP30093792A 1992-11-11 1992-11-11 Area separation method Expired - Fee Related JP3281065B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30093792A JP3281065B2 (en) 1992-11-11 1992-11-11 Area separation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30093792A JP3281065B2 (en) 1992-11-11 1992-11-11 Area separation method

Publications (2)

Publication Number Publication Date
JPH06150057A true JPH06150057A (en) 1994-05-31
JP3281065B2 JP3281065B2 (en) 2002-05-13

Family

ID=17890905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30093792A Expired - Fee Related JP3281065B2 (en) 1992-11-11 1992-11-11 Area separation method

Country Status (1)

Country Link
JP (1) JP3281065B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937232A (en) * 1994-12-26 1999-08-10 Ricoh Company, Ltd. Image forming apparatus with display device for displaying before and after image processing data
JP2007013924A (en) * 2005-06-01 2007-01-18 Ricoh Co Ltd Image processing apparatus, program and image processing method
JP2007174008A (en) * 2005-12-20 2007-07-05 Fuji Xerox Co Ltd Coder, image processing apparatus, coding method, and coding program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937232A (en) * 1994-12-26 1999-08-10 Ricoh Company, Ltd. Image forming apparatus with display device for displaying before and after image processing data
JP2007013924A (en) * 2005-06-01 2007-01-18 Ricoh Co Ltd Image processing apparatus, program and image processing method
US8125683B2 (en) 2005-06-01 2012-02-28 Ricoh Company, Ltd. Image preview processing apparatus, image preview processing method, and image preview computer product
JP2007174008A (en) * 2005-12-20 2007-07-05 Fuji Xerox Co Ltd Coder, image processing apparatus, coding method, and coding program

Also Published As

Publication number Publication date
JP3281065B2 (en) 2002-05-13

Similar Documents

Publication Publication Date Title
JP3703157B2 (en) Form processing method and apparatus
DE3650554T2 (en) Storage and retrieval procedures for image data
DE69624433T2 (en) Device and method for extracting titles from document images
US20020067857A1 (en) System and method for classification of images and videos
JP2890482B2 (en) Document image relocation filing device
EP1583023B1 (en) Model of documents and method for automatically classifying a document
CN112418199B (en) Multi-modal information extraction method and device, electronic equipment and storage medium
JP3281065B2 (en) Area separation method
JPH08166959A (en) Picture processing method
JP3912463B2 (en) Logical structure extraction device and logical structure extraction method
Mermet et al. Face detection on pre-modern japanese artworks using r-CNN and image patching for semi-automatic annotation
CN110728240A (en) Method and device for automatically identifying title of electronic file
Li et al. A document classification and extraction system with learning ability
Wu et al. A machine-learning approach for analyzing document layout structures with two reading orders
JP2000090194A (en) Image processing method and image processor
JP2003178071A (en) Document management system
JP3768738B2 (en) Electronic filing system, cover identification processing device, and program recording medium thereof
CN114841171B (en) Text segmentation theme extraction method, system, readable medium and equipment
Arenas et al. A Document layout analysis method based on morphological operators and connected components
Islam et al. Extraction and recognition of Bangla texts from natural scene images using CNN
Nazar et al. Localizing and Analyzing the Infographics in Document Using Deep Learning
Cesarini et al. Page classification for meta-data extraction from digital collections
JPH0757040A (en) Filing device provided with ocr
JPH07193710A (en) Text picture processor
JPH06215139A (en) Graphic recognizing method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees