JPH08251403A - Device for discriminating attribute of image area - Google Patents

Abstract

PURPOSE: To divide the area of an original precisely by discriminating precisely an attribute as to a block area included in an original image by means of the Fourier transform and density cooccurrence matrix. CONSTITUTION: A block area extract section 11 extracts image data DMa corresponding to a block area from multi-value image data DM as to an original image. A Fourier transform section 12 applies high speed Fourier transform to the extracted image data DMa to obtain a space frequency spectrum SS. The space frequency spectrum SS is outputted as a normalized 7-dimensional vector. A statistic calculation section 13 calculates the gray level cooccurrence matrix based on the image data DMa , and calculates three statistics; variance σ, covariance COV and correlation coefficient r, based on the obtained density cooccurrence matrix. A neural network 14 discriminates whether an object block area is a character area, a photographic area or a dot area based on the space frequency spectrum SS and the three statistics.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、複写機などにおいて画
像処理を行う際に用いられる画像領域属性判別装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image area attribute discriminating apparatus used for image processing in a copying machine or the like.

【０００２】[0002]

【従来の技術】従来より、複写機においては、原稿の画
像を読み取って得られた多値の画像データに対して、画
像品質の向上を図るために種々の画像処理が行われる。
その場合の画像処理は、画像の種類に応じて行われる。
例えば、文字画像に対しては文字を明瞭にするためにエ
ッジ強調処理や２値化処理が行われ、写真画像に対して
は階調性を重視した処理が行われ、網点画像に対しては
モアレ防止のために平滑化処理が行われる。2. Description of the Related Art Conventionally, in a copying machine, various image processing is performed on multi-valued image data obtained by reading an image of a document in order to improve image quality.
The image processing in that case is performed according to the type of image.
For example, edge enhancement processing and binarization processing are performed on a character image in order to clarify the character, gradation processing is performed on a photographic image, and halftone processing is performed on a halftone image. Is subjected to smoothing processing to prevent moire.

【０００３】さて、複写原稿には、文字画像、写真画
像、網点画像などが混在している場合がある。その場合
には、原稿画像をそれぞれの領域に分割する必要があ
る。領域分割に当たっては、原稿画像から小領域である
ブロック領域を抽出し、抽出したブロック領域について
その属性を判別することが行われる。There are cases where character images, photographic images, halftone images and the like are mixed in a copy document. In that case, it is necessary to divide the document image into respective areas. In the area division, a block area, which is a small area, is extracted from the document image, and the attribute of the extracted block area is determined.

【０００４】例えば特開平４−１１４５６０号公報に
は、原稿画像から６４×６４画素のブロック領域に対応
する画像データを抽出し、抽出した画像データに基づい
て、ヒストグラム特徴量及び画素が白黒反転する回数を
数えた線密度特徴量を抽出し、これをニューラルネット
ワークに入力して属性を判別することが提案されてい
る。For example, in Japanese Unexamined Patent Publication No. 4-114560, image data corresponding to a block region of 64 × 64 pixels is extracted from a document image, and a histogram feature amount and pixels are inverted in black and white based on the extracted image data. It has been proposed to extract the line density feature quantity whose number has been counted and input this to a neural network to determine the attribute.

【０００５】また、井上らの報告書「ニューラルネット
ワークを利用した画像領域の分離方式」（日本シミュレ
ーション学会第１３回シミュレーション・テクノロジー
・コンファレンス、１９９４年６月）には、８×８画素
の小領域における平均輝度及び最大濃度差を特徴量とし
て抽出し、これをニューラルネットワークに入力して属
性を判別することが提案されている。Inoue et al.'S report, "Image Area Separation Method Using Neural Networks" (13th Simulation Technology Conference, Japan Society for Simulation Technology, June 1994), shows a small area of 8 × 8 pixels. It has been proposed to extract the average luminance and the maximum density difference in 1) as feature quantities and input them to a neural network to determine the attributes.

【０００６】[0006]

【発明が解決しようとする課題】しかし、前者のよう
に、ヒストグラム特徴量及び線密度特徴量をニューラル
ネットワークに入力する場合には、それらの特徴量には
画素の周期性を表す情報が含まれていないため、ニュー
ラルネットワークにより網点領域であるか否かを正確に
判別することができない。そのため、網点領域を含んだ
原稿について、ブロック領域の属性を正確に判別するこ
とができないという問題があった。However, as in the former case, when the histogram feature quantity and the line density feature quantity are input to the neural network, the feature quantity includes information indicating the periodicity of pixels. Therefore, it is not possible to accurately determine whether or not it is the halftone dot area by the neural network. Therefore, there is a problem that the attribute of the block area cannot be accurately determined for the original including the halftone area.

【０００７】また、後者のように、平均輝度及び最大濃
度差を特徴量としてニューラルネットワークに入力する
場合にも、網点領域であるか否か又は写真領域であるか
否かを正確に判別することができない。Also, in the latter case, when the average brightness and the maximum density difference are input to the neural network as the feature quantity, it is accurately determined whether it is the halftone dot area or the photograph area. I can't.

【０００８】本発明は、原画像に含まれるブロック領域
についての属性を正確に判別し、原稿の領域分割を正確
に行えるようにすることを目的とする。An object of the present invention is to accurately determine the attribute of a block area included in an original image, and to accurately perform area division of a document.

【０００９】[0009]

【課題を解決するための手段】請求項１の発明に係る装
置は、原画像についての多値の画像データに基づいて、
前記原画像に含まれる小領域であるブロック領域につい
ての属性を判別するための装置であって、前記画像デー
タに対して、前記ブロック領域に対応する画像データを
抽出するブロック領域抽出手段と、前記ブロック領域抽
出手段により抽出された画像データに基づいて、フーリ
エ変換を行うことによって空間周波数スペクトルを求め
るフーリエ変換手段と、前記フーリエ変換手段から出力
される空間周波数スペクトルに基づいて、少なくとも前
記ブロック領域の属性が網点領域であるか否かについて
の判別結果を出力するニューラルネットワークと、を有
する。An apparatus according to the invention of claim 1 is based on multivalued image data of an original image,
An apparatus for determining an attribute of a block area that is a small area included in the original image, the block area extracting unit extracting image data corresponding to the block area from the image data, Based on the image data extracted by the block area extraction means, Fourier transform means for obtaining a spatial frequency spectrum by performing Fourier transform, and based on the spatial frequency spectrum output from the Fourier transform means, at least the block area A neural network that outputs a determination result as to whether or not the attribute is a halftone dot region.

【００１０】請求項２の発明に係る装置は、前記画像デ
ータに対して、前記ブロック領域に対応する画像データ
を抽出するブロック領域抽出手段と、前記ブロック領域
抽出手段により抽出された画像データに基づいて、フー
リエ変換を行うことによって空間周波数スペクトルを求
めるフーリエ変換手段と、前記ブロック領域抽出手段に
より抽出された画像データに基づいて、その濃度共起行
列から得られる統計量を計算する統計量計算手段と、前
記フーリエ変換手段から出力される空間周波数スペクト
ル及び前記統計量計算手段から出力される統計量に基づ
いて、少なくとも前記ブロック領域の属性が文字領域、
写真領域、又は網点領域であるか否かについての判別結
果を出力するニューラルネットワークと、を有する。According to a second aspect of the present invention, based on the image data, the block area extracting means for extracting image data corresponding to the block area, and the image data extracted by the block area extracting means are used. And a Fourier transform means for obtaining a spatial frequency spectrum by performing a Fourier transform, and a statistic calculation means for calculating a statistic obtained from the density co-occurrence matrix based on the image data extracted by the block area extraction means. And, based on the spatial frequency spectrum output from the Fourier transforming unit and the statistic output from the statistic calculating unit, at least the attribute of the block region is a character region,
And a neural network that outputs a determination result as to whether it is a photographic area or a halftone dot area.

【００１１】請求項３の発明に係る装置は、前記画像デ
ータに対して、前記ブロック領域に対応する画像データ
を抽出するブロック領域抽出手段と、前記ブロック領域
抽出手段により抽出された画像データに基づいて、その
濃度共起行列から得られる統計量を計算する統計量計算
手段と、前記統計量計算手段から出力される統計量に基
づいて、少なくとも前記ブロック領域の属性が文字領域
又は写真領域であるか否かについての判別結果を出力す
るニューラルネットワークと、を有する。According to a third aspect of the present invention, there is provided an apparatus based on block image extracting means for extracting image data corresponding to the block image from the image data, and image data extracted by the block image extracting means. Based on the statistic calculation means for calculating the statistic obtained from the density co-occurrence matrix and the statistic output from the statistic calculation means, at least the attribute of the block area is a character area or a photograph area. And a neural network that outputs a determination result as to whether or not it is.

【００１２】[0012]

【作用】ブロック領域抽出手段は、原画像についての多
値の画像データに対して、ブロック領域に対応する画像
データを抽出する。フーリエ変換手段は、抽出された画
像データに基づいて、フーリエ変換を行うことによって
空間周波数スペクトルを求める。統計量計算手段は、抽
出された画像データに基づいて、その濃度共起行列から
得られる統計量を計算する。The block area extracting means extracts the image data corresponding to the block area from the multivalued image data of the original image. The Fourier transform means obtains a spatial frequency spectrum by performing a Fourier transform based on the extracted image data. The statistic calculation means calculates a statistic obtained from the concentration co-occurrence matrix based on the extracted image data.

【００１３】ニューラルネットワークは、空間周波数ス
ペクトル及び／又は統計量に基づいて、ブロック領域の
属性、例えば文字領域であるか否か、写真領域であるか
否か、網点領域であるか否かを判別する。The neural network determines, based on the spatial frequency spectrum and / or statistics, the attributes of the block area, for example, whether it is a character area, a photograph area, or a halftone area. Determine.

【００１４】[0014]

【実施例】図１は本発明に係る属性判別装置１の構成を
示すブロック図、図２は原稿ＰＰから抽出されるブロッ
ク領域ＢＡを説明する図、図３はニューラルネットワー
ク１４の構成を示す図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a block diagram showing the structure of an attribute discriminating apparatus 1 according to the present invention, FIG. 2 is a view for explaining a block area BA extracted from a document PP, and FIG. 3 is a view for showing the structure of a neural network 14. Is.

【００１５】属性判別装置１は、例えば図示しないデジ
タル式の複写機に組み込まれている。複写機のイメージ
リーダ部が原稿台にセットされた原稿ＰＰを読み取るこ
とによって、原稿ＰＰの画像（原画像）ＰＭについての
多値の画像データＤＭが得られる。イメージリーダ部
は、読み取り密度が例えば４００ｄｐｉのラインセンサ
を備えており、原稿ＰＰを縦方向（副走査方向）に走査
することによって、例えば２５６階調の画像データＤＭ
を得る。属性判別装置１は、得られた画像データＤＭに
基づいて、原画像ＰＭに含まれる小領域であるブロック
領域ＢＡについての属性ＡＴを判別する。The attribute discriminating apparatus 1 is incorporated in, for example, a digital copying machine (not shown). The image reader unit of the copying machine reads the document PP set on the document table, whereby multivalued image data DM of the image (original image) PM of the document PP is obtained. The image reader unit includes a line sensor having a reading density of, for example, 400 dpi, and scans the document PP in the vertical direction (sub-scanning direction) to generate image data DM with 256 gradations, for example.
Get. The attribute discrimination device 1 discriminates the attribute AT for the block area BA, which is a small area included in the original image PM, based on the obtained image data DM.

【００１６】属性判別装置１は、ブロック領域抽出部１
１、フーリエ変換部１２、統計量計算部１３、及びニュ
ーラルネットワーク１４などから構成されている。ブロ
ック領域抽出部１１は、入力された画像データＤＭに対
して、ブロック領域ＢＡに対応する画像データＤＭａを
抽出する。ブロック領域ＢＡは、例えば１６×１６画素
の正方形の領域であり、原画像ＰＭに対して各ブロック
領域ＢＡが互いに重ならないように割り当てられてい
る。ブロック領域抽出部１１には、原画像ＰＭの画像デ
ータＤＭが１ライン毎又は複数ライン毎に入力されるの
で、例えば入力された画像データＤＭを画素のアドレス
に応じて適当なメモリに格納することによって、ブロッ
ク領域ＢＡに対応した画像データＤＭａを抽出すること
ができる。The attribute discriminating apparatus 1 includes a block area extracting section 1
1, a Fourier transform unit 12, a statistic calculation unit 13, a neural network 14, and the like. The block area extraction unit 11 extracts image data DMa corresponding to the block area BA from the input image data DM. The block area BA is, for example, a square area of 16 × 16 pixels, and is assigned to the original image PM so that the block areas BA do not overlap each other. The image data DM of the original image PM is input to the block area extraction unit 11 line by line or line by line. Therefore, for example, the input image data DM should be stored in an appropriate memory according to the pixel address. Thus, the image data DMa corresponding to the block area BA can be extracted.

【００１７】フーリエ変換部１２は、ブロック領域抽出
部１１により抽出された１６×１６画素分の画像データ
ＤＭａに基づいて、高速フーリエ変換（ＦＦＴ）を行う
ことによって空間周波数スペクトルＳＳを求める。フー
リエ変換部１２においては、１６×１６画素分の画像デ
ータＤＭａに対して、１ライン毎に１６回の高速フーリ
エ変換を実行する。１回の高速フーリエ変換の実行によ
って８種類の周波数を示す空間周波数スペクトルデータ
が得られる。その中から０周波数の平均値のデータを除
外し、他の周波数について実数部の絶対値をとった７個
のデータを得る。１６回分の各データを各周波数毎に加
算し、結果として７個のデータを得る。これがフーリエ
変換部１２によって得られる空間周波数スペクトルＳＳ
である。空間周波数スペクトルＳＳは、その中の絶対値
の最大値を「１」として正規化され、ニューラルネット
ワーク１４に対し７次元のベクトルデータとして出力さ
れる。The Fourier transform unit 12 obtains the spatial frequency spectrum SS by performing a fast Fourier transform (FFT) on the basis of the image data DMa of 16 × 16 pixels extracted by the block area extraction unit 11. The Fourier transform unit 12 executes the fast Fourier transform 16 times for each line on the image data DMa for 16 × 16 pixels. By executing the fast Fourier transform once, the spatial frequency spectrum data showing eight kinds of frequencies can be obtained. The data of the average value of the 0 frequency is excluded from the data, and 7 pieces of data in which the absolute value of the real part is taken for the other frequencies are obtained. Each data for 16 times is added for each frequency, and 7 data are obtained as a result. This is the spatial frequency spectrum SS obtained by the Fourier transform unit 12.
Is. The spatial frequency spectrum SS is normalized with the maximum absolute value of the spatial frequency spectrum SS being "1", and is output to the neural network 14 as 7-dimensional vector data.

【００１８】統計量計算部１３は、ブロック領域抽出部
１１により抽出された１６×１６画素分の画像データＤ
Ｍａに基づいて、その濃度共起行列を計算し、得られた
濃度共起行列に基づいて、分散σ、共分散ｃｏｖ、及び
相関係数ｒの３つの統計量を計算する。The statistic calculation unit 13 includes the image data D of 16 × 16 pixels extracted by the block area extraction unit 11.
Based on Ma, the concentration co-occurrence matrix is calculated, and based on the obtained concentration co-occurrence matrix, three statistic values of variance σ, covariance cov, and correlation coefficient r are calculated.

【００１９】濃度共起行列は、ある点（ｘ，ｙ）の濃度
値と、その点から距離δ〔＝（ｄｘ，ｄｙ）〕だけ離れ
た点（ｘ＋ｄｘ，ｙ＋ｄｙ）の濃度値との関係を示すも
のである。点（ｘ，ｙ）の濃度値をｆ（ｘ，ｙ）とする
と、点（ｘ＋ｄｘ，ｙ＋ｄｙ）の濃度値はｆ（ｘ＋ｄ
ｘ，ｙ＋ｄｙ）と表せる。濃度共起行列は、ｆ（ｘ，
ｙ）＝ｉのときｆ（ｘ＋ｄｘ，ｙ＋ｄｙ）＝ｊである確
率Ｐδ（ｉ，ｊ）を表したものである。The density co-occurrence matrix represents the relationship between the density value of a point (x, y) and the density value of a point (x + dx, y + dy) distant from the point by a distance δ [= (dx, dy)]. It is shown. If the density value at the point (x, y) is f (x, y), the density value at the point (x + dx, y + dy) is f (x + d).
x, y + dy). The concentration co-occurrence matrix is f (x,
When y) = i, the probability Pδ (i, j) is f (x + dx, y + dy) = j.

【００２０】ここで、画像データＤＭａが２５６階調で
ある場合には、各画素の濃度値は「０」〜「２５５」の
範囲となり、２５６行２５６列の濃度共起行列ができ
る。例えば、ブロック領域ＢＡ内において、濃度値が
「３」の画素のうち、それらの各画素から距離δだけ離
れた画素の濃度値が「２」であるものが４個あったとす
ると、濃度共起行列の（３，２）の要素には「４」が入
ることになる。同様に、例えば濃度値が「２３０」の画
素のうち、距離δだけ離れた画素の濃度値が「２３２」
であるものが５個あったとすると、濃度共起行列の（２
３０，２３２）の要素には「５」が入ることになる。濃
度共起行列では、写真画像のように隣接する画素間での
濃度変化が少ない場合に、行列の対角線上の要素の値が
大きくなる。また、文字画像のエッジ部のように、高濃
度の部分と低濃度の部分を含んで濃度差が大きい場合に
は、行列の４隅の部分の要素の値が大きくなる。When the image data DMa has 256 gradations, the density value of each pixel is in the range of "0" to "255", and a density co-occurrence matrix of 256 rows and 256 columns is formed. For example, in the block area BA, if there are four pixels having a density value of "3" among pixels having a density value of "3", the density co-occurrence occurs. “4” will be entered in the element of (3, 2) of the matrix. Similarly, for example, of the pixels having the density value of “230”, the density value of the pixel separated by the distance δ is “232”.
If there are five, then the concentration co-occurrence matrix (2
"5" is entered in the element of (30,232). In the density co-occurrence matrix, the value of the element on the diagonal of the matrix becomes large when the density change between adjacent pixels is small as in a photographic image. Further, when the density difference is large, including the high-density portion and the low-density portion, such as the edge portion of the character image, the values of the elements at the four corners of the matrix become large.

【００２１】統計量計算部１３において、分散σ、共分
散ｃｏｖ、及び相関係数ｒは、次の式（１）〜（３）に
より計算される。In the statistic calculator 13, the variance σ, the covariance cov, and the correlation coefficient r are calculated by the following equations (1) to (3).

【００２２】[0022]

【数１】 [Equation 1]

【００２３】但し、Ｒは濃度値の上限値である。また、
μｘ、μｙは、次の式（４）及び式（５）で計算される
平均値のことであり、Ｎは次の式（６）で示される。However, R is the upper limit of the density value. Also,
μx and μy are average values calculated by the following equations (4) and (5), and N is represented by the following equation (6).

【００２４】[0024]

【数２】 [Equation 2]

【００２５】なお、本実施例においては、Ｎ＝１６×１
６であり、Ｒ＝２５５である。図４は文字画像、写真画
像、網点画像についてそれぞれ相関係数ｒを示す図であ
る。In this embodiment, N = 16 × 1
6 and R = 255. FIG. 4 is a diagram showing the correlation coefficient r for each of the character image, the photographic image, and the halftone image.

【００２６】相関係数ｒは、濃度共起行列の対角線上に
のみデータがある場合に「１」となり、それから離れる
にしたがって「０」に近づく。上述したように、写真画
像では行列の対角線上にデータが集中するので、写真画
像の場合には相関係数ｒが「１」に近くなる。また、文
字画像では行列の４隅の部分にデータが集中するので、
文字画像の場合には相関係数ｒが「０」に近くなる。図
４はこのことを表している。The correlation coefficient r becomes "1" when the data exists only on the diagonal line of the concentration co-occurrence matrix, and approaches "0" as the distance from the data increases. As described above, in the photographic image, the data are concentrated on the diagonal line of the matrix, so that the correlation coefficient r is close to “1” in the case of the photographic image. Also, in a character image, data is concentrated in the four corners of the matrix, so
In the case of a character image, the correlation coefficient r is close to "0". FIG. 4 illustrates this.

【００２７】本実施例では、距離δ＝（１，０）とし、
分散σについては４０００で割り、「１」を越えるもの
については「１」とすることで正規化した後、３つの統
計量σ，ｃｏｖ，ｒをニューラルネットワーク１４に出
力する。In this embodiment, the distance δ = (1,0),
The variance σ is divided by 4000, and the value exceeding “1” is normalized by setting it to “1”, and then the three statistics σ, cov, and r are output to the neural network 14.

【００２８】ニューラルネットワーク１４は、フーリエ
変換部１２から出力される空間周波数スペクトルＳＳ、
及び統計量計算部１３から出力される統計量σ，ｃｏ
ｖ，ｒに基づいて、ブロック領域ＢＡの属性ＡＴが文字
領域、写真領域、又は網点領域であるか否かについての
判別結果を出力する。The neural network 14 has a spatial frequency spectrum SS output from the Fourier transform unit 12,
And the statistical amount σ, co output from the statistical amount calculation unit 13.
Based on v and r, the determination result as to whether the attribute AT of the block area BA is a character area, a photograph area, or a halftone dot area is output.

【００２９】図３に示すように、ニューラルネットワー
ク１４は、入力層Ｓ、中間層Ａ、出力層Ｒの３層からな
り、各層のニューロン数は、１０、５０、３である。中
間層Ａのニューロン数は５０以外でもよい。入力層Ｓに
は、上述したフーリエ変換部１２からの７個のデータ、
及び統計量計算部１３からの３個のデータが、いずれも
リニアに入力される。入力層Ｓは、入力されたデータを
そのまま中間層Ａにリニアに出力する。入力層Ｓと中間
層Ａ、中間層Ａと出力層Ｒは、それぞれ結合係数ｗによ
って結合されている。これらの結合係数ｗの値は学習に
よって変化する。中間層Ａ及び出力層Ｒの応答関数はシ
グモイド関数とされている。As shown in FIG. 3, the neural network 14 comprises three layers, an input layer S, an intermediate layer A, and an output layer R, and the number of neurons in each layer is 10, 50, and 3. The number of neurons in the intermediate layer A may be other than 50. In the input layer S, seven pieces of data from the Fourier transform unit 12 described above,
And the three pieces of data from the statistic calculator 13 are all input linearly. The input layer S linearly outputs the input data to the intermediate layer A as it is. The input layer S and the intermediate layer A, and the intermediate layer A and the output layer R are coupled by the coupling coefficient w, respectively. The value of these coupling coefficients w changes by learning. The response functions of the intermediate layer A and the output layer R are sigmoid functions.

【００３０】さて、出力層Ｒの３個のニューロンｒ１〜
３からは、それぞれ、文字領域、写真領域、網点領域に
対応する出力が得られる。つまり、ニューラルネットワ
ーク１４は、入力層Ｓに入力されたデータに基づいてブ
ロック領域ＢＡの属性ＡＴを判別し、文字領域である場
合にはニューロンｒ１の出力Ｓ１が「１」に近くなり、
写真領域である場合にはニューロンｒ２の出力Ｓ２が
「１」に近くなり、網点領域である場合にはニューロン
ｒ３の出力Ｓ３が「１」に近くなる。Now, the three neurons r1 to r1 of the output layer R
Outputs corresponding to the character area, the photograph area, and the halftone dot area are obtained from 3, respectively. That is, the neural network 14 determines the attribute AT of the block area BA based on the data input to the input layer S, and when it is a character area, the output S1 of the neuron r1 becomes close to “1”,
In the case of the photograph area, the output S2 of the neuron r2 is close to "1", and in the case of the halftone dot area, the output S3 of the neuron r3 is close to "1".

【００３１】なお、ニューラルネットワーク１４は、周
知の技術であるバックプロパゲーション法によって学習
されている。学習においては、文字画像、写真画像、網
点画像の各サンプルを作成し、それらから得られた画像
データをサンプルデータとして属性判別装置１に入力す
る。そして、属性ＡＴについての教師データとの平均二
乗誤差ＭＳＥがある閾値以下になるまで学習を行う。The neural network 14 is learned by the back propagation method which is a well-known technique. In learning, each sample of a character image, a photographic image, and a halftone dot image is created, and the image data obtained from them is input to the attribute discrimination device 1 as sample data. Then, learning is performed until the mean square error MSE of the attribute AT with the teacher data becomes equal to or less than a threshold value.

【００３２】ニューラルネットワーク１４からの出力Ｓ
１〜３に基づいて、当該ブロック領域ＢＡの属性ＡＴが
決定される。例えば、ある１つの出力が「１」である場
合にその出力に対応する領域であると決定する。又は、
ある閾値を越える出力があったときにその出力に対応す
る領域であると決定する。又は、最も大きい出力に対応
する領域をその領域と決定する。Output S from the neural network 14
The attribute AT of the block area BA is determined based on 1 to 3. For example, when one output is "1", it is determined to be the area corresponding to the output. Or
When there is an output that exceeds a certain threshold value, it is determined that the area corresponds to the output. Alternatively, the area corresponding to the largest output is determined as the area.

【００３３】また、このようにして決定された各ブロッ
ク領域ＢＡの属性ＡＴに基づいて平滑化を行い、これに
よってブロック領域ＢＡ毎の判別結果を補正し、各領域
を大きくして誤判別の低減を行う。これによって、原画
像ＰＭは、文字領域、写真領域、網点領域の３つの領域
に分割される。Further, smoothing is performed on the basis of the attribute AT of each block area BA determined in this way, whereby the discrimination result for each block area BA is corrected and each area is enlarged to reduce erroneous discrimination. I do. As a result, the original image PM is divided into three areas, that is, a character area, a photograph area, and a halftone dot area.

【００３４】文字領域に対しては、例えばエッジ強調処
理、２値化処理が行われ、写真領域に対しては自然な階
調性を得るための処理又は特定の階調を強調する処理が
行われ、網点領域に対してはモアレ防止のために平滑化
処理が行われる。For example, edge enhancement processing and binarization processing are performed on the character area, and processing for obtaining natural gradation or processing for emphasizing a specific gradation is performed on the photo area. The halftone dot area is smoothed to prevent moire.

【００３５】なお、写真画像とは、銀塩写真のように、
原画像ＰＭの読み取り密度に対して充分に画素密度の大
きい濃淡画像のことである。網点画像は、網点が細かく
なるにしたがって写真画像との差異が少なくなる。例え
ば、原画像ＰＭの読み取り密度が４００ｄｐｉである場
合には、網点の密度が２００線／インチになると、読み
取った画像データＤＭは写真画像の場合と異ならない。
したがって、その場合には、２００線／インチ以上の網
点画像は写真画像に含めてもよい。A photographic image is, like a silver salt photograph,
It is a grayscale image having a sufficiently large pixel density with respect to the reading density of the original image PM. The difference between the halftone dot image and the photographic image decreases as the halftone dot becomes finer. For example, when the read density of the original image PM is 400 dpi and the dot density is 200 lines / inch, the read image data DM is not different from that of a photographic image.
Therefore, in that case, a halftone dot image of 200 lines / inch or more may be included in the photographic image.

【００３６】上述の実施例によると、フーリエ変換部１
２から出力される空間周波数スペクトルＳＳは、画素の
周期性を表す情報を含んでいるので、これをニューラル
ネットワーク１４に入力することによって、網点領域で
あるか否かについて正確な判別を行うことができる。ま
た、統計量計算部１３から出力される統計量σ，ｃｏ
ｖ，ｒには文字画像及び写真画像に特徴的な情報を含ん
でいるので、文字領域であるか否か、また写真領域であ
るか否かを正確に判別することができる。したがって、
属性判別装置１によって、原画像ＰＭに含まれるブロッ
ク領域ＢＡについての属性ＡＴを正確に判別することが
できる。According to the above embodiment, the Fourier transform unit 1
Since the spatial frequency spectrum SS outputted from No. 2 contains the information showing the periodicity of the pixel, by inputting this into the neural network 14, it is possible to accurately determine whether or not it is the halftone dot area. You can In addition, the statistical amount σ, co output from the statistical amount calculation unit 13
Since v and r include information characteristic of the character image and the photographic image, it is possible to accurately determine whether or not the character area and the photographic area. Therefore,
The attribute discrimination device 1 can accurately discriminate the attribute AT of the block area BA included in the original image PM.

【００３７】上述の実施例によると、属性ＡＴの判別に
ニューラルネットワーク１４を用いているので、ニュー
ラルネットワーク１４の学習効果によって簡単に属性Ａ
Ｔの判別が行われ、より確実な属性ＡＴの判別が行われ
る。According to the above-described embodiment, since the neural network 14 is used to discriminate the attribute AT, the learning effect of the neural network 14 facilitates the attribute A.
The determination of T is performed, and a more reliable determination of the attribute AT is performed.

【００３８】因みに、ニューラルネットワーク１４を用
いることなく、空間周波数スペクトル成分に応じた閾値
によって網点領域であるか否かを判別するとした場合に
は、目の粗い網点画像は低周波のスペクトル成分が多く
なり、目の細かい網点画像は高周波のスペクトル成分が
多くなるため、空間周波数スペクトル成分の多少に応じ
て単純に網点画像であるか否かを判別することができ
ず、閾値を決定するのに多くの経験とノウハウを必要と
し、しかも誤判別の多発を免れない。Incidentally, if it is determined whether or not it is a halftone dot area by the threshold value according to the spatial frequency spectrum component without using the neural network 14, the coarse halftone dot image has a low frequency spectrum component. Since a large number of dots and a halftone dot image have many high frequency spectrum components, it is not possible to simply determine whether the halftone dot image is a halftone dot image or not according to the number of spatial frequency spectrum components, and the threshold value is determined. It requires a lot of experience and know-how to do so, and inevitably suffers from a large number of misjudgments.

【００３９】ニューラルネットワーク１４を学習させた
後では、入力されるデータと学習によって得られた結合
係数ｗとの積和演算、及び応答関数を表したテーブルの
検索などによって判別のための処理を行うことが可能で
あるので、演算の処理速度の向上を図ることができる。After the neural network 14 is trained, a process for discrimination is performed by a product-sum operation of input data and a coupling coefficient w obtained by learning, and a search of a table showing a response function. Therefore, it is possible to improve the processing speed of the calculation.

【００４０】したがって、属性判別装置１を用いた複写
機では、原稿ＰＰの領域分割を正確に行うことができ、
原稿ＰＰから得られた画像データＤＭに対し、その領域
に応じた適切な処理をリアルタイムで行なって明瞭な複
写画像を出力することができる。Therefore, in the copying machine using the attribute discriminating apparatus 1, it is possible to accurately divide the area of the original PP.
The image data DM obtained from the document PP can be subjected to appropriate processing in real time according to the area, and a clear copy image can be output.

【００４１】上述の実施例においては、１６×１６画素
の正方形の領域をブロック領域ＢＡとしたが、８×８画
素、４×４画素、３×３画素、６４×６４画素など、種
々のサイズの領域をブロック領域ＢＡとしてよい。正方
形でなくてもよい。また、原画像ＰＭに対して各ブロッ
ク領域が重ならないように割り当てたが、ブロック領域
が重なるように順次ずらせて割り当ててもよい。In the above embodiment, the square area of 16 × 16 pixels is used as the block area BA, but various sizes such as 8 × 8 pixels, 4 × 4 pixels, 3 × 3 pixels, 64 × 64 pixels, etc. May be used as the block area BA. It does not have to be a square. Further, although the block areas are allocated so as not to overlap with the original image PM, they may be sequentially shifted and allocated so as to overlap with each other.

【００４２】すなわち、図５（Ａ）に示すように、原画
像ＰＭについて、属性を判別すべき１個の画素ＰＸａに
対して、その周辺の８×８画素分のブロック領域ＢＡａ
の画像データを画素ＰＸａに対応する画像データＤＭａ
として抽出するとともに、ブロック領域ＢＡａを、１画
素分ずつ順次ずらせていく。この場合には、画素ＰＸａ
が本発明のブロック領域に相当すると考えてよい。That is, as shown in FIG. 5A, with respect to the original image PM, for one pixel PXa whose attribute is to be discriminated, a block area BAa for 8 × 8 pixels around the pixel PXa is provided.
Image data DMa corresponding to the pixel PXa
And the block area BAa is sequentially shifted by one pixel. In this case, the pixel PXa
May correspond to the block area of the present invention.

【００４３】また、図５（Ｂ）に示すように、属性を判
別すべき４（＝２×２）個の画素ＰＸｂに対して、その
周辺の８×８画素分のブロック領域ＢＡｂの画像データ
を画素ＰＸｂに対応する画像データＤＭａとして抽出す
るとともに、ブロック領域ＢＡｂを、２画素分ずつずら
せる。この場合には、４個の画素ＰＸｂが本発明のブロ
ック領域に相当すると考えてよい。Further, as shown in FIG. 5B, for 4 (= 2 × 2) pixels PXb whose attributes should be discriminated, the image data of the block area BAb for 8 × 8 pixels around the pixel PXb. Is extracted as the image data DMa corresponding to the pixel PXb, and the block area BAb is shifted by two pixels. In this case, it can be considered that the four pixels PXb correspond to the block area of the present invention.

【００４４】これらの例から理解できるように、本発明
においては、ブロック領域として任意の個数の画素の集
合とすることができる。しかも、ブロック領域抽出手段
により抽出する画像データは、必ずしもブロック領域に
含まれる画素のみ又は画素全部の画像データである必要
はなく、例えばブロック領域の周辺領域の画素の画像デ
ータを含んでいてもよい。その場合に、必ずしも互いに
隣接する画素の画像データである必要はなく、周辺領域
から順序を崩さずに離散的に抽出した適当個数の画素の
みについての画像データ、又は周辺領域の画素につい
て、順序を崩さずに抽出した、小ブロック毎の平均値、
最大値、最小値などを画像データの代表として用いても
よい。As can be understood from these examples, in the present invention, a block region can be an aggregate of an arbitrary number of pixels. Moreover, the image data extracted by the block area extraction means does not necessarily have to be the image data of only the pixels included in the block area or all the pixels, and may include the image data of the pixels in the peripheral area of the block area, for example. . In that case, the image data does not necessarily have to be the image data of pixels adjacent to each other, and the image data of only an appropriate number of pixels discretely extracted from the peripheral region without disturbing the order or the order of the pixels of the peripheral region can be set. Average value for each small block extracted without breaking,
You may use the maximum value, the minimum value, etc. as a representative of image data.

【００４５】上述の実施例においては、濃度共起行列か
ら得られる統計量として、分散σ、共分散ｃｏｖ、相関
係数ｒを用いたが、例えば、角度２次モーメント、コン
トラスト、エントロピーなどを用いることもできる。文
字領域、写真領域、網点領域の３種類の属性判別を行っ
たが、２種類以下又は４種類以上の属性判別を行うよう
に構成してもよい。In the above-described embodiment, the variance σ, the covariance cov, and the correlation coefficient r are used as the statistics obtained from the density co-occurrence matrix. However, for example, the angular quadratic moment, the contrast, the entropy, etc. are used. You can also Although three types of attribute determinations of the character region, the photograph region, and the halftone dot region are performed, the attribute determination may be performed for two or less types or four or more types.

【００４６】上述の実施例において、ブロック領域抽出
部１１、フーリエ変換部１２、及び統計量計算部１３
は、プログラム及びデータが格納されたメモリとプログ
ラムを実行するＣＰＵによってソフト的に実現されてい
る。また、ニューラルネットワーク１４は、コンピュー
タによるシミュレータによって実現されている。したが
って、上述したように、ニューラルネットワーク１４
は、学習済の結合係数ｗと応答関数を表したテーブル、
及びそれらを演算及び検索するためのプログラムから実
現することが可能である。このような態様も本発明のニ
ューラルネットワークに含まれる。また、ニューラルネ
ットワークをハードウエアで直接実現してもよい。In the above embodiment, the block area extraction unit 11, the Fourier transform unit 12, and the statistic calculation unit 13 are provided.
Is implemented as software by a memory that stores a program and data and a CPU that executes the program. The neural network 14 is realized by a computer simulator. Therefore, as described above, the neural network 14
Is a table showing the learned coupling coefficient w and the response function,
And a program for calculating and retrieving them. Such an aspect is also included in the neural network of the present invention. Further, the neural network may be directly realized by hardware.

【００４７】上述の実施例において、ニューラルネット
ワーク１４の層数、各層のニューロン数、結合係数の有
無、応答関数の種類、学習方法などは、上述した以外に
種々変更することができる。その他、属性判別装置１の
各部又は全体の構成、処理内容、処理順序などは、本発
明の主旨に沿って適宜変更することができる。In the above-described embodiment, the number of layers of the neural network 14, the number of neurons in each layer, the presence or absence of the coupling coefficient, the type of response function, the learning method, etc. can be variously changed other than those described above. In addition, the configuration, processing content, processing order, etc. of each part or the whole of the attribute determination device 1 can be appropriately changed in accordance with the gist of the present invention.

【００４８】[0048]

【発明の効果】本発明によると、原画像に含まれるブロ
ック領域についての属性を正確に判別することができ
る。According to the present invention, the attribute of the block area included in the original image can be accurately discriminated.

【００４９】特に、フーリエ変換手段から出力される空
間周波数スペクトルは画素の周期性を表す情報を含んで
いるので、これをニューラルネットワークに入力するこ
とによって、網点領域であるか否かについて正確な判別
を行うことができる。また、統計量計算手段から出力さ
れる統計量には文字画像及び写真画像に特徴的な情報を
含んでいるので、文字領域であるか否か写真領域である
か否かを正確に判別することができる。In particular, since the spatial frequency spectrum output from the Fourier transform means contains the information indicating the periodicity of the pixel, the information is input to the neural network to accurately determine whether it is a halftone dot region or not. It is possible to make a determination. Further, since the statistic output from the statistic calculation means includes information characteristic of the character image and the photographic image, it is necessary to accurately determine whether it is the character area or the photographic area. You can

【００５０】また、ニューラルネットワークを学習させ
た後では、入力されるデータと学習によって得られた結
合係数との積和演算、及び応答関数を表したテーブルの
検索などによって判別のための処理を行うことができる
ので、演算の処理速度の向上を図ることができる。After the learning of the neural network, the discrimination processing is performed by the product-sum calculation of the input data and the coupling coefficient obtained by the learning, and the search of the table showing the response function. Therefore, the calculation processing speed can be improved.

【００５１】したがって、本発明によって、例えば原稿
の領域分割を正確に行えるようにすることができる。Therefore, according to the present invention, it is possible to accurately perform area division of a document, for example.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明に係る属性判別装置の構成を示すブロッ
ク図である。FIG. 1 is a block diagram showing a configuration of an attribute discriminating apparatus according to the present invention.

【図２】原稿から抽出されるブロック領域を説明する図
である。FIG. 2 is a diagram illustrating a block area extracted from a document.

【図３】ニューラルネットワークの構成を示す図であ
る。FIG. 3 is a diagram showing a configuration of a neural network.

【図４】各画像についてそれぞれ相関係数を示す図であ
る。FIG. 4 is a diagram showing a correlation coefficient for each image.

【図５】ブロック領域の割り当て方法の他の例を説明す
るための図である。FIG. 5 is a diagram for explaining another example of a block area allocation method.

【符号の説明】[Explanation of symbols]

１ 属性判別装置（画像領域属性判別装置） １１ ブロック領域抽出部（ブロック領域抽出手段） １２ フーリエ変換部（フーリエ変換手段） １３ 統計量計算部（統計量計算手段） １４ ニューラルネットワーク ＢＡ ブロック領域 ＤＭ，ＤＭａ 画像データ ＰＭ 原画像 1 Attribute Discriminating Device (Image Region Attribute Discriminating Device) 11 Block Region Extracting Unit (Block Region Extracting Means) 12 Fourier Transforming Unit (Fourier Transforming Means) 13 Statistics Calculating Unit (Statistics Calculating Means) 14 Neural Network BA Block Region DM, DMa image data PM original image

───────────────────────────────────────────────────── フロントページの続き (72)発明者 新阜 真 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 伊藤 哲也 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Makoto Shinfu, 2-13-3 Azuchi-cho, Chuo-ku, Osaka-shi, Osaka Prefecture Minamita Co., Ltd. (72) Inventor Tetsuya Ito Azuchi, Chuo-ku, Osaka-shi, Osaka 2-13-3 Machi Osaka International Building Minolta Co., Ltd.

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】原画像についての多値の画像データに基づ
いて、前記原画像に含まれる小領域であるブロック領域
についての属性を判別するための装置であって、 前記画像データに対して、前記ブロック領域に対応する
画像データを抽出するブロック領域抽出手段と、 前記ブロック領域抽出手段により抽出された画像データ
に基づいて、フーリエ変換を行うことによって空間周波
数スペクトルを求めるフーリエ変換手段と、 前記フーリエ変換手段から出力される空間周波数スペク
トルに基づいて、少なくとも前記ブロック領域の属性が
網点領域であるか否かについての判別結果を出力するニ
ューラルネットワークと、 を有することを特徴とする画像領域属性判別装置。1. An apparatus for determining an attribute of a block area, which is a small area included in the original image, based on multivalued image data of the original image, wherein: Block area extracting means for extracting image data corresponding to the block area; and Fourier transform means for obtaining a spatial frequency spectrum by performing Fourier transform based on the image data extracted by the block area extracting means, and the Fourier transform An image area attribute discrimination, comprising: a neural network for outputting at least a discrimination result as to whether or not the attribute of the block area is a halftone dot area based on the spatial frequency spectrum output from the converting means. apparatus. 【請求項２】原画像についての多値の画像データに基づ
いて、前記原画像に含まれる小領域であるブロック領域
についての属性を判別するための装置であって、 前記画像データに対して、前記ブロック領域に対応する
画像データを抽出するブロック領域抽出手段と、 前記ブロック領域抽出手段により抽出された画像データ
に基づいて、フーリエ変換を行うことによって空間周波
数スペクトルを求めるフーリエ変換手段と、 前記ブロック領域抽出手段により抽出された画像データ
に基づいて、その濃度共起行列から得られる統計量を計
算する統計量計算手段と、 前記フーリエ変換手段から出力される空間周波数スペク
トル及び前記統計量計算手段から出力される統計量に基
づいて、少なくとも前記ブロック領域の属性が文字領
域、写真領域、又は網点領域であるか否かについての判
別結果を出力するニューラルネットワークと、 を有することを特徴とする画像領域属性判別装置。2. An apparatus for determining an attribute of a block area, which is a small area included in the original image, based on multivalued image data of the original image, wherein: Block area extracting means for extracting image data corresponding to the block area; and Fourier transform means for obtaining a spatial frequency spectrum by performing Fourier transform based on the image data extracted by the block area extracting means, the block Based on the image data extracted by the region extraction means, a statistic calculation means for calculating a statistic obtained from the concentration co-occurrence matrix, and a spatial frequency spectrum output from the Fourier transform means and the statistic calculation means Based on the output statistics, at least the attribute of the block area is a character area, a photo area, Or, an image area attribute discrimination device comprising: a neural network that outputs a discrimination result as to whether or not it is a halftone dot area. 【請求項３】原画像についての多値の画像データに基づ
いて、前記原画像に含まれる小領域であるブロック領域
についての属性を判別するための装置であって、 前記画像データに対して、前記ブロック領域に対応する
画像データを抽出するブロック領域抽出手段と、 前記ブロック領域抽出手段により抽出された画像データ
に基づいて、その濃度共起行列から得られる統計量を計
算する統計量計算手段と、 前記統計量計算手段から出力される統計量に基づいて、
少なくとも前記ブロック領域の属性が文字領域又は写真
領域であるか否かについての判別結果を出力するニュー
ラルネットワークと、 を有することを特徴とする画像領域属性判別装置。3. An apparatus for determining an attribute of a block area, which is a small area included in the original image, based on multivalued image data of the original image, wherein: Block area extracting means for extracting image data corresponding to the block area; and statistical amount calculating means for calculating a statistical amount obtained from the density co-occurrence matrix based on the image data extracted by the block area extracting means. , Based on the statistics output from the statistics calculation means,
An image area attribute discriminating apparatus comprising: a neural network that outputs a discrimination result as to whether the attribute of the block area is a character area or a photograph area.