JP2010244354A - Image processing apparatus and processing method, and processing program - Google Patents
Image processing apparatus and processing method, and processing program Download PDFInfo
- Publication number
- JP2010244354A JP2010244354A JP2009093222A JP2009093222A JP2010244354A JP 2010244354 A JP2010244354 A JP 2010244354A JP 2009093222 A JP2009093222 A JP 2009093222A JP 2009093222 A JP2009093222 A JP 2009093222A JP 2010244354 A JP2010244354 A JP 2010244354A
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- image
- input image
- inclination
- inclination angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は入力画像の傾斜角の検出に関する。 The present invention relates to detection of an inclination angle of an input image.
スキャナで画像を読み取ると、画像が僅かに傾斜した状態で読み取られることがある。これを補正するため、原稿用紙の辺などを検出することが行われている。原稿用紙が方形であれは、辺の向きは主走査方向あるいは副走査方向に平行なはずで、これらの方向からのずれは原稿用紙の傾斜を表している。しかしこの手法で傾斜を検出できるのはスキャン時に限られ、蓄積済みの画像及び外部から転送された画像の傾斜は検出できない。また原稿用紙の傾斜を検出するので、切り抜きのように用紙が定型でないものは傾斜を検出できない。さらにハードカバーの書籍を見開きでスキャンすると、カバーは傾斜していないものの、見開いたページが傾斜していることがある。この場合も傾斜の検出は難しい。これらの問題を解決するには、原稿用紙の傾斜を検出するのではなく、画像自体の傾斜を検出する必要がある。 When an image is read by a scanner, the image may be read in a slightly inclined state. In order to correct this, the side of the original paper is detected. If the original paper is square, the direction of the side should be parallel to the main scanning direction or the sub-scanning direction, and the deviation from these directions represents the inclination of the original paper. However, the inclination can be detected by this method only at the time of scanning, and the inclination of the accumulated image and the image transferred from the outside cannot be detected. Further, since the inclination of the original paper is detected, the inclination cannot be detected when the paper is not a fixed shape such as a cutout. Furthermore, when scanning a book with a hard cover in a two-page spread, the cover may not be tilted, but the spread page may be tilted. In this case, it is difficult to detect the inclination. In order to solve these problems, it is necessary to detect the inclination of the image itself rather than detecting the inclination of the original paper.
ここで関連する先行技術を示すと、特許文献1:JPH10-283476Aは、画像中の直線をハフ変換により検出することを記載している。しかしながら特許文献1は、画像の傾斜自体をハフ変換により検出することを示していない。例えば画像中に写真あるいは図形があり、これらに斜線が含まれていれば、ハフ変換により斜線が抽出され、画像自体の傾斜とは異なる斜線角が検出される。 Here, showing related prior art, Patent Document 1: JPH10-283476A describes that a straight line in an image is detected by Hough transform. However, Patent Document 1 does not indicate that the inclination of the image itself is detected by the Hough transform. For example, if there are photographs or figures in the image and these include oblique lines, the oblique lines are extracted by the Hough transform, and an oblique line angle different from the inclination of the image itself is detected.
この発明の課題は、入力画像自体の性質を用いて、かつ入力画像中の斜線等の影響を受けずに、入力画像の傾斜角を求めることにある。 An object of the present invention is to obtain the tilt angle of an input image using the properties of the input image itself and without being affected by oblique lines or the like in the input image.
この発明の画像処理装置は、入力画像の傾斜角を決定する装置であって、
線分を点へと単純化する縮退処理を、入力画像に施すための縮退処理部と、
縮退処理後の画像をハフ変換するハフ変換部と、
ハフ変換により抽出した線分の向きから入力画像の傾斜角を決定する傾斜角決定部、とを備えたことを特徴とする。
An image processing apparatus of the present invention is an apparatus for determining an inclination angle of an input image,
A reduction processing unit for applying a reduction process for simplifying a line segment to a point to an input image;
A Hough transform unit for performing a Hough transform on the image after the reduction process;
A tilt angle determining unit that determines the tilt angle of the input image from the direction of the line segment extracted by the Hough transform.
またこの発明の画像処理方法は、入力画像の傾斜角を決定するために、
線分を点へと単純化する縮退処理を入力画像に施すステップと、
縮退処理後の画像をハフ変換するステップと、
ハフ変換により抽出した線分の向きから入力画像の傾斜角を決定するステップ、とを備えたことを特徴とする。
The image processing method of the present invention also determines the tilt angle of the input image.
Applying a reduction process to the input image to simplify line segments into points;
A step of Hough transforming the image after the reduction processing;
Determining the inclination angle of the input image from the direction of the line segment extracted by the Hough transform.
またこの発明の画像処理プログラムは、情報処理装置により入力画像の傾斜角を決定するために、
前記情報処理装置を、
線分を点へと単純化する縮退処理を、入力画像に施すための縮退処理部と、
縮退処理後の画像をハフ変換するハフ変換部と、
ハフ変換により抽出した線分の向きから入力画像の傾斜角を決定する傾斜角決定部、として機能させる。
In addition, the image processing program of the present invention determines the tilt angle of the input image by the information processing device.
The information processing apparatus;
A reduction processing unit for applying a reduction process for simplifying a line segment to a point to an input image;
A Hough transform unit for performing a Hough transform on the image after the reduction process;
It is made to function as a tilt angle determination unit that determines the tilt angle of the input image from the direction of the line segment extracted by the Hough transform.
この明細書において、画像処理装置に関する記載はそのまま画像処理方法及び画像処理プログラムにも当てはまり、画像処理方法に関する記載はそのまま画像処理装置及び画像処理プログラムにも当てはまる。
この明細書において、点は画像中の1画素に限らず、複数の画素で点と見えるものを含んでいる。
In this specification, the description relating to the image processing apparatus also applies to the image processing method and the image processing program as it is, and the description relating to the image processing method also applies to the image processing apparatus and the image processing program as they are.
In this specification, the point is not limited to one pixel in the image, but includes a point that can be seen as a point by a plurality of pixels.
縮退処理により、入力画像中の線分は単純な点へ変換されるが、文字の行は保存される。このため斜線等の影響を受けずに、入力画像中の文字の行により傾斜角を決定できる。さらに縮退処理により入力画像中の有効画素数が削減されるので、ハフ変換をより高速で実行できる。 The line segment in the input image is converted into a simple point by the reduction process, but the character line is preserved. For this reason, the inclination angle can be determined by the line of characters in the input image without being affected by the oblique line or the like. Furthermore, since the number of effective pixels in the input image is reduced by the reduction process, the Hough transform can be executed at a higher speed.
好ましくは、前記ハフ変換部と傾斜角決定部を、縮退処理を施した入力画像にハフ変換を施して第1の傾斜角を決定し、かつ縮退処理を施さなかった入力画像にハフ変換を施して第2の傾斜角を決定すると共に、
第1の傾斜角と第2の傾斜角との比較部を設けて、差が所定範囲内の場合は第2の傾斜角を入力画像の傾斜角とし、差が所定範囲外の場合は第1の傾斜角を入力画像の傾斜角とする。
ここで第1の傾斜角は文字の行のみを用いて得た傾斜角を表し、第2の傾斜角は文字の行以外に、表や下線、斜線などを用いて得た傾斜角を表している。そこで第1の傾斜角と第2の傾斜角とが近似する場合、表あるいは下線で、文字の行と平行あるいは直角な線分が寄与していると推定できる。仮に、共に文字の行から傾斜角を求めている場合でも、第2の傾斜角は、縮退処理による入力画像の変化を受けていないので、第1の傾斜角よりも精度が高いと言える。そこで高精度に傾斜角を決定できる。
第1の傾斜角と第2の傾斜角とが著しく異なる場合、第1の傾斜角を入力画像の傾斜角とすると、入力画像中の図形部分あるいは写真部分等での斜線の影響を受けずに、傾斜角を決定できる。
Preferably, the Hough transform unit and the tilt angle determination unit perform a Hough transform on the input image subjected to the reduction process to determine a first tilt angle, and perform a Hough transform on the input image not subjected to the reduction process. To determine the second tilt angle and
A comparison unit between the first tilt angle and the second tilt angle is provided, and when the difference is within a predetermined range, the second tilt angle is set as the tilt angle of the input image, and when the difference is outside the predetermined range, the first Is the inclination angle of the input image.
Here, the first inclination angle represents the inclination angle obtained using only the character line, and the second inclination angle represents the inclination angle obtained using a table, underline, diagonal line, etc. in addition to the character line. Yes. Therefore, when the first inclination angle and the second inclination angle are approximated, it can be estimated that a line segment that is parallel or perpendicular to the character row in the table or underline contributes. Even if the inclination angle is obtained from the line of characters, the second inclination angle has not been subjected to the change of the input image due to the degeneration process, so it can be said that the accuracy is higher than the first inclination angle. Therefore, the tilt angle can be determined with high accuracy.
When the first tilt angle and the second tilt angle are significantly different, if the first tilt angle is the tilt angle of the input image, the first tilt angle is not affected by the oblique lines in the graphic portion or the photograph portion in the input image. The inclination angle can be determined.
第1の傾斜角と第2の傾斜角との整合性が上記の中間の場合、例えば縮退処理を施した画像をハフ変換したものから、複数の線分を第1のセットとして取り出し、縮退処理を施こさなかった画像をハフ変換したものから、複数の線分を第2のセットとして取り出す。第2のセットから、向きの差が所定範囲内の線分が第1のセットに有るもの、より好ましくは、向きの差が第1の所定範囲内でかつハフ変換での距離の差が第2の所定範囲内の線分が第1のセットに有るものを抽出して、傾斜角を決定する。このような線分は1本でも良いが、複数の線分を用いて傾斜角を決定する方が、信頼性が高い。そこで抽出した線分の本数が少ない場合、信頼性を増すため好ましくは、例えば第1のセットの線分で第2のセットに対応するものが無い線分を抽出した線分に加えて、これらの線分の傾斜から入力画像の傾斜角を決定する。 In the case where the consistency between the first tilt angle and the second tilt angle is intermediate between the above, for example, a plurality of line segments are taken out as a first set from the Hough transform of the image subjected to the degeneration process, and the degeneration process is performed. A plurality of line segments are taken out as a second set from the Hough transformed image that has not been subjected to. From the second set, a line segment whose direction difference is within a predetermined range is in the first set, and more preferably, a direction difference is within the first predetermined range and a distance difference in the Hough transform is A line segment within a predetermined range of 2 is extracted from the first set, and an inclination angle is determined. Although such a line segment may be one, it is more reliable to determine the tilt angle using a plurality of line segments. Therefore, when the number of extracted line segments is small, in order to increase reliability, preferably, for example, in addition to the extracted line segments that do not correspond to the second set in the first set, The inclination angle of the input image is determined from the inclination of the line segment.
そこで好ましくは、前記差が前記所定範囲外の場合、
縮退処理を施した入力画像からハフ変換により抽出した第1の線分群と、縮退処理を施さなかった入力画像からハフ変換により抽出した第2の線分群との間に、傾きが近似した線分がない場合は、前記第1の傾斜角を入力画像の傾斜角とし、
前記第1の線分群と第2の線分群の間に、傾きが近似した線分がある場合は、少なくとも第2の線分群の線分で、第1の線分群に傾きが近似するものがある線分の傾きに基づいて、入力画像の傾斜角を決定する。
Therefore, preferably, when the difference is outside the predetermined range,
A line segment whose slope is approximated between a first line segment group extracted by Hough transform from the input image subjected to the reduction process and a second line segment group extracted by Hough transform from the input image not subjected to the reduction process If there is no, the first tilt angle is the tilt angle of the input image,
If there is a line segment with an approximate slope between the first line segment group and the second line segment group, at least the line segment of the second line segment group and the slope approximate to the first line segment group Based on the inclination of a certain line segment, the inclination angle of the input image is determined.
あるいはまた第1の傾斜角と第2の傾斜角を求めずに、
前記ハフ変換部は、縮退処理を施した入力画像から第1の線分群を抽出すると共に、縮退処理を施さなかった入力画像から第2の線分群を抽出し、
前記傾斜角検出部は、少なくとも第2の線分群の線分で、第1の線分群に傾きが近似するものがある線分の傾きに基づいて、入力画像の傾斜角を決定しても良い。
Alternatively, without obtaining the first tilt angle and the second tilt angle,
The Hough transform unit extracts the first line segment group from the input image that has been subjected to the reduction process, and extracts the second line segment group from the input image that has not been subjected to the reduction process,
The inclination angle detection unit may determine an inclination angle of the input image based on an inclination of a line segment that has at least a line segment of the second line segment group and whose inclination approximates to the first line segment group. .
より好ましくは、前記傾斜角検出部は、第2の線分群の線分で、第1の線分群に傾きが近似するものがある線分が所定本数以上有る場合は、該所定本数以上の線分の傾きに基づいて入力画像の傾斜角を決定し、第2の線分群の線分で、第1の線分群に傾きが近似するものがある線分が所定本数未満の場合は、前記所定本数未満の線分に第1の線分群の線分を加えた線分群の傾きに基づいて入力画像の傾斜角を決定する。 More preferably, the inclination angle detection unit is a line segment of the second line segment group, and when there are more than a predetermined number of line segments having an inclination similar to the first line segment group, the line of the predetermined number or more. The inclination angle of the input image is determined based on the inclination of the minute, and when the number of line segments in the second line segment group that approximates the inclination to the first line segment group is less than the predetermined number, the predetermined value The inclination angle of the input image is determined based on the inclination of the line segment group obtained by adding the line segment of the first line segment group to the line segments less than the number.
また好ましくは、入力画像を有効画素と無効画素とに二値化する二値化部を設けると共に、前記縮退処理部は、二値化した入力画像中の互いに連結された有効画素を端部から無効画素に置換するためのフィルタで、縮退処理を実行する。
このようにすると、簡単に縮退処理を施すことができる。
Preferably, a binarization unit that binarizes the input image into effective pixels and invalid pixels is provided, and the degeneracy processing unit includes the connected effective pixels in the binarized input image from the end. A degeneration process is executed by a filter for replacing with invalid pixels.
In this way, the reduction process can be easily performed.
以下に本発明を実施するための最適実施例を示す。 In the following, an optimum embodiment for carrying out the present invention will be shown.
図1〜図22に、複合機2を例に実施例を示す。4はLANで、6はパーソナルコンピュータで、情報処理装置の例であり、8はルータで、インターネット10と複合機2及びパーソナルコンピュータ6を接続する。実施例での傾斜角の検出及び補正は複合機2で行うが、パーソナルコンピュータ6などで行っても良く、例えば、複合機2のスキャナ20で読み取った画像をパーソナルコンピュータ6へ転送して、パーソナルコンピュータ6で傾斜角を検出して補正しても良い。 1 to 22 show an embodiment of the multifunction machine 2 as an example. 4 is a LAN, 6 is a personal computer, which is an example of an information processing apparatus, and 8 is a router, which connects the Internet 10 to the multifunction device 2 and the personal computer 6. The detection and correction of the tilt angle in the embodiment is performed by the multi-function device 2, but may be performed by the personal computer 6 or the like. For example, an image read by the scanner 20 of the multi-function device 2 is transferred to the personal computer 6 and personal The computer 6 may detect and correct the tilt angle.
複合機2の構造を説明する。12はLANインターフェースで、14はバス、16は画像メモリで、ページメモリとして画像データを記憶する。メモリ18は汎用のメモリで、プログラム及び中間的なデータなどを記憶する。スキャナ20は、原稿用紙から画像を、モノクロのグレイスケールあるいはフルカラーで読み取り、プリンタ22は画像をプリントし、G3ファクシミリ部24は画像のG3ファクシミリ送信と受信とを行う。e-mail部26は、e-mailの添付ファイルとして画像の送受信を行い、ネットワークサーバ部28は、文書管理サーバあるいはリモートプリンタなどとして複合機2を動作させる。ユーザインターフェース30はユーザのマニュアル入力などを受け付け、画像処理部32は種々の画像処理を行う。スキャンした画像あるいは受信画像もしくは蓄積済みの画像の傾斜角を検出するため、前処理部40とハフ変換部50並びに傾斜角検出部60を設ける。そして検出した傾斜角と反対向きに同じ角度だけ、画像回転部70で画像を回転させ、傾斜を補正する。 The structure of the multifunction device 2 will be described. 12 is a LAN interface, 14 is a bus, 16 is an image memory, and stores image data as a page memory. The memory 18 is a general-purpose memory and stores programs, intermediate data, and the like. The scanner 20 reads an image from original paper in monochrome gray scale or full color, the printer 22 prints the image, and the G3 facsimile unit 24 performs G3 facsimile transmission and reception of the image. The e-mail unit 26 transmits and receives an image as an attached file of the e-mail, and the network server unit 28 operates the multifunction device 2 as a document management server or a remote printer. The user interface 30 accepts user manual input and the like, and the image processing unit 32 performs various image processing. In order to detect the tilt angle of the scanned image, the received image, or the accumulated image, a pre-processing unit 40, a Hough transform unit 50, and a tilt angle detection unit 60 are provided. Then, the image is rotated by the image rotation unit 70 by the same angle opposite to the detected inclination angle, and the inclination is corrected.
図2に前処理部40の構成を示す。画像メモリ16から画像データが縮小処理部41へ入力され、画像の解像度を1/n(nは2以上の自然数で、好ましくは4〜8,特に4〜6)に縮小する。これによって画像データの量は1/n2に減少し、縮小は例えばn×n画素のブロック毎に、画素の値の平均値を求めればよい。またより単純に、縮小処理部41では、n×n画素のブロックの内の代表点、例えばブロックの左上の頂点の、1画素のデータをそのまま出力しても良い。このためハフ変換は、n2倍高速になる。同じ画像データで、データの内容と解像度は一定でも、縮小処理部41での縮小率が異なると、傾斜角の検出結果が異なることがあった。そこでスキャン時の解像度によらず、縮小処理部41で一定の解像度まで解像度を低下させると、解像度の違いによる傾斜角の検出値の差を解消できる。 FIG. 2 shows the configuration of the preprocessing unit 40. Image data is input from the image memory 16 to the reduction processing unit 41, and the resolution of the image is reduced to 1 / n (n is a natural number of 2 or more, preferably 4 to 8, particularly 4 to 6). As a result, the amount of image data is reduced to 1 / n 2. For reduction, for example, an average value of pixel values may be obtained for each block of n × n pixels. Further, more simply, the reduction processing unit 41 may output the data of one pixel of the representative point in the block of n × n pixels, for example, the upper left vertex of the block as it is. For this reason, the Hough transform is n 2 times faster. Even if the content and resolution of the data are the same for the same image data, if the reduction rate in the reduction processing unit 41 is different, the detection result of the tilt angle may be different. Therefore, regardless of the resolution at the time of scanning, if the resolution is reduced to a certain resolution by the reduction processing unit 41, the difference in the detected value of the tilt angle due to the difference in resolution can be eliminated.
複合機2でスキャンした画像以外でも、ファクシミリの受信データなどのように、スキャン時の解像度が既知の場合、同様に一定の解像度に画像を縮小する。スキャン時の解像度は、通信のプロトコルあるいは画像ファイルのヘッダなどから判明することが多い。なおjpeg画像のようにヘッダに解像度が記載されていない場合、1/4あるいは1/8などの一定の縮小率で、画像を縮小する。 If the resolution at the time of scanning is known, such as received data of a facsimile, other than the image scanned by the multifunction device 2, the image is similarly reduced to a constant resolution. The scanning resolution is often determined from the communication protocol or the header of the image file. When the resolution is not described in the header like a jpeg image, the image is reduced at a constant reduction rate such as 1/4 or 1/8.
スムージング部42は、平滑化フィルタなどにより縮小画像からノイズを除去し、画像中のランダムなデータをハフ変換によって直線として抽出しないようにする。次にエッジ抽出部43は、スムージング済みの画像から、ラプラシアンフィルタあるいはソーベルフィルタなどのエッジ抽出用フィルタにより、エッジを抽出する。これによって地色の影響が解消し、また白抜きの文字などでも、文字の輪郭に対応するエッジを抽出できる。 The smoothing unit 42 removes noise from the reduced image using a smoothing filter or the like, and does not extract random data in the image as a straight line by Hough transform. Next, the edge extraction unit 43 extracts edges from the smoothed image using an edge extraction filter such as a Laplacian filter or a Sobel filter. As a result, the influence of the ground color is eliminated, and an edge corresponding to the outline of the character can be extracted even with a white character.
二値化部44は抽出したエッジを二値化する。二値化の閾値は、一定でも良く、あるいは抽出したエッジでの明度もしくはカラー値の分布などから定めても良い。さらに全てのエッジを二値化する必要があるのではなく、例えば画像中の文字部分と、写真部分及び図形部分を判別できる場合、文字部分のみを二値化することが好ましい。 The binarization unit 44 binarizes the extracted edge. The binarization threshold value may be constant, or may be determined from the brightness at the extracted edge or the distribution of color values. Furthermore, it is not necessary to binarize all edges. For example, when a character part, an image part, and a graphic part in an image can be discriminated, it is preferable to binarize only the character part.
扱う画像データは実施例ではモノクロのグレイスケール画像とするが、RGB画像などでもよい。この場合、RGBデータを、明度画像に変換して傾斜角を検出してもよく、またR,G,Bの各成分毎に傾斜角を検出し、その平均値などを用いてもよい。 The image data to be handled is a monochrome gray scale image in the embodiment, but may be an RGB image or the like. In this case, the RGB data may be converted into a brightness image to detect the inclination angle, or the inclination angle may be detected for each of R, G, and B components, and the average value thereof may be used.
孤立点除去部45は二値化画像から孤立点を除去し、二値化前のエッジ画像に対して孤立点を除去しても良い。孤立点の除去によりデータ量が減り、かつ偽の傾斜角を検出する確率が減少する。なお孤立点は写真画像中に特に多く、画像本来の傾きとは無関係なデータである。 The isolated point removing unit 45 may remove isolated points from the binarized image and remove isolated points from the edge image before binarization. Removal of isolated points reduces the amount of data and reduces the probability of detecting false tilt angles. It should be noted that isolated points are particularly many in a photographic image and are data unrelated to the original inclination of the image.
縮退処理部46は、孤立点を除去した後の二値化画像に対し、縮退処理を行う。ただし孤立点の除去は省略しても良い。ここに縮退処理とは、上下,左右,斜めなどの方向に有効画素が連続して並んでいる、即ち有効画素が縦/横/斜めなどに連結している場合に、有効画素を連結部分の端から削除する処理のことである。縮退処理では、有効画素が連結されて線分を構成している場合に、線分の端部から有効画素を削除し、線分を1画素あるいは2画素などからなる点へと単純化する。なお有効画素とは二値化画像においてデータのある画素をいい、白であるか黒であるかは問題にしない。縮退処理により線分は例えば2画素まで単純化される。円、方形、及び十字なども、有効画素が互いに連結されたものであれば、例えば2画素、あるいは4画素等に単純化される。この結果、画像中の図形部分及び写真部分の斜線が実質的に消滅し、これらのものが傾斜角の検出に影響することを防止できる。なお縮退処理では、文字も有効画素数が小さくなるが、文字の行がなす直線は失われない。また縮退処理により、ハフ変換の対象となる画素の数を減らして、処理を高速化する。 The reduction processing unit 46 performs a reduction process on the binarized image after the isolated points are removed. However, the removal of isolated points may be omitted. Here, the degeneracy processing means that effective pixels are continuously arranged in the vertical, horizontal, diagonal directions, that is, when effective pixels are connected vertically / horizontally / diagonally, the effective pixels are connected to the connected portion. It is a process of deleting from the end. In the reduction process, when effective pixels are connected to form a line segment, the effective pixel is deleted from the end of the line segment, and the line segment is simplified to a point composed of one pixel or two pixels. The effective pixel means a pixel with data in the binarized image, and it does not matter whether it is white or black. The line segment is simplified to, for example, two pixels by the reduction process. A circle, a square, a cross, and the like are also simplified to, for example, 2 pixels or 4 pixels if effective pixels are connected to each other. As a result, it is possible to prevent the oblique lines in the graphic part and the photographic part in the image from disappearing and to affect the detection of the inclination angle. In the reduction process, the number of effective pixels of the character is reduced, but the straight line formed by the character line is not lost. Further, the reduction process reduces the number of pixels to be subjected to the Hough transform, thereby speeding up the process.
図3に縮退処理に用いるフィルタ34〜38を示し、処理対象の画像は二値化済みで、6角形の画素が有効画素から無効画素(有効でない画素)へ置き換えるかどうかの対象画素である。○の画素が有効画素で、かつ△の画素のいずれかが有効画素の場合、対象画素を無効画素に置き換える。そして縮退処理では、主走査方向に沿って1ライン処理すると、副走査方向に1画素移動して、次のラインを処理する。また縮退処理では、例えば5個のフィルタ34〜38で並列に処理し、いずれかのフィルタのパターンに該当する対象画素は、無効画素に置き換える。ただし処理の順序や向きは任意である。 FIG. 3 shows filters 34 to 38 used for the degeneration processing. The image to be processed is already binarized, and is a target pixel for determining whether or not a hexagonal pixel is replaced from an effective pixel to an invalid pixel (invalid pixel). When the pixel marked with ○ is an effective pixel and one of the pixels marked with Δ is a valid pixel, the target pixel is replaced with an invalid pixel. In the reduction process, when one line is processed along the main scanning direction, the next line is processed by moving one pixel in the sub-scanning direction. In the degeneration processing, for example, the five filters 34 to 38 are processed in parallel, and the target pixel corresponding to one of the filter patterns is replaced with an invalid pixel. However, the order and direction of processing are arbitrary.
フィルタ34〜38は、縦/横/斜め連結された3個の有効画素から端部の1画素を無効画素とする。縮退処理に用いるフィルタは一般に、縦、横あるいは斜めなどに連結された複数の有効画素から、少なくとも端部の1画素を無効画素とするものである。縮退処理では、連結された2個の有効画素から1画素を無効画素としても、あるいは縦横斜めに限らず任意の向きに連結された、4個以上の有効画素から端部の1画素もしくは複数画素を無効画素としても良い。 The filters 34 to 38 make one pixel at the end of three effective pixels connected vertically / horizontally / diagonally as invalid pixels. In general, a filter used for the degeneration processing is one in which at least one pixel at the end is an invalid pixel from a plurality of effective pixels connected vertically, horizontally, or diagonally. In the degeneration process, one pixel or a plurality of pixels from the four or more effective pixels connected in an arbitrary direction, not limited to the vertical and horizontal directions, even if one pixel is selected from two connected effective pixels as an invalid pixel. May be invalid pixels.
二値化済みの画像に縮退処理を施すのは容易であるが、例えばスムージング後、あるいはエッジ抽出後などの二値化前の画像にも、縮退処理を施すことができる。例えば明度pを二値化の閾値とし、明度がp以下の画素を有効画素とすることを考える。フィルタ34〜38では、対象画素の位置の画素が明度p以下であれば対象画素とし、図の○及び△の位置の画素が明度p以下で有れば有効画素であるとすればよい。すると、縮退と二値化とを一括して処理できる。縮退処理は画素数を減らす点でエッジ抽出と類似の作用を持ち、スムージング後の画像に施しても良い。この場合、エッジ抽出を省略できる。また縮退処理は、縮小後でスムージング前の画像に施しても良い。極端な場合、縮小前の画像に縮退処理を施し、二値化してハフ変換しても良い。この場合、縮小、スムージング、エッジ抽出、孤立点の除去は省略する。 Although it is easy to apply a reduction process to a binarized image, for example, an image before binarization such as after smoothing or after edge extraction can be applied to the reduction process. For example, let us consider that the lightness p is a threshold for binarization and a pixel having lightness of p or less is an effective pixel. In the filters 34 to 38, if the pixel at the position of the target pixel is lightness p or less, it is determined as the target pixel, and if the pixels at the positions ◯ and Δ in the figure are lightness p or less, they are valid pixels. Then, degeneracy and binarization can be processed collectively. The reduction process has an effect similar to edge extraction in that the number of pixels is reduced, and may be applied to the image after smoothing. In this case, edge extraction can be omitted. Further, the reduction process may be performed on an image after reduction and before smoothing. In an extreme case, the image before reduction may be subjected to reduction processing, binarized, and Hough converted. In this case, reduction, smoothing, edge extraction, and removal of isolated points are omitted.
縮退処理により、画像中の直線から求めた傾斜角Aと、文字の行から求めた傾斜角Bとを比較できる。ここで角度A,Bがほぼ一致する場合、角度Aは、画像中にある文字の行と平行あるいは垂直な罫線の向き、下線の向き、あるいは文字の行の向きを表している。一方角度Bは、画像中にある文字の行の向きのみを表している。そして角度Aと角度Bとがほぼ一致する場合、例えば角度Aが表あるいは下線の向きを表していれば、角度Aの方が角度Bよりも意味がある。角度A,Bを比較し、傾斜角を決定するアルゴリズムを図4に示す。 By the reduction process, the inclination angle A obtained from the straight line in the image can be compared with the inclination angle B obtained from the line of characters. When the angles A and B substantially coincide with each other, the angle A represents the direction of a ruled line, the direction of an underline, or the direction of a character line parallel to or perpendicular to a character line in the image. On the other hand, the angle B represents only the direction of the line of characters in the image. When the angle A and the angle B substantially coincide with each other, for example, if the angle A indicates a front or underline direction, the angle A is more meaningful than the angle B. An algorithm for comparing the angles A and B and determining the tilt angle is shown in FIG.
ステップ1で画像を二値化し、ステップ2でハフ変換し、ステップ3で画像中の線分を複数抽出(例えば8本あるいは16本抽出)して線分のセットAとし、ステップ4で画像の傾斜角Aを決定する。一方、二値化した画像をステップ5で縮退処理した後に、ステップ6でハフ変換し、ステップ7で画像中の線分を複数抽出(例えば8本あるいは16本抽出)して線分のセットBとし、ステップ8で画像の傾斜角Bを決定する。ステップ9で角度A,Bがほぼ等しいか否か、例えば差が±1°以内、より広くは±3°以内か否かを判断し、角度A,Bがほぼ等しい場合、角度Aを画像の傾斜角とする(ステップ10)。角度A,Bがほぼ等しくは無い場合、ステップ11,12で、縮退処理を施さなかったものと施したものとで、近似する線分が所定本数以上、例えば3本以上あるかどうかを判断する。近似する線分とは、例えばθの差が1°以内で、ρの差が所定値以内、例えば10画素以内の線分である。 Step 1 binarizes the image, Step 2 Hough transforms, Step 3 extracts a plurality of line segments in the image (for example, 8 or 16 lines) to form a line set A, Step 4 The inclination angle A is determined. On the other hand, after the binarized image is subjected to reduction processing in step 5, Hough transform is performed in step 6, and a plurality of line segments in the image are extracted (for example, 8 or 16 lines) in step 7 to set line segment B In step 8, the inclination angle B of the image is determined. In step 9, it is determined whether or not the angles A and B are substantially equal, for example, whether or not the difference is within ± 1 °, more broadly within ± 3 °. If the angles A and B are approximately equal, An inclination angle is set (step 10). If the angles A and B are not substantially equal, it is determined in steps 11 and 12 whether there are more than a predetermined number of line segments, for example, three or more, that have not been subjected to the degeneration process and those that have been subjected to the reduction process. . The approximate line segment is, for example, a line segment in which the difference in θ is within 1 ° and the difference in ρ is within a predetermined value, for example, within 10 pixels.
所定本数以上近似する線分がある場合は、縮退処理を施さなかった側での近似する線分の角度から傾斜角を決定する(ステップ13)。ステップ13では、好ましくは縮退処理を施さなかった側から抽出した線分を用い、各線分への投票数を重み等に加味して、角度を決定する。近似する線分があるが所定本数未満の場合は、縮退処理を施さなかった側での近似する線分の角度及び縮退処理を施した側での他の線分から、傾斜角を決定する(ステップ14)。ただし縮退処理を施した側の線分で、近似する線分が縮退処理を施さなかった側に近似する線分があるものは、類似のデータを重ねて使用することを避けるために用いないことが好ましい。またステップ14では、例えば縮退処理を施さなかった側の線分か否かで定まるパラメータと、線分毎の投票数との積を、各線分への重みとし、縮退処理を施さなかった側の線分には例えば2倍〜4倍等の重みをパラメータとして付加する。近似する線分が無い場合は、縮退処理を施さなかった側では図形部分あるいは写真中の斜線を抽出したものとして、角度Bを出力する(ステップ15)。なお角度A,B自体の決定アルゴリズムは図8に示し、ステップ13,14で角度の決定に用いる線分が定まると、図8のアルゴリズムを再度実行する。ここで図4での線分は、図8での(ρ,θ)空間での点に対応する。 If there is a line segment that approximates the predetermined number or more, the inclination angle is determined from the angle of the approximate line segment on the side that has not been subjected to the degeneration process (step 13). In step 13, preferably, the line segment extracted from the side not subjected to the reduction process is used, and the angle is determined by adding the number of votes for each line segment to the weight or the like. If there is an approximate line segment but less than the predetermined number, the inclination angle is determined from the angle of the approximate line segment on the side not subjected to the reduction process and the other line segment on the side subjected to the reduction process (step 14). However, if there is a line segment on the side that has been subjected to the reduction process and the line segment to be approximated is on the side that has not been subjected to the reduction process, it should not be used to avoid using similar data in layers. Is preferred. In step 14, for example, the product of the parameter determined based on whether or not the line segment has not been subjected to the reduction process and the number of votes for each line segment is used as a weight for each line segment, and the side on which the reduction process has not been applied. For example, a weight of 2 to 4 times is added to the line segment as a parameter. If there is no approximate line segment, the angle B is output on the side where the reduction process has not been performed, assuming that the graphic portion or the oblique line in the photograph has been extracted (step 15). The determination algorithm for the angles A and B itself is shown in FIG. 8. When the line segment used for determining the angle is determined in steps 13 and 14, the algorithm in FIG. 8 is executed again. Here, the line segment in FIG. 4 corresponds to a point in the (ρ, θ) space in FIG.
実施例では、図8のアルゴリズムに従い、複数の線分から傾斜角を決定することにより信頼性を増すが、1本の線分から傾斜角を決定しても良い。その場合、ステップ11がyesであれば、角度A側(縮退処理を施さなかった側)の例えば1本の線分から傾斜角を決定し、ステップ12,14は不要である。 In the embodiment, the reliability is increased by determining the tilt angle from a plurality of line segments in accordance with the algorithm of FIG. 8, but the tilt angle may be determined from a single line segment. In this case, if step 11 is yes, the inclination angle is determined from, for example, one line segment on the angle A side (side on which the degeneration process has not been performed), and steps 12 and 14 are unnecessary.
角度A,Bを求めず、図4のステップ3とステップ7の次に、ステップ11を実行することができる。この場合、図4で、ステップ4,8,9,10,15を省略し、ステップ11でA,Bに近似する線分が無い場合に、始めてステップ8を実行し、角度Bを出力する。 Without obtaining the angles A and B, step 11 can be executed after step 3 and step 7 of FIG. In this case, steps 4, 8, 9, 10, and 15 are omitted in FIG. 4, and when there is no line segment that approximates A and B in step 11, step 8 is executed for the first time, and the angle B is output.
図5は前処理部40の制御アルゴリズムを示す。ステップ21でスキャナ20により画像を読み取り、ステップ22で一定の解像度へ画像を縮小し、これによってハフ変換の処理速度をn2倍に向上させる。ステップ23でスムージングによりノイズを減らし、ステップ24でエッジを抽出して地色の影響などを除き、また白抜き文字なども検出できるようにする。そしてステップ25で二値化し、ステップ26で孤立点を除く。これによって、写真画像中などの孤立点の、傾斜角の検出への影響を小さくできる。なお孤立点の除去は二値化の前に行っても良い。そしてステップ27で縮退処理によりデータを単純化し、特に写真部分及び図形部分の直線を例えば2画素へ単純化する。ステップ27は、ステップ22〜ステップ26のいずれかの前に実行しても良い。 FIG. 5 shows a control algorithm of the preprocessing unit 40. In step 21, the image is read by the scanner 20, and in step 22, the image is reduced to a certain resolution, thereby improving the Hough transform processing speed by n 2 times. In step 23, noise is reduced by smoothing, and in step 24, an edge is extracted to remove the influence of the ground color, etc., and white characters and the like can be detected. Then, binarization is performed in step 25, and isolated points are removed in step 26. This can reduce the influence of an isolated point such as a photographic image on the detection of the tilt angle. The removal of isolated points may be performed before binarization. In step 27, the data is simplified by reduction processing, and in particular, the straight line of the photograph part and the graphic part is simplified to, for example, two pixels. Step 27 may be executed before any of steps 22 to 26.
ステップ22〜ステップ27の前処理は、画像のスキャンと同期して行い、またハフ変換部50でのハフ変換、傾斜角検出部60での傾斜角の検出、画像回転部70での傾斜角の補正も、スキャンと同期して行えるようにする。ここに同期とは、これらの処理速度がスキャナ20の読み込み速度以上であることを意味し、このようにすると画像のスキャンと同時にリアルタイムに画像の傾斜を補正できる。 The pre-processing of Step 22 to Step 27 is performed in synchronization with image scanning, and the Hough conversion by the Hough conversion unit 50, the detection of the inclination angle by the inclination angle detection unit 60, and the inclination angle by the image rotation unit 70 are performed. Corrections can be made in synchronization with the scan. Here, “synchronization” means that these processing speeds are equal to or higher than the reading speed of the scanner 20, and in this way, the inclination of the image can be corrected in real time simultaneously with the scanning of the image.
図6はハフ変換部50〜画像回転部70の構造を示し、ハフ変換部50は例えば16個〜32個の実行ユニット51を備えて、ハフ変換を並列に実行する。また縮退処理後の画像と処理前の画像の双方に対して、ハフ変換を施す。実行ユニット51はρ値計算部52とsin及びcosに対するテーブル53とから成る。32個のテーブル53で、0°〜180°をカバーできるように、1個のテーブル53が記憶する角度の範囲は例えば5.625°(180/32)で、角度の刻みは例えば0.176°(180°/1024)などである。ρ値計算部52はテーブル53からsinθ及びcosθの値を読み出し、縮退処理部46及び孤立点除去部45から出力された有効画素の位置(x,y)に対し、ρ値を ρ=xcosθ+ysinθ として計算する。投票テーブル54はθとρの2次元のテーブルで、管理部55は複数の実行ユニット51を管理する。 FIG. 6 shows the structure of the Hough transform unit 50 to the image rotation unit 70. The Hough transform unit 50 includes, for example, 16 to 32 execution units 51, and executes the Hough transform in parallel. Also, the Hough transform is performed on both the image after the reduction process and the image before the process. The execution unit 51 includes a ρ value calculation unit 52 and a table 53 for sin and cos. The angle range stored in one table 53 is, for example, 5.625 ° (180/32) so that the 32 tables 53 can cover 0 ° to 180 °, and the angle increment is, for example, 0.176. ° (180 ° / 1024). The ρ value calculation unit 52 reads the values of sin θ and cos θ from the table 53 and sets the ρ value as ρ = x cos θ + y sin θ for the effective pixel position (x, y) output from the degeneration processing unit 46 and the isolated point removal unit 45. calculate. The voting table 54 is a two-dimensional table of θ and ρ, and the management unit 55 manages a plurality of execution units 51.
図7に、ρ値計算部52と投票テーブル54との関係を示す。テーブル54の各点はρとθとの組み合わせを示し、これは線分を表している。仮にρとθとがそれぞれ1024レベルに分割されているものとし、x,yの値が入力されると、θ毎にρの値を計算し、表の該当する位置のデータを1加算する。なおθは180°の範囲を例えば256〜4096レベル、好ましくは1024〜2048レベルに分解し、傾斜角を0.05°〜0.3°、好ましくは0.1°〜0.2°程度の精度で検出できるようにする。またρの分解能は、θの分解能よりも低くても良い。実行ユニット51は例えば32ユニット有り、各ρ値計算部52は32レベル(1024/32)分のθを担当する。その結果、例えば左から3つめのカラムに○で示すように、(ρ,θ)値が投票される。また57はマスクで、テーブル54から有効線(抽出する直線)として抽出済みの点の周囲をマスクし、マスク57の外部から次の有効線が抽出されるようにする。 FIG. 7 shows the relationship between the ρ value calculation unit 52 and the voting table 54. Each point in the table 54 represents a combination of ρ and θ, which represents a line segment. Assume that ρ and θ are each divided into 1024 levels, and when x and y values are input, the value of ρ is calculated for each θ and 1 is added to the data at the corresponding position in the table. In addition, θ decomposes the range of 180 ° into, for example, 256 to 4096 level, preferably 1024 to 2048 level, and the inclination angle is about 0.05 ° to 0.3 °, preferably about 0.1 ° to 0.2 °. Make detection with accuracy. Further, the resolution of ρ may be lower than the resolution of θ. The execution unit 51 has, for example, 32 units, and each ρ value calculation unit 52 takes charge of θ for 32 levels (1024/32). As a result, for example, the (ρ, θ) value is voted as indicated by a circle in the third column from the left. Reference numeral 57 denotes a mask, which masks the periphery of a point already extracted as an effective line (extracted straight line) from the table 54 so that the next effective line is extracted from the outside of the mask 57.
図6に戻り、有効線抽出部61は投票テーブル54から例えば上位m位の点を抽出する。投票テーブル54で投票数の多い点は、画像での有効線である可能性が高い。そして抽出済みの点の周囲にマスク57を施し、マスク57内からの他の点が抽出されないようにする。候補角抽出部62は、抽出した有効線から傾斜角の候補(k個で例えばm/2個以上)を抽出し、決定部63はこれらの候補角に基づいて傾斜角θdを決定する。決定した傾斜角θdを座標計算部71へ入力し、画像メモリ16の記憶画像の各画素に対し、傾斜補正後の座標(アドレス)を計算する。アドレス生成部72は、傾斜補正前の座標に基づいて、画像メモリ16への読み出しアドレスを生成する。bicubic処理部73は読み出したデータを補間し、傾斜補正後の座標に基づいて、補間後のデータを画像メモリ16へ書き戻す。これらの処理によって、画像メモリ16の画像は、傾斜を補正するように回転する。なお回転には単純なアフィン変換などを用いてもよい。 Returning to FIG. 6, the effective line extraction unit 61 extracts, for example, the upper m-th point from the voting table 54. A point with a large number of votes in the voting table 54 is likely to be an effective line in the image. Then, a mask 57 is applied around the extracted points so that other points are not extracted from the mask 57. The candidate angle extraction unit 62 extracts inclination angle candidates (k, for example, m / 2 or more) from the extracted effective lines, and the determination unit 63 determines the inclination angle θd based on these candidate angles. The determined inclination angle θd is input to the coordinate calculation unit 71, and the coordinates (address) after inclination correction are calculated for each pixel of the image stored in the image memory 16. The address generation unit 72 generates a read address to the image memory 16 based on the coordinates before tilt correction. The bicubic processing unit 73 interpolates the read data, and writes the interpolated data back to the image memory 16 based on the coordinates after the inclination correction. By these processes, the image in the image memory 16 is rotated so as to correct the inclination. A simple affine transformation or the like may be used for the rotation.
図8に傾斜角検出部60でのアルゴリズムを示し、投票テーブルから上位m位、例えば16位あるいは8位の(ρ,θ)からなる点を抽出する(ステップ31)。そして抽出済みの点の近傍、例えば1辺が5〜40レベルの正方形からなる近傍をマスクし(ステップ32)、同じ近傍内から2点以上が抽出されないようにする。なお最大投票数の1/2以上の投票数のある(ρ,θ)のみを抽出する。従ってm位目の点の投票数が最大投票数の1/2未満の場合はエラーとし、傾斜角の検出を行わず、画像回転部70は画像を回転させない(ステップ33)。ステップ32,33はステップ31を実行するための補助的な処理である。このようにして、他の点の近傍に入らず、かつ最大投票数の1/2以上の点をm個抽出する。1/2以上は例であり、例えば2/3以上あるいは0.4以上などとしても良い。ステップ31〜33が、有効線抽出部61の処理に対応する。 FIG. 8 shows an algorithm in the tilt angle detection unit 60, and points from the voting table consisting of the upper m-th place, for example, the 16th or eighth place (ρ, θ) are extracted (step 31). Then, the vicinity of the extracted points, for example, the vicinity of a square having 5 to 40 levels on one side is masked (step 32) so that two or more points are not extracted from the same vicinity. It should be noted that only (ρ, θ) having a vote count of ½ or more of the maximum vote count is extracted. Therefore, if the number of votes at the m-th point is less than ½ of the maximum number of votes, an error is detected, the inclination angle is not detected, and the image rotation unit 70 does not rotate the image (step 33). Steps 32 and 33 are auxiliary processes for executing step 31. In this way, m points that are not in the vicinity of other points and that are 1/2 or more of the maximum number of votes are extracted. 1/2 or more is an example. For example, it may be 2/3 or more or 0.4 or more. Steps 31 to 33 correspond to the processing of the effective line extraction unit 61.
次に傾斜角の候補を求めるための角度をθxとし、その直交角をφxとする。ここに φxは正または0で、かつ φx=θx+π/2 もしくは φx=θx−π/2 である。δを許容範囲とし、例えばδは1°あるいは0.5°などであり、θx±δ及びφx±δの範囲に入る点(ρ,θ)の個数が最大となるように、θxを決定する。そしてθx±δ及びφx±δの範囲に入る点を出力する(ステップ34)。言い換えると、m個の点に対し、角度θ成分が±δの範囲で一致する点の数が最大となる角度をθxとする。なお単純にθ成分が±δの範囲で一致する点の数を問題とする代わりに、θx±δ及びφx±δの範囲に入る点に対する、投票数の和が最大となるようにしても良い。そしてこれらの点の数kが閾値未満の場合、例えばm/2未満もしくはm/3未満の場合、ステップ35でエラーとする。エラーの場合、傾斜角の検出を行わず、画像回転部70は画像を回転させない。ステップ34,35が、候補角抽出部62の処理に対応する。 Next, an angle for obtaining a tilt angle candidate is θx, and its orthogonal angle is φx. Here, φx is positive or 0, and φx = θx + π / 2 or φx = θx−π / 2. For example, δ is 1 ° or 0.5 °, and θx is determined so that the number of points (ρ, θ) within the range of θx ± δ and φx ± δ is maximized. . Then, the points that fall within the ranges of θx ± δ and φx ± δ are output (step 34). In other words, the angle at which the number of points having the same angle θ component in the range of ± δ is the maximum for m points is defined as θx. Instead of simply considering the number of points where the θ components coincide within the range of ± δ, the sum of the votes may be maximized for the points falling within the range of θx ± δ and φx ± δ. . If the number k of these points is less than the threshold, for example, less than m / 2 or less than m / 3, an error is determined in step 35. In the case of an error, the inclination angle is not detected, and the image rotation unit 70 does not rotate the image. Steps 34 and 35 correspond to the processing of the candidate angle extraction unit 62.
ステップ36は決定部63の処理に対応し、ステップ34で求めたk個の点(ρ,θ)に対し、例えばθの単純平均値を傾斜角θdとして出力する。あるいはk個の点でのθの加重平均を用い、重みには投票数viを用いても良い。これらに代えて、k個のθの候補θ1〜θkの中で、投票数viが最大のθを傾斜角θdとしてもよい。ステップ36ではθdを出力し、θdがπ/2を越える場合、θd−π/2、即ちφdを出力する。 Step 36 corresponds to the processing of the determination unit 63 and outputs, for example, a simple average value of θ as the inclination angle θd for the k points (ρ, θ) obtained in step 34. Alternatively, a weighted average of θ at k points may be used, and the number of votes vi may be used as the weight. Instead of these, among the k θ candidates θ1 to θk, θ having the maximum number of votes vi may be used as the inclination angle θd. In step 36, θd is output. If θd exceeds π / 2, θd−π / 2, that is, φd is output.
図9〜図22に実施例の動作を示す。図9の上部は原稿画像を示し、画像中の文字の列を直線と見なして、その傾斜を検出する。従って実施例の目的は、図9の上部の画像を図9の下部の画像に変換し、これに対するハフ変換を行うことにある。 9 to 22 show the operation of the embodiment. The upper part of FIG. 9 shows the original image, and the character string in the image is regarded as a straight line, and its inclination is detected. Therefore, the object of the embodiment is to convert the upper image in FIG. 9 into the lower image in FIG. 9 and perform Hough transform on the image.
図10は入力画像(画像メモリ16の画像)を、縮小もスムージングもエッジ抽出も行わずに、直接二値化した例を示し、円でマークしたように、文字以外の写真部分などの黒画素(この場合の有効画素)が多くなり、ハフ変換の負担が増すと共に、写真中の斜線などの影響が強くなり、検出精度が低下する。そこで入力画像をグレースケールで取り扱い、縮小、スムージング、エッジ抽出等の画像処理を施した後に、二値化する。ハフ変換を高速で行うため、入力画像を1/nに縮小し、これによって以降の計算時間を1/n2に減少させる(図11)。 FIG. 10 shows an example in which an input image (an image in the image memory 16) is directly binarized without performing reduction, smoothing, or edge extraction. As marked with a circle, black pixels such as a photo portion other than characters are shown. The number of (effective pixels in this case) increases, the burden of Hough conversion increases, and the influence of oblique lines in the photograph becomes stronger, resulting in a decrease in detection accuracy. Therefore, the input image is handled in gray scale and subjected to image processing such as reduction, smoothing, and edge extraction, and then binarized. In order to perform the Hough transform at high speed, the input image is reduced to 1 / n, thereby reducing the subsequent calculation time to 1 / n 2 (FIG. 11).
次にスムージングによりノイズを除去し(図12)、エッジを抽出すると図13の画像が得られる。エッジの抽出により、地色の影響が無くなり、また白抜き文字にも対応でき、さらにデータを単純化して、ハフ変換を容易にする。 Next, noise is removed by smoothing (FIG. 12), and an edge is extracted to obtain the image of FIG. By extracting the edge, the influence of the ground color is eliminated, and it is possible to cope with white characters, and further simplifies the data and facilitates the Hough conversion.
図14に、エッジの抽出フィルタ80を示す。被処理画像81に対し、フィルタ80を左上側から適用することにより、被処理画像81の下側と右側のエッジ82を抽出する。これによって被処理画像81のエッジ全体を検出する場合に比べ、エッジの量を1/2にできる。以上のように、好ましくは、上下左右4種類のエッジの内で、下と右、下と左、上と右、上と左のように、2種類のエッジを抽出する。エッジ抽出後の画像を二値化すると、図15の画像が得られる。図15の画像から孤立点を除去すると、図16の画像が得られる。なお孤立点の除去は、図13のエッジの画像に対して行っても良い。 FIG. 14 shows an edge extraction filter 80. By applying the filter 80 from the upper left side to the processed image 81, the lower and right edges 82 of the processed image 81 are extracted. As a result, the amount of edges can be halved compared to the case of detecting the entire edge of the image 81 to be processed. As described above, preferably, two types of edges are extracted from among the four types of edges, top, bottom, left, right, bottom and left, top and right, and top and left. When the image after edge extraction is binarized, the image of FIG. 15 is obtained. When the isolated points are removed from the image of FIG. 15, the image of FIG. 16 is obtained. The isolated points may be removed from the edge image shown in FIG.
図15,図16のように、図形部分の線あるいは写真部分の線が残っていると、傾斜角の誤検出の原因となる。そこで縮退処理を行うと図17の画像が得られ、写真及び図形中の線は孤立点に変換され、文字の列からなる行は保存される。そこで縮退処理後の画像に対しハフ変換を行うことにより、文字の行から成る直線のみを検出できる。ただし図4のステップ10のように、文字の行と向きが揃った表あるいは下線がある場合、表あるいは下線を用いて傾斜角を検出することが好ましい。このため、実装上は縮退処理後の画像と縮退処理前の画像の双方に対し、ハフ変換を行うことが好ましい。 As shown in FIG. 15 and FIG. 16, if the graphic part line or the photographic part line remains, it may cause an erroneous detection of the inclination angle. Therefore, when the reduction process is performed, the image of FIG. 17 is obtained, lines in the photograph and the figure are converted into isolated points, and a line made up of a string of characters is saved. Therefore, by performing Hough transform on the image after the reduction processing, only a straight line composed of character lines can be detected. However, if there is a table or underline in which the character lines and directions are aligned as in step 10 of FIG. 4, it is preferable to detect the tilt angle using the table or underline. For this reason, in terms of mounting, it is preferable to perform Hough transform on both the image after the reduction process and the image before the reduction process.
ハフ変換により投票テーブルにデータが蓄積され、投票テーブルから投票数が最大の点のみを単純に取り出すと、誤った検出が行われることがある。図18はこのような例を示し、図18では画像の一部のみを表示するので、「最大投票直線」がどこから抽出されたのか分かり難いが、画像中の写真部分等から抽出されたものである。このため投票数が上位の点を複数抽出する。ここで単純に上位m位までの点を抽出すると、投票テーブル内での近傍の点が複数抽出されることが多い。そこで投票テーブル54から最上位の点を抽出し、抽出した点の近傍をマスクし、次の投票数の点を抽出し、再度その近傍の点を抽出するようにして、上位m位の点を抽出する。ここで抽出した上位m位のうち、最下位の点が最上位の点の例えば1/2以上の投票数を持たない場合、検出をエラーとする。文字から成る行を抽出している場合、最大投票数の点と、上からm位の点とで、投票数に余り大きな差はないはずである。これにもかかわらず大きな差があるのは、最上位の点が図形中の直線部分などである可能性が高い。あるいはまた、上位m位(例えば16位)のうちから、最上位の点に対して所定の割合以上(例えば1/2以上)の投票数を持つ点を抽出し、抽出した点の数が所定値k(例えば4)以下の場合は、エラーとして傾斜角を未検出としても良い。 If data is accumulated in the voting table by the Hough transform and only the point with the largest number of votes is simply extracted from the voting table, erroneous detection may be performed. FIG. 18 shows such an example. In FIG. 18, since only a part of the image is displayed, it is difficult to know where the “maximum voting line” is extracted, but it is extracted from a photograph part or the like in the image. is there. For this reason, a plurality of points with the highest number of votes are extracted. If points up to the top m are simply extracted here, a plurality of neighboring points in the voting table are often extracted. Therefore, the highest point is extracted from the voting table 54, the neighborhood of the extracted point is masked, the point of the next vote number is extracted, and the neighboring point is extracted again. Extract. If the lowest point of the extracted top m ranks does not have, for example, ½ or more votes of the highest point, the detection is regarded as an error. When a line consisting of characters is extracted, there should be no significant difference in the number of votes between the maximum number of votes and the m-th place from the top. Despite this, there is a great difference that the highest point is likely to be a straight line portion in the figure. Alternatively, from the top m ranks (for example, 16th rank), a point having a predetermined number of votes (for example, 1/2 or more) with respect to the highest point is extracted, and the number of extracted points is predetermined. When the value is equal to or less than k (for example, 4), the tilt angle may not be detected as an error.
図20に投票テーブルの状況を模式的に示し、ここでは投票数を明度で表している。そして選択済みの点の近傍を、黒い四角形のマスクで覆っている。図20では上位8点を抽出済みである。 FIG. 20 schematically shows the situation of the voting table. Here, the number of votes is represented by brightness. The vicinity of the selected point is covered with a black square mask. In FIG. 20, the top 8 points have already been extracted.
抽出された上位m位の点に対し、傾斜角を決定する。この手続を図21,図22に模式的に示し、ここではmは例えば8とする。文字の行を検出している場合、文字ブロックの上下の列も同時に検出できるので、傾斜角θdと、その直交角φdとに意味がある。また候補を抽出する際の許容誤差をδ(0.5°あるいは1°程度)とし、角θx±δと φx±δの範囲内に入る点の数kが最大となるように、θxを決定する。ここでどの角度に対してもkの値が閾値(例えばm/2)未満の場合、例えばエラーとする。閾値以上の点を含む角θxが得られた場合、含まれる点の角度の単純加算平均、あるいは加重平均などにより、候補角を決定する。これは図8のステップ36の処理である。 An inclination angle is determined for the extracted upper m-th point. This procedure is schematically shown in FIGS. 21 and 22, where m is 8, for example. When a character row is detected, the upper and lower columns of the character block can be detected at the same time, so that the inclination angle θd and its orthogonal angle φd are significant. In addition, the tolerance for extracting candidates is δ (about 0.5 ° or 1 °), and θx is determined so that the number k of points within the range of angles θx ± δ and φx ± δ is maximized. To do. Here, if the value of k is less than a threshold value (for example, m / 2) for any angle, an error is assumed, for example. When an angle θx including a point equal to or greater than the threshold is obtained, the candidate angle is determined by a simple addition average or a weighted average of the angles of the included points. This is the process of step 36 in FIG.
以上のようにして傾斜角θdを例えば±0.1°程度の精度で決定すると、画像回転部70により画像を回転させて傾斜を補正する。画像の回転自身は単純な処理であり、例えばスキャンと同期して実行できる。 When the tilt angle θd is determined with an accuracy of, for example, about ± 0.1 ° as described above, the image is rotated by the image rotation unit 70 to correct the tilt. The image rotation itself is a simple process and can be executed in synchronization with, for example, scanning.
実施例では傾斜角の回転と補正とを複合機2の内部で行う例を示したが、パーソナルコンピュータ6などで行っても良い。その場合、実施例の画像処理プログラムをパーソナルコンピュータなどの情報処理装置で実行すると、情報処理装置はこの発明の画像処理装置となる。
本の見開きの傾斜を検出する場合、例えばスキャン前に原稿の種類が見開きであることを入力すると、左右別々の傾斜角を検出できる。あるいは入力画像を左右に分割して、傾斜角を求め、左右の傾斜角が異なると、見開きの画像であると推定しても良い。
In the embodiment, the example in which the rotation and the correction of the tilt angle are performed inside the multi function device 2 has been described. However, it may be performed by the personal computer 6 or the like. In that case, when the image processing program of the embodiment is executed by an information processing apparatus such as a personal computer, the information processing apparatus becomes the image processing apparatus of the present invention.
When detecting the inclination of a book spread, for example, if it is input that the type of the document is a page spread before scanning, separate left and right inclination angles can be detected. Alternatively, the input image may be divided into right and left to obtain an inclination angle, and if the left and right inclination angles are different, it may be estimated that the image is a spread image.
2 複合機
4 LAN
6 パーソナルコンピュータ
8 ルータ
10 インターネット
12 LANインターフェース
14 バス
16 画像メモリ
18 メモリ
20 スキャナ
22 プリンタ
24 G3ファクシミリ部
26 e-mail部
28 ネットワークサーバ部
30 ユーザインターフェース
32 画像処理部
34〜38 フィルタ
40 前処理部
41 縮小処理部
42 スムージング部
43 エッジ抽出部
44 二値化部
45 孤立点除去部
46 縮退処理部
50 ハフ変換部
51 実行ユニット
52 ρ値計算部
53 テーブル
54 投票テーブル
55 管理部
56 データ
57 マスク
60 傾斜角検出部
61 有効線抽出部
62 候補角抽出部
63 決定部
70 画像回転部
71 座標計算部
72 アドレス生成部
73 bicubic処理部
80 フィルタ
81 被処理画像
82 エッジ
2 MFP 4 LAN
6 personal computer 8 router 10 internet 12 LAN interface 14 bus 16 image memory 18 memory 20 scanner 22 printer 24 G3 facsimile unit 26 e-mail unit 28 network server unit 30 user interface 32 image processing unit 34 to 38 filter 40 preprocessing unit 41 Reduction processing unit 42 Smoothing unit 43 Edge extraction unit 44 Binarization unit 45 Isolated point removal unit 46 Reduction processing unit 50 Hough transform unit 51 Execution unit 52 ρ value calculation unit 53 Table 54 Voting table 55 Management unit 56 Data 57 Mask 60 Inclination Corner detection unit 61 Effective line extraction unit 62 Candidate corner extraction unit 63 Determination unit
70 image rotation unit 71 coordinate calculation unit 72 address generation unit 73 bicubic processing unit 80 filter 81 processed image 82 edge
Claims (8)
線分を点へと単純化する縮退処理を、入力画像に施すための縮退処理部と、
縮退処理後の画像をハフ変換するハフ変換部と、
ハフ変換により抽出した線分の向きから入力画像の傾斜角を決定する傾斜角決定部、とを備えたことを特徴とする画像処理装置。 An apparatus for determining an inclination angle of an input image,
A reduction processing unit for applying a reduction process for simplifying a line segment to a point to an input image;
A Hough transform unit for performing a Hough transform on the image after the reduction process;
An image processing apparatus comprising: an inclination angle determination unit that determines an inclination angle of an input image from the direction of a line segment extracted by Hough transform.
第1の傾斜角と第2の傾斜角との比較部を設けて、差が所定範囲内の場合は第2の傾斜角を入力画像の傾斜角とし、差が所定範囲外の場合は第1の傾斜角を入力画像の傾斜角とするように構成したことを特徴とする、請求項1の画像処理装置。 The Hough transform unit and the tilt angle determination unit perform a Hough transform on the input image subjected to the reduction process to determine a first tilt angle, and perform a Hough transform on the input image that has not been subjected to the shrink process. Configured to determine the tilt angle of the
A comparison unit between the first tilt angle and the second tilt angle is provided, and when the difference is within a predetermined range, the second tilt angle is set as the tilt angle of the input image, and when the difference is outside the predetermined range, the first The image processing apparatus according to claim 1, wherein an inclination angle of the input image is set to be an inclination angle of the input image.
縮退処理を施した入力画像からハフ変換により抽出した第1の線分群と、縮退処理を施さなかった入力画像からハフ変換により抽出した第2の線分群との間に、傾きが近似した線分がない場合は、前記第1の傾斜角を入力画像の傾斜角とし、
前記第1の線分群と第2の線分群の間に、傾きが近似した線分がある場合は、少なくとも第2の線分群の線分で、第1の線分群に傾きが近似するものがある線分の傾きに基づいて、入力画像の傾斜角を決定するように、
前記傾斜角検出部を構成したことを特徴とする、請求項2の画像処理装置。 If the difference is outside the predetermined range,
A line segment whose slope is approximated between a first line segment group extracted by Hough transform from the input image subjected to the reduction process and a second line segment group extracted by Hough transform from the input image not subjected to the reduction process If there is no, the first tilt angle is the tilt angle of the input image,
If there is a line segment with an approximate slope between the first line segment group and the second line segment group, at least the line segment of the second line segment group and the slope approximate to the first line segment group Based on the inclination of a certain line segment, the inclination angle of the input image is determined.
The image processing apparatus according to claim 2, wherein the tilt angle detection unit is configured.
前記傾斜角検出部は、少なくとも第2の線分群の線分で、第1の線分群に傾きが近似するものがある線分の傾きに基づいて、入力画像の傾斜角を決定することを特徴とする、請求項1の画像処理装置。 The Hough transform unit extracts the first line segment group from the input image that has been subjected to the reduction process, and extracts the second line segment group from the input image that has not been subjected to the reduction process,
The inclination angle detection unit determines an inclination angle of an input image based on an inclination of a line segment having at least a line segment of the second line segment group and an inclination similar to that of the first line segment group. The image processing apparatus according to claim 1.
線分を点へと単純化する縮退処理を入力画像に施すステップと、
縮退処理後の画像をハフ変換するステップと、
ハフ変換により抽出した線分の向きから入力画像の傾斜角を決定するステップ、とを備えたことを特徴とする画像処理方法。 A method for determining an inclination angle of an input image,
Applying a reduction process to the input image to simplify line segments into points;
A step of Hough transforming the image after the reduction processing;
And determining an inclination angle of the input image from the direction of the line segment extracted by the Hough transform.
前記情報処理装置を、
線分を点へと単純化する縮退処理を、入力画像に施すための縮退処理部と、
縮退処理後の画像をハフ変換するハフ変換部と、
ハフ変換により抽出した線分の向きから入力画像の傾斜角を決定する傾斜角決定部、として機能させる、画像処理プログラム。 In order to determine the tilt angle of the input image by the information processing device,
The information processing apparatus;
A reduction processing unit for applying a reduction process for simplifying a line segment to a point to an input image;
A Hough transform unit for performing a Hough transform on the image after the reduction process;
An image processing program that functions as an inclination angle determination unit that determines an inclination angle of an input image from the direction of a line segment extracted by Hough transform.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009093222A JP5477542B2 (en) | 2009-04-07 | 2009-04-07 | Image processing apparatus, processing method, and processing program |
DE112010001320T DE112010001320T5 (en) | 2009-04-07 | 2010-01-25 | Image processing apparatus, image processing method, image processing program and storage medium |
PCT/JP2010/050876 WO2010116774A1 (en) | 2009-04-07 | 2010-01-25 | Image processing apparatus, processing method, processing program, and storing medium |
CN2010800047830A CN102282588A (en) | 2009-04-07 | 2010-01-25 | Image processing apparatus, processing method, processing program, and storing medium |
US13/258,553 US8682080B2 (en) | 2009-04-07 | 2010-01-25 | Image processing apparatus, image processing method, image processing program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009093222A JP5477542B2 (en) | 2009-04-07 | 2009-04-07 | Image processing apparatus, processing method, and processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010244354A true JP2010244354A (en) | 2010-10-28 |
JP5477542B2 JP5477542B2 (en) | 2014-04-23 |
Family
ID=43097301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009093222A Active JP5477542B2 (en) | 2009-04-07 | 2009-04-07 | Image processing apparatus, processing method, and processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5477542B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5068883B1 (en) * | 2011-12-28 | 2012-11-07 | パナソニック株式会社 | Image processing apparatus and document reading system having the same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002084420A (en) * | 2000-09-07 | 2002-03-22 | Fuji Xerox Co Ltd | Image processing unit, image processing method and recording medium with stored image processing program |
JP2002228423A (en) * | 2001-01-31 | 2002-08-14 | Matsushita Electric Ind Co Ltd | Tire detecting method and device |
-
2009
- 2009-04-07 JP JP2009093222A patent/JP5477542B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002084420A (en) * | 2000-09-07 | 2002-03-22 | Fuji Xerox Co Ltd | Image processing unit, image processing method and recording medium with stored image processing program |
JP2002228423A (en) * | 2001-01-31 | 2002-08-14 | Matsushita Electric Ind Co Ltd | Tire detecting method and device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5068883B1 (en) * | 2011-12-28 | 2012-11-07 | パナソニック株式会社 | Image processing apparatus and document reading system having the same |
Also Published As
Publication number | Publication date |
---|---|
JP5477542B2 (en) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010116774A1 (en) | Image processing apparatus, processing method, processing program, and storing medium | |
EP2288135B1 (en) | Deblurring and supervised adaptive thresholding for print-and-scan document image evaluation | |
US6956587B1 (en) | Method of automatically cropping and adjusting scanned images | |
JP4358193B2 (en) | Automatic image cropping method | |
JP6099457B2 (en) | Image processing apparatus, area determination method, and computer program | |
RU2631765C1 (en) | Method and system of correcting perspective distortions in images occupying double-page spread | |
US8218890B2 (en) | Method and apparatus for cropping images | |
US10475167B2 (en) | Method and device for image rotation, and apparatus for image formation | |
KR20100095382A (en) | Image forming apparatus and method for creating image mosaics thereof | |
JP4419269B2 (en) | Two-dimensional code extraction method | |
JP2008112215A (en) | Area determination method, area determination device, image processor, and computer program | |
JP5042917B2 (en) | Image processing apparatus and program | |
JP3698136B2 (en) | Image processing apparatus and image processing program | |
US8064636B2 (en) | Image processing apparatus and method of controlling the same | |
JP2004129271A (en) | Method for determining skew angle and position for document in overscanned image | |
JP2005215760A (en) | Method, system and program for extracting figure candidate region in image, and method, system and program for deciding top/bottom of figure image | |
JP5477542B2 (en) | Image processing apparatus, processing method, and processing program | |
JP4208520B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP5477541B2 (en) | Image processing apparatus, processing method, and processing program | |
JP2007189577A (en) | Computer program, image input apparatus, image input system and image input method | |
JP4679953B2 (en) | Paper sheet damage ticket determination device, damage ticket determination method, and damage ticket determination program | |
JP6006675B2 (en) | Marker detection apparatus, marker detection method, and program | |
JP2010244351A (en) | Image processing apparatus and processing method, and processing program | |
US9886648B2 (en) | Image processing device generating arranged image data representing arranged image in which images are arranged according to determined relative position | |
US9811877B2 (en) | Image processing device selecting arrangement method for generating arranged image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5477542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |