JP4789221B2 - Image distortion correction apparatus, image reading apparatus, image forming apparatus, and program - Google Patents

Description

本発明は、画像歪み補正装置、画像読取装置、画像形成装置及びプログラムに関する。   The present invention relates to an image distortion correction apparatus, an image reading apparatus, an image forming apparatus, and a program.

フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。   Many originals read using a flatbed scanner are sheet-like originals, and an openable / closable pressure plate is provided on the contact glass. After placing the original on the contact glass, the pressure plate is closed and the original is scanned. Yes. However, the original is not limited to a sheet, and a book original (book, booklet, etc.) may be handled as an original. In such a case, the book original is placed on the contact glass and the original is scanned. Will do.

ところが、原稿としてブック原稿を用いた場合には、図５０に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。   However, when a book document is used as the document, the page binding portion 101 of the book document 100 is lifted from the contact glass 102 as shown in FIG. As described above, when the page binding portion 101 of the book document 100 is lifted from the contact glass 102, the page binding portion 101 is separated from the focal plane. , Image degradation such as blurred characters occurs. The page binding portion 101 of the deteriorated image is difficult to read, and the recognition rate when performing character recognition processing by OCR is remarkably reduced. In particular, in the case of thick bookbinding, the ratio is high, and when the page binding portion 101 of the book document 100 is pressed so as not to leave the focal plane, the book document 100 itself may be damaged.

このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法として、Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇと呼ばれる方法が知られている（非特許文献１参照）。また、三角測量方式により書籍の形状を測定し、歪みを補正する方法（特許文献１参照）や、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法（特許文献２参照）も提案されている。   In order to solve such a problem, a method of correcting image distortion using a method of estimating the three-dimensional shape of an object from image density information has been proposed. As a method of estimating the three-dimensional shape of an object from such image density information, a method called Shape from Shading is known (see Non-Patent Document 1). Also, a method for measuring the shape of a book by triangulation method and correcting distortion (see Patent Document 1), and a method for estimating the three-dimensional shape of the book surface using the shape of the page outline of the scanned image (Patent Document) 2) has also been proposed.

しかしながら、Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇと呼ばれる方法では、計算量が多く、歪み補正処理の計算時間が長いため実用化は困難である。
また、三角測量方式により書籍の形状を測定する方法では、特別な形状計測装置が必要になるため、適当ではない。
さらに、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法では、少ない計算量で歪み補正ができるものの、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。 However, the method called Shape from Shading is difficult to put into practical use because of the large amount of calculation and the long calculation time of the distortion correction processing.
Also, the method of measuring the shape of a book by the triangulation method is not appropriate because a special shape measuring device is required.
Furthermore, although the method of estimating the three-dimensional shape of the book surface using the shape of the page outline of the scanned image can correct distortion with a small amount of calculation, the page outline does not fit completely in the image and is cut off halfway. In such a case, effective correction cannot be made.

そこで、近年においては、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正できるようにするため、文字行情報および罫線情報を用いて画像の歪みを補正する方法が提案されているが、まだ、解決されねばならない課題が存在する。例えば、罫線がかすれ等によって途中で切断されている場合には、不適切な罫線情報が抽出されてしまい、補正精度が低下したり、文字行と写真部分とが誤認識されることにより、不適切な文字行情報が抽出されてしまい、補正精度が低下するという問題がある。   Therefore, in recent years, even in a scanned scan image in which the page outline is cut off in the middle, an image using character line information and ruled line information can be used to effectively correct the distortion with a small amount of calculation. Although a method for correcting the distortion has been proposed, there are still problems to be solved. For example, if the ruled line is cut in the middle due to fading or the like, inappropriate ruled line information is extracted, and the correction accuracy is reduced, or the character line and the photograph part are erroneously recognized, resulting in inefficiency. There is a problem that correct character line information is extracted and the correction accuracy is lowered.

本発明は、上記従来の問題に鑑みなされたものであって、その目的は、スキャン画像の歪みを補正する画像歪み補正装置において、画像歪みの補正精度を向上させることである。   The present invention has been made in view of the above-described conventional problems, and an object thereof is to improve correction accuracy of image distortion in an image distortion correction apparatus that corrects distortion of a scanned image.

請求項１に記載された発明は、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像から抽出された罫線の形状に基づき補正する画像歪み補正装置において、前記スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素の数を前記画像読取手段による画像読み取りの副走査方向に関してカウントしたカウント数に基づいて主走査方向に関してのヒストグラムを生成し、前記ヒストグラムのパターンに基づいて前記スキャン画像から前記罫線の候補を抽出する罫線候補抽出手段と、前記罫線候補抽出手段により抽出された前記罫線候補上の適当な位置を開始点とし、前記開始点から前記罫線候補を左右方向へ探索して前記罫線候補が途切れている切断点の数を累積し、前記切断点の数が予め定めた閾値より少ない場合は前記罫線候補を前記罫線と判別する罫線判別手段と、を有することを特徴とする。
請求項２に記載された発明は、請求項１に記載された画像歪み補正装置において、前記罫線判別手段により判別された前記罫線の中で、前記罫線の長さが予め設定した閾値より長いもののみを選択して歪み補正に供することを特徴とする。
請求項３に記載された発明は、請求項１または２に記載された画像歪み補正装置において、前記罫線判別手段により判別された前記罫線の中で、前記罫線の一部が綴じ部境界線の左右の一定幅領域内にかかっているもののみを選択して歪み補正に供することを特徴とする。
請求項４に記載された発明は、請求項１ないし３のいずれかに記載された画像歪み補正装置において、左右ページから各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、上下いずれかのページ外形に最も近い前記罫線を選択して歪み補正に供することを特徴とする。
請求項５に記載された発明は、請求項１ないし３のいずれかに記載された画像歪み補正装置において、左右ページを上下部分に分け、それらの各４部分について各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、左上部及び右上部においては上端のページ外形に、左下部及び右下部においては下端のページ外形に、それぞれ最も近い前記罫線を選択して歪み補正に供することを特徴とする。
請求項６に記載された発明は、請求項１ないし３のいずれかに記載された画像歪み補正装置において、左右ページから各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、左右ページにおいて湾曲がそれぞれ最も大きい前記罫線を選択して歪み補正に供することを特徴とする。
請求項７に記載された発明は、請求項１ないし３のいずれかに記載された画像歪み補正装置において、左右ページを上下部分に分け、それらの各４部分について各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、各部分において湾曲がそれぞれ最も大きい前記罫線を選択して歪み補正に供することを特徴とする。
請求項８に記載された発明は、請求項６または７に記載された画像歪み補正装置において、前記罫線の左右両端点の主走査方向の座標値の差を湾曲の大きさとみなすことを特徴とする。
請求項９に記載された発明は、請求項１ないし８のいずれかに記載された画像歪み補正装置において、前記選択された前記罫線の綴じ部境界線付近を多項式曲線で近似し、多項式近似による推定曲線の形状が不適切である場合には当該罫線を排除し、他の前記罫線を選択して歪み補正に供することを特徴とする。
請求項１０に記載された発明は、画像読取装置であって、原稿画像を読み取る画像読取手段と、前記画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし９のいずれかに記載された画像歪み補正装置と、を有することを特徴とする。
請求項１１に記載された発明は、画像形成装置であって、原稿画像を読み取る画像読取手段と、前記画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし９のいずれかに記載された画像歪み補正装置と、前記画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を有することを特徴とする。
請求項１２に記載された発明は、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像から抽出された罫線の形状に基づく当該スキャン画像の画像歪み補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素の数を前記画像読取手段による画像読み取りの副走査方向に関してカウントしたカウント数に基づいて主走査方向に関してのヒストグラムを生成し、前記ヒストグラムのパターンに基づいて前記スキャン画像から前記罫線の候補を抽出する罫線候補抽出機能と、前記罫線候補抽出機能により抽出された前記罫線候補上の適当な位置を開始点とし、前記開始点から前記罫線候補を左右方向へ探索して前記罫線候補が途切れている切断点の数を累積し、前記切断点の数が予め定めた閾値より少ない場合は前記罫線候補を前記罫線と判別する罫線判別機能と、を実行させることを特徴とする。 The invention described in claim 1 is an image distortion correction device that corrects distortion of a scan image obtained by reading a book document placed on a contact glass by an image reading unit based on the shape of a ruled line extracted from the scan image. The number of pixels whose density value is darker than a predetermined density value among the pixels of the scanned image in the main scanning direction is determined based on the counted number counted in the sub-scanning direction of image reading by the image reading means. A ruled line candidate extracting unit that generates a histogram and extracts the ruled line candidate from the scanned image based on the histogram pattern; and an appropriate position on the ruled line candidate extracted by the ruled line candidate extracting unit as a starting point The ruled line candidates are searched from the start point in the left-right direction, and the number of cutting points at which the ruled line candidates are interrupted is accumulated. And, when the number of the cutting point is less than a predetermined threshold is characterized by having a a ruled line determination means for determining said ruled the ruled line candidate.
According to a second aspect of the present invention, in the image distortion correction device according to the first aspect, among the ruled lines determined by the ruled line determining unit, the length of the ruled line is longer than a preset threshold value. It is characterized in that only one of them is selected for distortion correction.
According to a third aspect of the present invention, in the image distortion correction device according to the first or second aspect, among the ruled lines determined by the ruled line determining unit, a part of the ruled lines is a binding boundary line. It is characterized in that only those that fall within the left and right constant width regions are selected and used for distortion correction.
According to a fourth aspect of the present invention, in the image distortion correction device according to any one of the first to third aspects, when one ruled line is selected from each of the left and right pages and used for distortion correction, Of the ruled lines determined by the ruled line determining means, the ruled line closest to the upper or lower page outline is selected for distortion correction.
According to a fifth aspect of the present invention, in the image distortion correction apparatus according to any one of the first to third aspects, the left and right pages are divided into upper and lower parts, and one ruled line is provided for each of the four parts. When selected and used for distortion correction, among the ruled lines discriminated by the ruled line discriminating means, the upper left page outline at the upper left and the upper right part, the lower page outline at the lower left and the lower right part, Each of the ruled lines closest to each other is selected for distortion correction.
According to a sixth aspect of the present invention, in the image distortion correction apparatus according to any one of the first to third aspects, when one ruled line is selected from each of the left and right pages and used for distortion correction, Among the ruled lines discriminated by the ruled line discriminating means, the ruled line having the largest curvature in the left and right pages is selected and used for distortion correction.
According to a seventh aspect of the present invention, in the image distortion correction apparatus according to any one of the first to third aspects, the left and right pages are divided into upper and lower parts, and one ruled line is provided for each of the four parts. When selecting and using for distortion correction, among the ruled lines discriminated by the ruled line discriminating means, the ruled line having the largest curvature in each portion is selected and used for distortion correction.
The invention described in claim 8 is characterized in that, in the image distortion correction apparatus according to claim 6 or 7, the difference between the coordinate values in the main scanning direction of the left and right end points of the ruled line is regarded as the magnitude of the curvature. To do.
According to a ninth aspect of the present invention, in the image distortion correction apparatus according to any one of the first to eighth aspects, the vicinity of the binding portion boundary line of the selected ruled line is approximated by a polynomial curve, and the polynomial approximation is used. When the shape of the estimated curve is inappropriate, the ruled line is excluded, and another ruled line is selected for distortion correction.
The invention described in claim 10 is an image reading apparatus, wherein an image reading unit that reads a document image and a scan image read by the image reading unit are corrected. And an image distortion correction device.
The invention described in claim 11 is an image forming apparatus, wherein an image reading unit that reads a document image and a scan image read by the image reading unit are corrected. And an image printing apparatus that prints an image based on image data output from the image distortion correction apparatus on a sheet.
The invention described in claim 12 causes the computer to execute image distortion correction of the scanned image based on the shape of the ruled line extracted from the scanned image obtained by reading the book document placed on the contact glass by the image reading unit. A program that counts the number of pixels whose density value is darker than a predetermined density value among pixels of the scanned image in the computer in the sub-scanning direction of image reading by the image reading means. Based on the ruled line candidate extraction function that generates a histogram for the main scanning direction based on the histogram pattern and extracts the ruled line candidate from the scanned image based on the pattern of the histogram, and on the ruled line candidate extracted by the ruled line candidate extraction function Search for the ruled line candidate from the start point in the left-right direction, starting from an appropriate position. A ruled line discriminating function for accumulating the number of cut points at which the ruled line candidates are discontinued and determining the ruled line candidates as the ruled lines when the number of cut points is less than a predetermined threshold. To do.

本発明によれば、スキャン画像の歪みを補正する画像歪み補正装置において、画像歪みの補正精度を向上させることができる。   ADVANTAGE OF THE INVENTION According to this invention, in the image distortion correction apparatus which correct | amends distortion of a scan image, the correction precision of image distortion can be improved.

本発明の第一の実施の形態のスキャナ部の構成を示す縦断正面図である。It is a vertical front view which shows the structure of the scanner part of 1st embodiment of this invention. スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。It is a perspective view which shows the upper part of the digital copying machine carrying a scanner part. スキャナ部の制御系の電気的な接続を示すブロック図である。It is a block diagram which shows the electrical connection of the control system of a scanner part. 画像処理部の基本的な内部構成を示すブロック図である。It is a block diagram which shows the basic internal structure of an image process part. メイン制御部の電気的な接続を示すブロック図である。It is a block diagram which shows the electrical connection of a main control part. スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。It is a flowchart which shows roughly the flow of the distortion correction process of a scanned image. スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。It is a perspective view which shows the state which mounted the book original document on the contact glass of a scanner part. 入力した画像の一例を示す平面図である。It is a top view which shows an example of the input image. スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。It is explanatory drawing which shows the distortion of the vicinity of the page binding part of a scan image. 図８に示した画像の黒画素ヒストグラムである。9 is a black pixel histogram of the image shown in FIG. 8. ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。It is a flowchart which shows roughly the flow of the extraction process of a page external shape / ruled line / character line. 上端にページ外形が存在するスキャン画像の一例を示す説明図である。It is explanatory drawing which shows an example of the scanning image which has a page external shape in an upper end. 図１２に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。13 is a black pixel histogram on the left side of the binding portion boundary line of the scanned image shown in FIG. 12. 長い罫線が存在するスキャン画像の一例を示す説明図である。It is explanatory drawing which shows an example of the scanning image in which a long ruled line exists. 図１４に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。FIG. 15 is a black pixel histogram on the left side of the binding boundary line of the scan image shown in FIG. 14. FIG. 罫線の連続性の判別を示す説明図である。It is explanatory drawing which shows discrimination | determination of the continuity of a ruled line. 罫線の座標検出を示す説明図である。It is explanatory drawing which shows the coordinate detection of a ruled line. 左右ページから各１本ずつの罫線を選択する場合を示す説明図である。It is explanatory drawing which shows the case where one ruled line is selected from each of the left and right pages. 左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示す説明図である。It is explanatory drawing which shows the case where a left-right page is further divided | segmented into an up-and-down part and one ruled line is selected in each of 4 blocks. 罫線の座標抽出を示す説明図である。It is explanatory drawing which shows the coordinate extraction of a ruled line. 排除される不適切な罫線の例を示す説明図である。It is explanatory drawing which shows the example of the inappropriate ruled line excluded. 図８に示した画像の副走査方向の黒白反転数ヒストグラムである。9 is a black / white inversion number histogram in the sub-scanning direction of the image shown in FIG. 8. 図８に示した画像の主走査方向の黒白反転数ヒストグラムである。9 is a black / white inversion number histogram of the image shown in FIG. 8 in the main scanning direction. スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。It is explanatory drawing which shows an example of the result of the character circumscribed rectangle extraction process of a scan image, and a character line extraction process. 最適な横書き文字行の選択を示す説明図である。It is explanatory drawing which shows selection of the optimal horizontal writing character line. 最適な縦書き文字行の外形の選択を示す説明図である。It is explanatory drawing which shows selection of the external shape of the optimal vertical writing character line. 抽出された文字外接矩形を示す説明図である。It is explanatory drawing which shows the extracted character circumscribed rectangle. 画像歪み補正処理の流れを概略的に示すフローチャートである。It is a flowchart which shows the flow of an image distortion correction process roughly. スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合を示す説明図である。It is explanatory drawing which shows the case where a "page outer shape" exists in both the upper side and lower side of a scan image. 図２９を画素シフトした状態を示す説明図である。It is explanatory drawing which shows the state which shifted the pixel of FIG. スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。It is explanatory drawing which shows the case where "page outline" exists in any one of the upper side of a scan image, and a lower side, and a "ruled line" and a "character line" exist in the other side. 図３１を画素シフトした状態を示す説明図である。It is explanatory drawing which shows the state which shifted the pixel of FIG. スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合を示す説明図である。It is explanatory drawing which shows the case where a "ruled line" exists in either one of the upper side and the lower side of both the left and right pages of a scanned image, and a "ruled line" and a "character line" exist on the other side. 図３３を画素シフトした状態を示す説明図である。It is explanatory drawing which shows the state which shifted the pixel of FIG. スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合を示す説明図である。It is explanatory drawing which shows the case where a "ruled line" and a "character line" exist in either one of the upper side and the lower side of both the left and right pages of a scanned image, and a "ruled line" exists only in one page of the other side . 図３５を画素シフトした状態を示す説明図である。It is explanatory drawing which shows the state which shifted the pixel of FIG. スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合を示す説明図である。It is explanatory drawing which shows the case where a "ruled line" exists in either one of the upper side and the lower side of a left or right page of a scanned image, and a "character line" exists only in the other page of the other side. 副走査方向歪み補正処理の流れを概略的に示すフローチャートである。It is a flowchart which shows roughly the flow of a subscanning direction distortion correction process. 抽出された文字外接矩形を示す説明図である。It is explanatory drawing which shows the extracted character circumscribed rectangle. 二値化画像をブック原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。It is explanatory drawing which shows the state which divided | segmented the binarized image into the several strip-shaped area | region of the direction parallel to the page binding part of a book original. 予め排除される文字外接矩形を示す説明図である。It is explanatory drawing which shows the character circumscribing rectangle excluded beforehand. 各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。It is a graph which shows an example of the average value of the feature-value of the circumscribed rectangle in each strip area. 各短冊領域内の地肌濃度変化の一例を示すグラフである。It is a graph which shows an example of the background density change in each strip area. 図４２に示した各短冊領域の特徴量に対して長さが全て５であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。FIG. 43 is a graph showing a result of performing a filtering process on a feature amount of each strip area shown in FIG. 42 using a window whose length is all 5. FIG. 図４２に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。43 is a graph illustrating a result of performing filtering processing by adjusting the window length in the vicinity of the page binding portion with respect to the feature amount of each strip area illustrated in FIG. 図４５に示した特徴量に基づいて算出した補正拡大率を示すグラフである。It is a graph which shows the correction | amendment expansion ratio computed based on the feature-value shown in FIG. 歪みを補正した画像を示す平面図である。It is a top view which shows the image which correct | amended distortion. 本発明の第二の実施の形態の主走査方向歪み補正処理を説明するための説明図である。It is explanatory drawing for demonstrating the main scanning direction distortion correction process of 2nd embodiment of this invention. 画素値の線形補完結果の一例を示す説明図である。It is explanatory drawing which shows an example of the linear complementation result of a pixel value. コンタクトガラス上にブック原稿を載置した状態を示す正面図である。It is a front view which shows the state which mounted the book original on the contact glass.

本発明の第一の実施の形態を図１ないし図４７に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。   A first embodiment of the present invention will be described with reference to FIGS. The image distortion correction apparatus according to the present embodiment is provided in a digital copying machine as an image forming apparatus, and a scanner unit of the digital copying machine is applied as the image reading apparatus.

ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。   Here, FIG. 1 is a longitudinal front view showing the configuration of the scanner unit 1. As shown in FIG. 1, the scanner unit 1 includes a contact glass 2 on which a document is placed, a first traveling body 5 including an exposure lamp 3 for exposing a document and a first reflection mirror 4, and a second reflection mirror 6. A second traveling body 8 including a third reflecting mirror 7, a CCD (Charge Coupled Device) 9 as an image pickup device for reading an image of the document, a lens unit 10 for forming an image on the CCD 9, and a document. A document scale 11 that prevents the contact glass 2 from shifting and coming off, a white reference plate 12 for shading correction installed under the document scale 11, and a frame 14 are provided. The CCD 9 is formed on the sensor board 13.

原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。   During scanning of a document, the first traveling body 5 and the second traveling body 8 are moved in the sub-scanning direction by a stepping motor 24 (see FIG. 3). That is, the first traveling body 5 and the second traveling body 8 travel under the contact glass 2, the exposure lamp 3 exposes and scans the document, and the reflected light is reflected on the first reflecting mirror 4, the second reflecting mirror 6, and the like. The light is reflected by the third reflecting mirror 7 and imaged on the CCD 9 through the lens unit 10. Here, an image reading means is realized.

このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。   Such a scanner unit 1 is a printer unit (not shown) that is an image printing apparatus that forms an image on a sheet by, for example, electrophotography, in accordance with image data based on an image of a document read by the scanner unit 1. ). FIG. 2 is a perspective view showing an upper portion of the digital copying machine 16 on which the scanner unit 1 is mounted. As shown in FIG. 2, the scanner unit 1 is provided with a pressure plate 17 that can be opened and closed with respect to the contact glass 2, and an open / close sensor 18 that detects opening and closing of the pressure plate 17. As the printer provided in the digital copying machine 16, various printing methods such as an ink jet method, a sublimation type thermal transfer method, a silver salt photography method, a direct thermal recording method, and a melt type thermal transfer method are applied in addition to the electrophotographic method. be able to. Since the specific configuration is well known, detailed description is omitted.

図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。   FIG. 3 is a block diagram showing the electrical connection of the control system of the scanner unit 1. As shown in FIG. 3, the control system includes an image processing unit 20 that is a circuit that performs various image processing on image data read by the CCD 9, and a first control unit 19 that controls the entire scanner unit 1. An image read by the CCD 9 and an operation panel 22 for accepting various operations to the digital copying machine 16 and receiving various operations on the digital copying machine 16, which is a circuit for controlling the traveling body 5 and the second traveling body 8. A memory 23 for storing data, predetermined data, and the like is connected. The operation panel 22 is provided with a copy start key for declaring the start of copying. Further, in the traveling body control unit 21, the exposure lamp 3, the stepping motor 24 that drives the first traveling body 5 and the second traveling body 8, and the first traveling body 5 and the second traveling body 8 are in the home position. A scanner home position sensor (HP sensor) 25 for detecting whether or not and an open / close sensor 18 are connected.

ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、本実施の形態の特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正部２９から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。   Here, FIG. 4 is a block diagram showing a basic internal configuration of the image processing unit 20. As shown in FIG. 4, the image processing unit 20 includes an analog video processing unit 26 that performs analog image signal amplification processing and digital conversion processing when a document is read by the CCD 9, a shading correction processing unit 27 that performs shading correction processing, and shading. An image data processing unit 28 that performs various image data processing such as MTF correction, scaling processing, and γ correction on the digital image signal after correction processing to generate a scan image, and a scan image that is a characteristic function of the present embodiment The image distortion correction unit 29 that realizes the above-described distortion correction function. The digital image signal after the image processing as described above is transmitted to the printer unit via the main control unit 19 and used for image formation.

メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。   As shown in FIG. 5, the main control unit 19 includes a CPU (Central Processing Unit) 31 that centrally controls each unit. The CPU 31 includes a ROM (Read Only Memory) that stores a BIOS and the like. An only memory (32) and a RAM (Random Access Memory) 33 that stores various data in a rewritable manner and functions as a work area of the CPU 31 are connected by a bus 34 to constitute a microcomputer. Further, an HDD 35 in which a control program is stored, a CD-ROM drive 36 that reads a CD (Compact Disc) -ROM 37, and an interface (I / F) 38 that controls communication with a printer unit and the like are connected to the bus 34. ing.

図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。   A CD-ROM 37 shown in FIG. 5 implements the storage medium of the present invention, and stores a predetermined control program. The CPU 31 reads the control program stored in the CD-ROM 37 with the CD-ROM drive 36 and installs it in the HDD 35. As a result, the main control unit 19 is in a state in which various processes as described later can be performed.

なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。
この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。 As the storage medium, not only the CD-ROM 37 but also various types of media such as various optical disks such as DVD, various magnetic disks such as various magneto-optical disks and flexible disks, and semiconductor memory can be used. Alternatively, the program may be downloaded from a network such as the Internet and installed in the HDD 35.
In this case, the storage device storing the program in the server on the transmission side is also a storage medium of the present invention. Note that the program may operate on a predetermined OS (Operating System), and in that case, the OS may take over execution of some of the various processes described below, or a word processor. It may be included as part of a group of program files that constitute predetermined application software such as software or an OS.

次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像の歪み補正機能を実現する画像歪み補正装置である画像歪み補正部２９におけるスキャン画像の歪み補正処理についてのみ説明する。   Next, the contents of various processes executed by the CPU 31 provided in the main control unit 19 based on the control program will be described. Here, among the processes executed by the CPU 31, the scanned image in the image distortion correction unit 29, which is an image distortion correction device that realizes the distortion correction function of the scanned image, which is a characteristic function of the scanner unit 1 of the present embodiment. Only the distortion correction processing will be described.

図６は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合について説明する。   FIG. 6 is a flowchart schematically showing the flow of a distortion correction process for a scanned image. Here, as shown in FIG. 7, the book document 40 is placed on the contact glass 2 so that the page binding portion 41 and the main scanning direction of image reading of the scanner portion 1 are parallel to each other. The case will be described.

まず、ステップＳ１において、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する。ここで、図８は入力した画像の一例を示したものである。そして、図９に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１の近傍において歪みが生じている。   First, in step S1, the scan image of the book document 40 placed on the contact glass 2 output from the image data processing unit 28 is input. Here, FIG. 8 shows an example of the input image. As shown in FIG. 9, the input scan image of the book document 40 is distorted in the vicinity of the page binding portion 41.

次いで、ブック原稿４０のスキャン画像（例えば、モノクロ多値画像）の最適２値化処理を実行し（ステップＳ２）、副走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）数のヒストグラムを求める（ステップＳ３）。図１０は、図８に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図１０中の横軸は、主走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の位置を示し、図１０中の縦軸は、その位置毎の黒画素数を示すものである。なお、綴じ部境界線としては、スキャン画像中の画素の中でその濃度値が元も濃い画素が位置する副走査方向の位置が選択される。   Next, optimal binarization processing of a scanned image (for example, a monochrome multi-valued image) of the book document 40 is executed (step S2), and black pixels in the sub-scanning direction (the density value among the pixels of the scanned image is predetermined). A histogram with the number of pixels darker than the density value is obtained (step S3). FIG. 10 is a black pixel histogram on the left side of the binding portion boundary line of the image shown in FIG. The horizontal axis in FIG. 10 indicates the position of the black pixel in the main scanning direction (the pixel whose density value is darker than the predetermined density value among the pixels of the scanned image), and the vertical axis in FIG. This indicates the number of black pixels for each position. As the binding boundary line, a position in the sub-scanning direction where a pixel whose density value is originally dark among pixels in the scan image is selected.

なお、スキャン画像がカラー多値画像の場合における２値化処理は、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。   Note that the binarization process when the scanned image is a color multi-valued image focuses on, for example, any one of the RGB components (for example, the G component), and black pixels that are larger than the predetermined density threshold of the G component are black pixels. And a pixel smaller than a predetermined density threshold of the G component may be a white pixel. Alternatively, RGB may be color-converted to be divided into a luminance component and a color difference component, and threshold processing may be performed with the luminance component.

続くステップＳ４においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図１１は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。   In the subsequent step S4, page outline / ruled line / character line extraction processing is executed. FIG. 11 is a flowchart schematically showing the flow of page outline / ruled line / character line extraction processing.

［スキャン画像からのページ外形の抽出］
まず、ステップＳ４１におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図１２は上端にページ外形が存在するスキャン画像の一例を示す説明図、図１３は図１２に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
図１３に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１２の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図１２に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図１３に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。 [Extract page outline from scanned image]
First, the process of extracting the page outline from the scanned image in step S41 will be described. Here, FIG. 12 is an explanatory diagram showing an example of a scan image having a page outline at the upper end, and FIG. 13 is a black pixel histogram on the left side of the binding boundary line of the scan image shown in FIG.
The x-axis of the histogram shown in FIG. 13 indicates the main scanning direction (vertical direction in FIG. 12) of the scan image, and the upper end of the scan image is associated with the left end of the histogram. Note that in the case of a scanned image having a page outline at the lower end, the lower end of the scanned image is associated with the right end of the histogram. Accordingly, when a page outline exists at the upper end of the scanned image as shown in FIG. 12, a black band appears at the upper portion of the scanned image, and thus a high vertical bar appears at the left end of the histogram shown in FIG. In this embodiment, it is determined whether or not a page outline exists in the scanned image using such characteristics.

より具体的には、図１３に示すように、綴じ部境界線からスキャン画像の左端（図１２の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（１）により算出し、

算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。 More specifically, as shown in FIG. 13, the distance AO from the binding boundary line to the left end of the scan image (left end in FIG. 12), the height BO of the histogram vertical bar, and the ratio is expressed by the following formula ( 1)

When the calculated ratio k is larger than a predetermined threshold, it is determined that a page outline exists in the scanned image.

なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。   In addition, when page outlines exist above and below the scanned image, high vertical bars appear at the left and right ends of the histogram. In such a case, scanning is performed based on the high vertical bars at the left and right ends of the histogram. A determination is made as to whether or not a page outline exists in the image.

ここに、ページ外形判別手段の機能が実行される。   Here, the function of the page outline discrimination means is executed.

以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。   If it is determined by the above processing that the page outline exists in the scanned image, the page outline is extracted together with information on which of the upper and lower sides of the left and right pages the page outline exists, and temporarily stored in the RAM 33. Remember.

なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。   Note that the process of determining whether or not a page outline exists in the scanned image is executed for each of the left and right pages with the binding line boundary line of the scanned image as a boundary.

［スキャン画像からの罫線の抽出］
続くステップＳ４２においては、スキャン画像からの罫線の抽出処理を実行する。ステップＳ４２におけるスキャン画像からの罫線の抽出処理について説明する。 [Extract ruled lines from scanned images]
In the subsequent step S42, a ruled line extraction process from the scanned image is executed. The ruled line extraction process from the scanned image in step S42 will be described.

［罫線候補の検出］
ここで、図１４は長い罫線が存在するスキャン画像の一例を示す説明図、図１５は図１４に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図１５に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１４の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。図１４に示すようにスキャン画像に罫線が存在する場合には、図１５に示すヒストグラムに幅の狭いピークが現れることになる。本実施の形態では、このような特性を利用して、スキャン画像に罫線が存在するか否かの判断を行う。 [Detection of ruled line candidates]
Here, FIG. 14 is an explanatory diagram showing an example of a scan image having a long ruled line, and FIG. 15 is a black pixel histogram on the left side of the binding boundary line of the scan image shown in FIG. The x-axis of the histogram shown in FIG. 15 indicates the main scanning direction (vertical direction in FIG. 14) of the scan image, and the upper end of the scan image is associated with the left end of the histogram. As shown in FIG. 14, when a ruled line exists in the scanned image, a narrow peak appears in the histogram shown in FIG. In the present embodiment, using such characteristics, it is determined whether or not a ruled line exists in the scanned image.

より具体的には、まず、図１５に示すヒストグラムに現れた幅の狭いピークの高さＨを求めるとともに、求められた各ピークの中央位置（高さが半分の位置）における幅Ｗを求める。そして、ピークの高さＨが予め定められた閾値ｔｈＨよりも高く、かつ、ピークの中央位置の幅Ｗが予め定められた閾値ｔｈＷより小さなピークが存在する場合、そのピークを罫線の候補とする。   More specifically, first, the height H of a narrow peak appearing in the histogram shown in FIG. 15 is obtained, and the width W at the center position (position where the height is half) of each obtained peak is obtained. If there is a peak whose peak height H is higher than a predetermined threshold thH and whose width W at the center position of the peak is smaller than a predetermined threshold thW, the peak is set as a ruled line candidate. .

ここに、罫線候補抽出手段の機能が実行される。   Here, the function of ruled line candidate extraction means is executed.

続いて、罫線の候補とされたピークについて、罫線の連続性を利用して、更に罫線か否かの判断をする。図１６に示すように、候補罫線上の適当な位置（例えば、ページの中心線の位置）を開始点とし、この開始点から候補罫線を左右方向へ探索し、切断点（罫線がかすれて途切れている部分）の数を累積する。切断点の数が予め定められた閾値より少なければ、この候補を罫線と判断する。このように罫線連続性に基づいて罫線か否かの判断をすることにより、罫線として誤って検出された小さな文字で構成された横書き文字行や点線等を排除することが可能になる。   Subsequently, it is further determined whether or not the peak is a ruled line candidate by using the continuity of the ruled line. As shown in FIG. 16, an appropriate position on the candidate ruled line (for example, the position of the center line of the page) is used as a start point, and the candidate ruled line is searched from the start point to the left and right, and the cut point (the ruled line is blurred and interrupted). Are accumulated). If the number of cut points is less than a predetermined threshold, this candidate is determined to be a ruled line. In this way, by determining whether or not a ruled line is based on the ruled line continuity, it becomes possible to eliminate horizontally written character lines, dotted lines, and the like composed of small characters erroneously detected as ruled lines.

ここに、罫線判別手段の機能が実行される。   Here, the function of the ruled line discriminating means is executed.

［罫線の座標検出］
以上のようにして罫線を判別した後、各罫線の座標を検出する。罫線座標の検出は、図１７に示すように、罫線の主走査方向（図１７のｙ軸方向）の座標値を罫線部の黒画素ランの中点座標とした場合、図１７に示す罫線の左端のｘ１における主走査方向座標値はｙ１となる。 [Rectangle detection]
After discriminating ruled lines as described above, the coordinates of each ruled line are detected. As shown in FIG. 17, the ruled line coordinates are detected when the coordinate value in the main scanning direction of the ruled line (the y-axis direction in FIG. 17) is the midpoint coordinate of the black pixel run of the ruled line part. The main scanning direction coordinate value at the left end x1 is y1.

［最適罫線の選択］
次に、候補罫線の中から歪み補正に最適な罫線を選択する。図１８に示すように複数の罫線が検出される場合、どの罫線を用いて歪み補正するかを選択する必要がある。最適な罫線の選択基準の一例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図１８の網掛け領域）に罫線の一部がかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い罫線を選択するようにする。図１８においては、左右ページから各１本ずつの罫線を選択する場合を示している。ここでは、罫線▲１▼と罫線▲２▼とが選択されている。 [Select optimal ruled line]
Next, a ruled line optimal for distortion correction is selected from the candidate ruled lines. When a plurality of ruled lines are detected as shown in FIG. 18, it is necessary to select which ruled line is used to correct the distortion. As an example of an optimal ruled line selection criterion, the length of the ruled line is longer than a predetermined threshold value, and the ruled line is placed in the left and right constant width regions (shaded regions in FIG. 18) sandwiching the binding boundary line. The ruled line closest to the upper or lower page outline is selected on the condition that a part is applied. FIG. 18 shows a case where one ruled line is selected from each of the left and right pages. Here, ruled line (1) and ruled line (2) are selected.

また、最適な罫線の選択基準の別の例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図１９の網掛け領域）に罫線の一部がかかっていることを条件とし、各ページの上部では上端のページ外形に、各ページの下部では下端のページ外形に、それぞれ最も近い罫線を選択するようにする。図１９においては、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示している。ここでは、左上のブロックでは罫線▲１▼、右下のブロックでは罫線▲２▼、左下のブロックでは罫線▲３▼が選択されている。なお、図１９中の右上のブロックには上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）を満足する罫線が存在しないので、選択された罫線はない。   Further, another example of the criterion for selecting the optimal ruled line is that the length of the ruled line is longer than a predetermined threshold value and is within a constant width area on the left and right sides of the binding part boundary line (the shaded area in FIG. 19). ) Is part of the ruled line, and the closest ruled line is selected for the top page outline at the top of each page and the bottom page outline at the bottom of each page. FIG. 19 shows a case where the left and right pages are further divided into upper and lower parts, and one ruled line is selected for each of the four blocks. Here, the ruled line (1) is selected in the upper left block, the ruled line (2) is selected in the lower right block, and the ruled line (3) is selected in the lower left block. In the upper right block in FIG. 19, the above two conditions (the length of the ruled line is longer than a predetermined threshold value, and a part of the ruled line is applied to the left and right constant width regions sandwiching the binding boundary line. There is no ruled line selected because there is no ruled line that satisfies

なお、上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「罫線の湾曲が最も大きい」を用いても良い。ここで、「罫線の湾曲」は罫線の左右両端点の主走査方向の座標値の差で表すものとする。   Note that both of the above two conditions (the length of the ruled line is longer than a predetermined threshold and a part of the ruled line is placed in the left and right constant width regions sandwiching the binding boundary line) Alternatively, only one of them may be satisfied. In the above example, “closest to the page outline” is used as the selection criterion. However, the selection criterion is not limited to this, and “the ruled line has the largest curve” may be used. Here, the “bend of the ruled line” is expressed by a difference in coordinate values in the main scanning direction between the left and right end points of the ruled line.

［最適罫線の座標値の決定］
最適な罫線が選択された場合には、罫線の（主走査方向の）座標値を決定する。罫線の（主走査方向の）座標値は、選択された罫線を左右ページのそれぞれ両端に達するまで近似して延長することにより決定される。図２０において、罫線が存在しているＢＣ部については、前述した罫線座標検出処理により既に座標値は決まっていることから、それ以外の延長部分について罫線の（主走査方向の）座標値を決定することになる。より詳細には、図２０に示すＡＢ部は直線近似で（主走査方向の）座標値を推定し、ＣＤ部は多項式近似曲線で（主走査方向の）座標値を推定する。 [Determine the coordinate value of the optimal ruled line]
When the optimal ruled line is selected, the coordinate value (in the main scanning direction) of the ruled line is determined. The coordinate value (in the main scanning direction) of the ruled line is determined by approximating and extending the selected ruled line until reaching both ends of the left and right pages. In FIG. 20, for the BC portion where the ruled line exists, the coordinate value has already been determined by the ruled line coordinate detection process described above, so the coordinate value of the ruled line (in the main scanning direction) is determined for the other extended parts. Will do. More specifically, the AB portion shown in FIG. 20 estimates the coordinate value (in the main scanning direction) by linear approximation, and the CD portion estimates the coordinate value (in the main scanning direction) by a polynomial approximation curve.

［不適切な罫線の排除］
最後に不適切な罫線を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような罫線を排除するものである。不適切な近似曲線形状の例としては、図２１に示すように、曲線が書籍の外側へ向かうような曲線▲１▼や、中心線を超えて大きく内側へ食い込むような曲線▲２▼である。 [Reject inappropriate lines]
Finally, remove inappropriate ruled lines. This is because, when the coordinate value is estimated by polynomial approximation as described above, if the shape of the estimated curve by polynomial approximation is inappropriate, the distortion may increase at the time of correction. It eliminates ruled lines. As an example of an inappropriate approximate curve shape, as shown in FIG. 21, there are a curve (1) in which the curve goes to the outside of the book, and a curve (2) in which the curve bites inwardly beyond the center line. .

なお、推定曲線の形状が不適切であるとして罫線を排除した場合には、再び最適な罫線を選択し、上記の処理を繰り返すことになる。   If the ruled line is excluded because the shape of the estimated curve is inappropriate, the optimum ruled line is selected again, and the above process is repeated.

以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。   If it is determined by the above processing that a ruled line exists in the scanned image, the ruled line is extracted together with information on which position of the ruled line exists on each of the left and right pages, and temporarily stored in the RAM 33.

［スキャン画像からの文字行の抽出］
続くステップＳ４３においては、スキャン画像からの文字行の抽出処理を実行する。ステップＳ４３におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。 [Extract text lines from scanned images]
In a succeeding step S43, a character line extraction process from the scanned image is executed. The character line extraction process from the scanned image in step S43 will be described. In the present embodiment, first, it is determined whether the character line in the scanned image is a vertically written character line or a horizontally written character line.

［文字行の判別］
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図２２は図８に示した画像の副走査方向の黒白反転数ヒストグラムである。図２２中の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図２２中の縦軸は、その位置毎の黒画素数を示すものである。また、図２３は図８に示した画像の主走査方向の黒白反転数ヒストグラムである。図２３中の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図２３中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図８に示したようなスキャン画像の場合、図２２に示すような副走査方向のヒストグラムは激しく変化するが、図２３に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。 [Determination of character line]
A method for determining whether a character line in a scanned image is a vertically written character line or a horizontally written character line will be described. Here, FIG. 22 is a black-and-white inversion number histogram in the sub-scanning direction of the image shown in FIG. The horizontal axis in FIG. 22 is in the main scanning direction of black pixels in the sub-scanning direction (left-right direction) (pixels whose density value is darker than a predetermined density value among pixels obtained by inverting the scan image in black and white). The vertical axis in FIG. 22 indicates the number of black pixels for each position. FIG. 23 is a black-and-white inversion number histogram of the image shown in FIG. 8 in the main scanning direction. The horizontal axis in FIG. 23 represents the black pixel in the main scanning direction (vertical direction) (the pixel whose density value is darker than the predetermined density value among the pixels obtained by inverting the scan image in black and white) in the sub-scanning direction. The vertical axis in FIG. 23 indicates the number of black pixels for each position. When the characters in the image are horizontal scans as shown in FIG. 8, the histogram in the sub-scan direction as shown in FIG. 22 changes drastically, but the change in the histogram in the main scan direction as shown in FIG. Few. Although not particularly illustrated, when the character line in the scanned image is a vertically written character line, the histogram in the main scanning direction changes drastically, but the change in the histogram in the sub-scanning direction is small.

上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（２）により、

主走査方向ｙの位置でのヒストグラム値Ｐｎｔ（ｙ）の平均値ｍｅａｎ_Hが算出される。ここで、ｈｅｉｇｈｔは画像の高さである。
そして、下記に示す式（３）により、

副走査方向のヒストグラムの主走査方向に関する分散σ_Hが得られる。
同様に、下記に示す式（４）により、

副走査方向ｘの位置でのヒストグラム値Ｐｎｔ（ｘ）の平均値ｍｅａｎ_Vが算出される。ここで、ｗｉｄｔｈは画像の幅である。
そして、下記に示す式（５）により、

主走査方向のヒストグラムの副走査方向に関する分散σ_Vが得られる。 Specifically, the discrimination method as described above is realized by the following equations. First, according to the following equation (2):

An average value mean _H of the histogram values Pnt (y) at the position in the main scanning direction y is calculated. Here, height is the height of the image.
And according to the equation (3) shown below,

A variance σ _{H in} the main scanning direction of the histogram in the sub scanning direction is obtained.
Similarly, according to equation (4) below:

An average value mean _V of the histogram values Pnt (x) at the position in the sub-scanning direction x is calculated. Here, width is the width of the image.
And according to the equation (5) shown below,

A variance σ _V with respect to the sub-scanning direction of the histogram in the main scanning direction is obtained.

上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σ_Hが、主走査方向のヒストグラムの副走査方向に関する分散σ_Vより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σ_Vが、副走査方向のヒストグラムの主走査方向に関する分散σ_Hより大きい。つまり、分散σ_Hと分散σ_Vとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。 As described above, when the character line in the scanned image is a horizontally written character line, the variance σ _H in the main scanning direction of the histogram in the sub-scanning direction is larger than the variance σ _{V in} the sub-scanning direction of the histogram in the main scanning direction. . On the other hand, when the character line in the scanned image is a vertically written character line, the variance σ _V in the sub-scanning direction of the histogram in the main scanning direction is larger than the variance σ _{H in} the main scanning direction of the histogram in the sub-scanning direction. . That is, by comparing the variance σ _H and the variance σ _V , it is possible to determine whether the character line in the scanned image is a vertically written character line or a horizontally written character line.

なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。
一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。 The reason why the black and white inversion number histogram is used to determine whether the character line in the scanned image is a vertically written character line or a horizontally written character line is to avoid confusion between the character line and the photograph portion.
This is because, in general, when the values of the black pixel histogram are approximately the same, the value of the black / white inversion number histogram is larger in the character region than in the photo region.

ここに、文書判別手段の機能が実行される。   Here, the function of the document discrimination means is executed.

［横書き文字行の座標検出］
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図２４に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。 [Coordinate detection of horizontal text lines]
After determining the character line as described above, first, the coordinates of each horizontal character line are detected. In detecting the coordinates of a horizontally written character line, a circumscribed rectangle extraction process for each character is performed, and a horizontally written character line extraction process is performed. Since the character recognition process is a well-known technique, its description is omitted. Here, FIG. 24 shows an example of the result of the character circumscribed rectangle extraction process and the character line extraction process of the scanned image. Then, the coordinates of the center point of the circumscribed rectangle of each character are regarded as the coordinates of the character, and the coordinates of the horizontal character line are detected.

［最適横書き文字行の選択］
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図２５に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図２５の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。 [Select optimum horizontal text line]
Next, a horizontal character line optimal for distortion correction is selected from the extracted horizontal character lines. When a plurality of horizontally written character lines are detected, it is necessary to select which horizontally written character line is used for distortion correction. An example of the optimum horizontal writing character line selection criterion is basically the same as the above-mentioned optimum ruled line selection criterion, and the horizontal writing character line length BC is larger than a predetermined threshold as shown in FIG. On the condition that a part C of a horizontal writing line is covered within a long and constant width area (shaded area in FIG. 25) on either side of the binding boundary line, either upper or lower page Select the horizontal text line closest to the outline. Here, B is the center of the leftmost rectangle of the character line, and C is the center of the rightmost rectangle. The optimum horizontal writing character line may be selected by selecting the horizontal writing character line closest to the page outline from each of the left and right pages, or the left and right pages are further divided into upper and lower parts. A horizontally written character line that is closest to the page outline one by one in the block may be selected.

なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。   Regarding the above two conditions (the length of the horizontal writing character line is longer than a predetermined threshold, and a part of the horizontal writing character line is applied within the left and right constant width regions across the binding portion boundary line). , Not both of them, but only one of them may be satisfied. In the above example, “closest to the page outline” is used as the selection criterion. However, the selection criterion is not limited to this, and “horizontal writing character line has the largest curve” may be used. Here, “curve of horizontally written character line” is expressed by the difference in the coordinate values in the main scanning direction of the center coordinates of the character circumscribed rectangle at both ends of the horizontally written character line.

［最適横書き文字行の座標値の決定］
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図２５に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。 [Determine the coordinate value of the optimal horizontal text line]
When the optimum horizontal writing character line is selected, the coordinate value (in the main scanning direction) of the horizontal writing character line is determined. The coordinate value (in the main scanning direction) of the horizontal writing line is obtained by connecting the center points of the circumscribed rectangles in the horizontal writing line and approximating the straight line part and the curved part and extracting them (main scanning). The coordinate value of the direction will be determined. More specifically, D shown in FIG. 25 is a binding boundary line, a coordinate value (in the main scanning direction) is estimated with a polynomial approximation curve between BDs, and an approximation between A and B at the leftmost end A coordinate value (in the main scanning direction) is estimated with a straight line value.

［不適切な横書き文字行の排除］
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。 [Reject inappropriate horizontal text]
Finally, remove inappropriate horizontal text lines. This is because, when the coordinate value is estimated by polynomial approximation as described above, if the shape of the estimated curve by polynomial approximation is inappropriate, the distortion may increase at the time of correction. This eliminates horizontal text lines. An example of an inappropriate approximate curve shape is the same as in the case of the ruled line described above, and although not particularly illustrated, the curve is directed outwardly from the book, or is greatly inwardly penetrated beyond the center line. Is the case.

なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。   If the horizontal writing character line is excluded because the shape of the estimated curve is inappropriate, the optimal horizontal writing character line is selected again, and the above processing is repeated.

以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。   If it is determined by the above processing that there is a horizontally written character line in the scanned image, the horizontally written character line is extracted together with information indicating in which position the horizontally written character line exists on each of the left and right pages, and stored in the RAM 33. Memorize temporarily.

［縦書き文字行の各文字の座標検出］
続いて、各縦書き文字行の座標を検出する。縦書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなす。 [Detection of coordinates of each character in vertical writing]
Subsequently, the coordinates of each vertically written character line are detected. When detecting the coordinates of a vertically written character line, a circumscribed rectangle extraction process is performed for each character. Since the character recognition process is a well-known technique, its description is omitted. Then, the coordinates of the center point of the circumscribed rectangle of each character are regarded as the coordinates of the character.

［横書き文字行の抽出］
次に、各縦書き文字行から横書き文字行を抽出する。横書き文字行の抽出は、各縦書き文字行の一番上の文字を連結した外形、または、各縦書き文字行の一番下の文字を連結した外形を横書き文字行とみなすものである。より詳細には、左右ページから各１本ずつの文字行を選択する場合は、各縦書き文字行の一番上もしくは一番下の各一文字を連結した外形を一つの行とみなして抽出する。また、左右ページをさらに上下部分に分け、その４ブロックにおいて１本ずつの文字行を選択する場合は、左上部、右上部においては各縦書き文字行の一番上の各一文字を連結した外形を一つの行とみなし、左下部、右下部においては各縦書き文字行の一番下の各一文字を連結した外形を一つの行とみなして抽出する。 [Extract horizontal text line]
Next, a horizontal writing character line is extracted from each vertical writing character line. In the horizontal character line extraction, an outer shape obtained by concatenating the uppermost characters of each vertical character line or an outer shape obtained by concatenating the lowermost characters of each vertical character line is regarded as a horizontal character line. More specifically, when one character line is selected from each of the left and right pages, the outline obtained by concatenating each character at the top or bottom of each vertical character line is regarded as one line and extracted. . In addition, when the left and right pages are further divided into upper and lower parts, and one character line is selected for each of the four blocks, the top left and upper right parts are connected to each character at the top of each vertically written character line. Are extracted as a single line in the lower left part and the lower right part.

その際、図２６に示すように抽出された外形の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図２６の網掛け領域）に抽出された外形の一部Ｃがかかっていることを条件とし、外形を抽出する。なお、上記２条件（抽出された外形の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に抽出された外形の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。したがって、上記条件を満足しない場合は、歪み補正用の縦書き文字行の外形は無いということになる。   At this time, as shown in FIG. 26, the length BC of the extracted outer shape is longer than a predetermined threshold value, and within the left and right constant width regions (shaded regions in FIG. 26) sandwiching the binding boundary line. The contour is extracted on condition that a part C of the extracted contour is applied. Note that the above two conditions (the length of the extracted outer shape is longer than a predetermined threshold and a part of the extracted outer shape is applied to the left and right constant width regions sandwiching the binding portion boundary line) May satisfy only one of them instead of both. Therefore, if the above condition is not satisfied, there is no outline of the vertically written character line for distortion correction.

［抽出された外形の座標値の決定］
縦書き文字行に応じて外形が抽出された場合には、なお、縦書き文字行の外形の（主走査方向の）座標値を決定する。縦書き文字行の外形の座標値は、図２７に示すように、各縦書き文字行の一番上の各一文字を連結した外形である場合には、連結する各文字の外接矩形の上辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の（主走査方向の）座標値を決定することになる。また、図２７に示すように、各縦書き文字行の一番下の各一文字を連結した外形である場合には、連結する各文字の外接矩形の下辺中心点を連結し、直線部分と曲線部分とを近似して抽出することにより縦書き文字行の外形の（主走査方向の）座標値を決定することになる。より詳細には、図２６に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。 [Determine the coordinate value of the extracted outline]
When the outer shape is extracted according to the vertical writing character line, the coordinate value (in the main scanning direction) of the outer shape of the vertical writing character line is determined. As shown in FIG. 27, the coordinate value of the outer shape of the vertically written character line is the center of the upper side of the circumscribed rectangle of each character to be connected when the uppermost character of each vertically written character line is connected. Coordinate values (in the main scanning direction) of the outline of a vertically written character line are determined by connecting points and approximating and extracting a straight line portion and a curved line portion. In addition, as shown in FIG. 27, in the case of the outer shape in which each character at the bottom of each vertically written character line is connected, the lower side center point of the circumscribed rectangle of each character to be connected is connected, and the straight line portion and the curve By approximating and extracting the part, the coordinate value (in the main scanning direction) of the outline of the vertically written character line is determined. More specifically, D shown in FIG. 26 is a binding portion boundary line, a coordinate value (in the main scanning direction) is estimated with a polynomial approximation curve between BDs, and an approximation between A and B at the left end is approximated. A coordinate value (in the main scanning direction) is estimated with a straight line value.

［不適切な縦書き文字行の外形の排除］
最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。 [Eliminating inappropriate vertical text lines]
Lastly, eliminate inappropriate vertical text lines. This is because, when the coordinate value is estimated by polynomial approximation as described above, if the shape of the estimated curve by polynomial approximation is inappropriate, the distortion may increase at the time of correction. This eliminates the outline of vertical character lines. Examples of inappropriate approximate curve shapes are the same as in the case of the ruled lines and horizontal text lines described above, and although not particularly shown, when the curve goes to the outside of the book or greatly beyond the center line It is a case where it digs into.

なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。   If the outline of the vertically written character line is excluded because the shape of the estimated curve is inappropriate, it means that there is no outline of the vertically written character line for distortion correction.

以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。   If it is determined by the above processing that the outline of the vertical text line exists in the scanned image, the vertical text will be displayed along with information on where the vertical text line outline exists on the left and right pages. The outline of the row is extracted and temporarily stored in the RAM 33.

なお、以下においては、横書き文字行及び縦書き文字行の外形を文字列として扱うものとする。   In the following description, the outer shape of a horizontal character line and a vertical character line is treated as a character string.

以上、ステップＳ４１〜Ｓ４３の処理により、ページ外形／罫線／文字行の抽出処理（ステップＳ４）が終了する。   As described above, the page outline / ruled line / character line extraction process (step S4) is completed by the processes of steps S41 to S43.

続くステップＳ５（図６参照）においては、画像歪み補正処理を実行する。画像歪み補正処理は、図２８に示すように、概略的には、歪み補正（伸張）に際しての基準となる線（基準線）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５１：基準線選択処理）、基準線に対応するものであって補正率（伸張率）の算出用の参照線としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５２：参照線選択処理）、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理（ステップＳ５３：仮想ページ外形算出処理）、仮想的なページ外形に基づいてスキャン画像に伸張処理を施して主走査方向の歪みを補正する処理（ステップＳ５４：主走査方向歪み補正処理）、補正画像の文字外接矩形に基づいてスキャン画像に伸張処理を施して副走査方向の歪みを補正する処理（ステップＳ５５：副走査方向歪み補正処理）により構成されている。   In a subsequent step S5 (see FIG. 6), an image distortion correction process is executed. As shown in FIG. 28, the image distortion correction processing is roughly performed as a page outline / position positioned near the upper side (or lower side) of the scanned image as a reference line (reference line) for distortion correction (expansion). Processing for selecting one of ruled lines / character lines (step S51: reference line selection processing), which corresponds to the reference line and serves as a reference line for calculating a correction rate (expansion rate), the upper side (or the lower side) of the scan image ) (Page S52: reference line selection process) for selecting one of the page outline, ruled line, and character line located in the vicinity of (), and if the reference line is a ruled line or character line, the image information below the reference line is missing Processing for calculating a virtual page outline for minimizing image quality (step S53: virtual page outline calculation process), and performing a decompression process on the scanned image based on the virtual page outline, Correction processing (step S54: main scanning direction distortion correction processing), processing for expanding the scanned image based on the character circumscribed rectangle of the corrected image and correcting distortion in the sub scanning direction (step S55: sub scanning direction) Distortion correction processing).

ここで、基準線選択処理（ステップＳ５１）及び参照線選択処理（ステップＳ５２）においては、基準線または参照線として、スキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形＞罫線＞文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。ただし、本実施の形態においては、ページ外形は一般に左右ページにまたがるが、罫線や文字行は両ページにあるとは限らないので、スキャン画像の上辺または下辺からの基準線選択の優先順位は、下記に示すようになる。 Here, in the reference line selection process (step S51) and the reference line selection process (step S52), the page outline / ruled line / character line positioned near the upper side (or lower side) of the scanned image as the reference line or reference line. However, the priority of selection of the page outline, ruled line, and character line in the present embodiment is as follows:
Page outline> ruled line> character line. This selection priority is used because character lines have lower extraction accuracy than page outlines and ruled lines, and more accurate distortion correction rates can be obtained by using page outlines outside the image. This is because it can. However, in this embodiment, the page outline generally spans the left and right pages, but ruled lines and character lines are not necessarily on both pages, so the priority order of the reference line selection from the upper or lower side of the scanned image is As shown below.

１．「ページ外形」（ページ外形は、常に左右両ページに存在する）
２．左右両ページともに「罫線」
３．一方のページが「罫線」、他方のページが「文字行」
４．左右両ページともに「文字行」
５．一方のページのみに「罫線」、他方のページには「手がかりなし」
６．一方のページのみに「文字行」、他方のページには「手がかりなし」
ここで、「手がかりなし」とは、ページ外形、罫線、文字行のいずれも抽出できなかった場合を言う。 1. "Page outline" (Page outline always exists on both left and right pages)
2. "Rules" on both left and right pages
3. One page is "ruled line", the other page is "text line"
4). `` Character line '' on both left and right pages
5. "Rules" on one page only, "No clues" on the other page
6). "Character line" on one page only, "No clue" on the other page
Here, “no clue” means a case where none of the page outline, ruled line, and character line could be extracted.

次に、仮想ページ外形算出処理（ステップＳ５３）及び主走査方向歪み補正処理（ステップＳ５４）の例について、上記優先順位に基づいて順に説明する。   Next, examples of the virtual page outer shape calculation process (step S53) and the main scanning direction distortion correction process (step S54) will be described in order based on the priority order.

１．スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合
ここでは、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合について説明する。図２９に示すように、スキャン画像の上辺及び下辺のいずれにも「ページ外形」が存在する場合は、いずれを基準線、参照線にしても構わない。なお、本実施の形態においては、基準線として選択した「ページ外形」、「罫線」、「文字行」は、下辺に位置させるものとする。この場合においては、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理（ステップＳ５３）においては特に処理を実行しなくても良い。 1. When “Page Outline” Exists on Both Upper and Lower Sides of Scanned Image Here, a case where “page outline” exists on both the upper and lower sides of the scanned image will be described. As shown in FIG. 29, when “page outline” exists on both the upper side and the lower side of the scanned image, any of them may be used as a reference line or a reference line. In the present embodiment, it is assumed that “page outline”, “ruled line”, and “character line” selected as the reference line are positioned on the lower side. In this case, since the reference line and the virtual page outline coincide with each other, the virtual page outline calculation process (step S53) does not have to be particularly performed.

次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。ここで、ｘ０は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点ｘ０における基準線と参照線間の距離ｈ０（図３０参照）に基づいて歪み補正率を算出する。歪み補正率は、主走査方向に画像を伸張して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置において等しくさせるためのものである。すなわち、位置ｘにおける基準線と参照線間の距離をｈ（図３０参照）とした場合には、位置ｘにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。即ち、歪み補正率とは、主走査方向に画像を伸張して補正する際に、基準線と参照線との間の距離を副走査方向の全ての位置ｘにおいて等しくなるように、各ｘに関して算出した値である。 Next, the main scanning direction distortion correction process (step S54) will be described. Here, x0 is a boundary point between the straight line portion and the curved portion of the “page outline”. In the main scanning direction distortion correction process, first, a distortion correction factor is calculated based on the distance h0 (see FIG. 30) between the reference line and the reference line at the boundary point x0. The distortion correction rate is for equalizing the distance between the reference line and the reference line at all positions in the sub-scanning direction when the image is expanded and corrected in the main scanning direction. That is, when the distance between the reference line and the reference line at the position x is h (see FIG. 30), the distortion correction rate at the position x is
h0 / h
Can be expressed as In other words, the distortion correction rate is related to each x so that the distance between the reference line and the reference line becomes equal at all positions x in the sub-scanning direction when the image is expanded and corrected in the main scanning direction. It is a calculated value.

ここに、主走査方向歪み補正率算出手段の機能が実行される。   Here, the function of the main scanning direction distortion correction rate calculation means is executed.

次に、実際に補正をする際は、まず、図３０に示すように仮想ページ外形（ここでは基準線）が直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３０の上辺の「ページ外形」ＥがＲＥとなるように画像が補正される。   Next, when the correction is actually performed, first, each pixel is shifted in the main scanning direction so that the virtual page outline (here, the reference line) becomes a straight line (the lowermost side) as shown in FIG. Thereafter, at all positions x in the sub-scanning direction, if the image is expanded by h0 / h toward the upper side in the main scanning direction, the image is corrected so that the “page outline” E on the upper side in FIG. .

ここに、主走査方向歪み補正手段の機能が実行される。ここに、ページ外形画像歪み補正手段の機能が実行される。   Here, the function of the main scanning direction distortion correction means is executed. Here, the function of the page outline image distortion correcting means is executed.

２．スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺ではページ外形が途中で切れているが「罫線」と「文字行」とが存在する場合について説明する。図３１に示すように、スキャン画像の上辺及び下辺のいずれか一方に「ページ外形」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、「ページ外形」を基準線として下辺に位置させ、「文字行」と「罫線」とを参照線とする（図３１に示す例では、左ページが「文字行」、右ページが「罫線」である）。この場合においても、基準線と仮想ページ外形とは一致していることから、仮想ページ外形算出処理（ステップＳ５３）においては特に処理を実行しなくても良い。 2. When the “page outline” exists on one of the upper and lower sides of the scanned image and “ruled lines” and “character lines” exist on the other side Here, either the upper or lower side of the scanned image A case where “page outline” exists and the page outline is cut off on the other side, but “ruled lines” and “character lines” exist will be described. As shown in FIG. 31, when “page outline” exists on one of the upper side and the lower side of the scanned image and “ruled line” and “character line” exist on the other side, “page outline” Is set as a reference line and “character line” and “ruled line” are used as reference lines (in the example shown in FIG. 31, the left page is “character line” and the right page is “ruled line”). Even in this case, since the reference line and the virtual page outline coincide with each other, the virtual page outline calculation process (step S53) does not have to be performed.

次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。ここで、ｘ０は「ページ外形」の直線部分と曲線部分との境界点である。主走査方向歪み補正処理としては、まず、この境界点ｘ０における基準線と参照線間の距離ｈ０（図３２参照）に基づいて歪み補正率を算出する。位置ｘにおける基準線と参照線間の距離をｈ（図３２参照）とした場合には、位置ｘにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。 Next, the main scanning direction distortion correction process (step S54) will be described. Here, x0 is a boundary point between the straight line portion and the curved portion of the “page outline”. In the main scanning direction distortion correction process, first, a distortion correction factor is calculated based on the distance h0 (see FIG. 32) between the reference line and the reference line at the boundary point x0. When the distance between the reference line and the reference line at the position x is h (see FIG. 32), the distortion correction rate at the position x is
h0 / h
Can be expressed as

ここに、主走査方向歪み補正率算出手段の機能が実行される。   Here, the function of the main scanning direction distortion correction rate calculation means is executed.

次に、実際に補正をする際は、まず、図３２に示すように仮想ページ外形（ここでは基準線）が直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３２の右ページでは、上辺の「罫線」ＬＵがＲＬＵとなるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。   Next, when the correction is actually performed, first, each pixel is shifted in the main scanning direction so that the virtual page outline (here, the reference line) becomes a straight line (lowermost side) as shown in FIG. Thereafter, at all positions x in the sub-scanning direction, if the image is stretched by h0 / h toward the upper side in the main scanning direction, the image on the right page of FIG. 32 is displayed so that the “ruled line” LU on the upper side becomes RLU. It is corrected. The same applies to the “character line” on the upper side of the left page.

ここに、主走査方向歪み補正手段の機能が実行される。ここに、ページ外形画像歪み補正手段の機能が実行される。   Here, the function of the main scanning direction distortion correction means is executed. Here, the function of the page outline image distortion correcting means is executed.

３．スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合
ここでは、スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺には「罫線」と「文字行」とが存在する場合は、図３３に示すように、左右両ページに「罫線」が存在する側を下辺に位置させ、その２本の「罫線」を基準線とし、他方の辺に位置する「文字行」と「罫線」とを参照線とする（図３３に示す例では、左ページが「文字行」、右ページが「罫線」である）。ところで、このように、基準線が「ページ外形」ではない場合は、基準線をそのまま仮想ページ外形と見なしてはならない。なぜなら、両者を一致させた場合、後の主走査方向歪み補正処理において仮想ページ外形（基準線）を最下辺に画素シフトする際、基準線より下方の画像情報が全て欠落してしまうからである。 3. When there is a “ruled line” on one of the upper and lower sides of both the left and right pages of the scanned image, and “ruled line” and “text line” are present on the other side. A case where a “ruled line” exists on one of the upper side and the lower side and a “ruled line” and a “character line” exist on the other side will be described. When a “ruled line” exists on either the upper side or the lower side of both the left and right pages of the scanned image and a “ruled line” and a “character line” exist on the other side, as shown in FIG. The side where the “ruled line” exists on both pages is positioned on the lower side, the two “ruled lines” are used as reference lines, and the “character line” and “ruled line” positioned on the other side are used as reference lines (see FIG. In the example shown in FIG. 33, the left page is “character line” and the right page is “ruled line”). By the way, when the reference line is not “page outline” as described above, the reference line should not be regarded as a virtual page outline as it is. This is because, if they are matched, when the virtual page outline (reference line) is pixel-shifted to the lowermost side in the subsequent main scanning direction distortion correction processing, all image information below the reference line is lost. .

そこで、基準線が「ページ外形」でない場合は、図３３において点線で示すような仮想ページ外形ＶＥを求める仮想ページ外形算出処理（ステップＳ５３）を実行する。ここで、ｘ０は下辺の「罫線」ＬＤの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから上辺の「罫線」ＬＵまでの距離ｂ０とに基づいて仮想ページ外形ＶＥを算出するものである。すなわち、「罫線」ＬＤ上の位置ｘから上辺の「罫線」ＬＵまでの距離ｂが解かれば、
ａ／ｂ＝ａ０／ｂ０
であることから、「罫線」ＬＤ上の位置ｘから仮想ページ外形ＶＥまでの距離ａが算出することができる。したがって、「罫線」ＬＤ上の位置から仮想ページ外形ＶＥまでの距離を副走査方向の全ての位置ｘにおいて算出することにより、仮想ページ外形ＶＥを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。 Therefore, if the reference line is not “page outline”, a virtual page outline calculation process (step S53) for obtaining a virtual page outline VE as indicated by a dotted line in FIG. 33 is executed. Here, x0 is a boundary point between the straight line portion and the curved portion of the “ruled line” LD on the lower side. The virtual page outline calculation processing is based on the distance a0 from the “ruled line” LD at the boundary point x0 to the lowermost side of the scanned image, and the distance b0 from the “ruled line” LD to the upper “ruled line” LU at the boundary point x0. The virtual page outline VE is calculated. That is, if the distance b from the position x on the “ruled line” LD to the “ruled line” LU on the upper side is solved,
a / b = a0 / b0
Therefore, the distance a from the position x on the “ruled line” LD to the virtual page outline VE can be calculated. Therefore, the virtual page outline VE can be obtained by calculating the distance from the position on the “ruled line” LD to the virtual page outline VE at all the positions x in the sub-scanning direction. Such processing is performed independently for the left and right pages.

次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。主走査方向歪み補正処理としては、まず、前述した境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから上辺の「罫線」ＬＵまでの距離ｂ０とを加算した距離ｈ０（ｈ０＝ａ０＋ｂ０）に基づいて歪み補正率を算出する。位置ｘにおける上辺の「罫線」ＬＵからスキャン画像の最下辺までの距離をｈ（ｈ＝ａ＋ｂ）とした場合には、位置ｘにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。 Next, the main scanning direction distortion correction process (step S54) will be described. In the main scanning direction distortion correction processing, first, the distance a0 from the “ruled line” LD at the boundary point x0 to the lowermost side of the scanned image, and the “ruled line” LD at the boundary point x0 to the “ruled line” LU on the upper side. A distortion correction factor is calculated based on a distance h0 (h0 = a0 + b0) obtained by adding the distance b0. When the distance from the “ruled line” LU on the upper side at the position x to the lowest side of the scanned image is h (h = a + b), the distortion correction rate at the position x is
h0 / h
Can be expressed as

ここに、主走査方向歪み補正率算出手段の機能が実行される。   Here, the function of the main scanning direction distortion correction rate calculation means is executed.

次に、実際に補正をする際は、まず、図３４に示すように仮想ページ外形ＶＥが直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張すれば、図３４の右ページでは、上辺の「罫線」ＬＵがＲＬＵ（厳密には、ｘの位置は「罫線」ＬＵの直線部と曲線部との境界には一致しないが、ここでは「罫線」ＬＤの境界をそのまま用いる）となるように画像が補正される。左ページ上辺の「文字行」についても同様に行う。   Next, when the correction is actually performed, first, each pixel is shifted in the main scanning direction so that the virtual page outline VE becomes a straight line (the lowermost side) as shown in FIG. After that, if the image is expanded at h0 / h to the upper side in the main scanning direction at all positions x in the sub-scanning direction, the “ruled line” LU on the upper side becomes RLU (strictly speaking, xLU on the right page in FIG. 34). Is not coincident with the boundary between the straight portion and the curved portion of the “ruled line” LU, but here, the image is corrected so that the boundary of the “ruled line” LD is used as it is. The same applies to the “character line” on the upper side of the left page.

ここに、主走査方向歪み補正手段の機能が実行される。ここに、罫線／文字行画像歪み補正手段の機能が実行される。   Here, the function of the main scanning direction distortion correction means is executed. Here, the function of the ruled line / character line image distortion correcting means is executed.

このように、仮想ページ外形ＶＥを利用することで、シフトによる画像の欠落を最小限に抑えることができる。   In this way, by using the virtual page outline VE, it is possible to minimize image loss due to shift.

４．スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合ここでは、スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合について説明する。スキャン画像の左右両ページの上辺及び下辺のいずれか一方に「罫線」と「文字行」とが存在し、他方の辺の一方のページのみに「罫線」が存在する場合（他方のページは「手がかりなし」）は、図３５に示すように、「罫線」と「文字行」とが存在する側を下辺に位置させ、それらの「罫線」と「文字行」とを基準線とし、他方の辺に位置する「罫線」とスキャン画像を副走査方向に貫く中心線Ｃとを参照線とする（図３５に示す例では、左ページが「罫線」、右ページが「手がかりなし」である）。なお、中心線Ｃは、スキャン画像の主走査方向の中心を副走査方向に横切る線であり、ブック原稿４０の中心線ではない。   4). When there are “ruled lines” and “character lines” on either the upper or lower side of both the left and right pages of the scanned image, and “ruled lines” only on one page of the other side A case will be described in which “ruled lines” and “character lines” exist on either the upper side or the lower side of both the left and right pages, and “ruled lines” exist only on one page of the other side. When “ruled lines” and “character lines” are present on either the upper side or the lower side of both the left and right pages of the scanned image, and “ruled lines” are present only on one page of the other side (the other page is “ 35), as shown in FIG. 35, the side where the “ruled line” and the “character line” are located is positioned on the lower side, the “ruled line” and the “character line” are used as the reference line, and the other A “ruled line” located on the side and a center line C passing through the scanned image in the sub-scanning direction are used as reference lines (in the example shown in FIG. 35, the left page is “ruled line” and the right page is “no clue”). . The center line C is a line that crosses the center of the scanned image in the main scanning direction in the sub-scanning direction, and is not the center line of the book document 40.

このように基準線が「ページ外形」でない場合は、前述したように、図３５において点線で示すような仮想ページ外形ＶＥを求める仮想ページ外形算出処理（ステップＳ５３）を実行する。ここで、ｘ０は下辺の「罫線」ＬＤの直線部分と曲線部分との境界点である。仮想ページ外形算出処理は、境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから中心線Ｃまでの距離ｂ０とに基づいて仮想ページ外形ＶＥを算出するものである。すなわち、「罫線」ＬＤ上の位置ｘから中心線Ｃまでの距離ｂが解かれば、
ａ／ｂ＝ａ０／ｂ０
であることから、「罫線」ＬＤ上の位置ｘから仮想ページ外形ＶＥまでの距離ａが算出することができる。したがって、「罫線」ＬＤ上の位置から仮想ページ外形ＶＥまでの距離を副走査方向の全ての位置ｘにおいて算出することにより、仮想ページ外形ＶＥを求めることができる。このような処理は、左右ページについてそれぞれ独立に行われる。なお、
右ページのように上辺に「罫線」が存在する場合については、中心線Ｃに代えて、前述したように上辺の「罫線」を用いる。 When the reference line is not “page outline” as described above, the virtual page outline calculation process (step S53) for obtaining the virtual page outline VE as shown by the dotted line in FIG. 35 is executed as described above. Here, x0 is a boundary point between the straight line portion and the curved portion of the “ruled line” LD on the lower side. The virtual page outline calculation processing is based on the distance a0 from the “ruled line” LD at the boundary point x0 to the lowermost side of the scanned image and the distance b0 from the “ruled line” LD to the center line C at the boundary point x0. VE is calculated. That is, if the distance b from the position x on the “ruled line” LD to the center line C is solved,
a / b = a0 / b0
Therefore, the distance a from the position x on the “ruled line” LD to the virtual page outline VE can be calculated. Therefore, the virtual page outline VE can be obtained by calculating the distance from the position on the “ruled line” LD to the virtual page outline VE at all the positions x in the sub-scanning direction. Such processing is performed independently for the left and right pages. In addition,
When a “ruled line” exists on the upper side as in the right page, the “ruled line” on the upper side is used instead of the center line C as described above.

次いで、主走査方向歪み補正処理（ステップＳ５４）について説明する。主走査方向歪み補正処理としては、まず、前述した境界点ｘ０における「罫線」ＬＤからスキャン画像の最下辺までの距離ａ０と、境界点ｘ０における「罫線」ＬＤから中心線Ｃまでの距離ｂ０とを加算した距離ｈ０（ｈ０＝ａ０＋ｂ０）に基づいて歪み補正率を算出する。位置ｘにおける中心線Ｃからスキャン画像の最下辺までの距離をｈ（ｈ＝ａ＋ｂ）とした場合には、位置ｘにおける歪み補正率は、
ｈ０／ｈ
として表すことができる。 Next, the main scanning direction distortion correction process (step S54) will be described. In the main scanning direction distortion correction processing, first, the distance a0 from the “ruled line” LD at the boundary point x0 to the lowermost side of the scanned image, and the distance b0 from the “ruled line” LD to the center line C at the boundary point x0. The distortion correction rate is calculated based on the distance h0 (h0 = a0 + b0) obtained by adding. When the distance from the center line C at the position x to the lowest side of the scanned image is h (h = a + b), the distortion correction rate at the position x is
h0 / h
Can be expressed as

ここに、主走査方向歪み補正率算出手段の機能が実行される。   Here, the function of the main scanning direction distortion correction rate calculation means is executed.

次に、実際に補正をする際は、まず、図３６に示すように仮想ページ外形ＶＥが直線（最下辺）になるように、主走査方向に各画素をシフトする。その後、副走査方向の全ての位置ｘにおいて、画像を主走査方向の上辺側にｈ０／ｈで伸張して補正する。左ページ上辺の「罫線」についても同様に行う。なお、右ページについては、補正によってシフトにより一旦歪んだ中心線Ｃが元の直線ＲＣに戻るが、Ｃがスキャナ部１の光軸と一致する場合以外は、画像全体の補正は不完全となる。   Next, when the correction is actually performed, first, each pixel is shifted in the main scanning direction so that the virtual page outline VE becomes a straight line (lowermost side) as shown in FIG. Thereafter, at all the positions x in the sub-scanning direction, the image is corrected by being expanded by h0 / h toward the upper side in the main scanning direction. The same applies to the “ruled line” on the upper side of the left page. As for the right page, the center line C once distorted by the shift by the correction returns to the original straight line RC, but the correction of the entire image is incomplete except when C matches the optical axis of the scanner unit 1. .

ここに、主走査方向歪み補正手段の機能が実行される。ここに、罫線／文字行画像歪み補正手段の機能が実行される。   Here, the function of the main scanning direction distortion correction means is executed. Here, the function of the ruled line / character line image distortion correcting means is executed.

５．スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合
ここでは、スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し、他方の辺の他方のページのみに「文字行」が存在する場合について説明する。スキャン画像の左右いずれかのページの上辺及び下辺のいずれか一方に「罫線」が存在し（他方のページは「手がかりなし」）、他方の辺の他方のページのみに「文字行」が存在する場合（一方のページは「手がかりなし」）は、図３７に示すように、「罫線」が存在する側を下辺に位置させ、その「罫線」を基準線とし、「罫線」が存在しない方のページ（「文字行」が存在する方のページ）については、文字行Ｌを中心線Ｃを挟んで線対称の位置に移動させた曲線ＳＬを基準線とする。参照線については、「罫線」が存在するページは中心線Ｃを、「文字行」が存在するページはその「文字行」を、それぞれ参照線とする。 5. When there is a “ruled line” on one of the upper and lower sides of either the left or right page of the scanned image, and a “character line” exists only on the other page of the other side. A case where “ruled lines” exist on either the upper side or the lower side of the page and “character lines” exist only on the other page of the other side will be described. There is a “ruled line” on one of the upper and lower sides of the left or right page of the scanned image (the other page is “no clue”), and there is a “character line” only on the other page on the other side. In the case (one page is “no clue”), as shown in FIG. 37, the side where the “ruled line” exists is positioned on the lower side, the “ruled line” is set as the reference line, and the “ruled line” does not exist For a page (the page on which “a character line” exists), a curve SL obtained by moving the character line L to a line-symmetrical position with the center line C in between is used as a reference line. As for the reference line, the center line C is used as the reference line for the page where the “ruled line” exists, and the “character line” as the reference line for the page where the “character line” exists.

なお、歪み補正率の算出や画素シフト、補正（伸張）処理についてはこれまでの例と同
様であるため、それらの説明は省略する。 Note that the calculation of the distortion correction rate, pixel shift, and correction (expansion) processing are the same as those in the previous examples, and thus description thereof is omitted.

ここに、罫線／文字行画像歪み補正手段の機能が実行される。   Here, the function of the ruled line / character line image distortion correcting means is executed.

最後に、副走査方向歪み補正処理（ステップＳ５５）について説明する。ここで、図３８は副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図３８に示すように、ステップＳ１０１においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形Ａ（図３９参照）を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Ａを抽出するのは、この文字の外接矩形Ａの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図３９に示すように、文字外接矩形Ａの横辺の長さｗ、縦辺の長さｈ、および、文字の中心Ｂを定義する。ここで、文字の中心Ｂは、外接矩形Ａの対角線の交点である。   Finally, sub-scanning direction distortion correction processing (step S55) will be described. FIG. 38 is a flowchart schematically showing the flow of the sub-scanning direction distortion correction process. As shown in FIG. 38, in step S101, a circumscribed rectangle A (see FIG. 39) of the character is extracted based on the scanned image in which distortion in the main scanning direction is corrected. Here, since the character recognition process is a well-known technique, the description thereof is omitted. The reason why the circumscribed rectangle A of the character is extracted in this way is to correct the distortion in the sub-scanning direction based on the change in the shape of the circumscribed rectangle A of the character. Here, as shown in FIG. 39, a horizontal side length w, a vertical side length h, and a character center B of the character circumscribing rectangle A are defined. Here, the center B of the character is the intersection of the diagonal lines of the circumscribed rectangle A.

続いて、図４０に示すように、スキャン画像をブック原稿４０のページ綴じ部４１に平行な方向の複数の短冊状の領域Ｃに分割した後（ステップＳ１０２）、各短冊領域Ｃについて、そこに含まれる文字外接矩形Ａに関する特徴量を求める（ステップＳ１０３）。ここで、ある短冊領域Ｃに含まれる文字外接矩形Ａとは、その中心が当該短冊領域Ｃに含まれるような外接矩形Ａのことである。例えば、図４０の短冊領域Ｃ１に含まれる外接矩形Ａは、図中の網掛けを施した矩形である。   Subsequently, as shown in FIG. 40, after the scanned image is divided into a plurality of strip-shaped regions C in a direction parallel to the page binding portion 41 of the book document 40 (step S102), each strip region C is included therein. A feature amount relating to the included character circumscribing rectangle A is obtained (step S103). Here, the circumscribed rectangle A included in a strip area C is a circumscribed rectangle A whose center is included in the strip area C. For example, the circumscribed rectangle A included in the strip region C1 of FIG. 40 is a shaded rectangle in the drawing.

さて、上記の文字外接矩形Ａに関する特徴量は、
（文字の横辺の長さ）／（文字の縦辺の長さ）＝ｗ／ｈ
を基に求められる。すなわち、各短冊領域Ｃについて、そこに含まれる全ての文字外接矩形Ａのｗ／ｈの値の平均値をその短冊領域Ｃの特徴量とするのである。 Now, the feature amount related to the character circumscribed rectangle A is as follows.
(Length of horizontal side of character) / (Length of vertical side of character) = w / h
Required based on That is, for each strip region C, the average value of w / h values of all the character circumscribed rectangles A included therein is used as the feature amount of the strip region C.

しかしながら、単に、ｗ／ｈの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、ｗ／ｈの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、ｗが極端に大きい文字外接矩形Ａが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にｗが大きいものを予め排除しておく必要がある。そこで、続くステップＳ１０４においては、予め閾値を定めておいて、ｈの値がその閾値より小さな文字外接矩形Ａを予め排除するとともに、ｗ／ｈの比率に関する閾値を予め定めておき、ｗ／ｈの値が其の閾値よりも大きい文字外接矩形Ａも予め排除する。例えば、図４１中に示した網掛けを施した文字外接矩形Ａが予め排除されることになる。   However, simply calculating the average value of w / h may be inappropriate. Some characters, such as punctuation marks and symbols in mathematical formulas, are originally small in size and have unstable w / h values. In addition, adjacent characters may be extracted when the rectangle is extracted, resulting in a character circumscribing rectangle A having an extremely large w. When obtaining the feature amount, it is necessary to exclude such special characters or extremely large w in advance. Therefore, in the subsequent step S104, a threshold value is determined in advance, and the character circumscribed rectangle A whose h value is smaller than the threshold value is excluded in advance, and a threshold value regarding the ratio of w / h is determined in advance. Character circumscribing rectangle A whose value is larger than the threshold is also excluded in advance. For example, the circumscribed rectangle A that is shaded as shown in FIG. 41 is excluded in advance.

続くステップＳ１０５においては、前述したように極端な文字外接矩形Ａを排除した後に、各短冊領域Ｃ内の文字外接矩形Ａのｗ／ｈの平均値を求める。図４２に各短冊領域Ｃ内の外接矩形Ａのｗ／ｈの平均値の一例を示す。なお、図４２中の短冊領域Ｃ２は、ブック原稿４０のページ綴じ部４１を含む短冊領域である。   In the subsequent step S105, after eliminating the extreme character circumscribing rectangle A as described above, the average value of w / h of the character circumscribing rectangle A in each strip region C is obtained. FIG. 42 shows an example of the average value of w / h of the circumscribed rectangle A in each strip area C. Note that a strip region C2 in FIG. 42 is a strip region including the page binding portion 41 of the book document 40.

続いて、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在するか否かを判断する（ステップＳ１０６）。これは、図４１に示すように、一般にはブック原稿４０のページ綴じ部４１付近には文字外接矩形Ａが存在しない場合が多いからである。ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在する場合は（ステップＳ１０６のＹ）、その文字外接矩形Ａを利用して特徴量は算出されているのでそのままステップＳ１０８に進む。   Subsequently, it is determined whether or not the character circumscribed rectangle A exists in the strip area C2 including the page binding portion 41 of the book document 40 (step S106). This is because, as shown in FIG. 41, generally, there are many cases where the character circumscribing rectangle A does not exist near the page binding portion 41 of the book document 40. If the character circumscribing rectangle A exists in the strip area C2 including the page binding portion 41 of the book document 40 (Y in step S106), the feature amount is calculated using the character circumscribing rectangle A, so that the step S108 is performed as it is. Proceed to

一方、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２に文字外接矩形Ａが存在しない場合は（ステップＳ１０６のＮ）、ステップＳ１０７に進み、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量を求める。なお、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の識別は、例えば、スキャン画像（例えば、モノクロ多値画像）の地肌濃度変化を各短冊領域Ｃごとに求め、短冊領域Ｃ内の最も濃度の薄い濃度値を求めることにより実現される。図４３は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２であるとみなされる。   On the other hand, if the character circumscribing rectangle A does not exist in the strip area C2 including the page binding portion 41 of the book document 40 (N in step S106), the process proceeds to step S107, and the strip area C2 including the page binding portion 41 of the book document 40 is displayed. Find the feature quantity. The strip region C2 including the page binding portion 41 of the book document 40 is identified by, for example, obtaining a background density change of a scanned image (for example, a monochrome multi-value image) for each strip region C, and obtaining the most in the strip region C. This is realized by obtaining a low density value. FIG. 43 shows an example of obtaining the background density change, and the strip area with the highest background density is regarded as the strip area C2 including the page binding portion 41 of the book document 40.

なお、スキャン画像がカラー多値画像の場合におけるブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の識別は、例えばＲＧＢ成分の何れか一つの成分（例えばＧ成分）に着目し、そのＧ成分の地肌濃度を使用して識別するようにすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分を使用してブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２を識別するようにしても良い。   When the scanned image is a color multivalued image, the identification of the strip region C2 including the page binding portion 41 of the book document 40 is focused on, for example, one of the RGB components (for example, the G component), and the G component The background density may be used for identification. Alternatively, RGB may be color-converted into a luminance component and a color difference component, and the strip region C2 including the page binding portion 41 of the book document 40 may be identified using the luminance component.

ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Ａが存在し、かつ、ページ綴じ部４１を含む短冊領域Ｃ２の最近傍である短冊領域Ｃの特徴量に対して予め定めた定数値を乗じることにより算出された値が、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２における特徴量とみなされるものである。つまり、図４２に示した例では、ブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の左右何れの短冊領域Ｃ３，
Ｃ４にも文字外接矩形Ａが存在するので、どちらか適当な方の特徴量を選択し（ここでは右側の○印の方）、それに予め定めた定数値（ここでは０．５）を乗じて、これをブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の特徴量としている。 The feature amount of the strip area C2 including the page binding portion 41 of the book document 40 is determined as follows. Here, there is a character circumscribing rectangle A that can be a statistical feature quantity calculation target, and a constant value determined in advance for the feature quantity of the strip area C that is the closest to the strip area C2 including the page binding portion 41. The value calculated by multiplying by is regarded as the feature amount in the strip region C2 including the page binding portion 41 of the book document 40. That is, in the example shown in FIG. 42, the strip area C3 on either the left or right side of the strip area C2 including the page binding portion 41 of the book document 40 is displayed.
Since C4 also has a character circumscribing rectangle A, select an appropriate feature amount (here, the circle mark on the right) and multiply it by a predetermined constant value (here, 0.5). This is the feature amount of the strip region C2 including the page binding portion 41 of the book document 40.

続くステップＳ１０８においては、各短冊領域Ｃの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Ｃの位置の変化方向（即ち副走査方向）に関する移動平均を求める処理を施すなどして、短冊領域Ｃの位置の変化に対する（副走査方向の）特徴量の変化がなだらかになるようにする。ただし、ここでもブック原稿４０のページ綴じ部４１付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、ブック原稿４０のページ綴じ部４１付近の特徴量の変化の鋭さが失われてしまうからである。   In the subsequent step S108, an appropriate filtering process for the feature amount of each strip area C, for example, a process for obtaining a moving average in the direction of change of the position of the strip area C (ie, the sub-scanning direction) is performed. The change in the feature amount (in the sub-scanning direction) with respect to the change in the position is made gentle. However, also here, special processing is required near the page binding portion 41 of the book document 40. This is because if the filtering is performed using windows whose lengths are all equal in the sub-scanning direction, the sharpness of the feature amount change in the vicinity of the page binding portion 41 of the book document 40 is lost.

ここで、長さが全て５であるウィンドウを用いて図４２に示した各短冊領域Ｃの特徴量に対してフィルタリング処理を施した結果を図４４に示す。図４４に示すように、長さが全て５であるウィンドウを用いてフィルタリング処理を施した場合には、ブック原稿４０のページ綴じ部４１付近の特徴量（ｗ／ｈ）の変化がなだらかになり過ぎてしまう。このような場合には、ブック原稿４０のページ綴じ部４１付近での適切な画像補正が不可能になってしまう。   Here, FIG. 44 shows the result of performing the filtering process on the feature amount of each strip region C shown in FIG. 42 using a window whose length is all five. As shown in FIG. 44, when the filtering process is performed using a window whose length is all 5, the change in the characteristic amount (w / h) in the vicinity of the page binding portion 41 of the book document 40 becomes gentle. It will pass. In such a case, appropriate image correction near the page binding portion 41 of the book document 40 becomes impossible.

そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウがブック原稿４０のページ綴じ部４１を含む短冊領域Ｃ２の両側の短冊領域Ｃ３，Ｃ４に跨がらないように、ページ綴じ部４１付近でウィンドウ長を調整する。ここで、図４５はページ綴じ部４１付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図４５に示すように、ページ綴じ部４１付近でウィンドウ長を調整した場合には、ページ綴じ部４１付近の特徴量（ｗ／ｈ）の変化を適切に表現できるので、良好な画像補正が実現できる。   Therefore, in the present embodiment, in the filtering process, the page binding is performed so that the filter window does not extend over the strip areas C3 and C4 on both sides of the strip area C2 including the page binding portion 41 of the book document 40. The window length is adjusted near the portion 41. Here, FIG. 45 is a graph showing the result of performing the filtering process by adjusting the window length in the vicinity of the page binding portion 41. As shown in FIG. 45, when the window length is adjusted in the vicinity of the page binding portion 41, a change in the feature amount (w / h) in the vicinity of the page binding portion 41 can be appropriately expressed, so that a good image correction is realized. it can.

続くステップＳ１０９においては、各短冊領域Ｃの推定歪み量を算出する。各短冊領域Ｃの推定歪み量の算出手法は、以下に示す通りである。   In subsequent step S109, an estimated distortion amount of each strip region C is calculated. The calculation method of the estimated distortion amount of each strip region C is as follows.

まず、短冊領域の歪み量を算出するための基準となる短冊領域（基準短冊領域）を定める。ここでは、歪みが最も小さいと考えられる短冊領域Ｃ、例えば、特徴量（ｗ／ｈ）が最大である短冊領域Ｃを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図４５においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Ｃが基準短冊領域であり、左側の基準特徴量を“Ｌｗ０／Ｌｈ０”、右側の基準特徴量を“Ｒｗ０／Ｒｈ０”、でそれぞれ示している。   First, a strip area (reference strip area) is defined as a reference for calculating the distortion amount of the strip area. Here, the strip region C that is considered to have the smallest distortion, for example, the strip region C having the maximum feature (w / h) is set as the reference strip region. This process may be performed in common on the left and right pages, but the reference strip area may be determined independently on the left and right. FIG. 45 shows an example in which the reference strip area is determined independently on the left and right sides. The strip area C marked with a circle is the reference strip area, the reference feature value on the left is “Lw0 / Lh0”, and the reference reference on the right The feature amounts are indicated by “Rw0 / Rh0”, respectively.

次に、基準短冊領域の特徴量ｗ０／ｈ０をスキャン画像全体の基準特徴量とし、
（各短冊領域の特徴量）／（基準特徴量）＝（ｗ／ｈ）／（ｗ０／ｈ０）
の値を、各短冊領域の推定歪み量として算出する。 Next, the feature amount w0 / h0 of the reference strip region is set as the reference feature amount of the entire scanned image,
(Feature amount of each strip area) / (reference feature amount) = (w / h) / (w0 / h0)
Is calculated as an estimated amount of distortion in each strip region.

なお、ブック原稿４０のページ綴じ部４１から外れたページ外側付近の短冊領域Ｃを基準短冊領域とすると、ブック原稿４０のページ綴じ部４１付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予めブック原稿４０のページ綴じ部４１付近に限定しておくのが有効である。これを実現するためには、地肌濃度が予め定めた濃度よりも濃い短冊領域Ｃのみから基準短冊領域を求めるようにすれば良い。   Note that if the strip area C near the outside of the page outside the page binding portion 41 of the book document 40 is set as the reference strip area, the size of the font and the type is different from the vicinity of the page binding portion 41 of the book document 40. It is also conceivable that a large estimated distortion amount cannot be calculated. When such an image is targeted, it is effective to limit the search range of the reference strip area to the vicinity of the page binding portion 41 of the book document 40 in advance. In order to realize this, the reference strip region may be obtained only from the strip region C whose background density is higher than a predetermined density.

最後に、スキャン画像に対して、短冊領域Ｃの短辺方向（副走査方向）の拡大処理を行い、ブック原稿４０のページ綴じ部４１付近の歪みを補正する（ステップＳ１１０）。その場合の拡大率（副走査方向の歪み補正率（伸張率））は、ステップＳ１０９において算出した推定歪み量の逆数、すなわち、
（基準特徴量）／（各短冊領域の特徴量）＝（ｗ０／ｈ０）／（ｗ／ｈ）
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図４６は、図４５に示した特徴量に基づいて算出した補正拡大率を示したものである。 Finally, enlargement processing in the short side direction (sub-scanning direction) of the strip region C is performed on the scanned image to correct distortion in the vicinity of the page binding portion 41 of the book document 40 (step S110). In this case, the enlargement ratio (distortion correction ratio (expansion ratio) in the sub-scanning direction) is the reciprocal of the estimated distortion amount calculated in step S109, that is,
(Reference feature value) / (Feature value of each strip area) = (w0 / h0) / (w / h)
And Here, if the above-mentioned standard strip area is defined to be common to the left and right, this enlargement ratio is also calculated based on the standard feature quantity common to the left and right. To do. FIG. 46 shows the corrected enlargement ratio calculated based on the feature amount shown in FIG.

ここに、副走査方向歪み補正率算出手段の機能および副走査方向歪み補正手段の機能が実行される。   Here, the function of the sub-scanning direction distortion correction rate calculation means and the function of the sub-scanning direction distortion correction means are executed.

なお、ここでも、ブック原稿４０のページ綴じ部４１付近から離れた短冊領域Ｃはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、地肌濃度が予め定めた濃度よりも薄い短冊領域Ｃについては、推定歪み量を“１”とする。   In this case as well, the strip area C away from the vicinity of the page binding portion 41 of the book document 40 is likely to be an area where there is no image distortion from the beginning, so there are cases where it is better not to make it an enlargement target. This is because an unnatural distortion may occur due to the enlargement process. In order to prevent this, the estimated distortion amount is set to “1” for the strip region C whose background density is thinner than a predetermined density.

また、短冊領域Ｃ内において共通の補正拡大率を適用した場合、隣接する短冊領域Ｃの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Ｃの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図４６に示す短冊領域Ｃの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。   Further, when a common correction magnification ratio is applied in the strip area C, the correction magnification ratio becomes discontinuous at the boundary between adjacent strip areas C, and the correction image becomes unnatural. Therefore, the correction magnification rate is corrected in advance so that the correction magnification rate at the boundary between adjacent strip regions C changes continuously. For example, the correction magnification rate of the central portion of the strip region C shown in FIG. 46 is plotted as a point indicating the reciprocal of the estimated distortion amount, and these points are connected by line segments to complete a straight line. This can be realized by setting the correction magnification. Through the above processing, the correction magnification rate in the sub-scanning direction of the scanned image is determined.

なお、画像の拡大処理は、例えばコピーの変倍機能として良く使われる３次関数のコンボリューション法等を用いて実行される。   Note that the image enlargement process is executed using, for example, a cubic function convolution method often used as a copy scaling function.

以上、ステップＳ１０１〜Ｓ１１０の処理により副走査方向歪み補正処理（ステップＳ５５）が終了し、図６に示すスキャン画像の歪み補正処理が終了する。ここで、図４７は歪みを補正した画像を示す平面図である。以上の処理によれば、図８に示したようなブック原稿４０のページ綴じ部４１の近傍において生じていたスキャン画像の歪みが、図４７に示すように補正されることになる。   As described above, the sub-scanning direction distortion correction processing (step S55) is completed by the processing in steps S101 to S110, and the distortion correction processing for the scanned image shown in FIG. Here, FIG. 47 is a plan view showing an image with distortion corrected. According to the above processing, the distortion of the scanned image that has occurred in the vicinity of the page binding portion 41 of the book document 40 as shown in FIG. 8 is corrected as shown in FIG.

ここに、主走査方向のスキャン画像の歪みの補正に用いられる歪み補正率（伸張率）が、ページ外形、罫線、文字行またはスキャン画像を副走査方向に貫く画像中心線の形状というスキャン画像中の情報のみから求められる。これにより、ブック原稿４０のページ綴じ部４１とスキャナ部１の主走査方向とが平行な場合に、スキャナ部１の固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））に依存しない歪み補正率（伸張率）を用いてスキャン画像に対する歪み補正を行うことが可能になるので、スキャナ部１の固有パラメータに依存することのない汎用的な装置の提供が可能になる。   Here, the distortion correction rate (expansion rate) used for correcting the distortion of the scanned image in the main scanning direction is the shape of the image center line that penetrates the page outline, ruled line, character line, or scanned image in the sub-scanning direction. Required only from the information. Thus, when the page binding portion 41 of the book document 40 and the main scanning direction of the scanner unit 1 are parallel, it depends on the intrinsic parameters of the scanner unit 1 (the focal plane distance of the lens, the position (address) of the scanning optical axis). Since it is possible to perform distortion correction on a scanned image using a distortion correction rate (expansion rate) that is not performed, it is possible to provide a general-purpose device that does not depend on the intrinsic parameters of the scanner unit 1.

ここに、スキャン画像の歪み補正の際には、まず、スキャン画像にページ外形が存在するか否かが判別され、ページ外形が存在する場合は、罫線や文字行に優先してページ外形を用いてスキャン画像の歪みが補正される。これにより、ページ外形は、文字行や罫線に比べて安定して抽出でき、かつ、スキャン画像の上端や下端により近い部分に位置しており歪みの程度が大きいので歪み形状（歪み率）の推定の安定性も増すことから、スキャン画像の歪み補正の補正精度を向上させることが可能になる。   Here, when correcting distortion of a scanned image, first, it is determined whether or not a page outline exists in the scanned image. If a page outline exists, the page outline is used in preference to ruled lines and character lines. This corrects the distortion of the scanned image. As a result, the page outline can be extracted more stably than character lines and ruled lines, and is located closer to the upper and lower edges of the scanned image and has a large degree of distortion, so the distortion shape (distortion rate) is estimated. Therefore, it is possible to improve the correction accuracy of distortion correction of the scanned image.

また、スキャン画像から罫線候補が抽出され、切断点の数が予め定めた閾値より少ない罫線候補のみが罫線と判別される。これにより、点線や細い文字行等を誤って罫線として抽出することを防止することが可能になるので、罫線の形状に基づくスキャン画像の歪み補正の補正精度を向上させることが可能になる。   Further, ruled line candidates are extracted from the scanned image, and only ruled line candidates whose number of cut points is less than a predetermined threshold are determined as ruled lines. Accordingly, it is possible to prevent a dotted line, a thin character line, and the like from being erroneously extracted as a ruled line, so that it is possible to improve the correction accuracy of the distortion correction of the scanned image based on the shape of the ruled line.

さらに、黒画素ヒストグラムではなく黒白反転数ヒストグラムに基づいて原稿が横書き文書か縦書き文書かが判別されるので、一般に黒画素ヒストグラムの値が同程度の場合には文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなることから、文字領域と写真領域の混同が回避される。これにより、写真部分を文字行として誤認識することが防止されるので、文字行の形状に基づくスキャン画像の歪み補正の補正精度を向上させることが可能になる。   Furthermore, since it is determined whether the original is a horizontally written document or a vertically written document based on the black / white inversion number histogram instead of the black pixel histogram, generally, when the value of the black pixel histogram is approximately the same, the character area is more than the photographic area. Since the value of the black-and-white reversal number histogram becomes large, confusion between the character area and the photograph area is avoided. As a result, it is possible to prevent erroneous recognition of a photographic part as a character line, so that it is possible to improve the correction accuracy of distortion correction of a scanned image based on the shape of the character line.

次に、本発明の第二の実施の形態を図４８及び図４９に基づいて説明する。なお、前述した第一の実施の形態と同じ部分は同じ符号で示し説明も省略する。本実施の形態は、第一の実施の形態とは、主走査方向歪み補正処理が異なるものである。   Next, a second embodiment of the present invention will be described with reference to FIGS. In addition, the same part as 1st Embodiment mentioned above is shown with the same code | symbol, and description is also abbreviate | omitted. This embodiment is different from the first embodiment in main-scanning direction distortion correction processing.

ここで、図４８は本実施の形態の主走査方向歪み補正処理を説明するための説明図である。図４８においては、補正前の基準線、参照線をそれぞれ実線で、補正後の基準線、参照線をそれぞれ点線で表している。補正後の点線は、補正前の基準線、参照線の直線部分（平坦部）をそのまま延長したものである。図４８においては、基準線及び参照線として罫線を例にあげて説明しているが、ページ外形、文字行または仮想ページ外形であっても良い。   Here, FIG. 48 is an explanatory diagram for explaining the main-scanning direction distortion correction processing of the present embodiment. In FIG. 48, the base line and the reference line before correction are each represented by a solid line, and the base line and the reference line after correction are each represented by a dotted line. The corrected dotted line is obtained by extending the straight line portion (flat portion) of the base line and reference line before correction as they are. In FIG. 48, a ruled line is used as an example of the base line and the reference line, but a page outline, a character line, or a virtual page outline may be used.

ここで、副走査方向の位置ｘにおいて、基準線上の点ＰがＰ’に、参照線上の点ＱがＱ’に、それぞれ補正される。さて、位置ｘにおける主走査方向上の任意の点ＹがＹ’に補正されるとすると、次の関係式が成り立つ。
ＹＰ／ＹＱ＝Ｙ’Ｐ’／Ｙ’Ｑ’
よって、各点の主走査方向の位置を、点ＰならＰ（ｘ）というように表すと、
（Ｙ（ｙ）−Ｐ（ｙ））／（Ｙ（ｙ）−Ｑ（ｙ））
＝（Ｙ’（ｙ）−Ｐ’（ｙ））／（Ｙ’（ｙ）−Ｑ’（ｙ））
となるので、これを変形して、
Ｙ（ｙ）＝（（Ｐ（ｙ）−Ｑ（ｙ））／（Ｐ’（ｙ）−Ｑ’（ｙ）））Ｙ’（ｙ）
＋（Ｐ’（ｙ）Ｑ（ｙ）−Ｐ（ｙ）Ｑ’（ｙ））／（Ｐ’（ｙ）−Ｑ’（ｙ））
となる。 Here, at the position x in the sub-scanning direction, the point P on the reference line is corrected to P ′, and the point Q on the reference line is corrected to Q ′. If an arbitrary point Y in the main scanning direction at the position x is corrected to Y ′, the following relational expression is established.
YP / YQ = Y'P '/ Y'Q'
Therefore, if the position of each point in the main scanning direction is expressed as P (x) for point P,
(Y (y) -P (y)) / (Y (y) -Q (y))
= (Y '(y) -P' (y)) / (Y '(y) -Q' (y))
So, transform this,
Y (y) = ((P (y) −Q (y)) / (P ′ (y) −Q ′ (y))) Y ′ (y)
+ (P ′ (y) Q (y) −P (y) Q ′ (y)) / (P ′ (y) −Q ′ (y))
It becomes.

上式を利用して、補正後にＹ’（ｙ）の位置に来るべき点の補正前の位置Ｙ（ｙ）を求めることができる。つまり、補正前のＹ（ｙ）の画素値を補正後のＹ’（ｙ）に移せば良いわけである。   Using the above equation, the position Y (y) before correction of the point that should come to the position of Y ′ (y) after correction can be obtained. That is, the pixel value of Y (y) before correction may be moved to Y ′ (y) after correction.

ただし、Ｙ（ｙ）の算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図４９において、Ｙ（ｙ）の前後の整数をそれぞれＮ，Ｎ＋１、これに対応する画素値をＤ（Ｎ），Ｄ（Ｎ＋１）とすると、Ｙ（ｙ）における画素値Ｄ（Ｙ（ｙ））は図４９に示したような線形関係を満足するように算出する。なお、ここで、（Ｐ（ｙ）−Ｑ（ｙ））／（Ｐ’（ｙ）−Ｑ’（ｙ））が歪み補正率の逆数に相当する。   However, since the calculated value of Y (y) is generally a decimal, a linear interpolation result of pixel values corresponding to integer positions before and after that is used. That is, in FIG. 49, assuming that the integers before and after Y (y) are N and N + 1 and the corresponding pixel values are D (N) and D (N + 1), respectively, the pixel value D (Y ( y)) is calculated so as to satisfy the linear relationship as shown in FIG. Here, (P (y) −Q (y)) / (P ′ (y) −Q ′ (y)) corresponds to the reciprocal of the distortion correction rate.

なお、各実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをパーソナルコンピュータのＨＤＤにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。   In each embodiment, the image distortion correction apparatus is provided in the digital copying machine 16 which is an image forming apparatus, and image distortion correction processing is performed on the scanned image read by the scanner unit 1 of the digital copying machine 16. However, it is not limited to this. For example, an image scanner having an image reading unit for reading a document image is connected to a personal computer, and a program stored in a CD-ROM 37 which is a storage medium is installed in the HDD of the personal computer, whereby an image distortion correction apparatus is installed. Even if it comprises, the effect similar to the various effect mentioned above can be acquired. Further, an image distortion correction apparatus is configured by installing a program stored in a CD-ROM 37 as a storage medium in the HDD of a personal computer, and distortion correction processing is performed on a scanned image read in advance by an image reading means. You may do it.

以上説明したように、本実施形態では、スキャン画像から罫線候補を抽出し、切断点の数が予め定めた閾値より少ない罫線候補のみを罫線と判別することにより、点線や細い文字行等を誤って罫線として抽出することを防止することができるので、罫線の形状に基づくスキャン画像の歪み補正の補正精度を向上させることができる。そして、前記罫線の長さが予め設定した閾値より長いもののみ、又は、前記罫線の一部が綴じ部境界線の左右の一定幅領域内にかかっているもののみを選択して歪み補正に供することにより、罫線の形状に基づくスキャン画像の歪み補正の補正精度を更に向上させることができる。   As described above, in the present embodiment, ruled line candidates are extracted from the scanned image, and only dotted line candidates whose number of cutting points is less than a predetermined threshold are determined as ruled lines, so that dotted lines and thin character lines are erroneously detected. Therefore, it is possible to improve the correction accuracy of the distortion correction of the scanned image based on the shape of the ruled line. Then, only those whose ruled line length is longer than a preset threshold value or only those whose ruled line covers a certain width region on the left and right of the binding boundary line are selected and used for distortion correction. As a result, the correction accuracy of the scan image distortion correction based on the shape of the ruled line can be further improved.

また、左右ページから各々１本ずつの前記罫線を選択して歪み補正に供する場合は、上下いずれかのページ外形に最も近い前記罫線を選択して歪み補正に供するか、又は、左右ページを上下部分に分け、それらの各４部分について各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線の中で、左上部及び右上部においては上端のページ外形に、左下部及び右下部においては下端のページ外形に、それぞれ最も近い前記罫線を選択して歪み補正に供することにより、一般にスキャン画像の上端や下端に近いほど画像の歪みが大きくなることから、罫線の形状に基づくスキャン画像の歪み補正の補正精度を更に向上させることができる。   In addition, when selecting one ruled line from the left and right pages for distortion correction, select the ruled line closest to the top or bottom page outline for distortion correction, or move the left and right pages up and down. In the case where each of the four portions is divided into portions and one ruled line is selected and used for distortion correction, the upper left and the upper right portions of the ruled lines have the upper left page outline, the lower left portion and In the lower right corner, by selecting the ruled line closest to the page outline at the lower end and subjecting it to distortion correction, the distortion of the image generally increases closer to the upper and lower edges of the scanned image, so it is based on the shape of the ruled line The correction accuracy of the scan image distortion correction can be further improved.

さらに、左右ページから各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線の中で、左右ページにおいて湾曲がそれぞれ最も大きい前記罫線を選択して歪み補正に供するか、又は、左右ページを上下部分に分け、それらの各４部分について各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、各部分において湾曲がそれぞれ最も大きい前記罫線を選択して歪み補正に供することにより、湾曲が大きい罫線ほどスキャン画像の上端や下端に近いと推測されることから、罫線の形状に基づくスキャン画像の歪み補正の補正精度を更に向上させることができる。
その際、前記罫線の左右両端点の主走査方向の座標値の差を湾曲の大きさとみなすことにより、各罫線の湾曲の大きさを確実に得ることができる。 Further, in the case where one ruled line is selected from each of the left and right pages for use in distortion correction, the ruled line having the largest curvature in each of the left and right pages is selected for use in distortion correction, or When the left and right pages are divided into upper and lower parts, and one of the four ruled lines is selected and used for distortion correction, in each of the ruled lines determined by the ruled line determining means, By selecting the ruled line having the largest curvature and subjecting it to distortion correction, it is estimated that the ruled line having the largest curvature is closer to the upper and lower edges of the scanned image, so the distortion correction of the scanned image based on the shape of the ruled line is corrected. The accuracy can be further improved.
At this time, by regarding the difference in the coordinate values in the main scanning direction between the left and right end points of the ruled line as the magnitude of the curve, the magnitude of the curve of each ruled line can be obtained with certainty.

また、前記罫線の綴じ部境界線付近を多項式曲線で近似し、多項式近似による推定曲線の形状が不適切である場合には当該罫線を排除し、他の前記罫線を選択して歪み補正に供することにより、例えば多項式近似による推定曲線の形状がスキャン画像の外側へと向かうような場合やスキャン画像を副走査方向に貫く画像中心線を超えて大きく内側へ食い込むような場合には、この罫線を排除し、他の罫線を選択して歪み補正に供するので、罫線の形状に基づくスキャン画像の歪み補正の補正精度を更に向上させることができる。   Also, the vicinity of the border line of the ruled line is approximated by a polynomial curve, and when the shape of the estimated curve by polynomial approximation is inappropriate, the ruled line is excluded, and the other ruled line is selected for distortion correction. Therefore, for example, when the shape of the estimated curve by polynomial approximation goes to the outside of the scanned image, or when it digs inward greatly beyond the image center line that penetrates the scanned image in the sub-scanning direction, this ruled line is used. Since it is eliminated and another ruled line is selected and used for distortion correction, the correction accuracy of the distortion correction of the scanned image based on the shape of the ruled line can be further improved.

１・・・画像読取装置、２・・・コンタクトガラス、１６・・・画像形成装置、２９・・・画像歪み補正装置、４０・・・ブック原稿、４１・・・ページ綴じ部。   DESCRIPTION OF SYMBOLS 1 ... Image reading apparatus, 2 ... Contact glass, 16 ... Image forming apparatus, 29 ... Image distortion correction apparatus, 40 ... Book original, 41 ... Page binding part.

特開平５−１６１００２号公報Japanese Patent Laid-Open No. 5-161002 特開平１１−４１４５５号公報JP 11-41455 A

Ｔ． Ｗａｄａ， Ｈ． Ｕｃｈｉｄａ ａｎｄ Ｔ． Ｍａｔｓｕｙａｍａ， “Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇ ｗｉｔｈ Ｉｎｔｅｒｒｅｆｌｅｃｔｉｏｎｓ ｕｎｄｅｒ ａ Ｐｒｏｘｉｍａｌ Ｌｉｇｈｔ Ｓｏｕｒｃｅ： Ｄｉｓｔｏｒｔｉｏｎ−Ｆｒｅｅ Ｃｏｐｙｉｎｇ ｏｆ ａｎ Ｕｎｆｏｌｄｅｄ Ｂｏｏｋ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２４（２）， １２５−１３５（１９９７）T.A. Wada, H.M. Uchida and T. Matsuyama, “Shape from Shading with Interreflations under a Proximity Light Source: Distortion-Free Copied of an Unfolded Bump”, 24

Claims (12)

コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像から抽出された罫線の形状に基づき補正する画像歪み補正装置において、
前記スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素の数を前記画像読取手段による画像読み取りの副走査方向に関してカウントしたカウント数に基づいて主走査方向に関してのヒストグラムを生成し、前記ヒストグラムのパターンに基づいて前記スキャン画像から前記罫線の候補を抽出する罫線候補抽出手段と、
前記罫線候補抽出手段により抽出された前記罫線候補上の適当な位置を開始点とし、前記開始点から前記罫線候補を左右方向へ探索して前記罫線候補が途切れている切断点の数を累積し、前記切断点の数が予め定めた閾値より少ない場合は前記罫線候補を前記罫線と判別する罫線判別手段と、
を有することを特徴とする画像歪み補正装置。 In an image distortion correction apparatus for correcting distortion of a scanned image obtained by reading a book document placed on a contact glass by an image reading unit based on a shape of a ruled line extracted from the scanned image,
A histogram in the main scanning direction is formed on the basis of the count number obtained by counting the number of pixels whose density value is darker than a predetermined density value among the pixels of the scanned image in the sub-scanning direction of image reading by the image reading unit. A ruled line candidate extracting means for generating and extracting the ruled line candidate from the scanned image based on the histogram pattern;
Starting from an appropriate position on the ruled line candidate extracted by the ruled line candidate extracting means, the ruled line candidate is searched from the start point in the left-right direction, and the number of cutting points at which the ruled line candidate is interrupted is accumulated. A ruled line discriminating means for discriminating the ruled line candidate from the ruled line when the number of cut points is less than a predetermined threshold;
An image distortion correction apparatus comprising: 請求項１に記載された画像歪み補正装置において、
前記罫線判別手段により判別された前記罫線の中で、前記罫線の長さが予め設定した閾値より長いもののみを選択して歪み補正に供することを特徴とする画像歪み補正装置。 The image distortion correction apparatus according to claim 1,
An image distortion correction apparatus characterized in that, among the ruled lines determined by the ruled line determination means, only those whose ruled line length is longer than a preset threshold value are selected and used for distortion correction. 請求項１または２に記載された画像歪み補正装置において、
前記罫線判別手段により判別された前記罫線の中で、前記罫線の一部が綴じ部境界線の左右の一定幅領域内にかかっているもののみを選択して歪み補正に供することを特徴とする画像歪み補正装置。 In the image distortion correction device according to claim 1 or 2,
Among the ruled lines discriminated by the ruled line discriminating means, only those having a part of the ruled lines that fall within a fixed width region on the left and right of the binding boundary line are selected and used for distortion correction. Image distortion correction device. 請求項１ないし３のいずれかに記載された画像歪み補正装置において、
左右ページから各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、上下いずれかのページ外形に最も近い前記罫線を選択して歪み補正に供することを特徴とする画像歪み補正装置。 In the image distortion correction device according to any one of claims 1 to 3,
When selecting one ruled line from each of the left and right pages for distortion correction, select the ruled line closest to the upper or lower page outline from among the ruled lines determined by the ruled line determining means. An image distortion correction apparatus for use in distortion correction. 請求項１ないし３のいずれかに記載された画像歪み補正装置において、
左右ページを上下部分に分け、それらの各４部分について各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、左上部及び右上部においては上端のページ外形に、左下部及び右下部においては下端のページ外形に、それぞれ最も近い前記罫線を選択して歪み補正に供することを特徴とする画像歪み補正装置。 In the image distortion correction device according to any one of claims 1 to 3,
When the left and right pages are divided into upper and lower parts, and one of the four ruled lines is selected and used for distortion correction, the upper left and upper right of the ruled lines determined by the ruled line determination means An image distortion correction apparatus that selects the ruled line closest to the upper edge of the page outline at the upper part and the lower edge of the page outline at the lower left and the lower right, respectively, for distortion correction. 請求項１ないし３のいずれかに記載された画像歪み補正装置において、
左右ページから各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、左右ページにおいて湾曲がそれぞれ最も大きい前記罫線を選択して歪み補正に供することを特徴とする画像歪み補正装置。 In the image distortion correction device according to any one of claims 1 to 3,
When one ruled line is selected from each of the left and right pages and used for distortion correction, the ruled line determined by the ruled line determination unit is selected and distorted by selecting the ruled line having the largest curvature on the left and right pages. An image distortion correction apparatus for use in correction. 請求項１ないし３のいずれかに記載された画像歪み補正装置において、
左右ページを上下部分に分け、それらの各４部分について各々１本ずつの前記罫線を選択して歪み補正に供する場合は、前記罫線判別手段により判別された前記罫線の中で、各部分において湾曲がそれぞれ最も大きい前記罫線を選択して歪み補正に供することを特徴とする画像歪み補正装置。 In the image distortion correction device according to any one of claims 1 to 3,
When dividing the left and right pages into upper and lower parts and selecting one ruled line for each of these four parts for use in distortion correction, the curved line is curved at each part among the ruled lines determined by the ruled line determining means. An image distortion correction apparatus characterized by selecting the ruled line having the largest value for distortion correction. 請求項６または７に記載された画像歪み補正装置において、
前記罫線の左右両端点の主走査方向の座標値の差を湾曲の大きさとみなすことを特徴とする画像歪み補正装置。 In the image distortion correction device according to claim 6 or 7,
An image distortion correction apparatus characterized in that a difference in coordinate values in the main scanning direction between the left and right end points of the ruled line is regarded as a curve size. 請求項１ないし８のいずれかに記載された画像歪み補正装置において、
前記選択された前記罫線の綴じ部境界線付近を多項式曲線で近似し、多項式近似による推定曲線の形状が不適切である場合には当該罫線を排除し、他の前記罫線を選択して歪み補正に供することを特徴とする画像歪み補正装置。 The image distortion correction apparatus according to any one of claims 1 to 8,
Approximate the vicinity of the binding boundary of the selected ruled line with a polynomial curve. If the shape of the estimated curve by polynomial approximation is inappropriate, exclude the ruled line and select another ruled line to correct the distortion. An image distortion correction apparatus characterized by being provided for. 原稿画像を読み取る画像読取手段と、
前記画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし９のいずれかに記載された画像歪み補正装置と、
を有することを特徴とする画像読取装置。 Image reading means for reading a document image;
The image distortion correction apparatus according to any one of claims 1 to 9, which corrects a scanned image read by the image reading unit;
An image reading apparatus comprising: 原稿画像を読み取る画像読取手段と、
前記画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし９のいずれかに記載された画像歪み補正装置と、
前記画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、
を有することを特徴とする画像形成装置。 Image reading means for reading a document image;
The image distortion correction apparatus according to any one of claims 1 to 9, which corrects a scanned image read by the image reading unit;
An image printing apparatus that prints an image on paper based on image data output from the image distortion correction apparatus;
An image forming apparatus comprising: コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像から抽出された罫線の形状に基づく当該スキャン画像の画像歪み補正をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素の数を前記画像読取手段による画像読み取りの副走査方向に関してカウントしたカウント数に基づいて主走査方向に関してのヒストグラムを生成し、前記ヒストグラムのパターンに基づいて前記スキャン画像から前記罫線の候補を抽出する罫線候補抽出機能と、
前記罫線候補抽出機能により抽出された前記罫線候補上の適当な位置を開始点とし、前記開始点から前記罫線候補を左右方向へ探索して前記罫線候補が途切れている切断点の数を累積し、前記切断点の数が予め定めた閾値より少ない場合は前記罫線候補を前記罫線と判別する罫線判別機能と、
を実行させることを特徴とするプログラム。
A program for causing a computer to execute image distortion correction of the scanned image based on the shape of the ruled line extracted from the scanned image obtained by reading the book document placed on the contact glass by the image reading unit,
A histogram in the main scanning direction is formed on the basis of the count number obtained by counting the number of pixels whose density value is darker than a predetermined density value among the pixels of the scanned image in the sub-scanning direction of image reading by the image reading unit. A ruled line candidate extraction function for generating and extracting the ruled line candidates from the scanned image based on the histogram pattern;
Starting from an appropriate position on the ruled line candidate extracted by the ruled line candidate extraction function, the ruled line candidate is searched from the start point in the left-right direction, and the number of cut points at which the ruled line candidate is interrupted is accumulated. A ruled line discriminating function for discriminating the ruled line candidate from the ruled line when the number of cutting points is less than a predetermined threshold;
A program characterized by having executed.

Images