JP4695520B2

JP4695520B2 - Image processing apparatus, image processing method, and image processing program

Info

Publication number: JP4695520B2
Application number: JP2006032604A
Authority: JP
Inventors: 啓嗣小島
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2006-02-09
Filing date: 2006-02-09
Publication date: 2011-06-08
Anticipated expiration: 2026-02-09
Also published as: JP2007213325A

Description

本発明は、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program.

従来から、画像を読み込み、該画像のイメージのデータを生成する画像処理装置において、生成するイメージに含まれている、画像を読み込む際に生じる用紙の水平又は垂直方向の角度のずれや、画像を有する媒体が綴られていることに起因する歪みの補正を行うことにより、読み込まれた画像のイメージと、生成したイメージとを略同一にする画像処理装置がある。 2. Description of the Related Art Conventionally, in an image processing apparatus that reads an image and generates image data of the image, the horizontal or vertical angle deviation of the paper that occurs when the image is read, There is an image processing apparatus that makes an image of a read image substantially the same as a generated image by correcting distortion caused by the spelled medium.

読み込んだ画像が写真等のイメージの場合は、上記の補正によって、イメージのデータを利用・加工する際に品質の良いイメージを用いることができる。例えば、特開２００５−２２９１９４号公報（特許文献１）には、書籍等、綴られた媒体に形成された画像を読み込む際に生じる歪みを補正する画像歪み補正装置が開示されている。上記特許文献１では、文字のイメージを矩形に近似し、それら及び罫線等の位置、形状、間隔、及び、ページ外形等の特徴量から、読み込まれた画像のイメージとのずれを求め、補正を行う。 When the read image is an image such as a photograph, a high-quality image can be used when the image data is used / processed by the above correction. For example, Japanese Patent Laying-Open No. 2005-229194 (Patent Document 1) discloses an image distortion correction apparatus that corrects distortion generated when an image formed on a spelled medium such as a book is read. In Patent Document 1, a character image is approximated to a rectangle, and a deviation from the image of the read image is obtained from the position, shape, spacing, and page outline of the ruled line and the like, and the correction is performed. Do.

図１０及び１１は、上記特許文献１の実施例を示す図を引用したものであり、生成されたイメージにおける特徴量の例を説明するものである。 FIG. 10 and FIG. 11 quote the figure which shows the Example of the said patent document 1, and demonstrates the example of the feature-value in the produced | generated image.

図１０において、上下方向を主走査方向、左右方向を副走査方向とすると、ｘ０は、ページ外形に歪みがある部分と無い部分との副走査方向における境界点であり、ｈ０は、副走査方向の点ｘ０における主走査方向のページ上端と下端との距離である。ｈは、ページ外形に歪みがある任意の点ｘにおける主走査方向のページ上端と下端との距離である。図１１は、文字のイメージを矩形に近似し、それらの相対的な位置から行を表す近似曲線を求める場合の説明図である。文字を表す矩形の縦成分の中心を求め、それらの並びを最小二乗法等で近似することにより、行の歪みを求める。 In FIG. 10, when the vertical direction is the main scanning direction and the horizontal direction is the sub-scanning direction, x0 is a boundary point in the sub-scanning direction between a portion with and without distortion in the page outline, and h0 is the sub-scanning direction. This is the distance between the upper and lower ends of the page in the main scanning direction at the point x0. h is the distance between the upper and lower ends of the page in the main scanning direction at an arbitrary point x where the page outline is distorted. FIG. 11 is an explanatory diagram for approximating a character image to a rectangle and obtaining an approximate curve representing a line from their relative positions. The center of the vertical component of the rectangle representing the character is obtained, and the line distortion is obtained by approximating the arrangement by the least square method or the like.

また、文字のイメージをテキストデータに変換する場合には、生成したイメージのデータと、装置が有するテキストデータに対応する文字のイメージとの、パターンマッチングに先立ち、上記の補正を行うことにより、パターンマッチングの精度をあげることができる。 In addition, when converting a character image into text data, the above-described correction is performed prior to pattern matching between the generated image data and the character image corresponding to the text data included in the apparatus, so that a pattern is obtained. Matching accuracy can be increased.

しかし、上記の補正を行っても、なお、生成したイメージと、画像の本来のイメージとを略同一にすることができない場合には、補正の結果や、補正の結果得られるイメージに基づくテキストデータの取得等の結果が、読み込まれた画像の本来の意味と異なる場合が生じる。 However, if the generated image and the original image of the image cannot be made substantially the same even after performing the above correction, the correction data or text data based on the image obtained as a result of the correction In some cases, the result of the acquisition or the like differs from the original meaning of the read image.

そこで、特開平１０−３５１５号公報（特許文献２）には、生成したイメージのデータから、テキストデータを取得する場合に、テキストデータの候補を複数表示し、選択する画像処理方法が開示されている。また、特開２０００−２９３６３２号公報（特許文献３）には、テキストデータを取得する複数の方法がある場合に、それらの出力する候補を、確信度に基づく順に表示し選択する文字列認識装置の例が開示されている。 Japanese Patent Application Laid-Open No. 10-3515 (Patent Document 2) discloses an image processing method for displaying and selecting a plurality of text data candidates when acquiring text data from the generated image data. Yes. Japanese Patent Laid-Open No. 2000-293632 (Patent Document 3) discloses a character string recognition device that displays and selects candidates to be output in order based on certainty factors when there are a plurality of methods for acquiring text data. Examples are disclosed.

さらに、特開２００１−１０１３３８号公報（特許文献４）には、テキストデータを取得できなかった場合に、その部分のイメージと、取得できなかったことを示すパターンとを表示する画像処理装置が開示されている。
特開２００５−２２９１９４号公報特開平１０−３５１５号公報特開２０００−２９３６３２号公報特開２００１−１０１３３８号公報 Furthermore, Japanese Patent Laid-Open No. 2001-101338 (Patent Document 4) discloses an image processing apparatus that displays an image of a part and a pattern indicating that the text data could not be acquired when the text data could not be acquired. Has been.
JP 2005-229194 A Japanese Patent Laid-Open No. 10-3515 JP 2000-293632 A JP 2001-101338 A

しかしながら、特許文献１から４に開示されている技術は、いずれも、生成したイメージに基づく処理によって、最終結果であるイメージのデータやテキストデータ、又は、それらの候補を得るものであり、最終結果、又は、それらの候補が、読み込まれた画像の本来の意味と異なる場合には、再度、条件を変更して画像を読み込ませる、ユーザがキーボード等で直接入力して指示することにより補正を行う、等、煩雑な処理が必要であるという不具合があった。 However, any of the techniques disclosed in Patent Documents 1 to 4 obtains final image data or text data, or candidates thereof, by processing based on the generated image. Or, when these candidates are different from the original meaning of the read image, the condition is changed again, and the image is read again. There is a problem that complicated processing is necessary.

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、画像を読み込み、生成したイメージのデータに行う補正の内容を入力し、生成したイメージと、入力した画像のイメージとを略同一にすることのできる画像処理装置を提供することを目的としている。 The present invention has been invented in order to solve these problems in view of the above points, and reads an image, inputs the contents of correction performed on the generated image data, and generates the input image, An object of the present invention is to provide an image processing apparatus capable of making the images of the images substantially the same.

上記目的を達成するために、本発明の画像処理装置は次のような構成を採用した。 In order to achieve the above object, the image processing apparatus of the present invention employs the following configuration.

本発明の画像処理装置は、入力された画像からイメージを取得し、取得したイメージを、入力された画像のイメージと略同一になるように補正する補正手段と、前記取得したイメージの特徴量を求め、該特徴量に基づく、前記補正手段が行う補正の内容の候補を複数生成する候補生成手段と、前記候補生成手段が生成した複数の補正の内容の候補を表示する候補表示手段と、を有する画像処理装置において、ユーザにより、前記補正候補表示手段が表示する補正の内容の候補の中に、前記入力された画像のイメージと前記取得したイメージとを略同一にする補正の内容の候補が無いと判断された場合に、前記ユーザにより、前記略同一にする補正の内容の候補が入力される補正内容入力手段を有する構成とすることができる。 An image processing apparatus according to the present invention acquires an image from an input image, corrects the acquired image so that the acquired image is substantially the same as the image of the input image, and the feature amount of the acquired image. calculated based on the feature amount, the candidate generation unit that generates a plurality of candidates of the contents of the correction by the correction means performs a candidate display means for displaying the candidates of contents of a plurality of correction the candidate generating unit has generated, the In the image processing apparatus, a correction content candidate that makes the input image image and the acquired image substantially the same among the correction content candidates displayed by the correction candidate display means by the user. If it is determined that there is no correction , the user may have a correction content input means for inputting candidates for the correction content to be substantially the same.

これにより、取得したイメージと、入力された画像のイメージとを略同一にすることのできる画像処理装置を提供することができる。 Thereby, the image processing apparatus which can make the acquired image and the image of the input image substantially the same can be provided.

また、上記目的を達成するために、本発明の画像処理装置における前記取得したイメージの特徴量とは、前記取得したイメージと、前記入力された画像のイメージとの、角度のずれ、及び、歪み、並びに、前記入力された画像のイメージが有する綴りの位置のうち、少なくとも一つに係る情報であるように構成することができる。 In order to achieve the above object, the feature amount of the acquired image in the image processing apparatus of the present invention is an angular shift and distortion between the acquired image and the image of the input image. In addition, the information may be information related to at least one of the spelling positions of the input image.

これにより、取得したイメージに補正を行う際に、補正の途中段階である特徴を表す情報のうち、少なくとも一以上情報について、入力された画像のイメージの特徴と略同一にすることのできる画像処理装置を提供することができる。 As a result, when correcting the acquired image, at least one or more pieces of information representing the characteristics in the middle of the correction can be made substantially the same as the image characteristics of the input image. An apparatus can be provided.

また、上記目的を達成するために、本発明の画像処理装置における前記候補生成手段は、前記複数生成された前記補正の内容の候補に対応した結果のイメージを生成し、前記候補表示手段は、該生成されたイメージを表示する構成とすることができる。 In order to achieve the above object, the candidate generation means in the image processing apparatus of the present invention generates a result image corresponding to the plurality of correction content candidates , and the candidate display means includes: The generated image can be displayed .

これにより、取得したイメージに補正を行う場合に、補正の内容に対応した結果のイメージを確認することができ、入力された画像のイメージと略同一にすることのできる画像処理装置を提供することができる。 Thus, when correcting an acquired image, it is possible to confirm an image corresponding to the content of the correction, and to provide an image processing apparatus that can be made substantially the same as an input image. Can do.

また、上記目的を達成するために、本発明の画像処理装置における前記候補生成手段は、前記補正の結果得られるイメージと、前記入力された画像のイメージとの類似度が、所定の値より大きくなる前記補正の内容を、候補として出力する構成とすることができる。 In order to achieve the above object, the candidate generation means in the image processing apparatus of the present invention has a similarity between the image obtained as a result of the correction and the image of the input image larger than a predetermined value. The contents of the correction may be output as candidates.

これにより、取得したイメージに補正を行う場合に、補正の内容に対応した結果のイメージの候補のうち、類似度の高いものを選択的に表示する画像処理装置を提供することができる。 Thereby, when correcting the acquired image, it is possible to provide an image processing apparatus that selectively displays an image candidate having a high similarity among the image candidates corresponding to the correction content.

また、上記目的を達成するために、本発明の画像処理方法は、入力された画像からイメージを取得し、取得したイメージを、入力された画像のイメージと略同一になるように補正する補正ステップと、前記取得したイメージの特徴量を求め、該特徴量に基づく、前記補正ステップが行う補正の内容の候補を複数生成する候補生成ステップと、前記候補生成ステップで生成した複数の補正の内容の候補を表示する候補表示ステップとを有する画像処理方法において、ユーザにより、前記補正候補表示ステップにおいて表示する補正の内容の候補の中に、前記入力された画像のイメージと前記取得したイメージとを略同一にする補正の内容の候補が無いと判断された場合に、前記ユーザにより、前記略同一にする補正の内容の候補が入力される補正内容入力ステップを有する構成とすることができる。 In order to achieve the above object, the image processing method of the present invention acquires an image from an input image, and corrects the acquired image so as to be substantially the same as the image of the input image. A candidate generation step of obtaining a feature amount of the acquired image, generating a plurality of correction content candidates performed by the correction step based on the feature amount, and a plurality of correction content generated in the candidate generation step In the image processing method including the candidate display step for displaying candidates, the image of the input image and the acquired image are abbreviated among the correction content candidates displayed in the correction candidate display step by the user. if the candidate of the contents of correction for the same is determined to not, by the user, a candidate of the contents of the correction to the substantially same is complement It can be configured to have a content input step.

これにより、取得したイメージと、入力された画像のイメージとを略同一にすることのできる画像処理方法を提供することができる。 Thereby, the image processing method which can make the acquired image and the image of the input image substantially the same can be provided.

また、上記目的を達成するために、本発明の画像処理方法における前記取得したイメージの特徴量とは、前記取得したイメージと、前記入力された画像のイメージとの、角度のずれ、及び、歪み、並びに、前記入力された画像のイメージが有する綴りの位置のうち、少なくとも一つに係る情報であるように構成することができる。 In order to achieve the above object, the feature amount of the acquired image in the image processing method of the present invention is an angular deviation and distortion between the acquired image and the image of the input image. In addition, the information may be information related to at least one of the spelling positions of the input image.

これにより、取得したイメージに補正を行う際に、補正の途中段階である特徴を表す情報のうち、少なくとも一以上情報について、入力された画像のイメージの特徴と略同一にすることのできる画像処理方法を提供することができる。 As a result, when correcting the acquired image, at least one or more pieces of information representing the characteristics in the middle of the correction can be made substantially the same as the image characteristics of the input image. A method can be provided.

また、上記目的を達成するために、本発明の画像処理方法における前記候補生成ステップは、前記複数生成された前記補正の内容の候補に対応した結果のイメージを生成し、前記候補表示ステップは、該生成されたイメージを表示する構成とすることができる。 In order to achieve the above object, the candidate generation step in the image processing method of the present invention generates a result image corresponding to the plurality of correction content candidates generated, and the candidate display step includes: The generated image can be displayed .

これにより、取得したイメージに補正を行う場合に、補正の内容に対応した結果のイメージを確認することができ、入力された画像のイメージと略同一にすることのできる画像処理方法を提供することができる。 Thus, when correcting an acquired image, it is possible to confirm an image corresponding to the content of the correction, and to provide an image processing method that can be made substantially the same as an input image. Can do.

また、上記目的を達成するために、本発明の画像処理方法における前記候補生成ステップは、前記補正の結果得られるイメージと、前記入力された画像のイメージとの類似度が、所定の値より大きくなる構成とすることができる。 In order to achieve the above object, the candidate generation step in the image processing method of the present invention is such that the similarity between the image obtained as a result of the correction and the image of the input image is greater than a predetermined value. It can be set as the structure which becomes.

また、上記目的を達成するために、本発明の画像処理プログラムは、コンピュータに、請求項５ないし８何れか一項に記載の画像処理方法を実行させる構成とすることができる。 In order to achieve the above object, the image processing program of the present invention can be configured to cause a computer to execute the image processing method according to any one of claims 5 to 8 .

これにより、取得したイメージと、入力された画像のイメージとを略同一にすることのできる画像処理プログラムを提供することができる。 Accordingly, it is possible to provide an image processing program capable of making the acquired image and the input image image substantially the same.

本発明によれば、画像を読み込み、生成したイメージのデータに行う補正の内容を入力し、生成したイメージと、入力した画像のイメージとを略同一にすることのできる画像処理装置を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus that reads an image, inputs details of correction performed on the generated image data, and makes the generated image substantially the same as the input image. Can do.

以下、本発明の実施例を図面に基づき説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明の画像処理装置の構成図である。図１では、画像処理装置１が、入力画像２を読み込むことにより取得したイメージの特徴量を求めることにより、前記取得したイメージが、入力画像２のイメージと略同一になるように補正を行い、補正されたイメージ３を生成する。画像処理装置１は、候補生成手段１０、候補表示手段２０、補正手段３０、及び、補正内容入力手段４０とから構成される。 FIG. 1 is a configuration diagram of an image processing apparatus according to the present invention. In FIG. 1, the image processing apparatus 1 performs correction so that the acquired image is substantially the same as the image of the input image 2 by obtaining the feature amount of the image acquired by reading the input image 2. A corrected image 3 is generated. The image processing apparatus 1 includes a candidate generation unit 10, a candidate display unit 20, a correction unit 30, and a correction content input unit 40.

候補生成手段１０は、入力画像２を読み込むことにより取得したイメージの特徴量を求め、該特徴量に基づく補正の候補を生成する。取得したイメージの特徴量とは、例えば、入力画像２が形成されている媒体の周辺を表す線、入力画像２のイメージに含まれる要素の歪み、前記要素間の間隔等の相対位置、又は、入力画像２が綴られている場合に現れる、綴り位置を表す線等である。 The candidate generation unit 10 obtains the feature amount of the image acquired by reading the input image 2 and generates a correction candidate based on the feature amount. The feature amount of the acquired image is, for example, a line representing the periphery of the medium on which the input image 2 is formed, a distortion of an element included in the image of the input image 2, a relative position such as an interval between the elements, or It is a line representing a spelling position that appears when the input image 2 is spelled.

取得したイメージに補正が必要となるのは、例えば、入力画像２を読み込む際に、入力画像２が形成されている媒体を適切に装置に入力することができなかったことに起因するものであり、イメージ全体が上下方向の垂線に対して傾きを有する場合、スキャナ等の読み取り部分の装置の角度が、走査方向に対してずれていることに起因するスキュー歪みが生じる場合、又は、入力画像２が形成されている媒体が綴られていることに起因する歪が生じる場合等である。 The reason why the acquired image needs to be corrected is that, for example, when the input image 2 is read, the medium on which the input image 2 is formed cannot be properly input to the apparatus. When the entire image has an inclination with respect to the vertical line in the vertical direction, when a skew distortion occurs due to the angle of the reading unit such as the scanner being shifted with respect to the scanning direction, or the input image 2 This is a case where a distortion caused by the spelling of the medium on which the is formed occurs.

候補生成手段１０は、取得したイメージの特徴量を求め、該特徴量、該特徴量を表すイメージ、又は、該特徴量に基づき補正を行った結果に対応するイメージを生成し、それらを補正の内容の候補として、候補表示手段２０に出力する。候補表示手段２０は、候補生成手段１０より入力された補正の内容の候補を表示する。 The candidate generation means 10 obtains the feature amount of the acquired image, generates the feature amount, an image representing the feature amount, or an image corresponding to a result of correction based on the feature amount, and corrects them. The candidate is output to the candidate display means 20 as a content candidate. The candidate display unit 20 displays the correction content candidates input from the candidate generation unit 10.

補正手段３０は、候補表示手段２０に表示された補正の中から、一の補正を選択し、取得したイメージに対して補正を行い、補正されたイメージ３を生成する。 The correction unit 30 selects one correction from the corrections displayed on the candidate display unit 20, corrects the acquired image, and generates a corrected image 3.

ところで、候補生成手段１０が、取得したイメージの特徴量に基づいて生成した補正の内容の候補の中に、取得したイメージと、入力画像２のイメージとを略同一にする補正の内容の候補が無い場合には、補正内容入力手段４０から補正の内容の候補を入力することにより、２つのイメージを略同一にする補正を行う。補正入力手段４０は、例えば、タッチパネル、マウス等の入力機器を有するパソコン、又は、紙面に記載された記号を読み込むスキャナ等によって構成される。 By the way, among the correction content candidates generated by the candidate generation unit 10 based on the acquired feature amount of the image, there are correction content candidates that make the acquired image and the image of the input image 2 substantially the same. If there is no correction, a correction content candidate is input from the correction content input means 40 to make the two images substantially the same. The correction input means 40 is configured by, for example, a personal computer having an input device such as a touch panel or a mouse, or a scanner that reads a symbol written on a paper surface.

図２から図７は、入力画像２、取得したイメージ、及び、補正の内容の候補のイメージを説明する図である。 FIG. 2 to FIG. 7 are diagrams for explaining the input image 2, the acquired image, and the correction candidate image.

図２は、入力画像２を読み込む際に、入力画像２が形成されている媒体を適切に装置に入力することができなかったことに起因し、全体が上下方向の垂線に対して傾きを有するイメージの特徴量を表すイメージの説明図である。図２（Ａ）は、入力画像２のイメージ、図２（Ｂ）は、画像処理装置１によって取得されたイメージ、図２（Ｃ）は、特徴量を表すイメージを取得したイメージに追加したイメージである。図２（Ａ）において、イメージ１００は、文字列のイメージ１０１を有し、図２（Ｂ）及び（Ｃ）では、イメージ２００から２２０が、文字列のイメージ２０１を有する。 FIG. 2 shows that when the input image 2 is read, the medium on which the input image 2 is formed cannot be properly input to the apparatus, and the whole has an inclination with respect to the vertical line in the vertical direction. It is explanatory drawing of the image showing the feature-value of an image. 2A is an image of the input image 2, FIG. 2B is an image acquired by the image processing apparatus 1, and FIG. 2C is an image added to the acquired image that represents the feature amount. It is. 2A, an image 100 includes a character string image 101. In FIGS. 2B and 2C, images 200 to 220 include a character string image 201. In FIG.

イメージ２００は、イメージ１００に対して、全体が傾きを有するイメージとなっている。この傾きを表すために、イメージ２１０では、矢印２１１が用いられており、イメージ２２０では直線２２１が用いられている。 The image 200 is an image having an overall inclination with respect to the image 100. In order to represent this inclination, an arrow 211 is used in the image 210, and a straight line 221 is used in the image 220.

図３は、候補表示手段２０が表示する補正の内容の候補を説明する図である。図３（Ａ）は、イメージ全体の上下方向の垂線の候補を矢印で表したものである。イメージ２３０は、候補生成手段１０が生成した補正の内容の候補を表示するイメージであり、候補として矢印２３１から２３３を有する。イメージ２４０は、イメージ２３０に、補正入力手段４０より入力された補正の内容の候補である矢印２４１が加わったイメージである。図３（Ｂ）は、イメージ全体の左右方向の水平線の候補を直線で表したものである。イメージ２５０は、候補生成手段１０が生成した補正の内容の候補を表示するイメージであり、候補として直線２５１から２５３を有する。イメージ２６０は、補正入力手段４０により入力された補正の内容の候補である直線２６１が加わったイメージである。 FIG. 3 is a diagram for explaining candidates for correction contents displayed by the candidate display means 20. FIG. 3A shows vertical candidates in the vertical direction of the entire image by arrows. The image 230 is an image for displaying the correction content candidates generated by the candidate generation unit 10 and has arrows 231 to 233 as candidates. The image 240 is an image in which an arrow 241 that is a candidate for the content of correction input from the correction input unit 40 is added to the image 230. FIG. 3B shows a horizontal line candidate in the left-right direction of the entire image as a straight line. The image 250 is an image that displays candidates for correction contents generated by the candidate generation unit 10 and includes straight lines 251 to 253 as candidates. The image 260 is an image to which a straight line 261 that is a candidate for the content of correction input by the correction input means 40 is added.

図４は、スキュー歪みを有するイメージを補正する例の説明図である。図４（Ａ）は、入力画像２を読み込むことにより生成されたスキュー歪みを有するイメージ、図４（Ｂ）は、スキュー歪みを補正する際に基準となる特徴量を表示したイメージ、図４（Ｃ）は、スキュー歪みを補正した結果に対応するイメージである。 FIG. 4 is an explanatory diagram of an example of correcting an image having skew distortion. 4A is an image having skew distortion generated by reading the input image 2, FIG. 4B is an image displaying a feature amount serving as a reference when correcting the skew distortion, and FIG. C) is an image corresponding to the result of correcting the skew distortion.

図４（Ａ）において、イメージ３００は、入力画像２を読み込むことにより生成されたイメージであって、文字列のイメージ３０１を有する。文字列のイメージ３０１は、スキュー歪みを有している。 In FIG. 4A, an image 300 is an image generated by reading an input image 2 and includes a character string image 301. The character string image 301 has skew distortion.

図４（Ｂ）において、イメージ３１０は、イメージ３００に対し、イメージ３００を補正する特徴量である、スキュー歪みの基準となる直線３１１を加えたイメージである。直線３１１を正しく検出することにより、入力画像２と略同一となるイメージを生成することができる。 In FIG. 4B, an image 310 is an image obtained by adding a straight line 311 that is a feature amount for correcting the image 300 to the image 300 and serves as a reference for skew distortion. By correctly detecting the straight line 311, an image that is substantially the same as the input image 2 can be generated.

図４（Ｃ）において、イメージ３２０から３４０は、イメージ３００が有するスキュー歪みを補正した結果に対応するイメージであって、候補生成手段１０によって生成され、候補表示手段２０がこれらのイメージを表示する。イメージ３２０から３４０は、それぞれ、文字列３２１、３３１、及び、３４１を有する。これらの文字列は、文字列３０１から特徴量である直線３１１等を検出することにより、生成されたものである。文字列３２１、及び、文字列３３１は、入力画像２が有する文字のイメージ１０１と略同一にはならないが、文字列３４１は、文字のイメージ１０１と略同一になる。 In FIG. 4C, images 320 to 340 are images corresponding to the result of correcting the skew distortion of the image 300, are generated by the candidate generation means 10, and the candidate display means 20 displays these images. . The images 320 to 340 include character strings 321, 331, and 341, respectively. These character strings are generated by detecting a straight line 311 or the like that is a feature amount from the character string 301. The character string 321 and the character string 331 are not substantially the same as the character image 101 included in the input image 2, but the character string 341 is substantially the same as the character image 101.

図５から図７は、綴られた媒体に形成された画像を読み込むことにより生じる歪みを補正する場合の説明図である。 FIG. 5 to FIG. 7 are explanatory diagrams for correcting distortion caused by reading an image formed on a spelled medium.

図５（Ａ）は、入力画像２が綴られている場合の説明図である。イメージ４００は入力画像２のイメージであり、文字列４０１及び罫線４０２を有する。文字列４０１は、文字が等間隔に並んでいる。 FIG. 5A is an explanatory diagram when the input image 2 is spelled. An image 400 is an image of the input image 2 and includes a character string 401 and ruled lines 402. In the character string 401, characters are arranged at equal intervals.

図５（Ｂ）は、綴られた入力画像２を読み込むことにより生成されたイメージであって、イメージ５００は、文字列４０１が読み込まれることにより生成した文字列５０１、及び、罫線４０２が読み込まれることにより生成した罫線５０２を有する。イメージ５００は、綴り位置を中心にして歪みを有する。文字列５０１は、綴り位置に近い文字が変形し、位置が上下方向の中心に向かって移動している。同様に、罫線５０２は、綴り位置に近い部分がイメージの上下方向の中心に向かって湾曲している。 FIG. 5B shows an image generated by reading the spelled input image 2, and the image 500 is read by the character string 501 and ruled line 402 generated by reading the character string 401. It has the ruled line 502 produced | generated by this. The image 500 is distorted around the spelling position. In the character string 501, a character near the spelling position is deformed, and the position moves toward the center in the vertical direction. Similarly, in the ruled line 502, a portion close to the spelling position is curved toward the center in the vertical direction of the image.

図６は、イメージ５００を補正するのに用いる特徴量の候補を説明する図である。 FIG. 6 is a diagram for explaining candidate feature quantities used to correct the image 500.

図６（Ａ）は、イメージ５００を補正するのに用いる外形を表す曲線の候補のイメージである。曲線５０３から５０５は、候補生成手段１０によって生成されたイメージ５００を補正する際に用いられる特徴量である外形を表すイメージの候補である。ここでは、曲線５０３及び５０４は、イメージ５００の外形に一致していないが、曲線５０５は、イメージ５００の外形に一致している。そこで、曲線５０５が補正の内容の候補として表示されていれば、この曲線を用いて補正を行う。曲線５０５が補正の内容の候補として表示されていない場合には、候補入力手段４０より、曲線５０５と略同一の曲線を入力する。 FIG. 6A is an image of a candidate curve that represents the outer shape used to correct the image 500. Curves 503 to 505 are image candidates representing the outer shape, which is a feature amount used when correcting the image 500 generated by the candidate generation unit 10. Here, the curves 503 and 504 do not match the outer shape of the image 500, but the curve 505 matches the outer shape of the image 500. Therefore, if the curve 505 is displayed as a candidate for correction content, correction is performed using this curve. When the curve 505 is not displayed as a candidate for the content of correction, a curve substantially the same as the curve 505 is input from the candidate input unit 40.

図６（Ｂ）は、イメージ５００を補正するのに用いる綴り位置を表す直線の候補のイメージである。直線５０６から５０７は、候補生成手段１０によって生成されたイメージ５００を補正する際に用いられる特徴量である綴り位置を表すイメージの候補である。ここでは、直線５０６及び５０７は、イメージ５００が有する綴り位置に一致していないが、直線５０８は、イメージ５００が有する綴り位置に一致している。そこで、直線５０８が補正の内容の候補として表示されていれば、この直線を用いて補正を行う。直線５０８が補正の内容の候補として表示されていない場合には、候補入力手段４０より、直線５０８と略同一な直線を入力する。 FIG. 6B is an image of a straight line candidate representing the spelling position used to correct the image 500. Straight lines 506 to 507 are image candidates representing the spelling position, which is a feature amount used when correcting the image 500 generated by the candidate generation unit 10. Here, the straight lines 506 and 507 do not match the spelling positions of the image 500, but the straight line 508 matches the spelling positions of the image 500. Therefore, if a straight line 508 is displayed as a candidate for correction content, correction is performed using this straight line. If the straight line 508 is not displayed as a candidate for the content of correction, a straight line substantially the same as the straight line 508 is input from the candidate input means 40.

図７は、イメージ５００を補正した結果に対応するイメージを、補正の内容の候補として表示する場合の説明図である。図７（Ａ）において、イメージ６００は、直線５０８を用いて補正する場合の結果に対応するイメージ、図７（Ｂ）において、イメージ６１０は、直線５０７を用いて補正する場合の結果に対応するイメージ、及び、図７（Ｃ）において、イメージ６２０は、直線５０６を用いて補正する場合の結果に対応するイメージである。 FIG. 7 is an explanatory diagram in a case where an image corresponding to a result of correcting the image 500 is displayed as a correction content candidate. In FIG. 7A, an image 600 corresponds to the result of correction using the straight line 508, and in FIG. 7B, the image 610 corresponds to the result of correction using the straight line 507. In FIG. 7C, the image 620 is an image corresponding to the result of correction using the straight line 506.

候補表示手段２０に、イメージ６００が表示されている場合には、イメージ６００を選択することにより、イメージ５００が、イメージ４００と略同一になるように補正される。候補手段２０に、イメージ６００が表示されていない場合には、候補入力手段４０より、綴り位置を表す直線５０８を入力することにより、イメージ４００と略同一なイメージを生成することができる。 When the image 600 is displayed on the candidate display unit 20, the image 500 is selected so that the image 500 is corrected to be substantially the same as the image 400. When the image 600 is not displayed on the candidate means 20, an image substantially identical to the image 400 can be generated by inputting a straight line 508 representing the spelling position from the candidate input means 40.

図８は、本発明の画像処理プログラムを実行するコンピュータの構成図である。 FIG. 8 is a configuration diagram of a computer that executes the image processing program of the present invention.

画像処理装置１は、入力された画像から生成したイメージを、入力画像のイメージと略同一になるように補正する画像処理装置であって、スキャナ等の画像機器８０、及び、ＣＤ−ＲＯＭ、ＦＤドライブ等の外部記憶装置８９と接続されている。 The image processing apparatus 1 is an image processing apparatus that corrects an image generated from an input image so as to be substantially the same as the image of the input image, and includes an image device 80 such as a scanner, a CD-ROM, and an FD. It is connected to an external storage device 89 such as a drive.

画像処理装置１は、中央演算処理装置（ＣＰＵ）８１、プログラム格納メモリ８２、メモリ８３、ワークエリアＲＡＭ８４、及び、表示装置８５から構成されている。中央演算処理装置８１は、プログラム格納メモリ８２等に格納されたプログラムを実行することにより、補正の内容の候補の生成等を行う。プログラム格納メモリ８２は、中央演算処理装置８１が実行するプログラムを格納する読み出し専用のメモリであって、読み出し専用のＲＯＭ、又は、読み出し及び書き込みが可能なＲＡＭから構成される。メモリ８３は、生成した画像のイメージ等を蓄積するメモリであり、ワークエリアＲＡＭ８４は、中央演算処理装置８１が、プログラムを実行する場合に必要となる記憶領域を有するメモリである。表示装置８５は、補正の内容の候補を表示する候補表示装置３０の機能を有する他、プログラムを実行する際に必要となる情報を表示してもよい。 The image processing apparatus 1 includes a central processing unit (CPU) 81, a program storage memory 82, a memory 83, a work area RAM 84, and a display device 85. The central processing unit 81 generates a correction content candidate by executing a program stored in the program storage memory 82 or the like. The program storage memory 82 is a read-only memory that stores a program executed by the central processing unit 81, and includes a read-only ROM or a RAM that can be read and written. The memory 83 is a memory for accumulating images and the like of generated images, and the work area RAM 84 is a memory having a storage area that is necessary when the central processing unit 81 executes a program. The display device 85 may display information necessary for executing the program in addition to the function of the candidate display device 30 for displaying the correction content candidates.

スキャナ等の画像機器８０は、画像処理装置１に入力する画像のイメージを生成する装置であり、外部記憶装置８９は、画像のイメージのデータを画像処理装置１に入力又は出力する他、中央演算処理装置８１が実行するプログラムの入力又は出力等も行う。 An image device 80 such as a scanner is a device that generates an image of an image to be input to the image processing apparatus 1, and an external storage device 89 inputs or outputs image image data to the image processing apparatus 1, and performs central processing. Input or output of a program executed by the processing device 81 is also performed.

図９は、本発明の画像処理装置の動作を説明する流れ図である。 FIG. 9 is a flowchart for explaining the operation of the image processing apparatus of the present invention.

ステップ１０００では、画像機器８０が、入力画像２を読み込み、イメージを生成する。ステップ１１００では、候補生成手段１０が、ステップ１０００で生成されたイメージから、補正の際に用いる特徴量を求め、それらの候補を生成する。又は、候補生成手段１０が、ステップ１０００で生成されたイメージに対し、補正の際に用いる特徴量の候補から、補正の結果に対応するイメージを、それぞれ生成する。 In step 1000, the image device 80 reads the input image 2 and generates an image. In step 1100, the candidate generation means 10 obtains feature quantities used for correction from the image generated in step 1000, and generates those candidates. Alternatively, the candidate generation unit 10 generates an image corresponding to the correction result from the feature amount candidates used in the correction for the image generated in step 1000.

ステップ１２００では、候補表示手段２０が、ステップ１１００で生成された特徴量の候補、又は、それらの候補による補正の結果に対応するイメージを表示する。 In step 1200, the candidate display means 20 displays the feature amount candidates generated in step 1100 or an image corresponding to the correction result by these candidates.

ステップ１２１０では、候補表示手段２０が表示する候補の中に、正解候補があるか否かを判断する。なお、本明細書における「正解候補」とは、生成されたイメージを入力画像２のイメージと略同一にする補正に対応する特徴量の候補、又は、該特徴量の候補に対応する結果のイメージである。正解候補がある場合には、ステップ１３００に進み、正解候補が無い場合には、ステップ１４００に進む。 In step 1210, it is determined whether or not there is a correct candidate among the candidates displayed by the candidate display means 20. The “correct answer candidate” in the present specification means a feature quantity candidate corresponding to a correction that makes the generated image substantially the same as the image of the input image 2 or a result image corresponding to the feature quantity candidate. It is. If there is a correct answer candidate, the process proceeds to step 1300. If there is no correct answer candidate, the process proceeds to step 1400.

ステップ１３００では、補正手段３０が、生成されたイメージに対する補正を実行し、入力画像２のイメージと略同一であるイメージを生成する。 In step 1300, the correction unit 30 performs correction on the generated image, and generates an image that is substantially the same as the image of the input image 2.

一方、ステップ１４００では、補正内容入力手段４０が、正解候補を入力し、ステップ１３００に進む。 On the other hand, in step 1400, the correction content input means 40 inputs a correct answer candidate and proceeds to step 1300.

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
Although the best mode for carrying out the invention has been described above, the present invention is not limited to the embodiment described in the best mode. Modifications can be made without departing from the spirit of the present invention.

本発明の画像処理装置の構成図。The block diagram of the image processing apparatus of this invention. 媒体のずれを表す特徴量のイメージの説明図。Explanatory drawing of the image of the feature-value showing the shift | offset | difference of a medium. 媒体のずれを補正する特徴量による候補。Candidates based on feature values to correct media displacement. スキュー補正の結果に対応したイメージによる候補。Candidates based on images corresponding to the results of skew correction. 綴りを有する媒体を読み込んだことによる歪みの説明図。Explanatory drawing of distortion by having read the medium which has spelling. 歪みを補正する特徴量による候補。Candidates based on features that correct distortion. 歪みを補正する結果に対応したイメージによる候補。Image candidates corresponding to the results of correcting distortion. 本発明の画像処理プログラムを実行するコンピュータの構成図。The block diagram of the computer which executes the image processing program of this invention. 本発明の画像処理装置の動作を説明する流れ図。6 is a flowchart for explaining the operation of the image processing apparatus of the present invention. 綴りを有する媒体を読み込んで生成したイメージのページ外形の説明図。Explanatory drawing of the page external shape of the image produced | generated by reading the medium which has spelling. 綴りを有する媒体を読み込んで生成したイメージの行の歪みの説明図。Explanatory drawing of the distortion of the line of the image produced | generated by reading the medium which has spelling.

符号の説明Explanation of symbols

１画像処理装置
１０候補生成手段
２０候補表示手段
３０補正手段
４０補正内容入力手段
２３１、２３２、２３３、２５１、２５２、２５３候補生成手段が生成した候補のイメージ
２４１、２６１補正内容入力手段によって入力された候補のイメージ
８１中央演算処理装置
８２プログラム格納メモリ
８３メモリ
８４ワークエリアＲＡＭ
８５表示装置 1 Image processing apparatus 10 Candidate generation means 20 Candidate display means 30 Correction means 40 Correction content input means 231, 232, 233, 251, 252, 253 Candidate images 241 and 261 generated by the candidate generation means Candidate image 81 Central processing unit 82 Program storage memory 83 Memory 84 Work area RAM
85 display devices

Claims

入力された画像からイメージを取得し、取得したイメージを、入力された画像のイメージと略同一になるように補正する補正手段と、
前記取得したイメージの特徴量を求め、該特徴量に基づく、前記補正手段が行う補正の内容の候補を複数生成する候補生成手段と、
前記候補生成手段が生成した複数の補正の内容の候補を表示する候補表示手段と、
を有する画像処理装置において、
ユーザにより、前記補正候補表示手段が表示する補正の内容の候補の中に、前記入力された画像のイメージと前記取得したイメージとを略同一にする補正の内容の候補が無いと判断された場合に、
前記ユーザにより、前記略同一にする補正の内容の候補が入力される補正内容入力手段を有することを特徴とする画像処理装置。 Correction means for acquiring an image from the input image and correcting the acquired image so as to be substantially the same as the image of the input image;
A candidate generation unit that obtains a feature amount of the acquired image and generates a plurality of candidates for the content of correction performed by the correction unit based on the feature amount ;
Candidate display means for displaying a plurality of correction content candidates generated by the candidate generation means ;
In an image processing apparatus having
When it is determined by the user that there is no correction content candidate that makes the input image image and the acquired image substantially the same among the correction content candidates displayed by the correction candidate display means In addition,
An image processing apparatus comprising correction content input means for inputting candidates for the correction content to be substantially the same by the user .

前記取得したイメージの特徴量とは、前記取得したイメージと、前記入力された画像のイメージとの、角度のずれ、及び、歪み、並びに、前記入力された画像のイメージが有する綴りの位置のうち、少なくとも一つに係る情報であることを特徴とする請求項１記載の画像処理装置。 The acquired image feature amount is an angle shift and distortion between the acquired image and the input image, and a spelling position of the input image. The image processing apparatus according to claim 1, wherein the information is at least one piece of information.

前記候補生成手段は、前記複数生成された前記補正の内容の候補に対応した結果のイメージを生成し、
前記候補表示手段は、該生成されたイメージを表示することを特徴とする請求項１または２記載の画像処理装置。 The candidate generation means generates an image of a result corresponding to the plurality of correction content candidates generated ,
The candidate display means, the image processing apparatus according to claim 1 or 2, wherein the displaying the image that is the product.

前記候補生成手段は、前記補正の結果得られるイメージと、前記入力された画像のイメージとの類似度が、所定の値より大きくなる前記補正の内容を、候補として出力することを特徴とする請求項１ないし３記載の画像処理装置。 The candidate generation unit, according to the image obtained as a result of the correction, the degree of similarity between the image of the input image is, the contents of the correction becomes larger than a predetermined value, and outputs as a candidate Item 4. The image processing apparatus according to Items 1 to 3 .

入力された画像からイメージを取得し、取得したイメージを、入力された画像のイメージと略同一になるように補正する補正ステップと、
前記取得したイメージの特徴量を求め、該特徴量に基づく、前記補正ステップが行う補正の内容の候補を複数生成する候補生成ステップと、
前記候補生成ステップで生成した複数の補正の内容の候補を表示する候補表示ステップとを有する画像処理方法において、
ユーザにより、前記補正候補表示ステップにおいて表示する補正の内容の候補の中に、前記入力された画像のイメージと前記取得したイメージとを略同一にする補正の内容の候補が無いと判断された場合に、
前記ユーザにより、前記略同一にする補正の内容の候補が入力される補正内容入力ステップを有することを特徴とする画像処理方法。 A correction step of acquiring an image from the input image and correcting the acquired image so as to be substantially the same as the image of the input image;
A candidate generation step of obtaining a feature amount of the acquired image and generating a plurality of candidates for the content of correction performed by the correction step based on the feature amount ;
In an image processing method comprising a candidate display step for displaying a plurality of correction content candidates generated in the candidate generation step,
When it is determined by the user that there is no correction content candidate that makes the input image and the acquired image substantially the same among the correction content candidates displayed in the correction candidate display step In addition,
An image processing method , comprising: a correction content input step in which candidates for correction content to be substantially the same are input by the user.

前記取得したイメージの特徴量とは、前記取得したイメージと、前記入力された画像のイメージとの、角度のずれ、及び、歪み、並びに、前記入力された画像のイメージが有する綴りの位置のうち、少なくとも一つに係る情報であることを特徴とする請求項５記載の画像処理方法。 The acquired image feature amount is an angle shift and distortion between the acquired image and the input image, and a spelling position of the input image. 6. The image processing method according to claim 5, wherein the information is at least one piece of information.

前記候補生成ステップは、前記複数生成された前記補正の内容の候補に対応した結果のイメージを生成し、
前記候補表示ステップは、該生成されたイメージを表示することを特徴とする請求項５または６記載の画像処理方法。 The candidate generation step generates an image of a result corresponding to the plurality of correction content candidates generated ;
7. The image processing method according to claim 5 , wherein the candidate display step displays the generated image.

前記候補生成ステップは、前記補正の結果得られるイメージと、前記入力された画像のイメージとの類似度が、所定の値より大きくなる前記補正の内容を、候補として出力することを特徴とする請求項５ないし７記載の画像処理方法。 The candidate generation step, according to the image obtained as a result of the correction, the degree of similarity between the image of the input image is, the contents of the correction becomes larger than a predetermined value, and outputs as a candidate Item 8. The image processing method according to Item 5 .

コンピュータに、請求項５ないし８何れか一項に記載の画像処理方法を実行させるためのプログラム。 A program for causing a computer to execute the image processing method according to any one of claims 5 to 8 .