JP2006235786A - Image processor, image processing method and computer program - Google Patents
Image processor, image processing method and computer program Download PDFInfo
- Publication number
- JP2006235786A JP2006235786A JP2005046556A JP2005046556A JP2006235786A JP 2006235786 A JP2006235786 A JP 2006235786A JP 2005046556 A JP2005046556 A JP 2005046556A JP 2005046556 A JP2005046556 A JP 2005046556A JP 2006235786 A JP2006235786 A JP 2006235786A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- correction
- feature region
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 19
- 238000004590 computer program Methods 0.000 title claims description 14
- 238000012937 correction Methods 0.000 claims abstract description 239
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000006243 chemical reaction Methods 0.000 claims abstract description 59
- 238000003702 image correction Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000000605 extraction Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 abstract description 4
- 230000005484 gravity Effects 0.000 description 20
- 238000007781 pre-processing Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、複数の画像データについてのずれ量算出や、位置合わせ補正処理を正確に行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a computer program. More specifically, the present invention relates to an image processing apparatus, an image processing method, and a computer program that accurately perform deviation amount calculation and alignment correction processing for a plurality of image data.
画像処理の分野において、２枚以上の同種の画像を位置合わせしたい場合が少なくない。例えばプリンタやＦＡＸなどから出力した帳票やレジュメなどの紙ドキュメントに、ユーザが記入した追記等を抽出したり、セキュリティ文書が改竄されていないかどうか検証したりする場合など、これらの紙文書をスキャンして電子原本と比較して追記や改竄部分を検出する処理が行なわれる。 In the field of image processing, there are many cases where two or more images of the same type are desired to be aligned. For example, to scan a paper document such as a form or resume output from a printer or FAX to extract additional notes entered by the user or to verify whether the security document has been tampered with. Then, a process for detecting a postscript or falsified portion is performed as compared with the electronic original.
この検出処理の際、２つの画像データの比較に先立ちスキャン画像と電子原本画像の位置合わせを高精度に行う必要がある。複数の画像データについての位置合わせ技術を開示した従来技術として例えば特許文献１がある。
In this detection process, it is necessary to align the scanned image and the electronic original image with high accuracy before comparing the two image data. For example,
特許文献１には、スキャン画像を単色化・二値化した後、所定の大きさの範囲に設定した検索領域において、黒データ（黒ラン）の連結領域を抽出し、スキャン処理の元データとしての原本画像（単色化・二値化済み）から、同様の黒データ（黒ラン）の連結領域を抽出し、相互の画像から抽出した連結領域のパターンを比較して、対応パターンを、パターンマッチングで見つけ、さらに、パターンマッチングの結果、両画像で対応が取れた複数のパターン（連結領域）の重心を求め、各画像における対応パターンの重心の位置に基づいて、両画像の位置ずれを算出して、一方の画像の補正を実行して、２つの画像位置を一致させる構成が示されている。なお、画像補正は、アフィン変換を用いて実行し、位置ずれ情報は、アフィン変換の変換パラメータ（補正係数）として適用している。
In
上記従来技術において、パターンマッチング対象のデータとして検出する連結領域は、連結領域の外接矩形、すなわち、黒データ（黒ラン）の連結領域に外接する矩形の大きさが、幅Ｗ画素、高さＨ画素とした場合、８＜Ｗ＜１２８、かつ８＜Ｈ＜１２８の大きさを有する連結領域としている。また、アフィン変換の補正係数としては、並行移動（Δｘ，Δｙ）・回転（θ）・倍率（β）の４種類の補正係数を適用した処理例を開示している。 In the above prior art, the connected area detected as pattern matching target data has a circumscribed rectangle of the connected area, that is, a rectangle circumscribing the connected area of black data (black run) has a width W pixel and a height H. In the case of a pixel, the connected region has a size of 8 <W <128 and 8 <H <128. Further, as an affine transformation correction coefficient, a processing example is disclosed in which four types of correction coefficients of parallel movement (Δx, Δy), rotation (θ), and magnification (β) are applied.
さらに、特許文献２には、スキャン画像と原本画像の濃度勾配が強い点を抽出し、この点を中心に回りを含めてパターンマッチングし、対応するパターンを見つけ、次に各対応点の位置ずれ量から両画像の位置ずれ係数を算出する手法が開示されている。本文献においても補正係数としては、並行移動（Δｘ，Δｙ）・回転（θ）・倍率（β）の４種類の補正係数を適用した処理例を開示している。また、補正係数の算出においては、各対応点の位置ずれ量の二乗和が最小になる、いわゆる最小二乗法を適用した処理例を示している。 Further, in Patent Document 2, a point having a strong density gradient between a scanned image and an original image is extracted, and pattern matching is performed including this point as a center to find a corresponding pattern. A method for calculating the misregistration coefficient of both images from the quantity is disclosed. This document also discloses a processing example in which four types of correction coefficients of parallel movement (Δx, Δy), rotation (θ), and magnification (β) are applied as correction coefficients. Further, in the calculation of the correction coefficient, a processing example is shown in which a so-called least square method is applied in which the sum of squares of the amount of displacement of each corresponding point is minimized.
上述の従来技術を含むこれまでに知られる画像相互の位置合わせ技術では、並行移動（Δｘ，Δｙ）・回転（θ）・倍率（β）の４種類の補正係数を適用した画像変換処理としてのアフィン変換を適用しているものがほとんどである。補正係数としての倍率（β）は１つのみであり、縦方向、横方向にも同一の倍率を適用した画像変換を行うことになる。 In the image mutual registration techniques known so far including the above-described conventional techniques, image conversion processing using four types of correction coefficients of parallel movement (Δx, Δy), rotation (θ), and magnification (β) is applied. Most of them apply affine transformation. There is only one magnification (β) as a correction coefficient, and image conversion is performed with the same magnification applied in the vertical and horizontal directions.
しかし、例えば原本画像と原本画像をスキャンして得られたスキャン画像や、原本画像と原本画像の電子データをプリンタを介して出力されたプリント画像など、様々なデータ読み取りまたは出力機器を介して出力された画像は、スキャン処理やプリント処理などの際に、各機器の持つ光学的な特性やメカニカルな特性によって、縦方向の倍率変化と横方向の倍率変化が異なる場合がある。 However, for example, the original image and the scanned image obtained by scanning the original image, and the electronic data of the original image and the original image are output via various data reading or output devices such as a print image output via the printer. When the image is scanned or printed, the change in magnification in the vertical direction and the change in magnification in the horizontal direction may differ depending on the optical characteristics and mechanical characteristics of each device.
例えば、スキャン画像においては、紙面の長手方向にのみ伸び縮みしている場合や、短手方向にのみ伸び縮みしている場合など、スキャン画像の縦と横方向で異なる倍率変動が発生している場合が多い。しかし、上述の並行移動（Δｘ，Δｙ）・回転（θ）・倍率（β）の４種類の補正係数を適用した画像変換処理を行なってしまうと、倍率補正係数（β）は縦横方向とも同一の倍率補正値が適用されてしまい、実体を反映しない不正確な画像変換が行われることになる。 For example, in the scanned image, when the image expands / contracts only in the longitudinal direction of the paper surface, or when the image expands / contracts only in the short side direction, different magnification fluctuations occur in the vertical and horizontal directions of the scanned image. There are many cases. However, if the image conversion process using the four types of correction coefficients (parallel movement (Δx, Δy), rotation (θ), and magnification (β)) is performed, the magnification correction coefficient (β) is the same in both the vertical and horizontal directions. Thus, an inaccurate image conversion that does not reflect the substance is performed.
プリンタやＦＡＸなどから出力した帳票やレジュメなどの紙ドキュメントに、ユーザが追記等を行い、スキャナやＦＡＸ、あるいはプリンタ、コピー等の多機能型のマルチファンクション機器などで読み込みを行なうと、縦方向と横方向の倍率の倍率に関しては、それらに影響する要因が異なるため、一般に等しくない。高価なスキャナやプリンタでは、これらが等しくなるように作られているが、安価な機器では、倍率の差が大きくなる傾向にある。この倍率変動の要因としては、例えば以下の要因がある。
主走査方向の倍率ずれ要因：プリント時およびスキャン時の光学系横倍率ずれ
副走査方向の倍率ずれ要因：プリント時およびスキャン時の紙送り速度ずれ、スキャン時のセンサー移動速度ずれ
これらの要因を全て完璧に排除することは困難であり、スキャナやコピーで読み取られた画像データや、プリント出力した画像は、元画像である原本画像と比較すると、縦と横方向とで異なる倍率変動が発生している場合が多い。
When a user adds information to a paper document such as a form or resume output from a printer or FAX, and reads it with a multifunctional multifunction device such as a scanner or FAX or a printer or copy, The magnifications in the horizontal direction are generally not equal because the factors affecting them are different. In expensive scanners and printers, they are made to be equal, but in inexpensive devices, the difference in magnification tends to increase. As a factor of this magnification fluctuation, for example, there are the following factors.
Magnification deviation factor in the main scanning direction: Horizontal magnification deviation in the optical system during printing and scanning Magnification deviation factor in the sub-scanning direction: Paper feed speed deviation during printing and scanning, sensor movement speed deviation during scanning All these factors It is difficult to eliminate them completely, and image data read by a scanner or a copy, or an image printed out, has different magnification fluctuations in the vertical and horizontal directions compared to the original original image. There are many cases.
従って、スキャナ読み取り画像やプリント出力画像の等の画像（補正対象画像）に対して、原本画像に位置合わせを行なうための処理として、上述の並行移動（Δｘ，Δｙ）・回転（θ）・倍率（β）の４種類の補正係数を適用した画像変換処理を行なっても、倍率補正係数（β）は縦横方向とも同一の倍率補正値が適用されてしまい、実体を反映しない不正確な画像変換が行われ、正確な位置合わせは不可能になる。
本発明は、上述の問題点に鑑みてなされたものであり、複数の画像データについてのずれ量算出や、位置合わせ補正処理を正確に行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and provides an image processing apparatus, an image processing method, and a computer program that accurately perform misalignment calculation and alignment correction processing for a plurality of image data. The purpose is to provide.
さらに、詳細には、本発明は、縦方向と横方向とで独立した倍率補正係数を適用することにより、複数の画像データについてのずれ量算出や、位置合わせ補正処理を正確に行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 More specifically, the present invention relates to an image processing apparatus that accurately performs a shift amount calculation and alignment correction processing for a plurality of image data by applying independent magnification correction coefficients in the vertical direction and the horizontal direction. And an image processing method and a computer program.
本発明の第１の側面は、画像処理装置であり、補正対象画像と原本画像の各々から特徴領域を抽出する特徴領域抽出手段と、前記特徴領域抽出手段の抽出した特徴領域の特徴量を算出する特徴量算出手段と、前記補正対象画像と原本画像から抽出された特徴領域の特徴量の一致度に基づいて、２画像間の対応特徴領域を選択する対応特徴領域選択手段と、前記対応特徴領域選択手段において選択された対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する補正係数を算出する補正係数算出手段と、補正対象画像の原本画像に対するずれを修正するため、前記補正係数を適用した変換処理を前記補正対象画像に対して実行する画像変換手段とを有し、前記補正係数算出手段は、補正係数として、
ｘ方向とｙ方向に対応する並行移動補正係数（Δｘ，Δｙ）と、
回転補正係数（θ）と、
ｘ方向とｙ方向とで独立して設定された倍率補正係数（βｘ，βｙ）、
これらの５種類の補正係数を算出し、
前記画像変換手段は、前記５種類の補正係数を適用した画像変換処理を実行する構成であることを特徴とする画像処理装置にある。
According to a first aspect of the present invention, there is provided an image processing apparatus, wherein a feature region extracting unit that extracts a feature region from each of a correction target image and an original image, and a feature amount of the feature region extracted by the feature region extracting unit is calculated. Feature amount calculating means, corresponding feature region selecting means for selecting a corresponding feature region between two images based on the degree of coincidence of feature amounts extracted from the correction target image and the original image, and the corresponding feature Correction coefficient calculating means for calculating a deviation amount between the two images based on position information of the corresponding feature area selected by the area selection means, and calculating a correction coefficient to be applied to the correction of the deviation amount; In order to correct the deviation of the image from the original image, the image conversion means for executing a conversion process to which the correction coefficient is applied to the correction target image, the correction coefficient calculation means, as a correction coefficient,
parallel movement correction coefficients (Δx, Δy) corresponding to the x direction and the y direction,
Rotation correction coefficient (θ),
Magnification correction coefficients (βx, βy) set independently in the x and y directions,
Calculate these five types of correction coefficients,
In the image processing apparatus, the image conversion means is configured to execute an image conversion process to which the five types of correction coefficients are applied.
さらに、本発明の画像処理装置の一実施態様において、前記対応特徴領域選択手段は、前記補正対象画像と原本画像の各々から対応特徴領域の組を少なくとも３組以上選択し、前記補正係数算出手段は、前記対応特徴領域選択手段において選択された３組以上の対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する前記５種類の補正係数を算出する構成であることを特徴とする。 Furthermore, in one embodiment of the image processing apparatus of the present invention, the corresponding feature area selecting means selects at least three or more sets of corresponding feature areas from each of the correction target image and the original image, and the correction coefficient calculating means Calculates the amount of deviation between the two images based on the positional information of the three or more sets of corresponding feature regions selected by the corresponding feature region selection means, and applies the five types of correction to the correction of the amount of deviation. The correction coefficient is calculated.
さらに、本発明の画像処理装置の一実施態様において、前記補正係数算出手段は、補正対象画像に対して補正係数に基づく変換を実行した場合に、２つの画像の対応特徴領域の位置の誤差が最も小さくなるような値として、前記５種類の補正係数を算出する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, when the correction coefficient calculation unit performs conversion based on the correction coefficient with respect to the correction target image, an error in the position of the corresponding feature region between the two images occurs. The five types of correction coefficients are calculated as the smallest value.
さらに、本発明の画像処理装置の一実施態様において、前記補正係数算出手段は、最小二乗法を適用して前記５種類の補正係数を算出する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the correction coefficient calculation means is configured to calculate the five types of correction coefficients by applying a least square method.
さらに、本発明の画像処理装置の一実施態様において、前記特徴量算出手段は、前記特徴領域抽出手段の抽出した特徴領域の特徴量として、位置情報を含む特徴量情報の抽出処理を実行し、特徴領域に対応する位置情報を含む特徴量についてのリストとしての特徴領域情報テーブルを生成する処理を実行する構成であることを特徴とする。 Furthermore, in one embodiment of the image processing apparatus of the present invention, the feature amount calculation unit executes a feature amount information extraction process including position information as a feature amount of the feature region extracted by the feature region extraction unit, The present invention is characterized in that a process for generating a feature region information table as a list of feature amounts including position information corresponding to the feature region is executed.
さらに、本発明の画像処理装置の一実施態様において、前記対応特徴領域選択手段は、前記特徴領域情報テーブルの格納データに基づいて、補正対象画像と原本画像から抽出された特徴領域の特徴量比較を実行し、対応特徴領域を選択する処理を実行する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the corresponding feature region selection unit compares feature amounts of feature regions extracted from the correction target image and the original image based on data stored in the feature region information table. And a process of selecting a corresponding feature region is executed.
さらに、本発明の第２の側面は、画像処理方法であり、補正対象画像と原本画像の各々から特徴領域を抽出する特徴領域抽出ステップと、前記特徴領域抽出ステップにおいて抽出された特徴領域の特徴量を算出する特徴量算出ステップと、前記補正対象画像と原本画像から抽出された特徴領域の特徴量の一致度に基づいて、２画像間の対応特徴領域を選択する対応特徴領域選択ステップと、前記対応特徴領域選択ステップにおいて選択された対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する補正係数を算出する補正係数算出ステップと、補正対象画像の原本画像に対するずれを修正するため、前記補正係数を適用した変換処理を前記補正対象画像に対して実行する画像変換ステップとを有し、前記補正係数算出ステップは、補正係数として、
ｘ方向とｙ方向に対応する並行移動補正係数（Δｘ，Δｙ）と、
回転補正係数（θ）と、
ｘ方向とｙ方向とで独立して設定された倍率補正係数（βｘ，βｙ）、
これらの５種類の補正係数を算出し、
前記画像変換ステップは、前記５種類の補正係数を適用した画像変換処理を実行することを特徴とする画像処理方法にある。
Furthermore, the second aspect of the present invention is an image processing method, wherein a feature region extraction step for extracting a feature region from each of a correction target image and an original image, and a feature region feature extracted in the feature region extraction step A feature amount calculating step for calculating an amount; a corresponding feature region selecting step for selecting a corresponding feature region between two images based on the degree of coincidence of feature amounts extracted from the correction target image and the original image; A correction coefficient calculating step of calculating a shift amount between the two images based on position information of the corresponding feature region selected in the corresponding feature region selecting step and calculating a correction coefficient to be applied to the correction of the shift amount; An image conversion step for executing a conversion process to which the correction coefficient is applied to the correction target image in order to correct a deviation of the correction target image from the original image. , The correction coefficient calculating step, as the correction coefficient,
parallel movement correction coefficients (Δx, Δy) corresponding to the x direction and the y direction,
Rotation correction coefficient (θ),
Magnification correction coefficients (βx, βy) set independently in the x and y directions,
Calculate these five types of correction coefficients,
In the image conversion method, the image conversion step executes an image conversion process to which the five types of correction coefficients are applied.
さらに、本発明の画像処理方法の一実施態様において、前記対応特徴領域選択ステップは、前記補正対象画像と原本画像の各々から対応特徴領域の組を少なくとも３組以上選択し、前記補正係数算出ステップは、前記対応特徴領域選択ステップにおいて選択された３組以上の対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する前記５種類の補正係数を算出することを特徴とする。 Furthermore, in an embodiment of the image processing method of the present invention, the corresponding feature region selecting step selects at least three or more sets of corresponding feature regions from each of the correction target image and the original image, and the correction coefficient calculating step Calculates the amount of deviation between the two images based on the position information of three or more sets of corresponding feature regions selected in the corresponding feature region selection step, and applies the five types of correction to the correction of the amount of deviation A correction coefficient is calculated.
さらに、本発明の画像処理方法の一実施態様において、前記補正係数算出ステップは、補正対象画像に対して補正係数に基づく変換を実行した場合に、２つの画像の対応特徴領域の位置の誤差が最も小さくなるような値として、前記５種類の補正係数を算出することを特徴とする。 Furthermore, in an embodiment of the image processing method of the present invention, the correction coefficient calculating step includes an error in the position of the corresponding feature region between the two images when conversion based on the correction coefficient is executed on the correction target image. The five types of correction coefficients are calculated as the smallest values.
さらに、本発明の画像処理方法の一実施態様において、前記補正係数算出ステップは、最小二乗法を適用して前記５種類の補正係数を算出することを特徴とする。 Furthermore, in one embodiment of the image processing method of the present invention, the correction coefficient calculation step calculates the five types of correction coefficients by applying a least square method.
さらに、本発明の画像処理方法の一実施態様において、前記特徴量算出ステップは、前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量として、位置情報を含む特徴量情報の抽出処理を実行し、特徴領域に対応する位置情報を含む特徴量についてのリストとしての特徴領域情報テーブルを生成する処理を実行することを特徴とする。 Furthermore, in one embodiment of the image processing method of the present invention, the feature amount calculating step performs a feature amount information extraction process including position information as the feature amount of the feature region extracted in the feature region extraction step, It is characterized in that a process of generating a feature area information table as a list of feature amounts including position information corresponding to the feature area is executed.
さらに、本発明の画像処理方法の一実施態様において、前記対応特徴領域選択ステップは、前記特徴領域情報テーブルの格納データに基づいて、補正対象画像と原本画像から抽出された特徴領域の特徴量比較を実行し、対応特徴領域を選択する処理を実行することを特徴とする。 Furthermore, in one embodiment of the image processing method of the present invention, the corresponding feature region selection step comprises comparing feature amounts of feature regions extracted from the correction target image and the original image based on data stored in the feature region information table. And a process of selecting a corresponding feature region is executed.
さらに、本発明の第３の側面は、画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、補正対象画像と原本画像の各々から特徴領域を抽出する特徴領域抽出ステップと、前記特徴領域抽出ステップにおいて抽出された特徴領域の特徴量を算出する特徴量算出ステップと、前記補正対象画像と原本画像から抽出された特徴領域の特徴量の一致度に基づいて、２画像間の対応特徴領域を選択する対応特徴領域選択ステップと、前記対応特徴領域選択ステップにおいて選択された対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する補正係数を算出する補正係数算出ステップと、補正対象画像の原本画像に対するずれを修正するため、前記補正係数を適用した変換処理を前記補正対象画像に対して実行する画像変換ステップとを有し、前記補正係数算出ステップは、補正係数として、
ｘ方向とｙ方向に対応する並行移動補正係数（Δｘ，Δｙ）と、
回転補正係数（θ）と、
ｘ方向とｙ方向とで独立して設定された倍率補正係数（βｘ，βｙ）、
これらの５種類の補正係数を算出し、
前記画像変換ステップは、前記５種類の補正係数を適用した画像変換処理を実行することを特徴とするコンピュータ・プログラムにある。
Furthermore, a third aspect of the present invention is a computer program for executing image processing on a computer, a feature region extraction step for extracting a feature region from each of a correction target image and an original image, and the feature region extraction step. A feature amount calculating step for calculating a feature amount of the feature region extracted in step, and a corresponding feature region between the two images is selected based on the degree of coincidence of the feature amount of the feature region extracted from the correction target image and the original image A corresponding feature area selecting step, and a correction coefficient that is applied to the correction of the shift amount by calculating a shift amount between the two images based on position information of the corresponding feature region selected in the corresponding feature region selecting step. A correction coefficient calculating step for calculating the correction coefficient, and a conversion process to which the correction coefficient is applied in order to correct a deviation of the correction target image from the original image. And an image conversion step to be performed on serial correction target image, the correction coefficient calculating step, as the correction coefficient,
parallel movement correction coefficients (Δx, Δy) corresponding to the x direction and the y direction,
Rotation correction coefficient (θ),
Magnification correction coefficients (βx, βy) set independently in the x and y directions,
Calculate these five types of correction coefficients,
The image conversion step is in a computer program that executes an image conversion process to which the five types of correction coefficients are applied.
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。 Note that the computer program of the present invention is a recording medium provided in a computer-readable format for a computer system capable of executing various program codes, for example, a recording medium such as a CD, FD, or MO. A computer program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings. In this specification, the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
本発明の構成によれば、複数の画像間のずれを補正する画像変換処理を行う構成において、ｘ方向とｙ方向それぞれの並行移動に対応した補正係数、（Δｘ，Δｙ）と、回転補正係数（θ）と、ｘ方向とｙ方向それぞれの独立した倍率補正例数（βｘ，βｙ）の５種類の補正係数を生成し、これらの５種類の補正係数に基づく画像変換処理を実行する構成とした。このように本発明では、ｘ方向とｙ方向とで独立した倍率設定とした補正処理を行なうので、例えば、プリント時およびスキャン時の光学系横倍率ずれに基づく主走査方向の倍率ずれや、プリント時およびスキャン時の紙送り速度ずれ、スキャン時のセンサー移動速度ずれに基づく副走査方向の倍率ずれなどによって、原本画像に対して、ｘ方向とｙ方向とで異なる倍率変動が発生した画像についても、ｘｙ各方向の独立した倍率補正係数に基づく正確な画像補正を行なうことができる。 According to the configuration of the present invention, in the configuration for performing image conversion processing for correcting a shift between a plurality of images, the correction coefficient corresponding to the parallel movement in the x direction and the y direction, (Δx, Δy), and the rotation correction coefficient (Θ) and five types of correction coefficients (βx, βy) of independent magnification correction examples for each of the x direction and the y direction are generated, and an image conversion process based on these five types of correction coefficients is executed. did. As described above, in the present invention, correction processing is performed with independent magnification settings in the x direction and the y direction. For example, a magnification deviation in the main scanning direction based on a lateral magnification deviation in the optical system during printing and scanning, Also for an image in which different magnification fluctuations occur in the x and y directions with respect to the original image due to a paper feed speed deviation during scanning and scanning, a magnification deviation in the sub-scanning direction based on a sensor movement speed deviation during scanning, etc. Accurate image correction based on independent magnification correction coefficients in the xy directions can be performed.
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。 Hereinafter, an image processing apparatus, an image processing method, and a computer program according to embodiments of the present invention will be described in detail with reference to the drawings.
図１を参照して、本発明の画像処理装置の構成、および処理について説明する。まず、本発明の画像処理装置において実行する画像処理の概要について説明する。本発明の画像処理装置では、例えば図１に示す画像ａ１０と、画像ｂ２０の２つの画像の位置合わせを実行する。例えば画像ａ１０と画像ｂ２０から特徴的な類似パターン（例えば連結領域）を抽出してパターンマッチングを行い、各画像の位置ずれを算出して、算出した位置ずれ量に基づいて補正係数を算出して、補正係数を適用した画像変換を一方の画像または画像構成データに施すものであり、２つの画像ａ１０と画像ｂ２０の正確なずれ量算出や位置合わせを行なうものである。 The configuration and processing of the image processing apparatus of the present invention will be described with reference to FIG. First, an overview of image processing executed in the image processing apparatus of the present invention will be described. In the image processing apparatus of the present invention, alignment of two images, for example, an image a10 and an image b20 shown in FIG. 1 is executed. For example, a characteristic similar pattern (for example, a connected region) is extracted from the images a10 and b20, pattern matching is performed, the positional deviation of each image is calculated, and a correction coefficient is calculated based on the calculated positional deviation amount. The image conversion to which the correction coefficient is applied is performed on one image or the image configuration data, and the accurate deviation amount calculation and alignment between the two images a10 and b20 are performed.
画像ａ１０と画像ｂ２０は、例えば原本画像とスキャン画像、原本画像とプリント出力画像、スキャン画像とプリント出力画像等、様々な組み合わせが可能である。また、処理対象とする画像は用紙等の出力データに限らず、ＰＣ等の記憶手段に格納されディスプレイに出力可能な電子画像データであってもよい。 The image a10 and the image b20 can be variously combined such as an original image and a scan image, an original image and a print output image, and a scan image and a print output image. The image to be processed is not limited to output data such as paper, but may be electronic image data that can be stored in storage means such as a PC and output to a display.
本発明における画像変換は、補正係数として、並行移動（Δｘ，Δｙ）・回転（θ）・倍率（β）の４種類ではなく、ｘ方向とｙ方向それぞれの並行移動に対応した補正係数、（Δｘ，Δｙ）と、回転補正係数（θ）と、ｘ方向とｙ方向それぞれの独立した倍率補正例数（βｘ，βｙ）の５種類の補正係数を算出し、これらの５種類の補正係数に基づいて画像変換を実行する。画像変換に適用するパラメータ（補正係数）は、画像ａ１０と画像ｂ２０のパターンマッチングの結果から得られる位置ずれ情報に基づいて決定されるデータである。 Image conversion in the present invention is not limited to four types of parallel movement (Δx, Δy), rotation (θ), and magnification (β) as correction coefficients, but correction coefficients corresponding to parallel movements in the x and y directions, ( Δx, Δy), a rotation correction coefficient (θ), and five different correction coefficients (βx, βy) for each of the x direction and y direction are calculated, and these five types of correction coefficients are calculated. Based on this, image conversion is performed. The parameter (correction coefficient) applied to the image conversion is data determined based on the positional deviation information obtained from the result of pattern matching between the image a10 and the image b20.
本発明の画像処理装置においては、上述したようにｘ方向とｙ方向とで独立して設定された倍率に基づく補正を行なう構成であるので、例えば、プリント時およびスキャン時の光学系横倍率ずれに基づく主走査方向の倍率ずれや、プリント時およびスキャン時の紙送り速度ずれ、スキャン時のセンサー移動速度ずれに基づく副走査方向の倍率ずれなどによって、原本画像に対して、ｘ方向とｙ方向とで異なる倍率変動を発生させてしまった画像を補正する場合、実際の倍率変動を反映させた正確な画像補正を行なうことができる。 Since the image processing apparatus of the present invention is configured to perform correction based on the magnification set independently in the x direction and the y direction as described above, for example, the optical system lateral magnification deviation at the time of printing and scanning X and y directions with respect to the original image due to magnification deviation in the main scanning direction based on the image, paper feed speed deviation during printing and scanning, and magnification deviation in the sub-scanning direction based on sensor movement speed deviation during scanning. When correcting an image that has caused different magnification fluctuations, accurate image correction reflecting the actual magnification fluctuation can be performed.
図１を参照して、本発明の画像処理について説明する。位置合わせの対象となる２つの画像、画像ａ１０、画像ｂは、それぞれ前処理手段１１１，１２１に入力されて前処理が施される。前処理手段１１１，１２１では、単色化処理および二値化処理が実行される。単色化処理は、カラー画像である場合、輝度情報のみの画素データとする処理である。二値化処理は、単色画像をさらに所定の閾値レベルで［１］黒または［０］白いずれかの値に設定する処理である。なお、入力画像が白黒画像である場合は、単色化処理は省略可能である。 The image processing of the present invention will be described with reference to FIG. The two images to be aligned, the image a10 and the image b, are input to the preprocessing means 111 and 121, respectively, and preprocessed. In the preprocessing means 111 and 121, a monochromatic process and a binarization process are executed. In the case of a color image, the monochromatic process is a process for converting pixel data of only luminance information. The binarization processing is processing for further setting a monochrome image to a value of [1] black or [0] white at a predetermined threshold level. Note that when the input image is a monochrome image, the monochromatic processing can be omitted.
次に、前処理の済んだ画像データは、特徴領域抽出手段１１２，１２２において、各画像からの特徴領域抽出処理が実行される。特徴領域とは、連結領域や線の交差点など画像データに含まれる特徴を持つ画像領域である。連結領域とは、二値化画像における黒画素の連続領域（黒ラン）、あるいは黒画素ではない白画素データの連続した領域（白ラン）として抽出される。連結領域の抽出処理は、例えば、予め抽出条件として、所定の大きさ（面積あるいは画素数）の範囲（最小、最大）を設定し、その範囲にある連続する同一画素値領域など、予め定められた設定条件に基づいて実行される。なお、連結領域抽出処理については、例えば特開平１２−２９５４３８に説明の手法などを適用して実行する。また、線分の交点を特徴領域として抽出してもよい。線分の交点の抽出処理については、例えば特開平１０−９１７８３に記載されている。 Next, the preprocessed image data is subjected to feature region extraction processing from each image in the feature region extraction means 112 and 122. A feature region is an image region having features included in image data, such as a connected region or a line intersection. The connected area is extracted as a continuous area (black run) of black pixels in the binarized image or a continuous area (white run) of white pixel data that is not a black pixel. The connected region extraction process is performed in advance by, for example, setting a range (minimum, maximum) of a predetermined size (area or number of pixels) as an extraction condition, and continuously determining the same pixel value region in the range. It is executed based on the set conditions. Note that the connected region extraction processing is executed by applying, for example, the method described in JP-A-12-295438. Further, the intersection of line segments may be extracted as a feature region. The intersection point extraction processing is described in, for example, Japanese Patent Laid-Open No. 10-91783.
なお、以下の実施例では、特徴領域として連結領域を適用した例を説明するが、本発明で選択する特徴領域は、連結領域に限らず、線の交点など、その他の様々な特徴画像を適用することが可能である。 In the following embodiment, an example in which a connected region is applied as a feature region will be described. However, the feature region selected in the present invention is not limited to a connected region, and other various feature images such as intersections of lines are applied. Is possible.
図２を参照して特徴領域としての連結領域データの具体例ついて説明する。図２には、二値化処理のなされた画像ａ１０と、画像ｂ２０を示している。これの画像から、一定条件の下に黒画素の連続領域（黒ラン）を持つ画像データや白画素データの連続した領域（白ラン）を持つ画像データを連続領域として抽出する。図の例では、画像ａ１０から黒文字画像のＡ、Ｂ、Ｃと白抜き文字Ａが、連結領域データ１１〜１４として抽出され、画像ｂ２０から黒文字画像のＡ、Ｂ、Ｃと白抜き文字Ａが、連結領域データ２１〜２４として抽出された例を示している。なお、実際の処理において抽出される連結領域のデータ数は、設定条件にもよるが、数百〜数千個単位のデータの抽出が行なわれる。
A specific example of connected area data as a characteristic area will be described with reference to FIG. FIG. 2 shows an image a10 and an image b20 that have been binarized. From these images, image data having a continuous area of black pixels (black run) and image data having a continuous area of white pixel data (white run) are extracted as a continuous area under a certain condition. In the example of the figure, black character images A, B, and C and white characters A are extracted from the image a10 as
各画像から連結領域等の特徴領域が抽出されると、図１に示す特徴領域位置算出手段１１３，１２３において、抽出された特徴領域の位置、例えば重心が算出され、さらに、特徴量算出手段１１４、１２４において、各連結領域についての特徴量が算出される。なお、本例では、特徴領域位置算出手段と特徴量算出手段とを区別して示してあるが、位置情報としての例えば重心も１つの特徴量として、特徴量算出手段において算出する構成としてもよい。 When a feature region such as a connected region is extracted from each image, the feature region position calculation means 113 and 123 shown in FIG. 1 calculates the position of the extracted feature region, for example, the center of gravity. , 124, feature values for each connected region are calculated. In this example, the feature region position calculation unit and the feature amount calculation unit are distinguished from each other. However, for example, the center of gravity as the position information may be calculated as one feature amount by the feature amount calculation unit.
図３および図４を参照して、特徴領域（連結領域）から求められる特徴領域の位置（重心）および特徴量情報について説明する。図３に示す文字［Ａ］が、例えば二値化画像ａ１０から抽出された１つの特徴領域（連結領域）２００である。図４は、画像ａと画像ｂとから抽出された特徴領域（連結領域）についての位置（重心）と特徴量情報からなるテーブルを示している。 With reference to FIG. 3 and FIG. 4, the position (center of gravity) and feature amount information of the feature region obtained from the feature region (connected region) will be described. The character [A] shown in FIG. 3 is one feature region (connected region) 200 extracted from the binarized image a10, for example. FIG. 4 shows a table made up of the position (center of gravity) and feature amount information for the feature region (connected region) extracted from the image a and the image b.
図３を参照して、特徴領域（連結領域）２００の位置、特徴量情報の詳細について説明する。
特徴領域の位置（重心）２０１は、特徴領域としての文字［Ａ］２００の重心位置であり、例えば、画像ａ１０をｘｙ座標面とした場合の座標データ（ｘ，ｙ）として算出される（図４参照）。
外接矩形の幅・高さ・縦横比は、図に示す特徴領域（連結領域）２００を外接するように囲む外接矩形２０２の幅（Ｌ）、高さ（Ｈ）、および縦横比（Ｈ／Ｌ）として求められる。
線長（細線化後の構成画素数）は、図３に示すように、特徴領域［Ａ］２００を細線化して、幅が１画素の線として変換した特徴領域（連結領域）細線化データ２０３における構成画素数［ｎ］として算出する。
線面積（特徴領域（連結領域）の画素）は、特徴領域（連結領域）［Ａ］２００自体の構成全画素数［Ｎａｌｌ］として算出する。
線幅は、図３に示すように、特徴領域（連結領域）［Ａ］２００の線幅［Ｗ］２０３である。画素数、または長さとして算出する。
With reference to FIG. 3, the position of the feature region (connected region) 200 and details of the feature amount information will be described.
The position (center of gravity) 201 of the feature area is the position of the center of gravity of the character [A] 200 as the feature area, and is calculated, for example, as coordinate data (x, y) when the image a10 is an xy coordinate plane (FIG. 4).
The width, height, and aspect ratio of the circumscribed rectangle are the width (L), height (H), and aspect ratio (H / L) of the circumscribed
As shown in FIG. 3, the line length (number of constituent pixels after thinning) is obtained by thinning the feature region [A] 200 and converting it into a line having a width of one pixel, and the feature region (connected region) thinning
The line area (pixels in the feature region (connected region)) is calculated as the total number of pixels [Nall] in the feature region (connected region) [A] 200 itself.
As shown in FIG. 3, the line width is the line width [W] 203 of the characteristic region (connected region) [A] 200. Calculated as the number of pixels or length.
図１に示す特徴領域位置算出手段１１３，１２３と、特徴量算出手段１１４、１２４は、比較対象となる画像ａ１０と、画像ｂ２０から、それぞれ抽出された特徴領域（連結領域）各々について重心と、上述した特徴量情報、すなわち、外接矩形の幅・高さ・縦横比、線長、線面積、線幅などの特徴量情報を算出する。その結果が、例えば図４に示す特徴領域情報テーブルである。図４に示すように、画像ａ１０と、画像ｂ２０の各々から抽出された特徴領域について識別子（ＩＤ）が設定され、各特徴領域についての位置（例えば重心）と、特徴量情報、すなわち、外接矩形の幅・高さ・縦横比、線長、線面積、線幅が記録される。 The feature area position calculating means 113 and 123 and the feature amount calculating means 114 and 124 shown in FIG. 1 respectively include the center of gravity for each of the feature areas (connected areas) extracted from the images a10 and b20 to be compared. The feature amount information described above, that is, feature amount information such as the width / height / aspect ratio, line length, line area, and line width of the circumscribed rectangle is calculated. The result is, for example, the feature area information table shown in FIG. As shown in FIG. 4, identifiers (ID) are set for the feature regions extracted from the images a10 and b20, and the position (for example, the center of gravity) for each feature region and feature amount information, that is, a circumscribed rectangle. The width / height / aspect ratio, line length, line area, and line width are recorded.
次に、図１に示す対応特徴領域選択手段１３１において、図４に示す２つの画像ａ１０と画像ｂ２０についての特徴領域情報テーブルを入力して、両テーブルに記録された特徴領域情報に基づく対応付け（パターンマッチング）処理を行なう。すなわち、一方の画像についての１つの特徴領域に類似する特徴領域を他方の画像から選択する処理を行なう。
Next, in the corresponding feature
対応付け（パターンマッチング）処理において比較する特徴領域の特徴情報は、図４に示す特徴領域の特徴量情報から選択される。すなわち、外接矩形の幅・高さ・縦横比、線長（細線化後の構成画素数）、線面積（特徴領域の画素）、線幅の少なくともいずれかの情報を比較する。 The feature information of the feature region to be compared in the association (pattern matching) process is selected from the feature amount information of the feature region shown in FIG. That is, information on at least one of the width, height, aspect ratio, line length (number of constituent pixels after thinning), line area (feature area pixels), and line width of the circumscribed rectangle is compared.
図１に示す対応特徴領域選択手段１３１は、予め定められた選択基準に基づいて、複数画像からの対応特徴領域を選択する処理を実行する。選択基準としては、
（ａ）対応特徴領域検索範囲
（ｂ）比較対象の特徴量情報の種類数
（ｃ）比較対象の特徴量情報の一致度
などがあり、これらの基準を予め設定して２つの画像から対応特徴領域を選択する。
Corresponding feature area selection means 131 shown in FIG. 1 executes processing for selecting corresponding feature areas from a plurality of images based on a predetermined selection criterion. As selection criteria,
(A) Corresponding feature area search range (b) Number of types of feature quantity information to be compared (c) Matching degree of feature quantity information to be compared, etc. Select an area.
（ａ）対応特徴領域検索範囲は、図５に示すように、画像ａ１０における１つの特徴領域３０１の位置（重心）３０２の座標に対応する座標位置を画像ｂ２０から重心対応位置３２１として選択し、その周囲に特徴領域３０１と同様の特徴量を検索する範囲を設定する場合の設定する検索範囲３２２である。
（ｂ）比較対象の特徴量情報の種類数とは、図４に示す外接矩形の幅・高さ・縦横比、線長（細線化後の構成画素数）、線面積（特徴領域の画素）、線幅から、何種類の特徴量を比較対象として設定するかである。
（ｃ）比較対象の特徴量情報の一致度とは、適用した比較対象の特徴量を比較する場合、例えば画像ａから選択した１つの特徴領域の１つの特徴量、例えば外接矩形の幅と、画像ｂに設定された検索範囲から選択された特徴領域の外接矩形の幅とを比較した場合に、どの程度一致したかで、対応特徴領域として選択するか否かを判定する度合いである。
(A) As shown in FIG. 5, the corresponding feature area search range selects a coordinate position corresponding to the coordinates of the position (center of gravity) 302 of one
(B) The number of types of feature quantity information to be compared includes the width / height / aspect ratio of the circumscribed rectangle shown in FIG. 4, the line length (number of constituent pixels after thinning), and the line area (pixels in the feature region). How many types of feature quantities are set as comparison targets based on the line width.
(C) The degree of coincidence of the comparison target feature amount information is, for example, when comparing the applied comparison target feature amount, for example, one feature amount of one feature region selected from the image a, for example, the width of the circumscribed rectangle, This is the degree of determination as to whether or not to select a corresponding feature region based on how much they match when comparing the width of the circumscribed rectangle of the feature region selected from the search range set in the image b.
図１に示す対応特徴領域選択手段１３１は、予め設定された選択基準に基づいて、画像ａの特徴領域の特徴量と画像ｂの特徴領域の特徴量とを比較して、対応する特徴領域を選択する。 Corresponding feature region selection means 131 shown in FIG. 1 compares the feature amount of the feature region of image a with the feature amount of the feature region of image b based on a preset selection criterion, and determines the corresponding feature region. select.
この対応特徴領域情報は、補正係数算出手段１３２に入力され、２画像データの位置ずれを直すための画像変換に適用する補正係数を算出する。本発明の構成において、画像変換に適用する補正係数は、前述したように、並行移動（Δｘ，Δｙ）・回転（θ）・倍率（β）の４種類ではなく、ｘ方向とｙ方向それぞれの並行移動に対応した補正係数、（Δｘ，Δｙ）と、回転補正係数（θ）と、ｘ方向とｙ方向それぞれの独立した倍率補正例数（βｘ，βｙ）の５種類の補正係数である。これらの５種類の補正係数に基づいて画像変換を実行する。
The corresponding feature area information is input to the correction
補正係数算出手段１３２における補正係数算出処理の詳細について説明する。対応特徴領域を抽出した２つの画像、すなわち、図１に示す画像ａ１０と画像ｂ２０について、画像ａ１０を原本画像とし、画像２０ｂをスキャン画像などの補正対象画像として説明する。すなわち、画像２０ｂの画像に対して画像変換による補正を行い、原本画像である画像ａ１０に位置合わせを行なう。 Details of the correction coefficient calculation processing in the correction coefficient calculation means 132 will be described. The two images from which the corresponding feature regions are extracted, that is, the image a10 and the image b20 shown in FIG. 1, will be described with the image a10 as an original image and the image 20b as a correction target image such as a scan image. That is, correction by image conversion is performed on the image 20b, and alignment is performed with the image a10 that is the original image.
前述した対応特徴領域選択手段１３１による処理によって、画像ａ１０（原本画像）と画像ｂ２０（補正対象画像）からは、複数の対応特徴領域が選択されている。なお、最低でも３箇所の対応特徴領域を選択する。これはｘ方向とｙ方向で独立して設定された倍率補正係数としてのβｘ，βｙを算出するために必要となるからである。
By the processing by the corresponding feature
対応特徴領域選択手段１３１によって画像ａ１０（原本画像）と画像ｂ２０（補正対象画像）から選択された対応特徴領域の複数組のデータ各々について、
原本画像の対応特徴領域の位置（ｘ，ｙ）
補正対象画像の対応特徴領域の位置（ｘ'，ｙ'）
とすると、
（ｘ，ｙ）と（ｘ'，ｙ'）の関係は以下の式（式１）によって示される。
The position (x, y) of the corresponding feature area of the original image
Position of corresponding feature region of correction target image (x ′, y ′)
Then,
The relationship between (x, y) and (x ′, y ′) is expressed by the following equation (Equation 1).
上記式において、
Δｘ，Δｙ，θ，βｘ，βｙは、画像ａ１０（原本画像）と画像ｂ２０（補正対象画像）のずれ量に相当する値であり、最終的に算出しようとする補正係数である。すなわち、並行移動（Δｘ，Δｙ）・回転（θ）とｘ方向とｙ方向とで独立して設定された倍率（βｘ，βｙ）の５種類の補正係数に相当する。
In the above formula,
Δx, Δy, θ, βx, βy are values corresponding to the shift amount between the image a10 (original image) and the image b20 (correction target image), and are correction coefficients to be finally calculated. That is, it corresponds to five types of correction coefficients of parallel movement (Δx, Δy) / rotation (θ) and magnifications (βx, βy) set independently in the x direction and the y direction.
上記式（式１）を展開すると下記の式（式２）が得られる。さらに、式２において、画像ａ１０（原本画像）と画像ｂ２０（補正対象画像）の回転ずれθをθ≒０とすると、ｓｉｎθ≒０、ｃｏｓθ≒１と近似できるので、以下の式（式３）に展開することができる。
上記の式（式３）は、対応特徴領域選択手段１３１によって画像ａ１０（原本画像）と画像ｂ２０（補正対象画像）から選択された対応特徴領域の複数組（３以上）のデータ各々について成立する関係式である。この複数の対応特徴領域に対応する関係式に基づいて、並行移動（Δｘ，Δｙ）・回転（θ）とｘ方向とｙ方向とで独立して設定された倍率（βｘ，βｙ）の５種類の補正係数を求める。
The above equation (Equation 3) holds for each of a plurality of sets (three or more) of corresponding feature regions selected from the image a10 (original image) and the image b20 (correction target image) by the corresponding feature
補正係数は、一方の画像（補正対象画像）に対して補正係数に基づく変換を実行した場合に、２つの画像の対応特徴領域の位置の誤差が最も小さくなる値として算出される。具体的には、例えば、最小二乗法を適用して、２つの画像の対応特徴領域の位置の誤差の総和が最も小さくなるような補正係数として、並行移動（Δｘ，Δｙ）・回転（θ）、ｘｙ方向倍率（βｘ，βｙ）の５種類の補正係数の各値を求める。なお、最小二乗法を適用した補正係数算出処理については、例えば特開平９−９３４３１に記載されている。 The correction coefficient is calculated as a value that minimizes the error in the position of the corresponding feature region between the two images when conversion based on the correction coefficient is performed on one image (correction target image). Specifically, for example, by applying the method of least squares, parallel movement (Δx, Δy) / rotation (θ) is used as a correction coefficient that minimizes the sum of errors in the positions of corresponding feature regions of two images. , Each value of the five types of correction coefficients of the magnification in the xy direction (βx, βy) is obtained. The correction coefficient calculation process using the least square method is described in, for example, JP-A-9-93431.
２つの画像の対応特徴領域の位置の誤差の二乗和［ε］は、以下に示す式（式４）に基づいて求められ、式（式４）の二乗和［ε］を最小とするための条件は、下式（式５）となる。
ここで、以下の式（式６〜式１５）のように定義すると、
並行移動（Δｘ，Δｙ）・回転（θ）、ｘｙ方向倍率（βｘ，βｙ）の５種類の補正係数は、下式（式１６〜式２０）によって算出することができる。
補正係数算出手段１３２は上述した処理によって、対応特徴領域選択手段１３１によって画像ａ１０（原本画像）と画像ｂ２０（補正対象画像）から選択された対応特徴領域の複数組の位置座標データに基づいて、並行移動（Δｘ，Δｙ）・回転（θ）、ｘｙ方向倍率（βｘ，βｙ）の５種類の補正係数の各値を求める。
The correction
次に、画像変換手段１３３は、補正係数算出手段１３２の算出した補正係数に基づく画像データの変換処理を実行する。すなわち、並行移動（Δｘ，Δｙ）・回転（θ）、ｘｙ方向倍率（βｘ，βｙ）の５種類の補正係数を適用して、補正対象画像、ここでは画像ｂ２０の変換処理を実行する。画像変換処理は、アフィン変換と同様の処理であるが、アフィン変換では、並行移動（Δｘ，Δｙ）・回転（θ）、倍率（β）の４種類の補正係数を適用した変換を行うのに対して、本発明の構成では、並行移動（Δｘ，Δｙ）・回転（θ）、ｘｙ方向倍率（βｘ，βｙ）の５種類の補正係数を適用し、ｘ方向とｙ方向とで独立して設定された倍率設定とした補正処理を行なう。
Next, the
上述したように、本発明の構成では、並行移動（Δｘ，Δｙ）・回転（θ）、ｘｙ方向倍率（βｘ，βｙ）の５種類の補正係数を適用し、ｘ方向とｙ方向とで独立した倍率設定とした補正処理を行なうので、例えば、プリント時およびスキャン時の光学系横倍率ずれに基づく主走査方向の倍率ずれや、プリント時およびスキャン時の紙送り速度ずれ、スキャン時のセンサー移動速度ずれに基づく副走査方向の倍率ずれなどによって、原本画像に対して、ｘ方向とｙ方向とで異なる倍率変動を発生させてしまった画像を補正する場合、方向によって異なる倍率変動を反映させた正確な画像補正を行なうことができる。 As described above, in the configuration of the present invention, five types of correction coefficients of parallel movement (Δx, Δy) / rotation (θ) and xy direction magnification (βx, βy) are applied, and the x direction and the y direction are independent. For example, the magnification shift in the main scanning direction based on the optical system lateral magnification deviation during printing and scanning, the paper feed speed deviation during printing and scanning, and the sensor movement during scanning When correcting an image in which different magnification fluctuations in the x direction and y direction are generated with respect to the original image due to a magnification deviation in the sub-scanning direction based on a speed deviation, the magnification fluctuations that differ depending on the direction are reflected. Accurate image correction can be performed.
次に、本発明の画像処理装置の実行する処理シーケンスについて、図６、図７に示すフローチャートを参照して説明する。図６は、図１に示す前処理手段１１１〜特徴量算出手段１１４に対応する処理であり、図７は、対応特徴領域選択手段１３１〜画像変換手段１３３における処理を示している。 Next, the processing sequence executed by the image processing apparatus of the present invention will be described with reference to the flowcharts shown in FIGS. 6 shows processing corresponding to the preprocessing means 111 to the feature amount calculation means 114 shown in FIG. 1, and FIG. 7 shows processing in the corresponding feature area selection means 131 to the image conversion means 133.
なお、図１に示す前処理手段１１１〜特徴量算出手段１１４と前処理手段１２１〜特徴量算出手段１２４は処理対象画像が異なるのみで、同様の処理であり、これらの処理は並列に実行される。図６のフローの各ステップの処理について説明する。なお、以下の説明においては、図１に示す画像ａ１０に対して、前処理手段１１１〜特徴量算出手段１１４の実行する処理として説明するが、画像ｂについても、前処理手段１２１〜特徴量算出手段１２４において同様の処理が実行される。
Note that the
ステップＳ１０１において、画像ａの読み込みを行なう。ステップＳ１０２において、前処理手段１１１において前処理を実行する。この前処理は、前述したように輝度情報のみを取得する単色化処理と、二値化処理である。次に、ステップＳ１０３において、連結領域や線分交差点などの特徴領域の抽出処理を実行する。特徴領域抽出手段１１２において、二値化画像における黒画素の連続領域（黒ラン）、あるいは黒画素ではない白画素データの連続した領域（白ラン）であり、予め定めた条件を満足する領域を連続領域などを特徴領域として抽出する。抽出された特徴領域は、識別子（ＩＤ）を付与して図４に示す特徴領域情報テーブルに登録する。
In step S101, the image a is read. In step S102, the preprocessing means 111 performs preprocessing. As described above, this pre-processing is a monochromatic process for obtaining only luminance information and a binarization process. Next, in step S103, feature region extraction processing such as connected regions and line segment intersections is executed. In the feature
次に、ステップＳ１０４において、画像から取得した特徴領域の位置、例えば重心位置を算出する。さらに、ステップＳ１０５〜Ｓ１１０において、特徴領域に対応する特徴量情報、すなわち、図３を参照して説明した特徴量情報としての外接矩形の幅・高さ・縦横比、線長、線面積、線幅などの特徴量情報を算出し、ステップＳ１１１において、特徴領域の位置（重心）および特徴量情報を特徴領域情報テーブル（図４参照）に登録する。ステップＳ１１２において、全ての抽出特徴領域に対応する位置および特徴量の算出、登録が完了したか否かを判定し、未終了の場合は、ステップＳ１０４以下の処理を各特徴領域について繰り返し実行し、最終的に全ての抽出特徴領域に対応する位置および特徴量の算出、登録が完了して処理を終了する。この処理によって、図４に示す特徴領域情報テーブルが完成する。 Next, in step S104, the position of the feature region acquired from the image, for example, the position of the center of gravity is calculated. Further, in steps S105 to S110, the feature amount information corresponding to the feature region, that is, the width / height / aspect ratio of the circumscribed rectangle as the feature amount information described with reference to FIG. 3, the line length, the line area, the line The feature amount information such as the width is calculated, and the position (center of gravity) of the feature region and the feature amount information are registered in the feature region information table (see FIG. 4) in step S111. In step S112, it is determined whether the calculation and registration of the positions and feature amounts corresponding to all the extracted feature regions have been completed. If not completed, the processing from step S104 onward is repeatedly executed for each feature region. Finally, the calculation and registration of the positions and feature amounts corresponding to all the extracted feature areas are completed, and the process is terminated. By this processing, the feature area information table shown in FIG. 4 is completed.
次に、図７を参照して、対応特徴領域選択手段１３１〜画像変換手段１３３における処理のシーケンスについて説明する。まず、ステップＳ２０１において、特徴領域識別子（番号）に対応する変数ｉを初期値ｉ＝１に設定する。なお、本フローではＮ個の特徴領域について、対応特徴領域を選択する処理を実行するものとする。次に、ステップＳ２０２において、補正処理対象画像のｉ番目の特徴領域（連結領域）の重心などの位置と、特徴量情報を取得する。図４に示す特徴領域（連結領域）情報テーブルから取得する。
Next, with reference to FIG. 7, a processing sequence in the corresponding feature
次に、ステップＳ２０３において、ステップＳ２０２で求めた１つの特徴領域の重心位置に対応する原本画像の対応位置から特徴領域を抽出する。この抽出処理は、図４に示す特徴領域情報テーブルに基づいて実行可能である。なお、本処理フローでは、補正処理を実行する画像を補正処理対象画像とし、補正処理を実行しない画像を原本画像として説明している。すなわち、補正処理対象画像を原本画像に合わせるように補正を行なう。 Next, in step S203, a feature region is extracted from the corresponding position of the original image corresponding to the barycentric position of one feature region obtained in step S202. This extraction process can be executed based on the feature area information table shown in FIG. In this processing flow, an image for which correction processing is performed is described as a correction processing target image, and an image for which correction processing is not performed is described as an original image. That is, correction is performed so that the correction processing target image matches the original image.
また、ステップＳ２０３において説明している所定範囲は、先に、図５を参照して説明したように、一方の画像の特徴領域に対応する他方の画像の位置の周囲に設定される予め大きさの設定された範囲である。ステップＳ２０４において、原本画像に設定された所定の検索領域から選択された複数の特徴領域から、予め定められた特徴量一致度等の選択基準を満足する特徴量を持つ特徴領域を対応特徴領域として選択する。なお、選択基準を満足する特徴量を持つ特徴領域が複数ある場合は、最も特徴量の一致度が高いデータを対応特徴領域とする。選択基準を満足する特徴量を持つ特徴領域がない場合は、該当なしとする。 In addition, the predetermined range described in step S203 has a predetermined size set around the position of the other image corresponding to the feature region of one image, as described above with reference to FIG. Is the set range. In step S204, a feature region having a feature amount satisfying a selection criterion such as a predetermined feature amount matching degree is selected as a corresponding feature region from a plurality of feature regions selected from a predetermined search region set in the original image. select. When there are a plurality of feature regions having feature amounts that satisfy the selection criteria, the data with the highest matching amount of feature amounts is set as the corresponding feature region. If there is no feature region having a feature amount that satisfies the selection criteria, it is not applicable.
ステップＳ２０５では、特徴領域識別子（番号）に対応する変数ｉが、特徴領域数（Ｎ）に等しいか否かを判定し、等しくない場合は、ステップＳ２０６に進み、変数ｉを更新し、次の特徴領域（連結領域）について、ステップＳ２０２〜Ｓ２０４の対応特徴領域選択処理を実行する。 In step S205, it is determined whether or not the variable i corresponding to the feature region identifier (number) is equal to the number of feature regions (N). If not, the process proceeds to step S206 to update the variable i, and For the feature region (connected region), the corresponding feature region selection process in steps S202 to S204 is executed.
補正対象画像から選択されたＮ個すべての特徴領域に対応する対応特徴領域選択処理が修了すると、ステップＳ２０７に進む。ステップＳ２０７では、補正対象画像と原本画像における対応特徴領域の相対位置を比較し、概ね一致する相対位置情報を持つ組み合わせを抽出する。すなわち、この処理は、誤った対応特徴領域の組み合わせを排除するための処理である。 When the corresponding feature region selection processing corresponding to all N feature regions selected from the correction target image is completed, the process proceeds to step S207. In step S207, the relative positions of the corresponding feature regions in the correction target image and the original image are compared, and a combination having relatively matching relative position information is extracted. That is, this process is a process for eliminating combinations of erroneous corresponding feature regions.
次に、ステップＳ２０８において、ステップＳ２０７で選択された対応特徴領域の位置情報に基づいて補正係数を算出する。すなわち、図１に示す補正係数算出手段１３２の処理であり、２つの画像データの位置ずれを直すための画像変換に適用する補正係数として、並行移動（Δｘ，Δｙ）・回転（θ）とｘ方向とｙ方向とで独立して設定された倍率（βｘ，βｙ）の５種類の補正係数を算出する。
Next, in step S208, a correction coefficient is calculated based on the position information of the corresponding feature region selected in step S207. That is, in the processing of the correction
次に、ステップＳ２０９において、算出した補正係数に基づいて補正対象画像の画像変換処理を実行する。 Next, in step S209, an image conversion process of the correction target image is executed based on the calculated correction coefficient.
最後に、図８を参照して、画像処理装置のハードウェア構成例について説明する。図８に示す構成は、例えばＰＣなどの情報処理装置と、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えたハード構成例を示している。
Finally, an example of the hardware configuration of the image processing apparatus will be described with reference to FIG. The configuration illustrated in FIG. 8 illustrates a hardware configuration example including an information processing apparatus such as a PC, an image
ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち特徴領域の抽出処理、特徴領域の位置、特徴量の算出、特徴領域情報テーブルの生成、対応特徴領域の選択処理、補正係数の算出、補正係数に基づくデータ変換処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。 A CPU (Central Processing Unit) 501 performs various data processing described in the above-described embodiments, that is, feature region extraction processing, feature region position, feature amount calculation, feature region information table generation, and corresponding feature region selection. It is a control part which performs the process according to the computer program describing the execution sequence of each process, such as a process, calculation of a correction coefficient, and the data conversion process based on a correction coefficient.
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
A ROM (Read Only Memory) 502 stores programs used by the
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
The
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。
A
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば前述した特徴領域（連結領域）情報テーブルを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
An HDD (Hard Disk Drive) 511 includes a hard disk, drives the hard disk, and records or reproduces a program executed by the
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
The
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。さらに、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えている。
The
なお、図８に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図８に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。 Note that the hardware configuration example of the image processing apparatus shown in FIG. 8 shows one example of the apparatus, and the image processing apparatus of the present invention is not limited to the configuration shown in FIG. Any configuration capable of executing the process may be used.
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。 The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and executed.
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 The program is installed on the computer from the removable recording medium as described above, or is wirelessly transferred from the download site to the computer, or is wired to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 The various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Further, in this specification, the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
以上、説明したように、本発明の構成によれば、複数の画像間のずれを補正する画像変換処理を行う構成において、ｘ方向とｙ方向それぞれの並行移動に対応した補正係数、（Δｘ，Δｙ）と、回転補正係数（θ）と、ｘ方向とｙ方向それぞれの独立した倍率補正例数（βｘ，βｙ）の５種類の補正係数を生成し、これらの５種類の補正係数に基づく画像変換処理を実行する構成とした。このように本発明では、ｘ方向とｙ方向とで独立した倍率設定とした補正処理を行なうので、例えば、プリント時およびスキャン時の光学系横倍率ずれに基づく主走査方向の倍率ずれや、プリント時およびスキャン時の紙送り速度ずれ、スキャン時のセンサー移動速度ずれに基づく副走査方向の倍率ずれなどによって、原本画像に対して、ｘ方向とｙ方向とで異なる倍率変動が発生した画像についても、ｘｙ各方向の独立した倍率補正係数に基づく正確な画像補正を行なうことができる。 As described above, according to the configuration of the present invention, the correction coefficient corresponding to the parallel movement in each of the x direction and the y direction, (Δx, Δy), a rotation correction coefficient (θ), and five types of correction coefficients (βx, βy) that are independent of each other in the x direction and the y direction are generated, and an image based on these five types of correction coefficients The conversion process is executed. As described above, in the present invention, correction processing is performed with independent magnification settings in the x direction and the y direction. For example, a magnification deviation in the main scanning direction based on a lateral magnification deviation in the optical system during printing and scanning, Also for an image in which different magnification fluctuations occur in the x and y directions with respect to the original image due to a paper feed speed deviation during scanning and scanning, a magnification deviation in the sub-scanning direction based on a sensor movement speed deviation during scanning, etc. Accurate image correction based on independent magnification correction coefficients in the xy directions can be performed.
１１１，１２１ 前処理手段
１１２，１２２ 特徴領域抽出手段
１１３，１２３ 特徴領域位置算出手段
１１４，１２４ 特徴量算出手段
１３１ 対応特徴領域選択手段
１３２ 補正係数算出手段
１３３ 画像変換手段
２００ 特徴領域（連結領域）
２０１ 重心
２０２ 外接矩形
２０３ 特徴領域（連結領域）細線化データ
２０４ 線幅
３０１ 特徴領域（連結領域）
３０２ 重心
３２１ 重心対応位置
３２２ 検索範囲
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５１６ カードリーダ
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ 画像データ読み取り部
５３２ 画像データ出力部
111, 121 Pre-processing means 112, 122 Feature area extraction means 113, 123 Feature area position calculation means 114, 124 Feature amount calculation means 131 Corresponding feature area selection means 132 Correction coefficient calculation means 133 Image conversion means 200 Feature area (connection area)
201 Center of
302 Center of
502 ROM (Read-Only-Memory)
503 RAM (Random Access Memory)
504
512
Claims (13)
補正対象画像と原本画像の各々から特徴領域を抽出する特徴領域抽出手段と、
前記特徴領域抽出手段の抽出した特徴領域の特徴量を算出する特徴量算出手段と、
前記補正対象画像と原本画像から抽出された特徴領域の特徴量の一致度に基づいて、２画像間の対応特徴領域を選択する対応特徴領域選択手段と、
前記対応特徴領域選択手段において選択された対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する補正係数を算出する補正係数算出手段と、
補正対象画像の原本画像に対するずれを修正するため、前記補正係数を適用した変換処理を前記補正対象画像に対して実行する画像変換手段とを有し、
前記補正係数算出手段は、
補正係数として、
ｘ方向とｙ方向に対応する並行移動補正係数（Δｘ，Δｙ）と、
回転補正係数（θ）と、
ｘ方向とｙ方向とで独立して設定された倍率補正係数（βｘ，βｙ）、
これらの５種類の補正係数を算出し、
前記画像変換手段は、
前記５種類の補正係数を適用した画像変換処理を実行する構成であることを特徴とする画像処理装置。 An image processing device,
Feature region extraction means for extracting a feature region from each of the correction target image and the original image;
Feature quantity calculating means for calculating the feature quantity of the feature area extracted by the feature area extracting means;
Corresponding feature region selection means for selecting a corresponding feature region between two images based on the degree of coincidence of feature amounts of feature regions extracted from the correction target image and the original image;
Correction coefficient calculating means for calculating a deviation amount between the two images based on position information of the corresponding feature area selected by the corresponding feature area selecting means, and calculating a correction coefficient to be applied to the correction of the deviation amount; ,
Image correction means for executing a conversion process to which the correction coefficient is applied to the correction target image in order to correct a deviation of the correction target image from the original image;
The correction coefficient calculation means includes
As a correction factor,
parallel movement correction coefficients (Δx, Δy) corresponding to the x direction and the y direction,
Rotation correction coefficient (θ),
Magnification correction coefficients (βx, βy) set independently in the x and y directions,
Calculate these five types of correction coefficients,
The image conversion means includes
An image processing apparatus configured to execute image conversion processing to which the five types of correction coefficients are applied.
前記補正対象画像と原本画像の各々から対応特徴領域の組を少なくとも３組以上選択し、
前記補正係数算出手段は、
前記対応特徴領域選択手段において選択された３組以上の対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する前記５種類の補正係数を算出する構成であることを特徴とする請求項１に記載の画像処理装置。 The corresponding feature region selection means includes
Selecting at least three sets of corresponding feature regions from each of the correction target image and the original image,
The correction coefficient calculation means includes
The five types of correction coefficients applied to the correction of the deviation amount by calculating the deviation amount between the two images based on the positional information of the three or more pairs of corresponding feature regions selected by the corresponding feature region selection means The image processing apparatus according to claim 1, wherein the image processing apparatus is configured to calculate a value.
補正対象画像に対して補正係数に基づく変換を実行した場合に、２つの画像の対応特徴領域の位置の誤差が最も小さくなるような値として、前記５種類の補正係数を算出する構成であることを特徴とする請求項１に記載の画像処理装置。 The correction coefficient calculation means includes
When the conversion based on the correction coefficient is executed on the correction target image, the five types of correction coefficients are calculated as values that minimize the error in the position of the corresponding feature region between the two images. The image processing apparatus according to claim 1.
最小二乗法を適用して前記５種類の補正係数を算出する構成であることを特徴とする請求項３に記載の画像処理装置。 The correction coefficient calculation means includes
The image processing apparatus according to claim 3, wherein the five types of correction coefficients are calculated by applying a least square method.
前記特徴領域抽出手段の抽出した特徴領域の特徴量として、位置情報を含む特徴量情報の抽出処理を実行し、特徴領域に対応する位置情報を含む特徴量についてのリストとしての特徴領域情報テーブルを生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。 The feature amount calculating means includes:
A feature region information table as a list of feature amounts including position information corresponding to the feature region is extracted by performing feature amount information extraction processing including feature information as feature amounts extracted by the feature region extraction means. The image processing apparatus according to claim 1, wherein the image processing apparatus is configured to execute a process to be generated.
前記特徴領域情報テーブルの格納データに基づいて、補正対象画像と原本画像から抽出された特徴領域の特徴量比較を実行し、対応特徴領域を選択する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。 The corresponding feature region selection means includes
Based on the stored data of the feature region information table, the feature amount comparison between the correction target image and the feature region extracted from the original image is executed, and the process of selecting the corresponding feature region is executed. The image processing apparatus according to claim 1.
補正対象画像と原本画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出された特徴領域の特徴量を算出する特徴量算出ステップと、
前記補正対象画像と原本画像から抽出された特徴領域の特徴量の一致度に基づいて、２画像間の対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する補正係数を算出する補正係数算出ステップと、
補正対象画像の原本画像に対するずれを修正するため、前記補正係数を適用した変換処理を前記補正対象画像に対して実行する画像変換ステップとを有し、
前記補正係数算出ステップは、
補正係数として、
ｘ方向とｙ方向に対応する並行移動補正係数（Δｘ，Δｙ）と、
回転補正係数（θ）と、
ｘ方向とｙ方向とで独立して設定された倍率補正係数（βｘ，βｙ）、
これらの５種類の補正係数を算出し、
前記画像変換ステップは、
前記５種類の補正係数を適用した画像変換処理を実行することを特徴とする画像処理方法。 An image processing method,
A feature region extraction step for extracting a feature region from each of the correction target image and the original image;
A feature amount calculating step for calculating a feature amount of the feature region extracted in the feature region extracting step;
A corresponding feature region selection step of selecting a corresponding feature region between two images based on the degree of coincidence of feature amounts of feature regions extracted from the correction target image and the original image;
A correction coefficient calculating step of calculating a shift amount between the two images based on position information of the corresponding feature region selected in the corresponding feature region selecting step, and calculating a correction coefficient applied to the correction of the shift amount; ,
An image conversion step of executing a conversion process to which the correction coefficient is applied to the correction target image in order to correct a deviation of the correction target image with respect to the original image,
The correction coefficient calculating step includes:
As a correction factor,
parallel movement correction coefficients (Δx, Δy) corresponding to the x direction and the y direction,
Rotation correction coefficient (θ),
Magnification correction coefficients (βx, βy) set independently in the x and y directions,
Calculate these five types of correction coefficients,
The image conversion step includes
An image processing method, wherein image conversion processing to which the five types of correction coefficients are applied is executed.
前記補正対象画像と原本画像の各々から対応特徴領域の組を少なくとも３組以上選択し、
前記補正係数算出ステップは、
前記対応特徴領域選択ステップにおいて選択された３組以上の対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する前記５種類の補正係数を算出することを特徴とする請求項７に記載の画像処理方法。 The corresponding feature region selection step includes:
Selecting at least three sets of corresponding feature regions from each of the correction target image and the original image,
The correction coefficient calculating step includes:
The five types of correction coefficients applied to the correction of the shift amount by calculating the shift amount between the two images based on the positional information of the three or more sets of corresponding feature regions selected in the corresponding feature region selection step The image processing method according to claim 7, wherein:
補正対象画像に対して補正係数に基づく変換を実行した場合に、２つの画像の対応特徴領域の位置の誤差が最も小さくなるような値として、前記５種類の補正係数を算出することを特徴とする請求項７に記載の画像処理方法。 The correction coefficient calculating step includes:
When the conversion based on the correction coefficient is performed on the correction target image, the five types of correction coefficients are calculated as values that minimize the error in the position of the corresponding feature region between the two images. The image processing method according to claim 7.
最小二乗法を適用して前記５種類の補正係数を算出することを特徴とする請求項９に記載の画像処理方法。 The correction coefficient calculating step includes:
The image processing method according to claim 9, wherein the five kinds of correction coefficients are calculated by applying a least square method.
前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量として、位置情報を含む特徴量情報の抽出処理を実行し、特徴領域に対応する位置情報を含む特徴量についてのリストとしての特徴領域情報テーブルを生成する処理を実行することを特徴とする請求項７に記載の画像処理方法。 The feature amount calculating step includes:
As a feature quantity extracted in the feature area extraction step, a feature quantity information extraction process including position information is executed, and a feature area information table as a list of feature quantities including position information corresponding to the feature area is provided. The image processing method according to claim 7, wherein the generation process is executed.
前記特徴領域情報テーブルの格納データに基づいて、補正対象画像と原本画像から抽出された特徴領域の特徴量比較を実行し、対応特徴領域を選択する処理を実行することを特徴とする請求項７に記載の画像処理方法。 The corresponding feature region selection step includes:
8. A process of comparing feature amounts of feature areas extracted from a correction target image and an original image based on data stored in the feature area information table and selecting a corresponding feature area. An image processing method described in 1.
補正対象画像と原本画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出された特徴領域の特徴量を算出する特徴量算出ステップと、
前記補正対象画像と原本画像から抽出された特徴領域の特徴量の一致度に基づいて、２画像間の対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域の位置情報に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量の修正に適用する補正係数を算出する補正係数算出ステップと、
補正対象画像の原本画像に対するずれを修正するため、前記補正係数を適用した変換処理を前記補正対象画像に対して実行する画像変換ステップとを有し、
前記補正係数算出ステップは、
補正係数として、
ｘ方向とｙ方向に対応する並行移動補正係数（Δｘ，Δｙ）と、
回転補正係数（θ）と、
ｘ方向とｙ方向とで独立して設定された倍率補正係数（βｘ，βｙ）、
これらの５種類の補正係数を算出し、
前記画像変換ステップは、
前記５種類の補正係数を適用した画像変換処理を実行することを特徴とするコンピュータ・プログラム。 A computer program for executing image processing on a computer;
A feature region extraction step for extracting a feature region from each of the correction target image and the original image;
A feature amount calculating step for calculating a feature amount of the feature region extracted in the feature region extracting step;
A corresponding feature region selection step of selecting a corresponding feature region between two images based on the degree of coincidence of the feature amounts of the feature regions extracted from the correction target image and the original image;
A correction coefficient calculating step of calculating a shift amount between the two images based on position information of the corresponding feature region selected in the corresponding feature region selecting step and calculating a correction coefficient to be applied to the correction of the shift amount; ,
An image conversion step of executing a conversion process to which the correction coefficient is applied to the correction target image in order to correct a shift of the correction target image with respect to the original image,
The correction coefficient calculating step includes:
As a correction factor,
parallel movement correction coefficients (Δx, Δy) corresponding to the x direction and the y direction,
Rotation correction coefficient (θ),
Magnification correction coefficients (βx, βy) set independently in the x and y directions,
Calculate these five types of correction coefficients,
The image conversion step includes
A computer program for executing image conversion processing to which the five types of correction coefficients are applied.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005046556A JP2006235786A (en) | 2005-02-23 | 2005-02-23 | Image processor, image processing method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005046556A JP2006235786A (en) | 2005-02-23 | 2005-02-23 | Image processor, image processing method and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006235786A true JP2006235786A (en) | 2006-09-07 |
Family
ID=37043391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005046556A Pending JP2006235786A (en) | 2005-02-23 | 2005-02-23 | Image processor, image processing method and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006235786A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008206037A (en) * | 2007-02-22 | 2008-09-04 | Fuji Xerox Co Ltd | Image processing apparatus and image processing program |
| JP2010273315A (en) * | 2009-05-19 | 2010-12-02 | Shindorico Co Ltd | Image forming apparatus with scanning function and scanning method thereof |
| EP2382914A1 (en) | 2010-04-30 | 2011-11-02 | Canon Kabushiki Kaisha | Ophthalmologic apparatus and ophthalmologic observation method |
| JP2017068867A (en) * | 2016-12-15 | 2017-04-06 | キヤノン株式会社 | Ophthalmologic apparatus and operation method for ophthalmologic apparatus |
-
2005
- 2005-02-23 JP JP2005046556A patent/JP2006235786A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008206037A (en) * | 2007-02-22 | 2008-09-04 | Fuji Xerox Co Ltd | Image processing apparatus and image processing program |
| JP2010273315A (en) * | 2009-05-19 | 2010-12-02 | Shindorico Co Ltd | Image forming apparatus with scanning function and scanning method thereof |
| EP2382914A1 (en) | 2010-04-30 | 2011-11-02 | Canon Kabushiki Kaisha | Ophthalmologic apparatus and ophthalmologic observation method |
| JP2011229834A (en) * | 2010-04-30 | 2011-11-17 | Canon Inc | Apparatus and method for detecting movement of object, and oct apparatus |
| US8827453B2 (en) | 2010-04-30 | 2014-09-09 | Canon Kabushiki Kaisha | Ophthalmologic apparatus and ophthalmologic observation method |
| JP2017068867A (en) * | 2016-12-15 | 2017-04-06 | キヤノン株式会社 | Ophthalmologic apparatus and operation method for ophthalmologic apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4919028B2 (en) | Image processing apparatus and image processing program | |
| JP5620244B2 (en) | Image registration method and program for image comparison and document authentication | |
| EP1909215B1 (en) | Image region detection method, recording medium, and device therefor | |
| JP5861503B2 (en) | Image inspection apparatus and method | |
| JP2007335920A (en) | Image processing apparatus and image processing program | |
| JP4594952B2 (en) | Character recognition device and character recognition method | |
| US6539112B1 (en) | Methods and system for identifying a reference region on an image of a dropped-out form | |
| JP6665595B2 (en) | Character recognition device, method and program | |
| JP2001307014A (en) | Two-dimensional code extracting method | |
| US7630572B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2006235785A (en) | Image processor, image processing method and computer program | |
| US20050185858A1 (en) | Image processing method and apparatus and storage medium | |
| JP2006235786A (en) | Image processor, image processing method and computer program | |
| US10834281B2 (en) | Document size detecting by matching between image of entire document and read size image | |
| JP3733310B2 (en) | Document format identification device and identification method | |
| US7155051B2 (en) | Image recognition apparatus, image recognition method and image recognition program for specific pattern | |
| JP2005316550A (en) | Image processor, image reader, image inspection device and program | |
| JP4552757B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US9325872B2 (en) | Image processing apparatus | |
| JP4840388B2 (en) | Image processing apparatus and image processing program | |
| US9258446B2 (en) | Image processing apparatus | |
| JP4070486B2 (en) | Image processing apparatus, image processing method, and program used to execute the method | |
| JP2000339407A (en) | Picture processor, picture processing method and computer readable storage medium | |
| JP3350596B2 (en) | Tilt detection method | |
| US20230063374A1 (en) | Image processing apparatus, non-transitory storage medium, and image processing method |