JP2006235785A - Image processor, image processing method and computer program - Google Patents
Image processor, image processing method and computer program Download PDFInfo
- Publication number
- JP2006235785A JP2006235785A JP2005046555A JP2005046555A JP2006235785A JP 2006235785 A JP2006235785 A JP 2006235785A JP 2005046555 A JP2005046555 A JP 2005046555A JP 2005046555 A JP2005046555 A JP 2005046555A JP 2006235785 A JP2006235785 A JP 2006235785A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- region
- image
- setting
- feature region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000004590 computer program Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 178
- 238000012545 processing Methods 0.000 claims abstract description 122
- 238000004364 calculation method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims description 171
- 238000012937 correction Methods 0.000 claims description 141
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 230000005484 gravity Effects 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 15
- 238000003702 image correction Methods 0.000 abstract description 2
- 238000006073 displacement reaction Methods 0.000 abstract 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 24
- 230000009466 transformation Effects 0.000 description 22
- 238000007781 pre-processing Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、複数の画像データについてのずれ量算出や、位置合わせ補正処理を正確に行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a computer program. More specifically, the present invention relates to an image processing apparatus, an image processing method, and a computer program that accurately perform deviation amount calculation and alignment correction processing for a plurality of image data.
画像処理の分野において、２枚以上の同種の画像を位置合わせしたい場合が少なくない。例えばプリンタやＦＡＸなどから出力した帳票やレジュメなどの紙ドキュメントに、ユーザが記入した追記等を抽出したり、セキュリティ文書が改竄されていないかどうか検証したりする場合など、これらの紙文書をスキャンして電子原本と比較して追記や改竄部分を検出する処理が行なわれる。 In the field of image processing, there are many cases where two or more images of the same type are desired to be aligned. For example, to scan a paper document such as a form or resume output from a printer or FAX to extract additional notes entered by the user or to verify whether the security document has been tampered with. Then, a process for detecting a postscript or falsified portion is performed as compared with the electronic original.
この検出処理の際、２つの画像データの比較に先立ちスキャン画像と電子原本画像の位置合わせを高精度に行う必要がある。複数の画像データについての位置合わせ技術を開示した従来技術として例えば特許文献１がある。
In this detection process, it is necessary to align the scanned image and the electronic original image with high accuracy before comparing the two image data. For example,
特許文献１には、スキャン画像を単色化・二値化した後、所定の大きさの範囲に設定した検索領域において、黒データ（黒ラン）の連結領域を抽出し、スキャン処理の元データとしての原本画像（単色化・二値化済み）から、同様の黒データ（黒ラン）の連結領域を抽出し、相互の画像から抽出した連結領域のパターンを比較して、対応パターンを、パターンマッチングで見つけ、さらに、パターンマッチングの結果、両画像で対応が取れた複数のパターン（連結領域）の重心を求め、各画像における対応パターンの重心の位置に基づいて、両画像の位置ずれを算出して、一方の画像の補正を実行して、２つの画像位置を一致させる構成が示されている。なお、画像補正は、アフィン変換を用いて実行し、位置ずれ情報は、アフィン変換の変換パラメータ（補正係数）として適用している。
In
上記従来技術において、パターンマッチング対象のデータとして検出する連結領域は、連結領域の外接矩形、すなわち、黒データ（黒ラン）の連結領域に外接する矩形の大きさが、幅Ｗ画素、高さＨ画素とした場合、８＜Ｗ＜１２８、かつ８＜Ｈ＜１２８の大きさを有する連結領域としている。また、アフィン変換の補正係数としては、並行移動（Ｘ，Ｙ）・回転（θ）・倍率（β）の４種類の補正係数を適用した処理例を開示している。 In the above prior art, the connected area detected as pattern matching target data has a circumscribed rectangle of the connected area, that is, a rectangle circumscribing the connected area of black data (black run) has a width W pixel and a height H. In the case of a pixel, the connected region has a size of 8 <W <128 and 8 <H <128. In addition, as an affine transformation correction coefficient, a processing example is disclosed in which four types of correction coefficients of parallel movement (X, Y), rotation (θ), and magnification (β) are applied.
しかし、上述の従来技術を含むこれまでに知られる画像相互の位置合わせ技術では、例えば原本画像と原本画像をスキャンして得られたスキャン画像や、原本画像と原本画像の電子データをプリンタを介して出力されたプリント画像など、様々なデータ読み取りまたは出力機器を介して出力された画像は、スキャン処理やプリント処理などの際に、各機器の持つ光学的な特性やメカニカルな特性によって、原本との大きな位置ずれが発生してしまう場合がある。このような場合、原本画像とスキャン画像の位置合わせや、原本画像とプリント画像との位置合わせ、あるいはスキャン画像とプリント画像との位置合わせ処理などにおいて位置ずれが大きすぎて、画像間で対応する連結領域パターンの検索が困難になるという問題がある。 However, in the conventional image registration technique including the above-described conventional technique, for example, a scanned image obtained by scanning the original image and the original image, and electronic data of the original image and the original image are transmitted via a printer. Images that are output via various data reading or output devices such as printed images that are output in the same way as the original due to the optical and mechanical characteristics of each device during scanning and printing. In some cases, a large misalignment may occur. In such a case, the positional deviation between the original image and the scan image, the alignment between the original image and the print image, or the alignment process between the scan image and the print image is too large, and the correspondence is between the images. There is a problem that it becomes difficult to search for a connected region pattern.
特に、プリンタやＦＡＸなどから出力した帳票やレジュメなどの紙ドキュメントに、ユーザが追記等を行い、スキャナやＦＡＸで読み込むと、原本画像に対して読み取り画像が大きくずれる。その主原因としては、次の２点が想定される。
（１）出力時のプリンタやＦＡＸ・コピアなど、画像形成装置が原本画像に描かれたオブジェクトの位置関係を完全に再現できない
（２）画像データの読み込み時のスキャナやＦＡＸ機など、画像読取装置が紙ドキュメントに描かれたオブジェクトの位置関係を完全に再現できない
In particular, when a user adds information to a paper document such as a form or a resume output from a printer or FAX and reads it with a scanner or FAX, the read image is greatly shifted from the original image. The following two points are assumed as the main cause.
(1) The image forming apparatus such as a printer or FAX / copier at the time of output cannot completely reproduce the positional relationship of the object drawn on the original image. (2) An image reading apparatus such as a scanner or a FAX machine when reading image data. Cannot fully reproduce the positional relationship of objects drawn on paper documents
実際に、既存の複数のプリンタ、スキャナ、ＦＡＸ、さらにマルチファンクション機器を調査したところ、自動給紙機・自動原稿送り機を適用した紙出力処理において、原本画像と出力画像の一ずれは、幅方向のずれ（Ｘ）、縦方向のずれ（Ｙ）、回転ずれ角（θ）、倍率変動（β）とした場合、Ｘ＝±１０ｍｍ、Ｙ＝±１０ｍｍ、θ＝±３ｄｅｇ．β＝±３％程度のずれが発生していることが確認されている。さらに、自動原稿送り機を使わずにマニュアルで原稿をプラテンに置く場合には、概ねこの２倍のずれを見込まねばならないことが予測される。 Actually, when a plurality of existing printers, scanners, fax machines, and multi-function devices were investigated, in paper output processing using an automatic paper feeder / automatic document feeder, the difference between the original image and the output image When the direction deviation (X), the vertical deviation (Y), the rotation deviation angle (θ), and the magnification fluctuation (β) are assumed, X = ± 10 mm, Y = ± 10 mm, θ = ± 3 deg. It has been confirmed that a deviation of about β = ± 3% occurs. Further, when the document is manually placed on the platen without using the automatic document feeder, it is predicted that approximately twice this shift should be expected.
また、スキャン画像と原本画像の画像品質が異なることも問題になる。スキャン画像は、プリンタやＦＡＸなどから出力された用紙を元にスキャンされているので、画像の品質（かすれ具合や色合い）が劣化している。場合によっては、プリントされたものを何回かコピーした後に加筆が施されているかも知れない。一方の原本画像は劣化が少ない。このような一方の画像に様々なノイズデータが含まれる場合、画像間での黒ランの連結領域パターンに基づくパターンマッチングはさらに困難になる。 Another problem is that the image quality of the scanned image is different from that of the original image. Since the scanned image is scanned based on paper output from a printer, a fax machine, or the like, the quality of the image (blurred or tint) is degraded. In some cases, it may be applied after several copies of the printed material. One original image has little deterioration. When such one image includes various noise data, pattern matching based on a black run connection region pattern between images becomes more difficult.
こうした状況は、プリントやスキャンに使う装置を限定するなどである程度回避可能であるが、現実にユーザが利用状況を限定することは難しい。従来技術では、上述したように、例えばスキャン画像と原本画像を単色化・二値化した後、所定の大きさ範囲の連結領域を抽出し、両者の対応するパターンを見つける構成を有するが、かすれなどのノイズを含む画像において、広い範囲を探索して正確なパターマッチングを行い正確な対応データを抽出することは非常に難しい。また対応パターンが抽出されても、その数は極端に少なくなり（２個とか３個とか）、位置あわせ精度が極端に悪化するという問題がある。
本発明は、上述の問題点に鑑みてなされたものであり、複数の画像データについてのずれ量算出や、位置合わせ補正処理を正確に行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and provides an image processing apparatus, an image processing method, and a computer program that accurately perform misalignment calculation and alignment correction processing for a plurality of image data. The purpose is to provide.
さらに、詳細には、本発明は、黒ランデータなどの画像パターンに基づくパターンマッチング処理を、条件を異ならせて複数回実行し、精度の高いパターンマッチングを実行し、これらのパターンマッチング処理結果などから得られる補正係数を適用してアフィン変換などの画像変換を実行して精度の高いずれ量算出や位置合わせを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。 In more detail, the present invention executes pattern matching processing based on an image pattern such as black run data multiple times under different conditions, performs highly accurate pattern matching, and results of these pattern matching processing, etc. To provide an image processing apparatus, an image processing method, and a computer program capable of performing image conversion such as affine transformation by applying a correction coefficient obtained from the above and performing high-accuracy amount calculation and alignment Objective.
本発明の第１の側面は、画像処理装置であり、２つの画像の各々から特徴領域を抽出する特徴領域抽出手段と、前記特徴領域抽出手段の抽出した特徴領域の特徴量を算出する特徴量算出手段と、前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定手段と、前記特徴領域選択基準設定手段の設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択手段と、前記対応特徴領域選択手段において選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出手段と、前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換手段とを有し、前記対応特徴領域選択手段は、前記特徴領域選択基準設定手段の設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行する構成であり、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行する構成であることを特徴とする画像処理装置にある。 A first aspect of the present invention is an image processing apparatus, a feature region extraction unit that extracts a feature region from each of two images, and a feature amount that calculates a feature amount of the feature region extracted by the feature region extraction unit A calculation means, a feature area selection criterion setting means for setting a selection criterion for selecting a corresponding feature area from the feature areas extracted from the two images, and a selection criterion set by the feature area selection criterion setting means. Based on the corresponding feature region selecting means for selecting the corresponding feature region based on the degree of coincidence of the feature amounts of the feature regions extracted from the two images, and the corresponding feature region selected by the corresponding feature region selecting means. A correction coefficient calculating means for calculating a shift amount between the two images and calculating a correction coefficient based on the shift amount; and a correction target image or a correction target image based on the correction coefficient Data conversion means for executing response data conversion processing, and the corresponding feature area selection means repeatedly executes the corresponding feature area selection processing based on different selection criteria set by the feature area selection reference setting means. The image processing apparatus has a configuration in which, in the second and subsequent corresponding feature region selection processes, a process to which conversion data based on the correction coefficient calculated in the preceding process is applied is executed.
さらに、本発明の画像処理装置の一実施態様において、前記特徴領域選択基準設定手段は、特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行する構成であることを特徴とする。
Furthermore, in one embodiment of the image processing apparatus of the present invention, the feature region selection criterion setting means sets the feature region selection criterion as the number of processing times,
(1) Change corresponding feature area search range from wide setting to narrow setting,
(2) Change the degree of coincidence of comparison target features from strict setting to loose setting,
It is the structure which performs the setting change of at least any one of said (1)-(2), It is characterized by the above-mentioned.
さらに、本発明の画像処理装置の一実施態様において、前記特徴領域抽出手段は、前記画像から連結領域を抽出し、前記特徴量算出手段は、前記特徴領域抽出手段の抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行する構成であることを特徴とする。 Furthermore, in one embodiment of the image processing apparatus of the present invention, the feature region extracting unit extracts a connected region from the image, and the feature amount calculating unit is a feature amount of the connected region extracted by the feature region extracting unit. As described above, the feature amount information including the center of gravity is extracted, and a process of generating a connected region information table as a list of feature amounts including the center of gravity corresponding to the connected region is performed.
さらに、本発明の画像処理装置の一実施態様において、前記対応特徴領域選択手段は、前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行する構成であることを特徴とする。 Furthermore, in one embodiment of the image processing apparatus according to the present invention, the corresponding feature region selection means performs a feature amount comparison of the connected regions extracted from the two images based on the data stored in the connected region information table. And a process of selecting a corresponding connected area.
さらに、本発明の画像処理装置の一実施態様において、前記データ変換手段は、前記補正係数算出手段の算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行する構成であることを特徴とする。 Furthermore, in an embodiment of the image processing apparatus of the present invention, the data conversion unit converts the stored data of the connected region information table corresponding to the correction target image based on the correction coefficient calculated by the correction coefficient calculation unit. It is the structure which performs a process.
さらに、本発明の第２の側面は、画像処理方法であり、２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、前記対応特徴領域選択ステップは、前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とする画像処理方法にある。 Further, the second aspect of the present invention is an image processing method, wherein a feature region extraction step for extracting a feature region from each of two images, and a feature amount of the feature region extracted in the feature region extraction step is calculated. A feature amount calculating step, a feature region selection criterion setting step for setting a selection criterion for selecting a corresponding feature region from the feature regions extracted from the two images, and a selection set in the feature region selection criterion setting step A corresponding feature region selecting step for selecting a corresponding feature region based on the degree of coincidence of the feature amounts of the feature regions extracted from the two images based on a criterion, and the corresponding feature region selected in the corresponding feature region selecting step A correction coefficient calculating step for calculating a shift amount between the two images based on the correction amount and calculating a correction coefficient based on the shift amount; A data conversion step of performing a conversion process of the correction target image or the correction target image corresponding data based on the correction coefficient, and the corresponding feature region selection step includes different selection criteria set in the feature region selection reference setting step And the corresponding feature region selection process is repeatedly executed, and in the corresponding feature region selection process for the second and subsequent times, a process to which conversion data based on the correction coefficient calculated in the preceding process is applied is executed. There is an image processing method.
さらに、本発明の画像処理方法の一実施態様において、前記特徴領域選択基準設定ステップにおいては、特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行することを特徴とする。
Furthermore, in one embodiment of the image processing method of the present invention, in the feature region selection criterion setting step, the feature region selection criterion is set according to the number of processing times,
(1) Change corresponding feature area search range from wide setting to narrow setting,
(2) Change the degree of coincidence of comparison target features from strict setting to loose setting,
The setting change of at least any one of said (1)-(2) is performed, It is characterized by the above-mentioned.
さらに、本発明の画像処理方法の一実施態様において、前記特徴領域抽出ステップは、前記画像から連結領域を抽出し、前記特徴量算出ステップは、前記特徴領域抽出ステップにおいて抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行することを特徴とする。 Furthermore, in an embodiment of the image processing method of the present invention, the feature region extracting step extracts a connected region from the image, and the feature amount calculating step includes a feature amount of the connected region extracted in the feature region extracting step. As described above, a feature amount information extraction process including the center of gravity is executed, and a process of generating a connected region information table as a list of feature amounts including the center of gravity corresponding to the connected region is executed.
さらに、本発明の画像処理方法の一実施態様において、前記対応特徴領域選択ステップは、前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行することを特徴とする。 Furthermore, in an embodiment of the image processing method of the present invention, the corresponding feature region selection step performs a feature amount comparison of the connected regions extracted from the two images based on data stored in the connected region information table. And a process of selecting a corresponding connected area.
さらに、本発明の画像処理方法の一実施態様において、前記データ変換ステップは、前記補正係数算出ステップにおいて算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行することを特徴とする。 Furthermore, in one embodiment of the image processing method of the present invention, the data conversion step converts the stored data of the connected region information table corresponding to the correction target image based on the correction coefficient calculated in the correction coefficient calculation step. A process is executed.
さらに、本発明の第３の側面は、
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、
前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、
前記対応特徴領域選択ステップは、
前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とするコンピュータ・プログラムにある。
Furthermore, the third aspect of the present invention provides
A computer program for executing image processing on a computer;
A feature region extraction step for extracting a feature region from each of the two images;
A feature amount calculating step for calculating a feature amount of the feature region extracted in the feature region extracting step;
A feature region selection criterion setting step for setting a selection criterion for selecting a corresponding feature region from the feature regions extracted from the two images;
A corresponding feature region selection step of selecting a corresponding feature region based on the degree of matching of the feature amounts of the feature regions extracted from the two images based on the selection criterion set in the feature region selection criterion setting step;
A correction coefficient calculating step of calculating a deviation amount between the two images based on the corresponding feature area selected in the corresponding feature area selecting step, and calculating a correction coefficient based on the deviation amount;
A data conversion step of performing a conversion process of the correction target image or the correction target image corresponding data based on the correction coefficient,
The corresponding feature region selection step includes:
The corresponding feature region selection process is repeatedly executed based on different selection criteria set in the feature region selection reference setting step, and the second and subsequent corresponding feature region selection processes are based on the correction coefficient calculated in the preceding process. The present invention resides in a computer program that executes processing to which converted data is applied.
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。 Note that the computer program of the present invention is a recording medium provided in a computer-readable format for a computer system capable of executing various program codes, for example, a recording medium such as a CD, FD, or MO. A computer program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings. In this specification, the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
本発明の構成によれば、複数の画像間のずれを算出するために実行する対応特徴領域選択処理を、選択条件を変更して複数回実行する構成とした。例えば検索範囲を、広い設定から順次狭い設定に変更し、比較対象の特徴量情報の一致度は、厳しい設定から緩い設定に変更する。この繰り返し処理によって、初期的に実行する粗調処理においては、広い範囲からより一致度の高い特徴領域を選択することが可能であり、２つの画像のずれ量が大きくても対応特徴領域を発見する可能性を高くすることができる。また、後半で実行する微調処理では、狭い範囲で、かつ緩い一致条件の下で、対応特徴領域選択処理を実行するので、対応関係のある特徴領域を効率的に抽出することが可能となる。 According to the configuration of the present invention, the corresponding feature region selection process that is executed to calculate the deviation between a plurality of images is executed a plurality of times while changing the selection condition. For example, the search range is sequentially changed from a wide setting to a narrow setting, and the degree of coincidence of comparison target feature amount information is changed from a strict setting to a loose setting. With this iterative process, it is possible to select a feature region with a higher degree of matching from a wide range in the coarse adjustment processing that is initially executed, and the corresponding feature region is found even if the amount of deviation between the two images is large. The possibility of doing can be increased. Further, in the fine adjustment process executed in the second half, the corresponding feature area selection process is executed in a narrow range and under a loose matching condition, so that it is possible to efficiently extract the corresponding characteristic areas.
また、本発明の構成では、複数画像から選択された連結領域の重心および特徴量情報を記録した連結領域情報テーブルを生成し、テーブルの比較に基づいて、対応連結領域を選択する処理を実行し、１回の処理で算出した補正係数に基づいて、補正対象画像の連結領域情報テーブルに記録された連結領域の重心および特徴量情報を更新して、更新したデータに基づいて、条件を変更して２回目の対応連結領域選択処理を実行して、さらに対応連結領域情報に基づく補正係数の算出、テーブルの更新という処理を繰り返し実行する構成としたので、正確でかつ効率的な画像間のずれ量調整処理が可能となる。 In the configuration of the present invention, a connected area information table in which the center of gravity of the connected area selected from the plurality of images and the feature amount information are recorded is generated, and the corresponding connected area is selected based on the comparison of the tables. Based on the correction coefficient calculated in one process, the centroid and feature amount information of the connected area recorded in the connected area information table of the correction target image is updated, and the condition is changed based on the updated data. The corresponding connected region selection process is executed for the second time, and the correction coefficient calculation based on the corresponding connected region information and the table update process are repeatedly executed. A quantity adjustment process becomes possible.
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。 Hereinafter, an image processing apparatus, an image processing method, and a computer program according to embodiments of the present invention will be described in detail with reference to the drawings.
図１を参照して、本発明の画像処理装置の構成、および処理について説明する。まず、本発明の画像処理装置において実行する画像処理の概要について説明する。本発明の画像処理装置では、例えば図１に示す画像ａ１０と、画像ｂ２０の２つの画像の位置合わせを実行する。例えば画像ａ１０と画像ｂ２０から特徴的な類似パターン（連結領域）を抽出してパターンマッチングを行い、各画像の位置ずれを算出して、算出した位置ずれ量に基づいて補正係数を算出して、補正係数を適用した画像変換を一方の画像または画像構成データに施すものであり、２つの画像ａ１０と画像ｂ２０の正確なずれ量算出や位置合わせを行なうものである。 The configuration and processing of the image processing apparatus of the present invention will be described with reference to FIG. First, an overview of image processing executed in the image processing apparatus of the present invention will be described. In the image processing apparatus of the present invention, alignment of two images, for example, an image a10 and an image b20 shown in FIG. 1 is executed. For example, a characteristic similar pattern (connected region) is extracted from the images a10 and b20, pattern matching is performed, the positional deviation of each image is calculated, a correction coefficient is calculated based on the calculated positional deviation amount, Image conversion to which the correction coefficient is applied is performed on one image or image configuration data, and an accurate shift amount calculation and alignment between the two images a10 and b20 are performed.
画像ａ１０と画像ｂ２０は、例えば原本画像とスキャン画像、原本画像とプリント出力画像、スキャン画像とプリント出力画像等、様々な組み合わせが可能である。また、処理対象とする画像は用紙等の出力データに限らず、ＰＣ等の記憶手段に格納されディスプレイに出力可能な電子画像データであってもよい。 The image a10 and the image b20 can be variously combined such as an original image and a scan image, an original image and a print output image, and a scan image and a print output image. The image to be processed is not limited to output data such as paper, but may be electronic image data that can be stored in storage means such as a PC and output to a display.
画像変換としては、例えば補正係数として、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を用いたアフィン変換を実行する。画像変換（アフィン変換）に適用するパラメータ（補正係数）は、画像ａ１０と画像ｂ２０のパターンマッチングの結果から得られる位置ずれ情報に基づいて決定されるデータである。 As the image conversion, for example, affine transformation using a width direction movement amount (X), a vertical direction movement amount (Y), a rotation angle (θ), and a magnification (β) is executed as a correction coefficient. The parameter (correction coefficient) applied to the image conversion (affine conversion) is data determined based on positional deviation information obtained from the result of pattern matching between the image a10 and the image b20.
本発明の画像処理装置においては、アフィン変換の補正係数を算出するための２画像間の位置ずれの検出処理を、粗調処理と微調処理の少なくとも２段階の処理として実行する。さらに複数回の粗調処理、複数回の微調処理を行なう構成としてもよい。 In the image processing apparatus of the present invention, the detection process of the positional deviation between the two images for calculating the correction coefficient of the affine transformation is executed as at least two stages of the coarse adjustment process and the fine adjustment process. Furthermore, it is good also as a structure which performs multiple times of rough adjustment processes and multiple times of fine adjustment processes.
粗調処理において、２画像間の大まかなずれを算出して、大まかなアフィン変換の補正係数を求め、この補正係数に基づいて一方の画像の補正、あるいは画像に基づいて抽出した特徴部分、すなわちパターンマッチングに適用する黒ランデータなどの連結領域画像に関する位置や倍率などの補正を実行し、補正された連結領域データに基づいて微調処理、すなわち、再度、連結領域に基づくパターンマッチング処理を実行して、再度、アフィン変換の補正係数を算出し、ずれの補正を行なうという処理を繰り返し実行する。 In the rough adjustment process, a rough deviation between two images is calculated, a rough affine transformation correction coefficient is obtained, one image is corrected based on this correction coefficient, or a feature portion extracted based on the image, that is, Execute corrections such as the position and magnification of the connected area image such as black run data applied to pattern matching, and perform fine adjustment processing based on the corrected connected area data, that is, execute pattern matching processing based on the connected area again. Then, the process of calculating the correction coefficient for affine transformation and correcting the deviation is repeated.
なお、粗調処理においては、比較対象画像、すなわち図１に示す画像ａ１０と画像ｂ２０とから抽出される特徴パターンが概ね同一とみなせる連結領域パターンを、広範囲の検索領域を設定して抽出する。例えば一方の画像において抽出した黒ランデータ等の連結領域の位置に対応する他方の画像の位置の±２０ｍｍの広領域を検索領域にして、対応パターンを検出する。この粗調処理では、対応連結領域の選択基準を厳しく設定するなどして、より一致度の高い対応連結領域を抽出する。この処理では、２つの画像において対応する連結領域が数個見つかればよい。 In the coarse adjustment process, a connection area pattern in which the characteristic patterns extracted from the comparison target images, that is, the image a10 and the image b20 shown in FIG. For example, a corresponding pattern is detected using a wide region of ± 20 mm of the position of the other image corresponding to the position of the connected region such as black run data extracted in one image as a search region. In this rough adjustment process, a corresponding connected region having a higher degree of matching is extracted by setting a strict selection criterion for the corresponding connected region. In this process, it is only necessary to find several corresponding connected areas in the two images.
微調処理では、粗調処理において求めたアフィン変換の補正係数に基づいて補正された画像または、黒ランデータなどの連結領域画像に関する位置データの補正データに基づいて、再度、パターンマッチングを行なう。この微調処理においては、先の粗調処理において設定した検索領域より、狭い領域、例えば、一方の画像において抽出した黒ランデータ等の連結領域の位置に対応する他方の画像の位置の±１ｍｍの侠領域を検索領域にして、対応パターンを検出する。この微調処理では、対応連結領域の選択基準を緩やかに設定するなどして２つの画像において、対応する連結領域を出来るだけ多く抽出する。 In the fine adjustment process, pattern matching is performed again based on the image data corrected based on the affine transformation correction coefficient obtained in the coarse adjustment process or the correction data of the position data related to the connected region image such as black run data. In this fine adjustment process, a region narrower than the search area set in the previous coarse adjustment process, for example, ± 1 mm of the position of the other image corresponding to the position of the connected region such as black run data extracted in one image. Corresponding patterns are detected using the heel region as a search region. In this fine adjustment process, as many corresponding connected areas as possible are extracted from the two images by gradually setting the selection criteria for the corresponding connected areas.
前述したように、粗調処理と微調処理は、アフィン変換の補正係数を順次更新しながら夫々複数回行っても良い。その場合、連結領域の探索範囲は徐々に狭めていき、各画像において対応連結領域として抽出する条件である連結領域の特徴の一致度は徐々に緩めていくという条件変更を行なってパターンマッチング処理を行なう。 As described above, the coarse adjustment process and the fine adjustment process may be performed a plurality of times while sequentially updating the correction coefficient of the affine transformation. In that case, the pattern matching process is performed by changing the condition that the search range of the connected region is gradually narrowed and the matching degree of the feature of the connected region that is a condition for extracting as a corresponding connected region in each image is gradually relaxed. Do.
図１を参照して、本発明の画像処理について説明する。位置合わせの対象となる２つの画像、画像ａ１０、画像ｂは、それぞれ前処理手段１１１，１２１に入力されて前処理が施される。前処理手段１１１，１２１では、単色化処理および二値化処理が実行される。単色化処理は、カラー画像である場合、輝度情報のみの画素データとする処理である。二値化処理は、単色画像をさらに所定の閾値レベルで［１］黒または［０］白いずれかの値に設定する処理である。なお、入力画像が白黒画像である場合は、単色化処理は省略可能である。 The image processing of the present invention will be described with reference to FIG. The two images to be aligned, the image a10 and the image b, are input to the preprocessing means 111 and 121, respectively, and preprocessed. In the preprocessing means 111 and 121, a monochromatic process and a binarization process are executed. In the case of a color image, the monochromatic process is a process for converting pixel data of only luminance information. The binarization processing is processing for further setting a monochrome image to a value of [1] black or [0] white at a predetermined threshold level. Note that when the input image is a monochrome image, the monochromatic processing can be omitted.
次に、前処理の済んだ画像データは、連結領域抽出手段１１２，１２２において、各画像からの連結領域抽出処理が実行される。連結領域抽出処理は、例えば特開平１２−２９５４３８に説明の手法などを適用して実行する。連結領域は二値化画像における黒画素の連続領域（黒ラン）、あるいは黒画素ではない白画素データの連続した領域（白ラン）として抽出される。連結領域の抽出処理は、例えば、予め抽出条件として、所定の大きさ（面積あるいは画素数）の範囲（最小、最大）を設定し、その範囲にある連続する同一画素値領域など、予め定められた設定条件に基づいて実行される。 Next, for the preprocessed image data, the connected region extraction means 112 and 122 execute connected region extraction processing from each image. The connected region extraction processing is executed by applying the method described in JP-A-12-295438, for example. The connected area is extracted as a continuous area of black pixels (black run) in the binarized image or a continuous area of white pixel data that is not black pixels (white run). The connected region extraction process is performed in advance by, for example, setting a range (minimum, maximum) of a predetermined size (area or number of pixels) as an extraction condition, and continuously determining the same pixel value region in the range. It is executed based on the set conditions.
図２を参照して連結領域抽出処理において抽出される連結領域データの具体例ついて説明する。図２には、二値化処理のなされた画像ａ１０と、画像ｂ２０を示している。これの画像から、一定条件の下に黒画素の連続領域（黒ラン）を持つ画像データや白画素データの連続した領域（白ラン）を持つ画像データを連続領域として抽出する。図の例では、画像ａ１０から黒文字画像のＡ、Ｂ、Ｃと白抜き文字Ａが、連結領域データ１１〜１４として抽出され、画像ｂ２０から黒文字画像のＡ、Ｂ、Ｃと白抜き文字Ａが、連結領域データ２１〜２４として抽出された例を示している。なお、実際の処理において抽出される連結領域のデータ数は、設定条件にもよるが、数百〜数千個単位のデータの抽出が行なわれる。
A specific example of the connected region data extracted in the connected region extraction process will be described with reference to FIG. FIG. 2 shows an image a10 and an image b20 that have been binarized. From these images, image data having a continuous area of black pixels (black run) and image data having a continuous area of white pixel data (white run) are extracted as a continuous area under a certain condition. In the example of the figure, black character images A, B, and C and white characters A are extracted from the image a10 as
各画像から連結領域が抽出されると、図１に示す重心算出手段１１３，１２３において、抽出された連結領域の重心が算出され、さらに、特徴量算出手段１１４、１２４において、各連結領域についての特徴量が算出される。なお、本例では、重心算出手段と特徴量算出手段とを区別して示してあるが、重心も連結領域の１つの特徴量として、特徴量算出手段において算出する構成としてもよい。 When the connected area is extracted from each image, the center of gravity of the extracted connected area is calculated by the center-of-gravity calculating means 113 and 123 shown in FIG. 1, and the feature amount calculating means 114 and 124 further calculates the center of each connected area. A feature amount is calculated. In this example, the centroid calculating unit and the feature amount calculating unit are distinguished from each other. However, the centroid may be calculated by the feature amount calculating unit as one feature amount of the connected region.
図３および図４を参照して、連結領域から求められる重心および特徴量情報について説明する。図３に示す文字［Ａ］が、例えば二値化画像ａ１０から抽出された１つの連結領域２００である。図４は、画像ａと画像ｂとから抽出された連結領域についての重心と特徴量情報からなるテーブルを示している。
With reference to FIG. 3 and FIG. 4, the center of gravity and feature amount information obtained from the connected region will be described. The character [A] shown in FIG. 3 is one
図３を参照して、連結領域２００の重心、特徴量情報の詳細について説明する。
重心２０１は、連結領域としての文字［Ａ］２００の重心位置であり、例えば、画像ａ１０をｘｙ座標面とした場合の座標データ（ｘ，ｙ）として算出される（図４参照）。
外接矩形の幅・高さ・縦横比は、図に示す連結領域２００を外接するように囲む外接矩形２０２の幅（Ｌ）、高さ（Ｈ）、および縦横比（Ｈ／Ｌ）として求められる。
線長（細線化後の構成画素数）は、図３に示すように、連結領域［Ａ］２００を細線化して、幅が１画素の線として変換した連結領域細線化データ２０３における構成画素数［ｎ］として算出する。
線面積（連結領域の画素）は、連結領域［Ａ］２００自体の構成全画素数［Ｎａｌｌ］として算出する。
線幅は、図３に示すように、連結領域［Ａ］２００の線幅［Ｗ］２０３である。画素数、または長さとして算出する。
With reference to FIG. 3, the center of gravity of the
The center of
The width, height, and aspect ratio of the circumscribed rectangle are obtained as the width (L), height (H), and aspect ratio (H / L) of the circumscribed
As shown in FIG. 3, the line length (number of constituent pixels after thinning) is the number of constituent pixels in the connection
The line area (pixels of the connected region) is calculated as the total number of pixels [Nall] of the connected region [A] 200 itself.
As shown in FIG. 3, the line width is the line width [W] 203 of the connection area [A] 200. Calculated as the number of pixels or length.
図１に示す重心算出手段１１３，１２３と、特徴量算出手段１１４、１２４は、比較対象となる画像ａ１０と、画像ｂ２０から、それぞれ抽出された連結領域各々について重心と、上述した特徴量情報、すなわち、外接矩形の幅・高さ・縦横比、線長、線面積、線幅などの特徴量情報を算出する。その結果が、例えば図４に示す連結領域情報テーブルである。図４に示すように、画像ａ１０と、画像ｂ２０の各々から抽出された連結領域について識別子（ＩＤ）が設定され、各連結領域についての重心と、特徴量情報、すなわち、外接矩形の幅・高さ・縦横比、線長、線面積、線幅が記録される。 The center-of-gravity calculating means 113 and 123 and the feature amount calculating means 114 and 124 shown in FIG. 1 include the center of gravity and the above-described feature amount information for each of the connected regions extracted from the images a10 and b20 to be compared. That is, feature amount information such as the width / height / aspect ratio, line length, line area, and line width of the circumscribed rectangle is calculated. The result is, for example, a linked area information table shown in FIG. As shown in FIG. 4, identifiers (ID) are set for the connected areas extracted from the images a10 and b20, and the center of gravity and feature amount information for each connected area, that is, the width / height of the circumscribed rectangle. The length / aspect ratio, line length, line area, and line width are recorded.
次に、図１に示す対応連結領域選択手段１３１において、図４に示す２つの画像ａ１０と画像ｂ２０についての連結領域情報テーブルを入力して、両テーブルに記録された連結領域情報に基づくパターンマッチング処理を行なう。すなわち、一方の画像についての１つの連結領域に類似する連結領域を他方の画像から選択する処理を行なう。
Next, the corresponding connected
パターンマッチング処理において比較する連結領域の特徴情報は、図４に示す連結領域の特徴量情報から選択される。すなわち、外接矩形の幅・高さ・縦横比、線長（細線化後の構成画素数）、線面積（連結領域の画素）、線幅の少なくともいずれかの情報を比較する。 The feature information of the connected region to be compared in the pattern matching process is selected from the feature amount information of the connected region shown in FIG. That is, information on at least one of the width, height, aspect ratio, line length (number of constituent pixels after thinning), line area (pixels in a connected region), and line width of the circumscribed rectangle is compared.
図１に示す対応連結領域選択手段１３１は、連結領域選択基準設定手段１３２において設定された選択基準に基づいて、複数画像からの対応連結領域を選択する処理を実行する。図１に示す対応連結領域選択手段１３１の処理、補正係数算出手段１３３おける補正係数算出処理、データ変換手段１３４におけるデータ変換処理は、連結領域選択基準設定手段１３２において設定する選択基準を変更して繰り返し実行される。
The corresponding connected
すなわち、前述したように、粗調処理、微調処理の少なくとも２段階の処理を繰り返し実行する。前述したように、複数回の粗調処理、複数回の微調処理を実行してもよい。この場合には、処理回数ごとに対応連結領域選択記述を変更する。初期的に実行する粗調処理では、連結領域選択基準設定手段１３２において設定する選択基準を厳しくする。すなわち、対応連結領域選択手段１３１において、図４に示す２つの画像ａ１０と画像ｂ２０についての連結領域情報テーブルを入力して、両テーブルに記録された連結領域情報に基づくパターンマッチング処理を行なう場合、比較する特徴量情報の種類を多く設定したり、あるいは特徴量情報の一致度が極めて高いもののみをマッチングパターンとして抽出する。一方、後半で実行する微調処理においては、連結領域選択基準設定手段１３２において設定する選択基準を緩やかにする。すなわち、比較する特徴量情報の種類を少なく設定したり、あるいは特徴情報の一致度を緩くして判定する。
That is, as described above, at least two stages of coarse adjustment processing and fine adjustment processing are repeatedly executed. As described above, a plurality of coarse adjustment processes and a plurality of fine adjustment processes may be executed. In this case, the corresponding connected region selection description is changed for each processing count. In the rough adjustment process that is initially executed, the selection criterion set by the connected region selection
図５を参照して、連結領域選択基準設定手段１３２において設定する選択基準の変遷について説明する。図５に示す例は、対応連結領域選択手段１３１において１回目からｎ回目までのｎ回の対応連結領域選択処理（パターンマッチング処理）を行なう場合の設定基準の態様を説明する図である。ｎ回の処理中、前半の処理が粗調処理に対応し、後半の処理が微調処理に対応する。
With reference to FIG. 5, the transition of the selection criteria set in the connected region selection criteria setting means 132 will be described. The example shown in FIG. 5 is a diagram for explaining an aspect of setting criteria when the corresponding connected
連結領域選択基準設定手段１３２において設定する選択基準としては、
（ａ）対応連結領域検索範囲
（ｂ）比較対象の特徴量情報の種類数
（ｃ）比較対象の特徴量情報の一致度
の３つの選択基準カテゴリがある。
As a selection criterion set in the connected region selection
There are three selection criteria categories: (a) Corresponding linked region search range (b) Number of types of feature quantity information to be compared (c) Matching degree of feature quantity information to be compared.
（ａ）対応連結領域検索範囲は、図５上段に示すように、画像ａ１０における１つの連結領域３０１の重心３０２の座標に対応する座標位置を画像ｂ２０から重心対応位置３２１として選択し、その周囲に連結領域３０１と同様の特徴量を検索する範囲を設定する場合の設定する検索範囲３２２である。
（ｂ）比較対象の特徴量情報の種類数とは、図４に示す外接矩形の幅・高さ・縦横比、線長（細線化後の構成画素数）、線面積（連結領域の画素）、線幅から、何種類の特徴量を比較対象として設定するかである。
（ｃ）比較対象の特徴量情報の一致度とは、適用した比較対象の特徴量を比較する場合、例えば画像ａから選択した１つの連結領域の１つの特徴量、例えば外接矩形の幅と、画像ｂに設定された検索範囲から選択された連結領域の外接矩形の幅とを比較した場合に、どの程度一致したかで、対応連結領域として選択するか否かを判定する度合いである。
(A) As shown in the upper part of FIG. 5, the corresponding connected area search range is selected from the image b20 as a center of
(B) The number of types of feature quantity information to be compared is the width, height, aspect ratio, line length (number of constituent pixels after thinning), line area (pixels in a connected region) of the circumscribed rectangle shown in FIG. How many types of feature quantities are set as comparison targets based on the line width.
(C) The degree of coincidence of the comparison target feature amount information is, for example, when comparing the applied comparison target feature amount, for example, one feature amount of one connected region selected from the image a, for example, the width of the circumscribed rectangle, This is the degree of determination as to whether or not to select a corresponding connected region based on how much they match when comparing the width of the circumscribed rectangle of the connected region selected from the search range set in the image b.
連結領域選択基準設定手段１３２は、処理の前半（粗調処理）においては、
（ａ）対応連結領域検索範囲：広い
（ｂ）比較対象の特徴量情報の種類数：適宜
（ｃ）比較対象の特徴量情報の一致度：厳しい
という設定を実行し、処理の後半（微調処理）においては、
（ａ）対応連結領域検索範囲：狭い
（ｂ）比較対象の特徴量情報の種類数：適宜
（ｃ）比較対象の特徴量情報の一致度：緩い
という設定を実行する。
In the first half of the process (rough adjustment process), the connected area selection
(A) Corresponding connected region search range: wide (b) number of types of feature quantity information to be compared: as appropriate (c) matching degree of feature quantity information to be compared: strict )
(A) Corresponding connected region search range: narrow (b) number of types of feature quantity information to be compared: as appropriate (c) matching degree of feature quantity information to be compared: loose
これは、初期的な粗調処理では、２つの画像間のずれが大きい場合でも、パターンマッチングのパターン検出領域を広く設定することで、マッチングする連結領域データを検出することを可能としているものである。ただし、検索範囲が広いため、多量の一致パターンが検出されてしまう可能性が高くなるので、比較対象の特徴量情報の一致度を厳しくして、より確からしい一致パターンのみを検出する構成としている。 This is because, in the initial coarse adjustment processing, even when the deviation between two images is large, it is possible to detect matching connected region data by setting a wide pattern detection region for pattern matching. is there. However, since the search range is wide, there is a high possibility that a large number of matching patterns will be detected. Therefore, the matching degree of the feature quantity information to be compared is tightened to detect only more probable matching patterns. .
一方、微調処理は、初期的な粗調処理において得られた２つの画像間の大まかなずれ情報に基づいて、補正処理が施され、ずれ量は比較的小さくなっている。従って、パターンマッチングにおける検出領域を狭く設定した処理を行なう。検出領域が狭いため、多くの連結領域が抽出される可能性は少なく、比較対象の特徴量情報の一致度を緩く、すなわち、マッチング条件を緩く設定して、確実に一致パターンを検出する。 On the other hand, in the fine adjustment process, a correction process is performed based on rough deviation information between two images obtained in the initial coarse adjustment process, and the deviation amount is relatively small. Therefore, processing is performed in which the detection area in pattern matching is set narrow. Since the detection area is narrow, there is little possibility that many connected areas are extracted, and the matching degree of the feature quantity information to be compared is set to be loose, that is, the matching condition is set to be low, so that the matching pattern is reliably detected.
また通常、粗調処理では比較対照の特徴量情報の種類を多くして、より確からしい一致パターンのみを検出し、微調処理では少なくして確実に一致パターンを検出する様に調整する。しかし一方で、２画像間の倍率ずれが大きい場合には、特徴量情報の種類を多くした上に一致度も厳しくすると、一致パターンが一つも見付からないケースもある。よって、比較対照の特徴量情報の種類は、想定される２画像のずれ量や比較対照の特徴量情報の一致度の厳しさに応じて、慎重に決定される。 In general, the coarse adjustment process increases the types of comparison feature amount information to detect only a more probable matching pattern, and the fine adjustment process decreases the characteristic information so that the matching pattern is reliably detected. On the other hand, if the magnification difference between the two images is large, there are cases where no matching pattern can be found if the degree of matching is severed while increasing the types of feature amount information. Therefore, the type of comparison feature amount information is carefully determined according to the assumed shift amount of the two images and the severity of the degree of coincidence between the comparison feature amount information.
なお、初期的に実行する粗調処理では、連結領域の特徴情報として、少なくとも外接矩形の縦横比を使うことが好ましい。この処理によって、例えば比較画像データ間で、倍率の差が大きい場合でも、類似する形状を持つ連結領域を検出することができる。また、比較対照の特徴量情報の一致度は総体的に見れば、粗調処理から微調処理に移行するに従い、厳しい設定から緩い設定へと変化させるが、これらは一律に変化させる必要は無い。場合によっては、粗調処理・微調処理ともに同じ値を採用することもできる。 In the coarse adjustment process that is initially performed, it is preferable to use at least the aspect ratio of the circumscribed rectangle as the feature information of the connected region. By this process, for example, even when the difference in magnification between the comparison image data is large, a connected region having a similar shape can be detected. In addition, the degree of coincidence of the comparison feature amount information generally changes from a strict setting to a gradual setting as the process shifts from the coarse adjustment process to the fine adjustment process, but it is not necessary to change them uniformly. In some cases, the same value can be adopted for both the coarse adjustment process and the fine adjustment process.
図６に、連結領域選択基準設定手段１３２において設定する選択基準を変化させた場合に、連結領域選択手段１３１におけるパターンマッチングによって選択された連結領域の数の実験データを示す。Ｊ＝１〜３の３回のパターンマッチングを条件を変更して、行なった。
１回目のパターンマッチング処理は、
対応連結領域検索範囲＝重心位置±２０ｍｍ
比較対象の特徴量情報の一致度＝±１％
２回目のパターンマッチング処理は、
対応連結領域検索範囲＝重心位置±２ｍｍ
比較対象の特徴量情報の一致度＝±１０％
３回目のパターンマッチング処理は、
対応連結領域検索範囲＝重心位置±０．４ｍｍ
比較対象の特徴量情報の一致度＝±２０％
の連結領域選択基準を設定した処理を行なった。比較対象の特徴量情報の種類は変更しなかった。
FIG. 6 shows experimental data on the number of connected regions selected by pattern matching in the connected
The first pattern matching process is
Corresponding connected area search range = center of gravity position ± 20mm
Matching degree of feature quantity information to be compared = ± 1%
The second pattern matching process is
Corresponding connected area search range = center of gravity position ± 2mm
Consistency of feature quantity information to be compared = ± 10%
The third pattern matching process is
Corresponding connected area search range = center of gravity position ± 0.4mm
Consistency of comparison target feature information = ± 20%
The process which set the connection area | region selection criteria of was performed. The type of feature quantity information to be compared was not changed.
上記の選択基準で連結領域選択手段１３１におけるパターンマッチングによって選択された連結領域の数は、
１回目＝１０〜２０個
２回目＝１００〜２００個
３回目＝２００〜３００個
このような数となる。なお、この数は、比較対象画像データ全体において抽出される対応連結領域である。
The number of connected regions selected by pattern matching in the connected region selecting means 131 based on the above selection criteria is as follows:
1st time = 10 to 20 times 2nd time = 100 to 200 times 3rd time = 200 to 300 times This number is a corresponding connected area extracted in the entire comparison target image data.
連結領域選択手段１３１における１回目の連結領域選択処理（パターンマッチング処理）では、１０〜２０個の対応連結領域が取得され、この対応情報に基づいて、画像ａと画像ｂとの大まかなずれ量が算出され、算出されたずれ量に基づいて補正係数が算出されて補正処理の後、連結領域選択基準設定手段１３２において選択基準を変更して、２回目のパターンマッチングを行なうと、１００〜２００個の対応連結領域が取得され、この対応情報に基づいて、さらに画像ａと画像ｂのずれ量が算出され、算出されたずれ量に基づいて補正係数が算出されて２回目の補正処理の後、さらに連結領域選択基準設定手段１３２において選択基準を変更して、３回目のパターンマッチングを行なうと、２００〜３００個の対応連結領域が取得され、この対応情報に基づいて、さらに画像ａと画像ｂのずれ量を算出して算出されたずれ量に基づいて補正係数を算出されて３回目の補正処理を行なうといった処理を繰り返すことになる。
In the first connected area selection process (pattern matching process) in the connected
図１に示す対応連結領域選択手段１３１は、連結領域選択基準設定手段１３２において設定された選択基準に基づいて、画像ａの連結領域の特徴量と画像ｂの連結領域の特徴量とを比較して、対応する連結領域を選択する。
The corresponding connected
この対応連結領域情報は、補正係数算出手段１３３に入力され、２画像データの位置ずれを直すための画像変換（アフィン変換）に適用する補正係数を算出する。画像変換（アフィン変換）に適用する補正係数は、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）である。補正係数は、一方の画像に対して補正係数に基づく変換を実行した場合に、２つの画像の対応連結領域の重心位置の誤差が最も小さくなる値として算出される。具体的には、例えば、最小二乗法を適用して、２つの画像の対応連結領域の重心位置の誤差の総和が最も小さくなる補正係数としての幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）の各値を求める。なお、最小二乗法を適用した補正係数算出処理については、例えば特開平９−９３４３１に記載されている。 This corresponding connected area information is input to the correction coefficient calculation means 133, and calculates a correction coefficient to be applied to image conversion (affine conversion) for correcting the positional deviation between the two image data. The correction coefficients applied to the image conversion (affine transformation) are the width direction movement amount (X), the vertical direction movement amount (Y), the rotation angle (θ), and the magnification (β). The correction coefficient is calculated as a value that minimizes the error of the centroid position of the corresponding connected region of the two images when conversion based on the correction coefficient is performed on one image. Specifically, for example, by applying the least square method, the movement amount in the width direction (X), the movement amount in the vertical direction (as a correction coefficient that minimizes the sum of errors in the centroid positions of the corresponding connected regions of the two images ( Y), rotation angle (θ), and magnification (β) are obtained. The correction coefficient calculation process using the least square method is described in, for example, JP-A-9-93431.
データ変換手段１３４は、補正係数算出手段１３３の算出した補正係数に基づくデータ変換処理を実行する。データ変換は、図４に示す連結領域情報テーブルに記録された重心位置、特徴量情報の値を更新する処理として実行する。
The
すなわち、図４に示す連結領域情報テーブルから、補正処理を実行する画像に対応する一方のテーブルを選択し、選択したテーブルに記録された特徴量、重心位置の値を、補正係数算出手段１３３の算出した補正係数に基づくアフィン変換を実行した場合に変更される値に更新する。画像データ自体を、補正係数に基づいて変換（アフィン変換）を行なう構成としてもよいが、画像自体の変換処理は時間を要する処理となるので、データのみの変換を行なう構成としてある。
That is, one table corresponding to the image to be corrected is selected from the connected region information table shown in FIG. 4, and the feature amount and the gravity center position value recorded in the selected table are stored in the correction
１回目の粗調処理に基づくデータ変換、すなわち、連結領域情報テーブルの更新が終了すると、連結領域選択基準設定手段１３２において、連結領域選択基準を変更して、２回目の対応連結領域選択処理（パターンマッチング処理）が対応連結領域選択手段１３１において実行される。この処理は、１回目の処理において更新された連結領域情報テーブルの値の比較によって実行されることになる。
When the data conversion based on the first coarse adjustment process, that is, the update of the connection area information table is completed, the connection area selection
この２回目の処理においても、１回目の処理と同様、更新された連結領域情報テーブルを適用して、画像ａの連結領域の特徴量と画像ｂの連結領域の特徴量とを比較して、対応する連結領域を選択する。対応連結領域情報は、補正係数算出手段１３３に入力され、画像変換（アフィン変換）に適用する補正係数、すなわち、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を算出する。
In the second process, as in the first process, the updated connected area information table is applied to compare the feature quantity of the connected area of image a with the feature quantity of the connected area of image b. Select the corresponding connected area. Corresponding connected area information is input to the correction
さらに、データ変換手段１３４が、補正係数算出手段１３３の算出した補正係数に基づくデータ変換処理、すなわち、図４に示す連結領域情報テーブルに記録された重心位置、特徴量情報の値を更新する。さらに、３回目の処理を実行する場合は、図４に示す連結領域情報テーブルに記録された重心位置、特徴量情報の値を更新し、更新したテーブルを適用し、選択基準を変更して、対応連結領域選択処理を実行する。この処理を繰り返し実行して、予め決められた設定回数、または、最小二乗法の誤差値が所定値以下になるまで処理が実行され、最終的な処理が終了した時点で得られた補正係数に基づいて図４に示す連結領域情報テーブルの更新が行なわれる。
Further, the
例えば画像ａを補正対象画像とした場合は、画像ａに対応する連結領域情報テーブルの更新が複数回実行されることになる。最終的に得られた画像ａに対応する更新された連結領域情報テーブルの重心位置および特徴量情報は、比較対象画像ｂの連結領域情報テーブルに記録された対応する連結領域の重心位置および特徴量情報とほぼ一致する情報に更新されることになる。 For example, when the image a is a correction target image, the linked area information table corresponding to the image a is updated a plurality of times. The barycentric position and feature amount information of the updated connected region information table corresponding to the finally obtained image a is the barycentric position and feature amount of the corresponding connected region recorded in the connected region information table of the comparison target image b. It will be updated to information that almost matches the information.
なお補正対象画像、例えば画像ａの補正を実行する場合は、最終的に得られた画像ａに対応する更新された連結領域情報テーブルの記録情報と、更新前の画像ａに対応するオリジナルの連結領域情報テーブルの記録情報との差分に基づいて、アフィン変換に適用する補正係数、すなわち、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）の各値を算出し、算出した補正係数に基づくアフィン変換を実行すればよい。なお、複数回の処理（粗調処理〜微調処理）において算出された補正係数を積算して最終的な補正係数を算出し、積算によって算出した補正係数に基づいて補正対象画像のアフィン変換を実行する構成としてもよい。 When correction of an image to be corrected, for example, image a, is performed, the recorded information in the updated connection region information table corresponding to the finally obtained image a and the original connection corresponding to the image a before update are performed. Based on the difference from the recorded information in the area information table, correction coefficients applied to the affine transformation, that is, the width direction movement amount (X), the vertical direction movement amount (Y), the rotation angle (θ), and the magnification (β) Each value may be calculated and affine transformation based on the calculated correction coefficient may be executed. In addition, the final correction coefficient is calculated by integrating the correction coefficients calculated in a plurality of processes (rough adjustment process to fine adjustment process), and affine transformation of the correction target image is executed based on the correction coefficient calculated by the integration. It is good also as composition to do.
上述したように、本発明の構成では、複数画像から選択された連結領域の重心および特徴量情報を記録した連結領域情報テーブルを生成し、テーブルの比較に基づいて、対応連結領域を選択する処理を実行する。さらに、対応連結領域選択処理を選択条件を変更して複数回実行する。 As described above, in the configuration of the present invention, a process of generating a connected area information table in which the center of gravity and feature amount information of connected areas selected from a plurality of images is recorded, and selecting a corresponding connected area based on the comparison of the tables Execute. Further, the corresponding connected area selection process is executed a plurality of times while changing the selection condition.
本発明の構成では、１回の処理で算出した補正係数に基づいて、補正対象画像の連結領域情報テーブルに記録された連結領域の重心および特徴量情報を更新して、更新したデータに基づいて、条件を変更して２回目の対応連結領域選択処理を実行して、さらに対応連結領域情報に基づく補正係数の算出、テーブルの更新という処理を繰り返し実行する。 In the configuration of the present invention, based on the correction coefficient calculated in one process, the centroid and feature amount information of the connected area recorded in the connected area information table of the correction target image is updated, and based on the updated data. Then, the second corresponding linked region selection process is executed with the conditions changed, and the process of calculating the correction coefficient based on the corresponding linked region information and updating the table is repeatedly executed.
対応連結領域の選択条件は、先に、図６を参照して説明したように、対応連結領域検索範囲は、広い設定から順次狭い設定に変更し、比較対象の特徴量情報の一致度は、厳しい設定から緩い設定に変更する構成として、粗調処理においては、広い範囲からより一致度の高い連結領域を選択することが可能であり、２つの画像のずれ量が大きくても対応連結領域を発見する可能性を高くすることが可能となる。また、微調処理では、狭い範囲で、かつ緩い一致条件の下で、対応連結領域選択処理を実行するので、対応関係のある連結領域を効率的に抽出することが可能となる。 As described above with reference to FIG. 6, the selection conditions for the corresponding connected region are changed from the wide setting to the narrow setting in order to search for the corresponding connected region search range. As a configuration to change from a strict setting to a loose setting, it is possible to select a connected region with a higher degree of matching from a wide range in the coarse adjustment process, and the corresponding connected region can be selected even if the shift amount between two images is large. It is possible to increase the possibility of discovery. Further, in the fine adjustment process, the corresponding connected area selection process is executed in a narrow range and under a loose matching condition, so that it is possible to efficiently extract a connected area having a corresponding relationship.
次に、本発明の画像処理装置の実行する処理シーケンスについて、図７、図８に示すフローチャートを参照して説明する。図７は、図１に示す前処理手段１１１〜特徴量算出手段１１４に対応する処理であり、図８は、対応連結領域選択手段１３１〜データ変換手段１３４における処理を示している。 Next, a processing sequence executed by the image processing apparatus of the present invention will be described with reference to flowcharts shown in FIGS. FIG. 7 shows the processing corresponding to the preprocessing means 111 to the feature amount calculation means 114 shown in FIG. 1, and FIG. 8 shows the processing in the corresponding connected area selection means 131 to the data conversion means 134.
なお、図１に示す前処理手段１１１〜特徴量算出手段１１４と前処理手段１２１〜特徴量算出手段１２４は処理対象画像が異なるのみで、同様の処理であり、これらの処理は並列に実行される。図７のフローの各ステップの処理について説明する。なお、以下の説明においては、図１に示す画像ａ１０に対して、前処理手段１１１〜特徴量算出手段１１４の実行する処理として説明するが、画像ｂについても、前処理手段１２１〜特徴量算出手段１２４において同様の処理が実行される。
Note that the
ステップＳ１０１において、画像ａの読み込みを行なう。ステップＳ１０２において、前処理手段１１１において前処理を実行する。この前処理は、前述したように輝度情報のみを取得する単色化処理と、二値化処理である。次に、ステップＳ１０３において、連結領域の抽出処理を実行する。連結領域抽出手段１１２において、二値化画像における黒画素の連続領域（黒ラン）、あるいは黒画素ではない白画素データの連続した領域（白ラン）であり、予め定めた条件を満足する領域を連続領域として抽出する。抽出された連続領域は、識別子（ＩＤ）を付与して図４に示す連結領域情報テーブルに登録する。
In step S101, the image a is read. In step S102, the preprocessing means 111 performs preprocessing. As described above, this pre-processing is a monochromatic process for obtaining only luminance information and a binarization process. Next, in step S103, a connected region extraction process is executed. In the connected
次に、ステップＳ１０４において、画像から取得した連結領域の重心位置を算出する。さらに、ステップＳ１０５〜Ｓ１１０において、連結領域に対応する特徴量情報、すなわち、図３を参照して説明した特徴量情報としての外接矩形の幅・高さ・縦横比、線長、線面積、線幅などの特徴量情報を算出し、ステップＳ１１１において、連結領域の重心および特徴量情報を連結領域情報テーブル（図４参照）に登録する。ステップＳ１１２において、全ての抽出連結領域に対応する重心および特徴量の算出、登録が完了したか否かを判定し、未終了の場合は、ステップＳ１０４以下の処理を各連結領域について繰り返し実行し、最終的に全ての抽出連結領域に対応する重心および特徴量の算出、登録が完了して処理を終了する。この処理によって、図４に示す連結領域情報テーブルが完成する。 Next, in step S104, the position of the center of gravity of the connected area acquired from the image is calculated. Further, in steps S105 to S110, the feature amount information corresponding to the connected region, that is, the width / height / aspect ratio of the circumscribed rectangle as the feature amount information described with reference to FIG. 3, the line length, the line area, and the line The feature amount information such as the width is calculated, and in step S111, the center of gravity of the connected region and the feature amount information are registered in the connected region information table (see FIG. 4). In step S112, it is determined whether the calculation and registration of the center of gravity and the feature amount corresponding to all the extracted connected areas have been completed. If not completed, the process from step S104 is repeatedly executed for each connected area. Finally, calculation and registration of the centroids and feature amounts corresponding to all the extracted connected regions are completed, and the process ends. By this process, the linked area information table shown in FIG. 4 is completed.
次に、図８を参照して、対応連結領域選択手段１３１〜データ変換手段１３４における処理のシーケンスについて説明する。まず、ステップＳ２０１において、初期的な補正係数、すなわちアフィン変換補正係数を設定する。初期的な補正係数は、２つの画像に全くずれが無いと仮定し、幅方向移動量：Ｘ＝０、縦方向移動量：Ｙ＝０、回転角θ＝０、倍率＝１倍とする。
Next, with reference to FIG. 8, a processing sequence in the corresponding connected
ステップＳ２０２において、処理回数を示す変数ｊを初期値ｊ＝１に設定する。なお、このフローは、処理回数を３回として設定した例を示している。ステップＳ２０３では、１回目の処理における連結領域選択基準を連結領域選択基準設定手段１３２から取得する。
In step S202, a variable j indicating the number of processes is set to an initial value j = 1. This flow shows an example in which the number of processes is set to three. In step S <b> 203, the connection area selection reference in the first process is acquired from the connection area selection
ステップＳ２０４では、連結領域識別子（番号）に対応する変数ｉを初期値ｉ＝１に設定する。なお、本フローではＮ個の連結領域について、対応連結領域を選択する処理を実行するものとする。次に、ステップＳ２０５において、補正処理対象画像のｉ番目の連結領域の重心と、特徴量情報を取得する。図４に示す連結領域情報テーブルから取得する。 In step S204, the variable i corresponding to the connected region identifier (number) is set to an initial value i = 1. In this flow, it is assumed that a process for selecting a corresponding connected region is executed for N connected regions. Next, in step S205, the center of gravity of the i-th connected region of the correction processing target image and the feature amount information are acquired. Obtained from the linked region information table shown in FIG.
次に、ステップＳ２０６において、ステップＳ２０５で求めた１つの連結領域の重心位置に対応する原本画像の対応位置から所定範囲内にある連結領域を抽出する。この抽出処理は、図４に示す連結領域情報テーブルに基づいて実行される。なお、本処理フローでは、補正処理を実行する画像を補正処理対象画像とし、補正処理を実行しない画像を原本画像として説明している。すなわち、補正処理対象画像を原本画像に合わせるように補正を行なう。 Next, in step S206, a connected area within a predetermined range is extracted from the corresponding position of the original image corresponding to the barycentric position of one connected area obtained in step S205. This extraction process is executed based on the linked area information table shown in FIG. In this processing flow, an image for which correction processing is performed is described as a correction processing target image, and an image for which correction processing is not performed is described as an original image. That is, correction is performed so that the correction processing target image matches the original image.
また、ステップＳ２０６において説明している所定範囲は、先に、図５、図６を参照して説明したように連結領域選択基準設定手段１３２の設定条件によって決定される範囲である。ステップＳ２０７では、ステップＳ２０６において、原本画像に設定された所定の検索領域から選択された複数の連結領域から、選択基準を満足する特徴量を持つ連結領域データを対応連結領域として選択する。なお、選択基準を満足する特徴量を持つ連結領域が複数ある場合は、最も特徴量の一致度が高いデータを対応連結領域とする。選択基準を満足する特徴量を持つ連結領域がない場合は、該当なしとする。
Further, the predetermined range described in step S206 is a range determined by the setting conditions of the connected region selection
ステップＳ２０８では、連結領域識別子（番号）に対応する変数ｉが、連結領域数（Ｎ）に等しいか否かを判定し、等しくない場合は、ステップＳ２２１に進み、変数ｉを更新し、次の連結領域について、ステップＳ２０５〜Ｓ２０７の対応連結領域選択処理を実行する。 In step S208, it is determined whether or not the variable i corresponding to the connected region identifier (number) is equal to the number of connected regions (N). If not, the process proceeds to step S221 to update the variable i, and For the connection area, the corresponding connection area selection processing in steps S205 to S207 is executed.
補正対象画像から選択されたＮ個すべての連結領域に対応する対応連結領域選択処理が修了すると、ステップＳ２０９に進む。ステップＳ２０９では、補正対象画像と原本画像における対応連結領域の相対位置を比較し、概ね一致する相対位置情報を持つ組み合わせを抽出する。すなわち、この処理は、誤った対応連結領域の組み合わせを排除するための処理である。 When the corresponding connected region selection processing corresponding to all N connected regions selected from the correction target image is completed, the process proceeds to step S209. In step S209, the relative positions of the corresponding connected areas in the correction target image and the original image are compared, and a combination having relatively matching relative position information is extracted. In other words, this process is a process for eliminating combinations of erroneous corresponding connected regions.
次に、ステップＳ２１０において、ステップＳ２０９で選択された対応連結領域情報の位置情報に基づいて補正係数を算出する。すなわち、図１に示す補正係数算出手段１３３の処理であり、２つの画像データの位置ずれを直すための画像変換（アフィン変換）に適用する補正係数として、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を算出する。
Next, in step S210, a correction coefficient is calculated based on the position information of the corresponding connected region information selected in step S209. That is, the correction
次に、ステップＳ２１１において、処理回数ｊが、設定処理回数（本例では３）に等しくなったか否かを判定し、等しくない場合は、ステップＳ２２２に進み、処理回数ｊを更新し、さらに、ステップＳ２２３において、算出した補正係数を適用したデータ変換を実行する。データ変換は、補正対象画像の連結領域情報テーブルの格納データの更新処理として実行する。さらに、ステップＳ２０３〜２１０の対応連結領域選択処理および補正係数算出処理を繰り返し実行する。なお、この回における対応連結領域の選択基準は、先に図５、図６を参照して説明したように前回の処理で適用した基準とは異なった基準として設定される。 Next, in step S211, it is determined whether or not the processing count j is equal to the set processing count (3 in this example). If not, the process proceeds to step S222, and the processing count j is updated. In step S223, data conversion using the calculated correction coefficient is executed. The data conversion is executed as an update process of the stored data in the connection area information table of the correction target image. Further, the corresponding connected area selection process and the correction coefficient calculation process in steps S203 to S210 are repeatedly executed. Note that the selection criterion for the corresponding connected region at this time is set as a criterion different from the criterion applied in the previous process, as described above with reference to FIGS.
ステップＳ２１１において、処理回数ｊが、設定処理回数（本例では３）に等しくなった場合は、処理を終了する。 In step S211, when the processing count j is equal to the set processing count (3 in this example), the processing ends.
この処理によって、補正対象画像の連結領域情報テーブルの更新が複数回実行され、最終的な補正対象画像の連結領域情報テーブルの更新された重心位置および特徴量情報は、原本画像の連結領域情報テーブルに記録された対応連結領域の重心位置および特徴量情報とほぼ一致する情報になる。なお補正対象画像の補正を実行する場合は、前述したように、最終的に得られた補正対象画像の更新連結領域情報テーブルの記録情報と、更新前のオリジナルの連結領域情報テーブルの記録情報との差分に基づいて、アフィン変換に適用する補正係数、すなわち、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）の各値を算出し、算出した補正係数に基づくアフィン変換を実行するか、複数回の処理（粗調処理〜微調処理）において算出された補正係数を積算して最終的な補正係数を算出し、積算によって算出した補正係数に基づいて補正対象画像のアフィン変換を実行する。 By this processing, the connection area information table of the correction target image is updated a plurality of times, and the updated barycentric position and feature amount information in the connection area information table of the final correction target image are obtained from the connection area information table of the original image. Information corresponding to the centroid position and feature amount information of the corresponding connected area recorded in (1). When performing correction of the correction target image, as described above, the record information of the updated connection region information table of the finally obtained correction target image, and the record information of the original connection region information table before the update, Based on the difference, a correction coefficient to be applied to the affine transformation, that is, each value of the width direction movement amount (X), the vertical direction movement amount (Y), the rotation angle (θ), and the magnification (β) is calculated. The affine transformation based on the corrected correction coefficient is executed, or the final correction coefficient is calculated by adding the correction coefficients calculated in a plurality of processes (rough adjustment process to fine adjustment process), and the correction coefficient calculated by the integration is calculated. Based on this, affine transformation of the correction target image is executed.
最後に、図９を参照して、画像処理装置のハードウェア構成例について説明する。図９に示す構成は、例えばＰＣなどの情報処理装置と、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えたハード構成例を示している。
Finally, an example of the hardware configuration of the image processing apparatus will be described with reference to FIG. The configuration illustrated in FIG. 9 illustrates a hardware configuration example including an information processing apparatus such as a PC, an image
ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち連結領域の抽出処理、連結領域の重心、特徴量の算出、連結領域情報テーブルの生成、対応連結領域の選択処理、補正係数の算出、補正係数に基づくデータ変換処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。 A CPU (Central Processing Unit) 501 performs various data processing described in the above-described embodiments, that is, connected region extraction processing, connected region centroids, feature amount calculation, connected region information table generation, and corresponding connected region selection. It is a control part which performs the process according to the computer program describing the execution sequence of each process, such as a process, calculation of a correction coefficient, and the data conversion process based on a correction coefficient.
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
A ROM (Read Only Memory) 502 stores programs used by the
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
The
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。
A
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば前述した連結領域情報テーブルを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
An HDD (Hard Disk Drive) 511 includes a hard disk, drives the hard disk, and records or reproduces a program executed by the
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
The
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。プリント処理部５３１は、画像データの出力を実行し、文書読み取り部５３２は、画像データの読み取り処理を実行する。
The
なお、図９に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図９に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。 Note that the hardware configuration example of the image processing apparatus shown in FIG. 9 shows one example of the apparatus, and the image processing apparatus of the present invention is not limited to the configuration shown in FIG. Any configuration capable of executing the process may be used.
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。 The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and executed.
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 The program is installed on the computer from the removable recording medium as described above, or is wirelessly transferred from the download site to the computer, or is wired to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 The various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Further, in this specification, the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
以上、説明したように、本発明の構成によれば、複数の画像間のずれを算出するために実行する対応連結領域選択処理を、選択条件を変更して複数回実行する構成とした。例えば検索範囲を、広い設定から順次狭い設定に変更し、比較対象の特徴量情報の一致度は、厳しい設定から緩い設定に変更する。この繰り返し処理によって、初期的に実行する粗調処理においては、広い範囲からより一致度の高い連結領域を選択することが可能であり、２つの画像のずれ量が大きくても対応連結領域を発見する可能性を高くすることができる。また、後半で実行する微調処理では、狭い範囲で、かつ緩い一致条件の下で、対応連結領域選択処理を実行するので、対応関係のある連結領域を効率的に抽出することが可能となる。 As described above, according to the configuration of the present invention, the corresponding connected region selection process executed for calculating the shift between the plurality of images is configured to be executed a plurality of times while changing the selection condition. For example, the search range is sequentially changed from a wide setting to a narrow setting, and the degree of coincidence of comparison target feature amount information is changed from a strict setting to a loose setting. By this iterative process, it is possible to select a connected area with a higher degree of coincidence from a wide range in the rough adjustment process that is initially executed, and a corresponding connected area is found even if the amount of deviation between the two images is large. The possibility of doing can be increased. Further, in the fine adjustment process executed in the second half, the corresponding connected area selection process is executed in a narrow range and under a loose matching condition, so that it is possible to efficiently extract a connected area having a corresponding relationship.
また、本発明の構成では、複数画像から選択された連結領域の重心および特徴量情報を記録した連結領域情報テーブルを生成し、テーブルの比較に基づいて、対応連結領域を選択する処理を実行し、１回の処理で算出した補正係数に基づいて、補正対象画像の連結領域情報テーブルに記録された連結領域の重心および特徴量情報を更新して、更新したデータに基づいて、条件を変更して２回目の対応連結領域選択処理を実行して、さらに対応連結領域情報に基づく補正係数の算出、テーブルの更新という処理を繰り返し実行する構成としたので、正確でかつ効率的な画像間のずれ量調整処理が可能となる。 In the configuration of the present invention, a connected area information table in which the center of gravity of the connected area selected from the plurality of images and the feature amount information are recorded is generated, and the corresponding connected area is selected based on the comparison of the tables. Based on the correction coefficient calculated in one process, the centroid and feature amount information of the connected area recorded in the connected area information table of the correction target image is updated, and the condition is changed based on the updated data. The corresponding connected region selection process is executed for the second time, and the correction coefficient calculation based on the corresponding connected region information and the table update process are repeatedly executed. A quantity adjustment process becomes possible.
１１１，１２１ 前処理手段
１１２，１２２ 連結領域抽出手段
１１３，１２３ 重心算出手段
１１４，１２４ 特徴量算出手段
１３１ 対応連結領域選択手段
１３２ 連結領域選択基準設定手段
１３３ 補正係数算出手段
１３４ データ変換手段
２００ 連結領域
２０１ 重心
２０２ 外接矩形
２０３ 連結領域細線化データ
２０４ 線幅
３０１ 連結領域
３０２ 重心
３２１ 重心対応位置
３２２ 検索範囲
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５１６ カードリーダ
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ 画像データ読み取り部
５３２ 画像データ出力部
111, 121 Pre-processing means 112, 122 Connected area extraction means 113, 123 Center of gravity calculation means 114, 124 Feature amount calculation means 131 Corresponding connection area selection means 132 Connection area selection reference setting means 133 Correction coefficient calculation means 134 Data conversion means 200
502 ROM (Read-Only-Memory)
503 RAM (Random Access Memory)
504
512
Claims (11)
２つの画像の各々から特徴領域を抽出する特徴領域抽出手段と、
前記特徴領域抽出手段の抽出した特徴領域の特徴量を算出する特徴量算出手段と、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定手段と、
前記特徴領域選択基準設定手段の設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択手段と、
前記対応特徴領域選択手段において選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出手段と、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換手段とを有し、
前記対応特徴領域選択手段は、
前記特徴領域選択基準設定手段の設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行する構成であり、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行する構成であることを特徴とする画像処理装置。 An image processing device,
Feature region extraction means for extracting a feature region from each of the two images;
Feature quantity calculating means for calculating the feature quantity of the feature area extracted by the feature area extracting means;
Feature region selection criterion setting means for setting a selection criterion for selecting a corresponding feature region from the feature regions extracted from the two images;
Corresponding feature region selection means for selecting a corresponding feature region based on the degree of coincidence of feature amounts of feature regions extracted from the two images based on the selection criterion set by the feature region selection criterion setting unit;
Correction coefficient calculation means for calculating a deviation amount between the two images based on the corresponding feature area selected by the corresponding feature area selection means, and calculating a correction coefficient based on the deviation amount;
Data conversion means for performing conversion processing of the correction target image or the correction target image corresponding data based on the correction coefficient;
The corresponding feature region selection means includes
Based on different selection criteria set by the feature region selection criterion setting means, the corresponding feature region selection process is repeatedly executed, and in the second and subsequent corresponding feature region selection processes, the correction calculated in the preceding process An image processing apparatus configured to execute a process to which conversion data based on a coefficient is applied.
特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行する構成であることを特徴とする請求項１に記載の画像処理装置。 The feature region selection criterion setting means includes:
According to the number of processing times, the feature area selection criteria
(1) Change corresponding feature area search range from wide setting to narrow setting,
(2) Change the degree of coincidence of comparison target features from strict setting to loose setting,
The image processing apparatus according to claim 1, wherein the image processing apparatus is configured to execute a setting change of at least one of (1) to (2).
前記画像から連結領域を抽出し
前記特徴量算出手段は、
前記特徴領域抽出手段の抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。 The feature region extraction means includes
Extracting a connected area from the image, the feature amount calculating means,
As a feature amount of the connected region extracted by the feature region extracting means, a feature amount information extraction process including a center of gravity is executed, and a connected region information table as a list of feature amounts including the center of gravity corresponding to the connected region is generated. The image processing apparatus according to claim 1, wherein the image processing apparatus is configured to execute processing.
前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行する構成であることを特徴とする請求項３に記載の画像処理装置。 The corresponding feature region selection means includes
The configuration is such that, based on data stored in the connected area information table, a feature amount comparison of connected areas extracted from the two images is executed, and a process of selecting a corresponding connected area is executed. The image processing apparatus according to 3.
前記補正係数算出手段の算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行する構成であることを特徴とする請求項３に記載の画像処理装置。 The data conversion means includes
4. The image processing according to claim 3, wherein the conversion processing of the data stored in the connected region information table corresponding to the correction target image is executed based on the correction coefficient calculated by the correction coefficient calculation unit. 5. apparatus.
２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、
前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、
前記対応特徴領域選択ステップは、
前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とする画像処理方法。 An image processing method,
A feature region extraction step for extracting a feature region from each of the two images;
A feature amount calculating step for calculating a feature amount of the feature region extracted in the feature region extracting step;
A feature region selection criterion setting step for setting a selection criterion for selecting a corresponding feature region from the feature regions extracted from the two images;
A corresponding feature region selection step of selecting a corresponding feature region based on the degree of matching of the feature amounts of the feature regions extracted from the two images based on the selection criterion set in the feature region selection criterion setting step;
A correction coefficient calculating step of calculating a deviation amount between the two images based on the corresponding feature area selected in the corresponding feature area selecting step, and calculating a correction coefficient based on the deviation amount;
A data conversion step of performing a conversion process of the correction target image or the correction target image corresponding data based on the correction coefficient,
The corresponding feature region selection step includes:
The corresponding feature region selection process is repeatedly executed based on different selection criteria set in the feature region selection reference setting step, and the second and subsequent corresponding feature region selection processes are based on the correction coefficient calculated in the preceding process. An image processing method characterized by executing a process to which conversion data is applied.
特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行することを特徴とする請求項６に記載の画像処理方法。 In the feature region selection criterion setting step,
According to the number of processing times, the feature area selection criteria
(1) Change corresponding feature area search range from wide setting to narrow setting,
(2) Change the degree of coincidence of comparison target features from strict setting to loose setting,
The image processing method according to claim 6, wherein the setting change of at least one of (1) to (2) is executed.
前記画像から連結領域を抽出し
前記特徴量算出ステップは、
前記特徴領域抽出ステップにおいて抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行することを特徴とする請求項６に記載の画像処理方法。 The feature region extraction step includes:
Extracting a connected region from the image, and calculating the feature amount,
As a feature amount of the connected region extracted in the feature region extraction step, a feature amount information extraction process including the center of gravity is executed, and a connected region information table as a list of feature amounts including the center of gravity corresponding to the connected region is generated. The image processing method according to claim 6, wherein the process is executed.
前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行することを特徴とする請求項８に記載の画像処理方法。 The corresponding feature region selection step includes:
9. The process according to claim 8, wherein a feature amount comparison between connected regions extracted from the two images is performed based on data stored in the connected region information table, and a corresponding connected region is selected. Image processing method.
前記補正係数算出ステップにおいて算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行することを特徴とする請求項８に記載の画像処理方法。 The data conversion step includes
9. The image processing method according to claim 8, wherein a conversion process of data stored in the connected area information table corresponding to the correction target image is executed based on the correction coefficient calculated in the correction coefficient calculation step.
２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、
前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、
前記対応特徴領域選択ステップは、
前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とするコンピュータ・プログラム。 A computer program for executing image processing on a computer;
A feature region extraction step for extracting a feature region from each of the two images;
A feature amount calculating step for calculating a feature amount of the feature region extracted in the feature region extracting step;
A feature region selection criterion setting step for setting a selection criterion for selecting a corresponding feature region from the feature regions extracted from the two images;
A corresponding feature region selection step of selecting a corresponding feature region based on the degree of matching of the feature amounts of the feature regions extracted from the two images based on the selection criterion set in the feature region selection criterion setting step;
A correction coefficient calculating step of calculating a deviation amount between the two images based on the corresponding feature area selected in the corresponding feature area selecting step, and calculating a correction coefficient based on the deviation amount;
A data conversion step of performing a conversion process of the correction target image or the correction target image corresponding data based on the correction coefficient,
The corresponding feature region selection step includes:
The corresponding feature region selection process is repeatedly executed based on different selection criteria set in the feature region selection reference setting step, and the second and subsequent corresponding feature region selection processes are based on the correction coefficient calculated in the preceding process. A computer program for executing a process to which conversion data is applied.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005046555A JP2006235785A (en) | 2005-02-23 | 2005-02-23 | Image processor, image processing method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005046555A JP2006235785A (en) | 2005-02-23 | 2005-02-23 | Image processor, image processing method and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006235785A true JP2006235785A (en) | 2006-09-07 |
Family
ID=37043390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005046555A Pending JP2006235785A (en) | 2005-02-23 | 2005-02-23 | Image processor, image processing method and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006235785A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113145A (en) * | 2006-10-30 | 2008-05-15 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2008135857A (en) * | 2006-11-27 | 2008-06-12 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2009230603A (en) * | 2008-03-25 | 2009-10-08 | Fuji Xerox Co Ltd | Image processor and image processing program |
| EP2169613A1 (en) | 2008-09-25 | 2010-03-31 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and image processing program |
| JP2015126373A (en) * | 2013-12-26 | 2015-07-06 | ダンロップスポーツ株式会社 | Image blurring correction system, program and method |
| JP2015130082A (en) * | 2014-01-08 | 2015-07-16 | 富士ゼロックス株式会社 | Image processing apparatus and image processing program |
-
2005
- 2005-02-23 JP JP2005046555A patent/JP2006235785A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113145A (en) * | 2006-10-30 | 2008-05-15 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2008135857A (en) * | 2006-11-27 | 2008-06-12 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2009230603A (en) * | 2008-03-25 | 2009-10-08 | Fuji Xerox Co Ltd | Image processor and image processing program |
| EP2169613A1 (en) | 2008-09-25 | 2010-03-31 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and image processing program |
| JP2015126373A (en) * | 2013-12-26 | 2015-07-06 | ダンロップスポーツ株式会社 | Image blurring correction system, program and method |
| JP2015130082A (en) * | 2014-01-08 | 2015-07-16 | 富士ゼロックス株式会社 | Image processing apparatus and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4919028B2 (en) | Image processing apparatus and image processing program | |
| JP4724802B1 (en) | 2D code reader and program | |
| US8768052B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
| JP4310288B2 (en) | Image processing apparatus and method, program, and storage medium | |
| JP4724801B1 (en) | 2D code reader and program | |
| JP2011044146A (en) | Deblurring and supervised adaptive thresholding for print-and-scan document image evaluation | |
| JP5321109B2 (en) | Information processing apparatus and information processing program | |
| US7969631B2 (en) | Image processing apparatus, image processing method and computer readable medium storing image processing program | |
| JP2014225932A (en) | Method of detecting document alteration by comparing characters using shape features of characters | |
| JP2006235785A (en) | Image processor, image processing method and computer program | |
| US8228564B2 (en) | Apparatus, system, and method for identifying embedded information | |
| US10924620B2 (en) | Document reading guidance for operator using feature amount acquired from image of partial area of document | |
| US7155051B2 (en) | Image recognition apparatus, image recognition method and image recognition program for specific pattern | |
| US6968501B2 (en) | Document format identification apparatus and method | |
| JP2006235786A (en) | Image processor, image processing method and computer program | |
| JP6010318B2 (en) | Image inspection apparatus, image inspection method, and program | |
| JP2009246967A (en) | Method of generating high quality scanned image of document | |
| JP5742367B2 (en) | Image processing apparatus and image processing program | |
| JP4910635B2 (en) | Image processing apparatus and image processing program | |
| WO2012014263A1 (en) | Article detection device and program | |
| US20090051978A1 (en) | Image processing apparatus, image processing method and medium | |
| JP4840388B2 (en) | Image processing apparatus and image processing program | |
| JP4552757B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2008206037A (en) | Image processing apparatus and image processing program | |
| JP2014120832A (en) | Image processing apparatus and image processing program |