JP4705894B2 - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP4705894B2 JP4705894B2 JP2006234253A JP2006234253A JP4705894B2 JP 4705894 B2 JP4705894 B2 JP 4705894B2 JP 2006234253 A JP2006234253 A JP 2006234253A JP 2006234253 A JP2006234253 A JP 2006234253A JP 4705894 B2 JP4705894 B2 JP 4705894B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- correction coefficient
- image
- mark
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Editing Of Facsimile Originals (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する技術に関する。 The present invention relates to a technique for processing image data obtained from an imaging device that captures an imaging target placed on a document table.
近年、ドキュメントをカメラ等の撮像機器で撮影して読取る読取り装置が製品化されている。 In recent years, readers that capture and read documents with an imaging device such as a camera have been commercialized.
そして、カメラ等の撮像機器でドキュメントの画像を読み取る際には、焦点距離を長くとることができずに、広角のレンズが主に使用されている。広角レンズを介してイメージセンサに結像させる際には、色の波長によって屈折率が異なるため、色により結像倍率が異なる倍率色収差が問題となる。 When reading an image of a document with an imaging device such as a camera, a wide-angle lens is mainly used because the focal length cannot be increased. When forming an image on an image sensor through a wide-angle lens, the refractive index varies depending on the wavelength of the color.
この倍率色収差を補正するため、特許文献１では、撮像機器のレンズの色収差特性と、画像データの中心からの座標位置と、を用いて色収差を補正する技術が記載されている。
In order to correct this lateral chromatic aberration,
特許文献１に記載の技術では、画像データの中心から等距離にある座標位置では、等しい補正値を用いて色収差の補正を行っているため、ドキュメントの撮像面とカメラの光軸とが垂直になっていない場合には、焦点位置も画像位置により一律ではなくなり、補正値も変わってくるため、精度の高い補正をすることはできない。
In the technique disclosed in
そこで、本発明は、ドキュメントの撮像面とカメラの光軸とが垂直になっていない場合にも色収差の補正を高精度に行うことができる技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique capable of correcting chromatic aberration with high accuracy even when the imaging surface of a document and the optical axis of a camera are not perpendicular.
以上の課題を解決するため、本発明では、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データに含まれるマークを、Ｒ（赤）、Ｇ（緑）、Ｂ（青）毎に検出して、検出したマークにおけるＲ、Ｇ、Ｂ相互間のズレを補正するための補正係数を算出することを特徴とする。 In order to solve the above problems, in the present invention, marks included in image data obtained from an imaging device that captures an imaging object placed on a document table are R (red), G (green), and B (blue). ), And a correction coefficient for correcting a shift between R, G, and B in the detected mark is calculated.
例えば、本発明は、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置であって、前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、前記マークの撮像距離を算出する距離推定部と、前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、前記補正係数生成部は、前記撮像距離から焦点距離を算出する処理と、前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークにおける色ズレ量を推定色ズレ量として算出する処理と、前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記撮像距離を変更する処理と、前記変更された前記撮像距離における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、を特徴とする。
また、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置であって、前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、前記補正係数生成部は、前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークの基準位置における色ズレ量を推定色ズレ量として算出する処理と、前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記基準位置を変更する処理と、前記変更された前記基準位置における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、を特徴とする。
For example, the present invention is an image processing apparatus that processes image data obtained from an imaging device that captures an imaging object placed on a platen, and the imaging magnification in each reference color of the imaging device is expressed as a focal length. A lens data storage unit that stores chromatic aberration information corresponding to the image data, a mark detection unit that detects an image of a mark included in the image data for each of a plurality of reference colors, and a distance for calculating an imaging distance of the mark An estimation unit, a correction coefficient generation unit that generates a correction coefficient for changing a pixel position for each reference color so that images of marks for each of the plurality of reference colors detected by the mark detection unit overlap, and the correction coefficient and a correcting unit for correcting the image data by the imaging device, wherein the correction coefficient generation unit includes a process of calculating a focal length from the imaging distance, forming for each respective reference color from the chromatic information Calculating the magnification, calculating the color shift amount at the mark as the estimated color shift amount from the imaging magnification for each reference color, and calculating the actual color shift amount for each reference color in the image data obtained from the imaging device Processing to change the imaging distance so that a difference between the estimated color misregistration amount and the actually measured color misregistration amount is equal to or less than a predetermined threshold, and the changed color at the changed imaging distance And a process of calculating a shift amount from the chromatic aberration information and generating a correction coefficient for correcting the changed color shift amount for each reference color .
An image processing apparatus that processes image data obtained from an imaging device that captures an imaging object placed on a document table, wherein an imaging magnification in each reference color of the imaging device corresponds to a focal length A lens data storage unit for storing chromatic aberration information, a mark detection unit for detecting an image of a mark included in the image data for each of a plurality of reference colors, and a plurality of reference colors detected by the mark detection unit A correction coefficient generation unit that generates a correction coefficient that changes the pixel position for each reference color so that the mark images overlap, and a correction unit that corrects image data captured by an imaging device using the correction coefficient. The correction coefficient generation unit calculates an image forming magnification for each reference color from the chromatic aberration information, and uses a color shift amount at the reference position of the mark as an estimated color shift amount from the image forming magnification for each reference color. A threshold value in which a difference between the processing to be performed, the processing for calculating the actual color misregistration amount for each reference color in the image data obtained from the imaging device, the estimated color misregistration amount, and the actual color misregistration amount is determined in advance. The process of changing the reference position so as to be as follows, the change color shift amount at the changed reference position is calculated from the chromatic aberration information, and a correction coefficient for correcting the change color shift amount is calculated for each reference color And a process of generating.
以上のように、本発明によれば、Ｒ、Ｇ、Ｂ相互間のズレをマークを用いて補正するようにしているため、撮像面と撮像装置の光軸とが垂直になっていない場合でも、色収差の補正を行うことができる。 As described above, according to the present invention, misalignment between R, G, and B is corrected using marks, so even when the imaging surface and the optical axis of the imaging device are not perpendicular to each other. Correction of chromatic aberration can be performed.
図１は、本発明の第一の実施形態である読取システム１００の概略図である。
FIG. 1 is a schematic diagram of a
図示するように、読取システム１００は、撮像装置１１０と、画像処理装置１２０と、を備えている。
As illustrated, the
撮像装置１１０は、カメラ１１１と、支柱１１２と、原稿台１１３と、マーク１１４と、を備えている。
The imaging device 110 includes a
本実施形態におけるカメラ１１１は、単板式のＣＣＤカラーセンサ（エリアセンサ）を使用したものを用いており、そのレンズが原稿台１１３の方向に向くように設置されており、原稿台１１３の上に置かれた原稿１４０の画像を撮像することができるようにされている。
The
支柱１１２は、カメラ１１１を原稿台１１３の上方の所定の位置に固定する。
The
原稿台１１３は、撮像対象物（ここでは、原稿１４０）を載せることができるようにされている。 The document table 113 is configured to be able to place an imaging object (here, the document 140).
マーク１１４は、原稿台１１３に四つ配置されている。そして、マーク１１４は、矩形状の頂点位置が含まれるように配置されている。即ち、マーク１１４を直線で結ぶことにより、矩形状の図形を描くことができるようにされている。
Four
本実施形態においては、マーク１１４を円形に形成しているが、このような態様に限定されるわけではなく、矩形状の四つの頂点を特定することができる範囲で適宜変更可能である。
In the present embodiment, the
また、本実施形態においては、原稿台１１３におかれる原稿１４０により、マーク１１４が覆われてしまわないように、マーク１１４は、原稿台１１３の四隅に配置されている。
In this embodiment, the
なお、本実施形態においては、マーク１１４を四つ配置しているが、このような態様に限定されず、原稿台１１３の表面における縦方向と横方向の二つの軸を特定することができるように、三つ以上の任意の数を選択可能である。
In the present embodiment, four
画像処理装置１２０は、ＩＦ部１２１と、マーク座標検出部１２２と、補正係数生成部１２３と、補正部１２４と、を備えている。
The image processing apparatus 120 includes an
ＩＦ部１２１は、撮像装置１１０のカメラ１１１で撮像された画像データを画像処理装置１２０に入力するためのインターフェースである。
The
マーク座標検出部１２２は、カメラ１１１で撮像された画像データから、四つのマーク１１４の位置情報をＲ（Ｒｅｄ）画像、Ｇ（Ｇｒｅｅｎ）画像及びＢ（Ｂｌｕｅ）画像の各々について検出する。
The mark
本実施形態におけるマーク座標検出部１２２は、図２（マーク座標検出部１２２の概略図）に示されているように、Ｒ座標検出部１２２ａと、Ｇ座標検出部１２２ｂと、Ｂ座標検出部１２２ｃと、Ｒ座標記憶部１２２ｄと、Ｇ座標記憶部１２２ｅと、Ｂ座標記憶部１２２ｆと、を備えている。
As shown in FIG. 2 (schematic diagram of the mark coordinate detection unit 122), the mark
そして、ＩＦ部１２１より入力された画像データは、例えば、本実施形態のように、単板式のＣＣＤカラーセンサで画像データを取得した場合には、ベイヤ配列でＲ、Ｇ、Ｂそれぞれのカラーフィルタが付けられている各々の撮像素子毎に分けたＲ画像、Ｇ画像、Ｂ画像を、それぞれＲ座標検出部１２２ａ、Ｇ座標検出部１２２ｂ又はＢ座標検出部１２２ｃに入力して、それぞれの色の画像毎に、マーク１１４の座標が検出される。
The image data input from the
例えば、マーク座標検出部１２２は、図３（座標検出部１２２ａ〜１２２ｃの概略図）に示されているように、パターンマッチング部１２２ｇと、マークパターン記憶部１２２ｈと、を備えている。
For example, the mark
そして、マークパターン記憶部１２２ｈに予め検出すべきマークパターンのテンプレート画像データを記憶しておき、パターンマッチング部１２２ｇでは、ＩＦ部１２１より入力される画像データとテンプレート画像データとをパターンマッチングすることで、マーク１４４の座標を各Ｒ画像、Ｇ画像、Ｂ画像において検出する。
Then, the template image data of the mark pattern to be detected is stored in advance in the mark
パターンマッチングの方法は、既知のものを使用すればよいが、例えば、本実施形態においては、正規化相関を用いたパターンマッチングを行っている。 A known pattern matching method may be used. For example, in the present embodiment, pattern matching using normalized correlation is performed.
例えば、マークパターン記憶部１２２ｈに記憶されているテンプレート画像データの座標（ｘ、ｙ）の画素値をt(ｘ、ｙ)、テンプレート画像の平均値をＴｍとし、原稿から読み取られた画像データからテンプレートと同じサイズの画像データを切り出して、その切り出した画像の座標（ｘ、ｙ）の画素値をｆ(ｘ、ｙ)、テンプレート画像の平均値をＦｍとすると、下記の式（１）で正規化相関係数が求まる。
For example, assuming that the pixel value of the coordinates (x, y) of the template image data stored in the mark
この正規化相関係数は、テンプレート画像と切り出した画像とが似ているほど数が大きくなるようになっている。 The number of normalized correlation coefficients increases as the template image and the clipped image are more similar.
従って、ＩＦ部１２１より入力された画像データの端から順に画像を切り出し、正規化相関係数が最も大きくなる画像の座標位置を求めることによりマーク１１４を検出することができる。
Therefore, the
そして、本実施形態においては、このようにして検出したマーク１１４を特定するための基準となる座標として、マーク１１４の重心の座標を、各Ｒ画像、Ｇ画像、Ｂ画像において検出し、Ｒ座標記憶部１２２ｄ、Ｇ座標記憶部１２２ｅ及びＢ座標記憶部１２２ｆにそれぞれ記憶する。従って、マーク１１４が各画像に４つあれば、１つの画像に対してｘ座標値とｙ座標値のペアが４つ記憶される。
In this embodiment, the coordinates of the center of gravity of the
補正係数生成部１２３は、マーク座標検出部１２２で検出された各々の色毎のマーク１１４の座標から、カメラ１１１の傾きと、色ズレ量と、を補正するための補正係数を算出する。
The correction
ここで、例えば、本実施形態のように、四つのマーク１１４が縦方向及び横方向に同じ間隔で配置されている場合、図４（Ａ）に示されているように、カメラ１１１の撮像方向（カメラ１１１のレンズの光軸）が原稿台１１３に対して垂直であれば、図４（Ｂ）に示されているように、撮像された画像データにおいて各マーク１１４の間隔は、向かい合うもの同士で等しくなるものと考えられる。
Here, for example, when the four
しかしながら、図４（Ｃ）に示されているように、カメラ１１１の撮像方向（カメラ１１１のレンズの光軸）が原稿台１１３に対して傾いていると（ここでは、カメラ１１１が原稿台１１３に対して横方向に傾いている場合を例としている）、図４（Ｄ）に示されているように、撮像された画像データにおいて各マーク１１４の間隔は、向かい合うもの同士で等しくならない（ここでは、側方に位置するマーク１１４間の間隔Ｓ、Ｓ’が異なるものとなっている）。また、各々の色では、色の波長によって屈折率が異なるため、色により結像倍率が異なる倍率色収差が発生する。
However, as shown in FIG. 4C, when the imaging direction of the camera 111 (the optical axis of the lens of the camera 111) is tilted with respect to the document table 113 (here, the
そこで、補正係数生成部１２３では、まず、全ての色の画像に対して、四つのマーク１１４間の長さから、全ての画素位置と、当該画素位置に対応する縦方向及び横方向の長さを既知の補間処理で求める。
Therefore, in the correction
次に、補正係数生成部１２３は、Ｒ画像及びＢ画像においてマーク１１４により囲まれる領域が、Ｇ画像においてマーク１１４により囲まれる領域に一致するように、Ｒ画像及びＢ画像の各々の画素毎に、縦横方向の変倍率を求める。なお、Ｇ画像の変倍率は等倍となる。
Next, the correction
具体的な算出方法としては、例えば、図５を用いて説明する。 A specific calculation method will be described with reference to FIG.
図５は、カメラ１１１で撮像した画像データのＲ画像１４１及びＧ画像１４２を示している。
FIG. 5 shows an
そして、Ｒ画像１４１は、マーク１１４ａ〜１１４ｄにより領域を特定することができるようにされており、Ｇ画像１４２は、マーク１１４ｅ〜１１４ｆにより領域を特定することができるようにされている。なお、これらのマークの座標はマークの重心位置を用いている。
The
ここで、Ｒ画像１４１のマーク１１４ａの画素位置ｘ、ｙは（２０，１０）なっており、マーク１１４ｂの画素位置ｘ、ｙは（８０、３）となっているとすると、これらのマーク間の傾きは、（３−１０）／（８０−２０）＝−０．１１７となる。同様に、Ｇ画像１４２のマーク１１４ｅの画素位置ｘ、ｙは（１５、５）となっており、これらのマーク間の傾きは、（０−５）／（８３−１５）＝−０．０７４となる。そして、これらの傾きの差分は−０．０４３となる。
Here, the pixel positions x and y of the
また、Ｒ画像１４１のマーク１１４ｃ及びマーク１１４ｄの間の傾きは、（６８−６８）／（８２−２２）＝０で、Ｇ画像のマーク１１４ｇ及び１１４ｈの間の傾きは（７０−７１）／（８４−１９）＝−０．０１５の傾きとなる。そして、これらの傾きの差分は、−０．０５８となる。
The inclination between the
そして、これらの傾きの差分を画素位置に応じて加算したものがＲ画像をＧ画像に重ねるための変倍率となる。例えば、Ｇ画像のマーク１１４ｅ及びマーク１１４ｇとの間の長さａと、Ｒ画像のマーク１１４ａ及びマーク１１４ｂとの間の長さｂと、を、これらの傾きから算出し、Ｇ画像におけるマーク１１４ｅのｘ座標である１５画素目に対応するＲ画像における画素位置（マーク１１４ｅの点）には、ｂ／ａの倍率を掛ければよい。次のＧ画像における１６画素目に対応するＲ画像の画素位置には、ｂ／ａから傾きの差分（−０．０５８）を一画素毎に加算すればよい。ここでは、縦方向の変倍率のみ説明しているが、横方向も同様に変倍率が求まる。さらに同様にＢ画像においても変倍率が求まる。
Then, the sum of these inclination differences according to the pixel position is a scaling factor for superimposing the R image on the G image. For example, the length a between the
また、高速化のためにモードを設けて、縦方向及び横方向の２箇所でのＲＧＢの平均のマーク位置に基づいて倍率を一律にすることも考えられる。 It is also conceivable to provide a mode for speeding up and to make the magnification uniform based on the average mark positions of RGB in two places in the vertical and horizontal directions.
そして、補正係数生成部１２３は、このようにして算出した縦方向と横方向における変倍率をＲ画像及びＢ画像の各々の画素位置毎にまとめた補正位置情報を生成して、後述する補正部１２４に出力する。
Then, the correction
補正部１２４は、補正係数生成部１２３で生成した補正位置情報により、対応する読取画像の画素位置を補正する。なお、読み取り画像の画素位置が整数値でない場合は、周囲の４点の補間処理（バイリニア）で求めるので、その際は補正画像の画素位置に対応する読取画像の画素位置とその周囲のＲＧＢ画素値を用いて補正を行い、ディスプレイ等の出力装置に出力する。
The
以上のように構成される画像処理装置１２０において、撮像装置１１０で読み取られた画像データを補正するための補正位置情報を生成する処理フローを図６に示す。 FIG. 6 shows a processing flow for generating correction position information for correcting the image data read by the imaging device 110 in the image processing device 120 configured as described above.
まず、ＩＦ部１２１を介して撮像装置１１０で撮像された画像データを入力し、マーク座標検出部１２２において、各色の画像毎のマーク１１４の座標を検出する（Ｓ１０）。
First, image data captured by the imaging apparatus 110 is input via the
そして、補正係数生成部１２３では、マーク座標検出部１２２で検出されたマーク１１４の座標に基づいて、それぞれの色の対応する画素位置を特定し、Ｒ画像、Ｂ画像及びＧ画像それぞれの色ズレ量を算出する（Ｓ１１）。
Then, the correction
次に、補正係数生成部１２３は、Ｓ１１で算出された色ズレ量を基準画像であるＧ画像に合わせるための補正係数（変倍率）を算出する（Ｓ１２）。
Next, the correction
そして、補正係数生成部１２３は、Ｓ１２で算出された補正係数（変倍率）を画像データの画素位置に対応付けた補正位置情報を生成する（Ｓ１３）。
Then, the correction
以上のように構成される読取システム１００では、マーク１１４の形状を円形に形成しているが、このような態様に限定されるわけではなく、例えば、図７（Ａ）に示すマーク１１４Ａのように矩形状に形成することも可能である。この場合には、マークの検出するパターンとしてマーク１１４Ａの直角部分１４３を用いて検出すればよい。
In the
さらに、図７（Ｂ）又は図７（Ｃ）に示されているマーク１１４Ｂ、１１４Ｃのように、原稿台１１３に原稿１４０をおいた際に、原稿１４０によって覆われてしまうような位置に設けることも可能である。
Further, like
また、以上に記載した実施形態においては、Ｒ画像及びＢ画像の補正係数をＧ画像に合わせるようにしたが、このような態様に限定されず、例えば、Ｒ画像及びＢ画像の何れか一方に合わせるようにすることも可能である。 Further, in the embodiment described above, the correction coefficients of the R image and the B image are adjusted to the G image. However, the present invention is not limited to such a mode. For example, the correction coefficient is set to one of the R image and the B image. It is also possible to match.
また、以上に記載した画像処理装置１２０において、補正位置情報を生成するのは、キャリブレーションのように定期的に行うことも考えられるが、原稿１４０を読み取る際に、マークも一緒に読み取ることで、色収差の補正を画像データの読み込みと同時に行うことも可能となる。例えば、このようにすることで、温度特性により色収差が変化した場合でもその色収差が反映された良好な補正が可能となる。 In the image processing apparatus 120 described above, the correction position information can be generated periodically as in calibration, but when the original 140 is read, the mark is also read together. Further, correction of chromatic aberration can be performed simultaneously with reading of image data. For example, in this way, even when the chromatic aberration is changed due to the temperature characteristic, it is possible to perform a good correction reflecting the chromatic aberration.
また、補正係数生成部１２３の補正係数については、キーデバイス等を用いてユーザが変更できるようにしてもよい。その際には、画像データを基に生成した補正係数を使用するか、ユーザが変更した補正係数を使用するかの選択するためのセレクタスイッチを設けてもよい。
Further, the correction coefficient of the correction
なお、以上に記載した画像処理装置１２０については、ＡＳＩＣ（Application Specific Integrated Circuit）などの集積回路によってハードウェアで実現してもよく、コンピュータに読み込まれるソフトウェアによって実現してもよい。 The image processing apparatus 120 described above may be realized by hardware using an integrated circuit such as an ASIC (Application Specific Integrated Circuit), or may be realized by software read into a computer.
ソフトウェアによって実現する場合には、マーク座標検出部１２２や補正係数生成部１２３で行う処理を所定のプログラムをＣＰＵ（Central Processing Unit）で実行することにより実現可能であり、これらのマーク座標検出部１２２や補正係数生成部１２３で必要になるデータについては、ハードディスク等の外部記憶装置に記憶すればよい。
When realized by software, the processing performed by the mark coordinate
図８は、本発明の第二の実施形態である読取システム２００の概略図である。
FIG. 8 is a schematic diagram of a
本実施形態では、第一の実施形態とは異なり、カメラ１１１のレンズに関する特性情報が取得されている場合に、その特性情報に基づいて画像データを補正する補正係数を生成することができるようにするものである。
In the present embodiment, unlike the first embodiment, when characteristic information related to the lens of the
図示するように、読取システム２００は、撮像装置１１０と、画像処理装置２２０と、を備えており、撮像装置１１０は第一の実施形態と同様であるため、説明を省略する。
As illustrated, the
本実施形態における画像処理装置２２０は、ＩＦ部１２１と、マーク座標検出部１２２と、補正係数生成部２２３と、補正部２２４と、距離推定部２２５と、レンズデータ記憶部２２６と、を備えており、ＩＦ部１２１及びマーク座標検出部１２２は第一の実施形態と同様であるため説明を省略する。
The image processing apparatus 220 in this embodiment includes an IF
距離推定部２２５は、マーク座標検出部１２２で検出された各色のマーク１１４の位置座標から、マーク１１４間の長さを算出することで、それぞれのマーク１１４までのカメラ１１１からの撮像距離を算出し、全ての画素位置までの撮像距離を補完処理により算出する。このようにして算出された撮像距離は、推定距離情報として補正係数生成部２２３に出力する。
The
例えば、距離推定部２２５については、図９（距離推定部２２５の概略図）に示すように、マーク間長さ算出部２２５ａと、マーク位置距離算出部２２５ｂと、により構成することができる。
For example, as shown in FIG. 9 (schematic diagram of the distance estimation unit 225), the
マーク間長さ算出部２２５ａは、各々の色毎に４つのマーク１１４のそれぞれの差分を算出して、マーク間の長さを求め、求めた長さをマーク位置距離算出部２２５ｂに出力する。
The mark-to-mark
マーク位置距離算出部２２５ｂは、入力されたマーク１１４間の長さを基にカメラ１１１のレンズから各マーク１１４までの撮像距離を算出する。
The mark position
具体的には、カメラ１１１で撮影する画像範囲（倍率）と、この画像範囲におけるマーク１１４間の長さと、を予め定めておくことで、マーク間の長さと傾きにより、カメラ１１１のレンズから各マーク１１４までの撮像距離が算出され、この撮像距離から既知の補間処理により画像全体の画素位置までの撮像距離が算出される。
Specifically, by predetermining the image range (magnification) taken by the
このようにして算出された各画素位置までの撮像距離については、推定距離情報として補正係数生成部２２３に出力される。
The imaging distance to each pixel position calculated in this way is output to the correction
レンズデータ記憶部２２６は、撮影レンズの色収差特性を特定する色収差特性情報が記憶される。
The lens
例えば、撮像対象面に対してカメラ１１１のレンズの光軸が垂直となるように撮像を行った場合には、色収差の特性は、図１０（Ａ）に示されているように、基点位置１４４（ここでは、光軸）から同心円状に等収差となるものとして考えられるが、例えば、図１０（Ｂ）のように、撮像対称面に対してカメラ１１１のレンズの光軸が傾いた状態で撮像を行った場合、画像データに発生する収差の特性は、図１０（Ｂ）に示されているように、基点位置１４４（ここでは、光軸）から歪んだ楕円状に等収差となるものと考えられる。
For example, when the imaging is performed so that the optical axis of the lens of the
そこで、本実施形態では、色収差特性情報として、撮像対象面に対してレンズの光軸が垂直となるように撮像を行った場合に、焦点距離毎の結像倍率を特定する情報をＲ、Ｇ、Ｂ毎にレンズデータ記憶部２２６に記憶する。
Therefore, in the present embodiment, as chromatic aberration characteristic information, when imaging is performed so that the optical axis of the lens is perpendicular to the imaging target surface, information for specifying the imaging magnification for each focal length is R, G , B is stored in the lens
本実施形態における補正係数生成部２２３は、レンズデータ記憶部２２６に記憶されている色収差特性情報に基づいて、マーク１１４の座標位置におけるＲ画像及びＢ画像のＧ画像に対するそれぞれの色ズレ量を算出する。
The correction
そして、補正係数生成部２２３は、距離測定部２２５で算出された推定距離情報から各マーク１１４までの撮像距離を算出し、この撮像距離に対応する焦点距離を特定し、特定した焦点距離に対応する結像倍率をレンズデータ記憶部２２６に記憶されている色収差特性情報により特定し、特定した結像倍率により、Ｒ画像及びＢ画像のＧ画像に対するそれぞれの色ズレ量を算出する。
Then, the correction
さらに、このようにして算出した色ズレ量と、マーク座標検出部１２２から得られる実際に撮像された実測のマーク１１４の座標位置におけるＲ画像及びＢ画像のＧ画像に対するそれぞれの色ズレ量と、を比較する。そして、比較の結果、所定の閾値を満たさない場合には、基点位置座標と、各マーク位置までのカメラ１１１からの撮像距離と、の少なくとも何れか一方を変更して推定色ズレ量と実測色ズレ量とが一致又は近似するような補正係数を生成する。
Further, the color misregistration amount calculated in this way, and the respective color misregistration amounts with respect to the R image and the B image of the G image at the coordinate position of the actually captured
例えば、補正係数生成部２２３については、図１１（補正係数生成部２２３の概略図）に示すように、色ズレ推定部２２３ｂと、調整部２２３ｂと、補正係数記憶部２２３ｃと、により構成することが可能である。
For example, as shown in FIG. 11 (schematic diagram of the correction coefficient generation unit 223), the correction
色ズレ推定部２２３ａは、距離推定部２２５で算出した各マーク１１４までの推定撮像距離から焦点距離を特定し、この焦点距離に対応する結像倍率を各々の色毎に算出し、Ｒ画像及びＢ画像のＧ画像に対する色ズレ量を算出する。算出した色ズレ量は、推定色ズレ量として調整部２２３ｂに出力する。
The color
調整部２２３ｂは、マーク座標検出部１２２より入力した各色のマーク位置の座標から、実測した画像データにおける色ズレ量を算出し、算出した色ズレ量と、色ズレ推定部２２３ａから入力した推定色ズレ量と、を比較する。比較の結果、これらの差分が予め定められた閾値以下でない場合には、各色の色ズレ量を算出する際の基点位置と、各色のマーク位置までの撮像距離と、の少なくとも何れか一方を変更して、新たな基点位置及び新たな撮像距離における推定色ズレ量を算出する。以上の処理を繰り返すことにより、実測した画像データにおける色ズレ量と、色ズレ推定部２２３ａから入力した推定色ズレ量と、が予め定められた閾値以下になるような、基点位置と、撮像距離と、を特定する。なお、処理を繰り返す回数に上限を設定することも可能である。
The
そして、色ズレ推定部２２３ａは、特定した基点位置と、撮像距離と、に基づいてＲ画像及びＢ画像のそれぞれをＧ画像に対応するようにするための補正係数（変倍率）を各々の画素毎に算出して、Ｒ画像及びＢ画像の各々の画素毎にまとめた補正位置情報を生成して、補正係数記憶部２２３ｃに記憶する。
Then, the color
なお、例えば、調整部２２３ｂについては、図１２（調整部２２３ｂの概略図）に示すように、推定ズレ算出部２２３ｄと、中心位置・距離補正部２２３ｅと、により構成することが可能である。
For example, as shown in FIG. 12 (schematic diagram of the adjusting
推定ズレ算出部２２３ｄは、マーク座標検出部１２２より入力した各色のマーク１１４の位置を特定する座標から、実測した画像データにおけるＲ画像及びＢ画像のＧ画像に対する色ズレ量を算出し、算出した色ズレ量と、色ズレ推定部２２３ａから入力した推定色ズレ量と、を比較し、これらの差分が予め定めた閾値以下でない場合には、各色の色ズレ量を算出する際の基点位置と、各マーク１１４までの撮像距離と、の何れか一方を中心位置・距離補正部２２３ｅにおいて変更して、新たな基点位置及び新たな撮像距離における推定色ズレ量を算出する。
The estimated
補正部２２４は、補正係数記憶部２２３ｃに記憶されている補正位置情報に対応する画像データの画素位置をＲ、Ｇ、Ｂ毎に補正する。なお、読み取り画像の画像位置が整数値でない場合は、周囲の４点の補間処理（バイリニア）で求めるので、その際は補正画像の画素位置に対応する読取画像の画素位置とその周囲のＲＧＢ画素値を用いて補正を行い、ディスプレイ等の出力装置に出力する。
The
図１３に中心位置・距離値補正部２２３ｅの処理フローを示す。
FIG. 13 shows a processing flow of the center position / distance
まず、中心位置・距離値補正部２２３ｅは、初回の処理であるか否かを確認し（Ｓ２０）、初回の処理である場合には、初期設定を行う（Ｓ２１）。初期設定としては、カウンタ値Ｃを「０」にクリヤし、基点位置のオフセット値である基点オフセット値を「０」、距離オフセット値も「０」に設定する。ここで初期値としてそれぞれに「０」を設定しているが特にこの値に限ることはない。
First, the center position / distance
次に推定ズレ算出部２２３ｄで算出した推定色ズレ量と実測した色ズレ量の差分が予め定めた閾値ＴＨ以内か判定する（Ｓ２２）。ここで閾値ＴＨ以内であれば現在の基点オフセット値及び距離オフセット値を決定値として、色ズレ推定部２２３ａを介して補正係数記憶部２２３ｃに記憶して（Ｓ２３）、処理を終了する。
Next, it is determined whether the difference between the estimated color shift amount calculated by the estimated
ステップＳ２２において閾値ＴＨ以内でなければ、カウンタ値Ｃに「１」を加算して（Ｓ２４）、カウンタ値Ｃを閾値Ｎと比較し（Ｓ２５）、閾値Ｎ以上であれば、現在の基点オフセット値及び距離オフセット値を決定値として記憶する（Ｓ２３）。 If it is not less than the threshold value TH in step S22, "1" is added to the counter value C (S24), the counter value C is compared with the threshold value N (S25). The distance offset value is stored as a determined value (S23).
カウンタ値Ｃが閾値Ｎ以上でなければ、距離推定部２２５で算出された基点位置と各マーク１１４までの撮像距離で特定されるマーク１１４の位置が、全て実測されたマーク１１４の位置の内側に位置しているか、若しくは全て実測マーク１１４の位置より外側に位置するかを判定する（Ｓ２６）。
If the counter value C is not equal to or greater than the threshold value N, the position of the
もしも、全体的に実際の撮影距離が近い場合、画像は拡大されており、四隅のマーク１１４の全ての推定値が実測値の中心側（内側）に位置することになる。逆に全体的に実際の距離が離れている場合、画像は縮小され、四隅のマーク１１４の全ての推定値は実測値の周辺側（外側）に位置することになる。四隅のマーク１１４の全ての推定値が内側若しくは外側になった場合は撮影距離が異なっていると考えて、距離オフセット値を変更する（Ｓ２７）。それ以外であれば、基点位置に加算する基点オフセット値を変更する（Ｓ２８）。そして変更した基点位置若しくは距離オフセット値を色ズレ推定部２２３ａに送る。なお、ステップＳ２７については図１５を用いて後述し、ステップＳ２８については図１６を用いて後述する。
If the actual shooting distance is close as a whole, the image is enlarged, and all the estimated values of the
基点位置に加算する基点オフセット値を変更する処理フローを図１４に示す。 FIG. 14 shows a processing flow for changing the base point offset value to be added to the base point position.
まず、基点位置は等収差の中心とする。この基点位置は各色の画像の収差を算出する際の基になるため、基点位置をずらしながら推定した推定値と実測値との誤差が最も小さい基点位置を検出する。なお、基点位置の初期値は色ズレ推定部２２３ａで決めた同心円状の等収差の中心位置である。また、ここでは説明を簡単にするため、一方向（ｘ方向：横方向）のみ変更する場合の処理フローを説明する。
First, the base point position is the center of iso-aberration. Since the base point position is a base for calculating the aberration of the image of each color, the base point position where the error between the estimated value estimated while shifting the base point position and the actually measured value is the smallest is detected. The initial value of the base point position is the center position of concentric equiaberration determined by the color
まず、調整部２２３ｂでオフセット値を変更する際、初回かどうか判定し（Ｓ３０）、初回である場合には、初期設定としてプラス誤差の出現の有無を表すプラス誤差フラグ、マイナス誤差の出現の有無を表すマイナス誤差フラグを共に「０」にクリヤし、また、プラス誤差のＭＩＮ値を表すプラスＭＩＮ値とマイナス誤差のＭＩＮ値を表すマイナスＭＩＮ値を最大値に設定し、さらに、プラスＭＩＮ値が得られた基点オフセット値を表すプラス基点値とマイナスＭＩＮ値が得られた基点オフセット値を表すマイナス基点値と、設定中の基点オフセット値を表す基点オフセット値を「０」にクリヤする（Ｓ３１）。
First, when the
次に各々のマーク１１４位置、各々の色毎にマーク座標検出部１２２から得られた実測色ズレ量と色ズレ推定部２２３より得られた推定色ズレ量の差分（誤差）を求めて、それらの合計値（誤差合計値）を求める（Ｓ３２）。この差分は、推定ズレ算出部２２３ｄでの差分（実測値−推定値）の合計値を求める。
Next, a difference (error) between the measured color shift amount obtained from the mark coordinate
そして、求めた誤差合計値が「０」以上かを判定し（Ｓ３３）、誤差合計値が「０」以上であるとき、誤差合計値がプラスＭＩＮ値よりも誤差が小さいか判定する（Ｓ３４）。ここで、初回はプラスＭＩＮ値にはＭＡＸ値が設定されているので必ず誤差合計値がプラスＭＩＮ値よりも小さいと判定される。 Then, it is determined whether the obtained error total value is “0” or more (S33). If the error total value is “0” or more, it is determined whether the error total value is smaller than the plus MIN value (S34). . Here, since the MAX value is set as the plus MIN value for the first time, it is always determined that the total error value is smaller than the plus MIN value.
ステップＳ３３で、小さいと判定されるとプラスＭＩＮ値に今回の誤差合計値を設定し、プラス基点値にも今回の基点オフセット値を設定し、プラス誤差フラグには「１」を設定する（Ｓ３５）。ここで、初回はプラス基点値も基点オフセット値も「０」になる。またプラス誤差フラグは一回でも「１」に設定されると次の読取りで初期値設定されるまで「０」に戻らない。 If it is determined in step S33 that the value is small, the current total error value is set to the plus MIN value, the current base point offset value is also set to the plus base point value, and “1” is set to the plus error flag (S35). ). Here, for the first time, the plus base point value and the base point offset value are both “0”. If the plus error flag is set to “1” even once, it does not return to “0” until the initial value is set in the next reading.
次に、今までマイナスの誤差になったことがあるかどうかを示すマイナス誤差フラグが「０」かどうかチェックする（Ｓ３６）。マイナス誤差フラグも一回でも誤差合計値がマイナスになると「１」になっており、初期値のままの「０」は一回も誤差合計値がマイナスになっていないことになる。 Next, it is checked whether or not a minus error flag indicating whether there has been a minus error until now is "0" (S36). The minus error flag is also “1” when the error total value becomes minus even once, and “0” as the initial value means that the error total value has never become minus.
推定値と実測値が一致すれば誤差合計値は「０」であり、プラス誤差とマイナス誤差の間にあるので、誤差がプラスからマイナスに変わる時に、真の値に近いと考えられる。基点オフセット値を最小単位で変化させていく際に、誤差の符号が変化した時点で、プラス側とマイナス側の最も誤差の小さい基点オフセット値が決まっていると考えられる。 If the estimated value and the actually measured value match, the total error value is “0”, which is between the plus error and the minus error, and is considered to be close to the true value when the error changes from plus to minus. When the base point offset value is changed in the smallest unit, it is considered that the base point offset value having the smallest error on the plus side and the minus side is determined when the sign of the error is changed.
マイナス誤差フラグが「０」の時、つまり今までマイナスの誤差になったことがなければ、基点オフセット値を最小単位の「１」を加算する（Ｓ３７）。 When the minus error flag is “0”, that is, when no minus error has been found so far, “1” of the minimum unit is added to the base point offset value (S37).
ステップＳ３６において、マイナスの誤差になったことが有れば、プラスＭＩＮ値とマイナスＭＩＮ値（絶対値）を比較し（Ｓ３８）、マイナスＭＩＮ値（絶対値）が小さければ基点オフセット値はマイナス基点値を設定し（Ｓ３９）、そうでなければ基点オフセット値はプラス基点値を設定する（Ｓ４０）。 In step S36, if a negative error has occurred, the plus MIN value and the minus MIN value (absolute value) are compared (S38). If the minus MIN value (absolute value) is small, the base offset value is the minus base point. A value is set (S39), otherwise, a base point offset value is set to a plus base point value (S40).
ステップＳ３３において、誤差合計値が「０」以上か判定する際、誤差合計値がマイナスの場合は、誤差合計値（絶対値）がマイナスＭＩＮ値（絶対値）よりも誤差が小さいか判定する（Ｓ４１）。初回はマイナスＭＩＮ値にはＭＡＸ値が設定されているので必ず誤差合計値がマイナスＭＩＮ値よりも小さいと判定される。 In step S33, when determining whether the total error value is “0” or more, if the total error value is negative, it is determined whether the total error value (absolute value) is smaller than the negative MIN value (absolute value) (step S33). S41). Since the MAX value is set for the minus MIN value for the first time, it is always determined that the total error value is smaller than the minus MIN value.
ステップＳ４１において、小さいと判定されるとマイナスＭＩＮ値に今回の誤差合計値を設定し、マイナス基点値にも今回の基点オフセット値を設定し、マイナス誤差フラグには「１」を設定する（Ｓ４２）。 If it is determined in step S41 that the value is small, the current total error value is set to the minus MIN value, the current base point offset value is also set to the minus base point value, and “1” is set to the minus error flag (S42). ).
次に、今までプラスの誤差になったことがあるかどうかを、プラス誤差フラグが「０」かどうかチェックすることにより確認する（Ｓ４３）。ここで、プラス誤差フラグは一回でも誤差合計値がプラスになると「１」になっており、初期値のままの「０」は一回も誤差合計値がプラスになっていないことになる。 Next, whether or not there has been a positive error has been confirmed by checking whether or not the positive error flag is “0” (S43). Here, the plus error flag is “1” when the total error value becomes positive even once, and “0” as the initial value means that the total error value has never become positive.
今までプラスの誤差になったことがなければ、基点オフセット値として最小単位で「１」を減算する（Ｓ４４）。 If there has never been a positive error, “1” is subtracted in the minimum unit as the base point offset value (S44).
ステップＳ４３でプラスの誤差になったことがあれば、ステップＳ３８に進む。 If a positive error has occurred in step S43, the process proceeds to step S38.
以上が基点位置に加算する基点オフセット値を変更する処理となるが、ここではｘ方向（横方向）の基点オフセット値を説明したが、ｙ方向（縦方向）の基点オフセット値も同様に求めることができる。ｘ方向、ｙ方向は別々に行い、ｘ方向を決定した後で、ｙ方向を決定することも可能であるし、同時に行うことも可能である。 The above is the process of changing the base point offset value to be added to the base point position. Here, the base point offset value in the x direction (horizontal direction) has been described, but the base point offset value in the y direction (vertical direction) is also obtained in the same manner. Can do. The x direction and the y direction are performed separately, and after determining the x direction, it is possible to determine the y direction or simultaneously.
また、ここで説明した方法以外にも誤差の「０」の箇所を求める方法として、基点位置の変化させる変化量とそれに伴い発生した誤差合計値の変化量を基に、誤差の「０」の基点位置を算出して求めることも考えられる。 In addition to the method described here, as a method for obtaining the location of the error “0”, the error “0” is calculated based on the change amount of the base position change and the change amount of the error total value generated accordingly. It is also conceivable to calculate and obtain the base point position.
距離値に加算する距離オフセット値を変更する処理フローを図１５に示す。 FIG. 15 shows a processing flow for changing the distance offset value to be added to the distance value.
まず、調整部２２３ｂでオフセット値を変更する際、初回かどうか判定し（Ｓ５０）、初回では初期設定としてプラス誤差の出現有無を表すプラス誤差フラグ、マイナス誤差の出現有無を表すマイナス誤差フラグを共に「０」にクリヤし、また、プラス誤差のＭＩＮ値を表すプラスＭＩＮ値とマイナス誤差のＭＩＮ値を表すマイナスＭＩＮ値を最大値に設定し、さらに、プラスＭＩＮ値が得られた距離オフセット値を表すプラス距離値とマイナスＭＩＮ値が得られた距離オフセット値を表すマイナス距離値と、設定中の距離オフセット値を表す距離オフセット値を「０」にクリヤする（Ｓ５１）。
First, when the offset value is changed by the adjusting
次に各マーク位置、各色毎に実測値と推測値の差分（誤差）を求めて、それらの合計値（誤差合計値）を求める（Ｓ５２）。ただし、マーク１１４の座標位置での色ズレ量の誤差を計算する際には、画像の中心を原点に考えるため、推定ズレ算出部２２３ｄからの差分結果についてｘ方向の差分は、原点よりも左側のマーク１１４に関して求めた値の符号を逆転させる。また、ｙ方向の差分については、原点よりも上側のマーク１１４に関して求めた値は符号が逆転させて使用する。ここでは、Ｘ方向もＹ方向の両方の誤差を集計して、誤差の合計値を算出する。
Next, the difference (error) between the actual measurement value and the estimated value is obtained for each mark position and each color, and the total value (error total value) is obtained (S52). However, when calculating the error of the color misregistration amount at the coordinate position of the
次に、求めた誤差合計値が「０」以上かを判定し（Ｓ５３）、誤差合計値が「０」以上であるとき、誤差合計値がプラスＭＩＮ値よりも誤差が小さいか判定する（Ｓ５４）。 Next, it is determined whether the obtained error total value is “0” or more (S53). When the error total value is “0” or more, it is determined whether the error total value is smaller than the plus MIN value (S54). ).
そして、ステップＳ５４において小さいと判定されるとプラスＭＩＮ値に今回の誤差合計値を設定し、プラス距離値にも今回の距離オフセット値を設定し、プラス誤差フラグには「１」を設定する（Ｓ５５）。 If it is determined in step S54 that it is small, the current total error value is set to the plus MIN value, the current distance offset value is also set to the plus distance value, and “1” is set to the plus error flag ( S55).
次に、今までマイナスの誤差になったことがあるかどうかを示すマイナス誤差フラグが「０」かどうかチェックする（Ｓ５６）。マイナスＭＩＮフラグが「０」の時、つまり今までマイナスの誤差になったことがなければ、距離オフセット値に最小単位の「１」を加算する（Ｓ５７）。 Next, it is checked whether or not a minus error flag indicating whether or not a minus error has ever been "0" (S56). When the minus MIN flag is “0”, that is, when no minus error has occurred so far, “1” of the minimum unit is added to the distance offset value (S57).
ステップＳ５７で、マイナスの誤差になったことが有れば、プラスＭＩＮ値とマイナスＭＩＮ値（絶対値）を比較し（Ｓ５８）、マイナスＭＩＮ値（絶対値）が小さければ距離オフセット値はマイナス距離値を設定し（Ｓ５９）、そうでなければ距離オフセット値はプラス距離値を設定する（Ｓ６０）。 If a negative error has occurred in step S57, the plus MIN value and the minus MIN value (absolute value) are compared (S58). If the minus MIN value (absolute value) is small, the distance offset value is minus distance. A value is set (S59), otherwise the distance offset value is set to a plus distance value (S60).
ステップＳ５３で、誤差合計値が「０」以上か判定する際、誤差合計値がマイナスの場合は、誤差合計値（絶対値）がマイナスＭＩＮ値（絶対値）よりも誤差が小さいか判定する（Ｓ６１）。 In step S53, when determining whether the total error value is “0” or more, if the total error value is negative, it is determined whether the total error value (absolute value) is smaller than the negative MIN value (absolute value) ( S61).
ステップＳ６１で、小さいと判定されるとマイナスＭＩＮ値に今回の誤差合計値を設定し、マイナス距離値にも今回の距離オフセット値を設定し、マイナス誤差フラグには「１」を設定する（Ｓ６２）。 If it is determined in step S61 that the value is small, the current total error value is set as the minus MIN value, the current distance offset value is set as the minus distance value, and "1" is set as the minus error flag (S62). ).
次に、今までプラスの誤差になったことがあるかどうかを、プラス誤差フラグが「０」かどうかによりチェックする（Ｓ６３）。 Next, it is checked whether or not there has been a positive error until now depending on whether or not the positive error flag is “0” (S63).
そして、今までプラスの誤差になったことがなければ、距離オフセット値から最小単位の「１」を減算する（Ｓ６４）。 If there has never been a positive error, the minimum unit “1” is subtracted from the distance offset value (S64).
ステップＳ６３でプラスの誤差になったことがあれば、ステップＳ５８に進む。 If a positive error has occurred in step S63, the process proceeds to step S58.
また、ここで説明した方法以外にも誤差の「０」の箇所を求める方法として、距離オフセット値の変化させる変化量とそれに伴い発生した誤差合計値の変化量を基に、誤差「０」の距離オフセット値を算出して求めることも考えられる。 In addition to the method described here, as a method of obtaining the location of the error “0”, the error “0” is calculated based on the amount of change in the distance offset value and the amount of change in the error total value that accompanies it. It is also conceivable to calculate and obtain a distance offset value.
図１４に示されたフローチャートにおいて、マーク位置の色ずれの推定値と実測値の差が閾値ＴＨ以内になるとステップＳ２３で現在の中心オフセット値と撮影距離オフセット値を記憶するが、その値を用いた色収差特性は色ズレ推定部２２３ａに既に生成されていると考えられる。それはメモリに記憶しておいてもいいし、記憶した基点オフセット値と距離オフセット値を用い、再度生成してもよい。また、例えば、処理時間短縮のため、以上の一連の距離及び基点位置を決める処理については、収差を推定するのはマーク位置のみの４点の位置だけにしておき、撮像距離及び収差特性の基点位置を決定した後で、全ての画像位置における収差を求めることも可能である。
In the flowchart shown in FIG. 14, when the difference between the estimated value of color misregistration at the mark position and the actual measurement value is within the threshold value TH, the current center offset value and shooting distance offset value are stored in step S23. It is considered that the chromatic aberration characteristics that have been generated are already generated in the color
以上のように、本実施形態によれば、このように収差特性を用いて全画像位置毎にＲ、Ｇ、Ｂの位置ずれを求めて、補正画像位置にあるべきＲ、Ｇ、Ｂの画素値を、読取り画像のＲ、Ｇ、Ｂから求めることができ、また、「１」画素未満の画素位置に対応する場合は周囲の情報も使用して線形補間を行って求めることも可能である。 As described above, according to the present embodiment, R, G, and B pixels that should be in the corrected image position are obtained by calculating the R, G, and B position shifts for all image positions using the aberration characteristics as described above. The value can be obtained from R, G, and B of the read image, and when corresponding to a pixel position of less than “1” pixels, it can also be obtained by performing linear interpolation using surrounding information. .
以上に記載した第二の実施形態においては、カメラ１１１からの撮像距離と、基点となる基点位置と、を同時に変更して、補正係数を求めているが、このような態様に限定されず、例えば、撮像距離については固定されているものとして、基点位置だけを変更して補正係数を求めるようにしてもよい。この場合には、距離推定部２２５を設ける必要はなくなる。
In the second embodiment described above, the imaging distance from the
以上に記載した第二の実施形態における画像処理装置２２０についても、ＡＳＩＣなどの集積回路によってハードウェアで実現してもよく、コンピュータに読み込まれるソフトウェアによって実現してもよい。 The image processing apparatus 220 in the second embodiment described above may be realized by hardware using an integrated circuit such as an ASIC, or may be realized by software read into a computer.
ソフトウェアによって実現する場合には、マーク座標検出部１２２や補正係数生成部２２３、補正部２２４、距離推定部２２５、で行う処理を所定のプログラムをＣＰＵ（制御部）で実行することにより実現可能であり、これらのマーク座標検出部１２２や補正係数生成部２２３、補正部２２４、距離推定部２２５で必要になるデータについては、ハードディスク等の外部記憶装置に記憶すればよい。
When realized by software, the processing performed by the mark coordinate
以上に記載した実施形態においては、原稿台１１３にマーク１１４を記しているが、このような態様に限定されず、例えば、原稿台１１３にテストチャートとなる原稿を載せて撮像を行い、補正係数を求めるようにしてもよい。
In the embodiment described above, the
また、マーク１１４と原稿台１１３の配色については、原稿台１１３が黒でマーク１１４は白、若しくは、原稿台１１３が白でマーク１１４が黒と共に彩度の無い色で配色することが考えられる。テストチャートにマークを配置する際も、配色については、テストチャートの地色が黒でマークは白、若しくは、テストチャートの地色が白でマークが黒とすることが考えられる。
Further, regarding the color arrangement of the
１００、２００ 読取システム
１１０ 撮像装置
１１１ カメラ
１１３ 原稿台
１１４ マーク
１２０、２２０ 画像処理装置
１２２ マーク座標検出部
１２３ 補正係数生成部
１２４、２２４ 補正部
２２５ 距離推定部
２２６ レンズデータ記憶部
100, 200 Reading system 110
Claims (10)
前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、
前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、
前記マークの撮像距離を算出する距離推定部と、
前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、
前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、
前記補正係数生成部は、
前記撮像距離から焦点距離を算出する処理と、
前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークにおける色ズレ量を推定色ズレ量として算出する処理と、
前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、
前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記撮像距離を変更する処理と、
前記変更された前記撮像距離における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、
を特徴とする画像処理装置。 An image processing apparatus that processes image data obtained from an imaging device that images an imaging object placed on a platen,
A lens data storage unit that stores chromatic aberration information in which the imaging magnification in each reference color of the imaging device corresponds to the focal length;
A mark detection unit that detects an image of a mark included in the image data for each of a plurality of reference colors;
A distance estimation unit for calculating an imaging distance of the mark;
A correction coefficient generation unit that generates a correction coefficient for changing the pixel position for each reference color so that the images of the marks for each of the plurality of reference colors detected by the mark detection unit overlap;
A correction unit that corrects image data picked up by an imaging device using the correction coefficient ,
The correction coefficient generation unit
A process of calculating a focal length from the imaging distance;
A process of calculating an image forming magnification for each reference color from the chromatic aberration information, and calculating an amount of color shift in the mark as an estimated color shift amount from the image forming magnification for each reference color;
A process of calculating an actual color shift amount for each reference color in the image data obtained from the imaging device;
A process of changing the imaging distance so that a difference between the estimated color misregistration amount and the actually measured color misregistration amount is equal to or less than a predetermined threshold;
Calculating a change color shift amount at the changed imaging distance from the chromatic aberration information, and generating a correction coefficient for correcting the change color shift amount for each reference color,
The image processing apparatus according to claim.
前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、 A lens data storage unit that stores chromatic aberration information in which the imaging magnification of each reference color of the imaging device corresponds to the focal length;
前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、 A mark detection unit that detects an image of a mark included in the image data for each of a plurality of reference colors;
前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、 A correction coefficient generation unit that generates a correction coefficient for changing the pixel position for each reference color so that the images of the marks for each of the plurality of reference colors detected by the mark detection unit overlap;
前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、 A correction unit that corrects image data picked up by an imaging device using the correction coefficient,
前記補正係数生成部は、 The correction coefficient generation unit
前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークの基準位置における色ズレ量を推定色ズレ量として算出する処理と、 A process of calculating an image forming magnification for each reference color from the chromatic aberration information, and calculating an amount of color shift at the reference position of the mark as an estimated color shift amount from the image forming magnification for each reference color;
前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、 A process of calculating an actual color shift amount for each reference color in the image data obtained from the imaging device;
前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記基準位置を変更する処理と、 A process of changing the reference position so that a difference between the estimated color misregistration amount and the actually measured color misregistration amount is equal to or less than a predetermined threshold;
前記変更された前記基準位置における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、 Calculating a change color shift amount at the changed reference position from the chromatic aberration information, and generating a correction coefficient for correcting the change color shift amount for each reference color,
を特徴とする画像処理装置。 An image processing apparatus.
前記マークは、前記画像データに少なくとも三つ以上含まれていること、を特徴とする画像処理装置。 An image processing apparatus according to claim 1 or 2,
An image processing apparatus, wherein at least three marks are included in the image data.
前記マークは、少なくとも矩形状の頂点位置を含むようにされており、
前記補正係数生成部は、前記頂点位置において、複数の基準色毎のマークの画像が、重なり合うように基準色毎の補正係数を生成するものであること、
を特徴とする画像処理装置。 An image processing apparatus according to claim 1 or 2,
The mark includes at least a rectangular vertex position;
The correction coefficient generation unit is configured to generate a correction coefficient for each reference color so that images of marks for each of a plurality of reference colors overlap at the vertex position;
An image processing apparatus.
前記マーク検出部は、検出した前記マークの画像のうち、予め定められた位置にある画素の座標を検出するものであり、
前記補正係数生成部は、一の基準色毎の前記座標が、他の基準色の前記座標と重なり合う位置に配置されるように、前記基準色毎の補正係数を生成するものであること、
を特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 4 ,
The mark detection unit detects coordinates of a pixel at a predetermined position in the detected image of the mark,
The correction coefficient generation unit generates a correction coefficient for each reference color so that the coordinates for each reference color are arranged at positions where the coordinates of the other reference colors overlap.
An image processing apparatus.
原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置として機能させるためのプログラムであって、
前記コンピュータを、
前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶手段として機能させ、
演算手段に、
前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出処理と、
前記マークの撮像距離を算出する距離推定処理と、
前記マーク検出処理で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成処理と、
前記補正係数により撮像機器で撮像される画像データを補正する補正処理と、
を行わせ、
前記補正係数生成処理は、
前記撮像距離から焦点距離を算出する処理と、
前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークにおける色ズレ量を推定色ズレ量として算出する処理と、
前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、
前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記撮像距離を変更する処理と、
前記変更された前記撮像距離における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うものであること、
を特徴とするプログラム。 Computer
A program for causing an image processing apparatus to function as an image processing apparatus that processes image data obtained from an imaging device that captures an imaging object placed on a document table,
The computer,
Function as lens data storage means for storing chromatic aberration information in which the imaging magnification in each reference color of the imaging device corresponds to the focal length;
In the calculation means,
Mark detection processing for detecting an image of a mark included in the image data for each of a plurality of reference colors;
A distance estimation process for calculating an imaging distance of the mark;
A correction coefficient generation process for generating a correction coefficient for changing the pixel position for each reference color so that the images of the marks for each of the plurality of reference colors detected by the mark detection process overlap,
Correction processing for correcting image data captured by the imaging device using the correction coefficient;
It was carried out,
The correction coefficient generation process includes
A process of calculating a focal length from the imaging distance;
A process of calculating an image forming magnification for each reference color from the chromatic aberration information, and calculating an amount of color shift in the mark as an estimated color shift amount from the image forming magnification for each reference color;
A process of calculating an actual color shift amount for each reference color in the image data obtained from the imaging device;
A process of changing the imaging distance so that a difference between the estimated color misregistration amount and the actually measured color misregistration amount is equal to or less than a predetermined threshold;
Calculating a change color shift amount at the changed imaging distance from the chromatic aberration information, and generating a correction coefficient for correcting the change color shift amount for each reference color,
A program characterized by
原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置として機能させるためのプログラムであって、 A program for causing an image processing apparatus to function as an image processing apparatus that processes image data obtained from an imaging device that captures an imaging object placed on a document table,
前記コンピュータを、 The computer,
前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶手段として機能させ、 Function as lens data storage means for storing chromatic aberration information in which the imaging magnification in each reference color of the imaging device corresponds to the focal length;
演算手段に、 In the calculation means,
前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出処理と、 Mark detection processing for detecting an image of a mark included in the image data for each of a plurality of reference colors;
前記マーク検出処理で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成処理と、 A correction coefficient generation process for generating a correction coefficient for changing the pixel position for each reference color so that the images of the marks for each of the plurality of reference colors detected in the mark detection process overlap;
前記補正係数により撮像機器で撮像される画像データを補正する補正処理と、 Correction processing for correcting image data captured by the imaging device using the correction coefficient;
を行わせ、 Let
前記補正係数生成処理は、 The correction coefficient generation process includes
前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークの基準位置における色ズレ量を推定色ズレ量として算出する処理と、 A process of calculating an image forming magnification for each reference color from the chromatic aberration information, and calculating an amount of color shift at the reference position of the mark as an estimated color shift amount from the image forming magnification for each reference color;
前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、 A process of calculating an actual color shift amount for each reference color in the image data obtained from the imaging device;
前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記基準位置を変更する処理と、 A process of changing the reference position so that a difference between the estimated color misregistration amount and the actually measured color misregistration amount is equal to or less than a predetermined threshold;
前記変更された前記基準位置における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うものであること、 Calculating a change color shift amount at the changed reference position from the chromatic aberration information, and generating a correction coefficient for correcting the change color shift amount for each reference color;
を特徴とするプログラム。 A program characterized by
前記マークは、前記画像データに少なくとも三つ以上含まれていること、を特徴とするプログラム。 The program according to claim 6 or 7,
A program characterized in that at least three marks are included in the image data.
前記マークは、少なくとも矩形状の頂点位置を含むようにされており、
前記補正係数生成処理は、前記頂点位置において、複数の基準色毎のマークの画像が、重なり合うように基準色毎の補正係数を生成するものであること、
を特徴とするプログラム。 The program according to claim 6 or 7,
The mark includes at least a rectangular vertex position;
The correction coefficient generation processing is to generate a correction coefficient for each reference color so that images of marks for each of a plurality of reference colors overlap at the vertex position;
A program characterized by
前記マーク検出処理は、検出した前記マークの画像のうち、予め定められた位置にある画素の座標を検出するものであり、
前記補正係数生成処理は、一の基準色毎の前記座標が、他の基準色の前記座標と重なり合う位置に配置されるように、前記基準色毎の補正係数を生成するものであること、
を特徴とするプログラム。 A program according to any one of claims 6 to 9,
The mark detection process is to detect the coordinates of a pixel at a predetermined position in the detected image of the mark,
The correction coefficient generation process is to generate a correction coefficient for each reference color so that the coordinates for each reference color are arranged at a position overlapping the coordinates of another reference color;
A program characterized by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006234253A JP4705894B2 (en) | 2006-08-30 | 2006-08-30 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006234253A JP4705894B2 (en) | 2006-08-30 | 2006-08-30 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008060829A JP2008060829A (en) | 2008-03-13 |
| JP4705894B2 true JP4705894B2 (en) | 2011-06-22 |
Family
ID=39243091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006234253A Expired - Fee Related JP4705894B2 (en) | 2006-08-30 | 2006-08-30 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4705894B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5326919B2 (en) * | 2009-08-06 | 2013-10-30 | ソニー株式会社 | Appearance inspection device |
| CN114581380A (en) * | 2022-02-16 | 2022-06-03 | 合肥埃科光电科技股份有限公司 | Dispersion correction method based on FPGA and storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006074512A (en) * | 2004-09-02 | 2006-03-16 | Casio Comput Co Ltd | Photographing device, and image processing method, and program for photographing device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08116490A (en) * | 1994-10-14 | 1996-05-07 | Olympus Optical Co Ltd | Image processing unit |
| JP3434716B2 (en) * | 1997-12-09 | 2003-08-11 | 富士写真フイルム株式会社 | Image processing method and image processing apparatus |
-
2006
- 2006-08-30 JP JP2006234253A patent/JP4705894B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006074512A (en) * | 2004-09-02 | 2006-03-16 | Casio Comput Co Ltd | Photographing device, and image processing method, and program for photographing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008060829A (en) | 2008-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8259216B2 (en) | Interchangeable lens camera system having autofocusing function | |
| JP5075757B2 (en) | Image processing apparatus, image processing program, image processing method, and electronic apparatus | |
| JP6261676B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2005006228A (en) | Projector | |
| JP4700993B2 (en) | Imaging device | |
| JP2011028048A (en) | Image capturing apparatus, and method of controlling the same | |
| JP2004317245A (en) | Distance detection device, distance detection method and distance detection program | |
| JP4705894B2 (en) | Image processing apparatus and program | |
| JP4863441B2 (en) | Imaging apparatus and control method thereof | |
| WO2020008832A1 (en) | Distance measurement camera | |
| CN107666605B (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| JP2012147281A (en) | Image processing apparatus | |
| JP5446285B2 (en) | Image processing apparatus and image processing method | |
| JP5489545B2 (en) | Imaging system and imaging method | |
| JP2006145755A (en) | Lens position confirmation chart, mark position detection method, and mark position detection program | |
| JP2006059270A (en) | Method for correcting distortion of image | |
| JP6214713B1 (en) | Image processing apparatus, imaging apparatus, lens apparatus, image processing method, program, storage medium, and information processing method | |
| JP2005043085A (en) | Angle detector and projector equipped with the same | |
| JP2004153323A (en) | Chromatic aberration correction image processing system | |
| JP7463133B2 (en) | Area measuring device, area measuring method, and program | |
| JP7051580B2 (en) | Image processing device, image pickup device, image processing method and image processing program | |
| JPH08211284A (en) | Focus detector | |
| JP2008182684A (en) | Distortion correcting method, distortion correcting device, distortion correcting program, and digital camera | |
| JP2010041416A (en) | Image processing unit, image processing method, image processing program, and imaging apparatus | |
| JPH06103182B2 (en) | Focus detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110314 |
|
| LAPS | Cancellation because of no payment of annual fees |