JP4705894B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する技術に関する。

近年、ドキュメントをカメラ等の撮像機器で撮影して読取る読取り装置が製品化されている。

そして、カメラ等の撮像機器でドキュメントの画像を読み取る際には、焦点距離を長くとることができずに、広角のレンズが主に使用されている。広角レンズを介してイメージセンサに結像させる際には、色の波長によって屈折率が異なるため、色により結像倍率が異なる倍率色収差が問題となる。

この倍率色収差を補正するため、特許文献１では、撮像機器のレンズの色収差特性と、画像データの中心からの座標位置と、を用いて色収差を補正する技術が記載されている。

特開平１１−２２５２７０号公報

特許文献１に記載の技術では、画像データの中心から等距離にある座標位置では、等しい補正値を用いて色収差の補正を行っているため、ドキュメントの撮像面とカメラの光軸とが垂直になっていない場合には、焦点位置も画像位置により一律ではなくなり、補正値も変わってくるため、精度の高い補正をすることはできない。

そこで、本発明は、ドキュメントの撮像面とカメラの光軸とが垂直になっていない場合にも色収差の補正を高精度に行うことができる技術を提供することを目的とする。

以上の課題を解決するため、本発明では、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データに含まれるマークを、Ｒ（赤）、Ｇ（緑）、Ｂ（青）毎に検出して、検出したマークにおけるＲ、Ｇ、Ｂ相互間のズレを補正するための補正係数を算出することを特徴とする。

例えば、本発明は、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置であって、前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、前記マークの撮像距離を算出する距離推定部と、前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、前記補正係数生成部は、前記撮像距離から焦点距離を算出する処理と、前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークにおける色ズレ量を推定色ズレ量として算出する処理と、前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記撮像距離を変更する処理と、前記変更された前記撮像距離における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、を特徴とする。
また、原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置であって、前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、前記補正係数生成部は、前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークの基準位置における色ズレ量を推定色ズレ量として算出する処理と、前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記基準位置を変更する処理と、前記変更された前記基準位置における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、を特徴とする。

以上のように、本発明によれば、Ｒ、Ｇ、Ｂ相互間のズレをマークを用いて補正するようにしているため、撮像面と撮像装置の光軸とが垂直になっていない場合でも、色収差の補正を行うことができる。

図１は、本発明の第一の実施形態である読取システム１００の概略図である。

図示するように、読取システム１００は、撮像装置１１０と、画像処理装置１２０と、を備えている。

撮像装置１１０は、カメラ１１１と、支柱１１２と、原稿台１１３と、マーク１１４と、を備えている。

本実施形態におけるカメラ１１１は、単板式のＣＣＤカラーセンサ（エリアセンサ）を使用したものを用いており、そのレンズが原稿台１１３の方向に向くように設置されており、原稿台１１３の上に置かれた原稿１４０の画像を撮像することができるようにされている。

支柱１１２は、カメラ１１１を原稿台１１３の上方の所定の位置に固定する。

原稿台１１３は、撮像対象物（ここでは、原稿１４０）を載せることができるようにされている。

マーク１１４は、原稿台１１３に四つ配置されている。そして、マーク１１４は、矩形状の頂点位置が含まれるように配置されている。即ち、マーク１１４を直線で結ぶことにより、矩形状の図形を描くことができるようにされている。

本実施形態においては、マーク１１４を円形に形成しているが、このような態様に限定されるわけではなく、矩形状の四つの頂点を特定することができる範囲で適宜変更可能である。

また、本実施形態においては、原稿台１１３におかれる原稿１４０により、マーク１１４が覆われてしまわないように、マーク１１４は、原稿台１１３の四隅に配置されている。

なお、本実施形態においては、マーク１１４を四つ配置しているが、このような態様に限定されず、原稿台１１３の表面における縦方向と横方向の二つの軸を特定することができるように、三つ以上の任意の数を選択可能である。

画像処理装置１２０は、ＩＦ部１２１と、マーク座標検出部１２２と、補正係数生成部１２３と、補正部１２４と、を備えている。

ＩＦ部１２１は、撮像装置１１０のカメラ１１１で撮像された画像データを画像処理装置１２０に入力するためのインターフェースである。

マーク座標検出部１２２は、カメラ１１１で撮像された画像データから、四つのマーク１１４の位置情報をＲ（Ｒｅｄ）画像、Ｇ（Ｇｒｅｅｎ）画像及びＢ（Ｂｌｕｅ）画像の各々について検出する。

本実施形態におけるマーク座標検出部１２２は、図２（マーク座標検出部１２２の概略図）に示されているように、Ｒ座標検出部１２２ａと、Ｇ座標検出部１２２ｂと、Ｂ座標検出部１２２ｃと、Ｒ座標記憶部１２２ｄと、Ｇ座標記憶部１２２ｅと、Ｂ座標記憶部１２２ｆと、を備えている。

そして、ＩＦ部１２１より入力された画像データは、例えば、本実施形態のように、単板式のＣＣＤカラーセンサで画像データを取得した場合には、ベイヤ配列でＲ、Ｇ、Ｂそれぞれのカラーフィルタが付けられている各々の撮像素子毎に分けたＲ画像、Ｇ画像、Ｂ画像を、それぞれＲ座標検出部１２２ａ、Ｇ座標検出部１２２ｂ又はＢ座標検出部１２２ｃに入力して、それぞれの色の画像毎に、マーク１１４の座標が検出される。

例えば、マーク座標検出部１２２は、図３（座標検出部１２２ａ〜１２２ｃの概略図）に示されているように、パターンマッチング部１２２ｇと、マークパターン記憶部１２２ｈと、を備えている。

そして、マークパターン記憶部１２２ｈに予め検出すべきマークパターンのテンプレート画像データを記憶しておき、パターンマッチング部１２２ｇでは、ＩＦ部１２１より入力される画像データとテンプレート画像データとをパターンマッチングすることで、マーク１４４の座標を各Ｒ画像、Ｇ画像、Ｂ画像において検出する。

パターンマッチングの方法は、既知のものを使用すればよいが、例えば、本実施形態においては、正規化相関を用いたパターンマッチングを行っている。

例えば、マークパターン記憶部１２２ｈに記憶されているテンプレート画像データの座標（ｘ、ｙ）の画素値をt(ｘ、ｙ)、テンプレート画像の平均値をＴｍとし、原稿から読み取られた画像データからテンプレートと同じサイズの画像データを切り出して、その切り出した画像の座標（ｘ、ｙ）の画素値をｆ(ｘ、ｙ)、テンプレート画像の平均値をＦｍとすると、下記の式（１）で正規化相関係数が求まる。

この正規化相関係数は、テンプレート画像と切り出した画像とが似ているほど数が大きくなるようになっている。

従って、ＩＦ部１２１より入力された画像データの端から順に画像を切り出し、正規化相関係数が最も大きくなる画像の座標位置を求めることによりマーク１１４を検出することができる。

そして、本実施形態においては、このようにして検出したマーク１１４を特定するための基準となる座標として、マーク１１４の重心の座標を、各Ｒ画像、Ｇ画像、Ｂ画像において検出し、Ｒ座標記憶部１２２ｄ、Ｇ座標記憶部１２２ｅ及びＢ座標記憶部１２２ｆにそれぞれ記憶する。従って、マーク１１４が各画像に４つあれば、１つの画像に対してｘ座標値とｙ座標値のペアが４つ記憶される。

補正係数生成部１２３は、マーク座標検出部１２２で検出された各々の色毎のマーク１１４の座標から、カメラ１１１の傾きと、色ズレ量と、を補正するための補正係数を算出する。

ここで、例えば、本実施形態のように、四つのマーク１１４が縦方向及び横方向に同じ間隔で配置されている場合、図４（Ａ）に示されているように、カメラ１１１の撮像方向（カメラ１１１のレンズの光軸）が原稿台１１３に対して垂直であれば、図４（Ｂ）に示されているように、撮像された画像データにおいて各マーク１１４の間隔は、向かい合うもの同士で等しくなるものと考えられる。

しかしながら、図４（Ｃ）に示されているように、カメラ１１１の撮像方向（カメラ１１１のレンズの光軸）が原稿台１１３に対して傾いていると（ここでは、カメラ１１１が原稿台１１３に対して横方向に傾いている場合を例としている）、図４（Ｄ）に示されているように、撮像された画像データにおいて各マーク１１４の間隔は、向かい合うもの同士で等しくならない（ここでは、側方に位置するマーク１１４間の間隔Ｓ、Ｓ’が異なるものとなっている）。また、各々の色では、色の波長によって屈折率が異なるため、色により結像倍率が異なる倍率色収差が発生する。

そこで、補正係数生成部１２３では、まず、全ての色の画像に対して、四つのマーク１１４間の長さから、全ての画素位置と、当該画素位置に対応する縦方向及び横方向の長さを既知の補間処理で求める。

次に、補正係数生成部１２３は、Ｒ画像及びＢ画像においてマーク１１４により囲まれる領域が、Ｇ画像においてマーク１１４により囲まれる領域に一致するように、Ｒ画像及びＢ画像の各々の画素毎に、縦横方向の変倍率を求める。なお、Ｇ画像の変倍率は等倍となる。

具体的な算出方法としては、例えば、図５を用いて説明する。

図５は、カメラ１１１で撮像した画像データのＲ画像１４１及びＧ画像１４２を示している。

そして、Ｒ画像１４１は、マーク１１４ａ〜１１４ｄにより領域を特定することができるようにされており、Ｇ画像１４２は、マーク１１４ｅ〜１１４ｆにより領域を特定することができるようにされている。なお、これらのマークの座標はマークの重心位置を用いている。

ここで、Ｒ画像１４１のマーク１１４ａの画素位置ｘ、ｙは（２０，１０）なっており、マーク１１４ｂの画素位置ｘ、ｙは（８０、３）となっているとすると、これらのマーク間の傾きは、（３−１０）／（８０−２０）＝−０．１１７となる。同様に、Ｇ画像１４２のマーク１１４ｅの画素位置ｘ、ｙは（１５、５）となっており、これらのマーク間の傾きは、（０−５）／（８３−１５）＝−０．０７４となる。そして、これらの傾きの差分は−０．０４３となる。

また、Ｒ画像１４１のマーク１１４ｃ及びマーク１１４ｄの間の傾きは、（６８−６８）／（８２−２２）＝０で、Ｇ画像のマーク１１４ｇ及び１１４ｈの間の傾きは（７０−７１）／（８４−１９）＝−０．０１５の傾きとなる。そして、これらの傾きの差分は、−０．０５８となる。

そして、これらの傾きの差分を画素位置に応じて加算したものがＲ画像をＧ画像に重ねるための変倍率となる。例えば、Ｇ画像のマーク１１４ｅ及びマーク１１４ｇとの間の長さａと、Ｒ画像のマーク１１４ａ及びマーク１１４ｂとの間の長さｂと、を、これらの傾きから算出し、Ｇ画像におけるマーク１１４ｅのｘ座標である１５画素目に対応するＲ画像における画素位置（マーク１１４ｅの点）には、ｂ／ａの倍率を掛ければよい。次のＧ画像における１６画素目に対応するＲ画像の画素位置には、ｂ／ａから傾きの差分（−０．０５８）を一画素毎に加算すればよい。ここでは、縦方向の変倍率のみ説明しているが、横方向も同様に変倍率が求まる。さらに同様にＢ画像においても変倍率が求まる。

また、高速化のためにモードを設けて、縦方向及び横方向の２箇所でのＲＧＢの平均のマーク位置に基づいて倍率を一律にすることも考えられる。

そして、補正係数生成部１２３は、このようにして算出した縦方向と横方向における変倍率をＲ画像及びＢ画像の各々の画素位置毎にまとめた補正位置情報を生成して、後述する補正部１２４に出力する。

補正部１２４は、補正係数生成部１２３で生成した補正位置情報により、対応する読取画像の画素位置を補正する。なお、読み取り画像の画素位置が整数値でない場合は、周囲の４点の補間処理（バイリニア）で求めるので、その際は補正画像の画素位置に対応する読取画像の画素位置とその周囲のＲＧＢ画素値を用いて補正を行い、ディスプレイ等の出力装置に出力する。

以上のように構成される画像処理装置１２０において、撮像装置１１０で読み取られた画像データを補正するための補正位置情報を生成する処理フローを図６に示す。

まず、ＩＦ部１２１を介して撮像装置１１０で撮像された画像データを入力し、マーク座標検出部１２２において、各色の画像毎のマーク１１４の座標を検出する（Ｓ１０）。

そして、補正係数生成部１２３では、マーク座標検出部１２２で検出されたマーク１１４の座標に基づいて、それぞれの色の対応する画素位置を特定し、Ｒ画像、Ｂ画像及びＧ画像それぞれの色ズレ量を算出する（Ｓ１１）。

次に、補正係数生成部１２３は、Ｓ１１で算出された色ズレ量を基準画像であるＧ画像に合わせるための補正係数（変倍率）を算出する（Ｓ１２）。

そして、補正係数生成部１２３は、Ｓ１２で算出された補正係数（変倍率）を画像データの画素位置に対応付けた補正位置情報を生成する（Ｓ１３）。

以上のように構成される読取システム１００では、マーク１１４の形状を円形に形成しているが、このような態様に限定されるわけではなく、例えば、図７（Ａ）に示すマーク１１４Ａのように矩形状に形成することも可能である。この場合には、マークの検出するパターンとしてマーク１１４Ａの直角部分１４３を用いて検出すればよい。

さらに、図７（Ｂ）又は図７（Ｃ）に示されているマーク１１４Ｂ、１１４Ｃのように、原稿台１１３に原稿１４０をおいた際に、原稿１４０によって覆われてしまうような位置に設けることも可能である。

また、以上に記載した実施形態においては、Ｒ画像及びＢ画像の補正係数をＧ画像に合わせるようにしたが、このような態様に限定されず、例えば、Ｒ画像及びＢ画像の何れか一方に合わせるようにすることも可能である。

また、以上に記載した画像処理装置１２０において、補正位置情報を生成するのは、キャリブレーションのように定期的に行うことも考えられるが、原稿１４０を読み取る際に、マークも一緒に読み取ることで、色収差の補正を画像データの読み込みと同時に行うことも可能となる。例えば、このようにすることで、温度特性により色収差が変化した場合でもその色収差が反映された良好な補正が可能となる。

また、補正係数生成部１２３の補正係数については、キーデバイス等を用いてユーザが変更できるようにしてもよい。その際には、画像データを基に生成した補正係数を使用するか、ユーザが変更した補正係数を使用するかの選択するためのセレクタスイッチを設けてもよい。

なお、以上に記載した画像処理装置１２０については、ＡＳＩＣ（Application Specific Integrated Circuit）などの集積回路によってハードウェアで実現してもよく、コンピュータに読み込まれるソフトウェアによって実現してもよい。

ソフトウェアによって実現する場合には、マーク座標検出部１２２や補正係数生成部１２３で行う処理を所定のプログラムをＣＰＵ（Central Processing Unit）で実行することにより実現可能であり、これらのマーク座標検出部１２２や補正係数生成部１２３で必要になるデータについては、ハードディスク等の外部記憶装置に記憶すればよい。

図８は、本発明の第二の実施形態である読取システム２００の概略図である。

本実施形態では、第一の実施形態とは異なり、カメラ１１１のレンズに関する特性情報が取得されている場合に、その特性情報に基づいて画像データを補正する補正係数を生成することができるようにするものである。

図示するように、読取システム２００は、撮像装置１１０と、画像処理装置２２０と、を備えており、撮像装置１１０は第一の実施形態と同様であるため、説明を省略する。

本実施形態における画像処理装置２２０は、ＩＦ部１２１と、マーク座標検出部１２２と、補正係数生成部２２３と、補正部２２４と、距離推定部２２５と、レンズデータ記憶部２２６と、を備えており、ＩＦ部１２１及びマーク座標検出部１２２は第一の実施形態と同様であるため説明を省略する。

距離推定部２２５は、マーク座標検出部１２２で検出された各色のマーク１１４の位置座標から、マーク１１４間の長さを算出することで、それぞれのマーク１１４までのカメラ１１１からの撮像距離を算出し、全ての画素位置までの撮像距離を補完処理により算出する。このようにして算出された撮像距離は、推定距離情報として補正係数生成部２２３に出力する。

例えば、距離推定部２２５については、図９（距離推定部２２５の概略図）に示すように、マーク間長さ算出部２２５ａと、マーク位置距離算出部２２５ｂと、により構成することができる。

マーク間長さ算出部２２５ａは、各々の色毎に４つのマーク１１４のそれぞれの差分を算出して、マーク間の長さを求め、求めた長さをマーク位置距離算出部２２５ｂに出力する。

マーク位置距離算出部２２５ｂは、入力されたマーク１１４間の長さを基にカメラ１１１のレンズから各マーク１１４までの撮像距離を算出する。

具体的には、カメラ１１１で撮影する画像範囲（倍率）と、この画像範囲におけるマーク１１４間の長さと、を予め定めておくことで、マーク間の長さと傾きにより、カメラ１１１のレンズから各マーク１１４までの撮像距離が算出され、この撮像距離から既知の補間処理により画像全体の画素位置までの撮像距離が算出される。

このようにして算出された各画素位置までの撮像距離については、推定距離情報として補正係数生成部２２３に出力される。

レンズデータ記憶部２２６は、撮影レンズの色収差特性を特定する色収差特性情報が記憶される。

例えば、撮像対象面に対してカメラ１１１のレンズの光軸が垂直となるように撮像を行った場合には、色収差の特性は、図１０（Ａ）に示されているように、基点位置１４４（ここでは、光軸）から同心円状に等収差となるものとして考えられるが、例えば、図１０（Ｂ）のように、撮像対称面に対してカメラ１１１のレンズの光軸が傾いた状態で撮像を行った場合、画像データに発生する収差の特性は、図１０（Ｂ）に示されているように、基点位置１４４（ここでは、光軸）から歪んだ楕円状に等収差となるものと考えられる。

そこで、本実施形態では、色収差特性情報として、撮像対象面に対してレンズの光軸が垂直となるように撮像を行った場合に、焦点距離毎の結像倍率を特定する情報をＲ、Ｇ、Ｂ毎にレンズデータ記憶部２２６に記憶する。

本実施形態における補正係数生成部２２３は、レンズデータ記憶部２２６に記憶されている色収差特性情報に基づいて、マーク１１４の座標位置におけるＲ画像及びＢ画像のＧ画像に対するそれぞれの色ズレ量を算出する。

そして、補正係数生成部２２３は、距離測定部２２５で算出された推定距離情報から各マーク１１４までの撮像距離を算出し、この撮像距離に対応する焦点距離を特定し、特定した焦点距離に対応する結像倍率をレンズデータ記憶部２２６に記憶されている色収差特性情報により特定し、特定した結像倍率により、Ｒ画像及びＢ画像のＧ画像に対するそれぞれの色ズレ量を算出する。

さらに、このようにして算出した色ズレ量と、マーク座標検出部１２２から得られる実際に撮像された実測のマーク１１４の座標位置におけるＲ画像及びＢ画像のＧ画像に対するそれぞれの色ズレ量と、を比較する。そして、比較の結果、所定の閾値を満たさない場合には、基点位置座標と、各マーク位置までのカメラ１１１からの撮像距離と、の少なくとも何れか一方を変更して推定色ズレ量と実測色ズレ量とが一致又は近似するような補正係数を生成する。

例えば、補正係数生成部２２３については、図１１（補正係数生成部２２３の概略図）に示すように、色ズレ推定部２２３ｂと、調整部２２３ｂと、補正係数記憶部２２３ｃと、により構成することが可能である。

色ズレ推定部２２３ａは、距離推定部２２５で算出した各マーク１１４までの推定撮像距離から焦点距離を特定し、この焦点距離に対応する結像倍率を各々の色毎に算出し、Ｒ画像及びＢ画像のＧ画像に対する色ズレ量を算出する。算出した色ズレ量は、推定色ズレ量として調整部２２３ｂに出力する。

調整部２２３ｂは、マーク座標検出部１２２より入力した各色のマーク位置の座標から、実測した画像データにおける色ズレ量を算出し、算出した色ズレ量と、色ズレ推定部２２３ａから入力した推定色ズレ量と、を比較する。比較の結果、これらの差分が予め定められた閾値以下でない場合には、各色の色ズレ量を算出する際の基点位置と、各色のマーク位置までの撮像距離と、の少なくとも何れか一方を変更して、新たな基点位置及び新たな撮像距離における推定色ズレ量を算出する。以上の処理を繰り返すことにより、実測した画像データにおける色ズレ量と、色ズレ推定部２２３ａから入力した推定色ズレ量と、が予め定められた閾値以下になるような、基点位置と、撮像距離と、を特定する。なお、処理を繰り返す回数に上限を設定することも可能である。

そして、色ズレ推定部２２３ａは、特定した基点位置と、撮像距離と、に基づいてＲ画像及びＢ画像のそれぞれをＧ画像に対応するようにするための補正係数（変倍率）を各々の画素毎に算出して、Ｒ画像及びＢ画像の各々の画素毎にまとめた補正位置情報を生成して、補正係数記憶部２２３ｃに記憶する。

なお、例えば、調整部２２３ｂについては、図１２（調整部２２３ｂの概略図）に示すように、推定ズレ算出部２２３ｄと、中心位置・距離補正部２２３ｅと、により構成することが可能である。

推定ズレ算出部２２３ｄは、マーク座標検出部１２２より入力した各色のマーク１１４の位置を特定する座標から、実測した画像データにおけるＲ画像及びＢ画像のＧ画像に対する色ズレ量を算出し、算出した色ズレ量と、色ズレ推定部２２３ａから入力した推定色ズレ量と、を比較し、これらの差分が予め定めた閾値以下でない場合には、各色の色ズレ量を算出する際の基点位置と、各マーク１１４までの撮像距離と、の何れか一方を中心位置・距離補正部２２３ｅにおいて変更して、新たな基点位置及び新たな撮像距離における推定色ズレ量を算出する。

補正部２２４は、補正係数記憶部２２３ｃに記憶されている補正位置情報に対応する画像データの画素位置をＲ、Ｇ、Ｂ毎に補正する。なお、読み取り画像の画像位置が整数値でない場合は、周囲の４点の補間処理（バイリニア）で求めるので、その際は補正画像の画素位置に対応する読取画像の画素位置とその周囲のＲＧＢ画素値を用いて補正を行い、ディスプレイ等の出力装置に出力する。

図１３に中心位置・距離値補正部２２３ｅの処理フローを示す。

まず、中心位置・距離値補正部２２３ｅは、初回の処理であるか否かを確認し（Ｓ２０）、初回の処理である場合には、初期設定を行う（Ｓ２１）。初期設定としては、カウンタ値Ｃを「０」にクリヤし、基点位置のオフセット値である基点オフセット値を「０」、距離オフセット値も「０」に設定する。ここで初期値としてそれぞれに「０」を設定しているが特にこの値に限ることはない。

次に推定ズレ算出部２２３ｄで算出した推定色ズレ量と実測した色ズレ量の差分が予め定めた閾値ＴＨ以内か判定する（Ｓ２２）。ここで閾値ＴＨ以内であれば現在の基点オフセット値及び距離オフセット値を決定値として、色ズレ推定部２２３ａを介して補正係数記憶部２２３ｃに記憶して（Ｓ２３）、処理を終了する。

ステップＳ２２において閾値ＴＨ以内でなければ、カウンタ値Ｃに「１」を加算して（Ｓ２４）、カウンタ値Ｃを閾値Ｎと比較し（Ｓ２５）、閾値Ｎ以上であれば、現在の基点オフセット値及び距離オフセット値を決定値として記憶する（Ｓ２３）。

カウンタ値Ｃが閾値Ｎ以上でなければ、距離推定部２２５で算出された基点位置と各マーク１１４までの撮像距離で特定されるマーク１１４の位置が、全て実測されたマーク１１４の位置の内側に位置しているか、若しくは全て実測マーク１１４の位置より外側に位置するかを判定する（Ｓ２６）。

もしも、全体的に実際の撮影距離が近い場合、画像は拡大されており、四隅のマーク１１４の全ての推定値が実測値の中心側（内側）に位置することになる。逆に全体的に実際の距離が離れている場合、画像は縮小され、四隅のマーク１１４の全ての推定値は実測値の周辺側（外側）に位置することになる。四隅のマーク１１４の全ての推定値が内側若しくは外側になった場合は撮影距離が異なっていると考えて、距離オフセット値を変更する（Ｓ２７）。それ以外であれば、基点位置に加算する基点オフセット値を変更する（Ｓ２８）。そして変更した基点位置若しくは距離オフセット値を色ズレ推定部２２３ａに送る。なお、ステップＳ２７については図１５を用いて後述し、ステップＳ２８については図１６を用いて後述する。

基点位置に加算する基点オフセット値を変更する処理フローを図１４に示す。

まず、基点位置は等収差の中心とする。この基点位置は各色の画像の収差を算出する際の基になるため、基点位置をずらしながら推定した推定値と実測値との誤差が最も小さい基点位置を検出する。なお、基点位置の初期値は色ズレ推定部２２３ａで決めた同心円状の等収差の中心位置である。また、ここでは説明を簡単にするため、一方向（ｘ方向：横方向）のみ変更する場合の処理フローを説明する。

まず、調整部２２３ｂでオフセット値を変更する際、初回かどうか判定し（Ｓ３０）、初回である場合には、初期設定としてプラス誤差の出現の有無を表すプラス誤差フラグ、マイナス誤差の出現の有無を表すマイナス誤差フラグを共に「０」にクリヤし、また、プラス誤差のＭＩＮ値を表すプラスＭＩＮ値とマイナス誤差のＭＩＮ値を表すマイナスＭＩＮ値を最大値に設定し、さらに、プラスＭＩＮ値が得られた基点オフセット値を表すプラス基点値とマイナスＭＩＮ値が得られた基点オフセット値を表すマイナス基点値と、設定中の基点オフセット値を表す基点オフセット値を「０」にクリヤする（Ｓ３１）。

次に各々のマーク１１４位置、各々の色毎にマーク座標検出部１２２から得られた実測色ズレ量と色ズレ推定部２２３より得られた推定色ズレ量の差分（誤差）を求めて、それらの合計値（誤差合計値）を求める（Ｓ３２）。この差分は、推定ズレ算出部２２３ｄでの差分（実測値−推定値）の合計値を求める。

そして、求めた誤差合計値が「０」以上かを判定し（Ｓ３３）、誤差合計値が「０」以上であるとき、誤差合計値がプラスＭＩＮ値よりも誤差が小さいか判定する（Ｓ３４）。ここで、初回はプラスＭＩＮ値にはＭＡＸ値が設定されているので必ず誤差合計値がプラスＭＩＮ値よりも小さいと判定される。

ステップＳ３３で、小さいと判定されるとプラスＭＩＮ値に今回の誤差合計値を設定し、プラス基点値にも今回の基点オフセット値を設定し、プラス誤差フラグには「１」を設定する（Ｓ３５）。ここで、初回はプラス基点値も基点オフセット値も「０」になる。またプラス誤差フラグは一回でも「１」に設定されると次の読取りで初期値設定されるまで「０」に戻らない。

次に、今までマイナスの誤差になったことがあるかどうかを示すマイナス誤差フラグが「０」かどうかチェックする（Ｓ３６）。マイナス誤差フラグも一回でも誤差合計値がマイナスになると「１」になっており、初期値のままの「０」は一回も誤差合計値がマイナスになっていないことになる。

推定値と実測値が一致すれば誤差合計値は「０」であり、プラス誤差とマイナス誤差の間にあるので、誤差がプラスからマイナスに変わる時に、真の値に近いと考えられる。基点オフセット値を最小単位で変化させていく際に、誤差の符号が変化した時点で、プラス側とマイナス側の最も誤差の小さい基点オフセット値が決まっていると考えられる。

マイナス誤差フラグが「０」の時、つまり今までマイナスの誤差になったことがなければ、基点オフセット値を最小単位の「１」を加算する（Ｓ３７）。

ステップＳ３６において、マイナスの誤差になったことが有れば、プラスＭＩＮ値とマイナスＭＩＮ値（絶対値）を比較し（Ｓ３８）、マイナスＭＩＮ値（絶対値）が小さければ基点オフセット値はマイナス基点値を設定し（Ｓ３９）、そうでなければ基点オフセット値はプラス基点値を設定する（Ｓ４０）。

ステップＳ３３において、誤差合計値が「０」以上か判定する際、誤差合計値がマイナスの場合は、誤差合計値（絶対値）がマイナスＭＩＮ値（絶対値）よりも誤差が小さいか判定する（Ｓ４１）。初回はマイナスＭＩＮ値にはＭＡＸ値が設定されているので必ず誤差合計値がマイナスＭＩＮ値よりも小さいと判定される。

ステップＳ４１において、小さいと判定されるとマイナスＭＩＮ値に今回の誤差合計値を設定し、マイナス基点値にも今回の基点オフセット値を設定し、マイナス誤差フラグには「１」を設定する（Ｓ４２）。

次に、今までプラスの誤差になったことがあるかどうかを、プラス誤差フラグが「０」かどうかチェックすることにより確認する（Ｓ４３）。ここで、プラス誤差フラグは一回でも誤差合計値がプラスになると「１」になっており、初期値のままの「０」は一回も誤差合計値がプラスになっていないことになる。

今までプラスの誤差になったことがなければ、基点オフセット値として最小単位で「１」を減算する（Ｓ４４）。

ステップＳ４３でプラスの誤差になったことがあれば、ステップＳ３８に進む。

以上が基点位置に加算する基点オフセット値を変更する処理となるが、ここではｘ方向（横方向）の基点オフセット値を説明したが、ｙ方向（縦方向）の基点オフセット値も同様に求めることができる。ｘ方向、ｙ方向は別々に行い、ｘ方向を決定した後で、ｙ方向を決定することも可能であるし、同時に行うことも可能である。

また、ここで説明した方法以外にも誤差の「０」の箇所を求める方法として、基点位置の変化させる変化量とそれに伴い発生した誤差合計値の変化量を基に、誤差の「０」の基点位置を算出して求めることも考えられる。

距離値に加算する距離オフセット値を変更する処理フローを図１５に示す。

まず、調整部２２３ｂでオフセット値を変更する際、初回かどうか判定し（Ｓ５０）、初回では初期設定としてプラス誤差の出現有無を表すプラス誤差フラグ、マイナス誤差の出現有無を表すマイナス誤差フラグを共に「０」にクリヤし、また、プラス誤差のＭＩＮ値を表すプラスＭＩＮ値とマイナス誤差のＭＩＮ値を表すマイナスＭＩＮ値を最大値に設定し、さらに、プラスＭＩＮ値が得られた距離オフセット値を表すプラス距離値とマイナスＭＩＮ値が得られた距離オフセット値を表すマイナス距離値と、設定中の距離オフセット値を表す距離オフセット値を「０」にクリヤする（Ｓ５１）。

次に各マーク位置、各色毎に実測値と推測値の差分（誤差）を求めて、それらの合計値（誤差合計値）を求める（Ｓ５２）。ただし、マーク１１４の座標位置での色ズレ量の誤差を計算する際には、画像の中心を原点に考えるため、推定ズレ算出部２２３ｄからの差分結果についてｘ方向の差分は、原点よりも左側のマーク１１４に関して求めた値の符号を逆転させる。また、ｙ方向の差分については、原点よりも上側のマーク１１４に関して求めた値は符号が逆転させて使用する。ここでは、Ｘ方向もＹ方向の両方の誤差を集計して、誤差の合計値を算出する。

次に、求めた誤差合計値が「０」以上かを判定し（Ｓ５３）、誤差合計値が「０」以上であるとき、誤差合計値がプラスＭＩＮ値よりも誤差が小さいか判定する（Ｓ５４）。

そして、ステップＳ５４において小さいと判定されるとプラスＭＩＮ値に今回の誤差合計値を設定し、プラス距離値にも今回の距離オフセット値を設定し、プラス誤差フラグには「１」を設定する（Ｓ５５）。

次に、今までマイナスの誤差になったことがあるかどうかを示すマイナス誤差フラグが「０」かどうかチェックする（Ｓ５６）。マイナスＭＩＮフラグが「０」の時、つまり今までマイナスの誤差になったことがなければ、距離オフセット値に最小単位の「１」を加算する（Ｓ５７）。

ステップＳ５７で、マイナスの誤差になったことが有れば、プラスＭＩＮ値とマイナスＭＩＮ値（絶対値）を比較し（Ｓ５８）、マイナスＭＩＮ値（絶対値）が小さければ距離オフセット値はマイナス距離値を設定し（Ｓ５９）、そうでなければ距離オフセット値はプラス距離値を設定する（Ｓ６０）。

ステップＳ５３で、誤差合計値が「０」以上か判定する際、誤差合計値がマイナスの場合は、誤差合計値（絶対値）がマイナスＭＩＮ値（絶対値）よりも誤差が小さいか判定する（Ｓ６１）。

ステップＳ６１で、小さいと判定されるとマイナスＭＩＮ値に今回の誤差合計値を設定し、マイナス距離値にも今回の距離オフセット値を設定し、マイナス誤差フラグには「１」を設定する（Ｓ６２）。

次に、今までプラスの誤差になったことがあるかどうかを、プラス誤差フラグが「０」かどうかによりチェックする（Ｓ６３）。

そして、今までプラスの誤差になったことがなければ、距離オフセット値から最小単位の「１」を減算する（Ｓ６４）。

ステップＳ６３でプラスの誤差になったことがあれば、ステップＳ５８に進む。

また、ここで説明した方法以外にも誤差の「０」の箇所を求める方法として、距離オフセット値の変化させる変化量とそれに伴い発生した誤差合計値の変化量を基に、誤差「０」の距離オフセット値を算出して求めることも考えられる。

図１４に示されたフローチャートにおいて、マーク位置の色ずれの推定値と実測値の差が閾値ＴＨ以内になるとステップＳ２３で現在の中心オフセット値と撮影距離オフセット値を記憶するが、その値を用いた色収差特性は色ズレ推定部２２３ａに既に生成されていると考えられる。それはメモリに記憶しておいてもいいし、記憶した基点オフセット値と距離オフセット値を用い、再度生成してもよい。また、例えば、処理時間短縮のため、以上の一連の距離及び基点位置を決める処理については、収差を推定するのはマーク位置のみの４点の位置だけにしておき、撮像距離及び収差特性の基点位置を決定した後で、全ての画像位置における収差を求めることも可能である。

以上のように、本実施形態によれば、このように収差特性を用いて全画像位置毎にＲ、Ｇ、Ｂの位置ずれを求めて、補正画像位置にあるべきＲ、Ｇ、Ｂの画素値を、読取り画像のＲ、Ｇ、Ｂから求めることができ、また、「１」画素未満の画素位置に対応する場合は周囲の情報も使用して線形補間を行って求めることも可能である。

以上に記載した第二の実施形態においては、カメラ１１１からの撮像距離と、基点となる基点位置と、を同時に変更して、補正係数を求めているが、このような態様に限定されず、例えば、撮像距離については固定されているものとして、基点位置だけを変更して補正係数を求めるようにしてもよい。この場合には、距離推定部２２５を設ける必要はなくなる。

以上に記載した第二の実施形態における画像処理装置２２０についても、ＡＳＩＣなどの集積回路によってハードウェアで実現してもよく、コンピュータに読み込まれるソフトウェアによって実現してもよい。

ソフトウェアによって実現する場合には、マーク座標検出部１２２や補正係数生成部２２３、補正部２２４、距離推定部２２５、で行う処理を所定のプログラムをＣＰＵ（制御部）で実行することにより実現可能であり、これらのマーク座標検出部１２２や補正係数生成部２２３、補正部２２４、距離推定部２２５で必要になるデータについては、ハードディスク等の外部記憶装置に記憶すればよい。

以上に記載した実施形態においては、原稿台１１３にマーク１１４を記しているが、このような態様に限定されず、例えば、原稿台１１３にテストチャートとなる原稿を載せて撮像を行い、補正係数を求めるようにしてもよい。

また、マーク１１４と原稿台１１３の配色については、原稿台１１３が黒でマーク１１４は白、若しくは、原稿台１１３が白でマーク１１４が黒と共に彩度の無い色で配色することが考えられる。テストチャートにマークを配置する際も、配色については、テストチャートの地色が黒でマークは白、若しくは、テストチャートの地色が白でマークが黒とすることが考えられる。

第一の実施形態である読取システム１００の概略図。 マーク座標検出部１２２の概略図。 座標検出部１２２ａ〜１２２ｃの概略図。 カメラ１１１の傾きとマーク１１４の間隔との関係を説明する概略図。 変倍率を算出する方法を示す概略図。 補正位置情報を生成する処理フロー。 マーク１１４の変形例を示す概略図。 第二の実施形態である読取システム２００の概略図。 距離推定部２２５の概略図。 カメラ１１１の傾きと収差との関係を示す概略図。 補正係数生成部２２３の概略図。 調整部２２３ｂの概略図。 中心位置・距離値補正部２２３ｅの処理フロー。 基点位置に加算する基点オフセット値を変更する処理フロー。 距離値に加算する距離オフセット値を変更する処理フロー。

符号の説明

１００、２００ 読取システム
１１０ 撮像装置
１１１ カメラ
１１３ 原稿台
１１４ マーク
１２０、２２０ 画像処理装置
１２２ マーク座標検出部
１２３ 補正係数生成部
１２４、２２４ 補正部
２２５ 距離推定部
２２６ レンズデータ記憶部

Claims (10)

1. 原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置であって、
   前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、
   前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、
   前記マークの撮像距離を算出する距離推定部と、
   前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、
   前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、
   前記補正係数生成部は、
   前記撮像距離から焦点距離を算出する処理と、
   前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークにおける色ズレ量を推定色ズレ量として算出する処理と、
   前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、
   前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記撮像距離を変更する処理と、
   前記変更された前記撮像距離における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、
   を特徴とする画像処理装置。
2. 原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置であって、
   前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶部と、
   前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出部と、
   前記マーク検出部で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成部と、
   前記補正係数により撮像機器で撮像される画像データを補正する補正部と、を備え、
   前記補正係数生成部は、
   前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークの基準位置における色ズレ量を推定色ズレ量として算出する処理と、
   前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、
   前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記基準位置を変更する処理と、
   前記変更された前記基準位置における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うこと、
   を特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記マークは、前記画像データに少なくとも三つ以上含まれていること、を特徴とする画像処理装置。
4. 請求項１又は２に記載の画像処理装置であって、
   前記マークは、少なくとも矩形状の頂点位置を含むようにされており、
   前記補正係数生成部は、前記頂点位置において、複数の基準色毎のマークの画像が、重なり合うように基準色毎の補正係数を生成するものであること、
   を特徴とする画像処理装置。
5. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記マーク検出部は、検出した前記マークの画像のうち、予め定められた位置にある画素の座標を検出するものであり、
   前記補正係数生成部は、一の基準色毎の前記座標が、他の基準色の前記座標と重なり合う位置に配置されるように、前記基準色毎の補正係数を生成するものであること、
   を特徴とする画像処理装置。
6. コンピュータを、
   原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置として機能させるためのプログラムであって、
   前記コンピュータを、
   前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶手段として機能させ、
   演算手段に、
   前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出処理と、
   前記マークの撮像距離を算出する距離推定処理と、
   前記マーク検出処理で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成処理と、
   前記補正係数により撮像機器で撮像される画像データを補正する補正処理と、
   を行わせ、
   前記補正係数生成処理は、
   前記撮像距離から焦点距離を算出する処理と、
   前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークにおける色ズレ量を推定色ズレ量として算出する処理と、
   前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、
   前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記撮像距離を変更する処理と、
   前記変更された前記撮像距離における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うものであること、
   を特徴とするプログラム。
7. コンピュータを、
   原稿台に置かれた撮像対象物を撮像する撮像機器から得られる画像データを処理する画像処理装置として機能させるためのプログラムであって、
   前記コンピュータを、
   前記撮像機器の各々の基準色における結像倍率を焦点距離に対応させた色収差情報を記憶するレンズデータ記憶手段として機能させ、
   演算手段に、
   前記画像データに含まれているマークの画像を、複数の基準色毎に検出するマーク検出処理と、
   前記マーク検出処理で検出された複数の基準色毎のマークの画像が、重なり合うように基準色毎の画素位置を変更する補正係数を生成する補正係数生成処理と、
   前記補正係数により撮像機器で撮像される画像データを補正する補正処理と、
   を行わせ、
   前記補正係数生成処理は、
   前記色収差情報から各々の基準色毎の結像倍率を算出し、当該基準色毎の結像倍率から前記マークの基準位置における色ズレ量を推定色ズレ量として算出する処理と、
   前記撮像機器から得られる画像データにおける基準色毎の実測色ズレ量を算出する処理と、
   前記推定色ズレ量と、前記実測色ズレ量と、の差分が予め定められた閾値以下になるように前記基準位置を変更する処理と、
   前記変更された前記基準位置における変更色ズレ量を前記色収差情報から算出し、当該変更色ズレ量を補正する補正係数を前記基準色毎に生成する処理と、を行うものであること、
   を特徴とするプログラム。
8. 請求項６又は７に記載のプログラムであって、
   前記マークは、前記画像データに少なくとも三つ以上含まれていること、を特徴とするプログラム。
9. 請求項６又は７に記載のプログラムであって、
   前記マークは、少なくとも矩形状の頂点位置を含むようにされており、
   前記補正係数生成処理は、前記頂点位置において、複数の基準色毎のマークの画像が、重なり合うように基準色毎の補正係数を生成するものであること、
   を特徴とするプログラム。
10. 請求項６乃至９の何れか一項に記載のプログラムであって、
    前記マーク検出処理は、検出した前記マークの画像のうち、予め定められた位置にある画素の座標を検出するものであり、
    前記補正係数生成処理は、一の基準色毎の前記座標が、他の基準色の前記座標と重なり合う位置に配置されるように、前記基準色毎の補正係数を生成するものであること、
    を特徴とするプログラム。

Images