JP4732153B2 - 画素補間方法及び装置、画像読取装置 - Google Patents

Description

本発明は画素読取素子を用いた画像の読み取り時に用いられる画素補間方法及び装置と、その機構を用いた画像読取装置に関し、特に画像中で欠損した補間対象画素の画素レベル値を付与する技術に係るものである。

帳票の画像を読み取りＯＣＲ等の画像処理を行うための画像読取装置が知られている。例えば本件出願人らによる特許文献１に開示される帳票読取装置は帳票のイメージデータを読み取り、該イメージデータを２値化した２値化データを格納するＯＣＲ用メモリと、読み取ったイメージデータ全体を格納する全体用画像メモリとを備え、ＯＣＲ用メモリに格納した２値化データから文字認識を行って出力すると共に、前記全体用画像メモリに格納したイメージデータを出力する構成である。

特開２００４−２８７９２７号公報

このような読取装置に用いられる密着センサ（コンタクトイメージセンサ、ＣＩＳ）は、ウエハーから切り取られた複数のセンサチップを並べて配置する方式が主流である。センサチップには多数の画素読取素子が形成されているが、さらに読取幅に相当する画像読取素子を配列するために、図１２に示すようにセンサチップを並列させている。

センサチップ間は本来間隙がないことが望ましいが、実際には物理的に困難であるため、できるかぎり密着させて１画素以下に配置することが行われている。もっともこの方法ではセンサチップ間に撮像しないギャップが生じるのでギャップ部分が潰れてしまう問題がある。ＯＣＲ等の文字認識を行うとこのギャップの影響により認識率低下等の重大な影響を及ぼしてしまう。

そこで図１２のようにセンサチップ１（１２０）とセンサチップ２（１２１）との間のギャップ（１２２）を丁度１画素幅となるようにセンサチップ（１２０）（１２１）を配置し、そのギャップ（１２２）を周辺の画素情報を元に補間する方法が取られている。
補間方法としては特許文献２ないし４に開示されるような技術が知られている。

特開２０００−１９６８３５号公報 特開２００４−２７４５７３号公報 特開２００４−３５６９３３号公報

特許文献２は、センサチップ間のギャップによる原稿読取時の画像情報の欠落を防止するものであり、複数のセンサチップのセンサチップ間のギャップ情報を測定し、画素読取素子から出力された画像信号と該ギャップ情報に基づいてセンサチップ間の画像信号を補間する技術を開示する。
本技術では処理負荷を抑制して補間することを実現する反面、補間には線形補間を用いており画像の再現性が十分とは言えない。

特許文献３は、画像読み取りセンサ間の読み取り不可能な画素（注目画素）を補間するための補間画素データを、フィルタによって算出する技術を開示している。フィルタとして、フィルタサイズの異なる複数のフィルタを設け、画素補間手段が注目画素の近傍の画素の平坦度を検出し、その検出結果に応じて複数のフィルタの切り換えを行う。
本技術によると注目画素の近傍の画素の平坦度を検出処理するのに加えてフィルタ手段を切り替える処理が必要となり、処理が煩雑で処理負荷の高いものとなる可能性がある。しかもいくつかのフィルタにより補間をするため必ずしも最適な補間画素データが得られるとは限らない。

特許文献４は、欠落画素両側それぞれの複数の画素データを用いて補間する技術を開示し、これによって欠落画素の対応位置に濃度のピークがあるような場合にも欠落画素の画素データをより適切に補間することができるとしている。
確かにこの方法によると従来では十分に再現ができなかったようなパターンでも、ある程度は的確な補間が可能となる場合があるが、該開示が想定する場合以外の多くのパターンについては従来同様であり再現性が高いとは言えない。

このように従来開示されていた画素の補間方法は、特に帳票のＯＣＲの際などに不可欠な文字の輪郭/内部等の再現性が十分でなく、認識率の低下が避けられない。あるいは、高度な推定手法を用いて再現性の向上を目的とすると非常に多くの計算機資源を消費してしまい、高速かつ簡便な処理を実現することができない。

本発明は以上のような従来の技術が有する問題点に鑑みて創出されたものであり、並列された複数の画素読取素子を走査して読み取った画像中で欠損した補間対象画素に的確な画素レベル値を付与すると共に、簡便かつ高速な処理の実現を図るものである。

上記課題の解決を図るため、本発明は次のような手段を提供する。
すなわち請求項１に記載の発明は、複数の画素読取素子を少なくとも１列並列して読取対象を走査することで画像を読み取る際に、該画像中で欠損した補間対象画素の画素レベル値を付与する画素補間方法である。
そして該方法ではまず、画素レベル値群取得手段が、該補間対象画素から第１の向きに連接する所定数の画素に付与された画素レベル値群と、該第１の向きとは反対向きである第２の向きに連接する所定数の画素に付与された画素レベル値群とを取得する画素レベル値群取得ステップを有する。

画素レベル値群取得ステップに続き、画素レベル予測演算手段が、該各画素レベル値群を次の数１０から数１２で表される画素レベル予測式を用いて第１の向き及び第２の向きそれぞれの画素レベル予測値ＦＤ＿Ｌ及びＦＤ＿Ｒを演算する画素レベル予測演算ステップと、重み付け値演算手段が、該各画素レベル値群を第１の方向及び第２の方向の偏差の自乗の総和に対する反対側の偏差の自乗の比を取ることによって第１の方向及び第２の方向に加重した重み付けを行う重み付け算出式を用いて第１の向き及び第２の向きそれぞれの重み付け値を演算する重み付け値演算ステップとを同時又はいずれかの順序で処理する。
（数１０）
画素のレベル値が、Ｐ１＞Ｐ２ 且つ Ｐ４＜Ｐ５の関係のとき
第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２−（｜Ｐ１−Ｐ２｜）
第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４−（｜Ｐ４−Ｐ５｜）
（数１１）
画素のレベル値が、Ｐ１＜Ｐ２ 且つ Ｐ４＞Ｐ５の関係のとき
第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２＋（｜Ｐ１−Ｐ２｜）
第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４＋（｜Ｐ４−Ｐ５｜）
（数１２）
画素のレベル値が、前記数１又は数２の関係以外のとき
第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２
第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４

さらに、補間対象画素レベル値演算手段が、該第１の向きの画素レベル予測値に該第１の向きの重み付け値を乗じると共に、該第２の向きの画素レベル予測値に該第２の向きの重み付け値を乗じる演算を含む補間対象画素レベル算出式を用いて該補間対象画素の画素レベル値を算出する補間対象画素レベル値演算ステップを有することを特徴とする。

本発明の請求項２に係る発明は、上記の画素レベル予測演算ステップにおいて、上記各画素レベル値群からそれぞれ少なくとも２個の画素レベル値を抽出し、該画素レベル値が第１の向き及び第２の向きのいずれにおいても前記補間対象画素に向かって上昇しているとき、又は該補間対象画素に向かって下落しているときには、各向きにおける上昇率又は下落率から該補間対象画素に相当する画素レベル値をそれぞれ算出して画素レベル予測値とする一方、それ以外のときには、該補間対象画素に各向きにおいて連接する画素の画素レベル値をそれぞれの画素レベル予測値とすることを特徴とするものである。

請求項３に記載の発明は、上記の重み付け値演算ステップにおいて、上記の第１の向きにおける画素レベル値群を平均した第１平均値と、第２の向きにおける画素レベル値群を平均した第２平均値と、補間対象画素から双方の向きに連接する所定数の画素に付与された画素レベル値を平均した中央平均値とを算出する。
そして、該第１平均値と中央平均値との第１偏差、及び該第２平均値と中央平均値との第２偏差を比較して偏差が少ない方により大きな重み付け値を付与することを特徴とする。

請求項４に記載の発明は、上記の画素補間方法において、補間対象画素レベル値演算ステップに続き、画素レベル値制限手段が、該補間対象画素から第１の向き及び第２の向きそれぞれ所定の周辺画素数の画素に付与された周辺画素レベル値群から、その最大値又は最小値の少なくともいずれかに基づく画素レベル値制限範囲を決定し、上記で求めた補間対象画素の画素レベル値を該範囲内となるように補正する画素レベル値制限ステップを有することを特徴とするものである。

請求項５に記載の発明は、上記の画素補間方法において画素レベル値として、画素の色相値、彩度値、明度値の少なくともいずれかを用いることのできる構成を提供するものである。

本発明は上記画素補間方法を実施する画素補間装置として提供することもできる。すなわち、請求項６に記載の発明は、複数の画素読取素子を少なくとも１列並列して読取対象を走査することで画像を読み取る際に、該画像中で欠損した補間対象画素の画素レベル値を付与する画素補間装置を提供する。
該装置には、該補間対象画素から第１の向きに連接する所定数の画素に付与された画素レベル値群と、該第１の向きとは反対向きである第２の向きに連接する所定数の画素に付与された画素レベル値群とを取得する画素レベル値群取得手段と、該各画素レベル値群を次の数１３から数１５で表される画素レベル予測式を用いて第１の向き及び第２の向きそれぞれの画素レベル予測値を演算する画素レベル予測演算手段とを備える。
（数１３）
画素のレベル値が、Ｐ１＞Ｐ２ 且つ Ｐ４＜Ｐ５の関係のとき
第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２−（｜Ｐ１−Ｐ２｜）
第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４−（｜Ｐ４−Ｐ５｜）
（数１４）
画素のレベル値が、Ｐ１＜Ｐ２ 且つ Ｐ４＞Ｐ５の関係のとき
第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２＋（｜Ｐ１−Ｐ２｜）
第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４＋（｜Ｐ４−Ｐ５｜）
（数１５）
画素のレベル値が、前記数１又は数２の関係以外のとき
第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２
第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４
さらに、該各画素レベル値群を第１の方向及び第２の方向の偏差の自乗の総和に対する反対側の偏差の自乗の比を取ることによって第１の方向及び第２の方向に加重した重み付けを行う重み付け算出式に入力して第１の向き及び第２の向きそれぞれの重み付け値を演算する重み付け値演算手段と、該第１の向きの画素レベル予測値ＦＤ＿Ｌに該第１の向きの重み付け値を乗じると共に、該第２の向きの画素レベル予測値ＦＤ＿Ｒに該第２の向きの重み付け値を乗じる演算を含む補間対象画素レベル算出式に基づいて該補間対象画素の画素レベル値を算出する補間対象画素レベル値演算手段とを備えることを特徴とする。

請求項７に記載の上記画素補間装置は、補間対象画素から第１の向き及び第２の向きそれぞれ所定の周辺画素数の画素に付与された周辺画素レベル値群から、その最大値又は最小値の少なくともいずれかに基づく画素レベル値制限範囲を決定し、上記補間対象画素レベル値演算手段が算出した補間対象画素の画素レベル値を該範囲内となるように補正する画素レベル値制限手段を備える構成を提供する。

本発明はさらに、複数の画素読取素子を少なくとも１列並列して読取対象を走査することで画像を読み取ると共に、該画像中で欠損した補間対象画素の画素レベル値を付与する画素補間機構を備えた画像読取装置として提供することもできる。
該装置には、該画素読取素子が読み出した画素レベル値を走査に伴って入力処理し、画像として蓄積する画像入力処理部と、上記画素補間装置と同態様の手段を備えた画素補間機構に加え、該画素補間機構により補間した補間対象画素を含む画像を出力する画像出力部とを備えたことを特徴とする。

請求項９に記載の画像読取装置は画素補間機構に、上記補間対象画素から第１の向き及び第２の向きそれぞれ所定の周辺画素数の画素に付与された周辺画素レベル値群から、その最大値又は最小値の少なくともいずれかに基づく画素レベル値制限範囲を決定し、補間対象画素レベル値演算手段が算出した補間対象画素の画素レベル値を該範囲内となるように補正する画素レベル値制限手段を備えた構成を提供する。

本発明の請求項１ないし５に記載の画素補間方法によれば、欠損した補間対象画素に連接する周辺の画素の画素レベル値から簡便な方法によって画素レベル値を予測すると共に、向きに応じた画素レベル値の予測と、その予測値に対する重み付けを行うことで従来に増して的確な画素レベル値の予測を実現するものである。

請求項６及び７に記載の画素補間装置によっても上記と同様に高速かつ簡便な処理を可能とし、的確な画素レベル値の予測を実現するので、ＯＣＲ等の画像処理装置に入力するのに好適な画像を出力する装置を提供することができる。

本発明の請求項８及び９に記載の画像読取装置は、画素補間機構を備えることにより再現性の高い画像を出力できる画像読取装置に寄与する。

以下、本発明の実施の形態を添付図面を参照して説明する。なお本発明は以下の実施例に限られず適宜設計して実施することができる。
図１は本発明における画素補間方法の処理流れ図である。また、図２は本発明に係る画像読取装置の構成図である。本実施例では画像を画素毎に読み取るために１列に複数配列された画素読取素子（以下、読取部と呼ぶ。）を原稿紙面上で走査し、光電変換により電気信号として取得し、入力する。

このとき取得した画素列には画素レベル値として色情報が含まれており、色合いを示す色相値や色の度合いを示す彩度値、明るさを示す明度値などの情報として取得してもよい。このうち、本実施例では色相値について赤（Ｒ）、緑（Ｇ）、青（Ｂ）をそれぞれ０〜２５５の２５６段階で取得する。従って、画素レベル値としては各画素についてＲＧＢ毎に２５６段階の値が付与されている。
このようにして得られたカラー画像（１）を入力する。

該画像（１）には図１２に示すようにセンサチップ間のギャップ（９２）に起因する欠落画素が含まれており、この位置は読取部の構造情報から予め分かっている。そこで、以下に示す処理によって欠落画素に補間すべき画素レベル値を付与する。

なお、本実施例ではセンサチップ間のギャップで欠落した画素を補間するため読取部を走査すると走査方向に連続して画素が欠落しているが、本発明の実施にはこれに限らず画素読取素子があっても正常に読み取れなかった欠損画素や、素子の故障により読み取れない欠損画素を補間するために用いてもよい。

最初に、本発明の画像読取装置のうち、核心部分である画素補間機構について説述する。画素補間機構は図２の構成から読取部や、読取部からの信号をアナログ・デジタル変換など一次的に処理する周知の入力処理部、後述する補間対象画素を含む画像を出力するための画像出力部を除く機構である。

入力されたカラー画像（１）はまず画素レベル値群取得手段である画素レベル値取得部（２０）において処理される。このとき、図１のようにグレーに変換してから画素レベル値を取得するステップと、カラーのまま画素レベル値を取得するステップにわけて処理する。前者の処理部としてグレー変換回路（２０１）及びグレー遅延器（２０２）が、後者の処理部としてカラー遅延器（２０３）が画素レベル値取得部（２０）に設けられている。

先に図１のグレー変換ステップ（Ｓ１）〜重み付け算出ステップ（Ｓ５）の処理を順に説述する。
グレー変換回路（２０１）は入力されたＲＧＢの画素レベル値から数１６の算出式に従って画素グレーレベル値を算出し、グレー画像に変換する。（Ｓ１）
（数１６）
グレー＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ

そして、該グレー画像をグレー遅延器（２０２）において５段階に遅延処理する。すなわち、図３に示すように欠落画素からある第１の向き（ここでは左向き）に向かって連接する２つの画素を抽出し、さらに第１の向きと反対向きの第２の向き（右向き）に連接する２つの画素を抽出し、この４つの画素に欠落画素を含めた５つの画素がそれぞれ異なる遅延を与えられて計算処理出来るようにしている。

ここで左側の２つ目の画素の画素グレーレベル値をＧｒ１、左側で隣接する画素の値をＧｒ２、右側に隣接する画素の値をＧｒ４、右側に２つ目の画素の値をＧｒ５として取得する。（Ｓ２）
左右の画素レベル値から欠落画素の画素レベル値を予測する際に、本発明では重み付け値を用いて的確な予測を図る。重み付け値は重み付け値演算手段である重み付け値演算部（２２）によって算出される。

重み付け値演算部（２２）には平均値算出回路（２２１）と、差分絶対値算出回路（２２２）、重み付け算出演算器（２２３）が設けられている。
まず複数の画素グレーレベル値の平均値を算出する平均値算出回路（２２１）によって数１７〜数１９の各算出処理を行う。

（数１７）
左２画素のグレー濃度の平均値
Ａｖｅｒａｇｅ＿ＬＥＦＴ＝（Ｇｒ１＋Ｇｒ２）／２
（数１８）
右２画素のグレー濃度の平均値
Ａｖｅｒａｇｅ＿ＲＩＧＨＴ＝（Ｇｒ４＋Ｇｒ５）／２
（数１９）
欠落画素を除いた周辺２画素のグレー濃度の平均値
Ａｖｅｒａｇｅ＿ＣＥＮＴＥＲ＝（Ｇｒ２＋Ｇｒ４）／２

すなわち、数１７では左側の２画素（３０）の画素グレーレベル値の平均値を、数１８では右側の２画素（３１）の画素グレーレベル値の平均値を、数１９では欠落画素を中心に左右１画素（３２）の画素グレーレベル値の平均値をそれぞれ求め、Ａｖｅｒａｇｅ＿ＬＥＦＴ、Ａｖｅｒａｇｅ＿ＲＩＧＨＴ、Ａｖｅｒａｇｅ＿ＣＥＮＴＥＲとして出力する。
本処理が図１における平均値算出ステップ（Ｓ３）である。

なお、上記では左右の平均値については連接する２つの画素の画素レベル値を平均したがさらに多くの画素の平均値、例えば３画素、４画素程度の平均値を用いても良い。中央の平均値についても欠落画素に連接する１画素に限らず、２〜３画素程度の平均値としてもよい。
このように平均値を用いることで、欠落画素に連接した画素が偶然に特異な値をとっていた場合でも、不適切なグレー濃度により処理することが防止できる。

次に、差分絶対値算出回路（２２２）において、左右画素の平均値と中央画素の平均値の差の絶対値を算出する。（ステップＳ４）
数２０及び数２１はこの算出式であり、左右の画素列間でのグレー濃度の変化がどの程度大きいかを測る指標として用いている。

（数２０）
左側の偏差（第１偏差）
Ｄｉｆｆｅｒｅｎｃｅ＿Ｌ＝｜Ａｖｅｒａｇｅ＿ＣＥＮＴＥＲ−Ａｖｅｒａｇｅ＿Ｌ｜
（数２１）
右側の偏差（第２偏差）
Ｄｉｆｆｅｒｅｎｃｅ＿Ｒ＝｜Ａｖｅｒａｇｅ＿ＣＥＮＴＥＲ−Ａｖｅｒａｇｅ＿Ｒ｜

以上の２つの偏差から重み付け算出演算器（２２３）は偏差が少ない方により大きな重み付け値を付与するように演算を行う。ここで演算方法は任意に設定することができるが、本実施例では、次の数２２及び数２３に従う。

（数２２）
各偏差の自乗
Ｄｉｆｆ＿Ｌ２＝Ｄｉｆｆｅｒｅｎｃｅ＿Ｌ＊Ｄｉｆｆｅｒｅｎｃｅ＿Ｌ
Ｄｉｆｆ＿Ｒ２＝Ｄｉｆｆｅｒｅｎｃｅ＿Ｒ＊Ｄｉｆｆｅｒｅｎｃｅ＿Ｒ
（数２３）
重み付け値
Ｗｅｉｇｈｔ＿Ｌ＝Ｄｉｆｆ＿Ｒ２／（Ｄｉｆｆ＿Ｌ２＋Ｄｉｆｆ＿Ｒ２）
Ｗｅｉｇｈｔ＿Ｒ＝１−Ｗｅｉｇｈｔ＿Ｌ

数２２から明らかなように各偏差の自乗の総和に対する反対側の偏差の自乗の比を取ることにより、反対側の偏差が大きい（自側の偏差が相対的に小さい）ほど、重み付けが大きくなり、しかも図４のように２次の加重曲線をとることから、左右に加重した重み付けがなされる。（ステップＳ５）

以上説述した通り、重み付け値演算ステップ（Ｓ３〜Ｓ５）では左右の画素列に付与された画素レベル値を用い、次に説明する欠落画素の画素レベル予測値に対応する重み付け値を算出することができる。
なお、本発明は画素レベル予測値に重み付けを行って的確な画素の補間を行うことを提案するものであって、重み付けの方法は上記に拘わらず任意に定めることができる。特に上記数式は好適な算出式を提案したものであるが、算出回路、演算器の処理性能に合わせてより簡便な算出式でも、より複雑な統計計算を行う構成でもよい。

一方、画素レベル値取得部（２０）のカラー遅延器（２０３）では、入力されたカラー画像（１）から上記グレー遅延器（２０２）と同様の５段階遅延処理によって欠落画素の左側の２つの画素と右側の２つの画素を抽出し、それぞれの画素レベル値を取得する。（ステップＳ６）
このとき、グレー変換を行っていないため、画素レベル値としてはＲＧＢそれぞれの色相値が得られる。本来の処理としてはＲＧＢそれぞれについて同一の処理を行うが、以下では説明を簡潔にするために単に画素レベル値、画素レベル予測値として総称し、各色毎の処理については言及しない。

カラー遅延器（２０３）で抽出された画素レベル値は左から順にＰ１、Ｐ２、（欠落画素）、Ｐ４、Ｐ５とする。そしてこれらの値を画素レベル予測演算手段である画素レベル予測演算器（２１）に入力する。

画素レベル予測演算器（２１）では、まずＰ１とＰ２、Ｐ４とＰ５の大小関係を比較する。そして、補間対象となる補間画素が周辺の画素の中でどのような関係を有しているのか予測する。すなわち、本発明が想定するのは次の３つのパターンであり、そのうち２つを図５及び図６に示している。

図５は左側から画素レベル値が順に下がり、右側では順に上がっている。このようなパターンでは補間画素は下向きのピークとなっていると予測する。
一方、図６は左側から画素レベル値が順に上がり、右側では順に下がっている。このようなパターンの場合には補間画素が上向きのピークとなっていると予測される。

さらに、どちらのパターンにも該当しない場合がある。各パターンに応じて、左側、右側のそれぞれの画素レベル値に基づく補間画素に付与されるべき画素レベル予測値を算出する。
まず図５のパターンについては数２４の通りである。

（数２４）
Ｐ１＞Ｐ２ 且つ Ｐ４＜Ｐ５のとき
ＦＤ＿Ｌ＝Ｐ２−（｜Ｐ１−Ｐ２｜）
ＦＤ＿Ｒ＝Ｐ４−（｜Ｐ４−Ｐ５｜）

この式は、Ｐ１（５０）からＰ２（５１）への下落率に基づいて比例計算を行い、左側の予測値FD_L（５２）を求める一方、Ｐ５（５３）からＰ４（５１）についても下落率に基づいて比例計算を行い、右側の予測値FD_R（５５）を求めている。従って、上の例のように隣接して距離が同一な画素間でなく、連接する画素から異なる距離の画素を抽出する構成でも、比例計算により予測値を算出できる。

図６のパターンについても同様に、数２５に基づいて算出される。
（数２５）
Ｐ１＜Ｐ２ 且つ Ｐ４＞Ｐ５のとき
ＦＤ＿Ｌ＝Ｐ２＋（｜Ｐ１−Ｐ２｜）
ＦＤ＿Ｒ＝Ｐ４＋（｜Ｐ４−Ｐ５｜）

さらに、図５、図６いずれのパターンにも該当しない場合には、左右それぞれにおいて欠落画素に隣接する画素の画素レベル値Ｐ２、Ｐ４を画素レベル予測値とする。すなわち数２６の通りである。
（数２６）
上記以外のとき
ＦＤ＿Ｌ＝Ｐ２
ＦＤ＿Ｒ＝Ｐ４

本発明の画素レベル予測演算器（２１）は以上の画素レベル予測式に従って、欠落画素からそれぞれの向きの画素レベル値に基づく画素レベル予測値を出力する。（ステップＳ７）
前述した重み付け値演算ステップを中心とするステップ（Ｓ１〜Ｓ５）と、画素レベル予測演算ステップを中心とするステップ（Ｓ６〜Ｓ７）は同時に平行して行うことができる。演算処理を１個の中央演算プロセッサ（ＣＰＵ）などで行う場合などにはいずれかの順序で順に処理してもよい。

そして、画素レベル予測演算ステップで得られた画素レベル予測値に対して、重み付け値演算ステップで得られた重み付け値を用いて重み付け平均処理（Ｓ８）を行う。
すなわち補間対象画素レベル値演算手段である重み付け平均演算器（２３）において、各側の画素レベル予測値と重み付け値を乗じ、その結果を合計する数２７の演算を行う。

（数２７）
補間画素に付与されるべき画素レベル値
Ａ３＝（ＦＤ＿Ｌ＊Ｗｅｉｇｈｔ＿Ｌ）＋（ＦＤ＿Ｒ＊Ｗｅｉｇｈｔ＿Ｒ）

このような重み付け処理は次に説明するように顕著な効果を奏する。すなわち図７に示すように、Ｐ１からＰ２への下落率と、Ｐ４からＰ５への下落率が異なり、徐々に緩やかになるような場合に、従来の単純に平均をとる線形補間方法では望ましい画素レベル値よりも大きな値となってしまい、適切な補間が実現できない。同様に図８では線形補間によると適正値よりも小さな画素レベル値となってしまう。

適正な画素レベル値が得られないことは、カラー画像では不自然な色合いの画素が配置されることになり、好適な画素補間とは言えない。グレー画像においても同様であって、特にグレー画像から２値化する際などには僅かな濃度の違いによって結果が異なるため、最適な画素補間を行う必要性は極めて高い。

以上の重み付け平均処理（Ｓ８）により本発明の処理を完了してもよいが、さらに好適な実施例として次に示す画素レベル値制限ステップを加えて実施することができる。
すなわち、画素レベル値制限手段である画素レベル値制限部（２４）において得られた画素レベル値の出力範囲を制限する。画素レベル値制限部（２４）には欠落画素から左右に向けてそれぞれ８画素の画素レベル値を取得し、その最大値と最小値を検出する濃度検出回路（２４１）と、該最大値、最小値の範囲内となるように画素レベル値を制限する出力濃度制限回路（２４２）が設けられる。

本処理を説明する図を図９に示す。
左右８画素の画素レベル値（濃度）が図のように推移するとき、左から３画素目（９０）の点が最大濃度をとり、右から６画素目の点（９１）が最小濃度をとっている。
そして欠落画素に付与される画素レベル値が点（９２）のように最大濃度と最小濃度の間に入っている場合にはそのままの画素レベル値を出力する。
一方、点（９３）のように最大濃度を上回っている場合には、これを最大濃度値と同一の値として画素レベル値を出力する。すなわち点（９３）のように出力する。

逆に最小濃度を下回る値となっている場合には、最小濃度値を画素レベル値として出力する。
本処理の目的は、上記の演算上では最大濃度を上回るような画素レベル値となった場合でも、それでは極端に明るく不適切なことがあるため、周辺の画素の画素レベル値と比較してその範囲内に制限するものである。
この応用形態として、例えば周辺の最大濃度に基づいてさらに一定の増量を認めるなど所定の閾値を設けて上限（下限も同じ）を設定してもよい。

出力濃度制限回路（２４２）からは制限範囲に収められた補間画素の画素レベル値が出力される。本発明に係る画素補間機構の作用はこれによって完了する。
さらに、本実施例の画像読取装置では最初の欠落画素位置に得られた画素レベル値を挿入するために、補間位置演算器（２５）と、元画素位置位相補正部（２６）、補間画素出力部（２７）からなる画像出力部を設けている。

すなわち、補間位置演算器（２５）は読取部（ＣＩＳ）の各画素が読み取った信号をシステムカウンタでカウントすると共に、読取部の例えば左端１画素目が読み取ったことを検知して、その時から画素カウンタによるカウントを開始する。図１０に示すように、システムカウンタでは順次画素がカウントされるが、画素カウンタでは読取部のセンサチップごとにカウントが行われる。

例えば１つのセンサチップに４６８画素配置されているとすれば、４６９画素目が本発明で補間すべき欠落画素であることがわかる。そのため補間位置演算器（２５）からは補間画素出力部（２７）に向けて補間画素位置情報であることを示す信号が出力される。（ステップＳ１１）

一方、元画素位置位相補正部（２６）はカラー画像（１）を入力して、本発明に係る補間画素の演算処理を行うのに要する時間相当分だけ信号を遅延させる。そのために図１１に示すように遅延線を用いて欠落画素の画素レベル値の出力と同期をとる処理が行われる。（ステップＳ１２）

最後に補間画素出力部（２７）では、まず同期された元画像の画素を入力しながら、ステップＳ１１による補間画素位置情報に従い、補間位置の信号（フラグ）時には欠落画素の画素レベル値を挿入する（ステップＳ１３）。
この繰り返しにより全ての欠落画素は順に補間され、最終的にカラー画像（２）として出力させることができる。

本発明は、以上説述した通り画像読取装置として提供するだけでなく、画素補間機構を装置単体として提供することもできる。また、画像読取装置の画像入力処理部及び画像出力部の構成は公知の画像読取装置において既存の構成と組み合わせて適宜設計することができる。

本画像読取装置による読取結果と、従来の画像読取装置による読取結果の比較を図１３に示す。
ギャップのある状態で画像を読み取ると、上の文字（１３０）のように該ギャップ部分に相当する空白が生じてしまう。これを従来の重み付けを行わない補間方法によると左の文字（１３１）のようにノイズ状に補間され、ＯＣＲ等の後段の処理において障害となる問題があった。
本発明による重み付けを用いた方法では、図７、図８で示したような効果を有するため、より好適な右の文字（１３２）のような読取結果を得ることができた。

本発明の方法は、以上説述した通りの簡便な手法ながら良好な画素補間を実現できるため、帳票を読み取る装置など高速かつ正確に画像を読み取る機器に実装すると有意義である。スキャナなどの画像読取装置として提供するだけでなく、読み取った画像を蓄積したコンピュータに画素補間方法を実装して蓄積された画像の画素を補間する技術として用いることもできる。

本発明に係る画素補間方法（画像読取方法を含む）の処理流れ図である。 本発明に係る画像読取装置の構成図である。 平均値算出ステップの処理を説明する説明図である。 本発明における重み付け値のグラフ曲線である。 本発明による画素レベル予測値の算出方法を説明する説明図である。 本発明による画素レベル予測値の算出方法を説明する説明図である。 本発明における重み付けの効果を説明する説明図である。 本発明における重み付けの効果を説明する説明図である。 出力濃度制限ステップの処理の説明図である。 補間位置演算器による処理の説明図である。 元画素位置位相補正部の構成図である。 読取部の構成を示す説明図である。 本発明の効果を示す読取結果の比較図である。

符号の説明

１ 入力カラー画像
２ 出力カラー画像
Ｓ１ グレー変換ステップ
Ｓ２ グレー遅延ステップ
Ｓ３ 平均値算出ステップ
Ｓ４ 差分絶対値算出ステップ
Ｓ５ 重み付け算出ステップ
Ｓ６ カラー遅延ステップ
Ｓ７ 画素レベル予測演算ステップ
Ｓ８ 重み付け平均ステップ
Ｓ９ 最大最小濃度検出ステップ
Ｓ１０ 出力濃度制限ステップ
Ｓ１１ 補間位置演算ステップ
Ｓ１２ 元画素位置位相補正ステップ
Ｓ１３ 補間画素出力ステップ

Claims (9)

1. 複数の画素読取素子を少なくとも１列並列して読取対象を走査することによって画像を読み取る際に、該画像中から連続する画素のレベル値Ｐ１、Ｐ２、Ｐ４、Ｐ５を読み取り、該画像中で欠損した補間対象画素の画素レベル値Ｐ３を付与する画素補間方法であって、
   画素レベル値群取得手段が、該補間対象画素から第１の向きに連接する所定数の画素に付与された画素レベル値群と、該第１の向きとは反対向きである第２の向きに連接する所定数の画素に付与された画素レベル値群とを取得する画素レベル値群取得ステップに続き、
   画素レベル予測演算手段が、該各画素レベル値群を次の数１から数３で表される画素レベル予測式を用いて第１の向き及び第２の向きそれぞれの画素レベル予測値ＦＤ＿Ｌ及びＦＤ＿Ｒを演算する画素レベル予測演算ステップと
   重み付け値演算手段が、該各画素レベル値群を第１の方向及び第２の方向の偏差の自乗の総和に対する反対側の偏差の自乗の比を取ることによって第１の方向及び第２の方向に加重した重み付けを行う重み付け算出式を用いて第１の向き及び第２の向きそれぞれの重み付け値を演算する重み付け値演算ステップと
   を同時又はいずれかの順序で処理した後、
   補間対象画素レベル値演算手段が、該第１の向きの画素レベル予測値ＦＤ＿Ｌに該第１の向きの重み付け値を乗じると共に、該第２の向きの画素レベル予測値ＦＤ＿Ｒに該第２の向きの重み付け値を乗じる演算を含む補間対象画素レベル算出式を用いて該補間対象画素の画素レベル値を算出する補間対象画素レベル値演算ステップ
   を有することを特徴とする画素補間方法。
   （数１）
   画素のレベル値が、Ｐ１＞Ｐ２ 且つ Ｐ４＜Ｐ５の関係のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２−（｜Ｐ１−Ｐ２｜）
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４−（｜Ｐ４−Ｐ５｜）
   （数２）
   画素のレベル値が、Ｐ１＜Ｐ２ 且つ Ｐ４＞Ｐ５の関係のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２＋（｜Ｐ１−Ｐ２｜）
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４＋（｜Ｐ４−Ｐ５｜）
   （数３）
   画素のレベル値が、前記数１又は数２の関係以外のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４
2. 前記画素レベル予測演算ステップにおいて、
   前記各画素レベル値群からそれぞれ少なくとも２個の画素レベル値を抽出し、
   該画素レベル値が第１の向き及び第２の向きのいずれにおいても前記補間対象画素に向かって上昇しているとき、又は該補間対象画素に向かって下落しているときには、各向きにおける上昇率又は下落率から該補間対象画素に相当する画素レベル値をそれぞれ算出して画素レベル予測値とする一方、
   それ以外のときには、該補間対象画素に各向きにおいて連接する画素の画素レベル値をそれぞれの画素レベル予測値とする
   請求項１に記載の画素補間方法。
3. 前記重み付け値演算ステップにおいて、
   前記第１の向きにおける画素レベル値群を平均した第１平均値と、前記第２の向きにおける画素レベル値群を平均した第２平均値と、前記補間対象画素から双方の向きに連接する所定数の画素に付与された画素レベル値を平均した中央平均値とを算出し、
   該第１平均値と中央平均値との第１偏差、及び該第２平均値と中央平均値との第２偏差を比較して偏差が少ない方により大きな重み付け値を付与する
   請求項１又は２に記載の画素補間方法。
4. 前記画素補間方法において、補間対象画素レベル値演算ステップに続き、
   画素レベル値制限手段が、該補間対象画素から第１の向き及び第２の向きそれぞれ所定の周辺画素数の画素に付与された周辺画素レベル値群から、その最大値又は最小値の少なくともいずれかに基づく画素レベル値制限範囲を決定し、前記補間対象画素の画素レベル値を該範囲内となるように補正する画素レベル値制限ステップを有する
   請求項１ないし３のいずれかに記載の画素補間方法。
5. 前記画素レベル値が、画素の色相値、彩度値、明度値の少なくともいずれかである
   請求項１ないし４のいずれかに記載の画素補間方法。
6. 複数の画素読取素子を少なくとも１列並列して読取対象を走査することによって画像を読み取る際に、該画像中から連続する画素のレベル値Ｐ１、Ｐ２、Ｐ４、Ｐ５を読み取り、該画像中で欠損した補間対象画素の画素レベル値Ｐ３を付与する画素補間装置において、
   該補間対象画素から第１の向きに連接する所定数の画素に付与された画素レベル値群と、該第１の向きとは反対向きである第２の向きに連接する所定数の画素に付与された画素レベル値群とを取得する画素レベル値群取得手段と、
   該各画素レベル値群を次の数４から数６で表される画素レベル予測式を用いて第１の向き及び第２の向きそれぞれの画素レベル予測値を演算する画素レベル予測演算手段と、
   該各画素レベル値群を第１の方向及び第２の方向の偏差の自乗の総和に対する反対側の偏差の自乗の比を取ることによって第１の方向及び第２の方向に加重した重み付けを行う重み付け算出式に入力して第１の向き及び第２の向きそれぞれの重み付け値を演算する重み付け値演算手段と、
   該第１の向きの画素レベル予測値ＦＤ＿Ｌに該第１の向きの重み付け値を乗じると共に、該第２の向きの画素レベル予測値ＦＤ＿Ｒに該第２の向きの重み付け値を乗じる演算を含む補間対象画素レベル算出式に基づいて該補間対象画素の画素レベル値を算出する補間対象画素レベル値演算手段と
   を備えたことを特徴とする画素補間装置。
   （数４）
   画素のレベル値が、Ｐ１＞Ｐ２ 且つ Ｐ４＜Ｐ５の関係のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２−（｜Ｐ１−Ｐ２｜）
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４−（｜Ｐ４−Ｐ５｜）
   （数５）
   画素のレベル値が、Ｐ１＜Ｐ２ 且つ Ｐ４＞Ｐ５の関係のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２＋（｜Ｐ１−Ｐ２｜）
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４＋（｜Ｐ４−Ｐ５｜）
   （数６）
   画素のレベル値が、前記数１又は数２の関係以外のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４
7. 前記画素補間装置において、
   前記補間対象画素から第１の向き及び第２の向きそれぞれ所定の周辺画素数の画素に付与された周辺画素レベル値群から、その最大値又は最小値の少なくともいずれかに基づく画素レベル値制限範囲を決定し、
   前記補間対象画素レベル値演算手段が算出した補間対象画素の画素レベル値を該範囲内となるように補正する画素レベル値制限手段を備えた
   請求項６に記載の画素補間装置。
8. 複数の画素読取素子を少なくとも１列並列して読取対象を走査することによって画像を読み取る際に、該画像中から連続する画素のレベル値Ｐ１、Ｐ２、Ｐ４、Ｐ５を読み取り、該画像中で欠損した補間対象画素の画素レベル値Ｐ３を付与する画素補間装置において、該画像読取装置が、
   該画素読取素子が読み出した画素レベル値を走査に伴って入力処理し、画像として蓄積する画像入力処理部と、
   該補間対象画素から第１の向きに連接する所定数の画素に付与された画素レベル値群と、該第１の向きとは反対向きである第２の向きに連接する所定数の画素に付与された画素レベル値群とを取得する画素レベル値群取得手段、
   該各画素レベル値群を予め備えた数７から数９で表される画素レベル予測式を用いて第１の向き及び第２の向きそれぞれの画素レベル予測値を演算する画素レベル予測演算手段、
   該各画素レベル値群を第１の方向及び第２の方向の偏差の自乗の総和に対する反対側の偏差の自乗の比を取ることによって第１の方向及び第２の方向に加重した重み付けを行う重み付け算出式に入力して第１の向き及び第２の向きそれぞれの重み付け値を演算する重み付け値演算手段、
   該第１の向きの画素レベル予測値ＦＤ＿Ｌに該第１の向きの重み付け値を乗じると共に、該第２の向きの画素レベル予測値ＦＤ＿Ｒに該第２の向きの重み付け値を乗じる演算を含む補間対象画素レベル算出式に基づいて該補間対象画素の画素レベル値を算出する補間対象画素レベル値演算手段
   の各手段からなる画素補間機構と、
   該画素補間機構により補間した補間対象画素を含む画像を出力する画像出力部と
   を備えたことを特徴とする画像読取装置。
   （数７）
   画素のレベル値が、Ｐ１＞Ｐ２ 且つ Ｐ４＜Ｐ５の関係のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２−（｜Ｐ１−Ｐ２｜）
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４−（｜Ｐ４−Ｐ５｜）
   （数８）
   画素のレベル値が、Ｐ１＜Ｐ２ 且つ Ｐ４＞Ｐ５の関係のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２＋（｜Ｐ１−Ｐ２｜）
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４＋（｜Ｐ４−Ｐ５｜）
   （数９）
   画素のレベル値が、前記数１又は数２の関係以外のとき
   第１の向きの予測値ＦＤ＿Ｌ＝Ｐ２
   第２の向きの予測値ＦＤ＿Ｒ＝Ｐ４
9. 前記画像読取装置において、
   前記画素補間機構が、
   前記補間対象画素から第１の向き及び第２の向きそれぞれ所定の周辺画素数の画素に付与された周辺画素レベル値群から、その最大値又は最小値の少なくともいずれかに基づく画素レベル値制限範囲を決定し、
   前記補間対象画素レベル値演算手段が算出した補間対象画素の画素レベル値を該範囲内
   となるように補正する画素レベル値制限手段を備えた
   請求項８に記載の画像読取装置。

Images