JP2015170038A

JP2015170038A - 画像処理装置、画像処理方法、及び、画像処理を実行するコンピュータプログラム

Info

Publication number: JP2015170038A
Application number: JP2014043156A
Authority: JP
Inventors: 真治佐野; Shinji Sano
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-03-05
Filing date: 2014-03-05
Publication date: 2015-09-28
Anticipated expiration: 2034-03-05
Also published as: JP6403401B2; US20150256702A1; US9350892B2

Abstract

【課題】立体的な原稿や、光学系由来の歪みを持つ撮影画像に対して畳み込み演算を用いた補間処理を行う場合、処理後の画像の面内のシャープさが面内で均一にならずムラになるという問題があった。【解決手段】入力画像の歪み特性に応じて、畳み込み演算の際の参照領域の広さ、もしくは、利用する標本化関数の周波数特性を変化させる。【選択図】図２

Description

本発明は、画像に対して画像処理を実施する画像処理装置、画像処理方法、及び、画像処理を実行するコンピュータプログラムに関する。

従来、カメラやスキャナ等の撮影部により原稿台上の原稿を上方から、もしくは、斜め上方から撮影して画像データを取得する、書画カメラに代表される画像読み取り装置が知られている。しかし、撮影部からの距離が一定でないことに起因する読み取り画像の歪みがあるため、この歪みを補正する必要がある。この歪み補正処理において、歪み補正処理後のある画素の画素値を得るためには、補正処理前の画像における画素の、歪み補正処理後の相対的な座標を取得すると共に、その結果生じた整数座標（座標成分が整数で表される座標であり、格子点とも呼ぶ）ではない小数点以下の座標成分を持つ非整数座標の画素（すなわち非格子点の画素）から、格子点の画素値を求める補間処理を行う必要がある。この補間方法には例えばニアレストネイバー法といった最寄りの画素の画素値を代用する方法もある。しかし、これではジャギーや線の欠落が発生するという問題がある。そこで、当該画素周辺の有限の領域内の複数画素の画素値を参照して標本化関数による畳み込み演算を行い、当該座標の画素値を推定するという技術が知られている（例えば、特許文献１参照）。

特開平１１−３５３４７３号公報

この畳み込み演算による補間処理では、畳み込みの対象となる領域の広さや、用いる標本化関数の周波数特性によって、得られる画質が異なる。すなわち、一般的に、処理前画像に対して相対的に参照領域が広がるほど、もしくは、標本化関数の周波数が低くなるほど、元画像に対して平滑化の効果がかかると共に、エッジ部のジャギーが低減する。逆に、処理前画像に対して相対的に参照領域が狭まるほど、もしくは、標本化関数の周波数が短くなるほど、補正前画像に対しての鮮鋭化の効果がかかると共に、エッジ部のジャギーが増加する。

一方で、原稿台に載置した立体的な原稿に対して上方のカメラから撮影を行う場合、原稿内の場所によって原稿の原稿台に対する傾き、すなわちカメラ光学系の光軸に対する角度が異なるため、原稿に印字されている内容の周波数特性が場所によって異なるという特徴を持つ。すなわち、雑誌や辞書のような厚みのある冊子において、ページを上向きに開いた状態で原稿台に載置する場合、各ページの中央付近の領域とページ間の綴じ込み付近の領域とを比較した場合、各ページへの印刷時点では同じ周波数成分を持っていたとしても、後者の方がカメラに対してはより高周波な周波数成分を持つ原稿として捉えられる。また、原稿の原稿台に対しての傾きが一定であったとしても、カメラの光学系自体が持つ光学的な歪みが原因で、撮影画像が例えば樽型形状に歪むといったこともある。この場合も、原稿の印刷時点では周波数特性が面内一様であったとしても、撮影画像の周波数特性は場所によって異なるといった特徴を持つ。

このような特徴を持つ取得画像に対して、前述の標本化関数を用いた畳み込み演算を利用する補間処理を一律に実施すると、画像内の位置によって、相対的な参照領域の広さ、および、周波数特性が変化してしまう。この結果として、歪み補正処理後の画像にかかる効果にムラが発生するという問題があった。すなわち、前述の厚い冊子原稿の撮影画像に対して補間処理を行う場合、一律の歪み補正処理をかけたとしても、各ページ中央付近の領域では取得画像が低周波なため標本化関数が相対的に高周波となりシャープな状態になり、綴じ込み付近の領域では取得画像が高周波なため標本化関数が相対的に低周波となりスムージングされた状態になるという問題があった。

本発明は上記従来例に鑑みて成されたもので、対象を画像情報化する際に生じた空間周波数の変動に対応し、高品質な補間結果を得ることができる画像処理装置及び画像処理方法を提供する。

本発明は斯様な問題を解決することを目的としている。そのために本発明は以下の構成を有する。すなわち、
格子状に配置された画素から構成される画像データを処理する画像処理装置であって、
対象を撮影して得た原画像データに含まれた前記対象の歪みの特性を示す歪み特性を取得する取得手段と、
前記原画像データに対して標本化関数を用いて、補間される着目画素の位置の周辺の参照領域に含まれる前記原画像データの画素に基づいて前記着目画素を補間する補正手段とを備え、
前記補正手段は、前記歪み特性に応じて、前記参照領域の範囲、もしくは、前記標本化関数の周波数特性、もしくは、その両方を変化させることを特徴とする画像処理装置。

本発明によれば、対象を画像情報化する際に生じた空間周波数の変動に対応し、高品質な補間結果を得ることができる。例えば立体的な原稿から得た画像の歪み補正や変倍処理を実施する際に、あるいは対象を画像情報化する際の光学系に起因する歪曲収差補正や色収差補正を実施する際に、高精度な補間処理を実施しつつ、画像内全体にむらのない高品質な補間結果を得ることができる。

全体構成ブロック図実施例１の動作フロー歪み特性を示す図歪み特性の格子点と注目画素を示す図原稿台に載置された原稿の断面を示す図実施例１における標本化関数と画素値による畳み込み演算を示す図原稿の傾きと参照領域を示す図参照領域の切り替えを示す図参照領域の離散的切り替えの例を示す図実施例２における標本化関数と画素値による畳み込み演算を示す図原稿の傾きと周波数特性を示す図周波数特性の離散的切り替えの例を示す図原稿の傾きと参照領域・周波数特性を示す図実施例３の動作フロー本発明を適用した効果を示す図

以下、本発明を実施するための形態について図面を用いて説明する。以下、本発明に関わる実施形態は、原稿台上に載置された冊子等の立体的な原稿を含む原稿の画像読み取りと読み取った画像の電子化、および、それに付随する画像処理を行う画像読み取り装置、すなわちドキュメントリーダとして説明する。しかし、これに限らず、画像読み取りに関連する画像処理を含む機能、すなわちコピー機能やFAX機能を有する画像読み取り装置の全てに適用可能である。また、画像読み取りは行わず、何らかの方法で取得した読み取り画像に対して画像補正を行うアップコンバータのような画像処理装置に対しても適用可能である。また、画像読み取りの対象となる立体原稿は、冊子に限らず、紙以外の原稿や立体物、すなわち例えば商品のパッケージやペットボトルのラベルであっても適用可能である。

［実施例１］
実施例１では、本発明の画像処理装置に関わる一実施形態として、カメラによる撮影を行い、その撮影画像の歪み補正処理を行うドキュメントリーダについて説明する。図１は、本実施形態の構成を示すブロック図である。本実施形態におけるドキュメントリーダ１００は、画像読み取り装置全体の制御を行う主制御部１１１、撮影画像データとそれに付随する情報を記憶する記憶部１１２、操作者からの命令受信を行う操作部１１３を有する。また、原稿を撮影し電子画像データとして入力する入力部１０１、原稿の歪み特性を取得する特性取得部１０２、撮影画像の歪み補正処理を行う処理部１０３も更に有する。取得された電子画像データは、格子状に配置された画素により画像を表すように構成される。

図２に、本実施形態における動作フローを示す。以下これらの図を用いて説明する。
ステップ２０１において、主制御部１１１の制御のもと、操作部１１３において受信した操作者からの命令に従い、入力部１０１が原稿台上に載置された原稿を撮影し、電子データ化された撮影画像を入力する。撮影画像は記憶部１１２に保存する。
ステップ２０２において、主制御部１１１の制御のもと、特性取得部１０２が原稿台上に載置された原稿全体の歪み特性を取得する。図３に歪み特性の例を示す。歪み特性は、歪み補正処理後の座標、すなわち、歪みのない座標が、ステップ２０１における入力画像のどの場所に位置しているかをマッピングしたものである。この特性取得には、ステレオカメラやライトフィールドカメラによる取得技術、3Dマッピングセンサによる取得技術、また、プロジェクタによって格子や点配列を立体原稿に直接投影した上でカメラにより形状計測を行う技術等、様々な既知の技術が存在するがいずれかに限定するものではない。また、予め既知の情報として歪み特性を記憶部１１２に保存しておく方法であっても良い。この方法では、予め保存されている歪み特性が複数とおりある場合には、そのうちから選択された特性がステップ２０２で取得される。
ステップ２０３〜ステップ２０６は、全て主制御部１１１の制御のもと、処理部１０３が撮影画像の全ての画素に関して処理を行うループ処理である。ループは処理後の画像の各画素全てについて繰り返す。ステップ２０３〜ステップ２０６前後の五角形のブロックは、補間処理後の画像の全画素が得られるまでステップ２０３〜ステップ２０６を繰り返すことを示している。

ステップ２０３において、歪み特性を参照して、処理対象となる注目画素の、撮影画像内で相当する座標の算出を行う。図３に格子点状に表現した歪み特性３０１と、歪みがない歪み補正処理後の特性３１１を示す。もちろん特性３０１は一例を示すものに過ぎない。特性３０１は雑誌を原稿台の上に置いて、ページを開いて載置した原稿の特性である。すなわち、歪み補正は、例えば特性３０１上の各点を、特性３１１上の各点へとマッピングすることで実現できる。また、特に領域３０２と領域３１２をクローズアップしたものを図４に示す。画素４１１は、補間すべき注目画素、すなわち補正後の格子点にあって補正後の画像を構成する画素である。画素４１２〜４１５は、着目画素４１１の近傍（周辺）に位置し、着目画素４１１の補間に用いられる格子点の画素である。これら画素にそれぞれ相当する歪み特性３０１上の格子点が画素４０１と画素４０２〜４０５である。すなわち、歪み特性３０１を持つ画像が実際に撮影された画像であり、その中の点４０１の座標がこのステップ２０３で算出すべき着目画素の座標である。このような場合、点４０１の座標（tgtx, tgty）は、注目画素４１１の座標と、補正処理後の画像の周辺の４点４１２〜４１５との位置関係、および、撮影画像における注目画素の周辺の４点４０２〜４０５の座標から、数式１〜数式６を用いて線形補間演算によって得られる。ただし、各点の座標は、図４に示すとおりとする。なお、もちろん、他の演算方法によって座標の算出を行っても良い。ここで(pxlx, pxly)は補正後の着目画素の座標、(cx00, cy00)〜(cx11, cy11)は原画像データにおける周辺画素の座標、(dx0, dy0)〜(dx1, dy1)は補正後の画像における周辺画素の座標である。

viax0 = cx00+(pxlx-dx0)(cx10-cx00)/(dx1-dx0) （数式１）
viay0 = cy00+(pxlx-dx0)(cy10-cy00)/(dx1-dx0) （数式２）
viax1 = cx01+(pxlx-dx1)(cx11-cx01)/(dx1-dx0) （数式３）
viay1 = cy01+(pxlx-dx1)(cy11-cy01)/(dx1-dx0) （数式４）
tgtx = viax0+(pxlx-dy0)(viax1-viax0)/(dy1-dy0) （数式５）
tgty = viay0+(pxly-dy0)(viay1-viay0)/(dy1-dy0) （数式６）

ステップ２０４において、歪み特性を参照して、撮影画像内の注目画素に相当する座標においての原稿台に対する原稿の傾きを算出する。なお原稿台は撮影装置の光学系の焦点面に平行に設置されたものとし、この傾きは焦点面に対する傾きということもできる。また傾きは一様でなく局所的に異なることもあり、算出される傾きは補正すべき着目画素あるいはその近傍における傾きである。また例えば歪み特性が場所ごとの対象の傾きとして与えられるような場合には、その傾きは画像中の位置の関数として特定できる。図５に原稿台に載置された原稿の様子を横から見た断面図を示す。ここでは冊子５０１が載置された原稿台５０２の場所によらず鉛直方向にカメラ光学系の光軸５０３および５０４が向いているとする。この場合、領域５１３付近でのページは原稿台に対して平行で、５２３のような画像が取得されるのに対し、領域５１４付近でのページは原稿台に対して角度５２０の傾きを持ち、５２４のような画像が取得される。ここで領域５１４に注目して、図４のような歪み特性が取得されている場合、点４０２〜４０５の座標と点４１２〜４１５の座標から、数式７、および、数式８によって近似のcosine（余弦）値が得られる。すなわち、原稿台に対する原稿の傾きを横方向θx、縦方向θyとすると、
cosθx = (cx10+cx11-cx00-cx01)/(2(dx10dx0)) (数式７)
cosθy = (cy10+cy11-cy00-cy01)/(2(dy10dy0)) (数式８)

ステップ２０５において、ステップ２０３で算出した座標と、ステップ２０４で算出した傾きのcosine値を用いて、畳み込み演算を行う。すなわち、注目画素を原点とした座標系において、標本化関数をsincx(x), sincy(y)、畳み込み演算の領域の広さを示す定数をwx, wy、標本化関数の周波数特性を示す定数fx, fy、撮影画像の注目画素周辺の画素の画素値pxlval(x, y)とすると、数式９から、注目画素の画素値tgtvalが得られる。算出した画素値は記憶部１０２に保存する。なお、領域の広さを示すwxおよびwyは畳み込み演算の理論上は無限遠であるが、実運用上はそれでは処理できないため、有限の広さを指定する。また標本化関数は数式１０および数式１１で表される。
（数式９）
sincx(x) = sin(πx)/πx （数式１０）
sincy(y) = sin(πy)/πy （数式１１）

図６に解説のために畳み込み演算をx軸成分のみの一次元に限定した図を示す。すなわち、x軸成分の標本化関数sincx（６０１）と離散的な整数画素の画素値pxlval（６０２）を用いて畳み込み演算を行う様子である。この時、画素値tgtvalx(y)は、数式１２で得られることとなる。
（数式１２）

ここで注目すべきは、畳み込み演算の対象となる領域の広さを示すwxに前記原稿の傾きから得られたcosθxを乗じている点である。これはすなわち、領域５１３のような原稿が原稿台に水平（カメラ光学系に垂直）な領域であれば、畳み込み演算において定数どおりの領域-wx〜wx（６１１）を参照するのに対し、領域５１４のように傾きが生じると参照領域wx・cosθx〜 wx・cosθx（６１２）に狭くなることを表している。これは、図５の領域５１４のように参照領域を対象すなわち原稿の傾きに合わせて傾け、それを原稿台（すなわち焦点面）に投影した領域を示す。図６の場合、中心画素の近傍１２個の整数画素の畳み込みであったものが、７画素に減っていることがわかる。

図７に原稿の傾きとそれに対応する参照領域の関係を表した断面図を示す。７０１は冊子のページ、７０２は原稿台、７１１および７１２は畳み込み演算の参照領域を表している。また、７２１はページ７０１の歪みをなくした状態を表し、７３１および７３２はページ７２１上に相当する畳み込み演算の参照領域である。領域７１１は領域の幅が2wxであるのに対し、領域７１２は領域の幅が2wx・cosθと異なるが、ページ７２１上に換算すると、領域７３１も領域７３２も同じ幅の領域を参照していることがわかる。すなわち、撮影画像上では傾きに応じて参照領域の広さを変化させることで、元の原稿の内容に対しては同じ領域を参照することができていることがわかる。
数式１２で得られたtgtvalxに対してy軸方向に関してもx軸方向での演算と同様に数式１３のように畳み込み演算を実施することにより、前記数式９が得られることとなる。
（数式１３）

ステップ２０６において、次の着目画素のループに遷移する。もし、補正後の画像の全ての画素について処理が完了している場合は、処理を終了する。なお、歪みが局所的な場合には、歪みを補正する対象となる画像の部分を補正処理の対象とすればよい。

このように、本実施形態では、畳み込み演算を行う際に、対象となる領域を原稿の原稿台に対する傾きに応じて狭めることで、結果として元原稿のページ内容に対しては同じ領域を参照させている。これにより、立体原稿の撮影画像の面内で畳み込み演算の参照領域が一様でなくなることを防ぎ、補間処理後の画像について面内均一なシャープさを保つことが可能になる。

図１５に本実施形態の効果を示す。１５０１が原稿の撮影画像、１５０２がその歪み特性である。また、原稿の傾きがある領域１５０３、および、原稿の傾きがほぼない領域１５０３に対して、本発明を適用しない歪み補正処理後の画像が１５１１、および、１５１２、本発明を適用する場合の歪み補正処理後の画像が１５１３、および、１５１４である。両者を比較すると、１５１３と１５１４の方が歪み補正処理後のシャープさにより均一性が見られることがわかる。

なお、本実施形態では、連続的に参照領域を変化させているが、処理の簡単化のため傾きに応じて離散的に参照領域を変化させても良い。すなわち、図８に示すような標本化関数８０１に対して、図９に示すように一定の傾きの範囲に応じて領域８１１、領域８１２、領域８１３と、標本化関数の何周期ぶんに相当する領域を参照するかを切り替えるような構成であっても良い。

なお補正の対象となる画像データは離散的な画素から構成されているため、本実施形態で積分式で説明した処理は、参照領域内の全格子点について、各格子点に位置する原画像の画素値に、当該格子点の位置に対応する標本化関数の値を乗じて得た値を積算した積和を求めることで与えられる。換言すれば補間される着目画素値は着目画素周辺の参照領域内の全格子点における画素値の加重平均で与えられ、その重みが標本化関数で与えられる。

［実施例２］
実施例１では、標本化関数を用いて行う畳み込み演算において、その参照領域を原稿の傾きに応じて変化させる実施形態について説明した。実施例２では、領域を可変にする代わりに、標本化関数の周波数特性を切り替える、歪み補正処理を備えるドキュメントリーダの構成について説明する。

本実施形態の構成を示すブロック図は実施例１と変わらないため、図１に倣う。また、動作フローに関しても実施例１と変わらないため、図２に倣う。実施例２において、実施例１と異なるのは、ステップ２０５において、畳み込み演算時に、原稿の傾きに応じて周波数特性を切り替える点である。すなわち、実施例１の数式９に代わる演算として、数式１４を用いた演算を行う。
（数式１４）

実施例１と同じく解説のために畳み込み演算をx軸成分のみの一次元に限定した図を図１０に示す。x成分の畳み込み演算だけを抜き出すと、数式１５となる。
（数式１５）

ここで注目すべきは、畳み込み演算に用いる標本化関数sincxの引数を前記原稿の傾きから得られたcosθxで割っている点である。これはすなわち、領域５１３のような原稿が原稿台に水平（カメラ光学系に垂直）な領域であれば、定数どおりの周波数特性を持つ標本化関数１００１を用いるのに対し、傾きが生じると周波数が高い標本化関数１００２を用いることを表している。
図１１に原稿の傾きとそれに対応する参照領域の関係を表した断面図を示す。冊子のページ１１０１は、原稿台１１０２に載置されている。標本化関数１１１１および１１１２は畳み込み演算に利用する標本化関数を表している。また、状態１１２１はページ１１０１の歪みをなくした状態を表し、標本化関数１１３１および１１３２はページ１１２１上に相当する標本化関数である。標本化関数１１１１は１周期がwx/3であるのに対し、標本化関数１１１２は１周期がwx/6と異なるが、ページ１１２１上に換算すると、領域１１３１も領域１１３２も同じ周波数特性の標本化関数を利用していることがわかる。すなわち、撮影画像上では傾きに応じて標本化関数の周波数特性を変化させることで、元の原稿の内容に対しては同じ周波数特性を適用することができていることがわかる。このように、原稿の傾きに応じて傾けた参照領域の前記焦点面への投影と、参照領域との補間する方向についての長さの比、すなわち余弦の値に応じて周波数特性を変化させる。

数式１５で得られたtgtvalxに対してy軸方向に関してもx軸方向での演算と同様に畳み込み演算を実施することにより、前記数式１４が得られることとなる。

このように、本実施形態では、畳み込み演算を行う際に、用いる標本化関数の周波数特性を原稿の原稿台に対する傾きに応じて高周波にすることで、結果として元原稿のページ内容に対して相対的に同じ周波数特性の標本化関数を利用させている。これにより、立体原稿の撮影画像の面内で畳み込み演算の参照領域が一様でなくなることを防ぎ、補間処理後の画像について面内均一なシャープさを保つことが可能になる。

なお、本実施形態では、連続的に周波数特性を変化させているが、処理の簡単化のため傾きに応じて離散的に周波数特性を変化させても良い。すなわち、図１２に示すように、一定の傾きの範囲に応じて、標本化関数の周波数特性を離散的に切り替えるような構成であっても良い。

［実施例３］
標本化関数を用いて行う畳み込み演算において、実施例１では、その参照領域を原稿の傾きに応じて変化させる実施形態について、実施例２では、標本化関数の周波数特性を原稿の傾きに応じて変化させる実施形態について説明した。実施例３ではこの両方を実施する、歪み補正処理を備えるドキュメントリーダの形態について説明する。

本実施形態の構成を示すブロック図、および、動作フロー図は実施例１および実施例２と変わらないため、図１、および、図２に倣う。

実施例３において、実施例１および実施例２と異なるのは、ステップ２０５において、畳み込み演算時に、原稿の傾きに応じて参照領域と周波数特性を両方切り替える点である。すなわち、実施例１の数式９および実施例２の数式１４に代わる演算として、数式１６を用いた演算を行う。
（数式１６）

図１３に原稿の傾きとそれに対応する参照領域の関係を表したx軸成分の断面図を示す。冊子のページ１３０１は、原稿台１３０２に載置されている。領域幅１３１１および１３１２は畳み込み演算で参照する領域幅を、標本化関数１３１３および１３１４は畳み込み演算に利用する標本化関数を表している。また、状態１３２１はページ１３０１の歪みをなくした状態を表し、参照領域幅１３３１および１３３２はページ１３２１上に相当する参照領域の幅、標本化関数１３３３および１３３４はページ１３２１上に相当する標本化関数である。この図より、撮影画像上では傾きに応じて、畳み込み演算の参照領域と、標本化関数の周波数特性を変化させることで、元の原稿の内容に対しては同じ参照領域、かつ、同じ周波数特性を適用することができていることがわかる。これは、参照領域幅については実施例１と同様に、標本化関数の周波数特性については実施例２と同様にして、着目画素位置における原稿の傾きに応じて変更することで実現される。

このように、本実施形態では、畳み込み演算を行う際に、参照する領域と、用いる標本化関数の周波数特性を原稿の原稿台に対する傾きに応じて高周波にすることで、結果として元原稿のページ内容に対して相対的に同じ参照領域に対して同じ周波数特性の標本化関数を利用させている。これにより、実施例１および実施例２よりも、より効果的に立体原稿の撮影画像の面内で畳み込み演算の参照領域が一様でなくなることを防ぎ、補間処理後の画像について面内均一なシャープさを保つことが可能になる。

［実施例４］
実施例４では、実施例１〜実施例３にて説明した方法とは別のアプローチで同様の効果を得る、歪み補正処理を備えるドキュメントリーダの構成について説明する。本実施形態の構成を示すブロック図は実施例１と変わらないため、図１に倣う。

図１４に本実施形態の動作フロー図を示す。この動作フロー図において、特徴的なのは鮮鋭化処理を行うステップ１４０１を加えている点である。その他の工程は図２と同様である。すなわち、原稿の原稿台に対する傾きが大きい場合には強いゲインの鮮鋭化フィルタ処理を、傾きがない場合（カメラ光学系の光軸に対して鉛直の場合）には、フラットなフィルタを用いて鮮鋭化を行わない。これにより、実施例１〜３に近い効果を得ることが可能となる。フィルタの選択は、たとえば、着目画素位置における傾きと所定の閾値とを比較し、閾値よりも大きければあらかじめ用意したゲインの大きいフィルタを用い、閾値以下ならばあらかじめ用意したゲインの小さなフィルタを用いる。

ここで、鮮鋭化フィルタ処理のステップ１４０１、畳み込み演算のステップ２０５の順に処理を実施しているのは、順序が逆の場合、フィルタの強度の面内のマッピングが、前記歪み特性のマッピングと一致しないためである。すなわちこの場合、歪み特性に対しても歪み補正処理を行う必要があるため、処理の負荷が増大することとなる。これを防ぐ構成が本実施形態である。

なお、実施例１〜実施例４においては、全て立体原稿の歪み補正処理に伴う補間処理に関する技術の実施形態として説明した。しかし、本発明はこれに限るものではなく、入力画像の非整数画素の画素値を算出するための補間処理を含む処理、すなわち、アップコンバート処理、変倍処理、台形補正、歪曲収差補正、色収差補正、超解像処理等にも適用可能である。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（または情報処理装置やＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

ステップ２０４において、歪み特性を参照して、撮影画像内の注目画素に相当する座標においての原稿台に対する原稿の傾きを算出する。なお原稿台は撮影装置の光学系の焦点面に平行に設置されたものとし、この傾きは焦点面に対する傾きということもできる。また傾きは一様でなく局所的に異なることもあり、算出される傾きは補正すべき着目画素あるいはその近傍における傾きである。また例えば歪み特性が場所ごとの対象の傾きとして与えられるような場合には、その傾きは画像中の位置の関数として特定できる。図５に原稿台に載置された原稿の様子を横から見た断面図を示す。ここでは冊子５０１が載置された原稿台５０２の場所によらず鉛直方向にカメラ光学系の光軸５０３および５０４が向いているとする。この場合、領域５１３付近でのページは原稿台に対して平行で、５２３のような画像が取得されるのに対し、領域５１４付近でのページは原稿台に対して角度５２０の傾きを持ち、５２４のような画像が取得される。ここで領域５１４に注目して、図４のような歪み特性が取得されている場合、点４０２〜４０５の座標と点４１２〜４１５の座標から、数式７、および、数式８によって近似のcosine（余弦）値が得られる。すなわち、原稿台に対する原稿の傾きを横方向θx、縦方向θyとすると、
cosθx = (cx10+cx11-cx00-cx01)/(2(dx1-dx0)) (数式７)
cosθy = (cy10+cy11-cy00-cy01)/(2(dy1-dy0)) (数式８)

Claims

格子状に配置された画素から構成される画像データを処理する画像処理装置であって、
対象を撮影して得た原画像データに含まれた前記対象の歪みの特性を示す歪み特性を取得する取得手段と、
前記原画像データに対して標本化関数を用いて、補間される着目画素の位置の周辺の参照領域に含まれる前記原画像データの画素に基づいて前記着目画素を補間する補正手段とを備え、
前記補正手段は、前記歪み特性に応じて、前記参照領域の範囲、もしくは、前記標本化関数の周波数特性、もしくは、その両方を変化させることを特徴とする画像処理装置。
前記補正手段は、前記歪み特性に基づいて焦点面に対する前記対象の前記着目画素の位置における傾きを特定し、特定した前記傾きに応じて、前記参照領域の範囲、もしくは、前記標本化関数の周波数特性、もしくは、その両方を変化させることを特徴とする請求項１に記載の画像処理装置。
前記補正手段は、前記傾きに応じて傾けた前記参照領域の前記焦点面への投影を、変化させた前記参照領域の範囲とすることを特徴とする請求項２に記載の画像処理装置。
前記補正手段は、前記傾きに応じて傾けた前記参照領域の前記焦点面への投影と、前記参照領域とのを比に応じて前記周波数特性を変化させることを特徴とする請求項２または３に記載の画像処理装置。
前記補正手段は、前記傾きが属する範囲に応じて、前記参照領域の範囲、もしくは、前記標本化関数の周波数特性、もしくは、その両方を変化させることを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
前記取得手段は、予め用意された歪み特性のうち選択された歪み特性を取得することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
対象を撮影する撮影手段を更に有し、
前記歪み特性は、前記対象の、前記撮影手段の焦点面に対する傾きによって生じることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
前記歪み特性は、前記撮影手段の有する光学系の歪みによって生じることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
前記補正手段は、前記着目画素を補間する前に、前記傾きに応じたゲインで前記原画像データに鮮鋭化を施すことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
請求項１乃至９のいずれか一項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。
格子点に配置された画素から構成される画像データを処理する画像処理方法であって、
対象を撮影して得た原画像データに含まれた前記対象の歪みの特性を示す歪み特性を取得する取得工程と、
前記原画像データに対して標本化関数を用いて、補間される着目画素の位置の周辺の参照領域に含まれる前記原画像データの画素に基づいて前記着目画素を補間する補正工程とを備え、
前記補正工程では、前記歪み特性に応じて、前記参照領域の範囲、もしくは、前記標本化関数の周波数特性、もしくは、その両方を変化させることを特徴とする画像処理方法。