JP4082303B2

JP4082303B2 - 画像補正装置

Info

Publication number: JP4082303B2
Application number: JP2003280156A
Authority: JP
Inventors: 弘毅上床; 康二足立; 薫安川; 紀一山田; 英悟中川; 哲一里永
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-07-25
Filing date: 2003-07-25
Publication date: 2008-04-30
Anticipated expiration: 2023-07-25
Also published as: JP2005045723A

Description

本発明は、反りやたわみのある用紙を撮像して得た撮像画像を、反りやたわみのない状態に補正するための技術に関する。

従来より、画像を読み取る装置としては、フラットベッドスキャナやシートスキャナのように直接原稿に接触して画像を読み取るものと、エリアセンサなどにより非接触で画像を読み取るものとがある。前者のタイプは原稿がプラテンガラスやラインセンサなどに押しつけられた状態で画像読み取りを行うので、常に原稿が画像センサに対して正対した状態で読み取りができるが、スキャン機構が必要なため設置面積が大きい、スキャン（走査）を行うため読み取り速度が遅いなどの問題がある。一方、後者のタイプは、２次元のエリアセンサを用いるため読み取りのためにスキャンを行う必要がないので、小型高速化が図れ、低価格で読取装置を実現できるメリットがある。

このような非接触型の画像読取装置の例として、特許文献１には、斜め上方からエリアセンサを用いて原稿を読み取り、読み取った画像を正面から撮影した画像に変換する機能を備える装置が開示されている。しかしながら、非接触読み取りの場合、原稿をプラテンガラスやセンサに押しつける機構がないので、読み取られる原稿に反りやたわみなどによる凹凸が発生していることが多い。このため、斜め情報から読み取った画像を単純に透視変換して正面視点からの画像に変換しても、紙面の反りやたわみによる画像の歪みが残るという問題がある。

この問題に対し、特許文献２には、カメラで読み取られた原稿情報から輪郭を抽出し、その輪郭情報から頂点情報を抽出し、頂点情報と既知の原稿形状情報からカメラと原稿との距離を測定し、その距離情報と頂点情報から折れ曲がった原稿情報を平面に展開する補正を行う装置が開示されている。特許文献２の装置は、原稿画像のある辺上の頂点と、これに向かい合う辺上の頂点とを結ぶことで、原稿画像を三角形パッチに分割している。そして、頂点情報や距離情報からそれら各頂点の三次元座標を割り出し、これら各頂点の三次元座標に基づき各三角形パッチを同じ平面上へと透視変換して組み立てることで、正面から見た折れ曲がりのない状態の原稿画像を作成する。

しかしながら、この特許文献２の手法は、原稿画像の向かい合う２つ辺の上の頂点同士を結ぶことでパッチ分割を行うので、それら辺の延びる方向に垂直な向きに沿って原稿が反ったりたわんでいたりすると、精度のよい変換ができないという問題がある。特許文献２が想定している書籍やノートの読み取りの場合は見開き方向と垂直な向きに紙面が反ったりたわんだりすることは稀かも知れないが、枚葉紙に対する印刷結果を読み取るような場合には、紙面の縦横両方向に反りやたわみが生じることを想定しなければならない。

特開２０００−０２２８６９号公報特開２００２−１６５０８３号公報

本発明は、読み取り対象の紙面が縦横両方向に反ったりたわんでいたりしている場合に、その紙面を平らに伸ばした時の画像を従来よりも精度良く作成できるような装置を提供することを目的とする。

本発明に係る装置は、非接触で用紙を撮像して得られた撮像画像に含まれる用紙画像を、前記用紙が平らに伸ばされた状態の画像へと補正する画像補正装置であって、前記撮像画像から前記用紙画像の輪郭線を検出し、該輪郭線上に複数の輪郭節点を設定する輪郭節点設定手段と、前記各輪郭節点の位置に基づき、前記輪郭線内部に複数の内部節点を設定し、それら輪郭節点及び内部節点を線分で結ぶことにより、前記用紙画像を複数のメッシュに分割するメッシュ分割手段と、前記メッシュ分割手段で分割された各メッシュを個別に透視変換することで、前記用紙が平らに伸ばされた状態の画像に対応する補正画像を構成する画像変換手段と、を備える。

更に本発明では、前記輪郭節点設定手段は、前記用紙画像の輪郭線を構成する４辺において、向かい合う２辺ごとに同じ数の輪郭節点を設定し、前記メッシュ分割手段は、前記用紙画像の四隅から内側に向かう順に、「く」の字形状を構成するように隣り合う、位置が既定の３つの輪郭節点又は内部節点の位置に基づき、それら３つの節点と共に四辺形を構成する内部節点の位置を決定するという処理を繰り返すことで、前記内部節点群を設定する。

更に本発明では、前記メッシュ分割手段は、前記隣り合う３つの位置が既定の輪郭節点又は内部節点と共に四辺形を構成する内部節点の位置を決定する際に、前記用紙画像の４辺上の隣接する輪郭節点同士を結んでできるベクトルのうち、その四辺形に対応する４つのベクトルを利用する。

更に本発明では、前記メッシュ分割手段は、前記４つのベクトルのうちの前記向かい合う２辺ごとの２つのベクトル同士を、それぞれそれら向かい合う２辺と当該四辺形のとの距離に応じて加重平均したベクトルにより、前記「く」の字形状の２つの端点である節点から前記位置決定対象の内部節点へと延びる２つのベクトルの各々の向きを求める。

更に好適な態様では、前記輪郭節点設定手段は、前記用紙画像の輪郭を構成する各辺毎に、当該辺において曲がりが急なところほど輪郭節点の密度が高くなるよう、各輪郭節点の位置を決める。

本発明の別の好適な態様では、前記画像変換手段は、前記用紙が平らに伸ばされた状態の画像が占めるべき目的領域を、前記メッシュ分割手段による前記用紙画像のメッシュ分割結果に応じてメッシュ分割し、該目的領域のメッシュの頂点となる各節点と、前記用紙画像においてそのメッシュに対応するメッシュの各節点との間の透視変換の式を計算し、この式に前記用紙画像の各メッシュの透視変換を行う。

更に好適な態様では、前記画像変換手段は、前記目的領域をメッシュ分割するに当たり、前記目的領域の各辺を、前記用紙画像の各辺における隣り合う輪郭節点同士の間隔に応じて分割し、この分割結果に基づき前記目的領域をメッシュ分割する。

本発明の別の好適な態様では、前記用紙が平らに伸ばされた状態の画像が占めるべき目的領域を縦横の直線により矩形のメッシュ群に分割する目的領域分割手段を備え、前記メッシュ分割手段は、前記目的領域分割手段によるメッシュ分割の結果に応じて、前記用紙画像をメッシュ分割する。

また、本発明に係る印刷システムは、入力された原稿画像を用紙に対して印刷する印刷装置と、前記印刷装置により印刷された用紙の印刷面を撮像する撮像装置と、前記撮像装置による撮像画像に含まれる用紙画像を、前記用紙が平らに伸ばされた状態の画像へと補正するための請求項１乃至５のいずれか１項に記載の画像補正装置と、前記画像補正装置により補正された前記用紙画像を前記原稿画像と比較することで、前記印刷手段による前記用紙への印刷の品質を検査する検査装置と、を備える。

本発明を実施するための最良の形態を、図面を参照して説明する。

図１は、本発明が適用される印刷制御装置のハードウエア構成の一例を説明するためのシステム構成図である。この印刷制御装置は、用紙に対し画像を形成するＩＯＴ（Image Output Terminal）を制御する装置である。印刷制御装置は、ＰＣ（パーソナルコンピュータ）などのホスト装置から印刷データを受け取り、この印刷データをＩＯＴに処理可能な画像データに変換してＩＯＴに供給し、画像形成を実行させる。例えば、この印刷制御装置をＩＯＴと同一筐体に内蔵して印刷装置が構成される。この印刷装置に、原稿の画像を読み取る読取装置を組み込むことで、複写機を構成することもできる。

ＣＰＵ（中央演算ユニット）１０１は、この印刷制御装置の動作制御のための演算処理を実行する装置である。ＲＯＭ（リード・オンリー・メモリ）１０９には、印刷制御装置の動作制御のための各種プログラムが格納されている。特に、本発明との関連で言えば、ＲＯＭ１０９には、後述する読み取り画像補正処理を含んだ出力画像検査処理のプログラムが格納されている。ＣＰＵ１０１は、ＲＡＭ（ランダム・アクセス・メモリ）１０５をワーク領域として利用しながら、ＲＯＭ１０９内の制御プログラムを実行する。ＲＡＭ１０５は、一般的な印刷制御処理のためのワーク領域、印刷用の画像データをＩＯＴコントローラ１０６を介してＩＯＴへ送る際のバッファ領域、出力画像検査処理のためのワーク領域として利用される。ＨＤＤ（ハードディスク・ドライブ）１０４には、ホスト装置から受け取った印刷ジョブのデータや、そのデータを展開してできる印刷用の画像データなどを保存される。また、印刷装置が複写機として構成される場合、紙原稿を読み取って得た画像データを、ソート出力などの処理のためにＨＤＤ１０４に保存することもできる。ＨＤＤ１０４は外部から送られてくるプリント用の画像データを格納する領域と、その画像データをプリント結果の検査のために少なくとも１枚分格納する領域を含んでいる。

ＣＰＵ１０１は、データバス１０２に接続されている。画像データはこのデータバスを通じて印刷制御装置内の各ハードウエア間をやり取りされる。データバス１０２には、前述したＣＰＵ１０１，ＨＤＤ１０４，ＲＡＭ１０５の他に、外部インタフェース回路１０３、ＩＯＴコントローラ１０６、ＣＣＤカメラインタフェース回路１０７が接続される。

外部インタフェース回路１０３は、ホスト装置との通信インタフェースである。外部インタフェース回路１０３の具体例としては、例えばＰＣのプリンタポートと接続するパラレルポートや、イーサーネット（商標）インタフェースである。

ＩＯＴコントローラ１０６は、図１の印刷制御装置とＩＯＴとのインタフェース回路である。図示は省略しているが、ＩＯＴコントローラ１０６は、ＩＯＴが取り扱いできる形式の画像データを、処理順に並び替えてＩＯＴに供給し、ＩＯＴを制御して印刷を実行させる。本発明は、ＩＯＴのタイプを問わないが、例えばＩＯＴとしてはレーザプリンタやインクジェットプリンタなどがある。

ＣＣＤカメラインタフェース回路１０７は、ＣＣＤカメラ１１０の出力データをアナログ−デジタル変換してＲＡＭ１０５へ格納する。ＣＣＤカメラ１１０は、出力画像（用紙に印刷された画像）の検査のために、ＩＯＴで印刷された用紙の印刷面の画像を撮像するカメラである。ＣＣＤカメラ１１０は、２次元のＣＣＤエリアセンサを備えており、このエリアセンサにより、機械的な走査をすることなく、用紙印刷面を撮像する。ＣＣＤカメラ１１０は、例えば、図２に示すように、印刷装置２０１の印刷結果が排出される排紙トレイ２０３の上部に、排紙トレイ２０３全体を撮影範囲に収める位置関係で設置されている。排紙トレイ２０３は、その上面が用紙２０４とは異なる色となるように形成されている。これは、ＣＣＤカメラ１１０で撮像した画像から、印刷済みの用紙の領域を抽出できるようにするための構成である。

図３は、この印刷制御装置による出力画像検査処理の手順を示すフローチャートである。この処理は、印刷制御装置が外部から印刷ジョブを受け取って印刷処理を実行し、用紙１枚の印刷が完了する毎に実行される。

まず、印刷済みの用紙が排紙トレイ２０３に排出されたことが検出されると、ＣＰＵ１０１からＣＣＤカメラインタフェース回路１０７に対し撮影開始の命令が発行されると、是に応じインタフェース回路１０７がＣＣＤカメラ１１０に撮影トリガを送出する（Ｓ３０１）。このトリガに応じて、ＣＣＤカメラ１１０は、排紙トレイ２０３上に新たに排出された用紙の上面を撮影する（Ｓ３０２）。

ＣＣＤカメラ１１０で撮影された撮像画像は、いったんＲＡＭ１０５に蓄えられる。画像検査処理のプログラムを実行しているＣＰＵ１０１は、その撮像画像をＲＡＭ１０５から読み出し、シェーディング補正を実行する（Ｓ３０３）。シェーディング補正は撮影領域の照度むらやＣＣＤセンサの各画素の特性ばらつきなどを補正する処理である。シェーディング補正は周知の処理であるが、簡単に説明すると、例えば、予め白紙を撮影して白基準ＤＷ［ｉ，ｊ］（ｉ，ｊは２次元画素位置を表わすインデックス）を求めて記憶しておき、補正の対象である撮像画像Ｄ［ｉ，ｊ］の各画素の値を対し次式で補正する。

Ｐ［ｉ，ｊ］＝Ｄ［ｉ，ｊ］/ＤＷ［ｉ，ｊ］×（２^ｎ − １）・・・（１）
ｎは補正後のビット分解能であり、８ビット分解能ならｎ＝８となり画素値は０〜２５５階調の値をとる。ここでは、全画素について白基準データを保持する方法を述べたが、例えば、この他にも簡易的な方法として、撮影された画像全体のピーク値を白基準ＤＷとする方法や、撮影された画像のラインごとのピーク値ＤＷ［ｊ］を白基準とする方法などが適用可能である。

次にＣＰＵ１０１は、シェーディング補正された撮像画像に対し、光学歪み補正を行う（Ｓ３０４）。光学歪みの補正は、ＣＣＤカメラ１１０の光学系の湾曲収差を補正する処理である。光学歪み補正には、公知の様々な処理方法を利用できるが、一例を挙げると次のようになる。すなわち、レンズへの入射角θでの収差ｄは、レンズから結像面までの距離をｃ、結像面における結像位置の光軸からの距離をｒとすると、次式で表される。

ｄ＝ｒ−ｃtanθ・・・（２）
この特性に基づいて補正処理を行う。または収差ｄは一般にｒの３乗に比例するのでレンズ特性に基づいて比例定数を求めて補正処理を行うこともできる。

次にＣＰＵ１０１は、光学ひずみ補正を行った撮像画像から、印刷済み用紙の領域の輪郭を検出する（Ｓ３０５）。本実施形態では排紙トレイ２０３の上面と用紙とが色違いであるので、この色の違いを利用して撮像画像における印刷済み用紙の画像の領域（以下、用紙領域画像と呼ぶ）を特定することができる。この処理も公知の手法を利用することができる。一例を挙げると、光学歪み補正済みの撮像画像に対してエッジ検出フィルタを作用させ、これにより求められたエッジのうち、最も外側の閉じたエッジを用紙の輪郭とし、その内側を用紙領域画像とするなどの方法がある。

図４は、排紙トレイ２０３上の印刷済み用紙を撮影して得た撮像画像の一例を模式的に示している。図２に示した装置構成では、排紙トレイ２０３上の印刷済み用紙２０４をＣＣＤカメラ１１０で斜め上方から撮影するので、もし印刷済み用紙２０４に反りやたわみ、折れ曲がりなどが発生していない場合は、矩形である用紙は、撮影された画像データ上では撮像画像エリア４０１に対して破線４０２で示す台形状４０２に変形しているはずである。これに対し、印刷済み用紙２０４に反りやたわみなどが発生している場合は、撮像画像データ内の用紙２０４の画像では、実線４０３に示すように用紙の輪郭に歪みが生じ、台形から少しずれた形状となる。なお、図４は、印刷済み用紙に反りやたわみのみが発生しており、折れ曲がりがない場合の用紙領域画像の例を示しており、点Ａ，Ｂ，Ｃ，Ｄは、用紙の四隅の頂点に対応している。

このように撮像画像中から印刷済み用紙の輪郭（及びそれにより囲まれる用紙領域画像）が検出されると、次にＣＰＵ１０１は、その輪郭情報に基づき、撮像画像中の用紙領域画像の輪郭上に複数の節点を設定（すなわち各節点の位置を決定）する（Ｓ３０６）。これら輪郭上に設定した節点を輪郭節点と呼ぶことにする。輪郭節点は、辺の曲がりの強い部分ほど密に配置する。これにより、辺のうちの隣り合う輪郭節点同士の区間がほぼ直線と見なせるようにする。この輪郭節点の設定処理の具体例は、後に詳しく説明する。

次にＣＰＵ１０１は、設定した輪郭節点群により用紙領域画像をメッシュ分割する（Ｓ３０７）。このメッシュ分割では、図７に示すように、輪郭における２組の向かい合う辺の輪郭節点同士をそれぞれそれら２辺の延伸方向の順、例えば右から順や上から順に、それぞれペアにしていき、それら節点ペアを線で結ぶことにより、用紙領域画像を略碁盤目状にメッシュ分割する。ただし、用紙領域画像は、用紙の反りやたわみにより、輪郭の辺が曲線となっているので、向かい合う辺の輪郭節点のペアを直線で結ぶのではなく、もう１組の向かい合う各辺の曲がりを反映した形状の線（これは概念的には曲線であるが、メッシュ分割という離散化のため実際上はその曲線を近似した折れ線となる）で結ぶ。このような線を分割線と呼ぶことにする。例えば辺ＡＤ上の節点と辺ＢＣ上の節点とを結ぶ分割線は、辺ＡＢや辺ＤＣの曲線形状を反映したものとする。そして、辺ＡＤの節点と辺ＢＣの節点の各ペア間を結ぶ分割線は、辺ＡＢに近いペアほど辺ＡＢの曲線形状に近く、辺ＤＣに近いペアほど辺ＤＣの曲線形状に近くなるようにする。すなわち、節点ペアを結ぶ分割線の形状は、該分割線の位置が辺ＡＢから辺ＤＣに向かって変わるにつれ、辺ＡＢの形状から辺ＤＣの形状へと徐々にその形状が変化していくようにする。このメッシュ分割処理の具体例については、後に詳しく説明する。

このようにメッシュ分割がなされると、次にＣＰＵ１０１は、各メッシュ毎に透視変換を行い、その変換結果を組み合わせることで、反りやたわみ、折れ曲がり等がない状態の印刷済み用紙を正面から見た状態の画像を再構成する（Ｓ３０８）。この変換及び画像再構成の処理の詳細は後述する。

次にＣＰＵ１０１は、上述の処理により再構成、すなわち視点や反り、たわみなどが補正された用紙領域画像を、当該印刷結果の基になった印刷データが示す画像（以下、オリジナル画像と呼ぶ）と比較することで、印刷済み用紙上に形成されている画像の良否を検査する。比較対象であるオリジナル画像は、印刷処理を実行する際にＲＡＭ１０５上に作成したものを、この比較処理の段階まで保持しておけばよい。この比較処理としては、公知の様々な処理方法を用いることができる。概略的に言えば、この比較処理では、再構成された用紙領域画像とオリジナル画像との差分を計算し（Ｓ３０８）、この差分の画像を調べることで、印刷済み用紙上の画像の欠陥を検出する（Ｓ３１０）。すなわち、例えば印刷結果に汚れがあると、再構成された用紙領域画像からオリジナル画像を引いた差分画像に黒点が残り、この逆に印字抜けがあると再構成された用紙領域画像をオリジナル画像から引いた差分画像に黒点が残る。そこで、差分画像を適当な濃度の閾値を設定して２値化することで黒点など画像欠陥の検出が可能となる。画像欠陥が検出された場合には、ユーザーインタフェース上で警告を発したり、プリント管理ソフトウエアなどを利用して、ネットワークを通してホスト装置へ警告を発したり、さらにはリモート保守システムなどを介してネットワークを通してプリンタの保守業者へ通知することも可能である。

以上では黒点などの局所的な画像欠陥の検出について述べたが、全体的な濃度のむらや濃度シフトなどの画質不良も、上述の差分画像において０より大きい値を持つ画素領域ができるので、同様に検出することができる。

以上、本実施形態の装置の全体的な処理を説明した。次に、Ｓ３０６の輪郭節点の設定処理の具体例を説明する。

ここでは、輪郭線の曲がりが急な部分ほど節点を密に設定するというストラテジーに従って節点設定を行う。この設定処理の一例を図５を参照して説明する。

図５では、図４に示した用紙領域画像の輪郭４０３のうち、辺ＣＤに対する節点設定の考え方を示す図である。（ａ）は横軸にｙ座標を縦軸にｘ座標を取ったときの辺ＣＤの様子を示す。（ｂ）は、（ａ）のグラフに示される辺ＣＤの曲線ｘ＝ｃ（ｙ）（ｃ（）はｙの関数）をｙで一次微分したものである。すなわち、（ｂ）はｘ'＝ｄｃ（ｙ）/ｄｙをプロットしたグラフである。なお、計算処理上では、ｘ座標の一階差分をとることで一次微分の代わりとする。（ｃ）は（ａ）のグラフの曲線ｘ＝ｃ（ｙ）をｙで二次微分したものである。計算処理上では、曲線ｘ＝ｃ（ｙ）の一次差分（（ｂ）のグラフに示される）に対し、更にｘ'座標の差分をとることで、二階差分を計算し、これを二次微分ｘ”とする。

このようにして求めた二次微分ｘ”は曲線ｘ＝ｃ（ｙ）の傾きの変化率を示しているので、二次微分ｘ”が大きいほど、曲線ｘ＝ｃ（ｙ）が曲がりが急であるといえる。そこで、二次微分ｘ”が大きい箇所ほど密に節点を設定する。

図５の例では、（ｃ）のｘの二階差分値ｘ”のグラフを一定間隔の閾値ｔｈ₁，ｔｈ₂，・・・で区切り、ｘ”のグラフがこれらの閾値と交わった点のｙ座標値を、節点のｙ座標値とする。そして、これら各節点のｙ座標値に対応する曲線ｘ＝ｃ（ｙ）のｘ座標を（ａ）のグラフから求めることで、各節点の座標（ｘ，ｙ）を特定できる。このような処理によれば、輪郭の曲線の曲がりが急な部分ほど密に節点を設定できる。ただし、ここに示した手法はあくまで一例であり、輪郭の曲線の曲がりが急な部分ほど密に節点を設定するための方法としては、この他にも様々な方法がある。なお、辺ＣＤの両端の点Ｃ，Ｄも、節点として選ぶ。

以上、辺ＣＤ上の節点の設定の仕方について説明したが、他の辺ＡＢ，ＢＣ，ＤＡについても同様にして節点群を設定することができる。

以上に説明した輪郭節点の設定処理は、用紙領域画像における用紙四隅の点Ａ，Ｂ，Ｃ，Ｄが分かった後の処理である。用紙四隅の点Ａ，Ｂ，Ｃ，Ｄを求めるには、例えば用紙領域画像の輪郭線上で、隣接する画素を順にたどっていき、それら各輪郭画素のｙ及びｘ座標の値を順にプロットしていく。図６は、輪郭画素のｙ座標の値を、それら輪郭画素の並び順に従ってプロットしたグラフである。このグラフにおいて、ｙ座標の輪郭画素番号についての二階差分を計算すると、輪郭線が折れ曲がる点Ａ，Ｂ，Ｃ，Ｄでは二階差分値が他の部分より大幅に大きい値として出てくる。したがって、二階差分値のグラフのピークのうち、その二階差分値が所定の閾値を超えるピークを、輪郭線が折れ曲がる点に対応するピークと判定し、そのピークの画素番号とｙ座標を求める。ｘ座標についても、同様の処理を行うことで、輪郭線が折れ曲がる点に対応するピークの画素番号とｘ座標を求める。そして、同じ画素番号を持つピークのｘ，ｙ座標を組み合わせることで、輪郭線が折れ曲がる点の座標が得られる。

一般に、印刷装置から排出される印刷済みの枚葉紙は、図４の例ように、反りやたわみはあっても、折れ曲がっていることは稀であるので、上述の手法で用紙の四隅の点が特定できる。このように輪郭線を四隅の点で辺に分割できれば、各辺ごとに、その辺を構成する各画素の座標値を調べることで、ｘ，ｙのどちらを変数とすればその辺を関数として表せるかを求めることができる。このようにして各辺を関数として表せれば、上述の手法により、それら各辺の上に節点を設定することができる。

印刷済み用紙に折れ曲がりがある場合も、同様にして図６に示すような輪郭画素の並びに沿った座標値のグラフを求め、その二階差分を求めることで、用紙四隅の点と同じ原理で、折れ曲がり点を求めることができる。そして、それら各折れ曲がり点で用紙領域画像の輪郭線を分割し、各分割部分毎に上述の手法を適用することで、節点を設定できる。この場合、折れ曲がり点も節点として選択する。

もっとも、印刷装置から出力される印刷済み用紙が折れ曲がることは稀なので、一般的には、図４及び図５で説明したように、用紙四隅の点が求められれば問題ない。

なお、向かい合う辺上の節点の数が異なってしまうと、以降の処理が実行出来ないので、対向する辺上の節点数が異なってしまった場合は、例えば節点数の少ない方の辺についての二階差分値の閾値間隔を小さくすることで節点数を増やし、節点数が多い方と数が一致するようにする。節点数が少ない方の辺に合わせることも考えられるが、変換精度を良くするには、節点数の多い辺に合わせた方がよい。

次に図７を参照して、Ｓ３０７のメッシュ分割処理の具体例を説明する。

この処理では、用紙領域画像の輪郭線上に設定した輪郭節点群に基づき、順に外側から内側へとメッシュの節点（これは輪郭節点に対して内部節点と呼ぶ）の位置を求めていく。これら内部節点群を線分で結ぶことで、向かい合う辺上の節点ペア同士を結んだ（且つもう一方の向かい合う辺の曲線形状を反映した）分割線が形成され、それら分割線により用紙領域画像が複数の四辺形のメッシュに分割される。

この内部節点の位置の決め方を具体例を挙げて説明する。ここでは、図７における四辺形メッシュｐ₀₀ｐ₀₁ｐ₁₁ｐ₁₀（ｐ_kl（ｋ，ｌは０〜ｎの整数）は節点）のうちの、節点ｐ₁₁の座標（ｘ₁₁，ｙ₁₁）を求める場合を例にとって説明する。すなわち、この例では、四辺形メッシュを構成する４節点のうち、ｐ₀₀，ｐ₀₁，ｐ₁₀の３点は輪郭節点なのでその位置座標が既知であるのに対し、残りの節点ｐ₁₁の位置座標は未知なので、これを計算する。

この計算では、まず辺ｐ₀₁ｐ₁₁と平行なベクトル（ａ，ｂ）を求める。これは、ベクトルｐ₀₀ｐ₁₀＝（ｘ₁₀−ｘ₀₀，ｙ₁₀−ｙ₀₀）と、ベクトルｐ_0nｐ_1n＝（ｘ_1n−ｘ_0n，ｙ_1n−ｙ_0n）を用い、さらに辺ｐ₀₀ｐ₀₁とｐ₀₁ｐ_0nのｙ座標成分の比（ｙ方向長さ同士の比）から、

ａ＝｛（ｙ_0n−ｙ₀₁）×（ｘ₁₀−ｘ₀₀）＋（ｙ₀₁−ｙ₀₀）×（ｘ_1n−ｘ_0n）｝/（ｙ_0n−ｙ₀₀）・・・（３）

ｂ＝｛（ｙ_0n−ｙ₀₁）×（ｙ₁₀−ｙ₀₀）＋（ｙ₀₁−ｙ₀₀）×（ｙ_1n−ｙ_0n）｝/（ｙ_0n−ｙ₀₀）・・・（４）

として算出される。これら（３）、（４）式は、隣り合う輪郭節点同士を結ぶベクトルｐ₀₀ｐ₁₀及びベクトルｐ_0nｐ_1nを、それら各ベクトルの始点ｐ₀₀及びｐ_0nを結ぶ線上でのベクトル（ａ，ｂ）の始点ｐ₀₁の位置の内分比で加重平均する演算である。

そして、このように求められたベクトル成分（ａ，ｂ）と頂点ｐ₀₁の座標を用いて、頂点ｐ₀₁を通りベクトル（ａ，ｂ）に平行な直線式ｙ＝f（ｘ）を求める。

同様にして辺ｐ₁₀ｐ₁₁に平行なベクトル成分（ｃ，ｄ）を、ベクトルｐ₀₀ｐ₀₁＝（ｘ₀₁−ｘ₀₀，ｙ₀₁−ｙ₀₀）、ベクトルｐ_m0ｐ_m1＝（ｘ_m1−ｘ_m0，ｙ_m1−ｙ_m0）、及び辺ｐ₀₀ｐ₁₀とｐ₁₀ｐ_m0のｘ座標成分（ｘ方向長さ）の比を用いて、上記（３）及び（４）式と同様の式により算出する。そして、ベクトル成分（ｃ，ｄ）と頂点ｐ₁₀の座標を用いて、頂点ｐ₁₀を通りベクトル（ｃ，ｄ）に平行な直線式ｙ＝g（ｘ）を求める。

そしてｙ＝f（ｘ）とｙ＝g（ｘ）との交点の座標を計算し、この座標を未知節点ｐ₁₁の座標（ｘ₁₁，ｙ₁₁）に決定する。なお、座標は画素単位で求める必要があるため、交点座標が小数になった時は四捨五入して整数に変換する。

このようにして内部節点ｐ₁₁の座標が求められると、次は、節点ｐ₀₁，ｐ₀₂，及びｐ₁₁の位置座標と、ベクトルｐ₀₁ｐ₁₁とベクトルｐ_0nｐ_1n、及びベクトルｐ₀₁ｐ₀₂とベクトルｐ_m1ｐ_m2の情報を用いて、上述の同様の方法で未知の内部節点ｐ₁₂の位置を決定することができる。このようにして、略台形の用紙領域画像の四隅から順に内側に向かって順番に各内部節点の位置を決めていくことができる。

以上に説明したように、この計算処理では、四辺形メッシュを構成する４節点のうちの３点の位置が既知であることを前提とし、残りの１つの未知節点の位置を、それら３つの既知節点の位置と、その四辺形メッシュの各辺を含んだ各メッシュ分割線が用紙領域画像の輪郭線と交わる位置の輪郭節点（合計８つ）の位置の情報から求める。例えば、四辺形メッシュｐ_ijｐ_i(j+1)ｐ_(i+1)(j+1)ｐ_(i+1)jのうちのｐ_(i+1)(j+1)が未知節点であった場合、残りの３つの節点ｐ_ij，ｐ_i(j+1)，ｐ_(i+1)jと、輪郭節点ｐ_i0，ｐ_(i+1)0，ｐ_in，ｐ_(i+1)n，ｐ_0j，ｐ_0(j+1)，ｐ_mj，ｐ_m(j+1)から、その未知節点ｐ_(i+1)(j+1)を計算する。言い換えれば、用紙領域画像における縦方向の隣り合う２本のメッシュ分割線で区切られる短冊状領域と、横方向の隣り合う２本のメッシュ分割線で区切られる短冊状領域と、の交わりの部分を注目する四辺形メッシュとした場合、その四辺形メッシュの未知節点は、四辺形メッシュの３つの既知節点の情報と、それら交わる２つの短冊状領域の両端の輪郭節点（１短冊状領域当たり４つ）の情報から、未知節点の座標を求めることになる。

このようにして未知の内部節点の座標を計算することで、１つの四辺形メッシュができる。そして、計算できた内部節点を既知節点として用い別の未知節点の計算していくという処理を繰り返すことで、用紙領域画像全体を四辺形メッシュ群に分割することができる。

このようにメッシュ分割が完了すると、次に各メッシュをそれぞれ透視変換（Ｓ３０８）して、用紙の反りや歪みが補正され且つ正面から見た用紙の画像を再構成することになる。この透視変換処理のために、各メッシュ毎に変換式（或いは変換行列）を求めることになる。この変換式の算出のために、本実施形態では、用紙領域画像中の各メッシュ（変換元）が変換される変換先のメッシュを特定し、これら変換元と変換先のメッシュの各節点同士の対応関係から、変換式を計算する。そこで、まず変換先メッシュの特定処理について説明する。

この変換先メッシュの特定処理のための要素処理の一つとして、撮像画像における用紙の見かけの高さｈ_i（ｉ＝０〜ｎ）を求める処理がある。この処理を、図８および図９を用いて説明する。

先に述べた方法によって、用紙領域画像８０４の輪郭を構成する一辺ＡＢをｎ分割した時のｉ番目の節点Ｐ_iと、ＣＣＤカメラ１１０の撮像エリア８００の中央の垂直線８０２との関係を図８に示す。ここで、辺ＡＢ上の点Ｐ_iから垂直線８０２へ垂線を下ろしたとき、この垂線の足Ｓのｙ座標の値がｙ_iであるとする。また、頂点Ａと頂点Ｂとを直線で結んだベースライン（図中破線で示す）とこの垂線Ｐ_iＳとの交点をＴとしたとき、線分ＴＳの長さがｘ_iであるとする。また、線分Ｐ_iＴの長さを、ベースラインＡＢに対する節点Ｐ_iの変位ｄｘ_iとする。

次に図９に、三次元空間において、反りやたわみのある用紙をｙ軸方向から見た時（すなわち視線方向がｙ軸方向）の、用紙の輪郭とベースラインの、撮像素子受光面上（すなわち撮像画像上）での対応関係を示す。実空間中でベースラインに対し高さＨ_iの所にある用紙輪郭線は、撮像画像中のベースラインよりもｄｘ_iだけ離れた場所で像を結ぶ。レンズから受光面までの距離をｆとした時、用紙の撮像素子上での見かけの高さｈ_iは、

ｈ_i ＝ｄｘ_i×ｆ/（ｘ_i＋ｄｘ_i）・・・（５）

となる。ｄｘ_i，ｘ_i，ｆは既知なので、ｈ_iが計算できる。この（５）式の計算は、特開平１０−６５８７７号公報に示されるものと同様の処理である。

ｈ_iは、撮像画像のｘｙ座標系と同一スケールの三次元ｘｙｚ座標系を考えた場合における、用紙輪郭上の点のベースラインに対する高さを示している。この処理を、用紙画像領域の輪郭の各辺上の各輪郭節点に対して施すことにより、各辺の輪郭節点の、当該辺に対応するベースラインに対する高さ、を求めることができる。

このように各輪郭節点のベースラインに対する高さが求められると、変換先メッシュの特定処理では、次に、その高さ情報を利用して、反りやたわみのある用紙の辺ＡＢ、ＢＣ、ＣＤ，ＤＡを直線に伸ばしたときの、辺上の隣接節点間の長さを求める。ここでは、図１０Ａ及び図１０Ｂを用い、辺ＡＢを例にとってこの処理を説明する。

この処理では、曲がっている辺ＡＢをベースライン方向に伸張した時の、各分割区間のベースライン方向の見かけ上の長さΔｌを算出する。図１０Ａに示すように、Δｌは次式のように近似できる。

Δｌ＝ √（Δｙ²＋Δｈ²）・・・（６）
ここで、Δｙ＝ｙ_k+1−ｙ_k（０≦ｋ≦ｎ−１）、Δｈ＝ｈ_k+1−ｈ_k（０≦ｋ≦ｎ−１）である。ｙ_k及びｈ_kは、それぞれ輪郭節点のｙ座標及びベースラインに対する高さである。このようにして各区間毎に算出したΔｌを元に、カールした辺ＡＢをベースライン方向に伸張すると図１０Ｂに示すようになる。

ここで、各区間毎に算出したΔｌの比が、用紙領域画像８０４を透視変換した後に得られるべき矩形領域（すなわち用紙を正面から見た時の矩形）における、辺ＡＢに対応する辺の分割比となる。

図１１に透視変換を施した後の矩形領域を示す。図１１中の頂点Ａ'Ｂ'Ｃ'Ｄ'は、透視変換前の撮像画像中の用紙領域画像の四隅の頂点ＡＢＣＤに順に対応する。ここで、辺Ａ'Ｂ'を先に述べた各分割区間のΔｌの比で分割する。これにより、辺Ａ'Ｂ'は辺ＡＢと同じ分割区間長さの比で、同じ分割数に分割される。以上、縦の辺Ａ'Ｂ'について説明したが、横の辺Ａ'Ｄ'も同様にして分割することができる。

そして、辺Ａ'Ｂ'と辺Ａ'Ｄ'上の各分割点からそれぞれｘ軸およびｙ軸に平行な直線を引くと、矩形領域が矩形メッシュ群に分割される。これら各矩形メッシュが、用紙領域画像において対応する位置にある四辺形メッシュの透視変換先となる。

この透視変換のための変換式は、各メッシュ毎に計算する。この変換式の計算では、透視変換の一般式に、変換先の矩形メッシュと変換元の四辺形メッシュの四隅の各節点ｘ，ｙ座標を代入し、この結果得られる連立方程式を解くことにより求めることができる。この透視変換式の計算について以下に説明する。

図１２に示すように、矩形の用紙を正面から見た時の画像である矩形画像ａｂｃｄから、同じ矩形用紙を斜め方向から見た時の画像である台形画像ＡＢＣＤへの変換を考える。このとき、矩形画像内の点（ｘ，ｙ）から、その点に対応する台形画像内の点（Ｘ，Ｙ）への透視変換は、周知のごとく次の（７）及び（８）式で表される。

Ｘ＝（ａｘ＋ｂｙ＋ｃ）／（ｐｘ＋ｑｙ＋１）・・・（７）
Ｙ＝（ｄｘ＋ｅｙ＋ｆ）／（ｐｘ＋ｑｙ＋１）・・・（８）

したがって、透視変換を規定するパラメータはａ〜ｆ、及びｐ，ｑの８個であるが、矩形画像及び台形画像のそれぞれの４頂点の座標を上記（７）及び（８）式に代入すると８つ式からなる連立方程式が得られるので、この連立方程式を解くことで、８個のパラメータの値を求めることができる。このようにして、正面から見た矩形用紙の画像を斜めから見た状態の画像に変換する透視変換の式が特定できる。

撮像画像中の四辺形メッシュは、目的とする用紙の正面画像中の矩形メッシュが斜めを向いたものと捉えることができる。それら各メッシュの四隅の頂点の座標は上述の計算で求められているので、それら各点の座標を変換式（７）及び（８）に代入することで、矩形メッシュ上の点から四辺形メッシュ上の点への変換式の未知パラメータａ〜ｆ、及びｐ，ｑを計算することができる。

これらパラメータ値を代入した（７）及び（８）式に、目的とする用紙の正面画像の矩形メッシュ内の任意の画素Ｐの座標（ｘ_P，ｙ_P）を代入すれば、撮像画像中の四辺形メッシュ内におけるその画素Ｐの対応点の座標（Ｘ_P，Ｙ_P）が計算できる。したがって、目的とする矩形メッシュ内の画素Ｐの値は、四辺形メッシュ内の対応点（Ｘ_P，Ｙ_P）の周囲近傍の画素群の値から求めることができる。これは、例えば、ビットマップ画像の解像度変換に用いられる処理と同様、対応点の周囲近傍の各画素の値を、それら各画素と対応点との近さに応じて加重平均するなどの処理でよい。

以上のような計算処理を各メッシュ毎に実行することにより、反りやたわみのある用紙を斜めから見た用紙領域画像を、反りやたわみを平らに伸ばした状態で正面から見た画像に補正することができる。

このように補正した画像を、用紙に対した印刷データの示す画像と比較（Ｓ３０９及びＳ３１０）することで、用紙に印刷された画像の欠陥などを検出することができる。

以上、本発明の実施形態を説明したが、この実施形態によれば、出力した用紙にカールなど３次元的な凹凸が発生した場合でも、撮像画像中の用紙領域をメッシュ状に分割し、メッシュ毎に透視変換処理を施して正面から見た画像を生成することにより、より精度の良い変換が可能となり、ひいてはより精度よく画像欠陥の有無を検査できるようになる。

特許文献２に示される従来技術では、用紙領域画像の１組の向かい合う辺上の節点同士を順に直線で結ぶことにより用紙領域画像を三角形パッチに分割したため、それら向かい合う辺同士の距離が長く、その間での用紙の反りやたわみが無視できない時には、精度の良い変換ができなかった。これに対し、本実施形態では、用紙領域画像の輪郭に設定した節点に基づき、用紙領域画像の内部にも節点を設定し、それら節点によりメッシュ分割を行うようにしたので、用紙が縦横に反っていたりたわんでいたりする場合も、精度のよい変換を実現することができる。

なお、以上の例では、目的とする矩形の用紙画像を図１１のごとくメッシュ分割する際、隣り合う２辺ＡＤ，ＡＢを輪郭節点で分割した時の分割比を代表として用い、矩形のメッシュに分割した。しかしながら、実際には、向かい合う辺ＡＤとＢＣの間、ＡＢとＣＤの間で、輪郭節点による分割比が一致しないこともあり得る。このような場合、用紙領域画像８０４の各辺ＡＢ，ＢＣ，ＣＤ，ＤＡについてそれぞれ輪郭節点による辺の区間分割の比を上述の手法で計算し、これら各分割比に従って図１３に示すように目的とする矩形の用紙画像の対応する辺Ａ'Ｂ'、Ｂ'Ｃ'、Ｃ'Ｄ'、Ｄ'Ａ'を分割し、向かい合う辺の分割点同士を結ぶことで矩形の用紙画像をメッシュ分割する。そして、変換前の用紙領域画像内の四辺形メッシュを、目的とする矩形の用紙画像の対応メッシュに変換するよう、上述の計算手順で変換式を計算する。図１３では強調して描いたが、実際には向かい合う辺同士の分割比が大きく異なることはないので、この方法でかなり精度の良い変換が可能である。

次に、上記実施形態の変形例を説明する。上記実施形態では、撮像画像中の用紙領域画像のメッシュ分割を先に行い、このメッシュ分割結果に従って変換先の矩形画像領域をメッシュ分割したのに対し、この変形例では、変換先の矩形画像領域を先にメッシュ分割し、それに合わせて撮像画像の用紙領域画像をメッシュ分割する。

より詳しくは、この変形例では、まず変換先の矩形画像領域Ａ'Ｂ'Ｃ'Ｄ'を、図１４に示すように、ｘ方向及びｙ方向の分割線で碁盤目上にメッシュ分割する。ここでは、例えば各方向の分割線同士がそれぞれ等間隔になるように分割する。そして、この分割の分割比に従って、変換元の用紙領域画像の各辺を分割すればよい。

この処理は、例えば用紙領域画像の辺ＡＢを例にとった場合、図１０Ａ中のΔｙを順次算出する処理になる。この処理は次のようになる。

この処理では、まず反りやたわみのある辺ＡＢをベースライン方向に伸張した時のベースライン方向の見かけの全長Ｌを計算する。この全長Ｌは、辺ＡＢのｙ座標成分を適当な間隔で等分割し、各分割区間毎に、上記実施形態の図１０Ａ及び図１０Ｂを用いて説明した計算により、それら各分割区間のベースライン方向の見かけ上の長さΔｌを算出し、これらを累積することで求められる。

次に全長Ｌを上述の矩形画像領域の対応辺の分割数で割ることで、辺ＡＢをベースライン方向に伸長したときの見かけ上の全長を等分割したときの分割区間の長さΔｌ'を求める。

一方、図９を用いて説明した手法により、辺ＡＢの各点のベースラインに対する高さｈ_iを計算しておく。

そして図１０Ｂにおいて、注目点を頂点Ｂから辺ＡＢに沿ってｙ軸の正の方向に移動させていき、その注目点のｙ座標及びベースラインからの高さｈ_iから式（５）および式（６）で求められる長さΔｌが、上述の等分割の区間長さΔｌ'と等しくなるときの、当該注目点のｙ座標値を求める。このようにして１つの分割点ｙ座標値が求まったら、次にこの値を基点として同様に注目点をｙ軸の正の方向に移動させていき、次にΔｌがΔｌ'と等しくなるｙ座標値を求めていく。これを繰り返すことで、辺ＡＢの分割位置、すなわち輪郭節点の位置が求められる。他の辺についても同様にして、矩形領域のメッシュ分割に応じた輪郭節点の位置を計算する。

このように用紙領域画像の各辺の輪郭節点が求められると、後は上述の実施形態と同様、図７を用いて説明した方法により、用紙領域画像をメッシュ分割することができる。このようにして、変換先の矩形画像領域のメッシュ分割に応じ、変換元の用紙領域画像がメッシュ分割できると、後はそれら変換元と変換先の対応メッシュ間で、上述の実施形態と同様の計算で透視変換を行うことにより、用紙領域画像から矩形の画像を求めることができる。

以上、本発明を実施するための最良の形態とその変形例を説明した。以上に例示した装置は、排紙トレイ２０３上に排出された印刷済み用紙を検査するためのものであったが、印刷された用紙が排出されるまでの経路上に、その用紙の印刷面を撮像する機構を設けてもよい。また、本発明の手法は、そのような印刷結果の品質検査のための装置に限らず、様々な用途の装置に適用可能である。

本発明が適用される印刷制御装置のハードウエア構成の一例を示すブロック図である。印刷済みの用紙とそれを撮像するカメラとの位置関係を説明するための図である。印刷制御装置による出力画像検査処理の手順を示すフローチャートである。排紙トレイ上の印刷済み用紙を撮影して得た撮像画像の一例を模式的に示す図である。撮像画像中の用紙の画像の各辺に対する節点の位置の決め方の一例を説明するための図である。撮像画像中の用紙の画像の四隅の点を特定する手法の一例を説明するための図である。撮像画像中の用紙の画像に対するメッシュ分割の手法を説明するための図である。撮像画像における用紙の見かけの高さを求める処理を説明するための図である。撮像画像における用紙の見かけの高さを求める処理を説明するための図である。反りやたわみのある用紙の画像の辺を直線に伸ばしたときの、辺上の隣接節点間の長さを求める処理を説明するための図である。反りやたわみのある用紙の画像の辺を直線に伸ばしたときの、辺上の隣接節点間の長さを求める処理を説明するための図である。撮像画像中の用紙の画像の変換先となる矩形画像領域のメッシュ分割の例を示す図である。撮像画像中の用紙の画像の変換先となる矩形画像領域との関係を示す図である。撮像画像中の用紙の画像の変換先となる矩形画像領域のメッシュ分割の別の例を示す図である。撮像画像中の用紙の画像の変換先となる矩形画像領域のメッシュ分割の別の例を示す図である。

符号の説明

１０１ＣＰＵ、１０２データバス、１０３外部インタフェース回路、１０４ＨＤＤ、１０５ＲＡＭ、１０６ＩＯＴコントローラ、１０７ＣＣＤカメラインタフェース回路、１０９ＲＯＭ、１１０ＣＣＤカメラ。

Claims

非接触で用紙を撮像して得られた撮像画像に含まれる用紙画像を、前記用紙が平らに伸ばされた状態の画像へと補正する画像補正装置であって、
前記撮像画像から前記用紙画像の輪郭線を検出し、該輪郭線上に複数の輪郭節点を設定する輪郭節点設定手段と、
前記各輪郭節点の位置に基づき、前記輪郭線内部に複数の内部節点を設定し、それら輪郭節点及び内部節点を線分で結ぶことにより、前記用紙画像を複数のメッシュに分割するメッシュ分割手段と、
前記メッシュ分割手段で分割された各メッシュを個別に透視変換することで、前記用紙が平らに伸ばされた状態の画像に対応する補正画像を構成する画像変換手段と、
を備え、
前記輪郭節点設定手段は、前記用紙画像の輪郭線を構成する４辺において、向かい合う２辺ごとに同じ数の輪郭節点を設定し、
前記メッシュ分割手段は、前記用紙画像の四隅から内側に向かう順に、「く」の字形状を構成するように隣り合う、位置が既定の３つの輪郭節点又は内部節点の位置に基づき、それら３つの節点と共に四辺形を構成する内部節点の位置を決定するという処理を繰り返すことで、前記内部節点群を設定し、
前記メッシュ分割手段は、前記隣り合う３つの位置が既定の輪郭節点又は内部節点と共に四辺形を構成する内部節点の位置を決定する際に、前記用紙画像の４辺上の隣接する輪郭節点同士を結んでできるベクトルのうち、その四辺形に対応する４つのベクトルを利用することを特徴とし、
前記メッシュ分割手段は、前記４つのベクトルのうちの前記向かい合う２辺ごとの２つのベクトル同士を、それぞれそれら向かい合う２辺と当該四辺形のとの距離に応じて加重平均したベクトルにより、前記「く」の字形状の２つの端点である節点から前記位置決定対象の内部節点へと延びる２つのベクトルの各々の向きを求めることを特徴とする画像補正装置。
請求項１記載の画像補正装置であって、
前記輪郭節点設定手段は、前記用紙画像の輪郭を構成する各辺毎に、当該辺において曲がりが急なところほど輪郭節点の密度が高くなるよう、各輪郭節点の位置を決めることを特徴とする画像補正装置。
請求項１記載の画像補正装置であって、
前記画像変換手段は、前記用紙が平らに伸ばされた状態の画像が占めるべき目的領域を、前記メッシュ分割手段による前記用紙画像のメッシュ分割結果に応じてメッシュ分割し、該目的領域のメッシュの頂点となる各節点と、前記用紙画像においてそのメッシュに対応するメッシュの各節点との間の透視変換の式を計算し、この式に前記用紙画像の各メッシュの透視変換を行うことを特徴とする画像補正装置。
請求項３記載の画像補正装置であって、
前記画像変換手段は、前記目的領域をメッシュ分割するに当たり、前記目的領域の各辺を、前記用紙画像の各辺における隣り合う輪郭節点同士の間隔に応じて分割し、この分割結果に基づき前記目的領域をメッシュ分割することを特徴とする画像補正装置。
請求項１記載の画像補正装置であって、
前記用紙が平らに伸ばされた状態の画像が占めるべき目的領域を縦横の直線により矩形のメッシュ群に分割する目的領域分割手段を備え、
前記メッシュ分割手段は、前記目的領域分割手段によるメッシュ分割の結果に応じて、前記用紙画像をメッシュ分割する、
ことを特徴とする画像補正装置。
入力された原稿画像を用紙に対して印刷する印刷装置と、
前記印刷装置により印刷された用紙の印刷面を撮像する撮像装置と、
前記撮像装置による撮像画像に含まれる用紙画像を、前記用紙が平らに伸ばされた状態の画像へと補正するための請求項１乃至５のいずれか１項に記載の画像補正装置と、
前記画像補正装置により補正された前記用紙画像を前記原稿画像と比較することで、前記印刷手段による前記用紙への印刷の品質を検査する検査装置と、
を備える印刷システム。
非接触で用紙を撮像して得られた撮像画像に含まれる用紙画像を、前記用紙が平らに伸ばされた状態の画像へと補正する画像補正装置として、コンピュータシステムを機能させるためのプログラムであって、該コンピュータシステムを、
前記撮像画像から前記用紙画像の輪郭線を検出し、該輪郭線上に複数の輪郭節点を設定する輪郭節点設定手段、
前記各輪郭節点の位置に基づき、前記輪郭線内部に複数の内部節点を設定し、それら輪郭節点及び内部節点を線分で結ぶことにより、前記用紙画像を複数のメッシュに分割するメッシュ分割手段、
前記メッシュ分割手段で分割された各メッシュを個別に透視変換することで、前記用紙が平らに伸ばされた状態の画像に対応する補正画像を構成する画像変換手段、
として機能させるためのプログラムであって、
前記輪郭節点設定手段は、前記用紙画像の輪郭線を構成する４辺において、向かい合う２辺ごとに同じ数の輪郭節点を設定し、
前記メッシュ分割手段は、前記用紙画像の四隅から内側に向かう順に、「く」の字形状を構成するように隣り合う、位置が既定の３つの輪郭節点又は内部節点の位置に基づき、それら３つの節点と共に四辺形を構成する内部節点の位置を決定するという処理を繰り返すことで、前記内部節点群を設定し、
前記メッシュ分割手段は、前記隣り合う３つの位置が既定の輪郭節点又は内部節点と共に四辺形を構成する内部節点の位置を決定する際に、前記用紙画像の４辺上の隣接する輪郭節点同士を結んでできるベクトルのうち、その四辺形に対応する４つのベクトルを利用することを特徴とし、
前記メッシュ分割手段は、前記４つのベクトルのうちの前記向かい合う２辺ごとの２つのベクトル同士を、それぞれそれら向かい合う２辺と当該四辺形のとの距離に応じて加重平均したベクトルにより、前記「く」の字形状の２つの端点である節点から前記位置決定対象の内部節点へと延びる２つのベクトルの各々の向きを求めることを特徴とするプログラム。