JP3983721B2 - 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム - Google Patents
画像歪み補正装置、画像読取装置、画像形成装置及びプログラム Download PDFInfo
- Publication number
- JP3983721B2 JP3983721B2 JP2003204286A JP2003204286A JP3983721B2 JP 3983721 B2 JP3983721 B2 JP 3983721B2 JP 2003204286 A JP2003204286 A JP 2003204286A JP 2003204286 A JP2003204286 A JP 2003204286A JP 3983721 B2 JP3983721 B2 JP 3983721B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanning direction
- character
- line
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 135
- 238000001514 detection method Methods 0.000 claims description 67
- 238000000605 extraction Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 100
- 238000012545 processing Methods 0.000 description 90
- 238000010586 diagram Methods 0.000 description 52
- 230000006870 function Effects 0.000 description 17
- 239000011521 glass Substances 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000003705 background correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000000859 sublimation Methods 0.000 description 1
- 230000008022 sublimation Effects 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像歪み補正装置、画像読取装置、画像形成装置及びプログラムに関する。
【０００２】
【従来の技術】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿としてブック原稿を用いた場合には、図７１に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法としては、非特許文献１に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【０００５】
また、特許文献１には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【０００６】
さらに、特許文献２には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法が提案されている。
【０００７】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【０００８】
また、特許文献１に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【０００９】
さらに、特許文献２に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
【００１０】
そこで、本出願人は、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置を特願2002-247643にて提案している。特願2002-247643によれば、ページ外形だけではなく文字行情報および罫線情報を用いて画像の歪みを補正し、しかも、スキャナ（画像読取手段）の固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用していないので、任意のスキャナの出力画像を補正できる。
【００１１】
【非特許文献１】
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24（2）, 125-135（1997）
【特許文献１】
特開平5-161002号公報
【特許文献２】
特開平11-41455号公報
【００１２】
【発明が解決しようとする課題】
ところで、歪み補正処理においては、綴じ部位置を中心としてスキュー補正の画像回転処理を行った後に、綴じ部位置を境とした左右のページに分割して処理を行っている。このような綴じ部位置の検出に際しては、綴じ部付近のページ外形の頂点座標や、最小画素値が存在する位置が有効である。
【００１３】
ところが、ブック原稿（本、冊子など）の置き方によってはスキャン画像に綴じ部付近のページ外形が写り込むとは限らず、また、ブック原稿（本、冊子など）の紙質や綴じ部の強度によっては綴じ部付近の画素値が必ずしも最小画素値になるとは限らない。以上のような不具合により綴じ部位置を誤認識してしまった場合には、歪み補正処理の補正精度に悪影響を及ぼす可能性がある。
【００１４】
本発明の目的は、歪み補正処理の補正精度の向上を図ることができる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することである。
【００１５】
【課題を解決するための手段】
請求項１記載の発明の画像歪み補正装置は、スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いて補正する画像歪み補正装置において、前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出手段と、文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出手段と、最小輝度の代表位置を検出する最小輝度検出手段と、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出手段と、を備え、前記ページ外形検出手段により検出されたページ外形の有無、前記文字無し領域検出手段により検出された文字無し領域、前記最小輝度検出手段により検出された最小輝度の代表位置、前記直線抽出手段により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する。
【００１６】
請求項２記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺の綴じ部付近に前記ページ外形が検出された場合は、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とみなす。
【００１７】
請求項３記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合は、前記最小輝度検出手段にて検出された最小輝度位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００１８】
請求項４記載の発明は、請求項３記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす。
【００１９】
請求項５記載の発明は、請求項３記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線の位置を綴じ部位置とみなす。
【００２０】
請求項６記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合は、前記最小輝度検出手段にて検出された最小輝度の代表位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００２１】
請求項７記載の発明は、請求項６記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす。
【００２２】
請求項８記載の発明は、請求項６記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００２３】
請求項９記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、前記文字無し領域検出手段により適切でない文字無し領域が検出された場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００２４】
請求項１０記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記ページ外形検出手段は、前記スキャン画像の主走査方向上辺から下方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ逆三角形状に分布している場合は前記スキャン画像の主走査方向上辺にページ外形が存在するとみなし、前記スキャン画像の主走査方向下辺から上方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ三角形状に分布している場合は前記スキャン画像の主走査方向下辺にページ外形が存在するとみなす。
【００２５】
請求項１１記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記文字無し領域検出手段は、主走査方向での白黒画素の反転数、もしくは、予め定めた閾値以上と以下の画素が交代する回数、に関するヒストグラムの分布を利用して、前記文字無し領域を検出する。
【００２６】
請求項１２記載の発明は、請求項１１記載の画像歪み補正装置において、ヒストグラムの値が予め定めた閾値以下である副走査方向の連続領域の中で最大の領域を中心とし、他の閾値以下の連続領域が副走査方向でほぼ対称に存在する場合は、前記最大領域を文字や図が存在しない可能性が高い文字無し領域（適切な文字無し領域）とみなし、他の閾値以下の連続領域が副走査方向で対称に存在しない場合は、これら閾値以下の連続領域の全ての左端から右端までを文字や図が存在しない可能性が低い文字無し領域（適切でない文字無し領域）とみなす。
【００２７】
請求項１３記載の発明は、請求項１２記載の画像歪み補正装置において、ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす。
【００２８】
請求項１４記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記最小輝度検出手段は、前記スキャン画像の主走査方向の各ライン上での最大輝度値の中で副走査方向において最小値を与える位置を、最小輝度の代表位置とみなす。
【００２９】
請求項１５記載の発明は、請求項１４記載の画像歪み補正装置において、最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくは前記画像読取手段の光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく。
【００３０】
請求項１６記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記直線抽出手段は、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素の輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する。
【００３１】
請求項１７記載の発明は、請求項１ないし１６のいずれか一記載の画像歪み補正装置において、決定した綴じ部位置と画像読み取りの主走査方向との成す角度を前記スキャン画像のスキュー角度として検出する。
【００３２】
請求項１８記載の発明の画像読取装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし１７の何れか一記載の画像歪み補正装置と、を備える。
【００３３】
請求項１９記載の発明の画像形成装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし１７の何れか一記載の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備える。
【００３４】
請求項２０記載の発明のプログラムは、スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪み補正を当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いてコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出機能と、文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出機能と、最小輝度の代表位置を検出する最小輝度検出機能と、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出機能と、を実行させ、前記ページ外形検出機能により検出されたページ外形の有無、前記文字無し領域検出機能により検出された文字無し領域、前記最小輝度検出機能により検出された最小輝度の代表位置、前記直線抽出機能により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する。
【００３５】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図６９に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【００３６】
ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００３７】
原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００３８】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００３９】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００４０】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００４１】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００４２】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００４３】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００４４】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像の歪み補正機能を実現するスキャン画像の歪み補正処理についてのみ説明する。すなわち、メイン制御部１９は画像歪み補正装置として機能するものである。
【００４５】
図６は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合について説明する。
【００４６】
まず、ステップＳ１において、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する。ここで、図８は入力した画像の一例を示したものである。そして、図９に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１のスキャン画像４１´の近傍において歪みが生じている。
【００４７】
[綴じ部位置の検出]
続くステップＳ２においては、スキャン画像の綴じ部位置を検出する綴じ部位置検出処理を行う。図１０は、綴じ部位置検出処理の流れを概略的に示すフローチャートである。図１０に示すように、まず、ブック原稿４０のスキャン画像の最適２値化処理を実行した後（ステップＳ２１）、綴じ部付近におけるページ外形有無の判定を行う（ステップＳ２２）。
【００４８】
ここで、ステップＳ２２におけるスキャン画像の綴じ部付近のページ外形の有無の判定について説明する。
【００４９】
まず、スキャン画像の上辺の綴じ部付近にページ外形が存在するか否かを判定する手法を説明する。図１１に示すように、スキャン画像の上辺から、主走査方向の距離が予め定められた一定画素数で分割される短冊領域を作成する。上辺の短冊領域（図１１の短冊領域▲１▼）の左端と右端から綴じ部位置に向かって、主走査方向に上記の予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置を、左右ページ内でそれぞれ決定し、その位置を基準点（図１１のＬＵ１，ＲＵ１）とする。左右両ページで上記の副走査方向の位置が決定した場合は、探索中の短冊領域内の上記左右ページの基準点で囲まれた範囲内（図１１のＬＵ１〜ＲＵ１）に存在する黒画素の比率を求める。存在する黒画素の比率が予め定められた閾値以上であれば、次の短冊領域内（図１１の短冊領域▲２▼）にて左右ページで決定した基準点をそれぞれ探索開始点とし、同様の処理を行う。以上のように、短冊領域と探索開始点を更新していき、一連の処理が予め定められた一定値以上の回数行われた場合（例えば、スキャン画像の主走査方向上辺から下方へ向かって黒画素がほぼ逆三角形状に分布している場合）は、綴じ部付近の上辺にページ外形が存在すると判定する。
【００５０】
左右両ページで、主走査方向に予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置が決定しない場合や、主走査方向に予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置は決定したが範囲内の黒画素の比率が予め定められた閾値未満である場合や、上記一連の処理の回数が予め定められた一定値未満であれば、綴じ部付近にページ外形が存在しないと判定する。
【００５１】
なお、スキャン画像の下辺の綴じ部付近にページ外形が存在するか否かの判定も、上記の処理と同様の手法により実現できる。すなわち、スキャン画像の主走査方向下辺から上方へ向かって黒画素がほぼ三角形状に分布している場合はスキャン画像の主走査方向下辺にページ外形が存在すると判定する。
【００５２】
また、スキャン画像がカラー多値画像の場合には、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００５３】
続くステップＳ２３においては、文字無し領域の検出処理を実行する。ここに、文字無し領域検出手段の機能が実行される。このように文字無し領域を検出するのは、綴じ部位置探索範囲を絞るためである。仮に綴じ部位置が正確に検出できなかったとしても、綴じ部付近の文字無し領域内での誤認識であれば歪み補正処理にはさほど支障はきたさないからである。文字無し領域は、綴じ部を含む領域ではあるが、全く文字のない範囲を示すとは限らないため、綴じ部を含み、かつ、全く文字のない可能性が高い範囲を「適切な文字無し領域」と定義する。文字無し領域を検出した際には、検出した文字無し領域が適切な文字無し領域であるか否かの判定も行う。
【００５４】
文字無し領域の検出は、主走査方向に１ラインずつ、白黒の反転数（注目画素と真下（右隣）との画素が白黒で反転している回数）、または、予め定められた閾値以上と以下の画素が交代する回数、を数えてヒストグラムを生成する。ここで、図１２は生成されたヒストグラムの一例を示すものである。
【００５５】
続いて、このようにして生成されたヒストグラムを副走査方向に解析する。ヒストグラムの副走査方向の解析は、図１３に示すように、ヒストグラムの値が予め定められた閾値以下となる座標が連続している箇所（図１３内の▲１▼〜▲５▼）があれば、その箇所の終始点の座標とその距離をリスト化する。リスト化の過程において、注目リストの終点座標と次のデータの始点座標との位置の差が予め定められた一定値以内であれば、それらを統合し１つのリストデータとして扱う（図１３の▲４▼）。すなわち、ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす。次に、全リスト中のそれぞれのリストが有する終始点の座標の中から、文字無し領域の始点座標・終点座標を選択する。横書き画像の行間は副走査方向に垂直であるが、縦書き画像の行間は副走査方向と平行であるため、両者はヒストグラムの傾向が異なる。横書き画像（図１３に示すスキャン画像の左ページ）で副走査方向のヒストグラムの値が予め定められた閾値以下の連続領域は、綴じ部付近のみである場合が多いが、縦書き画像（図１３に示すスキャン画像の右ページ）では、副走査方向のヒストグラムの値が予め定められた閾値以下の連続領域は、一般に複数存在する。そこで、リスト数によって、文字無し領域を推定する。以下、リスト数に応じた文字無し領域の判定について場合を分けて説明する。
【００５６】
図１４に示すように、リスト数が単数の場合には、副走査方向文字無し領域探索範囲内にて着目したリストの始点座標から終点座標までを文字無し領域とし、適切な文字無し領域と判定する。
【００５７】
図１５に示すように、リスト数が複数の場合には、副走査方向文字無し領域探索範囲内の全リスト中で最大の距離を持つリストに着目し、着目リストから前後同距離にあるリスト同士を比べる。全てのリストの組がそれぞれ有している終始座標間の長さの差が一定値以内であれば、副走査方向に平行な行間であるとみなす。左右のページで行間が均一に位置している場合は、最大の距離を持ち、かつ、全リスト中の中央付近に位置するリストの始点座標から終点座標までを文字無し領域とし、適切な文字無し領域と判定する。
【００５８】
一方、図１６に示すように、リスト数が複数あり、かつ、最大の距離を持つリストを中心として、前後のリストの終始座標間距離が対称の並びになっていない場合には、どのリストに綴じ部が含まれているかを断定する材料を欠くため、綴じ部を含まない文字無し領域を検出する恐れがある。このような場合は、副走査方向文字無し領域探索範囲内の先頭リストの開始座標から、最終リストの終点座標までを文字無し領域とする。この場合、検出した文字無し領域内には明らかに文字や図が存在するため、適切な文字無し領域でないと判定する。
【００５９】
また、図１７に示すように、リスト数が０の場合には、副走査方向全体を文字無し領域とする。この場合も、検出した文字無し領域内には明らかに文字や図が存在するため、適切な文字無し領域でないと判定する。
【００６０】
以上のようにして文字無し領域を検出すると、ステップＳ２２におけるスキャン画像の綴じ部付近のページ外形の有無の判定に応じた処理を実行する。
【００６１】
スキャン画像の綴じ部付近にページ外形が存在すると判定し（ステップＳ２４のＹ）、さらにページ外形が上下辺のどちらか一方にのみ存在する場合には（ステップＳ２５のＮ）、ステップＳ２６に進み、ページ外形の頂点を検出するページ外形頂点検出処理を実行する。ページ外形頂点検出処理は、ページ外形の主走査方向の座標値が最も内部に食い込んでいる座標をページ外形頂点とするものである。より具体的には、図１８に示すように、上辺のページ外形の頂点についてはその主走査方向（図１８中、ｙ方向）の座標値が最小の点をページ外形頂点とし、下辺のページ外形の頂点についてはその主走査方向の座標値が最大の点をページ外形頂点とする。なお、ページ外形の検出処理については、各種の処理方法を用いることが可能である。例えば、特許文献２に記載されているような手法を用いることが可能である。ここに、ページ外形検出手段の機能が実行される。
【００６２】
次に、ステップＳ２７に進み、最小輝度の代表位置を検出する。ここで、最小輝度の代表位置検出について説明する。ここでは、主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置を最小輝度の代表位置とみなす。より具体的には、最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくはスキャナ部１のスキャナレンズの光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく。図１９は主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置のヒストグラムであり、この場合、図１９中のＰの位置が最小輝度の代表位置となる。ここに、最小輝度検出手段の機能が実行される。
【００６３】
このようにして最小輝度の代表位置が検出されると、ステップＳ２８に進み、ページ外形頂点と最小輝度の代表位置とを比較する。
【００６４】
ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値以内の場合は、綴じ部付近の画素値が最小となるような輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定し（ステップＳ２９のＹ）、後述するステップＳ３１に進む。
【００６５】
一方、ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値未満の場合は、綴じ部付近の画素値が最小とならない輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定せずに（ステップＳ２９のＮ）、ステップＳ３０に進み、文字無し領域内にて直線抽出を行う。ここに、直線抽出手段の機能が実行される。
【００６６】
ここで、ステップＳ３０における直線抽出処理について詳述する。綴じ部付近では、ある着目画素と副走査方向に一定距離離れた画素との間には、輝度の差が生じている。上記の輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合（図２０参照）を基にハフ変換を行うと、直線と直線の角度が抽出される。ステップＳ３０においては、このようにして抽出された直線を、綴じ部位置と決定する。例えば、図２１に示すように、ｘ−ｙ平面上の点Ｐ（ｘ，ｙ）を通過する直線は下記の式
ρ＝ｘcosθ＋ｙsinθ
を満たす。ρは点Ｐと原点Ｏの距離である。θはＰＯとｘ軸のなす角度である。また、図２２に示すように、ｘ−ｙ平面上の点Ｐは、ρ−θ平面では１本の曲線に射影される。すなわち、ｘ−ｙ平面にて同一直線上に存在する点に対応する曲線は、ρ−θ平面では全て点（ρ，θ）を通過する。ｘ−ｙ平面での点が正確に同一直線上に存在せずに多少の誤差を含んでいても、ρ−θ平面上での対応する曲線は点（ρ，θ）の近傍を通過する。よって、ρ−θ平面を予め定められた一定値の長さのメッシュ領域に区切り、各メッシュを通過する曲線の数をカウントすれば、通過曲線数の多いメッシュ領域に対応してｘ−ｙ平面上の直線が存在するといえる。以上の処理を輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合に対して行う。すると、ρは綴じ部直線に対する垂線、θが綴じ部直線の角度が求められる。また、通過曲線数の多いメッシュを上位から予め定められた数だけ抽出し、綴じ部直線情報の候補を複数保持しておく。直線抽出の優先順位は、上記通過曲線数の順位に準ずるものとする。
【００６７】
次いで、このようにして抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線を綴じ部位置に決定する（ステップＳ３１）。具体的には、図２３に示すように、最小輝度の代表位置と画像を副走査方向に貫く中心線もしくはスキャナの光軸の軌跡との交点を基点とし、画像の上方と下方の各方向に向かって各主走査方向における最小輝度位置を決定し、その軌跡を綴じ部位置と決定する。綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２３に示すθ）を綴じ部位置のスキュー角度とする。
【００６８】
図２４に上ページにのみページ外形が存在する場合を示す。図２４に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２４に示すθ）を綴じ部位置のスキュー角度とする。なお、下ページにのみページ外形が存在する場合も、同様の処理を行う。
【００６９】
また、最小輝度の代表位置を決定した場合も（ステップＳ２９のＹ）、ステップＳ３１に進み、最小輝度の代表位置と画像を副走査方向に貫く中心線もしくはスキャナの光軸の軌跡との交点を基点とし、画像の上方と下方の各方向に向かって各主走査方向における最小輝度位置を決定し、その軌跡を綴じ部位置と決定する。
【００７０】
一方、スキャン画像の綴じ部付近にページ外形が存在すると判定し（ステップＳ２４のＹ）、さらにページ外形が上下辺のどちらにも存在する場合には（ステップＳ２５のＹ）、両ページ外形頂点座標を検出し（ステップＳ３２）、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とする（ステップＳ３１）。このようにするのは、上下辺のどちらにもページ外形が存在する場合は、最も有効な手がかりである両ページ外形頂点を利用するからである。ここで、図２５は上下ページの両側にページ外形が存在する例である。図２５に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２５に示すθ）を綴じ部位置のスキュー角度とする。
【００７１】
また、スキャン画像の綴じ部付近にページ外形が存在しないと判定した場合には（ステップＳ２４のＮ）、ステップＳ３３に進み、適切な文字無し領域が検出できたか否かを判定する。
【００７２】
適切な文字無し領域が検出された場合には（ステップＳ３３のＹ）、文字無し領域内の最小輝度の代表位置を検出し（ステップＳ３４）、最小輝度代表位置と文字無し領域内の規定範囲を比較し（ステップＳ３５）、ステップＳ２９に進む。
【００７３】
ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値以内の場合は、綴じ部付近の画素値が最小となるような輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定し（ステップＳ２９のＹ）、ステップＳ３１に進み、綴じ部位置を決定する。
【００７４】
一方、ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値未満の場合は、綴じ部付近の画素値が最小とならない輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定せずに（ステップＳ２９のＮ）、文字無し領域内にて直線抽出を行った後（ステップＳ３０）、綴じ部位置を決定する（ステップＳ３１）。
【００７５】
一方、適切な文字無し領域が検出されない場合には（ステップＳ３３のＮ）、最小輝度の代表位置が文字や図である可能性を考慮し、文字無し領域内にて直線抽出を行った後（ステップＳ３０）、綴じ部位置を決定する（ステップＳ３１）。
【００７６】
ここで、図２６はスキャン画像の綴じ部付近にページ外形が存在しない例である。図２６に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２６に示すθ）を綴じ部位置のスキュー角度とする。
【００７７】
以上により、ステップＳ２における綴じ部位置検出処理が終了する。
【００７８】
このような本実施の形態の綴じ部位置検出処理によれば、書籍の紙質や置き方に依存せずに綴じ部位置を検出することができるので、歪み補正処理の補正精度の向上を図ることができる。
【００７９】
なお、図２４、２５、２６に示すように、綴じ部位置のスキュー角度が検出された場合には、例えば、スキャナレンズの光軸の軌跡と綴じ部位置との交点を中心としてスキュー角度だけスキャン画像全体を回転させ、スキャン画像のスキューを補正するようにすれば良い。
【００８０】
次いで、ブック原稿４０のスキャン画像（例えば、モノクロ多値画像）の最適２値化処理を実行し（ステップＳ３）、副走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）数のヒストグラムを求める（ステップＳ４）。図２７は、図８に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図２７中の横軸は、主走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の位置を示し、図２７中の縦軸は、その位置毎の黒画素数を示すものである。
【００８１】
なお、スキャン画像がカラー多値画像の場合における２値化処理は、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００８２】
続くステップＳ５においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図２８は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【００８３】
［スキャン画像からのページ外形の抽出］
まず、ステップＳ４１におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図２９は上端にページ外形が存在するスキャン画像の一例を示す説明図、図３０は図２９に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図３０に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図２９の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図２９に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図３０に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【００８４】
より具体的には、図３０に示すように、綴じ部境界線からスキャン画像の左端（図２９の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（１）により算出し、
【００８５】
【数１】
【００８６】
算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【００８７】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【００８８】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【００８９】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【００９０】
［スキャン画像からの罫線の抽出］
続くステップＳ４２においては、スキャン画像からの罫線の抽出処理を実行する。ステップＳ４２におけるスキャン画像からの罫線の抽出処理について説明する。
【００９１】
［罫線候補の検出］
ここで、図３１は長い罫線が存在するスキャン画像の一例を示す説明図、図３２は図３１に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図３２に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図３１の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。図３１に示すようにスキャン画像に罫線が存在する場合には、図３２に示すヒストグラムに幅の狭いピークが現れることになる。本実施の形態では、このような特性を利用して、スキャン画像に罫線が存在するか否かの判断を行う。
【００９２】
より具体的には、まず、図３２に示すヒストグラムに現れた幅の狭いピークの高さＨを求めるとともに、求められた各ピークの中央位置（高さが半分の位置）における幅Ｗを求める。そして、ピークの高さＨが予め定められた閾値thＨよりも高く、かつ、ピークの中央位置の幅Ｗが予め定められた閾値thＷより小さなピークが存在する場合、そのピークを罫線の候補とする。
【００９３】
続いて、罫線の候補とされたピークについて、罫線の連続性を利用して、更に罫線か否かの判断をする。図３３に示すように、候補罫線上の適当な位置（例えば、ページの中心線の位置）を開始点とし、この開始点から候補罫線を左右方向へ探索し、切断点（罫線がかすれて途切れている部分）の数を累積する。切断点の数が予め定められた閾値より少なければ、この候補を罫線と判断する。このように罫線連続性に基づいて罫線か否かの判断をすることにより、罫線として誤って検出された小さな文字で構成された横書き文字行や点線等を排除することが可能になる。
【００９４】
［罫線の座標検出］
以上のようにして罫線を判別した後、各罫線の座標を検出する。罫線座標の検出は、図３４に示すように、罫線の主走査方向（図３４のｙ軸方向）の座標値を罫線部の黒画素ランの中点座標とした場合、図３４に示す罫線の左端のｘ１における主走査方向座標値はｙ１となる。
【００９５】
［最適罫線の選択］
次に、候補罫線の中から歪み補正に最適な罫線を選択する。図３５に示すように複数の罫線が検出される場合、どの罫線を用いて歪み補正するかを選択する必要がある。最適な罫線の選択基準の一例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図３５の網掛け領域）に罫線の一部がかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い罫線を選択するようにする。図３５においては、左右ページから各１本ずつの罫線を選択する場合を示している。ここでは、罫線▲１▼と罫線▲２▼とが選択されている。
【００９６】
また、最適な罫線の選択基準の別の例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図３６の網掛け領域）に罫線の一部がかかっていることを条件とし、各ページの上部では上端のページ外形に、各ページの下部では下端のページ外形に、それぞれ最も近い罫線を選択するようにする。図３６においては、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示している。ここでは、左上のブロックでは罫線▲１▼、右下のブロックでは罫線▲２▼、左下のブロックでは罫線▲３▼が選択されている。なお、図３６中の右上のブロックには上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）を満足する罫線が存在しないので、選択された罫線はない。
【００９７】
なお、上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「罫線の湾曲が最も大きい」を用いても良い。ここで、「罫線の湾曲」は罫線の左右両端点の主走査方向の座標値の差で表すものとする。
【００９８】
［最適罫線の座標値の決定］
最適な罫線が選択された場合には、罫線の（主走査方向の）座標値を決定する。罫線の（主走査方向の）座標値は、選択された罫線を左右ページのそれぞれ両端に達するまで近似して延長することにより決定される。図３７において、罫線が存在しているＢＣ部については、前述した罫線座標検出処理により既に座標値は決まっていることから、それ以外の延長部分について罫線の（主走査方向の）座標値を決定することになる。より詳細には、図３７に示すＡＢ部は直線近似で（主走査方向の）座標値を推定し、ＣＤ部は多項式近似曲線で（主走査方向の）座標値を推定する。
【００９９】
［不適切な罫線の排除］
最後に不適切な罫線を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような罫線を排除するものである。不適切な近似曲線形状の例としては、図３８に示すように、曲線が書籍の外側へ向かうような曲線▲１▼や、中心線を超えて大きく内側へ食い込むような曲線▲２▼である。
【０１００】
なお、推定曲線の形状が不適切であるとして罫線を排除した場合には、再び最適な罫線を選択し、上記の処理を繰り返すことになる。
【０１０１】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１０２】
［スキャン画像からの文字行の抽出］
続くステップＳ４３においては、スキャン画像からの文字行の抽出処理を実行する。ステップＳ４３におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【０１０３】
［文字行の判別］
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図３９は図８に示した画像の副走査方向の黒白反転数ヒストグラムである。図３９中の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図３９中の縦軸は、その位置毎の黒画素数を示すものである。また、図４０は図８に示した画像の主走査方向の黒白反転数ヒストグラムである。図４０中の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図４０中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図８に示したようなスキャン画像の場合、図３９に示すような副走査方向のヒストグラムは激しく変化するが、図４０に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【０１０４】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（２）により、
【０１０５】
【数２】
【０１０６】
主走査方向ｙの位置でのヒストグラム値Pnt（ｙ）の平均値meanＨが算出される。ここで、heightは画像の高さである。
そして、下記に示す式（３）により、
【０１０７】
【数３】
【０１０８】
副走査方向のヒストグラムの主走査方向に関する分散σＨが得られる。
同様に、下記に示す式（４）により、
【０１０９】
【数４】
【０１１０】
副走査方向ｘの位置でのヒストグラム値Pnt（ｘ）の平均値meanＶが算出される。ここで、widthは画像の幅である。
そして、下記に示す式（５）により、
【０１１１】
【数５】
【０１１２】
主走査方向のヒストグラムの副走査方向に関する分散σｖが得られる。
【０１１３】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σＨが、主走査方向のヒストグラムの副走査方向に関する分散σｖより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σｖが、副走査方向のヒストグラムの主走査方向に関する分散σＨより大きい。つまり、分散σＨと分散σｖとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【０１１４】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【０１１５】
［横書き文字行の座標検出］
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図４１に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
【０１１６】
［最適横書き文字行の選択］
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図４２に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図４２の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
【０１１７】
なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
【０１１８】
［最適横書き文字行の座標値の決定］
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図４２に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。
【０１１９】
［不適切な横書き文字行の排除］
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１２０】
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
【０１２１】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１２２】
［縦書き文字行に基づく横書き文字行の抽出］
次に、各縦書き文字行から横書き文字行を抽出する。
【０１２３】
図４３は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図４３に示すように、まず、縦書き文字行の行切り出し矩形を抽出する（ステップＳ２０１）。なお、縦書き文字行の行切り出し矩形の抽出処理は、ＯＣＲ等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図４４は、抽出した行切り出し矩形を例示的に示す説明図である。
【０１２４】
次いで、縦書き文字行の先頭（もしくは末尾）のｙ座標が最大（もしくは最小）の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭（もしくは末尾）が存在する縦書き文字行を抽出する（ステップＳ２０２）。より具体的には、図４４に示した例においては、図４５に示すように、縦書き文字行の先頭文字のｙ座標が最大の縦書き文字行はＡで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲ｈ内に存在する行先頭文字は、図４５中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行Ｂ，Ｃは除外する。なお、ｈはスキャン画像の解像度によって定められる定数である。
【０１２５】
次に、抽出した縦書き文字行の先頭（もしくは末尾）のｙ座標に関してヒストグラムを構成する（ステップＳ２０３）。図４６では、ページの左端に近い縦書き文字行Ｄを基準行とし、その先頭のｙ座標（ｙＤ）を基準座標としている。以後、ｙＤに対して一定幅ｄ（例えば抽出した縦書き文字行の平均幅の１／２）の範囲内に先頭が存在する縦書き文字行の数を、ｙＤに関するヒストグラムの値とする。図４６では、ｙＤを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Ｄの右隣の縦書き文字行Ｅは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標（ここでは、ｙＥ）とする。また、縦書き文字行Ｅの右隣の縦書き文字行Ｆの行先頭座標はｙＤの対象範囲に含まれるので、新たな基準座標を設けることなく、ｙＤに関するヒストグラムの値を１だけカウントアップする。
【０１２６】
以下、同様の処理を綴じ部境界線に向かって続けて行く。その結果、図４６に示す例では、ｙＤの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた７つで、ｙＥの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた４つとなる（これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図４６では省略している）。なお、ｙＤの対象範囲には本来無関係であるべき縦書き文字行Ｇも含まれているが、次のステップＳ２０４にてこれは除外される。
【０１２７】
続いて、ステップＳ２０３にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端（もしくは右端）にある縦書き文字行（基準行）を開始行として、綴じ部境界線へ向かって、先頭（もしくは末尾）のｙ座標が近接した縦書き文字行を抽出する（ステップＳ２０４）。図４６では、基準座標ｙＤの対象範囲に含まれる文字行が７つと最大であったので、その中の左端の縦書き文字行Ｄを開始行とし、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出していく。
【０１２８】
ところで、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。
【０１２９】
まず、画像の歪みを生じていない部分における処理について図４７を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Ｈを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の正方向（図４７中、上方へ向かう方向）に関して、着目行Ｈの先頭位置から一定範囲内ｂ１（例えば平均文字行幅の１／２）に抽出する縦書き文字行の先頭が存在すること
２．ｙ座標の負方向（図４７中、下方へ向かう方向）に関して、着目行Ｈの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ２／ａ１）で表している）の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Ｈの次の縦書き文字行Ｉの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Ｊの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Ｊを新たな着目行として同様の処理を続ける。
【０１３０】
次に、画像の歪みを生じている部分における処理について図４８を参照しつつ説明する。画像の歪みを生じている部分では、着目行Ｌを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の負方向（図４８中、下方へ向かう方向）に関して、着目行Ｌの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ３／ａ２）で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、ｂ２／ａ１＜ｂ３／ａ２とする）の範囲内に抽出する縦書き文字行の先頭が存在すること
２．着目行Ｌの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き（ｂ４／ａ２）が、着目行Ｌの先頭位置と直前の抽出行Ｋの先頭位置を結ぶ直線の傾き（ｂ５／ａ３）から一定値αを引いた値よりも大きい。すなわち、“ｂ４／ａ２＞ｂ５／ａ３−α”を満足すること（基本的には、“ｂ４／ａ２＞ｂ５／ａ３”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である）
すなわち、着目行Ｌの次の縦書き文字行Ｍの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Ｎの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Ｎを新たな着目行として同様の処理を続ける。
【０１３１】
さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のｙ座標をそれぞれｙＣ，ｙＮとすると、“ｙＮ−ｙＣ”が一定値（例えば、平均文字行幅の１／４）以上となれば、それ以降を歪みを生じている部分とする。
【０１３２】
以上の方法により図４６から抽出した縦書き文字行を、図４９において斜線を施した矩形で囲んで示す。
【０１３３】
最後に、抽出した縦書き文字行の先頭（もしくは末尾）の位置座標に関する近似曲線多項式を算出する（ステップＳ２０５）。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図５０に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図５０に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。
【０１３４】
なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１３５】
［不適切な縦書き文字行の外形の排除］
最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１３６】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【０１３７】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１３８】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字列として扱うものとする。
【０１３９】
以上、ステップＳ４１〜Ｓ４３の処理により、ページ外形／罫線／文字行の抽出処理（ステップＳ５）が終了する。
【０１４０】
［画像歪み補正処理］
続くステップＳ６（図６参照）においては、画像歪み補正処理を実行する。画像歪み補正処理は、図５１に示すように、概略的には、歪み補正（伸張）に際しての基準となる線（参照線１）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５１：参照線１選択処理）、参照線１に対応するものであって補正率（伸張率）の算出用の参照線２としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５２：参照線２選択処理）、参照線１と参照線２に基づいてスキャン画像に伸張処理を施して主走査方向の歪みを補正する処理と、参照線１もしくは参照線２から算出されたページ面のスキャン面からの距離、もしくは、補正画像の文字外接矩形、に基づいてスキャン画像に伸張処理を施して副走査方向の歪みを補正する処理（ステップＳ５３：主走査方向歪み補正処理と副走査方向歪み補正処理）により構成されている。
【０１４１】
ここで、参照線１選択処理（ステップＳ５１）及び参照線２選択処理（ステップＳ５２）においては、参照線１または参照線２として、スキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを、左右各ページについて選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形＞罫線＞文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。
【０１４２】
次に、主走査方向歪み補正処理と副走査方向歪み補正処理（ステップＳ５３）について説明する。これはスキャナパラメータが既知の場合と未知の場合で処理が異なる。即ち、スキャナの機種が既知の場合は当該スキャナのスキャナレンズの光軸の主走査方向の位置（図５２のＡｋ）と、スキャナレンズの中心とスキャン面間の距離（図５２の焦点面距離）をスキャナパラメータとして、予め記憶しておく。
【０１４３】
まず、スキャナパラメータが既知の場合を説明する。この場合、基本的に、主走査方向の1ラインを補正したら、次にそのラインに関して副走査方向の補正を行う、ということを主走査方向の全ライン、もしくは、参照線１または参照線２が曲線である部分の主走査方向ライン、について行う。
【０１４４】
主走査方向の補正は次のようにする。図５３に、補正前の参照線１、参照線２をそれぞれ実線で、補正後をそれぞれ点線で表している。補正後の点線は、補正前の参照線１、参照線２の直線部分（平坦部）をそのまま延長したものである。ここで、副走査方向の位置ｘにおいて、参照線１上の点ＰがＰ´に、参照線２上の点ＱがＱ´に、それぞれ補正される。さて、位置ｘにおける主走査方向上の任意の点ＹがＹ´に補正されるとして、次の関係式
ＹＰ／ＹＱ＝Ｙ´Ｐ´／Ｙ´Ｑ´
が成り立つ。よって、各点の主走査方向の位置を、点ＰならＰ（ｙ）というように表すと、
（Ｙ（ｙ）−Ｐ（ｙ））／（Ｙ（ｙ）−Ｑ（ｙ））
＝（Ｙ´（ｙ）−Ｐ´（ｙ））／（Ｙ´（ｙ）−Ｑ´（ｙ））
となるので、これを変形して、
Ｙ（ｙ）＝（（Ｐ（ｙ）−Ｑ（ｙ））／（Ｐ´（ｙ）−Ｑ´（ｙ）））Ｙ´（ｙ）
＋（Ｐ´（ｙ） Ｑ（ｙ）−Ｐ（ｙ）Ｑ´（ｙ））／（Ｐ´（ｙ）−Ｑ´（ｙ））
となる。
【０１４５】
上式を利用して、補正後にＹ´（ｙ）の位置に来るべき点の補正前の位置Ｙ（ｙ）を求めることができる。つまり、補正前のＹ（ｙ）の画素値を補正後のＹ´（ｙ）に移せばよいわけである。ただし、Ｙ（ｙ）の算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図５４において、Ｙ（ｙ）の前後の整数をそれぞれＮ，Ｎ＋１、これに対応する画素値をＤ（Ｎ），Ｄ（Ｎ＋１）とすると、Ｙ（ｙ）における画素値Ｄ（Ｙ（ｙ））は図に示したような線形関係を満足するように算出する。
【０１４６】
以上は、全ての参照線１と参照線２がページ外形／罫線／文字行のいずれかである場合であるが、適切なページ外形や罫線、文字行が抽出されなかった場合は次のようにする。図５５は、右ページ上方にページ外形／罫線／文字行が存在しない場合の例である。この場合は、レンズ光軸の軌跡（図５５のＬ）を参照線２とみなして、上記と同様の処理を行う。ただしこの場合は図５３におけるＱとＱ´は一致する。なお、ページ下方にページ外形／罫線／文字行が存在しない場合は、Ｌを参照線１とみなして同様に行う（ＰとＰ´が一致）。ページの上方／下方ともにページ外形／罫線／文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
【０１４７】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける参照線１および参照線２についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、参照線１、参照線２の抽出は５セットに1回のみ行うものとし、あるセットで参照線１、参照線２を抽出したら、その後に続く４セットではこれらの情報をそのまま流用するということを行っても良い。これにより、参照線１、参照線2を抽出するための時間が節約できるので、全体の処理速度が向上する。
【０１４８】
副走査方向の補正は次のようにする。即ち、ページ面のスキャン面からの距離の変化量を利用して、書籍原稿の断面曲線が直線となるように展開して画像を伸長する。具体的には、図５６に示すように、ブック原稿ページ面の形状を読み取ってライン毎の微少な三角形とし、ページの読み取り１ラインにおける画像長さＬｎを次の式
Ｌｎ＝√｛１＋（Ｔｎ−Ｔn-1）２｝
により算出し、画像長さＬｎの累積をページの伸長長さとする。その結果、近似した三角形の斜辺は湾曲したページの形状とほぼ等しくなるので（折れ線近似）、その累積をページの画像長さとすることにより、正確なページ長さを得る。特に、１ライン毎の最小ピッチによる形状近似により、その長さの補正精度は高い。
【０１４９】
隣接する主走査方向のライン上の注目画素の画素間隔を基準“１”として演算することにより、読み取りライン間隔が変化、すなわち、平面状としたときの原稿に対してサンプリング画素間隔が逐次替わっていくのに対し、画像伸長処理を適応する。また、幾何学的に主走査方向の画像投影倍長さとページ面のスキャン面からの距離は比例関係にあり、図５２に示すように、参照線１もしくは参照線２の主走査方向のアドレスＡ３と、参照線１もしくは参照線２の直線部分（平坦部）のアドレスＫａよりページ面のスキャン面からの距離Ｔを以下の式
Ｔ＝焦点面距離＊（Ａ３−Ａｋ）／｛（Ａｋ−Ｋａ）−（Ａ３−Ａｋ）｝
により、求めることができる。このようにして算出される隣接する主走査ラインの深さの差により、１画素毎の微少ピッチの直線で近似してページの補正位置を算出することができる。なお、参照線１／参照線２の求め方や、適切な参照線１／参照線２が存在しない場合の対応は主走査方向の補正の場合と基本的に同様である。
【０１５０】
このようにして算出されたページ面のスキャン面からの距離Ｔは、図５６に示すように、１ライン毎の復元すべき副走査方向の画像長さＬｎの算出に用いられることになる。すなわち、前述した次の式
Ｌｎ＝√｛１＋（Ｔｎ−Ｔn-1）２｝
により、１ライン毎の補正すべき副走査方向の画像長さＬｎが算出される。したがって、画像長さＬｎの累積が副走査方向のページ長さになる。
【０１５１】
通常、ページ面のスキャン面からの距離が高くなるに連れてその高さの変化量が増す。そこで、本実施の形態においては、その位置のページ面のスキャン面からの距離に応じて画像伸長に制限をかける。例えば、隣合う境界アドレスの差をその位置の（高さ［ｍｍ］／５）［画素］に制限して境界の誤検出による副走査方向補正のエラーを抑制する。
【０１５２】
副走査方向の補正では画像長さＬｎは位置によって異なり、図５７に示すように元画像と補正画像の対応する点の位置は一般に異なる。Ｎに存在した点がＮ´に、Ｎ＋１の点がＮ＋１´にそれぞれ補正される場合、求めるべきは整数Ｘ´の位置（これも一般にはＮ＋１´と一致するとは限らない）の画素値である。Ｎ´とＸ´間の距離をａ、Ｘ´とＮ＋１´間の距離をｂとそれぞれおくと、元画像におけるＸ´の対応点Ｘは、
（Ｘ−Ｎ）／（Ｎ＋１−Ｘ）＝ａ／ｂ
の関係にある。
【０１５３】
上式によりＸの位置が分かったら、補正前のＸの画素値を補正後のＸ´に移せばよいわけである。ただし、Ｘの算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図５８において、Ｘの前後のＮ，Ｎ＋１に対応する画素値をＤ（Ｎ），Ｄ（Ｎ＋１）とすると、Ｘにおける画素値Ｄ（Ｘ）は図に示したような線形関係を満足するように算出する。以上の処理を、副走査方向の全ての位置、もしくは、参照線１または参照線２が曲線である部分の副走査方向の位置に対して行う。
【０１５４】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける書籍原稿のスキャン面からの距離と、参照線１または参照線２についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、書籍原稿のスキャン面からの距離の算出や参照線１、参照線２の抽出は５セットに1回のみ行うものとし、あるセットで距離の算出や参照線１、参照線２の抽出を行ったら、その後に続く４セットではこれらの情報をそのまま流用するということを行っても良い。これにより、書籍原稿のスキャン面からの距離の算出や参照線１、参照線２を抽出するための時間が節約できるので、全体の処理速度が向上する。
【０１５５】
ここまでが、スキャナパラメータが既知の場合の、主走査方向歪み補正処理と副走査方向歪み補正処理（ステップＳ５３）の説明である。
【０１５６】
次に、スキャナパラメータが未知の場合を説明する。主走査方向の補正はスキャナパラメータが既知の場合と基本的に同様であるが、適切なページ外形や罫線、文字行が抽出されなかった場合の処理が若干異なる。図５５において、スキャナパラメータが既知の場合はレンズ光軸の軌跡（図５５のＬ）を参照線２とみなしたが、未知の場合（図５９参照）は副走査方向に平行な中心線（図５９のＣ）を参照線２とみなす。この場合も図５３におけるＱとＱ´は一致する。ページ下方にページ外形／罫線／文字行が存在しない場合は、Ｃを参照線１とみなして同様に行う（ＰとＰ´が一致）。ページの上方／下方ともにページ外形／罫線／文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
【０１５７】
次に、副走査方向歪み補正処理について説明する。ここで、図６０は副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図６０に示すように、ステップＳ１０１においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形Ａ（図６１参照）を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Ａを抽出するのは、この文字の外接矩形Ａの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図６１に示すように、文字外接矩形Ａの横辺の長さｗ、縦辺の長さｈ、および、文字の中心Ｂを定義する。ここで、文字の中心Ｂは、外接矩形Ａの対角線の交点である。
【０１５８】
続いて、図６２に示すように、スキャン画像をブック原稿４０のページ綴じ部４１に平行な方向の複数の短冊状の領域Ｃに分割した後（ステップＳ１０２）、各短冊領域Ｃについて、そこに含まれる文字外接矩形Ａに関する特徴量を求める（ステップＳ１０３）。ここで、ある短冊領域Ｃに含まれる文字外接矩形Ａとは、その中心が当該短冊領域Ｃに含まれるような外接矩形Ａのことである。例えば、図６２の短冊領域Ｃ１に含まれる外接矩形Ａは、図中の網掛けを施した矩形である。
【０１５９】
さて、上記の文字外接矩形Ａに関する特徴量は、
（文字の横辺の長さ）／（文字の縦辺の長さ）＝ｗ／ｈ
を基に求められる。すなわち、各短冊領域Ｃについて、そこに含まれる全ての文字外接矩形Ａのｗ／ｈの値の平均値をその短冊領域Ｃの特徴量とするのである。
【０１６０】
しかしながら、単に、ｗ／ｈの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、ｗ／ｈの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、ｗが極端に大きい文字外接矩形Ａが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にｗが大きいものを予め排除しておく必要がある。そこで、続くステップＳ１０４においては、予め閾値を定めておいて、ｈの値がその閾値より小さな文字外接矩形Ａを予め排除するとともに、ｗ／ｈの比率に関する閾値を予め定めておき、ｗ／ｈの値が其の閾値よりも大きい文字外接矩形Ａも予め排除する。例えば、図６３中に示した網掛けを施した文字外接矩形Ａが予め排除されることになる。
【０１６１】
続くステップＳ１０５においては、前述したように極端な文字外接矩形Ａを排除した後に、各短冊領域Ｃ内の文字外接矩形Ａのｗ／ｈの平均値を求める。図６４に各短冊領域Ｃ内の外接矩形Ａのｗ／ｈの平均値の一例を示す。なお、図６４中の短冊領域Ｃ２は、ページ綴じ部を含む短冊領域である。
【０１６２】
続いて、ページ綴じ部を含む短冊領域Ｃ２に文字外接矩形Ａが存在するか否かを判断する（ステップＳ１０６）。これは、図６３に示すように、一般にはページ綴じ部付近には文字外接矩形Ａが存在しない場合が多いからである。ページ綴じ部を含む短冊領域Ｃ２に文字外接矩形Ａが存在する場合は（ステップＳ１０６のＹ）、その文字外接矩形Ａを利用して特徴量は算出されているのでそのままステップＳ１０８に進む。
【０１６３】
一方、ページ綴じ部を含む短冊領域Ｃ２に文字外接矩形Ａが存在しない場合は（ステップＳ１０６のＮ）、ステップＳ１０７に進み、ページ綴じ部を含む短冊領域Ｃ２の特徴量を求める。なお、ページ綴じ部を含む短冊領域Ｃ２の識別は、例えば、スキャン画像（例えば、モノクロ多値画像）の地肌濃度変化を各短冊領域Ｃごとに求め、短冊領域Ｃ内の最も濃度の薄い濃度値を求めることにより実現される。図６５は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、ページ綴じ部を含む短冊領域Ｃ２であるとみなされる。
【０１６４】
なお、スキャン画像がカラー多値画像の場合におけるページ綴じ部を含む短冊領域Ｃ２の識別は、例えばＲＧＢ成分の何れか一つの成分（例えばＧ成分）に着目し、そのＧ成分の地肌濃度を使用して識別するようにすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分を使用してページ綴じ部を含む短冊領域Ｃ２を識別するようにしても良い。
【０１６５】
ページ綴じ部を含む短冊領域Ｃ２の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Ａが存在し、かつ、ページ綴じ部を含む短冊領域Ｃ２の最近傍である短冊領域Ｃの特徴量に対して予め定めた定数値を乗じることにより算出された値が、ページ綴じ部を含む短冊領域Ｃ２における特徴量とみなされるものである。つまり、図６４に示した例では、ページ綴じ部を含む短冊領域Ｃ２の左右何れの短冊領域Ｃ３，Ｃ４にも文字外接矩形Ａが存在するので、どちらか適当な方の特徴量を選択し（ここでは右側の○印の方）、それに予め定めた定数値（ここでは０．５）を乗じて、これをページ綴じ部を含む短冊領域Ｃ２の特徴量としている。
【０１６６】
続くステップＳ１０８においては、各短冊領域Ｃの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Ｃの位置の変化方向（即ち副走査方向）に関する移動平均を求める処理を施すなどして、短冊領域Ｃの位置の変化に対する（副走査方向の）特徴量の変化がなだらかになるようにする。ただし、ここでもページ綴じ部付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、ページ綴じ部付近の特徴量の変化の鋭さが失われてしまうからである。
【０１６７】
ここで、長さが全て５であるウィンドウを用いて図６４に示した各短冊領域Ｃの特徴量に対してフィルタリング処理を施した結果を図６６に示す。図６６に示すように、長さが全て５であるウィンドウを用いてフィルタリング処理を施した場合には、ページ綴じ部付近の特徴量（ｗ／ｈ）の変化がなだらかになり過ぎてしまう。このような場合には、ページ綴じ部付近での適切な画像補正が不可能になってしまう。
【０１６８】
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウがページ綴じ部を含む短冊領域Ｃ２の両側の短冊領域Ｃ３，Ｃ４に跨がらないように、ページ綴じ部付近でウィンドウ長を調整する。ここで、図６７はページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図６７に示すように、ページ綴じ部付近でウィンドウ長を調整した場合には、ページ綴じ部付近の特徴量（ｗ／ｈ）の変化を適切に表現できるので、良好な画像補正が実現できる。
【０１６９】
続くステップＳ１０９においては、各短冊領域Ｃの推定歪み量を算出する。各短冊領域Ｃの推定歪み量の算出手法は、以下に示す通りである。
【０１７０】
まず、短冊領域の歪み量を算出するための基準となる短冊領域（基準短冊領域）を定める。ここでは、歪みが最も小さいと考えられる短冊領域Ｃ、例えば、特徴量（ｗ／ｈ）が最大である短冊領域Ｃを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図６７においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Ｃが基準短冊領域であり、左側の基準特徴量を“Ｌｗ０／Ｌｈ０”、右側の基準特徴量を“Ｒｗ０／Ｒｈ０”、でそれぞれ示している。
【０１７１】
次に、基準短冊領域の特徴量ｗ０／ｈ０をスキャン画像全体の基準特徴量とし、
（各短冊領域の特徴量）／（基準特徴量）＝（ｗ／ｈ）／（ｗ０／ｈ０）
の値を、各短冊領域の推定歪み量として算出する。
【０１７２】
なお、ページ綴じ部から外れたページ外側付近の短冊領域Ｃを基準短冊領域とすると、ページ綴じ部付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予めページ綴じ部付近に限定しておくのが有効である。これを実現するためには、参照線１または参照線２が曲線である部分の副走査方向の位置に対してのみ行うようにすれば良い。
【０１７３】
最後に、スキャン画像に対して、短冊領域Ｃの短辺方向（副走査方向）の拡大処理を行い、ページ綴じ部付近の歪みを補正する（ステップＳ１１０）。その場合の拡大率（副走査方向の歪み補正率（伸張率））は、ステップＳ１０９において算出した推定歪み量の逆数、すなわち、
（基準特徴量）／（各短冊領域の特徴量）＝（ｗ０／ｈ０）／（ｗ／ｈ）
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図６８は、図６７に示した特徴量に基づいて算出した補正拡大率を示したものである。
【０１７４】
なお、ここでも、ページ綴じ部付近から離れた短冊領域Ｃはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、参照線１または参照線２が曲線である部分の副走査方向の位置に対してのみ拡大すれば良い。即ち、参照線１または参照線２が直線の部分では、推定歪み量を“１”とする。
【０１７５】
また、短冊領域Ｃ内において共通の補正拡大率を適用した場合、隣接する短冊領域Ｃの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Ｃの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図６８に示す短冊領域Ｃの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。
【０１７６】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける補正拡大率についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、補正拡大率の算出は５セットに１回のみ行うものとし、あるセットで補正拡大率を算出したら、その後に続く４セットではその情報をそのまま流用するということを行っても良い。これにより、補正拡大率を算出するための時間が節約できるので、全体の処理速度が向上する。
【０１７７】
以上、ステップＳ１０１〜Ｓ１１０の処理により副走査方向歪み補正処理が終了し、図６に示すスキャン画像の歪み補正処理が終了する。ここで、図６９は歪みを補正した画像を示す平面図である。以上の処理によれば、図８に示したようなページ綴じ部の近傍において生じていたスキャン画像の歪みが、図６９に示すように補正されることになる。
【０１７８】
以上のように、スキャナパラメータが未知の場合は、まず主走査方向の補正が全ライン分終了した後に、文字外接矩形を用いて副走査方向の補正を行うのが基本である。
【０１７９】
なお、本実施の形態においては、画像読取装置としてデジタル複写機のスキャナ部１を適用したが、これに限るものではなく、例えば自動ページ捲り機能を搭載したスキャナ等に適用するようにしても良い。
【０１８０】
また、本実施の形態においては、ブック原稿４０のページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてブック原稿４０をコンタクトガラス２上に下向きに載置した場合について説明したが、これに限るものではない。例えば、図７０に示すように、上向きのブック原稿４０をコンタクトガラス２の下方からコンタクトガラス２に対して押し付けるように接触させるものであっても良い。
【０１８１】
さらに、本実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをパーソナルコンピュータのＨＤＤにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。
【０１８２】
【発明の効果】
本発明によれば、書籍の紙質や置き方に依存せずに綴じ部位置を検出することができるので、歪み補正処理の補正精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図８】入力した画像の一例を示す平面図である。
【図９】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１０】綴じ部位置検出処理の流れを概略的に示すフローチャートである。
【図１１】スキャン画像の上辺の綴じ部付近にページ外形が存在するか否かを判定する手法を説明する説明図である。
【図１２】生成されたヒストグラムの一例を示す説明図である。
【図１３】生成されたヒストグラムの解析手法を説明する説明図である。
【図１４】リスト数が単数の場合の文字無し領域の判定手法を説明する説明図である。
【図１５】リスト数が複数の場合の文字無し領域の判定手法を説明する説明図である。
【図１６】リスト数が複数あり、かつ、最大の距離を持つリストを中心として、前後のリストの終始座標間距離が対称の並びになっていない場合の文字無し領域の判定手法を説明する説明図である。
【図１７】リスト数が０の場合の文字無し領域の判定手法を説明する説明図である。
【図１８】ページ外形の頂点の検出手法を説明する説明図である。
【図１９】主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置のヒストグラムである。
【図２０】輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合を示す説明図である。
【図２１】ｘ−ｙ平面上の点Ｐ（ｘ，ｙ）を通過する直線を示す説明図である。
【図２２】距離ρと角度θとの関係を示す説明図である。
【図２３】綴じ部位置の決定手法を説明するための説明図である。
【図２４】上ページにのみページ外形が存在する場合の綴じ部位置の決定手法を示す説明図である。
【図２５】ページ外形が上下辺のどちらにも存在する場合の綴じ部位置の決定手法を示す説明図である。
【図２６】スキャン画像の綴じ部付近にページ外形が存在しない場合の綴じ部位置の決定手法を示す説明図である。
【図２７】図８に示した画像の黒画素ヒストグラムである。
【図２８】ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【図２９】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図３０】図２９に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図３１】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図３２】図３１に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図３３】罫線の連続性の判別を示す説明図である。
【図３４】罫線の座標検出を示す説明図である。
【図３５】左右ページから各１本ずつの罫線を選択する場合を示す説明図である。
【図３６】左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示す説明図である。
【図３７】罫線の座標抽出を示す説明図である。
【図３８】排除される不適切な罫線の例を示す説明図である。
【図３９】図８に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図４０】図８に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図４１】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図４２】最適な横書き文字行の選択を示す説明図である。
【図４３】各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。
【図４４】抽出した行切り出し矩形を例示的に示す説明図である。
【図４５】予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。
【図４６】抽出した縦書き文字行の先頭のｙ座標に関してヒストグラムを構成する状態を示す説明図である。
【図４７】画像の歪みを生じていない部分における処理を示す説明図である。
【図４８】画像の歪みを生じている部分における処理を示す説明図である。
【図４９】抽出した縦書き文字行を示す説明図である。
【図５０】縦書き文字行の行切り出し矩形を示す説明図である。
【図５１】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図５２】スキャナのスキャナレンズの光軸の主走査方向の位置と、スキャナレンズの中心とスキャン面間の距離を示す説明図である。
【図５３】主走査方向歪み補正処理を示す説明図である。
【図５４】画素値の線形補間処理による求め方を示す説明図である。
【図５５】右ページ上方にページ外形／罫線／文字行が存在しない場合の主走査方向歪み補正処理を示す説明図である。
【図５６】画像長さの算出を示す説明図である。
【図５７】元画像と補正画像の対応を示す説明図である。
【図５８】画素値の線形補間処理による求め方を示す説明図である。
【図５９】スキャナパラメータが未知であって適切なページ外形や罫線、文字行が抽出されなかった場合の主走査方向歪み補正処理を示す説明図である。
【図６０】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図６１】抽出された文字外接矩形を示す説明図である。
【図６２】二値化画像をブック原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図６３】予め排除される文字外接矩形を示す説明図である。
【図６４】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。
【図６５】各短冊領域内の地肌濃度変化の一例を示すグラフである。
【図６６】図６４に示した各短冊領域の特徴量に対して長さが全て５であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。
【図６７】図６４に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。
【図６８】図６７に示した特徴量に基づいて算出した補正拡大率を示すグラフである。
【図６９】歪みを補正した画像を示す平面図である。
【図７０】コンタクトガラスにブック原稿を接触させた状態を示す正面図である。
【図７１】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【符号の説明】
１ 画像読取装置
１６ 画像形成装置
１９ 画像歪み補正装置
４０ ブック原稿
４１ ページ綴じ部
【発明の属する技術分野】
本発明は、画像歪み補正装置、画像読取装置、画像形成装置及びプログラムに関する。
【０００２】
【従来の技術】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿としてブック原稿を用いた場合には、図７１に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法としては、非特許文献１に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【０００５】
また、特許文献１には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【０００６】
さらに、特許文献２には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法が提案されている。
【０００７】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、計算量が多く、歪み補正処理の計算時間が長いので、実用化は困難である。
【０００８】
また、特許文献１に記載されている方法によれば、三角測量方式により書籍の形状を測定するための特別な形状計測装置が必要になるため、適当ではない。
【０００９】
さらに、特許文献２に記載されている方法によれば、少ない計算量で歪み補正ができるが、ページ外形が画像中に完全に収まりきれずに途中で切れているような場合には有効な補正ができない。
【００１０】
そこで、本出願人は、ページ外形が途中で切れているような読み取りスキャン画像であっても、その歪みを少ない計算量で有効に補正することができる画像歪み補正装置を特願2002-247643にて提案している。特願2002-247643によれば、ページ外形だけではなく文字行情報および罫線情報を用いて画像の歪みを補正し、しかも、スキャナ（画像読取手段）の固有パラメータ（レンズの焦点面距離、スキャン光軸の位置（アドレス））を利用していないので、任意のスキャナの出力画像を補正できる。
【００１１】
【非特許文献１】
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24（2）, 125-135（1997）
【特許文献１】
特開平5-161002号公報
【特許文献２】
特開平11-41455号公報
【００１２】
【発明が解決しようとする課題】
ところで、歪み補正処理においては、綴じ部位置を中心としてスキュー補正の画像回転処理を行った後に、綴じ部位置を境とした左右のページに分割して処理を行っている。このような綴じ部位置の検出に際しては、綴じ部付近のページ外形の頂点座標や、最小画素値が存在する位置が有効である。
【００１３】
ところが、ブック原稿（本、冊子など）の置き方によってはスキャン画像に綴じ部付近のページ外形が写り込むとは限らず、また、ブック原稿（本、冊子など）の紙質や綴じ部の強度によっては綴じ部付近の画素値が必ずしも最小画素値になるとは限らない。以上のような不具合により綴じ部位置を誤認識してしまった場合には、歪み補正処理の補正精度に悪影響を及ぼす可能性がある。
【００１４】
本発明の目的は、歪み補正処理の補正精度の向上を図ることができる画像歪み補正装置、画像読取装置、画像形成装置及びプログラムを提供することである。
【００１５】
【課題を解決するための手段】
請求項１記載の発明の画像歪み補正装置は、スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いて補正する画像歪み補正装置において、前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出手段と、文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出手段と、最小輝度の代表位置を検出する最小輝度検出手段と、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出手段と、を備え、前記ページ外形検出手段により検出されたページ外形の有無、前記文字無し領域検出手段により検出された文字無し領域、前記最小輝度検出手段により検出された最小輝度の代表位置、前記直線抽出手段により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する。
【００１６】
請求項２記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺の綴じ部付近に前記ページ外形が検出された場合は、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とみなす。
【００１７】
請求項３記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合は、前記最小輝度検出手段にて検出された最小輝度位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００１８】
請求項４記載の発明は、請求項３記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす。
【００１９】
請求項５記載の発明は、請求項３記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線の位置を綴じ部位置とみなす。
【００２０】
請求項６記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合は、前記最小輝度検出手段にて検出された最小輝度の代表位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００２１】
請求項７記載の発明は、請求項６記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす。
【００２２】
請求項８記載の発明は、請求項６記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００２３】
請求項９記載の発明は、請求項１記載の画像歪み補正装置において、前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、前記文字無し領域検出手段により適切でない文字無し領域が検出された場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす。
【００２４】
請求項１０記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記ページ外形検出手段は、前記スキャン画像の主走査方向上辺から下方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ逆三角形状に分布している場合は前記スキャン画像の主走査方向上辺にページ外形が存在するとみなし、前記スキャン画像の主走査方向下辺から上方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ三角形状に分布している場合は前記スキャン画像の主走査方向下辺にページ外形が存在するとみなす。
【００２５】
請求項１１記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記文字無し領域検出手段は、主走査方向での白黒画素の反転数、もしくは、予め定めた閾値以上と以下の画素が交代する回数、に関するヒストグラムの分布を利用して、前記文字無し領域を検出する。
【００２６】
請求項１２記載の発明は、請求項１１記載の画像歪み補正装置において、ヒストグラムの値が予め定めた閾値以下である副走査方向の連続領域の中で最大の領域を中心とし、他の閾値以下の連続領域が副走査方向でほぼ対称に存在する場合は、前記最大領域を文字や図が存在しない可能性が高い文字無し領域（適切な文字無し領域）とみなし、他の閾値以下の連続領域が副走査方向で対称に存在しない場合は、これら閾値以下の連続領域の全ての左端から右端までを文字や図が存在しない可能性が低い文字無し領域（適切でない文字無し領域）とみなす。
【００２７】
請求項１３記載の発明は、請求項１２記載の画像歪み補正装置において、ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす。
【００２８】
請求項１４記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記最小輝度検出手段は、前記スキャン画像の主走査方向の各ライン上での最大輝度値の中で副走査方向において最小値を与える位置を、最小輝度の代表位置とみなす。
【００２９】
請求項１５記載の発明は、請求項１４記載の画像歪み補正装置において、最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくは前記画像読取手段の光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく。
【００３０】
請求項１６記載の発明は、請求項１ないし９のいずれか一記載の画像歪み補正装置において、前記直線抽出手段は、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素の輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する。
【００３１】
請求項１７記載の発明は、請求項１ないし１６のいずれか一記載の画像歪み補正装置において、決定した綴じ部位置と画像読み取りの主走査方向との成す角度を前記スキャン画像のスキュー角度として検出する。
【００３２】
請求項１８記載の発明の画像読取装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし１７の何れか一記載の画像歪み補正装置と、を備える。
【００３３】
請求項１９記載の発明の画像形成装置は、原稿画像を読み取る画像読取手段と、この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし１７の何れか一記載の画像歪み補正装置と、この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、を備える。
【００３４】
請求項２０記載の発明のプログラムは、スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪み補正を当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いてコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出機能と、文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出機能と、最小輝度の代表位置を検出する最小輝度検出機能と、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出機能と、を実行させ、前記ページ外形検出機能により検出されたページ外形の有無、前記文字無し領域検出機能により検出された文字無し領域、前記最小輝度検出機能により検出された最小輝度の代表位置、前記直線抽出機能により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する。
【００３５】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図６９に基づいて説明する。本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【００３６】
ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００３７】
原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００３８】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００３９】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００４０】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００４１】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００４２】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００４３】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００４４】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像の歪み補正機能を実現するスキャン画像の歪み補正処理についてのみ説明する。すなわち、メイン制御部１９は画像歪み補正装置として機能するものである。
【００４５】
図６は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合について説明する。
【００４６】
まず、ステップＳ１において、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する。ここで、図８は入力した画像の一例を示したものである。そして、図９に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１のスキャン画像４１´の近傍において歪みが生じている。
【００４７】
[綴じ部位置の検出]
続くステップＳ２においては、スキャン画像の綴じ部位置を検出する綴じ部位置検出処理を行う。図１０は、綴じ部位置検出処理の流れを概略的に示すフローチャートである。図１０に示すように、まず、ブック原稿４０のスキャン画像の最適２値化処理を実行した後（ステップＳ２１）、綴じ部付近におけるページ外形有無の判定を行う（ステップＳ２２）。
【００４８】
ここで、ステップＳ２２におけるスキャン画像の綴じ部付近のページ外形の有無の判定について説明する。
【００４９】
まず、スキャン画像の上辺の綴じ部付近にページ外形が存在するか否かを判定する手法を説明する。図１１に示すように、スキャン画像の上辺から、主走査方向の距離が予め定められた一定画素数で分割される短冊領域を作成する。上辺の短冊領域（図１１の短冊領域▲１▼）の左端と右端から綴じ部位置に向かって、主走査方向に上記の予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置を、左右ページ内でそれぞれ決定し、その位置を基準点（図１１のＬＵ１，ＲＵ１）とする。左右両ページで上記の副走査方向の位置が決定した場合は、探索中の短冊領域内の上記左右ページの基準点で囲まれた範囲内（図１１のＬＵ１〜ＲＵ１）に存在する黒画素の比率を求める。存在する黒画素の比率が予め定められた閾値以上であれば、次の短冊領域内（図１１の短冊領域▲２▼）にて左右ページで決定した基準点をそれぞれ探索開始点とし、同様の処理を行う。以上のように、短冊領域と探索開始点を更新していき、一連の処理が予め定められた一定値以上の回数行われた場合（例えば、スキャン画像の主走査方向上辺から下方へ向かって黒画素がほぼ逆三角形状に分布している場合）は、綴じ部付近の上辺にページ外形が存在すると判定する。
【００５０】
左右両ページで、主走査方向に予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置が決定しない場合や、主走査方向に予め定められた一定値画素分黒画素がはじめて連続する副走査方向の位置は決定したが範囲内の黒画素の比率が予め定められた閾値未満である場合や、上記一連の処理の回数が予め定められた一定値未満であれば、綴じ部付近にページ外形が存在しないと判定する。
【００５１】
なお、スキャン画像の下辺の綴じ部付近にページ外形が存在するか否かの判定も、上記の処理と同様の手法により実現できる。すなわち、スキャン画像の主走査方向下辺から上方へ向かって黒画素がほぼ三角形状に分布している場合はスキャン画像の主走査方向下辺にページ外形が存在すると判定する。
【００５２】
また、スキャン画像がカラー多値画像の場合には、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００５３】
続くステップＳ２３においては、文字無し領域の検出処理を実行する。ここに、文字無し領域検出手段の機能が実行される。このように文字無し領域を検出するのは、綴じ部位置探索範囲を絞るためである。仮に綴じ部位置が正確に検出できなかったとしても、綴じ部付近の文字無し領域内での誤認識であれば歪み補正処理にはさほど支障はきたさないからである。文字無し領域は、綴じ部を含む領域ではあるが、全く文字のない範囲を示すとは限らないため、綴じ部を含み、かつ、全く文字のない可能性が高い範囲を「適切な文字無し領域」と定義する。文字無し領域を検出した際には、検出した文字無し領域が適切な文字無し領域であるか否かの判定も行う。
【００５４】
文字無し領域の検出は、主走査方向に１ラインずつ、白黒の反転数（注目画素と真下（右隣）との画素が白黒で反転している回数）、または、予め定められた閾値以上と以下の画素が交代する回数、を数えてヒストグラムを生成する。ここで、図１２は生成されたヒストグラムの一例を示すものである。
【００５５】
続いて、このようにして生成されたヒストグラムを副走査方向に解析する。ヒストグラムの副走査方向の解析は、図１３に示すように、ヒストグラムの値が予め定められた閾値以下となる座標が連続している箇所（図１３内の▲１▼〜▲５▼）があれば、その箇所の終始点の座標とその距離をリスト化する。リスト化の過程において、注目リストの終点座標と次のデータの始点座標との位置の差が予め定められた一定値以内であれば、それらを統合し１つのリストデータとして扱う（図１３の▲４▼）。すなわち、ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす。次に、全リスト中のそれぞれのリストが有する終始点の座標の中から、文字無し領域の始点座標・終点座標を選択する。横書き画像の行間は副走査方向に垂直であるが、縦書き画像の行間は副走査方向と平行であるため、両者はヒストグラムの傾向が異なる。横書き画像（図１３に示すスキャン画像の左ページ）で副走査方向のヒストグラムの値が予め定められた閾値以下の連続領域は、綴じ部付近のみである場合が多いが、縦書き画像（図１３に示すスキャン画像の右ページ）では、副走査方向のヒストグラムの値が予め定められた閾値以下の連続領域は、一般に複数存在する。そこで、リスト数によって、文字無し領域を推定する。以下、リスト数に応じた文字無し領域の判定について場合を分けて説明する。
【００５６】
図１４に示すように、リスト数が単数の場合には、副走査方向文字無し領域探索範囲内にて着目したリストの始点座標から終点座標までを文字無し領域とし、適切な文字無し領域と判定する。
【００５７】
図１５に示すように、リスト数が複数の場合には、副走査方向文字無し領域探索範囲内の全リスト中で最大の距離を持つリストに着目し、着目リストから前後同距離にあるリスト同士を比べる。全てのリストの組がそれぞれ有している終始座標間の長さの差が一定値以内であれば、副走査方向に平行な行間であるとみなす。左右のページで行間が均一に位置している場合は、最大の距離を持ち、かつ、全リスト中の中央付近に位置するリストの始点座標から終点座標までを文字無し領域とし、適切な文字無し領域と判定する。
【００５８】
一方、図１６に示すように、リスト数が複数あり、かつ、最大の距離を持つリストを中心として、前後のリストの終始座標間距離が対称の並びになっていない場合には、どのリストに綴じ部が含まれているかを断定する材料を欠くため、綴じ部を含まない文字無し領域を検出する恐れがある。このような場合は、副走査方向文字無し領域探索範囲内の先頭リストの開始座標から、最終リストの終点座標までを文字無し領域とする。この場合、検出した文字無し領域内には明らかに文字や図が存在するため、適切な文字無し領域でないと判定する。
【００５９】
また、図１７に示すように、リスト数が０の場合には、副走査方向全体を文字無し領域とする。この場合も、検出した文字無し領域内には明らかに文字や図が存在するため、適切な文字無し領域でないと判定する。
【００６０】
以上のようにして文字無し領域を検出すると、ステップＳ２２におけるスキャン画像の綴じ部付近のページ外形の有無の判定に応じた処理を実行する。
【００６１】
スキャン画像の綴じ部付近にページ外形が存在すると判定し（ステップＳ２４のＹ）、さらにページ外形が上下辺のどちらか一方にのみ存在する場合には（ステップＳ２５のＮ）、ステップＳ２６に進み、ページ外形の頂点を検出するページ外形頂点検出処理を実行する。ページ外形頂点検出処理は、ページ外形の主走査方向の座標値が最も内部に食い込んでいる座標をページ外形頂点とするものである。より具体的には、図１８に示すように、上辺のページ外形の頂点についてはその主走査方向（図１８中、ｙ方向）の座標値が最小の点をページ外形頂点とし、下辺のページ外形の頂点についてはその主走査方向の座標値が最大の点をページ外形頂点とする。なお、ページ外形の検出処理については、各種の処理方法を用いることが可能である。例えば、特許文献２に記載されているような手法を用いることが可能である。ここに、ページ外形検出手段の機能が実行される。
【００６２】
次に、ステップＳ２７に進み、最小輝度の代表位置を検出する。ここで、最小輝度の代表位置検出について説明する。ここでは、主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置を最小輝度の代表位置とみなす。より具体的には、最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくはスキャナ部１のスキャナレンズの光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく。図１９は主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置のヒストグラムであり、この場合、図１９中のＰの位置が最小輝度の代表位置となる。ここに、最小輝度検出手段の機能が実行される。
【００６３】
このようにして最小輝度の代表位置が検出されると、ステップＳ２８に進み、ページ外形頂点と最小輝度の代表位置とを比較する。
【００６４】
ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値以内の場合は、綴じ部付近の画素値が最小となるような輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定し（ステップＳ２９のＹ）、後述するステップＳ３１に進む。
【００６５】
一方、ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値未満の場合は、綴じ部付近の画素値が最小とならない輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定せずに（ステップＳ２９のＮ）、ステップＳ３０に進み、文字無し領域内にて直線抽出を行う。ここに、直線抽出手段の機能が実行される。
【００６６】
ここで、ステップＳ３０における直線抽出処理について詳述する。綴じ部付近では、ある着目画素と副走査方向に一定距離離れた画素との間には、輝度の差が生じている。上記の輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合（図２０参照）を基にハフ変換を行うと、直線と直線の角度が抽出される。ステップＳ３０においては、このようにして抽出された直線を、綴じ部位置と決定する。例えば、図２１に示すように、ｘ−ｙ平面上の点Ｐ（ｘ，ｙ）を通過する直線は下記の式
ρ＝ｘcosθ＋ｙsinθ
を満たす。ρは点Ｐと原点Ｏの距離である。θはＰＯとｘ軸のなす角度である。また、図２２に示すように、ｘ−ｙ平面上の点Ｐは、ρ−θ平面では１本の曲線に射影される。すなわち、ｘ−ｙ平面にて同一直線上に存在する点に対応する曲線は、ρ−θ平面では全て点（ρ，θ）を通過する。ｘ−ｙ平面での点が正確に同一直線上に存在せずに多少の誤差を含んでいても、ρ−θ平面上での対応する曲線は点（ρ，θ）の近傍を通過する。よって、ρ−θ平面を予め定められた一定値の長さのメッシュ領域に区切り、各メッシュを通過する曲線の数をカウントすれば、通過曲線数の多いメッシュ領域に対応してｘ−ｙ平面上の直線が存在するといえる。以上の処理を輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合に対して行う。すると、ρは綴じ部直線に対する垂線、θが綴じ部直線の角度が求められる。また、通過曲線数の多いメッシュを上位から予め定められた数だけ抽出し、綴じ部直線情報の候補を複数保持しておく。直線抽出の優先順位は、上記通過曲線数の順位に準ずるものとする。
【００６７】
次いで、このようにして抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線を綴じ部位置に決定する（ステップＳ３１）。具体的には、図２３に示すように、最小輝度の代表位置と画像を副走査方向に貫く中心線もしくはスキャナの光軸の軌跡との交点を基点とし、画像の上方と下方の各方向に向かって各主走査方向における最小輝度位置を決定し、その軌跡を綴じ部位置と決定する。綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２３に示すθ）を綴じ部位置のスキュー角度とする。
【００６８】
図２４に上ページにのみページ外形が存在する場合を示す。図２４に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２４に示すθ）を綴じ部位置のスキュー角度とする。なお、下ページにのみページ外形が存在する場合も、同様の処理を行う。
【００６９】
また、最小輝度の代表位置を決定した場合も（ステップＳ２９のＹ）、ステップＳ３１に進み、最小輝度の代表位置と画像を副走査方向に貫く中心線もしくはスキャナの光軸の軌跡との交点を基点とし、画像の上方と下方の各方向に向かって各主走査方向における最小輝度位置を決定し、その軌跡を綴じ部位置と決定する。
【００７０】
一方、スキャン画像の綴じ部付近にページ外形が存在すると判定し（ステップＳ２４のＹ）、さらにページ外形が上下辺のどちらにも存在する場合には（ステップＳ２５のＹ）、両ページ外形頂点座標を検出し（ステップＳ３２）、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とする（ステップＳ３１）。このようにするのは、上下辺のどちらにもページ外形が存在する場合は、最も有効な手がかりである両ページ外形頂点を利用するからである。ここで、図２５は上下ページの両側にページ外形が存在する例である。図２５に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２５に示すθ）を綴じ部位置のスキュー角度とする。
【００７１】
また、スキャン画像の綴じ部付近にページ外形が存在しないと判定した場合には（ステップＳ２４のＮ）、ステップＳ３３に進み、適切な文字無し領域が検出できたか否かを判定する。
【００７２】
適切な文字無し領域が検出された場合には（ステップＳ３３のＹ）、文字無し領域内の最小輝度の代表位置を検出し（ステップＳ３４）、最小輝度代表位置と文字無し領域内の規定範囲を比較し（ステップＳ３５）、ステップＳ２９に進む。
【００７３】
ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値以内の場合は、綴じ部付近の画素値が最小となるような輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定し（ステップＳ２９のＹ）、ステップＳ３１に進み、綴じ部位置を決定する。
【００７４】
一方、ページ外形頂点と文字無し領域内の最小輝度の代表位置との差が予め定められた一定値未満の場合は、綴じ部付近の画素値が最小とならない輝度の分布である画像とみなすことができるので、最小輝度の代表位置を決定せずに（ステップＳ２９のＮ）、文字無し領域内にて直線抽出を行った後（ステップＳ３０）、綴じ部位置を決定する（ステップＳ３１）。
【００７５】
一方、適切な文字無し領域が検出されない場合には（ステップＳ３３のＮ）、最小輝度の代表位置が文字や図である可能性を考慮し、文字無し領域内にて直線抽出を行った後（ステップＳ３０）、綴じ部位置を決定する（ステップＳ３１）。
【００７６】
ここで、図２６はスキャン画像の綴じ部付近にページ外形が存在しない例である。図２６に示すように、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線との交点の副走査方向における位置を、綴じ部代表位置とする。また、綴じ部位置の線分と、画像の高さの中心またはスキャナレンズの光軸の主走査方向の位置を通る副走査方向に平行な直線がなす角度（図２６に示すθ）を綴じ部位置のスキュー角度とする。
【００７７】
以上により、ステップＳ２における綴じ部位置検出処理が終了する。
【００７８】
このような本実施の形態の綴じ部位置検出処理によれば、書籍の紙質や置き方に依存せずに綴じ部位置を検出することができるので、歪み補正処理の補正精度の向上を図ることができる。
【００７９】
なお、図２４、２５、２６に示すように、綴じ部位置のスキュー角度が検出された場合には、例えば、スキャナレンズの光軸の軌跡と綴じ部位置との交点を中心としてスキュー角度だけスキャン画像全体を回転させ、スキャン画像のスキューを補正するようにすれば良い。
【００８０】
次いで、ブック原稿４０のスキャン画像（例えば、モノクロ多値画像）の最適２値化処理を実行し（ステップＳ３）、副走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）数のヒストグラムを求める（ステップＳ４）。図２７は、図８に示した画像の綴じ部境界線左側の黒画素ヒストグラムである。図２７中の横軸は、主走査方向の黒画素（スキャン画像の画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の位置を示し、図２７中の縦軸は、その位置毎の黒画素数を示すものである。
【００８１】
なお、スキャン画像がカラー多値画像の場合における２値化処理は、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００８２】
続くステップＳ５においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図２８は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【００８３】
［スキャン画像からのページ外形の抽出］
まず、ステップＳ４１におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図２９は上端にページ外形が存在するスキャン画像の一例を示す説明図、図３０は図２９に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図３０に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図２９の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図２９に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図３０に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【００８４】
より具体的には、図３０に示すように、綴じ部境界線からスキャン画像の左端（図２９の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（１）により算出し、
【００８５】
【数１】
算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【００８７】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【００８８】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【００８９】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【００９０】
［スキャン画像からの罫線の抽出］
続くステップＳ４２においては、スキャン画像からの罫線の抽出処理を実行する。ステップＳ４２におけるスキャン画像からの罫線の抽出処理について説明する。
【００９１】
［罫線候補の検出］
ここで、図３１は長い罫線が存在するスキャン画像の一例を示す説明図、図３２は図３１に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図３２に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図３１の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。図３１に示すようにスキャン画像に罫線が存在する場合には、図３２に示すヒストグラムに幅の狭いピークが現れることになる。本実施の形態では、このような特性を利用して、スキャン画像に罫線が存在するか否かの判断を行う。
【００９２】
より具体的には、まず、図３２に示すヒストグラムに現れた幅の狭いピークの高さＨを求めるとともに、求められた各ピークの中央位置（高さが半分の位置）における幅Ｗを求める。そして、ピークの高さＨが予め定められた閾値thＨよりも高く、かつ、ピークの中央位置の幅Ｗが予め定められた閾値thＷより小さなピークが存在する場合、そのピークを罫線の候補とする。
【００９３】
続いて、罫線の候補とされたピークについて、罫線の連続性を利用して、更に罫線か否かの判断をする。図３３に示すように、候補罫線上の適当な位置（例えば、ページの中心線の位置）を開始点とし、この開始点から候補罫線を左右方向へ探索し、切断点（罫線がかすれて途切れている部分）の数を累積する。切断点の数が予め定められた閾値より少なければ、この候補を罫線と判断する。このように罫線連続性に基づいて罫線か否かの判断をすることにより、罫線として誤って検出された小さな文字で構成された横書き文字行や点線等を排除することが可能になる。
【００９４】
［罫線の座標検出］
以上のようにして罫線を判別した後、各罫線の座標を検出する。罫線座標の検出は、図３４に示すように、罫線の主走査方向（図３４のｙ軸方向）の座標値を罫線部の黒画素ランの中点座標とした場合、図３４に示す罫線の左端のｘ１における主走査方向座標値はｙ１となる。
【００９５】
［最適罫線の選択］
次に、候補罫線の中から歪み補正に最適な罫線を選択する。図３５に示すように複数の罫線が検出される場合、どの罫線を用いて歪み補正するかを選択する必要がある。最適な罫線の選択基準の一例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図３５の網掛け領域）に罫線の一部がかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い罫線を選択するようにする。図３５においては、左右ページから各１本ずつの罫線を選択する場合を示している。ここでは、罫線▲１▼と罫線▲２▼とが選択されている。
【００９６】
また、最適な罫線の選択基準の別の例としては、罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図３６の網掛け領域）に罫線の一部がかかっていることを条件とし、各ページの上部では上端のページ外形に、各ページの下部では下端のページ外形に、それぞれ最も近い罫線を選択するようにする。図３６においては、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示している。ここでは、左上のブロックでは罫線▲１▼、右下のブロックでは罫線▲２▼、左下のブロックでは罫線▲３▼が選択されている。なお、図３６中の右上のブロックには上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）を満足する罫線が存在しないので、選択された罫線はない。
【００９７】
なお、上記２条件（罫線の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に罫線の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「罫線の湾曲が最も大きい」を用いても良い。ここで、「罫線の湾曲」は罫線の左右両端点の主走査方向の座標値の差で表すものとする。
【００９８】
［最適罫線の座標値の決定］
最適な罫線が選択された場合には、罫線の（主走査方向の）座標値を決定する。罫線の（主走査方向の）座標値は、選択された罫線を左右ページのそれぞれ両端に達するまで近似して延長することにより決定される。図３７において、罫線が存在しているＢＣ部については、前述した罫線座標検出処理により既に座標値は決まっていることから、それ以外の延長部分について罫線の（主走査方向の）座標値を決定することになる。より詳細には、図３７に示すＡＢ部は直線近似で（主走査方向の）座標値を推定し、ＣＤ部は多項式近似曲線で（主走査方向の）座標値を推定する。
【００９９】
［不適切な罫線の排除］
最後に不適切な罫線を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような罫線を排除するものである。不適切な近似曲線形状の例としては、図３８に示すように、曲線が書籍の外側へ向かうような曲線▲１▼や、中心線を超えて大きく内側へ食い込むような曲線▲２▼である。
【０１００】
なお、推定曲線の形状が不適切であるとして罫線を排除した場合には、再び最適な罫線を選択し、上記の処理を繰り返すことになる。
【０１０１】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１０２】
［スキャン画像からの文字行の抽出］
続くステップＳ４３においては、スキャン画像からの文字行の抽出処理を実行する。ステップＳ４３におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【０１０３】
［文字行の判別］
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図３９は図８に示した画像の副走査方向の黒白反転数ヒストグラムである。図３９中の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図３９中の縦軸は、その位置毎の黒画素数を示すものである。また、図４０は図８に示した画像の主走査方向の黒白反転数ヒストグラムである。図４０中の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図４０中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図８に示したようなスキャン画像の場合、図３９に示すような副走査方向のヒストグラムは激しく変化するが、図４０に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【０１０４】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（２）により、
【０１０５】
【数２】
主走査方向ｙの位置でのヒストグラム値Pnt（ｙ）の平均値meanＨが算出される。ここで、heightは画像の高さである。
そして、下記に示す式（３）により、
【０１０７】
【数３】
副走査方向のヒストグラムの主走査方向に関する分散σＨが得られる。
同様に、下記に示す式（４）により、
【０１０９】
【数４】
副走査方向ｘの位置でのヒストグラム値Pnt（ｘ）の平均値meanＶが算出される。ここで、widthは画像の幅である。
そして、下記に示す式（５）により、
【０１１１】
【数５】
主走査方向のヒストグラムの副走査方向に関する分散σｖが得られる。
【０１１３】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σＨが、主走査方向のヒストグラムの副走査方向に関する分散σｖより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σｖが、副走査方向のヒストグラムの主走査方向に関する分散σＨより大きい。つまり、分散σＨと分散σｖとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【０１１４】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【０１１５】
［横書き文字行の座標検出］
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図４１に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
【０１１６】
［最適横書き文字行の選択］
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図４２に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図４２の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下いずれかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
【０１１７】
なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなくいずれか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
【０１１８】
［最適横書き文字行の座標値の決定］
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図４２に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。
【０１１９】
［不適切な横書き文字行の排除］
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１２０】
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
【０１２１】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１２２】
［縦書き文字行に基づく横書き文字行の抽出］
次に、各縦書き文字行から横書き文字行を抽出する。
【０１２３】
図４３は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図４３に示すように、まず、縦書き文字行の行切り出し矩形を抽出する（ステップＳ２０１）。なお、縦書き文字行の行切り出し矩形の抽出処理は、ＯＣＲ等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図４４は、抽出した行切り出し矩形を例示的に示す説明図である。
【０１２４】
次いで、縦書き文字行の先頭（もしくは末尾）のｙ座標が最大（もしくは最小）の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭（もしくは末尾）が存在する縦書き文字行を抽出する（ステップＳ２０２）。より具体的には、図４４に示した例においては、図４５に示すように、縦書き文字行の先頭文字のｙ座標が最大の縦書き文字行はＡで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲ｈ内に存在する行先頭文字は、図４５中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行Ｂ，Ｃは除外する。なお、ｈはスキャン画像の解像度によって定められる定数である。
【０１２５】
次に、抽出した縦書き文字行の先頭（もしくは末尾）のｙ座標に関してヒストグラムを構成する（ステップＳ２０３）。図４６では、ページの左端に近い縦書き文字行Ｄを基準行とし、その先頭のｙ座標（ｙＤ）を基準座標としている。以後、ｙＤに対して一定幅ｄ（例えば抽出した縦書き文字行の平均幅の１／２）の範囲内に先頭が存在する縦書き文字行の数を、ｙＤに関するヒストグラムの値とする。図４６では、ｙＤを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Ｄの右隣の縦書き文字行Ｅは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標（ここでは、ｙＥ）とする。また、縦書き文字行Ｅの右隣の縦書き文字行Ｆの行先頭座標はｙＤの対象範囲に含まれるので、新たな基準座標を設けることなく、ｙＤに関するヒストグラムの値を１だけカウントアップする。
【０１２６】
以下、同様の処理を綴じ部境界線に向かって続けて行く。その結果、図４６に示す例では、ｙＤの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた７つで、ｙＥの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた４つとなる（これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図４６では省略している）。なお、ｙＤの対象範囲には本来無関係であるべき縦書き文字行Ｇも含まれているが、次のステップＳ２０４にてこれは除外される。
【０１２７】
続いて、ステップＳ２０３にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端（もしくは右端）にある縦書き文字行（基準行）を開始行として、綴じ部境界線へ向かって、先頭（もしくは末尾）のｙ座標が近接した縦書き文字行を抽出する（ステップＳ２０４）。図４６では、基準座標ｙＤの対象範囲に含まれる文字行が７つと最大であったので、その中の左端の縦書き文字行Ｄを開始行とし、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出していく。
【０１２８】
ところで、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。
【０１２９】
まず、画像の歪みを生じていない部分における処理について図４７を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Ｈを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の正方向（図４７中、上方へ向かう方向）に関して、着目行Ｈの先頭位置から一定範囲内ｂ１（例えば平均文字行幅の１／２）に抽出する縦書き文字行の先頭が存在すること
２．ｙ座標の負方向（図４７中、下方へ向かう方向）に関して、着目行Ｈの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ２／ａ１）で表している）の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Ｈの次の縦書き文字行Ｉの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Ｊの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Ｊを新たな着目行として同様の処理を続ける。
【０１３０】
次に、画像の歪みを生じている部分における処理について図４８を参照しつつ説明する。画像の歪みを生じている部分では、着目行Ｌを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の負方向（図４８中、下方へ向かう方向）に関して、着目行Ｌの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ３／ａ２）で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、ｂ２／ａ１＜ｂ３／ａ２とする）の範囲内に抽出する縦書き文字行の先頭が存在すること
２．着目行Ｌの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き（ｂ４／ａ２）が、着目行Ｌの先頭位置と直前の抽出行Ｋの先頭位置を結ぶ直線の傾き（ｂ５／ａ３）から一定値αを引いた値よりも大きい。すなわち、“ｂ４／ａ２＞ｂ５／ａ３−α”を満足すること（基本的には、“ｂ４／ａ２＞ｂ５／ａ３”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である）
すなわち、着目行Ｌの次の縦書き文字行Ｍの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Ｎの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Ｎを新たな着目行として同様の処理を続ける。
【０１３１】
さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のｙ座標をそれぞれｙＣ，ｙＮとすると、“ｙＮ−ｙＣ”が一定値（例えば、平均文字行幅の１／４）以上となれば、それ以降を歪みを生じている部分とする。
【０１３２】
以上の方法により図４６から抽出した縦書き文字行を、図４９において斜線を施した矩形で囲んで示す。
【０１３３】
最後に、抽出した縦書き文字行の先頭（もしくは末尾）の位置座標に関する近似曲線多項式を算出する（ステップＳ２０５）。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図５０に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図５０に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。
【０１３４】
なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１３５】
［不適切な縦書き文字行の外形の排除］
最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１３６】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【０１３７】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１３８】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字列として扱うものとする。
【０１３９】
以上、ステップＳ４１〜Ｓ４３の処理により、ページ外形／罫線／文字行の抽出処理（ステップＳ５）が終了する。
【０１４０】
［画像歪み補正処理］
続くステップＳ６（図６参照）においては、画像歪み補正処理を実行する。画像歪み補正処理は、図５１に示すように、概略的には、歪み補正（伸張）に際しての基準となる線（参照線１）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５１：参照線１選択処理）、参照線１に対応するものであって補正率（伸張率）の算出用の参照線２としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを選択する処理（ステップＳ５２：参照線２選択処理）、参照線１と参照線２に基づいてスキャン画像に伸張処理を施して主走査方向の歪みを補正する処理と、参照線１もしくは参照線２から算出されたページ面のスキャン面からの距離、もしくは、補正画像の文字外接矩形、に基づいてスキャン画像に伸張処理を施して副走査方向の歪みを補正する処理（ステップＳ５３：主走査方向歪み補正処理と副走査方向歪み補正処理）により構成されている。
【０１４１】
ここで、参照線１選択処理（ステップＳ５１）及び参照線２選択処理（ステップＳ５２）においては、参照線１または参照線２として、スキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行のいずれかを、左右各ページについて選択することになるが、本実施の形態におけるページ外形、罫線、文字行の選択の優先順位は、
ページ外形＞罫線＞文字行
とされている。このような選択優先順位にしたのは、文字行はページ外形や罫線に比べて抽出精度が低く、また、画像の外側にあるページ外形を利用する方が精度の高い歪み補正率を得ることができるためである。
【０１４２】
次に、主走査方向歪み補正処理と副走査方向歪み補正処理（ステップＳ５３）について説明する。これはスキャナパラメータが既知の場合と未知の場合で処理が異なる。即ち、スキャナの機種が既知の場合は当該スキャナのスキャナレンズの光軸の主走査方向の位置（図５２のＡｋ）と、スキャナレンズの中心とスキャン面間の距離（図５２の焦点面距離）をスキャナパラメータとして、予め記憶しておく。
【０１４３】
まず、スキャナパラメータが既知の場合を説明する。この場合、基本的に、主走査方向の1ラインを補正したら、次にそのラインに関して副走査方向の補正を行う、ということを主走査方向の全ライン、もしくは、参照線１または参照線２が曲線である部分の主走査方向ライン、について行う。
【０１４４】
主走査方向の補正は次のようにする。図５３に、補正前の参照線１、参照線２をそれぞれ実線で、補正後をそれぞれ点線で表している。補正後の点線は、補正前の参照線１、参照線２の直線部分（平坦部）をそのまま延長したものである。ここで、副走査方向の位置ｘにおいて、参照線１上の点ＰがＰ´に、参照線２上の点ＱがＱ´に、それぞれ補正される。さて、位置ｘにおける主走査方向上の任意の点ＹがＹ´に補正されるとして、次の関係式
ＹＰ／ＹＱ＝Ｙ´Ｐ´／Ｙ´Ｑ´
が成り立つ。よって、各点の主走査方向の位置を、点ＰならＰ（ｙ）というように表すと、
（Ｙ（ｙ）−Ｐ（ｙ））／（Ｙ（ｙ）−Ｑ（ｙ））
＝（Ｙ´（ｙ）−Ｐ´（ｙ））／（Ｙ´（ｙ）−Ｑ´（ｙ））
となるので、これを変形して、
Ｙ（ｙ）＝（（Ｐ（ｙ）−Ｑ（ｙ））／（Ｐ´（ｙ）−Ｑ´（ｙ）））Ｙ´（ｙ）
＋（Ｐ´（ｙ） Ｑ（ｙ）−Ｐ（ｙ）Ｑ´（ｙ））／（Ｐ´（ｙ）−Ｑ´（ｙ））
となる。
【０１４５】
上式を利用して、補正後にＹ´（ｙ）の位置に来るべき点の補正前の位置Ｙ（ｙ）を求めることができる。つまり、補正前のＹ（ｙ）の画素値を補正後のＹ´（ｙ）に移せばよいわけである。ただし、Ｙ（ｙ）の算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図５４において、Ｙ（ｙ）の前後の整数をそれぞれＮ，Ｎ＋１、これに対応する画素値をＤ（Ｎ），Ｄ（Ｎ＋１）とすると、Ｙ（ｙ）における画素値Ｄ（Ｙ（ｙ））は図に示したような線形関係を満足するように算出する。
【０１４６】
以上は、全ての参照線１と参照線２がページ外形／罫線／文字行のいずれかである場合であるが、適切なページ外形や罫線、文字行が抽出されなかった場合は次のようにする。図５５は、右ページ上方にページ外形／罫線／文字行が存在しない場合の例である。この場合は、レンズ光軸の軌跡（図５５のＬ）を参照線２とみなして、上記と同様の処理を行う。ただしこの場合は図５３におけるＱとＱ´は一致する。なお、ページ下方にページ外形／罫線／文字行が存在しない場合は、Ｌを参照線１とみなして同様に行う（ＰとＰ´が一致）。ページの上方／下方ともにページ外形／罫線／文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
【０１４７】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける参照線１および参照線２についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、参照線１、参照線２の抽出は５セットに1回のみ行うものとし、あるセットで参照線１、参照線２を抽出したら、その後に続く４セットではこれらの情報をそのまま流用するということを行っても良い。これにより、参照線１、参照線2を抽出するための時間が節約できるので、全体の処理速度が向上する。
【０１４８】
副走査方向の補正は次のようにする。即ち、ページ面のスキャン面からの距離の変化量を利用して、書籍原稿の断面曲線が直線となるように展開して画像を伸長する。具体的には、図５６に示すように、ブック原稿ページ面の形状を読み取ってライン毎の微少な三角形とし、ページの読み取り１ラインにおける画像長さＬｎを次の式
Ｌｎ＝√｛１＋（Ｔｎ−Ｔn-1）２｝
により算出し、画像長さＬｎの累積をページの伸長長さとする。その結果、近似した三角形の斜辺は湾曲したページの形状とほぼ等しくなるので（折れ線近似）、その累積をページの画像長さとすることにより、正確なページ長さを得る。特に、１ライン毎の最小ピッチによる形状近似により、その長さの補正精度は高い。
【０１４９】
隣接する主走査方向のライン上の注目画素の画素間隔を基準“１”として演算することにより、読み取りライン間隔が変化、すなわち、平面状としたときの原稿に対してサンプリング画素間隔が逐次替わっていくのに対し、画像伸長処理を適応する。また、幾何学的に主走査方向の画像投影倍長さとページ面のスキャン面からの距離は比例関係にあり、図５２に示すように、参照線１もしくは参照線２の主走査方向のアドレスＡ３と、参照線１もしくは参照線２の直線部分（平坦部）のアドレスＫａよりページ面のスキャン面からの距離Ｔを以下の式
Ｔ＝焦点面距離＊（Ａ３−Ａｋ）／｛（Ａｋ−Ｋａ）−（Ａ３−Ａｋ）｝
により、求めることができる。このようにして算出される隣接する主走査ラインの深さの差により、１画素毎の微少ピッチの直線で近似してページの補正位置を算出することができる。なお、参照線１／参照線２の求め方や、適切な参照線１／参照線２が存在しない場合の対応は主走査方向の補正の場合と基本的に同様である。
【０１５０】
このようにして算出されたページ面のスキャン面からの距離Ｔは、図５６に示すように、１ライン毎の復元すべき副走査方向の画像長さＬｎの算出に用いられることになる。すなわち、前述した次の式
Ｌｎ＝√｛１＋（Ｔｎ−Ｔn-1）２｝
により、１ライン毎の補正すべき副走査方向の画像長さＬｎが算出される。したがって、画像長さＬｎの累積が副走査方向のページ長さになる。
【０１５１】
通常、ページ面のスキャン面からの距離が高くなるに連れてその高さの変化量が増す。そこで、本実施の形態においては、その位置のページ面のスキャン面からの距離に応じて画像伸長に制限をかける。例えば、隣合う境界アドレスの差をその位置の（高さ［ｍｍ］／５）［画素］に制限して境界の誤検出による副走査方向補正のエラーを抑制する。
【０１５２】
副走査方向の補正では画像長さＬｎは位置によって異なり、図５７に示すように元画像と補正画像の対応する点の位置は一般に異なる。Ｎに存在した点がＮ´に、Ｎ＋１の点がＮ＋１´にそれぞれ補正される場合、求めるべきは整数Ｘ´の位置（これも一般にはＮ＋１´と一致するとは限らない）の画素値である。Ｎ´とＸ´間の距離をａ、Ｘ´とＮ＋１´間の距離をｂとそれぞれおくと、元画像におけるＸ´の対応点Ｘは、
（Ｘ−Ｎ）／（Ｎ＋１−Ｘ）＝ａ／ｂ
の関係にある。
【０１５３】
上式によりＸの位置が分かったら、補正前のＸの画素値を補正後のＸ´に移せばよいわけである。ただし、Ｘの算出値は一般に小数となるので、その前後の整数位置に対応する画素値の線形補間結果を用いる。即ち、図５８において、Ｘの前後のＮ，Ｎ＋１に対応する画素値をＤ（Ｎ），Ｄ（Ｎ＋１）とすると、Ｘにおける画素値Ｄ（Ｘ）は図に示したような線形関係を満足するように算出する。以上の処理を、副走査方向の全ての位置、もしくは、参照線１または参照線２が曲線である部分の副走査方向の位置に対して行う。
【０１５４】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける書籍原稿のスキャン面からの距離と、参照線１または参照線２についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、書籍原稿のスキャン面からの距離の算出や参照線１、参照線２の抽出は５セットに1回のみ行うものとし、あるセットで距離の算出や参照線１、参照線２の抽出を行ったら、その後に続く４セットではこれらの情報をそのまま流用するということを行っても良い。これにより、書籍原稿のスキャン面からの距離の算出や参照線１、参照線２を抽出するための時間が節約できるので、全体の処理速度が向上する。
【０１５５】
ここまでが、スキャナパラメータが既知の場合の、主走査方向歪み補正処理と副走査方向歪み補正処理（ステップＳ５３）の説明である。
【０１５６】
次に、スキャナパラメータが未知の場合を説明する。主走査方向の補正はスキャナパラメータが既知の場合と基本的に同様であるが、適切なページ外形や罫線、文字行が抽出されなかった場合の処理が若干異なる。図５５において、スキャナパラメータが既知の場合はレンズ光軸の軌跡（図５５のＬ）を参照線２とみなしたが、未知の場合（図５９参照）は副走査方向に平行な中心線（図５９のＣ）を参照線２とみなす。この場合も図５３におけるＱとＱ´は一致する。ページ下方にページ外形／罫線／文字行が存在しない場合は、Ｃを参照線１とみなして同様に行う（ＰとＰ´が一致）。ページの上方／下方ともにページ外形／罫線／文字行が存在しない場合は、手がかり無しとして、そのページの補正は行わない。
【０１５７】
次に、副走査方向歪み補正処理について説明する。ここで、図６０は副走査方向歪み補正処理の流れを概略的に示すフローチャートである。図６０に示すように、ステップＳ１０１においては、主走査方向歪み補正されたスキャン画像に基づいて文字の外接矩形Ａ（図６１参照）を抽出する。ここで、文字認識処理については周知の技術であるので、その説明は省略する。このように文字の外接矩形Ａを抽出するのは、この文字の外接矩形Ａの形状の変化を基に、副走査方向の歪みを補正するためである。ここでは、図６１に示すように、文字外接矩形Ａの横辺の長さｗ、縦辺の長さｈ、および、文字の中心Ｂを定義する。ここで、文字の中心Ｂは、外接矩形Ａの対角線の交点である。
【０１５８】
続いて、図６２に示すように、スキャン画像をブック原稿４０のページ綴じ部４１に平行な方向の複数の短冊状の領域Ｃに分割した後（ステップＳ１０２）、各短冊領域Ｃについて、そこに含まれる文字外接矩形Ａに関する特徴量を求める（ステップＳ１０３）。ここで、ある短冊領域Ｃに含まれる文字外接矩形Ａとは、その中心が当該短冊領域Ｃに含まれるような外接矩形Ａのことである。例えば、図６２の短冊領域Ｃ１に含まれる外接矩形Ａは、図中の網掛けを施した矩形である。
【０１５９】
さて、上記の文字外接矩形Ａに関する特徴量は、
（文字の横辺の長さ）／（文字の縦辺の長さ）＝ｗ／ｈ
を基に求められる。すなわち、各短冊領域Ｃについて、そこに含まれる全ての文字外接矩形Ａのｗ／ｈの値の平均値をその短冊領域Ｃの特徴量とするのである。
【０１６０】
しかしながら、単に、ｗ／ｈの平均値を算出すると不適切な場合がある。文字の中には、句読点や数式中の記号のようにそのサイズが元々小さく、ｗ／ｈの値が不安定なものがある。また、矩形抽出の際に隣接する文字同士がくっついて抽出されてしまい、ｗが極端に大きい文字外接矩形Ａが生じる場合もある。特徴量を求める場合は、このような特殊な文字や極端にｗが大きいものを予め排除しておく必要がある。そこで、続くステップＳ１０４においては、予め閾値を定めておいて、ｈの値がその閾値より小さな文字外接矩形Ａを予め排除するとともに、ｗ／ｈの比率に関する閾値を予め定めておき、ｗ／ｈの値が其の閾値よりも大きい文字外接矩形Ａも予め排除する。例えば、図６３中に示した網掛けを施した文字外接矩形Ａが予め排除されることになる。
【０１６１】
続くステップＳ１０５においては、前述したように極端な文字外接矩形Ａを排除した後に、各短冊領域Ｃ内の文字外接矩形Ａのｗ／ｈの平均値を求める。図６４に各短冊領域Ｃ内の外接矩形Ａのｗ／ｈの平均値の一例を示す。なお、図６４中の短冊領域Ｃ２は、ページ綴じ部を含む短冊領域である。
【０１６２】
続いて、ページ綴じ部を含む短冊領域Ｃ２に文字外接矩形Ａが存在するか否かを判断する（ステップＳ１０６）。これは、図６３に示すように、一般にはページ綴じ部付近には文字外接矩形Ａが存在しない場合が多いからである。ページ綴じ部を含む短冊領域Ｃ２に文字外接矩形Ａが存在する場合は（ステップＳ１０６のＹ）、その文字外接矩形Ａを利用して特徴量は算出されているのでそのままステップＳ１０８に進む。
【０１６３】
一方、ページ綴じ部を含む短冊領域Ｃ２に文字外接矩形Ａが存在しない場合は（ステップＳ１０６のＮ）、ステップＳ１０７に進み、ページ綴じ部を含む短冊領域Ｃ２の特徴量を求める。なお、ページ綴じ部を含む短冊領域Ｃ２の識別は、例えば、スキャン画像（例えば、モノクロ多値画像）の地肌濃度変化を各短冊領域Ｃごとに求め、短冊領域Ｃ内の最も濃度の薄い濃度値を求めることにより実現される。図６５は地肌濃度変化を求めた一例を示したものであり、地肌濃度が最も濃い短冊領域が、ページ綴じ部を含む短冊領域Ｃ２であるとみなされる。
【０１６４】
なお、スキャン画像がカラー多値画像の場合におけるページ綴じ部を含む短冊領域Ｃ２の識別は、例えばＲＧＢ成分の何れか一つの成分（例えばＧ成分）に着目し、そのＧ成分の地肌濃度を使用して識別するようにすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分を使用してページ綴じ部を含む短冊領域Ｃ２を識別するようにしても良い。
【０１６５】
ページ綴じ部を含む短冊領域Ｃ２の特徴量は、次のようにして定められる。ここでは、統計的特徴量の算出対象となり得る文字外接矩形Ａが存在し、かつ、ページ綴じ部を含む短冊領域Ｃ２の最近傍である短冊領域Ｃの特徴量に対して予め定めた定数値を乗じることにより算出された値が、ページ綴じ部を含む短冊領域Ｃ２における特徴量とみなされるものである。つまり、図６４に示した例では、ページ綴じ部を含む短冊領域Ｃ２の左右何れの短冊領域Ｃ３，Ｃ４にも文字外接矩形Ａが存在するので、どちらか適当な方の特徴量を選択し（ここでは右側の○印の方）、それに予め定めた定数値（ここでは０．５）を乗じて、これをページ綴じ部を含む短冊領域Ｃ２の特徴量としている。
【０１６６】
続くステップＳ１０８においては、各短冊領域Ｃの特徴量に対する適切なフィルタリング処理、例えば、短冊領域Ｃの位置の変化方向（即ち副走査方向）に関する移動平均を求める処理を施すなどして、短冊領域Ｃの位置の変化に対する（副走査方向の）特徴量の変化がなだらかになるようにする。ただし、ここでもページ綴じ部付近は特別な処理が必要となる。なぜなら、副走査方向に関して長さが全て等しいウィンドウを用いてフィルタリングを行うと、ページ綴じ部付近の特徴量の変化の鋭さが失われてしまうからである。
【０１６７】
ここで、長さが全て５であるウィンドウを用いて図６４に示した各短冊領域Ｃの特徴量に対してフィルタリング処理を施した結果を図６６に示す。図６６に示すように、長さが全て５であるウィンドウを用いてフィルタリング処理を施した場合には、ページ綴じ部付近の特徴量（ｗ／ｈ）の変化がなだらかになり過ぎてしまう。このような場合には、ページ綴じ部付近での適切な画像補正が不可能になってしまう。
【０１６８】
そこで、本実施の形態においては、フィルタリング処理の際には、フィルタのウィンドウがページ綴じ部を含む短冊領域Ｃ２の両側の短冊領域Ｃ３，Ｃ４に跨がらないように、ページ綴じ部付近でウィンドウ長を調整する。ここで、図６７はページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。図６７に示すように、ページ綴じ部付近でウィンドウ長を調整した場合には、ページ綴じ部付近の特徴量（ｗ／ｈ）の変化を適切に表現できるので、良好な画像補正が実現できる。
【０１６９】
続くステップＳ１０９においては、各短冊領域Ｃの推定歪み量を算出する。各短冊領域Ｃの推定歪み量の算出手法は、以下に示す通りである。
【０１７０】
まず、短冊領域の歪み量を算出するための基準となる短冊領域（基準短冊領域）を定める。ここでは、歪みが最も小さいと考えられる短冊領域Ｃ、例えば、特徴量（ｗ／ｈ）が最大である短冊領域Ｃを基準短冊領域とする。この処理は左右ページで共通に行っても良いが、左右独立に基準短冊領域を定めても構わない。図６７においては、左右独立に基準短冊領域を定めた例を示しており、○印を施した短冊領域Ｃが基準短冊領域であり、左側の基準特徴量を“Ｌｗ０／Ｌｈ０”、右側の基準特徴量を“Ｒｗ０／Ｒｈ０”、でそれぞれ示している。
【０１７１】
次に、基準短冊領域の特徴量ｗ０／ｈ０をスキャン画像全体の基準特徴量とし、
（各短冊領域の特徴量）／（基準特徴量）＝（ｗ／ｈ）／（ｗ０／ｈ０）
の値を、各短冊領域の推定歪み量として算出する。
【０１７２】
なお、ページ綴じ部から外れたページ外側付近の短冊領域Ｃを基準短冊領域とすると、ページ綴じ部付近とはフォントや活字のサイズの違いが大きくて、適切な推定歪み量が算出できない場合も考えられる。そのような画像を対象とする場合は、基準短冊領域の探索範囲を予めページ綴じ部付近に限定しておくのが有効である。これを実現するためには、参照線１または参照線２が曲線である部分の副走査方向の位置に対してのみ行うようにすれば良い。
【０１７３】
最後に、スキャン画像に対して、短冊領域Ｃの短辺方向（副走査方向）の拡大処理を行い、ページ綴じ部付近の歪みを補正する（ステップＳ１１０）。その場合の拡大率（副走査方向の歪み補正率（伸張率））は、ステップＳ１０９において算出した推定歪み量の逆数、すなわち、
（基準特徴量）／（各短冊領域の特徴量）＝（ｗ０／ｈ０）／（ｗ／ｈ）
とする。ここで、上記の基準短冊領域を左右共通に定めた場合には、この拡大率も左右共通の基準特徴量によって算出し、独立に定めた場合には、左右それぞれの基準特徴量で独立に算出するようにする。図６８は、図６７に示した特徴量に基づいて算出した補正拡大率を示したものである。
【０１７４】
なお、ここでも、ページ綴じ部付近から離れた短冊領域Ｃはもともと画像の歪みが無い領域である可能性が高いので、拡大処理の対象としない方が良い場合がある。拡大処理を行ったために、かえって不自然な歪みが生じてしまう可能性があるからである。これを防ぐために、参照線１または参照線２が曲線である部分の副走査方向の位置に対してのみ拡大すれば良い。即ち、参照線１または参照線２が直線の部分では、推定歪み量を“１”とする。
【０１７５】
また、短冊領域Ｃ内において共通の補正拡大率を適用した場合、隣接する短冊領域Ｃの境界部での補正拡大率が不連続となるため、補正画像が不自然となる。そこで、隣接する短冊領域Ｃの境界部での補正拡大率が連続的に変化するように、補正拡大率を予め補正しておく。これは、例えば図６８に示す短冊領域Ｃの中央部分の補正拡大率を推定歪み量の逆数を示す点としてプロットし、これらの点を線分で結んで直線補完することで、他の部分の補正拡大率とすることで実現できる。以上の処理により、スキャン画像の副走査方向の補正拡大率が確定する。
【０１７６】
以上の処理をスキャン画像の左右ページ毎に独立して実行する。また、ある見開き左右ページにおける補正拡大率についての情報を保持しておき、他の見開き左右ページの補正にこれを利用してもよい。例えば、連続する見開きページをスキャンする際、見開き左右ページを1セットと考えて、補正拡大率の算出は５セットに１回のみ行うものとし、あるセットで補正拡大率を算出したら、その後に続く４セットではその情報をそのまま流用するということを行っても良い。これにより、補正拡大率を算出するための時間が節約できるので、全体の処理速度が向上する。
【０１７７】
以上、ステップＳ１０１〜Ｓ１１０の処理により副走査方向歪み補正処理が終了し、図６に示すスキャン画像の歪み補正処理が終了する。ここで、図６９は歪みを補正した画像を示す平面図である。以上の処理によれば、図８に示したようなページ綴じ部の近傍において生じていたスキャン画像の歪みが、図６９に示すように補正されることになる。
【０１７８】
以上のように、スキャナパラメータが未知の場合は、まず主走査方向の補正が全ライン分終了した後に、文字外接矩形を用いて副走査方向の補正を行うのが基本である。
【０１７９】
なお、本実施の形態においては、画像読取装置としてデジタル複写機のスキャナ部１を適用したが、これに限るものではなく、例えば自動ページ捲り機能を搭載したスキャナ等に適用するようにしても良い。
【０１８０】
また、本実施の形態においては、ブック原稿４０のページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてブック原稿４０をコンタクトガラス２上に下向きに載置した場合について説明したが、これに限るものではない。例えば、図７０に示すように、上向きのブック原稿４０をコンタクトガラス２の下方からコンタクトガラス２に対して押し付けるように接触させるものであっても良い。
【０１８１】
さらに、本実施の形態においては、画像歪み補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像の歪み補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナをパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールすることによって画像歪み補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをパーソナルコンピュータのＨＤＤにインストールすることによって画像歪み補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対して歪み補正処理を施すようにしても良い。
【０１８２】
【発明の効果】
本発明によれば、書籍の紙質や置き方に依存せずに綴じ部位置を検出することができるので、歪み補正処理の補正精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図８】入力した画像の一例を示す平面図である。
【図９】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１０】綴じ部位置検出処理の流れを概略的に示すフローチャートである。
【図１１】スキャン画像の上辺の綴じ部付近にページ外形が存在するか否かを判定する手法を説明する説明図である。
【図１２】生成されたヒストグラムの一例を示す説明図である。
【図１３】生成されたヒストグラムの解析手法を説明する説明図である。
【図１４】リスト数が単数の場合の文字無し領域の判定手法を説明する説明図である。
【図１５】リスト数が複数の場合の文字無し領域の判定手法を説明する説明図である。
【図１６】リスト数が複数あり、かつ、最大の距離を持つリストを中心として、前後のリストの終始座標間距離が対称の並びになっていない場合の文字無し領域の判定手法を説明する説明図である。
【図１７】リスト数が０の場合の文字無し領域の判定手法を説明する説明図である。
【図１８】ページ外形の頂点の検出手法を説明する説明図である。
【図１９】主走査方向の各ライン上での最大輝度値の中で、副走査方向において最小値を与える位置のヒストグラムである。
【図２０】輝度の差が、予め定められた閾値以上であり、かつ、予め定められた別の閾値以下となるような点の集合を示す説明図である。
【図２１】ｘ−ｙ平面上の点Ｐ（ｘ，ｙ）を通過する直線を示す説明図である。
【図２２】距離ρと角度θとの関係を示す説明図である。
【図２３】綴じ部位置の決定手法を説明するための説明図である。
【図２４】上ページにのみページ外形が存在する場合の綴じ部位置の決定手法を示す説明図である。
【図２５】ページ外形が上下辺のどちらにも存在する場合の綴じ部位置の決定手法を示す説明図である。
【図２６】スキャン画像の綴じ部付近にページ外形が存在しない場合の綴じ部位置の決定手法を示す説明図である。
【図２７】図８に示した画像の黒画素ヒストグラムである。
【図２８】ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【図２９】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図３０】図２９に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図３１】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図３２】図３１に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図３３】罫線の連続性の判別を示す説明図である。
【図３４】罫線の座標検出を示す説明図である。
【図３５】左右ページから各１本ずつの罫線を選択する場合を示す説明図である。
【図３６】左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつの罫線を選択する場合を示す説明図である。
【図３７】罫線の座標抽出を示す説明図である。
【図３８】排除される不適切な罫線の例を示す説明図である。
【図３９】図８に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図４０】図８に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図４１】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図４２】最適な横書き文字行の選択を示す説明図である。
【図４３】各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。
【図４４】抽出した行切り出し矩形を例示的に示す説明図である。
【図４５】予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。
【図４６】抽出した縦書き文字行の先頭のｙ座標に関してヒストグラムを構成する状態を示す説明図である。
【図４７】画像の歪みを生じていない部分における処理を示す説明図である。
【図４８】画像の歪みを生じている部分における処理を示す説明図である。
【図４９】抽出した縦書き文字行を示す説明図である。
【図５０】縦書き文字行の行切り出し矩形を示す説明図である。
【図５１】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図５２】スキャナのスキャナレンズの光軸の主走査方向の位置と、スキャナレンズの中心とスキャン面間の距離を示す説明図である。
【図５３】主走査方向歪み補正処理を示す説明図である。
【図５４】画素値の線形補間処理による求め方を示す説明図である。
【図５５】右ページ上方にページ外形／罫線／文字行が存在しない場合の主走査方向歪み補正処理を示す説明図である。
【図５６】画像長さの算出を示す説明図である。
【図５７】元画像と補正画像の対応を示す説明図である。
【図５８】画素値の線形補間処理による求め方を示す説明図である。
【図５９】スキャナパラメータが未知であって適切なページ外形や罫線、文字行が抽出されなかった場合の主走査方向歪み補正処理を示す説明図である。
【図６０】副走査方向歪み補正処理の流れを概略的に示すフローチャートである。
【図６１】抽出された文字外接矩形を示す説明図である。
【図６２】二値化画像をブック原稿のページ綴じ部に平行な方向の複数の短冊状の領域に分割した状態を示す説明図である。
【図６３】予め排除される文字外接矩形を示す説明図である。
【図６４】各短冊領域内の外接矩形の特徴量の平均値の一例を示すグラフである。
【図６５】各短冊領域内の地肌濃度変化の一例を示すグラフである。
【図６６】図６４に示した各短冊領域の特徴量に対して長さが全て５であるウィンドウを用いてフィルタリング処理を施した結果を示すグラフである。
【図６７】図６４に示した各短冊領域の特徴量に対してページ綴じ部付近でウィンドウ長を調整してフィルタリング処理を施した結果を示すグラフである。
【図６８】図６７に示した特徴量に基づいて算出した補正拡大率を示すグラフである。
【図６９】歪みを補正した画像を示す平面図である。
【図７０】コンタクトガラスにブック原稿を接触させた状態を示す正面図である。
【図７１】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【符号の説明】
１ 画像読取装置
１６ 画像形成装置
１９ 画像歪み補正装置
４０ ブック原稿
４１ ページ綴じ部
Claims (20)
- スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪みを当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いて補正する画像歪み補正装置において、
前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出手段と、
文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出手段と、
最小輝度の代表位置を検出する最小輝度検出手段と、
前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出手段と、
を備え、
前記ページ外形検出手段により検出されたページ外形の有無、前記文字無し領域検出手段により検出された文字無し領域、前記最小輝度検出手段により検出された最小輝度の代表位置、前記直線抽出手段により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する、
ことを特徴とする画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺の綴じ部付近に前記ページ外形が検出された場合は、上下の各ページ外形の頂点を結んだ線分を綴じ部位置とみなす、
ことを特徴とする請求項１記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合は、前記最小輝度検出手段にて検出された最小輝度位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項１記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす、
ことを特徴とする請求項３記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺または下辺のいずれか一方の綴じ部付近にのみ前記ページ外形が検出された場合であって、当該ページ外形の頂点と、前記文字無し領域検出手段により検出された文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された複数の直線候補の中から、当該ページ外形の頂点と最も近い直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項３記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合は、前記最小輝度検出手段にて検出された最小輝度の代表位置もしくは前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項１記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より小さい場合は、前記最小輝度位置を綴じ部位置とみなす、
ことを特徴とする請求項６記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、かつ、前記文字無し領域検出手段により適切な文字無し領域が検出された場合に、前記文字無し領域検出手段により検出された文字無し領域の中点と、文字無し領域内において前記最小輝度検出手段にて検出された最小輝度の代表位置との差が予め定めた閾値より大きい場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、
ことを特徴とする請求項６記載の画像歪み補正装置。 - 前記ページ外形検出手段により前記スキャン画像の主走査方向上辺及び下辺のいずれの綴じ部付近にもページ外形が検出されなかった場合であって、前記文字無し領域検出手段により適切でない文字無し領域が検出された場合は、前記直線抽出手段により抽出された直線の位置を綴じ部位置とみなす、ことを特徴とする請求項１記載の画像歪み補正装置。
- 前記ページ外形検出手段は、前記スキャン画像の主走査方向上辺から下方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ逆三角形状に分布している場合は前記スキャン画像の主走査方向上辺にページ外形が存在するとみなし、前記スキャン画像の主走査方向下辺から上方へ向かって黒画素もしくは予め定めた濃度閾値以上の画素がほぼ三角形状に分布している場合は前記スキャン画像の主走査方向下辺にページ外形が存在するとみなす、
ことを特徴とする請求項１ないし９のいずれか一記載の画像歪み補正装置。 - 前記文字無し領域検出手段は、主走査方向での白黒画素の反転数、もしくは、予め定めた閾値以上と以下の画素が交代する回数、に関するヒストグラムの分布を利用して、前記文字無し領域を検出する、
ことを特徴とする請求項１ないし９のいずれか一記載の画像歪み補正装置。 - ヒストグラムの値が予め定めた閾値以下である副走査方向の連続領域の中で最大の領域を中心とし、他の閾値以下の連続領域が副走査方向でほぼ対称に存在する場合は、前記最大領域を文字や図が存在しない可能性が高い文字無し領域（適切な文字無し領域）とみなし、他の閾値以下の連続領域が副走査方向で対称に存在しない場合は、これら閾値以下の連続領域の全ての左端から右端までを文字や図が存在しない可能性が低い文字無し領域（適切でない文字無し領域）とみなす、
ことを特徴とする請求項１１記載の画像歪み補正装置。 - ヒストグラムの値が予め定めた閾値以上である副走査方向の連続領域の長さが予め定められた一定値以下の場合は、当該連続領域をヒストグラムの値が予め定めた閾値以下の領域とみなす、
ことを特徴とする請求項１２記載の画像歪み補正装置。 - 前記最小輝度検出手段は、前記スキャン画像の主走査方向の各ライン上での最大輝度値の中で副走査方向において最小値を与える位置を、最小輝度の代表位置とみなす、
ことを特徴とする請求項１ないし９のいずれか一記載の画像歪み補正装置。 - 最小輝度の代表位置を通る主走査方向直線と、スキャン画像を副走査方向に貫く中心線もしくは前記画像読取手段の光軸の軌跡との交点を起点とし、スキャン画像の上方と下方の各方向に向かって、各主走査方向位置における最小輝度位置を探索していく、
ことを特徴とする請求項１４記載の画像歪み補正装置。 - 前記直線抽出手段は、前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素の輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する、
ことを特徴とする請求項１ないし９のいずれか一記載の画像歪み補正装置。 - 決定した綴じ部位置と画像読み取りの主走査方向との成す角度を前記スキャン画像のスキュー角度として検出する、
ことを特徴とする請求項１ないし１６のいずれか一記載の画像歪み補正装置。 - 原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし１７の何れか一記載の画像歪み補正装置と、
を備えることを特徴とする画像読取装置。 - 原稿画像を読み取る画像読取手段と、
この画像読取手段により読み取られたスキャン画像の補正を行う請求項１ないし１７の何れか一記載の画像歪み補正装置と、
この画像歪み補正装置から出力される画像データに基づいた画像を用紙上に印刷する画像印刷装置と、
を備えることを特徴とする画像形成装置。 - スキャン面の上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像の歪み補正を当該スキャン画像におけるブック原稿のページ綴じ部の位置を用いてコンピュータに実行させるプログラムであって、前記コンピュータに、
前記スキャン画像の綴じ部付近のページ外形を検出するページ外形検出機能と、
文字や図の非存在領域であって前記スキャン画像の綴じ部を含む文字無し領域を検出する文字無し領域検出機能と、
最小輝度の代表位置を検出する最小輝度検出機能と、
前記スキャン画像上の着目画素と当該着目画素から副走査方向に予め定めた距離だけ離れた画素との輝度値の差が予め定めた閾値以上であり、かつ、予め定めた別の閾値以下となるような着目点の集合を基に直線を抽出する直線抽出機能と、
を実行させ、
前記ページ外形検出機能により検出されたページ外形の有無、前記文字無し領域検出機能により検出された文字無し領域、前記最小輝度検出機能により検出された最小輝度の代表位置、前記直線抽出機能により抽出された直線の位置を勘案し、前記スキャン画像の綴じ部位置を決定する、
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003204286A JP3983721B2 (ja) | 2003-07-31 | 2003-07-31 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003204286A JP3983721B2 (ja) | 2003-07-31 | 2003-07-31 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005051383A JP2005051383A (ja) | 2005-02-24 |
| JP3983721B2 true JP3983721B2 (ja) | 2007-09-26 |
Family
ID=34263334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003204286A Expired - Fee Related JP3983721B2 (ja) | 2003-07-31 | 2003-07-31 | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3983721B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006293522A (ja) * | 2005-04-07 | 2006-10-26 | Fuji Photo Film Co Ltd | 直線検出装置、直線検出方法およびそのプログラム |
| JP4695520B2 (ja) * | 2006-02-09 | 2011-06-08 | 株式会社リコー | 画像処理装置、画像処理方法、及び、画像処理プログラム |
| JP4883574B2 (ja) * | 2007-01-04 | 2012-02-22 | 株式会社沖データ | 画像処理装置 |
| JP5777601B2 (ja) | 2012-12-25 | 2015-09-09 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像読取装置 |
| JP6798388B2 (ja) * | 2017-03-29 | 2020-12-09 | 株式会社デンソー | 部材の溶接位置検出装置、及び、部材の溶接位置検出方法 |
| JP7180408B2 (ja) | 2019-01-25 | 2022-11-30 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置および画像処理プログラム |
| CN111739014B (zh) * | 2020-06-30 | 2023-03-07 | 北京酷豹科技有限公司 | 基于图像处理的图像质量检测方法及相关装置 |
-
2003
- 2003-07-31 JP JP2003204286A patent/JP3983721B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005051383A (ja) | 2005-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7430065B2 (en) | Method and system for correcting distortions in image data scanned from bound originals | |
| JP4141235B2 (ja) | 画像補正装置及びプログラム | |
| US20020084978A1 (en) | Image distortion correction apparatus, distortion correction method therefor, recording media, image scanner and image construction apparatus | |
| JP4271085B2 (ja) | 画像補正装置、画像読取装置、プログラム及び記憶媒体 | |
| JP4162633B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP3983721B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4507124B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4585015B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4180260B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP3979639B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP3926294B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 | |
| JP4006242B2 (ja) | 画像補正装置、プログラム、記憶媒体及び画像補正方法 | |
| JP4194076B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP4136860B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4061256B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4093970B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
| JP4198613B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
| JP4789221B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
| JP4480291B2 (ja) | 画像歪み補正装置、記憶媒体、プログラム、画像歪み補正方法、画像読取装置および画像形成装置 | |
| JP3986059B2 (ja) | 画像補正装置、プログラム、記憶媒体及びページ外形の直線部分と曲線部分の境界点の検出方法 | |
| JP4577845B2 (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 | |
| JP4145256B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
| JP3917421B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP3877142B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
| JP2003143407A (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051118 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |