JP4577844B2 - 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 - Google Patents

Description

本発明は、ブック原稿を読み取ったスキャン画像の地肌又は陰影を処理する画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。

しかしながら、原稿としてブック原稿を用いた場合、ブック原稿の綴じ部がコンタクトガラスから浮き上がってしまう。図５０は、ブック原稿のスキャン画像の一例を示す。図５０に示すように、綴じ部がコンタクトガラスから浮き上がってしまった場合、綴じ部が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像の綴じ部は読みにくく、また、ＯＣＲ（Optical Character Reader）により文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本では綴じ部の劣化が激しく、また、ブック原稿の綴じ部が焦点面から離れないように加圧作業した場合には、ブック原稿自体を破損してしまうこともある。そこで、ページ外形や文字行情報及び罫線情報を用いて綴じ部のゆがみを補正する画像読み取り装置が提案されている。

また、綴じ部の明度を補正するため、スキャンされた画像を複数のブロックに分割し、各ブロックに含まれる画素の中で最も明度の高い画素の明度値を当該各ブロックの地肌値として設定し、ブロックごとの地肌値に基づいて地肌補正処理を施す地肌補正装置が提案されている（例えば、特許文献１参照。）。

また、スキャンされた画像に対する地肌補正処理に係る複数の処理モードから選択された所望の処理モードに従ってスキャンされた画像における地肌値を指定し、この指定された地肌値に基づきスキャンされた画像に対する地肌補正処理を実行する地肌補正装置が提案されている（例えば、特許文献２参照。）。特許文献２記載の地肌補正装置では、地肌補正処理の基準とすべき地肌値を抽出する画像上の位置が画像読取手段の種類によって異なることから、ユーザは、使用する画像読取手段に最も適した処理モードを選択してスキャン画像に対する地肌補正処理を実行することができる。
特開２００３−６９８２４号公報 特開２００３−１９８８４５号公報

しかしながら、従来の地肌補正装置では、綴じ部の両端部分（綴じ部の天及び地付近）の陰影を十分に補正できず、綴じ部の両端部分に陰影が残る結果となる（陰影は、画像データとしては明度と同じものであるが区別するため陰影と称す）。これは、イメージスキャナの光源（蛍光灯）の長さが有限であるため、ブック原稿の両端部分に近いほど照明光の強度が弱くなるためと考えられる。また、左右の書籍表面上には，各々反対側からの反射光（相互反射光）も照明として含まれているため、その影響によっても綴じ部の陰影に影響を及ぼしていると考えられる。

本発明は上記問題に鑑み、ブック原稿の綴じ部の両端付近において陰影の補正ができる画像処理装置、画像処理方法、プログラム及びプログラムが格納された記憶媒体を提供することを目的とする。

上記課題に鑑み、本発明は、画像読取手段が、コンタクトガラス上に載置されたブック原稿を読み取るステップと、第一の手段が、前記ブック原稿のスキャン画像の画素値から前記ブック原稿の平坦部を特定し、該平坦部の画素値を基準に、綴じ部両端を結ぶ方向の一次元画像と直交する方向の位置ｙに対する前記スキャン画像の明度を正規化して正規化明度プロフィールを生成するステップと、地肌補正手段が、前記正規化明度プロフィールを用いて前記スキャン画像の綴じ部付近の地肌を補正するステップと、第２の手段が、一次元画像と平行な方向の位置ｘに対する明度の分布に対し、明度が一次元画像の明度分布の略中央値となる位置をｘ０、略中央値と漸近的に一定となる明度との差をａ、略中央値を通る位置ｘに対する明度の傾きをｂ、明度分布の略中央値をｃ、として、明度を
と定義した際、前記ｘ０に所定値を与え、一次元画像のあるｘにおける明度を前記式に代入することで前記ｂを推定し、一次元画像の明度分布を求めるステップと、陰影補正手段が、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、を有することを特徴とする画像処理方法にて解決する。

本発明によれば、スキャン画像の綴じ部両端付近の陰影を補正することで、ブック原稿の綴じ部の両端部分に生じる陰影を補正できる。画素値とはRGB等であるが、例えば、RGBの値により算出される明度のように画素値をどのように処理して得られる値であってもよい。

本発明の一形態として、前記第２の手段は、一次元画像の画素値にフィルタ演算を施し、前記スキャン画像の両端の座標ｘｌ、ｘｒを推定し、座標ｘｌよりも外側又は座標ｘｒよりも外側の位置を前記ｘ０の所定とする、ことを特徴とする。

本発明の一形態において、前記陰影補正手段が、画素毎にＲＧＢ値から明度、彩度及び色相を求めるステップと、前記ブック原稿の画素毎に有彩色か無彩色かを判定するステップと、有彩色の場合には彩度と明度の両方に前記正規化明度プロフィールによる地肌補正を行い、無彩色の場合には明度にのみ前記正規化明度プロフィールによる地肌補正を行うステップと、画素毎に、明度、彩度及び色相からＲＧＢ値を求めるステップと、を有することを特徴とする。

本発明の一形態において、前記陰影補正手段が、画素毎に明度を求めるステップと、画素値のＲ値，Ｇ値、Ｂ値のそれぞれに前記正規化明度プロフィールによる地肌補正を行うステップと、を有することを特徴とする。

本発明の一形態において、前記陰影補正手段が、画素値のＲ値，Ｇ値、Ｂ値のそれぞれの前記正規化明度プロフィールを求めるステップと、Ｒ値，Ｇ値、Ｂ値のそれぞれに、Ｒ値，Ｇ値、Ｂ値それぞれの前記正規化明度プロフィールによる地肌補正を行うステップと、を有することを特徴とする。

本発明の一形態において、前記陰影補正手段は、一次元画像と直交する方向の位置ｙに対応づけて、前記スキャン画像の明度分布を示す明度プロフィールを生成するステップと、前記スキャン画像の綴じ部にて前記明度プロフィールが下向きのピークを示す位置ｙを中心に所定の領域を特定するステップと、前記明度分布を用いて前記スキャン画像の前記領域のみ、綴じ部両端付近の陰影を補正するステップと、を有することを特徴とする。

本発明の一形態において、前記陰影補正手段が、前記領域の前記スキャン画像を一次元画像と平行な複数の領域に分割するステップと、前記第２の手段が、分割された前記領域の境界の一次元画像についてのみ一次元画像の前記明度分布を求めるステップと、一次元画像と直交する方向に前記明度分布を補完して、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、を有することを特徴とする。

本発明の一形態において、前記陰影補正手段が、前記スキャン画像を、一次元画像と直交する方向の複数の領域に分割するステップと、分割された領域毎に、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、を有することを特徴とする。

本発明の一形態において、前記スキャン画像の外縁が内側に入り込んでいる形状に基づき、一次元画像と直交する方向の前記スキャン画像の中央部を特定して、中央部から２つの領域に分割するステップと、前記地肌補正手段が、分割された領域毎に地肌補正を行うステップと、前記陰影補正手段が、分割された領域毎に前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、を有することを特徴とする。

ブック原稿の綴じ部の両端付近において陰影の補正ができる画像処理装置、画像処理方法、プログラム及びプログラムが格納された記憶媒体を提供できる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を上げて説明する。本実施の形態の画像処理装置は画像形成装置であるデジタル複写機に適用されており、画像を読取ためデジタル複写機のスキャナ部を備える。すなわち、画像処理装置は、画像形成装置、スキャナ装置、ファクシミリ装置、これらの複合機ＭＦＰ（Multi Function Printer）に適用できる。

また、デジタル複写機のスキャナ部のように一次元の撮像素子によるスキャン画像（単に画像データという場合がある）だけでなく、デジタルカメラのように２次元の撮像素子による画像データも本実施の形態の画像処理装置は同様に処理できる。スキャナ装置やデジタルカメラで撮影した画像データの場合、パーソナルコンピュータ（以下、単にＰＣという）に本実施の形態の画像処理を行うプログラムを実行させ、地肌補正や陰影の補正、歪み補正が行われる。

図１は、デジタル複写機のスキャナ部１の構成を示す縦断正面図を示す。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ（以下、線光源という）３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６及び第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。

原稿の走査時には、第一走行体５および第二走行体８はモータによって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、線光源３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。これにより画像読取手段が実現されている。

スキャナ部１は、このスキャナ部１で読み取られた原稿のスキャン画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（不図示）を備えるデジタル複写機１６に搭載されている。

図２（ａ）は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２（ａ）に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。

図２（ｂ）は、デジタルカメラ又はスキャナ装置で撮影した画像データをＰＣで画像処理する場合のシステム図を示す。ネットワーク１００を介してＰＣ１０１とスキャナ装置１０２及びＰＣ１０１とデジタルカメラ１０３とが接続されている。スキャナ装置１０２又はデジタルカメラ１０１で撮影された画像データは、ＰＣ１０１に送信され後述するプログラムにより地肌補正や陰影の補正、歪み補正が行われる。

図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。

また、走行体制御部２１には、線光源３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。

図４は、画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ（Modulation Transfer Function）補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、から構成されている。

また、画像データ処理部２８は、地肌補正手段と陰影補正手段を有し、後述する画像処理方法を実現する。地肌補正手段と陰影補正手段については実施の形態を通して詳述するが、地肌補正手段は、ブック原稿のスキャン画像の画素値からブック原稿の平坦部を求め、平坦部の画素値に基づきスキャン画像に地肌補正処理を施す。陰影補正手段は、平坦部の画素値に基づきスキャン画像の綴じ部両端付近の陰影を補正する。

以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介して、印刷する場合にはプリンタ部に、ファクシミリ送信する場合にはファクシミリ部に、ＯＣＲ処理を行う場合は所定の記憶装置に送信されて、それぞれの処理に供される。

メイン制御部１９は、図５（ａ）に示すように、各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、画像処理や制御のためのプログラムが記憶されたＨＤＤ３５と、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）とが接続されている。

図５（ｂ）は、ＰＣ１０１のハードウェア構成図を示す。なお、図５（ｂ）において図５（ａ）と機能的に同一の構成部分には同一の符号を付しその説明は省略する。入出力装置３０はキーボードやマウスの操作、ディスクプレーなど表示装置とのインターフェイスである。

図５（ａ）又は（ｂ）に示すＣＤ−ＲＯＭ３７は、特許請求の範囲における記憶媒体に相当するものであり、特許請求の範囲におけるプログラムが記憶されている。すなわち、ＣＤ−ＲＯＭ３７には、ＰＣ１０１又はメイン制御部１９に、地肌補正ステップと陰影補正ステップを実行させるためのプログラムが記憶されている。

ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。後述する各種の画像処理を行うプログラムをＣＰＵ３１が実行することで、メイン制御部１９が画像処理部２０を制御すると共に、画像処理部２０が後述するような各種の処理を行う。

なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピー（登録商標）ディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

続いて、本実施の形態における陰影補正について説明する。図６に示すようにブック原稿４０がそのページ綴じ部（以下、単に綴じ部という）４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている。すなわち、ブック原稿４０は一部が平坦部としてコンタクトガラス２に接するが綴じ部４０がコンタクトガラス２から離れている（図６では距離ｄ）。

図６の状態でブック原稿４０をスキャンすると、図７に示すように、綴じ部４１の付近において歪みが生じる。また、綴じ部の両端部分４１Ａ、Ｂの明度が中央付近に比べ十分でなく低い画像となる。本実施の形態の画像処理装置は、綴じ部の両端部分４１Ａ、Ｂの地肌を精度よく補正するものである。

スキャナ部１の線光源３は長さが有限であるので、１次元の光源が有限に配置された光学モデルについて検討する。図８は、ブック原稿をスキャンする場合の光源とブック原稿の構成図を示す。図８では、Ｘ方向が主走査方向、Ｙ方向が副走査方向、Ｚ方向がブック原稿４０の厚み方向を示す。図８では、見開きのブック原稿４０うち片面だけを示している。

図８において、点ｐ（ｘｐ，ｙｐ，ｚｐ）はブック原稿４０の紙面における所定点の３次元座標を、（ｎｘ，ｎｙ，ｎｚ） は、その点における法線ベクトル、（ｄｙ，ｄｚ）は、Ｙ−Ｚ 平面における線光源３の位置を示す。線光源３はＸ軸と平行に配置された有限の光源であり図１の露光ランプである。ｘ１、ｘ２は線光源３のＸ軸方向の位置を示す。

図８のように長さが有限な線光源３の照明光強度は、点光源が一列に並んでいるものとしてモデル化することができる。点光源の照明光強度は、光源からの距離の２乗に反比例して減衰する。したがって、点光源の位置をｘとして点光源からの照明光強度をｘ１からｘ２まで積分すれば、所定点ｐにおける照明光強度を得られる。ブック原稿４０の紙面表面上の所定点p における線光源３からの反射光強度Ｐ（ｘｐ，ｙｐ，ｚｐ） は、式（１）のように構成できる。

ここで、a、Δは、ＣＣＤ内部での光電変換パラメータ、ρは点pにおける反射率、αは点光源の強度パラメータである。

ブック原稿４０の断面形状はＸ軸方向に一定（スキュー歪み無し）としていることから、法線ベクトルの x 成分（ｎｘ） を ０ とできる。この条件で式（１）の積分を解くと式（２）が得られる。

ただし、実際のブック原稿４０の紙面表面上では相互反射が生じており、この相互反射も、多数の長さ有限の線光源となることを考えると、相互反射光強度も同じようにモデル化できる。したがって、実際のＰ（ｘｐ，ｙｐ，ｚｐ）は、係数（パラメータ）が異なる同様の式の和、という形式になる。

以上から、ブック原稿４０の紙面上の主走査方向に沿った、ある１次元画像における明度分布の光学モデルＰｘ（ｘｐ）は概して、式（３）のように表せる。

続いて、式（３）をスキャナ部１の光学モデルに応じて近似する。式（３）において、（ｘ１ ＜ ｘ２） とすると、ｘ＝ｘ１ 付近では、（ｘ−ｘ２）^２ → ∞となり、式（３）の括弧中の第２項は、ほぼ 1 となる。同様に、ｘ＝ｘ２ 付近では、第１項は、ほぼ 1 と考えてよい。つまり、一次元画像中の明度分布を、Ｘ軸方向のｘ１側とｘ２側の２つに分けて考えれば、片側の明度分布は、式（４）のように表されることになる。

図９に示すように、式（４）による照明光強度は基本的にアークタンジェント(tanθの逆関数)に似た分布を示す。この分布の一部が、１次元画像中の（片側）の明度変化を表している。

arctanはθに対し上下に漸近線を有するグラフ形状となるが、図９では上下の漸近線に平行な中心線を設け、パラメータａは式（４）で新たに定義した（式（１）（２）のａと異なる）。式（４）における各係数の内容は、以下のようになる。
ａ: 中心線から漸近線までの距離
ｂ: 曲線の傾き（b ≧ 0 の場合）を規定する。

図９ではｂの値に変動する傾きを点線で示している。
（b < 0 の時は、ｘ＝ｘ０ を漸近線とした、±∞に発散した概形になる）
ｃ: ｙ（明度） = 0 から中心線までの距離
ｘ０: 中心線と交わる点の x 座標
ａ＞０ かつ ｘ０ が小さい場合は、１次元画像中の図９の左側の明度分布に対応し、a < ０ かつ ｘ０ が大きい場合は図９の右側の明度分布に対応する。

実際のスキャン画像にスキュー歪みが生じたり、「ハの字」配置になっている場合は、１次元明度分布は左右で非対称になっているため、図９のように分割して扱う方が有効である。

実際には、明度がマイナスになることはないので、１次元画像中の明度分布を0〜1 の値に正規化しておくことができる。この場合、式（４）の係数において、ａ = 1.0(または -1.0), c = 0.0 とすることができる。なお、明度の正規化については後述する明度プロフィールにおいて説明する。

したがって、式（４）の残る係数 ｂ と ｘ０ を推定することができれば、ブック原稿４０の端部を含む１次元画像中の正規化明度分布を求めることができ、これによって、端部の陰影補正が可能になる。

ブック原稿４０のスキャン画像は図７に示したように、形状のゆがみと明度分布を生じさせるものであるため、ゆがみ補正を行うことが好適である。したがって、図１０に示すように、ブック原稿４０の画像処理は式（４）による陰影補正を含む地肌補正処理（Ｓ１）、ゆがみ形状補正処理（Ｓ２）の処理手順により構成される。なお、本実施の形態では地肌補正と陰影補正とを同時に行う場合もあるが、以下では、特に式（４）を利用した処理を陰影補正という。また、ゆがみ形状補正処理については実施例の後に説明する。

係数 b と x0 を推定するには、まず地肌補正処理を行うための明度プロフィールを求めておく。

まず、地肌補正処理について説明する。スキャン部１のコンタクトガラス２から離れる（綴じ部付近に近づく）にしたがって、明度および彩度は低下し、一方、色相はほとんど変化しない。そこで、スキャン画像の綴じ部の色補正は、低下した明度・彩度をスキャン画像の平坦部分と同程度になるように強調することで可能になる。

入力画像中の各画素の色について、どの程度、明度・彩度を強調すればよいかについては、平坦部分における地肌色を検出し、その明度・彩度と一致するように補正する方法が考えられる。しかし、一般に地肌色は白あるいはクリーム色等の彩度の低い色である場合が多いため、この方法では曲面部分の彩度を十分に強調することができない。

そこで、本実施の形態では「正規化明度プロフィール」という考えを導入し、それを用いた地肌補正方法を提案する。本実施の形態では正規化明度プロフィールを用いた以下の３つの地肌補正処理を提供する。

〔地肌補正処理１〕
地肌補正処理１では図１１のフローチャート図に示すように、以下の１〜７の処理を順次実行する。
１．スキャン画像の明度(Value)、彩度(Saturation)、色相(Hue)を求める。
入力画像の赤、緑、青成分を用いて、各画素における明度(Value)、彩度(Saturation)、色相(Hue)の値を求める。
各画素の座標（ｘ，ｙ）における赤、緑、青成分をそれぞれ、Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）、明度、彩度、色相の値をそれそれＶ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｈ（ｘ，ｙ）とする。Ｖ、Ｓ、Ｈは、Ｒ・Ｇ・Ｂを用いて次にように表すことができる。
Ｖ（ｘ，ｙ） = 0.3*Ｒ（ｘ，ｙ） + 0.59*Ｇ（ｘ，ｙ） + 0.11*Ｂ（ｘ，ｙ）
Ｃ1（ｘ，ｙ）= Ｒ（ｘ，ｙ） - Ｖ（ｘ，ｙ）
Ｃ2（ｘ，ｙ） = Ｂ（ｘ，ｙ）‐ Ｖ（ｘ，ｙ）
Ｈ（ｘ，ｙ）= Tan^(-1)(Ｃ１（ｘ，ｙ）/Ｃ２（ｘ，ｙ）)
Ｓ（ｘ，ｙ） = √(Ｃ１（ｘ，ｙ）^2 +Ｃ２（ｘ，ｙ）^2)
２. 有彩色、無彩色の判定
Ｓ（ｘ，ｙ） と適当なしきい値Ｓt（例えば、閾値Ｓt = 15）を用いて、各画素を有彩色または無彩色に分類する。
Ｓ（ｘ，ｙ） ≦ Ｓt ならば、無彩色
Ｓ（ｘ，ｙ） > Ｓt ならば、有彩色
３. 明度プロフィールの作成
Ｖ（ｘ，ｙ）を用いて、綴じ部に垂直な方向に沿った明度プロフィールＶ（ｙ）を作成する。具体的には、
・各ｙにおけるＶ（ｘ，ｙ）の１次元画像Ｖ(x)についてヒストグラムを求め、明るい方からＶｔ個(以上)の画素が存在する明度の範囲(ｖ1,ｖ2とする)を求める。Ｖｔの値は、例えば、Ｖｔ = (画像の幅の画素数)×0.1である。

図１２は一次元画像明度Ｖ（ｘ）のヒストグラムの一例を示す。図１２ではＸ軸が明度、Ｙ軸が画素数である。そして、
・ｖ1からｖ2の範囲について明度の平均値を求め、それをｖ(ｙ)とする。これをライン毎に（ｙ毎に）求める。

４. 明度プロフィールの平滑化
明度プロフィールｖ(ｙ)を、雑音除去のため平滑化する。
各ｙについて、ｙを中心にしたｖ（ｙ−ｎ）からｖ（ｙ＋ｎ）の平均値をｖ(ｙ)の値にする。これを数回繰り返す。例えば、３〜１０回繰り返す。

５. 明度プロフィールからブック原稿４０のスキャン画像の平坦部分の明度を求める
具体的には、明度プロフィールｖ(ｙ)から平坦部分の明度を算出する。
図１３は明度プロフィールｖ（ｙ）の画素と明度の関係の一例を示す。図１３に示すように明度が小さい部分がスキャン画像の綴じ部である。
まず、
・ｖ(ｙ)の値(明度)についてのヒストグラムを作成する。
図１４はｖ(ｙ)のヒストグラムの一例を示す。図１４ではＸ軸が明度、Ｙ軸が画素数である。そして、
・最も頻度が高い明度が平坦部分の明度に対応すると考えられることから（図１３では左右の平坦部）、その明度を中心に、±Ｖｍの範囲について明度の平均値を求め、それを平坦部の明度Ｖflatとする。例えば、ＶｍはＶｍ ＝２である。

６. 正規化明度プロフィールを求める
正規化明度プロフィールｖｎ（ｙ）を以下の式で算出する。
平坦部分の値を1.0となるようにそのほかの明度を１以下の値で表し（比で表し）明度プロフィール全体に乗じ、０〜１の範囲に正規化する。
ｖｎ（ｙ） = ｖ(ｙ) / Ｖflat
７. 地肌補正
各画素（ｘ，ｙ）について、
・その画素が有彩色の場合は、
Ｓ'（ｘ，ｙ） =Ｓ（ｘ，ｙ）/ ｖｎ（ｙ）
Ｖ'（ｘ，ｙ） = Ｖ（ｘ，ｙ）/ ｖｎ（ｙ）
として彩度と明度を補正し、Ｈ（ｘ，ｙ）、Ｓ'（ｘ，ｙ）,Ｖ’（ｘ，ｙ）から、Ｒ,Ｇ,Ｂの値を求める。
・その画素が無彩色の場合は、
Ｖ’（ｘ，ｙ） = Ｖ（ｘ，ｙ）/ｖｎ（ｙ）
として明度のみ補正し、Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｖ’（ｘ，ｙ）から，Ｒ,Ｇ,Ｂの値を求める。

〔地肌補正処理２〕
地肌補正処理２では図１５のフローチャート図に示すように、以下の１〜６の処理を順次実行する。地肌補正処理２では地肌補正処理１とは異なり、有彩色／無彩色に分別せずに、Ｒ,Ｇ,Ｂ値を直接補正する。

１. 明度(Value)を求める
入力画像の赤、緑、青成分を用いて、各画素における明度(Value)の値を求める。座標（ｘ，ｙ）における赤、緑、青成分をＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）、明度の値をＶ（ｘ，ｙ）とする。
明度の値Ｖは、例えば、
Ｖ（ｘ，ｙ） = 0.3*Ｒ（ｘ，ｙ） + 0.59*Ｇ（ｘ，ｙ） + 0.11*Ｂ（ｘ，ｙ）
となる。なお、グレースケール画像の場合は、画素値そのものをＶ（ｘ，ｙ）として扱い処理を行う。

２. 明度プロフィールの作成
Ｖ（ｘ，ｙ）を用いて、綴じ部に垂直な方向（ｙ方向）に沿った明度プロフィールｖ(ｙ)を作成する。具体的には、
・各ｙにおけるＶ（ｘ，ｙ）の１次元画像Ｖ(x)についてヒストグラムを求め、明るい方からＶｔ個(以上)の画素が存在する明度の範囲(ｖ１,ｖ２とする)を求める（図１２参照）。例えばＶｔは、Ｖｔ = (画像の幅の画素数)×0.1 である。
・ｖ１からｖ２の範囲について明度の平均値を求め、それをｖ(ｙ)とする。

３. 明度プロフィールの平滑化
明度プロフィールｖ(ｙ)を、雑音除去のため平滑化する。
各ｙについて、ｙを中心にしたｖ（ｙ−ｎ）からｖ（ｙ＋ｎ）の平均値をｖ（ｙ）の値にする。これを数回繰り返す。例えば、３〜１０回繰り返す。

４. 明度プロフィールから平坦部分明度を求める
明度プロフィールｖ（ｙ）から平坦部分明度を算出する（図１３参照）。
・ｖ（ｙ）の値(明度)についてのヒストグラムを作成する。
・最も頻度が高い明度が平坦部分の明度に対応することから、その明度を中心に、±Ｖｍの範囲について明度の平均値を求め、それを平坦部の明度Vflatとする（図１４参照）。例えば、Ｖｍ＝２である。

５. 正規化明度プロフィールを求める
正規化明度プロフィールｖｎ（ｙ）を以下の式で算出する。平坦部分の値を1.0とする比を明度プロフィール全体に乗じ、０〜１の範囲に正規化する。
ｖｎ（ｙ） ＝ ｖ（ｙ） / Vflat
６. 地肌補正
各画素（ｘ，ｙ）について、Ｒ,Ｇ,Ｂの値を直接補正する。
Ｒ'（ｘ，ｙ） ＝ Ｒ（ｘ，ｙ）/ｖｎ（ｙ）
Ｇ’（ｘ，ｙ）＝ Ｇ（ｘ，ｙ）/ｖｎ（ｙ）
Ｂ’（ｘ，ｙ）＝ Ｂ（ｘ，ｙ）/ｖｎ（ｙ）
地肌補正処理２では、地肌補正処理１とは異なりＶ（ｘ，ｙ） のみ求めればよく、有彩色、無彩色の分類処理は必要ないため、処理速度を向上させ、処理に必要なメモリ容量を低減できる。

〔地肌補正処理３〕
地肌補正処理３では図１６のフローチャート図に示すように、以下の１〜５の処理を順次実行する。地肌補正処理３では地肌補正処理１及び２とは異なり、画素値Ｒ,Ｇ,Ｂ の各画像について、直接正規化(Ｒ,Ｇ,Ｂ)プロフィールを求め、それを用いて、対応するＲ,Ｇ,Ｂ画像の補正を行う。

1. プロフィールの作成
Ｒ,Ｇ,Ｂの各画素値について、各１次元画像における画素値の最大値（ヒストグラムを求め、値の大きい方から、p%の画素値の平均値）を求め、それをｒ（ｙ），ｇ（ｙ），ｂ（ｙ）とする。グレースケール画像の場合は、画素値そのものをｇ（ｙ）として扱い同様の処理を行う。

２. プロフィールの平滑化
プロフィールｒ（ｙ），ｇ（ｙ），ｂ（ｙ）を、雑音除去のため平滑化する。各ｙについて、ｙを中心にしたｒ（ｙ−ｎ）からｒ（ｙ＋ｎ）, ｇ（ｙ−ｎ）からｇ（ｙ＋ｎ）,ｂ（ｙ−ｎ）からｂ（ｙ＋ｎ）の平均値をｒ（ｙ），ｇ（ｙ），ｂ（ｙ）の値にする。これを数回繰り返す。例えば、３〜１０回繰り返す
３. プロフィールから平坦部分明度を求める
プロフィールｒ（ｙ），ｇ（ｙ），ｂ（ｙ）から平坦部分を算出する。
・ｒ（ｙ），ｇ（ｙ），ｂ（ｙ）についてのヒストグラムを作成する。
・最も頻度が高い値が平坦部分に対応することから、その値を中心に、±ｍの範囲について平均値を求め、それを平坦部の基準値をrflat,gflat,bflatとする。例えば、ｍ = 2である。

４. 正規化プロフィールを求める
正規化明度プロフィールｐｒ（ｙ），ｐｇ（ｙ），ｐｂ（ｙ）を以下の式で算出する。平坦部分の値を1.0とする比をプロフィール全体に乗じ、０〜１の範囲に正規化する。
ｐｒ（ｙ） ＝ ｒ（ｙ） ／ ｒｆｌａｔ
ｐｇ（ｙ） ＝ ｇ（ｙ） ／ ｇｆｌａｔ
ｐｂ（ｙ） ＝ ｂ（ｙ） ／ ｂｆｌａｔ
５. 地肌補正
各画素（ｘ，ｙ）について、Ｒ,Ｇ,Ｂの値を直接補正する。
Ｒ’（ｘ，ｙ） ＝ Ｒ（ｘ，ｙ） ／ ｐｒ（ｙ）
Ｇ’（ｘ，ｙ） ＝ Ｇ（ｘ，ｙ） ／ ｐｇ（ｙ）
Ｂ’（ｘ，ｙ） ＝ Ｂ（ｘ，ｙ） ／ ｐｂ（ｙ）
地肌補正処理３では、地肌補正処理１及び２と異なりＶ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｈ（ｘ，ｙ）を求める必要がなく、有彩色、無彩色の分類処理も必要ないため、処理速度を向上させ、処理に必要なメモリ容量を低減できる。

次に、ブック原稿４０のスキャン画像について、陰影補正を行う処理について説明する。上述したように、式（４）の係数 ｂ，ｘ０を求めることができれば、一次元画像中における正規化明度分布を推定することができる。正規化明度分布が得られれば、地肌補正と同様に、その分布の逆数を入力画像の明度（または画素値）に乗じることで陰影の補正が可能となる。

係数 ｂ，ｘ０ については、各一次元画像ごとに（つまり、ｙ座標に対して）異なる値となるため、実際の画像での正規化明度分布を用いて求めることが適している。求める明度分布は地肌色のものである。例えば、一次元画像においてブック原稿の端の部分は一般的に余白部分であり地肌色であることが多いことから、この部分の正規化明度を用いることが可能である。

しかしながら、データが一つのみでは、２つの変数ｂ，ｘ０ 双方の値を求めることは困難である。そこで、ｘ０ については、ブック原稿の端よりも少し外側の位置になることは明らかであることから、あらかじめ適当な値を設定しておけば良い。そして、ブック原稿の端の部分の正規化明度から b の値を決定することで、一次元画像中における正規化明度分布を推定する。

本実施例における陰影補正の処理手順を図１７のフローチャート図に示す。１次元画像における基本的な陰影補正手順は、次のようになる。

まず、 入力されたブック原稿のスキャン画像について、地肌補正処理１〜３のいずれかの方法で、正規化明度プロフィール ｔ（ｙ） を求めておく（Ｓ１１）。

ついで、 ある ｙ 座標における１次元画像 （Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）） について、１次元明度分布 Ｖ（ｘ） を求める（Ｓ１２）。

ついで、一次元明度分布Ｖ（ｘ）を求めた１次元画像について、ブック原稿両端の x 座標 ｘｌ， ｘｒ を推定する（１３）。具体的には、図１８に示す１次元差分フィルターを用いて畳み込み演算を行い、その絶対値が大きい二カ所を ｘｌ， ｘｒ とする。そして、ｘｌと ｘｒ の中央の ｘ 座標を ｘｃ とする。

ついで、ｔ（ｙ） を用いて Ｖ（ｘ） を正規化し、ｖ（ｘ） とする（Ｓ１４）。

ついで、１次元画像の左側 （ｘｌ 〜 ｘｃ） における正規化明度分布を推定する（Ｓ１５）。具体的には、ｘｌ から ｘｃ へ向かって探索し、ｖ（ｘ） > thres（例えば０．８） となる x 座標 ｘｐとその時の ｖ（ｘ） の値 pix を求める。係数 ｘ０は、Ｘ０ ＝ ｘｌ−（ｘｒ−ｘｌ）×Δとする。Δは例えば０．１である。そして、ｘｐ， ｐｉｘ， ｘ０を式（４）に入力すれば、b の値を算出できる。なお、式（４）においてｘｐが「ｘ」、pixは明度である。

ｂの値が算出されれば、ｘ０， ｂの値を式（４）に設定することで、ｘｌ 〜 ｘｃ の明度分布 ｐ（ｘ） が求められる。

同様に、ｘｒ 〜 ｘｃ についての明度分布ｐ（ｘ）を算出する（Ｓ１６）。

ついで、ｐ（ｘ） を用いて陰影を補正する。すなわち、前述した地肌補正に加え、両端部の照明不足による陰影を補正する。例えば、
Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）／（ｒｎ（ｙ）* ｐ（ｘ））
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／（ｇｎ（ｙ）* ｐ（ｘ））
Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）／（ｂｎ（ｙ）* ｐ（ｘ））
となる。

以上のように本実施例によれば、ブック原稿４０をスキャンした場合、平坦部分の明度に基づき地肌補正すると共に、両端部の照明不足による陰影を補正することができる。

実施例１では副走査方向の全域に渡り地肌補正及び陰影補正したが、本実施例では、地肌補正及び陰影補正を行う範囲を限定して画像処理を高速化する場合について説明する。
補正範囲の限定は、ブック原稿の曲がり始めの位置を検出することで可能となる。

ブック原稿の曲がり始めの位置は、正規化明度プロフィールを用いてブック原稿の曲面部分の範囲を検出し、その部分のみ補正を行うようにする。なお、後述する処理で検出するページ外形を用いて曲面部分の範囲を検出してもよい。

ブック原稿の曲面部分については、ブック原稿のスキャン画像中の見開きページの双方で、平坦部から曲面部へ変化している「曲がり始め」の位置を検出することで、その間が曲面部とすることができる。図１９は曲がり始めの位置の検出手順を示すフローチャート図である。

１．まず、ｙ 軸方向の明度プロフィールおよび平坦部の明度を求める。図２０は、ｙ方向のある位置における明度プロフィールの一例を示す。明度が凹部を示す中央付近が綴じ部である。

２．ついで、図２０の「平坦部明度 - 明度プロフィール」の分布についての重心位置を求める。重心位置は、例えば、凹部を３角形に近似した場合の重心位置である。

３．ついで、重心位置の ｙ 座標から、左右に明度プロフィールの値を探索し、「平坦部明度 ‐ δ（例えば、δ＝１０）」 の明度となる２つのｙ 座標（図ではｙ１，ｙ２）を求める。この ｙ 座標を曲がり始めの位置とする。

２つのｙ座標の間でのみ、実施例１の地肌補正及び陰影補正を行えば、画像処理を高速化できる。

ところで、２つのｙ座標間のすべての主走査方向において（２つのｙ座標間の曲面部全てについて）、地肌補正及び陰影補正を行うことも効率的ではない。そこで、図２１に示すように、２つのｙ座標間の曲面部を適当な個数の領域に分割し、その境界線上の１次元画像についてのみ、正規化明度分布を求める。そして、その間の１次元画像については、線形補間によって、対応する正規化明度分布を求めるようにする。この方法によって、更に高速な補正処理が可能になる。

また、これまで綴じ部の両端付近の陰影補正と同時に色補正したが、綴じ部両端付近の陰影補正については、地肌補正を行なった後に適用することも可能である。この場合でも補正の手順に変更はない。図２２は、地肌補正を行なった後に綴じ部両端付近の陰影を補正する補正手順のフローチャート図である。

まず、ブック原稿４０の外形を検出する等の処理によって、綴じ部両端点の座標を求める（Ｓ２１）。ブック原稿４０の外形の検出については後述する。

ついで、スキャン画像から明度画像を求め、明度プロフィールを算出する（Ｓ２２）。図２０と同様に曲がり始めの位置を検出する。

ついで、図２１に示すように、曲がり始めの位置に挟まれた曲面部を、ｙ 軸方向に Ｍ 個に分割する（Ｓ２３）。そして、その境界線上におけるブック原稿両端点の位置を、スキャン画像から求める。

ついで、赤，緑，青の各単色画像について、以下の補正処理を行う（Ｓ２４）。
・綴じ部両端点の座標から、入力画像を上下に２分割する
・上下それぞれの画像について、水平方向に Ｎ 個に分割し、地肌補正を行う
・補正した上下の画像を結合する
ついで、ステップＳ２３ における境界線上の１次元画像の明度分布を求め、曲面部についてのみ、綴じ部両端における陰影補正を行う（Ｓ２５）。

本実施例では、スキャン画像を綴じ部と垂直な方向に複数の領域に分割して地肌補正処理及び陰影補正を行う画像処理について説明する。

まず、図２３に示すように、スキャン画像をブック原稿４０の綴じ部４１に垂直に分割し、Ｘ軸方向に複数の領域Ｌに分割する（すなわち、Ｙ軸方向を長さ方向とする線で分割する）。そして、この各領域Ｌに対して、地肌補正処理１ないし３のいずれかを行い、また、両端部の陰影補正を行う。なお、図２３の例では、Ｘ軸方向の分割は５分割している。

本実施例は、スキャン画像がスキューしている、又は、ブック原稿が「ハの字」配置にある場合に好適となる。このようなスキャン画像では、Ｘ軸方向において画像の地肌色のプロフィールが変化しているため、スキャン画像全体を同一のプロフィールを用いて補正するのではなく、Ｘ軸方向に画像を分割し、それぞれの領域Ｌにてプロフィールを求め、補正を行う方法が有効である。

本実施例によれば、綴じ部と平行な方向に画素値のプロフィールが変化している場合でも、変化しているそれぞれの領域からプロフィールを求めて、精度よく地肌色を補正できる。

本実施例では、スキャン画像を綴じ部と平行な方向に複数の領域に分割して地肌補正処理及び陰影補正を行う画像処理について説明する。

まず、図２４に示すように、スキャン画像をブック原稿４０の綴じ部４１の長さ方向と平行な方向に複数の領域Ｌに分割する（すなわち、Ｘ軸方向の長さ方向とする線で分割する）。この各領域Ｌに対して、地肌補正処理１〜３いずれかを行い、また、両端部の陰影補正を行う。図２４の例では、綴じ部４１の線の上下で領域を２分割している。

この処理では、見開きの両ページがそれぞれ異なる地肌色のブック原稿４０に対するもので、左右又は上下の両ページで地肌色が異なるために、画像のＹ軸（垂直）方向において地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するので
はなく、Ｙ軸方向に対して画像を分割し、それぞれの領域Ｌにおいてプロフィールを求め
、補正を行うものである。具体的には、次の１．２．の処理による。

１．入力スキャン画像において、綴じ部４１の両端の位置を検出する（綴じ部４１の直線を求める）。この位置の検出については、ブック原稿４０のページ外形に基づき検出してもよいし（外形が一番内側に入り込んでいる箇所を検出する）、画像中央部の濃度に基づき検出してもよいし（一番濃い箇所）、又は、明度の変化を利用して検出してもよい。なお、ページ外形の検出処理については後述する。

２．１で求められた直線によって入力画像を上下に分割し、地肌補正及び陰影補正を行う。

本実施例によれば、見開きの両ページがそれぞれ異なる地肌色の場合でも、それぞれのページから明度プロフィールを求めて、精度よく地肌色を補正できる。

本実施例は、実施例３及び４を組み合わせるものであり、図２５に示すように、ブック原稿４０の綴じ部４１の長さ方向（Ｘ軸方向）、綴じ部４１の長さ方向と垂直な方向（Ｙ軸方向）に、それぞれ複数の領域Ｌに複数に分割し、この各領域Ｌに対して地肌補正処理１〜３のいずれかを行い、また、両端部の陰影補正を行う。なお、図２５の例では、Ｘ軸方向の分割は５分割し、Ｙ軸方向の分割は綴じ部４１の線の上下で２分割している。

本実施例の処理は、スキューしている、あるいは、「ハの字」配置にあるブック原稿４０であり、かつ、左右又は上下のページがそれぞれ異なる地肌色のブック原稿４０に対するものある。ブック原稿４０が、スキューおよび「ハの字」配置、上下のページで地肌色が異なるという理由から、画像のＸ，Ｙ軸方向において、地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、Ｘ，Ｙ軸の両方向に対して画像を分割し、それぞれの部分画像にてプロフィールを求め、補正を行う方法が有効である。

以上のように、本実施の形態の画像処理装置は、ブック原稿４０の綴じ部を地肌補正すると共に、綴じ部の両端付近の陰影を補正できる。

〔ゆがみ形状補正〕
続いて、図１０のステップＳ２におけるゆがみ形状補正について説明する。

図２６は、ステップＳ２のゆがみ形状補正処理の概要を説明するフローチャート図である。ステップＳ２の処理は、スキャン画像中のブック原稿４０についてページ外形／罫線／文字行の抽出処理を行い（ステップＳ２０１）、ブック原稿４０のスキャン画像の画像歪み補正処理を行なう（ステップＳ３０１）。

まず、ステップＳ２０１においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図２７は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチ
ャートである。

・スキャン画像からのページ外形の抽出（Ｓ２１１）
まず、ステップＳ２１１におけるスキャン画像からのページ外形の抽出処理について説明する。図２８は、スキャン画像の上端にページ外形が存在するスキャン画像の一例を示す。また、図２９は図２８に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。

図２９に示すヒストグラムのＸ軸はスキャン画像の主走査方向（図２８の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図２８に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図２９に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。

より具体的には、図２９に示すように、綴じ部境界線からスキャン画像の左端（図２９の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（５）により算出し、算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。

なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。

以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。

なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。

・スキャン画像からの罫線の抽出（Ｓ２１２）
続くステップＳ２１２においては、スキャン画像からの罫線の抽出処理を実行する。

「罫線候補の検出」
図３０は罫線が存在するスキャン画像の一例を示す説明図である。本実施の形態では、罫線の矩形抽出を導入し、図２８に示すようなスキャン画像に存在する罫線を１つの矩形として抽出する。なお、詳細については後述するが、ただ単に矩形抽出を行うだけでは罫線が単独で抽出できない場合もあるために、ランの登録に制限を設けた矩形抽出を行う。

図３０は、２値化した画像に矩形抽出を施した結果を示す。図３０に示すように、黒画素が連結している箇所が１つの矩形として抽出される。図３０のような罫線が存在していれば、副走査方向に細長い矩形として抽出されることから、細長い矩形の有無や抽出した矩形の形状（長さ・縦横比）や位置を基に罫線の有無の判定を行う。

ただし、ただ単に矩形抽出を行うだけでは、罫線が単独で抽出できない場合もある。図３１に示すように、罫線がノイズと接触している場合、ノイズを含む矩形が抽出されてしまう。また、図３２のような表が含まれるスキャン画像の場合は、副走査方向の罫線は主走査方向の罫線と交差するため、表全体が１つの矩形として抽出され罫線が単独で抽出できない。

［ランの登録に制限を設けた矩形抽出］
そこで、罫線を単独で抽出するために、ランの登録に制限を設けた矩形抽出を行う。図３１に示すような罫線とノイズが接触している画像に対して、主走査方向（垂直方向）に一定値未満のランのみを登録し矩形を抽出すると、図３３に示すように罫線を構成する黒画素は登録対象のランとなるが、ノイズを構成する黒画素はランとして登録されない。罫線を構成する黒画素を対象として矩形抽出を行うため、罫線を単独で抽出することができる。

なお、罫線を矩形抽出するにあたって、副走査方向（水平方向）に長いランのみを対象に矩形抽出を行う方法もあるが、この方法だと綴じ部付近の歪み部分は矩形内に含まれない。ところが、本実施の形態の方式を用いることにより、罫線の綴じ部付近の歪み部分も矩形内に含めることが可能となり、より正確な罫線の位置や長さを検出することが出来る。

「矩形統合」
表など、副走査方向（水平方向）の罫線と主走査方向（垂直方向）の罫線とが交差している画像に矩形抽出を行うと、主走査方向の罫線はランとして登録されないため、副走査方向に矩形が細切れに抽出されてしまう。すると、図３４に示すように、副走査方向に長い罫線があるにもかかわらず、その罫線は１つの矩形として抽出されず、複数の細切れの矩形となって抽出される。

そこで、矩形統合を行う。副走査方向における距離が一定値以下の矩形同士を統合する。図３５は、矩形統合を施した例である。矩形統合は、図３５に示すように、細切れになっていた矩形を１つの矩形に統合し、罫線の矩形を抽出するものである。この矩形統合は、かすれた罫線や点線の罫線に対して行っても、罫線全体が１つの矩形として抽出されるため有効な方法である。

「最適罫線の選択」
次いで、一定値未満のランのみを登録した矩形抽出を行い、副走査方向に細長い矩形の有無にて罫線の有無を判定する。このような罫線の有無の判定は、画像の左上・左下・右上・右下の４箇所それぞれにおいて行う。例えば、図３６に示す画像の場合、左上にのみ罫線が存在しないということになる。ある箇所にて複数罫線が存在する場合は、補正に利用する罫線を以下の優先順位で決定する。

１．綴じ部付近まで食い込んでいる罫線
例えば、図３６に示す画像の右下の場合、綴じ部付近まで食い込んでいる罫線が補正に利用される。

２．長さが長い方の罫線
例えば、図３６に示す画像の右上の場合、双方の罫線は綴じ部付近まで食い込んでいるため、長さが長い方の罫線が補正に利用される。

３．位置が外側の罫線
例えば、図３６に示す画像の左下の場合、双方の罫線は綴じ部付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する罫線が補正に利用される。

「最適罫線の座標値検出」
以上のようにして最適罫線を選択した後、各罫線の座標値を検出する。罫線の位置座標は、抽出された矩形の座標から得ることができる。なお、特殊な例として、副走査方向に細長い矩形の位置が画像の上端や下端に接している場合は、その矩形がノイズである可能性を考慮して、罫線とはみなさないものとする。また、左右のページそれぞれで細長い矩形が抽出された場合（例えば、左上と右上、左下と右下）、画像によっては、綴じ部をまたがる形で左右ページの矩形が統合されることがある。すると、水平方向画像全体に細長い矩形が抽出されることから、抽出された矩形にそのような特徴が見られた場合は、綴じ部位置を境にその矩形を分割する。

以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。

・スキャン画像からの文字行の抽出（Ｓ２１３）
続くステップＳ２１３においては、スキャン画像からの文字行の抽出処理を実行する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。

「文字行の判別」
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図３７は図５０に示したスキャン画像の副走査方向の黒白反転数ヒストグラムである。図３７の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図３７中の縦軸はその位置毎の黒画素数を示すものである。

また、図３８は図５０に示した画像の主走査方向の黒白反転数ヒストグラムである。図３８の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図３８の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図５０に示したようなスキャン画像の場合、図３７に示すような副走査方向のヒストグラムは激しく変化するが、図３８に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。

上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（６）により、主走査方向ｙの位置でのヒストグラム値Pnt（ｙ）の平均値mean_Ｈが算出される。ここで、heightは画像の高さである。

主走査方向ｙの位置でのヒストグラム値Pnt（ｙ）の平均値mean_Ｈが算出される。ここで、heightは画像の高さである。

そして、下記に示す式（７）により、副走査方向のヒストグラムの主走査方向に関する分散σ_Ｈが得られる。

同様に、下記に示す式（８）により、副走査方向ｘの位置でのヒストグラム値Pnt（ｘ）の平均値mean_Ｖが算出される。ここで、widthは画像の幅である。

そして、下記に示す式（９）により、主走査方向のヒストグラムの副走査方向に関する分散σ_ｖが得られる。

上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σ_Ｈが、主走査方向のヒストグラムの副走査方向に関する分散σ_ｖより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σ_ｖが、副走査方向のヒストグラムの主走査方向に関する分散σ_Ｈより大きい。つまり、分散σ_Ｈと分散σ_ｖとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。

なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。

「横書き文字行の座標検出」
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図３９に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。

「最適横書き文字行の選択」
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図４０に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図４０の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下何れかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。

なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなく何れか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。

「最適横書き文字行の座標値の決定」
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図４０に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。

「不適切な横書き文字行の排除」
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線がブック原稿の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。

なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。

以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。

「縦書き文字行に基づく横書き文字行の抽出」
次に、各縦書き文字行から横書き文字行を抽出する。
図４１は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図４１に示すように、まず、縦書き文字行の行切り出し矩形を抽出する（Ｓ２２１）。なお、縦書き文字行の行切り出し矩形の抽出処理は、ＯＣＲ等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図４２は、抽出した行切り出し矩形を例示的に示す説明図である。

次いで、縦書き文字行の先頭（もしくは末尾）のｙ座標が最大（もしくは最小）の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭（もしくは末尾）が存在する縦書き文字行を抽出する（Ｓ２２２）。より具体的には、図４２に示した例においては、図４３に示すように、縦書き文字行の先頭文字のｙ座標が最大の縦書き文字行はＡで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲ｈ内に存在する行先頭文字は、図４３中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行Ｂ，Ｃは除外する。なお、ｈはスキャン画像の解像度によって定められる定数である。

次に、抽出した縦書き文字行の先頭（もしくは末尾）のｙ座標に関してヒストグラムを構成する（Ｓ２２３）。図４４では、ページの左端に近い縦書き文字行Ｄを基準行とし、その先頭のｙ座標（ｙＤ）を基準座標としている。以後、ｙＤに対して一定幅ｄ（例えば抽出した縦書き文字行の平均幅の１／２）の範囲内に先頭が存在する縦書き文字行の数を、ｙＤに関するヒストグラムの値とする。図４４では、ｙＤを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Ｄの右隣の縦書き文字行Ｅは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標（ここでは、ｙＥ）とする。また、縦書き文字行Ｅの右隣の縦書き文字行Ｆの行先頭座標はｙＤの対象範囲に含まれるので、新たな基準座標を設けることなく、ｙＤに関するヒストグラムの値を１だけカウントアップする。

以下、同様の処理を綴じ部境界線に向かって続けて行く。その結果、図４４に示す例では、ｙＤの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた７つで、ｙＥの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた４つとなる（これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図４４では省略している）。なお、ｙＤの対象範囲には本来無関係であるべき縦書き文字行Ｇも含まれているが、次のステップＳ２２４にてこれは除外される。

続いて、ステップＳ２２３にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端（もしくは右端）にある縦書き文字行（基準行）を開始行として、綴じ部境界線へ向かって、先頭（もしくは末尾）のｙ座標が近接した縦書き文字行を抽出する（ステップＳ２２４）。図４４では、基準座標ｙＤの対象範囲に含まれる文字行が７つと最大であったので、その中の左端の縦書き文字行Ｄを開始行とし、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出していく。

ところで、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。

まず、画像の歪みを生じていない部分における処理について図４５を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Ｈを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の正方向（図４５中、上方へ向かう方向）に関して、着目行Ｈの先頭位置から一定範囲内ｂ１（例えば平均文字行幅の１／２）に抽出する縦書き文字行の先頭が存在すること
２．ｙ座標の負方向（図４５中、下方へ向かう方向）に関して、着目行Ｈの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ２／ａ１）で表している）の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Ｈの次の縦書き文字行Ｉの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Ｊの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Ｊを新たな着目行として同様の処理を続ける。

次に、画像の歪みを生じている部分における処理について図４６を参照しつつ説明する。画像の歪みを生じている部分では、着目行Ｌを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の負方向（図４６中、下方へ向かう方向）に関して、着目行Ｌの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ３／ａ２）で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、ｂ２／ａ１＜ｂ３／ａ２とする）の範囲内に抽出する縦書き文字行の先頭が存在すること
２．着目行Ｌの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き（ｂ４／ａ２）が、着目行Ｌの先頭位置と直前の抽出行Ｋの先頭位置を結ぶ直線の傾き（ｂ５／ａ３）から一定値αを引いた値よりも大きい。すなわち、“ｂ４／ａ２＞ｂ５／ａ３−α”を満足すること（基本的には、“ｂ４／ａ２＞ｂ５／ａ３”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である）
すなわち、着目行Ｌの次の縦書き文字行Ｍの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Ｎの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Ｎを新たな着目行として同様の処理を続ける。

さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のｙ座標をそれぞれｙＣ，ｙＮとすると、“ｙＮ−ｙＣ”が一定値（例えば、平均文字行幅の１／４）以上となれば、それ以降を歪みを生じている部分とする。

以上の方法により図４４から抽出した縦書き文字行を、図４７において斜線を施した矩形で囲んで示す。

最後に、抽出した縦書き文字行の先頭（もしくは末尾）の位置座標に関する近似曲線多項式を算出する（ステップＳ２２５）。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図４８に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図４８に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。

なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線がブック原稿の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。

なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。

以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。

なお、以下においては、横書き文字行及び縦書き文字行の外形を文字行として扱うものとする。

以上、ステップＳ２１１〜Ｓ２１３の処理により、図２６のページ外形／罫線／文字行の抽出処理（ステップＳ２０１）が終了する。

続くステップＳ２０２においては、画像歪み補正処理を実行する。図４９は歪み補正補処理の概略を示すフローチャート図である。

歪み補正補処理は、概略的には、歪み補正（伸長）に際しての基準となる線（基準線）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行の何れかを選択する処理（ステップＳ３０１：基準線選択処理）、基準線に対応するものであって補正率（伸長率）の算出用の参照線としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行の何れかを選択する処理（ステップＳ３０２：参照線選択処理）、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理（ステップＳ３０３：仮想ページ外形算出処理）、仮想的なページ外形に基づいてスキャン画像に伸長処理を施して主走査方向の歪みを補正する処理（ステップＳ３０４：主走査方向歪み補正処理）、補正画像の文字外接矩形に基づいてスキャン画像に伸長処理を施して副走査方向の歪みを補正する処理（ステップＳ３０５：副走査方向歪み補正処理）により構成されている。このステップＳ２０２の処理については公知であるため、詳細な説明は省略する（その詳細については、特開２００３−６９８０７号公報等を参照）。

以上のように、本実施の形態の画像処理装置によれば、有限な線光源の照明強度をモデル化することで、ブック原稿のスキャン画像において、綴じ部の両端付近の陰影を補正することができる。また、明度プロフィールを作成することで、平坦部の明度を用いて綴じ部の地肌を補正することができる。さらに、スキャン画像の綴じ部の歪みを補正することができる。

デジタル複写機のスキャナ部の構成を示す縦断正面図である。 スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。 スキャナ部の制御系の電気的な接続を示すブロック図である。 画像処理部の基本的な内部構成を示すブロック図である。 メイン制御部のハードウェア構成図である。 コンタクトガラスに載置されたブック原稿を示す図である。 ページ綴じ部付近に歪みが生じたスキャン画像を示す。 ブック原稿をスキャンする場合の光源とブック原稿の構成図である。 照明光強度の分布の一例を示す図である。 ブック原稿の画像処理の手順を示すフローチャート図である。 地肌補正処理１の手順を示すフローチャート図である。 一次元画像明度Ｖ（ｘ）のヒストグラムの一例である。 一次元画像の画素と明度の関係の一例を示す図である。 明度ｖ(y)のヒストグラムの一例である。 地肌補正処理２の手順を示すフローチャート図である。 地肌補正処理３の手順を示すフローチャート図である。 陰影補正の処理手順を示すフローチャート図である。 １次元差分フィルターの一例である。 曲がり始めの位置の検出手順を示すフローチャート図である。 平坦部及び綴じ部の 明度プロフィールの一例である。 曲面部を適当な個数の領域に分割したスキャン画像を示す図である。 地肌補正を行なった後に綴じ部両端付近の陰影を補正する補正手順のフローチャート図である。 綴じ部に垂直に複数の領域Ｌに分割したスキャン画像を示す図である。 綴じ部の長さ方向と平行に複数の領域Ｌに分割したスキャン画像を示す図である。 綴じ部に垂直と平行に分割したスキャン画像を示す図である。 ゆがみ形状補正処理の概要を説明するフローチャート図である。 ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。 上端にページ外形が存在するスキャン画像の一例を示す説明図である。 図５０に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。 ２値化した画像に矩形抽出を施した結果を示す説明図である。 罫線がノイズと接触している場合を示す説明図である。 表が含まれる画像を示す説明図である。 一定値未満のランのみを登録し矩形を抽出した結果を示す説明図である。 副走査方向に矩形が細切れに抽出されてしまう場合を示す説明図である。 矩形統合を施した例を示す説明図である。 矩形抽出を行った結果を示す説明図である。 図５０に示した画像の副走査方向の黒白反転数ヒストグラムである。 図５０に示した画像の主走査方向の黒白反転数ヒストグラムである。 スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。 最適な横書き文字行の選択を示す説明図である。 各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。 抽出した行切り出し矩形を例示的に示す説明図である。 予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。 抽出した縦書き文字行の先頭のｙ座標に関してヒストグラムを構成する状態を示す説明図である。 画像の歪みを生じていない部分における処理を示す説明図である。 画像の歪みを生じている部分における処理を示す説明図である。 抽出した縦書き文字行を示す説明図である。 縦書き文字行の行切り出し矩形を示す説明図である。 画像歪み補正処理の流れを概略的に示すフローチャートである。 ブック原稿のスキャン画像の一例である。

符号の説明

１ スキャナ部
２ コンタクトガラス
３ 線光源（露光ランプ）
１９ メイン制御部
２０ 画像処理部
４０ ブック原稿
４１ 綴じ部
４１Ａ，Ｂ 綴じ部両端付近

Claims (20)

1. コンタクトガラス上に載置されたブック原稿を読み取る画像読取手段と、
   前記ブック原稿のスキャン画像の画素値から前記ブック原稿の平坦部を特定し、該平坦部の画素値を基準に、綴じ部両端を結ぶ方向の一次元画像と直交する方向の位置ｙに対する前記スキャン画像の明度を正規化して正規化明度プロフィールを生成する第一の手段と、
   前記正規化明度プロフィールを用いて前記スキャン画像の綴じ部付近の地肌を補正する地肌補正手段と、
   一次元画像と平行な方向の位置ｘに対する明度の分布に対し、明度が一次元画像の明度分布の略中央値となる位置をｘ０、略中央値と漸近的に一定となる明度との差をａ、略中央値を通る位置ｘに対する明度の傾きをｂ、明度分布の略中央値をｃ、として、明度を
   と定義した際、前記ｘ０に所定値を与え、一次元画像のあるｘにおける明度を前記式に代入することで前記ｂを推定し、一次元画像の明度分布を求める第２の手段と、
   前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正する陰影補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記第２の手段は、一次元画像の画素値にフィルタ演算を施し、前記スキャン画像の両端の座標ｘｌ、ｘｒを推定し、座標ｘｌよりも外側又は座標ｘｒよりも外側の位置を前記ｘ０の所定値とする、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記地肌補正手段は、画素毎にＲＧＢ値から明度、彩度及び色相を求め、
   前記ブック原稿の画素毎に有彩色か無彩色かを判定し、
   有彩色の場合には彩度と明度の両方に前記正規化明度プロフィールによる地肌補正を行い、
   無彩色の場合には明度にのみ前記正規化明度プロフィールによる地肌補正を行い、
   画素毎に、明度、彩度及び色相からＲＧＢ値を求める、
   ことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記地肌補正手段は、画素毎に明度を求め、
   画素値のＲ値、Ｇ値、Ｂ値のそれぞれに前記正規化明度プロフィールによる地肌補正を行う、
   ことを特徴とする請求項１又は２記載の画像処理装置。
5. 前記地肌補正手段は、
   画素値のＲ値、Ｇ値、Ｂ値のそれぞれの前記正規化明度プロフィールを求め、
   Ｒ値、Ｇ値、Ｂ値のそれぞれに、Ｒ値、Ｇ値、Ｂ値それぞれの前記正規化明度プロフィールによる地肌補正を行う、
   ことを特徴とする請求項１又は２記載の画像処理装置。
6. 前記陰影補正手段は、
   一次元画像と直交する方向の位置ｙに対応づけて、前記スキャン画像の明度分布を示す明度プロフィールを生成し、
   前記スキャン画像の綴じ部にて前記明度プロフィールが下向きのピークを示す位置ｙを中心に所定の領域を特定し、
   前記明度分布を用いて前記スキャン画像の前記領域のみ、綴じ部両端付近の陰影を補正する、
   ことを特徴とする請求項1記載の画像処理装置。
7. 前記陰影補正手段は、
   前記領域の前記スキャン画像を一次元画像と平行な複数の領域に分割し、
   前記第２の手段は、分割後の前記領域の境界の一次元画像についてのみ一次元画像の前記明度分布を求め、
   一次元画像と直交する方向に前記明度分布を補完して、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正する、
   ことを特徴とする請求項６記載の画像処理装置。
8. 前記陰影補正手段は、
   前記スキャン画像を、一次元画像と直交する方向の複数の領域に分割し、
   分割された領域毎に、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正する、
   ことを特徴とする請求項１記載の画像処理装置。
9. 前記スキャン画像の外縁が内側に入り込んでいる形状に基づき、一次元画像と直交する方向の前記スキャン画像の中央部を特定して、中央部から２つの領域に分割し、
   前記地肌補正手段は、分割された領域毎に地肌補正を行い、
   前記陰影補正手段は、分割された領域毎に前記スキャン画像の綴じ部両端付近の陰影を補正する、
   ことを特徴とする請求項１記載の画像処理装置。
10. 画像読取手段が、コンタクトガラス上に載置されたブック原稿を読み取るステップと、
    第一の手段が、前記ブック原稿のスキャン画像の画素値から前記ブック原稿の平坦部を特定し、該平坦部の画素値を基準に、綴じ部両端を結ぶ方向の一次元画像と直交する方向の位置ｙに対する前記スキャン画像の明度を正規化して正規化明度プロフィールを生成するステップと、
    地肌補正手段が、前記正規化明度プロフィールを用いて前記スキャン画像の綴じ部付近の地肌を補正するステップと、
    第２の手段が、一次元画像と平行な方向の位置ｘに対する明度の分布に対し、明度が一次元画像の明度分布の略中央値となる位置をｘ０、略中央値と漸近的に一定となる明度との差をａ、略中央値を通る位置ｘに対する明度の傾きをｂ、明度分布の略中央値をｃ、として、明度を
    と定義した際、前記ｘ０に所定値を与え、一次元画像のあるｘにおける明度を前記式に代入することで前記ｂを推定し、一次元画像の明度分布を求めるステップと、
    陰影補正手段が、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、
    を有することを特徴とする画像処理方法。
11. 前記第２の手段は、一次元画像の画素値にフィルタ演算を施し、前記スキャン画像の両端の座標ｘｌ、ｘｒを推定し、座標ｘｌよりも外側又は座標ｘｒよりも外側の位置を前記ｘ０の所定値とする、
    ことを特徴とする請求項１０記載の画像処理方法。
12. 前記陰影補正手段が、画素毎にＲＧＢ値から明度、彩度及び色相を求めるステップと、
    前記ブック原稿の画素毎に有彩色か無彩色かを判定するステップと、
    有彩色の場合には彩度と明度の両方に前記正規化明度プロフィールによる地肌補正を行い、無彩色の場合には明度にのみ前記正規化明度プロフィールによる地肌補正を行うステップと、
    画素毎に、明度、彩度及び色相からＲＧＢ値を求めるステップと、
    を有することを特徴とする請求項１０又は１１記載の画像処理方法。
13. 前記陰影補正手段が、画素毎に明度を求めるステップと、
    画素値のＲ値，Ｇ値、Ｂ値のそれぞれに前記正規化明度プロフィールによる地肌補正を行うステップと、
    を有することを特徴とする請求項１０又は１１記載の画像処理方法。
14. 前記陰影補正手段が、
    画素値のＲ値，Ｇ値、Ｂ値のそれぞれの前記正規化明度プロフィールを求めるステップと、
    Ｒ値，Ｇ値、Ｂ値のそれぞれに、Ｒ値，Ｇ値、Ｂ値それぞれの前記正規化明度プロフィールによる地肌補正を行うステップと、
    を有することを特徴とする請求項１０又は１１記載の画像処理方法。
15. 前記陰影補正手段は、
    一次元画像と直交する方向の位置ｙに対応づけて、前記スキャン画像の明度分布を示す明度プロフィールを生成するステップと、
    前記スキャン画像の綴じ部にて前記明度プロフィールが下向きのピークを示す位置ｙを中心に所定の領域を特定するステップと、
    前記明度分布を用いて前記スキャン画像の前記領域のみ、綴じ部両端付近の陰影を補正するステップと、
    を有することを特徴とする請求項1０記載の画像処理方法。
16. 前記陰影補正手段が、前記領域の前記スキャン画像を一次元画像と平行な複数の領域に分割するステップと、
    前記第２の手段が、分割された前記領域の境界の一次元画像についてのみ一次元画像の前記明度分布を求めるステップと、
    一次元画像と直交する方向に前記明度分布を補完して、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、
    を有することを特徴とする請求項１５記載の画像処理方法。
17. 前記陰影補正手段が、前記スキャン画像を、一次元画像と直交する方向の複数の領域に分割するステップと、
    分割された領域毎に、前記明度分布を用いて前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、
    を有することを特徴とする請求項１０記載の画像処理方法。
18. 前記スキャン画像の外縁が内側に入り込んでいる形状に基づき、一次元画像と直交する方向の前記スキャン画像の中央部を特定して、中央部から２つの領域に分割するステップと、
    前記地肌補正手段が、分割された領域毎に地肌補正を行うステップと、
    前記陰影補正手段が、分割された領域毎に前記スキャン画像の綴じ部両端付近の陰影を補正するステップと、
    を有することを特徴とする請求項１０記載の画像処理方法。
19. コンピュータに、請求項１０ないし１８いずれか記載の画像処理方法を実行させるためのプログラム。
20. 請求項１９記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。