JP2008259172A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】入力画像中において原稿画像以外の画像領域が含まれる場合で、かつ、Ｘ軸方向及びＹ軸方向の解像度がそれぞれ異なる場合に、高い精度で原稿画像以外の画像領域を取り除いて原稿画像の画像領域を抽出する画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】まず、入力画像１３に対してＸ軸方向及びＹ軸方向の両方向について原稿画像の傾き角度を求める。次いで、求められた傾き角度に基づいて傾きを修正する方向へ入力画像１３を回転させ、回転後の入力画像から原稿画像の画像領域１４を求めて該画像領域を原稿画像１８として抽出する。
【選択図】 図４

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、特にＸ軸方向及びＹ軸方向における解像度が異なる入力画像から精度良く原稿画像を抽出する画像処理に好適な技術に関するものである。

従来、画像処理装置においては、原稿をスキャナ等の読取装置で読み取り、この読み取った画像に対して種々の画像処理及び画像補正を行っている。これらの処理には、例えば、複写機等の画像機器から原稿を入力する際に原稿が傾いていた場合等に画像の傾きを補正するスキュー補正処理や、画像中に存在する孤立点ノイズを削除するノイズ削除処理等がある。

例えば特許文献１では、文書画像の角隅部分において文字図形ブロックに外接する外接矩形を検出し、検出した外接矩形の一辺と文字図形ブロックの一辺の交点を中心として走査線を回転させる。そして、走査線上で文字図形要素を検出しなかった最大の回転角度（初めて文字図形要素を検出した角度）を、処理対象である文書画像の傾き候補として検出する。以上の処理を全ての角隅部分について行い、その平均値を文書画像の傾きとして検出している。

特開平８−３２０９１６号公報

ところで、複写機、スキャナ等の画像機器から原稿を入力する場合、例えば画像入力機器の圧板の色が黒で、原稿のサイズと読取領域のサイズとに違いが生じたときには、入力画像の周辺に原稿以外に相当する黒画素の画像領域が発生することになる（ネットワーク経由にて得られた画像の場合も同様）。この黒画素の画像領域は、画像機器を利用するユーザにとっては必要のない情報（ノイズ情報）であり、また、実際の原稿サイズが知りたいときは、不要なノイズ情報は自動的に切り取られ原稿に相当する画像のみ得られるようにすることが望ましい。さらに、最近の画像機器では、入力時の条件として、Ｘ軸方向、Ｙ軸方向の解像度を別個独立に指定することが可能となっているため、例えば画像ファイルサイズの縮小のために、例えば図１１に示すようにＸ軸方向３００ｄｐｉ、Ｙ軸方向７５ｄｐｉといった条件で画像入力を行うことがある。

このような状況に対して、特許文献１の発明は、文字領域と余白領域を利用した傾き検出であるため文字領域と余白領域とがほぼ直線状の境界をなす可能性が高いという前提にたった処理であるため、余白がない場合や文字領域が少ない場合には適用することが困難である。

また、Ｘ軸方向とＹ軸方向とが同じ解像度をもって入力された画像データ中の原稿画像の傾き（傾きα）と、Ｘ軸方向とＹ軸方向とが互いに異なる解像度をもって入力された画像データ中の原稿画像の傾き（傾きβ）とは異なる。これは、Ｘ軸方向とＹ軸方向とが互いに異なる解像度で入力された画像データ中の原稿画像の傾き（傾きβ）は、本来検出すべき傾き（傾きα）とは異なることを意味する。つまり、Ｘ軸方向とＹ軸方向とが互いに異なる解像度をもって画像データが入力された場合、特許文献１に記載された発明では正しい傾き（傾きα）を検出することができない。

ここで、図１３は、傾きαと傾きβとが異なる原理を説明する図である。Ｙ軸方向がＸ軸方向より低い解像度で読み取られた場合、入力画像１３０１における原稿画像１３０２のＹ軸方向の原稿画像（画素）が間引かれるため、例えば、原稿画像１３０２の左下角Ａは入力画像１３０１の左下角Ａ´の位置に移動する。そのため、原稿画像１２０２の実際の傾きが傾きαであるにも関わらず、Ｘ軸方向とＹ軸方向とが互いに異なる解像度をもって入力された入力画像１３０１中の原稿画像１３０２の傾きは傾きβになってしまう。

そこで、本発明は、上記事情に鑑み、入力画像中において原稿画像以外の画像領域が含まれる場合で、かつ、第１方向（例えば、Ｘ軸方向）及び第１方向に垂直な第２方向（例えば、Ｙ軸方向）の解像度がそれぞれ異なる場合に、高い精度で原稿画像の傾きを検出可能な画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、所定の画像データに基づく、第１方向と、該第１方向と異なる第２方向について互いに異なる解像度を有する処理画像データを取得する画像データ取得手段と、前記第１方向、および前記第２方向の解像度を入力する解像度入力手段と、取得された前記処理画像データと、入力された前記解像度とに応じて、前記画像データの傾きを検出する傾き検出手段と、を備えることを特徴とする。

また、請求項２にかかる発明は、請求項１にかかる発明において、前記傾き検出手段は、入力された前記解像度から前記第１方向の解像度と前記第２方向の解像度との比率に基づいて前記処理画像データの位置情報を変換し、変換された位置情報から前記画像データの傾きを検出することを特徴とする。

また、請求項３にかかる発明は、請求項１または２にかかる発明において、前記画像データは、前記処理画像データである原稿画像領域とその他の領域とを含み、前記傾き検出手段は、前記処理画像データである前記原稿画像領域の位置情報を変換し、変換された位置情報から前記原稿画像領域の傾きを検出することを特徴とする。

また、請求項４にかかる発明は、請求項３にかかる発明において、前記位置情報は、前記原稿画像領域とその他の領域との境界の位置情報であることを特徴とする。

また、請求項５にかかる発明は、請求項３にかかる発明において、前記位置情報は、前記原稿画像領域内の文字列の位置、または罫線の位置情報であることを特徴とする。

また、請求項６にかかる発明は、請求項１乃至５にかかる発明において、前記傾き検出手段は、複数の前記位置情報を変換し、変換された位置情報夫々から取得された前記画像データの傾きの平均値、中央値、又は確からしい値を、前記画像データの傾きとして検出することを特徴とする。

また、請求項７にかかる発明は、所定の画像データに基づく、第１方向と、該第１方向と異なる第２方向について互いに異なる解像度を有する処理画像データを取得する画像データ取得ステップと、前記第１方向、および前記第２方向の解像度を入力する解像度入力ステップと、取得された前記処理画像データと、入力された前記解像度とに応じて、前記画像データの傾きを検出する傾き検出ステップと、を有することを特徴とする。

また、請求項８にかかる発明は、請求項７にかかる発明において、前記傾き検出ステップは、入力された前記解像度から前記第１方向の解像度と前記第２方向の解像度との比率に基づいて前記処理画像データの位置情報を変換し、変換された位置情報から前記画像データの傾きを検出することを特徴とする。

また、請求項９にかかる発明は、請求項７または８にかかる発明において、前記画像データは前記処理画像データである原稿画像領域とその他の領域とを含み、前記傾き検出ステップは、前記処理画像データである前記原稿画像領域の位置情報を変換し、変換された位置情報から前記原稿画像領域の傾きを検出することを特徴とする。

また、請求項１０にかかる発明は、請求項９にかかる発明において、前記位置情報は、前記原稿画像領域とその他の領域との境界の位置情報であることを特徴とする。

また、請求項１１にかかる発明は、請求項９にかかる発明において、前記位置情報は、前記原稿画像領域内の文字列の位置、または罫線の位置情報であることを特徴とする。

また、請求項１２にかかる発明は、請求項７乃至１１にかかる発明において、前記傾き検出ステップは、複数の前記位置情報を変換し、変換された位置情報夫々から取得された前記画像データの傾きの平均値、中央値、又は確からしい値を、前記画像データの傾きとして検出することを特徴とする。

また、請求項１３にかかる発明は、コンピュータを、所定の画像データに基づく、第１方向と、該第１方向と異なる第２方向について互いに異なる解像度を有する処理画像データを取得する画像データ取得手段と、前記第１方向、および前記第２方向の解像度を入力する解像度入力手段と、取得された前記処理画像データと、入力された前記解像度とに応じて、前記画像データの傾きを検出する傾き検出手段と、として機能させる。

また、請求項１４にかかる発明は、請求項１３にかかる発明において、前記傾き検出手段は、入力された前記解像度から前記第１方向の解像度と前記第２方向の解像度との比率に基づいて前記処理画像データの位置情報を変換し、変換された位置情報から前記画像データの傾きを検出することを特徴とする。

また、請求項１５にかかる発明は、請求項１３または１４にかかる発明において、前記画像データは、前記処理画像データである原稿画像領域とその他の領域とを含み、前記傾き検出手段は、前記処理画像データである前記原稿画像領域の位置情報を変換し、変換された位置情報から前記原稿画像領域の傾きを検出することを特徴とする。

また、請求項１６にかかる発明は、請求項１５にかかる発明において、前記位置情報は、前記原稿画像領域とその他の領域との境界の位置情報であることを特徴とする。

また、請求項１７にかかる発明は、請求項１５にかかる発明において、前記位置情報は、前記原稿画像領域内の文字列の位置、または罫線の位置情報であることを特徴とする。

また、請求項１８にかかる発明は、請求項１３乃至１７にかかる発明において、前記傾き検出手段は、複数の前記位置情報を変換し、変換された位置情報夫々から取得された前記画像データの傾きの平均値、中央値、又は確からしい値を、前記画像データの傾きとして検出することを特徴とする。

本発明によれば、入力画像中において原稿画像以外の画像領域が含まれる場合で、かつ、第１方向（例えば、Ｘ軸方向）及び第１方向に垂直な第２方向（例えば、Ｙ軸方向）の解像度がそれぞれ異なる場合に、高い精度で原稿画像の傾きを検出可能となる。

以下、図面を参照しながら、本発明における画像処理装置について、画像処理装置の一例として、デジタル複合機を用いながら説明する。

図１は、本実施形態のデジタル複合機における画像処理部の概略構成を示すブロック図である。当該画像処理部は、画像入力装置１、ＣＰＵ２、ＲＯＭ３、表示装置４、記憶装置５、ＲＡＭ７、及び外部記憶装置８を有しており、各構成がバス９を介して接続されている。また、デジタル複合機は、外部ネットワーク６と接続されている。

画像入力装置１は、スキャナ、入力インターフェース等の画像機器であり汎用の画像読取装置である。ＣＰＵ２は、中央演算処理装置であり画像抽出処理を制御する。ＲＯＭ３は、デジタル複合機を起動するためのプログラムや画像抽出処理を制御するプログラムを格納する。ＲＡＭ７は、画像抽出処理のために読み取り画像を一時的に記憶する作業用メモリである。記憶装置５は、複合機内部に設けられた大容量メモリ（ＨＤＤ）で、読み取り画像や処理済みの画像を記憶する。外部記憶装置８は、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）、ＦＤドライブ等の補助記憶装置で、画像抽出を制御するためのプログラム等を読み込み可能になっている。表示装置４は、画像抽出処理の命令や画像抽出の状況等を表示するディスプレイである。また、画像処理部は、不図示の通信インターフェースにより、外部ネットワーク６介して他のパソコンやデジタル複合機と画像データのやり取りを行う。

まず、本実施形態のデジタル複合機の動作の概略について説明する。
本実施形態のデジタル複合機は、スキャナ等の画像読取装置により読み取られた入力画像（画像データ）中に原稿画像（処理画像データ）以外の画像領域が含まれる場合で、かつ、Ｘ軸方向及びＹ軸方向の解像度がそれぞれ異なる場合に、高い精度で原稿画像以外の画像領域を取り除いて原稿画像の画像領域の抽出を行う。

図２は、本実施形態において入力画像から原稿画像を抽出する処理の流れを示したフローチャートである。当該フローチャートを参照して、ＲＯＭ３に格納された画像抽出処理を制御するプログラムに従ってＣＰＵ２が実行する処理の手順を簡単に説明する。まず、ＣＰＵ２は、画像入力装置１により読み取った入力画像における原稿画像の傾きを検出する（Ｓ１）。そして、傾きが生じている場合は、傾きのない方向に入力画像全体を回転させる（Ｓ２）。続いて、傾きが修正された入力画像から原稿画像に相当する画像領域を抽出する（Ｓ３）。
本実施形態のデジタル複合機は、ＣＰＵ２がＲＯＭに格納された画像抽出処理を制御するプログラムに基づいてＲＡＭ７のワーク領域を利用しながら動作することにより、図１２に示す機能を実現する。図１２は、本実施形態にかかるデジタル複合機の機能ブロック図である。
なお、デジタル複合機で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されてもよい。この場合、ＣＰＵ２が上記記憶媒体からプログラムを読み出して図示しない主記憶装置上にロードすることで、デジタル複合機に各種の機能を実現させる。また、プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。または、プログラムをインターネット等のネットワーク経由で提供若しくは配布するようにしてもよい。
本実施形態のデジタル複合機は、画像データ取得部２０１、解像度入力部２０２、および傾き検出部２０３を備えて構成される。画像データ取得部２０１は、画像入力装置１により読み取った所定の入力画像に基づく、Ｘ軸方向とＹ軸方向とについて互いに異なる解像度を有する原稿画像を取得する。解像度入力部２０２は、図示しない操作部を介して、画像データ取得部２０１により取得する原稿画像のＸ軸方向およびＹ軸方向の解像度を入力する。傾き検出部２０３は、取得した原稿画像と、入力された解像度とに応じて、入力画像の傾きを検出する。

図３は、原稿画像の画像領域と原稿画像以外の画像領域の関係を示す図である。図３（ａ）は、画像入力装置１により読み取られる原稿の一例である。図中、１１は原稿、１２は原稿１１に記録された文字、図形、写真、グラフ等の情報領域を表している（図３（ａ））。図３（ｂ）は、画像入力装置１により読み取られた入力画像の一例である。１３は、画像入力装置１により読み取られ、ＲＡＭ７に展開された入力画像を模式的に示し、１４は、原稿画像の画像領域、１５は、画像入力装置１の圧板（不図示）の着色等により原稿画像の周縁部に発生した原稿画像以外の画像領域である（図３（ｂ））。本実施形態では、図３（ａ）に示す原稿１１が傾かずに画像入力装置１により読み取られた場合、図３（ｂ）に示すように、入力画像１３が得られる。なお、読み取られる原稿１１のサイズが入力画像１３と同じ場合は、原稿画像以外の画像領域１５が無い入力画像１３が得られる。

図４は、本実施形態において原稿画像を抽出する処理の流れを説明する図である。図４（ａ）は、原稿画像が傾いた場合の入力画像の一例である。図４（ｂ）は、回転して原稿画像の傾きを修正した入力画像の一例である。図４（ｃ）は、原稿画像の傾きを修正した入力画像から抽出した原稿画像の一例である。ＣＰＵ２は、ＲＡＭ７上で原稿画像以外の画像領域１５の発生を監視しており、該画像領域１５が発生したとき、原稿画像の画像領域の傾きを検知し（図４（ａ））、傾きが生じている場合は、検知した傾きの分だけ、入力画像１３を傾きのない方向に回転させる（図４（ｂ））。傾きが修正された入力画像から、ＣＰＵ２は、原稿画像の画像領域１４だけを切り出し、つまり原稿画像１８として抽出する（図４（ｃ））。以下、ＲＯＭ３に格納された画像抽出処理を制御するプログラムに従ってＣＰＵ２が実行する入力画像の変換処理、入力画像の縮小処理、原稿画像の位置情報の取得処理、原稿画像の仮想的な位置情報の算出処理、傾き角度の検出処理、境界の検出処理、原稿画像の抽出処理の具体的な形態について説明する。

まず、入力画像の変換処理について説明する。本実施形態では、デジタル複合機は、原稿がグレースケールやカラー画像であって、画像入力装置１からの入力画像がその周縁部に原稿画像以外の画像領域を含んでいるとき、原稿画像以外の画像領域を取り除き、ユーザにとって必要な原稿画像の画像領域を抽出する。すなわち、原稿画像がグレースケールやカラー画像のような多値画像であった場合には、汎用の変換手段により多値画像から２値画像への変換を行って、一旦、２値画像を生成し、２値画像上で傾き角度の検出等の必要な処理を行った後に、２値画像上での処理結果をその都度入力画像に反映することで多値画像の処理を行う。

例えば、入力画像から２値画像を生成した後、その２値画像に対して傾き角度の検出を行い、求められた傾き角度だけ入力画像（多値画像）を回転させる。なお、それ以降の処理は多値画像上で行っても、再度、回転後の画像から２値画像を生成し、その２値画像に対して原稿画像の画像領域の抽出を行ってもよい。以上のように、本実施形態によれば、原稿画像が多値画像の場合であっても、２値画像に変換して原稿画像の画像領域の抽出に必要な処理を行うこととなるため、高速かつ少ないメモリでの抽出処理を行うことが可能となる。

次に、入力画像の縮小処理について説明する。本実施形態では、デジタル複合機は、画像入力装置１から入力された原稿画像のサイズが大きく、また、その原稿画像の周縁部に原稿画像以外の画像領域が含まれているとき、原稿画像以外の画像領域を取り除き、ユーザにとって必要な原稿画像の画像領域を抽出する。すなわち、ＣＰＵ２は、ＲＡＭ７に展開された入力画像のサイズを監視しており、所定のサイズを超えたと判断するとき、入力画像のサイズを所定のサイズまで縮小して作業用の縮小画像を生成し、該縮小画像上で傾き角度検出等の必要な各処理を行い、その処理結果をその都度入力画像に反映させることで原稿画像の画像領域の抽出を行う。

例えば、入力画像から縮小画像を作成した後、その縮小画像に対して、傾き角度の検出を行い、求められた角度だけ入力画像（縮小前の画像）を回転させ、それ以降の処理は縮小画像を生成せずに行うことも、再度回転後の画像から縮小画像を生成してその縮小画像に対して原稿画像の画像領域の抽出処理を行ってもよい。本実施形態によれば、入力画像のサイズが大きい場合でも、高速かつより少ないメモリで原稿画像の画像領域を抽出することができる。なお、上述した変換処理と縮小処理とを組み合わせることは当然のことながら可能である。つまり、多値画像から２値画像を生成した後、その２値画像から縮小画像を作成することも、逆に、多値画像から縮小画像を作成し、その縮小画像から２値画像を生成することも可能である。
次に、画像データ取得部２０１が、原稿画像の位置情報を取得する取得処理について説明する。本実施の形態では、デジタル複合機は、Ｘ軸方向の解像度とＹ軸方向の解像度とが異なるものであって、原稿画像の画像領域およびその周囲の原稿画像以外の画像領域を含む入力画像における原稿画像の位置情報を取得する。なお、上述した変換処理および縮小処理が施された場合は、変換処理および縮小処理が施された入力画像を取得する。ここで、位置情報は、原稿画像の位置を特定する座標情報であり、原稿画像内の文字の座標情報（文字列情報）、罫線の座標情報（罫線情報）、入力画像内の原稿画像の画像領域と当該原稿画像以外の画像領域との境界の位置情報（境界情報）等である。ＣＰＵ２は、例えば、ＲＡＭ７に展開された入力画像の左上の角隅を原点（０，０）とした原稿画像の位置情報を取得する。

次に、傾き検出部２０３が、解像度入力部２０２から入力された解像度から原稿画像の位置情報を仮想的な位置情報に変換する変換処理（算出処理）および入力画像の傾き角度を検出する検出処理について説明する。本実施形態では、デジタル複合機は、スキャナ等の画像読取装置により読み取られた入力画像中に原稿画像以外の画像領域が含まれる場合で、かつ、Ｘ軸方向及びＹ軸方向の解像度がそれぞれ異なる場合に、高い精度で原稿画像以外の画像領域を取り除いて原稿画像の画像領域の抽出を行う。具体的には、傾き角度の検出処理は、原稿画像以外の画像領域と原稿画像の画像領域との境界を検出し、検出された境界にＸ軸方向及びＹ軸方向の解像度の比率を加味して原稿画像の傾き角度を求める。

図５は、本実施形態における入力画像中の原稿画像の画像領域及び当該原稿画像の位置情報を示した図である。図中、１３は、画像入力装置１により読み取られＲＡＭ７に展開された入力画像を模式的に表し、１４は原稿画像の画像領域、１５は原稿画像以外の画像領域、１６は原稿画像の画像領域と原稿画像以外の画像領域との境界、１７は原稿画像の画像領域における４隅の各位置を表す角隅を示している。なお、境界１６には角隅１７が含まれ、境界情報といった場合には、角隅１７の位置情報を包含した境界１６の位置情報を意味する。

入力画像１３がＲＡＭ７上に展開されると、ＣＰＵ２は、境界１６の位置情報（座標情報）や角隅の位置情報（座標情報）を取得する。ここで、以下の式に示すように、取得した位置情報に解像度比率を乗算し、Ｘ軸方向とＹ軸方向の解像度が等しい場合の位置情報を仮想的に求め、その仮想的な位置情報に基づいて原稿画像の入力画像１３に対する傾き角度を求める。
解像度比率＝Ｘ軸方向の解像度／Ｙ軸方向の解像度
仮想的な位置情報＝原稿画像の位置情報×解像度比率

次に、傾き検出部２０３が、原稿画像内の文字の文字列情報または罫線の罫線情報を用いて当該原稿画像の仮想的な位置情報を算出する算出処理について説明する。本実施形態では、デジタル複合機は、スキャナ等の画像読取装置により読み取られた入力画像中に原稿画像以外の画像領域が含まれる場合で、かつ、Ｘ軸方向及びＹ軸方向の解像度がそれぞれ異なる場合に、高い精度で原稿画像以外の画像領域を取り除いて原稿画像の画像領域の抽出を行う。具体的には、傾き角度の検出処理は、原稿画像における文字の並びの傾き、あるいは罫線の傾き等に基づいて原稿画像の傾き角度を求める。この場合も境界情報を用いて仮想的な位置情報を算出する処理と同様に、文字や罫線の代表点の位置情報に対して、同様の演算（解像度比率の乗算）を行うことで仮想的な位置情報を求めることができる。境界情報を用いた仮想的な位置情報の算出処理との相違点は、傾き角度を求める際の特徴量が境界情報であるか原稿画像中の文字列情報・罫線情報であるかの違いである。

なお、文字列情報や罫線情報から傾きを求める技術としては、特許第３２８１４６９号の「文書画像の傾き検出方法および装置」や、特許第３３３８５３７号の「画像傾き検出装置」がある。前者は、文字列矩形から作成した傾きのヒストグラムにより傾きを求めるものであり、後者は、読取画像中の文字の上端における白黒境界点の座標を点列とし、その座標から回帰直線を求め、その回帰係数から傾きを算出するものである。

ここで、傾き検出部２０３が、上述した境界情報、文字列情報および罫線情報を用いて仮想的な位置情報を用いて傾き角度を検出する検出処理について説明する。本実施形態では、デジタル複合機は、スキャナ等の画像読取装置により読み取られた入力画像中に原稿画像以外の画像領域が含まれる場合で、かつ、Ｘ軸方向及びＹ軸方向の解像度がそれぞれ異なる場合に、高い精度で原稿画像以外の画像領域を取り除いて原稿画像の画像領域の抽出を行う。具体的には、傾き角度の検出処理は、境界情報から算出した傾きや、原稿画像中の文字列情報・罫線情報から算出した傾きに基づいて総合的に原稿画像の傾き角度を求める。

すなわち、傾き検出部２０３は、境界情報、文字列情報および罫線情報のそれぞれから算出した傾き角度の平均値、中央値、または確からしい値を採用して、原稿画像の傾き角度を決定することが考えられる。または、図６に示すように、原稿画像の各辺（上の辺１６ａ、下の辺１６ｂ、左の辺１６ｃ、右の辺１６ｄ）、原稿画像の４つの角隅を結ぶ辺（角隅Ａ１７ａ−角隅Ｂ１７ｂを結ぶ辺、角隅Ｃ１７ｃ−角隅Ｄ１７ｄを結ぶ辺、角隅Ａ１７ａ−角隅Ｃ１７ｃを結ぶ辺、角隅Ｂ１７ｂ−角隅Ｄ１７ｄを結ぶ辺）を上下と左右のペアに分けて、それぞれから得られた傾き角度において差異が小さいものを原稿画像の傾き角度として決定することもできる。図６は、本実施形態における入力画像中の原稿画像の位置情報を示した図である。このように本実施形態によれば、複数の位置情報の平均値、中央値等を用いて総合的に原稿の傾き角度を算出するため、より正確な傾き角度を得ることができ、原稿画像の抽出を精度良く行うことが可能となる。

次に、原稿画像の画像領域と原稿画像以外の画像領域との境界を検出する際に、境界を検出する範囲を設定する設定処理について説明する。本実施形態では、デジタル複合機は、原稿画像の画像領域と原稿画像以外の画像領域との境界を求める処理の探索範囲をあらかじめ設定する。

図７は、本実施形態の境界検出においてあらかじめ設定する探索範囲を示した図である。図７において、入力画像１３のうち、入力画像の上端部に所定の幅によって構成される矩形範囲（上部探索範囲３１ａ）、入力画像の下端部に所定の幅によって構成される矩形範囲（下部探索範囲３１ｂ）、入力画像の左端部に所定の幅によって構成される矩形範囲（左側探索範囲３１ｃ）、入力画像の右端部に所定の幅によって構成される矩形範囲（右側探索範囲３１ｄ）をそれぞれ境界検出処理の探索範囲とする。これら探索範囲は、原稿サイズに対応した固定値により設定してもよいし、原稿サイズに対応して動的に決まる値（例えば、幅、高さに応じて計算する等）を利用してもよい。このように、原稿画像の画像領域と原稿画像以外の画像領域との境界を求める際に、入力画像全体について境界を探索するのではなく、設定された探索範囲内で境界を検出する。

本実施形態によれば、境界検出の処理を限定された探索範囲内で行えばよいため、無駄な探索動作を行うことなく、高速で境界を検出することが可能となる。

次に、画像データ取得部２０１が、原稿画像の画像領域と原稿画像以外の画像領域との境界を検出する検出処理について具体的に説明する。本実施形態では、デジタル複合機は、画像の上下端あるいは左右端から連続する色の終点位置情報（境界情報）を検出し、Ｘ軸方向及びＹ軸方向の解像度比率を反映させた当該終点位置情報により傾き角度の算出を行う。

図８は、本実施形態における境界検出の形態を説明するための入力画像を示した図である。まず、図８（ａ）に示すように、上述した境界探索範囲（上部探索範囲３１ａ、下部探索範囲３１ｂ、左側探索範囲３１ｃ、右側探索範囲３１ｄ）が設定される。例えば２値画像の場合は、原稿画像以外の画像領域は黒色であるので、上下及び左右の辺から黒画素が連続する領域を求める（図８（ａ）の太矢印）。

例えば、左側探索範囲３１ｃ内で黒画素が連続する領域を求めるケースで説明すると、入力画像の左辺から図面右方向に黒画素が連続する領域を求め、連続が途絶える点を終点としてその情報（終点位置情報）を取得する。これを上辺から下辺に向けて所定の間隔で走査し、取得した終点位置情報を連続することにより境界検出を行う（図８（ｃ））。これと同様のやり方で、下辺から上辺へ、左辺から右辺へ、右辺から左辺へ黒画素が連続する領域を求め、終点位置情報を取得する。なお、このとき、原稿画像以外の画像領域にノイズとして白画素が発生することもあり得るので、白画素数が所定値、例えば３個以内であれば、これを無視して黒画素の連続領域とするといった対応を行う（図８（ｂ））。

そして、以下の式に示すように、取得した終点位置情報に解像度比率を乗算し、Ｘ軸方向とＹ軸方向の解像度が等しい場合の終点位置の位置情報を仮想的に求め、その仮想的な位置情報から原稿画像の傾き角度を求める。
解像度比率＝Ｘ軸方向の解像度／Ｙ軸方向の解像度
仮想的な位置情報＝入力画像から取得した終点位置情報×解像度比率
このように本実施形態によれば、簡単にかつ精度良く境界検出を行うことができる。

次に、画像データ取得部２０１が、原稿画像の画像領域と原稿画像以外の画像領域との境界を検出する他の検出処理について具体的に説明する。本実施形態では、デジタル複合機は、画像の上下端あるいは左右端から連続する色の終点位置情報を検出し、該終点位置情報の変化から求めた原稿画像の角隅位置情報から境界情報を取得し、Ｘ軸方向及びＹ軸方向の解像度比率を反映させた境界情報により傾き角度の算出を行う。

図９は、本実施形態において終点位置情報と角隅位置情報とから境界情報を取得する形態を説明する図である。ここで、４つの角隅の各角隅位置情報は、終点位置情報が大きく変化する位置から求める。例えば、左上角隅の位置情報は、Ｘ軸方向・Ｙ軸方向の座標値の増減が変化する箇所になる。つまり、原稿画像の画像領域が右下がりに傾いている場合は、下辺側からの終点位置情報を右辺方向へ走査すると、Ｙ軸方向の座標値が減り続け、左上角隅に当たる点４１で急に増え始めるように変化する。したがって、ＣＰＵ２は、この変化する位置を左上角隅としその位置情報（角隅位置情報）を取得する。同様にして、他の角隅位置情報も取得することができる。これらの角隅位置情報を結ぶ辺により境界情報を取得する。

また、原稿画像の画像領域が左下がりに傾いている場合は、左辺側からの終点位置情報を上辺方向へ走査すると、Ｘ軸方向の座標値が減り続け、左上角隅に当たる点４１から、急に増え始めるように変化する。したがって、ＣＰＵ２は、この変化する位置を左上角隅としその位置情報（角隅位置情報）を取得する。上記と同様にして、他の角隅位置情報を取得して４つの角隅が求まり、それらの点を結ぶ直線（境界情報）から原稿画像の傾き角度を算出することとなるが、その場合に解像度比率を反映させて求める。例えば、角隅の左上と右上から傾き角度を求めるときは、以下の式により求める。
角度（ラジアン）＝ｔａｎ−１（（（左上Ｙ軸座標値−右上Ｙ軸座標値）×解像度比率）／（右上Ｘ軸座標値−左上Ｘ軸座標値））
により傾き角度を求めることができる。

原稿画像の画像領域が右下がりかあるいは左下がりかは、座標値の変化を、例えば前のＸ軸座標値又はＹ軸座標値と比較して、増える場合は＋１、減る場合は−１として（０に近い値になれば傾きはあまりないといえる）、あらかじめ検知しておいてもよい。また、Ｘ軸座標値及びＹ軸座標値の双方を考慮し、両方の変化を検知するようにしてもよい。このように本実施形態によれば、容易に境界を検出することができる。

次に、画像データ取得部２０１が、原稿画像の画像領域と原稿画像以外の画像領域との境界を検出する他の検出処理について具体的に説明する。本実施形態では、デジタル複合機は、原稿の角隅がステープル留め等のために折れたり、破れたり、あるいは欠けたりすること等に対し、角隅近辺の終点位置情報を除く終点位置情報（境界情報）を検出し、Ｘ軸方向及びＹ軸方向の解像度比率を反映させた当該終点位置情報により傾き角度の算出を行う。

図１０は、本実施形態において角隅近辺の終点位置情報を除いた終点位置情報の検出を行う形態を説明する図である。図１０（ｂ）中、５２ａは上部有効位置情報、５２ｂは下部有効位置情報、５２ｃは左側有効位置情報、５２ｄは右側有効位置情報である。４つの有効位置情報は以下のようにして求める。図１０（ａ）に示すように、原稿の画像領域は左上角隅５１が欠けており、欠けた左上角隅５１の位置情報は、左辺と上辺の交差点を求めることにより大まかに求めておく。そして、各角隅を結ぶ両角隅からそれぞれ４分の１程度の範囲を除いた範囲の終点位置情報を有効位置情報として求め、該有効位置情報（境界情報）を傾き角度の算出処理に用いる。

このように本実施形態によれば、角隅が欠けている原稿画像の画像領域の境界を検出するとき、検出精度を上げることができる。

次に、検出した傾き角度に基づいて原稿画像の傾きを修正した入力画像から原稿画像を抽出する処理について説明する。本実施形態では、デジタル複合機は、原稿画像の傾きを修正する方向に検出した傾き角度の分だけ入力画像を回転させ、回転した入力画像において境界が決定された原稿画像の画像領域から原稿画像に相当する画像領域の切り出し（抽出）を行う。

当該画像切り出しは、地肌色に注目した外接矩形の抽出と、抽出した外接矩形同士の統合によって行うものである。この場合の地肌色は、原稿画像の画像領域の地肌色である。例えば、２値画像においては、地肌色が白色であるため白画素に着目した外接矩形を求める。求められた外接矩形を包含するように統合し、最終的に統合された最大の矩形を原稿画像の画像領域として決定し、この画像領域を抽出する。このとき、ノイズ領域も想定されるので、所定のサイズ以下の矩形はノイズとして統合しない等の処理を行ってもよい。

このように本実施形態によれば、容易に抽出対象となる画像領域を決定することができる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

すなわち、先に述べてきた本発明の実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体（記憶メディア）を画像処理装置あるいは同装置を搭載する画像形成装置に供給し、画像処理装置又は画像形成装置のコンピュータ（ＣＰＵやＭＰＵ）が該記憶メディアに格納されたプログラムコードを読み出し実行することによっても、本発明の目的を達成することは可能である。

この場合、記憶メディアから読み出されたプログラムコード自体が前述の実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読み取り可能な記録媒体は本発明を構成する。

また、プログラムコードを供給するための記憶メディアとしては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、不揮発性のメモリカード、磁気テープ等を用いることができる。

本発明の実施形態におけるデジタル複合機の画像処理部の概略構成を示したブロック図である。 本発明の実施形態における原稿画像の抽出処理の流れを示したフローチャートである。 本発明の実施形態における入力画像中の画像領域の関係を示した図である。 本発明の実施形態における原稿画像の抽出処理の流れを説明するための図である。 本発明の実施形態における入力画像中の原稿画像の画像領域及び当該原稿画像の位置情報を示した図である。 本発明の実施形態における入力画像中の原稿画像の位置情報を示した図である。 本発明の実施形態における境界検出においてあらかじめ設定する探索範囲を示した図である。 本発明の実施形態における境界検出の形態を説明するための入力画像を示した図である。 本発明の実施形態において終点位置情報と角隅位置情報とから境界情報を取得する形態を説明する図である。 本発明の実施形態において角隅近辺の終点位置情報を除いた終点位置情報の検出を行う形態を説明する図である。 従来の画像処理装置の画像入力を説明するための図である。 本発明の実施形態にかかるデジタル複合機の機能ブロック図である。 入力画像中の原稿画像の傾き角度が異なる例を示す図である。

符号の説明

１ 画像入力装置
２ ＣＰＵ
３ ＲＯＭ
４ 表示装置
５ 記憶装置
６ ネットワーク
７ ＲＡＭ
８ 外部記憶装置
９ バス
１１ 原稿
１２ 情報領域
１３、１３０１ 入力画像
１４ 原稿画像の画像領域
１５ 原稿画像以外の画像領域
１６ 境界
１７ 角隅
１８、１３０２ 原稿画像
２０１ 画像データ取得部
２０２ 解像度入力部
２０３ 傾き検出部

Claims (18)

1. 所定の画像データに基づく、第１方向と、該第１方向と異なる第２方向について互いに異なる解像度を有する処理画像データを取得する画像データ取得手段と、
   前記第１方向、および前記第２方向の解像度を入力する解像度入力手段と、
   取得された前記処理画像データと、入力された前記解像度とに応じて、前記画像データの傾きを検出する傾き検出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記傾き検出手段は、入力された前記解像度から前記第１方向の解像度と前記第２方向の解像度との比率に基づいて前記処理画像データの位置情報を変換し、変換された位置情報から前記画像データの傾きを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データは、前記処理画像データである原稿画像領域とその他の領域とを含み、
   前記傾き検出手段は、前記処理画像データである前記原稿画像領域の位置情報を変換し、変換された位置情報から前記原稿画像領域の傾きを検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記位置情報は、前記原稿画像領域とその他の領域との境界の位置情報であることを特徴とする請求項３に記載の画像処理装置。
5. 前記位置情報は、前記原稿画像領域内の文字列の位置、または罫線の位置情報であることを特徴とする請求項３に記載の画像処理装置。
6. 前記傾き検出手段は、複数の前記位置情報を変換し、変換された位置情報夫々から取得された前記画像データの傾きの平均値、中央値、又は確からしい値を、前記画像データの傾きとして検出することを特徴とする請求項１乃至５に記載の画像処理装置。
7. 所定の画像データに基づく、第１方向と、該第１方向と異なる第２方向について互いに異なる解像度を有する処理画像データを取得する画像データ取得ステップと、
   前記第１方向、および前記第２方向の解像度を入力する解像度入力ステップと、
   取得された前記処理画像データと、入力された前記解像度とに応じて、前記画像データの傾きを検出する傾き検出ステップと、
   を有することを特徴とする画像処理方法。
8. 前記傾き検出ステップは、入力された前記解像度から前記第１方向の解像度と前記第２方向の解像度との比率に基づいて前記処理画像データの位置情報を変換し、変換された位置情報から前記画像データの傾きを検出することを特徴とする請求項７に記載の画像処理方法。
9. 前記画像データは前記処理画像データである原稿画像領域とその他の領域とを含み、
   前記傾き検出ステップは、前記処理画像データである前記原稿画像領域の位置情報を変換し、変換された位置情報から前記原稿画像領域の傾きを検出することを特徴とする請求項７または８に記載の画像処理方法。
10. 前記位置情報は、前記原稿画像領域とその他の領域との境界の位置情報であることを特徴とする請求項９に記載の画像処理方法。
11. 前記位置情報は、前記原稿画像領域内の文字列の位置、または罫線の位置情報であることを特徴とする請求項９に記載の画像処理方法。
12. 前記傾き検出ステップは、複数の前記位置情報を変換し、変換された位置情報夫々から取得された前記画像データの傾きの平均値、中央値、又は確からしい値を、前記画像データの傾きとして検出することを特徴とする請求項７乃至１１に記載の画像処理方法。
13. コンピュータを、
    所定の画像データに基づく、第１方向と、該第１方向と異なる第２方向について互いに異なる解像度を有する処理画像データを取得する画像データ取得手段と、
    前記第１方向、および前記第２方向の解像度を入力する解像度入力手段と、
    取得された前記処理画像データと、入力された前記解像度とに応じて、前記画像データの傾きを検出する傾き検出手段と、
    として機能させるプログラム。
14. 前記傾き検出手段は、入力された前記解像度から前記第１方向の解像度と前記第２方向の解像度との比率に基づいて前記処理画像データの位置情報を変換し、変換された位置情報から前記画像データの傾きを検出することを特徴とする請求項１３に記載のプログラム。
15. 前記画像データは、前記処理画像データである原稿画像領域とその他の領域とを含み、
    前記傾き検出手段は、前記処理画像データである前記原稿画像領域の位置情報を変換し、変換された位置情報から前記原稿画像領域の傾きを検出することを特徴とする請求項１３または１４に記載のプログラム。
16. 前記位置情報は、前記原稿画像領域とその他の領域との境界の位置情報であることを特徴とする請求項１５に記載のプログラム。
17. 前記位置情報は、前記原稿画像領域内の文字列の位置、または罫線の位置情報であることを特徴とする請求項１５に記載のプログラム。
18. 前記傾き検出手段は、複数の前記位置情報を変換し、変換された位置情報夫々から取得された前記画像データの傾きの平均値、中央値、又は確からしい値を、前記画像データの傾きとして検出することを特徴とする請求項１３乃至１７に記載のプログラム。

Images