JP2023042893A - 画像処理装置、読取装置、画像形成装置、および特徴量検出方法 - Google Patents

Abstract

【課題】可視の読取画像の画像処理によりスキューを補正するハードウェア構成を用いて、簡易な構成で不可視の読取画像による高精度なスキュー補正を行うことを可能とする。【解決手段】被写体の不可視画像を処理する第１の画像処理デバイスと、被写体の可視画像を処理する第２の画像処理デバイスと、第１の画像処理デバイスおよび第２の画像処理デバイスを制御する制御部と、を有し、第１の画像処理デバイスは、不可視画像から被写体画像のスキューを検出する処理を行うスキュー検出部を有し、第２の画像処理デバイスは、可視画像から被写体画像のスキューを検出する処理を行うスキュー検出部と、第１の画像処理デバイスのスキュー検出部によるスキューの検出結果または第２の画像処理デバイスのスキュー検出部によるスキューの検出結果に応じて被写体画像のスキューを補正する補正部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、読取装置、画像形成装置、および特徴量検出方法に関する。

従来、読取画像から原稿のエッジを検出し、検出したエッジを基に、原稿の傾きと位置を補正する画像補正技術が知られている。

特許文献１には、スキャナで読み取った原稿画像のスキュー（傾きとも言う）を補正する技術が開示されている。特許文献２には、ＲＧＢ可視光で原稿画像を読み取り、原稿面と背景版との境界にできる影を使用してスキューを補正する技術が開示されている。特許文献３には、異なる波長の光源（紫外線領域）を使用する方法が開示されている。

しかしながら、ＲＧＢ３版のような一般的な可視画像の画像処理によりスキューを補正するハードウェア構成に対し、近赤外の不可視画像を追加して高精度なスキュー補正を行うために画像処理デバイス全体を変更すると、非常に大きな工数とコストがかかってしまうという問題がある。

本発明は、上記に鑑みてなされたものであって、可視の読取画像の画像処理によりスキューを補正するハードウェア構成を用いて、簡易な構成で不可視の読取画像による高精度なスキュー補正を行うことが可能な画像処理装置、読取装置、画像形成装置、および特徴量検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一実施形態の画像処理装置は、被写体の不可視画像を処理する第１の画像処理デバイスと、前記被写体の可視画像を処理する第２の画像処理デバイスと、前記第１の画像処理デバイスおよび前記第２の画像処理デバイスを制御する制御部と、を有し、前記第１の画像処理デバイスは、前記不可視画像から被写体画像のスキューを検出する処理を行うスキュー検出部を有し、前記第２の画像処理デバイスは、前記可視画像から被写体画像のスキューを検出する処理を行うスキュー検出部と、前記第１の画像処理デバイスの前記スキュー検出部によるスキューの検出結果または前記第２の画像処理デバイスの前記スキュー検出部によるスキューの検出結果に応じて前記被写体画像のスキューを補正する補正部と、を備えることを特徴とする。

本発明によれば、可視の読取画像の画像処理によりスキューを補正するハードウェア構成を用いて、簡易な構成で不可視の読取画像による高精度なスキュー補正を行うことができるという効果を奏する。

図１は、本実施の形態にかかる読取装置のハードウェアブロックの構成の一例を示す図である。 図２は、第１の画像処理デバイスの出力データ制御部の構成の一例を示す図である。 図３は、レジスタ部の第１の設定方法の説明図である。 図４は、レジスタ部の第２の設定方法の説明図である。 図５は、ＮＩＲスキュー検出部のハードウェアブロックの構成の一例を示す図である。 図６は、メモリリード制御部がメモリから画像データのスキューを補正しながら読み出す際のイメージ図である。 図７は、スキューの検出方法を説明する図である。 図８は、読取装置の動作フローの一例を示す図である。 図９は、第２の画像処理デバイスの動作フローの一例を示す図である。 図１０は、スキュー補正を行う場合のＣＰＵの制御フローの一例を示す図である。 図１１は、画像形成装置の一例の構成を示す図である。 図１２は、画像読取装置の構造を例示的に示す断面図である。 図１３は、画像読取装置を構成する各部の電気的接続を示すブロック図である。 図１４は、画像処理部の機能構成を示すブロック図である。 図１５は、被写体の特徴量の検出にかかる媒質による分光反射特性の違いを示す図である。 図１６は、紙種による可視画像と不可視画像の分光反射特性差の違いを示す図である。 図１７は、特徴量抽出対象の可視成分の選択例を示す図である。 図１８は、背景部を不可視光低反射部とした場合の分光反射特性の例を示す図である。 図１９は、不可視光低反射部を例示的に示す図である。 図２０は、被写体のエッジから得られる情報を示す図である。 図２１は、エッジ検出の手法を例示的に示す図である。 図２２は、エッジを利用した特徴量の例を示す図である。 図２３は、回帰直線式における直線式の選択を示す図である。 図２４は、サイズ検知（横方向）の例を示す図である。 図２５は、第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。 図２６は、エッジのＯＲ処理について説明する図である。 図２７は、可視画像と不可視画像のエッジの出方について説明する図である。 図２８は、エッジの正常検出の判定例を示す図である。 図２９は、エッジのＯＲ処理の失敗例を示す図である。 図３０は、複数の特性が混じったような被写体の一例を示す図である。 図３１は、第３の実施の形態にかかる画像処理部の機能構成を示すブロック図である。 図３２は、画像処理部における処理の流れを示すフローチャートである。 図３３は、被写体の傾きと位置の補正の例を示す図である。 図３４は、不可視画像の用途を示す図である。 図３５は、被写体の傾きと位置の補正および切り出し例を示す図である。 図３６は、傾き補正の一例を示す図である。 図３７は、右端エッジ点の探索を示す図である。 図３８は、画像処理装置の変形例を示す図である。

以下に添付図面を参照して、画像処理装置、読取装置、画像形成装置、および特徴量検出方法の実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本実施の形態にかかる読取装置のハードウェアブロックの構成の一例を示す図である。図１には、読取装置のハードウェアブロックの主な構成として、表面スキャナ３１０と、裏面スキャナ３２０と、第１の画像処理デバイス５００と、第２の画像処理デバイス６００と、セレクタ３３０と、ＣＰＵ（Central Processing Unit）３４０と、メモリ３５０と、コントローラ３６０と、ＣＰＵ３６１と、メモリ３６２とを示している。このうち、表面スキャナ３１０と裏面スキャナ３２０とが「読取手段」に相当する。また、第１の画像処理デバイス５００と、第２の画像処理デバイス６００と、セレクタ３３０と、ＣＰＵ３４０と、メモリ３５０が、「画像処理装置」の構成に相当する。また、ＣＰＵ３４０と、メモリ３５０と、コントローラ３６０と、ＣＰＵ３６１と、メモリ３６２は、読取装置が一般的に備えるハードウェアであり、それらを利用できる。ＣＰＵ３４０は、第１の画像処理デバイス５００と第２の画像処理デバイス６００との双方にアクセスし、第１の画像処理デバイス５００と第２の画像処理デバイス６００との双方の制御が可能である。メモリ３５０は、第２の画像処理デバイス６００の画像処理用のメモリである。また、コントローラ３６０と、ＣＰＵ３６１と、メモリ３６２は、読取装置が備えるメイン制御部に相当する。

表面スキャナ３１０は、原稿表面から可視画像と不可視画像を読み取る画像スキャナである。ここで原稿は「被写体」の一例である。表面スキャナ３１０は、光の照射により原稿表面から反射する光を撮像する撮像センサを有する。撮像センサは、一例としてＲ（Ｒｅｄ）と、Ｇ（Ｇｒｅｅｎ）と、Ｂ（Ｂｌｕｅ）のＲＧＢ版読取部３１１と、ＮＩＲ（近赤外線）のＮＩＲ版読取部３１２とを有する。ＲＧＢ版読取部３１１は、原稿表面から可視画像を読み取る。ＮＩＲ版読取部３１２は、原稿表面から不可視画像であるＮＩＲ画像を読み取る。なお、撮像センサの読取部のＲＧＢの領域とＮＩＲの領域は、それぞれ可視と不可視の読取部の一例であり、可視と不可視の波長領域をＲＧＢとＮＩＲに限定するものではない。可視としてＲＧＢのうちの少なくとも一つの波長領域を使用する構成であってもよい。また、不可視は、可視領域以外の波長領域であれば、例えば紫外線等の波長領域を使用する構成であってもよい。以下では、一例として、可視と不可視としてＲＧＢとＮＩＲの波長領域を使用した構成で説明する。

表面スキャナ３１０は、原稿表面に光を照射して、画像の読み取りを行う。照射する光は、この例ではＲＧＢの可視光とＮＩＲの不可視光である。表面スキャナ３１０は、原稿表面に照射した光の反射光の読み取りにより、ＲＧＢ版読取部３１１からＲＧＢ版の各３版（Ｒ版、Ｇ版、Ｂ版）のそれぞれの読取データを出力し、ＮＩＲ版読取部３１２からＮＩＲ版の１版の読取データを出力する。また、裏面スキャナ３２０は、撮像センサがＲＧＢ読取部を備え、原稿裏面の読み取りを行い、ＲＧＢ版の各３版（Ｒ版、Ｇ版、Ｂ版）のそれぞれの読取データを出力する。

本実施の形態にかかる読取装置の画像処理デバイスは、ＣＰＵ３４０と通信可能な第１の画像処理デバイス５００と第２の画像処理デバイス６００とを有し、第１の画像処理デバイス５００によりＮＩＲ版の読取データを使用してスキューを検出するものである。ここでスキューとは、原稿の傾きを示す情報である。

第１の画像処理デバイス５００は、表面スキャナ３１０から４版分（ＲＧＢ＋ＮＩＲ）の読取データを入力するインターフェースを有する構成で、ＮＩＲスキュー検出部５１０と出力データ制御部５２０とを有する。ＮＩＲスキュー検出部５１０は、４版分（ＲＧＢ＋ＮＩＲ）の読取データのうちの、ＮＩＲ版読取部３１２からのＮＩＲ版の読取データを使用して原稿のスキューを検出する。出力データ制御部５２０は、表面スキャナ３１０から４版分（ＲＧＢ＋ＮＩＲ）の読取データを入力し、既存の第２の画像処理デバイス６００の画像版の画像データパスに対応させて画像版データを出力する出力パス制御を行う。

セレクタ３３０は、裏面スキャナ３２０の出力と第１の画像処理デバイス５００からの出力のどちらか一方を選択して第２の画像処理デバイス６００に出力する選択出力部である。例えば、第１の画像処理デバイス５００によるスキュー検出を機能させる場合には、セレクタ３３０は、第１の画像処理デバイス５００からの出力を選択し、第１の画像処理デバイス５００によるスキュー検出を機能させない場合には、セレクタ３３０は、裏面スキャナ３２０の出力を選択する。

第１の画像処理デバイス５００は、パラメータなどの設定によりＮＩＲスキュー検出部５１０によるスキュー検出の機能をＯＮとＯＦＦに切り替えられるように構成してもよいし、あるいは読取装置に対し第１の画像処理デバイス５００の着脱を可能とする構成としてもよい。後者の場合、第１の画像処理デバイス５００が取り外されている状態では、表面スキャナ３１０から４版分（ＲＧＢ＋ＮＩＲ）の読取データが出力されても、ＲＧＢの３版分が、第２の画像処理デバイス６００に転送され、セレクタ３３０により選択された裏面スキャナ３２０のＲＧＢの３版分が、第２の画像処理デバイス６００に転送される。

このため、第２の画像処理デバイス６００には、ＲＧＢ版の各色３版の読取データからスキューの検出と補正とを行う従来構成を適用することが可能になる。第２の画像処理デバイス６００は、第１の画像処理デバイス５００がスキュー検出を行う場合は、ＲＧＢ版の各色３版の読取データに対し、第１の画像処理デバイス５００が検出したスキューの検出結果によりスキューの補正を行う。また、第２の画像処理デバイス６００は、第１の画像処理デバイス５００がスキュー検出を行わない場合は、ＲＧＢ版の読取データから原稿の影などからスキューを検出してスキューの補正を行う。原稿のスキューの補正は、「被写体画像」の補正に相当する。

第１の画像処理デバイス５００は、ＮＩＲスキュー検出部５１０によりスキューを検出すると、ＣＰＵ３４０に検出結果を割込みにより通知する。ＣＰＵ３４０は、検出結果の通知があると、第１の画像処理デバイス５００のＮＩＲスキュー検出部５１０が検出したスキュー結果を取得する。

本実施の形態では、高精度なスキュー補正を行うため、第１の画像処理デバイス５００に不可視のＮＩＲ版の画像によるスキュー検出の機能を設けている。一方、第２の画像処理デバイス６００では、第１の画像処理デバイス５００のスキュー検出結果を利用してスキューの補正を行うように構成している。この構成により、ＮＩＲ版を使用してスキュー検出を行う構成に変更する場合であっても、第２の画像処理デバイス６００として、可視のＲＧＢ版の画像によるスキュー検出と補正を行う既存の画像処理デバイスの構成を活かすことが可能になるため、ＮＩＲ版を用いた高精度なスキュー補正への変更を低コストで実現することが可能になる。

図２は、第１の画像処理デバイス５００の出力データ制御部５２０の構成の一例を示す図である。図２には、第１の画像処理デバイス５００と第２の画像処理デバイス６００のインターフェースとの関係が分かるように第２の画像処理デバイス６００の構成の一部も示している。

第２の画像処理デバイス６００には、一般的な構成として原稿の表と原稿の裏のＲＧＢ版の各３版の読取データを転送するインターフェース部６１０を示している。インターフェース部６１０において、表転送パス６１１が原稿の表のＲＧＢ版を転送するパス（画像データパス）で、裏転送パス６１２が原稿の裏のＲＧＢ版を転送するパス（画像データパス）に相当する。

出力データ制御部５２０は、表のＲＧＢ版の各３版の読取データと、ＮＩＲ版の１版の読取データとを、インターフェース部６１０に出力して各パスを介して後段に転送する。この例では、出力データ制御部５２０は、ＲＧＢ版にＮＩＲ版（図中に示すＸ版）を加えた４版を入力インターフェース部から入力し、４版の読取データを、第２の画像処理デバイス６００のインターフェース部６１０の表転送パス６１１と裏転送パス６１２とに振り分けて出力して転送させる。

具体的に、出力データ制御部５２０は、入力インターフェース部５２１と、画像処理部５２２と、レジスタ部５３０と、出力画像版選択部５４０と、出力インターフェース部５５０とを有する。出力データ制御部５２０は、入力インターフェース部５２１により、ＲＧＢ版＋Ｘ版の４版を入力する。レジスタ部５３０は、ＣＰＵ３４０がパラメータを設定する設定レジスタである。出力画像版選択部５４０は、レジスタ部５３０に設定されたパラメータを基に、インターフェース部６１０の表転送パス６１１と裏転送パスに出力する画像版のパターンを決定し、各画像版の出力先を選択する。画像処理部５２２で所定の画像処理が施されたＲＧＢ版＋Ｘ版の４版の画像処理後のそれぞれのデータが、出力画像版選択部５４０のパスの選択により、第２の画像処理デバイス６００の表転送パス６１１と裏転送パスに出力される。

なお、図２の一例では、表のＲＧＢの３版が表転送パス６１１に出力され、Ｘ版が裏転送パス６１２に出力されているが、これに限定されない。レジスタ部５３０の設定により、裏転送パス６１２のＲＧＢのパスに任意に対しＸ版を転送することができる。例えば、裏転送パス６１２のＲＧＢのパスにすべてＸ版を転送する例を示したが、裏転送パス６１２のＲＧＢのパスに、Ｒ版、Ｘ版、およびＢ版の３版を転送することも可能である。出力する版の切り替えはＣＰＵがソフトウェアによりレジスタを設定することで実施できるので、設定の変更は任意のタイミングで行うことができる。

また、出力データ制御部５２０は、ＮＩＲ版の１版の読取データを、ＮＩＲスキュー検出部５１０にも転送する。ＮＩＲスキュー検出部５１０は、転送されたＮＩＲ版の１版の読取データを使用してスキューを検出する。出力データ制御部５２０による、ＮＩＲスキュー検出部５１０へのＮＩＲ版の１版の読取データの転送は、レジスタ部５３０の設定で行ってもよい。例えばレジスタ部５３０においてスキュー検出機能がＯＮに設定されている場合に、出力データ制御部５２０が、ＮＩＲ版の１版の読取データをＮＩＲスキュー検出部５１０に転送する。レジスタ部５３０においてスキュー検出機能がＯＦＦに設定されている場合には、出力データ制御部５２０は、ＮＩＲ版の１版の読取データをＮＩＲスキュー検出部５１０に転送しない、つまり、ＮＩＲ版によるスキュー検出は行わない。

（レジスタ部の設定方法）
続いて、レジスタ部５３０の設定方法について説明する。まず、図３を参照して、第１の画像処理デバイス５００におけるスキュー検出のＯＮとＯＦＦの設定方法（第１の設定方法）について説明し、続いて図４を参照して、出力画像版選択部５４０がインターフェース部６１０の表転送パス６１１と裏転送パスに出力する画像版のパターンを選択する設定方法（第２の設定方法）について説明する。

図３は、レジスタ部５３０の第１の設定方法の説明図である。レジスタ部５３０の設定により、第１の画像処理デバイス５００が装着されている場合でも、第１の画像処理デバイス５００におけるスキュー検出の画像処理等の動作をスルーさせることができる。図３に示す例では、デフォルト値のthrough=0であれば第１の画像処理デバイス５００におけるスキュー検出の画像処理等の動作を行うが、through=1に設定すると第１の画像処理デバイス５００におけるスキュー検出の画像処理等の動作をスルーして、パスを選択して各版の読取データを第２の画像処理デバイス６００に転送する設定を示している。この他、スキュー検知用のパラメータとして、第１の画像処理デバイス５００でスキュー検知の判断に用いる閾値等も設定される。

図４は、レジスタ部５３０の第２の設定方法の説明図である。出力画像版選択の設定を行うレジスタの設定である。図４に示すdata_sel_uは表面向けの設定、data_sel_dは裏面向けの設定である。例えば、data_sel_u=0x00/data_sel_d=0x01であれば表転送パス６１１に対してＲＧＢ版を出力し、裏転送パスに対してＸ版を出力する。

（ＮＩＲスキュー検出部５１０の構成）
図５は、ＮＩＲスキュー検出部５１０のハードウェアブロックの構成の一例を示す図である。図５に示す例では、ＮＩＲスキュー検出部５１０は、エッジ検出部５１１、スキュー・レジスト検知部５１２、およびスキュー検知結果格納部５１３を有する。

入力された４版の画像のうち、ＮＩＲ版からエッジ検出部５１１が原稿面と背景版との境界を検出し、スキュー・レジスト検知部５１２が原稿の端部を識別してスキューを検知する。その検知結果がスキュー検知結果格納部５１３に格納されると、格納されたタイミングでＣＰＵに対してスキューを検知したことを示す割り込み信号が通知される。ＣＰＵは、割込み信号が通知されると、スキュー検知結果格納部５１３にアクセスし、この検知結果を取得する。

（第２の画像処理デバイス６００の処理）
ここで、図１に示す一例では、第２の画像処理デバイス６００は、第１の画像処理部６０１と、メモリライト制御部６０２と、メモリリード制御部６０３と、第２の画像処理部６０４とを有する。メモリライト制御部６０２と、メモリリード制御部６０３とが、第２の画像処理デバイスのスキュー検出部と補正部とに相当する。

第１の画像処理部６０１は、表裏のスキャナで読み込まれた画像データにそれぞれ画像処理を実施する。例えば、第１の画像処理部６０１は、第１の画像処理デバイス５００がスキュー検出を行わない場合に、ＲＧＢ版の各色３版の読取データから原稿の影によりスキューを検出する。

画像処理後のデータはメモリライト制御部６０２を介してメモリ３５０に格納する。そしてメモリリード制御部６０３が、回転リード機能により、格納されたデータを読み出す際にメモリ３５０上の任意のアドレスから画像データを読み出す。ＣＰＵ３４０でメモリ３５０の読み出しアドレスを制御することで、画像データのスキューの補正をメモリリード制御部６０３で実施する。第１の画像処理デバイス５００がスキュー検出を行う場合は、そのスキュー検出結果に基づき、ＣＰＵ３４０でメモリ３５０の読み出しアドレスを制御することで、画像データのスキューの補正をメモリリード制御部６０３で実施する。

補正後のデータは第２の画像処理部６０４で画像処理を行った後、ＣＰＵ３４０の制御によりメモリ３６２にデータを格納する。

図６は、メモリリード制御部６０３がメモリ３５０から画像データのスキューを補正しながら読み出す際のイメージ図である。前段の画像処理部分で把握したスキューに応じて読み出す際のアドレスを切り替えるポイントを設けて制御する。

図７は、スキューの検出方法を説明する図である。不可視光であるＮＩＲ光は特定の波長にのみ反応する特徴を有する。この特性を活かすために背景板に不可視光であるＮＩＲ光を吸収する部材を用いる。そして反射光を受光して撮像する。これにより、第１の画像処理デバイス５００がスキュー検出を行う場合は、図７が示すように、ＮＩＲ画像Ｇ１から背景板Ｇ１０と原稿Ｇ１１の境界Ｌを安定して厳密に取得することができる。また、第１の画像処理デバイス５００がスキュー検出を行わない場合は、第２の画像処理デバイス６００において、従来方式のスキュー検出方法を採用できる。この例では、ＲＧＢ版の各３版の画像に基づき、原稿と背景板との間にできる影を検出することでスキューを検出する。

（読取装置の動作）
（第１の画像処理デバイス５００でスキュー検知を行う場合）
図８は、読取装置の動作フローの一例を示す図である。まず、読取装置は、スキャナによる読み取り動作の前に第１の画像処理デバイス５００にスキュー検知用のパラメータを設定する（Ｓ１１）。具体的には、第１の画像処理デバイス５００によるスキュー検知のＯＮの設定やスキュー検知の判断に用いる閾値等を設定する。

次に、読取装置は、スキャナを起動して原稿の読取動作を行う（Ｓ１２）。

次に、読取装置は、スキュー検知がＯＮの設定のため、第１の画像処理デバイス５００でＮＩＲ版の読取データを用いてスキュー検知処理を開始する（Ｓ１３）。

また、読取装置は、スキュー検知処理に並行して原稿の読取データを第１の画像処理デバイス５００から第２の画像処理デバイス６００に出力する（Ｓ１４）。なお、キュー検知処理と第２の画像処理デバイス６００への読取データの出力は、処理の順番が入れ替わってもよい。

Ｓ１３の開始後、読取装置は原稿のスキーを検知すると、検知したスキューがＳ１１で設定した閾値以上であるかを判定し（Ｓ１５）、閾値以下（Ｓ１５：Ｎｏ）、つまり原稿の傾きが小さい場合、スキューの補正処理を終了する。

一方、検知したスキューがＳ１１で設定した閾値以上（Ｓ１５：Ｙｅｓ）の場合、つまり原稿の傾きが大きい場合、読取装置は、スキュー検知結果を格納し（Ｓ１６）、スキュー検知割り込みを後段に通知する（Ｓ１７）。

このように、第１の画像処理デバイス５００はスキュー検知処理と並行して必要な画像処理を実施した画像データを後段の第２の画像処理デバイス６００に出力する。これにより、第２の画像処理デバイス６００におけるスキュー補正処理へスムーズに移行することもできるようになっている。

続いて、後段の第２の画像処理デバイス６００の処理について説明する。

図９は、第２の画像処理デバイス６００の動作フローの一例を示す図である。第１の画像処理デバイス５００から画像データを受信した第２の画像処理デバイス６００の動作フローである。

まず、第２の画像処理デバイス６００の第１の画像処理部６０１が、画像データにそれぞれ画像処理を実施する（Ｓ２１）。

次に、画像処理後のデータを第２の画像処理デバイス６００のメモリライト制御部６０２がメモリ３５０に格納する（Ｓ２２）。

次に、第１の画像処理デバイス５００におけるスキュー検知の検知結果に基づき第２の画像処理デバイス６００が画像データのスキュー補正を行うかを判定する（Ｓ２３）。

スキュー補正ありの場合（Ｓ２３：Ｙｅｓ）、第２の画像処理デバイス６００のメモリリード制御部６０３が、メモリ３５０に格納された画像データの読み出しの際に、画像データをスキューが補正されるように読み出す（Ｓ２４）。

スキュー補正を行わない場合（Ｓ２３：Ｎｏ）は、メモリリード制御部６０３が通常通りにメモリ３５０の画像データを読み出す（Ｓ２５）。

次に、メモリリード制御部６０３が読み出した画像データに第２の画像処理部６０４で画像処理を行う（Ｓ２６）。

そして、画像処理後の画像データをコントローラ３６０に出力する（Ｓ２７）。

図１０は、スキュー補正を行う場合のＣＰＵ３４０の制御フローの一例を示す図である。まず、ＣＰＵ３４０は、スキャナ動作開始前に、第１の画像処理デバイス５００にスキュー検知用のパラメータを設定する（Ｓ３１）。具体的に、ＣＰＵ３４０は、第１の画像処理デバイス５００のレジスタ部５３０にスキュー検知のＯＮの設定やスキュー検知の判断に用いる閾値等を設定する。

次に、ＣＰＵ３４０は、スキャナ読み取り転送制御を開始し、メモリ３５０への画像データの転送完了の割り込みを待つ（Ｓ３２）。

その後、ＣＰＵ３４０は、スキュー検知割り込みが通知されたかを判定する（Ｓ３３）。スキャナ読み取り転送制御を開始後、第１の画像処理デバイス５００がスキューを検知するとスキュー検知割り込みが通知される。このため、ＣＰＵ３４０は、この通知を検出した場合（Ｓ３３：Ｙｅｓ）、第１の画像処理デバイス５００のスキュー検知結果格納部５１３からスキュー検知結果を読み出し、スキュー補正用の情報として保持する（Ｓ３４）。

ＣＰＵ３４０は、Ｓ３５の後、あるいは、スキュー検知割り込みの通知を検出しない場合（Ｓ３３：Ｎｏ）も同様に、メモリ３５０へのライト完了割り込みを検知したかを判定する（Ｓ３５）。

ＣＰＵ３４０は、ライト完了割り込みを検知しない場合（Ｓ３５：Ｎｏ）、Ｓ３２からの手順を繰り返す。

ＣＰＵ３４０は、ライト完了割り込みを検知した場合（Ｓ３５：Ｙｅｓ）、スキュー検知結果に応じた読み出しアドレス制御を行う（Ｓ３６）。つまり、スキューの補正制御に移行する。

補正の際は、ＣＰＵ３４０は、第１の画像処理デバイス５００のスキュー検知結果格納部５１３から取得したスキュー検知結果に基づき、メモリ３５０からの読み出しアドレスを制御する。

そして、ＣＰＵ３４０は、メモリ３５０のリード完了割り込みが発生したかを判定し（Ｓ３７）、リード完了割り込みが発生しない場合には（Ｓ３７：Ｎｏ）、Ｓ３６の処理を繰り返し、リード完了割り込みが発生すると（Ｓ３７：Ｙｅｓ）、Ｓ３６の処理を終了する。なお、スキュー補正の度合いについてはスキュー検知結果に基づき、動的に変更可能である。

（画像形成装置への適用例）
図１１は、第１の実施の形態にかかる画像形成装置１００の一例の構成を示す図である。図１１において、画像処理装置である画像形成装置１００は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する一般に複合機と称されるものである。

画像形成装置１００は、読取装置である画像読取装置１０１およびＡＤＦ（Automatic Document Feeder）１０２を有し、その下部に画像形成部１０３を有する。これらは内蔵のコントローラボード（コントローラ３６０（図１参照）と、ＣＰＵ３６１（図１参照）と、メモリ３６２（図１参照）とを含む制御ボード）により制御される。画像形成部１０３については、内部の構成を説明するために、外部カバーを外して内部の構成を示している。

ＡＤＦ１０２は、画像を読み取らせる原稿を読取位置に位置づける原稿支持部である。ＡＤＦ１０２は、載置台に載置した原稿を読取位置に自動搬送する。画像読取装置１０１は、ＡＤＦ１０２により搬送された原稿を所定の読取位置で読み取る。また、画像読取装置１０１は、原稿を載置する原稿支持部であるコンタクトガラスを上面に有し、読取位置であるコンタクトガラス上の原稿を読み取る。具体的に画像読取装置１０１は、内部に光源や、光学系や、ＣＭＯＳイメージセンサなどの固体撮像素子を有するスキャナであり、光源で照明した原稿の反射光を光学系を通じて固体撮像素子で読み取る。

画像形成部１０３は、記録紙を手差しする手差ローラ１０４や、記録紙を供給する記録紙供給ユニット１０７を有する。記録紙供給ユニット１０７は、多段の記録紙給紙カセット１０７ａから記録紙を繰り出す機構を有する。供給された記録紙は、レジストローラ１０８を介して二次転写ベルト１１２に送られる。

二次転写ベルト１１２上を搬送する記録紙は、転写部１１４において中間転写ベルト１１３上のトナー画像が転写される。

また、画像形成部１０３は、光書込装置１０９や、タンデム方式の作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５や、中間転写ベルト１１３や、上記二次転写ベルト１１２などを有する。作像ユニット１０５による作像プロセスにより、光書込装置１０９が書き込んだ画像を中間転写ベルト１１３上にトナー画像として形成する。

具体的に、作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５は、４つの感光体ドラム（Ｙ、Ｍ、Ｃ、Ｋ）を回転可能に有し、各感光体ドラムの周囲に、帯電ローラ、現像器、一次転写ローラ、クリーナーユニット、及び除電器を含む作像要素１０６をそれぞれ備える。各感光体ドラムにおいて作像要素１０６が機能し、感光体ドラム上の画像が各一次転写ローラにより中間転写ベルト１１３上に転写される。

中間転写ベルト１１３は、各感光体ドラムと各一次転写ローラとの間のニップに、駆動ローラと従動ローラとにより張架して配置されている。中間転写ベルト１１３に一次転写されたトナー画像は、中間転写ベルト１１３の走行により、二次転写装置で二次転写ベルト１１２上の記録紙に二次転写される。その記録紙は、二次転写ベルト１１２の走行により、定着装置１１０に搬送され、記録紙上にトナー画像がカラー画像として定着する。その後、記録紙は、機外の排紙トレイへと排出される。なお、両面印刷の場合は、反転機構１１１により記録紙の表裏が反転されて、反転された記録紙が二次転写ベルト１１２上へと送られる。

なお、画像形成部１０３は、上述したような電子写真方式によって画像を形成するものに限るものではなく、インクジェット方式によって画像を形成するものであってもよい。

次に、画像読取装置１０１について説明する。
図１２は、画像読取装置１０１の構造を例示的に示す断面図である。図１２に示すように、画像読取装置１０１は、本体１１内に、固体撮像素子である撮像部２２を備えたセンサ基板１０、レンズユニット８、第１キャリッジ６及び第２キャリッジ７を有する。第１キャリッジ６は、ＬＥＤ（Light Emitting Diode）である光源２及びミラー３を有する。第２キャリッジ７は、ミラー４，５を有する。また、画像読取装置１０１は、上面にコンタクトガラス１を設けている。

光源２は、可視用／不可視用で構成される。ここで、不可視光とは、波長が３８０ｎｍ以下、あるいは７５０ｎｍ以上の光のことを指す。すなわち、光源２は、被写体や背景部１３に対して可視光と不可視光（例えば、近赤外（ＮＩＲ）光）とを照射する照明部である。

また、画像読取装置１０１は、上面に基準白板である背景部１３を設けている。より詳細には、背景部１３は、撮像部２２の撮像範囲において、照明部である光源２とは被写体に対して反対側に設けられる。

画像読取装置１０１は、読取動作において、第１キャリッジ６及び第２キャリッジ７を待機位置（ホームポジション）から副走査方向（Ａ方向）に移動させながら光源２から光を上方に向けて照射する。そして、第１キャリッジ６及び第２キャリッジ７は、被写体である原稿１２からの反射光を、レンズユニット８を介して撮像部２２上に結像させる。

また、画像読取装置１０１は、電源ＯＮ時などには、基準白板１３からの反射光を読取って基準を設定する。即ち、画像読取装置１０１は、第１キャリッジ６を基準白板１３の直下に移動させ、光源２を点灯させて基準白板１３からの反射光を撮像部２２の上に結像させることによりゲイン調整を行う。

撮像部２２は、可視、不可視の波長域を撮像可能である。撮像部２２には、入射光量を電気信号に変換する画素が配置されている。画素は行列状に配置され、各画素から得られる電気信号は、一定時間毎に所定の順序で、後段の信号処理部２２２（図１３参照）へと転送される（画素読出し信号）。各画素上には特定の波長の光のみを透過するカラーフィルタが配置されている。本実施の形態の撮像部２２では、同一のカラーフィルタが配置された画素群から得られる各信号をチャンネルと称する。以下では、可視光を照射して撮像部２２によって撮像された画像を可視画像、近赤外光などの不可視光を照射して撮像部２２によって撮像された画像を不可視画像と呼ぶ。

なお、本実施形態の画像読取装置１０１として縮小光学系の画像読取装置を適用したが、これに限るものではなく、等倍光学系（密着光学系：ＣＩＳ方式）であってもよい。

図１３は、画像読取装置１０１を構成する各部の電気的接続を示すブロック図である。図１３に示すように、画像読取装置１０１は、上述した撮像部２２、光源２に加え、画像処理部２０、制御部２３、光源駆動部２４、を備えている。制御部２３は、撮像部２２、画像処理部２０、光源駆動部２４を制御する。光源駆動部２４は、制御部２３の制御に従い、光源２を駆動する。ここで、画像処理部２０は、主に第１の画像処理デバイス５００（図１参照）と、第２の画像処理デバイス６００（図１参照）とに対応する。制御部２３にＣＰＵ３４０（図１参照）およびメモリ３５０（図１参照）が含まれる。以下では、スキュー検知とスキュー補正の具体的な方法について、理解し易いように画像処理部２０が行う特徴量検出処理として、第１の画像処理デバイス５００（図１参照）と第２の画像処理デバイス６００（図１参照）とを区別せずに説明するが、既に説明したように、ＣＰＵ３４０（図１参照）の制御により第１の画像処理デバイス５００（図１参照）と第２の画像処理デバイス６００（図１参照）とで選択的に行われるものとする。ここでは、説明の繰り返すになるため、省略して説明する。

撮像部２２は、縮小光学系用センサであり、例えばＣＭＯＳイメージセンサなどである。撮像部２２は、画素部２２１、信号処理部２２２などを備える表面スキャナ３１０または裏面スキャナ３２０に相当する。

なお、本実施形態では４ライン構成での撮像部２２を例にして説明するが、４ラインに限定されるものではない。また、画素部２２１より後段の回路構成に関しても、図示する構成に限定されるものではない。

画素部２２１は、画素を構成する画素回路を行列状に複数配置した４ラインの画素群を有する。信号処理部２２２は、画素部２２１から出力された信号を必要に応じて処理を施し、後段に配置される画像処理部２０へと転送する。

画像処理部２０は、画像データの使用目的に合わせた各種の画像処理を実行する。

ここで、図１４は画像処理部２０の機能構成を示すブロック図である。図１４に示すように、画像処理部２０は、特徴量検出部２０１を備える。

特徴量検出部２０１は、撮像部２２で得られた可視画像ないし不可視画像に対して、被写体である原稿１２の特徴量を検出する。

ここで、図１５は被写体の特徴量の検出にかかる媒質による分光反射特性の違いを示す図である。撮像部２２で被写体である原稿１２からの反射光を読み取る場合、一般に背景部１３と被写体である原稿１２とでは分光反射特性が異なる。図１５に示す例では、背景部１３は右下がり、被写体である原稿１２は右上がりになっている。すなわち、可視光と不可視光では、異なった特徴をもつ画像が得られる。そのため、特徴量検出部２０１は、被写体である原稿１２の種類や背景部１３の種類に応じて、検出対象の画像を可視と不可視のいずれかから事前に設定しておく。こうすることにより、特徴量検出部２０１は、狙いの特徴量を取り易くすることができる。

ここで、図１６は紙種による可視画像と不可視画像の分光反射特性差の違いを示す図である。例えば、図１６に示す例によれば、紙種Ａは、可視画像と不可視画像とを比較すると、不可視画像の方が背景部１３と分光反射特性差が大きいことがわかる。そのため、特徴量検出部２０１は、紙種Ａの場合、特徴量検出対象を不可視画像と設定しておくことができる。一方、紙種Ｂは、可視画像と不可視画像とを比較すると、可視画像の方が背景部１３と分光反射特性差が大きいことがわかる。そのため、特徴量検出部２０１は、紙種Ｂの場合、特徴量検出対象を可視画像と設定しておくことができる。

ここで、特徴量抽出対象の可視成分の選択について説明する。

図１７は、特徴量抽出対象の可視成分の選択例を示す図である。実際に照射する光は波長域として広がりを持っているが、図１７に示す図では簡単のため各成分の代表波長を点線で表している。また、例として、不可視光として近赤外光を採用している。

図１７に示すように、近赤外光の成分における被写体である原稿１２に対する背景部１３の反射率（矢印Ｘ）と比較して、最も差があるのはＢ成分である。したがって、特徴量検出部２０１は、このＢ成分を使用することで、被写体である原稿１２と背景部１３の特徴量に差を出すことができる。

すなわち、特徴量検出部２０１は、可視画像の特徴量は、不可視光および可視光に対して、背景部１３と被写体である原稿１２の分光反射特性の差を比較し、可視光のうち最も不可視光との差が大きい成分を含む。一般に、可視画像からは、波長域の広いＧ成分の特徴量を用いることが多い。しかし、図１７に示す例の場合は、可視域と赤外域の特徴量を用いるとき、Ｂ成分と赤外成分では原稿と背景板の分光反射特性差が大きくなるため、エッジ検出がしやすくなる。

なお、特徴量検出部２０１は、可視成分で使用する特徴量としてＢ成分からのみを抽出するものに限るものではなく、例えばＲＧＢ成分のうち最も大きい成分の値など一部を含むものであってもよい。

また、特徴量検出部２０１は、被写体である原稿１２の分光反射特性にバリエーションがある場合は、その中の代表となる被写体である原稿１２から測定したものや、測定結果の平均値をとったものなどで、選択する特徴量抽出対象の可視成分を決めてもよい。

ここで、背景部１３を不可視光低反射部とした場合について説明する。

図１８は、背景部１３を不可視光低反射部とした場合の分光反射特性の例を示す図である。図１８に示すように、背景部１３を、可視光を拡散反射し、不可視光を可視光に比べて低い反射率で反射する不可視光低反射部としてもよい。これにより、可視画像と不可視画像で背景部１３の分光反射率に顕著な差ができ、その結果として被写体である原稿１２と背景部１３の分光反射率の差にも違いができ、特徴量検出部２０１は、より狙いとした特徴量を抽出し易くなる。

ここで、図１９は不可視光低反射部を例示的に示す図である。不可視光低反射部は、背景部１３の全部、または、図１９に示すように、背景部１３の一部やパターンとして設けてもよい。

このように背景部１３が、可視光を拡散反射し、不可視光を可視光に比べて低い反射率で反射する不可視光低反射部を有することにより、可視画像と不可視画像で背景の読み取り値に、より顕著な差を出すことができ、ロバストなエッジ検出を行うことができる。

続いて、特徴量検出部２０１が、被写体である原稿１２のエッジを特徴量として抽出する場合について説明する。

ここで、図２０は被写体のエッジから得られる情報を示す図である。図２０に示すように、エッジとは被写体である原稿１２と背景部１３の境界のことを指す。このようなエッジを検出することで、図２０に示すように、被写体である原稿１２の位置や傾き、サイズ等を認識することができる。そして、被写体である原稿１２の位置や傾きからは、被写体である原稿１２の位置・傾きに応じた画像補正を後段の処理で行うこともできる。

図２１は、エッジ検出の手法を例示的に示す図である。エッジの検出方法としては、図２１（ａ）に示すように、例えば画像全体に一次微分フィルタをかけて、各画素に対して所定の閾値を超えているかどうかで二値化して得る方法が挙げられる。その際、閾値によっては横方向のエッジは縦に数画素連続して出る（逆もまた同様である）。これは主に光学系のＭＴＦ特性により、エッジがぼけるからである。そこで、図２１（ｂ）に示すように、後述の回帰直線式の算出やサイズ検知などのために代表エッジ画素をとるため、例えば連続した画素の中央を選出するような方法がある（図２１（ｂ）に示すａ部分）。

図２２は、エッジを利用した特徴量の例を示す図である。特徴量としては、画像から抽出したエッジそのものでなく、エッジを利用したものであってもよい。例としては、図２２に示すように、抽出したエッジ点群から最小二乗法などを用いて計算した回帰直線式や、エッジ内部の領域（位置の集合）が挙げられる。回帰直線式については、各辺について全エッジ情報から１つの直線式を出す方法もあるが、複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する方法もある。その場合に最終的な直線式を導出する方法としては、傾きが中央値である直線や、各直線式の平均値として得る方法が挙げられる。

図２３は、回帰直線式における直線式の選択を示す図である。複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する処理によって、図２３に示すように、被写体である原稿１２の端が欠損しているなどダメージがある場合でも、正しく被写体である原稿１２の傾きを認識することができる。

以上の処理のように、特徴量検出部２０１が、被写体である原稿１２のエッジを特徴量として抽出することで、被写体である原稿１２の領域を検出することができる。

次に、被写体である原稿１２のサイズ検知について説明する。
ここで、図２４はサイズ検知（横方向）の例を示す図である。図２４に示すように、画像の縦方向の代表位置について、被写体である原稿１２の左辺エッジと右辺エッジの距離を求め、それらの中央値と別途算出した傾き角度から横方向のサイズを算出できる。また、同様にして縦方向のサイズも算出できる。

このようにして検知したサイズ情報は、エラー検知や後述の画像補正処理などに活用することができる。エラー検知については、例えば複合機でスキャンする場合、事前にユーザから設定された原稿サイズと異なるサイズが検知されたら、正しいサイズの原稿をセットすることを知らせる、などが挙げられる。

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体である原稿１２ないし背景部１３の特徴量を検出することにより、可視画像から取れない情報を、不可視画像からも取ることができることにより、原稿の種類によらず、原稿・背景間での安定したエッジ検出が可能となる。

また、撮像部２２は、被写体である原稿１２により反射された、可視光及び不可視光を受光し、可視画像と不可視画像とを撮像することにより、簡素な構成で画像読み取りを行うことができる。

また、不可視光および不可視画像は、赤外光および赤外画像であることにより、簡素な構成で画像を読み取ることができる。

なお、上述した方法に限らず、ＮＩＲ版を第２の画像処理デバイスにも送り、そのままメモリまで転送することで、ＣＰＵの制御によってＮＩＲ版を使った処理を行うようにしてもよい。

第１の実施の形態により、可視の読取画像の画像処理によりスキューを補正するハードウェア構成を用いて、簡易な構成で不可視の読取画像による高精度なスキュー補正を行うことができるという効果を奏する。

（第２の実施の形態）
次に、第２の実施の形態について説明する。
第２の実施の形態は、可視画像・不可視画像の両方から特徴量を抽出しておき、それらを自動的に選択または統合するようにする点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

ここで、図２５は第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。図２５に示すように、画像処理部２０は、特徴量検出部２０１に加えて、特徴量選択・統合部２０２を備える。

特徴量検出部２０１は、前述したように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量を検出する。

特徴量選択・統合部２０２は、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する。

より詳細には、特徴量選択・統合部２０２は、既にで説明した選択処理を自動的に行う。これにより、可視画像または不可視画像単体では狙いの特徴量が抽出できなかった被写体である原稿１２に対しても、それらを組み合わせて利用することで、狙いとする特徴量を得ることが可能になる。

ここで、図２６は特徴量選択・統合部２０２におけるエッジのＯＲ処理について説明する図である。本実施形態の特徴量選択・統合部２０２は、被写体である原稿１２のエッジを特徴量として抽出する際に、エッジのＯＲ処理を実行する。

不可視画像と可視画像において抽出した各エッジに対してＯＲをとることで、一方の画像でエッジがとれない箇所を、もう一方の画像で補完することができる。例えば、図２６に示すように、グラデーション原稿の場合、可視画像では原稿の黒領域のエッジが取りやすく白領域のエッジが取りづらいが、不可視画像では逆になっている。

そこで、特徴量選択・統合部２０２は、可視画像における黒領域のエッジと不可視画像の白領域のエッジを組み合わせることにより、一方の画像だけでは得られなかった原稿全体のエッジを抽出する。

このように、特徴量選択・統合部２０２が、不可視画像のエッジと可視画像のエッジのＯＲ処理によりエッジの統合を行うことにより、可視画像と不可視画像のいずれかでエッジ検出できる箇所があるため、より多くの箇所で被写体である原稿１２と背景部１３間のエッジを検出することができる。

次に、不可視画像のエッジを優先させることについて説明する。
ここで、図２７は可視画像と不可視画像のエッジの出方について説明する図である。図２７（ａ）に示すように、可視画像には被写体である原稿１２の影が背景に写りこむことがあり、影の形状によってはエッジが直線状に抽出できず被写体である原稿１２の傾き検出精度に影響が出やすい。一方、可視画像の影がない箇所は、被写体である原稿１２が白色の場合、エッジ抽出自体ができない可能性も高い。

図２７（ｂ）に示すように、不可視画像では、特に背景部１３を不可視光低反射部としたとき、白色の被写体である原稿１２と背景部１３の間のエッジが抽出しやすくなる。不可視画像でも被写体である原稿１２の影が生じることがあるが、背景部より影の方が暗いため、例えば「暗部→明部」をとるような一次微分フィルタでエッジ検出すれば、影と背景部間のエッジでなく影と原稿間のエッジをとることができる。あるいは、２種の一次微分フィルタで「暗部→明部」と「明部→暗部」の両方のエッジを取るようにする場合でも、背景部１３と近い輝度であれば影と背景部１３間のエッジは抽出せずに済む。そのため、可視画像よりも不可視画像の方が精度よく被写体である原稿１２と背景部１３間のエッジ検出ができる可能性が高く、不可視画像で正常にエッジ検出できなかった場合に限り、可視画像を用いるようにするとよい。

ここで、図２８はエッジの正常検出の判定例を示す図である。「正常に検出」の判断基準としては、図２８に示すように、例えば得られたエッジ点群を直線で回帰した場合に、最小二乗法による誤差が閾値以内であること、直線の傾き角度が閾値以内であること、などで判定する方法が挙げられる。また、前述の複数の直線式から選択・統合する場合は、正常判定された直線式が閾値以上の個数存在すること、が挙げられる。

このように特徴量選択・統合部２０２は、エッジの選択について、不可視画像のエッジが正常に検出できた場合は不可視画像のエッジとし、不可視画像のエッジが正常に検出できなければ可視画像のエッジとする。この場合、不可視画像の方がエッジ検出しやすい可能性が高く、検出精度を高めることができる。

次に、可視画像および不可視画像のいずれでも、正常にエッジが検出できなかった場合について説明する。

図２９は、エッジのＯＲ処理の失敗例を示す図である。可視画像と不可視画像に対してＯＲ処理をすると、狙いでないエッジを抽出してしまう可能性がある。例えば、図２９に示すように、可視画像で被写体である原稿１２の影と背景部１３の間でエッジを抽出してしまった場合、ＯＲ処理をすると被写体である原稿１２の影が残り、原稿の傾きの計算などに影響が出てしまう。しかしながら、前述のようにＯＲ処理によりエッジ検出箇所が多くなるメリットもあるため、特徴量検出部２０１は、可視画像でも不可視画像でも正常にエッジ検出ができなかった場合に限り、ＯＲ処理を行う。

このように特徴量選択・統合部２０２は、不可視画像のエッジも可視画像のエッジも正常に検出できなかった場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする。可視画像と不可視画像では、原稿影などによりエッジの出方が異なることがある。そのため、各々の画像で正常に検出できなかった場合にのみ、ＯＲ処理を行う。

ここで、図３０は複数の特性が混じったような被写体の一例を示す図である。図３０に示すように、例えば複数の特性が混じったような被写体である原稿１２では、被写体である原稿１２の下部を可視画像から抽出し、被写体である原稿１２の上部を不可視画像から抽出することができる。

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体である原稿１２ないし背景部１３の特徴量を検出し、各画像から検出された特徴量を選択ないし統合する。これにより、可視画像／不可視画像の一方から自動的に特徴量を選択、あるいは両方の特徴量を統合することができる。

（第３の実施の形態）
次に、第３の実施の形態について説明する。
第３の実施の形態は、被写体の画像補正を行う画像補正部を備える点が、第１の実施の形態および第２の実施形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態および第２の実施形態と同一部分の説明については省略し、第１の実施の形態および第２の実施形態と異なる箇所について説明する。

ここで、図３１は第３の実施の形態にかかる画像処理部の機能構成を示すブロック図、図３２は画像処理部における処理の流れを示すフローチャートである。図３１に示すように、画像処理部２０は、特徴量検出部２０１および特徴量選択・統合部２０２に加えて、画像補正部２０３を備える。

特徴量検出部２０１は、図３２に示すように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量を検出する（ステップＳ１）。

特徴量選択・統合部２０２は、図３２に示すように、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する（ステップＳ２）。

画像補正部２０３は、図３２に示すように、特徴量選択・統合部２０２における統合結果を用いて、可視画像および不可視画像それぞれに対して画像補正を行う（ステップＳ３）。画像補正の例は、後述する。

ここで、図３３は被写体の傾きと位置の補正の例を示す図である。図３３に示す例は、画像補正部２０３が、特徴量選択・統合部２０２で検出した特徴量によって、被写体である原稿１２の傾きと位置を補正するものである。

被写体である原稿１２の傾きの補正については、画像補正部２０３は、前述したように、被写体である原稿１２の各辺から抽出したエッジ点群を直線で回帰した場合の傾きを求め、それを基に画像全体を回転させる方法を用いる。

被写体である原稿１２の位置の補正については、画像補正部２０３は、被写体である原稿１２の上辺と左辺のエッジ点群の回帰直線の交点位置を求め、その点を原点へ移動する方法を用いる。

ここで、図３４は不可視画像の用途を示す図である。特徴量選択・統合部２０２における統合結果に基づいて画像を補正することで、原稿領域内の絵・文字の見やすさの向上などの効果が得られる。また、不可視成分は、色材によっては可視成分と反射率が大きく異なり、その結果として図３４に示すように色を飛ばすことが可能である。このため、色を飛ばすことを利用して、後段でＯＣＲ処理などを行うことが考えられる。そのため、可視画像だけでなく、不可視画像も補正しておくことでＯＣＲ精度向上に寄与できるメリットがある。

このように、エッジ検出結果を基に被写体である原稿１２の傾き及び位置を補正することにより、被写体である原稿１２を見やすく補正することができる。また、ＯＣＲ精度などを高めることができる可能性がある。

ここで、図３５は被写体の傾きと位置の補正および切り出し例を示す図である。画像補正部２０３は、前述の傾きと位置の補正を組み合わせることにより、図３５に示すように、ジャストサイズで被写体である原稿１２の領域の切り出しを行う。なお、仮に特徴量がうまく検出できず、傾きや位置の補正ができない場合であっても、ジャストサイズにはならないが切り出し自体は可能である。

ここで、図３６は傾き補正の一例を示す図である。傾きの補正ができない例として、画像処理をハードウェアで行う場合、図３６に示すように、処理速度の都合で画像中の連続画素を最小幅以上でまとめて置き換える必要がある。しかしながら、傾きが大きすぎると補正困難となる、という課題がある。その際は、傾き補正はできないが、可能な限り背景部１３の領域を削除したいということがある。

この場合、画像補正部２０３は、例えば、最も右端にあるエッジ点がわかれば、その右側領域は被写体である原稿１２の領域外なので画像から削ってしまう、などの処理を行うようにしても良い。

図３７は、右端エッジ点の探索を示す図である。もしメモリ量の都合で画像の一部領域からのみしかエッジ抽出できない場合でも、縦方向のサイズ情報が原稿搬送時のセンサ情報など他の手段でわかればよい。この場合、図３７に示すように、画像補正部２０３は、当該領域中のエッジ画素から傾き情報も用いて右端エッジ点を予測する。なお、右端に限らず、上端・左端・下端についても同様である。

画像補正部２０３は、被写体である原稿１２の領域の切り出しを行うことで、不要な背景部１３の領域を削除できる。その結果、例えば複合機のような画像形成装置１００においては、ユーザの被写体である原稿１２のサイズ入力の手間の削減、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。

このようにエッジを基に画像から自動で被写体である原稿１２のサイズを検知して切り出すことで、ユーザが原稿サイズ（特に不定形サイズ）を入力する手間を省くことができる。また、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。

このように本実施形態によれば、画像補正部２０３は、可視画像及び不可視画像のうち少なくとも一方を補正することにより、画像の見やすさ向上などを図ることができる。

なお、上記実施の形態では、本発明の画像処理装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。

なお、上記各実施の形態においては、画像処理装置として画像形成装置１００の画像読取装置１０１を適用したが、これに限るものではない。画像処理装置の定義としては、画像として読み取らなくても、図３８（ａ）に示す等倍光学系（密着光学系：ＣＩＳ方式）のラインセンサのように、読み取りレベルが取得できる装置であればよい。図３８（ａ）に示す装置は、ラインセンサあるいは原稿を移動させて、複数ラインの情報を読み取るものである。

さらに画像処理装置としては、図３８（ｂ）に示す紙幣搬送装置、図３８（ｃ）に示す無人搬送車（ＡＧＶ：Automated Guided Vehicle）の白線検知装置などにも適用することができる。

図３８（ｂ）に示す紙幣搬送装置の被写体は紙幣である。紙幣搬送装置で検出された特徴量は、画像自体の補正処理などに用いられる。すなわち、図３８（ｂ）に示す紙幣搬送装置は、エッジ検出により紙幣の傾きを認識し、認識した傾きを用いてスキュー補正を行う。

図３８（ｃ）に示す無人搬送車の白線検知装置の被写体は白線である。無人搬送車の白線検知装置で出された特徴量は、無人搬送車の移動方向の決定などに用いることができる。すなわち、無人搬送車の白線検知装置は、エッジ検出により白線領域の傾きを認識し、認識した傾きを用いて無人搬送車の移動方向を決定する。また、無人搬送車の白線検知装置においては、無人搬送車の位置・向きに応じた移動方向補正を後の処理で行うこともできる。例えば、無人搬送車の例では、既知の白線の太さと異なる太さが検知されたら駆動を停止する、などの処理も実行可能である。

以上、本発明の実施の形態および変形例をいくつか説明したが、本実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施の形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの各実施の形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

３１０ 表面スキャナ
３２０ 裏面スキャナ
３３０ セレクタ
３４０ ＣＰＵ
３５０ メモリ
５００ 第１の画像処理デバイス
５１０ ＮＩＲスキュー検出部
５２０ 出力データ制御部
５２１ 入力インターフェース部
５２２ 画像処理部
５３０ レジスタ部
５４０ 出力画像版選択部
５５０ 出力インターフェース部
６００ 第２の画像処理デバイス
６０１ 第１の画像処理部
６０２ メモリライト制御部
６０３ メモリリード制御部
６０４ 第２の画像処理部

特開２０１４－１７６９７５号公報 特開２０１０－１５４３０５号公報 特開２０２０－５３９３１号公報

Claims (21)

1. 被写体の不可視画像を処理する第１の画像処理デバイスと、
   前記被写体の可視画像を処理する第２の画像処理デバイスと、
   前記第１の画像処理デバイスおよび前記第２の画像処理デバイスを制御する制御部と、
   を有し、
   前記第１の画像処理デバイスは、
   前記不可視画像から被写体画像のスキューを検出する処理を行うスキュー検出部を有し、
   前記第２の画像処理デバイスは、
   前記可視画像から被写体画像のスキューを検出する処理を行うスキュー検出部と、
   前記第１の画像処理デバイスの前記スキュー検出部によるスキューの検出結果または前記第２の画像処理デバイスの前記スキュー検出部によるスキューの検出結果に応じて前記被写体画像のスキューを補正する補正部と、
   を有する画像処理装置。
2. 前記第１の画像処理デバイスは、
   前記制御部から設定された前記スキューの検出を行う設定により前記不可視画像から前記被写体画像のスキューを検出する、
   請求項１に記載の画像処理装置。
3. 前記第１の画像処理デバイスは、
   前記スキューの検出結果を格納する格納部を有し、
   前記制御部は、
   前記第１の画像処理デバイスから前記検出結果の通知を受けると前記格納部からスキュー検出結果を取得し、
   前記第２の画像処理デバイスの補正部は、
   前記スキュー検出結果に基づき、前記可視画像から前記被写体画像のスキューを補正する、
   請求項１または２に記載の画像処理装置。
4. 前記第１の画像処理デバイスは、
   前記被写体の読取手段が出力する前記可視画像および前記不可視画像をそれぞれ入力する入力インターフェース部と、
   前記入力インターフェース部から入力した前記可視画像および前記不可視画像をそれぞれ前記第２の画像処理デバイスの画像データパスに出力する出力インターフェース部と、
   を有し、
   前記出力インターフェース部は、前記可視画像および前記不可視画像にそれぞれ対応する前記画像データパスを選択して出力する出力画像選択部を有する、
   請求項１乃至３のうちの何れか一項に記載の画像処理装置。
5. 前記出力画像選択部は、レジスタ部の設定に基づき前記可視画像および前記不可視画像にそれぞれ対応する前記画像データパスを選択する、
   請求項４に記載の画像処理装置。
6. 前記第１の画像処理デバイスは、
   スキュー検知用のパラメータを設定するレジスタ部を有し、
   前記レジスタ部の設定に基づき、前記第１の画像処理デバイスのスキュー検知の機能をオンおよびオフさせる、
   請求項１乃至５のうちの何れか一項に記載の画像処理装置。
7. 前記レジスタ部を前記スキュー検知の機能をオフする設定に切り替えることにより、前記第１の画像処理デバイスが搭載されたまま前記第１の画像処理デバイス内部の前記スキュー検知の機能をスルーさせる、
   請求項６に記載の画像処理装置。
8. 前記第１の画像処理デバイスの着脱が可能な、請求項１に記載の画像処理装置。
9. 前記可視画像は、Ｒ版とＧ版とＢ版の３版の画像であり、前記不可視画像は、不可視の１版の画像である、
   請求項１乃至８のうちの何れか一項に記載の画像処理装置。
10. 前記第２の画像処理デバイスは、
    前記可視画像をメモリに書き込むメモリライト制御部と、
    前記メモリに書き込まれた前記可視画像を読み出すメモリリード制御部と、
    を有し、
    前記メモリリード制御部は、前記第１の画像処理デバイスから前記スキュー検出結果を取得している場合は、前記メモリに書き込まれている前記可視画像の読み出しの際に、前記スキュー検出結果に基づいて前記被写体画像のスキューを補正しながら読み出しを行う、
    請求項１乃至９のうちの何れか一項に記載の画像処理装置。
11. 前記メモリリード制御部は、回転リードにより、前記被写体画像のスキューを補正しながら前記読み出しを行う、
    請求項１０に記載の画像処理装置。
12. 前記第１の画像処理デバイスおよび前記第２の画像処理デバイスを含む画像処理部を有し、
    前記画像処理部は、前記被写体画像のエッジの統合を、前記不可視画像のエッジと前記可視画像のエッジのＯＲ処理とする、
    請求項１乃至１１のうちの何れか一項に記載の画像処理装置。
13. 前記画像処理部は、前記不可視画像のエッジが正常に検出できた場合は前記不可視画像のエッジとし、前記不可視画像のエッジが正常に検出できない場合は前記可視画像のエッジとする、
    請求項１２に記載の画像処理装置。
14. 前記画像処理部は、前記エッジの統合を、前記不可視画像のエッジも前記可視画像のエッジも正常に検出できなかった場合に、前記不可視画像のエッジと前記可視画像のエッジのＯＲ処理とする、
    請求項１２に記載の画像処理装置。
15. 前記画像処理部は、前記エッジから被写体のサイズを検知する、
    請求項１２乃至１４のうちの何れか一項に記載の画像処理装置。
16. 前記画像処理部は、前記エッジを基に、前記被写体の傾き及び位置を補正する、
    請求項１２乃至１５のうちの何れか一項に記載の画像処理装置。
17. 前記画像処理部は、前記エッジを基に、前記被写体の切り出しを行う、
    請求項１２乃至１６のうちの何れか一項に記載の画像処理装置。
18. 前記画像処理部は、前記可視画像及び前記不可視画像のうち少なくとも一方を補正する、
    請求項１２乃至１７のうちの何れか一項に記載の画像処理装置。
19. 請求項１乃至１８のうちの何れか一項に記載の画像処理装置と、
    不可視光を吸収する背景部と、
    可視光と前記不可視光とを照射して前記背景部を含む前記被写体の前記可視画像および前記不可視画像を読み取る読取部と、
    を有する読取装置。
20. 請求項１乃至１８のうちの何れか一項に記載の画像処理装置と、
    不可視光を吸収する背景部と、
    可視光と前記不可視光とを照射して前記背景部を含む前記被写体の前記可視画像および前記不可視画像を読み取る読取部と、
    前記スキューの補正後の可視画像を基に媒体に画像を形成する画像形成部と、
    を有する画像形成装置。
21. 画像処理装置における特徴量検出方法であって、
    スキューを検知するためのパラメータを設定するステップと、
    スキューを検知した場合に、検知結果を通知するステップと、
    スキュー検知結果を取得するステップと、
    前記スキュー検知結果からスキューを補正するようにメモリのリード制御を行うステップと、
    を含む特徴量検出方法。

Images