JP7155737B2 - 画像処理装置、画像処理システム、プログラムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理システム、プログラムおよび画像処理方法に関する。

近年、文書セキュリティの目的で、原稿に埋め込まれた目に見えない不可視情報を不可視光で読み取ることで、原稿の真贋判定を行う技術が知られている。

また、特許文献１には、センサ用途を想定したものであり、物体検出として可視光、物体や瞳の検知として不可視光（ＮＩＲ光）に感度を持った撮影を行う技術が開示されている。

特許文献２には、監視カメラ用途を想定したものであり、夜間は可視光から不可視光（ＮＩＲ光）までの帯域に感度を持った撮影を行う技術が開示されている。

ところで、可視画像と不可視画像とでは、読取時の画像特性が異なるためにそれぞれの画像で異なる画像補正処理を実施する必要がある。

しかしながら、従来の技術によれば、可視画像と不可視画像の混合画像を画像補正する点については考慮されているが、可視画像と不可視画像とを単独で使用するケースを想定してはおらず、不可視画像と可視画像とのそれぞれを適した画質でユーザに提供することができない、という問題があった。

本発明は、上記に鑑みてなされたものであって、不可視画像を可視画像と同等の画質に復元し、ユーザに画像を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、可視波長領域と不可視波長領域とを読み取る読取部と、読み取った画像を可視画像と不可視画像とに分離する画像分離部と、分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理部と、を有し、前記画像補正処理部は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、ことを特徴とする。

本発明によれば、画像補正処理の前に、可視画像と不可視画像とに分離後、可視画像と不可視画像にそれぞれ異なる画像補正処理を行うことにより、不可視画像を可視画像と同等の画質に復元し、ユーザに画像を提供することができる、という効果を奏する。

図１は、第１の実施の形態にかかる画像処理装置のシステム構成を示すブロック図である。 図２は、読取部のイメージセンサの分光感度特性を示す図である。 図３は、読取部の光源の分光スペクトルを示す図である。 図４は、従来技術の課題を示す図である。 図５は、読取部および画像補正処理部の構成を示すブロック図である。 図６は、画像分離の手法を例示的に示す図である。 図７は、光源の切り替えによる画像分離時の光源の条件を説明する図である。 図８は、画像補正制御部による画像特性を揃える画像補正処理について説明する図である。 図９は、ＭＴＦ特性を用いたＭＴＦ復元強度の決定について説明する図である。 図１０は、読取部および画像補正処理部の構成の変形例を示すブロック図である。 図１１は、読取部および画像補正処理部の構成の変形例を示すブロック図である。 図１２は、第２の実施の形態にかかる画像処理装置の読取部および画像補正処理部の構成を示すブロック図である。 図１３は、フィルタの分光スペクトルを示す図である。 図１４は、第３の実施の形態にかかる画像処理装置の読取部および画像補正処理部の構成を示すブロック図である。 図１５は、第４の実施の形態にかかる画像処理装置の読取部および画像補正処理部の構成を示すブロック図である。 図１６は、第４の実施の形態にかかる画像処理装置における裏写り強度特性を用いた裏写り除去強度の決定について説明する図である。 図１７は、第６の実施の形態にかかる画像処理装置の画像補正処理部の構成を示すブロック図である。 図１８は、画像合成部による余白領域への画像合成処理について説明する図である。 図１９は、余白領域検出による画像合成手法の一例を示す図である。 図２０は、第７の実施の形態にかかる画像処理装置の画像補正処理部の構成を示すブロック図である。 図２１は、画像合成部による画像合成処理について説明する図である。 図２２は、位置指定による画像合成手法の一例を示す図である。

以下に添付図面を参照して、画像処理装置、画像処理システム、プログラムおよび画像処理方法の実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像処理装置１００のシステム構成を示すブロック図である。本実施の形態の画像処理装置１００は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する一般に複合機（ＭＦＰ：Multifunction Peripheral/Printer/Product）と称される画像形成システムである。

図１に示す画像処理装置１００は、画像読取り装置である読取部１、画像補正処理部２、バス制御部３、ＨＤＤ（Hard Disk Drive）４、ＣＰＵ（Central Processing Unit）１３、メモリ５、画像形成部であるプロッタ部７、インタフェース装置であるプロッタＩ／Ｆ６、操作表示部８、インタフェース装置である回線Ｉ／Ｆ９、インタフェース装置である外部Ｉ／Ｆ１１などを備えている。

読取部１は、光源とイメージセンサ（ラインセンサ）とＡ／Ｄコンバータとそれらの駆動回路を具備し、セットされた原稿をスキャンすることで得る原稿の濃淡情報から、ＲＧＢ各８ビットの６００ｄｐｉデジタル画像データを生成し出力する。読取部１は、光源としてキセノンランプやＬＥＤなどを使用する。

画像補正処理部２は、読取り装置１から出力されたデジタル画像データに対し、画像処理を施して出力する。その詳細については、後述する。

バス制御部３は、画像処理装置１００内で必要な画像データや制御コマンド等の各種データのやり取りを行うデータバスの制御装置であり、複数種のバス規格間のブリッジ機能も有している。本実施の形態においては、画像補正処理部２，ＣＰＵ１３とはPCI-Expressバスで接続し、ＨＤＤ４とはＡＴＡバスで接続するものであって、ＡＳＩＣ化されている。

ＨＤＤ４は、パーソナルコンピュータなどにも使用されている電子データを保存するための大型の記憶装置で、画像処理装置１００内では主にデジタル画像データおよびデジタル画像データの付帯情報（例えば、設定モードなど）を蓄積する。また、本実施の形態においては、ＩＤＥを拡張して規格化されているＡＴＡバス接続のハードディスクを使用する。

ＣＰＵ１３は、画像処理装置１００の制御全体を司るマイクロプロセッサである。また、本実施の形態においては、近年普及してきたＣＰＵコア単体に＋αの機能を追加したIntegrated ＣＰＵを使用した。本実施の形態においては、汎用規格Ｉ／Ｆとの接続機能や、クロスバースイッチを使ったこれらバス接続機能がインテグレートされたＣＰＵを使用する。

メモリ５は、複数種のバス規格間をブリッジする際の速度差や、接続された部品自体の処理速度差を吸収するために、一時的にやりとりするデータを記憶する揮発性メモリである。また、メモリ５は、ＣＰＵ１３が画像処理装置１００の制御を行う際に、プログラムや中間処理データを一時的に記憶する揮発性メモリである。本実施の形態においては、規格化されたパーソナルコンピュータに使用されているＤＩＭＭを使用する。

プロッタ部７は、ＣＭＹＫからなるデジタル画像データを受け取ると、レーザビームを用いた電子写真プロセスやインクジェットなどを使って、転写紙に受け取った画像データを出力する。

プロッタＩ／Ｆ６は、ＣＰＵ１３にインテグレートされた汎用規格Ｉ／Ｆ経由で送られてくるＣＭＹＫからなるデジタル画像データを受け取ると、プロッタ部７の専用Ｉ／Ｆに出力するバスブリッジ処理を行う。本実施の形態で使用している汎用規格Ｉ／ＦはPCI-Expressバスである。

操作表示部８は、画像処理装置１００とユーザのインタフェースを行う部分で、タッチパネルを設けたＬＣＤ（液晶表示装置）と各種処理モード設定キーや、置数キー、スタートキーなどを備えたキースイッチ群から構成される。操作表示部８は、装置の各種状態や操作方法をＬＣＤに表示し、ユーザからのタッチパネルやキースイッチ群を介した入力を検知する。本実施の形態では、PCI－Expressバスを介してＣＰＵ６と接続されている。

回線Ｉ／Ｆ９は、PCI-Expressバスと電話回線を接続する装置である。この回線Ｉ／Ｆ９により、画像処理装置１００は、電話回線を介して画像出力装置（画像処理部）であるＦＡＸ１０との各種データの授受を行うことが可能になる。ＦＡＸ１０は、通常のファクシミリで、電話回線を介して画像処理装置１００と画像データの授受を行う。

外部Ｉ／Ｆ１１は、PCI-Expressバスとパーソナルコンピュータなどの画像出力装置（画像処理部）であるＰＣ１２を接続する装置である。この外部Ｉ／Ｆ１１により、画像処理装置１００は、ＰＣ１２と各種データのやり取りを行うことが可能になる。本実施の形態では、その接続Ｉ／Ｆにネットワーク（Ethernet（登録商標））を使用する。すなわち、画像処理装置１００は、外部Ｉ／Ｆ１１を介してネットワークに接続されている。なお、ＰＣ１２は、インストールされたアプリケーションソフトやドライバを介して、画像処理装置１００に対して各種制御や画像データの入出力を行う。

ここで、読取部１における可視画像の読取りについて説明する。

図２は、読取部１のイメージセンサの分光感度特性を示す図である。図２に示すように、読取部１のイメージセンサ（カラーフィルタ）は、ＲＧＢといった可視波長領域だけでなく、おおよそ７５０ｎｍ以上の不可視波長領域に対しても感度を持つことがわかる。

図３は、読取部１の光源の分光スペクトルを示す図である。図３に示す例は、キセノンランプの分光スペクトルを示すものである。図３に示すように、キセノンランプは、微弱ながらＮＩＲ（Near-Infrared：近赤外）領域（不可視波長領域）にも分光強度を持つ。

したがって、読取部１は、上述のような光源およびイメージセンサを含む構成で可視画像の読取りを行った場合、可視光にＮＩＲ光が混ざった画像となる。

次に、上述したような可視画像の読取りにおける課題について説明する。

図４は、従来技術の課題を示す図である。図４は、図４（ａ）に示すエッジ画像を読み取った場合の可視、不可視の各信号成分の強度イメージを示すものである。

読取部１は、基本的に可視画像の画質が求められるためにレンズの設計も可視画像に最適に作られている。また、読取部１による読取の信号レベルは、光源の光量やイメージセンサの分光感度特性にも影響を受けるため波長毎に異なる。ＮＩＲの信号レベルは、可視信号の信号レベルと比較し、ボケが大きいだけではなく、信号レベルにも大きな差がある。

つまり、図４（ｂ）に示すように、可視画像、ＮＩＲ画像、可視画像＋ＮＩＲ画像は、信号の特性がそれぞれ異なることになる。なお、特許文献１（特許第６２４７４２５号公報）では、「可視画像＋ＮＩＲ画像」と「ＮＩＲ画像」が取得されている。また、特許文献２（特開２００７－３２９７４９号公報）では、「可視画像」と「可視画像＋ＮＩＲ画像」が取得されている。

ここで、従来技術のように合成画像に最適処理を実施し、その後分離するケースを図４（ｃ）（ｄ）で例示する。図４（ｃ）では「可視画像＋ＮＩＲ画像」に対し、画像補正（例えばＭＴＦ補正）を実施した信号特性を示す。図４（ｃ）に示すように、「可視画像＋ＮＩＲ画像」に最適なパラメータで画像補正をすることで、所定のＭＴＦ特性を持つ画像に補正することができる。しかしながら、図４（ｄ）に示すように、図４（ｃ）での画像補正後の画像から可視画像およびＮＩＲ画像に分離した場合、分離したＮＩＲ画像は信号レベルが小さいままで、狙ったＭＴＦ特性の信号にはなっていない。すなわち、従来技術のように合成画像に最適処理を実施した場合、分離後の単独の画像では最適な画像補正となっていない、という課題があった。

本実施の形態の画像処理装置１００は、主な用途としている読取部１による原稿の通常スキャンでは可視画像が必要となり、読取部１による真贋判定スキャンでは不可視画像が必要となる。可視画像と不可視画像は異なる情報を持つため、合成画像ではなく、単独の画像で使用したい場合がある。

そこで、本実施の形態の画像処理装置１００においては、可視画像とＮＩＲ画像とを分離し、分離した画像に対し画像補正処理を実施する構成とした。なお、以降の説明において、画像を単独の可視画像と単独の不可視画像に分離することを画像分離と定義する。

なお、本実施の形態においては、不可視画像としてＮＩＲ画像で示しているが、紫外画像などでも良い。

ここで、図５は読取部１および画像補正処理部２の構成を示すブロック図である。図５に示すように、読取部１は、イメージセンサ６１と、画像分離部６２と、光源６３と、を備えている。イメージセンサ６１は、ＣＣＤ光電変換素子である。光源６３は、キセノンランプやＬＥＤである。

画像補正処理部２は、ガンマ補正部６４と、空間フィルタ処理部６５と、色補正部６６と、画像補正制御部６７と、を備えている。

ガンマ補正部６４は、読取部１から受け取ったＲＧＢ画像データのγ特性を予め定められた特性（例えば、１／２.２乗）になるように変換する。

空間フィルタ処理部６５は、読取部１のＭＴＦ特性を補正したり、モアレを防止するために、読取画像の周波数特性を変換したりする。空間フィルタ処理部６５は、このような補正や変換を行うことで、画像をくっきり、また滑らかにする。空間フィルタ処理部６５は、ＲＧＢ画像データの鮮鋭性を予め定めた特性に統一する。例えば、基準チャートをスキャンしたときに、線数毎に対して、設定された画質モード毎に予め定めたＭＴＦ特性値になるように変換する。

色補正部６６は、ｓＲＧＢやｏｐＲＧＢのように、ＲＧＢ画像データの色を予め定めた特性のＲＧＢ画像データ値に統一する。本実施の形態では、例えば色空間が標準色空間になるように変換する。なお、色変換の方式は、既知の３次元ルックアップ方式を採用する。

画像補正制御部６７は、ガンマ補正部６４、空間フィルタ処理部６５、色補正部６６の処理パラメータを設定する。

画像補正制御部６７は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。画像補正制御部６７は、記憶装置に記憶されたプログラムに従ってＣＰＵが動作することにより各種の処理を実行する。

画像補正制御部６７で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、画像補正制御部６７で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、画像補正制御部６７で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、制御装置５００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

なお、画像補正制御部６７は、ＩＣ回路などのハードウェアにより実現されるものであってもよい。

基本的に読取部１のスキャナ特性を補正するガンマ補正部６４と色補正部６６とでの処理によって特性が統一された画像データは、画像処理装置１００内部に蓄積される。画像処理装置１００内部に蓄積された画像データは、その後再利用する場合に、出力先の特性に適する画像信号に変換される。

ここで、画像補正処理前に実施する画像分離について説明する。図５に示すように、読取部１は、光源６３を用いて光を原稿に照射し、その反射光をイメージセンサ６１で読み取る。読み取った信号は画像分離部６２に入力され、可視画像とＮＩＲ画像に分離される。分離された画像データは、画像補正処理部２に入力される。

図５に示すように、画像分離部６２は、ＲＧＢの３チャンネルに加え、ＮＩＲ専用のチャンネルを用意する。このように本実施の形態においては、可視とＮＩＲとで別のチャンネルを使うことで同時に処理を実施できる。

画像補正処理部２は、分離した画像信号を入力し、ガンマ補正部６４、空間フィルタ処理部６５、色補正部６６でそれぞれの処理を実施する。画像補正処理部２は、例えばガンマ補正部６４では地肌飛ばしの補正強度を切り替え、空間フィルタ処理部６５ではＭＴＦ補正の補正強度を切り替え、色補正部６６では色変換係数を切り替える。

また、画像補正処理部２は、画像補正制御部６７による処理パラメータの設定により、画像分離した画像に対し、画像の種類ごとにそれぞれに異なる強度の画像補正を実施する。そのため、可視画像には可視画像に適した画像補正、ＮＩＲ画像にはＮＩＲ画像に適した画像補正を実施することができる。

図６は、画像分離の手法を例示的に示す図である。図６に示すように、画像分離部６２は、光源６３を含み、スキャン時に照射する光源６３を制御することで、画像分離を実施する。すなわち、光源６３は、可視光源と、不可視光源とを有している。

図７は、光源の切り替えによる画像分離時の光源の条件を説明する図である。図７に示すように、図７（ａ）はイメージセンサ６１の分光感度特性を示すものである。図２においても説明したように、読取部１のイメージセンサ６１は、ＲＧＢといった領域だけでなく、おおよそ７５０ｎｍ以上のＮＩＲ領域に対しても感度を持つことがわかる。

図７（ｂ）は可視光源の例を示し、図７（ｃ）は不可視光源の例を示している。光源６３の可視光源は、おおよそ７５０ｎｍ以上のＮＩＲ領域に発光強度を持たない光源である。一方、光源６３の不可視光源は、おおよそ７５０ｎｍ－１０００ｎｍ付近に発光強度を持つ光源である。このような構成により、画像分離部６２は、あるスキャン動作時は光源６３の可視光源で照射し、あるスキャン動作時は光源６３の不可視光源で照射する。これにより、出力として可視画像やＮＩＲ画像を出力することができる。

なお、読取部１は、可視画像とＮＩＲ画像の両方が必要な場合は、可視光源と不可視光源とを切り換えて２回走査することで、可視画像とＮＩＲ画像との両方を取得することができる。また、可視光源と不可視光源とを順次切り換えて点灯させながらスキャンすれば、読取部１は、１スキャンで可視画像と不可視画像を同時に取得する方法も考えられる。

画像補正処理部２は、上述した手法により取得した画像に対し、画像補正処理を実施する。画像補正処理部２は、可視画像か不可視画像であるか、あるいはユーザモードに従い、画像補正制御部６７によって処理パラメータを切り替える制御を行う。これにより、各モード、画像種類に応じて最適な画像補正処理を実施できる。

ここで、画像補正制御部６７による制御について説明する。

図８は、画像補正制御部６７による画像特性を揃える画像補正処理について説明する図である。画像補正制御部６７は、可視画像と不可視画像との画像補正後の画像特性を揃える処理を行う。すなわち、画像補正制御部６７は、可視画像と不可視画像の画像補正後の画像特性を揃えるために、可視画像と不可視画像の画像特性に応じた処理パラメータの設定を行う。このようにして画質を揃えることで、ユーザは可視画像出力と不可視画像出力を同等に扱うことができる。

図８に示すように、画像特性を揃えるために、画像補正制御部６７は、画像特性差分を保持する画像特性差分保持部１２１と、ガンマ補正部６４等に対してパラメータ設定を行うパラメータ設定部１２２と、を備えている。画像補正制御部６７は、画像特性差分保持部１２１に保持された画像特性差分に応じたパラメータ設定を、ガンマ補正部６４、空間フィルタ処理部６５、色補正部６６に実施する。画像補正制御部６７は、可視画像と不可視画像の画像特性の差分を吸収するようにパラメータ設定を行うことで画像処理後の画質を不可視画像と可視画像で近づけることが可能となる。

次に、画像特性差分に応じたパラメータ設定について説明する。本実施の形態においては、可視画像と不可視画像とのＭＴＦ強度差分を用いて、空間フィルタ処理部６５でＭＴＦ復元を行うことで、可視画像と不可視画像のＭＴＦ強度を同等にする。

ここで、図９はＭＴＦ特性を用いたＭＴＦ復元強度の決定について説明する図である。まず、図９（ａ）を参照して可視読取、不可視読取におけるＭＴＦ課題について説明する。

図９（ａ）の（ｉ）は、入力原稿のイメージを示すものである。図９（ａ）の（ｉ）に示されるような黒文字、緑文字、青文字で描かれた原稿に対し、可視読取をした場合のイメージ図を図９（ａ）の（ii）に示す。また、不可視読取をした場合のイメージ図を図９（ａ）の（iii）に示す。黒インクや黒トナーで印字された黒文字は一般的にＮＩＲ成分を吸収する特性を持つ。そのため、図９（ａ）の（iii）に示すように、黒文字の印字の部分は画像に残る。また、通常のスキャナは可視波長域での読み取りがメインのため、可視波長域に最適化して光学設計されている。そのため、図９（ａ）の（iii）に示すように、波長域がずれた不可視画像読取は、レンズの収差の影響で可視画像に比べてピントが合っていない画像となる。

次に、図９（ｂ）を参照して空間フィルタ処置について説明する。空間フィルタ処理は、入力画像に対し、エッジ強調や網点平滑を実施し画質の補正を行う。ここでは、強調によるＭＴＦ補正について説明する。

図９（ｂ）の（iv）は、可視画像と不可視画像のＭＴＦ特性を示すものである。図９（ｂ）の（iv）に示すように、不可視画像は可視画像に比較し、レンズの収差が大きいためにＭＴＦは悪くなる。また、ＭＴＦの劣化は、空間周波数が高いほど大きくなる。なお、ＭＴＦの計測は、一般的な方法で計測が可能である。

図９（ｂ）の（ｖ）は、可視画像と不可視画像のＭＴＦ特性差分を示すものである。図９（ｂ）の（ｖ）に示すように、空間周波数毎にＭＴＦ差分が発生する。

図９（ｂ）の（vi）は、ＭＴＦ特性差分に応じた空間フィルタの周波数特性について示すものである。本実施の形態においては、空間フィルタ処理部６５は、可視画像用に設定された空間フィルタの周波数特性に対し、不可視画像用の空間フィルタはＭＴＦ特性差分に応じた空間フィルタ周波数特性となるようなフィルタ処理を実施する。具体的には、空間フィルタ処理部６５は、可視画像用の空間フィルタの特性に対し、ＭＴＦ特性差分のデータを重畳して生成をすれば良い。また、フィルタサイズによっては生成できるフィルタの自由度が限定されるため、その場合は代表的な空間周波数のみ差分を吸収できるような空間フィルタにしても良い。

これにより、可視画像よりも大きい不可視画像のボケを、ボケ強度の差分だけ補正することで不可視画像を可視画像同等にすることができる。

このように本実施の形態によれば、画像補正処理の前に、可視画像と不可視画像とに分離後、可視画像と不可視画像にそれぞれ異なる画像補正処理を行うことにより、不可視画像を可視画像と同等の画質に復元し、ユーザに画像を提供することができる。

また、本実施の形態によれば、適切な光源を選択するだけでよいので、簡易な構成で、コスト増加を抑えながら、画像分離が実施できる。

また、本実施の形態によれば、不可視画像と可視画像の差分に応じて補正強度を切り替えることで、可視画像と不可視画像の画質を同等にすることができる。

なお、本実施の形態においては、画像分離部６２はＲＧＢの３チャンネルに加えてＮＩＲ専用のチャンネルを用意するようにしたが、これに限るものではない。ここで、図１０は読取部１および画像補正処理部２の構成の変形例を示すブロック図である。図１０に示すように、画像分離部６２は、ＲＧＢと共通のチャンネルを使ってＮＩＲ処理を実行するようにしてもよい。図１０に示す例は、Ｇチャンネルを使ってＮＩＲデータも処理を実施するようにしたものである。なお、ＮＩＲデータを流すチャンネルは、ＲやＢチャンネルでも良い。このように可視と同様のチャンネルを使うことで画像処理回路規模の増大を防ぐことができる。

また、ユーザが選択したモードによる画像補正の制御切り替えを実施するようにしてもよい。ここで、図１１は読取部１および画像補正処理部２の構成の変形例を示すブロック図である。図４においても説明したが、通常スキャンでは可視画像が必要となり、真贋判定スキャンでは不可視画像が必要となるように、ユースケースによって必要な画像が異なる。例えば、図４（ｂ）で説明したように、各信号をピークで規格化しダイナミックレンジを最大にした場合に、可視画像＋ＮＩＲ画像の分離後の信号レベルは、可視のみの画像やＮＩＲのみの画像と異なるために切り替える必要がある。

そこで、図１１に示すように、読取部１は、モード選択部７１を備えている。モード選択部７１は、ユーザが必要な画像を取得できるモードを選択するモード選択機能を有する。モード選択部７１は、ユーザが選択したモードによってイメージセンサ６１で取得される画像を切り替え、また、その画像を画像分離した後に実施する画像補正処理の処理パラメータを切り替える。

例えば、ユーザが可視画像のみ必要な場合（可視スキャンモード）、光源６３の可視光源のみの点灯とし、イメージセンサ６１では可視画像を取得できる。その画像に対し画像分離を実施し、画像補正処理では可視画像にパラメータＡで処理をかける。

また、ユーザが可視画像とＮＩＲ画像を必要な場合（可視／ＮＩＲスキャンモード）、光源６３の可視光源とＮＩＲ光源を点灯し、イメージセンサ６１ではＲＧＢとＮＩＲが含まれた画像を取得できる。その画像に対し画像分離を実施し、画像補正処理では可視画像にパラメータＢで処理をかけ、ＮＩＲ画像にパラメータＢ´で処理をかける。

また、ユーザがＮＩＲ画像を必要な場合（ＮＩＲスキャンモード）、光源６３のＮＩＲ光源を点灯し、イメージセンサ６１ではＮＩＲ画像を取得できる。その画像に対し、画像分離を実施し、画像補正処理ではＮＩＲ画像にパラメータＣ´で処理をかける。

このように画像分離後は同じ可視画像やＮＩＲ画像でも、ユーザが選択した取得モードによって画像補正処理部２の画像補正制御部６７による処理パラメータを変更することができる。

（第２の実施の形態）
次に、第２の実施の形態について説明する。

第２の実施の形態の画像処理装置１００は、光学フィルタ（波長領域カットフィルタ）を用いて画像分離を行うようにした点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

図１２は、第２の実施の形態にかかる画像処理装置１００の読取部１および画像補正処理部２の構成を示すブロック図である。図１２に示すように、画像分離部６２は、光学フィルタ（波長領域カットフィルタ）１０１を有し、画像分離を実施する。光学フィルタ（波長領域カットフィルタ）１０１は、赤外カットフィルタや可視域カットフィルタである。

図１３は、フィルタの分光スペクトルを示す図である。図１３（ａ）は赤外カットフィルタの分光スペクトルを示す。赤外カットフィルタは、おおよそ７５０ｎｍ以上の可視外の画像をカットする特性を示す。可視画像読取に対し、この赤外カットフィルタを用いることで可視領域のみ含む画像を取得することができる。

図１３（ｂ）は可視域カットフィルタの分光スペクトルを示す。可視域カットフィルタは、おおよそ７５０ｎｍ未満の可視の画像をカットする特性を示す。ＮＩＲ画像読取に対し、この可視域カットフィルタを用いることでＮＩＲ領域のみ含む画像を取得することができる。

上述したように、光学フィルタ（領域カットフィルタ）１０１を使用する場合、光源６３は可視光源、ＮＩＲ光源を同時に点灯させれば良い。

このように本実施の形態によれば、モードに応じた光源６３の点灯制御を簡易化できる効果や、１スキャンで画像取得が可能となり、ユーザの拘束時間の減少の効果がある。

（第３の実施の形態）
次に、第３の実施の形態について説明する。

第３の実施の形態の画像処理装置１００は、画像処理によって画像分離を行うようにした点が、第１の実施の形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

図１４は、第３の実施の形態にかかる画像処理装置１００の読取部１および画像補正処理部２の構成を示すブロック図である。図１４に示すように、画像処理装置１００の読取部１は、光源６３の可視光源とＮＩＲ光源とを同時点灯させて光を原稿に照射し、その反射光をイメージセンサ６１で読み取る。そして、可視画像と不可視画像を同時に読み取った画像（可視＋ＮＩＲ信号）と、全波長帯を含むように読み取った画像（WHITE信号）とが、画像分離部６２に入力される。

画像分離部６２は、入力された可視＋ＮＩＲ信号とWHITE信号とを用いて、マスキング演算などを実施することでＲＧＢ信号とＮＩＲ信号に分離する処理を行う。

画像補正処理部２は、画像分離部６２で分離した可視画像とＮＩＲ画像に対し、画像補正処理を実施する。

なお、画像分離部６２は、画像補正処理部２の内部に備える構成であってもよい。

このように本実施の形態によれば、光学フィルタ（波長領域カットフィルタ）を使用しないことでコスト増加を抑える効果があり、また光源６３の可視光源とＮＩＲ光源とを同時に点灯し、１スキャンで読み取ることができるのでユーザの拘束時間の減少の効果がある。

（第４の実施の形態）
次に、第４の実施の形態について説明する。

第４の実施の形態の画像処理装置１００は、画像処理によって画像分離を行うようにした点が、第１の実施の形態と異なる。以下、第４の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

図１５は、第４の実施の形態にかかる画像処理装置１００の読取部１および画像補正処理部２の構成を示すブロック図である。図１５に示すように、画像処理装置１００の読取部１は、イメージセンサ６１側に可視域カットフィルタ１０２を備える。可視域カットフィルタは、おおよそ７５０ｎｍ未満の可視の画像をカットする特性を示すものである。ＮＩＲ画像読取に対し、この可視域カットフィルタ１０２を用いることでＮＩＲ領域のみ含む画像を取得することができる。

図１５に示すように、画像処理装置１００の読取部１は、光源６３の可視光源とＮＩＲ光源とを同時点灯させて光を原稿に照射し、その反射光をイメージセンサ６１で読み取る。そして、可視画像と不可視画像を同時に読み取った画像（可視＋ＮＩＲ信号）と、ＮＩＲ画像（ＮＩＲ信号）とが、画像分離部６２に入力される。

画像分離部６２は、入力された可視＋ＮＩＲ信号とＮＩＲ信号とを用いて、マスキング演算などを実施することでＲＧＢ信号とＮＩＲ信号に分離する処理を行う。

画像補正処理部２は、画像分離部６２で分離した可視画像とＮＩＲ画像に対し、画像補正処理を実施する。

なお、画像分離部６２は、画像補正処理部２の内部に備える構成であってもよい。

このように本実施の形態によれば、光源を同時に点灯し、１スキャンで読み取ることができるのでユーザの拘束時間の減少効果がある。

（第５の実施の形態）
次に、第５の実施の形態について説明する。

第５の実施の形態の画像処理装置１００は、裏写り強度特性を用いて裏写り除去強度を決定するようにした点が、第１の実施の形態と異なる。以下、第５の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

画像特性差分に応じたパラメータ設定について説明する。本実施の形態では、可視画像と不可視画像との裏写り強度の差分を用いて、ガンマ補正部６４で裏写り除去を行うことで、可視と不可視の裏写り強度を同等にする。

図１６は、第４の実施の形態にかかる画像処理装置１００における裏写り強度特性を用いた裏写り除去強度の決定について説明する図である。まず、図１６（ａ）を参照して可視読取、不可視読取における裏写り課題について説明する。

図１６（ａ）の（ｉ）は、入力原稿のイメージを示すものである。図１６（ａ）の（ｉ）に示されるように、表面に黒文字で「ＡＢＣＤ」と描かれ、裏面に黒文字で「ＥＦＧＨ」と書かれた原稿に対し、可視読取をした場合のイメージ図を図１６（ａ）の（ii）に示す。また、不可視読取をした場合のイメージ図を図１６（ａ）の（iii）に示す。図１６（ａ）の（iii）に示すように、裏写りに関しては可視読取と比較して、不可視（ＮＩＲ）読取では裏写りが大きくなることがわかっている。

次に、図１６（ｂ）を参照して可視画像と不可視画像の画像特性差を利用したガンマ補正による裏写り除去を説明する。

図１６（ｂ）の（iv）は、一般的に行われるガンマ補正を説明するものである。ガンマ補正では入力画素値に対する出力画素値の１：１の変換テーブルで画素値を変換する処理である。原稿の地肌などを白に飛ばす処理なども実施できる。

図１６（ｂ）の（ｖ）は、対象のスキャナの裏写り特性を取得したものである。裏写り特性は原稿濃度とその濃度を裏面にして読み取った時の読取画素値の関係を示す。取得方法としては例えば表面が白紙で裏面に階調を持ったパッチ原稿を用意し、その原稿の表面を可視読取と不可視読取でスキャンした際の原稿濃度と読取画素値の関係から取得することができる。この可視／不可視裏写り特性から特性差を埋めるようなガンマ補正テーブルを生成すれば良い。

図１６（ｂ）の（vi）は、特性差を利用したガンマ補正を示すものである。本実施の形態においては、ガンマ補正部６４は、まず裏写り特性からベタ濃度の可視／不可視読取画素値（可視：maxrgb，不可視：maxir）を取得する。ガンマ補正テーブルはこのmaxirを入力とした時の出力画素値を、maxrgbを入力とした時の出力画素値に近づけるように不可視画像用ガンマ補正テーブルを調整する。

また、ガンマ補正部６４は、可視画像で地肌飛ばしされる原稿濃度に対する不可視読取の読取画素値を不可視画像用の地肌飛ばし量（thir）とし、不可視画像用ガンマ補正テーブルの地肌飛ばし閾値を調整する。

このように本実施の形態によれば、可視画像に対する不可視画像の地肌飛ばし強度とコントラストが低い部分のガンマが調整され、不可視画像と可視画像の裏写り強度を同等にすることが可能となる。

（第６の実施の形態）
次に、第６の実施の形態について説明する。

第６の実施の形態の画像処理装置１００は、画像補正処理部に画像合成部を保持し、不可視画像を可視画像に合成するようにした点が、第１の実施の形態と異なる。以下、第６の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

図１７は、第６の実施の形態にかかる画像処理装置１００の画像補正処理部２の構成を示すブロック図である。図１７に示すように、画像処理装置１００の画像補正処理部２は、不可視画像を可視画像に合成する画像合成部１５１を備えている。

可視画像に対し、不可視画像は人間の視覚感度がない領域のため、一般的に色情報のないデータとして扱うものである。画像合成部１５１は、画像補正された可視画像と不可視画像を合成する。不可視画像を可視画像に合成することで、ユーザのファイル保存の容量を減らすことができる。また、画像合成後は一般的なＲＧＢ画像として扱うことができるため画像のハンドリングを簡略化できる。

次に、画像合成部１５１における合成処理について詳述する。図１８は、画像合成部１５１による余白領域への画像合成処理について説明する図である。

可視画像と不可視画像とが重なるように合成すると、不可視読取画像が可視画像に影響を与え、ユーザにとって読みにくいものとなってしまう。そこで、画像合成部１５１は、可視画像の余白領域を検知して、その余白領域に不可視読取の画像を移動し合成するようにした。これにより、可視画像に影響を与えない領域に不可視情報を重畳でき、ユーザの読みやすさ向上につながる。また、原稿毎に合成位置を指定する必要がないので、ユーザの手間も少なくてすむ。

図１８に示すように、画像合成部１５１は、余白検出部１８１と、合成処理部１８２とを備えている。余白検出部１８１は、ユーザが余白検知ＯＮを設定した場合に、入力のＲＧＢ画像（可視画像）に対して、余白領域を検出する。余白検出部１８１は、検出した余白検出結果を合成処理部１８２に対して出力する。

合成処理部１８２は、入力されたＮＩＲ画像（不可視画像）から画像領域を抽出し、検知した余白部分に合成処理を実施する。

ここで、図１９は余白領域検出による画像合成手法の一例を示す図である。図１９（ａ）は、入力原稿イメージを示すものである。原稿には、可視画像領域と不可視埋込領域とが存在する。図１９（ａ）では、不可視埋込領域として可視画像「星マーク」に不可視画像「証」を埋め込んでいる。

図１９（ｂ）は、原稿を可視読取した際のイメージを示すものである。可視読取では原稿の可視情報を読み取ることができる。

図１９（ｃ）は、原稿を不可視読取した際のイメージを示すものである。不可視読取では埋め込まれていた「証」の文字を読むことができる。図１９（ｃ）では「証」の文字を含む領域をブロックとして切り出す。

図１９（ｄ）は、可視画像の余白領域に不可視画像を合成したイメージを示すものである。図１９（ｄ）では余白検出部１８１で検出した余白領域の中心に「証」を含むブロックを合成している。なお、合成位置は、余白領域内であれば必ずしも中心である必要はない。また、余白領域が複数ある場合、最大の余白領域に合成したり、最も近い余白領域に合成したりするなど合成位置は限定しない。余白領域が合成画像（「証」を含むブロック）よりも小さい場合は、周辺画像と重なるが余白の中心に合成したり、または余白検知結果を無視して元の位置に合成したりすればよい。

このように本実施の形態によれば、不可視画像を可視画像に合成することで、不可視情報を持った可視画像を生成することができる。また、ユーザの保存ファイル容量を減らすことができる。また、画像ハンドリングを簡略化することができる。また、従来の処理系統で扱えるためハードメリットもある。

また、余白領域を認識し、余白領域に画像合成するので、可視画像に影響を与えない位置に不可視画像情報を合成できる。さらに、ユーザが位置指定する必要がないので、ユーザの手間が省ける。

（第７の実施の形態）
次に、第７の実施の形態について説明する。

第７の実施の形態の画像処理装置１００は、ユーザのカラー選択に応じて、合成する時の不可視画像の色を決定するようにした点が、第６の実施の形態と異なる。以下、第７の実施の形態の説明では、第１の実施の形態ないし第６の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第６の実施の形態と異なる箇所について説明する。

図２０は、第７の実施の形態にかかる画像処理装置１００の画像補正処理部２の構成を示すブロック図である。図２０に示すように、画像合成部１５１に対して、ユーザによるカラー選択の情報が入力される。画像合成部１５１は、ＮＩＲ画像（不可視画像）をユーザにより選択された色にして合成する。このようにユーザの求める任意の色でＮＩＲ画像（不可視画像）をＲＧＢ画像（可視画像）に合成することで、合成画像に対して原稿の可視情報と不可視情報の箇所を分別しやすいようにすることができる。

次に、画像合成部１５１における合成処理について詳述する。図２１は、画像合成部１５１による画像合成処理について説明する図である。

図２１に示すように、画像合成部１５１は、合成位置決定部１７１と、合成処理部１８２とを備えている。ユーザは、画像合成位置を指定したい場合、合成位置設定情報を入力する。合成位置決定部１７１は、合成位置座標を決定し、位置情報を合成処理部１８２に出力する。

合成処理部１８２は、入力されたＮＩＲ画像（不可視画像）から画像領域を抽出し、位置情報を元に合成処理を実施する。

ここで、図２２は位置指定による画像合成手法の一例を示す図である。図２２（ａ）は、入力原稿イメージを示すものである。原稿には、可視画像領域と不可視埋込領域とが存在する。図２２（ａ）では、不可視埋込領域として可視画像「星マーク」に不可視画像「証」を埋め込んでいる。

図２２（ｂ）は、原稿を可視読取した際のイメージを示すものである。可視読取では原稿の可視情報を読み取ることができる。

図２２（ｃ）は、原稿を不可視読取した際のイメージを示すものである。不可視読取では埋め込まれていた「証」の文字を読むことができる。図２２（ｃ）では「証」の文字を含む領域をブロックとして切り出す。

図２２（ｄ）は、ユーザが指定した位置に合成する方法を示す。ユーザが位置指定を行わない場合は、原稿と同位置で画像が実施され、可視画像と不可視画像が同位置に合成される。この場合、不可視画像が可視画像に重なることで、ユーザは不可視読取画像を読みにくい問題がある。そこで、本実施の形態においては、ユーザが予め不可視画像を合成する領域を設定することで、任意の位置（図２２（ｄ）ではＸ,Ｙの位置）に移動することができる。これによりユーザの不可視情報の読みやすさ向上につながる。

このように本実施の形態によれば、ユーザが任意の色で割り当てることができ、原稿の可視情報と不可視情報を分別しやすくなる。

また、ユーザが任意の位置に不可視画像を合成することができるので、不可視画像を読みやすい位置に移動させることができる。

なお、上記各実施の形態では、本発明の画像処理装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像処理装置であればいずれにも適用することができる。

さらに、上記各実施の形態では、本発明の画像処理装置を、複合機に適用した例を挙げて説明したが、これに限るものではなく、例えばＦＡ分野における検品などの様々な分野のアプリケーションに応用が可能である。

また、本発明の画像処理装置は、紙幣の判別、偽造防止を目的として、紙幣読取装置にも適用可能である。さらに、本発明の画像処理装置は、可視画像、不可視画像を読み取り、次工程で何らかの処理を行う装置に適用可能である。

１ 読取部
２ 画像補正処理部
７ 画像形成部
６２ 画像分離部
７１ モード選択部
１００ 画像処理装置、画像形成システム
１５１ 画像合成部

特許第６２４７４２５号公報 特開２００７－３２９７４９号公報

Claims (15)

1. 可視波長領域と不可視波長領域とを読み取る読取部と、
   読み取った画像を可視画像と不可視画像とに分離する画像分離部と、
   分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理部と、
   を有し、
   前記画像補正処理部は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、
   ことを特徴とする画像処理装置。
2. 必要な画像を取得できるモードを選択するモード選択部を更に備え、
   前記画像補正処理部は、分離した前記可視画像と前記不可視画像とに対し、前記モード選択部で選択されたモードによって画像補正処理を切り替える、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像分離部は、可視光源と不可視光源との切り替えを実施する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像補正処理部は、前記可視画像と前記不可視画像との画像特性の差分を保持し、当該差分に応じたパラメータで処理を実施する、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像補正処理部は、前記可視画像と前記不可視画像とのＭＴＦ強度差分に応じた復元強度を持つパラメータで空間フィルタ処理を実施する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像分離部は、可視外の画像をカットする波長領域カットフィルタを用いる、
   ことを特徴とする請求項１ないし５の何れか一項に記載の画像処理装置。
7. 前記画像分離部は、画像処理によって画像分離を行う、
   ことを特徴とする請求項１ないし５の何れか一項に記載の画像処理装置。
8. 前記画像補正処理部は、前記可視画像と前記不可視画像との裏写り強度差分に応じた復元強度を持つパラメータでガンマ処理を実施する、
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記画像補正処理部は、画像補正した前記不可視画像を、画像補正した前記可視画像に合成する画像合成部を備える、
   ことを特徴とする請求項１ないし８のいずれか一項に記載の画像処理装置。
10. 前記画像合成部は、前記可視画像の余白領域を検出し、当該余白領域に前記不可視画像を合成する、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記画像合成部は、前記不可視画像を任意の色で前記可視画像に合成する、
    ことを特徴とする請求項９に記載の画像処理装置。
12. 前記画像合成部は、前記不可視画像を前記可視画像の任意の位置に合成する、
    ことを特徴とする請求項９に記載の画像処理装置。
13. 請求項１ないし１２の何れか一項に記載の画像処理装置と、
    画像形成部と、
    を備えることを特徴とする画像処理システム。
14. 可視波長領域と不可視波長領域とを読み取る読取部と、読み取った画像を可視画像と不可視画像とに分離する画像分離部と、を備える画像処理装置を制御するコンピュータを、
    分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理手段として機能させ、
    前記画像補正処理手段は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、
    プログラム。
15. 画像処理装置で実行される画像処理方法であって、
    可視波長領域と不可視波長領域とを読み取る読取工程と、
    読み取った画像を可視画像と不可視画像とに分離する画像分離工程と、
    分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理工程と、
    を含み、
    前記画像補正処理工程は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、
    ことを特徴とする画像処理方法。

Images