JP2019121810A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】裏写りの視認性の抑制を可能とする技術を提供する。【解決手段】画像処理装置は、入力画像を表す画像データを入力する画像データ入力部と、入力された画像データを解析して、入力画像の中から被描画体を表す画像領域を検出し、検出された被描画体以外の画像領域である背景画像領域を特定する画像解析部と、被描画体を表す画像領域の画像を維持しつつ、背景画像領域から裏写り画像を抽出し、抽出された裏写り画像の明度を調整して、裏写り画像の視認性を低下させる画像処理部とを備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に裏写りを抑制する技術に関する。

画像形成装置には、両面印刷可能なものも多く、一般に普及している。両面印刷では、印刷用紙の表面と裏面の双方に画像が形成されるので、裏写りの問題が発生することがある。裏写りは、透き通しとも呼ばれ、裏面から表面の印刷画像が透けて見える状態である。このような裏写りは、画像の読取において印刷画像の視認性を悪化させるとともに、画像データの原稿画像に対する忠実性を低下させる要因ともなる。このような問題に対して、特許文献１は、画像データ分析部で入力画像データの地肌の色を決定し、色空間変更部で、決定された地肌の色から所定範囲内にある色の画像データ内の画素を、同一色にマッピングして裏写り低減処理を行う技術を提案している。この技術によれば、画像データの地肌部分の色を維持しつつ裏写り低減処理を実現することができるとしている。

特開２００９−２２５３０８号公報

しかし、従来は、人間が視覚を通じて裏写りを認識する過程には着目していなかった。このため、裏写りの視認性の観点からは、効果的に裏写りを抑制する方法については十分な検討がなされていなかった。

本発明はこのような状況に鑑みてなされたものであり、裏写りの視認性の抑制を可能とする技術を提供することを目的とする。

本発明の画像処理装置は、入力画像を表す画像データを入力する画像データ入力部と、前記入力された画像データを解析して、前記入力画像の中から被描画体を表す画像領域を検出し、前記検出された被描画体以外の画像領域である背景画像領域を特定する画像解析部と、前記被描画体を表す画像領域の画像を維持しつつ、前記背景画像領域から裏写り画像を抽出し、前記抽出された裏写り画像の明度を調整して、前記裏写り画像の視認性を低下させる画像処理部とを備える。

本発明の画像処理方法は、入力画像を表す画像データを入力する画像データ入力工程と、前記入力された画像データを解析して、前記入力画像の中から被描画体を表す画像領域を検出し、前記検出された被描画体以外の画像領域である背景画像領域を特定する画像解析工程と、前記被描画体を表す画像領域の画像を維持しつつ、前記背景画像領域から裏写り画像を抽出し、前記抽出された裏写り画像の明度を調整して、前記裏写り画像の視認性を低下させる画像処理工程とを備える。

本発明は、入力画像を表す画像データを入力する画像データ入力部、前記入力された画像データを解析して、前記入力画像の中から被描画体を表す画像領域を検出し、前記検出された被描画体以外の画像領域である背景画像領域を特定する画像解析部、及び前記被描画体を表す画像領域の画像を維持しつつ、前記背景画像領域から裏写り画像を抽出し、前記抽出された裏写り画像の明度を調整して、前記裏写り画像の視認性を低下させる画像処理部として画像処理装置を機能させる。

本発明によれば、裏写りの視認性の抑制を可能とする技術を提供することができる。

本発明の一実施形態に係る画像形成システム１の機能構成を示すブロックダイアグラムである。 一実施形態に係る裏写り抑制処理の内容を示すフローチャートである。 一実施形態に係る被描画体用画像処理及び背景用画像処理の内容を説明する説明図である。 一実施形態に係る被描画体用画像処理及び背景用画像処理の内容を示すフローチャートである。 一実施形態に係る色相角及び明度指数の各ヒストグラムを示すグラフである。 一実施形態に係る被描画体用画像処理及び背景用画像処理が行われた画像を示す説明図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して以下の順で説明する。

図１は、本発明の一実施形態に係る画像形成システム１の機能構成を示すブロックダイアグラムである。画像形成システム１は、画像形成装置１００と、スマートフォン２００とを備えている。画像形成装置１００は、制御部１１０と、画像読取部１２０と、画像形成部１３０と、記憶部１４０と、通信インターフェース部（通信Ｉ／Ｆとも呼ばれる）１５０と、自動原稿送り装置（ＡＤＦ）１６０と、操作表示部１７０とを備えている。制御部１１０は、画像解析部１１１と、画像処理部１１２とを備えている。スマートフォン２００は、操作表示部２７０を備えている。

画像形成装置１００は、通信インターフェース部１５０を使用して近距離無線通信でスマートフォン２００に接続されている。スマートフォン２００は、制御部１１０が有する画像解析部１１１と、画像処理部１１２として機能することもできる。

本実施例では、近距離無線通信は、ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ２を使用している。ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ２は、出力２．５ｍＷの通信であり、画像形成装置１００とスマートフォン２００との距離が１０ｍ以内程度での通信が可能な近距離無線通信である。

制御部１１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備え、画像形成装置１００全体を制御する。

記憶部１４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部１１０が実行する処理の制御プログラム（画像処理プログラムを含む）やデータを記憶する。記憶部１４０は、さらに、スマートフォン２００にインストール可能な画像処理プログラムとしてのアプリケーションプログラム（単にアプリケーションとも呼ばれる）１４１を格納している。

操作表示部１７０は、タッチパネルとして機能し、様々なメニューを入力画面として表示する。操作表示部１７０は、さらに各種ボタンやスイッチ（図示せず）からユーザーの操作入力を受け付ける。操作表示部２７０は、操作表示部１７０と同様に構成することができる。

図２は、一実施形態に係る裏写り抑制処理の内容を示すフローチャートである。図３は、一実施形態に係る被描画体用画像処理及び背景用画像処理の内容を説明する説明図である。図３（ａ）は、青空の背景ＢＧと、並木道を構成する６本の樹木Ｔ１〜Ｔ６と道路Ｒと、人物Ｈと、裏写りＴとを含む画像Ｐ１を示している。

ステップＳ１０では、制御部１１０は、画像データ取得処理を実行する。画像データ取得処理では、制御部１１０は、入力画像としての画像Ｐ１を表す画像データを取得する。画像データの取得は、たとえば画像読取部１２０での画像読取による画像データの取得及び通信インターフェース部１５０を介してスマートフォン２００からの受信による画像データの取得が可能である。

この例では、画像データは、画素毎にＲＧＢの階調値（０〜２５５）を有するＲＧＢ画像データである。画像読取部１２０及び通信インターフェース部１５０は、画像データ入力部として機能することができる。

ステップＳ２０では、制御部１１０は、裏写り抑制要否判定処理を実行する。裏写り抑制要否判定処理では、制御部１１０は、たとえば操作表示部１７０を介して入力された設定に基づいて裏写り抑制が必要か否かを判定する。

設定内容としては、たとえば裏写りを抑制する裏写り抑制処理モードの設定が可能である。裏写り抑制処理モードには、たとえば原稿用紙の性質としての種類と厚さの入力に応じて画像形成装置１００に裏写りの要否を判断させる処理モードや被写体（たとえば人物、物体及び建造物）の種類毎の処理内容の設定が可能である。具体的には、人物のみを被描画体として設定してもよいし、あるいは人物、物体及び建造物の全てを被描画体として設定してもよい。

ステップＳ３０では、制御部１１０は、裏写り抑制が必要であるか否かを判断する。制御部１１０は、裏写り抑制が必要であると判断した場合には、処理をステップＳ４０に進める。一方、制御部１１０は、裏写り抑制が必要でない、すなわち不要と判断した場合には、処理をステップＳ９０に進めて、画像解析部１１１による画像の解析（ステップＳ４０〜ステップＳ８０）を回避することができる。

ステップＳ４０では、制御部１１０の画像解析部１１１は、オブジェクト抽出処理を実行する。オブジェクト抽出処理では、画像解析部１１１は、たとえば周知のＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）やニューラルネット、ディープラーニングといった各種の方法を使用して人物、物体及び建造物等を検出することができる。

この例では、画像解析部１１１は、人物Ｈと、６本の樹木Ｔ１〜Ｔ６と、道路Ｒとをオブジェクトとして検出し、人物Ｈを含む領域を囲む検出枠ＦＨと、６本の樹木Ｔ１〜Ｔ６を囲む検出枠ＦＴ１〜ＦＴ６と、道路Ｒを含む領域を囲む検出枠ＦＲとを表示している。裏写りＴは、人物等のオブジェクトではないので、オブジェクトとして検出されないことになる。

画像解析部１１１は、たとえば人物Ｈの周囲に検出枠Ｆが重畳されている画像Ｐ２を操作表示部１７０に表示することができる。これにより、ユーザーは、オブジェクトが適切に抽出されていることを確認することができる。

ステップＳ５０では、画像解析部１１１は、オブジェクト判別処理を実行する。オブジェクト判別処理では、画像解析部１１１は、人物Ｈと、６本の樹木Ｔ１〜Ｔ６と、道路Ｒとをそれぞれ、人物領域、物体領域及び建造物領域の画像であると判別する。画像解析部１１１は、他の画像領域を背景画像領域と判別する。裏写りＴは、背景画像領域の一部として取り扱われる。背景画像領域には、原稿の地肌の色が含まれていてもよい。

ステップＳ６０では、画像解析部１１１は、裏写り抑制処理モードの設定内容と判別結果に基づいて、画像領域毎に被描画体であるか否かを判断する。被描画体は、写真では被写体を意味し、画像のユーザーが描画することを意図している画像である。本願発明者は、被描画体が画像情報を多く含み、空間周波数も高く、被描画体内では裏写りが人間の視覚を通じて認知しにくいことを見出した。

このように、ユーザーは、裏写り抑制処理モードで人物領域、物体領域及び建造物領域を被描画体と判断するか否かを自由に設定することができる。初期設定では、人物領域、物体領域及び建造物領域は、いずれも被描画体に設定されている。この例では、初期設定で使用されているものとする。ただし、裏写り抑制処理モードの設定は、必ずしも必要な構成ではない。

画像解析部１１１は、人物領域、物体領域及び建造物領域を被描画体であると判断して、処理をステップＳ７０に進め、背景画像領域を被描画体でないと判断して、処理をステップＳ８０に進める。

図４は、一実施形態に係る被描画体用画像処理（ステップＳ７０）及び背景用画像処理（ステップＳ８０）の内容を示すフローチャートである。この例では、被描画体用画像処理（ステップＳ７０）は、人物Ｈと、６本の樹木Ｔ１〜Ｔ６と、道路Ｒとを表す画像に適用され、背景用画像処理（ステップＳ８０）は、背景画像領域に適用される。

ステップＳ７１では、画像解析部１１１は、被描画体輪郭抽出処理を実行する。被描画体輪郭抽出処理では、画像解析部１１１は、検出枠ＦＨ、検出枠ＦＴ１〜ＦＴ６及び検出枠ＦＲにおいて、それぞれ人物Ｈ、６本の樹木Ｔ１〜Ｔ６及び道路Ｒといったオブジェクトの輪郭を抽出する。輪郭の抽出は、たとえばＲＧＢの各階調値に基づいてソーベルフィルタを使用してもよいし、ＯｐｅｎＣＶやニューラルネット、ディープラーニングといった各種の方法を使用してもよい。

ステップＳ７２では、画像解析部１１１は、検出枠ＦＨ、検出枠ＦＴ１〜ＦＴ６及び検出枠ＦＲにおいて、各オブジェクトの輪郭内の画素であるか否かを判断する。画像解析部１１１は、各オブジェクトの輪郭内の画素であると判断した場合には、処理をステップＳ７３に進め、各オブジェクトの輪郭内の画素でないと判断した場合には、処理をステップＳ８０に進める。

ステップＳ７３では、画像処理部１１２は、入力画素値をそのまま出力画素値として出力する。これにより、画像処理部１１２は、各オブジェクトの輪郭内の画素に対する被描画体用画像処理を完了するので、後述の裏写り抑制処理（背景用画像処理（ステップＳ８０））をスキップすることができる。

これにより、画像処理部１１２は、各オブジェクトの輪郭内の画像を忠実に再現することができる。本願発明者の知見によれば、被描画体が画像情報を多く含み、空間周波数も高く、被描画体内では裏写りが人間の視覚を通じて認知しにくい、よって、仮に物理的な現象としての裏写りが発生していても画像の忠実な再現を優先させる方が好ましいからである。

一方、各オブジェクトの検出枠内であって各オブジェクトの輪郭内の画素でないと判断された画素は、背景画像領域とみなされて、背景用画像処理の適用対象に加えられることになる。

ステップＳ８０では、画像解析部１１１は、背景用画像処理を実行する。背景用画像処理では、画像解析部１１１は、裏写りを抑制するための画像処理である裏写り抑制処理を実行する。画像処理部１１２は、画像データの色空間をＲＧＢ色空間からＬａｂ色空間に変換する。Ｌａｂ値は、明度指数であるＬ値と、クロマティクネス指数であるａ＊ｂ＊とを有している。Ｌ値は、輝度値として算出することもできる（計算式：Ｙ＝（０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ）。

Ｌａｂ色空間は、人間の視覚感覚に近い尺度（単位）とも言える均等色空間である。均等色空間は、人間の視覚系において心理的に同じ色違いに見える色同士の距離（心理的な距離感）を均等にしてある色立体（色空間に相当する）の空間である。これにより、画像解析部１１１は、Ｌａｂ色空間を利用することによって人間の視覚系を想定した解析を簡易に実行することができる。

ステップＳ８１では、画像解析部１１１は、主色特定処理を実行する。主色特定処理では、画像解析部１１１は、背景画像領域の色彩の基調をなす色である主色の色相を色相角で特定する。色相角は、クロマティクネス指数から簡易に算出することができる。

図５は、一実施形態に係る色相角及び明度指数の各ヒストグラムを示すグラフである。図５（ａ）は、色相角のヒストグラムを示している。横軸は、色相角を示し、縦軸は、画素の頻度を示している。画像解析部１１１は、背景画像領域の画素を使用して色相角のヒストグラムを生成する。

色相角のヒストグラムは、青空の背景ＢＧにおける青色近傍の色相角に最大ピークＰＢＧを有し、裏写りＴのピークＰＴも有している。画像解析部１１１は、最大ピークＰＢＧの色相角を主色の色相角の中心として特定することができる。画像解析部１１１は、主色の色相角の中心から予め設定されている範囲の幅を主色の範囲として特定する。

ステップＳ８２では、画像解析部１１１は、最頻明度導出処理を実行する。最頻明度導出処理では、画像解析部１１１は、主色の範囲内の画素値（色）を有する複数の画素を抽出し、明度指数のヒストグラムを生成する。

明度指数のヒストグラムは、青空の背景ＢＧにおける明度指数に最大ピークＰＢＫ（最頻値）を有し、裏写りＴの明度指数のピークＰＴＫも有している。画像解析部１１１は、最大ピークＰＢＫの明度指数を主色の最頻明度として導出することができる。画像解析部１１１は、最大ピークＰＢＫ（最頻値）以外のピークを探索する。この例では、画像解析部１１１は、裏写りＴを構成する複数の画素に起因するピークＰＴＫを検出することができる。

本願発明者は、裏写りが背景画像領域において背景画像よりも明度指数が低い領域で別のピークを形成することを見出した。すなわち、本願発明者は、裏写りＴが背景画像領域において色相が近似する影のような画像として顕在化することを見出した。

ステップＳ８３では、画像処理部１１２は、明度調整処理を実行する。明度調整処理では、画像処理部１１２は、裏写りＴの明度指数のピークＰＴＫの近傍の範囲内においてピークＰＴＫの画素値（色）を有する画素を抽出し、その抽出された画素の明度指数を最大ピークＰＢＫの明度指数に近づける。これにより、画像処理部１１２は、青空の背景ＢＧにおける裏写りＴの視認性を低下させることができる。

図６は、一実施形態に係る被描画体用画像処理及び背景用画像処理が行われた画像を示す説明図である。図６には、被描画体用画像処理及び背景用画像処理によって裏写りＴが消えた画像Ｐ３が示されている。画像Ｐ３では、青空の背景ＢＧにおいては、裏写りＴの明度指数を上昇させて裏写りＴの視認を困難とする一方、２本の樹木Ｔ１，Ｔ２の輪郭内を含むオブジェクト内においては画像を維持して忠実な再現性を維持している。

ステップＳ９０（図２参照）では、制御部１１０は、画像データ出力処理を実行する。画像データ出力処理では、制御部１１０は、画像処理が施された画像データを送信することもできるし、印刷物として出力することができる。

このように、一実施形態に係る画像形成システム１によれば、被描画体が画像情報を多く含み、被描画体内では裏写りが人間の視覚を通じて認知しにくいので、画像の忠実な再現を優先させている。一方、裏写りが視認されやすい画像領域では、裏写りの画像の明度指数を上昇させて裏写りＴの視認を困難とすることができる。これにより、裏写りの視認性の低下を可能とすることができる。

Ｃ．変形例：
本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、周知のＯｐｅｎＣＶやニューラルネット、ディープラーニングといった各種の方法を使用して人物や物体といった被描画体を検出し、被描画体以外の背景領域において裏写りを抑制している。しかしながら、このような方法に限定されず、画像の空間周波数解析やエントロピーを使用しても良い。具体的には、人間の視覚系は、画像の空間周波数が小さい画像領域において裏写りを認知しやすく、エントロピーの小さな滑らかなテクスチャーの画像領域において裏写りを認知しやすいからである。

変形例２：上記実施形態では、裏写りが自動的に抽出され、自動的に画像処理が行われているが、裏写りの検出に応じて、操作表示部に抽出された裏写り抽出領域を強調して表示し、ユーザーに裏写り抑制処理を行うか否かの入力を受け付けるようにしてもよい。こうすれば、ユーザーが画像処理を行うように指示した裏写り検出だけに対して画像処理を行ってユーザーの意図により沿った処理を可能とすることができる。

変形例３：上記各実施形態では、画像形成装置１００の画像読取部１２０でスキャン処理を実行した場合には、画像形成装置１００の操作表示部１７０でユーザー入力が受け付けられる。しかしながら、たとえば画像形成装置１００と無線通信が可能なスマートフォンやタブレットを含むモバイル端末を使用して、設定入力や裏写り抽出領域の強調表示を行うようにしてもよい。

変形例３：上記各実施形態では、本発明は、画像形成装置に適用されているが、画像処理装置や画像読取専用装置に適用することもできる。

１ 画像形成システム
１００ 画像形成装置
２００ スマートフォン
１１０ 制御部
１１１ 画像解析部
１１２ 画像処理部
１２０ 画像読取部
１３０ 画像形成部
１４０ 記憶部
１５０ 通信インターフェース部
１６０ 自動原稿送り装置（ＡＤＦ）
１７０，２７０ 操作表示部

Claims (7)

1. 入力画像を表す画像データを入力する画像データ入力部と、
   前記入力された画像データを解析して、前記入力画像の中から被描画体を表す画像領域を検出し、前記検出された被描画体以外の画像領域である背景画像領域を特定する画像解析部と、
   前記被描画体を表す画像領域の画像を維持しつつ、前記背景画像領域から裏写り画像を抽出し、前記抽出された裏写り画像の明度を調整して、前記裏写り画像の視認性を低下させる画像処理部と、
   を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、さらに、
   前記入力画像が表されている原稿の性質の入力を受け付ける操作表示部を備え、
   前記画像解析部は、前記入力に基づいて裏写りの抑制の要否を判断し、前記裏写りの抑制が不要と判断した場合には、前記画像データの解析を回避する画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記画像解析部は、前記背景画像領域の主色の色相の範囲を特定し、前記背景画像領域内で前記色相の範囲内の画素を有する複数の画素を抽出し、前記複数の画素の明度の最頻値を導出し、
   前記画像処理部は、前記最頻値以外のピークを探索し、前記探索されたピークの画素値を有する画素の明度を前記最頻値の画素値の明度に近づける画像処理を前記調整として実行する画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置であって、さらに、
   前記抽出された裏写り画像を強調して表示し、前記抽出された裏写り画像の抑制を指示するための入力を受け付ける操作表示部を備え、
   前記画像処理部は、前記入力に応じて前記指示された裏写り画像を抑制するための画像処理を前記調整として実行する画像処理装置。
5. 請求項１乃至４のいずれか１項に記載の画像処理装置であって、
   前記画像処理部は、前記画像データの色空間をＬａｂ色空間に変換し、前記Ｌａｂ色空間において、前記背景画像領域から裏写り画像を抽出し、前記抽出された裏写り画像の明度を調整する画像処理装置。
6. 入力画像を表す画像データを入力する画像データ入力工程と、
   前記入力された画像データを解析して、前記入力画像の中から被描画体を表す画像領域を検出し、前記検出された被描画体以外の画像領域である背景画像領域を特定する画像解析工程と、
   前記被描画体を表す画像領域の画像を維持しつつ、前記背景画像領域から裏写り画像を抽出し、前記抽出された裏写り画像の明度を調整して、前記裏写り画像の視認性を低下させる画像処理工程と、
   を備える画像処理方法。
7. 入力画像を表す画像データを入力する画像データ入力部、
   前記入力された画像データを解析して、前記入力画像の中から被描画体を表す画像領域を検出し、前記検出された被描画体以外の画像領域である背景画像領域を特定する画像解析部、及び
   前記被描画体を表す画像領域の画像を維持しつつ、前記背景画像領域から裏写り画像を抽出し、前記抽出された裏写り画像の明度を調整して、前記裏写り画像の視認性を低下させる画像処理部として画像処理装置を機能させる画像処理プログラム。