JP3881455B2

JP3881455B2 - 画像補正装置及び画像補正方法並びに画像補正方法を記録した媒体

Info

Publication number: JP3881455B2
Application number: JP18705898A
Authority: JP
Inventors: 和行名古; 秀明田中; 克彦佐藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-07-02
Filing date: 1998-07-02
Publication date: 2007-02-14
Anticipated expiration: 2018-07-02
Also published as: JP2000022946A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像補正装置及び画像補正方法並びに画像補正方法を記録した媒体に関し、特に、両面印刷した原稿や重ねた原稿を読み取った際に生じる裏写りを除去するものである。
【０００２】
【従来の技術】
現在、ハードウエアおよびソフトウエアの発展にともない、既存の紙メディアに変わる新たな書籍の形態として、電子書籍の発表が活発化してきており、いわゆるパソコン、あるいは携帯端末上で漫画や小説を読むことができるようになっている。
【０００３】
これらの電子書籍は、音声、画像、動画、アニメ等のいわゆるマルチメディア系データに対しても対応可能であるものの、当初から電子書籍を対象として電子データで制作されたものはそのまま利用することができるが、紙に印刷された書籍を電子書籍用に制作加工するには多大な時間と人手がかかるため、既存の書籍をそのままスキャナなどで読み取り、電子化したタイトルも多い。
【０００４】
既存の書籍は通常、紙の両面に印刷されているためこれをスキャナなどで読み取る場合、あるいは頁を重ねた状態でスキャナなどで読み取る場合、裏側の画像が表側に透けて見えてしまう、いわゆる裏写りの問題があった。
【０００５】
従来、裏写りを補正する装置として、特開平６−１４１８５号公報に示される、画像読取装置がある。特開平６−１４１８５号公報記載の画像読取装置は、原稿の裏面や重ねた次頁の原稿が透過して複写されないように画像信号を濃度補正して濃度を下げることにより、低濃度である裏写り部分を除去するものである。
【０００６】
表画像データと裏画像データを用いて裏写りを補正する装置として、特開平６−６２２１６号公報に示される画像形成装置がある。特開平６−６２２１６号公報記載の画像形成装置では、表画像データと裏画像データをＡＮＤ演算し、その出力をヒストグラム計算して平滑化し、その後、閾値処理してこれを表画像データから重なり部分のデータを除いた画像データとを合成することにより、表画像の低濃度部を損なうことなく、裏写りを除去するものである。
【０００７】
また、特開平８−３４０４４７号公報に示される裏写り除去機能付き画像処理装置では、映像信号から裏写り領域と、裏写り領域内の裏写りレベルを検出し、裏写りレベルにしたがって裏写り領域の濃度補正を行うことにより、裏写りを除去するものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、特開平６−１４１８５号公報記載の画像読み取り装置では、画像全体に対して濃度補正をかけるため、ハーフトーン部分が白く飛んでしまったり、文字が掠れたりといった問題がある。
【０００９】
特開平６−６２２１６号公報記載の画像形成装置では、ハーフトーン部分が裏写りしていた場合など、完全に裏写りを除去できない場合があった。また、表画像と裏画像の位置関係があらかじめ分かっている必要があるが、自動紙送りをしていた場合でも必ずしも同じ場所で画像を取り込めるとは限らないため、画像が所定の位置とずれていた場合には完全に裏写りを除去できないといった問題がある。
【００１０】
特開平８−３４０４４７号公報記載の裏写り除去機能付き画像処理装置では、裏写りがあると判定する領域が、非文字画素が連続している領域、非絵柄画素が連続している領域、所定濃度以下の画素が連続している領域、あるいは、所定彩度以下の画素が連続している領域であり、ミクロな範囲で判定しているため、例えば大きな範囲の黒ベタの文字、画像が裏写りしていた場合、裏写りと表側のハーフトーンとの判別ができないといった問題がある。
【００１１】
本発明の目的は上記問題点を解決するため、両面印刷した原稿あるいは頁を重ねた原稿を読み取った際に生じる裏写りを除去する画像補正装置を提供することである。
【００１２】
【課題を解決するための手段】
前記課題を解決するため、本発明の画像補正装置は、原稿の表画像と裏画像を入力する画像入力手段と、
該画像入力手段より得られる表画像又は裏画像の一方の左右を反転させる画像反転手段と、
該画像反転手段により反転された表画像又は裏画像と前記画像入力手段より得られる裏画像又は表画像の位置関係を、表画像と裏画像の高輝度成分のみを抽出し、抽出された画素において、表画像側に設定した基準領域と、裏画像側に設定した基準領域よりも大きな比較領域とを比較し、画素値の差分からずれ量を求めるブロックマッチングを行うことによって検出する位置関係検出手段と、
該位置関係検出手段の出力より表画像と裏画像の位置関係から表画像および裏画像間の対応する画素を決定し、入力された表画像と裏画像および実際に印刷された表画像と裏画像それぞれの画素値の間に成立する所定の関係式によって、前記実際に印刷された表画像と裏画像それぞれの画素値を求めて、前記入力された表画像および裏画像から裏写りを除去する画像補正手段と、
該画像補正手段より得られる補正処理した画像を出力する画像出力手段とを備えることを特徴とする。この特徴により、裏写りしている裏画像を表画像から選択的に除去することができるので、表画像の品位を低下させずに出力することができ、掠れを生じることがなく、またハーフトーン部分が白く飛んでしまうことがない。
【００１３】
また、前記位置関係検出手段は、表画像と裏画像の高輝度成分のみを抽出し、抽出された画素において、表画像側に設定した基準領域と、裏画像側に設定した基準領域よりも大きな比較領域とを比較し、画素値の差分からずれ量を求めるブロックマッチングを行うことによって、表画像と裏画像の位置関係を検出するので、表画像に影響されて誤った位置を検出することなく、正確に位置検出することができ、特に、２箇所以上のブロックマッチングを行う場合は画像の回転も検出することができる。
【００１７】
本発明の画像補正方法は、コンピュータによって実行する画像補正方法であって、
表画像又は裏画像の一方の左右を反転させるステップと、
前記反転された表画像又は裏画像と裏画像又は表画像の位置関係を、表画像と裏画像の高輝度成分のみを抽出し、抽出された画素において、表画像側に設定した基準領域と、裏画像側に設定した基準領域よりも大きな比較領域とを比較し、画素値の差分からずれ量を求めるブロックマッチングを行うことによって検出するステップと、
前記位置関係検出出力により表画像および裏画像間の対応する画素を決定し、入力された表画像と裏画像および実際に印刷された表画像と裏画像それぞれの画素値の間に成立する所定の関係式によって、前記実際に印刷された表画像と裏画像それぞれの画素値を求めて、前記入力された表画像および裏画像から裏写りを除去する画像補正のステップとからなることを特徴とする。
【００２０】
また、本発明は、表画像又は裏画像の一方の左右を反転させるステップと、
前記反転された表画像又は裏画像と裏画像又は表画像の位置関係を、表画像と裏画像の高輝度成分のみを抽出し、抽出された画素において、表画像側に設定した基準領域と、裏画像側に設定した基準領域よりも大きな比較領域とを比較し、画素値の差分からずれ量を求めるブロックマッチングを行うことによって検出するステップと、
前記位置関係検出出力により表画像および裏画像間の対応する画素を決定し、入力された表画像と裏画像および実際に印刷された表画像と裏画像それぞれの画素値の間に成立する所定の関係式によって、前記実際に印刷された表画像と裏画像それぞれの画素値を求めて、前記入力された表画像および裏画像から裏写りを除去する画像補正のステップとからなる画像補正方法をコンピュータに実行させるためのプログラムを記録した記録媒体であり、コンピュータによって読み取り可能にすることができる。
【００２３】
【発明の実施の形態】
以下、図面を用いて、本発明の実施の形態について詳細に説明する。
【００２４】
（第１の実施の形態）
図１は本発明の第１の実施の形態である画像補正装置１の処理の流れを示すブロック図である。画像入力手段２によって原稿の表画像と裏画像を入力し、第１の画像反転手段３ａによって裏画像だけ左右を反転させ、位置関係検出手段４によって表画像と裏画像の位置関係を検出する。画像補正手段５では表画像と裏画像の位置関係に従い表画像と裏画像の演算処理により、表画像、裏画像それぞれの裏写りを除去し、再び第２の画像反転手段３ｂによって裏画像を左右に反転させ、裏画像の向きを元に戻し、画像出力手段６では補正処理された表画像と裏画像を出力する。この出力は電子書籍に利用することが可能である。
【００２５】
上記画像入力手段２は例えばスキャナ、複写機、カメラなどの画像読み取り装置によって実現される。また、あらかじめ原稿を読み取った画像が格納されたＣＤ−ＲＯＭ、ハードディスク、フロッピーディスク、光磁気ディスクなどのメディアを読み取る装置や、半導体メモリなどであっても良い。
【００２６】
上記画像出力手段６は例えばＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの画像表示装置によって実現される。また、プリンタなどの画像出力装置や複写機における現像装置であっても良いし、ＣＤ−Ｒ、ハードディスク、フロッピーディスク、光磁気ディスクなどのメディアに画像を書き込む装置や半導体メモリなどであっても良い。
【００２７】
上記第１の画像反転手段３ａは裏画像を左右に反転させる。反転させる画像は表画像であってもよい。裏写りする反対面の画像は左右反転しているため、位置関係検出手段４、画像補正手段５で画素の演算処理を行うために、あらかじめ裏画像を反転させておく。補正処理を行った後、正常な向きに直すため、補正処理された裏画像は再び第２の画像反転手段３ｂによって反転処理される。画像反転手段３ａと３ｂは、同一構成であってもよい。
【００２８】
図２を用いて位置関係検出手段４について説明する。位置関係検出手段４は例えばブロックマッチングによって実現される。表画像側に大きさ（ｍ×ｎ）の基準領域Ｆを設定し、裏画像側には基準領域Ｆより大きな大きさ（ｓ×ｔ）の比較領域Ｇを設定する。比較領域Ｇと基準領域Ｆを比較し、基準領域Ｆにもっとも類似している領域を探索する。すなわち、基準領域Ｆの左上端点を（０、０）、比較領域Ｇの任意の左上端点を（ｕ、ｖ）とし、基準領域Ｆの任意点（ｋ、ｌ）と比較領域Ｇの対応点（ｋ＋ｕ、ｌ＋ｖ）の比較を下記式（１）によって行う。
【００２９】
【数１】

【００３０】
式（１）の点ｄ（ｕ、ｖ）がもっとも小さくなる位置にある比較領域Ｇの領域が最も基準領域Ｆに類似していると判断し、基準領域Ｆと比較領域Ｇの一致を検出する。
【００３１】
表画像と裏画像で対応する位置関係が分かれば、表画像に対する裏画像のずれ量（ｏｘ、ｏｙ）は比較領域Ｇと基準領域Ｆの位置の差分から求められる。
【００３２】
本実施の形態ではブロックマッチングは１箇所の基準領域Ｆのみで行い、表画像と裏画像の平行移動量のみを求めたが、基準領域Ｆを２箇所以上設定してブロックマッチングを行うことにより、さらに回転量を検出しても良い。
【００３３】
裏写りは元々描かれている画像に比べて非常に輝度及びコントラストが薄いため、ブロックマッチングを行う際、表画像と裏画像をそのまま比較したのでは、それぞれの面に描かれた画像に強く影響され、誤った位置を検出してしまう恐れがある。そこで本発明ではあらかじめ高輝度成分だけを抽出する高輝度成分抽出手段を位置関係検出手段４の前段に挿入し、高輝度成分だけを用いてブロックマッチングを行うことにより、より正確に位置検出を行うことができる。
【００３４】
図３は高輝度成分を抽出する手段の説明図である。図３において、画素値は輝度を表し、０から２５５の値をとり、０に近付くほど低輝度（黒）、２５５に近付くほど高輝度（白）と判断しているが、０と２５５の関係は反対であっても良いし、値が整数でなくても良いし、０から２５５の範囲でなくても良い。図３の横軸は入力値を示しており、縦軸は出力値を示している。
【００３５】
高輝度成分抽出手段は、入力画像の画素値Ｌｔ以上の画素値だけを０から２５５の値に変換することにより低輝度成分をカットし、高輝度成分のみを抽出している。画素値Ｌｔは裏写り成分の輝度より低い値にあらかじめ設定しておく値であり、原稿用紙の透過率、スキャナの感度特性等により決められる。
【００３６】
次に、下記式（２）から式（５）を用いて画像補正手段５の動作について説明する。ａ、ｂは実際に印刷された表画像、裏画像、Ａ、Ｂは画像入力手段２によって読み取られた裏写りも含んだ表画像と裏画像を表している。説明を簡単にするため、ａ、ｂ、Ａ、Ｂはそれぞれ同じ位置で対応する画素値を表しているが、実際には位置関係検出手段４により、平行移動、回転を考慮して対応する画素が決められる。
【００３７】
【数２】

【００３８】
【数３】

【００３９】
【数４】

【００４０】
【数５】

【００４１】
ｒは画像を印刷した媒体、例えば原稿用紙の透過率を示しており、式（２）を用いてＡ、ａ、ｂに既知の値あるいは測定によって得られた値を代入することにより求めることができる。
【００４２】
式（２）と式（３）をそれぞれ解くと式（４）と式（５）になる。つまり、撮像された表画像Ａと裏画像Ｂを演算処理することにより、裏写りを除去した実際の表画像ａと裏画像ｂを復元することができる。画像補正手段５は上記式（４）及び式（５）の演算を行い、表画像ａと裏画像ｂの出力をする。
【００４３】
以上の各手段は、フロッピー、ＲＯＭ、ＣＤに記録して、コンピュータによって読み取り可能にしてコンピュータを実行することができる。
【００４４】
（第１の参考例）
図４は第１の参考例である画像補正装置２０の処理の流れを示すブロック図である。画像入力手段２によって画像を入力し、エッジ検出手段７でエッジを検出し、画像補正手段８では前記エッジと低輝度領域以外の画素の輝度を上げることにより裏写りを除去し、画像出力手段６では補正処理された画像を出力する。
【００４５】
画像入力手段２及び、画像出力手段６は第１の実施の形態と同一であるため、説明は省略する。
【００４６】
次にエッジ検出手段７について説明する。エッジ検出は、例えば式（６）と式（７）のような２つのエッジ検出フィルタを用い、各フィルタの出力の絶対値の和をエッジ検出結果とする。前記エッジ検出の結果、所定の閾値よりも大きな値になる画素をエッジと判定する。
【００４７】
【数６】

【００４８】
【数７】

【００４９】
次に、図５を用いて画像補正手段８の動作について説明する。画像補正手段８では、入力画素値をあらかじめ分かっている裏写り成分の付近の画素値をｔ２として、画素値ｔ２よりも適当に小さな値の画素値をｔ１とし、画素値ｔ１から画素値ｔ２までの出力画素値との関係（傾き）を変え、画素値ｔ２以上で飽和するように出力画素値を補正することにより、裏写りを補正する。画素値ｔ１、ｔ２は原稿用紙の透過率、スキャナの感度特性等により決められる。この時、画素値ｔ１以下の低輝度部分には影響はないため、黒い部分が白飛びすることを防ぐことができる。また、前記エッジ検出手段７によって検出したエッジ部分では前記の輝度補正を行わないことにより、文字の輪郭にある高輝度部分が保存され、文字が掠れたりすることを防ぐことができる。
【００５０】
以上の各手段は、フロッピー、ＲＯＭ、ＣＤに記録して、コンピュータによって読み取り可能にしてコンピュータを実行することができる。
【００５１】
（第２の参考例）
図６は第２の参考例である画像補正装置３０の処理の流れを示すブロック図である。画像入力手段２によって画像を入力し、エッジ検出手段７でエッジを検出する。画像分割手段９では前記検出されたエッジと低輝度画素で画像を分割し、画像補正手段１０では前記分割された領域のうち、領域内の平均輝度の高いところだけ、輝度を上げることにより裏写りを除去し、画像出力手段６では補正処理された画像を出力する。
【００５２】
画像入力手段２及び、エッジ検出手段７及び、画像出力手段６は第１の実施の形態及び第１の参考例と同一であるため、説明は省略する。
【００５３】
まず、画像分割手段９について説明する。画像分割手段９はエッジ検出手段７によって検出されたエッジ及び所定輝度以上の画素値によって画像領域を分割する。例えば図７に示すように、画像分割手段９により画像を領域１から５に分割する。領域１は文字が記載された囲み領域、領域２は下地領域、領域３は黒いハーフトーン領域、領域４は薄いハーフトーン領域、領域５は濃いハーフトーン領域である。領域１から５には、文字や線などの黒い画素やエッジ部分は含まれていないとする。そして、領域４と同じ輝度の裏写りが領域１及び２にあったとする。ハーフトーンが用いられている領域３から５は平均輝度が低くなっているが、領域１及び２は背景がほとんど白であるため、平均輝度は高くなる。このことから平均輝度が高い領域１、２のみで輝度補正を行うことにより、領域１、２に領域４と同じ輝度の裏写りが存在していても領域４のハーフトーンは保存しつつ領域１及び２の裏写りを除去することができる。このように、画像内の黒い領域では裏写りはあまり目立たないため、裏写りを補正する領域から除いている。
【００５４】
画像補正手段１０では画像分割手段９によって分割された領域の平均輝度を求め、所定値以上の場合にのみ、第１の参考例で説明した図５と同様の方法で高輝度部分だけの輝度を補正することにより、裏写りを除去する。上記したように、平均輝度が高い領域だけ裏写り補正を行うことにより、裏写りと同じ輝度のハーフトーン部分でも、線に囲まれたべたな領域が飛んでしまうのを防ぐことができる。また、あらかじめ、黒い領域とエッジ部分は除いているため、文字が掠れたり、黒い部分が白飛びしてしまうことを防いでいる。
【００５５】
また、画像補正手段１０では高輝度領域の画素値の分布から図５の画素値ｔ２を自動的に求める。図８は画素値ｔ２を求める方法の説明図である。まず、高輝度領域の画素値のヒストグラムをとり、画素値ｔｍｉｎとｔｍａｘを設定する。高輝度領域の画素がすべてｔｍａｘより右に分布していればｔ２＝ｔｍａｘとし、ｔｍｉｎよりも左にも分布していればｔ２＝ｔｍｉｎとする。最小の値をとる画素がｔｍｉｎからｔｍａｘの間にあれば、その値を画素値ｔ２とする。裏写り部分はまわりの領域よりも暗くなるため、その画素値を検出し、白になるように補正することにより、裏写りを除去することができる。
【００５６】
以上の各手段は、フロッピー、ＲＯＭ、ＣＤに記録して、コンピュータによって読み取り可能にしてコンピュータを実行することができる。
【００５７】
【発明の効果】
本発明によれば、表画像と裏画像の位置関係を検出し、表画像と裏画像の画素を位置関係にしたがって演算処理することにより、裏画像と表画像の両方の画像の裏写りを除去することができる。
【００５８】
さらに、本発明によれば、画像の高輝度成分のみを抽出し、画像の高輝度成分でブロックマッチングを行うことにより、より正確に表画像と裏画像の位置関係を求めることができるため、より良く裏写りを除去することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像補正装置のブロック図である。
【図２】位置関係検出手段で行われるブロックマッチングの説明図である。
【図３】高輝度成分の抽出の説明図である。
【図４】第１の参考例における画像補正装置のブロック図である。
【図５】画像補正手段の説明図である。
【図６】第２の参考例における画像補正装置のブロック図である。
【図７】画像分割手段の説明図である。
【図８】画素値ｔ２を求める方法の説明図である。
【符号の説明】
１、２０、３０画像補正装置
２画像入力手段
３画像反転手段
４位置関係検出手段
５画像補正手段
６画像出力手段
７エッジ検出手段
８、１０画像補正手段
Ｆ基準領域
Ｇ比較領域

Claims

原稿の表画像と裏画像を入力する画像入力手段と、
該画像入力手段より得られる表画像又は裏画像の一方の左右を反転させる画像反転手段と、
該画像反転手段により反転された表画像又は裏画像と前記画像入力手段より得られる裏画像又は表画像の位置関係を、表画像と裏画像の高輝度成分のみを抽出し、抽出された画素において、表画像側に設定した基準領域と、裏画像側に設定した基準領域よりも大きな比較領域とを比較し、画素値の差分からずれ量を求めるブロックマッチングを行うことによって検出する位置関係検出手段と、
該位置関係検出手段の出力より表画像と裏画像の位置関係から表画像および裏画像間の対応する画素を決定し、入力された表画像と裏画像および実際に印刷された表画像と裏画像それぞれの画素値の間に成立する所定の関係式によって、前記実際に印刷された表画像と裏画像それぞれの画素値を求めて、前記入力された表画像および裏画像から裏写りを除去する画像補正手段と、
該画像補正手段より得られる補正処理した画像を出力する画像出力手段とを備えることを特徴とする画像補正装置。
コンピュータによって実行する画像補正方法であって、
表画像又は裏画像の一方の左右を反転させるステップと、
前記反転された表画像又は裏画像と裏画像又は表画像の位置関係を、表画像と裏画像の高輝度成分のみを抽出し、抽出された画素において、表画像側に設定した基準領域と、裏画像側に設定した基準領域よりも大きな比較領域とを比較し、画素値の差分からずれ量を求めるブロックマッチングを行うことによって検出するステップと、
前記位置関係検出出力により表画像および裏画像間の対応する画素を決定し、入力された表画像と裏画像および実際に印刷された表画像と裏画像それぞれの画素値の間に成立する所定の関係式によって、前記実際に印刷された表画像と裏画像それぞれの画素値を求めて、前記入力された表画像および裏画像から裏写りを除去する画像補正のステップとからなることを特徴とする画像補正方法。
表画像又は裏画像の一方の左右を反転させるステップと、
前記反転された表画像又は裏画像と裏画像又は表画像の位置関係を、表画像と裏画像の高輝度成分のみを抽出し、抽出された画素において、表画像側に設定した基準領域と、裏画像側に設定した基準領域よりも大きな比較領域とを比較し、画素値の差分からずれ量を求めるブロックマッチングを行うことによって検出するステップと、
前記位置関係検出出力により表画像および裏画像間の対応する画素を決定し、入力された表画像と裏画像および実際に印刷された表画像と裏画像それぞれの画素値の間に成立する所定の関係式によって、前記実際に印刷された表画像と裏画像それぞれの画素値を求めて、前記入力された表画像および裏画像から裏写りを除去する画像補正のステップとからなる画像補正方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。