JP3639742B2 - 画像処理装置及びその方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に画像情報に対して付加情報を多重化する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来より、画像情報中に、画像に関連のある他の情報を多重化する研究が盛んに行われている。
【０００３】
近年では、電子透かし技術と称し、写真、絵画等の画像情報中に、その著作者名や、使用許可の可否等の付加情報を視覚的に判別しづらい様に多重化した上で、インターネット等のネットワークを介して流通させる技術が標準化されつつある。
【０００４】
また、他の応用分野としては、複写機やプリンタ等の画像形成装置の高画質化に伴い、紙幣や印紙等の有価証券の不正な偽造を防止する目的において、記録紙上に出力された画像から出力機器種別、及び、その機体番号を特定する為に、画像中に付加情報を埋め込む技術が知られている。
【０００５】
例えば、特開平７−１２３２４４では、視覚的に感度の低い色差成分、及び彩度成分の高周波域に付加情報を埋め込むことにより情報の多重化を行う技術が提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の多重化技術には、以下に示す問題がある。
【０００７】
図１６は、従来の付加情報の埋め込み方法を模式的に示す図である。同図によれば、画像情報Ａと付加情報Ｂが加算器１６０１を介して多重化されることにより、多重化情報Ｃが生成される。加算器１６０１においては、画像情報Ａの実空間上で加算を行なっても良いし、画像情報Ａをフーリエ変換等を用いて周波数領域に変換した後、付加情報Ｂを高周波域等に合成しても良い。
【０００８】
このようにして生成された多重化情報Ｃを、各種フィルタリング等の画像処理や非可逆圧縮等の符号化を施すことなくネットワーク上を流通させることが可能であれば、多重化情報Ｃから付加情報Ｂを復号することは、従来においても容易に可能である。また、例えばインターネット上で流通する画像情報は、多少のノイズ耐性があれば、エッジ強調や平滑化等、画質向上のためのデジタルフィルタを通しても復号が可能である。
【０００９】
ここで、画像形成装置が単色あたり２階調から数階調程度の表現能力しか有していない場合を想定する。近年、インクジェットプリンタは、染料濃度を薄くしたインクを有したり、出力するドット径を可変制御したりすることにより、単色あたり数階調表現を可能とする装置が知られているが、それでも疑似階調処理を用いない限りは、画像を写真調に表現することはできない。
【００１０】
図１７は、従来の付加情報の多重化に際し、擬似階調処理を行なう例を模式的に示す図である。即ち、図１６に示す構成に対して更に、疑似階調処理１７０１によって多重化情報Ｃを量子化情報Ｄに変換し、その後、プリンタ出力１７０２によって記録用紙上に印刷出力することにより、非常に劣化した紙上情報Ｅが得られる。
【００１１】
従って、上述した偽造防止の目的の為に、記録用紙上の情報から付加情報を復号するということは即ち、図１７に示す一連の処理後の紙上情報Ｅから付加情報Ｂを復号するということになる。しかしながら、擬似階調処理１７０１及びプリンタ出力１７０２の両処理による画像情報の変化量は非常に大きい。従って、付加情報を視覚的に判別できないように多重化し、かつ、多重化した付加情報を記録用紙上から正しく復号するということは、非常に困難なことである。
【００１２】
上述した特開平７−１２３２４４に記載された多重化技術においては、画像の高周波域に情報を付加させている。しかしながら後段の疑似階調処理において誤差拡散法を実施した場合には、誤差拡散法特有のハイパスフィルタの特性により、付加情報の帯域が誤差拡散で発生するテクスチャの帯域に埋没してしまい、復号が困難となってしまう恐れが多分にある。また、正確な復号のためには非常に精度の高いスキャナ装置が必要となる。
【００１３】
即ち、疑似階調処理が前提である場合には、図１７に示す多重化方式は適さないことがわかる。言い換えると、疑似階調処理の特性を大きく活かした付加情報の多重化方式が必要である。
【００１４】
付加情報の多重化と疑似階調処理の冗長性とを結び付けた例として、特許第２６４０９３９号、第２７７７８００号がある。
【００１５】
前者は、組織的ディザにて２値化を行なう際に、同一階調を表すディザマトリクスの中からいづれか一つを選定することによって、画像信号中に付加データを混入するものである。しかし、組織的ディザ法では、高解像の、しかも機械的精度の非常に優れたプリンタで無い限り、写真調の高画質出力は困難である。多少の機械的精度のずれが横筋等の低周波ノイズとして発生し、紙上で容易に視覚されてしまうからである。また、ディザマトリクスを周期的に変化させると、規則的に配列されていたデイザにより発生する特定周波数の帯域が乱され、画質的に悪影響を及ぼしてしまう。また、復号側においても、原信号である画像情報の画素値が不明な状態で、いかなるディザマトリクスで２値化されたかを推測して復号を行なわねばならず、正確な復号は困難であった。
【００１６】
また、後者は、カラーのディザパターン法を用いて、その配列により付加情報を多重化する方法を示している。この方法でも前者と同様、ディザマトリクスの切り換えによる画質劣化は避けられない。また、前者と比べて、より多くの付加情報を多重化できる代わりに、色成分の配列を変化させることによる色見の変化をもたらし、特に平坦部において画質劣化が大きくなる。また、復号も更に困難になることが予想される。
【００１７】
いずれにしても、ディザマトリクスを変化させる両者の方法では、画質劣化が大きい割に、復号が困難であるという問題点を有している。
【００１８】
本発明は上記問題を解決するためになされたものであり、画像情報に対して画質劣化を抑制しつつ付加情報を多重化し、該付加情報の復号を容易に可能とする画像処理装置及びその方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は以下の構成を備える。
【００２０】
即ち、画像情報に対して付加情報を多重化する画像処理装置であって、前記画像情報の注目画素周辺の画素の濃度状態を検出する濃度検出手段と、前記画像情報を疑似階調処理により量子化する量子化手段と、前記量子化手段により既に量子化された注目画素周辺の画素の量子化値、及び前記付加情報とに基づいて、注目画素の量子化値の決定を制御する制御手段と、を有し、前記制御手段は、前記周辺画素と注目画素による複数画素の量子化値の組み合わせによる量子化パターンが、前記濃度検出手段により検出された検出濃度域で、前記擬似諧調処理では通常発生し得ない特定パターンとなるように、前記注目画素の量子化値の決定を制御することを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明に係る好適な実施形態について詳細に説明する。尚、各実施形態における画像処理装置は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウエア、及びソフトウエアとして内蔵することも効果がある。
【００２３】
＜第１実施形態＞
図１は、本発明に係る第１実施形態における多重化装置の概要構成を示すブロック図である。
【００２４】
図１において、１０はＣＰＵ１０ａ，ＲＯＭ１０ｂおよびＲＡＭ１０ｃなどからなる制御部であり、後述する各構成の動作および処理を制御する。特に、ＣＰＵ１０ａは、ＲＯＭ１０ｂに予め格納されプログラムに従い、ＲＡＭ１０ｃをワークメモリとして後述する多重化およびその関連処理の制御などを実行する。
【００２５】
１００は入力端子を示し、多階調の画像情報を入力する。１０１は疑似階調処理部を示し、入力された画像情報を疑似階調処理することによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。尚、疑似階調処理についての詳細は後述する。１０２は入力端子を示し、画像情報の中に埋め込むべき必要な付加情報が入力される。この付加情報としては、出力機器のメーカ名、機種名、機体番号等、画像を記録用紙上に出力した際の出力状況に関する様々な情報が考えられる。１０３は量子化部を示し、付加情報の符号、及び、既に最終的に量子化された複数の画素による量子化結果をも参照して、注目画素の量子化値を算出する手段である。尚、この量子化方法の詳細は後述する。
【００２６】
１０４は量子化値決定部を示し、擬似階調処理部１０１における疑似階調処理後の量子化値、及び量子化部１０３における量子化後の量子化値の双方を基に、最終的な量子化値を決定する。この量子化結果が画像情報に付加情報が多重化された結果として、出力端子１０５を通してプリンタエンジンに送信され、記録用紙上に画像形成される。
【００２７】
図２は、擬似階調処理部１０１の詳細構成を示すブロック図である。擬似階調処理部１０１においては、誤差拡散処理を用いた擬似階調処理を行なう。尚、一般的な誤差拡散処理の詳細は、例えば文献「R.Floyd&L.Steinberg:“An Adaptive Alogorithm for Spatial Grayscale”,SID Symposium Digest of Paper pp.36〜37(1975)」に記載されているため、ここでは詳細な説明を省略する。
【００２８】
以下、量子化値が２値である誤差拡散処理を例として説明する。
【００２９】
図２において２００は加算器を示し、入力された画像情報の注目画素値と、既に２値化された周辺画素から分配された量子化誤差が加算される。その加算結果と予め設定されている閾値とを比較部２０１にて比較し、該閾値よりも加算結果の方が大きい場合には“１”を、それ以外では“０”を出力することにより、量子化する。尚、例えば８ビット精度で画素の階調を表現する場合には、最大値である“２５５”と最小値である“０”で表現するのが一般的である。尚、量子化値が“１”の時に記録用紙上にドット（インク、トナー等）が印刷されるとする。
【００３０】
２０２は減算器を示し、比較部２０１から出力された量子化結果と加算器２００から出力された加算結果との誤差を算出し、誤差配分演算部２０３に出力する。誤差配分演算部２０３においては、今後の量子化処理が施される周辺画素に誤差を配分する。この誤差の配分割合としては例えば、注目画素との相対的な距離に基づいて実験的に設定された誤差の配分テーブル２０４を予め所有しておき、配分テーブル２０４に記された配分割合に基づいて、各画素に誤差を分配する。
【００３１】
次に、量子化部１０３について詳細に説明する。図３は、量子化部１０３において量子化値を算出する動作手順を示すフローチャートである。ここでは、画像情報内の縦Ｎ画素、横Ｍ画素より成るブロック中に、付加情報を埋め込む例について説明する。尚、量子化値は２値であるとする。
【００３２】
まずステップＳ３０１において、変数ｉ，ｊの初期化を行なう。変数ｉは垂直方向のアドレスをカウントする変数、変数ｊは水平方向のアドレスをカウントする変数である。ステップＳ３０２はｉのアドレス値による判定を示し、即ち、行アドレスｉが符号を埋め込むべき行であるか否かを判定している。例えば、ここで縦Ｎ画素、横Ｍ画素より成るブロック中に、付加情報を４０ビット分埋め込むことを想定すると、該ブロックの垂直方向の全Ｎ行分のアドレスの中から“４０＋α”行分だけ、符号を埋め込むのに用いる。ここでαは、符号の開始、及び終了を示すマーカーコード等のために必要となる。ただ、Ｎ行中の“４０＋α”行を用いる時に、どの行を用いるかの規則性は、符号化側及び復号側が把握している必要がある。例えば、ある一定間隔ｎ行ごとに符号を埋め込む等の規則性を設定しておく方法が考えられる。この場合、ｎの値はある程度大きい方が、埋め込むんだ符号が視覚的に目立ちづらくなる。
【００３３】
ステップＳ３０２における判定は、Ｎ行中に“４０＋α”回はＹＥＳとなり、残りの“Ｎ−(４０＋α)”回はＮＯと判定される。ＮＯと判定された場合には、ステップＳ３０４にて量子化値Ｑを一行分“０”にして出力する。一方、ステップＳ３０２でＹＥＳと判定された場合には、ステップＳ３０３において該当する符号は“１”であるか“０”であるかを判定する。尚、本実施形態の場合、ブロック内の１行分に埋め込む情報量は１ビットとする。符号が“０”である場合には、ステップＳ３０４にて量子化値Ｑを一行分“０”にして出力した後、ステップＳ３１２にて次の行に移行する。
【００３４】
一方、符号が“１”である場合には、ステップＳ３０５にて乱数ａを発生させる。ここで乱数ａの取りうる範囲はＮよりも小さく設定するが、具体的にはこの範囲を実験的に定めるのが好ましい。続いて、ステップＳ３０６にて水平方向のアドレスの変数ｊが乱数ａよりも大きいか否かを判定する。ＹＥＳであればステップＳ３０７に進み、既に２値化を終了した複数の画素を参照するウインドウ内のパターンが、予め設定していたパターン（以後、対象パターンと称す）に適合しているか否かを判定する。適合していればステップＳ３０８にて量子化値Ｑを“１”として出力し、適合していなければステップＳ３０９にて量子化値Ｑを“０”として出力する。
【００３５】
図４に、本実施形態における対象パターンの例を示す。図４（ａ）は画像情報のブロック内における画素配列、即ち上記ウインドウを示し、＊印は注目画素、その他のＡ、Ｂ、Ｃ、Ｄ、Ｅで示す各画素は、既に最終的な２値化を終了した画素である。図４（ｂ）は対象パターン例を示し、図４（ａ）に示すウインドウ内のＡ〜Ｅの各画素が、該対象パターンに示した値で配置されていれば、対象パターンに適合したとする。図４に示す例では参照する画素が５画素であるため、該参照画素が取りうるパターンとしては５ビット分の組み合わせが存在する。即ち、実際の注目画素周辺の量子化値のパターンは、この５ビット分の組み合わせ中のひとつになるが、上述したステップＳ３０７においては、この周辺画素パターンが設定した対象パターンと同一であるか否かを判定するものである。
【００３６】
続いて、ステップＳ３１０で変数ｊの値をカウントアップして、水平方向のアドレスを１列分ずらす。ステップＳ３１１では変数ｊがＭ未満か否かを判定し、水平方向がＭ画素分終了すると、ステップＳ３１２にて垂直方向の変数ｉをカウントアップする。ステップＳ３１３では変数ｉに基づきＮ行分の処理が終了したか否かを判定し、未終了であればステップＳ３０２に戻り、一連の処理を繰り返す。
【００３７】
尚、図３のフローチャートおいては説明を容易にする為に、量子化値Ｑが“０”、“１”のいずれの場合にも出力する例について説明したが、の符号を埋め込む“Ｑ＝１”の場合が、“Ｑ＝０”の場合よりも圧倒的に少なくなるため、“Ｑ＝０”を量子化値の初期値と設定しておいて、“Ｑ＝１”になる画素の時のみ、切り替わり信号として送信するようにしても、本実施形態は実現可能である。
【００３８】
次に、量子化値決定部１０４について説明する。量子化値決定部１０４は、単純な論理積（ＯＲ）回路により構成される。従って、疑似階調処理部１０１、もしくは量子化部１０３の各々の量子化結果のうち、どちらか一方にて“１”に量子化された画素は、最終的に“１”として出力される。即ち、量子化部１０３で“１”の符号が埋め込まれた画素のみが、疑似階調処理された画素に加えて、新たに“１”の量子化値が付加されることになる。この量子化値の付加こそが、本実施形態における付加情報の符号の埋め込みに相当する。
【００３９】
図５に、ブロック内において符号が多重化される様子を示す。図中、破線で示した行が、符号を埋め込むラインであるとする。また、同一行内に複数の符号を埋め込むことにより、ブロック開始及び終了の符号となるマーカーコードを示すとする。
【００４０】
まず、開始マーカーコードを埋め込んだ行に続いて、付加情報を示す１ビット目からｘビット目までの全ｘビットの符号を、固定行に対して埋め込んでいく。上述した様に、どの行を符号の埋め込みに用いたかという情報は、符号化側と復号側とで共に認識している必要がある。そしてブロックの最後に、終了マーカーコードを埋め込む。尚、開始／終了マーカーコードは、いずれか一方を省略することも可能である。即ち、どの領域に符号が多重化されているかということを復号側で検知できれば良い。
【００４１】
尚、本実施形態においては列方向に乱数を用いる例について説明したが、本発明はこの例に限定されるものではなく、行方向に乱数を用いる方法も考えられる。即ち、少なくともどちらか一方向には、符号の埋め込み位置に規則性を持たせるか、または埋め込み位置を特定する鍵を有することにより、復号側において埋め込み位置を正確に把握できることが必須である。
【００４２】
以上、本実施形態における多重化処理を行なう構成について説明したが、本実施形態の思想は、疑似階調処理では通常発生し得ないテクスチャを量子化値の組み合わせにより人工的に作成し、そのテクスチャの有無により１ビットの符号を表現している点にある。即ち本実施形態においては、画像中に図４（ｂ）に示す対象パターンを検出した場合に注目画素を“１”に量子化することによって、通常発生し得ない、“１”が連続するテクスチャを人工的に作成することを特徴とする。
【００４３】
一般に誤差拡散法は、非常に独特なテクスチャが発生する量子化方法として知られている。従来より、視覚的に不快感を覚える鎖状につながるテクスチャの発生が、誤差拡散法の大きな問題点とされてきた。そのため、その不快なテクスチャを発生させないための提案も数多くなされてきた。
【００４４】
しかしながら、テクスチャの発生要因を解析すると、テクスチャのパターンの中には、発生しうるテクスチャと発生し得ないテクスチャとがある。例えば、誤差の配分テーブル２０４として図６に示す拡散マトリクスを想定すると、＊印で示す注目画素直前の画素が“１”に量子化された場合、負の量子化誤差が発生するために、隣接した注目画素は“１”に量子化されづらくなる。従って本実施形態によって付加された符号を復号する際には、例えばハイライト（低濃度域）の平坦部であるということが検知できれば、水平方向に隣合った画素が共に“１”になるような量子化値のパターンは通常有り得ないため、該パターンが検出されればそれを符号として認識することができる。
【００４５】
ここで、一般にドットが連続して印刷されることにより形成されたテクスチャは、３６０ｄｐｉ程度の低解像のインクジェットプリンタで記録用紙上に印刷した場合でも非常に目立ちづらく、肉眼では全く視覚的な妨害にはならない。しかし、該記録用紙上で拡大鏡を用いて観察すると、ドットがつながって印刷されていることが鮮明に検知できる。従って本実施形態においては、復号のために高解像のイメージスキャナ等の高価な読取装置を用いることなく、埋め込まれた符号を容易に復号することが可能である。即ち、拡大鏡と、埋め込まれた符号間（テクスチャ間）の距離（画素数）を測定できる測定器さえあれば、簡単に復号可能である。
【００４６】
このように、記録用紙上に形成されるテクスチャを任意に制御することができれば、視覚的には違和感なく符号を埋め込むことが可能である。これは、誤差拡散法の有する周波数特性が、或る固定の周波数にピークをもつものではなく、広帯域のハイパスフィルタになっているためである。
【００４７】
それに対して、短い周期で規則的に繰り返される組織的ディザ法では、テクスチャを任意に制御することは困難である。組織的ディザ法では、ディザ周期に基づく固定周波数に非常に大きな電力を有するため、そのピークを持つ周波数以外の帯域に情報を埋め込んだ場合には、視覚的に違和感が生じ、画質劣化につながってしまう。
【００４８】
上述したように、一般にハイライトの平坦部では、隣接画素がともに“１”となることはない。そのため、本実施形態によって連続したドットとして埋め込まれた符号は、少なくともハイライトの平坦部では復号が可能である。本実施形態は紙幣や印紙等の有価証券の偽造防止を目的としているため、対象となる画像は必ずハイライトの平坦部を含んでいる。また、ＹＭＣＫ等のカラー情報では、各色成分に分解した４色のうち、ＵＣＲ（下色除去）等の処理により、何れかの色はハイライトの平坦部になっている可能性が高い。従って、本実施形態はその目的を十分に達成することが可能である。
【００４９】
以上、ハイライト部におけるテクスチャについて説明したが、ハイライト部以外の中、高濃度部の平坦部においても同様に、該当する濃度域では発生し得ないテクスチャを人工的に作成することにより、任意の符号を埋め込むことが可能である。即ち、復号側において、その判別できうる濃度域で、該当する濃度域には発生し得ないテクスチャのパターンを符号であると認識して復号することができれば良い。
【００５０】
尚、本実施形態においては１ブロック内における符号の埋め込み方法について説明したが、このブロックを一単位として、画像全体に渡って繰り返し符号を埋め込んでいくことが好ましい。このように画像全体に符号を埋め込むことにより、画像の一部においては復号が困難になる場合でも、その他の部分において復号が容易にできるブロックが生じる可能性がある。
【００５１】
以上説明したように本実施形態によれば、画像の平坦部において発生し得ないテクスチャにより符号を表現することにより、画像情報に対して画質劣化を抑制しつつ、付加情報を多重化することが可能となる。また、多重化された付加情報は、高価で精密な装置を用いることなく、容易に復号が可能である。
【００５２】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。
【００５３】
第２実施形態における多重化装置の概要構成は、上述した第１実施形態で示した図１と同様であり、量子化部１０３における処理のみが異なるため、ここでは説明を省略する。
【００５４】
以下、第２実施形態における量子化処理について、図７のフローチャートを参照して詳細に説明する。尚、第１実施形態と同様に、量子化値は２値であるとし、画像情報内のＮ×Ｍ画素より成るブロック中に付加情報を埋め込む例について説明する。尚、ブロック内の１行分に埋め込む情報量は１ビットとする。また、第１実施形態で説明した図３のフローチャートと同様の処理については同一ステップ番号を付し、説明を省略する。
【００５５】
第２実施形態の量子化処理においては、ステップＳ３０３において埋め込むべき符号が“１”であると判定された場合には、ステップＳ７０１にて予め登録しているパターンＡを対象パターンとして設定し、符号が“０”であると判定された場合には、ステップＳ７０６にて予め登録しているパターンＢを対象パターンに設定する。そして、以降の処理は第１実施形態と同様である。
【００５６】
尚、図７のフローチャートおいても説明を容易にする為に、量子化値Ｑが“０”、“１”のいずれの場合にも出力する例について説明したが、符号を埋め込む“Ｑ＝１”の場合が、“Ｑ＝０”の場合よりも圧倒的に少なくなるため、“Ｑ＝０”を量子化値の初期値と設定しておいて、“Ｑ＝１”になる画素の時のみ、切り替わり信号として送信するようにしても良い。
【００５７】
図８に、第２実施形態において対象パターンとして設定されるパターンＡ及びパターンＢの例を示す。図８（ａ）はウィンドウ内の画素配列を示し、＊印は注目画素、その他のＡ〜Ｈで示す各画素は既に最終的な２値化を終了した周囲画素であり、周囲画素の値としては８ビット分の組み合わせを有する。また、図８（ｂ）はパターンＡ、図８（ｃ）はパターンＢの例を示し、それぞれ“−”で示した位置の画素については、その値が不問である。
【００５８】
図８より明らかなように、パターンＡでは、水平方向直前の画素において量子化値が“１”になっており、パターンＢでは垂直方向直前の画素において量子化値が“１”になっていることを特徴とする。従って、ブロック内でパターンＡの画素配列が検出されれば水平方向に連続した量子化パターンが形成され、パターンＢの画素配列が検出されれば垂直方向に連続した量子化パターンが形成される。
【００５９】
第２実施形態においては、付加情報の符号を埋め込む際に、符号が“１”である時に量子化値Ｑを“１”にするのみならず、符号が“０”であっても量子化値Ｑを“１”とする。即ち、符号を埋め込む際には、全ての量子化値Ｑが“１”となる。
【００６０】
復号側においては、埋め込まれた符号が“１”であるか“０”であるかは、パターンの違いによって判断することができる。即ち、上述した第１実施形態では図３に示すようにテクスチャの有無により１ビット分の情報を埋め込んでいたのに対し、第２実施形態では発生させるテクスチャのパターンを変化させることによって符号を埋め込む。図８の例によれば、水平方向に“１”が連続したパターンを符号の“１”に、また、垂直方向に“１”が連続したパターンを符号の”０”に設定している。
【００６１】
尚、復号側においてはハイライト平坦部を認識して復号すべきであることは、上述した第１実施形態と同様である。
【００６２】
また、第２実施形態においては２種類の対象パターンによる１ビット分の情報の埋め込みについて説明したが、２種類以上の対象パターンを設定しておくことにより、より多くの符号量を埋め込めることは当然である。
【００６３】
以上説明したように第２実施形態によれば、画像の平坦部において発生し得ない複数のテクスチャにより複数の符号を表現することにより、画像情報に対して画質劣化を抑制しつつ、より多くの付加情報を多重化することが可能となる。
【００６４】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。
【００６５】
第３実施形態における多重化装置の概要構成を図９に示す。図９において、上述した第１実施形態で示した図１と同様の構成については同一番号を付し、説明を省略する。
【００６６】
第３実施形態においては、疑似階調処理部１０１の前段にノイズ除去部９０１を備えることを特徴とする。ノイズ除去部９０１は、画像中に存在する微小なノイズをフィルタにより除去する。ノイズ除去の方法については特に限定しないが、例えば、注目画素を取り囲む周辺画素でウインドウを作成し、注目画素のみが突出した画素値である場合にこれをノイズであると認識して該注目画素の画素値を変更する他、周知の方法を採用することができる。
【００６７】
尚、量子化部１０３における量子化方法としては、上述した第１又は第２実施形態において図３又は図７に示したフローチャートに示す動作手順に基づけば良い。
【００６８】
第３実施形態では、上述した第１及び第２実施形態と同様に、テクスチャのパターンとして画像内に符号を埋め込み、復号側においては該符号を検出することによって復号が行われる。即ち、人工的に作成するパターンとしては、該当濃度域にとって疑似階調処理のみでは全く発生し得ないパターンである必要がある。
【００６９】
上述した第１実施形態において説明したように、一般にハイライトの平坦部においては、２画素連続して“１”の値が発生することはない。しかしながら、画像中にノイズがあった場合には、復号側において“１”が連続したパターンを検出した際に、ノイズにより発生したパターンであるのか、人工的に符号を埋め込んだパターンであるのかという判別が困難となってしまう。
【００７０】
そこで第３実施形態では、ノイズが混入した画像出力を回避するために、疑似階調処理の前段において、１画素単位のノイズを全て除去する。この処理を施すことにより、ノイズによる人工パターンの誤判定が回避できる。また、これにより、人工パターン発生の自由度が増す。これは即ち、ノイズが除去されることにより誤差拡散法により発生するテクスチャの種類が減少するため、人工的に作成できるテクスチャのパターンが相対的に増加することに起因する。
【００７１】
尚、ノイズ除去部９０１に代えて、ローパスフィルタを備えることも有効である。ただし、擬似階調処理前段のフィルタ処理においてあまりにも変化が大きすぎると、画質に対する影響が大きくなってしまうため、実験的に最適なフィルタを設定することが好ましい。
【００７２】
尚、第３実施形態は、人工的に作成した文字／線画に対して適用することは好ましくない。例えば、イメージスキャナ等により読み込んだ文字／線画においては、入力機器のＭＴＦによりエッジが鈍り中間濃度が発生するため、擬似階調処理部１０１にノイズ除去部９０１が前置されても全く問題はない。しかしながら、コンピュータ等によって人工的に作成された文字／線画においては、ノイズであるのか必要な情報であるのかの区別が困難であるため、ノイズ除去によって必要な情報を欠落させてしまう恐れがある。
【００７３】
従って、上記不具合を回避するために、入力端子１００にはスキャナ等の入力機器を介した画像情報のみが入力されるように設定し、文字／線画等の人工的な画像情報に関しては他の処理経路を介して入力させ、ノイズ除去を行なわないようにすることが好ましい。
【００７４】
以上説明したように第３実施形態によれば、画像情報に対する擬似階調処理に先だってノイズを除去した後に付加情報を多重化することにより、復号側において符号を示すテクスチャの誤判定を回避することができるのみならず、より多種類の符号表現が可能となるため、より多くの付加情報を多重化することが可能となる。
【００７５】
＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。
【００７６】
図１０は、第４実施形態における多重化装置の概要構成を示すブロック図である。１００は入力端子を示し、多階調の画像情報を入力する。１００１は疑似階調処理部を示し、入力された画像情報を疑似階調処理することによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。この量子化結果が画像情報に付加情報が多重化された結果として、出力端子１０５を通してプリンタエンジンに送信され、記録用紙上に画像形成される。尚、擬似階調処理部１００１の詳細構成は、第１実施形態に示した図２と同様である。
【００７７】
１０２は入力端子を示し、画像情報の中に埋め込むべき必要な付加情報が入力される。この付加情報としては、出力機器のメーカ名、機種名、機体番号等、画像を記録用紙上に出力した際の出力状況に関する様々な情報が考えられる。１００２は、疑似階調条件変更部を示し、付加情報の符号、及び、既に最終的に量子化された複数の画素による量子化結果を参照して、疑似階調部１００１における疑似階調処理条件を変更する。
【００７８】
第４実施形態においては、擬似階調条件変更部１００２において疑似階調処理における閾値を変更することを特徴とする。例えば、上述した第１実施形態の疑似階調処理部１０１では、その内部において比較部２０１（図２）に入力される２値化のための閾値は固定値であった。しかしながら第４実施形態においては、この比較部２０１に入力される閾値が擬似階調条件変更部１００２により動的に変化する。
【００７９】
図１１は、疑似階調条件変更部１００２における動作手順を示すフローチャートである。尚、第１実施形態と同様に、量子化値は２値であるとし、画像情報内のＮ×Ｍ画素より成るブロック中に付加情報を埋め込む例について説明する。尚、ブロック内の１行分に埋め込む情報量は１ビットとする。また、第１実施形態で説明した図３のフローチャートと同様の処理については同一ステップ番号を付し、説明を省略する。
【００８０】
第４実施形態の閾値変更処理においては、ステップＳ３０２で符号を埋め込まない行であると判定された場合、及び、ステップＳ３０３にて埋め込むべき符号は“０”であると判定された場合には、ステップＳ１１０１にて閾値ＴＨの一行分をＣに設定して出力する。尚、Ｃの値は疑似階調処理の閾値として設定されるため、例えば“０”と“１”の各量子化値の中間値となる“０．５”を設定することが一般的である。また、画素値を８ビット表現とすれば、“１２８”が閾値Ｃに相当する。もちろん、閾値の値は各量子化値の中間値に限定するものではない。
【００８１】
また、ステップＳ３０６において水平アドレスカウンタｊの値が乱数ａよりも大きいか否かを判定し、大きければステップＳ３０７で第１実施形態と同様に、既に２値化を終了した複数の画素を参照するウインドウ内のパターンが所定の対象パターンに適合しているか否かを判定し、適合していればステップＳ１１０２にて閾値ＴＨをＤに設定して出力する。ここでＤとしては、強制的に疑似階調処理の出力が“１”となるべき値を設定する。
【００８２】
尚、ステップＳ３０６でｊがａ以下である場合、及びステップＳ３０７で参照パターンが対象パターンに適合しない場合にはステップＳ１１０３に進み、ステップＳ１１０１と同様に閾値ＴＨをＣに設定して出力する。
【００８３】
尚、図１１のフローチャートにおいては説明を容易にするために、閾値ＴＨがＣ及びＤに設定された何れの場合にも出力を行なう例について説明したが、“１”の符号を埋め込む“ＴＨ＝Ｄ”の場合が、“ＴＨ＝Ｃ”の場合よりも圧倒的に少なくなる。従って、擬似階調処理部１００１において閾値ＴＨの初期値としてＣを設定しておくことも有効である。即ち、擬似階調条件変更部１００２においては“ＴＨ＝Ｄ”になる画素の時のみ、擬似階調処理部１００１に対して切り替わり信号を発生し、擬似階調処理部１００１では該信号を受けた時のみ、閾値ＴＨとしてＤを用いて疑似階調処理を実行し、それ以外の画素についてはＣによる疑似階調処理を実行すれば良い。
【００８４】
上述したように第４実施形態によれば、“１”の符号を埋め込む場合のみ、閾値ＴＨをＤに設定する。擬似階調条件変更部１００２においてこのように閾値ＴＨを変更するだけで、擬似階調処理部１００１においては通常の誤差拡散処理を行なうのみで、付加情報を適切に埋め込むことができる。
【００８５】
尚、第４実施形態における量子化処理は、上述した第１実施形態で示した例と等価ではない。第１実施形態においては、符号を埋め込む画素の量子化値を強制的に“１”に設定しているが、この設定は注目画素の値とは無関係に行われる。即ち、擬似階調処理部１０１における誤差拡散処理後に、量子化値決定部１０４において量子化値を強制的に設定するため、量子化値を“１”に決定したことによる量子化誤差は拡散されない。厳密に言えば、画素値が保存されているわけではない。しかも、“０”に量子化されやすい画素位置に“１”を追加したことになるため、局所的に濃度が高くなり、視覚的に検知されやすくなってしまう。
【００８６】
それに対して第４実施形態では、符号を埋め込む画素の量子化値を強制的に“１”に設定する点は第１実施形態と同様であるが、擬似階調処理の閾値を変更するのみであるため、注目画素の画素値は保存される。つまり、符号を埋め込む画素の量子化値を“１”としたことにより、擬似階調処理部１００１において更に大きい負の量子化誤差が蓄積されるため、符号を埋め込んだ後の周辺画素においては“０”の量子化値が連続する白抜け状態が発生し、局所的にも濃度は保存される。
【００８７】
尚、第４実施形態においても、第３実施形態で説明したノイズ除去部を擬似階調処理部１００１の前段に配置することは有効である。
【００８８】
以上説明したように第４実施形態によれば、擬似階調処理の際に参照される閾値を制御することによって、局所的な濃度を保ちつつ、符号を多重化することができる。
【００８９】
＜第５実施形態＞
以下、本発明に係る第５実施形態について説明する。
【００９０】
第５実施形態における多重化装置の概要構成を図１２に示す。図１２において、上述した第１実施形態で示した図１と同様の構成については同一番号を付し、説明を省略する。図１２において１２０１は量子化部であり、付加情報の符号と既に量子化された複数画素の量子化結果、及び疑似階調処理前の注目画素とその周辺画素値を参照して、注目画素の量子化値を算出する。
【００９１】
第５実施形態においては、量子化部１２０１に対して疑似階調処理前の注目画素及びその周辺画素値が入力されることを特徴とする。
【００９２】
上述した第１乃至第４実施形態においては、該当する濃度域で発生し得ないテクスチャを人工的なテクスチャのパターンとして作成し、多重化する例について説明した。この多重化方法は、多重化する符号の一単位となる画像情報のブロックが、均一濃度を有する平坦部にあることを前提としていた。即ち、上記多重化方法は画像の平坦部においては問題ないが、実際には画像情報のブロック内にエッジが存在していたり、複数の濃度域が存在している場合も多い。
【００９３】
第５実施形態においては、作成するパターンを動的に変更していく点が上記各実施形態とは大きく異なる。即ち、量子化部１２０１において、注目画素周辺の該当濃度を検出し、該濃度においては発生し得ないパターンを対象パターンとして設定し、該対象パターンを人工的に作成することによって符号を埋め込んでいく。
【００９４】
尚、第５実施形態において設定する対象パターンとしては、表現可能な階調数を複数の濃度域に分類し、該当する濃度域毎に対象パターンをテーブルとして、予め保持しておくことが好ましい。
【００９５】
また、注目画素がエッジ部に相当する場合には、符号を埋め込むことは困難であると判断して、強制的に量子化結果を“０”にすることも、処理の高速化の点で有効である。
【００９６】
尚、復号側においても画像濃度を検出して、該濃度に応じて対象パターンを検出する必要がある。従って、多重化の際に上記テーブルを使用したならば、復号の際にも同様のテーブルを使用することが有効である。
【００９７】
尚、第５実施形態においては画像濃度に応じて対象パターンを設定する例について説明したが、例えば上述した第４実施形態に対して第５実施形態を組み合わせることも有効である。即ち、画像濃度に応じて量子化閾値を設定することによって、実質的に対象パターンを切り替えたと同等の効果が得られる。
【００９８】
以上説明したように第５実施形態によれば、画像情報の濃度に応じて符号の対象パターンを可変とすることにより、画像の平坦部以外においても適切に符号を多重化することができる。
【００９９】
＜第６実施形態＞
以下、本発明に係る第６実施形態について説明する。
【０１００】
第６実施形態における多重化装置の概要構成を図１３に示す。図１３において、上述した第１実施形態で示した図１と同様の構成については同一番号を付し、説明を省略する。図１３において１３０１は量子化配置変更部であり、注目画素周辺の疑似階調処理後の量子化値、及び、入力された付加情報に基づき、既に疑似階調処理された量子化値の配置を変更する。
【０１０１】
図１４は、量子化配置変更部１３０１における動作手順、即ち第６実施形態における量子化処理を示すフローチャートである。尚、第１実施形態と同様に、量子化値は２値であるとし、画像情報内のＮ×Ｍ画素より成るブロック中に付加情報を埋め込む例について説明する。尚、ブロック内の１行分に埋め込む情報量は１ビットとする。また、第１実施形態で説明した図３のフローチャートと同様の処理については同一ステップ番号を付し、説明を省略する。
【０１０２】
第６実施形態の量子化処理においては、ステップＳ３０２で符号を埋め込まない行であると判定された場合、及び、ステップＳ３０３にて埋め込むべき符号は“０”であると判定された場合には、ステップＳ３１２へジャンプして次の行の処理へ移行する。即ち、現在の処理行においては、既に量子化された画素の配置は変更されない。
【０１０３】
また、ステップＳ３０６において水平アドレスカウンタｊの値が乱数ａよりも大きいか否かを判定し、大きければステップＳ３０７で第１実施形態と同様に、既に２値化を終了した複数の画素を参照するウインドウ内のパターンが所定の対象パターンに適合しているか否かを判定し、適合していればステップＳ１４０１にて周辺画素の近傍から“１”に量子化されている画素を探索する。この探索は、注目画素からの距離が近い方から順に一定の範囲を探索する。但し、対象パターン内に存在する隣接した“１”に相当する画素については探索の対象外とする。尚、探索の範囲としては、符号を埋め込む行の間隔よりも狭くなくてはならない。
。続いてステップＳ１４０２において、探索された画素の量子化値を“１”から“０”に変更し、次にステップＳ１４０９において、注目画素の量子化値を逆に“０”から“１”に変更する。即ち、ステップＳ１４０８とＳ１４０９において、注目画素と周辺画素についての量子化値の配置を変更したことになる。そして、量子化値配置の変更後、ステップＳ３１２に進んで垂直アドレスカウンタｉをカウントアップし、次の行の処理へ移行する。
【０１０４】
尚、ステップＳ３０６でｊがａ以下である場合、及びステップＳ３０７で参照パターンが対象パターンに適合しない場合には、そのままステップＳ３１０に進み、水平アドレスカウンタｊをカウントアップする。
【０１０５】
第６実施形態においては、以上のような量子化値の配置変更処理により人工的なテクスチャのパターンを作成することによって、付加情報の符号１ビット相当を画像情報内に埋め込んでいる。
【０１０６】
第６実施形態においては、濃度値そのものを変更することなく、画素配置のみの変更によって符号を埋め込むことを特徴とする。尚、量子化配置の変更処理は、誤差拡散処理と同期しても非同期であっても良い。
【０１０７】
図１５は、第６実施形態において量子化配置が変更される様子を示す図である。図１５の（ａ）は、擬似階調処理部１０１からの出力、即ち誤差拡散処理後の量子化値の状態を示し、図１５の（ｂ）は、量子化配置変更部１３０１からの出力、即ち配置変更後の量子化値の状態を示す。いずれも、黒く塗り潰したマスが量子化値が“１”である画素を示し、１５０１が注目画素であるとする。また、探索範囲を例えば注目画素の近傍２４画素（注目画素を中心とした５×５画素）とする。
【０１０８】
図１５によれば、該探索範囲内において“１”の値を有する画素１５０２が、量子化配置の変更によって、注目画素１５０１の位置に移動したと同等の結果が得られる。
【０１０９】
以上説明したように第６実施形態によれば、画素値そのものを変更することなく、その配置を変更するのみによって所定のテクスチャを生成することにより、付加情報を多重化することが可能となる。
【０１１０】
以上、第１乃至第６実施形態について説明したが、これら各実施形態を適宜組み合わせて実行することも、もちろん有効である。
【０１１１】
また、各実施形態においては、量子化値が“０”及び“１”よりなる２階調の場合について説明したが、より多くの階調数を有する場合でも有効である。また、符号の埋め込みはブロック内の１行あたり１ビットである例について示したが、本発明はもちろんこれに限るものではない。また、各実施形態においては、１行内において符号を埋め込むべき場所を乱数を用いて制御する例について説明したが、本発明はもちろんこの例に限るものではなく、例えば１行内において埋め込むべき場所を予め設定しておいても良いし、その配列が規則的であっても良い。
【０１１２】
また、ＹＭＣＫ等のカラー画像情報に対して付加情報を多重化する場合には、視覚的に分解能が劣化するイエロー成分のみに対して多重化処理を施す等、全ての色成分に対して同一処理を行なわなくても良い。
【０１１３】
また、上記各実施形態においては、疑似階調処理として誤差拡散法を行なう例について説明を行なったが、本発明はもちろん誤差拡散法に限定されず、誤差拡散法と同様の周波数持性を有するブルーノイズを用いたディザ法によっても、本発明は実現可能である。
【０１１４】
また、付加情報の種類としては、画像情報の出力状況に関する情報に限定されず、例えば音声情報等を適用することも考えられる。
【０１１５】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１１６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３，図７，図１１，図１４等に示すフローチャートに対応するプログラムコードが格納されることになる。
【０１１９】
【発明の効果】
以上説明したように本発明によれば、誤差拡散法の原理的なテクスチャ発生を符号埋め込みに利用することにより、画像情報に対して画質劣化を抑制しつつ付加情報を多重化し、該付加情報の復号を容易に可能とする。
【０１２０】
従って、有価証券の不正な偽造行為を抑制したり、画像情報の著作権侵害を防止することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態における多重化装置の概要構成を示すブロック図、
【図２】本実施形態における擬似階調処理部の詳細構成を示すブロック図、
【図３】本実施形態における量子化処理を示すフローチャート、
【図４】本実施形態における対象パターンの一例を示す図、
【図５】本実施形態における符号が多重化されたブロックの一例を示す図、
【図６】誤差拡散法における拡散マトリクスの一例を示す図、
【図７】第２実施形態における量子化処理を示すフローチャート、
【図８】第２実施形態における対象パターンの一例を示す図、
【図９】第３実施形態における多重化装置の概要構成を示すブロック図、
【図１０】第４実施形態における多重化装置の概要構成を示すブロック図、
【図１１】第４実施形態における閾値変更処理を示すフローチャート、
【図１２】第５実施形態における多重化装置の概要構成を示すブロック図、
【図１３】第６実施形態における多重化装置の概要構成を示すブロック図、
【図１４】第６実施形態における量子化処理を示すフローチャート、
【図１５】第６実施形態における量子化配置変更の一例を示す図、
【図１６】従来の多重化処理の一例を示すブロック図、
【図１７】従来の多重化処理の一例を示すブロック図、である。
【符号の説明】
１００，１０２ 入力端子
１０１，１００１ 擬似階調処理部
１０３，１２０１ 量子化部
１０４ 量子化値決定部
１０５ 出力端子
２００ 加算器
２０１ 比較部
２０２ 減算器
２０３ 誤差配分演算部
２０４ 誤差配分テーブル
９０１ ノイズ除去部
１００２ 擬似階調条件変更部
１３０１ 量子化配置変更部

Claims (11)

1. 画像情報に対して付加情報を多重化する画像処理装置であって、
   前記画像情報の注目画素周辺の画素の濃度状態を検出する濃度検出手段と、
   前記画像情報を疑似階調処理により量子化する量子化手段と、
   前記量子化手段により既に量子化された注目画素周辺の画素の量子化値、及び前記付加情報とに基づいて、注目画素の量子化値の決定を制御する制御手段と、を有し、
   前記制御手段は、前記周辺画素と注目画素による複数画素の量子化値の組み合わせによる量子化パターンが、前記濃度検出手段により検出された検出濃度域で、前記擬似諧調処理では通常発生し得ない特定パターンとなるように、前記注目画素の量子化値の決定を制御することを特徴とする画像処理装置。
2. 前記制御手段は、注目画素の量子化閾値を制御することを特徴とする請求項１記載の画像処理装置。
3. 前記制御手段は、前記付加情報に基づいて、前記量子化手段によって量子化された前記注目画素及びその周辺画素の配置を制御することにより、前記特定パターンを形成することを特徴とする請求項１記載の画像処理装置。
4. 前記制御手段は、前記特定パターンの有無により付加情報の符号を表現することを特徴とする請求項１記載の画像処理装置。
5. 前記制御手段は、複数種類の前記特定パターンの差異により付加情報の符号を表現することを特徴とする請求項１記載の画像処理装置。
6. 前記制御手段は、前記特定パターンの位置を乱数に基づいて制御することを特徴とする請求項１記載の画像処理装置。
7. 前記制御手段は、前記特定パターンを列方向及び行方向の少なくとも何れか一方向が規則性を有するように制御することを特徴とする請求項１記載の画像処理装置。
8. 更に、前記画像情報のノイズ成分を除去するノイズ除去手段を備え、
   前記量子化手段は、前記ノイズ除去手段によりノイズ除去された画像情報を量子化することを特徴とする請求項１記載の画像処理装置。
9. 前記量子化手段は、誤差拡散法による疑似階調処理を行なうことを特徴とする請求項１記載の画像処理装置。
10. 画像情報に対して付加情報を多重化する画像処理方法であって、
    前記画像情報の注目画素周辺の画素の濃度状態を検出する濃度検出工程と、
    前記画像情報を疑似階調処理により量子化する量子化工程と、
    前記量子化工程で既に量子化された注目画素周辺の画素の量子化値、及び前記付加情報とに基づいて、注目画素の量子化値の決定を制御する制御工程と、を有し、
    前記制御工程において、前記周辺画素と注目画素による複数画素の量子化値の組み合わせによる量子化パターンが、前記濃度検出工程で検出された検出濃度域で、前記擬似諧調処理では通常発生し得ない特定パターンとなるように、前記注目画素の量子化値の決定を制御することを特徴とする画像処理方法。
11. 画像情報に対して付加情報を多重化する画像処理のプログラムコードを記録した記録媒体であって、
    前記画像情報の注目画素周辺の画素の濃度状態を検出する濃度検出工程のコードと、
    前記画像情報を疑似階調処理により量子化する量子化工程のコードと、
    前記量子化工程で既に量子化された注目画素周辺の画素の量子化値、及び前記付加情報とに基づいて、注目画素の量子化値の決定を制御する制御工程のコードと、を有し、
    前記制御工程において、前記周辺画素と注目画素による複数画素の量子化値の組み合わせによる量子化パターンが、前記濃度検出工程で検出された検出濃度域で、前記擬似諧調処理では通常発生し得ない特定パターンとなるように、前記注目画素の量子化値の決定を制御することを特徴とする記録媒体。

Images