JP4000963B2

JP4000963B2 - Image processing device

Info

Publication number: JP4000963B2
Application number: JP2002260151A
Authority: JP
Inventors: 真之久武
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-09-05
Filing date: 2002-09-05
Publication date: 2007-10-31
Anticipated expiration: 2022-09-05
Also published as: JP2004104230A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、特に画像データに著作権情報やセキュリティ情報などの別の付加情報を書き込むことができる画像処理装置に関する。
【０００２】
【従来の技術】
広帯域通信網の普及により、静止画像や動画像などの大容量ディジタル画像データの流通が容易に行われるようになった。これに伴い、複製が容易なディジタル画像データの著作権を保護する観点から、電子すかし技術が注目されている。
【０００３】
この技術は、ディジタル画像データに所定の処理を施すことにより、ディジタル画像データの中に何らかの情報を人間には知覚できないように埋め込む技術である。
【０００４】
このような電子透かし技術の代表的な例として、画像データをブロックに分離し、その分離したブロックごとに＋１と−１との組み合わせである予め決められた透かしパターンを重畳するという、Ｄｉｇｉｍａｒｃ社の米国特許５，６３６，２９２号に開示されている技術がある。
【０００５】
この他にも、ディジタル画像データに対して離散コサイン変換や高速フーリエ変換などの周波数変換を施し、周波数領域で付加情報を追加した後に逆周波数変換を施すことで埋め込む技術がある。
【０００６】
このように、従来技術として開示されてきた画像データに付加情報を埋め込む技術は、画像データに対して人間が知覚しないレベルでの加工を行うことで付加情報を加えている。
【０００７】
【特許文献１】
米国特許５，６３６，２９２号明細書
【０００８】
【発明が解決しようとする課題】
しかしながら、従来技術によって付加情報を埋め込んだ画像データをデータ量削減するためにＪＰＥＧ圧縮処理を施すことがある。この場合、離散コサイン変換係数の量子化処理によって画像データと埋め込まれた付加情報に歪みが加わる。その結果、付加情報の埋め込み強度が弱い場合は圧縮処理によって付加情報が破壊される可能性がある。
【０００９】
付加情報を埋め込む際に埋め込み強度を強めればＪＰＥＧ圧縮処理などによって付加情報が破壊されることを防ぐことができる。しかし、強度を強めると、埋め込んだ付加情報が人間に知覚されやすくなってしまう。
【００１０】
その結果、埋め込まれた情報が画像データの圧縮処理などのような加工処理によって破壊されることを防ぐために、付加情報を埋め込む処理を複雑にしていた。
【００１１】
本発明は、上記従来技術の問題点を解決するものであり、圧縮処理される画像データに対して付加情報を埋め込むような場合でも、人間が知覚できないレベルでの加工を意識することなく、容易に埋め込むことができる画像処理装置を提供することをその目的とする。
【００１２】
【課題を解決するための手段】
前記課題は、次のような画像処理装置によって実現できる。すなわち、本発明にかかる画像処理装置は、入力画像データに付加情報を書き込む画像処理装置であって、前記入力画像データを所定の符号化処理に応じて分離し、それぞれを分離データプレーンとして生成するデータプレーン生成手段と、前記各分離データプレーンには、どの分離領域の入力画像データが含まれているかを示した分離情報を生成する分離情報生成手段と、前記分離情報に基づいて、前記分離データプレーンの前記入力画像データの画像が含まれていない領域を特定し、当該特定された領域に所定の付加情報を書き込む付加情報書込手段とを備えることを特徴とする。
【００１３】
このように構成された画像処理装置では、入力画像データを所定の符号化処理に応じて分離する。そして、その際に生成された分離データプレーン内の入力画像データの画像で構成されていない領域に付加情報を書き込むことができる。具体的には、付加情報書込手段が、前記分離情報に基づき、分離領域データプレーンの入力画像データの画像で構成されていない領域を特定し、当該特定された領域に所定の付加情報を書き込む。
【００１４】
前記分離データプレーンの入力画像データの画像で構成されていない領域は、前記分離データプレーンを合成して、入力画像データを復元する際には、画像として表示されない。従って、当該領域に書き込む付加情報を人間が知覚できないようにするために、入力画像データに対して、周波数変換などの特殊な処理をしなくてもよい。
【００１５】
また、入力画像データの圧縮処理等による付加情報の歪みが生じる場合に、この歪みを防ぐために付加情報の強度を上げたとしても、合成した際には、人間に知覚される心配がない。よって、付加情報を埋め込む処理を容易にすることができる。
【００１６】
さらに、本発明にかかる画像処理装置は、前記所定の符号化処理が、圧縮符号化処理であることを特徴とする。
【００１７】
このように、圧縮符号化処理に応じて入力画像データを分離することで、入力画像データの圧縮効率が向上する。
【００１８】
また、本発明にかかる画像処理装置は、前記画像処理装置で生成された前記分離データプレーンを受け取るデータプレーン受取手段と、当該画像処理装置で生成された前記分離情報を受け取る分離情報受取手段と、前記分離情報に基づいて、前記分離データプレーンに書き込まれた付加情報を抽出する付加情報抽出手段と、前記分離情報に基づいて、前記分離データプレーンを合成するデータプレーン合成手段とを備えることを特徴とする。
【００１９】
このように構成された画像処理装置では、付加情報抽出手段が、分離データプレーンに書き込まれた付加情報を抽出する。データプレーン合成手段が、分離情報に基づいて、各分離データプレーンを合成する。
【００２０】
さらに、本発明にかかる画像処理装置では、前記データプレーン合成手段は、前記分離情報に基づいて、各分離データプレーンの入力画像領域を合成することを特徴とする。
【００２１】
このように構成された画像処理装置では、データプレーン合成手段が、分離された入力画像データを復元することができる。
【００２２】
付加情報は、本来入力画像データの画像として構成されていない領域に書き込まれている。したがって、入力画像データを復元した際には、付加情報が書き込まれた領域は表示されない。ゆえに、付加情報を人間が知覚できないようにするために、入力画像データに対して、周波数変換などの特殊な処理をしなくてもよい。
【００２３】
また、入力画像データの圧縮処理等による付加情報の歪みが生じる場合に、この歪みを防ぐために付加情報の強度を上げたとしても、入力画像データを復元する際には、人間に知覚される心配がない。よって、付加情報を埋め込む処理を容易にすることができる。
【００２４】
さらに、本発明にかかる画像処理装置では、前記データプレーン合成手段が、前記分離情報に基づいて、各分離データプレーンの付加情報領域を合成することを特徴とする。
【００２５】
このように構成された画像処理装置では、データプレーン合成手段が、分離データプレーンの付加情報領域を合成する。従って、意図的に分離された入力画像データを復元せずに、本来表示されることがない付加情報を表示させることができる。
【００２６】
また、本発明にかかる画像処理装置では、前記付加情報には、各分離データプレーンのどの領域を合成するかを示した条件が含まれていて、前記データプレーン合成手段は、前記付加情報に応じて、各分離データプレーンの入力画像領域を合成したり、各分離データプレーンの付加情報領域を合成したりする手段であることを特徴とする。
【００２７】
このように構成された画像処理装置では、付加情報に応じて、合成する分離データプレーンの領域を変更することができる。
【００２８】
従って、例えば、付加情報に閲覧権の有無を書き込み、閲覧権がある者にだけ、入力画像データの画像を表示させて、閲覧権がない者には、入力画像データの画像の代わりに、付加情報に書き込まれた「閲覧不可」などの画像を表示させることができる。
【００２９】
さらに、本発明にかかる画像処理装置では、前記付加情報に、分離データプレーンを合成するかどうかの判定情報が含まれていて、前記データプレーン生成手段は、前記付加情報に基づいて、合成するかどうか判定した後に、合成する手段であることを特徴とする。
【００３０】
このように構成された画像処理装置では、付加情報に応じて、意図的に、分離データプレーンを合成させないこともできる。
【００３１】
したがって、例えば、付加情報に入力画像データの閲覧権の有無を書込み、閲覧権がある者のみ、分離データプレーンを合成し、閲覧権がない者には、合成せずに何も画像を表示させないとすることもできる。
【００３２】
また、本発明にかかる画像処理装置は、前記分離データプレーンまたは前記分離情報を圧縮処理された状態で受け取った場合は、それらを伸長処理する伸長処理手段を備えることを特徴とする。
【００３３】
このように構成された画像処理装置では、分離データプレーンや分離情報が、圧縮処理された状態で受け取ったとしても、適正に伸長処理して、画像データを合成することができる。
【００３４】
【発明の実施の形態】
本発明の実施の形態について、まず、所定の符号化処理により、入力画像データを２つに分離して、所定の領域に付加情報を書き込む本発明の第一の実施の形態（以下、実施形態１）について、図１及び図２を参照して説明する。
【００３５】
図１は、実施形態１における画像処理装置の構成図である。また、図２は、実施形態１において、入力画像データに付加情報を書き込む様子を表したイメージ図である。
【００３６】
実施形態１にかかる画像処理装置は、データプレーン生成手段１により、入力画像データ２１を所定の符号化処理に応じて分離し、２つの分離データプレーン２２，２３を生成する。また、分離情報生成手段２によって、前記各分離データプレーンには、どの分離領域の入力画像データが含まれているかを示した分離情報２４を生成する。そして、付加情報書込手段３が、分離情報に基づいて、所定の付加情報を分離データプレーンの入力画像データの画像が含まれていない領域に書き込む（２５，２６）。
【００３７】
ここで、所定の符号化処理とは、例えば、圧縮符号化処理であり、入力画像データをそのまま圧縮するよりも、圧縮効率がよくなるように分離する。
【００３８】
このように構成された画像処理装置では、付加情報書込手段３が、分離情報に基づき、分離領域データプレーンの入力画像データの画像で構成されていない領域に所定の付加情報を書き込む。
【００３９】
そして、分離データプレーンの入力画像データの画像で構成されていない領域は、分離データプレーンを合成して、入力画像データを復元する際には、画像として表示されない。従って、当該領域に書き込む付加情報を人間が知覚できないようにするために、入力画像データに対して、周波数変換などの特殊な処理をしなくてもよい。
【００４０】
また、入力画像データの圧縮処理等による付加情報の歪みが生じる場合に、この歪みを防ぐために付加情報の強度を上げたとしても、合成した際には、人間に知覚される心配がない。よって、付加情報を埋め込む処理を容易にすることができる。
【００４１】
続いて、例えば、実施形態１で生成されたような分離データプレーンを、分離情報に基づいて合成する本発明の第二の実施の形態（以下、実施形態２）について、図３及び４を参照して説明する。
【００４２】
図３は、実施形態２における画像処理装置の構成図である。そして、図４は、分離データプレーンを分離情報に基づいて合成する様子を示すイメージ図である。
【００４３】
実施形態２にかかる画像処理装置では、データプレーン受取手段４が分離データプレーン４１，４２を受け取り、分離情報受取手段５が分離情報を受け取る。そして、付加情報抽出手段６が、分離情報に基づいて分離データプレーンに書き込まれた付加情報４６，４７を抽出する。また、データプレーン合成手段７が、付加情報に基づいて、各分離データプレーンのどの領域を合成するかを判断して、分離データプレーンを合成する。各分離データプレーンの画像領域を合成したものが、合成画像データ４４で、各付加情報領域を合成したものが合成画像データ４５である。図４では、抽出された付加情報をデータプレーンとして表現しているが、データプレーンでなくてもよい。
【００４４】
このように構成された画像処理装置では、データプレーン合成手段７によって、実施形態１の画像処理装置において分離された入力画像データを復元することができる。また、付加情報領域を合成して表示させることもできる。
【００４５】
ここで、付加情報は、本来入力画像データの画像として構成されていない領域に書き込まれている。したがって、入力画像データを復元した際には、付加情報が書き込まれた画像は表示されない。ゆえに、書き込まれた付加情報を人間が知覚できないようにするために、入力画像データに対して、周波数変換などの特殊な処理をしなくてもよい。
【００４６】
また、入力画像データの圧縮処理等による付加情報の歪みが生じる場合に、この歪みを防ぐために付加情報の強度を上げたとしても、合成した際には、人間に知覚される心配がない。よって、付加情報を埋め込む処理を容易にすることができる。
【００４７】
続いて、入力画像データとして、文字・線画と絵柄とからなる入力画像データに対して文字・線画部分の分離データプレーンと絵柄部分の分離データプレーンに分離する本発明の第３の実施の形態（以下、実施形態３）について説明する。
【００４８】
図５は、実施形態３にかかる画像処理装置の構成を示す図である。
【００４９】
属性分離部５１は、入力画像データの局所的な性質を検出し、その情報を参照して入力画像データを第１の分離データプレーンＤＴ１と第２の分離データプレーンＤＴ２に分離するブロックである。更に分離情報として、分離情報データＳＥＬを合わせて出力する。
【００５０】
ここで、分離情報データＳＥＬとは、所定のブロックごとに、第１分離データプレーンＤＴ１と第２分離データプレーンどちらのプレーンに入力画像データが分類されたかを２値で表現したデータプレーンのことをいう。
【００５１】
そして、ＤＴ２分離情報データＳＥＬが「１」を示す場合は入力画像データが第１分離データプレーンＤＴ１に、「０」を示す場合は第２分離データプレーンＤＴ２に分類されたことを示すものとする。また、第１分離データプレーンＤＴ１及び第２分離データプレーンＤＴ２において、分離情報データＳＥＬにより割り振りが行われなかった位置に相当する画像データには所定の値の画像データが挿入され、第１分離データプレーンＤＴ１と第２分離データプレーンＤＴ２はそれぞれ画像データプレーンを構成する。
【００５２】
属性分離部５１は、文字外形抽出部５２とマルチプレクサ５３から構成される。文字外形抽出部５２は、入力画像データを入力して文字や線画などの外形を抽出し、抽出された文字・線画部分に対して「１」を、文字・線画部分の背景に相当する部分に対しては「０」を出力する。
【００５３】
従って、文字外形抽出部５２の出力は第１分離データプレーンＤＴ１（以下の説明における文字色データが該当）と第２分離データプレーンＤＴ２（以下の説明における背景画像データに相当）を一義的に選択する分離情報データＳＥＬとみなすことができる。
【００５４】
付加情報書込部５４ａ，５４ｂは、分離情報データＳＥＬに基づいて、第１分離データプレーンＤＴ１と第２分離データプレーンの入力画像データの画像で構成されていない領域に付加情報を書き込む。
【００５５】
第１、第２の分離データプレーンＤＴ１の付加情報が埋め込まれた付加情報領域は、入力画像データを復元する際には、合成画像には含まれていない。したがって、圧縮等により付加情報が歪むのを防ぐために、付加情報の埋め込み強度を従来技術に比して強めても、人間に知覚される心配がない。
【００５６】
また、付加情報の埋め込み強度を上げても、知覚されないように付加情報を埋め込むように、処理を複雑にしなくてもよく、画像データを圧縮等する場合でも、画像データに対して付加情報を容易に埋め込むことができる。
【００５７】
なお、文字外形抽出部５２に入力すべき画像データの色空間は、以下の説明の通りＣＩＥ-Ｌ＊ａ＊ｂ＊均等色空間を想定しているが、これに限定されるものではない。また、後述するように本実施例では文字や線画部分の外形に注目して属性分離を行っているが、例えば文字部分の外接矩形の集合体で文字領域を抽出したりするなど、他の方法で属性分離を行ってもよい。
【００５８】
マルチプレクサ５３は、入力Ｌ＊ａ＊ｂ＊画像データを分離情報データが「１」を示した時は文字色データとして出力すると同時に、背景画像データとして所定値の画像データ、例えばＬ＊＝ａ＊＝ｂ＊＝０を出力する。分離情報データが「０」を示した時は、マルチプレクサ５３は入力画像データを背景画像データとして出力すると同時に、文字色データとして所定値の画像データ、例えばＬ＊＝ａ＊＝ｂ＊＝０を出力する。従って、属性分離部５１の出力である分離情報データ及び文字色データ、背景画像データは全て、主走査方向と副走査方向で同じ大きさとなる。
【００５９】
文字部分と絵柄部分が混在した画像データに対して、文字・線画部分の外形を抽出するアルゴリズムを適用して属性分離を行った結果について、図６を参照しつつ説明する。
【００６０】
図６（ａ）は、絵柄部分に相当する「日本地図」と色付き文字部分に相当する「ＪＡＰＡＮ」が混在した原稿画像である。図６（ｂ）は属性分離処理の結果を示す図である。属性分離処理によって抽出された「ＪＡＰＡＮ」の文字形状は分離情報データＳＥＬとなる。第１分離データプレーンＤＴ１は分離情報データＳＥＬが「１」、即ち図６（ｂ）における分離情報データＳＥＬの「黒」の部分に該当する原稿画像のデータが選択され、ここでは色付き文字の「ＪＡＰＡＮ」となる。そして第２分離データプレーンＤＴ２は分離情報データＳＥＬが「０」の部分に配置された「日本地図」が選択される。
【００６１】
属性分離の結果得られた３つのプレーンをそのまま画像データプレーンとしてもよいが、図６（ｂ）におけるＳＥＬ＝１で選択されたプレーンは文字の色情報を少なくとも保存していればよいので、文字形状に必ずしも合致する必要はない。そこで当該データプレーンに膨張処理を施すことで図６（ｃ）に示すような文字色パレットを生成する。文字色パレットを生成することにより、文字の外形に含まれていたエッジ情報がなくなるためにＩＴＵ−Ｔ勧告Ｔ．８１に示されたＪＰＥＧ方式で高能率にデータ圧縮することが可能となる。
【００６２】
また、図６（ｂ）におけるＳＥＬ＝０で選択されたプレーンに対しては、原稿画像（図６（ａ））において文字・線画が存在していた部分に有意の画像データが残っていないことから、当該箇所にその周辺の画像データに基づいた穴埋め処理を施して平坦化する。これにより、ＪＰＥＧ方式で圧縮率を低下させる要因となる文字の外形部エッジが緩やかになることから高能率にデータ圧縮することが可能となる。このようにして、図６（ｃ）に示すような多層の画像データプレーンが生成される。
【００６３】
文字外形抽出部５１における、文字・線画部分抽出アルゴリズムについて図７を用いて説明する。
【００６４】
文字・線画部分の外形を抽出すべきＬ＊ａ＊ｂ＊画像データは、各成分毎に所定の大きさのブロック、例えば８×８画素のブロックにまとめてブロック内の画素値ヒストグラムを求める（Ｓ７１）。
【００６５】
次いでブロック内部の最大画素値と最小画素値の差分を求め、所定の大きさの第１閾値ＴＨ１より大きいかどうかを調べ、更に分散値σが所定の大きさの第２閾値ＴＨ２より大きいかどうかを調べる。画素値の差分と分散値が共に大きいと判定された場合、当該ブロックは急峻な画素値変化部分を伴った文字・線画ブロックであると判定する（Ｓ７２）。
【００６６】
当該ブロックを文字・線画ブロックでないと判定した場合は、当該ブロックに関わる選択データを全て「０」とし、当該ブロック位置の他の色成分データについても同様の処理を繰り返す（Ｓ７７）。
【００６７】
文字・線画ブロックと判定されたブロックについては、当該ブロックの最大画素値と最小画素値の平均値を求め、これを当該ブロックの二値化処理に関わる閾値Ｂとする（Ｓ７３）。
【００６８】
そして当該ブロックに属する画素全てについて閾値Ｂとの比較を行い（Ｓ７４）、閾値Ｂより値が大きい画素に対して「１」を割り当て（Ｓ７６）、閾値Ｂより値が小さい画素に対しては「０」を割り当てる（Ｓ７５）。
【００６９】
この処理を８×８画素分繰り返し（ＬＯＯＰ１）、更に同じブロック位置のＬ＊ａ＊ｂ＊全ての色成分に対しても繰り返す（ＬＯＯＰ２）。そして各色成分の二値化結果の論理和を求めて当該ブロックの分離情報データを生成し（Ｓ７８）、１ページ分の画像データ全て処理するまで繰り返す（ＬＯＯＰ３）。
【００７０】
文字・線画部分の外形を抽出するアルゴリズムは、以上説明してきたような画素値の統計処理によって判定するものに限られないことは明らかであろう。この他にも、画像データの空間周波数分布を直交変換処理などにより求め、この結果を基に文字・線画部分の外形を抽出するようにしてもよい。
【００７１】
付加情報書込部５４ａは、文字色データを示す第１分離データプレーンＤＴ１に対して、文字・線画形状を示す分離情報データＳＥＬが論理「０」となる画素位置に付加情報を書き込むブロックである。同様に付加情報書込部５４ｂは、背景画像データを示す第２分離データプレーンＤＴ２に対して、分離情報データＳＥＬが論理「１」となる画素位置に付加情報を書き込むブロックである。
【００７２】
このように、付加情報書込部で、各画像データＤＴの選択されない部分の画素に情報を書き込むことで、合成時には、書き込まれた情報が画像データとして表示されない。したがって、圧縮する際に、情報が歪まないように付加情報の強度を上げても、人間に知覚されることはないため、複雑な処理を施す必要がない。
【００７３】
ここでは、第１分離データプレーンＤＴ１や第２分離データプレーンＤＴ２と同様なラスター画像形式で付加情報を付加情報書込部５４ａ，５４ｂに入力することを想定して説明を行ったが、テキスト形式やＰｏｓｔＳｃｒｉｐｔ（米国Ａｄｏｂｅ社の登録商標）などのプリンタ記述言語形式で付加情報書込部５４ａ，５４ｂに取り込んでラスター画像形式に変換した上で第１分離データプレーンＤＴ１や第２分離データプレーンＤＴ２との合成を行ってもよい。
【００７４】
また付加情報は、第１分離データプレーンＤＴ１もしくは第２分離データプレーンＤＴ２のいずれか一方に限定して追加してもよい。
【００７５】
図８は、多層構造の画像データプレーンの内、第１分離データプレーンＤＴ１に対して付加情報を追加した状態を説明する図である。前述のように、分離情報データＳＥＬは文字・線画形状を示す画像データであって、文字・線画情報が存在する領域８１と文字・線画情報が存在しない領域８４が混在している。
【００７６】
文字・線画情報が存在する領域８１に対応して、第１分離データプレーンＤＴ１には文字色データが、例えば赤文字部分に対応する文字色データ部分８２や黒文字部分に対応する文字色データ部分８３が含まれている。そして分離情報データＳＥＬ上の文字・線画情報が存在しない領域８４に対応する第１分離データプレーンＤＴ１上の領域８５には、前述したように付加情報が、例えば「著作権情報」がラスター画像形式で追記されている。
【００７７】
この場合、領域８５に書き込まれた付加情報は第１分離データプレーンＤＴ１上では可視情報であるが、当該領域に対応する分離情報データＳＥＬ上の領域８４は論理「０」を示していて多層構造の画像データプレーンを元の画像データに復元合成する際に有効画素として選択されないため、図８（ｂ）に示す合成画像上には現れない。
【００７８】
以上の説明では、付加情報を多層画像データプレーン上では可視情報で追加する場合について説明を行ったが、付加情報は必ずしも可視化する必要はない。例えば、「画像深層暗号（松井甲子雄著、森北出版）」の第６章で解説されているように、多値の第１分離データプレーンＤＴ１や第２分離データプレーンＤＴ２を離散コサイン変換によって直交変換し、その冗長部分（この場合は高周波成分領域）に付加情報を追加してもよい。
【００７９】
従来技術においては、周波数空間上で付加情報を追加したものを元の画像データに復元する際に、付加情報の逆直交変換結果が画像データに対して視覚的に雑音とならないよう、付加情報の情報量や埋め込み強度を調整する必要があったが、本発明によれば第１分離データプレーンＤＴ１や第２分離データプレーンＤＴ２の付加情報が埋め込まれた部分は分離情報データＳＥＬに選択されることなく合成画像へ復元されるので、付加情報の埋め込み強度を従来技術に比して強められることは明らかであろう。
【００８０】
さらに、実施形態３のような画像処理装置で生成された分離データプレーンの入力画像領域を合成して、入力画像データを復元するだけでなく、意図的に付加情報領域を合成することができる本発明の第４の実施の形態（以下、実施形態４）について、その構成を図９乃至１１を用いて説明する。
【００８１】
図９では、図５で示した本発明による画像処理装置に対してデータ変換部９５が追加された構成になっている。
【００８２】
属性分離部９１は、図５同様に文字外形抽出部９２とマルチプレクサ９３とから構成され、入力画像データを文字形状に基づく分離情報データＳＥＬの論理に従って、文字色データに相当する第１の分離データプレーンＤＴ１（分離情報データＳＥＬが「１」を示す場合）と、背景画像に相当する第２の分離データプレーンＤＴ２（分離情報データＳＥＬが「０」を示す場合）に分離し、それらを多層画像データプレーンとして出力する。そして付加情報書込部９４ａ，９４ｂはそれぞれ分離情報データＳＥＬの論理に従って合成時に有効データとして選択されない所定の領域に付加情報を書き込む。
【００８３】
データ変換部９５は、更に分離情報データＳＥＬの論理を反転するインバータ９６と、反転分離情報データＳＥＬ、付加情報を書き込んだ第１分離データプレーンＤＴ１´と第２分離データプレーンＤＴ２´のデータ量を情報圧縮するための圧縮符号化器９７ａ，９７ｂ，９７ｃとから構成される。圧縮符号化器９７ａは二値の反転分離情報データを扱うことから、ＩＴＵ−Ｔ勧告Ｔ.４に示されたＭＨ／ＭＲ方式、Ｔ.６に示されたＭＭＲ方式、Ｔ.８５に示されたＪＢＩＧ方式などの圧縮符号化方式を使用する。
【００８４】
また圧縮符号化器９７ｂ，９７ｃは多値画像データを扱うことから、ＩＴＵ−Ｔ勧告Ｔ.８１に示されたＪＰＥＧ方式を使用する。データ変換部９５に圧縮符号化器９７ａ，９７ｂ，９７ｃを備えたことにより、多層画像データプレーンのデータ量を削減することが可能となって、ネットワーク経由で他の画像処理装置などに送信したり、あるいはハードディスク装置や可搬記録媒体などに効率よく保存することができる。
【００８５】
図１０を用いて、分離情報データの論理を反転することで多層画像データプレーンの復元画像データがどのように変わるかを説明する。
【００８６】
図１０（ａ）は多層画像データプレーンの各プレーンを示しており、分離情報データＳＥＬ上には文字・線画情報が存在する領域１０１と文字・線画情報が存在しない領域１０４が含まれている。第１分離データプレーンＤＴ１上には、分離情報データＳＥＬ上の文字・線画情報が存在する領域１０１に対応する文字色データが、例えば赤文字色データ部分１０２や黒文字色データ部分１０３が含まれている。
【００８７】
また、分離情報データＳＥＬ上の文字・線画情報が存在しない領域１０４に対応する第１分離データプレーンＤＴ１上の領域１０５には、付加情報がラスター画像形式で追記されている。図１０（ｃ）は分離情報データＳＥＬの論理に従って多層画像データプレーンを合成した結果を示しており、前述したように、第１分離データプレーンＤＴ１上で追記された付加情報は分離情報データＳＥＬの論理に従うと選択されないために合成画像上では可視化されない。
【００８８】
一方、図１０（ｂ）は分離情報データＳＥＬの論理を反転したものに従って多層画像データプレーンを合成した結果を示しており、この場合、本来背景画像が第２分離データプレーンＤＴ２より選択される領域に付加情報を追加した第１分離データプレーンＤＴ１上のデータが選択されることになるので、合成画像上には付加情報が可視化される。
【００８９】
ここで、付加情報として例えば「閲覧制限のため表示不可」のような警告を発するテキスト情報をラスター画像形式ヘ変換したものを使用し、多層画像データプレーンを生成する際に分離情報データＳＥＬの論理を反転しておくことで、このような多層画像データプレーンを分離情報データＳＥＬの論理を反転せずに合成すると付加情報が可視化され、例えば閲覧が認められていない操作者に対して所定の警告を発することが可能となる。
【００９０】
図１１は、付加情報を書き込んだ多層画像データプレーンデータを、元の単層画像データに復元・合成する画像処理装置の構成を説明する図である。
【００９１】
データファイル１１１は、分離情報データＳＥＬの圧縮符号化データ、第１分離データプレーンＤＴ１の圧縮符号化データ、第２分離データプレーンＤＴ２の圧縮符号化データを含んでおり、それぞれの圧縮符号化データのファイル上での格納位置はファイルヘッダの中で示されているものとする。
【００９２】
図示しないファイル情報読み出し部は、ヘッダ情報の内容を解析して各プレーンの圧縮符号化データの格納位置を認識し、分離情報データＳＥＬの圧縮符号化データを第１の伸長器１１２ａに、第１分離データプレーンＤＴ１の圧縮符号化データを第２の伸長器１１２ｂに、第２分離データプレーンＤＴ２の圧縮符号化データを第３の伸長器１１２ｃにそれぞれ振り分ける。
【００９３】
第１の伸長器１１２ａは符号化された二値の分離情報データを伸長するので、ＩＴＵ−Ｔ勧告Ｔ.４に示されたＭＨ／ＭＲ方式、Ｔ.６に示されたＭＭＲ方式、Ｔ.８５に示されたＪＢＩＧ方式などを使用することができる。第２および第３の伸長器１１２ｂ，１１２ｃは符号化された多値画像データを伸長するので、ＩＴＵ−Ｔ勧告Ｔ.８１に示されたＪＰＥＧ方式などを使用することができる。
【００９４】
付加情報を追加された可能性がある第１分離データプレーンＤＴ１、第２分離データプレーンＤＴ２は付加情報抽出部１１３にて所定の付加情報が書き込まれているかどうか分析される。
【００９５】
マルチプレクサ１１４は、付加情報抽出部１１３の検出結果を参照しつつ、分離情報データＳＥＬの論理に従って第１分離データプレーンＤＴ１と第２分離データプレーンＤＴ２の合成処理を行う。
【００９６】
例えば、所定の比較情報と、第１分離データプレーンＤＴ１や第２分離データプレーンＤＴ２から検出された付加情報とが一致した場合、操作者には閲覧権が付与されているものとして分離情報データＳＥＬを反転し、反転した分離情報データの論理に従って合成処理を行えば、前述のような警告を示す付加情報を可視化することなく元の画像が復元合成される。
【００９７】
一方、比較情報と検出された付加情報が一致しなかった場合は、操作者には閲覧権がないものとして分離情報データＳＥＬを反転させることなくその論理に従って合成処理を行い、警告を示す付加情報を合成画像上に可視化する。
【００９８】
また、所定の比較情報が付加情報と一致しなかった場合は、マルチプレクサ１１４における合成処理自体を行わないようにしてもよい。
【００９９】
付加情報抽出部１１３では、必ずしも比較情報の入力を必要としない。例えば、閲覧が許可されたことを示す付加情報が書き込まれている場合を考えると、そのような付加情報が第１分離データプレーンＤＴ１や第２分離データプレーンＤＴ２から検出された多層画像データプレーンで表現された画像は閲覧が許可されたものであると解釈できる。
【０１００】
逆に、そのような付加情報が検出されなかった多層画像データプレーン画像は閲覧が許可されていないと解釈することができる。付加情報が検出されたときは、付加情報抽出部１１３の出力に基づいてマルチプレクサ１１４の合成処理を実行可能とし、伸長された分離情報データＳＥＬの論理に従って、第１分離データプレーンＤＴ１と第２画像データを合成する。付加情報が検出されなかったときは、マルチプレクサ１１４の合成処理実行を禁止する。
【０１０１】
【発明の効果】
上述のように、従来技術においては、周波数空間上で付加情報を追加したものを元の画像データに復元する際に、付加情報の逆直交変換結果が画像データに対して視覚的に雑音とならないよう、付加情報の情報量や埋め込み強度を調整する必要があった。
【０１０２】
しかし、本発明によれば、入力画像データを復元する際には、各分離データプレーンの付加情報が書き込まれた付加情報領域部分は、合成画像データを構成する画像には含まれない。したがって、圧縮等により付加情報が歪むのを防ぐために、付加情報の埋め込み強度を従来技術に比して強めても、人間に知覚される心配がない。
【０１０３】
また、付加情報の埋め込み強度を上げても、付加情報が知覚されないようにするために処理を複雑にしなくてもよく、画像データを圧縮等する場合でも、画像データに対して付加情報を容易に埋め込むことができる。
【図面の簡単な説明】
【図１】本発明の実施形態１にかかる画像処理装置の構成を示す図である。
【図２】本発明の実施形態１において、入力画像データに付加情報を書き込む様子を表したイメージ図である。
【図３】本発明の実施形態２にかかる画像処理装置の構成を示す図である。
【図４】本発明の実施形態２において、分離データプレーンを分離情報に基づいて合成する様子を示すイメージ図である。
【図５】本発明の実施形態３にかかる画像処理装置の構成を示す図である。
【図６】本発明の実施形態３において、文字・線画部分の外形を抽出して属性分離を行った結果を示す図である。
【図７】本発明の実施形態３において、文字・線画部分抽出アルゴリズムを説明するフローチャートである。
【図８】本発明の実施形態３において、第１分離データプレーンＤＴ１に対して付加情報を追加した状態を説明する図である。
【図９】本発明の実施形態４にかかる画像処理装置の構成を示す図である。
【図１０】本発明の実施形態４において、生成された多層画像データプレーンの合成結果を説明する図である。
【図１１】本発明の実施形態４において、付加情報を書き込んだ多層画像データプレーンデータを、元の単層画像データに復元・合成する画像処理装置の構成を示す図である。
【符号の説明】
１データプレーン生成手段、２分離情報生成手段、３付加情報書込手段、４データプレーン受取手段、５分離情報受取手段、６付加情報抽出手段、７データプレーン合成手段、２１入力画像データ、２２，２３，２４，２６，４１，４２分離データプレーン、２４，４３分離情報、４４，４５合成画像データ、４６，４７付加情報、５１，９１属性分離部、５２，９２文字外形抽出部、５３，９３，１１４マルチプレクサ、５４ａ，５４ｂ，９４ａ，９４ｂ付加情報書込部、９５データ変換部、９６インバータ、９７ａ，９７ｂ，９７ｃ圧縮符号化器、１１１データファイル、１１２ａ，１１２ｂ，１１２ｂ伸長器、１１３付加情報抽出部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus capable of writing other additional information such as copyright information and security information in image data.
[0002]
[Prior art]
With the widespread use of broadband communication networks, large-capacity digital image data such as still images and moving images can be easily distributed. Along with this, electronic watermark technology has attracted attention from the viewpoint of protecting the copyright of digital image data that can be easily copied.
[0003]
This technique is a technique for embedding certain information in the digital image data so that it cannot be perceived by humans by applying predetermined processing to the digital image data.
[0004]
As a typical example of such a digital watermarking technique, Digimarc's method of separating image data into blocks and superimposing a predetermined watermark pattern, which is a combination of +1 and -1, for each separated block. There is a technique disclosed in US Pat. No. 5,636,292.
[0005]
In addition to this, there is a technique of embedding digital image data by performing frequency transformation such as discrete cosine transformation or fast Fourier transformation, adding additional information in the frequency domain, and then performing inverse frequency transformation.
[0006]
As described above, the technique of embedding additional information in the image data disclosed as the prior art adds the additional information by processing the image data at a level not perceived by humans.
[0007]
[Patent Document 1]
US Pat. No. 5,636,292
[0008]
[Problems to be solved by the invention]
However, JPEG compression processing may be performed to reduce the amount of image data in which additional information is embedded according to the prior art. In this case, distortion is added to the image data and the additional information embedded by the quantization process of the discrete cosine transform coefficient. As a result, when the embedding strength of the additional information is weak, the additional information may be destroyed by the compression process.
[0009]
If the embedding strength is increased when embedding the additional information, the additional information can be prevented from being destroyed by JPEG compression processing or the like. However, if the strength is increased, the embedded additional information is easily perceived by humans.
[0010]
As a result, the process of embedding additional information has been complicated in order to prevent the embedded information from being destroyed by processing such as image data compression.
[0011]
The present invention solves the above-described problems of the prior art, and is easy without being aware of processing at a level that cannot be perceived by humans even when additional information is embedded in image data to be compressed. It is an object of the present invention to provide an image processing apparatus that can be embedded in a computer.
[0012]
[Means for Solving the Problems]
The above problem can be realized by the following image processing apparatus. That is, the image processing apparatus according to the present invention is an image processing apparatus that writes additional information to input image data, and separates the input image data according to a predetermined encoding process, and generates each as a separated data plane. Data plane generation means, separation information generation means for generating separation information indicating which separation area input image data is included in each separation data plane, and the separation data based on the separation information An area that does not contain the image of the input image data of the plane Identify the identified area And additional information writing means for writing predetermined additional information.
[0013]
In the image processing apparatus configured as described above, the input image data is separated according to a predetermined encoding process. Then, the additional information can be written in an area that is not configured with the image of the input image data in the separation data plane generated at that time. Specifically, the area where the additional information writing means is not configured with the image of the input image data of the separation area data plane based on the separation information Identify the identified area Write predetermined additional information in
[0014]
An area that is not composed of the image of the input image data of the separation data plane is not displayed as an image when the separation data plane is combined to restore the input image data. Therefore, in order to prevent humans from perceiving additional information to be written in the area, it is not necessary to perform special processing such as frequency conversion on the input image data.
[0015]
Also, when additional information is distorted due to input image data compression processing or the like, even if the intensity of the additional information is increased in order to prevent this distortion, there is no fear of being perceived by humans when they are combined. Therefore, the process of embedding additional information can be facilitated.
[0016]
Furthermore, the image processing apparatus according to the present invention is characterized in that the predetermined encoding process is a compression encoding process.
[0017]
As described above, by separating the input image data according to the compression encoding process, the compression efficiency of the input image data is improved.
[0018]
The image processing apparatus according to the present invention includes a data plane receiving unit that receives the separation data plane generated by the image processing apparatus, a separation information receiving unit that receives the separation information generated by the image processing apparatus, An additional information extraction unit that extracts additional information written in the separation data plane based on the separation information, and a data plane combination unit that combines the separation data plane based on the separation information. And
[0019]
In the image processing apparatus configured as described above, the additional information extraction unit extracts the additional information written in the separated data plane. Data plane combining means combines the separated data planes based on the separation information.
[0020]
Furthermore, in the image processing apparatus according to the present invention, the data plane synthesizing unit synthesizes an input image area of each separation data plane based on the separation information.
[0021]
In the image processing apparatus configured as described above, the data plane synthesizing unit can restore the separated input image data.
[0022]
The additional information is written in an area that is not originally configured as an image of the input image data. Therefore, when the input image data is restored, the area where the additional information is written is not displayed. Therefore, in order to prevent the additional information from being perceived by humans, it is not necessary to perform special processing such as frequency conversion on the input image data.
[0023]
Further, when distortion of additional information occurs due to compression processing of input image data, even if the strength of the additional information is increased to prevent this distortion, there is a concern that humans may perceive when restoring the input image data. There is no. Therefore, the process of embedding additional information can be facilitated.
[0024]
Furthermore, in the image processing apparatus according to the present invention, the data plane synthesizing unit synthesizes an additional information area of each separation data plane based on the separation information.
[0025]
In the image processing apparatus configured as described above, the data plane synthesizing unit synthesizes the additional information area of the separated data plane. Therefore, additional information that is not originally displayed can be displayed without restoring the intentionally separated input image data.
[0026]
In the image processing apparatus according to the present invention, the additional information includes a condition indicating which region of each separated data plane is to be combined, and the data plane combining unit is configured to respond to the additional information. Thus, it is a means for synthesizing the input image areas of the separated data planes and synthesizing the additional information areas of the separated data planes.
[0027]
In the image processing apparatus configured as described above, the area of the separated data plane to be combined can be changed according to the additional information.
[0028]
Therefore, for example, the presence / absence of the viewing right is written in the additional information, the image of the input image data is displayed only for those who have the viewing right, and the image of the input image data is added to the person who does not have the viewing right. An image such as “unviewable” written in the information can be displayed.
[0029]
Further, in the image processing apparatus according to the present invention, the additional information includes determination information as to whether or not to synthesize a separated data plane, and the data plane generation unit determines whether to synthesize based on the additional information. It is a means for combining after determining whether or not.
[0030]
In the image processing apparatus configured as described above, the separated data planes can be intentionally not combined according to the additional information.
[0031]
Therefore, for example, the presence / absence of the viewing right of the input image data is written in the additional information, and only the person with the viewing right composes the separation data plane, and the person without the viewing right does not display any image without compositing. It can also be.
[0032]
The image processing apparatus according to the present invention is characterized in that when the separated data plane or the separated information is received in a compressed state, the image processing apparatus includes a decompression processing unit that decompresses them.
[0033]
In the image processing apparatus configured as described above, even if the separation data plane and the separation information are received in a compressed state, the image data can be appropriately decompressed and synthesized.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Regarding the embodiment of the present invention, first, the input image data is divided into two by a predetermined encoding process, and additional information is written in a predetermined area (hereinafter referred to as the embodiment). 1) will be described with reference to FIGS.
[0035]
FIG. 1 is a configuration diagram of an image processing apparatus according to the first embodiment. FIG. 2 is an image diagram showing how additional information is written to input image data in the first embodiment.
[0036]
In the image processing apparatus according to the first embodiment, the data plane generating unit 1 separates the input image data 21 according to a predetermined encoding process, and generates two separated data planes 22 and 23. Further, the separation information generation means 2 generates separation information 24 indicating which separation region input image data is included in each separation data plane. Then, the additional information writing means 3 writes predetermined additional information in an area not including the image of the input image data of the separation data plane based on the separation information (25, 26).
[0037]
Here, the predetermined encoding process is, for example, a compression encoding process, and the input image data is separated so as to improve the compression efficiency rather than compressing the input image data as it is.
[0038]
In the image processing apparatus configured as described above, the additional information writing unit 3 writes predetermined additional information in an area that is not configured by the image of the input image data of the separation area data plane based on the separation information.
[0039]
A region that is not composed of the input image data image of the separation data plane is not displayed as an image when the separation data plane is synthesized and the input image data is restored. Therefore, in order to prevent humans from perceiving additional information to be written in the area, it is not necessary to perform special processing such as frequency conversion on the input image data.
[0040]
Also, when additional information is distorted due to input image data compression processing or the like, even if the intensity of the additional information is increased in order to prevent this distortion, there is no fear of being perceived by humans when they are combined. Therefore, the process of embedding additional information can be facilitated.
[0041]
Subsequently, for example, see FIGS. 3 and 4 for the second embodiment of the present invention (hereinafter referred to as the second embodiment) in which the separated data planes generated in the first embodiment are combined based on the separated information. To explain.
[0042]
FIG. 3 is a configuration diagram of the image processing apparatus according to the second embodiment. FIG. 4 is an image diagram showing how the separated data planes are combined based on the separation information.
[0043]
In the image processing apparatus according to the second embodiment, the data plane receiving unit 4 receives the separation data planes 41 and 42, and the separation information receiving unit 5 receives the separation information. Then, the additional information extraction unit 6 extracts the additional information 46 and 47 written in the separation data plane based on the separation information. Further, the data plane combining unit 7 determines which area of each separated data plane is to be combined based on the additional information, and combines the separated data planes. The synthesized image data 44 is obtained by synthesizing the image areas of the separated data planes, and the synthesized image data 45 is obtained by synthesizing the additional information areas. In FIG. 4, the extracted additional information is represented as a data plane, but it may not be a data plane.
[0044]
In the image processing apparatus configured as described above, the input image data separated in the image processing apparatus according to the first embodiment can be restored by the data plane synthesis unit 7. Further, the additional information area can be synthesized and displayed.
[0045]
Here, the additional information is written in an area that is not originally configured as an image of the input image data. Therefore, when the input image data is restored, the image in which the additional information is written is not displayed. Therefore, it is not necessary to perform special processing such as frequency conversion on the input image data in order to prevent human beings from perceiving the written additional information.
[0046]
Also, when additional information is distorted due to input image data compression processing or the like, even if the intensity of the additional information is increased in order to prevent this distortion, there is no fear of being perceived by humans when they are combined. Therefore, the process of embedding additional information can be facilitated.
[0047]
Subsequently, as the input image data, the third embodiment of the present invention in which input image data composed of characters / line drawings and patterns is separated into a character / line drawing portion separation data plane and a pattern portion separation data plane ( Hereinafter, Embodiment 3) will be described.
[0048]
FIG. 5 is a diagram illustrating a configuration of the image processing apparatus according to the third embodiment.
[0049]
The attribute separation unit 51 is a block that detects a local property of input image data and separates the input image data into a first separation data plane DT1 and a second separation data plane DT2 by referring to the information. Further, separation information data SEL is output together as separation information.
[0050]
Here, the separation information data SEL is a data plane that expresses, in binary form, the input image data classified into the first separation data plane DT1 or the second separation data plane for each predetermined block. Say.
[0051]
When the DT2 separation information data SEL indicates “1”, the input image data is classified into the first separation data plane DT1, and when “0” indicates the second separation data plane DT2. . Further, in the first separation data plane DT1 and the second separation data plane DT2, image data having a predetermined value is inserted into image data corresponding to a position where the allocation is not performed by the separation information data SEL, and the first separation data plane DT1 and the second separation data plane DT2. Each of the plane DT1 and the second separated data plane DT2 constitutes an image data plane.
[0052]
The attribute separation unit 51 includes a character outline extraction unit 52 and a multiplexer 53. The character outline extraction unit 52 inputs input image data and extracts outlines of characters and line drawings, and sets “1” for the extracted character / line drawing part to a part corresponding to the background of the character / line drawing part. In contrast, “0” is output.
[0053]
Therefore, the output of the character outline extraction unit 52 uniquely selects the first separated data plane DT1 (corresponding to the character color data in the following description) and the second separated data plane DT2 (corresponding to the background image data in the following description). It can be regarded as separation information data SEL.
[0054]
Based on the separation information data SEL, the additional information writing units 54a and 54b write the additional information in areas that are not composed of the input image data images of the first separation data plane DT1 and the second separation data plane.
[0055]
The additional information area in which the additional information of the first and second separated data planes DT1 is embedded is not included in the composite image when the input image data is restored. Therefore, even if the embedding strength of the additional information is increased as compared with the prior art in order to prevent the additional information from being distorted due to compression or the like, there is no fear of being perceived by humans.
[0056]
Further, even if the embedding strength of the additional information is increased, the additional information is embedded so as not to be perceived, so that the processing does not have to be complicated, and even when the image data is compressed, the additional information is easily added to the image data Can be embedded in.
[0057]
The color space of the image data to be input to the character outline extraction unit 52 is assumed to be a CIE-L * a * b * uniform color space as described below, but is not limited to this. As will be described later, in this embodiment, attribute separation is performed by paying attention to the outer shape of characters and line drawing parts. However, other methods such as extracting a character region from a set of circumscribed rectangles of character parts, for example, Attribute separation may be performed with.
[0058]
The multiplexer 53 outputs the input L * a * b * image data as character color data when the separation information data indicates “1”, and at the same time, image data of a predetermined value as background image data, for example L * = a *. = B * = 0 is output. When the separation information data indicates “0”, the multiplexer 53 outputs the input image data as background image data, and at the same time, sets a predetermined value of image data such as L * = a * = b * = 0 as character color data. Output. Therefore, the separation information data, the character color data, and the background image data that are output from the attribute separation unit 51 all have the same size in the main scanning direction and the sub-scanning direction.
[0059]
The result of attribute separation performed by applying an algorithm for extracting the outer shape of the character / line drawing part to the image data in which the character part and the picture part are mixed will be described with reference to FIG.
[0060]
FIG. 6A is an original image in which “Japan map” corresponding to the pattern portion and “JAPAN” corresponding to the colored character portion are mixed. FIG. 6B shows the result of the attribute separation process. The character shape of “JAPAN” extracted by the attribute separation process becomes separation information data SEL. In the first separation data plane DT1, the separation information data SEL is “1”, that is, the data of the original image corresponding to the “black” portion of the separation information data SEL in FIG. 6B is selected. Japan ". In the second separation data plane DT2, “Japan map” in which the separation information data SEL is arranged at “0” is selected.
[0061]
The three planes obtained as a result of the attribute separation may be used as image data planes as they are, but the plane selected with SEL = 1 in FIG. 6B only needs to store at least character color information. It is not always necessary to match the shape. Therefore, a character color palette as shown in FIG. 6C is generated by performing expansion processing on the data plane. By generating the character color palette, the edge information included in the outer shape of the character is lost, so The data can be compressed with high efficiency by the JPEG method shown in FIG.
[0062]
In addition, for the plane selected with SEL = 0 in FIG. 6B, no significant image data remains in the portion where the character / line image exists in the original image (FIG. 6A). Then, the portion is flattened by performing hole filling processing based on the surrounding image data. As a result, the outer edge of the character, which causes the compression rate to decrease in the JPEG method, becomes gentle, so that data can be compressed with high efficiency. In this way, a multilayer image data plane as shown in FIG. 6C is generated.
[0063]
A character / line drawing part extraction algorithm in the character outline extraction unit 51 will be described with reference to FIG.
[0064]
The L * a * b * image data from which the outline of the character / line drawing portion is to be extracted is grouped into blocks of a predetermined size for each component, for example, 8 × 8 pixel blocks, and a pixel value histogram in the block is obtained ( S71).
[0065]
Next, a difference between the maximum pixel value and the minimum pixel value in the block is obtained, whether or not the difference is larger than the first threshold value TH1 having a predetermined size, and whether or not the variance value σ is larger than the second threshold value TH2 having a predetermined size. Check out. If it is determined that both the pixel value difference and the variance value are large, the block is determined to be a character / line drawing block with a steep pixel value change portion (S72).
[0066]
If it is determined that the block is not a character / line drawing block, all the selection data related to the block is set to “0”, and the same processing is repeated for other color component data of the block position (S77).
[0067]
For a block determined to be a character / line drawing block, an average value of the maximum pixel value and the minimum pixel value of the block is obtained, and this is set as a threshold B related to the binarization processing of the block (S73).
[0068]
Then, all the pixels belonging to the block are compared with the threshold B (S74), “1” is assigned to a pixel having a value larger than the threshold B (S76), and for a pixel having a value smaller than the threshold B, “1” is assigned. 0 "is assigned (S75).
[0069]
This process is repeated for 8 × 8 pixels (LOOP1), and further repeated for all color components of L * a * b * at the same block position (LOOP2). Then, the logical sum of the binarization results of the respective color components is obtained to generate separation information data for the block (S78), and the process is repeated until all the image data for one page is processed (LOOP3).
[0070]
It will be apparent that the algorithm for extracting the outline of the character / line drawing part is not limited to the one determined by the statistical processing of pixel values as described above. In addition, the spatial frequency distribution of the image data may be obtained by orthogonal transform processing or the like, and the outline of the character / line drawing part may be extracted based on the result.
[0071]
The additional information writing unit 54a is a block for writing additional information at a pixel position where the separation information data SEL indicating the character / line drawing shape is logical “0” with respect to the first separation data plane DT1 indicating the character color data. . Similarly, the additional information writing unit 54b is a block that writes additional information at a pixel position where the separation information data SEL is logic “1” with respect to the second separation data plane DT2 indicating the background image data.
[0072]
As described above, the additional information writing unit writes information to the pixels of the unselected portion of each image data DT, so that the written information is not displayed as image data at the time of synthesis. Therefore, even if the strength of the additional information is increased so that the information is not distorted during compression, it is not perceived by humans, so that it is not necessary to perform complicated processing.
[0073]
Here, the description has been made on the assumption that the additional information is input to the additional information writing units 54a and 54b in the same raster image format as the first separated data plane DT1 and the second separated data plane DT2. And PostScript (registered trademark of Adobe Corporation in the United States) such as a printer description language format, which is taken into the additional information writing sections 54a and 54b and converted into a raster image format, and the first separated data plane DT1 and the second separated data plane DT2 You may synthesize | combine.
[0074]
Further, the additional information may be added only to one of the first separated data plane DT1 and the second separated data plane DT2.
[0075]
FIG. 8 is a diagram illustrating a state in which additional information is added to the first separated data plane DT1 in the image data plane having a multilayer structure. As described above, the separation information data SEL is image data indicating a character / line drawing shape, and a region 81 where character / line drawing information exists and a region 84 where character / line drawing information does not exist are mixed.
[0076]
Corresponding to the area 81 where the character / line drawing information exists, the first separated data plane DT1 includes character color data, for example, a character color data portion 82 corresponding to a red character portion or a character color data portion 83 corresponding to a black character portion. It is included. In the area 85 on the first separation data plane DT1 corresponding to the area 84 where character / line drawing information does not exist on the separation information data SEL, as described above, the additional information, for example, “copyright information” is the raster image format. It is added in.
[0077]
In this case, the additional information written in the area 85 is visible information on the first separation data plane DT1, but the area 84 on the separation information data SEL corresponding to the area indicates a logical “0” and has a multilayer structure. Since this image data plane is not selected as an effective pixel when restored and synthesized with the original image data, it does not appear on the synthesized image shown in FIG.
[0078]
In the above description, the case where the additional information is added as visible information on the multilayer image data plane has been described. However, the additional information does not necessarily need to be visualized. For example, as explained in Chapter 6 of “Image Deep Cryptography (by Koko Matsui, Morikita Publishing)”, the multi-value first separated data plane DT1 and the second separated data plane DT2 are orthogonally transformed by discrete cosine transformation. Further, additional information may be added to the redundant portion (in this case, the high frequency component region).
[0079]
In the prior art, when the information added with the additional information in the frequency space is restored to the original image data, the additional information is stored so that the inverse orthogonal transformation result of the additional information does not visually become noise with respect to the image data. Although it was necessary to adjust the information amount and the embedding strength, according to the present invention, the portion where the additional information of the first separation data plane DT1 and the second separation data plane DT2 is embedded is selected as the separation information data SEL. It will be clear that the embedding strength of the additional information can be increased compared to the prior art because the image is restored to the composite image without any problem.
[0080]
Furthermore, the book which can synthesize | combine an additional information area | region intentionally not only by combining the input image area | region of the separation data plane produced | generated by the image processing apparatus like Embodiment 3, but restoring input image data. The configuration of the fourth embodiment (hereinafter referred to as the fourth embodiment) of the invention will be described with reference to FIGS.
[0081]
In FIG. 9, a data conversion unit 95 is added to the image processing apparatus according to the present invention shown in FIG.
[0082]
The attribute separation unit 91 includes a character outline extraction unit 92 and a multiplexer 93 as in FIG. 5, and the first separation data corresponding to the character color data according to the logic of the separation information data SEL based on the character shape of the input image data. A plane DT1 (when the separation information data SEL indicates “1”) and a second separation data plane DT2 (when the separation information data SEL indicates “0”) corresponding to the background image are separated, and these are divided into multilayer images. Output as data plane. Further, the additional information writing units 94a and 94b write the additional information in predetermined areas that are not selected as valid data at the time of synthesis in accordance with the logic of the separation information data SEL.
[0083]
The data converter 95 further converts the amount of data of the first separated data plane DT1 ′ and the second separated data plane DT2 ′ into which the inverter 96 for inverting the logic of the separated information data SEL, the inverted separated information data SEL, and the additional information is written. It comprises compression encoders 97a, 97b, 97c for compressing information. Since the compression encoder 97a handles binary inverted separation information data, the MH / MR system shown in ITU-T recommendation T.4, the MMR system shown in T.6, and T.85 A compression coding method such as JBIG method is used.
[0084]
Since the compression encoders 97b and 97c handle multi-valued image data, the JPEG method shown in ITU-T recommendation T.81 is used. Since the data conversion unit 95 includes the compression encoders 97a, 97b, and 97c, the data amount of the multilayer image data plane can be reduced, and the data can be transmitted to other image processing apparatuses via the network. Alternatively, it can be efficiently stored in a hard disk device or a portable recording medium.
[0085]
With reference to FIG. 10, how the restored image data of the multilayer image data plane changes by inverting the logic of the separation information data will be described.
[0086]
FIG. 10A shows each plane of the multilayer image data plane, and the separation information data SEL includes a region 101 where character / line drawing information exists and a region 104 where character / line drawing information does not exist. On the first separation data plane DT1, the character color data corresponding to the area 101 where the character / line drawing information exists on the separation information data SEL includes, for example, the red character color data portion 102 and the black character color data portion 103. Yes.
[0087]
In addition, additional information is additionally written in a raster image format in an area 105 on the first separated data plane DT1 corresponding to an area 104 where character / line drawing information does not exist on the separated information data SEL. FIG. 10C shows the result of synthesizing the multilayer image data planes according to the logic of the separation information data SEL. As described above, the additional information added on the first separation data plane DT1 is the separation information data SEL. Since it is not selected according to logic, it is not visualized on the composite image.
[0088]
On the other hand, FIG. 10B shows the result of synthesizing the multilayer image data plane according to the reverse of the logic of the separation information data SEL. In this case, the region where the background image is originally selected from the second separation data plane DT2. Since the data on the first separated data plane DT1 to which the additional information is added is selected, the additional information is visualized on the composite image.
[0089]
Here, as additional information, for example, text information that generates a warning such as “cannot be displayed due to viewing restrictions” is converted into a raster image format, and the logic of the separation information data SEL is generated when generating a multilayer image data plane. If the multi-layer image data plane is synthesized without inverting the logic of the separation information data SEL, the additional information is visualized. For example, a predetermined warning is given to an operator who is not allowed to browse. Can be issued.
[0090]
FIG. 11 is a diagram illustrating a configuration of an image processing apparatus that restores and combines the multilayer image data plane data in which the additional information is written into the original single-layer image data.
[0091]
The data file 111 includes compressed encoded data of the separation information data SEL, compressed encoded data of the first separated data plane DT1, and compressed encoded data of the second separated data plane DT2. The storage location on the file is indicated in the file header.
[0092]
A file information reading unit (not shown) analyzes the content of the header information to recognize the storage location of the compression encoded data of each plane, and stores the compression encoded data of the separation information data SEL in the first decompressor 112a. The compressed encoded data of the separated data plane DT1 is allocated to the second decompressor 112b, and the compressed encoded data of the second separated data plane DT2 is allocated to the third expander 112c.
[0093]
Since the first decompressor 112a decompresses the encoded binary separation information data, the MH / MR system shown in ITU-T recommendation T.4, the MMR system shown in T.6, and T. The JBIG system shown in FIG. 85 can be used. Since the second and third decompressors 112b and 112c decompress the encoded multi-value image data, the JPEG method shown in ITU-T recommendation T.81 can be used.
[0094]
The additional information extraction unit 113 analyzes whether the first additional data plane DT1 and the second separated data plane DT2 to which additional information may have been added are written.
[0095]
The multiplexer 114 performs a combining process of the first separated data plane DT1 and the second separated data plane DT2 according to the logic of the separated information data SEL while referring to the detection result of the additional information extracting unit 113.
[0096]
For example, if the predetermined comparison information matches the additional information detected from the first separated data plane DT1 and the second separated data plane DT2, the separated information data SEL is assumed that the operator has been granted a viewing right. , And the composition processing is performed according to the logic of the separated separation information data, the original image is restored and synthesized without visualizing the additional information indicating the warning as described above.
[0097]
On the other hand, if the comparison information and the detected additional information do not match, it is assumed that the operator does not have the right to browse, and the separation information data SEL is synthesized according to the logic without being inverted, and additional information indicating a warning Is visualized on the composite image.
[0098]
Further, if the predetermined comparison information does not match the additional information, the combining process itself in the multiplexer 114 may not be performed.
[0099]
The additional information extraction unit 113 does not necessarily require input of comparison information. For example, considering the case where additional information indicating that browsing is permitted is written, such additional information is a multi-layer image data plane detected from the first separated data plane DT1 and the second separated data plane DT2. It can be interpreted that the rendered image is permitted to be viewed.
[0100]
Conversely, a multilayer image data plane image in which such additional information has not been detected can be interpreted as being not permitted to browse. When the additional information is detected, the multiplexing process of the multiplexer 114 can be executed based on the output of the additional information extraction unit 113, and the first separated data plane DT1 and the second image are performed according to the logic of the expanded separated information data SEL. Synthesize the data. When the additional information is not detected, execution of the synthesis process of the multiplexer 114 is prohibited.
[0101]
【The invention's effect】
As described above, in the prior art, when the additional information added in the frequency space is restored to the original image data, the inverse orthogonal transform result of the additional information does not visually become noise with respect to the image data. Thus, it was necessary to adjust the information amount and embedding strength of the additional information.
[0102]
However, according to the present invention, when restoring the input image data, the additional information area portion in which the additional information of each separation data plane is written is not included in the image constituting the composite image data. Therefore, even if the embedding strength of the additional information is increased as compared with the prior art in order to prevent the additional information from being distorted due to compression or the like, there is no fear of being perceived by humans.
[0103]
Even if the embedding strength of the additional information is increased, the processing does not have to be complicated in order to prevent the additional information from being perceived. Even when the image data is compressed, the additional information can be easily added to the image data. Can be embedded.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is an image diagram showing how additional information is written to input image data in the first embodiment of the present invention.
FIG. 3 is a diagram illustrating a configuration of an image processing apparatus according to a second embodiment of the present invention.
FIG. 4 is an image diagram showing a state in which separated data planes are combined based on separation information in Embodiment 2 of the present invention.
FIG. 5 is a diagram illustrating a configuration of an image processing apparatus according to a third embodiment of the present invention.
FIG. 6 is a diagram showing the result of attribute separation by extracting the outer shape of a character / line drawing part in Embodiment 3 of the present invention.
FIG. 7 is a flowchart illustrating a character / line drawing part extraction algorithm according to the third embodiment of the present invention.
FIG. 8 is a diagram illustrating a state in which additional information is added to the first separated data plane DT1 in Embodiment 3 of the present invention.
FIG. 9 is a diagram illustrating a configuration of an image processing apparatus according to a fourth embodiment of the present invention.
FIG. 10 is a diagram for explaining a synthesis result of a generated multilayer image data plane in the fourth embodiment of the present invention.
FIG. 11 is a diagram illustrating a configuration of an image processing apparatus that restores and combines the multilayer image data plane data in which the additional information is written into the original single-layer image data in the fourth embodiment of the present invention.
[Explanation of symbols]
1 data plane generating means, 2 separation information generating means, 3 additional information writing means, 4 data plane receiving means, 5 separation information receiving means, 6 additional information extracting means, 7 data plane combining means, 21 input image data, 22, 23, 24, 26, 41, 42 Separation data plane, 24, 43 Separation information, 44, 45 Composite image data, 46, 47 Additional information, 51, 91 Attribute separation unit, 52, 92 Character outline extraction unit, 53, 93 , 114 multiplexer, 54a, 54b, 94a, 94b additional information writing unit, 95 data conversion unit, 96 inverter, 97a, 97b, 97c compression encoder, 111 data file, 112a, 112b, 112b decompressor, 113 additional information Extraction unit.

Claims

入力画像データに付加情報を書き込む画像処理装置であって、
前記入力画像データを所定の符号化処理に応じて分離し、それぞれを分離データプレーンとして生成するデータプレーン生成手段と、
前記各分離データプレーンには、どの分離領域の入力画像データが含まれているかを示す分離情報を生成する分離情報生成手段と、
前記分離情報に基づいて、前記分離データプレーン上の前記入力画像データの画像が含まれていない領域を特定し、当該特定された領域に所定の付加情報を書き込む付加情報書込手段と、
を備えることを特徴とする画像処理装置。An image processing apparatus for writing additional information to input image data,
Data plane generation means for separating the input image data according to a predetermined encoding process, and generating each as a separated data plane;
Each separation data plane includes separation information generation means for generating separation information indicating which separation region input image data is included;
Based on the separation information, an additional information writing unit that identifies an area that does not include the image of the input image data on the separation data plane , and writes predetermined additional information in the identified area ;
An image processing apparatus comprising:

請求項１に記載の画像処理装置において、
前記所定の符号化処理は、圧縮符号化処理であることを特徴とする画像処理装置。The image processing apparatus according to claim 1.
The image processing apparatus, wherein the predetermined encoding process is a compression encoding process.

請求項１または２に記載の画像処理装置で生成された前記分離データプレーンを受け取るデータプレーン受取手段と、
当該画像処理装置で生成された前記分離情報を受け取る分離情報受取手段と、
前記分離情報に基づいて、前記分離データプレーンに書き込まれた付加情報を抽出する付加情報抽出手段と、
前記分離情報に基づいて、前記分離データプレーンを合成するデータプレーン合成手段と、
を備えることを特徴とする画像処理装置。Data plane receiving means for receiving the separated data plane generated by the image processing apparatus according to claim 1 or 2,
Separation information receiving means for receiving the separation information generated by the image processing apparatus;
Based on the separation information, additional information extraction means for extracting additional information written in the separation data plane;
Data plane combining means for combining the separated data planes based on the separation information;
An image processing apparatus comprising:

請求項３に記載の画像処理装置において、
前記データプレーン合成手段は、前記分離情報に基づいて、各分離データプレーンの入力画像領域を合成することを特徴とする画像処理装置。The image processing apparatus according to claim 3.
The image processing apparatus, wherein the data plane synthesizing unit synthesizes an input image area of each separation data plane based on the separation information.

請求項３に記載の画像処理装置において、
前記データプレーン合成手段は、前記分離情報に基づいて、各分離データプレーンの付加情報領域を合成することを特徴とする画像処理装置。The image processing apparatus according to claim 3.
The image processing apparatus, wherein the data plane synthesizing unit synthesizes an additional information area of each separation data plane based on the separation information.

請求項３に記載の画像処理装置において、
前記付加情報には、各分離データプレーンのどの領域を合成するかを示した条件が含まれていて、
前記データプレーン合成手段は、前記付加情報に応じて、各分離データプレーンの入力画像領域を合成したり、各分離データプレーンの付加情報領域を合成したりする手段であることを特徴とする画像処理装置。The image processing apparatus according to claim 3.
The additional information includes a condition indicating which region of each separated data plane is to be combined,
The data plane synthesizing means is means for synthesizing an input image area of each separation data plane or synthesizing an additional information area of each separation data plane according to the additional information. apparatus.

請求項３乃至６のいずれか１つに記載の画像処理装置において、
前記付加情報には、分離データプレーンを合成するかどうかの判定情報が含まれていて、
前記データプレーン生成手段は、前記付加情報に基づいて、合成するかどうか判定した後に、合成する手段であることを特徴とする画像処理装置。The image processing apparatus according to any one of claims 3 to 6,
The additional information includes determination information as to whether to synthesize the separated data plane,
The image processing apparatus according to claim 1, wherein the data plane generating unit is a unit that combines after determining whether to combine based on the additional information.

請求項３乃至７のいずれか１つに記載の画像処理装置において、
前記分離データプレーンまたは前記分離情報を圧縮処理された状態で受け取った場合は、それらを伸長処理する伸長処理手段を備えることを特徴とする画像処理装置。The image processing apparatus according to any one of claims 3 to 7,
An image processing apparatus comprising: a decompression processing unit that decompresses the separated data plane or the separated information when received in a compressed state.