JP3599593B2

JP3599593B2 - 画像処理装置およびその方法

Info

Publication number: JP3599593B2
Application number: JP9007299A
Authority: JP
Inventors: 稔日下部; 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-03-30
Filing date: 1999-03-30
Publication date: 2004-12-08
Anticipated expiration: 2019-03-30
Also published as: JP2000287063A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、画像情報に他の情報を多重化する画像処理装置およびその方法に関するものである。
【０００２】
【従来の技術】
画像情報へ異種情報を多重化する技術は、著作権保護、紙幣などの偽造防止、機密情報の保護、並びに、文字および音声を含むサウンドなどの伝達方法として様々な技術が提案されている。
【０００３】
例えば、画像電子学会誌１９９８Ｖｏｌ．２７Ｎｏ．５ｐ．４８３の「電子透かし技術とその評価項目」には様々な電子透かし技術が紹介されている。情報の多重化方法は、大別して、周波数領域に情報を紛れ込ませる方法、実空間領域に情報を紛れ込ませる方法に分けられる。周波数空間に情報を紛れ込ませる場合は、主に、画像情報をＦＦＴなどの手段を用いて周波数領域の情報に変換した後、周波数成分や位相成分などを利用しで情報の多重化を実現する。一方、実空間領域に情報を紛れ込ませる場合は、最下位ビットの値や量子化誤差を利用して情報の多重化が実現されている。
【０００４】
現在行われている情報の多重化は、電子画像などの著作権保護を主な目的とし、多重化されるデータは、著作権者の名称、所在地および著作日時などに限定されていることが多い。
【０００５】
一方、テキスト文章などを含む画像と、音声などの可変長の異種情報とを同一媒体に混在させる方法として、余白部分への情報記述、画像を構成するインクとは明らかに異なるインクを利用した情報記述、あるいは、画像を構成するインクを使用するがその画像情報とは無関係な形状のコードを情報として混入させる方法がある。
【０００６】
【発明が解決しようとする課題】
周波数領域を利用して情報を多重化する場合、画像が必要とする周波数成分は画像によって異なるため、画質の劣化を抑えつつ多重化が可能な付加情報のデータ量は対象画像ごとに決まる。従って、付加情報量が多い場合は多重化に必要な周波数領域が増加し、画像によってはすべての情報の多重化が不可能な場合が起こり得る。
【０００７】
また、実空間領域を利用して情報を多重化する場合、視覚的に認知されやすい領域に付加情報を紛れ込ませることは画質劣化の原因になるし、周囲の画像情報の影響でデコード困難な領域に付加情報を埋め込んでしまうと埋め込んだ情報が利用できなくなる。つまり、付加情報を紛れ込ませることが可能な領域は制限され、その結果、多重化可能な情報量が限られてしまい、すべての情報を多重化し得ないことが起こり得る。
【０００８】
また、余白部分に付加情報を記述する方法は、画像以外の領域が必要になるため望ましくない。特殊なインクを使用する方法は、通常の印刷を行うインク以外のインクが必要になるためコストアップの要因になり望ましくない。
【００１２】
本発明は、上述の課題を解決するもので、多重化すべき情報の情報量を多重化可能な量に制御することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１７】
本発明にかかる画像処理装置は、符号化手段により付加情報を所定の符号化条件で符号化した情報を画像情報に多重化する多重化手段と、前記多重化手段による多重化処理前に、前記画像情報を走査して画素値の分布情報を取得する取得手段と、得られる画素値の分布情報に基づき、前記多重化手段により多重化可能な情報量を検出する検出手段と、検出される多重化可能な情報量に基づき、前記多重化手段により多重化する情報の情報量を、前記画像情報に多重化可能に軽減するべく、前記符号化条件を制御する制御手段とを有することを特徴とする。
【００２１】
本発明にかかる画像処理方法は、符号化手段により付加情報を所定の符号化条件で符号化した情報を画像情報に多重化処理する画像処理方法であって、前記多重化処理前に、前記画像情報を走査して画素値の分布情報を取得し、得られる画素値の分布情報に基づき、多重化可能な情報量を検出し、検出される多重化可能な情報量に基づき、前記多重化処理する情報の情報量を、前記画像情報に多重化可能に軽減するべく、前記符号化条件を制御することを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００２３】
なお、以下の各実施形においては、上述した、画像情報へ異種情報を多重化する構成および方法、並びに、多重化可能な情報量を検出する構成および方法について詳細に説明するが、多重化対象の画像情報および多重化条件は以下の説明に限定されるものではなく、本発明を適用可能なあらゆる条件に対して有効である。さらに、付加される異種情報（以下では単に「付加情報」と呼ぶ）は、テキストや記号などの文字情報に限らず、音声を含むサウンドまたは画像情報などの情報も含まれる。また、付加情報の符号化には、各種の符号化方法を利用することが可能である。
【００２４】
【第１実施形態】
［構成］
図１は本発明にかかる画像処理装置の構成例を示すブロック図である。
【００２５】
図１において、１０はＣＰＵ１０ａ、ＲＯＭ１０ｂおよびＲＡＭ１０ｃなどからなる制御部で、後述する各構成の動作および処理を制御する。とくに、ＣＰＵ１０ａは、ＲＯＭ１０ｂに予め格納されプログラムに従い、ＲＡＭ１０ｃをワークメモリとして後述する多重化およびその関連処理の制御などを実行する。
【００２６】
１００は付加情報が多重化される画像情報の入力端子、１０１は付加情報の入力端子である。
【００２７】
１０２は入力される画像情報を走査して画素値の分布状態を検出する検出部、１０３は検出された画素値の分布状態に基づき、与えられた多重化手段を用いて多重化可能な情報量を計測する計測部、１０４は計測された多重化可能な情報量の表示を行うＣＲＴやＬＣＤなどの表示部である。
【００２８】
多重化手段としては、例えば、疑似階調処理時に注目画素の量子化値を変更することによって、複数画素の量子化値の組み合わせに特徴をもたせる情報付加手段などがある。本実施形態では、より単純な具体例として、例えば誤差拡散法により二値化された高解像度の画像情報に対して、図２に示すように、２０ドット間隔の格子点に、符号化された情報を１ビットずつ付加するものを利用する。そして情報のオンオフは、格子点のオン信号の有無により表現するものとする。
【００２９】
誤差拡散により二値化された画像の高濃度部には濃度０％のドットが疎らに散乱するので、濃度０％のドットが二つ以上連続して並んでいることはほとんどなく、逆に、低濃度部には濃度１００％のドットが疎らに散乱しているので、濃度１００％のドットが二つ以上連続して並んでいることはほとんどない。ただし、中濃度部においては、濃度１００％および０％のドットがともに密集しているため、同じ濃度のドットが連続して並ぶ可能性がある。そこで付加するオン信号は、情報付加領域周辺の画素値の平均濃度が低濃度ならば濃度１００％のドット四点の集合、高濃度ならば濃度０％のドット四点の集合で表すことにする。ただし、ドット四点の集合が周囲に比べ特徴的にならず、情報識別が困難な中濃度領域には情報の付加は行わないものとする。
【００３０】
図１に戻り、１０５は入力される付加情報を符号化する符号化部で、例えばハフマン符号化などの符号化方法により実現される。また、１０６は前述した情報多重化手段に従い情報を多重化する情報多重化部である。１０７は付加情報が多重化された画像情報を出力する端子である。
【００３１】
［処理］
図３は本実施形態の動作手順を示すフローチャートで、画像情報のサイズは縦×横がＮ×Ｍ画素であるとする。
【００３２】
ステップＳ３００で変数ｉおよびｊ、並びに、多重化可能情報量のカウント値を初期化する。ここで、変数ｉは垂直（行）方向のアドレス（画素位置）をカウントし、変数ｊは水平（列）方向のアドレス（画素位置）をカウントするための変数であり、変数ｉおよびｊで示される画素位置をそれぞれ行アドレスおよび列アドレスと呼ぶ。
【００３３】
ステップＳ３０１で行アドレスｉが格子点のある行か否かを判定し、ステップＳ３０２で列アドレスｊが格子点のある列か否かを判定する。ステップＳ３０１およびＳ３０２で格子点であると判定されると、ステップＳ３０３で格子点周辺の平均濃度を測定する。そして、ステップＳ３０４で、測定された平均濃度が情報多重化が不可能な中濃度か否かを判定し、中濃度でなければステップＳ３０５で多重化可能情報量のカウント値をインクリメントする。
【００３４】
ステップＳ３０２で格子点がない列であると判定された場合、ステップＳ３０４で、測定された平均濃度が中濃度であった場合、または、ステップＳ３０５の処理が済んだ場合はステップＳ３０６へ移行し、列アドレスｊをインクリメントして走査する画素位置を横方向へ移動する。そして、ステップＳ３０７で列アドレスｊと画像の横サイズＭとを比較してｊ≦Ｍであれば処理をステップＳ３０２へ戻す。
【００３５】
また、ｊ＞Ｍの場合、または、ステップＳ３０１で格子点がない行であると判定された場合は、ステップＳ３０８で行アドレスｉをインクリメントし、列アドレスｊを零にして走査する画素位置を縦方向へ移動する。そして、ステップＳ３０９で行アドレスｉと画像の縦サイズＮとを比較してｉ≦Ｎであれば処理をステップＳ３０１へ戻すことで、上記のステップＳ３０１からＳ３０９の処理を繰り返す。
【００３６】
ステップＳ３０９でＮ行分の処理が終了したと判定された場合、ステップＳ３１０で多重化可能な情報量を示すカウント値を表示し終了する。
【００３７】
本実施形態によれば、多重化処理を行う前に、画像に多重化可能な情報量を予め計測することができるため、付加情報の作成、選定および加工などを行う際に、その目標になる情報量を得ることができ、付加情報の作成、選定および加工などを効率よく実行できる。
【００３８】
なお、上記では実空間領域の格子点に情報を付加する例を説明したが、本実施形態はこれに限定されるものではなく、情報を付加するあらゆる方法に本実施形態を適用することが可能である。
【００３９】
また、高濃度もしくは低濃度部にオンを表す信号を付加することで多重化を実現する例を説明したが、本実施形態はこれに限定されるものではなく、あらゆる信号の付加方法に本実施形態を適用することが可能である。
【００４０】
【第２実施形態】
以下、本発明にかかる第２実施形態の画像処理装置を説明する。なお、本実施形態において、第１実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００４１】
図４は本発明にかかる第２実施形態の構成例を示すブロック図である。
【００４２】
第２実施形態は、計測部１０３により計測された多重化可能な情報量と、符号化部１０５により符号化された付加情報の情報量とを比較して、多重化の可能性を判定する比較部４００を備えている。比較部４００の比較結果により、表示部１０４には多重化の可能性が表示される。なお、多重化の可能性を表示するだけでなく、多重化が不可能な場合、その理由などを表示することも効果的である。
【００４３】
図5は本実施形態の動作手順を示すフローチャートであるが、ステップS300からS310は図3に示した第1実施形態の処理と同じなので、ステップS310以降の処理を示している。
【００４４】
ステップＳ３１１で符号化部１０５により付加情報を符号化し、ステップＳ３１２で比較部４００により多重化可能な情報量と符号化された付加情報の情報量とを比較して多重化の可能性を判定し、ステップＳ３１３で多重化の可能性に関する表示を表示部１０４に行う。
【００４５】
なお、図５には多重化可能な情報量の検出および表示後に、付加情報の符号化を行う例を示したが、付加情報の符号化は独立に行うことができるので、多重化可能な情報量の検出および表示処理の前後または途中で行ってもよい。また、多重化可能な情報量の表示は行わなくてもよいし、あるいは、多重化の可能性の結果に応じて多重化可能な情報量を表示することも有効である。
【００４６】
本実施形態によれば、多重化処理を行う前に、画像に多重化可能な情報量を予め計測することができるため、付加情報の作成、選定および加工などを行う際に、その目標になる情報量を得ることができ、付加情報の作成、選定および加工などを効率よく実行できる。さらに、多重化対象の画像情報、並びに、付加情報とその符号化条件が決まれば、多重化処理の前に多重化の可否を判定することが可能になる。その結果、多重化対象の画像情報、付加情報、および、符号化条件などが複数存在する場合、多重化が可能なそれらの組み合わせを効率的に選定することができる。
【００４７】
【第３実施形態】
以下、本発明にかかる第３実施形態の画像処理装置を説明する。なお、本実施形態において、第１および第２実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００４８】
図６は本発明にかかる第３実施形態の構成例を示すブロック図である。
【００４９】
第３実施形態は、計測部１０３により計測された多重化可能な情報量と、符号化部１０５により符号化された付加情報の情報量とを比較部４００で比較した結果、つまり多重化の可能性の判定結果に基づき情報多重化部１０６が実行する多重化処理を制御する。
【００５０】
図7は本実施形態の動作手順を示すフローチャートであるが、ステップS300からS313は図5に示した第2実施形態の処理と同じなので、ステップS313以降の処理を示している。
【００５１】
ステップS313で多重化の可能性を表示した後、ステップS314で多重化の可能性に基づき処理を分岐する。つまり、多重化が不可能であれば処理を終了し、多重化が可能であればステップS315以降の多重化処理を行う。
【００５２】
ステップＳ３１５で変数ｉおよびｊを初期化する。ここで、変数ｉは行アドレスカウンタ、変数ｊは列アドレスカウンタである。
【００５３】
ステップＳ３１６で行アドレスｉが格子点のある行か否かを判定し、ステップＳ３１７で列アドレスｊが格子点のある列か否かを判定する。ステップＳ３１６およびＳ３１７で格子点であると判定されると、ステップＳ３１８で格子点周辺の平均濃度を測定する。そして、ステップＳ３１９で、測定された平均濃度が情報多重化が不可能な中濃度か否かを判定する。
【００５４】
そして、平均濃度が中濃度でなければステップS320で平均濃度に応じて分岐する。つまり、平均濃度が高濃度ならばステップS321において付加情報を表すための濃度0%のドット四点の集合を作成し、低濃度ならばステップS322において付加情報を表すための濃度100%のドット四点の集合を作成する。
【００５５】
ステップＳ３１７で格子点がない列であると判定された場合、ステップＳ３１９で、測定された平均濃度が中濃度であった場合、あるいは、ステップＳ３２１またはＳ３２２の処理が済んだ場合はステップＳ３２３へ移行し、列アドレスｊをインクリメントして走査する画素位置を横方向へ移動する。そして、ステップＳ３２４で列アドレスｊと画像の横サイズＭとを比較してｊ≦Ｍであれば処理をステップＳ３１７へ戻す。
【００５６】
また、ｊ＞Ｍの場合、または、ステップＳ３１６で格子点がない行であると判定された場合は、ステップＳ３２５で行アドレスｉをインクリメントし、列アドレスｊを零にして走査する画素位置を縦方向へ移動する。そして、ステップＳ３２６の判定により、行アドレスｉと画像の縦サイズＮとの関係がｉ＞Ｎになるまで上記のステップＳ３１６からＳ３２６の処理を繰り返し、処理を終了する。
【００５７】
なお、図7には多重化可能な情報量の検出および表示後に、付加情報の符号化を行う例を示したが、付加情報の符号化は独立に行うことができるので、多重化可能な情報量の検出および表示処理の前後または途中で行ってもよい。また、多重化可能な情報量の表示は行わなくてもよいし、あるいは、多重化の可能性の結果に応じて多重化可能な情報量を表示することも有効である。
【００５８】
本実施形態によれば、第１および第２実施形態で得られる効果に加えて、多重化の可能性の判定と多重化処理とが一連に行われるため、多重化の要素である画像情報、付加情報、あるいは、符号化条件などの変更が必要になるのは、多重化が不可能であった場合だけである。従って、多重化が可能な場合は、続いて情報の多重化処理が行われるので、オペレータの作業を減少させることができ、情報の多重化作業をより効率的なものにすることができる。また、例え、多重化が不可能な場合でも、その判定結果とともに、現在選定されている画像情報に多重化することが可能な付加情報の情報量が表示され、付加情報または符号化条件を変更する際の目安になる。
【００５９】
【第４実施形態】
以下、本発明にかかる第４実施形態の画像処理装置を説明する。なお、本実施形態において、第１、第２および第３実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６０】
図８は本発明にかかる第４実施形態の構成例を示すブロック図である。
【００６１】
第４実施形態は、多重化の可能性の判定結果を付加情報の符号化条件に反映させることにより、極めて効率のよい情報多重化処理を実現するものである。
【００６２】
情報測定部８０１は入力された付加情報の情報量を測定する。比較部４００は情報量測定部８０１から得られる付加情報の情報量と、計測部１０３から得られる画像情報の情報量とを比較した結果を出力する。符号化条件制御部８０３は、比較部４００より得られる情報量の比較結果に基づき、付加情報の符号化条件を決定し符号化部１０５に設定する。
【００６３】
例えば、符号化条件制御部８０３は、サウンド情報のサンプリングレートを変化させることで情報量を変更することができる。具体的には、多重化可能な情報量と付加情報の情報量との比をサンプリングレートを変更する際の倍率として利用することで、符号化条件に有効に反映させることが可能である。ただし、例えばサウンド情報のサンプリングレートを変更する場合はあまりサンプリングレートを下げ過ぎてしまうと、付加情報が本来有する情報を損なう可能性がある。そこで、多重化可能な範囲を予め決めておくことで、比較部４００に多重化の可能性を判定させ、その判定結果に基づき情報多重化処理を制御することも効果的である。
【００６４】
符号化条件制御部８０３により符号化条件が決定された後、符号化部１０５は、設定された符号化条件により付加情報を符号化し、符号化された付加情報を情報多重化部１０６へ送り、情報の多重化が実現される。
【００６５】
図９は本実施形態の動作手順を示すフローチャートであるが、ステップＳ３３１およびＳ３３２以外の処理は、図７に示した第３実施形態の処理と同じなので、それらを省略してステップＳ３３１およびＳ３３２付近の処理だけを示している。
【００６６】
ステップS314において多重化が可能であると判定された場合、ステップS331で多重化する付加情報の符号化に必要な符号化条件が符号化条件制御部803により決定される。つまり、サウンド情報の符号化に必要なサンプリングレートが決定される。なお、サンプリングレートの決定方法は、前述したとおり、画像情報に多重化可能な情報量と、符号化後の付加情報との比を倍率としてサンプリングレートに掛け合せるものとする。そして、符号化条件が決定された後、ステップS332で付加情報が符号化部105により符号化される。
【００６７】
なお、付加情報はサウンド情報に限らず、画像情報のように非可逆圧縮が可能で、何らかの条件により情報量を変化させることが可能な情報であればよい。
【００６８】
本実施形態によれば、第１から第３実施形態で得られる効果に加えて、付加情報の符号化条件の制御により多重化の可能性を広げることができるので、情報の多重化作業をより容易にすることができる。さらに、付加情報の情報量を減らして情報の多重化を行うため、そのままでは多重化が不可能な多くの情報量をもつ情報の多重化も単一の処理で実現することができる。
【００６９】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることはいうまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。
【００７１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。
【００７２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３、図５、図７および／または図９に示したフローチャートに対応するプログラムコードが格納されることになる。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、多重化すべき情報の情報量を多重化可能な量に制御することができる。
【図面の簡単な説明】
【図１】第１実施形態の画像処理装置の構成例を示すブロック図、
【図２】画像情報への情報多重化方法を説明する図、
【図３】第１実施形態の動作手順を示すフローチャート、
【図４】第２実施形態の画像処理装置の構成例を示すブロック図、
【図５】第２実施形態の動作手順を示すフローチャート、
【図６】第３実施形態の画像処理装置の構成例を示すブロック図、
【図７】第３実施形態の動作手順を示すフローチャート、
【図８】第４実施形態の画像処理装置の構成例を示すブロック図、
【図９】第４の実施形態の動作手順を示すフローチャートである。

Claims

符号化手段により付加情報を所定の符号化条件で符号化した情報を画像情報に多重化する多重化手段と、
前記多重化手段による多重化処理前に、前記画像情報を走査して画素値の分布情報を取得する取得手段と、
得られる画素値の分布情報に基づき、前記多重化手段により多重化可能な情報量を検出する検出手段と、
検出される多重化可能な情報量に基づき、前記多重化手段により多重化する情報の情報量を、前記画像情報に多重化可能に軽減するべく、前記符号化条件を制御する制御手段とを有することを特徴とする画像処理装置。
前記制御手段は、前記多重化可能な情報量と前記付加情報の情報量に基づいて前記符号化条件を制御することを特徴とする請求項1に記載された画像処理装置。
さらに、前記多重化可能な情報量と前記付加情報の情報量を比較して、前記多重化が可能か否かを判定する判定手段を有することを特徴とする請求項1に記載された画像処理装置。
前記制御手段は、前記判定手段により前記多重化が不可能と判定された場合は、前記多重化を行わないことを特徴とする請求項3に記載された画像処理装置。
前記付加情報はサウンド情報であることを特徴とする請求項 1 から請求項 4 の何れかに記載された画像処理装置。
前記制御手段は、前記符号化条件として、前記サウンド情報のサンプリングレートを制御することを特徴とする請求項 5 に記載された画像処理装置。
前記付加情報は画像情報であることを特徴とする請求項 1 から請求項 4 の何れかに記載された画像処理装置。
符号化手段により付加情報を所定の符号化条件で符号化した情報を画像情報に多重化処理する画像処理方法であって、
前記多重化処理前に、前記画像情報を走査して画素値の分布情報を取得し、
得られる画素値の分布情報に基づき、多重化可能な情報量を検出し、
検出される多重化可能な情報量に基づき、前記多重化処理する情報の情報量を、前記画像情報に多重化可能に軽減するべく、前記符号化条件を制御することを特徴とする画像処理方法。
画像処理装置を制御して、請求項 8 に記載された多重化処理を実現するプログラムが記録されたことを特徴とする記録媒体。