JP3642956B2 - 画像データ処理装置及び方法、並びに記録装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、特定の画像データ（静止画像或いは動画像シーケンス）に対して、それに付随する情報を画像データ中に付加し、再生時にその付随情報を検出する画像データ処理装置及び方法、並びに記録装置及び方法に関し、特に、デジタル画像データに付加された付随情報を、再生時に検出する画像データ処理装置及び方法、並びに記録装置及び方法に関する。
【０００２】
【従来の技術】
特定の画像データ（静止画像或いは動画像シーケンス）に対して、それに付随する情報を画像データ中に付加し、再生時にその付随情報を検出して利用する技術がある。この代表的な例として、著作権情報の付加が挙げられる。
【０００３】
不特定の利用者が特定の画像データを利用することが可能である場合、その画像に対して著作権を持つ者がその権利を主張するためには、あらかじめ著作権情報を画像データ中に付加しておく必要がある。著作権情報を付加することにより、画像の再生装置或いは再生方法の処理手順の中で、その画像データを表示不可とすべき著作権情報が検出された場合には、その画像データの表示を行わない等の対策を講じることが可能となる。
【０００４】
上述の著作権情報の付加或いは検出は、現在ビデオテープの不正コピー防止等でよく利用されている。近頃はビデオテープのレンタルを行う店も多いが、多くの利用者が店から低価格で借りたビデオテープを不正にコピーして楽しんだ場合、そのビデオテープの著作権を持つ者及びビデオテープのレンタルを行う店の損害は甚大である。
【０００５】
ビデオテープには、画像データがアナログ的に記録されているため、コピーを行った場合に画質が劣化する場合がある。そのため、コピーが複数回繰り返された場合、元々保持されていた画質を維持することは非常に困難となる。
【０００６】
これに対し、最近普及しつつあるデジタル的に画像データを記録し再生する機器等においては、不正コピーによる損害はさらに大きなものとなる。画像データをデジタル的に扱う機器等では、原理的にコピーによって画質が劣化することはない。そのため、デジタル的に処理を行う機器等における不正コピー防止は、アナログの場合と比べてはるかに重要である。
【０００７】
画像データに付随する情報をその画像データ中に付加する方法は、主に２通りある。
【０００８】
第１の方法は、画像データの補助部分に付加する方法である。例えばビデオテープでは、図２０に示すように、その画像データの補助的情報が画面上部に記録されている。この領域の一部を利用して、付随情報を付加することが可能である。
【０００９】
第２の方法は、画像データの主要部分に付加する方法である。これは、図２１に示すように、ある特定のパターン、例えば、ウォータマーク（Water Mark）パターンを視覚的に感知できない程度に画像の全体或いは一部に付加するものである。この具体例として、乱数やＭ系列等を用いて発生させた鍵パターンを利用して情報の付加或いは検出を行うスペクトラム拡散等がある。
【００１０】
以下では、従来より行われているウォータマークパターンを用いた場合の画像データの主要部分への付随情報の付加及び検出の一例について説明する。
【００１１】
ウォータマークは、図２２に示すように、各画素について、プラス、マイナスの２つのシンボルのいずれかを取るものと仮定する。なお、実際には、ウォータマークパターンは２つのシンボルのいずれかをランダムに取るものであり、その領域の形状、大きさについても任意である場合が多い。
【００１２】
付随情報を付加する際には、図２３に示すように、付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、そして、設定した領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルの画素については値ａを足し、マイナスのシンボルの画素については値ｂを引く。ここで、値ａ，ｂ共に、任意の値であり、そのウォータマークパターンを通じて一定である。例えば、本例では、図２３中（Ｂ）に示すように、値ａ＝１，ｂ＝１に設定しており、すなわち、図２３中（Ａ）に示すように付加を行う対象となる領域の画素値が全て１００であるとした場合には、この埋め込み操作により画素値は、図２３中（ｃ）に示すように、１０１、９９のいずれかになる。
【００１３】
付随情報を検出する際には、検出を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定する。そして、この領域の画素全てを合計した値を評価値として用いる。具体的には、画素全てを合計の算出は、図２４中（Ａ）及び（Ｂ）に示すように、設定された領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルの画素については足し算、マイナスのシンボルの画素については引き算する。このとき、付随情報を付加する際に用いたウォータマークパターンと同じパターンを用いることが条件であることはいうまでもない。
【００１４】
このような検出操作により、付随情報が付加されている場合には、図２４中（Ａ）に示すように、その評価値は（４ｎ）＾２（領域に含まれる画素数の数と同じ）になり、また、付随情報が付加されていない場合には、図２４中（Ｂ）に示すように、その評価値は０になる。
【００１５】
ウォータマークパターンの領域が充分に広く、かつウォータマークパターンが充分にランダムである場合、付随情報が付加されていない場合の評価値は常にほぼ０となる。そのため、評価値がある一定の閾値を超えた場合には、付随情報が付加されていると判別することができる。上記の手順により、付随情報が付加されているか否かという２値の情報（１ビット）を付加することが可能となる。ここで、より多くの情報を付加したい場合には、画像全体をｋ個の領域に分けてそれぞれ上記の操作を行う等の処理方法により、２＾ｋ通り（k ビット）の情報を付加することができる。
【００１６】
さらに、ウォータマークパターンは、Ｍ系列を用いて生成したものを利用することができる。Ｍ系列（最長符号系列）は、０，１の２値のシンボルからなる数列で、０，１の統計的分布は一定であり、符号相関は原点で１、その他では−１／符号長となるものである。なお、Ｍ系列を用いる以外の方法でウォータマークパターンを生成する方法もある。
【００１７】
ところで、画像データをデジタル的に記録し再生する場合、そのままでは非常に情報量が多くなるため、データを圧縮するのが一般的である。画像データを圧縮する方法として、ＪＰＥＧ（静止画像符号化方式；Joint Photographic Coding Experts Groupe）、或いはＭＰＥＧ（動画像符号化方式；Moving Picture Experts Groupe）等の高能率符号化方法が国際的に標準化され、実用化に至っている。
【００１８】
高能率符号化によって画像データを圧縮する場合において、付随情報の付加及び検出は、図２５に示すように構成されたエンコーダ３０１及び図２６に示すように構成されたデコーダ３０５により実現される。
【００１９】
エンコーダ３０１は、図２５に示すように、ウォータマーク付加器３０２において入力されて画像データに対して付随情報ｆを付加する。そして、エンコーダ３０１は、付随情報ｆを付加した画像データを符号化器３０３に入力し、高能率符号化を行って符号化ビット列を生成する。
【００２０】
また、デコーダ３０５については、図２６に示すように、復号器３０６により入力されたビット列を画像データとして復元する。そして、エンコーダ３０５は、ウォータマーク検出器２３１において付随情報ｆを検出する。
【００２１】
なお、画像データを高能率符号化しない場合には、エンコーダ３０１から符号化器３０３を除き、また、デコーダ３０５から復号器３０６を除く構成とされる場合もあり、これにより、画像データ上に付随情報を付加し、又は画像データに付加されている付随情報を検出する。
【００２２】
ここで、ウォータマーク付加器３０２は、図２７に示すように構成されており、このような構成にされたウォータマーク付加器３０２は、付随情報ｆがｏｎである場合には、ウォータマークパターン保持メモリ３１１に記録されているウォータマークパターンを用いて、付随情報付加器３１２で入力された画像データに対して付随情報を付加し、また、付随情報ｆがｏｆｆである場合には、入力された画像データを付随情報付加器３１２からそのまま出力する。
【００２３】
また、ウォータマーク検出器３０７は、図２８に示すように構成されており、このような構成にされたウォータマーク検出器３０７は、ウォータマークパターン保持メモリ３１５に記録されているウォータマークパターンを用いて、入力された画像データに基づいて評価値算出器３１６により評価値を算出している。ここで算出された評価値は、評価値比較器３１７で閾値処理され、付随情報ｆとして出力されている。また、入力された画像データ自体については、そのまま出力される。なお、画像変換器３１８（図中点線で示す。）は、入力された画像データを加工又は処理する部分である。このことについては、後で述べる。
【００２４】
ウォータマーク付加器３０２で行われる一連の処理を図２９に示し、また、ウォータマーク検出器３０７で行われる一連の処理を図３０に示す。
【００２５】
ウォータマーク付加処理については、ウォータマーク付加器３０２は、図２９に示すように、ステップＳ３０１において、ウォータマークの付加レベルａ，ｂを設定する。
【００２６】
続いて、ウォータマーク付加器３０２は、ステップＳ３０２において、付随情報の付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行い、ステップＳ３０３において、ウォータマークのシンボルの判別を行う。
【００２７】
ここで、ウォータマーク付加器３０２は、その画素のウォータマークのシンボルがプラスである場合には、ステップＳ３０４に進み、その画素に値ａを足し、また、その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ３０５に進み、その画素から値ｂを引く。
【００２８】
そして、ウォータマーク付加器３０２は、ステップＳ３０６において、対象領域の全画素について処理を行ったか否かの判別処理を行い、ここで、全画素について処理を行っていないことを確認した場合には、上記ステップＳ３０２に戻り再び上記照合等の処理を行い、対象領域の全画素について処理を繰り返す。
【００２９】
ウォータマーク検出処理については、ウォータマーク検出器３０７は、図３０に示すように、ステップＳ３１１において、評価値ｓｕｍの初期化及び閾値ｔｈの設定を行う。
【００３０】
続いて、ウォータマーク検出器３０７は、ステップＳ３１２において、ウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行い、ステップＳ３１３において、ウォータマークのシンボルの判別を行う。
【００３１】
ここで、ウォータマーク検出器３０７は、その画素のウォータマークのシンボルがプラスである場合には、ステップＳ３１４に進み、評価値ｓｕｍにその画素値ｘを足し、また、その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ３１５に進み、評価値ｓｕｍからその画素値ｘを引く。
【００３２】
そして、ウォータマーク検出器３０７は、ステップＳ３１６において、対象領域の全画素について処理を行ったか否かの判別処理を行い、ここで、全画素について処理を行っていないことを確認した場合には、上記ステップＳ３１２に戻り再び上記照合等の処理を行い、対象領域の全画素について処理を繰り返す。
【００３３】
全画素について上述した処理を行った後、ウォータマーク検出器３０７は、ステップＳ３１７において、評価値ｓｕｍ＞閾値ｔｈとして閾値ｔｈに対して評価値ｓｕｍを比較する。ここでウォータマーク検出器３０７は、評価値ｓｕｍ＞閾値ｔｈである場合には、ステップＳ３１８に進み、画像データに付随情報が付加されているとみなして付随情報ｆをｏｎ（付随情報ｆが存在している）にして、また、そうでない場合には、ステップＳ３１９に進み、付随情報ｆをｏｆｆ（付随情報ｆが存在していない）にする。
【００３４】
ここで検出された付随情報ｆは、例えば不正コピーを防止する場合には、次のように利用される。
【００３５】
上記図２６に示すように構成されるデコーダ３０５を例にすると、出力される画像データ及び付随情報ｆは、図示せぬ画像表示部に渡される。画像表示部では、付随情報ｆがｏｎである場合にはそのまま画像を表示するが、付随情報ｆがｏｆｆである場合には、例えば画像を表示しない、画像データの主要領域を表示しない、画像にスクランブルを掛ける（受けとった画像データをでたらめに表示する）等の加工或いは処理を行う。例えば、画像変換器３１８は、付随情報ｆに応じてこのような画像データの加工又は処理を行う部分である。
【００３６】
また、ウォータマークパターンには、Ｍ系列等の特殊な性質を有するパターンによって構成されている場合もある。この場合には、その性質を利用して付随情報を検出している。
【００３７】
例えばＭ系列の符号相関は、原点で高く、その他ではほぼ０になる性質がある。付随情報を検出する際にこの性質を利用し、ウォータマークパターンをずらしながらそれぞれのずらし位置（位相）に対する評価値を求め、それらの評価値を比較する。この場合、ずらし量０以外の評価値は、付随情報を付加しなかったときの評価値とみなせるため、これらの値を比較することは相対的評価基準を利用することになり、付随情報を確実に検出することができる。以後、この検出方法を「ずらし検出」と呼ぶことにする。
【００３８】
ずらし検出については、図３１及び図３２に示すような処理により、付随情報の検出を行っている。そして、図３３に示すようにウォータマーク検出器３２１を構成することにより、ずらし検出による付随情報の検出が可能とされている。
【００３９】
なお、ウォータマーク検出器を除くと、この構成はずらし検出を行わない場合と完全に同一、例えば上記図２８で示したウォータマーク検出器３０７と完全に同一である。より具体的には、処理についてみると、図３０で示した従来例の処理と比べると、ウォータマークパターンをずらしながらそれぞれのずらし位置（位相）に対する評価値を求め、それらの評価値を比較して付随情報を検出することのみが異っている。
【００４０】
ずらし検出によりウォータマークパターンを検出するウォータマーク検出器３２１は、図３３に示すように、入力された画像データが複数の評価値算出器３２３₁,３２３₂，３２３₃に入力される。
【００４１】
ウォータマーク検出器３２１は、ウォータマークパターン保持メモリ３２２に記録されているウォータマークパターンを、必要に応じてウォータマークパターンずらし器３２５₁，３２５₂でずらす。
【００４２】
そして、ウォータマーク検出器３２１は、評価値算出器により、必要に応じてずらされたウォータマークパターンを用いて、それぞれ評価値を算出している。ウォータマーク検出器３２１は、ここで算出した評価値を、評価値比較器３２４により閾値処理して、付随情報ｆを出力する。なお、入力された画像データ自体も、そのまま出力する。画像変換器３２６（図中点線で示す）が置かれることもあるが、この理由は既に述べたとうりである。
【００４３】
このような構成からなるウォータマーク検出器３２１は、図３１に示すように一連の処理により付随情報ｆの検出を行っている。
【００４４】
ウォータマーク検出器３２１は、ステップＳ３３１において、閾値ｔｈの設定を行う。
【００４５】
そして、ウォータマーク検出器３２１は、ステップＳ３２２〜ステップＳ３３７において、ずらし量０，ｉ，ｊのウォータマークパターンを用いたときの、現フレームの画像に対するそれぞれの評価値ｓｕｍ＿ｉ，ｓｕｍ＿ｎ，ｓｕｍ＿ｊを求めている。このために、ウォータマーク検出器３２１は、ステップＳ３３３，３３５，３３７の各ステップにおいての評価値を算出するための処理（図３２に示す処理であって、以下、これを「評価値算出処理」と称す。）を行っている。
【００４６】
上記評価値算出処理は、図３２に示すように、ステップＳ３５１において、評価値ｓｕｍの初期化を行い、それからステップＳ３５２において、ウォータマークパターンをずらし量ｚだけずらす。そして、続くステップＳ３５３以降の処理では、上記図３０を用いて説明したステップＳ３１３〜ステップＳ３１６と同様な処理を行う。
【００４７】
すなわち、ウォータマーク検出器３２１は、ステップＳ３５２において、ウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素について上記ずらし量ｚ分ずらしたウォータマークパターンとの照合を行い、ステップＳ３５３において、ウォータマークのシンボルの判別を行う。ここで、ウォータマーク検出器３２１は、その画素のウォータマークのシンボルがプラスである場合には、ステップＳ３５４に進み、評価値ｓｕｍにその画素値ｘを足し、また、その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ３５５に進み、評価値ｓｕｍからその画素値ｘを引く。そして、ウォータマーク検出器３２１は、ステップＳ３５６において、対象領域の全画素について処理を行ったか否かの判別処理を行い、ここで、全画素について処理を行っていないことを確認した場合には、上記ステップＳ３５２に戻り再び上記照合等の処理を行い、対象領域の全画素について処理を繰り返す。このようにウォータマーク検出器３２１は、この評価値算出処理により算出している。
【００４８】
このような評価値算出処理により、ウォータマーク検出器３２１は、ステップＳ３３２及びステップＳ３３３において、ずらし量０における評価値ｓｕｍ＿ｎを求め、続いて、ステップＳ３３４及びステップＳ３３５において、ずらし量ｚ＝ｉのウォータマークパターンを用いたときの評価値ｓｕｍ＿ｉを求める。そして、上記ずらし量ｚ＝ｉにおける評価値ｓｕｍ＿ｉを求めたウォータマーク検出器３２１は、最後に、ステップＳ３３６及びステップＳ３３７において、ずらし量ｚ＝ｊのウォータマークパターンを用いたときの評価値ｓｕｍ＿ｊを求める。
【００４９】
なお、ここで、ウォータマークパターンをずらす際には、図３４に示すような処理によって行う。すなわち、ウォータマークパターンが、図３４中（Ａ）に示すように構成されている場合において、図３４中（Ｂ）に示すように画像を走査するときに、例えば図３４中（Ｃ）に示すように、画像の走査順に従ってずらして処理を行っている。また、このときにずらす単位は、１画素単位に限らず、任意の領域の単位でずらしても良い。ずらし量はｉ＞０，ｊ＜０，｜ｉ｜＝｜ｊ｜のように、ずらし量０を中心に前後に同じ量だけずらす方が良いが、任意のずらし量でも構わない。
【００５０】
なお、ウォータマークパターンをずらして評価値を求めるのは、次のような理由による。
【００５１】
例えば、Ｍ系列を用いてウォータマークパターンを生成した場合、０又は周期分以外の位置（位相）でそのパターンを任意にずらしたウォータマークパターンとの相関は非常に低くなる。言い換えれば、付加したときのウォータマークパターンに対して少しでもずらしたウォータマークパターンを用いて検出を行うと、評価値のバイアス成分はほぼ０となり、付随情報を付加しなかった場合の評価値とほぼ同じ値となる。例えば図２４においては、評価値のバイアス成分 （４ｎ）＾２はほぼ０になる。そのため、ウォータマークパターンをずらして求めた評価値は、ウォータマークパターンが付加されていない場合の標準的な評価値とほぼ等しいとみなすことができる。それらの評価値とずらし量０の場合の評価値とを比較することにより、相対的評価基準を利用できるため、付随情報の検出を容易に行うことができる。この方法により、付随情報が埋め込まれていない場合の評価値がほぼ０となるような、充分に広い領域の ウォータマークパターン（Ｍ系列なら、高次の系列）を用いなくても、狭い領域の ウォータマークパターン（Ｍ系列なら、低次の系列）を用いるだけで、付随情報の検出を確実に行うことができるようになっている。
【００５２】
ウォータマーク検出器３２１は、このようなことから３つの評価値ｓｕｍ＿ｎ，ｓｕｍ＿ｉ，ｓｕｍ＿ｊを相対的に評価することにより、上記図３１に示す付随情報の検出を行っている。
【００５３】
すなわち、ウォータマーク検出器３２１は、図３１に示すステップＳ３３９において、評価値ｓｕｍ＿ｉ及び評価値ｓｕｍ＿ｊの平均の値ｓｕｍ＿ａｖｅ＝（ｓｕｍ＿ｉ＋ｓｕｍ＿ｊ）／２を求める。そして、続くステップＳ３３９において、ウォータマーク検出器３２１は、この値ｓｕｍ＿ａｖｅを標準的な評価値として実際の評価値（ずらし量０の評価値）ｓｕｍ＿ｎとの差分の絶対値｜ｓｕｍ＿ｎ−ｓｕｍ＿ａｖｅ｜を求める。ここで、ウォータマーク検出器３２１は、その差が閾値ｔｈよりも大きい場合には、ステップＳ３４０に進み、ずらし位相ｒでは付随情報が付加されているとみなして付随情報ｆをｏｎにして、そうでない場合には、ステップＳ３４１に進み、付随情報ｆをｏｆｆにする。
【００５４】
例えば、上述の３つの評価値により相対的に評価する例を、図３５のように示すことができる。この図３５に示すように、ウォータマークを付加した場合、ずらし量−１，０，１での評価値は評価値Ａ，ｓｕｍ＿ｅｍｂｅｄ，Ｂになり、また、ウォータマークを付加しない場合には、同様に評価値は評価値Ａ，ｓｕｍ＿ｎｏｎ，Ｂになる。
【００５５】
ここで、標準的な評価値ｓｕｍ＿ａｖｅ＝（Ａ＋Ｂ）／２（図中●印）とずらし量０におけるウォータマークの付加／非付加の評価値とを比べると、ウォータマーク付加時は評価値ｓｕｍ_ｅｍｂｅｄ（図中○印）との比較になるのでその差が大きくなり、ウォータマーク非付加時はｓｕｍ＿ｎｏｎ（図中×印）との比較になるのでその差が小さくなる。よって、上記標準的な評価値ｓｕｍ＿ａｖｅとの差を閾値処理することにより、付随情報の抽出が可能となるのがわかる。
【００５６】
なお、現フレームの画像に対する標準的な評価値は、次のような処理方法により求めることができる。
【００５７】
例えばメディアンフィルタのようなフィルタを掛け、３つの評価値ｓｕｍ＿ｎ，ｓｕｍ＿ｉ，ｓｕｍ＿ｊに対し、現フレームの画像に対する標準的な評価値ｓｕｍ＿ｍｅｄを求めている。ここで、メディアンフィルタとは、入力した数値列を大きい順或いは小さい順に並べ直した後で、真中の位置の値を返すフィルタである。すなわち、例えば７１，８，−３４５，６８，−２という５つの数値が入力された場合、メディアンフィルタは、−３４５，−２，８，６８，７１のように並べ換えを行い、この結果として８を返す。このようにして求めた標準的な評価値ｓｕｍ＿ｍｅｄと実際の評価値ｓｕｍ＿ｎとの差分の絶対値を求め、その差が閾値ｔｈよりも大きい場合には、付随情報が付加されているとみなして付随情報ｆをｏｎにする。そうでない場合には、付随情報ｆをｏｆｆにする。
【００５８】
また、この他にも、任意の単一の位相の評価値をそのまま利用しても良いし、複数の評価値のうち全部或いは一部に対する平均値、最大値、最小値などを求めて利用するというように、どのような処理方法を用いて標準的な評価値を求めても構わない。これには、例えば−２及び−１ずらした場合の評価値の推移から、ずらし量０の場合の評価値を予測或いは外挿するというような、より複雑な処理方法も含まれている。
【００５９】
【発明が解決しようとする課題】
ところで、画像データに付随する情報をその画像データ中に付加する上述の方法では、検出時に次のような問題が発生する。
【００６０】
画像データに付随した情報を検出する際は、付加した場合のある特定のパターン、（上述した説明ではウォータマークパターン）に従って、各画素値を処理し評価値を算出する。ところが、一般に画素値は正の値であり、検出時は平均的に０ではない正の値を処理して評価値を算出することになる。そのため、各画素値が評価値に与える影響は大きく、ウォータマークパターンの系列の長さが短い場合には、誤検出の可能性が高くなる。
【００６１】
すなわち、例えば、上述したＭＰＥＧ等の高能率符号化では、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒはどれも０〜２５５の範囲で量子化されている。評価値を算出する際には、平均的に１２８の各画素値を処理することになり、評価値は平均的に１２８の変動を繰り返す。例えば、系列の長さが１００で、プラスのシンボルの個数がマイナスよりも２個だけ多い場合には、評価値は１２８×２で約＋２５６分だけずれてくる。これにより、上述したような例のように一つのシンボルで±１の付加を行っていた場合では、全体では＋１００の付加しかできないが、上述したように約＋２５６分だけずれてしまうような従来の方式では、検出精度は低くなってしまう。
【００６２】
そこで、本発明は、上述した実情に鑑みてなされたものであって、画像データに付加されているウォータマークを検出するための評価値の検出精度の高い画像データ処理装置及び方法、並びに記録装置及び方法を提供することを目的としている。
【００６３】
【課題を解決するための手段】
本発明に係る画像データ処理装置は、付随情報が埋め込まれている画像データを処理する画像データ処理装置において、上記付随情報は、２値データからなるウォータマークパターンであり、上記ウォータマークパターンを出力する付随情報出力手段と、入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出手段と、上記付随情報出力手段より出力された上記ウォータマークパターンの値に応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算手段と、上記評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出手段とを備えることにより、上述の課題を解決する。
【００６４】
このような構成を有する画像データ処理装置は、付随情報出力手段より出力された付随情報のパターンと、差分値算出手段により算出した差分値とに基づいて、評価値演算手段により評価値を得る。そして、画像データ処理装置は、付随情報検出手段により、この評価値に基づいて付随情報を検出する。
【００６５】
そして、画像データ処理装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００６６】
また、本発明に係る画像データ処理方法は、付随情報が埋め込まれている画像データを処理する画像データ処理方法において、上記付随情報は、２値データからなるウォータマークパターンであり、上記ウォータマークパターンを出力する付随情報出力工程と、入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出工程と、上記付随情報出力工程において出力された上記ウォータマークパターンの値に応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算工程と、上記評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出工程とを有することにより、上述の課題を解決する。
【００６７】
この画像データ処理方法は、付随情報出力工程において出力された付随情報のパターンと、差分値算出工程において算出した差分値とに基づいて、評価値演算手段において評価値を得る。そして、画像データ処理装置は、付随情報検出手段により、この評価値に基づいて付随情報を検出する。
【００６８】
そして、画像データ処理方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００６９】
また、本発明に係る記録装置は、付随情報が埋め込まれている画像データを記録媒体に記録する記録装置において、上記付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力手段と、入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出手段と、上記付随情報出力手段から出力された位相の異なる複数の付随情報のパターンに応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算手段と、上記評価値演算手段により得た複数の評価値を演算し、演算された評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出手段と、上記付随情報検出手段の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御手段とを備えることにより、上述の課題を解決する。
【００７０】
このような構成を有する記録装置は、付随情報出力手段より出力された付随情報のパターンと、差分値算出手段により算出した差分値とに基づいて、評価値演算手段により評価値を得る。そして、記録装置は、付随情報検出手段により、この評価値に基づいて付随情報を検出する。さらに、記録装置は、記録制御手段により、付随情報検出手段の検出結果に応じて入力された画像データを記録媒体に記録する。
【００７１】
そして、記録装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００７２】
また、本発明に係る記録方法は、付随情報が埋め込まれている画像データを記録媒体に記録する記録方法において、上記付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力工程と、入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出工程と、上記付随情報出力工程において出力された位相の異なる複数の付随情報のパターンに応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算工程と、上記評価値演算工程により得た複数の評価値を演算し、演算された評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出工程と、上記付随情報検出工程の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御工程とを有することにより、上述の課題を解決する。
【００７３】
この記録方法は、付随情報出力工程において出力された付随情報のパターンと、差分値算出手段において算出した差分値とに基づいて、評価値演算手段により評価値を得る。そして、記録方法は、付随情報検出工程により、この評価値に基づいて付随情報を検出する。さらに、記録方法は、記録制御工程により、付随情報検出手段の検出結果に応じて入力された画像データを記録媒体に記録する。
【００７４】
そして、記録方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００７５】
また、本発明に係る画像データ処理装置は、上述した課題を解決するために、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力手段と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出手段と、付随情報出力手段から出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算手段と、評価値演算手段により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出手段とを備える。
【００７６】
このような構成を有する画像データ処理装置は、付随情報出力手段から出力された位相の異なる複数の付随情報のパターンと、差分値算出手段により算出した差分値に基づいて、評価値演算手段により評価値を得る。そして、画像データ処理装置は、付随情報検出手段により、複数の評価値に基づいて付随情報を検出する。
【００７７】
そして、画像データ処理装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００７８】
また、本発明に係る画像データ処理方法は、上述した課題を解決するために、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力工程と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出工程と、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算工程と、評価値演算工程により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出工程とを有する。
【００７９】
この画像データ処理方法は、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと、差分値算出工程において算出した差分値に基づいて、評価値演算工程により評価値を得る。そして、画像データ処理方法は、付随情報検出工程により、複数の評価値に基づいて付随情報を検出する。
【００８０】
そして、画像データ処理方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００８１】
また、本発明に係る記録装置は、上述した課題を解決するために、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力手段と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出手段と、付随情報出力手段から出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算手段と、評価値演算手段により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出手段と、付随情報検出手段の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御手段と備える。
【００８２】
このような構成を有する記録装置は、付随情報出力手段から出力された位相の異なる複数の付随情報のパターンと、差分値算出手段により算出した差分値に基づいて、評価値演算手段により評価値を得る。そして、記録装置は、付随情報検出手段により、複数の評価値に基づいて付随情報を検出する。さらに、記録装置は、記録制御手段により、付随情報検出手段の検出結果に応じて入力された画像データを記録媒体に記録する。
【００８３】
そして、記録装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００８４】
また、本発明に係る記録方法は、上述した課題を解決するために、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力工程と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出工程と、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算工程と、評価値演算工程により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出工程と、付随情報検出工程の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御工程と有する。
【００８５】
この記録方法は、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと、差分値算出工程において算出した差分値に基づいて、評価値演算工程により評価値を得る。そして、記録方法は、付随情報検出工程により、複数の評価値に基づいて付随情報を検出する。さらに、記録方法は、記録制御工程により、付随情報検出工程の検出結果に応じて入力された画像データを記録媒体に記録する。
【００８６】
そして、記録方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っている。
【００８７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳しく説明する。この実施の形態は、本発明に係る画像データ処理処理装置及び方法を、ウォータマークが付随情報として埋め込まれている画像データを検出するウォータマーク検出器に適用したものである。
【００８８】
先ず第１の実施の形態であるウォータマーク検出器の構成について図１を用いて説明する。第１の実施の形態であるウォータマーク検出器２は、図１に示すように、ウォータマークのパターンを出力する付随情報出力手段であるウォータマークパターン保持メモリ３と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出手段である差分算出器４と、上記ウォータマークパターン保持メモリ３から取り出したウォータマークのパターンと差分値とに基づいて、評価値を演算する評価値演算手段である評価値算出器５と、評価値にも基づいてウォータマークの検出を行う付随情報検出手段である評価値比較器６とを備えている。また、ウォータマーク検出器２は、ウォータマークの照合の結果に基づいて入力された画像に処理を施す画像変換器７を備えている。
【００８９】
上述のような構成を有するウォータマーク検出器２は、画像データに付加されているウォータマークを検出することができる。
【００９０】
このウォータマーク検出器２は、例えば、入力された画像データを復号処理するデコーダに備えられている。デコーダはこのウォータマーク検出器２を備えることにより、ウォータマークを検出して、その検出結果に応じて画像処理を行うことができる。
【００９１】
デコーダについては、具体的には、従来のウォータマーク検出器の説明において用いた図２６に示したようにエンコーダ３０５と同様に構成されるものであって、すなわち、この場合、ウォータマーク検出器３０７に替えて本実施の形態であるウォータマーク検出器２が適用されることになる。なお、画像データに対するウォータマークの付加処理については、図２５に示すようなエンコーダ３０１により行われる。
【００９２】
上記差分算出器４は、入力された画像データのそれぞれの画素に対する差分値を算出する。ここで算出された差分値は、評価値算出器５に入力される。
【００９３】
上記ウォータマークパターン保持メモリ３は、予めウォータマークが格納される記憶手段であって、上記評価値算出器５は、このウォータマーパターン保持メモり３に記録されているウォータマークパターンを用いて、評価値を算出する。ここで算出された評価値は、評価値比較器６に入力される。
【００９４】
評価値比較器６は、評価値を閾値処理して、付随情報ｆを出力する。
【００９５】
なお、入力された画像データは、通常、そのまま出力されるが、画像変換器７は、必要に応じて入力された画像データを加工又は処理する機能を有している。例えば、画像を表示する画像表示部において、付随情報ｆがｏｎである場合にはそのまま画像を表示するが、付随情報ｆがｏｆｆである場合には、例えば画像を表示しない、画像データの主要領域を表示しない、画像にスクランブルを掛ける（受けとった画像データをでたらめに表示する）等の加工或いは処理を行う。この画像変換器７は、このように付随情報ｆに応じて画像データの加工又は処理を行う部分である。
【００９６】
このような構成を有するウォータマーク検出器２は、付随情報の検出処理を、図２に示すように、一連の処理により実行している。
【００９７】
ウォータマーク検出器２は、ステップＳ１において、評価値ｓｕｍの初期化及び閾値ｔｈの設定を行う。
【００９８】
続いて、ウォータマーク検出器２は、ステップＳ２において、ウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行い、ステップＳ３において、その照合を行った画素Ｘに対する差分値ｘｄを求める。
【００９９】
そして、ウォータマーク検出器２は、ステップＳ４において、ウォータマークのシンボルの判別を行う。ここで、ウォータマーク検出器２は、その画素のウォータマークのシンボルがプラスである場合には、ステップＳ５に進み、評価値ｓｕｍにその差分値ｘｄを足し、また、その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ６に進み、評価値ｓｕｍからその差分値ｘｄを引く。
【０１００】
それからウォータマーク検出器２は、ステップＳ７において、対象領域の全画素について処理を行ったか否かの判別処理を行い、ここで、全画素について処理を行っていないことを確認した場合には、上記ステップＳ２に戻り再び上記照合等の処理を行い、対象領域の全画素について処理を繰り返す。
【０１０１】
全画素について上述した処理を行った後、ウォータマーク検出器２は、ステップＳ８において、評価値ｓｕｍ＞閾値ｔｈとして閾値ｔｈに対して評価値ｓｕｍを比較する。ここでウォータマーク検出器２は、評価値ｓｕｍ＞閾値ｔｈである場合には、ステップＳ９に進み、画像データに付随情報が付加されているとみなして付随情報ｆをｏｎ（付随情報ｆが存在している）にして、また、そうでない場合には、ステップＳ１０に進み、付随情報ｆをｏｆｆ（付随情報ｆが存在していない）にする。ここで検出された付随情報ｆに基づいて、従来と同様に、例えば不正コピーの防止処理がなされる。
【０１０２】
以上のように本発明が適用された上記ウォータマーク検出器２は、評価値に基づいて付随情報の検出処理を行っているが、従来例の処理と比べると、評価値ｓｕｍを算出する際、対象の画素Ｘそのもの画素値ｘを用いるのではなく、画素Ｘの差分値ｘｄを算出して用いる点で異なっている。
【０１０３】
ウォータマーク検出器２は、上述のような構成により、差分値を用いて評価値を算出しているので、画像データの個々の値が評価値に与える影響を小さくすることができる。これにより、ウォータマーク検出器２は、付随情報の検出精度を高くすることができるので、確実は付随情報の検出が可能になる。
【０１０４】
すなわち、具体的には、上述したように、従来においては、０〜２５５の範囲で量子化されている各画素値について、近隣の画素値との差分をとると、値の範囲自体は−２５５〜２５５に広がってしまう。しかし、一般的に画像では近隣の画素値の相関が高いため、差分値は平均的に０になる。よって、例えば、系列の長さが１００で、プラスのシンボルの個数がマイナスよりも２個だけ多い場合でも、評価値のずれは約±０になる。一つのシンボルで±１の付加を行なっていた場合、全体で＋１００の付加量があれば、従来よりも高い検出精度を得ることができることになる。
【０１０５】
なお、画素Ｘに対する差分値ｘｄの計算方法については、次のような例が挙げられる。
【０１０６】
差分値ｘｄを求める第１の計算方法には、画素Ｘと同じ垂直座標に位置する画素との差分（以下、横差分と称する。）によりを求める方法がある。
【０１０７】
すなわち、例えば、画素Ｘの左隣に位置する画素ＸＬと差分をとることにして、差分値ｘｄ＝ＸＬ−Ｘを得る。なお、差分値ｘｄ＝Ｘ−ＸＬとすることにしても良い。
【０１０８】
また、差分を求める対象は、左隣に限定される必要はなく、ｎ個だけ左に位置する画素ＸＬｎとの差分を用いても良い。この場合、差分値ｘｄ＝ＸＬｎ−Ｘとなる。または、差分値ｘｄ =Ｘ−ＸＬｎとなる。もちろん、画素Ｘの右側に位置する画素と差分をとることにしても良い。
【０１０９】
次に、第２の計算方法には、画素Ｘと同じ水平座標に位置する画素との差（以下、縦差分と称する。）を求める方法がある。例えば、画素Ｘの上隣に位置する画素ＸＵと差分をとることにして、差分値ｘｄ＝ＸＵ−Ｘを得る。なお、差分値ｘｄ＝Ｘ−ＸＵｄとすることにしても良い。
【０１１０】
また、差分を求める対象は、上隣に限定される必要はなく、ｎ個だけ上に位置する画素ＸＵｎとの差分を用いても良い。すなわち、この場合、差分値ｘｄ＝ＸＵｎ−Ｘとなる。または、差分値ｘｄ＝Ｘ−ＸＵｎとなる。もちろん、画素Ｘの下側に位置する画素と差分をとることにしても良い。
【０１１１】
第３の計算方法としては、差分を求める対象を、垂直座標か水平座標が同じでないものとして求める方法がある。
【０１１２】
例えば、画素Ｘの座標位置から、上に３画素、右に１２画素離れた画素との差分をとるようにしても良い。
【０１１３】
なお、上述したような計算方法以外にも、画像の上下左右の端の方に画素が位置された場合に差分対象となる画素が画像の外側位置に存在する場合を考慮して計算方法もある（第４の計算方法）。この場合、差分値ｘｄを任意の値に設定する。例えば、この場合は差分値が計算できないと判定し、差分値ｘｄ＝０としても良い。または、上述したような計算方法の何らかを用いて、差分対象となる画素を構成しても良い。さらに、このように対象とされる画素が画像の外側に位置される場合に、画像を周期化する方法を用いて差分値を求めることもできる。例えば、左隣の画素を用いて差分値を求める場合について考えると、画素Ｘの座標（ｙ，ｘ）が（５，０）のとき、差分対象となる左隣の画素ＸＬは座標（５，−１）となり、画素ＸＬは画像の外側に位置することになる。そこで、画像の水平方向の画素数ＮＨを画素ＸＬの水平成分に加える周期化を行い、座標（５，ＮＨ−１）に位置する画素を用いる。もちろん、これ以外の方法によって、差分対象となる画素を構成しても構わない。
【０１１４】
また、第５の計算方法として、次のような計算方法を用いて、画素Ｘに対する差分値ｘｄを求めてることもできる。
【０１１５】
まず、上述した横差分と縦差分の両方を用いて、差分値を求める方法が挙げられる。例えば、画素Ｘ（ｙ，ｘ）に対する差分値ｘｄを求める際には、画素ＸＬ（ｙ，ｘ−１），ＸＵ（ｙ−１，ｘ），ＸＵＬ（ｙ−１，ｘ−１）の３画素を用いて、差分値 ｘｄを以下のように求める。
【０１１６】
ｘｄ＝（ＸＵＬ−ＸＵ）−（ＸＬ−Ｘ）
複数の画素を用いて差分値を求める方法の例は、これに限定されることなく次のような算出方法を採ることもできる。
【０１１７】
例えば横差分なら、画素Ｘ０に対する差分値ｘｄを求める際に、右隣に連続する４つの画素Ｘ０（ｙ，ｘ），Ｘ１（ｙ，ｘ＋１），Ｘ２（ｙ，ｘ＋２），Ｘ３（ｙ，ｘ＋３）を用いることにしても良い。この場合、次のような式により各差分値ｘｄ１，ｘｄ２，ｘｄ３を求める。
【０１１８】
ｘｄ１＝Ｘ０−Ｘ１＋Ｘ２−Ｘ３
ｘｄ２＝Ｘ０−Ｘ１−Ｘ２＋Ｘ３
ｘｄ３＝Ｘ０＋Ｘ１−Ｘ２−Ｘ３
そして、最終的に得たい差分値ｘｄを、これらの差分値ｘｄ１，ｘｄ２，ｘｄ３から算出する。例えば、ｘｄ１，ｘｄ２，ｘｄ３の平均、中間値、０にもっとも近い値などを得たい差分値ｘｄに決定する。または、これらの値それぞれに対して個別に評価値を求めるような構成をとり、評価値を比較する際にそれらを利用することにしても良い。
【０１１９】
また、画素Ｘに対する差分値ｘｄを求める際に、画素Ｘ自体を用いなくても良い。この場合には、例えば、Ｘ（ｙ，ｘ）に対する差分値ｘｄを求める際に、画素ＸＬ（ｙ，ｘ−１），ＸＲ（ｙ，ｘ＋１）を用い、以下の通り差分値 ｘｄ を求める。
【０１２０】
ｘｄ＝ＸＬ（ｙ，ｘ−１）−ＸＲ（ｙ，ｘ＋１）
差分値ｘｄを求める際に画素Ｘ自体を用いない他の例としては、さらに、例えば画素Ｘと同じウォータマークシンボルの画素Ｘｓａｍｅと、画素Ｘと異なるウォータマークシンボルの画素Ｘｄｉｆｆから、以下の通り差分値ｘｄを求める方法もある。
【０１２１】
ｘｄ = Ｘｓａｍｅ−Ｘｄｉｆｆ
ここで、画素Ｘｓａｍｅ, Ｘｄｉｆｆを選ぶ基準は、例えば画素位置が画素Ｘと一番近いもの、又は、画素Ｘと値が一番近いものなどにする。
【０１２２】
上述したように多岐にわたる算出方法により差分値を算出しているが、これは、画像では近隣の画素値の相関が高いため、画素Ｘの差分値は平均的に０になることを利用している。
【０１２３】
ところで、画素位置がエッジの境界などにある場合、その差分値の絶対値は大きな値となってしまうことが多く、上述のような算出方法においてさらにこのよな現象を考慮しないと、評価値はその差分値によって大きな影響を受けてしまう。
【０１２４】
このことを避けるために、差分値の絶対値がある範囲を超える場合には、その差分値を評価値に反映させないような方法を採る。または、その値をクリッピングしても良い。
【０１２５】
具体的には、差分値の絶対値が所定の値rangeとの関係において、｜ｘｄ｜＞rangeとなる場合には、差分値ｘｄをｘｄ＝０に設定する。または、次のように設定する。
【０１２６】
ｘｄ＝range （ｘｄ≧０）
ｘｄ＝−range （ｘｄ＜０）
なお、上述したクリッピングは、差分値がある値に達してときに、所定の値の範囲内に納まるように変換するものであるが、この変換を関数変換により行ってもよい。
【０１２７】
なお、ウォータマークのシンボルについては、プラス、マイナス以外のどのようなシンボルを用いることもできる。さらに、ウォータマークのシンボルの種類についても、２種類ではなく、３種類以上のどのようなシンボルを用いることもできる。例えば、プラス、ゼロ、マイナスの３種類のシンボルを用意しておき、ウォータマークパターンとの照合を行った際にシンボルがゼロである画素については、評価値ｓｕｍに影響を与えない（その画素値を評価値ｓｕｍに足しも引きもしない）ようにするなど、各シンボルにどのような意味を与える。
【０１２８】
また、ウォータマークパターンを画像上に付加する領域は、任意の形状及び範囲で構わない。
【０１２９】
さらに、付加したウォータマークパターンとの整合が取れている限り、検出時に評価値を求める領域の形状及び範囲は任意で構わない。さらにウォータマークパターンは、時間的或いは空間的に渡るより広い領域を用いて、検出を行うことにしても良い。例えば動画像シーケンスにおいては、時間的な基準を用い、現フレームの時間的位置だけでなく、過去や未来のフレームも利用して良い。例えば非常に大きな画像サイズを持つ静止画像においては、１枚の画像をある単位で複数の画像領域に分割して扱うことにし、空間的な基準を用い、現在対象としている画像領域に対して、例えば走査順で前や後に位置する画像領域も利用して良い。
【０１３０】
次に、本発明の実施の形態として、ずらし検出により、画像データにウォータマークとして埋め込まれている付随情報を検出するウォータマーク検出器について説明する。すなわち、ここで説明する第２の実施の形態であるウォータマーク検出器は、ずらし検出に応じて差分値を用いて評価値を求ている。
【０１３１】
ここで、差分値を用いてずらし検出を行った場合、評価値がどのようになるかを考えてみる。
【０１３２】
始めに、ウォータマークパターンとして用いる系列Ｍに関する性質については次に示のようになる。
【０１３３】
例えば、ＭとしてＭ系列を用いた場合、プラスとマイナスのシンボルが疑似乱数的に現れるため、系列Ｍと画像Ｐとの内積はほぼ０になる。また、その系列と同位相の系列との内積を取ると相関が高くなり、同位相ではない系列との内積を取ると相関は低くなる性質も有する。なお、Ｍ系列に限らず、このような特殊な性質を有するパターンであれば、ウォータマーパターンとして用いる系列Ｍはここで説明するものに限定されない。
【０１３４】
以上をまとめると、式のようになる。
【０１３５】
Ｍ（ｙ，ｘ）＝＋ａ （シンボルがプラスの場合）
Ｍ（ｙ，ｘ）＝−ｂ （シンボルがマイナスの場合）
Σ｛Ｍ（ｙ，ｘ）×Ｐ（ｙ，ｘ）｝≒０
Σ｛Ｍ（ｙ１，ｘ１）×Ｍ（ｙ２，ｘ２）｝≒α （ｙ１＝ｙ２ and ｘ１＝ｘ２）
Σ｛Ｍ（ｙ１，ｘ１）×Ｍ（ｙ２，ｘ２）｝≒０ （ｙ１≠ｙ２ or ｘ１≠ｘ２）
次に、一つ前との差分と一つ後との差分について考えてみる。
【０１３６】
まず、一つ前との差分を用いた場合については、例えば、注目する画素Ｘ（ｘ，ｙ）と、その左隣の画素ＸＬ（ｙ，ｘ−１）との差分値を差分値ｄｉｆｆ＿Ｌとする。画素Ｘ，ＸＬは、どちらもウォータマークパターンを付加する前の画像Ｐに対して、ウォータマークパターンＭを付加したものである。例えば、差分値ｄｉｆｆ＿Ｌを次のように算出する。
【０１３７】

なお、ここで、
ＹＬ＝Ｐ（ｙ，ｘ−１）−Ｐ（ｙ，ｘ）
である。
【０１３８】
そして、差分値ｄｉｆｆ＿Ｌを用いて評価値ｓｕｍ＿Ｌを算出する。ずらし量０の時の評価値ｓｕｍ＿Ｌ（０）は、画像に渡って画素Ｍ（ｙ，ｘ）と差分値ｄｉｆｆ＿Ｌの内積を求めることにより、次のように得られる。
【０１３９】

ここで、上式の第１項は、画像との内積なので、ほぼ０となる。また、第２項は、同位相ではない系列との内積なので、ほぼ０となる。そして、第３項は、同位相の系列の内積なので、ほぼ−αとなる。これらから、次のような値が導き出せる。
【０１４０】
ｓｕｍ＿Ｌ（０）≒−α
そして、これらと同様に、ずらし量−１の場合の評価値ｓｕｍ＿Ｌ（−１） を同様に求める。なお以下では、ずらし量ｚが画像のｘ成分に対して影響を与える場合を例にして式を展開している。評価値ｓｕｍ＿Ｌ（−１）は次のように得られる。
【０１４１】

ここで、上式の第１項は、画像との内積なので、ほぼ０となる。また、第２項は、同位相の系列の内積なので、ほぼαとなる。そして、第３項は、同位相ではない系列との内積なので、ほぼ０となる。以上をまとめると、次のような値が導き出せる。
【０１４２】
ｓｕｍ＿Ｌ（−１）≒α
さらに、ずらし量０，−１以外の場合についても上述したような手法により算出した評価値は、どれもほぼ０となる。すなわち、次のような値が導き出せる。
【０１４３】
ｓｕｍ＿Ｌ（ｚ）≒０ （ｚ≠０ and ｚ≠−１）
次に、一つ後との差分を用いた場合について、上述した一つ前との差分について行ったと同様な手法により評価値を求める。例えば、注目する画素Ｘ（ｘ，ｙ）と、その右隣の画素ＸＲ（ｙ，ｘ＋１）との差分値を差分値ｄｉｆｆ＿Ｒとしよう。画素Ｘ，ＸＲは、どちらもウォータマークパターンを付加する前の画像Ｐに対して、ウォータマークパターンＭを付加したものである。例えば、差分値ｄｉｆｆ＿Ｒを次のように算出する。
【０１４４】

なお、ここで、
ＹＲ＝Ｐ（ｙ，ｘ）−Ｐ（ｙ，ｘ＋１）
である。
【０１４５】
差分値ｄｉｆｆ＿Ｒを用いて評価値ｓｕｍ＿Ｒを算出する。ずらし量０の時の評価値ｓｕｍ＿Ｒ（０）は、画像に渡ってＭ（ｙ，ｘ）とｄｉｆｆ＿Ｒとの内積を求めることにより次のように得られる。
【０１４６】

ここで、上式の第１項は、画像との内積なので、ほぼ０となる。また、第２項は、同位相の系列の内積なので、ほぼαとなる。そして、第３項は、同位相ではない系列との内積なので、ほぼ０となる。以上をまとめると、次のような値が導き出せる。
【０１４７】
ｓｕｍ＿Ｒ（０）≒α
そして、ずらし量１の場合の評価値ｓｕｍ＿Ｒ（１）については、次のようななる。なお以下では、ずらし量ｚが画像のｘ成分に対して影響を与える場合を例に、式を展開している。
【０１４８】

ここで、上式の第１項は、画像との内積なので、ほぼ０となる。また、第２項は、同位相ではない系列との内積なので、ほぼ０となる。そして、第３項は、同位相の系列の内積なので、ほぼ−αとなる。以上をまとめると、次のような値が導き出せる。
【０１４９】
ｓｕｍ＿Ｒ（１）≒−α
そして、同様にずらし量０，１以外の時の評価値を求めると、どれもほぼ０となる。
【０１５０】
ｓｕｍ＿Ｒ（ｚ）≒０ （ｚ≠０ and ｚ≠１）
上述した結果をまとめると次のようになる。すなわち、一つ前の差分を用いて求めた評価値ｓｕｍ＿Ｌ（ｚ）については、ずらし量ｚにより変化し、次のようにまとめることができる。
【０１５１】
ｓｕｍ＿Ｌ（ｚ）≒−α （ｚ＝０）
ｓｕｍ＿Ｌ（ｚ）≒α （ｚ＝−１）
ｓｕｍ＿Ｌ（ｚ）≒０ （ｚ≠０ and ｚ≠−１）
ここで、評価値ｓｕｍ＿Ｌ（ｚ）とずらし量ｚとの関係は、図３中（Ａ）に示すようになる。
【０１５２】
また、一つ後の差分を用いて求めた評価値ｓｕｍ＿Ｒ（ｚ）については、ずらし量ｚにより変化し、次のようにまとめることができる。
【０１５３】
ｓｕｍ＿Ｌ（ｚ）≒α （ｚ＝０）
ｓｕｍ＿Ｌ（ｚ）≒−α （ｚ＝１）
ｓｕｍ＿Ｌ（ｚ）≒０ （ｚ≠０ and ｚ≠−１）
ここで、この評価値ｓｕｍ＿Ｒ（ｚ）とずらし量ｚとの関係は、図３中（Ｂ）に示すようになる。
【０１５４】
これら値により付加量の増幅（或いは強調）できる。次に、この付加量の増幅（強調）について説明する。
【０１５５】
例えば、次のような式により評価値ｓｕｍを算出する。
【０１５６】
ｓｕｍ（ｚ）＝ｓｕｍ＿Ｒ（ｚ）−ｓｕｍ＿Ｌ（ｚ）
この式により、ずらし量ｚ＝０の場合には、評価値ｓｕｍ＝２αとなり、また、ずらし量ｚ＝−１，１の場合には、いずれも評価値ｓｕｍ＝−αとなり、そして、それ以外のずらし量の場合には、評価値ｓｕｍがほぼ０となる。ここで、評価値ｓｕｍとずらし量ｚとの関係は、図３中（Ｃ）に示すようになる。
【０１５７】
よって、上述したように、評価値ｓｕｍ＝ｓｕｍ＿Ｒ−ｓｕｍ＿Ｌを算出し、ずらし量ｚ＝−１，１の場合の評価値を平均して標準的な評価値ｓｕｍ＿ａｖｅを求め、ずらし量０の場合の実際の評価値とを比較した場合、付加量αは３倍に増幅（或いは強調）されることになる。すなわち、
ｓｕｍ＿ａｖｅ≒−α
ｓｕｍ＿ｎ ≒２α
から、

となり、３倍の増幅量として付加量を得ることができる。
【０１５８】
以上のように、差分値を用いてずらし検出を行うと、付加量がこのように増幅されるため、従来よりも高い検出精度で確実に付随情報を検出することができる。
【０１５９】
なお上述の例では、評価値ｓｕｍ＿Ｌ又は評価値ｓｕｍ＿Ｒのどちらかの評価値を求めるだけでも、増幅（或いは強調）の効果は得られる。例えば、ｓｕｍ＿Ｌについてみると、上記図３中（Ａ）に示すように、ずらし量−１とずらし量０の場合の評価値の差は２αである。よって、この２つのずらし量の時の評価値を用いるだけで、２倍の増幅（或いは強調）効果を得られることになる。もちろん、そのような構成にしても良い。
【０１６０】
次に、上述した処理を実施可能にする第２の実施の形態のウォータマーク検出器の構成について説明する。
【０１６１】
ウォータマーク検出器は、図４に示すように、ウォータマークのパターンを記憶する記憶手段であるウォータマークパターン保持メモリ１２と、ウォータマークパターン保持メモリ１２に記憶されているウォータマークのパターンを、異なる位相に設定する位相設定手段であるウォータマークパターンずらし器１３₁，１３₂と、入力された画像データにおいて近傍の画素との画素値の差分値を算出する差分値算出手段である差分算出器１４₁，１４₂と、上記ウォータマークパターンずらし器１３₁，１３₂から出力された位相の異なる複数のウォータマークのパターンと上記差分値とに基づいて、評価値を演算する演算手段である評価値算出器１５₁，１５₂，１５₃，１６₁，１６₂，１６₃と、評価値算出器１５₁，１５₂，１５₃，１６₁，１６₂，１６₃により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出手段である評価値比較器１７とを備えている。また、ウォータマーク検出器１１は、ウォータマークの照合の結果に基づいて入力された画像に処理を施す画像変換器１８を備えている。なお、このウォータマーク検出器１１については、以後、第２の実施の形態における「構成例１」のウォータマーク検出器と称する。
【０１６２】
次にウォータマーク検出器１１を構成する各部について説明する。
【０１６３】
上記差分算出器１４₁，１４₂は、 入力された画像データについてそれぞれの画素に対する差分値を算出する。ここで差分算出器１４₁において算出された差分値は、評価値算出器１５₁，１５₂，１５₃にそれぞれ入力され、差分算出器１４₂において算出された差分値は、評価値算出器１６₁，１６₂，１６₃に入力される。
なお、差分算出器１４₁及び差分算出器１４₂における差分値の算出は、互いに同様の方法により行ってもよいが、異なる方法でもよい。例えば、差分値の算出方法が異なる方法を採用した場合、差分算出器１４₁では一つ前との差分、差分算出器１４₂では一つ後との差分により差分値を算出する。
【０１６４】
上記ウォータマークパターン保持メモリ１２は、予めウォータマークを記憶しておく記憶手段であって、上記ウォータマークパターンずらし器１３₁，１３₂は、このウォータマーク保持メモリ１２に記録されているウォータマークパターンを、必要に応じてずらす。なお、ウォータマークずらし器１３₁，１３₂と、ウォータマーク保持メモリ１２とにより付随情報出力手段が構成される。
【０１６５】
具体的には、ウォータマークパターンずらし器１３₁がずらし量ｉによりウォータマークパターンをずらし、ここでずらし量ｉによりずらされたウォータマークパターンは、評価値算出器１５₁，１６₁に入力され、また、ウォータマークパターンずらし器１３₂がずらし量ｊによりウォータマークパターンをずらし、ここでずらし量ｊによりずらされたウォータマークパターンは、評価値算出器１５₃，１６₃に入力される。
【０１６６】
上記評価値算出器１５₁，１５₂，１５₃，１６₁，１６₂，１６₃は、必要に応じてずらされたウォータマークパターンを用いて、それぞれ評価値を算出する。ここで算出された全ての評価値は、評価値比較器１７に入力される。
【０１６７】
上記評価値比較器１７は、入力された評価値により付加量を増幅（或いは強調）させる処理を行った後、閾値処理して、付随情報ｆを出力する。
【０１６８】
なお、付加量の増幅（或いは強調）処理を行う部分を外部に出し、評価値比較器１７の前に設けても良い。また、入力された画像データ自体も、そのまま出力される。
【０１６９】
上記画像変換器１８は、必要に応じて入力された画像データを加工又は処理する機能を有している。
【０１７０】
このような構成を有するウォータマーク検出器１１は、付随情報の検出処理を、図５及び図６に示すようなに、一連の処理により実行している。
【０１７１】
ウォータマーク検出器１１は、ステップＳ２１において、閾値ｔｈの設定を行い、続くステップＳ２２において、一つ前との差分を用いて評価値ｓｕｍ＿Ｌを求める準備を行う。この準備の具体例として、例えば評価値算出部１５₁，１５₂，１５₃（後述する「差分値用評価値算出処理」を行う部分）で評価値を算出する場合において、対象の画素Ｘの差分値ｘｄを算出するときに、図６を用いて説明する後述する差分値ｘｄ（ｚ）＝Ｘ（ｚ−１）−Ｘ（ｚ）を用いるような設定を行うことなどが挙げられる。
【０１７２】
そして、ウォータマーク検出器１１は、ステップＳ２３〜ステップＳ２８において、ずらし量ｉ，０，ｊのウォータマークパターンを用いたときの、現フレームの画像に対するそれぞれの評価値ｓｕｍ＿Ｌ（ｉ），ｓｕｍ＿Ｌ（０），ｓｕｍ＿Ｌ（ｊ）を求めている。このために、ウォータマーク検出器１１は、ステップＳ２４，２６，２８の各ステップにおいての評価値を算出するための処理（図６に示す処理であって、以下、これを「差分値用評価値算出処理」と称す。）を行っている。
【０１７３】
上記評価値算出処理は、図６に示すように、ステップＳ５１において、評価値ｓｕｍの初期化を行い、それからステップＳ５２において、ウォータマークパターンをずらし量ｚだけずらす。そして、ウォータマーク検出器１１は、続くステップＳ５３以降の処理を、上記図２を用いて説明したステップＳ３〜ステップＳ７と同様な処理を行う。
【０１７４】
すなわち、ウォータマーク検出器１１は、ステップＳ５２において、ウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素について上記ずらし量ｚ分ずらしたウォータマークパターンとの照合を行い、ステップＳ５３において、現在対象とされている画素Ｘの差分値ｘｄを算出する。そして、ウォータマーク検出器１１は、ステップＳ５４において、ウォータマークのシンボルの判別を行う。ここで、ウォータマーク検出器１１は、その画素のウォータマークのシンボルがプラスである場合には、ステップＳ５５に進み、評価値ｓｕｍにその差分値ｘｄを足し、また、その画素のウォータマークのシンボルがマイナスである場合には、ステップＳ５６に進み、評価値ｓｕｍからその差分値ｘｄを引く。そして、ウォータマーク検出器１１は、ステップＳ５７において、対象領域の全画素について処理を行ったか否かの判別処理を行い、ここで、全画素について処理を行っていないことを確認した場合には、上記ステップＳ５２に戻り再び上記照合等の処理を行い、対象領域の全画素について処理を繰り返す。このようにウォータマーク検出器１１は、この評価値算出処理により算出している。
【０１７５】
よって、これにより、ウォータマーク検出器１１は、上記図５に示すステップＳ２３及びステップＳ２４において、上記差分値用評価値算出処理によりずらし量ｉにおける評価値ｓｕｍ＿Ｌ（ｉ）を求め、続いて、ステップＳ２５及びステップＳ２６において、ずらし量ｚ＝０のウォータマークパターンを用いたときの評価値ｓｕｍ＿Ｌ（０）を求める。そして、上記ずらし量ｚ＝０における評価値ｓｕｍ＿Ｌ（０）を求めたウォータマーク検出器１１は、最後に、ステップＳ２７及びステップＳ２８において、ずらし量ｚ＝ｊのウォータマークパターンを用いたときの評価値ｓｕｍ＿Ｌ（ｊ）を求める。
【０１７６】
そして、ウォータマーク検出器１１は、続くステップＳ２９において、一つ後との差分を用いて評価値ｓｕｍ＿Ｒを求める準備を行う。この準備の具体例として、例えば、差分値用評価値算出処理で評価値を算出する場合において、対象の画素Ｘの差分値ｘｄを算出するときに、差分値ｘｄ（ｚ）＝Ｘ（ｚ）−Ｘ（ｚ＋１）を用いるよう設定を行うことなどが挙げられる。
【０１７７】
そして、上述したように差分値用評価値処理により、ずらし量ｚ＝ｉ，０，ｊについて評価値ｓｕｍ＿Ｒ（ｚ）を算出する。
【０１７８】
すなわち、ウォータマーク検出器１１は、ステップＳ３０及びステップＳ３１において、上記図６に示した差分値用評価値算出処理によりずらし量ｉにおける評価値ｓｕｍ＿Ｒ（ｉ）を求め、続いて、ステップＳ３２及びステップＳ３３において、ずらし量ｚ＝０のウォータマークパターンを用いたときの評価値ｓｕｍ＿Ｒ（０）を求める。そして、最後に、ステップＳ３４及びステップＳ３５において、ずらし量ｚ＝ｊのウォータマークパターンを用いたときの評価値ｓｕｍ＿Ｒ（ｊ）を求める。なお、ウォータマークパターンをずらす方法は、従来例において述べた方法と同様で構わない。
【０１７９】
ウォータマーク検出器１１は、ステップＳ３６において、上述のようにして求めた上記６つの評価値ｓｕｍ＿Ｌ（ｉ），ｓｕｍ＿Ｌ（０），ｓｕｍ＿Ｌ（ｊ），ｓｕｍ＿Ｒ（ｉ），ｓｕｍ＿Ｒ（０），ｓｕｍ＿Ｒ（ｊ）から、相対的評価を行うために用いるｓｕｍ＿ｉ，ｓｕｍ＿ｎ，ｓｕｍ＿ｊを算出する（評価値の変換を行う）。ここで行う算出方法は、概略的に説明すると、同じずらし量に対して求めたｓｕｍ＿Ｌ，ｓｕｍ＿Ｒの評価値を用いて、ｓｕｍ＝ｓｕｍ＿Ｒ−ｓｕｍ＿Ｌを求めていることになる。このような評価値の変換によって、付随情報を検出する際の付加量が増幅（或いは強調）されるため、この処理は付加量を増幅（或いは強調）させるための処理と考えることができる。
【０１８０】
その後、ウォータマーク検出器１１は、ステップＳ３７において、評価値ｓｕｍ＿ｉ，ｓｕｍ＿ｊから標準的な評価値ｓｕｍ＿ａｖｅ＝（ｓｕｍ＿ｉ＋ｓｕｍ＿ｊ）／２を求め、続くステップＳ３８において、この値ｓｕｍ＿ａｖｅを標準的な評価値として実際の評価値（ずらし量０の評価値）ｓｕｍ＿ｎとの差分の絶対値｜ｓｕｍ＿ｎ−ｓｕｍ＿ａｖｅ｜を求める。ここで、ウォータマーク検出器１１は、その差が閾値ｔｈよりも大きい場合には、ステップＳ３９に進み、ずらし位相ｒでは付随情報が付加されているとみなして付随情報ｆをｏｎにして、そうでない場合には、ステップＳ４０に進み、付随情報ｆをｏｆｆにする。
【０１８１】
上述した構成例１のウォータマーク検出器１１は、差分算出器を２つ、評価値算出器を６つ備えている。しかし、同様の機能、効果を有したまま、これらの数を減らす（演算量を削減する）別形態をとることが可能であり、次にそのウォータマーク検出器について説明する。
【０１８２】
ここで、演算量を削減するための基本的な考え方についてまず説明する。
【０１８３】
先の構成例１のウォータマーク検出器１１では、上記図３を用いて説明したように、評価値ｓｕｍ＿Ｌ，ｓｕｍ＿Ｒの双方の評価値を求めて付随情報を検出している。
【０１８４】
一方で、評価値ｓｕｍ＿Ｌと評価値ｓｕｍ＿Ｒとの関係においては、図７に示すように、ずらし量ｚに対する評価値ｓｕｍ＿Ｒの変化は、ずらし量ｚに対する評価値ｓｕｍ＿Ｌの変化を当該ずらし量ｚのプラス方向にシフトしたものと同等とみなすことができる。
【０１８５】
このようなことから、評価値ｓｕｍ＿Ｒを求める処理を省略し、その代わり評価値ｓｕｍ＿Ｌをずらし量のずらす方向にずらし量１だけシフトしたものを評価値ｓｕｍ＿Ｒとして代用することにする。このようにすると、例えば４つのずらし量−２，−１，０，１の場合の評価値ｓｕｍ＿Ｌを求めるだけで、上述した構成例１のウォータマーク検出器１１と同様の増幅（或いは強調）効果が得られることになる。
【０１８６】
上述のように、求めた評価値の位相をシフトすることによって、評価値の代用を行うことを可能にする構成が、図８に示すようなウォータマーク検出器３１である。このウォータマーク検出器３１は、ウォータマークパターン保持メモリ３２、ウォータマークパターンずらし器３３₁，３３₂，３３₃、差分算出器３４、評価値算出器３５₁，３５₂，３５₃，３５₄、評価値比較器３７、画像変換器３８から構成されている。なお、このウォータマーク検出器３１については、以後、第２の実施の形態における「構成例２」のウォータマーク検出器と称する。
【０１８７】
以下、ウォータマーク検出器３１の構成部について説明する。
【０１８８】
差分算出器３４は、入力された画像データのそれぞれの画素に対する差分値を算出する。ここで算出された差分値は、各評価値算出器３５₁，３５₂，３５₃，３５₄に入力される。
【０１８９】
上記ウォータマークパターン保持メモリ３２は、予めウォータマークを記憶しておく記憶手段であって、上記ウォータマークパターンずらし器３３₁，３３₂，３３₃は、このウォータマークパターン保持メモリに記憶されているウォータマークパターンを、必要に応じてずらす。
【０１９０】
具体的には、ウォータマークパターンずらし器３３₁がずらし量ｉによりウォータマークパターンをずらし、ここでずらし量ｉによりずらされたウォータマークは、評価値算出器３５₂に入力され、また、ウォータマークパターンずらし器３３₂がずらし量ｊによりウォータマークパターンをずらし、ここでずらし量ｊによりずらされたウォータマークは、評価値算出器３５₄に入力され、さらに、ウォータマークパターンずらし器３３₃がずらし量ｈによりウォータマークパターンをずらし、ここでずらし量ｈによりずらされたウォータマークは、評価値算出器３５₁に入力される。
【０１９１】
上記評価値算出器３５₁，３５₂，３５₃，３５₄は、必要に応じてずらされたウォータマークパターンを用いて、それぞれ評価値を算出する。ここで算出された全ての評価値は、評価値比較器３７に入力される。
【０１９２】
上記評価値比較器３７は、入力された評価値により付加量を増幅（或いは強調）させる処理を行った後、閾値処理して、付随情報ｆを出力する。
【０１９３】
なお、付加量の増幅（或いは強調）処理を行う部分を外部に出し、評価値比較器３７の前に設けても良い。また、入力された画像データ自体も、そのまま出力される。
【０１９４】
上記画像変換器３８は、必要に応じて入力された画像データを加工又は処理する機能を有している。
【０１９５】
以上のような構成部を有する構成例２であるウォータマーク検出器３１により、上記構成例１のウォータマーク検出器１１より、差分算出器及び評価値算出器を減らしてもなお、同様の機能、効果を保持することができる。
【０１９６】
なお、本例では、従来例と同様のずらし量（例えば、ｉ，ｏ，ｊの３つ）だけを用いても良い。しかし、差分値を用いることによる付加量の増幅（或いは強調）効果を高めるために、ウォータマーク検出器３１の評価値算出器３５₁及び ウォータマークパターンずらし器３３₃（複数あっても構わない）を設け、それ以外のずらし量（例えば、h ）に対して評価値を算出しても良い。
【０１９７】
このような構成を有するウォータマーク検出器３１は、付随情報の検出処理を、図９に示すようなに、一連の処理により実行している。
【０１９８】
ウォータマーク検出器３１は、ステップＳ７１において、閾値ｔｈの設定を行い、続くステップＳ７２において、一つ前との差分を用いて評価値ｓｕｍ＿Ｌを求める準備を行う。この準備の具体例として、例えば差分値用評価値算出処理で評価値を算出する場合において、対象の画素Ｘの差分値ｘｄを算出するときに、差分値ｘｄ（ｚ）＝Ｘ（ｚ−１）−Ｘ（ｚ）を用いるような設定を行うことなどが挙げられる。
【０１９９】
そして、ウォータマーク検出器３１は、ステップＳ７３〜ステップＳ８０において、ずらし量ｉ，０，ｊのウォータマークパターンを用いたときの、現フレームの画像に対するそれぞれの評価値ｓｕｍ＿Ｌ（ｈ），ｓｕｍ＿Ｌ（ｉ），ｓｕｍ＿Ｌ（０），ｓｕｍ＿Ｌ（ｊ）を求めている。このために、ウォータマーク検出器３１は、ステップＳ７４，７６，７８，８０の各ステップにおいての評価値を算出するための上述した差分値用評価値算出処理（図６に示す処理）を行っている。
【０２００】
すなわち、ウォータマーク検出器３１は、ステップＳ７３及びステップＳ７４により、上記差分値用評価値算出処理によりずらし量ｈにおける評価値ｓｕｍ＿Ｌ（ｈ）を求める。そして、ずらし量ｚ＝ｈにおける評価値ｓｕｍ＿Ｌ（ｈ）を求めたウォータマーク検出器３１は、続くステップＳ７５及びステップＳ７６において、ずらし量ｚ＝ｉのウォータマークパターンを用いたときの評価値ｓｕｍ＿Ｌ（ｉ）を求め、さらに、ステップＳ７７及びステップＳ７８において、ずらし量ｚ＝０のウォータマークパターンを用いたときの評価値ｓｕｍ＿Ｌ（０）を求め、そして、ステップＳ７９及びステップＳ８０において、ずらし量ｚ＝ｊのウォータマークパターンを用いたときの評価値ｓｕｍ＿Ｌ（ｊ）を求める。
【０２０１】
なお、例えば、ずらし量ｚ＝ｈのウォータマークパターンを用いた評価値ｓｕｍ＿Ｌ（ｈ）は求めないこととしても良いが、その場合には、付加量の増幅（或いは強調）効果は少なくなる。また、ウォータマークパターンをずらす方法は、例えば、従来例において述べた方法と同様で構わない。
【０２０２】
ウォータマーク検出器３１は、ステップＳ８１において、上述のようにして求めた上記４つの評価値ｓｕｍ＿Ｌ（ｈ），ｓｕｍ＿Ｌ（ｉ），ｓｕｍ＿Ｌ（０），ｓｕｍ＿Ｌ（ｊ）から、相対的評価を行うために用いるｓｕｍ＿ｉ，ｓｕｍ＿ｎ，ｓｕｍ＿ｊを算出する（評価値の変換を行う）。
【０２０３】
ここで行う算出方法について概略的に説明すると、評価値ｓｕｍ＿Ｌをずらし量のプラス方向（図７中（Ａ）において右方向）にシフトしたものを評価値ｓｕｍ＿Ｒ（同図７中（Ｂ））とみなして算出する。すなわち、図８に示すように、評価値ｓｕｍ＿Ｌ（ｚ）（同図１０中（Ａ））についてずらし量ｚのプラス方向にシフトした評価値ｓｕｍ＿Ｌ（ｚ＋１）（同図１０中（Ｂ））を一つ後の差分を示す評価値である上記評価値ｓｕｍ＿Ｒとみなして算出する。
【０２０４】
具体的には、評価値ｓｕｍ＿Ｌ（ｚ）についてずらし量１だけシフトした評価値ｓｕｍ＿Ｌ（ｚ＋１）を評価値ｓｕｍ＿Ｒ（ｚ）とみなし、評価値ｓｕｍ（ｚ）＝ｓｕｍ＿Ｒ（ｚ）−ｓｕｍ＿Ｌ（ｚ）＝ｓｕｍ＿Ｌ（ｚ＋１）−ｓｕｍ＿Ｌ（ｚ）を求める（図１０中（Ｃ））。
【０２０５】
この評価値の変換によって、付随情報を検出する際の付加量が増幅（或いは強調）されるため、この処理は付加量を増幅（或いは強調）させるための処理と考えることができる。
【０２０６】
その後、ウォータマーク検出器３１は、ステップＳ８２において、評価値ｓｕｍ＿ｉ，ｓｕｍ＿ｊから標準的な評価値ｓｕｍ＿ａｖｅ＝（ｓｕｍ＿ｉ＋ｓｕｍ＿ｊ）／２を求め、続くステップＳ８３において、この値ｓｕｍ＿ａｖｅを標準的な評価値として実際の評価値（ずらし量０の評価値）ｓｕｍ＿ｎとの差分の絶対値｜ｓｕｍ＿ｎ−ｓｕｍ＿ａｖｅ｜を求める。ここで、ウォータマーク検出器３２１は、その差が閾値ｔｈよりも大きい場合には、ステップＳ８４に進み、ずらし位相ｒでは付随情報が付加されているとみなして付随情報ｆをｏｎにして、そうでない場合には、ステップＳ８５に進み、付随情報ｆをｏｆｆにする。
【０２０７】
なお、例えばずらし量ｚ＝ｈに対する評価値ｓｕｍ＿Ｌ（ｈ）を求めない場合には、評価値ｓｕｍ＿Ｌ（ｈ）として任意の値を代用しても良い。或いは、その評価値ｓｕｍ＿Ｌ（ｈ）が必要となる処理は省略することにし、判定の際にその影響を考慮した構成をとっても良い。いずれの場合も、付加量の増幅（或いは強調）効果は少なくなる。
【０２０８】
上述した構成例２のウォータマーク検出器３１は、先の構成例１のウォータマーク検出器１１と比べて、差分算出器を１つ、評価値算出器を２つ削減した構成とされている。次に、これよりも演算量を削減することを可能にするウォータマーク検出器について説明する。
【０２０９】
先ず、演算量を削減するための基本的な考え方の一例を示す。上述した構成例１及び構成例２のウォータマーク検出器では、各ずらし量に対して求めた評価値を用いて相対的評価を行う際に、評価値ｓｕｍ（ｚ）＝ｓｕｍ＿Ｒ（ｚ）−ｓｕｍ＿Ｌ（ｚ）により評価値の変換を行っている（ただし、ｚ＝ｉ，ｎ，ｊの３点のみで、ｎ＝０）。
【０２１０】
この式を展開し、ウォータマークパターンを付加する前の画像ＰとウォータマークパターンＭとで表現すると、次のような式が導き出せる。なお以下では、ずらし量ｚが画像のｘ成分に対して影響を与える場合を例に、式を展開している。
【０２１１】

ここで、
ＹＬ（ｚ）＝Ｐ（ｙ，ｘ＋ｚ−１）−Ｐ（ｙ，ｘ＋ｚ）
ＹＲ（ｚ）＝Ｐ（ｙ，ｘ＋ｚ）−Ｐ（ｙ，ｘ＋ｚ＋１）
である。よって、

さらに、注目する画素については、
Ｘ（ｚ）＝Ｐ（ｙ，ｘ＋ｚ）＋Ｍ（ｙ，ｘ＋ｚ）
その一つ前の画素については、
ＸＬ（ｚ−１）＝Ｐ（ｙ，ｘ＋ｚ−１）＋Ｍ（ｙ，ｘ＋ｚ−１）
その一つ後の画素については、
ＸＲ（ｚ＋１）＝Ｐ（ｙ，ｘ＋ｚ＋１）＋Ｍ（ｙ，ｘ＋ｚ＋１）
となる。よって、

以上のような関係から上述した構成例１及び構成例２のウォータマーク検出器が相対的に評価を行う際に用いた変換後の評価値は、最初から差分値ｘｄとして差分値ｘｄ＝−Ｘ（ｚ−１）＋２Ｘ（ｚ）−Ｘ（ｚ＋１）を用いて算出した場合の評価値と、最終的には一致することがわかる。
【０２１２】
一つ前との差分や一つ後との差分を用いる代わりに、最初から前後との差分値ｘｄ＝−Ｘ（ｚ−１）＋２Ｘ（ｚ）−Ｘ（ｚ＋１）を用いれば、ｚ＝ｉ，ｎ，ｊの３つ（ただし、ｎ＝０）のずらし量に対する評価値を求めるだけで、上記構成例１及び構成例２のウォータマーク検出器と同様の増幅（或いは強調）効果が得られることになる。
【０２１３】
このように、前後との差分値を最初から用いることによって、評価値を求める際の演算量の削減だけでなく、付加量を増幅（或いは強調）させるための評価値の変換処理も省略できる構成が、ここで説明するウォータマーク検出器である。
【０２１４】
なお、ここで説明するウォータマーク検出器については、以後、第２の実施の形態における「構成例３」のウォータマーク検出器と称する。
【０２１５】
この構成例３のウォータマーク検出器の構成については、上記図８に示す構成例２のウォータマーク検出器１１と略同様に構成されている。
【０２１６】
すなわち、入力された画像データは、差分算出器３４においてそれぞれの画素に対する差分値が算出され、複数の評価値算出器３５₁，３５₂，３５₃，３５₄に入力される。
【０２１７】
ウォータマークパターン保持メモリ３２に記録されているウォータマークパターンは、必要に応じてウォータマークパターンずらし器３３₁，３３₂，３３₃でずらされる。
【０２１８】
評価値算出器３５₁，３５₂，３５₃，３５₄では、必要に応じてずらされたウォータマークパターンを用いて、それぞれ評価値が算出される。
【０２１９】
算出された評価値は評価値比較器３８に入力され、閾値処理され、付随情報ｆが出力される。なお、入力された画像データ自体も、そのまま出力される。
【０２２０】
なお、評価値算出器３５₁及びウォータマークパターンずらし器３３₃（同図８中点線で示す部分）は、基本的に必要ではないが、それらを設けて利用しても一向に構わない。
【０２２１】
そして、構成例３とされるウォータマーク検出器は、付随情報の検出処理を、図１１に示すような一連の処理により実行している。
【０２２２】
構成例３のウォータマーク検出器は、ステップＳ９１において、閾値ｔｈの設定を行い、続くステップＳ９２において、一つ前との差分を用いて評価値ｓｕｍを求める準備を行う。この準備の具体例として、例えば上述した差分値用評価値算出処理（図６に示す処理）で評価値を算出する場合において、対象の画素Ｘの差分値ｘｄを算出するときに、差分値ｘｄ（ｚ）＝−Ｘ（ｚ−１）＋２Ｘ（ｚ）−Ｘ（ｚ＋１）を用いるような設定を行うことなどが挙げられる。
【０２２３】
そして、ステップＳ９３〜ステップＳ９８において、ずらし量ｉ，０，ｊのウォータマークパターンを用いたときの、現フレームの画像に対するそれぞれの評価値ｓｕｍ＿ｉ，ｓｕｍ＿ｎ，ｓｕｍ＿ｊを求めている。ここで、ステップＳ９４，９６，９８の各ステップにおいては、評価値を算出するための上述した差分値用評価値算出処理を行っている。
【０２２４】
すなわち、ウォータマーク検出器は、ステップＳ９３及びステップＳ９４により、上記評価値算出処理によりずらし量ｉにおける評価値ｓｕｍ＿ｉを求め、続くステップＳ９５及びステップＳ９６において、ずらし量ｚ＝０のウォータマークパターンを用いたときの評価値ｓｕｍ＿ｎを求め、そして、ステップ９７及びステップＳ９８において、ずらし量ｚ＝ｊのウォータマークパターンを用いたときの評価値ｓｕｍ＿ｊを求める。なお、ウォータマークパターンをずらす方法は、例えば、従来例において述べた方法と同様で構わない。
【０２２５】
ウォータマーク検出器は、ステップＳ９９において、上述のようにして求めた上記３つの評価値ｓｕｍ＿ｉ，ｓｕｍ＿ｎ，ｓｕｍ＿ｊから、相対的に評価し、付随情報を求める。
【０２２６】
その後、ウォータマーク検出器は、ステップＳ１００において、評価値ｓｕｍ＿ｉ，ｓｕｍ＿ｊから標準的な評価値ｓｕｍ＿ａｖｅ＝（ｓｕｍ＿ｉ＋ｓｕｍ＿ｊ）／２を求め、続くステップＳ１０１において、この値ｓｕｍ＿ａｖｅを標準的な評価値として実際の評価値（ずらし量０の評価値）ｓｕｍ＿ｎとの差分の絶対値｜ｓｕｍ＿ｎ−ｓｕｍ＿ａｖｅ｜を求める。ここで、ウォータマーク検出器は、その差が閾値ｔｈよりも大きい場合には、ステップＳ１０１に進み、ずらし位相ｒでは付随情報が付加されているとみなして付随情報ｆをｏｎにして、そうでない場合には、ステップＳ１０２に進み、付随情報ｆをｏｆｆにする。
【０２２７】
以上のように、構成例１、構成例２、及び構成例３のように構成された第２の実施の形態のウォータマーク検出器は、ずらし検出して付随情報を検出している。
【０２２８】
この第２の実施の形態であるウォータマーク検出器は、付随情報を付加する際に利用したウォータマークパターンが、Ｍ系列等の特殊な性質を有するパターンである場合には、差分値を用いて評価値を求めることによって、付加量を増幅させることができる。すなわち、例えば、Ｍ系列では、その系列と同位相の系列の内積を取ると相関が高くなり、同位相ではない系列の内積を取ると相関は低くなる性質がある。差分をとることによって、同位相以外で相関が高くなる位相を設けることができ、それらの位相を利用して付加量を増幅（或いは強調）させることができる。
【０２２９】
ここで、上述した構成例１、構成例２、及び構成例３のように構成された第２の実施の形態におけるウォータマーク検出器については、次のような変形例が可能になっている。
【０２３０】
例えば、構成例１、構成例２、及び構成例３のように構成したウォータマーク検出器については、一つ前との差分値ｘｄ（ｚ）＝Ｘ（ｚ−１）−Ｘ（ｚ）、一つ後との差分値ｘｄ（ｚ）＝Ｘ（ｚ）−Ｘ（ｚ＋１）、前後との差分値ｘｄ（ｚ）＝−Ｘ（ｚ−１）＋２Ｘ（ｚ）−Ｘ（ｚ＋１）を用いる場合を例に、して説明した。
【０２３１】
しかし、このような差分値に限定される必要はなく、画素Ｘに対する差分値ｘｄの計算方法はいろいろと考えられる。その方法は、例えば図１のように構成されるウォータマーク検出器２においていろいろと述べた方法と同様で構わない。もちろん、一つ前や一つ後との差分値ではなく、２つ前や９つ後との差分値を用いる構成にしても良い。
【０２３２】
また、ずらし量ｚ（或いは、ｈ，ｉ，０，ｊ ）が画像のｘ成分に対して影響を与える場合を例に説明した。しかし、このようなずらし方に限定される必要はなく、ウォータマークパターンのずらし方はいろいろと考えられる。その方法は、例えば従来例において図３４を用いて説明したように、画像の走査順に従ってずらす方法でも良いし、それ以外の方法でも構わない。またずらす単位は、１画素単位に限らず、任意の領域の単位でずらして良い。ずらし量はｉ＞０，ｊ＜０，｜ｉ｜＝｜ｊ｜のように、ずらし量０を中心に前後に同じ量だけずらす方が良いが、任意のずらし量で構わない。
【０２３３】
また、一般的に画像内では近隣の画素値の相関が高いため、画素Ｘの差分値は平均的に０になる。しかし、その画素位置がエッジの境界などにある場合、その差分値の絶対値は大きな値となってしまうことが多く、評価値はその差分値によって大きな影響を受けてしまう。このことを避けるために、差分値の絶対値がある範囲を超える場合には、その差分値を評価値に反映させなくても良い。または、その値をクリッピングしても良い。具体例には、差分の絶対値｜ｘｄ｜＞rangeの場合には、差分値ｘｄを次のように設定する。
【０２３４】
ｘｄ＝０
または、次のように設定する。
【０２３５】
ｘｄ＝range （ｘｄ≧０）
ｘｄ＝-range （ｘｄ＜０）
また、前後１つずつのずらし量だけでなく、それぞれ複数のずらし量を用い、それらについて求めた全て或いは一部の評価値に対して、フィルタ等を用いて標準的な評価値を構成しても構わない。それとは逆に、例えば前のずらし量だけを用いるというように、どちらか一方のずらし量だけを用いて、標準的な評価値を構成しても良い。
【０２３６】
また、小数精度のずらし量についても反復処理を行うことにし、そのような場合はウォータマークパターン或いは対象領域の画素を補間して評価値を求めることにしても良い。
【０２３７】
また、現フレームの画像に対する標準的な評価値を求める際には、どのような処理方法を用いても良い。例えばメディアンフィルタのようなフィルタを掛け、３つの評価値ｓｕｍ＿ｎ，ｓｕｍ＿ｉ，ｓｕｍ＿ｊに対し、現フレームの画像に対する標準的な評価値ｓｕｍ＿ｍｅｄを求めても良い。ここで、メディアンフィルタとは、入力した数値列を大きい順或いは小さい順に並べ直した後で、真中の位置の値を返すフィルタである。例えば、７１，８，−３４５，６８，−２という５つの数値が入力された場合、メディアンフィルタは−３４５，−２，８，６８，７１等のように並べ換えを行い、８を返す。このようにして求めた標準的な評価値ｓｕｍ＿ｍｅｄと実際の評価値ｓｕｍ＿ｎとの差分の絶対値を求め、その差が閾値ｔｈよりも大きい場合には、付随情報が付加されているとみなして付随情報ｆをｏｎにする。そうでない場合には、付随情報ｆをｏｆｆにする。
【０２３８】
この他にも、任意の単一の位相の評価値をそのまま利用しても良いし、複数の評価値のうち全部或いは一部に対する平均値、最大値、最小値などを求めて利用するというように、どのような処理方法を用いて標準的な評価値を求めても構わない。これには、例えば−２及び−１ずらした時の評価値の推移から、ずらし量０の時の評価値を予測或いは外挿するというような、より複雑な処理方法も含まれる。
【０２３９】
また、標準的な評価値及び実際の評価値を用いて閾値との比較を行う際には、先に示した比較方法以外のどのような比較方法を用いても良い。例えば、評価値のバイアス成分Ｂ（図２２乃至図２４を用いて説明した例の（４ｎ）＾２）に相当）が一定であることを利用して、どの程度バイアス成分が保持されているとみなすか示すバイアス信頼係数ｃ（０≦ｃ≦１）と共に比較を行っても良い。これについて具体例を挙げて説明する。
【０２４０】
前にずらし量ｉずらした場合の評価値よりもずらし量０の場合の評価値がＢ×ｃだけ大きく、しかも後にずらし量ｊだけずらした場合の評価値よりもずらし量０の場合の評価値もＢ×ｃだけ大きいときに、付随情報が付加されているとみなす。或いは、ずらし量ｉ，ｊのいずれかにずらした場合の評価値よりも、ずらし量０の時の評価値がＢ×ｃだけ大きい場合に、付随情報が付加されているとみなす。
【０２４１】
以上のように、評価値のバイアス成分Ｂが一定であることを利用して、どの程度バイアス成分が保持されているとみなすか示すバイアス信頼係数ｃ（０≦ｃ≦１）と共に比較を行い付随情報を検出することができる。
【０２４２】
また、ウォータマークのシンボルは、プラス、マイナス以外のどのようなシンボルを用いても良い。また、２種類ではなく、３種類以上のどのようなシンボルを用いても良い。例えば、プラス、ゼロ、マイナスの３種類のシンボルを用意しておき、ウォータマークパターンとの照合を行った際にシンボルがゼロである画素については、評価値ｓｕｍに影響を与えない（その画素値を評価値ｓｕｍに足しも引きもしない）ようにするなど、各シンボルにどのような意味を与えても良い。
【０２４３】
また、ウォータマークパターンを画像上に付加する領域は、任意の形状及び範囲で構わない。さらに、付加したウォータマークパターンとの整合が取れている限り、検出時に評価値を求める領域の形状及び範囲は任意で構わない。そして、ウォータマークパターンは、時間的或いは空間的に渡るより広い領域を用いて、付加或いは検出を行うことにしても良い。例えば動画像シーケンスにおいては、時間的な基準を用い、現フレームの時間的位置だけでなく、過去や未来のフレームも利用して良い。例えば非常に大きな画像サイズを持つ静止画像においては、１枚の画像をある単位で複数の画像領域に分割して扱うことにし、空間的な基準を用い、現在対象としている画像領域に対して、例えば走査順で前や後に位置する画像領域も利用して良い。
【０２４４】
以上が第２の実施の形態におけるウォータマーク検出器の説明である。次に第３の実施の形態のウォータマーク検出器について説明する。
【０２４５】
第３の実施の形態となるウォータマーク検出器は、評価値を相対的に評価して付随情報を検出する場合において、標準的な評価値と実際の評価値を用いて閾値との比較を行う際に、複数のずらし量の位相を参照しそれらを総合的に判断するように構成されている。このように、差分値の計算方法を工夫すると、複数の位相を対象にこの比較を行うことができ、検出の信頼性を上げることができる。
【０２４６】
ここで、第１の実施の実施の形態において説明した画素Ｘに対する差分値ｘｄのいくつかの計算方法の中から、複数の画素を用いて差分値を求める方法を一例として説明する。
【０２４７】
例えば横差分なら、画素Ｘ０に対する差分値ｘｄを求める際に、右隣に連続する４つの画素Ｘ０（ｙ，ｘ），Ｘ１（ｙ，ｘ＋１），Ｘ２（ｙ，ｘ＋２），Ｘ３（ｙ，ｘ＋３）を用いることにしても良い。これから、次のように、差分値ｘｄ１，ｘｄ２，ｘｄ３を求める。
【０２４８】
ｘｄ１＝Ｘ０−Ｘ１＋Ｘ２−Ｘ３
ｘｄ２＝Ｘ０−Ｘ１−Ｘ２＋Ｘ３
ｘｄ３＝Ｘ０＋Ｘ１−Ｘ２−Ｘ３
ここで、Ｘ０，Ｘ１，Ｘ２，Ｘ３ は、どれもウォータマークパターンを付加する前の画像Ｐに対して、ウォータマークパターンＭを付加したものである。すなわち、次のように示す値である。
【０２４９】
Ｘ０＝Ｐ（ｙ，ｘ）＋Ｍ（ｙ，ｘ）
Ｘ１＝Ｐ（ｙ，ｘ＋１）＋Ｍ（ｙ，ｘ＋１）
Ｘ２＝Ｐ（ｙ，ｘ＋２）＋Ｍ（ｙ，ｘ＋２）
Ｘ３＝Ｐ（ｙ，ｘ＋３）＋Ｍ（ｙ，ｘ＋３）
ここで、差分値ｘｄ１を用いて評価値ｓｕｍ＿１を算出する。ずらし量０の時の評価値ｓｕｍ＿１（０）は、画像に渡ってＭ（ｙ，ｘ）と差分値ｘｄ１との内積を求めることにより得られる。すなわち、次のような式で表すことができる。
ｓｕｍ＿１（０）＝Σ｛Ｍ（ｙ，ｘ）×ｘｄ１｝
＝Σ｛Ｍ（ｙ，ｘ）×Ｙ１｝
＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ ）｝
−Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋１）｝
＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋２）｝
−Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋３）｝
ただし、Ｙ１＝Ｐ（ｙ，ｘ）−Ｐ（ｙ，ｘ＋１）＋Ｐ（ｙ，ｘ＋２）−Ｐ（ｙ，ｘ＋３）である。
【０２５０】
ここで、上記式ｓｕｍ＿１（０）の第２項の＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ）｝は、同位相の系列の内積なのでほぼαとなるが、それ以外の項はほぼ０となる。よって、
ｓｕｍ＿１（０）≒α
となる。同様に、ずらし量１，２，３の場合の評価値は、
ｓｕｍ＿１（１）≒−α
ｓｕｍ＿１（２）≒α
ｓｕｍ＿１（３）≒−α
となる。また、同様にずらし量０，１，２，３以外の場合の評価値を求めると、どれもほぼ０となる。すなわち、
ｓｕｍ＿１（ｚ）≒０ （ｚ≠０ and ｚ≠１ and ｚ≠２ and ｚ≠３）
となる。
【０２５１】
このように導かれる差分値ｘｄ１の場合の評価値ｓｕｍ＿１は、ずらし量ｚとの関係において、図１２中（Ａ）に示すようになる。
【０２５２】
次に、差分値ｘｄ２を用いて評価値ｓｕｍ＿２を算出する。ずらし量０の場合の評価値ｓｕｍ＿２（０）は、画像に渡ってＭ（ｙ，ｘ）と差分値ｘｄ２との内積を求めることにより、得られる。すなわち、次のような式で表すことができる。
【０２５３】
ｓｕｍ＿２（０）＝Σ｛Ｍ（ｙ，ｘ）×ｘｄ２｝
＝Σ｛Ｍ（ｙ，ｘ）×Ｙ２｝
＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ）｝
−Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋１）｝
−Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋２）｝
＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋３）｝
ただし、Ｙ２＝Ｐ（ｙ，ｘ）−Ｐ（ｙ，ｘ＋１）−Ｐ（ｙ，ｘ＋２）＋Ｐ（ｙ，ｘ＋３）である。
【０２５４】
ここで、上記式ｓｕｍ＿２（０）の第２項の＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ）｝は、同位相の系列の内積なのでほぼαとなるが、それ以外の項はほぼ０となる。よって、
ｓｕｍ＿２（０）≒α
となる。同様に、ずらし量１，２，３の場合の評価値は、
ｓｕｍ＿２（１）≒−α
ｓｕｍ＿２（２）≒−α
ｓｕｍ＿２（３）≒α
となる。また、同様にずらし量０，１，２，３以外の場合の評価値を求めると、どれもほぼ０となる。すなわち、
ｓｕｍ＿２（ｚ）≒０ （ｚ≠０ and ｚ≠１ and ｚ≠２ and ｚ≠３）
となる。
【０２５５】
このように導かれる差分値ｘｄ２の場合の評価値ｓｕｍ＿２は、ずらし量ｚとの関係において、図１２中（Ｂ）に示すようになる。
【０２５６】
次に、差分値ｘｄ３を用いて評価値ｓｕｍ＿３を算出する。ずらし量０の場合の評価値ｓｕｍ＿３（０）は、画像に渡ってＭ（ｙ，ｘ）と差分値ｘｄ３との内積を求めることにより、得られる。すなわち、次のような式で表すことができる。
【０２５７】
ｓｕｍ＿３（０）＝Σ｛Ｍ（ｙ，ｘ）×ｘｄ３｝
＝Σ｛Ｍ（ｙ，ｘ）×Ｙ３ ｝
＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ）｝
＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋１）｝
−Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋２）｝
−Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ＋３）｝
ただし、Ｙ３＝Ｐ（ｙ，ｘ）＋Ｐ（ｙ，ｘ＋１）−Ｐ（ｙ，ｘ＋２）−Ｐ（ｙ，ｘ＋３）である。
【０２５８】
ここで、上記式ｓｕｍ＿３（０）の第２項の＋Σ｛Ｍ（ｙ，ｘ）×Ｍ（ｙ，ｘ）｝は、同位相の系列の内積なのでほぼαとなるが、それ以外の項はほぼ０となる。よって、
ｓｕｍ＿３（０）≒α
となる。同様に、ずらし量１，２，３の場合の評価値は、
ｓｕｍ＿３（１）≒α
ｓｕｍ＿３（２）≒−α
ｓｕｍ＿３（３）≒−α
となる。また、同様にずらし量０，１，２，３以外の場合の評価値を求めると、どれもほぼ０となる。すなわち、
ｓｕｍ＿３（ｚ）≒０ （ｚ≠０ and ｚ≠１ and ｚ≠２ and ｚ≠３）
となる。
【０２５９】
このように導かれる差分値ｘｄ３の場合の評価値ｓｕｍ＿３は、ずらし量ｚとの関係において、図１２中（Ｃ）に示すようになる。
【０２６０】
以上のように各差分値から評価値ｓｕｍ＿１，ｓｕｍ＿２，ｓｕｍ＿３を求めたが、例えば次のような評価値ｓｕｍ＿ｐ０，ｓｕｍ＿ｐ１，ｓｕｍ＿ｐ２，ｓｕｍ＿ｐ３ への変換を行うと、第２の実施の形態において説明した付加量増幅効果を複数のずらし位相で得ることができる。すなわち、
ｓｕｍ＿ｐ０＝ｓｕｍ＿１＋ｓｕｍ＿２＋ｓｕｍ＿３
により、図１３中（Ａ）に示すように、ずらし位相０においてピーク値として得ることができる。また、
ｓｕｍ＿ｐ１＝−ｓｕｍ＿１−ｓｕｍ＿２＋ｓｕｍ＿３
により、図１３中（Ｂ）に示すように、ずらし位相１においてピーク値として得ることができる。さらに、
ｓｕｍ＿ｐ２＝ｓｕｍ＿１−ｓｕｍ＿２−ｓｕｍ＿３
により、図１３中（Ｃ）に示すように、ずらし位相２においてピーク値として得ることができる。そして、
ｓｕｍ＿ｐ３＝−ｓｕｍ＿１＋ｓｕｍ＿２−ｓｕｍ＿３
により、図１３中（Ｄ）に示すように、ずらし位相３においてピーク値として得ることができる。
【０２６１】
よって、例えばｓｕｍ＿ｐ０（０），ｓｕｍ＿ｐ１（１），ｓｕｍ＿ｐ２（ ２），ｓｕｍ＿ｐ３（３）の全てでピーク値になった場合に、付随情報が付加されていると判定することができる。このようにすると、基本的にずらし量の一つの位相（ずらし量０）しか対象にできなかった付随情報の有無の判定が、複数の位相を対象にすることができるため、検出の信頼性を上げることができる。
【０２６２】
次に、この処理を可能にする第３の実施の形態とされるウォータマーク検出器の構成について、図１４を用いて説明する。
【０２６３】
第３の実施の形態であるウォータマーク検出器は、ウォータマークパターン保持メモリ５２、ウォータマークパターンずらし器５３、差分算出器５４₁，・・・，５４_n、評価値算出器５５₁，・・・，５５_m、評価値比較器５７、画像変換器５８を備えている。なお本実施例では、評価値比較器の構成に特徴があるため、それ以外の部分は概念的に説明する。
【０２６４】
このような構成されたウォータマーク検出器５１においては、入力された画像データは、ｎ個の各差分算出器５４₁，・・・，５４_nにおいてそれぞれの画素に対する差分値が算出される。そして、算出された差分値は、ｍ個の複数の評価値算出器５５₁，・・・，５５_mに入力される。なお、各差分算出器５４₁，・・・，５４_nで差分値を算出する方法は、互いが同様の方法を採っても良いし、異なる方法を採っても構わない。
【０２６５】
また、ウォータマークパターン保持メモリ５２に記録されているウォータマークパターンは、必要に応じてウォータマークパターンずらし器５３でずらされる。
【０２６６】
各評価値算出器５５₁，・・・，５５_mでは、必要に応じてずらされたウォータマークパターンを用いて、それぞれ評価値が算出される。ここで算出された評価値は評価値比較器５７に入力され、付加量を増幅（或いは強調）させる処理が行われた後、閾値処理され、付随情報ｆが出力される。
【０２６７】
なお、付加量の増幅（或いは強調）処理を行う部分を外部に出し、評価値比較器５７の前に設けても良い。また、入力された画像データ自体も、そのまま出力される。
【０２６８】
画像変換器５８は必須ではないが、置かれることもあり、この画像変換器５８により画像データが加工処理等される。
【０２６９】
上述した評価値比較器５７は、第３の実施の形態であるウォータマーク検出器５１において特徴的なところであり、詳しくは、図１５に示すように構成されている。なお、特徴を明確にするために、図１６には、従来の評価値比較器の構成例を示している。
例えば従来のウォータマーク検出器３２１においては、上述した図３３に示すように、評価値比較器３２４に、各評価値算出器３２３₁，３２３₂，３２３₃で算出された評価値が入力される。そして、これに対応して従来の評価値比較器３２４では、例えば、図１６に示すように、３つの評価値が入力される場合を示している。
【０２７０】
なお、図１６と図３３とにおいて示すずらし量（と評価値）の対応関係は、表１のようになる。また、図が繁雑になるのを防ぐため、本来は「ずらし量ｚ１の場合の評価値」と記すべきを「ずらし量ｚ１」と省略している。
【０２７１】
【表１】

【０２７２】
従来の評価値比較器３２４は、例えば、ずらし量ｚ１，ｚ２の評価値から足し算器４０１及び１／２乗算器４０２により導き出した平均値を標準的な評価値とみなし、この値とずらし量０の場合の評価値から引き算器４０３によって差分を算出している。そして、この差分の絶対値を絶対値変換器４０４においてとり、その値と閾値とを比較器４０５において比較する。そして、従来の評価値比較器３２４は、値が閾値よりも大きい場合には、付随情報が付加されていると評価して付随情報ｆをｏｎにする。そうでない場合には、付随情報ｆをｏｆｆにしている。
【０２７３】
本実施の形態における評価値比較器５７は、図１５に示すように、足し算器７１₁，７１₂，７１₃，７１₄、１／２乗算器７２₁，７２₂，７２₃，７２₄、引き算器７３₁，７３₂，７３₃，７３₄、絶対値変換器７４₁，７４₂，７４₃，７４₄、比較器７５₁，７５₂，７５₃，７５₄、及び総合判定器７６から構成されている。
【０２７４】
この評価値比較器５７の構成については、図１６に示した従来の評価値比較器３２４と比べるとわかるように、付随情報の評価を行う部分が複数段設け、それらの評価結果を総合的に判定する総合判定器７６を設けていることが特徴である。この評価値比較器５７の構成は、この第３の実施の形態の説明において先に説明した差分値（差分値ｘｄ１，ｘｄ２，ｘｄ３）を用いた場合の一例であり、すなわち、付随情報の評価を行う部分を２段以上取ることが可能であれば、どのような差分値又は構成を用いても良い。
【０２７５】
評価値比較器５７には、上記図１４に示した各評価値算出器５５₁，・・・，５５_mで算出された評価値が入力される。なお、これらの評価値を算出する際には、差分値を用いる。例えばこの第３の実施の形態において先に説明した差分値（差分値ｘｄ１，ｘｄ２，ｘｄ３）を用いた場合、評価値とずらし量と関係は、図１３に示すようになる。なお、図１３と図１５とにおいて示すずらし量の対応関係は、表２のようになる。
【０２７６】
【表２】

【０２７７】
評価値比較器５７が行う処理について、評価値ｚ１，ｚ２，ｚ３の場合の処理について説明する。評価値比較器５７は、入力された評価値ｚ１，ｚ２から足し算器７１₁及び１／２乗算器７２₁により導き出した平均値を標準的な評価値とみなし、この値とずらし量０の場合の評価値から引き算器７３₁によって差分を算出する。そして、この差分の絶対値を絶対値変換器７４₁においてとり、その値と閾値とを比較器７５₁において比較する。そして、評価値比較器５７は、値が閾値よりも大きい場合には、付随情報が付加されていると評価して付随情報ｆをｏｎにする。そうでない場合には、付随情報ｆをｏｆｆにしている。
【０２７８】
これと同様に、評価値ｚ４〜評価値ｚ１２について、対応する各部分において演算して、付随情報の有無を検出する。
【０２７９】
そして、最後に、評価値比較器５７は、各段で検出された付随情報を総合判定器７６において総合的に判定する。ここでの判定基準は、どのようなものであっても良いが、例えば、全ての段の付随情報ｆがｏｎである場合に限って、最終的な付随情報ｆをｏｎと判定し、そうでない場合には、最終的な付随情報ｆをｏｆｆと判定する。或いは、判定基準は、どれかの段の付随情報ｆがｏｎである場合には、最終的な付随情報ｆをｏｎと判定し、そうでない場合（全ての段の付随情報ｆがｏｆｆの場合）には、最終的な付随情報ｆをｏｆｆと判定する。なお、もちろん、これ以外の方法であっても構わない。
【０２８０】
なお、本実施の形態では、右隣に連続する４つの画素を用いた差分値の場合を説明したが、付随情報の評価を行う部分を２段以上取ることが可能であれば、この差分値以外であっても構わない。また、差分値を算出するために用いる画素は、連続している必要はなく、例えば２つ前や９つ後との差分値を用いる構成にしても良い。
【０２８１】
また、ウォータマークパターンのずらし方はいろいろと考えられる。その方法は、例えば上記図３４に示したように、画像の走査順に従ってずらす方法でも良いし、それ以外の方法でも構わない。またずらす単位は、１画素単位に限らず、任意の領域の単位でずらして良い。ずらし量はｉ＞０，ｊ＜０，｜ｉ｜＝｜ｊ｜のように、ずらし量０を中心に前後に同じ量だけずらす方が良いが、任意のずらし量で構わない。
【０２８２】
また、一般的には、画像内において近隣の画素値の相関が高いため、画素Ｘの差分値は平均的に０になる。しかし、その画素位置がエッジの境界などにある場合、その差分値の絶対値は大きな値となってしまうことが多く、評価値はその差分値によって大きな影響を受けてしまう。このことを避けるために、差分値の絶対値がある範囲を超える場合には、その差分値を評価値に反映させなくても良い。或いは、その値をクリッピングしても良い。
【０２８３】
具体的には、差分値の絶対値が所定の値rangeとの関係において、｜ｘｄ｜＞rangeとなる場合には、評価値ｘｄを評価値ｘｄ＝０に設定する。または、次のように設定する。
【０２８４】
ｘｄ＝range （ｘｄ≧０）
ｘｄ＝−range （ｘｄ＜０）
なお、前後１つずつのずらし量だけでなく、それぞれ複数のずらし量を用い、それらについて求めた全て或いは一部の評価値に対して、フィルタ等を用いて標準的な評価値を構成しても構わない。それとは逆に、例えば前のずらし量だけを用いるというように、どちらか一方のずらし量だけを用いて、標準的な評価値を構成しても良い。
【０２８５】
また、小数精度のずらし量についても反復処理を行うことにし、そのような場合はウォータマークパターン或いは対象領域の画素を補間して評価値を求めることにしても良い。
【０２８６】
また、現フレームの画像に対する標準的な評価値を求める際には、どのような処理方法を用いても良い。例えばメディアンフィルタのようなフィルタを掛け、例えば３つのずらし量ｚ１，ｚ２，ｚ３の場合の評価値に対し、現フレームの画像に対する標準的な評価値ｓｕｍ＿ｍｅｄを求めても良い。このようにして求めた標準的な評価値ｓｕｍ＿ｍｅｄと実際の評価値（例えば、ずらし量ｚ３の場合の評価値）との差分の絶対値を求め、その差が閾値ｔｈよりも大きい場合には、付随情報が付加されているとみなして付随情報ｆをｏｎにする。そうでない場合には、付随情報ｆをｏｆｆにする。
【０２８７】
この他にも、任意の単一の位相の評価値をそのまま利用しても良いし、複数の評価値のうち全部或いは一部に対する平均値、最大値、最小値などを求めて利用するというように、どのような処理方法を用いて標準的な評価値を求めても構わない。これには、例えば−２及び−１ずらした時の評価値の推移から、ずらし量０の時の評価値を予測或いは外挿するというような、より複雑な処理方法も含まれる。
【０２８８】
また、標準的な評価値及び実際の評価値を用いて閾値との比較を行う際には、先に示した比較方法以外のどのような比較方法を用いても良い。例えば、評価値のバイアス成分Ｂ（図２２乃至図２４を用いて説明した例の（４ｎ）＾２）に相当）が一定であることを利用して、どの程度バイアス成分が保持されているとみなすか示すバイアス信頼係数ｃ（０≦ｃ≦１）と共に比較を行っても良い。これについて具体例を挙げて説明する。
【０２８９】
前にずらし量ｉずらした場合の評価値よりもずらし量０の場合の評価値がＢ×ｃだけ大きく、しかも後にずらし量ｊだけずらした場合の評価値よりもずらし量０の場合の評価値もＢ×ｃだけ大きいときに、付随情報が付加されているとみなす。或いは、ずらし量ｉ，ｊのいずれかにずらした場合の評価値よりも、ずらし量０の時の評価値がＢ×ｃだけ大きい場合に、付随情報が付加されているとみなす。
【０２９０】
以上のように、評価値のバイアス成分Ｂが一定であることを利用して、どの程度バイアス成分が保持されているとみなすか示すバイアス信頼係数ｃ（０≦ｃ≦１）と共に比較を行い付随情報を検出することができる。
【０２９１】
また、ウォータマークのシンボルは、プラス、マイナス以外のどのようなシンボルを用いても良い。また、２種類ではなく、３種類以上のどのようなシンボルを用いても良い。例えば、プラス、ゼロ、マイナスの３種類のシンボルを用意しておき、ウォータマークパターンとの照合を行った際にシンボルがゼロである画素については、評価値ｓｕｍに影響を与えない（その画素値を評価値ｓｕｍに足しも引きもしない）ようにするなど、各シンボルにどのような意味を与えても良い。
【０２９２】
さらに、ウォータマークパターンを画像上に付加する領域は、任意の形状及び範囲で構わない。また、付加したウォータマークパターンとの整合が取れている限り、検出時に評価値を求める領域の形状及び範囲は任意で構わない。そして、ウォータマークパターンは、時間的或いは空間的に渡るより広い領域を用いて、付加或いは検出を行うことにしても良い。例えば動画像シーケンスにおいては、時間的な基準を用い、現フレームの時間的位置だけでなく、過去や未来のフレームも利用して良い。例えば非常に大きな画像サイズを持つ静止画像においては、１枚の画像をある単位で複数の画像領域に分割して扱うことにし、空間的な基準を用い、現在対象としている画像領域に対して、例えば走査順で前や後に位置する画像領域も利用して良い。
【０２９３】
なお、第１の実施の形態などで、差分値に対してウォータマークパターンとの照合を行なう際には、ウォータマークパターン自体を差分値にしても良い。
【０２９４】
例えば、上記図２に示したような処理によりウォータマークを検出する場合に、ウォータマークパターンのシンボルが切り替わる（パターンが反転する）画素だけを対象に、評価値ｓｕｍの計算を行なっても良い。さらに、例えば、上述した図３０のような処理によりウォータマークを付加する時に、何らかの処理を行なっておくことにしても良い。
【０２９５】
また、第１の実施の形態などで、評価値ｓｕｍと閾値ｔｈとを比較する際には、ウォータマークのパターンが反転した画素の割合を閾値ｔｈに反映させても良い。
【０２９６】
すなわち、例えば、パターンが反転する画素の割合が全体の５０％であった場合、閾値ｔｈとしてｔｈ×５０／１００の値を用いても良い。あるいは、評価値ｓｕｍの方を１００／５０倍してから閾値ｔｈと比較しても良い。
【０２９７】
また、本発明の第１の実施の形態の説明中において、差分値がある範囲を越える場合に、その差分値を評価値に反映させない処理としてクリッピング処理を説明した。さらに、クリッピングについての例を挙げ、図１７乃至図１９を用いて説明する。なお、クリッピングによる変換後の差分値については、差分値ｘｄ’と示す。
【０２９８】
クリッピングについての第１の例は、上記第１の実施の形態中において説明したものであって、図１７に示すように、差分値ｘｄの絶対値｜ｘｄ｜＞ａ（ａ≧０）の場合に、変換後の差分値ｘｄ’を以下のように変換する。
【０２９９】
ｘｄ’＝ｘｄ （｜ｘｄ｜≦ａ）
ｘｄ’＝０ （｜ｘｄ｜＞ａ）
また、クリッピングについての第２の例は、図１８に示すように、以下のようなに変換する。
【０３００】
ｘｄ’＝ｘｄ （｜ｘｄ｜≦ａ）
ｘｄ’＝ａ （｜ｘｄ｜＞ａ，ｘｄ≧０）
ｘｄ’＝−ａ （｜ｘｄ｜＞ａ，ｘｄ≧０）
さらに、クリッピングについての第３の例は、図１９に示すように、算出された差分値ｘｄの平方根をとり、以下のように変換する。なお、ここで関数ｓｑｒｔ（Ｂ）は、値Ｂの平方根をとることを示す。
【０３０１】
ｘｄ’＝ｓｑｒｔ（ｘｄ） （ｘｄ≧０）
ｘｄ’＝−ｓｑｒｔ（−ｘｄ） （ｘｄ＜０）
また、この他に、次のような例も挙げることができる。例えば、次に示すように、差分値ｘｄの４乗根を取る。
【０３０２】
ｘｄ’＝ｓｑｒｔ（ｓｑｒｔ（ｘｄ）） （ｘｄ≧０）
ｘｄ’＝−ｓｑｒｔ（ｓｑｒｔ（−ｘｄ）） （ｘｄ＜０）
また、次に示すように、折れ線的な関数により差分値ｘｄを変換する。
【０３０３】
ｘｄ’＝−８ （ｘｄ＜−１６）
ｘｄ’＝（ｘｄ＋８）／４−６ （−１６≦ｘｄ＜−８）
ｘｄ’＝（ｘｄ＋４）／２− ４ （−８≦ｘｄ≦−４）
ｘｄ’＝ｘｄ （｜ｘｄ｜≦４）
ｘｄ’＝（ｘｄ−４）／２＋４ （４＜ｘｄ≦８）
ｘｄ’＝（ｘｄ−８）／４＋６ （８＜ｘｄ≦１６）
ｘｄ’＝８ （１６＜ｘｄ）
以上、クリッピングの例であるが、本例に限定されることなく、これ以外のどのような変換を行っても構わない。
【０３０４】
また、本発明の実施の形態として示したウォータマーク検出器において、差分値を算出するためのウォータマークは、予め上記ウォータマークパターン保持メモリに保持されるものとして説明しているがこれに限定されることはない。例えば、ウォータマークのパターンを読み出し信号などによりウォータマークパターンを発生させる付随情報発生器を付随情報出力手段として備えることもできる。例えば、本発明の実施の形態に適用するのであれば、Ｍ系列発生器となる。
【０３０５】
また、画像に付加されている付随情報とされたウォータマークは、予め画像の時間方向に差分がとられるように画像に付加することもできる。
【０３０６】
また、上述した第１乃至第３の実施の形態は、本発明に係る記録装置及び方法を適用して構成することもできる。すなわち、この場合、記録装置は、ウォータマーク検出器により付随情報の検出が行われれた画像データを、記録媒体に記録処理する記録処理部を備えて、当該記録媒体に対する画像データの記録を行う。そして、例えばこの場合、記録装置は、第１乃至第３の実施の形態において示したウォータマーク検出器の備える上記評価値比較器が検出した付随情報の検出結果に応じて、記録媒体への画像データの記録を行う記録制御手段を備える。ここで、記録制御手段は、例えば、第１乃至第３の実施の形態のウォータマーク検出器の備える画像変換器の機能を有し、すなわち、例えば、付随情報の検出された場合には、画像を表示しない、画像データの主領域を表示しない、又は画像にスクランブル処理する等のように画像に対する処理又は加工を施すようにする。
【０３０７】
【発明の効果】
本発明に係る画像データ処理装置は、付随情報のパターンを出力する付随情報出力手段と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出手段と、付随情報出力手段より出力された付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算手段と、評価値に基づいて付随情報の検出を行う付随情報検出手段とを備えることにより、付随情報出力手段より出力された付随情報のパターンと、差分値算出手段により算出した差分値とに基づいて、評価値演算手段により評価値を得ることができ、付随情報検出手段により、この評価値に基づいて付随情報を検出することができる。
【０３０８】
ここで、画像データ処理装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３０９】
また、本発明に係る画像データ処理方法は、付随情報のパターンを出力する付随情報出力工程と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出工程と、付随情報出力工程において出力された付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算工程と、評価値に基づいて付随情報の検出を行う付随情報検出工程とを有することにより、付随情報出力工程において出力された付随情報のパターンと、差分値算出工程において算出した差分値とに基づいて、評価値演算工程により評価値を得ることができ、付随情報検出工程により、この評価値に基づいて付随情報を検出することができる。
【０３１０】
ここで、画像データ処理方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３１１】
また、本発明に係る記録装置は、付随情報のパターンを出力する付随情報出力手段と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出手段と、付随情報出力手段より出力された付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算手段と、評価値に基づいて付随情報の検出を行う付随情報検出手段と、付随情報検出手段の検出結果に応じて記録媒体への入力された画像データの記録制御を行う記録制御手段と備えることにより、付随情報出力手段より出力された付随情報のパターンと、差分値算出手段により算出した差分値とに基づいて、評価値演算手段により評価値を得ることができる。そして、記録装置は、この評価値に基づいて付随情報検出手段が検出した付随情報の検出結果に応じて、記録制御手段により、入力された画像データの記録媒体への記録制御を行うことができる。
【０３１２】
ここで、記録装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３１３】
また、本発明に係る記録方法は、付随情報のパターンを出力する付随情報出力工程と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出工程と、付随情報出力工程において出力された付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算工程と、評価値に基づいて付随情報の検出を行う付随情報検出工程と、付随情報検出工程の検出結果に応じて記録媒体への入力された画像データの記録制御を行う記録制御工程とを有することにより、付随情報出力工程において出力された付随情報のパターンと、差分値算出工程において算出した差分値とに基づいて、評価値演算工程により評価値を得ることができる。そして、記録方法は、この評価値に基づいて付随情報検出工程において検出した付随情報の検出結果に応じて、記録制御工程により、入力された画像データの記録媒体への記録制御を行うことができる。
【０３１４】
ここで、記録方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３１５】
また、本発明に係る画像データ処理装置は、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力手段と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出手段と、付随情報出力手段から出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算手段と、評価値演算手段により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出手段とを備えることにより、付随情報出力手段から出力された位相の異なる複数の付随情報のパターンと、差分値算出手段により算出した差分値に基づいて、評価値演算手段により評価値を得ることができ、付随情報検出手段により、複数の評価値に基づいて付随情報を検出することができる。
【０３１６】
ここで、画像データ処理装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３１７】
さらに、Ｍ系列等の特殊な性質を有するパターンを用いて付随情報を付加した場合、差分値を用いて検出することにより、付加量を増幅させて確実に付随情報を検出することができる。
【０３１８】
また、本発明に係る画像データ処理方法は、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力工程と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出工程と、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算工程と、評価値演算工程により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出工程とを有することにより、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと、差分値算出工程において算出した差分値に基づいて、評価値演算工程により評価値を得ることができ、付随情報検出工程により、複数の評価値に基づいて付随情報を検出することができる。
【０３１９】
ここで、画像データ処理方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３２０】
さらに、Ｍ系列等の特殊な性質を有するパターンを用いて付随情報を付加した場合、差分値を用いて検出することにより、付加量を増幅させて確実に付随情報を検出することができる。
【０３２１】
また、本発明に係る記録装置は、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力手段と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出手段と、付随情報出力手段から出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算手段と、評価値演算手段により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出手段と、付随情報検出手段の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御手段と備えることにより、付随情報出力手段より出力された位相の異なる複数の付随情報のパターンと、差分値算出手段により算出した差分値とに基づいて、評価値演算手段により、複数の評価値の得ることができる。そして、記録装置は、この複数の評価値に基づいて付随情報検出手段が検出した付随情報の検出結果に応じて、記録制御手段により、入力された画像データの記録媒体への記録制御を行うことができる。
【０３２２】
ここで、記録装置は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３２３】
さらに、Ｍ系列等の特殊な性質を有するパターンを用いて付随情報を付加した場合、差分値を用いて検出することにより、付加量を増幅させて確実に付随情報を検出することができる。
【０３２４】
また、本発明に係る記録方法は、付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力工程と、入力された画像データにおいて近傍の画素との間の画素値の差分値を算出する差分値算出工程と、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと差分値とに基づいて、評価値を演算する評価値演算工程と、評価値演算工程により得た複数の評価値を比較することにより、付随情報の検出を行う付随情報検出工程と、付随情報検出工程の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御工程と有することにより、付随情報出力工程において出力された位相の異なる複数の付随情報のパターンと、差分値算出工程において算出した差分値とに基づいて、評価値演算工程により、複数の評価値の得ることができる。そして、記録方法は、この複数の評価値に基づいて付随情報検出工程において検出した付随情報の検出結果に応じて、記録制御手段により、入力された画像データの記録媒体への記録制御を行うことができる。
【０３２５】
ここで、記録方法は、相関が高い近隣の画素との間の差分値から得た評価値に基づいて付随情報の検出を行っており、これにより、画像データの個々の値が評価値に与える影響を小さくすることができるため、従来よりも高い検出精度が得られ、確実に付随情報を検出することができる。
【０３２６】
さらに、Ｍ系列等の特殊な性質を有するパターンを用いて付随情報を付加した場合、差分値を用いて検出することにより、付加量を増幅させて確実に付随情報を検出することができる。
【図面の簡単な説明】
【図１】本発明が適用される第１の実施の形態であるウォータマーク検出器の構成を示すブロック回路図である。
【図２】上記第１の実施の形態のウォータマーク検出器による付随情報の検出のための一連の処理を示すフローチャートである。
【図３】ずらし検出に基づいて得られる評価値とずらし量との関係を示す特性図である。
【図４】本発明が適用される第２の実施の形態であって、構成例１のウォータマーク検出器の構成を示すブロック回路図である。
【図５】上記構成例１のウォータマーク検出器による付随情報の検出のための一連の処理を示すフローチャートである。
【図６】第２の実施の形態のウォータマーク検出器が行う差分値により評価値を算出する差分値用評価値算出処理の一連の処理を示すフローチャートである。
【図７】付加量が増幅される場合の評価値とずらし量の関係を示す特性図である。
【図８】本発明が適用される第２の実施の形態であって、構成例２及び構成例３のウォータマーク検出器の構成を示すブロック回路図である。
【図９】上記構成例２のウォータマーク検出器による付随情報の検出のための一連の処理を示すフローチャートである。
【図１０】付加量が増幅される場合の評価値とずらし量の関係を示す特性図である。
【図１１】上記構成例３のウォータマーク検出器による付随情報の検出のための一連の処理を示すフローチャートである。
【図１２】差分値ｘｄ１，ｘｄ２，ｘｄ３の場合の評価値とずらし量の関係を示す特性図である。
【図１３】上記差分値ｘｄ１，ｘｄ２，ｘｄ３の場合の評価値とずらし量との関係式から導かれてる評価値とずらし量との関係を示す特性図である。
【図１４】本発明が適用される第３の実施の形態のウォータマーク検出器の構成を示す図である。
【図１５】上記第３の実施の形態のウォータマーク検出器の備える評価値比較器の構成を示すブロック回路図である。
【図１６】上記第３の実施の形態のウォータマーク検出器の備える評価値比較器の構成を説明するために表す従来のウォータマーク検出器の構成を示すブロック回路図である。
【図１７】上記差分値の変換操作のための変換関数の例を示す図である。
【図１８】上記差分値の変換操作のための変換関数の他の例を示す図である。
【図１９】上記差分値の変換操作のための変換関数の他の例を示す図である。
【図２０】ビデオテープにおける補助的情報の画像上での位置を示す図である。
【図２１】画像上に特定のパターンを埋め込んでいる例を示す図である。
【図２２】ウォータマークのパターンの例を示す図である。
【図２３】画像へのウォータマークの付加操作を示す図である。
【図２４】ウォータマークを用いた付随情報の付加及び検出を示す図である。
【図２５】エンコーダの構成を示すブロック回路図である。
【図２６】デコーダの構成を示すブロック回路図である。
【図２７】ウォータマーク付加器の構成を示すブロック回路図である。
【図２８】従来のウォータマーク検出器の構成を示すブロック回路図である。
【図２９】上記ウォータマーク付加器による画像へのウォータマークの付加の一連の処理を示すフローチャートである。
【図３０】従来のウォータマーク検出器による付随情報の検出のための一連の処理を示すフローチャートである。
【図３１】従来のウォータマーク検出器によるずらし検出に基づいた付随情報の検出の一連の処理を示すフローチャートである。
【図３２】従来のウォータマーク検出器によるずらし検出において差分値を算出するため差分値算出処理の一連の処理を示すフローチャートである。
【図３３】ずらし検出を行う従来のウォータマーク検出器の構成を示すフローチャートである。
【図３４】ウォータマークパターンのずらしの一例を示す図である。
【図３５】ずらし検出による付随情報の抽出の一例を示す図である。
【符号の説明】
２ ウォータマーク検出器、３ ウォータマークパターン保持メモリ、４ 差分算出器、５ 評価値算出器、６ 評価値比較器、１１ ウォータマーク検出器、１２ ウォータマークパターン保持メモリ、１３₁，１３₂ ウォータマークパターンずらし器、１４₁，１４₂ 差分算出器、１５₁，１５₂，１５₃，１６₁，１６₂，１６₃ 評価値算出器、１７ 評価値比較器

Claims (4)

1. 付随情報が埋め込まれている画像データを処理する画像データ処理装置において、
   上記付随情報は、２値データからなるウォータマークパターンであり、上記ウォータマークパターンを出力する付随情報出力手段と、
   入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出手段と、
   上記付随情報出力手段より出力された上記ウォータマークパターンの値に応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算手段と、
   上記評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出手段と
   を備えることを特徴とする画像データ処理装置。
2. 付随情報が埋め込まれている画像データを処理する画像データ処理方法において、
   上記付随情報は、２値データからなるウォータマークパターンであり、上記ウォータマークパターンを出力する付随情報出力工程と、
   入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出工程と、
   上記付随情報出力工程において出力された上記ウォータマークパターンの値に応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算工程と、
   上記評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出工程と
   を有することを特徴とする画像データ処理方法。
3. 付随情報が埋め込まれている画像データを記録媒体に記録する記録装置において、
   上記付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力手段と、
   入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出手段と、
   上記付随情報出力手段から出力された位相の異なる複数の付随情報のパターンに応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算手段と、
   上記評価値演算手段により得た複数の評価値を演算し、演算された評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出手段と、
   上記付随情報検出手段の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御手段と
   を備えることを特徴とする記録装置。
4. 付随情報が埋め込まれている画像データを記録媒体に記録する記録方法において、
   上記付随情報の互いに位相の異なる複数のパターンを出力する付随情報出力工程と、
   入力された上記画像データにおいて、ある画素値とその近傍の画素値との差分値を算出し、上記差分値の絶対値が所定の値を超えるとき、その差分値を評価値に反映させないように変換する差分値算出工程と、
   上記付随情報出力工程において出力された位相の異なる複数の付随情報のパターンに応じて上記差分値を加算又は減算した合計を評価値として演算する評価値演算工程と、
   上記評価値演算工程により得た複数の評価値を演算し、演算された評価値が所定の閾値を超える場合、上記付随情報が画像データに付加されていると判別する付随情報検出工程と、
   上記付随情報検出工程の検出結果に応じて上記記録媒体への上記入力された画像データの記録制御を行う記録制御工程と
   を有することを特徴とする記録方法。

Images