JP3606425B2 - 画像データ処理装置および方法、並びに記録媒体 - Google Patents
画像データ処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP3606425B2 JP3606425B2 JP24807998A JP24807998A JP3606425B2 JP 3606425 B2 JP3606425 B2 JP 3606425B2 JP 24807998 A JP24807998 A JP 24807998A JP 24807998 A JP24807998 A JP 24807998A JP 3606425 B2 JP3606425 B2 JP 3606425B2
- Authority
- JP
- Japan
- Prior art keywords
- watermark
- image data
- evaluation value
- phase
- accompanying information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は、画像データ処理装置および方法、並びに記録媒体に関し、特に、より確実に、付随情報を読み出すことができるようにした、画像データ処理装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】
特定の画像データ(静止画像あるいは動画像シーケンス)に対して、それに付随する情報を画像データ中に付加し、再生時にその付随情報を検出して利用する技術がある。この代表的な例として、著作権情報の付加が挙げられる。
【0003】
不特定の利用者が特定の画像データを利用することが可能である場合、その画像に対して著作権を持つ者が、その権利を主張するためには、あらかじめ著作権情報を画像データ中に付加しておく必要がある。著作権情報を付加することにより、画像の再生装置あるいは再生方法の処理手順の中で、その画像データを表示不可とすべき著作権情報が検出された場合には、その画像データの表示を行わない等の対策を講じることが可能となる。
【0004】
上述の著作権情報の付加、あるいは検出は、現在、ビデオテープの不正コピー防止等でよく利用されている。近頃は、ビデオテープのレンタルを行う店も多いが、多くの利用者が、店から低価格で借りたビデオテープを不正にコピーして楽しんだ場合、そのビデオテープの著作権を持つ者およびビデオテープのレンタルを行う店の損害は甚大である。
【0005】
ビデオテープには、画像データがアナログ的に記録されているため、コピーを行なった場合に画質が多少なりとも劣化する。そのため、コピーが複数回繰り返された場合、元々保持されていた画質を維持することは非常に困難となる。
【0006】
これに対し、デジタル的に画像データを記録し、再生する機器等においては、不正コピーによる損害はさらに大きなものとなる。それは、画像データをデジタル的に扱う機器等では、原理的にコピーによって画質が劣化することがないためである。そのため、デジタル的に処理を行う機器等における不正コピー防止は、アナログの場合と比べてはるかに重要である。
【0007】
画像データに付随する情報をその画像データ中に付加する方法は、主に2通りある。
【0008】
第1の方法は、画像データの補助部分に付加する方法である。例えばビデオテープでは、図18に示したように、その画像データの補助的情報が、表示画面には実質的に表示されない画面上部(補助部分)に記録されている。この領域の一部を利用して、付随情報を付加することが可能である。
【0009】
第2の方法は、画像データの主要部分(実質的に表示される部分)に付加する方法である。これは、図19に示したように、ある特定のパターン(ウォータマーク(Water Mark)パターン)を、視覚的に感知できない程度に、画像の全体あるいは一部に付加するものである。この具体例として、乱数やM系列等を用いて発生させた鍵パターンを利用して、情報の付加あるいは検出を行うスペクトラム拡散等がある。
【0010】
以下では、ウォータマークパターンを用いた場合の画像データの主要部分への付随情報の付加あるいは検出の一例を述べる。図20乃至図23にこの具体例を示した。
【0011】
図20に示すような、4n×4n個の画像に対応するウォータマークパターンを用いると仮定する。ウォータマークパターンは、それぞれの画素について、プラスまたはマイナスの2つのシンボルのいずれかを取る。ウォータマークパターンはまた、2つのシンボルのいずれかをランダムに取る方が望ましく、その領域の形状、大きさは任意で構わない。
【0012】
ウォータマークを付加する際には、付加を行う対象となる画像上で、ウォータマークパターンの領域と等しい大きさの領域を設定する。設定された領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルが対応する画素には値aを加算し、マイナスのシンボルが対応する画素からは値bを減算する。a,b共に、任意の値で構わないが、そのウォータマークパターンを通じて一定にするべきである。
【0013】
図21乃至図23の例では、a=1,b=1に設定しており、図21に示すように、付加を行う対象となる領域の画素値が全て100の場合には、ウォータマークに対応する埋め込み操作により101と99の画素値が形成される。
【0014】
ウォータマークを検出する際には、検出を行う対象となる画像上で、ウォータマークパターンの領域と等しい大きさの領域を設定する。この領域の画素値の全てを合計した値を評価値として用いる。画素値の全てを合計する際には、設定された領域とウォータマークパターンを重ねて照らし合わせ、プラスのシンボルが対応する画素については加算、マイナスのシンボルが対応する画素については減算を適用する。図22の例では、画素値101の画素は加算され、画素値99の画素は減算され、それらの演算結果が加算される。この時、ウォータマークを付加する際に用いたウォータマークパターンと同じパターンを用いなければ、ウォータマークを正しく検出することはできない。このような検出操作により、例えば図22に示すように、ウォータマークが付加されている場合の評価値は(4n)^2(領域に含まれる画素数の数と同じ)になり、図23に示すように、ウォータマークが付加されていない場合の評価値は0となる。
【0015】
ウォータマークパターンの領域が充分に広く、かつウォータマークパターンが充分にランダムである場合、ウォータマークが付加されていない場合の評価値は常にほぼ0となる。そのため、評価値がある一定の閾値を超えた場合には、ウォータマークが付加されていると判別することができる。上記の手順により、ウォータマークが付加されているか否かという2値の情報(1ビット)を付加することが可能となる。より多くの情報を付加したい場合には、画像全体をk個の領域に分けて、それぞれ上記の操作を行う等の処理方法により、2^k通り(kビット)の情報を付加することができる。
【0016】
ウォータマークパターンは、例えばM系列を用いて生成したものを利用することができる。M系列(最長符号系列)は、0と1の2値のシンボルからなる数列で、0と1の統計的分布は一定であり、符号相関は原点で1、その他では符号長に反比例するものである。もちろん、M系列以外の方法でウォータマークパターンを生成しても構わない。
【0017】
画像データをデジタル的に記録し、再生する場合、そのままでは非常に情報量が多くなるため、データを圧縮するのが一般的である。画像データを圧縮する方法として、JPEG(Joint Photographic Experts Group)(カラー静止画像符号化方式)、あるいはMPEG(Moving Picture Experts Group)(カラー動画像符号化方式)等の高能率符号化方法が国際的に標準化され、実用化に至っている。この高能率符号化によって画像データを圧縮する場合を例に取り、付随情報の付加および検出を行う構成例を次に説明する。
【0018】
図24には、エンコーダの構成を示した。ウォータマーク付加器1において、付随情報信号fが参照され、ウォータマークを付加する処理を行うか否かが決められ、ウォータマークを付加する処理を行うとされた場合、入力された画像データに、付随情報信号fが付加され、符号化器2に出力され、そこで、高能率符号化されて、符号化ビット列が生成される。
【0019】
図25には、デコーダの構成を示した。入力された符号化ビット列は、復号器21において画像データに復元される。その後ウォータマーク検出器22において付随情報信号fが検出される。
【0020】
画像データを高能率符号化しない場合には、図24の符号化器2、あるいは図25の復号器21を除いた構成が用いられる。
【0021】
ウォータマーク付加器1とウォータマーク検出器22の構成を、それぞれ図26と図27に示した。
【0022】
図26のウォータマーク付加器1では、入力された画像データは、付随情報信号fがonである場合、ウォータマークパターン保持メモリ12に記録されているウォータマークパターンを用いて、ウォータマーク画像生成器11でウォータマークが付加される。付随情報信号fがoffである場合には、ウォータマーク画像生成器11は、入力された画像データをそのまま出力する。この場合、付随情報信号fは、例えば、1ビットの信号であり、onまたはoffであることを示す情報が含まれている。
【0023】
ウォータマーク付加器1で行なわれる一連の処理を図28に示した。始めにステップS81で、ウォータマークの付加レベルa,bに、任意の値を設定する。ステップS82では、ウォータマークの付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行う。ステップS83で、ウォータマークのシンボルの判定を行い、その画素が対応するウォータマークのシンボルがプラスである場合には、ステップS84で、その画素にaを足す。その画素が対応するウォータマークのシンボルがマイナスである場合には、ステップS85で、その画素からbを引く。この処理を、ステップS86で、対象領域の全画素について行われたと判定されるまで繰り返す。なお、ステップS81で設定された、a,bの値は、処理が終了されるまで、変更されることはない。
【0024】
図27のウォータマーク検出器22では、入力された画像データは、ウォータマークパターン保持メモリ32に記録されているウォータマークパターンを用いて、評価値算出器31で評価値が算出される。ウォータマークパターン保持メモリ32には、ウォータマーク付加器1のウォータマークパターン保持メモリ12に記憶されているウォータマークパターンと同一のウォータマークが保持されている。算出された評価値は、評価値比較器33で閾値処理され、付随情報信号fが出力される。また、入力された画像データは、画像変換器34を介して、そのまま、または加工あるいは所定の処理が施されて出力される。このことについては、後で述べる。
【0025】
ウォータマーク検出器22で行なわれる一連の処理を図29に示した。始めに、ステップS91で、評価値sumの初期化および閾値thの設定を行う。ステップS92でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてウォータマークパターンとの照合を行う。ステップS93で、その画素が対応するウォータマークのシンボルがプラスであると判定された場合には、ステップS94で、評価値sumにその画素値を足す。その画素のウォータマークのシンボルがマイナスである場合には、ステップS95で、評価値sumからその画素値を引く。この処理をステップS96で、対象領域の全画素について行ったと判定されるまで繰り返す。その後、ステップS97で、評価値sumと閾値thとを比較し、sum>thである場合には、ウォータマークが付加されているとみなして、ステップS98で、付随情報信号fをonにする。そうでない場合には、ステップS99で付随情報信号fをoffにする。
【0026】
付随情報信号fは、例えば不正コピーを防止する場合には、以下のように利用される。図25のデコーダの場合を例にすると、出力される画像データおよび付随情報信号fは、図示せぬ画像表示部に渡される。画像表示部では、付随情報信号fがonである場合にはそのまま画像を表示するが、付随情報信号fがoffである場合には、例えば画像を表示しない、画像データの主要領域を表示しない、画像にスクランブルを掛ける(受けとった画像データをでたらめに表示する)等の加工あるいは処理を行う。あるいは、図27のウォータマーク検出器22に示した画像変換器34を設け、付随情報信号fに応じてこのような画像データの加工あるいは処理を行うように構成することもある。
【0027】
【発明が解決しようとする課題】
画像データに付随する情報をその画像データ中に付加する上述の2通りの方法には、以下のような問題がある。
【0028】
画像データの補助部分に付随情報を付加する第1の方法においては、付随情報が付加された補助部分が無視された場合、不正コピー等の問題を事前に防ぐことは困難となる。例えばデジタル的に記録された画像データを市販のパーソナルコンピュータに読み込ませ、補助部分を無視して主要部分のみを切り出してコピーを行なった場合、その画質はコピーを行う以前と完全に同一のものとなる。この場合、補助部分に付随情報を付加した意味は、完全に失われる。
【0029】
画像データの主要部分に付随情報を付加する第2の方法では、例えば上記の第1の方法において示したコピーの手順等によって、付加された付随情報が消えてなくなることはない。しかし、画像データに対してノイズ低減フィルタ等の種々の信号処理を施した場合、付加された付随情報成分が減衰して抽出不可能となることがある。
【0030】
特に、元々の画像データ自体がJPEGあるいはMPEG等の高能率符号化を用いて圧縮されている場合、その量子化処理に起因して悪影響が出ることが多い。付加された付随情報成分は、これらの高能率符号化の量子化処理によって、視覚的に感知可能な程度にまで増幅されて、画質が低下したり、抽出不可能な程度にまで減衰されて本来の意味を失ったりすることがある。
【0031】
付随情報の成分がこれらの信号処理によって変化しないように、画像中の特別な領域を用いて付随情報を付加する方法もある。しかし、そのような領域は画像シーケンス全体から見て一部分しかないため、ウォータマークパターンの領域を充分に広くとることができない。そのため、付随情報が付加されていない場合であっても、評価値が0以外の大きな値となるため、ある一定の閾値を超えた場合に付随情報が付加されていると判別する絶対的評価基準を用いると、付随情報の検出は非常に困難となる。
【0032】
さらに、付随情報の付加を行う領域が画像シーケンス全体から見て一部分に過ぎない場合、複数の情報を付加することは極めて困難となる。例えば、画像全体をk個の領域に分けて付随情報を付加した場合、個々の領域に対するウォータマークパターンの領域は、その領域数に応じてさらに狭くなるため、付随情報はほぼ検出不可能となる。
【0033】
なお、上述のこれら問題は、動画像シーケンスにおいて特に顕著となる。
【0034】
本発明はこのような状況に鑑みてなされたものであり、本来の画像データに大きな影響を与えることなく、付随情報を確実に検出することができるようにするものである。
【0035】
【課題を解決するための手段】
本発明の第1の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算手段と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算手段と、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段とを備えることを特徴とする。
【0036】
生成手段は、記憶手段に記憶されているウォータマークのパターンの位相と異なる少なくとも2種類の位相のウォータマークを生成することができる。
【0037】
各手段は、複数個の画素で構成されるブロック単位で各処理を行うことができる。
【0038】
検出手段による検出結果に応じて、画像データの出力を制御する制御手段をさらに設けることができる。
【0039】
本発明の第1の画像データ処理方法は、ウォータマークのパターンを記憶する記憶ステップと、記憶ステップの処理で記憶されたウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、記憶ステップの処理で記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算ステップと、生成ステップの処理で生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算ステップと、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出ステップとを含むことを特徴とする。
【0040】
本発明の第1の画像データ処理装置および方法においては、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンと異なる位相のウォータマークが生成され、記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値が求められ、生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値が求められ、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報が検出される。
【0041】
本発明の第2の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算手段と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算手段と、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段と、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶手段と、検出手段により検出された付随情報、および記憶手段に記憶されているウォータマークのパターンと生成手段により生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶手段に記憶されている所定の情報を選択する選択手段とを備えることを特徴とする。
【0042】
本発明の第2の画像データ処理方法は、ウォータマークのパターンを記憶する記憶ステップと、記憶ステップの処理で記憶されたウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、記憶ステップの処理で記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算ステップと、生成ステップの処理で生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算ステップと、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出ステップと、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶ステップと、検出ステップの処理で検出された付随情報、および記憶ステップの処理で記憶されたウォータマークのパターンと生成ステップの処理で生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶ステップの処理で記憶された所定の情報を選択する選択ステップとを含むことを特徴とする。
【0043】
本発明の第2の画像データ処理装置および方法においては、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンと異なる位相のウォータマークが生成され、記憶されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値が求められ、生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値が求められ、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報が検出され、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係が記憶され、検出された付随情報、および記憶されたウォータマークのパターンと生成されたウォータマークのパターンとの位相差が割り当てられて記憶された所定の情報が選択される。
【0044】
本発明の第3の画像データ処理装置は、複数の付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第1の記憶手段と、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択手段と、ウォータマークのパターンを記憶する第2の記憶手段と、第2の記憶手段に記憶されているウォータマークのパターンを読み出し、選択手段により選択された位相を設定する位相設定手段と、位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段とを備えることを特徴とする。
【0045】
複数の付随情報に、それぞれ所定の情報を割り当てることができる。
【0046】
本発明の第3の画像データ処理方法は、複数の付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第1の記憶ステップと、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択ステップと、ウォータマークのパターンを記憶する第2の記憶ステップと、第2の記憶ステップの処理で記憶されたウォータマークのパターンを読み出し、選択ステップの処理で選択された位相を設定する位相設定ステップと、位相設定ステップの処理で設定された位相のウォータマークを、画像データに付加する付加ステップとを含むことを特徴とする。
【0047】
本発明の第3の画像データ処理装置および方法においては、複数の付随情報とウォータマークの位相との対応関係を示す対応表が記憶され、入力された付随情報に対応するウォータマークの位相が、対応表から選択され、ウォータマークのパターンが記憶され、記憶されたウォータマークのパターンが読み出され、選択された位相が設定され、設定された位相のウォータマークが、画像データに付加される。
【0048】
本発明の記録媒体には、複数の付随情報のうちの所定のものに対応する位相のウォータマークが付加されている画像データが記憶されていることを特徴とする。
【0049】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態(但し一例)を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【0050】
本発明の第1の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段(例えば、図3のウォータマークパターン保持メモリ32)と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段(例えば、図3のウォータマークパターンずらし器71−1,71−2)と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算手段(例えば、図3の評価値算出器31−1)と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算手段(例えば、図3の評価値算出器31−2,31−3)と、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段(例えば、図3の評価値比較器33)とを備えることを特徴とする。
【0051】
検出手段による検出結果に応じて、画像データの出力を制御する制御手段(例えば、図3の画像変換器34)をさらに設けることができる。
【0052】
本発明の第2の画像データ処理装置は、ウォータマークのパターンを記憶する記憶手段(例えば、図11のウォータマークパターン保持メモリ32)と、記憶手段に記憶されているウォータマークのパターンと異なる位相のウォータマークを生成する生成手段(例えば、図11のウォータマークパターンずらし器71−1,71−2)と、記憶手段に記憶されているウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算手段(例えば、図11の評価値算出器31−1)と、生成手段により生成されたウォータマークのパターンの領域と等しい画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算手段(例えば、図11の評価値算出器31−2,31−3)と、第1の評価値および第2の評価値から基準の評価値を生成するとともに、第1の評価値と基準の評価値との差分に基づいて、付随情報を検出する検出手段(例えば、図11の評価値比較器33)と、それぞれ所定の情報が割り当てられる複数の付随情報とウォータマークの位相差との関係を記憶する関係記憶手段(例えば、図11の対応表保持メモリ93)と、検出手段により検出された付随情報、および記憶手段に記憶されているウォータマークのパターンと生成手段により生成されたウォータマークのパターンとの位相差が割り当てられて関係記憶手段に記憶されている所定の情報を選択する選択手段(例えば、ウォータマーク特定器92)とを備えることを特徴とする。
【0053】
本発明の第3の画像データ処理装置は、複数の付随情報とウォータマークの位相との対応関係を示す対応表(図8の対応表)を記憶する第1の記憶手段(例えば、図9の対応表保持メモリ82)と、入力された付随情報に対応するウォータマークの位相を、対応表から選択する選択手段(例えば、図9のウォータマーク特定器81)と、ウォータマークのパターンを記憶する第2の記憶手段(例えば、図9のウォータマークパターン保持メモリ12)と、第2の記憶手段に記憶されているウォータマークのパターンを読み出し、選択手段により選択された位相を設定する位相設定手段(例えば、図9のウォータマーク位相ずらし器83)と、位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段(例えば、図9のウォータマーク画像生成器11)とを備えることを特徴とする。
【0054】
図1は、本発明を適用したエンコーダの構成例を表しており、図24に示した場合と対応する部分には、同一の符号を付してある。その基本的な構成は、図24に示した場合と同様であるが、図1には、符号化器2のより具体的な構成例を表している。この例においては、符号化器2は、フレームメモリ41を備えており、フレームメモリ41は、ウォータマーク付加器1より供給された画像データをフレーム単位で記憶するようになされている。動きベクトル検出器50は、フレームメモリ41に記憶された画像データから、動きベクトルvを検出し、検出結果を動き補償器43と可変長符号化器46に出力している。動きベクトル検出器50においては、16×16画素で構成されるマクロブロック単位でブロックマッチング処理が行われ、動きベクトルvが検出される。また、より高い精度を実現するために、半画素単位でのマッチング処理も行われる。
【0055】
動き補償器43は、フレームメモリを内蔵しており、符号化すべき現在のフレームの各位置の画素値を、既に符号化が行われ、それを復号して得られた、内蔵するフレームメモリに保存されている画像から予測する。時刻tにおいて入力されたフレームの位置(i,j)における画素値I{i,j,t}の予測値I’{i,j,t}は、その位置に対応する動きベクトルv=(vx(i,j,t),vy(i,j,t))を用いて、次式のように決定される。
I’{i,j,t}=(I{i’,j’,t−T}+I{i’+1,j’,t−T}+I{i’,j’+1,t−T}+I{i’+1,j’+1,t−T})/4
【0056】
なお、ここで、i’とj’は次式で表される。
i’=int(i+vx(i,j,t)T)
j’=int(j+vy(i,j,t)T)
【0057】
ここでTは、現在予測を行っている画像Iが入力された時刻と、フレームメモリ上に記憶されている画像が入力された時刻の差を表し、上記式の右辺のI{i’,j’,t−T},I{i’+1,j’,t−T},I{i’,j’+1,t−T},I{i’+1,j’+1,t−T}は、動き補償器43に内蔵されているフレームメモリ上の画素値を表す。また、int(x)は、xを超えない最大の整数値を表している。
【0058】
減算器42は、フレームメモリ41より供給される、現在符号化すべき画素の値から、動き補償器43より供給される動きベクトルvに基づき、動き補償することにより算出された予測値を減算し、DCT器44に出力している。DCT器44は、減算器42より入力された差分値で構成される8×8画素のブロックに対して2次元DCT(Discrete Cosine Transform)処理を施す。量子化器45は、DCT器44より入力されたDCT係数cに対して、適当なステップサイズQを用いて、次式に従って量子化処理を行う。
c’=int(c/Q)
【0059】
量子化器45により量子化されたDCT係数c’は、可変長符号化器46と逆量子化器47に供給される。可変長符号化器46は、量子化器45により量子化されたDCT係数c’と動きベクトル検出器50より供給された動きベクトルvを可変長符号化し、符号ビット列を出力する。
【0060】
逆量子化器47は、量子化器45で用いられたステップサイズと同一のステップサイズQを用いて、次式に示されるように逆量子化処理を行う。
c”=c’×Q
【0061】
逆量子化器47で逆量子化されたデータは、IDCT器48に入力され、逆DCT処理が施され、画素値の差分値が復元される。
【0062】
IDCT器48の出力する差分値は、動き補償器43が出力する予測値と加算器49により加算され、もとの画素値のデータとなり、動き補償器43に内蔵されているフレームメモリに記憶される。
【0063】
次に、その動作について説明する。デジタル化されている画像データは、ウォータマーク付加器1に入力され、付随情報信号fに対応してウォータマークが付加される。ウォータマーク検出器22の構成と、その処理については、図3を参照して後述する。
【0064】
ウォータマーク付加器1によりウォータマークが付加された画像データは、フレームメモリ41に供給され、フレーム単位で記憶される。動きベクトル検出器50は、フレームメモリ41に記憶されている画像データの動きベクトルvを検出する。動き補償器43は、内蔵するフレームメモリに記憶されている参照フレームの画像データに対して動き補償を施し、予測画像データを生成して、減算器42に供給する。減算器42は、フレームメモリ41より供給された画像データから動き補償器43より供給された予測画像データを減算し、その減算結果をDCT器44に供給する。DCT器44は、入力された差分値の画像データをDCT係数に変換する。量子化器45は、DCT器44より供給されたDCT係数を量子化し、可変長符号化器46に出力する。可変長符号化器46は、入力された量子化データを可変長符号に変換し、符号ビット列として、図示せぬ伝送路に伝送したり、記録媒体に供給し、記録させる。
【0065】
量子化器45より出力された量子化データは、逆量子化器47で逆量子化され、IDCT器48に供給される。IDCT器48は、入力されたDCT係数に対してIDCT処理を施し、もとの差分値の画像データを出力する。この差分値の画像データは、動き補償器43より読み出された予測画像データに、加算器49で加算され、もとの画像データに復元されて、動き補償器43の内蔵するフレームメモリに記憶される。
【0066】
なお、可変長符号化器46は、動きベクトル検出器50より供給された動きベクトルvも可変長符号に変換し、出力する。
【0067】
なお、第1の実施の形態のウォータマーク付加器1は、上述した場合と同様に、例えば、図26に示すように構成され、図20乃至図23を参照して説明したように、付随情報信号fがoffであるとき、ウォータマークを付加せず、onであるとき、ウォータマークが付加する処理を実行する。
【0068】
図2は、図1に示すエンコーダによりエンコードされた符号ビット列をデコードするデコーダの構成例を表している。この図2も、図25に示す場合と対応する部分には同一の符号を付してある。この構成例においては、復号器21の逆可変長符号化器61が、入力された符号ビット列を逆可変長符号化処理(可変長復号化処理)して、復号した画像データ(DCT係数)を逆量子化器62に出力し、復号した動きベクトルvを動き補償器65に出力するようになされている。逆量子化器62は、入力されたDCT係数を逆量子化し、IDCT器63に出力している。IDCT器63は、入力された、逆量子化されたDCT係数に対してIDCT処理を施し、もとの差分値の画像データに復元して、加算器64に出力している。
【0069】
動き補償器65は、内蔵するフレームメモリに記憶されている画像データに対して逆可変長符号化器61より供給される動きベクトルvに基づいて動き補償を施し、予測画像を生成し、加算器64に出力している。加算器64は、この予測画像に対して、IDCT器63より供給された差分値を加算し、もとのフレーム画像を復元して出力するようになされている。
【0070】
加算器64の出力は、動き補償器65に内蔵されているフレームメモリに供給され、記憶されるとともに、ウォータマーク検出器22に供給されるようになされている。ウォータマーク検出器22は、入力された画像データから付随情報信号fを検出し、出力するとともに、もとの画像データを出力するようになされている。
【0071】
次に、その動作について説明する。逆可変長符号化器61は、入力された符号ビット列を逆可変長符号化処理し、復号されたDCT係数を逆量子化器62に出力する。逆量子化器62は、入力されたDCT係数を逆量子化し、IDCT器63に出力する。IDCT63は、入力されたDCT係数に対してIDCT処理を施し、もとの差分画像データを出力する。
【0072】
動き補償器65は、内蔵するフレームメモリに記憶されている、既に復元されている画像データに対して、逆可変長符号化器61より供給される動きベクトルvに基づいて動き補償を施し、予測画像データを生成して加算器64に出力する。加算器64は、この予測画像データに対してIDCT器63より供給される差分値の画像データを加算し、もとの画像データを復元する。もとの画像データは、次の予測画像生成のために、動き補償器65のフレームメモリに供給され、記憶される。
【0073】
また、加算器64より出力された画像データは、ウォータマーク検出器22に供給され、ウォータマークが検出される。
【0074】
図2に示すウォータマーク検出器22は、例えば、図3に示すように構成されている。なお、同図において、図27に示した場合と対応する部分には、同一の符号を付してある。復号器21の加算器64より出力された画像データは、複数(この実施の形態の場合3個)の評価値算出器31−1乃至31−3に入力される。ウォータマークパターン保持メモリ32には、ウォータマーク付加器1のウォータマークパターン保持メモリ12(図26)に保持されているウォータマークと同一のウォータマークが保持されている。ウォータマークパターンずらし器71−1は、ウォータマークパターン保持メモリ32より読み出されたウォータマークを、ずらし量iだけずらして評価値算出器31−2に供給する。同様に、ウォータマークパターンずらし器71−2は、ウォータマークパターン保持メモリ32より読み出されたウォータマークのパターンを、ずらし量jだけずらして、評価値算出器31−3に供給している。評価値算出器31−1には、ウォータマークパターン保持メモリ32より読み出されたウォータマークが、ずらし量0だけずらされて(即ち、実質的にはずらされないで)、供給されている。
【0075】
評価値算出器31−1乃至31−3は、供給されたウォータマークパターンに基づいて、画像データの評価値を演算し、演算された評価値を評価値比較器33に出力している。評価値比較器33は、入力された評価値を閾値演算して、付随情報信号fを出力する。
【0076】
画像変換器34は、入力された画像データに対して評価値比較器33が出力する付随情報信号fに対応した所定の処理を施し、出力する。
【0077】
次に、図4と図5のフローチャートを参照して、ウォータマーク検出器22の動作について説明する。最初に、ステップS1において、評価値比較器33は閾値thに所定の値を設定する。次に、ステップS2において、評価値算出器31−1における、ずらし量0のウォータマークパターンを用いた場合の、現在のフレームの画像に対する評価値sumnを求める処理が開始される。ステップS3では、評価値算出器31−1において、評価値演算処理が実行される。この評価値演算処理の詳細は、図5に示されている。
【0078】
評価値演算処理においては、最初にステップS21において、評価値sumに0が初期設定される。次に、ステップS22において、対象の画素Xとずらし量z(いまの場合、ずらし量0)のウォータマークパターンとが照合される。そして、ステップS23において、ウォータマークのシンボルがプラスであるかマイナスであるかが判定される。ウォータマークのシンボルがプラスである場合には、ステップS24に進み、画素Xの画素値xを評価値sumに加算する処理が実行される。ウォータマークのシンボルがマイナスである場合には、ステップS25において、評価値sumから画素値xを減算する処理が実行される。
【0079】
次に、ステップS26において、対象領域のすべての画素について同様の処理を実行したか否かが判定される。まだ、処理を行っていない画素が存在する場合には、ステップS22に戻り、それ以降の処理が繰り返し実行される。例えば、ウォータマークパターンが、図20に示すようなパターンである場合、4n×4n個の画素すべてについて同様の処理が実行されたか否かが判定される。すべての画素についての処理が完了したと判定された場合には、ステップS27に進み、ステップS24,S25で演算された評価値sumが、評価値sumnに設定される。
【0080】
次に、図4のステップS4に進み、評価値算出器31−2において、ずらし量iのウォータマークパターンで評価値sumiを求める演算が開始される。そして、ステップS5に進み、評価値算出器31−2において、評価値演算処理が実行される。この評価値演算処理は、ステップS3において行われた評価値演算処理と実質的に同様の処理となる。即ち、図5のフローチャートに示す処理が、上述した場合と同様に実行される。ステップS27で得られた評価値sumが、評価値sumiとされる。
【0081】
次に、ステップS6に進み、評価値算出器31−3において、ずらし量jのウォータマークパターンで、評価値sumjを求める処理が開始される。そして、ステップS7において、評価値演算処理が実行される。この評価値演算処理も、ステップS3とステップS5に示した場合と同様の処理である。即ち、図5のフローチャートに示す処理が実行される。そして、そのステップS27において得られた評価値sumが、評価値sumjとされる。
【0082】
評価値算出器31−1乃至31−3で演算された評価値sumn,sumi,sumjは、評価値比較器33に入力される。評価値比較器33は、ステップS8において、入力された3つの評価値に対してメディアンフィルタ処理を施す。即ち、3つの評価値sumi,sumn,sumjを小さいものから順番に配置し、その中間の大きさのものを選択し、その評価値を基準値summedに設定する。そして、ステップS9において、評価値比較器33は、標準的な評価値としての基準値summedと、実際の評価値sumnとの差分の絶対値を求め、その絶対値をステップS1で設定した閾値thと比較する。差分の絶対値の値が、閾値thより大きい場合には、ウォータマークが付加されているものとして、ステップS10において、付随情報信号fをonにする。これに対して、差分の絶対値が、閾値thと等しいか、それより小さいと判定された場合には、ステップS11に進み、ウォータマークが付加されていないものとして、付随情報信号fをoffにする。
【0083】
ウォータマークパターンをずらす際には、図6に示すように、例えば1画面分の(k個分の画素で構成される)ウォータマークのパターンを、画像の走査順に従って、1画素分だけずらす方法等がとられる。なお、図6において、白い領域(画素)は、+のシンボルを表し、黒い領域(画素)は、−のシンボルを表している。この時ずらす単位は、1画素単位に限らず、任意の単位でずらして良い。ずらし量は、i>0,j<0,|i|=|j|のように、ずらし量0を中心に前後に同じ量だけずらす方が良いが、任意のずらし量で構わない。また、上記のようなずらし方に限定されるわけではなく、これ以外の方法でずらしても構わない。
【0084】
ウォータマークパターンをずらして評価値を求める理由は以下の通りである。即ち、例えば、M系列を用いてウォータマークパターンを生成した場合、0あるいは周期分以外の位置(位相)に任意にずらしたウォータマークパターンと、元のウォータマークパターンとの相関は非常に低くなる。言い換えれば、付加レベルを付加した時に用いたウォータマークパターンに対して、少しでもずらしたウォータマークパターンを用いて検出を行うと、評価値のバイアス成分(ウォータマークが付加されている場合の評価値とウォータマークが付加されていない場合の評価値との差)は、ほぼ0となる。例えば図22と図23に示す場合において、ずらしたウォータマークパターンを用いて検出を行うと、評価値(4n)^2はほぼ0となる。
【0085】
そのため、ウォータマークパターンをずらして求めた評価値は、ウォータマークパターンが付加されていない場合の標準的な評価値とほぼ等しいとみなすことができる。従って、ウォータマークパターンをずらして求めた評価値と、ずらし量0の時の評価値とを比較することができるため、即ち、相対的評価基準を利用することができるため、ウォータマークの検出を容易に行うことができる。これにより、ウォータマークが埋め込まれていない場合の評価値がほぼ 0 となるような、充分に広い領域のウォータマークパターン(M系列なら、高次の系列)を用いなくても、狭い領域のウォータマークパターン(M系列なら、低次の系列)を用いるだけで、ウォータマークの検出を確実に行うことができる。
【0086】
図6に示すような、前後1つずつのずらし量だけでなく、それぞれ複数のずらし量を用い、それらについて求めた全てあるいは一部の評価値に対して、フィルタ等を用いて標準的な評価値を構成しても構わない。それとは逆に、例えば前または後ろのずらし量だけを用いるというように、どちらか一方のずらし量だけを用いて、標準的な評価値を構成しても良い。
【0087】
また、ずらし量を小数精度に設定した場合、ウォータマークパターンあるいは対象領域の画素を補間して、評価値を求めることにしても良い。
【0088】
現フレームの画像に対する標準的な評価値summedを求める際には、どのような処理方法を用いても良い。先の例ではメディアンフィルタを用いるようにしたが、任意の単一の位相の評価値をそのまま利用しても良いし、複数の評価値のうち全部あるいは一部に対する平均値、最大値、最小値などを求めて利用するというように、どのような処理方法を用いて標準的な評価値を求めても構わない。これには、例えば−2および−1ずらした時の評価値の推移から、ずらし量0の時の評価値を予測あるいは外挿するというような、より複雑な処理方法も含まれる。
【0089】
また、標準的な評価値および実際の評価値を用いて閾値との比較を行う際には、先に示した比較方法以外のどのような比較方法を用いても良い。例えば、評価値のバイアス成分B(図22と図23の例では(4n)^2)が一定であることを利用して、どの程度バイアス成分が保持されているとみなすかを示すバイアス信頼係数c(0≦c≦1)と共に比較を行なっても良い。
【0090】
例えば、前にiずらした時の評価値よりも、ずらし量0の時の評価値がB×cだけ大きく、しかも後にjずらした時の評価値よりも、ずらし量0の時の評価値もB×cだけ大きい場合に、ウォータマークが付加されているものとみなすことができる。あるいは、i,jのいずれかにずらした時の評価値よりも、ずらし量0の時の評価値がB×cだけ大きい場合に、ウォータマークが付加されているものとみなすことができる。
【0091】
ウォータマークのシンボルは、プラス、マイナス以外のどのようなシンボルを用いても良い。また、2種類ではなく、3種類以上のどのようなシンボルを用いても良い。例えば、プラス、ゼロ、マイナスの3種類のシンボルを用意しておき、ウォータマークパターンとの照合を行なった際に、シンボルがゼロである画素については、評価値 sum に影響を与えない(その画素値を評価値 sum に足しも引きもしない)ようにするなど、各シンボルにどのような意味を与えても良い。
【0092】
ウォータマークパターンを画像上に付加する領域は、任意の形状および範囲で構わない。また、付加したウォータマークパターンとの整合が取れている限り、検出時に評価値を求める領域の形状および範囲は任意で構わない。さらにウォータマークパターンは、時間的あるいは空間的に渡るより広い領域を用いて、付加あるいは検出を行うことにしても良い。例えば動画像シーケンスにおいては、時間的な基準を用い、現フレームの時間的位置だけでなく、過去や未来のフレームを利用しても良い。例えば非常に大きな画像サイズを持つ静止画像においては、1枚の画像をある単位で複数の画像領域に分割して扱うことにし、空間的な基準を用い、現在対象としている画像領域に対して、例えば走査順で前や後に位置する画像領域を利用しても良い。
【0093】
第2の実施の形態として、ウォータマークパターンのずらし位相という新たな指標を導入し、各ずらし位相の値に、複数の付随情報信号の中の所定のものを対応させるようにすることもできる。この場合、ウォータマークの位相を複数通りにずらすことで、その異なる位相のウォータマークのそれぞれに対応する情報を伝送することができる。
【0094】
このようなずらし位相の概念が図7に示されている。長さkの任意のウォータマークパターンを時計周りに並べ、最後のシンボルと起点のシンボルとを繋げて円状にした場合を例にする。ずらし位相r1のウォータマークパターンは、起点から時計周りに8画素分だけずらして生成されるパターンである。ずらし位相r2のウォータマークパターンは、起点から時計とは反対周りに−3画素分だけずらして生成されるパターンである。全てあるいは一部のずらし位相のそれぞれに異なる意味を持たせ、各ずらし位相の値に応じて付随情報信号の種類を特定する対応表を用意する。例えば、図8に示す対応表においては、ずらし位相r1には、”コピー不可”であることを意味する、2ビットの付随情報信号g(00)が対応し、ずらし位相r2には、”1回コピー可能”を意味する付随情報信号g(01)が対応している。また、ずらし位相r3には、”2回コピー可能”を意味する付随情報信号g(10)が対応し、ずらし位相r4には、”3回コピー可能”を意味する付随情報信号g(11)が対応している。
【0095】
この場合、図1のウォータマーク付加器1は、図9に示すように構成される。対応表保持メモリ82には、上述した図8の対応表に示されるような、ずらし位相rと付随情報信号gとの対応関係(対応表)が記憶されている。ウォータマーク特定器81は、対応表保持メモリ82を参照し、入力された付随情報信号gに対応するずらし位相rを設定する。ウォータマークパターン位相ずらし器83は、ウォータマークパターン保持メモリ12に記録されているウォータマークパターンに対して、ずらし位相rの分だけ位相をずらしたウォータマークパターンを生成する。ウォータマーク画像生成器11は、ずらされたウォータマークパターンを用いて、入力された画像データにウォータマークを付加する。
【0096】
このウォータマーク付加器1では、図10で示した一連の処理を行う。始めに、ステップS41で、ウォータマーク特定器81は、入力された付随情報信号gの種類を、対応表保持メモリ82の対応表と照らし合わせて、ずらし位相rを設定し、ウォータマークパターン位相ずらし器83に出力する。次に、ステップS42において、ウォータマーク画像生成器11は、ウォータマークの付加レベルa,bに所定の値を設定する。なお、r,a,bの設定は、どのような順番で行なっても良い。
【0097】
次に、ステップS43において、ウォータマーク画像生成器11は、ウォータマークの付加を行う対象となる画像上でウォータマークパターンの領域と等しい大きさの領域を設定し、その領域内の各画素についてずらし位相rだけずらしたウォータマークパターンとの照合を行う。このとき、ウォータマークパターン位相ずらし器83は、ウォータマークパターン保持メモリ12に保持されているウォータマークを、ウォータマーク特定器81より供給されたずらし位相rの分だけずらして、ウォータマーク画像生成器11に供給する。ウォータマーク画像生成器11は、ステップS44において、ウォータマークのシンボルを判定し、その画素のウォータマークのシンボルがプラスである場合には、ステップS45で、その画素xにaを足す。その画素のウォータマークのシンボルがマイナスである場合には、ステップS46で、その画素xからbが減算される。この処理がステップS47で、対象領域の全画素について行われたと判定されるまで繰り返される。
【0098】
このようにして、ウォータマークのパターンの位相が、付随情報信号gに対応して設定される場合、図2のデコーダにおけるウォータマーク検出器22は、図11に示すように構成される。図11において、図3における場合と対応する部分には同一の符号を付してある。この例においては、ウォータマークパターン保持メモリ32が、ウォータマークパターンとずらし位相の範囲R[Rmin,Rmax]を記憶している。ウォータマークパターン位相ずらし器91は、ウォータマークパターン保持メモリ32より供給されたウォータマークのパターンをウォータマークパターン保持メモリ32より供給されたずらし位相r(rはRの範囲内である)の分だけずらして、評価値算出器31−1、ウォータマークパターンずらし器71−1,71−2に出力するようになされている。
【0099】
また、対応表保持メモリ93は、図9の対応表保持メモリ82に保持されている対応表と同一の対応表を保持している。ウォータマーク特定器92は、評価値比較器33より供給された付随情報信号fの内容とその時のずらし位相rに基づいて、対応表保持メモリ93に保持されている対応表から、付随情報信号gの種類を特定し、特定した付随情報信号gを出力するようになされている。その他の構成は、図3における場合と同様である。
【0100】
図11のウォータマーク検出器22では、図12に示した一連の処理が行われる。まず、ステップS61で、ずらし位相の範囲R[Rmin,Rmax]、閾値thの設定、ずらし位相r(rはRの範囲内である)の初期化が行われる。ステップS62では、ウォータマークパターン位相ずらし器91により、ずらし量0のウォータマークパターンを用いた時の、現フレームの画像に対する評価値sumnを求めるために、このずらし量0にずらし位相rを加えたずらし量z=0+rが設定される。次に、ステップS63において、評価値算出器31−1により、評価値演算処理が行われる。この評価値演算処理は、図5に示した場合と同様の処理であるので、その説明は、ここでは省略する。
【0101】
次に、ステップS64において、ずらし量i+rのウォータマークパターンでsumiを求めるために、ウォータマークパターン位相ずらし器91とウォータマークパターンずらし器71−1により、ずらし量z=i+rが設定される。そして、ステップS65において、評価値算出器31−2により、ステップS63と同様の評価値演算処理が実行される。
【0102】
さらに、ステップS66において、ずらし量j+rのウォータマークパターンで評価値sumjを求めるために、ウォータマークパターン位相ずらし器91とウォータマークパターンずらし器71−2により、ずらし量Z=j+rが設定される。そして、ステップS67において、評価値算出器31−3により、ステップS63,S65と同様の評価値演算処理が実行される。
【0103】
ステップS68では、評価値比較器33により、例えば、次のような式に従って、ずらし量i,jの評価値sumi,sumjから標準的な評価値としての基準値sumaveが演算される。
sumave=(sumi+sumj)/2
【0104】
さらに、評価値比較器33は、ステップS69において、評価値算出器31−1がステップS63で求めた評価値sumnと、ステップS68で求めた基準値sumaveとの差の絶対値を閾値thと比較する。差の絶対値が、閾値thより大きい場合、ステップS70に進み、評価値比較器33は、付随情報信号fをonとする。差分の絶対値が閾値thと等しいか、それより小さいと判定された場合は、ステップS71において、評価値比較器33は、付随情報信号fをoffとする。
【0105】
次に、ステップS72において、範囲R内のすべてのずらし位相rについて調べたか否かを判定し、まだ、調べていないずらし位相rが存在する場合には、ステップS62に戻り、それ以降の処理が繰り返し実行される。即ち、このとき、ウォータマークパターン保持メモリ32から、次のずらし位相rとウォータマークパターンが、ウォータマークパターン位相ずらし器91に供給され、同様の処理が実行される。
【0106】
範囲Rの内のすべてのずらし位相rについて処理が終了したとき、ステップS73に進み、ウォータマーク特定器92は、付随情報信号fがonとなったずらし位相rを調べ、対応表保持メモリ93に保持されている対応表から、そのずらし位相rが対応する付随情報信号gを特定し、出力する。ここで、上述したように、それぞれの付随情報信号gには、特定の意味が割り当てられている。
【0107】
なお、付随情報信号fがonとなるずらし位相rが現れた時点で、反復処理を中断あるいは終了しても良い。その後、ずらし位相rの値を対応表と照らし合わせ、付随情報信号gの種類を特定する。
【0108】
ずらし位相の範囲R[Rmin,Rmax]は、どのような範囲としても良い。長さ k の任意のウォータマークパターンについては、通常は、[0,k−1]など、区間の長さがk以下となるような範囲が範囲Rとされるが、区間の長さがk以上であるどのような範囲を取っても構わない。また、検出時にかかる演算量を考慮して、区間の長さが短いどのような範囲を取っても構わない。
【0109】
ウォータマークの検出時には、ずらし位相の範囲R内について反復処理を行う際に、どのような順番あるいは位相を用いても良い。例えば、範囲R内の全ての整数位置について反復処理を行なっても良いし、ランダムあるいは任意の位相だけについて反復処理を行なっても良い。また、小数精度の位相あるいはずらし位置についても反復処理を行うことにし、そのような場合はウォータマークパターンあるいは対象領域の画素を補間して評価値を求めることにしても良い。
【0110】
ずらし量あるいはずらし位相の反映の方法は、識別可能である限りどのようなものであっても良い。例えば、ずらし位相rを反映させる際には、一定の回転成分rrを減じることにし、ずらし量0についてはz=0+r−rrとして、図5の評価値演算処理を行なっても良い。
【0111】
各ずらし位相の値に応じて付随情報信号の種類を特定する対応表は、対応のつく限りどのようなものであっても良い。
【0112】
以上においては、ウォータマークを1画素単位で構成するようにしたが、例えば、図13に示すように、8×8画素単位でブロック化して構成するようにしてもよい。この場合、ウォータマーク付加器1は、例えば、図14に示すように構成される。なお、この図14のウォータマーク付加器1は、図9に示したウォータマーク付加器1に対応している。この構成例においては、例えば、図13に示すように、ウォータマークパターン照合制御器101が、ウォータマークパターン保持メモリ12より読み出された、4×6画素に対応するパターンで構成されている場合、1画素分が8×8画素分のブロックに拡大して、ウォータマーク画像生成器11に供給する。
【0113】
また、図11に示すウォータマーク検出器22は、例えば、図15に示すように構成される。この構成例においては、ウォータマークパターン保持メモリ32より出力されたウォータマークパターンが、ウォータマークパターン照合制御器111によりブロック単位で拡大され、ウォータマークパターン位相ずらし器91に供給されている。その他の構成と動作は、図11における場合と同様である。
【0114】
以上においては、本発明をエンコーダとデコーダに適用した場合を例として説明したが、例えば、図16に示すように、フォーマッタに適用することも可能である。この場合、マスタテープ201または伝送路202より供給された画像データが、フォーマッタ203に供給される。フォーマッタ203は、上述した場合と同様の構成の復号器21とウォータマーク検出器22を有している。復号器21は、入力された符号ビット列を復号し、ウォータマーク検出器22に出力する。マスタテープ201または伝送路202からの画像データが、既に復号された状態の画像データである場合には、これがウォータマーク検出器22に直接供給される。
【0115】
ウォータマーク検出器22は、入力された画像データがウォータマークを含むか否かを検出し、その検出結果に対応して、画像変換器34を制御する。従って、ウォータマークが付加されている画像データは出力され、スタンパ204が形成され、このスタンパ204から、大量のレプリカディスク205が生成される。これに対して、入力された画像データが、ウォータマークが付加されていない場合には、画像変換器34は画像データを出力しない。従って、この場合、スタンパ204は作成することができないことになる。
【0116】
図17は、本発明を記録装置に適用した場合の構成例を表している。この場合、記録装置221には、例えば、図16のフォーマッタ203で製造されたディスク205、または伝送路202から符号化された画像データ、または既に復号されている画像データが入力される。符号化されている画像データは、復号器21で復号された後、ウォータマーク検出器22に供給される。既に復号された状態の画像データは、ウォータマーク検出器22に、直接供給される。
【0117】
ウォータマーク検出器22は、図16のフォーマッタ203における場合と同様に、ウォータマークが付加されている場合には、画像変換器34から画像データを出力し、ディスク222に記録させるが、ウォータマークが付加されていない場合には、画像変換器34を制御して、画像データを出力させないようにする。その結果、このとき、ディスク222には、記録装置221に入力された画像データを記録することができないことになる。
【0118】
以上においては、本発明をエンコードおよびデコードに応用した場合を例として説明したが、その他の装置に本発明を適用することができる。
【0119】
なお、上記したような処理を行うプログラムをユーザに伝送する伝送媒体としては、磁気ディスク、CD−ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【0120】
【発明の効果】
第1の本発明および第2の本発明によれば、より正確かつ確実に、ウォータマークを検出することが可能となる。
【0121】
第3の本発明によれば、多くの種類の付随情報を利用することが可能となる。
【0122】
第4の本発明によれば、例えば、単なるコピー防止だけでなく、1回のコピーが可能、2回のコピーが可能といったような、様々な対応で記録媒体を提供することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したエンコーダの構成例を示すブロック図である。
【図2】本発明を適用したデコーダの構成例を示すブロック図である。
【図3】図1のウォータマーク検出器22の構成例を示すブロック図である。
【図4】図3のウォータマーク検出器22の動作を説明するフローチャートである。
【図5】図4のステップS3,S5,S7の評価値演算処理の詳細を示すフローチャートである。
【図6】ウォータマークのパターンのずらし方を説明する図である。
【図7】ウォータマークのパターンのずらし位相を説明する図である。
【図8】対応表の例を表す図である。
【図9】図1のウォータマーク付加器1の構成例を示すブロック図である。
【図10】図9のウォータマーク付加器1の動作を説明するフローチャートである。
【図11】図2のウォータマーク検出器22の他の構成例を示すブロック図である。
【図12】図11のウォータマーク検出器22の動作を説明するフローチャートである。
【図13】ウォータマークのパターンのブロック化を説明する図である。
【図14】図1のウォータマーク付加器1のさらに他の構成例を示すブロック図である。
【図15】図2のウォータマーク検出器22のさらに他の構成例を示すブロック図である。
【図16】本発明を適用したフォーマッタの構成例を示す図である。
【図17】本発明を適用した記録装置の構成例を示す図である。
【図18】従来の付随情報の記録方法を説明する図である。
【図19】ウォータマークによる付随情報の埋め込みを説明する図である。
【図20】ウォータマークのパターンの例を示す図である。
【図21】ウォータマークの付加処理を説明する図である。
【図22】ウォータマークが付加されている場合の評価値の演算を説明する図である。
【図23】ウォータマークが付加されていない場合における評価値の演算を説明する図である。
【図24】従来のエンコーダの構成例を示すブロック図である。
【図25】従来のデコーダの構成例を示すブロック図である。
【図26】図24のウォータマーク付加器1の構成例を示すブロック図である。
【図27】図25のウォータマーク検出器22の構成例を示すブロック図である。
【図28】図26のウォータマーク付加器1の動作を説明するフローチャートである。
【図29】図27のウォータマーク検出器22の動作を説明するフローチャートである。
【符号の説明】
1 ウォータマーク付加器, 2 符号化器, 21 復号器, 22 ウォータマーク検出器, 31−1乃至31−3 評価値算出器, 32 ウォータマークパターン保持メモリ, 33 評価値比較器, 34 画像変換器, 71−1,71−2 ウォータマークパターンずらし器, 81 ウォータマーク特定器, 82 対応表保持メモリ, 83 ウォータマークパターン位相ずらし器, 91 ウォータマークパターン位相ずらし器, 92 ウォータマーク特定器, 93 対応表保持メモリ
Claims (11)
- 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理装置において、
前記ウォータマークのパターンを記憶する記憶手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算手段と、
前記生成手段により生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算手段と、
前記第1の評価値および前記第2の評価値から基準の評価値を生成するとともに、前記第1の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出手段と
を備えることを特徴とする画像データ処理装置。 - 前記生成手段は、前記記憶手段に記憶されている前記ウォータマークのパターンの位相と異なる少なくとも2種類の位相のウォータマークを生成する
ことを特徴とする請求項1に記載の画像データ処理装置。 - 前記各手段は、複数個の画素で構成されるブロック単位で各処理を行う
ことを特徴とする請求項1に記載の画像データ処理装置。 - 前記検出手段による検出結果に応じて、前記画像データの出力を制御する制御手段
をさらに備えることを特徴とする請求項1に記載の画像データ処理装置。 - 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理方法において、
前記ウォータマークのパターンを記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算ステップと、
前記生成ステップの処理で生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算ステップと、
前記第1の評価値および前記第2の評価値から基準の評価値を生成するとともに、前記第1の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出ステップと
を含むことを特徴とする画像データ処理方法。 - 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理装置において、
前記ウォータマークのパターンを記憶する記憶手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成手段と、
前記記憶手段に記憶されている前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算手段と、
前記生成手段により生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算手段と、
前記第1の評価値および前記第2の評価値から基準の評価値を生成するとともに、前記第1の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出手段と、
それぞれ所定の情報が割り当てられる複数の前記付随情報と前記ウォータマークの位相差との関係を記憶する関係記憶手段と、
前記検出手段により検出された前記付随情報、および前記記憶手段に記憶されている前記ウォータマークのパターンと前記生成手段により生成された前記ウォータマークのパターンとの位相差が割り当てられて前記関係記憶手段に記憶されている前記所定の情報を選択する選択手段と
を備えることを特徴とする画像データ処理装置。 - 付随情報がウォータマークとして埋め込まれている画像データを処理する画像データ処理方法において、
前記ウォータマークのパターンを記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンと異なる位相のウォータマークを生成する生成ステップと、
前記記憶ステップの処理で記憶された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第1の評価値を求める第1の演算ステップと、
前記生成ステップの処理で生成された前記ウォータマークのパターンの領域と等しい前記画像データの領域とを照合した画素値の合計である第2の評価値を求める第2の演算ステップと、
前記第1の評価値および前記第2の評価値から基準の評価値を生成するとともに、前記第1の評価値と前記基準の評価値との差分に基づいて、前記付随情報を検出する検出ステップと、
それぞれ所定の情報が割り当てられる複数の前記付随情報と前記ウォータマークの位相差との関係を記憶する関係記憶ステップと、
前記検出ステップの処理で検出された前記付随情報、および前記記憶ステップの処理で記憶された前記ウォータマークのパターンと前記生成ステップの処理で生成された前記ウォータマークのパターンとの位相差が割り当てられて前記関係記憶ステップの処理で記憶された前記所定の情報を選択する選択ステップと
を含むことを特徴とする画像データ処理方法。 - 画像データに対して付随情報をウォータマークとして埋め込む画像データ処理装置において、
複数の前記付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第1の記憶手段と、
入力された前記付随情報に対応する前記ウォータマークの位相を、前記対応表から選択する選択手段と、
前記ウォータマークのパターンを記憶する第2の記憶手段と、
前記第2の記憶手段に記憶されている前記ウォータマークのパターンを読み出し、前記選択手段により選択された位相を設定する位相設定手段と、
前記位相設定手段により設定された位相のウォータマークを、画像データに付加する付加手段と
を備えることを特徴とする画像データ処理装置。 - 複数の前記付随情報には、それぞれ所定の情報が割り当てられる
ことを特徴とする請求項8に記載の画像データ処理装置。 - 画像データに対して付随情報をウォータマークとして埋め込む画像データ処理方法において、
複数の前記付随情報とウォータマークの位相との対応関係を示す対応表を記憶する第1の記憶ステップと、
入力された前記付随情報に対応する前記ウォータマークの位相を、前記対応表から選択する選択ステップと、
前記ウォータマークのパターンを記憶する第2の記憶ステップと、
前記第2の記憶ステップの処理で記憶されている前記ウォータマークのパターンを読み出し、前記選択ステップの処理で選択された位相を設定する位相設定ステップと、
前記位相設定ステップの処理で設定された位相のウォータマークを、画像データに付加する付加ステップと
を含むことを特徴とする画像データ処理方法。 - 付随情報がウォータマークとして埋め込まれている画像データが記憶されている記録媒体において、
前記画像データには、複数の前記付随情報のうちの所定のものに対応する位相のウォータマークが付加されている
ことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24807998A JP3606425B2 (ja) | 1997-09-02 | 1998-09-02 | 画像データ処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-252822 | 1997-09-02 | ||
JP25282297 | 1997-09-02 | ||
JP24807998A JP3606425B2 (ja) | 1997-09-02 | 1998-09-02 | 画像データ処理装置および方法、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11164134A JPH11164134A (ja) | 1999-06-18 |
JP3606425B2 true JP3606425B2 (ja) | 2005-01-05 |
Family
ID=26538573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24807998A Expired - Fee Related JP3606425B2 (ja) | 1997-09-02 | 1998-09-02 | 画像データ処理装置および方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3606425B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4709961B2 (ja) * | 1999-08-05 | 2011-06-29 | シヴォリューティオン ベー. フェー. | 情報信号中の補助データ検知 |
JP3682222B2 (ja) | 2000-12-11 | 2005-08-10 | 株式会社東芝 | 電子透かし検出装置、電子透かし検出方法及び記録媒体 |
KR100888589B1 (ko) * | 2002-06-18 | 2009-03-16 | 삼성전자주식회사 | 반복적으로 삽입된 워터마크 추출방법 및 그 장치 |
JP7207627B2 (ja) * | 2019-05-03 | 2023-01-18 | 河村 尚登 | 高耐性電子透かし法 |
-
1998
- 1998-09-02 JP JP24807998A patent/JP3606425B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11164134A (ja) | 1999-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6404926B1 (en) | Apparatus and method of processing image data, transmission medium, and recording medium | |
JP3696723B2 (ja) | 画像データ処理装置及び方法 | |
JP3349910B2 (ja) | 画像データエンコードシステム | |
US7159117B2 (en) | Electronic watermark data insertion apparatus and electronic watermark data detection apparatus | |
US6111990A (en) | Digital-watermark superposing apparatus and digital-watermarker detecting apparatus | |
US7050604B2 (en) | Image data protection technique | |
EP0901102B1 (en) | Watermark embedding method and system | |
KR100441474B1 (ko) | 불법복제를방지하기위한데이터기록장치및방법 | |
US6553070B2 (en) | Video-data encoder and recording media wherein a video-data encode program is recorded | |
CN101389009B (zh) | 一种水印信息的嵌入、检测方法及装置 | |
MXPA96003764A (en) | Data registration device and method to prevent ile copying | |
JPH10191330A (ja) | デジタルデータへの識別データ挿入方式及び検出方式 | |
JPH11355736A (ja) | 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体 | |
US8270485B2 (en) | Digital watermarking method | |
KR100643273B1 (ko) | 비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치 | |
CA2226719C (en) | Image data illegal use prevention system | |
JP3606425B2 (ja) | 画像データ処理装置および方法、並びに記録媒体 | |
JP3762655B2 (ja) | 情報埋め込み装置、検出装置、データ処理方法、プログラム及び記憶媒体 | |
JP4239998B2 (ja) | 画像データ処理装置および方法 | |
US6823074B1 (en) | Digital-watermark superposing apparatus and digital-watermarker detecting apparatus | |
JP3642956B2 (ja) | 画像データ処理装置及び方法、並びに記録装置及び方法 | |
JPH10290312A (ja) | 画像データの不正流用防止システム | |
JP2001094759A (ja) | 情報処理装置および方法、並びに記録媒体 | |
JP2001292428A (ja) | 動画像へのデータ・ハイディング方法及びデータ抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040930 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121015 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |