JP4364949B2 - 透かし検出 - Google Patents

Description

発明の分野
本発明は、あり得る埋め込まれた情報信号の透かしを、透かしパターンの（時間的又は空間的な）対応する値に従って前記情報信号の値を変更することによって検出する方法に関するものである。また、本発明は、透かしを検出する装置に関するものである。
発明の背景
冒頭で規定したような従来の方法は国際特許番号９８／０３０１４に開示されている。透かしは、疑わしい情報信号の相関及び供給された透かしパターンの比較並びに相関及び予め設定された値の比較によって検出される。相関がしきい値より大きい場合、透かしが存在すると考えられ、そうでない場合、透かしが存在しないと考えられる。相関が大きくなるに従って、検出の信頼性が増大するとともに、透かしが検出できなくなくまで処理を許容しやすくする。国際特許番号９８／０３０１４に開示されているように、情報信号及び／又は透かしパターンは、相関を算出する前に整合フィルタ処理が課される。これによって、透かし検出の信頼性が著しく増大する。
従来の透かし検出方法の問題は、情報信号に関する透かしパターンの（時間的又は空間的な）位置が全く未知なことである。検出器に供給される透かしの位置が埋込み中の位置と異なる場合、相関は小さく、透かしが存在しないと誤って検出されるおそれがある。
発明の目的及び要約
本発明の目的は、透かしの検出方法を更に向上させることである。
これを、請求項１に規定した方法及び請求項６に規定した装置によって達成する。好適例を従属請求項に規定する。
本発明は、透かしの複数のあり得る位置に対する情報信号及び供給された透かしの相関がフーリエ領域で最適に算出され、かつ、相関前に対称位相専用整合フィルタ処理（ＳＰＯＭＦ）を情報信号及び透かしに適用することによって検出の強固さ及び信頼性を向上させることができるという洞察を利用する。それ自体パターン認識の分野で既知のＳＰＯＭＦは、相関検出に要求される大抵の関連情報がフーリエ係数の位相によって保持されることを要求する。それに従って、複素フーリエ係数の振幅が正規化されて、ほぼ同一の振幅を有するようになる。
表記ＳＰＯＭＦの形容詞「対称」が情報信号及び透かしのフィルタ処理を言及するが、本発明者は、フーリエ変換された情報信号の正規化が相関検出の向上に最も寄与することを確認した。フーリエ変換された透かしの振幅の正規化は本発明の例にも寄与する。
複素フーリエ係数の振幅を正規化するステップは、各フーリエ係数をその絶対値によって除算するステップを有する。しかしながら、本発明者は、実数部と虚数部のうちのいずれが大きいかに依存して各係数をいずれかで除算する場合検出強度がほとんど減少しないことを確認した。これによって、正規化に対してより粗い近似を生じる

が、演算回数が著しく減少する。
好適な実施の形態の説明
簡単のために、本発明による透かし形態を不可視ラベルをビデオ内容に添付するシステムとして説明するが、その教示を、音声及びマルチメディアを含む他の内容に添付することができるのは明らかである。以後、この方法をＪＡＷＳ（Ｊｕｓｔ Ａｎｏｔｈｅｒ Ｗａｔｅｒｍａｒｋｉｎｇ Ｓｙｓｔｅｍ）と称する。
図１は、背景情報を提供する透かし埋込み装置の実例を示す。この埋込み装置（ｅｍｂｅｄｄｅｒ）は、イメージＰを発生させるイメージソース１１と、透かしＷをイメージＰに添付する加算器１２とを具える。透かしＷを、イメージと同一サイズ、例えば水平方向にＮ₁画素及び垂直方向にＮ₂画素を有する雑音パターンとする。透かしＷは、キーＫ、すなわち、受信端で検索すべきマルチビットコードを表す。
透かし検出プロセスがＮ₁×Ｎ₂スペースの広範囲に亘って透かしＷを探索する必要を回避するために、透かしを、必要な場合には打ち切りながらイメージの内容全体に亘って「タイル」Ｗ（Ｋ）と称する小単位を繰り返すことによって発生させる。このタイル化操作（１５）を図２に示す。タイルＷ（Ｋ）は固定サイズＭ×Ｍを有する。タイルサイズＭを非常に小さくすべきではない。Ｍを小さくすることはＷ（Ｋ）における対称性を一層必要とし、したがって安全リスクが高くなる。一方では、Ｍを非常に大きくすべきではない。大きな値のＭは、検出器の探索スペースが大きくなることを意味し、したがって、複雑さが増大する。ＪＡＷＳにおいて、理想的な折衷としてＭ＝１２８を選択する。
その後、局所的な深さマップすなわち可視性マスクλ（Ｐ）を算出する（１６）。各画素位置において、λ（Ｐ）は、添付する雑音の可視性に対する目安を提供する。マップλ（Ｐ）を、１に等しい平均値を有するように構成する。拡張したシーケンスＷ（Ｋ）をλ（Ｐ）で順次変調し、すなわち、タイル化した透かしＷ（Ｋ）の値に、その位置のλ（Ｐ）の可視性の値を乗算する。したがって、結果的に得られる雑音シーケンスＷ（Ｋ，Ｐ）は、キーＫ及びＰのイメージ内容に依存する。Ｗ（Ｋ，Ｐ）を、イメージＰに適応させる際に適応透かしと称する。
最後に、最終的な透かしの強度は、Ｗ（Ｋ，Ｐ）の全体的なスケーリング（１８）を行う全体的な深さパラメータｄによって決定される。大きな値のｄは、強固であるが可視性の透かしに対応する。小さな値は、ほとんど知覚できないが弱い透かしに対応する。ｄの実際の選択は、強固さの要求と知覚可能性の要求との間の折衷となる。透かしを埋め込んだイメージＱは、Ｗ＝ｄ×Ｗ（Ｋ，Ｐ）にＰを添付し、整数の画素値に丸め、かつ、許容される画素値範囲にクリップすることによって得られる。
透かしＷに多数ビットコードを埋め込むために、各タイルＷ（Ｋ）を、

従って、制限されたセットの相関のない基本タイル｛Ｗ₁．．Ｗ_n｝及びそのシフト形態から構成する。この場合、“ｓｈｉｆｔ（Ｗ_i，Ｗ_j）”は、循環するベクトルκ_ij全体に亘る基本Ｍ＊ＭタイルＷ_iの空間シフトを表す。符号ｓ∈｛−１，＋１｝及びシフトｋは、符号化関数Ｅ（１３）を介したキーＫに依存する。符号ｓ_i及びシフトｋ_iの検索の値にＫを再構成するのは検出器のタスクである。各基本タイルＷ_iが数回発生するおそれがある。図１において、エンコーダ１３はＷ（Ｋ）＝Ｗ₁＋Ｗ₂−Ｗ₂’を発生させ、この場合、Ｗ₂’を、Ｗ₂のシフト形態とする。図３はその動作を示す。
図４は、本発明による透かし検出器の線形図を示す。透かし検出器は、あり得る透かしを埋め込んだイメージＱを受信する。ＪＡＷＳの透かし検出を単一フレームごとに行わずにフレーム群ごとに行う。複数のフレームの累算（２１）によって、検出の統計が向上し、従って検出の信頼性が向上する。累算したフレームは、その後サイズＭ×Ｍのブロックに区分し（２２）、全てのブロックを、サイズＭ×Ｍのバッファｑにスタックする（２３）。この動作は折りたたみとして既知である。図５は、この折りたたみの動作を示す。
検出プロセスの次のステップは、特定の雑音パターンのバッファｑにおける存在を表明することである。バッファｑが特定の透かしパターンＷを有するか否かを検出するために、バッファ内容及びその透かしバターンに相関を課す。透かしパターンｗを有する疑惑情報信号ｑの相関の算出は、情報信号値及び透かしパターンの対応する値の内積ｄ＝＜ｑ，ｗ＞の算出を具える。１次元情報信号ｑ＝｛ｑ_n｝及び透かしパターンｗ＝｛ｗ_n｝に対して、これを、

のような数式で書くことができる。２次元情報信号ｑ＝｛ｑ_ij｝及び透かしパターンｗ＝｛ｗ_ij｝に対して、内積は、

となる。
原理的には、タイルＷ_iがシフトしたベクトルｋ_iを、相違するベクトルｋを有するＷ_iを検出器に連続的に供給するとともにどのｋに対して相関が最大になるかを決定することによって見つけることができる。しかしながら、この蓄力供給探索アルゴリズムは時間消費が多い。さらに、イメージＱが透かし検出前に（変換やクロッピングのような）種々の処理形態を経験し、その結果、検出器は、イメージＱに対する基本透かしパターンＷ_iの空間位置については未知である。
蓄力探索の代わりに、ＪＡＷＳはパターンＷ（Ｋ）の構造を利用する。バッファｑは、基本パターンの存在、その符号及びシフトに対して検査される。イメージｑ及び基本パターンｗの相関ｄ_kはベクトルｋによってシフトされる。（水平方向のｋ_x画素及び垂直方向のｋ_y画素を、

とする。）
基本パターンＷ_iのあり得る全てのシフトベクトルｋに対する相関値ｄ_kは、高速フーリエ変換を用いて同時に算出される。図４に示すように、バッファｑの内容及び基本透かしパターンＷ_iの内容は、変換回路２４及び２５においてそれぞれ高速フーリエ変換（ＦＦＴ）が課される。これら動作は、

を発生させる。この場合、

を複素数のセットとする。
相関の算出は、ｑの畳込み及びＷ_iの共役の算出に類似する。変換領域にといて、これは、

に相当する。この場合、記号▲×▼は点別乗算（ｐｏｉｎｔｗｉｓｅｍｕｌｔｉｐｌｉｃａｔｉｏｎ）を表し、ｃｏｎｊ（）は、引数（ａｒｇｕｍｅｎｔ）の虚数部の符号の反転を表す。図４において、

の結合を結合回路２６によって実行し、点別乗算を乗算器２７によって実行する。相関値ｄ＝｛ｄ_k｝のセットは、上記乗算の逆フーリエ変換によって得られる。

によって得られ、それは、逆ＦＦＴ回路２８によって図４で実行される。透かしパターンＷ_iは、相関値ｄ_kが所定のしきい値より大きい場合に存在が検出される。
図６Ａは、イメージＱの透かしパターンＷ₁（図１及び３参照）の存在を検査した場合の相関値ｄ_kのグラフを示す。ピーク６１は、Ｗ₁を実際に見つけたことを示す。このピークの位置（０，０）は、検出器に供給されたパターンＷ₁がイメージＱに対して埋込み装置に供給されたパターンＷ₁と同一の空間位置を有するようになることを表す。図６Ｂは、透かしパターンＷ₂が検出器に供給される場合の相関値のグラフを示す。２個のピークが見つかる。（０，０）における正のピーク６２は透かしＷ₂の存在を示し、（４８，６０）における負のピーク６３は、透かし−Ｗ₂’の存在を示す。埋め込まれたデータＫは、このように見つけたベクトルから取り出される。
埋込み情報は、例えば、著作権者又は内容の表現を識別する。ＤＶＤコピー防止に当たり、マテリアルに対して「一度コピー」「コピー不可」「無制限」「これ以上のコピー不可」等のラベルを付すことができる。図７は、ディスク７１に記録したＭＰＥＧビットストリームを再生するＤＶＤドライブを示す。記録された信号は、スイッチ７２を経て出力端子７３に供給される。出力端子を、外部のＭＰＥＧデコーダ及び表示装置（図示せず）に接続する。本発明に関連しない他の条件を満足しない場合には予め設定された埋込み透かしを有するビデオ信号をＤＶＤドライブが再生しないものと仮定する。例えば、透かしを埋め込んだ信号は、ディスク７１が所定の「ウォッブル」キーを有する場合にのみ再生される。透かしを検出するために、ＤＶＤドライブは、上記透かし検出器７４を具える。検出器は、記録された信号を受信するとともに、透かしを検出したか否かに応じてスイッチ７２を制御する。
フーリエ係数

は複素数であり、すなわち、それは実数部及び虚数部すなわち振幅及び位相を有する。本発明者は、振幅情報を考慮せずに位相のみを考慮する場合検出器の信頼性が著しく向上することを確認した。図８は、検出器の相関回路の好適例を示す。本例は、振幅正規化回路３０を乗算器２７と逆フーリエ変換回路２８との間に挿入した点が図４のものと異なる。正規化回路の動作は、振幅による各係数の点別除算を具える。数式では、

となり、この場合、Φは点別除算を表し、ａｂｓ（）は、

を表す。この場合、Ｒ（）及びＩ（）はそれぞれ引数の実数部及び虚数部を表す。
振幅の上記正規化を、対称位相専用整合フィルタ処理（ＳＰＯＭＦ：Ｓｙｍｍｅｔｒｉｃａｌ Ｐｈａｓｅ Ｏｎｌｙ Ｍａｔｃｈｅｄ Ｆｉｌｔｅｒｉｎｇ）と称する。図９Ａ及び９Ｂは、ＳＰＯＭＦ相関の効果を示す。より詳しくは、図９Ａは、線形相関を用いるすなわち振幅正規化回路３０を有しない場合の相関値ｄ_kを示す。全マトリックスの標準偏差の単位で相関値ｄ_OOは９．７９に達する。図９Ｂは、ＳＰＯＭＥを用いた場合の相関値を示す。この場合、相関値ｄ_OOは標準偏差の６２．７７倍となる。図９Ｂのピークを図９Ａのピークに比べで高い信頼性で検出することができることがわかる。

の振幅の正規化が

の振幅の正規化と等価であるので、図８の正規化回路３０をＦＦＴ回路２４及び２５の後方の２個の正規化回路に置換することができる。しかしながら、埋め込まれた透かしが既に理想的な白色（平坦）周波数スペクトルを有する。その理由は、それが実際には擬似ランダム雑音パターンだからであり、各サンプルは互いに依存せず、かつ、正規分布から同一的に取り出される。それに関して、情報信号の振幅の正規化のみで十分であることが確認された。図１０はそのような例を示す。この場合、振幅正規化回路３０はＦＦＴ２４と乗算器２７との間に配置される。本例では、

の振幅は正確ではないがほとんど同一である。
供給された透かしＷ_iのＦＦＴ及び共役（図４，８及び１０の回路２５及び２６をそれぞれ参照）並びに

の振幅の任意の正規化を予め算出するとともにメモリに格納することができる。
本発明者は、正規化に対してより粗い近似を用いる場合検出強度が著しく減少しないことを確認した。式（１）及び（２）によって規定したような振幅で各フーリエ係数を除算する代わりに、実数部と虚数部のうちのいずれが大きいかに応じてその実数部又は虚数部によって各係数を除算するので十分である。この場合、振幅は１と

との間で変動し、検出強度は１％しか減少しない。複雑な演算を省略するという利点がある。その理由は、式（２）の平方根を計算する必要がないからである。そのような例において、正規化回路３０は以下のアルゴリズムを実行する。

この場合、

を

の複素フーリエ係数とし、

をそれぞれ

の実数及び虚数部とし、／は除算を表す。
正規化が２の累乗のみによって除算される場合複雑さを更に減少させることができる。この場合、振幅は１と

との間で変動し、検出強度は１％しか減少しない。２の累乗による除算は、複素係数の実数部及び虚数部が
符号・仮数・２^exp
として表される最も一般的な浮動小数点数において特に有効である。この場合、仮数を、１と２との間の数の固定点表示とする。上記正規化は以下のように簡単にすることができる。

要約すると、情報（例えばイメージ又はビデオ）信号の透かしを検出する向上した方法及び装置を開示する。信号間の相関の量（ｄ）を検出する前に疑わしいイメージ（ｑ）及び検出すべき透かし（Ｗ_i）に対称位相専用整合フィルタ処理（２４−２８）を課すことによって、検出が信頼性のあるものとなり、かつ、イメージ処理に対する影響が少なくなる。
【図面の簡単な説明】
図面の簡単な説明
図１は、信号に透かしを埋め込む装置を線形的に示す。
図２及び３は、図１に示した埋込み装置の動作を説明する図を示す。
図４は、埋め込まれた透かしを検出する装置を線形的に示す。
図５，６Ａ及び６Ｂは、図４に示した検出器の動作を説明する図を示す。
図７は、埋め込まれた透かしを有するビデオビットストリームを再生する装置を示す。
図８は、埋め込まれた透かしを検出する装置の好適な実施の形態を線形的に示す。
図９Ａ及び９Ｂは、図８に示した検出器の動作を説明する図を示す。
図１０は、埋め込まれた透かしを検出する装置の他の実施の形態を線形的に示す。」

Claims (8)

1. 情報信号の透かしを検出する方法であって、
   前記情報信号及び透かしの相関を表示する値を算出するステップと、
   前記相関値が予め設定されたしきい値より上か否かを検出するステップとを具える方法において、
   前記算出ステップが、前記情報信号及び透かしをフーリエ係数にそれぞれフーリエ変換するステップと、対応する係数を乗算して、前記情報信号に関する透かしの複数の位置のうちの１個に対応する相関値を表すフーリエ係数を得るステップと、前記相関値を表すフーリエ係数を逆変換するステップとを具え、
   前記検出ステップが、前記相関値の少なくとも１個が予め設定されたしきい値より大きいか否かを検出するステップを具え、
   前記相関値を表すフーリエ係数をほぼ同一の振幅に正規化するステップを更に有することを特徴とする方法。
2. 前記正規化ステップを、前記情報信号を表すフーリエ係数に適用することを特徴とする請求項１記載の方法。
3. 前記正規化ステップを、前記透かしを表すフーリエ係数に適用することを特徴とする請求項１記載の方法。
4. 前記正規化ステップが、各フーリエ係数を各振幅によって除算することを特徴とする請求項１記載の方法。
5. 前記正規化ステップが、実数部と虚数部のうちのいずれが大きいかに依存して実数部又は虚数部で各フーリエ係数を除算するステップを有することを特徴とする請求項１記載の方法。
6. 前記除算ステップが、２の累乗によって除算するステップを具えることを特徴とする請求項５記載の方法。
7. 情報信号の透かしを検出する装置であって、
   前記情報信号及び透かしの相関を表示する値を算出する手段と、
   前記相関値が予め設定されたしきい値より上か否かを検出する手段とを具える装置において、
   前記算出手段が、前記情報信号及び透かしをフーリエ係数にそれぞれフーリエ変換する手段と、対応する係数を乗算して、前記情報信号に関する透かしの複数の位置のうちの１個に対応する相関値を表すフーリエ係数を得る手段と、前記相関値を表すフーリエ係数を逆変換する手段とを具え、
   前記検出手段が、前記相関値の少なくとも１個が予め設定されたしきい値より大きいか否かを検出する手段を具え、
   前記相関値を表すフーリエ係数をほぼ同一の振幅に正規化する手段を更に有することを特徴とする装置。
8. 情報信号を記録し及び／又は再生する装置であって、前記信号の透かしの存在に依存してビデオ信号の記録及び／又は再生を不可能にする手段を具える装置において、前記装置が、請求項７に記載した信号の透かしを検出する装置を具えることを特徴とする装置。

Images