JP4428728B2 - 信号への補助データ埋込み - Google Patents

Description

発明の分野
本発明は、情報信号、例えば、ビデオ信号や音声信号、より一般的にはマルチメディア内容に補助データを埋め込む方法及び装置に関するものである。また、本発明は、その補助データを検出する方法及び装置に関するものである。
発明の背景
補助データを埋め込む既知の方法は米国特許第５，７３８，７８３号に開示されている。この従来の方法では、Ｎビットコードを、純粋な雑音の外観を有する低振幅の透かしを添付することによって埋め込む。コードの各ビットを、下の信号に等しい寸法及び内容を有する個々の透かしに関連させる（いずれも５１２×５１２デジタルイメージとする。）。コードビット“１”を、各透かしに信号を加算することによって表す。コードビット“０”を、各透かしへの信号の追加又はその信号からの透かしの除去を行わないことによって表す。したがって、Ｎビットコードは、Ｎ個の相違する透かし（雑音）パターンまでの和によって表される。
例えば雑誌の刊行物のイメージ（又はイメージの一部）が元のイメージの違法コピーである疑いがある場合、元のイメージが、疑いのあるイメージから取り除かれ、Ｎ個の個別の透かしパターンを、相違するイメージに相互相関する。相違するイメージと個別の透かしパターンとの間の相関の量に依存して、各ビットに０又は１を割り当て、Ｎビットコードを取り出す。
従来技術の課題は、Ｎ個の相違する透かしパターンを符号化端に追加する必要があるとともに、Ｎ個の透かしパターンを復号化端で個別に検出する必要があることである。
発明の目的及び要約
本発明の目的は、従来の課題を克服する透かし埋込み及び検出方法及び装置を提供することである。
このために、本発明は、情報信号に補助データを埋め込む方法であって、１個以上の予め設定された透かしパターンをベクトルによって１回以上シフトし、各ベクトルが補助データを表すステップと、シフトした前記透かしを前記情報信号に埋め込むステップとを具えることを特徴とする方法を提供する。情報信号の補助信号を検出する方法は、１個以上の埋め込まれた透かしを検出するステップと、検出した透かしの各々を予め設定した透かしに対してシフトするベクトルを決定するステップと、前記補助データを前記ベクトルから取り出すステップとを具える。本発明の好適例を従属請求の範囲に規定する。
本発明によって、多数ビットコードを、単一透かしパターン又は少数の相違する透かしパターンに収容することができる。これは、ビデオ及びオーディオプレーヤ及びレコーダのような家庭用装置の透かし検出に重要である。その理由は、検出すべき透かしパターンをその装置に格納する必要があるからである。本発明は、信号に所定の透かしを埋め込んだか否かを検出するだけでなく追加の演算を行うことなくその透かしの複数の相対位置を提供する検出方法を利用できるという洞察を利用する。これは重要な利点である。その理由は、情報内容に埋め込まれたビット数が強固さ、可視性及び実際の検出速度間で常に相反するからである。本発明は、適切なハードウェアを用いたリアルタイム検出を許容する。
好適な実施の形態の説明
簡単のために、本発明による透かし形態を不可視ラベルをビデオ内容に添付するシステムとして説明するが、その教示を、音声及びマルチメディアを含む他の内容に添付することができるのは明らかである。以後、この方法をＪＡＷＳ（Ｊｕｓｔ Ａｎｏｔｈｅｒ Ｗａｔｅｒｍａｒｋｉｎｇ Ｓｙｓｔｅｍ）と称する。
図１は、背景情報を提供する透かし埋込み装置の実例を示す。この埋込み装置（ｅｍｂｅｄｄｅｒ）は、イメージＰを発生させるイメージソース１１と、透かしＷをイメージＰに添付する加算器１２とを具える。透かしＷを、イメージと同一サイズ、例えば水平方向にＮ₁画素及び垂直方向にＮ₂画素を有する雑音パターンとする。透かしＷは、キーＫ、すなわち、受信端で取り出すべきマルチビットコードを表す。
透かし検出プロセスがＮ₁×Ｎ₂スペースの広範囲に亘って透かしＷを探索する必要を回避するために、透かしを、必要な場合には打ち切りながらイメージの内容全体に亘って「タイル」Ｗ（Ｋ）と称する小単位を繰り返すことによって発生させる。このタイル化操作（１５）を図２に示す。タイルＷ（Ｋ）は固定サイズＭ×Ｍを有する。タイルサイズＭを非常に小さくすべきではない。Ｍを小さくすることはＷ（Ｋ）における対称性を一層必要とし、したがって安全リスクが高くなる。一方では、Ｍを非常に大きくすべきではない。大きな値のＭは、検出器の探索スペースが大きくなることを意味し、したがって、複雑さが増大する。ＪＡＷＳにおいて、理想的な折衷としてＭ＝１２８を選択する。
その後、局所的な深さマップすなわち可視性マスクλ（Ｐ）を算出する（１６）。各画素位置において、λ（Ｐ）は、添付する雑音の可視性に対する目安を提供する。マップλ（Ｐ）を、１に等しい平均値を有するように構成する。拡張したシーケンスＷ（Ｋ）をλ（Ｐ）で順次変調し、すなわち、タイル化した透かしＷ（Ｋ）の値に、その位置のλ（Ｐ）の可視性の値を乗算する。したがって、結果的に得られる雑音シーケンスＷ（Ｋ，Ｐ）は、キーＫ及びＰのイメージ内容に依存する。Ｗ（Ｋ，Ｐ）を、イメージＰに適応させる際に適応透かしと称する。
最後に、最終的な透かしの強度は、Ｗ（Ｋ，Ｐ）の全体的なスケーリング（１８）を行う全体的な深さパラメータｄによって決定される。大きな値のｄは、強固であるが可視性の透かしに対応する。小さな値は、ほとんど知覚できないが弱い透かしに対応する。ｄの実際の選択は、強固さの要求と知覚可能性の要求との間の折衷となる。透かしを埋め込んだイメージＱは、Ｗ＝ｄ×Ｗ（Ｋ，Ｐ）にＰを添付し、整数の画素値に丸め、かつ、許容される画素値範囲にクリップすることによって得られる。
透かしＷに多数ビットコードを埋め込むために、各タイルＷ（Ｋ）を、

に従って、制限されたセットの相関のない基本タイル｛Ｗ₁..Ｗ_n｝及びそのシフト形態から構成する。この場合、“ｓｈｉｆｔ（Ｗ_j，Ｗ_j）”は、循環するベクトル

全体に亘るＭ＊ＭタイルＷ_iの空間シフトを表す。符号

及びシフトｋは、符号化関数Ｅ（１３）を介したキーＫに依存する。符号ｓ_i及びシフトｋ_iの取り出した後にＫを再構成するのは検出器のタスクである。各基本タイルＷ_iが数回発生するおそれがある。図１において、エンコーダ１３はＷ（Ｋ）＝Ｗ₁＋Ｗ₂−Ｗ₂’を発生させ、この場合、Ｗ₂’を、Ｗ₂のシフト形態とする。図３はその動作を示す。
図４は、本発明による透かし検出器の線形図を示す。透かし検出器は、あり得る透かしを埋め込んだイメージＱを受信する。ＪＡＷＳの透かし検出を単一フレームごとに行わずにフレーム群ごとに行う。複数のフレームの累算（２１）によって、検出の統計が向上し、従って検出の信頼性が向上する。累算したフレームは、その後サイズＭ×Ｍのブロックに区分し（２２）、全てのブロックを、サイズＭ×Ｍのバッファｑにスタックする（２３）。この動作は折りたたみとして既知である。図５は、この折りたたみの動作を示す。
検出プロセスの次のステップは、特定の雑音パターンのバッファｑにおける存在を表明することである。バッファｑが特定の透かしパターンＷを有するか否かを検出するために、バッファ内容及びその透かしバターンに相関を課す。透かしパターンｗを有する疑惑情報信号ｑの相関の算出は、情報信号値及び透かしパターンの対応する値の内積ｄ＝＜ｑ,ｗ＞の算出を具える。１次元情報信号ｑ＝｛ｑ_n｝及び透かしパターンｗ＝｛ｗ_n｝に対して、これを、

のような数式で書くことができる。２次元情報信号ｑ＝｛ｑ_ij｝及び透かしパターンｗ＝｛ｗ_ij｝に対して、内積は、

となる。
原理的には、タイルＷ_iがシフトしたベクトルｋ_iを、相違するベクトルｋを有するＷ_iを検出器に連続的に供給するとともにどのｋに対して相関が最大になるかを決定することによって見つけることができる。しかしながら、この蓄力供給探索アルゴリズムは時間消費が多い。さらに、イメージＱが透かし検出前に（変換やクロッピングのような）種々の処理形態を経験し、その結果、検出器は、イメージＱに対する基本透かしパターンＷ_iの空間位置については未知である。
蓄力探索の代わりに、ＪＡＷＳはパターンＷ（Ｋ）の構造を利用する。バッファｑは、基本パターンの存在、その符号及びシフトに対して検査される。イメージｑ及び基本パターンｗの相関ｄ_kはベクトルｋによってシフトされる。（水平方向のｋ_x画素及び垂直方向のｋ_y画素を、

とする。）
基本パターンＷ_iのあり得る全てのシフトベクトルｋに対する相関値ｄ_kは、高速フーリエ変換を用いて同時に算出される。図４に示すように、バッファｑの内容及び基本透かしパターンＷ_iの内容は、変換回路２４及び２５においてそれぞれ高速フーリエ変換（ＦＦＴ）が課される。これら動作は、

相関の算出は、ｑの畳込み及びＷ_iの共役の算出に類似する。変換領域にといて、これは、

ｉｃａｔｉｏｎ）を表し、ｃｏｎｊ（）は、引数（ａｒｇｕｍｅｎｔ）の虚数部の符号の反転を表す。図４において、

の結合を結合回路２６によって実行し、点別乗算を乗算器２７によって実行する。相関値ｄ＝｛ｄ_k｝のセットは、上記乗算の逆フーリエ変換によって得られる。

によって得られ、それは、逆ＦＦＴ回路２８によって図４で実行される。透かしパターンＷ_iは、相関値ｄ_kが所定のしきい値より大きい場合に存在が検出される。
図６Ａは、イメージＱの透かしパターンＷ₁（図１及び３参照）の存在を検査した場合の相関値ｄ_kのグラフを示す。ピーク６１は、Ｗ₁を実際に見つけたことを示す。このピークの位置（０，０）は、検出器に供給されたパターンＷ₁がイメージＱに対して埋込み装置に供給されたパターンＷ₁と同一の空間位置を有するようになることを表す。図６Ｂは、透かしパターンＷ₂が検出器に供給される場合の相関値のグラフを示す。２個のピークが見つかる。（０，０）における正のピーク６２は透かしＷ₂の存在を示し、（４８，６０）における負のピーク６３は、透かし−Ｗ₂’の存在を示す。埋め込まれたデータＫは、このように見つけたベクトルから取り出される。
埋込み情報は、例えば、著作権者又は内容の表現を識別する。ＤＶＤコピー防止に当たり、マテリアルに対して「一度コピー」「コピー不可」「無制限」「これ以上のコピー不可」等のラベルを付すことができる。図７は、ディスク７１に記録したＭＰＥＧビットストリームを再生するＤＶＤドライブを示す。記録された信号は、スイッチ７２を経て出力端子７３に供給される。出力端子を、外部のＭＰＥＧデコーダ及び表示装置（図示せず）に接続する。本発明に関連しない他の条件を満足しない場合には予め設定された埋込み透かしを有するビデオ信号をＤＶＤドライブが再生しないものと仮定する。例えば、透かしを埋め込んだ信号は、ディスク７１が所定の「ウォッブル」キーを有する場合にのみ再生される。透かしを検出するために、ＤＶＤドライブは、上記透かし検出器７４を具える。検出器は、記録された信号を受信するとともに、透かしを検出したか否かに応じてスイッチ７２を制御する。
評価回路２９（図４）は、透かし検出器に供給された基本透かしパターンＷ_iの各々に対して１個以上のトリプレット

を記録する。ここでｉ_jは原始パターンの指標を表し、ｓをその符号とし、ｋを、供給されたパターンに対する位置とする。これらデータから埋込みキーＫを取り出す。
検出器に供給される対応する基本透かしパターン（Ｗ₂）がイメージに関して埋込み装置におけるものと同一位置を有する場合には、多数ビットコードを単一シフト透かしパターン（例えば、図３に示すパターンＷ₂’）に埋め込むことができる。この場合、相関マトリックスのピーク（すなわち図６Ｂのピーク６３）の座標は明らかにベクトルｋを表す。しかしながら、実際には、所定の基本透かしに対応する相関値のアレイのピークの絶対位置は、イメージのクロッピング及び変換のために変動するおそれがある。しかしながら、複数ピークの相対位置は変換及びクロッピングに関して不変である。それを考慮すると、複数の透かしを埋め込むとともにキーＫをその相対位置に符号化するのが有利である。好適には、ピークのうちの１個が基準位置を提供する。これを、シフトのない予め設定された透かし（図６Ａにおいて基準ピーク６１を提供するＷ₁参照）を埋め込むことによって、又は互いに相違する符号を有する複数の透かし（図６Ｂにおいて基準ピータ６２を提供するＷ₂参照）のうちの１個を埋め込むことによって達成する。
埋め込むことができるビット数の数学的な分析を行う。より一般的には、ｎ個の基本透かしタイルＷ₁...Ｗ_nを有し、これらの全てが同一の固定サイズＭ×Ｍを有し、かつ、相互に相関されていないと仮定する。Ｍを、整数ｍに対してＭ＝２^mの形態とする。典型的には、Ｍ＝１２８＝２⁷を有する。供給すべき相違する基本パターンの実際に容易な数は目下のところ小さく、例えば、ｎ＝４又はｎ＝８を考える。ピークの正確な位置は数画素までしか正確でない。したがって、ピークの相対シフトに情報を埋め込むために、基本埋め込みパターンの許容された変換に対して粗いグリッドを使用する。サイズＧ×Ｇのグリッドを考察し、この場合、ｍより小さい整数ｇに対してＧ＝２^gとする。グリッド間隔をｈ＝Ｍ／Ｇとする。
先ず、ｎ個の相違する基本透かしパターン（Ｗ₁...Ｗ_n）に埋め込むことができるビット数を考察し、そのうちの１個のピーク（例えばＷ₁）を用いて基準位置を提供する。この場合、Ｗ₁に対するＷ₂...Ｗ_nの相対位置に情報を埋め込む。これらパターンＷ₂...Ｗ_nの各々に対して、Ｇ²個のあり得るシフト（すなわち２ｇビット）を有する。Ｇ×Ｇグリッドに亘るｎ個の透かしパターンの相対シフトに埋め込むことができる情報内容は２ｇ（ｎ−１）ビットに等しい。以下の表Ｉは、種々のグリッドサイズ及び基本パターンの数に対するビット数を示す。この表において、透かしパターンをサイズ１２８×１２８とする。

４画素のグリッド間隔ｈは、現在のピーク検出の精度を付与する容易な選択であると考えられる。スケーリングを考慮する必要がある場合、更に広い間隔が要求される。可視性を有するようになる場合、適用することができる透かしの数を４又は６にすることができる。強固さは、例えば４個の基本パターンを有する常に大きな送出である必要はなく、検出の複雑さが存在したままである。したがって、１個の基本パターンの相違するシフトを用いる状況を観察するのに関心がある。
１個の基本パターンＷ_iのみのｎ個の変換形態に埋め込むことができるビット数も考慮する。これは、１パターンを検出器に適用してｎ個の相関ピークを決定するだけでよいという利点を有する。ｎ個の相違するパターンを用いる状況に比べて検出の複雑さが１／ｎに減少する。これは情報内容に影響を及ぼすが、減少因子は検出時のものに比べて著しく小さくなる。同一透かしのｎシフトの使用とｎ個の相違する透かしの使用を比べる際に二つの重要な相違がある。
− 全てのシフトが互いに相違する必要がある。これは、相違するパターンを使用する際には要求されない。
− Ｗ₁及びＷ₁に対する他の透かし（Ｗ₂，Ｗ₂’）の考察した相対位置を「固定した」上記状況とは対照的に、基準位置が存在しない。
図８は、基本透かしパターンＷ_iを相違するシフトで３回埋め込んだ場合の８×８グリッド（ｈ＝１６）に亘るピークパターンの例を示す。ピークパターン８１は、透かし検出器によって検出したような３ピークの位置を示す。このピークパターンの周期的なシフトは同一透かしに起因する。例えば、（ピークのうちの１個を左下コーナーにシフトした）ピークパターン８２，８３及び８４は全てピークパターン８１に相当する。図９は、単一基本透かしパターンＷ_iの４シフト形態に対する同様なピークパターンを示す。この場合、左下コーナーに１ピークを有するピークパターンの全てのシフト形態は同一である。
正確な情報内容を決定するために、全てのあり得る相違するパターンを周期的なシフトまで計数する必要がある。本発明者はこれら計算を実行した。結果を以下の表IIにリストする。

上記方法を種々の方法で組み合わせることができる。例えば、相違するパターンの複数のシフト形態を用いることができ、又はシフトの組合わせの際に符号情報を用いることができる。
したがって、本発明は、ｎ個の透かしパターンの埋込みに基づく透かし方法の不変の特性に基づく。フーリエ領域における検出方法によって、イメージのシフト形態又はクロップ形態で透かしを見つけることができる。透かしパターンの正確なシフトは、相関ピークによって表され、高速フーリエ変換反転後に得られる。本発明は、透かしの正確なシフトが検出されるためにこのシフトを用いて情報を埋め込むという洞察を利用する。本発明によって、単にイメージ又はビデオに透かしを入れたか否かを決定するのではなく多数ビット情報を埋め込む際に効率的なコストでの透かし検出を行うことができる。
要約すると、信号に補助データを埋め込む方法を開示する。データは、相対位置すなわち１個以上の基本透かしパターンの位相に符号化される。これによって、１個又は少数の個別の透かしパターンを用いて多数ビットデータを埋め込むことができる。
【図面の簡単な説明】
図１は、信号に透かしを埋め込む装置を線形的に示す。
図２及び３は、図１に示した埋込み装置の動作を説明する図を示す。
図４は、埋め込まれた透かしを検出する装置を線形的に示す。
図５，６Ａ及び６Ｂは、図４に示した検出器の動作を説明する図を示す。
図７は、埋め込まれた透かしを有するビデオビットストリームを再生する装置を示す。
図８及び９は、本発明による透かしの多数ビット情報の埋込み及び検出動作を説明する別の図を示す。

Claims (11)

1. 情報信号に補助データを埋め込む方法であって、
   各ベクトルが補助データを指示し、１個以上の予め設定された透かしパターンをそのベクトルによって１回以上シフトするステップと、
   前記シフトした透かしを前記情報信号に埋め込むステップと、
   前記ベクトルに対する基準位置を提供するために、前記予め設定された透かしを埋め込むステップと、
   を具えることを特徴とする方法。
2. 前記予め設定された透かしパターンを、前記シフトした透かしに対して相違する符号で埋め込むことを特徴とする請求項１記載の方法。
3. 情報信号に補助データを埋め込む方法であって、
   各ベクトルが補助データを指示し、１個以上の予め設定された透かしパターンをベクトルによって１回以上シフトするステップと、
   前記シフトした透かしを前記情報信号に埋め込むステップと、
   前記ベクトルに対する基準位置を提供するために、予め設定された別の透かしを埋め込むステップと、
   を具えることを特徴とする方法。
4. 埋め込まれた透かしが、前記情報信号の寸法より小さい寸法を有し、前記埋込みステップが、前記情報信号の範囲に亘って前記透かしを繰り返すステップを具えることを特徴とする請求項１記載の方法。
5. 情報信号の補助信号を検出する方法であって、
   １個以上の埋め込まれた透かしを検出するステップと、
   埋め込まれた別の透かしを検出するステップと、
   前記検出される透かしの各々を予め設定された透かしに対してシフトさせるための、前記補助データを指示するベクトルを、前記１個以上の埋め込まれた透かしの検出と前記埋め込まれた別の透かしの検出とに基づいて決定するステップと、
   前記補助データを前記ベクトルから取り出すステップとを具えることを特徴とする方法。
6. 前記埋め込まれた別の透かしが、前記ベクトルに対する基準位置を提供することを特徴とする請求項５記載の方法。
7. 埋め込まれた透かしを検出するステップが、前記情報信号と前記予め決定した透かしのシフト形態との間の相関を決定するステップを有し、前記ベクトルを、前記相関が所定のしきい値を超える前記シフト形態によって規定することを特徴とする請求項５記載の方法。
8. 前記埋め込まれた透かしが、前記情報信号の寸法より小さい寸法を有し、当該方法が、前記埋め込まれた透かしを有する前記情報信号を同じ寸法を有するサブ信号に区分し、前記サブ信号の各々を加算して得られる相関値から、前記予め設定された透かしに対してシフトしたベクトルを決定するステップと、
   を具えることを特徴とする請求項５記載の方法。
9. 情報信号に補助データを埋め込む装置であって、
   各ベクトルが補助データを指示し、１個以上の予め設定された透かしパターンをベクトルによって１回以上シフトする手段と、
   前記シフトした透かしを前記情報信号に埋め込む手段と、
   前記ベクトルに対する基準位置を提供するために、予め設定された別の透かしを埋め込む手段と、
   を具えることを特徴とする装置。
10. 情報信号の補助信号を検出する装置であって、
    １個以上の埋め込まれた透かしを検出する手段と、
    埋め込まれた別の透かしを検出する手段と、
    前記検出される透かしの各々を予め設定された透かしに対してシフトさせるための、前記補助データを指示するベクトルを、前記１個以上の埋め込まれた透かしの検出と前記埋め込まれた別の透かしの検出とに基づいて決定する手段と、
    前記補助データを前記ベクトルから取り出す手段と
    を具えることを特徴とする装置。
11. 情報信号を記録し及び／又は再生する装置であって、ビデオ信号に埋め込まれた補助データに依存して前記信号の記録及び／又は再生を不可能にする手段を具える装置において、前記装置が、請求項１０に記載した補助データを検出する装置を具えることを特徴とする装置。

Images