JP2004159309A - 電子透かし方法および装置、並びに透かし復号化方法および装置 - Google Patents

Abstract

【課題】ディジタル映画の無断コピーから保護する方法を提供する。
【解決手段】ディジタル映画に透かしを埋め込む方法である。この方法は、ディジタル映画の電子ディジタル表現の一部を少なくとも１つのディジタル表現領域で一時的に格納することと、上記映画の少なくとも１つの格納されたディジタル表現領域に電子透かしを埋め込むことと、上記埋込みの発生中に上記ディジタル映画の一部を上映することを備えている。
【選択図】図１

Description

本発明は、ディジタルコンテンツを無断コピーから保護する方法および装置、並びに無断コピーの検出方法および装置に関し、その保護対象のディジタルコンテンツがディジタル映画の形の場合に、特に適用可能である。

ディジタルコンテンツを無断コピーから保護することに関心が高まっている。上映の瞬間までは暗号化によって保護することができるが、ディジタルコンテンツは、上映されると無断使用に対して脆弱になる。そのような上映物を無断使用から保護する公知の方法の１つは、ディジタルコンテンツに電子透かしを埋め込むことである。ストリーミングメディアコンテンツに透かしを付与する場合、メディアコンテンツ内にいくつかの情報を気付かれないように隠蔽して、劇場内でのビデオカメラの使用など、復号化後の盗撮の日付、時刻および場所を判定する情報を提供することができる。

公知の電子透かし技術は、無断のディジタルコピー方法を対象にしている。これらの技術は、ビデオカメラを使ってディジタル再生映画をテープ録画する場合に起こるひどい歪みに耐えられないので、手持ちビデオカメラで製作したディジタル映画のコピーなど、上映時の無断のアナログコピーを防止または追跡する場合には適用不可能である。さらに、メディア内に少量の情報を埋め込む方法は、ディジタル映画コンテンツの保護に使用する場合など、上映時の電子透かし付与には適していない。

従来より、複数のデータ隠蔽技術が知られている。データ隠蔽の公知技術の１つは、マサチューセッツ工科大学で開発され、本明細書にそのまま引用の形で盛り込まれる「偶然の偽造者を撃退する情報隠蔽(Information Hiding to Foil The Casual Counterfeiter)」、インフォメーション・ハイディング(Information Hiding)、レクチャー・ノーツ・イン・コンピュータ・サイエンス(LNCS)、ベルリン、シュプリンガー・フェアラーク(Springer-Verlag)、１９８８年、第１５２５巻、ｐ．１−１５にグルール(Gruhl)およびベンダー(Bender)によって記述された「パッチワーク」アルゴリズムとして知られている。このアルゴリズムは、複数の「パッチ」を選択した後、そのパッチを修正して透かし埋込みの統計的分布を変更する。パッチ中心は、画像の長さおよび高さと、固定の画素、例えば、画像の［０，０］番目の画素とを参照して決定される。このシステムは無歪み画像にとっては満足のゆくものであるが、回転歪みや非線形歪み等の画像ひずみは、復号誤差を招来する。

他にも多数の透かしアルゴリズムが提案されている。一般的な脆弱な電子透かしアルゴリズムは、最下位ビットの変調を行って、最下位ビット（ＬＳＢ）ストリームに透かしＷを埋め込む。この透かしアルゴリズムは、リアルタイムで実施する最も簡単なものに属するが、ある種の変換および信号歪みによって妨害または無効化され得る。

本明細書にそのまま引用の形で盛り込まれる、コックス(Cox)他に対する米国特許第５，８４８，１５５号には、スペクトル拡散透かしアルゴリズムが記載されている。このアルゴリズムは、最も一般的なロバストな透かしアルゴリズムの一部の基礎となっている。このコックス他のアルゴリズムおよびその多数の改良型は、（低域フィルタリング、再圧縮、白色雑音追加などの）ある種の信号処理雑音に耐えることができるが、ディジタル映画のビデオカメラによるコピー時に発生する、ＤＡ−ＡＤ変換（ディジタル−アナログ変換およびその後のアナログ−ディジタル変換）、幾何学的画像歪み、および大規模縮小サンプリング変換に対しては同様にはうまくゆかない。

さらに、本明細書にそのまま引用の形で盛り込まれるジョーンズ(Jones)に対する「メッセージデータを含んだ透かし信号をディジタル画像に埋め込む装置および方法(Systems and method for embedding a watermark signal that contains message data in a digital image)」という名称の米国特許出願公開第２００２／０１０６１０３号には、ディジタル映画に有効な閾値上透かしアルゴリズムが記載されている。しかしながら、画像ベースのアルゴリズムであるので、様々な種類の歪み、特に幾何学的画像歪みを受けると、このアルゴリズムもそれほどうまくはゆかない。

（発明の概要）
したがって、本発明の様々な態様では、ディジタル映画に透かしを埋め込む方法を提供する。この方法は、ディジタル映画の電子ディジタル表現の一部を少なくとも１つのディジタル表現領域で一時的に格納することと、上記映画の少なくとも１つの格納されたディジタル表現領域に電子透かしを埋め込むことと、上記埋込みの発生中に（埋込を実行しながら）上記ディジタル映画の一部を上映することを備えている。

本発明の一部の態様は、透かしが符号化された映画を復号化する方法を提供する。この方法は、映画のビデオフレーム内の基準対象の位置を求めることと、上記基準対象の重心と、二次モーメントと、三次モーメントを求めることと、上記基準対象の位置、上記重心、上記二次モーメントおよび上記三次モーメントに従って調整された距離を用いて、映画の距離で分かる透かしの位置を突き止めることと、上記調整された距離を用いて突き止められた上記透かしの位置にある透かしを復号化することを備えている。

本発明のさらに別の実施態様は、ディジタル映画に透かしを埋め込む装置を提供する。この装置は、ディジタル映画の電子ディジタル表現の一部を少なくとも１つのディジタル表現領域で一時的に格納し、上記映画の少なくとも１つの格納されたディジタル表現領域に電子透かしを埋め込み、上記埋込みの発生中に上記ディジタル映画の一部を上映するよう構成されている。

また、本発明の様々な態様は、透かしが符号化された映画を復号化する装置を提供する。この装置は、映画のビデオフレーム内の基準対象の位置を求め、上記基準対象の重心と、二次モーメントと、三次モーメントを求め、上記基準対象の位置、上記重心、上記二次モーメントおよび上記三次モーメントに従って調整された距離を用いて、映画の距離で分かる透かしの位置を突き止め、上記調整された距離を用いて突き止められた上記透かしの位置にある透かしを復号化するよう構成されている。

ビデオの海賊版が発見されると、コンテンツ所有者は、通常、埋め込まれた透かしを復号化するのにかなりの時間をかける余裕がある。したがって、（著作権侵害の正確な時刻と場所が特定できるように）本発明の態様が映画の上映中に透かしをリアルタイムで埋め込むことは望ましいが、通常は、復号化方法および装置が埋込み速度と一致したり、それに近いことは必ずしも必要ではない。

本発明のさらに他の利用可能分野は、以下の詳細な説明から明らかになるであろう。その詳細な説明と具体例は、本発明の好ましい実施形態を示す一方で、例示の目的でのみ意図されており、本発明の範囲を限定するように意図されていないことは理解されるべきである。

本発明は、その詳細な説明と図面により、さらに深く理解できるであろう。

以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明の範囲、用途および使用法を限定することは全く意図されていない。

本明細書中において、「リアルタイムに透かしをビデオストリームに埋め込む」とは、ビデオストリームが再生または録画されながら埋込み処理が発生することを指すが、埋込みによって、複製されるビデオストリームの再生または録画速度が変わるとしても、埋込みが知覚可能になるほど速度が変化することはない。「上映時に（on-the fly）」埋め込む態様は、リアルタイムに埋め込む態様である。したがって、「上映時に」埋込む態様の一例は、録画ビデオストリームを意図した速度で再生するのと同時に透かしをビデオストリームに埋め込む態様である。

本発明の様々な態様は、高レートの埋込み能とひどい歪に対する耐性を有しながら、圧縮ビデオストリームにリアルタイムに埋込み可能な透かしを提供する。特に、本発明の態様によれば、例えば、ビデオ信号または画像の密かなあるいは無断の再記録によって導入される連続的な歪みに対する耐性がもたらされる。このような歪みには、ディジタル−アナログ（ＤＡ）およびアナログ−ディジタル（ＡＤ）変換、再圧縮／トランスコード変換、（例えば、観客が持ち込んだビデオカメラによって不正に再録画される映画が受ける）わずかな回転とクロッピングによる幾何学的変換および高度なスケール変換、色彩変換、フレーム落ちや時間ジッタリングなどの時間変換によって引き起こされる歪みがある。

本発明の様々な態様は、映画が不正に録画された場所または会場を特定するのに有効である。これらの態様および他の様々な態様では、埋め込まれた透かしが上映日、上映時刻および上映場所を特定する情報を含んでいれば十分である。１００万ものディジタル映画館が存在すると仮定すると、この情報を平均的な長さの映画、例えば約９０分の映画に対してロバストに格納するには、多くとも約５０ビットで十分である。埋め込まれたビットには、例えば、上映日に相当する１５ビット、特定のために十分な精度で上映時刻を提示するのに５ないし１１ビット、上映会場に関する２０ないし２４ビットが含まれる。様々な態様において、上映会場ビットは、劇場に割り当てられた、あるいはディジタル上映装置または映写機に割り当てられた一意の識別番号からなる。

本発明の一部の態様では、透かしＷは、Ｐ個のセグメントＷ＝｛Ｗ₁，Ｗ₂，．．．，Ｗ_P｝からなり、ホストビデオＶに埋め込まれる。例えば、Ｗ₁はディジタル映画館の場所および／または他の識別子を表し、Ｗ₂は透かし付き作品の上映時刻を表す。さらに、Ｖは、空間領域、周波数領域、時間領域、ビット領域などの１つ以上の領域および空間内でＱ個のセグメントＶ＝｛Ｖ₁，Ｖ₂，．．．，Ｖ_Q1｝＝｛Ｖ_Q1+1，Ｖ_Q1+2，．．．，Ｖ_Q2｝＝ ．．．＝｛Ｖ_QZ+1，Ｖ_QZ+2，．．．，Ｖ_Q-1，Ｖ_Q｝からなる。Ｗは、時刻データや場所データなどの他の透かしデータの抽出を支援する、同期データなどの制御データをさらに含んでいてもよい。このように、本発明の一部の態様は、透かしデータの多層埋込みを支援する。すなわち、
Ｖ´＝Ｖ＋ｆ（Ｗ）＝Ｖ´₁＋Ｖ´₂＋ ．．．＋Ｖ´_Q1 （１）
＝Ｖ´_Q1+1＋Ｖ´_Q1+2＋ ．．．＋Ｖ´_Q2 （２）
＝ ．．．
＝Ｖ´_QZ+1＋Ｖ´_QZ+2＋ ．．．＋Ｖ´_Q-1＋Ｖ´_Q （３）
但し、
Ｑ₁＜Ｑ₂＜ ．．．＜Ｑ_z＜Ｑ （４）
さらに、
Ｖ´_q＝Ｖ_q＋ｆ_q（Ｗ_q） （５）
但し、

ｆ_qは、既知の透かし関数、または本明細書に記載の本発明の透かし関数態様の１つ以上または全てからなる関数である。

一例として有用な単純な一態様では、透かしは、２つのセグメントＷ₁およびＷ₂に分割される。１０個のショットを有するビデオＶは、まず、時間領域で、ショットに基づくセグメント化によって１０個のセグメントに分割される。次に、Ｖは、ショット２、ショット４、ショット５など、選択されたショットについて周波数領域に分割される。これらショットのそれぞれは、低周波数帯セグメント、中間周波数帯セグメントおよび高周波数帯セグメントにさらに分割され、Ｑ₁＝１０、Ｑ₂−Ｑ₁＝９、Ｑ＝１０＋９＝１９、ｑ∈［１，１９］、ｐ∈［１，２］、ｊ∈［１，２］およびＪ＜２となる。この単純な例は、２層のみに限定されているが、本発明の他の態様ではこのように限定される必要がないことは勿論である。

様々な態様において、図１に示すように、ディジタルビデオストリームに透かしを多層に埋め込む装置１０は、会場識別器１２と、日時クロック１４を備えている。会場識別器１２は、例えば、２０ないし２４個のビットからなる上映会場の固定の識別子、または映写装置の一意の通し番号である。（大部分の態様では、会場識別器１２は、装置の操作者や所有者が容易に変更するべきではない。）日時クロック１４は、例えば、１５ビットの日付を生成するカレンダーと、その映画の上映を特定するのに十分な精度の時刻データ、例えば、５ないし１１ビットのデータである。

会場識別器１２が出力する会場識別子と、日時クロック１４が出力する日時は、透かしアセンブラ１６によって透かしストリングに結合される。装置１０の一部の態様では、映画の上映中に時刻表示を変更することが可能であるが、透かしアセンブラ１６の他の態様では、多くの場合、映画の不正コピーが実行された会場と上映時刻とを特定するには、映画開始時刻と会場場所とで十分であるので、映画開始時に日時クロックが出力する時刻のみを利用する。透かしアセンブラ１６は、上述したように、集められた透かしＷをＰ個のセグメントで出力する。最終セグメントＷ_Pが出力されると、出力は、最初のセグメントＷ₁から再開する。上述のセグメントの関数ｆ_q（Ｗ_q）が求められ、透かしセグメントバッファ１８に格納される。そして、ディジタル映画の電子ディジタル表現の一部が少なくとも１つのディジタル表現領域で一時的に格納される。

透かしセグメントが出力および格納されているときに、ディジタルビデオソース２０がビデオセグメント化バッファ２２にセグメントＶ_iを出力するもう一方の並行処理が発生する。時間的透かし埋込みモジュール２４は、ビデオセグメント化バッファ２２によって伝送された現在のディジタルビデオセグメントに、現在の透かしセグメント１８を埋め込む。その後、透かし付きセグメントは、例えば、ディジタルビデオが非圧縮フォーマットの場合には逆量子化変換モジュール２６による、ディジタルビデオが非圧縮フォーマットの場合には周波数変換モジュール２６によるコーディングによって変換され、周波数領域セグメントバッファ２８に格納される。一方、続く変換２６および３６の後に、周波数透かし埋込みモジュール３４および空間的透かし埋込みモジュール４４は、現在のディジタルビデオセグメントに、セグメントバッファ１８が伝送する（場合によっては、遅延３０を経た）該当する透かしセグメントを埋め込む。一部の態様では、遅延３０は、埋込みモジュール２４と同じ透かしセグメント（または、それに対応する１つ以上のセグメントからなる関数）が埋込みモジュール３４および４４でディジタルビデオの異なる層の対応するセグメントに確実に埋め込まれるように実行される。しかしながら、この対応関係は、本発明の態様が首尾よく実行されるのに絶対に必要とされるものではない。それぞれ異なる透かし埋込みアルゴリズムを用いて、ディジタルビデオのそれぞれ異なるセグメントの異なるフレームに異なる透かしセグメント埋込みを実行してもよい。例えば、周波数領域のビデオフレーム列を、低周波数サブバンド、中間周波数サブバンドおよび高周波数サブバンドに分割することができる。最高のロバスト性を要件とする透かしセグメントを、例えば、相対的に透かし強度の低いスペクトル拡散透かしアルゴリズムを用いて、中間周波数サブバンドセグメントに埋め込んでもよい。よりロバスト性要件が強くない透かしセグメントを、例えば、有効ビット変調といった別のアルゴリズムを用いて、高周波数サブバンドのセグメントに埋め込んでもよい。透かしセグメントの一部または全部をモジュール３４および４４で埋め込むには、時間領域、空間領域および周波数領域の人間視覚モデル４２が使用される。埋込みモジュール３４での埋込みの後、周波数領域の透かし付きビデオがモジュール３６で変換され、ビデオデータ列が、モジュール４４で透かしの残りの部分を空間領域に埋め込むために空間領域に変換される。さらに、透かし付きビデオは、劇場ディジタルディスプレイ３８に表示するために使用される。一時的格納により、ディジタル映画の一部は、埋込み発生と同時に上映される。言い換えると、埋込みは、リアルタイム、すなわち、「上映時に」発生すると見なすことができる。

図１は、２層埋込みの態様を例示したものであるが、本発明の他の態様では、単層埋込みや３つ以上の領域での多層埋込みを採用したり、図１に示すものと異なる埋込み領域が採用されることも理解されるべきである。

二次元（２Ｄ）透かし挿入を用いた従来のビデオ電子透かし技術を、本発明の一部の態様において、適切な透かし関数ｆ_qとして使用することができる。ビデオの各フレームは個別の画像として扱われ、各フレームには、静止画像用に構成された公知の画像透かし技術を用いて、透かしが埋め込まれる。透かしの「強度」（すなわち、画像の変化量または変化強度）は、ＪＰＥＧ（高損失圧縮化２４ビットカラー画像記憶フォーマット用ジョイントフォトグラフィックエキスパートグループ規格）圧縮アルゴリズムによるＪＮＤ（最小弁別値）モデルなどの人間視覚モデルによって制御される。したがって、画像の場合、Ｉをホスト（すなわち、入力）画像、Ｉ´を透かし付き（すなわち、出力）画像、Ｗを透かし、αをＪＮＤから発生したスカラー量とするとき、
Ｉ´＝Ｉ＋αＷ （７）
となる。

本発明の一部の態様では、ビデオ入力ｆ（ｔ）に作用して、以下の等式によって記述される従来の２Ｄ透かし挿入技術を用いてビデオ出力ｆ´（ｔ）に透かしＷを挿入する。
ｆ´（ｔ）＝ｆ（ｔ）＋αＷ （８）

ここで、ビデオ入力ｆ（ｔ）の各フレームは、透かし強度を制御する画像ベースの人間視覚モデルＪＮＤ（ｘ，ｙ）_f(t)を生成するために使用され、ＪＮＤ（ｘ，ｙ）_f(t)はαを生じる。すなわち、
ｆ´（ｔ）＝ｆ（ｔ）＋α（ＪＮＤ（ｘ，ｙ）_f(t)）Ｗ （９）

本発明の一部の態様は、従来の２Ｄ透かし挿入技術の改良型として、新規の三次元（３Ｄ）透かし技術を使用する。具体的には、ビデオ透かしのロバスト性を向上させるため、ＪＮＤ（ｘ，ｙ）とＶＤ（ｔ）との関数である三次元（３Ｄ）ビデオ人間モデルＨＶＭ（ｘ，ｙ，ｔ）を使用する。Ｔを時間的人間視覚モデルの持続期間とし、現在のビデオフレームがｔ番目のフレームである、すなわち、時刻ｔにあると仮定する。本発明の一部の態様では、Ｔの総計である［ｔ−βＴ，ｔ＋（１−β）Ｔ］フレームを使用して、現在のビデオフレームの維持可能な歪み量を導出する。Ｔは、発見的関数を用いて定義される人間の視覚の時間的コントラスト感度関数や、一連の試験データの統計的な解析、またこれらの組合せから導出することができる。そこで、
ｔ´＝｛ｔ−βＴ，．．．，ｔ，．．．，ｔ＋（１−β）Ｔ｝ （１０）
のとき、
ＶＤ（ｔ）＝ｇ（ｆ（ｔ´））＝ｇ（ｆ（ｔ−βＴ），．．．，ｆ（ｔ），．．．，ｆ（ｔ＋（１−β）Ｔ）） （１１）
とする。但し、ｆ（ｔ）およびｇ（ｔ）は、例えば、一連の試験データまたはその一部の組合せを統計的に解析することによって導出された発見的関数を用いて定義される人間の視覚の時間的コントラスト感度関数から導出される関数、βは、Ｔ、ｆ（ｔ）およびｇ（ｔ）とともに導出されるスカラー量である。ＶＤ（ｔ）＞δの場合にＶＭ（ｔ）＝１と記述され、それ以外ではＶＭ（ｔ）＝ＶＤ（ｔ）と記述される関数を定義すると、以下に記述される関係を用いてビデオに透かしＷが付与される。

ｆ´（ｔ）＝ｆ（ｔ）＋（γ（ｔ）×（１−ＶＭ（ｔ）））×（α×ＪＮＤ（ｘ，ｙ）_f(t)）×Ｗ （１２）
但し、αおよびδはユーザが選択可能なパラメータ、α≦１は電子透かしの重みに相当し、γ（ｔ）はユーザが選択可能なｔの関数である。

本発明の一部の態様では、Ｓ_iがｉ番目のシーンを指すとき、シーン変動関数Ｆ（Ｗ，Ｓ_i）を用いて透かしの耐性をさらに向上させる。したがって、以下に記述される関係を利用してビデオに透かしＷが付与される。

ｆ´（ｔ）＝ｆ（ｔ）＋（γ（ｔ）×（１−ＶＭ（ｔ）））×（α×ＪＮＤ（ｘ，ｙ）_f(t)）×Ｆ（Ｗ，Ｓ_i） （１３）

適切なαおよびγ（ｔ）を選択するなど、様々な用途の様々な要件に最良適合するように等式１２および等式１３を変形可能であることは明らかである。例えば、人間視覚システムの時間的コントラスト感度は、他の多くのパラメータのみならず、動きベクトル速度およびショット遷移周波数の関数である。例えば、３つの連続ショットShot1、Shot2およびShot3の中間ショットShot2の持続期間が、２フレーム長など、非常に短い場合、人間視覚システムは、Shot2の期間中に高周波数領域に導入されるアーティファクトを容易に検出する能力を有していない。この場合、透かしは、Shot2の期間中に、空間領域および周波数領域に高い強度で埋め込むことができる。したがって、図２に示すように、Shot2の期間中にγ（ｔ）を１に設定することが可能であり、すなわち、ｔ∈Shot2のとき、γ（ｔ）＝１であり、おそらく、αを１より高く設定することができる。これらの設定により、ビデオに可視のアーティファクトを導入することなく、様々な種類の大きな歪みに対する高い透かしロバスト性が導入される。Shot2が長いショットの場合は、図３に示すような関数γ（ｔ）がより適切である。この場合、表示周波数が非常に低い場合、例えば、０．１フレーム毎秒のとき、電子透かしの強度をゆっくりと上昇させた後に低下させることにより、Shot2のフレーム間の視覚アーティファクトがゆっくりと増加し、減少することになる。しかしながら、通常の表示周波数（約２４ないし４８フレーム毎秒）が使用される場合は、可視のアーティファクトを全く観察することができない。単純化した態様では、従来技術のスペクトル拡散透かしアルゴリズムＦｓｓから、ＶＤ（ｔ）＝０、定数α、現在のフレームｔの空間領域（画像ベースの）ＪＮＤ関数ＪＮＤ（ｘ，ｙ）を利用して、フレーム毎に透かしＷを埋め込むことができる。上記の両方の場合、
ｆ´（ｔ）＝ｆ（ｔ）＋γ（ｔ）×α×ＪＮＤ（ｘ，ｙ）_t×Ｆｓｓ（Ｗ，Ｓ_i）
（１４）
となる。

したがって、図１に示すように、図面に示す態様など、装置態様１０に利用されるモジュール２４などの時間的透かし埋込みモジュールは、等式１２に記述された関係または等式１３に記述された関係を利用して、ビデオデータＶに透かしＷを埋め込むことができる。

図４に示すように、本発明の一部の態様では、時間変調により、ビデオデータに透かしＷが埋め込まれる。時間変調は、ビデオ信号の時間領域表現で埋込みが発生するという点で１つの時間的透かし埋込み型であるが、時間変調は、セグメントの持続期間が適用される電子透かしに応じて変化するという点で他の時間的埋込み型と異なっている。ビデオデータストリーム４１は、予め選択された基準に基づいて、時間軸に沿って、それぞれ対応する持続期間Ｔｓ₁，Ｔｓ₂，．．．,Ｔｓ_Nを有するＮ個のセグメントＳ₁，Ｓ₂，．．．，Ｓ_Nに分割される。但し、Ｔｓ＝Ｔｓ₁＋Ｔｓ₂＋．．．＋Ｔｓ_Nのとき、Ｖｓ_q＝Ｖｔ_Si＋Ｖｔ_Sjであり、Ｓｑ∈［１，Ｑ］、Ｓ_iおよびＳ_j∈［１，Ｓ_N］である。例えば、シーンに基づく分割により、ビデオストリーム４１がショット境界４３でセグメント化され、パイプライン型のセグメント化バッファ２２が常に変調用の１個のショットまたはセグメントＳ₁，Ｓ₂，．．．，Ｓ_Nを格納することになる。透かし付与後は、透かし付きビデオストリーム４１´のセグメントＳ´₁，Ｓ´₂，．．．，Ｓ´_Nの一部の持続期間が、付与される透かしに応じて、原ビデオストリーム４１の透かしのないセグメントＳ₁，Ｓ₂，．．．，Ｓ_Nと相違する。

時間的透かし埋込みモジュール２４において透かしビットｗを埋め込むため、Ｔｓ_iおよびＴｓ_jは以下のように変更される。鍵ｋについて

とする。Ｔｓ_i＜Δおよびｗ＝１のとき、Ｔ´ｓ_i＝Ｔｓ_i＋ΔＴ，Ｔ´ｓ_j＝Ｔｓ_j−ΔＴであり、Ｔ´ｓ_i≧Δとなる。一方、Ｔｓ_i＞Δおよびｗ＝０のとき、Ｔ´ｓ_i＝Ｔｓ_i−Δｔ，Ｔ´ｓ_j＝Ｔｓ_j＋Δｔであり、Ｔ´ｓ_i≦Δとなる。これにより、Ｖ´ｓ_q＝Ｖｓ_q＋ｗが生成される。この例では、ショット２個（持続期間）に基づく変調を利用して１個のビットを埋め込んでいるが、ショット多数個の変調を利用することによって１個のビットを埋め込んだり、２個以上のショット（持続期間）の変調を利用することによって多数個のビットを埋め込むことも可能であることは勿論である。

毎秒ｔｓ個のフレームというビデオフレームレートで、Ｍ＝ｔｓ・Ｔと定義すると、

およびｔ＝Δ−Ｔｓ_iとなる。したがって、ｗ＝１の透かしビットを埋め込むため、

および

のとき、
ｆ_m＝ｆ_m-ts・_t （１９）
であり、

のとき、

であり、

のとき、

であるとする。

本発明の一部の態様では、パッチ位置を利用して空間領域にビットを埋め込む。三次元（３Ｄ）埋込みの場合、透かしビットは、映画のビデオストリームの複数の画像フレームに埋め込まれる。基準点によって定義された距離を利用してパッチに透かしを埋め込む公知の方法の１つは、上記に引用され、盛り込まれたグルール(Gruhl)およびベンダー(Bender)による「パッチワーク」透かし埋込みアルゴリズムである。

例えば、図５に示す画像またはビデオフレーム４５の簡略化された表現について考察する。図６に示すように、「パッチワーク」透かし埋込みモジュールは、１個の原画素４６（この例では、左上隅の画素）と、透かしビット埋込み用の複数のパッチ位置Ａ１、Ａ２、Ａ３およびＡ４を選択する。図６を保有し、原画素４６の位置とパッチ位置Ａ１、Ａ２、Ａ３およびＡ４が分かっている透かし復号化モジュールは、画像またはビデオフレーム４５から埋め込まれた透かしを取り出すことができる。

しかしながら、画像またはビデオフレーム４５が回転すると、原画素４６の位置が変化し、復号化モジュールが混同を起こすことになる。例えば、図６に示すように、原画素４６が画像またはビデオフレーム４５の左上隅に位置すると仮定する。原画素４６が時計回りに９０度回転させられると、図７に示すように、画像またはビデオフレーム４５の右上隅に位置する。従来のパッチワーク復号器であれば、画素４６´を図７の左上隅の位置にあると想定し、パッチ位置Ａ１´、Ａ２´、Ａ３´およびＡ４´を透かし埋込み用位置であると想定することになる。このように想定すれば、復号化に失敗することになる。画像が回転、伸長、圧縮などによって幾何学的に変更された場合、原画素４６は移動しているか、画面から外れていることさえある。したがって、透かしの位置も、幾何学的変更の前に設定されていた原画素に対して変化している。さらに、画像が縮尺変化している場合は、原画素が変化していなくても、透かしの位置が変化する。

本発明の一部の態様では、ビデオの歪みに対するロバスト性を高めるため、質量モーメントを利用してビデオ画像内の基準点を決定する。例えば、本発明の一部の態様では、基準点として質量モーメントを使用し、「パッチワーク」透かし埋込みアルゴリズムの距離を定義する。質量モーメントを用いて基準点および／または形状寸法を決定するよう変更可能な他の透かしアルゴリズムも、本発明の態様に適している。

質量モーメントを使用して、対象に基づく相対単位長さによる距離を定義する。基点は画像内の対象を基準にして設定されるが、上記対象は、必ずしも画像の境界領域内にある必要はない。したがって、画像の境界領域の複数の画素が画面から除去されても、基点は変化しない。さらに、距離の単位長さは、固定ではなく、相対的である。したがって、画像の縮尺が変化すると、それに応じて単位長さの縮尺も変化するので、電子透かしを不変に突き止めることができる。

ｄＡ＝ｄｘｄｙとし、ρ（ａ_i）を画素ａ_iの特定の色の相対的強度とし、γ_iを画像の基点と画素ａ_iとの間の距離とする。ここで、本発明の一部の態様では、以下に記述される関係を利用して新しい基点と、二次および三次モーメントを求める。

かつ

したがって、選択された埋込み用パッチの重心と相対長さおよび幅が、等式２４、２５および２６によって求められたモーメントを利用して求められる。また、本発明の一部の態様では、画像またはビデオフレーム４５に基準対象を鍵の形で埋め込んでメディアの物理的基点を形成し、安全性およびロバスト性のレベルをさらに高める。

映画の特定の色の相対的強度は、その映画の時間領域、空間領域および周波数領域と同様に、ディジタル表現領域の１種類であると見なされる。各色、または色を表す各直交符号化は、映画の異なったディジタル表現領域であると見なされる。透かし埋込みは、各色、色を表す各直交符号化など、映画のそれぞれ異なるディジタル表現領域のそれぞれにおいて個別に行うことができる。

図８に、透かし埋込み用にパッチＡ１、Ａ２、Ａ３およびＡ４が選択された画像５０を示す。パッチ位置とパッチ数の選択は、標準的な方法で行われ、「パッチワーク」アルゴリズムなどの公知のアルゴリズムに従ってもよい。しかしながら、本発明の一部の態様では、パッチＡ１、Ａ２、Ａ３およびＡ４の位置と形状は、図９に示す方法の一態様を用いて決定される。

具体的には、図８および図９に示すように、秘密鍵Ｋを用いて無歪みの原画像４５内の基準対象５０を決定する（１００）。その後、例えば、等式２４の形で記述された関係を利用して基準対象の重心を求める（１０２）。さらに、例えば、等式２５および２６の形で記述された関係を利用して二次および三次モーメントを求める（１０４）。さらに、秘密鍵Ｋと原画像４５を用いて、パッチ形状Ａ１、Ａ２、Ａ３およびＡ４を求め（１０６）、前記求められた一次、二次および三次モーメントに従って、パッチＡ１、Ａ２、Ａ３およびＡ４を生成する（すなわち、位置、大きさ、形状などのパッチのパラメータを求める）（１０８）。さらに、生成されたパッチＡ１、Ａ２、Ａ３およびＡ４を利用して、透かしＷを埋め込む（１１０）。

秘密鍵Ｋを知っている装置によって、復号化を実行することが可能である。すなわち、図１０に示すように、秘密鍵Ｋと透かし付き画像とを利用して、基準対象を算出する（１１２）。その後、例えば、等式２４の形で記述された関係を利用して、基準対象の重心を求める（１１４）。さらに、等式２５および２６の形で記述された関係を利用して、二次および三次モーメントを求める（１１６）。さらに、秘密鍵Ｋと透かし付き画像とを利用してパッチ形状を求め（１１８）、このパッチ形状を、求められた重心と二次および三次モーメントに従って修正する（１２０）。例えば、２ビットの鍵Ｋを用いて各パッチ形状を求める一部の態様では、０１を用いて方形を定義し、００を用いて三角形を定義し、１０を用いて円を定義し、１１を用いて六角形を定義する。（いかなる態様のマッピングも任意に設定可能であり、この例で使用したものと同じ形状や同じ形状の数を用いる必要はない。）Ａ１、Ａ２、Ａ３、Ａ４等のパッチの位置と形状が求められると、透かし付き画像から電子透かしが復号化される（１２２）。

一部の態様では、秘密鍵Ｋが安全な通信路を介して復号器に送信される。例えば、コンテンツの所有者が、秘密鍵Ｋを保有し、必要に応じてそれを使用して、侵害されたとされている映画のコピーを調査してもよい。一部の態様では、コンテンツ所有者の機械にのみ復号器が実装され、その装置または他の装置に暗号化された形で鍵Ｋが格納されていてもよい。コンテンツ所有者が復号化の時点で鍵を使用可能にしてもよい。一部の態様では、秘密鍵Ｋが、基準対象、基準対象の発見方法等の情報、および／または他の情報を含んでいる。

図９および図１０に示す方法は、本発明の一部の態様において実施されるように、複数の映画や動画に容易に拡張して適用させることができる。ディジタル式に配布される映画は、映画の画像に約５０ビットの透かしを「上映時」に埋め込む、図９に示す埋込み処理の態様を実行する。３Ｄ埋込み技術（二つの次元は画像の画素の空間的寸法であり、第３の次元は時間である）を利用する本発明の多くの態様では、５０ビットの透かし全てを埋め込むのに２個以上の画像フレームを利用する（すなわち、２個以上の画像フレームに５０ビットの透かしが配分される）。したがって、対応する復号器の態様では、少なくとも対応する数の画像フレームを解析することにより、埋め込まれた透かしを抽出する。これら５０ビットには、映画の個別の上映日時を特定するビットのみならず、映画が上映される劇場の場所を表す一意の識別番号や、映画を上映するのに使用される装置の一意の通し番号が含まれていてもよい。上映中の映画が、例えば客や映写機の操作者が映画館内に持ち込んだビデオカメラで不正に（あるいはそうでなくても）録画されると、その映画には、解像度の損失、色移動、回転（例えば、カメラが映写スクリーンと同じ角度で保持されないことによる）、縮尺変化（例えば、録画された映画がビデオレコーダのフレーム全体を埋めていないか、レコーダのフレームサイズに対して大きすぎる）、非線形歪み（例えば、ビデオカメラの視野が平坦でない、映画のスクリーンがビデオカメラの角度から見える、および／またはビデオカメラが映画スクリーンの焦点と完全に合っていない）など、なんらかの歪みが発生する可能性がある。しかしながら、図１０に示す方法を利用する様々な透かし復号化の態様はこれらの歪みに対する耐性があり、不正に録画されたビデオを検査することで、透かしを即座に求めることができる。（時間変調成分が解像度損失と色移動に対する耐性をもたらす。）不正に録画されたビデオがアナログ形式の場合は、復号器が復号化の前にディジタル化工程を実行する。

図９に示す方法は、他の透かし付与態様に対して一般化することができる。例えば、図８および図１１に示すように、原画像４５から、基準対象を求め（１２４）、その重心を求め（１２６）、そして、二次および三次モーメントを求める（１２８）。求められた重心およびモーメントと原画像とを用いて、透かしの埋込み位置と強度を選択し（１３０）、選択された位置と強度で透かしを埋め込む（１３２）。

パッチ形状の決定とパッチの決定が透かし位置の決定に一般化され、透かしの位置から透かしが復号化される以外は、図１０と同様にして復号化が実行される。具体的には、図１２に示すように、透かし付き画像から基準対象が求められる（１３４）。さらに、基準対象の重心が求められ（１３６）、さらに、二次および三次モーメントが求められる（１３８）。この情報と透かし付き画像とから、透かし埋込み位置が求められ（１４０）、透かしが復号化される（１４２）。

また、この復号化処理は、映画のビデオフレーム内の基準対象の位置を求めること、基準対象の重心、二次モーメントおよび三次モーメントを求めること、基準対象の位置、その重心、二次モーメントおよび三次モーメントに従って調整された距離を用いて、映画の距離で分かる透かし位置を突き止めること、および上記調整された距離を用いて突き止められた透かし位置にある透かしを復号化することとしても説明することができる。

本発明の様々な態様において対応可能な歪みの種類のいくつかの例を図１３、図１４、図１５および図１６に示す。

図１３に示すように、本発明の様々な態様では、基点５０が、基準方向５２と同様に、画像またはビデオフレーム４５内の対象を基準にして突き止められるので、画像４５の回転歪み（この例では、図８に対して時計回りで９０度）によって、パッチＡ１、Ａ２、Ａ３およびＡ４の位置が混同されることはない。したがって、重心が調整された座標系のパッチＡ１、Ａ２、Ａ３およびＡ４の位置は、回転変換に対して不変である。

図１４では、画像またはビデオフレーム５４が反転されて（５６）、反転画像または反転ビデオフレーム５４´が生成されている。本発明の様々な態様では、基点５０が、基準方向Ｒｘ→およびＲｙ→と同様に、画像５４内の対象を基準として突き止められるので、この変換によってパッチＡ１、Ａ２、Ａ３またはＡ４の位置が混同されることはない。したがって、重心が調整された座標系のパッチＡ１、Ａ２、Ａ３およびＡ４の位置は、回転変換に対して不変である。基準方向は、上記のモーメントを用いて求められる。

図１５では、画像またはビデオフレーム５６が、基準方向Ｒｙ→に沿って寸法を縮小させる歪み５７にかけられている。この歪みにより、画像５６´内のパッチＡ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７およびＡ８の形状が歪んでいる。しかしながら、重心が調整された座標系がこの変換に対して不変であるので、本発明の様々な態様では、復号化が正常に達成される。

図１６では、画像またはビデオフレーム５８が、基準方向Ｒｙ→に沿って寸法を縮小させる歪み５９にかけられている。この歪みにより、画像５８´内のパッチＡ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７およびＡ８のサイズが予想よりも小さくなっている。しかしながら、重心が調整された座標系がこの変換に対して不変であるので、本発明の様々な態様では、復号化が正常に達成される。

本発明の一部の態様は、音声視覚相互透かし化を含んでいる。具体的に、ディジタル映画は、通常、視覚チャンネルと音声チャンネルの両方を備えている。視覚チャンネルと音声チャンネルの両方を使用し、ロバスト性と透かし埋込み能との間のトレードオフに従って透かしを埋め込むことができる。例えば、本発明の一部の態様では、図４に示す時間変調を用いて、音声チャンネルとビデオチャンネルの両方に透かしが埋め込まれる。一部の態様では、音声チャンネルとビデオチャンネルに同期的に部分透かしが埋め込まれたり、音声チャンネルとビデオチャンネルの両方に同期マークを埋め込むことによって幾何学的歪みに対してロバストな透かしが生成されたりする。

一部の態様では、図１および図１７に示すように、違法な配布を目的とする両トラックの改変を防止するため、視覚ストリーム６０のデータのディジタル署名６４を生成するとともに音声ストリーム６２にこの署名を埋め込ませるか、または音声ストリーム６２のデータのディジタル署名６６を生成するとともにビデオストリーム６０にこの署名を埋め込ませるか、あるいはその両方を行うように、時間的埋込みブロック２４および／または周波数領域埋込みブロック３４（および／またはさらに別の領域埋込みブロック）が構成される。これにより、透かし付きディジタル映画の音声チャンネルおよび／またはビデオチャンネルの真正性の得られるデータが埋め込まれる。一部の態様では、一方のストリームの複数のデータブロックを利用し、図１７に示すように、わずかに遅延して他方のストリームに埋め込まれる署名を求めることができる。パイプライン処理を利用すれば、この遅延を低減または除去することができる。一部の態様では、チェックサム生成器となるような連続するデータストリームを利用することにより、署名が迅速な埋込みに対応することができる。適切なディジタル署名生成器に関する実施の詳細は、本明細書にそのまま引用の形で盛り込まれる、「多層データ隠蔽方法および装置(Methods and apparatus for multi-layer data hiding)」の名称で２００２年９月２４日に交付されたユー(Yu)他の米国特許第６，４５６，７２６号に見出すことができる。

高データ隠蔽能力を有する映画の場合（例えば、「最小弁別値」関数により、映画の１フレームあたりに多数のビットを格納させることができる）、本発明の一部の態様では、様々な種類の処理雑音および歪みに対するロバスト性を向上させる様々な埋込み方法を利用して、それぞれ異なる領域でホストビデオストリームのそれぞれ異なるセグメントに電子透かしが多数回埋め込まれる。

ディジタル映画は圧縮状態で配布および保存されることがあり、本発明の透かし付与方法は映画の再生中に実行されるので、本発明の多くの態様では、リアルタイムに実行可能な埋込み処理が利用される。

一部のリアルタイム実行可能埋込み処理では、バッファを利用して圧縮済みの映画データを予め記憶させる。例えば、１０個の画像からなる２つの群または２個のショット（すなわち、１個のカメラで中断なく撮影された映画またはテレビ番組の２個のシーケンス）が、再生直前に、バッファに記憶される。その後、２番目の画像群または２番目のショットが処理され、それに対応する透かしが、最初の画像群または先のショットの再生中に埋め込まれる。本発明の少なくとも１つの態様においてそうであるように、３個以上のバッファを使用すること、あるいはサーキュラーバッファリングシステムを利用することも可能である。例えば、本発明の一部の態様では、図１８に示すように、図１の周波数領域透かし埋込みモジュール４４とディジタル劇場ディスプレイ４０との間に、さらにバッファ３７が設けられている。

本発明の一部の態様では、リアルタイム埋込みを実施するため、透かしが圧縮データに直接埋め込まれる。例えば、適切な従来の周波数領域埋込み技術を利用して、周波数領域にデータが埋め込まれる。別の例では、量子化指数にデータが埋め込まれる。そのような多くの態様では、画像復元が、復号化（例えば、ホフマン復号化）と、逆量子化と、周波数−空間変換とを含んでいる。一部の態様で利用される高速埋込み技術の１つでは、復号化された量子化指数が変調される。復号化後、各指数が算出される。指数の番号は、変更されるのが望ましい（すなわち、最小弁別値、ＪＮＤ関数などの人間が知覚的に弁別可能な閾値よりも小さい）場合、量子化を１段階以上変更することによって単一ビット１または０が埋め込まれるよう変調される。奇数−偶数変更アルゴリズムを利用する態様では、量子化ステップの１つは最大変更量である。したがって、「１」を埋め込むため、量子化の段階数が偶数の場合に、量子化を変更して１段階増加または減少させるようにする。現在の指数の直前または直後の指数を検査することによって、減少ステップまたは増加ステップが、現在の指数とその隣接値との間の差分によって発生する可能性のあるアーティファクトを最小限にするように適応される。モジュロ透かしアルゴリズムを使用する態様では、指数数列を用いて、指数数列の組合せが所望の値になる（例えば、ルックアップテーブルを用いて、全指数の和が偶数になる、あるいは、所定の数より大きくかつ別の所定の数より小さくなる）ように１個以上の指数を変更することによって、単一ビットが埋め込まれる。

さらに、本発明の一部の態様は、ディジタル映画に電子透かしを埋め込む方法であって、ディジタル映画の電子ディジタル表現の一部を少なくとも１つのディジタル表現領域で一時的に格納することと、上記映画のディジタル表現の（視覚データチャンネル、音声データチャンネル、文字データチャンネルなど）少なくとも２つのチャンネルに電子透かし全体を少なくとも１回埋め込むことによって、上記映画の少なくとも１つの格納されたディジタル表現領域に電子透かしを埋め込むことと、（時刻、場所など）主透かしデータと（同期データなど）補助（または制御用）透かしデータを含む上記透かしストリームを部分透かしビットストリーム（透かしセグメント）に分割することと、各部分透かしビットストリームを上記ディジタル映画のそれぞれ異なるセグメントに埋め込むことと、少なくとも１つの時間的人間視覚モデルを用いて、上記部分透かしビットストリームの少なくとも１つを少なくとも１つのディジタル表現領域に埋め込むことと、少なくとも２つの異なる透かしアルゴリズムまたはスキーマを用いて、上記部分透かしビットストリームを埋め込むことと、上記埋込みの発生中に上記ディジタル映画の一部を上映することを備えている。

したがって、本発明の態様が、ディジタル劇場での上映時に録画され不正に複製される映画について予想される様々な種類の歪みに対してロバストで耐性のある透かし埋込みを提供することは明らかである。そのような録画された映画は、押収されると、導入されている歪みに関らず解析して、映画の正当性および／またはその録画が実行された場所および上映時刻を求めることができる。これらの解析は、録画機器に起因する歪みなのか、ディジタル−アナログ変換に起因する歪みなのか、アナログ−ディジタル変換に起因する歪みであるのかに関係なく、実行することができる。

さらに、本明細書に開示された様々な透かし埋め込み方法を個別にあるいは互いに両立しうる組合せの形で利用することによって歪みに対するロバスト性と耐性をさらに向上できることも理解できるであろう。

本発明の説明は本質的に例示に過ぎず、したがって、本発明の主旨から逸脱しない変形は本発明の範囲内に属するものと意図されている。そのような変形は、本発明の精神および範囲からの逸脱であるとみなすべきではない。

図１は、ディジタル映画の多層透かしを実行する装置および方法の様々な態様を表すブロック図である。 図２は、本発明の一部の態様において、映画の１ショットが非常に短いフレーム列からなる場合に、映画のショット期間中に加えられる透かし重みγ（ｔ）を表すグラフである。 図３は、本発明の一部の態様において、図２の短いショットに対応するショットが図２よりも長いフレーム列からなる場合に、映画のショット期間中に加えられる透かし重みγ（ｔ）を表すグラフである。 図４は、時間変調によって透かしが付与される前と後の分割されたデータストリームを表す。 図５は、従来の「パッチワーク」符号器による透かし付与対象の簡単な画像を表す。 図６は、従来の「パッチワーク」符号器の典型的な適用例において使用されるパッチ位置が選択された図５の画像を表す。 図７は、図５に示す画像が９０度回転させられているが、従来の「パッチワーク」復号器がとるパッチ位置を有する画像を表す。 図８は、透かし埋込み用パッチを示す無歪み状態の図を表す。 図９は、透かし埋込み用パッチを形成して使用する本発明の様々な方法を表すフロー図である。 図１０は、図９に示す埋込み方法の態様を利用して埋め込まれた透かしを突き止めて復号化する本発明の様々な方法を表すフロー図である。 図１１は、図９に示すパッチ埋込み以外の方法を一般化した、透かし付与方法を表すフロー図である。 図１２は、図１０に示すパッチ埋込み以外の方法を一般化した、透かし付与方法を表すフロー図である。 図１３は、基準対象が図面内の対象を基準として見出される場合に、画像に９０度の回転歪みを導入した図である。 図１４は、基準方向が図面内の対象を基準にして見出される場合に、画像に反転歪みを導入した図である。 図１５は、透かし埋込み用パッチの位置と形状が対象の重心を基準にして見出される場合に、画像に非線形歪みを導入した図である。 図１６は、透かし埋込み用パッチの位置と形状が対象の重心を基準にして見出される場合に、画像にスケーリング歪みを導入した図である。 図１７は、ディジタル映画の音声ストリームとビデオストリームの間での署名の相互埋込みを表す。 図１８は、透かし付き映画を上映する前に映画のショットを一時的に格納する別のバッファが設けられた変形例を示す図１のブロック図の一部である。

Claims (48)

1. ディジタル映画に透かしを埋め込む方法であって、
   ディジタル映画の電子ディジタル表現の一部を少なくとも１つのディジタル表現領域で一時的に格納することと、
   上記映画の少なくとも１つの格納されたディジタル表現領域に電子透かしを埋め込むことと、
   上記埋込みの発生中に上記ディジタル映画の一部を上映することを備えた方法。
2. 上記透かしを埋め込むことは、ディジタル上映装置または映写機を一意に示すかあるいは劇場の場所を示す透かしを埋め込むことである請求項１記載の方法。
3. 上記透かしを埋め込むことは、劇場の場所を示す透かしを埋め込むことである請求項２記載の方法。
4. 上記透かしを埋め込むことは、上記映画の上映時刻を示す透かしを埋め込むことをさらに備えている請求項２記載の方法。
5. 上記映画の少なくとも１つのディジタル表現領域に透かしを埋め込むことは、上記透かしを上記映画の複数のディジタル表現領域に埋め込むことである請求項４記載の方法。
6. 上記複数のディジタル表現領域は、少なくとも時間領域と周波数領域を含んでいる請求項５記載の方法。
7. 上記映画に透かしを埋め込むことは、上記映画の複数のフレームにわたって上記透かしの一部を埋め込むことをさらに備えている請求項２記載の方法。
8. 上記透かしは、５０ビット以下である請求項７記載の方法。
9. 上記透かしを埋め込むことは、ｆ（ｔ）を上記映画のビデオフレームとするとき、透かしの強度αを制御する画像ベースの人間視覚モデルＪＮＤ（ｘ，ｙ）_f(t)を生成することを備えており、
   透かし付きフレームｆ´（ｔ）は、Ｗを透かし、ｔを時刻とするとき、
   ｆ´（ｔ）＝ｆ（ｔ）＋α（ＪＮＤ（ｘ，ｙ）_f(t)）Ｗ
   と記述される請求項１記載の方法。
10. 上記透かしを埋め込むことは、ｆ（ｔ）を上記映画のビデオフレームとするとき、透かしの強度αを制御する画像ベースの人間視覚モデルＪＮＤ（ｘ，ｙ）_f(t)を生成することを備えており、
    透かし付きフレームｆ´（ｔ）は、ｔを時刻、Ｗを透かし、γ（ｔ）をｔの関数、αを透かしの重みに対応するパラメータとするとき、
    ｆ´（ｔ）＝ｆ（ｔ）＋（（γ（ｔ）×（１−ＶＭ（ｔ））））×（α×（ＪＮＤ（ｘ，ｙ）_f(t)）×（Ｗ）
    と記述され、
    δをパラメータ、ＶＤ（ｔ）を三次元ビデオ人間モデルとすると、ＶＤ（ｔ）＞δの場合はＶＭ（ｔ）＝１であり、それ以外の場合はＶＭ（ｔ）＝ＶＤ（ｔ）である請求項１記載の方法。
11. 上記透かしを埋め込むことは、ｆ（ｔ）を上記映画のビデオフレームとするとき、透かしの強度αを制御する画像ベースの人間視覚モデルＪＮＤ（ｘ，ｙ）_f(t)を生成することを備えており、
    透かし付きフレームｆ´（ｔ）は、Ｗを透かし、γ（ｔ）をｔの関数、ＦｓＳ（Ｗ，Ｓ_i）をフレーム毎に透かしＷを埋め込むスペクトル拡散透かしアルゴリズム、Ｓ_iをｉ番目のシーン、αをパラメータとするとき、
    ｆ´（ｔ）＝ｆ（ｔ）＋γ（ｔ）×α×ＪＮＤ（ｘ，ｙ）_t×ＦｓＳ（Ｗ，Ｓ_i）
    と記述される請求項１記載の方法。
12. 上記透かしを埋め込むことは、上記映画のビデオデータストリームを、予め選択された基準に基づいて、それぞれ持続期間Ｔｓ₁，Ｔｓ₂，．．．,Ｔｓ_Nを有するＮ個のセグメントＳ₁，Ｓ₂，．．．，Ｓ_Nに分割することと、適用される透かしに応じて上記セグメントの一部の持続期間を変更することを備えている請求項１記載の方法。
13. 質量モーメントを用いて上記映画のビデオ画像内の基準点を求めることと、該求めた基準点を基準とするビデオフレームの位置に透かしを埋め込むことをさらに備えている請求項１記載の方法。
14. 上記質量モーメントを用いて上記映画のビデオ画像内の基準点を求めることは、ｄＡ＝ｄｘｄｙとし、ρ（ａ_i）を画素ａ_iの特定の色の相対的強度とし、γ_iを画像の基点と画素ａ_iとの間の距離とするとき、
    

    

    かつ
    

    

    と記述される関係を利用して、新しい基点と、二次モーメントと、三次モーメントを求めることをさらに備えている請求項１３記載の方法。
15. 上記映画のビデオフレームに鍵または基準対象を埋め込んで物理的な基点を形成することをさらに備えている請求項１３記載の方法。
16. 上記映画のビデオ画像内の基準点を求めることは、基準対象を求めることと、該基準対象の重心を求めることと、上記基準対象の二次モーメントと三次モーメントを求めることをさらに備えており、
    上記求めた基準点を基準とするビデオフレームの位置に透かしを埋め込むことは、上記求めた重心、二次モーメントおよび三次モーメントを用いて１つ以上の透かし埋込み位置と１つ以上の透かし埋込み強度を選択することと、上記選択された位置に上記選択された強度で透かしを埋め込むことをさらに備えている請求項１３記載の方法。
17. 上記透かしを埋め込むことは、上記ディジタル映画の音声とビデオの両方に透かしを埋め込むことである請求項１位記載の方法。
18. 上記透かしを埋め込むことは、上記ディジタル映画の音声ストリームまたはビデオストリームの少なくとも一方のディジタル署名を求めることと、上記ストリームのディジタル署名を上記他方のストリームに埋め込むことを備えている請求項１記載の方法。
19. 上記音声ストリームのディジタル署名は、上記ビデオストリームに埋め込まれ、上記ビデオストリームのディジタル署名は、上記音声ストリームに埋め込まれる請求項１８記載の方法。
20. 上記映画は圧縮されており、上記埋込みは、上記映画の圧縮データに透かしを埋め込むことである請求項１記載の方法。
21. 上記映画の圧縮データに透かしを埋め込むことは、量子化指数を変調させることをさらに備えている請求項２０記載の方法。
22. 透かしが符号化された映画を復号化する方法であって、
    映画のビデオフレーム内の基準対象の位置を求めることと、
    上記基準対象の重心と、二次モーメントと、三次モーメントを求めることと、
    上記基準対象の位置、上記重心、上記二次モーメントおよび上記三次モーメントに従って調整された距離を用いて、映画における距離で分かる透かしの位置を突き止めることと、
    上記調整された距離を用いて突き止められた上記透かしの位置にある透かしを復号化することを備えている方法。
23. 秘密鍵Ｋを用いて、透かしのビットが埋め込まれたパッチ形状を求めることをさらに備えている請求項２２記載の方法。
24. 上記基準対象の重心と、二次モーメントと、三次モーメントを求めることは、ｄＡ＝ｄｘｄｙとし、ρ（ａ_i）を画素ａ_iの特定の色の相対的強度とし、γ_iを画像の基点と画素ａ_iとの間の距離とするとき、
    

    

    かつ
    

    

    と記述される関係を利用して、新しい基点と、二次モーメントと、三次モーメントを求めることをさらに備えている請求項２２記載の方法。
25. ディジタル映画に透かしを埋め込む装置であって、
    ディジタル映画の電子ディジタル表現の一部を少なくとも１つのディジタル表現領域で一時的に格納し、
    上記映画の少なくとも１つの格納されたディジタル表現領域に電子透かしを埋め込み、
    上記埋込みの発生中に上記ディジタル映画の一部を上映するよう構成された装置。
26. 上記装置は、ディジタル上映装置または映写機を一意に示すかあるいは劇場の場所を示す透かしを埋め込むよう構成されている請求項２５記載の装置。
27. 上記装置は、劇場の場所を示す透かしを埋め込むよう構成されている請求項２６記載の装置。
28. 上記装置は、上記映画の上映時刻を示す透かしを埋め込むよう構成されている請求項２６記載の装置。
29. 上記装置は、上記透かしを上記映画の複数のディジタル表現領域に埋め込むよう構成されている請求項２８記載の装置。
30. 上記複数のディジタル表現領域は、少なくとも時間領域と周波数領域を含んでいる請求項２９記載の装置。
31. 上記装置は、上記映画の複数のフレームにわたって上記透かしの一部を埋め込むよう構成されている請求項２６記載の装置。
32. 上記透かしは、５０ビット以下である請求項３１記載の装置。
33. 上記透かしを埋め込むために、上記装置は、ｆ（ｔ）を上記映画のビデオフレームとするとき、透かしの強度αを制御する画像ベースの人間視覚モデルＪＮＤ（ｘ，ｙ）_f(t)を生成するよう構成されており、
    透かし付きフレームｆ´（ｔ）は、Ｗを透かし、ｔを時刻とするとき、
    ｆ´（ｔ）＝ｆ（ｔ）＋α（ＪＮＤ（ｘ，ｙ）_f(t)）Ｗ
    と記述される請求項２５記載の装置。
34. 上記透かしを埋め込むために、上記装置は、ｆ（ｔ）を上記映画のビデオフレームとするとき、透かしの強度αを制御する画像ベースの人間視覚モデルＪＮＤ（ｘ，ｙ）_f(t)を生成するよう構成されており、
    透かし付きフレームｆ´（ｔ）は、ｔを時刻、Ｗを透かし、γ（ｔ）をｔの関数、αを透かしの重みに対応するパラメータとするとき、
    ｆ´（ｔ）＝ｆ（ｔ）＋（（γ（ｔ）×（１−ＶＭ（ｔ））））×（α×（ＪＮＤ（ｘ，ｙ）_f(t)）×（Ｗ）
    と記述され、
    δをパラメータ、ＶＤ（ｔ）を三次元ビデオ人間モデルとすると、ＶＤ（ｔ）＞δの場合はＶＭ（ｔ）＝１であり、それ以外の場合はＶＭ（ｔ）＝ＶＤ（ｔ）である請求項２５記載の装置。
35. 上記透かしを埋め込むために、上記装置は、ｆ（ｔ）を上記映画のビデオフレームとするとき、透かしの強度αを制御する画像ベースの人間視覚モデルＪＮＤ（ｘ，ｙ）_f(t)を生成するよう構成されており、
    透かし付きフレームｆ´（ｔ）は、Ｗを透かし、γ（ｔ）をｔの関数、ＦｓＳ（Ｗ，Ｓ_i）をフレーム毎に透かしＷを埋め込むスペクトル拡散透かしアルゴリズム、Ｓ_iをｉ番目のシーン、αをパラメータとするとき、
    ｆ´（ｔ）＝ｆ（ｔ）＋γ（ｔ）×α×ＪＮＤ（ｘ，ｙ）_t×ＦｓＳ（Ｗ，Ｓ_i）
    と記述される請求項２５記載の装置。
36. 上記透かしを埋め込むために、上記装置は、
    上記映画のビデオデータストリームを、予め選択された基準に基づいて、それぞれ持続期間Ｔｓ₁，Ｔｓ₂，．．．,Ｔｓ_Nを有するＮ個のセグメントＳ₁，Ｓ₂，．．．，Ｓ_Nに分割し、
    適用される透かしに応じて上記セグメントの一部の持続期間を変更するよう構成されている請求項２５記載の装置。
37. 上記装置は、質量モーメントを用いて上記映画のビデオ画像内の基準点を求め、該求めた基準点を基準とするビデオフレームの位置に透かしを埋め込むようさらに構成されている請求項２５記載の装置。
38. 上記質量モーメントを用いて上記映画のビデオ画像内の基準点を求めるために、上記装置は、ｄＡ＝ｄｘｄｙとし、ρ（ａ_i）を画素ａ_iの特定の色の相対的強度とし、γ_iを画像の基点と画素ａ_iとの間の距離とするとき、
    

    

    かつ
    

    

    と記述される関係を利用して、新しい基点と、二次モーメントと、三次モーメントを求めるようさらに構成されている請求項３７記載の装置。
39. 上記装置は、上記映画のビデオフレームに鍵または基準対象を埋め込んで物理的な基点を形成するようさらに構成されている請求項３７記載の装置。
40. 上記映画のビデオ画像内の基準点を求めるため、上記装置は、基準対象を求め、該基準対象の重心を求め、上記基準対象の二次モーメントと三次モーメントを求めるようさらに構成されており、
    上記求めた基準点を基準とするビデオフレームの位置に透かしを埋め込むため、上記装置は、上記求めた重心、二次モーメントおよび三次モーメントを用いて１つ以上の透かし埋込み位置と１つ以上の透かし埋込み強度を選択し、上記選択された位置に上記選択された強度で透かしを埋め込むようさらに構成されている請求項３７記載の装置。
41. 上記装置は、上記ディジタル映画の音声とビデオの両方に透かしを埋め込むよう構成されている請求項２５記載の装置。
42. 上記透かしを埋め込むため、上記装置は、上記ディジタル映画の音声ストリームまたはビデオストリームの少なくとも一方のディジタル署名を求め、上記ストリームのディジタル署名を上記他方のストリームに埋め込むよう構成されている請求項２５記載の装置。
43. 上記音声ストリームのディジタル署名を上記ビデオストリームに埋め込み、上記ビデオストリームのディジタル署名を上記音声ストリームに埋め込むよう構成されている請求項４２記載の装置。
44. 上記映画の圧縮データに透かしを埋め込むよう構成されている請求項２５記載の装置。
45. 上記映画の圧縮データに透かしを埋め込むため、上記装置は、量子化指数を変調させるよう構成されている請求項４４記載の装置。
46. 透かしが符号化された映画を復号化する装置であって、
    映画のビデオフレーム内の基準対象の位置を求め、
    上記基準対象の重心と、二次モーメントと、三次モーメントを求め、
    上記基準対象の位置、上記重心、上記二次モーメントおよび上記三次モーメントに従って調整された距離を用いて、映画における距離で分かる透かしの位置を突き止め、
    上記調整された距離を用いて突き止められた上記透かしの位置にある透かしを復号化するよう構成されている装置。
47. 秘密鍵Ｋを用いて、透かしのビットが埋め込まれたパッチ形状を求めるようさらに構成されている請求項４６記載の装置。
48. 上記基準対象の重心と、二次モーメントと、三次モーメントを求めるため、上記装置は、ｄＡ＝ｄｘｄｙとし、ρ（ａ_i）を画素ａ_iの特定の色の相対的強度とし、γ_iを画像の基点と画素ａ_iとの間の距離とするとき、
    

    

    かつ
    

    

    と記述される関係を利用して、新しい基点と、二次モーメントと、三次モーメントを求めるようさらに構成されている請求項４６記載の装置。

Images