JP4157372B2 - 検出データ処理装置、識別方法及びプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、マテリアルアイテムに埋め込まれたコードワードを検出する検出データ処理装置に関する。幾つかの実施の形態においては、コードワードは、マテリアルアイテムを識別するために使用される。
【０００２】
【従来の技術】
マテリアルアイテムを識別するために、マテリアルアイテムに情報を埋め込む処理は、ウォータマーキング処理と呼ばれる。
【０００３】
識別コードワードは、マテリアルアイテムのバージョンを識別するために、マテリアルアイテムのバージョンに埋め込まれる。すなわち、ウォータマーキング処理により、マテリアルアイテムの特定のバージョンの受信者を特定することができる。ここで、マテリアルアイテムの配信者の意向にそぐわない形でマテリアルアイテムがコピー又は使用された場合、配信者は、識別コードワードからマテリアルアイテムのバージョンを特定し、適切な対策を講ずることができる。
【０００４】
この明細書においては、マテリアルアイテムの供給者、所有者、作成者又は配信者の意向にそぐわない形でコピー又は使用されたマテリアルアイテムを、便宜的にマテリアルのオフェンディングアイテム（offending item）又はオフェンディングマテリアル（offending material）と呼ぶ。
【０００５】
マテリアルは、ビデオマテリアル、オーディオマテリアル、オーディオ／ビデオマテリアル、ソフトウェアプログラム、デジタル文書及びいかなる種類の情報を含むマテリアル（information bearing material）のいずれであってもよい。
【０００６】
ウォータマークの仕組みを成功させるためには、ユーザが識別コードワードを除去することが可能な限り困難である必要がある。また、ユーザが識別コードワードを変更し、マテリアルのオフェンディングアイテムの作成者を他人にみせかけることも可能な限り困難である必要がある。このようなユーザによるコードワードのマスク又はコードワードが他のユーザを示すようにするような改竄は、結託攻撃（collusion attack）と呼ばれる。
【０００７】
【発明が解決しようとする課題】
全てのウォータマークの仕組みにおいて、同じマテリアルアイテムのコピーを受け取ったユーザが結託攻撃に成功することが困難となるようにする必要がある。したがって、ウォータマークの仕組みは、結託攻撃の対象となったウォータマークが埋め込まれているマテリアルアイテムを高い確率で特定できるものである必要がある。この特定は、オフェンディングマテリアルから再生されたコードワードを識別することにより実現される。一方、コードワードが存在するのにコードワードが存在しないと判定してしまう確率（見逃し確率：false negative probability）は、低くなくてはならない。更に、実際には結託攻撃に加担していないユーザを誤って不正行為を行ったユーザであると判定してしまう確率（誤検出確率：false positive probability）は、可能な限り低くしなくてはならない。
【０００８】
米国特許第５６６４０１８号は、マテリアルアイテムからの複数のコピーに所定数の係数を有するコードワードから生成されたデジタルウォータマークを埋め込むウォータマーキング処理を開示している。ウォータマークを埋め込むマテリアルアイテムは、例えば画像である。ここで開示されているウォータマークの埋込を行う装置は、画像を離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴという。）領域に変換する。デジタルウォータマークは、正規分布を有し、ランダムに分布した係数の組から構成されている。ＤＣＴ領域において、それぞれ各ＤＣＴ係数に、対応する各コードワード係数が加算される。これに関連する文献である１９９８年７月２７日、ＭＩＴから発行された、ジェイ・キリアン（J.Kilian）、エフ・ティー・レイトン（F.T.Leighton）著、「結託攻撃に対するデジタルウォータマークの耐性（Resistance of Digital Watermarks to Collusion Attacks）」には、結託攻撃を防ぐためのこのウォータマーキング処理の詳細な数学的解析が開示されている。
【０００９】
【課題を解決するための手段】
本発明は、複数のコードワードからオリジナルマテリアルアイテムのコードワードが埋め込まれたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置を提供する。オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンは、オリジナルマテリアルの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成される。検出データ処理装置は、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、オリジナルマテリアルアイテムのサンプルとを比較し、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、オリジナルマテリアルアイテムのサンプルとが比較閾値以上に相異する場合、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンの比較されたサンプルをオリジナルマテリアルアイテムの対応するサンプルに置換する登録プロセッサを備える。更に、検出データ処理装置は、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンからコードワードを再生し、再生コードワードを生成する復号プロセッサと、再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、一組のコードワード内の各コードワードに対する相関値を算出し、相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える。
【００１０】
本発明は、米国特許第５６６４０１８号に開示されているような、ランダムに分布した係数を有するコードワードを利用した現実的なウォータマークシステムを提供することを目的とする。本発明は、オリジナルマテリアルアイテムには存在しなかったアーテファクト又はこの他の雑音又は劣化が生じているマテリアルアイテムのオフェンディングコピーからウォータマークコードワードを検出するための技術的問題を解決する。例えば、ウォータマークが埋め込まれたマテリアルアイテムが、映画館で上映された映画をカムコーダにより録画して海賊版コピーが作成されることがある。この場合、録画されたオフェンディング画像には、例えばカムコーダと映画のスクリーンとの間を移動する人の頭等の雑音又は障害物によってアーテファクトが導入されることがある。
【００１１】
本発明に基づく検出データ処理装置は、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、オリジナルマテリアルアイテムの対応するサンプルとを比較する。この比較の結果、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、オリジナルマテリアルアイテムのサンプルとが所定量（比較閾値）より大きく相異する場合、比較されたサンプルは、オリジナルマテリアルアイテムの対応するサンプルに置換される。この結果、見逃し確率が低下する。これは、ウォータマークが埋め込まれたオフェンディング画像にアーテファクトが存在すると、その部分のサンプルがオリジナルマテリアルアイテムのサンプルと大きく異なることになるためである。通常、コードワードは、オリジナルマテリアルアイテムのサンプルから、コードワード係数が加算されているオリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンの対応するサンプルを減算することによって再生される。ここで、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンにおいて、オリジナルマテリアルアイテムには存在していない部分から再生される係数は、対応する再生コードワード係数に相関関係を有していない。更に、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンとオリジナルマテリアルアイテムとの差が大きいと、相関値の総和が偏り、コードワードの存在を正しく検出できなくなる可能性が高くなる。そこで、上述のように、比較により所定の閾値を超えたサンプルをオリジナルマテリアルアイテムのサンプルに置換することにより、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンにおけるアーテファクトに起因する偏りを小さくすることができる。
【００１２】
また、本発明は、複数のコードワードからオリジナルマテリアルアイテムのコードワードが埋め込まれたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置を提供する。オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンは、オリジナルマテリアルアイテムの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成される。検出データ処理装置は、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルの平均値及び分散を算出することにより正規化平均値及び正規化分散を算出し、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョン及びオリジナルマテリアルアイテムの各サンプルから正規化平均値を減算し、正規化分散で除算することによって、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルの平均値及び分散をオリジナルアイテムのサンプルの平均値及び分散に対して正規化する登録プロセッサを備える。更に、検出データ処理装置は、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンからコードワードを再生し、再生コードワードを生成する復号プロセッサと、再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、一組のコードワード内の各コードワードに対する相関値を算出し、相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える。
【００１３】
本発明に基づくこの検出データ処理装置は、マテリアルアイテムのサンプルのダイナミックレンジを変化させるような処理が施されたオリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンからコードワードを検出する場合の技術的問題を解決する。例えば、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンが、ウォータマークが埋め込まれた画像を写真として撮影することによりコピーされた画像である場合、この画像のコントラストは、オリジナル画像のコントラストとは異なるものになることがある。この結果、コードワード係数が加算され、ウォータマークが埋め込まれた画像の各サンプルの値が変化し、見逃し確率が高くなる。すなわち、この場合、オリジナル画像のサンプルからウォータマークが埋め込まれた画像のコピーのサンプルを減算することにより再生された再生コードワード係数の値は、本来の値より実質的に高く又は低くなってしまう。相対的な値が高く又は低くなることにより、再生コードワード係数の生成されたコードワード係数に対する相関値の総和に影響が生じる。このような影響により、オフェンディングマテリアルアイテムに存在しているコードワードを検出できない確率である見逃し確率が高くなってしまう。
【００１４】
更に、本発明は、複数のコードワードからオリジナルマテリアルアイテムのコードワードが埋め込まれたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置を提供する。オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンは、オリジナルマテリアルアイテムの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成される。検出データ処理装置は、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンからコードワードを再生し、再生コードワードを生成する復号プロセッサと、検出プロセッサとを有する。検出プロセッサは、再生コードワードと、一組のコードワード内の各コードワードとをそれぞれ相関させることによって、一組のコードワード内の各コードワードに対する相関値を算出し、相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する。一組のコードワードは、コードワード係数の値の分散が１になるように生成されている。
【００１５】
マテリアルアイテムに導入されたウォータマークコードワードは、オリジナルマテリアルアイテムにとってある種の雑音となることがある。すなわち、ウォータマークは、ユーザにとっては知覚不可能であることが望ましいが、ウォータマークの強度が強すぎると、ウォータマークの効果が知覚可能となってしまう。そこで、この実施の形態では、ウォータマークの強度をコードワード係数が加算されるマテリアルアイテムのサンプルに応じて調整する。これにより、最小のウォータマーク強度を使用することができる。上述した検出データ処理装置は、符号化データプロセッサにおいてウォータマークを埋め込むために用いられたウォータマークの強度を用いて、再生コードワードと、生成された一組のコードワードの相関を算出する。したがって、上述した検出データ処理装置では、検出データ処理装置において、ウォータマークの強度が既知である必要がある。ここで、再生コードワードの分散を１に設定することにより、再生コードワードと生成された一組のコードワードについて、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンからコードワードの存在を検出できる相関結果を得ることができる。
【００１６】
本発明の更なる側面及び特徴は、添付の請求の範囲において定義されている。
【００１７】
【発明の実施の形態】
ウォータマークの埋込システムの概観
以下、本発明の実施の形態をビデオ画像の保護に関連させて説明する。ビデオ画像を配信するユーザの数によりコピーの数が決定する。各コピーには、これらのユーザのうちの１人に割り当てられたコピーを識別するための識別コードワード（identification code word）が埋め込まれる。
【００１８】
ビデオ画像は、デジタルのコードワードを埋め込むことにより保護されるマテリアルの一具体例である。コードワードを埋め込むことにより保護されるマテリアルは、ビデオ画像の他に、ソフトウェアプログラム、デジタル文書、音楽、オーディオ信号及び他のいかなる種類の情報を含むマテリアルであってもよい。
【００１９】
図１は、オリジナル画像のコピーに識別コードワードを導入する符号化画像処理装置（encoding image processing apparatus）の具体的構成を示すブロック図である。オリジナル画像Ｉは、ソースから供給され、フレームメモリ１に記憶される。このオリジナル画像Ｉは、ウォータマークが埋め込まれた複数のコピーとして複写される（reproduce）ものであり、各コピーには、固有の識別コードワードが埋め込まれる。オリジナル画像Ｉは、ＤＣＴプロセッサ２に供給され、ＤＣＴプロセッサ２は、オリジナル画像Ｉを８×８の画素ブロックに分割し、８×８の各画素ブロックにＤＣＴ処理を施す。これにより、ＤＣＴプロセッサ２は、ＤＣＴ変換画像（以下、単にＤＣＴ画像という。）Ｖを生成する。
【００２０】
以下の説明において、「サンプル」という用語は、画像（又は、実際には他の種類のマテリアルであってもよい。）を構成する離散サンプルを指すものとする。サンプルは、画素から構成される画像の輝度サンプルであってもよい。したがって、サンプルという用語と画素という用語は、状況によっては交換可能である場合もある。
【００２１】
ＤＣＴ画像Ｖは、符号化プロセッサ（以下、エンコーダともいう。）４に供給される。符号化プロセッサ４には、識別コードワード生成器８から識別コードワードも供給されている。
【００２２】
識別コードワード生成器８には、複数のシード値（seed）が供給される。各シード値は、それぞれ対応する識別コードワードの１つを生成するために使用される。生成された各識別コードワードは、オリジナル画像Ｉのコピーに埋め込まれ、これにより、ウォータマークが埋め込まれたＤＣＴ画像が生成される。識別コードワード生成器８は、擬似乱数生成器を備える。擬似乱数生成器は、特定の識別コードワードを構成するコードワード係数を生成する。好ましい実施の形態においては、コードワード係数は、正規分布に基づいて生成される。なお、これに代えて、コードワード係数は、擬似乱数生成器を初期化するために用いるシード値に基づいて、予め定めてもよい。したがって、各識別コードワードには、対応するシード値が存在し、各シード値は、メモリ１２に記憶されている。すなわち、識別コードワードＸ^ｉを生成するために、シード値ｓｅｅｄ_ｉをメモリ１２から読み出し、このシード値ｓｅｅｄ_ｉを用いて、識別コードワード生成器８内の擬似乱数生成器を初期化する。
【００２３】
以下の説明では、オリジナル画像ＩのＤＣＴバージョンをＶと表す。ここで、
Ｖ＝｛ｖ_ｉ｝＝｛ｖ_１，ｖ_２，ｖ_３，ｖ_４，・・・，ｖ_Ｎ｝
であり、ｖ_ｉは、オリジナル画像のＤＣＴ係数である。他の実施の形態においては、ｖ_ｉは、画像のサンプル値であり、空間領域における画像のサンプル値又は他の領域における画像のサンプル値を表すものであってもよい。
【００２４】
各識別コードワードＸ^ｉは、以下のように、ｎ個のコードワード係数から構成されている。
Ｘ^ｉ＝｛ｘ^ｉ _ｊ｝＝｛ｘ^ｉ _１，ｘ^ｉ _２，ｘ^ｉ _３，ｘ^ｉ _４，・・・，ｘ^ｉ _ｎ｝
コードワード係数の数ｎは、オリジナル画像Ｖのサンプル数に対応する。なお、コードワード係数の数は異なるものであってもよく、この数は、特定の用途に応じて決定してもよい。
【００２５】
そして、ｉ番目の識別コードワードＸ^ｉを構成するコードワード係数のベクトルは、チャンネル１４を介してエンコーダ４に供給される。エンコーダ４は、ＤＣＴ画像Ｖに識別コードワードＸ^ｉを加算することにより、ウォータマークが埋め込まれた画像Ｗ_ｉを生成する。実際には、以下の式に示すように、ＤＣＴ画像Ｖの各ＤＣＴ係数ｖ _１ 〜ｖ _Ｎ に各コードワード係数ｘ ^ｉ _１ 〜ｘ ^ｉ _ｎ を加えることにより、ウォータマークが埋め込まれた画像Ｗ_ｉが生成される。
Ｗ_ｉ＝Ｖ＋Ｘ^ｉ
Ｗ_ｉ＝ｖ_１＋ｘ^ｉ _１，ｖ_２＋ｘ^ｉ _２，ｖ_３＋ｘ^ｉ _３，ｖ_４＋ｘ^ｉ _４，・・・，ｖ_ｎ＋ｘ^ｉ _ｎ
図１に示すように、ウォータマークが埋め込まれた画像Ｗ_ｉは、エンコーダ４により生成されたＤＣＴ画像を逆ＤＣＴ変換する逆ＤＣＴプロセッサ１８によって、逆ＤＣＴ変換された後、この画像処理装置から出力される。
【００２６】
したがって、図１に示すように、エンコーダ４からは、ウォータマークが埋め込まれたＤＣＴ画像の組が出力される。識別コードワードＸ ^ｉ を最大２０ビットとすると、一千万個の識別コードワードの１つを選択することができ、オリジナル画像Ｉに対して、一千万個のウォータマークが埋め込まれたバージョンの画像Ｗ_ｉを生成することができる。
【００２７】
この識別コードワードにより、オリジナル画像Ｉのウォータマークが埋め込まれたコピー、すなわち画像Ｗ_ｉを個別に識別することができるが、他の実施の形態においては、上述の２０ビットにより、画像内でデータを送ることができる。したがって、以下に説明するように、識別コードワードを選択するために使用する２０ビットは、ＤＣＴ画像Ｖ内でデータを送るための２０ビットのペイロードを提供する。
【００２８】
図１に示す、ウォータマークが埋め込まれた画像を生成する符号化画像処理装置は、本発明が適用される様々な異なるシナリオにおいて、様々な製品に組み込まれる。例えば、符号化画像処理装置をウェブサイト又はウェブサーバに接続して、ウォータマークが埋め込まれた画像をダウンロードすることができる。画像のコピーをダウンロードする前に、ダウンロードされる画像には固有のコードワードが導入され、この固有のコードワードにより、ダウンロードされた画像の受信者を後に検出することができる。
【００２９】
他の適用例では、符号化画像処理装置は、デジタル映写機（digital cinema projector）の一部として組み込まれ、識別コードワードは、例えば映画館において、映画を映写する際に、映像に埋め込まれる。この識別コードワードにより、映画が映写された映写機及び映画館を特定することができる。したがって、映写機から映写された映像を撮影して得られた海賊版コピーに含まれる識別コードワードにより、その海賊版コピーが作成された映写機及び映画館を特定することができる。一方、ウォータマークが埋め込まれた画像は、写真又は印刷物として複写されてもよく、複写された写真又は印刷物のコピーを作成及び配布してもよい。図１においては、符号化画像処理装置によって生成されるウォータマークが埋め込まれた画像の配信先は、雲形の枠で表現された配信１９で示されている。
【００３０】
検出プロセッサ
図２は、ウォータマークが埋め込まれたオフェンディング画像（offending markedimage）内に埋め込まれている１つ以上のコードワードを検出する検出画像処理装置（detecting image processing apparatus）の構成を示すブロック図である。包括的にいえば、図２に示す検出画像処理装置は、画像のオフェンディングバージョン、すなわちコピー内に存在する１つ以上のコードワードを識別する機能を有している。
【００３１】
ウォータマークが埋め込まれたオフェンディング画像（以下、画像のオフェンディングバージョンともいう。）Ｗ’は、データソースから供給され、フレームメモリ２０に記憶される。この検出画像処理装置における検出処理は、オリジナル画像（以下、画像のオリジナルバージョンともいう。）を必要とするので、フレームメモリ２４には、画像のオリジナルバージョンが記憶されている。ウォータマークが埋め込まれた画像のオフェンディングバージョンＷ’及び画像のオリジナルバージョンは、それぞれ個別の接続チャンネル２６、２８を介して、登録プロセッサ（registration processor）３０に供給される。
【００３２】
上述のように、画像のオフェンディングバージョンＷ’は、ウォータマークが埋め込まれた画像Ｗ_ｉの一部を撮影又は複写することにより生成された可能性がある。そこで、識別コードワードの検出率を高めるために、登録プロセッサ３０は、それぞれフレームメモリ２０、２４に記憶されているオフェンディング画像と画像のオリジナルバージョンとを実質的に揃える（align）。この目的は、オリジナル画像Ｉのサンプルと、コードワード係数が加算されることによりウォータマークが埋め込まれた画像Ｗ_ｉの対応するサンプルとを一致させることである。
【００３３】
この位置合せ処理を図３を用いて説明する。図３は、オリジナル画像Ｉと、ウォータマークが埋め込まれた画像のオフェンディングバージョンＷ’とを比較して示している。図３に示すように、ウォータマークが埋め込まれた画像のオフェンディングバージョンＷ’は、オリジナル画像Ｉに対してオフセットを有しており、このオフセットは、ウォータマークが埋め込まれた画像のオフェンディングバージョンを生成したカメラの相対的な視野に起因している可能性がある。
【００３４】
コードワード係数を再生するためには、ウォータマークが埋め込まれた画像のオフェンディングバージョンＷ’のサンプルからオリジナル画像Ｉの正しいサンプルを減算する必要がある。この処理のために、２つの画像が揃えられる。図３に示すように、位置合せされた画像Ｗ”は、オリジナル画像Ｉには存在しない部分を含む周辺領域（peripheral area）ＰＡを有している。
【００３５】
他の実施の形態では、例えばインターネットからオフェンディングバージョンＷ’がダウンロードされた場合等、オフェンディング画像Ｗ’は、本質的には、既にオリジナル画像Ｉのバージョンに揃っているので、このような場合、登録プロセッサ３０を使用する必要はない。そこで、この検出画像処理装置は、ウォータマークが埋め込まれた画像を再生プロセッサ４０に直接供給するための代替的なチャンネル３２を備えている。
【００３６】
位置合せされた画像Ｗ”は、再生プロセッサ４０に供給される。再生プロセッサ４０には、第２のチャンネル４４を介して、オリジナル画像Ｉのコピーも供給される。位置合せされた画像Ｗ”及びオリジナル画像Ｉは、ＤＣＴプロセッサ４６によって、ＤＣＴ領域に変換される。次に、以下の式に示すように、ウォータマークが埋め込まれたＤＣＴ領域の画像Ｖ’のサンプルからＤＣＴ領域のオリジナル画像Ｖのサンプルを減算することにより、再生コードワードＸ’が算出される。
Ｘ’＝Ｖ’−Ｖ
＝ｖ’_１−ｖ_１，ｖ’_２−ｖ_２，ｖ’_３−ｖ_３，ｖ’_４−ｖ_４，・・・，ｖ’_ｎ−ｖ_ｎ
＝ｘ’_１，ｘ’_２，ｘ’_３，ｘ’_４，・・・，ｘ’_ｎ
したがって、再生プロセッサ４０は、接続チャンネル５０を介して、識別するコードワードの係数の推定値を出力する。再生コードワードＸ’は、相関器５２の第１の入力端子に供給される。相関器５２の第２の入力端子には、コードワード生成器５４によって生成されたコードワードＸ^ｉが供給されている。コードワード生成器５４は、上述の識別コードワード生成器８と同様に、メモリ５８から読み出した、コードワードを固有に識別する所定のシード値を用いて全ての可能なコードワードの組を生成する。
【００３７】
相関器５２は、ｎ個の類似値ｓｉｍ（ｉ）を生成する。一実施の形態においては、類似値ｓｉｍ（ｉ）は、以下の式に基づく相関を求めることにより算出される。
【００３８】
【数１】

【００３９】
ｎ個の類似値ｓｉｍ（ｉ）のそれぞれは、検出器６０に供給される。そして、検出器６０は、ｎ個の可能なコードワードのそれぞれに対する類似値ｓｉｍ（ｉ）を解析する。相関器５２によって生成される類似値ｓｉｍ（ｉ）の具体例と、可能な各コードワードの閾値ＴＨとの関係を図４に示す。図４に示すように、２つのコードワード２００１、１２３４５が閾値ＴＨを超えている。このため、検出器６０は、コードワード２００１及びコードワード１２３４５に対応するウォータマークが埋め込まれた画像のバージョンからオフェンディング画像が作成されたと判定する。したがって、この実施の形態においては、一千万である母集団の大きさにより決定される誤検出確率（false positive probability）と、ウォータマーク強度（watermarking strength）αとに基づいて、誤検出確率を保証するための閾値ＴＨの高さを設定することができる。図４に示す実施の形態では、相関器５２によって生成された類似値ｓｉｍ（ｉ）が閾値ＴＨを超えている場合、この誤検出確率をもって、このウォータマークが埋め込まれた画像の受信者が不正行為を行い、ウォータマークが埋め込まれた画像Ｗ ^ｉ のオフェンディングバージョンの作成に関与したと判断される。
【００４０】
以下、図１及び図２に示すウォータマークシステムの特徴及び利点を説明する。
【００４１】
登録
ウォータマークが埋め込まれた画像のオフェンディングバージョンと、オリジナル画像のコピーとを揃える処理は、オリジナル画像のサンプルと、ウォータマークが埋め込まれた画像のサンプルとの相関を調べる処理を含む。この相関処理は、画像の各サンプルを異なるシフト量でシフトさせて実行される。この処理を図５を用いて説明する。図５Ａは、オリジナル画像の離散サンプルを示し、図５Ｂは、ウォータマークが埋め込まれたオフェンディング画像Ｗ’の離散サンプルを示している。図５Ａ及び図５Ｂに示すように、各サンプル間の時間差は、サンプリングレートにより定まるｄｔである。これらの画像の各サンプルの組をシフトし、離散サンプルを相関させた結果を図５Ｃに示す。
【００４２】
図５Ｃに示すように、６サンプルシフトと７サンプルシフトの間で相関ピークが最高になっている。そこで、ウォータマークが埋め込まれたオフェンディング画像は、オリジナル画像に対してこの量だけシフトされて位置合せされる。
【００４３】
改良検出技術
１に設定された再生コードワード強度（Strength of Regenerated Code Word Set at Unity）
上述のように、ウォータマークシステムのコードワードは、擬似ランダム的に分布した数値から複数のコードワード係数を生成することにより生成される。この数値は、擬似乱数生成器によって生成される。擬似乱数生成器は、シード値によって初期化され、このシード値は、生成される数値を決定する。いくつかの実施の形態においては、各ワードに対して固有のシード値が与えられている。また、他の実施の形態においては、少なくともいくつかのコードワードは、第１の基礎コードワード（a first base code word）を巡回的にシフトすることによって生成される。結託攻撃に対する耐性を高めるために、秘密の順序変更コード（secret permutation code）に基づいて、巡回的にシフトされるコードワードの順序を変更してもよい。
【００４４】
好ましい実施の形態においては、コードワードを構成するために生成されるコードワード係数の平均値は０であり、その分散（variance）は、αに設定されている。分散αは、ウォータマークの値又は強度である。すなわち、強度が強い程、検出プロセッサによってウォータマークが検出される確率が高くなる。なお、強度が強くなると、ウォータマークが埋め込まれた画像において、ウォータマークが知覚されやすくなる。
【００４５】
上述したように、検出画像プロセッサは、相関器５２と、コードワード生成器５４とを備えている。相関器５２は、再生された（recovered）コードワードＸ’と、一組のコードワードの各コードワードとの相関を調べ、類似値ｓｉｍ（ｉ）を算出する。ここで、生成される擬似乱数の分散を１（unity）に設定することにより、コードワード生成器５４の性能を高めることができる。そこで、コードワード生成器５４内の擬似乱数生成器は、符号化画像プロセッサのコードワード生成器８に対応しているが、生成される数値の分散は、αではなく１に設定する。これにより、ウォータマークコードワードの強度は１に設定される。
【００４６】
上述した相関器によって算出される相関値の総和は、再生コードワードの分散を１に設定することによっては影響されない。したがって、ユーザｉが正当な（innocent）ユーザである場合、ユーザｉに対する類似値ｓｉｍ（ｉ）は、平均値が０で分散が１の正規分布したランダム変数となる。この結果、検出器６０によって適用される閾値は、符号化強度αから常に独立している。このため、検出プロセッサにとって、符号化強度αは、既知である必要がない。したがって、符号化強度αは、検出プロセッサから独立して設定することができる。
【００４７】
画像アーテファクトとの相関
ウォータマークが埋め込まれた画像がオリジナル画像に実質的に対応しており、画像を揃えた場合であっても、ウォータマークが埋め込まれたオフェンディング画像には、オリジナル画像に存在しなかったアーテファクトが現れる場合がある。このようなアーテファクトは、例えばウォータマークが埋め込まれた画像Ｗ’の海賊版コピーが作成されたときに生じる。例えば、カムコーダを用いて、映画館で上映されているウォータマークが埋め込まれた映画を録画したとする。このとき、例えば映画のスクリーンとカムコーダとの間で人の頭が動いた場合等にウォータマークが埋め込まれた画像のコピーにアーテファクトが導入される。人の頭は、ウォータマークが埋め込まれた画像の一部を遮る障害物となる。この状態を図６Ａに示す。図６Ａは、図６Ｂに示すオリジナル画像Ｉに対するウォータマークが埋め込まれたオフェンディング画像Ｗ’の具体例を示している。図６Ａに示すように、オフェンディング画像Ｗ’は、映画のスクリーンとカムコーダとの間を通過した人の頭によって生じたアーテファクトを含んでいる。
【００４８】
したがって、ウォータマークが埋め込まれた画像のオフェンディングコピーは、オリジナル画像には存在しなかった特徴を有することとなる。上述のように、再生（recovered）コードワードＸ’を生成するために、ＤＣＴ領域のサンプルＶをウォータマークが埋め込まれたオフェンディング画像のサンプルＶ’から減算する。ここで、アーテファクトが存在するウォータマークが埋め込まれたオフェンディング画像の一部は、オリジナル画像の対応する部分とは相関していない。この結果、コードワードの組内の各再生コードワードについて、相関器５２によって算出される類似値ｓｉｍ（ｉ）に重大な影響が生じる。これは、画像間の大きな相異により、所定のコードワード係数の値とは大きく異なる再生コードワード係数が生成されるためである。したがって、再生コードワードに対応する正しいコードワードに関する類似値ｓｉｍ（ｉ）が検出器６０において閾値を超えなくなる可能性が高くなり、見逃し確率が高くなる。
【００４９】
このようなアーテファクトによる問題を回避するために、登録プロセッサは、オリジナル画像のサンプルとウォータマークが埋め込まれたオフェンディング画像のサンプルとを比較する。そして、これらのサンプル間の差分絶対値和（mean absolute difference）が所定の比較閾値を超えた場合、これらのサンプルに対応するウォータマークが埋め込まれた部分をオリジナル画像のサンプルと置換する。この置換処理を図６Ｃに示す。図６Ｃに示すオフェンディング画像Ｗ”では、オリジナル画像Ｉに対応していないウォータマークが埋め込まれたオフェンディング画像Ｗ’の部分が、オリジナル画像の対応する部分に置換されている。実際には、これらの置換されたサンプルは、コードワードの対応する係数を含まないが、この処理により相関演算により算出される類似値ｓｉｍ（ｉ）への悪影響が低減される。したがって、このような処理により、アーテファクトが存在する場合において、ウォータマークが埋め込まれた画像からコードワードを正しく検出できる確率が高くなり、見逃し確率が低くなる。この処理は、数学的には以下のように表される。
ＩＦ ｗ’_ｉ−ｉ_ｉ＞ｔｈ_ｃｏｍｐ ｔｈｅｎ ｗ’_ｉ＝ｉ_ｉ
画像コントラスト前処理
コードワードを検出する前に、ウォータマークが埋め込まれた画像に前処理を施すことにより、ウォータマークコードワードの検出性能を向上させることができる。本発明の実施の形態として図２に示す検出画像プロセッサは、ウォータマークが埋め込まれたオフェンディング画像とオリジナル画像との間のコントラストの差を修正するための前処理をウォータマークが埋め込まれたオフェンディング画像に施す。ウォータマークが埋め込まれたオフェンディング画像が、例えばウォータマークが埋め込まれた画像を撮影することにより複製された場合、この写真から作成されたオフェンディング画像のコントラストは、オリジナル画像のコントラストとは異なるものとなる可能性がある。例えば、コードワード係数が加算されたオリジナル画像のサンプルが画像の輝度値から生成される場合がある。この場合、コントラストの変化は、オリジナル画像のＤＣＴ係数と、ウォータマークが埋め込まれたオフェンディング画像のＤＣＴ係数との間の相対的な差を変化させてしまう。これにより、ウォータマークが埋め込まれたオフェンディング画像からコードワードが正しく検出される可能性が低下する。これは、ウォータマークが埋め込まれた画像からのサンプルの値と、オリジナル画像のサンプルの値の差により、コードワードが正しく再生される可能性が低下するためである。これは、数学的には、以下のように表すことができる。
Ｗ＝Ｖ＋Ｘ
Ｗ’＝ＣＷ＝ＣＶ＋ＣＸ（Ｗ’はウォータマークが埋め込まれたオフェンディング画像）
Ｘ’＝ＣＶ＋ＣＸ−Ｖ＝（Ｃ−１）Ｖ＋ＣＸ
ここで、Ｃは、コントラストの変化によって導入された換算係数である。
【００５０】
このような技術的問題に対処するために、図２に示す検出画像プロセッサの登録プロセッサ３０は、オフェンディング画像に対する前処理を行う。この前処理により、２つの画像間のコントラストの差が低減される。この差の低減は、ウォータマークが埋め込まれたオフェンディング画像のサンプルの標準偏差及び平均値と、オリジナル画像のサンプルの標準偏差及び平均値とを算出し、ウォータマークが埋め込まれたオフェンディング画像をオリジナル画像に対して正規化することによって実現される。この処理は、数学的には以下のように表される。
【００５１】
【数２】

【００５２】
正規化処理の結果、オフェンディング画像のサンプル内の値の相対的な差と、オリジナル画像のサンプル内の値の相対的な差とが実質的に同じになるため、見逃し確率が低下する。
【００５３】
いくつかの実施の形態においては、正規化平均値μと正規化分散σを所定の予め記憶された値に設定してもよい。また、他の実施の形態においては、オリジナル画像Ｉのサンプルの平均値及び分散を算出することにより正規化平均値μと、正規化分散σを決定してもよい。
【００５４】
他の適用例
ウォータマークシステムの符号化画像処理装置（以下、符号化データ処理装置ともいう 。）は、上述した映写機及びウェブサーバに加えて、他の用途にも適用することができる。例えば、本発明は、通信装置から信号を受信し、この受信した信号にコードワードを導入することにより、情報にウォータマークを埋め込む受信機／デコーダにも適用することができる。例えば、セットトップボックスは、放送の「ヘッドエンド」機器又はマルチキャスト機器からテレビジョン及びビデオ信号を受信する。このような適用例では、符号化データ処理装置は、セットトップボックスの一部を構成し、信号を受信及びデコードする際にビデオ信号にウォータマークコードワードを導入する。一実施の形態においては、このウォータマークコードワードは、ビデオ信号を受信及びデコードしたセットトップボックスを固有に特定する。
【００５５】
更に、本発明は、衛星からデジタル映画（digital cinema film）を受信するデジタル映画受信機にも適用することができる。このデジタル映画受信機は、デジタル映画を表す信号を受信し、この信号をデコードしてデジタル映画を再生する。この受信機は、デコードされた映画信号にウォータマークコードワードを導入する符号化データ処理装置を備える。ウォータマークコードワードは、例えば、デジタル映画を受信したデジタル映画受信機を固有に特定する。
【００５６】
更に、本発明は、メモリ及びメモリコントローラを備えるデジタルカメラ又はカムコーダ等にも適用することができる。この適用例では、本発明に係る符号化データ処理装置は、メモリに記憶されているウォータマークコードワードをデジタルカメラ等によって撮影されたビデオ信号に導入する。この適用例においては、コードワードは予めメモリに記憶されており、したがって、符号化データ処理装置は、コードワード生成器を備えていない。メモリに記憶されているコードワードは、メモリコントローラの制御の下、ビデオ信号に埋め込まれ、これによりビデオ信号を固有に又は準固有的（quasi-uniquely）に特定する。
【００５７】
更なる実施の形態においては、本発明に基づく符号化データ処理装置は、連続的な画像又は動画を構成する複数の異なるデジタル画像のフレームのそれぞれに一連のウォータマークコードワードを個別に埋め込む。これらのコードワードは、互いに関連性を有していてもよく、これらのコードワードにより、各フレームに対応する画像を個別に識別することができるようになる。
【００５８】
本発明の更なる様々な側面及び特徴は、添付の請求の範囲において定義されている。この請求の範囲から逸脱することなく、上述した実施の形態を様々に変更することができる。
【図面の簡単な説明】
【図１】 符号化画像処理装置の構成を示すブロック図である。
【図２】 検出画像処理装置の構成を示すブロック図である。
【図３】 図３Ａはオリジナル画像を示し、図３Ｂはウォータマークが埋め込まれた画像を示し、図３Ｃは位置合せされた画像を示す図である。
【図４】 Ｎ個のコードワードの組の各コードワードに関する相関結果の具体例を示すグラフ図である。
【図５】 図５Ａはオリジナル画像Ｉのサンプルに対応するグラフ図であり、図５Ｂはウォータマークが埋め込まれた画像Ｗ’に対応するグラフ図であり、図５Ｃはオリジナル画像とウォータマークが埋め込まれた画像との離散サンプルシフト毎の相関結果を示すグラフ図である。
【図６】 図６Ａは、アーテファクトを含むウォータマークが埋め込まれた画像を示し、図６Ｂは、図６Ａに示す画像のオリジナル画像を示し、図６Ｃは、図６Ａに示す画像を本発明に基づく図２に示す登録プロセッサにより前処理した後の画像を示す図である。

Claims (11)

1. 複数のコードワードから、オリジナルマテリアルアイテムの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョン内に存在する少なくとも１つのコードワードを識別する検出データ処理装置において、
   上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、上記オリジナルマテリアルアイテムのサンプルとを比較し、該オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、該オリジナルマテリアルアイテムのサンプルとが比較閾値以上に相異する場合、該オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンの比較されたサンプルを該オリジナルマテリアルアイテムからの対応するサンプルに置換する登録プロセッサと、
   上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンからコードワードを再生し、再生コードワードを生成する復号プロセッサと、
   上記再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出し、該相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出する検出プロセッサとを備える検出データ処理装置。
2. 上記登録プロセッサは、上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、上記オリジナルマテリアルアイテムの対応するサンプルとを関連付けることを特徴とする請求項１記載の検出データ処理装置。
3. 上記登録プロセッサは、
   上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンに対する複数の各シフトについて、上記オリジナルマテリアルアイテムのサンプルと、該オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルの相関値を生成し、該各シフトのうち、最も高い相関値を示すシフトから、該オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンに対する登録位置を判定することにより、該オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、該オリジナルマテリアルアイテムの対応するサンプルとを関連付けることを特徴とする請求項２記載の検出データ処理装置。
4. 上記登録プロセッサは、
   上記登録位置に関して、上記オリジナルマテリアルアイテムの各サンプル及び上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンの対応するサンプルの間の差を算出し、
   上記差を所定の閾値と比較し、該差が該所定の閾値より大きい場合、上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンの登録されたサンプルを上記オリジナルマテリアルアイテムの対応するサンプルに置換することを特徴とする請求項３記載の検出データ処理装置。
5. オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルからシード値を生成するコードワード生成器を有する上記相関プロセッサを更に備えることを特徴とする請求項１乃至４いずれか１項記載の検出データ処理装置。
6. 上記コードワードは、離散コサイン変換領域において、上記マテリアルアイテムに導入され、
   上記検出データ処理装置は、
   上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョン及びオリジナルマテリアルアイテムを離散コサイン変換領域に変換する離散コサイン変換プロセッサと、
   上記オリジナルマテリアルアイテムの離散コサイン変換係数から、上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンの対応する離散コサイン変換係数を減算することにより、上記再生コードワードを生成する再生プロセッサとを更に備えることを特徴とする請求項１乃至５いずれか１項記載の検出データ処理装置。
7. 上記登録プロセッサは、上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルの平均値及び分散を上記オリジナルマテリアルアイテムのサンプルの平均値及び分散に対して正規化することを特徴とする請求項１乃至６いずれか１項記載の検出データ処理装置。
8. 上記再生コードワード係数の分散の値は１であることを特徴とする請求項１乃至７いずれか１項記載の検出データ処理装置。
9. オリジナルマテリアルアイテムの各サンプルに、それぞれ対応する各コードワード係数を結合することにより生成された、オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョン内に存在する１つ以上の所定のコードワードの組を識別する識別方法において、
   オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、オリジナルマテリアルアイテムのサンプルとを比較するステップと、
   オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンのサンプルと、オリジナルマテリアルアイテムのサンプルとが比較閾値以上に相異する場合、該オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンの比較されたサンプルを該オリジナルマテリアルアイテムの対応するサンプルに置換するステップと、
   上記オリジナルマテリアルアイテムのコードワードが埋め込まれたバージョンからコードワードを再生し、再生コードワードを生成するステップと、
   上記再生コードワードと、生成された一組のコードワード内の各コードワードとをそれぞれ相関させることによって、該一組のコードワード内の各コードワードに対する相関値を算出するステップと、
   上記相関値が所定の相関閾値を超える少なくとも１つのコードワードを検出するステップとを有する識別方法。
10. データプロセッサにロードされて、該データプロセッサを請求項１乃至８いずれか１項記載の検出データ処理装置における上記各プロセッサとして機能させるためのプログラム。
11. データプロセッサにロードされて、該データプロセッサに請求項９記載の識別方法における各ステップを実行させるためのプログラム。

Images