JP4088622B2 - Ｗｍ信号生成装置、ｗｍ信号生成方法、ｗｍ信号生成方法を実行するためのコンピュータ実行可能なプログラムおよび該プログラムを記録したコンピュータ可読な記録媒体、電子透かし埋め込み装置、および該電子透かし埋め込み装置を含むディジタル・テレビ装置 - Google Patents

Description

本発明は、コンテンツに対して著作権などの権利情報を追加するための電子透かしに関し、より詳細には、本発明は、リアルタイムで提供されるコンテンツに対して電子透かしの計算により生じる遅延から発生する不都合を改善し、より良好な品質のコンテンツを提供しつつ、電子透かしの検出性を改善することを可能とするＷＭ信号生成装置、ＷＭ信号生成方法および該方法を実行するコンピュータ実行可能なプログラム、該プログラムを記録したコンピュータ可読な記録媒体、電子透かし埋め込み装置および該電子透かし埋め込み装置を含むディジタル・テレビ装置に関する。

これまで「透かし」の技術は、紙幣などにおいて、真贋の判断を行うために使用されてきている。また、近年では、コンピュータ技術の発達により、音楽、画像、動画などは著作権に基づき、コンテンツとして提供される場合が多くなってきている。このため、コンテンツの不正コピーを判断するためにも、上述した「透かし」技術を使用して、コンテンツの不正なコピーを防止することが必要とされる。コンテンツに対して「透かし」を埋込むのは、原則としてディジタル的に「透かし信号」（以下、ＷＭ（ｗａｔｅｒ ｍａｒｋ）信号）をオリジナル・コンテンツに埋め込むことによって行われる。
これまで種々の電子透かし埋込み方法が提案されている。例えば同一の出願人による「周波数領域にデータを埋め込むためのシステムおよび方法」では、音楽などのオーディオ信号を含むコンテンツに対して電子透かしを埋込む場合に、周波数領域で心理聴覚モデルを計算することにより、電子透かしを埋め込むことが検討されている。この方法は、オーディオ信号の周波数を検出する際にＤＦＴ（離散フーリエ変換）のフレームを正確に発見することが必要とされ、このための計算時間が増加し、リアルタイムで提供されるオーディオ信号に対して時間的遅延を生じさせることなく、ＷＭ信号を埋め込む目的には不向きであるという不都合があった。
このため、同一の出願人による特許出願「フレーム同期を必要としないウオーターマーク埋め込みシステムおよび方法」では、オーディオ信号に対してフレーム同期化を必要とせずにＷＭ信号を埋め込む技術も検討されている。フレーム同期化を必要としない埋め込み技術は、オリジナル信号の伸縮や位置のずれに対して耐性が大きく、時間的遅延も大きくなく、また電子透かしの検出・判断を良好に行うことができるという利点を有している。しかしながら、上述したフレーム同期化の必要のない埋め込み方法は、ＷＭ信号とオリジナル信号との位相が同期していることが必要なので、ＷＭ信号だけが遅延するようなリアルタイムで提供されるコンテンツにＷＭ信号を埋め込むという目的には適さず、またＷＭ信号だけに遅延が発生した場合には、ＷＭ信号の検出性を著しく低下させてしまうという、耐性上の不都合があった。
また、Ｂｏｎｅｙら“Ｄｉｇｉｔａｌ Ｗａｔｅｒｍａｒｋｓ ｆｏｒ Ａｕｄｉｏ Ｓｉｇｎａｌｓ”、（ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ．Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｔｅｍ，Ｊｕｎｅ１７−２３ｔｈ，Ｈｉｒｏｓｈｉｍａ，Ｊａｐａｎ，ｐｐ．４７３−４８０）では、心理聴覚モデルを模擬 するフィルターを予め設けておき、時間領域で疑似ランダム系列をフィルタリングすることで、ＷＭ信号の遅延による上述した耐性の劣化といった不都合が改善されている。しかしながら、フィルタリング係数は、フレームごとに決定しなければならないので、上述したと同様に、リアルタイムで提供されるオーディオ信号に対してＷＭ信号を埋め込むためには適切ではない。
さらに、Ｓｗａｎｓｏｎらは、“Ｒｏｂｕｓｔ Ａｕｄｉｏ Ｗａｔｅｒｍａｒｋｉｎｇ Ｕｓｉｎｇ Ｐｅｒｃｅｐｔｕａｌ Ｍａｓｋｉｎｇ”（Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ｖｏｌ．６６，１９９９，３３７−３５５）において、周波数マスキングを計算するための心理視聴覚モデルと、テンポラル・マスキングを計算するための心理聴覚モデルの両方を使用する方法を提案している。テンポラル・マスキングでは、オーディオ信号のエンベロープ計算とマスク量を予測してＷＭ信号の埋め込みが行われているものの、予測はテンポラル・マスキングの出力を使用するマスク量の予測であり、オリジナル・コンテンツを直接使用したリアルタイムのＷＭ信号の埋め込みを行うものではない。
これとは別に、ビデオ信号といった画像データに対しても電子透かしを埋め込む技術が提案されている。例えば、Ｄｅｇｕｉｌｌａｕｍｅらは、“Ｒｏｂｕｓｔ ３Ｄ ＤＦＴ Ｖｉｄｅｏ Ｗａｔｅｒｍａｒｋｉｎｇ”、Ｐｒｏｃ．ＳＰＩＥ ｖｏｌ．３６５７，ｐｐ．１１３−１２４において、ビデオ系列を縦横と時間方向の３次元情報としてＤＦＴを適用し、ＷＭ信号を埋め込む方法を提案している。この方法においてもＤＦＴを行うための時間幅分だけ遅延が生じるので、電子透かしをリアルタイムで埋め込むためには適切なものとはいえない。
また、特開平１１−５５６３８号公報では、画像内の一部の領域を情報付加領域として設定し、この部分を拡大または縮小することにより、情報を画像に埋め込む方法が開示されている。この埋め込み方法は、映像にＷＭ信号を追加するのではなく、映像自体を一部加工するものであるため、埋め込み前と、埋め込み後とでは信号の差分が大きく、品質上の問題を生じさせる。さらに、Ｈａｒｔｕｎｇらは、“Ｗａｔｅｒｍａｒｋｉｎｇ ｏｆ Ｕｎｃｏｍｐｒｅｓｓｅｄ ａｎｄ Ｃｏｍｐｒｅｓｓｅｓ Ｖｉｄｅｏ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．６６，Ｎｏ．３，ｐｐ．２８３−３０１，１９９８において、ビデオを静止画の連続と見なして、擬似ランダム数列で変調したメッセージを各フレームに加算する方法を開示している。また、圧縮されたビデオ系列に関しては、デコードせずに埋め込みメッセージに応じてＤＦＴ計数を随時置き換える方法を提案している。しかしながら、Ｈａｒｔｕｎｇらの方法においても、予測的に制御を行うものではない点で、リアルタイムでコンテンツに対してＷＭ信号を埋め込む点では充分なものではない。
上述した電子透かしは、インターネットを通してマルチメディア・データを配信する際の著作権の保護や、ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−Ａｕｄｉｏといったメディアの流通における著作権保護を主な目的とするものであった。これらのディジタル・コンテンツは、記憶媒体上にすでに保持されている。上述した技術は、これらの保持されたディジタル・コンテンツに対してＷＭ信号の埋め込む処理を行うものであり、リアルタイムで提供されるコンテンツに対してＷＭ信号を埋め込むものではない。
しかしながら、ディジタル情報の適用範囲が広がるにつれ、クラシック・コンサートにおいて演奏される音楽を不正に持ち込んだテープレコーダで録音し、後にＣＤに記録して販売またはインターネットで公開するという不正も考えられる。また、映画についても、不正に持ち込んだビデオカメラを使用してスクリーンを録画し、その後にＤＶＤやＶｉｄｅｏ ＣＤに記録して販売したり、インターネットで公開してしまうといった不正も想定される。さらに、テレビやラジオを通じて音楽やスポーツ・イベントなどを生放送する場合に、受信した放送を記録して、ＤＶＤ Ｖｉｄｅｏなどの記録媒体に記録して販売したり、インターネットで提供するという不正も想定される。さらには、著作権の主張の他、コピー制御を行いたい場合や、録音者または録画者または録音・録画された位置を特定したい場合も生じる。
図２２には、従来のＷＭ埋め込み技術を使用してリアルタイムで提供されるコンテンツに対して電子透かしを埋め込むための装置を示す。図２２に示す電子透かし埋め込み装置２００は、リアルタイムで供給される生演奏や生放送（以下、リアルタイム・コンテンツとして参照する。）に対して電子透かしを埋め込むことができる。図２２に示した電子透かし生成装置２００は、リアルタイム・コンテンツをディジタル的に取り込むための取り込み手段２０２と、取り込まれたリアルタイム・コンテンツを使用して電子透かしを生成するための生成手段２０４とを含んで構成されている。電子透かしが埋め込まれたコンテンツは、ネットワーク２０６を介してユーザへと提供されている。コンテンツには、電子透かしが埋め込まれているので、ユーザが録音または録画しても、提供者の著作権は保護されることになる。
ここで、さらに詳細に図２２に示した従来の電子透かし埋め込み装置を説明すると、従来の電子透かし埋め込み装置に含まれる生成手段２０４は、入力バッファ２０８と、電子透かし計算手段２１０と、出力バッファ２１２とを含んで構成されている。入力バッファ２０８は、取り込み手段２０２によりディジタル的に取り込まれたデータをバッファリングする。電子透かし計算手段２１０は、取り込まれたリアルタイム・コンテンツを使用して心理聴覚モデルなどに基づき、適切な大きさの電子透かし信号の生成を行う。また、出力バッファ２１２は、電子透かしが埋め込まれたコンテンツがネットワーク２０６を通して提供されるまでの間、電子透かしの埋め込まれたコンテンツを一時的に保持する。
このため、リアルタイム・コンテンツの取り込みから、電子透かしが埋め込まれたコンテンツがネットワーク２０６へと送出されるまでには、通常、最大で数百ｍｓの時間遅延が生成する。また、リアルタイム・コンテンツは、必ず生成手段２０４を通過することが必要とされる。このため、図２２に示したシステムにより電子透かしを埋め込んでコンテンツを提供する場合に、電子透かし埋め込み装置２００を構成する要素のうちの１つにでも障害が発生すると、コンテンツの提供が不可能となる、という不都合が生じる。また、コンテンツの提供が不可能とならないまでも、コンテンツの提供に際して異常音・異常画像が追加され、コンテンツ提供の品質を低下させるという不都合もある。
また、図２２に示した従来の電子透かし生成装置では、クラシック・コンサートのように、演奏から観客に届くまでの間に一度も録音・録画されないコンテンツに対して電子透かしを埋め込むことができないという不都合がある。さらには、実際の演奏といったアナログ信号からディジタル信号へと変換するＡＤＣを含んでいるため、ノイズが必然的に生成されてしまい、リアルタイム・コンテンツの品質が低下してしまうという不都合も生じる。
図２３は、図２２に示した電子透かし埋め込み装置により発生する不都合を改善するための代替装置を示す。図２３に示す電子透かし埋め込み装置２１４は、リアルタイム・コンテンツをディジタル的に取り込むための取り込み手段２０２の出力が、生成手段２１６と遅延手段２１８とに対して並列して入力されている。生成手段２１６は、電子透かし計算手段２１０により算出されたＷＭ信号のみを出力する。遅延手段２１８の出力と、出力バッファ２１２の出力とは、ミキサといった埋め込み手段２２２に入力され、リアルタイム・コンテンツに対してＷＭ信号を埋め込むことが可能とされている。図２３に示した装置２１４は、また上述したようにユーザに届くまでに一度も集音・録画されないコンテンツについては対応することができない。また、計算されたＷＭ信号のコンテンツに対する時間遅延は改善できるものの、コンテンツ自体に遅延を生じてしまうこと、また遅延手段２１８の故障により、コンテンツの提供が中断してしまう、という不都合が残される。
上述した不都合を解決するために、図２３に示された遅延手段を与えないで、生成されたＷＭ信号とコンテンツの情報とを加算してしまう電子透かし埋め込み装置も考えられる。ところが遅延手段を使用しない場合には、リアルタイム・コンテンツには時間的遅延は生じないものの、ＷＭ信号算出のための時間の分だけ、リアルタイム・コンテンツとＷＭ信号との間に時間差が生じ、この結果さらに別の問題を生じることとなる。図２４には、図２３に示した電子透かし生成装置における上述した新たに生成する問題点を示す。
図２４は、横軸を時間軸としてリアルタイム・コンテンツの時間的変化と、算出されたＷＭ信号の埋め込みのタイミングを、図２４に示したシステム２１４を使用した場合を例として示した図である。図２４に示すように、例えば時刻ｔ_１においてリアルタイム・コンテンツが生成手段に取り込まれたものとする。リアルタイム・コンテンツは、演奏などの状況に応じて、その振幅が時間的に変動し、図２４に示した実施の形態では、時間ｔ_４を越えて振幅が減少してゆく。一方で、ＷＭ信号は入力バッファリングおよび出力バッファリングといった処理に加え、心理聴覚モデルを使用した不可聴量または不可視量の計算などを行って生成されるので、計算に使用したリアルタイム・コンテンツのサンプリング・フレーム（ｔ_１−ｔ_２）からＷＭ信号計算のための遅延時間（ｔ_４−ｔ_２）の分だけ時間的にずれて埋め込まれることとなる。
この際に、リアルタイム・コンテンツを利用してＷＭ信号を生成する方法を採用している場合には、遅延時間後のリアルタイム・コンテンツの強度によっては電子透かしの検出が不可能になったり、不可能とならないまでも困難になるといった不都合が生じる。以下、上述した不都合を、本発明においては電子透かしの検出可能性を耐性として参照する。また、リアルタイム・コンテンツの振幅を使用し、ＷＭ信号の振幅を調整して埋め込みを行う方法を使用している場合には、図２４に示した従来例の場合ではＷＭ信号が聞こえてしまうといった不都合も発生する。以下、本発明においては、上述したＷＭ信号とリアルタイム・コンテンツとの間の振幅のずれを、品質として参照する。

本発明は、上述した従来技術の耐性および品質を向上させるために、耐性の低下を生じさせる要因と、品質の低下を生じさせる原因とを分離して対処することにより、従来のシステムにおける不都合を解決することができるという認識の下になされたものである。すなわち、本発明では、リアルタイム・コンテンツと、ＷＭ信号の埋め込みタイミングとの間の時間遅延は不可避なものであって、ＷＭ信号を埋め込む際に、リアルタイム・コンテンツを分割し、分割されたリアルタイム・コンテンツを使用して位相および音量、輝度といった知覚刺激値の変化を時間的に予測し、ＷＭ信号の強度を算出することにより、耐性および品質を改善することができるという認識の下になされたものである。また、予測処理に使用されないリアルタイム・コンテンツは、ＷＭ信号生成とは独立してユーザに対して提供される。
すなわち、リアルタイム・コンテンツの音量や輝度といった知覚に対する刺激値は、音楽であれ、動画であれ、ＷＭ信号生成のために要する時間の範囲で、ある程度予測可能な関係で変化する。本発明は、ＷＭ信号を埋め込む対象であるリアルタイム・コンテンツの過去の時間的変化に着目し、過去の時間変化を使用すれば、遅延時間程度の後のリアルタイム・コンテンツの強度の将来予測は、良好に行うことができることを認識することによりなされたものである。
また、本発明の耐性は、ＷＭ信号を秘密鍵を使用して埋め込む際に、秘密鍵から一定の規則を使用して埋め込み値を生成し、生成された埋め込み値を使用してＷＭ信号の信号強度を制御することにより、良好に耐性を向上することができる。ＷＭ信号の埋め込みは、埋め込み値の符号に応じて、例えば、埋め込み値が負の場合には、ＷＭ信号を強度を０とし、埋め込み値が正のときにだけ非ゼロのＷＭ信号の埋め込みを行うことにより行われる。またＷＭ信号の埋め込みの位相は、時間遅延が発生することが前提となるので、リアルタイム・コンテンツ信号の位相に依存させずにランダムに加えることができる。本発明によりＷＭ信号の埋め込みを行うことで、秘密鍵と、メッセージのビットと、疑似乱数といった情報を使用して、時間遅延の生成から独立して耐性を向上させることが可能となる。
すなわち本発明によれば、リアルタイム・コンテンツに対して電子透かしとして埋め込まれるＷＭ信号を生成するための装置であって、前記リアルタイム・コンテンツを入力する入力手段と、前記リアルタイム・コンテンツを保持する入力バッファと、前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成するための生成手段と、前記生成された出力ＷＭ信号を保持するための出力バッファとを含み、前記生成手段は、前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測から前記ＷＭ信号の強度予測を行うための予測手段と、前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して埋め込みを制御する制御手段と前記予測手段からの出力と前記制御手段からの出力とを使用して出力ＷＭ信号を生成するための手段とを含むＷＭ信号生成装置が提供される。
本発明においては、前記知覚刺激値は、音響または輝度であり、前記予測手段は、前記入力バッファに保持されたデータを使用して前記所定時間後のリアルタイム・コンテンツの強度に対応した予測不可聴量または予測不可視量のＷＭ信号を生成することができる。木発明における前記制御手段は、秘密鍵と、前記メッセージと、疑似ランダム数とを使用して、正負の２値化された埋め込み値を生成する手段を含むことができる。さらに本発明の前記ＷＭ信号生成装置は、さらに前記生成されたＷＭ信号を埋め込む時間経過後のリアルタイム・コンテンツと、前記生成されたＷＭ信号とを比較して、前記出力バッファの出力を制御する出力制御手段を含むことができる。本発明における前記入力手段は、前記リアルタイム・コンテンツを分割して入力する手段を含み、前記生成手段は、該分割されたリアルタイム・コンテンツを使用してＷＭ信号を生成することができる。
本発明によれば、リアルタイム・コンテンツに対して電子透かしとして埋め込まれるＷＭ信号を生成するための方法であって、前記リアルタイム・コンテンツを入力するステップと、リアルタイム・コンテンツを保持するステップと、前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成するステップと、前記生成された出力ＷＭ信号を保持するステップとを含み、前記生成ステップは、前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測から前記ＷＭ信号の強度予測を行うステップと、前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して埋め込みを制御するステップと
前記予測手段からの出力と前記制御手段からの出力とを使用して出力ＷＭ信号を生成するステップとを含むＷＭ信号生成方法が提供される。
本発明によれば、リアルタイム・コンテンツに対して電子透かしとして埋め込まれるＷＭ信号を生成するための方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムであって、該プログラムは、コンピュータに対して、入力された前記リアルタイム・コンテンツを保持するステップと、前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成するステップと、前記生成された出力ＷＭ信号を保持するステップとを実行させ、前記生成ステップは、前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測から前記ＷＭ信号の強度予測を行うステップと、前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して埋め込みを制御するステップと前記予測手段からの出力と前記制御手段からの出力とを使用して出力ＷＭ信号を生成するステップとを含むＷＭ信号生成方法を実行させるためのプログラムが提供される。
本発明によれば、リアルタイム・コンテンツに対して電子透かしとして埋め込まれるＷＭ信号を生成するための方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムが記録されたコンピュータ可読な記録媒体であって、該プログラムは、コンピュータに対して、入力された前記リアルタイム・コンテンツを保持するステップと、前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成するステップと、前記生成された出力ＷＭ信号を保持するステップとを実行させ、前記生成ステップは、前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測から前記ＷＭ信号の強度予測を行うステップと、前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して埋め込みを制御するステップと前記予測手段からの出力と前記制御手段からの出力とを使用して出力ＷＭ信号を生成するステップとを含むＷＭ信号生成方法を実行させるためのプログラムが記憶されたコンピュータ可読な記録媒体が提供される。
本発明によれば、リアルタイム・コンテンツに対して電子透かしを埋め込むための装置であって、前記リアルタイム・コンテンツを入力する入力手段と、前記リアルタイム・コンテンツを保持する入力バッファと、前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成するための生成手段と、前記生成された出力ＷＭ信号を保持するための出力バッファと、前記生成されたＷＭ信号を受け取って、前記リアルタイム・コンテンツに埋め込むための埋め込み手段とを含み、前記生成手段は、前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測から前記ＷＭ信号の強度予測を行うための予測手段と、前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して埋め込みを制御する制御手段と、前記予測手段からの出力と前記制御手段からの出力とを使用して出力ＷＭ信号を生成するための手段とを含む電子透かし埋め込み装置が提供される。
本発明によれば、リアルタイム・コンテンツに対して電子透かしを埋め込むための装置を含むディジタル・テレビ装置であって、ディジタル放送を受信し、デコードしてリアルタイム・コンテンツを生成するための手段と、生成されたリアルタイム・コンテンツを表示するための表示手段と、前記デコードされたリアルタイム・コンテンツに対して電子透かしを埋め込むための電子透かし埋め込み装置とを含み、前記電子透かし埋め込み装置は、前記リアルタイム・コンテンツを入力する入力手段と、前記リアルタイム・コンテンツを保持する入力バッファと、前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成するための生成手段と、前記生成された出力ＷＭ信号を保持するための出力バッファと、前記生成された出力ＷＭ信号を受け取って、前記リアルタイム・コンテンツに埋め込むための埋め込み手段とを含み、前記生成手段は、前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測から前記ＷＭ信号の強度予測を行うための予測手段と、前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して埋め込みを制御する制御手段と前記予測手段からの出力と前記制御手段からの出力とを使用して出力ＷＭ信号を生成するための手段とを含むディジタル・テレビ装置が提供される。
本発明のディジタル・テレビ装置においては、前記電子透かし埋め込み装置は、ディジタル・テレビ装置の外付け装置または前記ディジタル・テレビ装置の内部に含まれることが好ましい。本発明における前記入力手段は、前記リアルタイム・コンテンツを分割して入力する手段を含むことが好ましく、前記制御手段は、前記メッセージと秘密鍵とを使用して埋め込みを制御することが好ましい。

図１は、本発明のＷＭ信号生成装置を示した図。
図２は、本発明のＷＭ生成処理のフローチャート。
図３は、本発明の予測手段の詳細な機能ブロック図。
図４は、本発明における遅延時間後の強度予測の実施の形態を示した図。
図５は、本発明においてビデオ信号の遅延時間後における輝度を予測する予測部の機能ブロック図。
図６は、本発明のおけるタイル分割の実施の形態を示した図。
図７は、本発明における輝度予測の実施の形態を示した図。
図８は、本発明におけるビデオ信号を処理するための判断手段の機能ブロック図。
図９は、本発明におけるオーディオ信号に対する出力ＷＭ信号生成の処理を示したフローチャート。
図１０は、本発明における出力ＷＭ信号生成の他の実施の形態を示した図。
図１１は、本発明における出力ＷＭ信号生成のさらに他の実施の形態を示した図。
図１２は、本発明におけるビデオ信号に対する出力ＷＭ信号生成の処理を示したフローチャート。
図１３は、本発明のＷＭ信号生成装置の他の実施の形態を示した図。
図１４は、図１３に示したＷＭ信号生成装置における処理を示したフローチャート。
図１５は、本発明の電子透かし埋め込み装置の実施例を示した図。
図１６は、本発明の電子透かし埋め込み装置の他の実施例を示した図。
図１７は、本発明の電子透かし埋め込み装置のさらに他の実施例を示した図。
図１８は、本発明の電子透かし埋め込み装置のさらに他の実施例を示した図。
図１９は、本発明の電子透かし埋め込み装置のさらに他の実施例を示した図。
図２０は、本発明の電子透かし埋め込み装置のさらに他の実施例を示した図。
図２１は、本発明の電子透かし埋め込み装置を含むディジタル・テレビ装置の実施の形態を示した図。
図２２は、従来の電子透かし埋め込み装置の概略ブロック図。
図２３は、従来の電子透かし埋め込み装置の概略ブロック図。
図２４は、ＷＭ信号生成による時間遅延の関係を示した図。
発明を実施するための最良の態様
以下、本発明を図面に示した実施の形態をもって詳細に説明するが、本発明は、後述する実施の形態に限定されるものではない。
図１には、本発明のＷＭ信号生成装置の機能ブロック図を示す。図１に示した本発明のＷＭ信号生成装置１０は、リアルタイム・コンテンツを入力するための入力手段１２と、入力手段１２により得られたリアルタイム・コンテンツを切れ目無く処理するための入力バッファ１４と、入力バッファ１４に蓄積されたデータを使用して遅延時間後のＷＭ信号を予測するための予測手段１６と、生成された強度のＷＭ信号を出力前に蓄積しておくための出力バッファ１８と、埋め込み値を生成してＷＭ信号の値を制御する制御手段２０と、埋め込み値を使用して出力ＷＭ信号を生成するＷＭ信号生成手段２２とを含んで構成されている。予測手段１６と、制御手段２０と、ＷＭ信号生成手段２２とは、本発明において最終的に埋設される出力ＷＭ信号を生成するための機能を有する生成手段を構成する。
入力手段１２には、生演奏、ライブ番組などのデータが、リアルタイム・コンテンツとして入力されている。この入力手段１２は、リアルタイム・コンテンツの分割手段として機能し、リアルタイム・コンテンツを、ＡＤＣといった手段を使用してディジタル化し、分割した後入力バッファ１４へと送る。入力バッファ１４は、受け取ったデータを適切な処理フレーム分ごとに記憶し、予測手段１６へと渡す。入力バッファ１４は、リアルタイム・コンテンツに対して切れ目無くＷＭ信号を与えると共に、リアルタイム・コンテンツの強度の時間的な予測を与えることができるように、少なくとも１フレーム分以上のリアルタイム・コンテンツを保持できる構成とされている。
予測手段１６は、データがオーディオ・データである場合には、心理聴覚モデルなどを使用し、所定の遅延時間後のＷＭ信号の強度を予測する。また、予測手段は、リアルタイム・コンテンツが画像データである場合には、例えば画像データをタイル状の矩形領域に分割し、タイルごとの輝度を予測して、輝度に応じた信号を生成させることにより、ＷＭ信号を予測する。制御手段２０により生成される埋め込み値は、ＷＭ信号の予測値をリアルタイム・コンテンツにそのまま加えるか、または強度が０となるように制御され、ＷＭ信号生成手段２２において出力ＷＭ信号として生成される。出力ＷＭ信号は、出力バッファ１８にいったん保持され、その後、ミキサ、マイクロフォン、プロジェクタといった埋め込み手段２４により、リアルタイム・コンテンツに対して埋め込まれる。
本発明においてリアルタイム・コンテンツに対するＷＭ信号の埋め込みは、生演奏などのオーディオに対しては、アンプおよびスピーカといった音響発生装置を使用してＷＭ信号に対応するオーディオ信号を生成して行うことができる。また、生番組、映画などの場合には、ビデオ信号のためのミキサなどを使用して行うことができる。また、オーディオ信号と、ビデオ信号との両方に、それぞれＷＭ信号を埋め込むこともできる。
ここで、入力されたリアルタイム・コンテンツが入力バッファ１４に取り込まれ、出力バッファ１８から出力ＷＭ信号として出力されるまでに要する時間遅延について詳細に説明する。本発明においてオーディオ・データを例にとって説明すると、ＣＤ音質での再生を行う場合には、４４．１ｋＨｚの周波数が使用され、例えば１フレームを１０２４サンプルで構成するとすれば、入力バッファ１４においては、オーディオ・データを蓄積するため、少なくとも２３．２ｍｓの時間を要する。また、後述する心理聴覚モデルを使用してＤＦＴおよびマスク量の計算を実行させＷＭ信号を作成するために必要な時間は、典型的には１０２４サンプルのデータを使用して約３．７ｍｓを要する。出力バッファ１８についても入力バッファと同様に、ＣＤ音質での再生を考慮すれば入力バッファと同程度の２３．２ｍｓの遅延時間が発生する。
したがって、ＷＭ信号は、リアルタイム・コンテンツに埋め込まれるまでに、少なくとも約５０ｍｓ程度、またその他ＡＤＣなどの遅延がある場合には、１００ｍｓ程度の時間遅延が想定される。したがって、特に品質を考慮すれば、概ね１００ｍｓ程度後の信号強度を予測することが必要である。また、ＤＶＤ音質でのコンテンツの提供を行う場合には、９６ＫＨｚでの入力および出力が必要となるが、この場合にも約５０ｍｓ〜１００ｍｓの間のリアルタイムのデータを予測することで充分に対応することができる。
本発明における予測手段１６は、リアルタイム・コンテンツの時間的発展を予測して、強度の調整されたＷＭ信号を算出する。リアルタイム・コンテンツの時間的発展の予測は、ＷＭ信号を生成するために使用するリアルタイム・コンテンツのフレームの時間的挙動を、例えばフレームの時間間隔で適切な関数を使用して外挿などすることにより実行され、出力ＷＭ信号が埋め込まれる時間における重み付けを算出する。この重み付けを、心理聴覚モデルを使用して得られたＷＭ信号に乗じ、ＷＮ信号の強度にオリジナル・コンテンツの時間的発展を反映させる。
本発明において予測は、指数関数、線形関数、三角関数などを使用することができるし、またそれ以外のいかなる関数でも使用することができる。
また、本発明における制御手段２０は、秘密鍵および電子透かしとして埋め込みを行うためのメッセージ保持しており、秘密鍵およびＷＭ信号を生成するためのメッセージのビットを使用して、埋め込み値を生成する。生成された埋め込み値は、予測手段１６により生成された信号の埋め込み判断のために使用される。ＷＭ信号生成手段２２は、埋め込み値に基づいて出力ＷＭ信号を生成する。出力するＷＭ信号は、出力バッファ１８に蓄積された後、埋め込み手段２４へと送られる。埋め込み手段２４には、リアルタイム・コンテンツも入力され、生成された出力ＷＭ信号の埋め込みが行われる。ＷＭ信号の埋め込まれた埋め込み済みコンテンツは、適切な媒体を通してユーザへと提供され、仮にユーザが違法にコピーしてＣＤや、インターネットを通して営業目的に提供した場合にでも、違法なコピーであることを証明することが可能とされる。
図２は、本発明のＷＭ信号生成装置における処理を示したフローチャートである。本発明のＷＭ信号生成処理は、ステップＳ１０において、入力装置からリアルタイム・コンテンツをサンプリングして、入力バッファに保持させる。ステップＳ１２において、予測手段を使用して知覚刺激値の遅延時間後の強度を予測する。ステップＳ１４において秘密鍵およびメッセージを使用してＷＭ信号の埋め込みを制御するための埋め込み値を、制御手段を使用して生成する。埋め込み値Ｓは、本発明においては＋１または−１の正負の２値を取る。この埋め込み値が出力ＷＭ信号生成手段へと送られて、ＷＭ信号の出力を制御するために使用される。具体的には、ステップＳ１６において、制御手段により生成された埋め込み値Ｓが、０よりも大きいか否かを判断し、埋め込み値Ｓが０よりも大きな場合（ｙｅｓ）には、ステップＳ１８において予測値を使用して、出力ＷＭ信号を生成する。また、Ｓが０よりも小さな場合（ｎｏ）には、ステップＳ２０において予測値を使用せずに０の信号強度の出力ＷＭ信号を生成する。その後周波数領域の出力ＷＭ信号を、時間領域の出力ＷＭ信号に変換し、例えば出力バッファに保持させ、ステップＳ２２において埋め込み手段へと出力して埋め込みを行わせる。
以下、本発明の特に予測手段１６、制御手段２０、ＷＭ信号生成手段２２において実行される処理について説明する。
Ａ．予測手段の詳細構成と処理
（Ａ−１）オーディオ信号に対するＷＭ信号の予測およびその処理
予測手段１６においては、入力バッファ１４に保持されたリアルタイム・コンテンツのデータを使用し、（１）心理聴覚モデルを使用したＷＭ信号生成および（２）オリジナル・コンテンツの時間発展を予測したＷＭ信号の重み付け計算を含む、品質向上のための処理を実行する。図３は、本発明においてオーディオ信号に対してＷＭ信号を生成するために使用することができる予測手段１６の詳細構成を示した図である。図３に示した予測手段１６は、周波数解析手段３０と、エネルギー解析手段３２と、強度・周波数予測手段３４と、不可聴量計算手段３６とを含んで構成されている。
周波数解析手段３０は、入力バッファ１４から処理フレーム分だけデータを取り込んで、周波数解析を、フーリエ変換、コサイン変換、ウエーブレット変換などを使用して実行する。本発明における処理フレームは、入力バッファ１４における１フレームのサンプル数と等しく、例えば１０２４サンプルとすることができる。また、処理フレームのサンプル数は、処理能力に応じて、５１２サンプルまたは２０４８サンプルを使用することができる。
また、エネルギー解析手段３２は、周波数解析手段３０により得られた周波数解析の結果を使用して、各周波数成分ωの振幅ｘ＠ｙｆ，ω＠ｚの２乗和を処理フレームを単位として算出し、当該周波数成分ωのエネルギーとする。ここで、ｆは、処理フレームの番号であり、ωは、周波数成分である。得られるフレームｆの周波数帯ｂのエネルギーを、Ｅ＠ｙｆ，ｂ＠ｚとして表すと、下記式でエネルギーＥ＠ｙｆ，ｂ＠ｚが得られる。

上記式（１）中、Ｂａｎｄ（ｂ）は、周波数帯ｂに含まれる周波数成分の集合である。本発明においては、周波数帯ごとのエネルギーは、上述した２乗和ではなく、単なる振幅の和として算出することもでき、またこれら以外のいかなる手法によってもエネルギーを得ることができる。
強度・周波数予測手段３４は、例えばバッファ・メモリを含んで構成されており、現在処理を行っているフレームｆとを使用して、次のフレーム（ｆ＋１）における強度・周波数予測を実行する。図４には、強度・周波数予測手段におけるフレーム間の関係を示す。図４は、横軸を時間とし、縦軸を音圧として、処理フレームと、リアルタイム・コンテンツの振幅との関係を示している。現在処理を行っているフレームは、ｆフレームであり、予測するべきフレームは（ｆ＋１）である。図４に示すように本発明においては、各周波数ごとの時間発展を指数関数、線形関数、または三角関数などを使用して予測し、重み付けを算出することができる。図４には、周波数帯ごとのエネルギーから得られる、指数関数を使用したフィッティング曲線がＦＣで示されている。また、本発明においては、特に１つの処理フレームから予測を行うのではなく、２つの処理フレームを連続し、より高精度の時間展開から、予測を行うこともできる。
予測を指数関数を使用して行う場合には、重み付けファクタは、下記式（２）で与えられ、予測を線形関数を使用して行う場合には、下記式（３）で与えることができる。

上記式（３）において、予測値が負になった場合には、ゼロを使用する。また、周波数成分の予測は、得られたエネルギーの予測値を使用して、下記式（４）、またはより簡易に下記式（５）により与えられる。

上記式中、ωは、周波数帯Ｂａｎｄ（ｂ）を構成する周波数成分である。また、｜Ｂａｎｄ（ｂ）｜は、集合Ａのサイズを示す。
その後、生成された周波数成分の予測値を使用して、不可聴量計算手段３６は、人間には不可聴な程度のＷＭ信号の大きさａ_ωを、各周波数成分ごとに計算する。本発明においては、心理聴覚モデル自体を、要旨とするものではないので詳細な説明は省略するが、心理聴覚モデルのための手法としては、例えば前掲の従来技術を参照することができる。また、本発明の他の実施の形態においては振幅のみの予測ではなく、位相の予測を行うことも同様にして行うことができる。
（Ａ−２）ビデオ信号に対するＷＭ信号予測およびその処理
ビデオの場合にも概ね同様の処理を使用することができる。図５には、本発明においてビデオ信号に対する予測手段１６の詳細構成を示す。以下、本発明においてビデオ信号に対して強度予測に基づくＷＭ信号を生成する処理について説明する。入力バッファ１４から入力されたビデオ・フレームは、縦横に画素が配置され、それぞれの画素に対して輝度が対応する３次元データとしてタイル分割手段４０へと入力される。図６には、本発明において行うタイル分割の実施の形態を示した図である。タイル分割手段４０は、図６に示されるように、ビデオ・フレームを所与のサイズのタイルに分割し、タイルに含まれる画素を選択し、画素の座標および輝度（ｘ，ｙ，ｃ）を特定する。
それぞれのタイルに含まれる画素が特定された後、輝度解析手段２４によりタイル内における輝度分布の解析をタイルごとに輝度の平均を算出し、タイルごとの平均輝度Ｔａｖを生成することにより実行する。
輝度保持手段４４には、すでに処理したフレームの同一タイルにおける平均輝度Ｔａｖｆが保持されており、フレームごとの所定のタイルＴについての平均輝度の変化を適切な関数を使用して、外挿またはフィッティングを行うことにより、ＷＭ信号が埋め込まれる時間遅延後のリアルタイム・コンテンツの平均輝度に対する重み付けを予測する。その処理を、線形予測により行う場合の実施の形態につき、図７に示す。オーディオ信号の場合と同様に、ゼロよりも小さな値が予測された場合には、ゼロを使用する。
不可視量計算手段４６では、予測された重み付けの値を使用して、不可視量ａ_ｔを算出し、出力を行う。また、フレームｆおよび過去のフレームの輝度の分布を解析し、イメージがズーム中であるか、またはパン中であるか、または静止中であるかを判定することができる。このためには、本発明において動きベクトル検出方法を使用することができる。この場合、ズーム中であれば、その時点で処理するべきフレームについての変調量についてもズームに対応するように増加・減少させる。また、パン中であれば、変調量についてもパンを行い、静止している場合には、変調量について特に変更を加えない。さらに、本発明においてはズームまたはパンの検出のため、タイルごとの輝度ではなく、ピクセルごとの輝度を用いた方が精度的には向上するものの、計算量も増加するので、ＷＭ信号の埋め込みのための時間遅延を考慮すれば、システム能力に応じて適宜設定することができる。
Ｂ．制御手段の詳細構成およびその処理
（Ｂ−１）オーディオ信号におけるＷＭ信号生成の処理
図８は、本発明において採用する制御手段２０の詳細な機能ブロック図である。図８に示すように本発明においてオーディオ信号に対してＷＭ信号を埋め込むための埋め込み値を生成する制御手段２０は、埋め込むべきメッセージを保持するメッセージ保持手段５０と、秘密鍵保持手段５２と、埋め込み値生成手段５４とを含んで構成されている。これらの情報と、疑似乱数（＋１，−１）とを使用して埋め込みを行うビットごとに埋め込み値Ｓを生成する。生成された埋め込み値Ｓは、ＷＭ信号生成手段２２へと送られ、出力ＷＭ信号を生成するために使用される。なお、本発明においては電子透かしにつき、秘密性がそれほど重要でない場合には、秘密鍵を使用せずにＷＭ信号を生成することもできる。その際にも後述する手続きは、同様に使用することができる。
図９は、本発明のＷＭ信号生成のための処理を示したフローチャートである。図９に示すように、ＷＭ信号の生成は、ステップＳ３０において、周波数帯ごとに埋め込むメッセージの符号（１または０）と、それに対応する疑似ランダム数（−１または１）を読み出す。ステップＳ３２では、読み出された埋め込みビットｍｂと、疑似ランダム数ｐｒとを使用して、下記式を用いて周波数帯ごとに異なる埋め込み値Ｓを生成する。
ｓ＝（２ｍｂ−１）ｐｒ （６）
上記式（６）で与えられる埋め込み値Ｓは、＋１または−１を取る値である。
次いで、ステップＳ３４において、生成された埋め込み値Ｓを使用して、ＷＭ信号の制御を行う。ステップＳ３４における判断においてＳが正の場合（ｙｅｓ）には、下記式（７）で示されるようにステップＳ３６で予測された強度ａ_ωを有するランダムな位相のＷＭ信号を生成し、ｓが負の場合（ｎｏ）には、ステップＳ３８で０のＷＭ信号を生成する。

上記式（７）中、θ_ωは、０〜２πまでのランダムな値である。
本発明においては、秘密鍵と、電子透かしとして埋め込むメッセージのビットと疑似ランダム数を使用して、Ｓで与えられる周波数帯ごとの埋め込み規則を生成し、さらに生成された埋め込み値が負の場合にはＷＭ信号（ＷＭ信号を埋め込まない）の大きさを０として、ＷＭ信号と、リアルタイム・コンテンツとの間に時間遅延が生じた場合でも、ＷＭ信号の０の周波数成分をマーカとして使用することを可能とし、耐性が向上できる。
その後、ＷＭ信号生成手段２２は、上記式（７）にしたがって生成された（ａ_ωｅｘｐθ_ω、０）のセットとして構成される出力ＷＭ信号を、逆フーリエ変換して、周波数領域におけるＷＭ信号を時間領域におけるＷＭ信号に変換する。その後、ステップＳ４０において、例えば出力バッファへと生成された出力ＷＭ信号を送り、リアルタイムで提供されるコンテンツへと埋め込みを行う。上述した方法は、周波数成分ごとに品質の調整を行うことができるものの、逆フーリエ変換を必要とするので、時間遅延を増加させる場合もある。このため、本発明の他の実施の形態においては、下記のように、予めＷＭ信号を周波数領域について用意しておく方法を用いることができる。
図１０は、本発明の周波数領域のＷＭ信号を予め用意する、他の実施の形態の埋め込み方法を示したフローチャートである。図１０に示すようにステップＳ５０において予め周波数領域におけるＷＭ信号を生成して、適切なメモリに保持させておいた不可視量を保持させておくＷＭ信号は、周波数領域において、下記式（８）で与えることができる。
ｎ_ω＝Ａｅｘｐθ_ω （８）
上記式中、θ_ωは、０〜２πまでのランダムな値である。その後、ステップＳ５２において、埋め込み値を計算し、ステップＳ５４において適切なメモリなどに保持されているＷＭ信号の大きさａ_ωを読み出し、ステップＳ５６において周波数領域におけるＷＭ信号を下記式（９）を使用して生成する。

その後、ステップＳ５８において周波数領域のＷＭ信号を時間領域における出力ＷＭ信号へと変換して、リアルタイム・コンテンツに対しての埋め込みを行う。上記式（９）で示されるように、本発明の他の実施の形態においては、どのフレームにおいても共通したｎ_ωを使用することになるので、高速化を達成することができる。また、同一のｎ_ωを使用することでＷＭ信号に規則的なパターンが生成されてしまう場合には、品質上問題を生じさせる可能性がある。このような場合には、異なるｎ_ωを複数用意しておき、フレームごとに異なるＷＭ信号を使用することができる。
さらに、本発明の他の実施の形態においては、より高速化を達成するために予め時間領域のＷＭ信号を生成しておき、逆フーリエ変換を実行させずにＷＭ信号として埋め込みを行わせることができる。図１１には、本発明において上述した別の実施の形態のフローチャートを示す。図１１に示されるように、ステップＳ６０で、時間領域のＷＭ信号を逆フーリエ変換して生成しておく。その後、ステップＳ６２において、秘密鍵、メッセージのビットおよび疑似ランダム数を使用して埋め込み値ｓｂを算出する。その後、ステップＳ６４においてＷＭ信号の振幅ａ_ωを読み出し、算出されたｓｂを使用して、ステップＳ６６において下記式（１０）にしたがい時間領域における出力ＷＭ信号ｚｔを生成し、埋め込みを行う。

上記式中、Ｅ_ａ，ｂは、周波数帯ｂにおける非可聴エネルギーであり、Ｅ_ｎ，ｂは、準備した周波数帯ｂの不可聴量のエネルギーであり、下記式（１１）、（１２）で与えられる。

図１１に示した方法によれば、周波数領域からの逆フーリエ変換が不要となり、高速化を達成することが可能となる。
（Ｂ−２）ビデオ信号におけるＷＭ信号生成およびその処理
ビデオ信号について本発明を適用する場合にも図９に示したと同様の機能のＷＭ信号生成処理を使用することができる。ビデオ信号としては、本発明においては、ＭＰＥＧ−２や、さらに高次のフォーマットのビデオ信号を使用することができ、ビデオ信号に対して本発明を適用する場合には、例えばタイルごとに付する符号と、疑似ランダム数とを定めておき、秘密鍵を使用して埋め込み値Ｓをタイルごとに算出し、不可視量を加算・減算することにより電子透かしを埋め込むことができる。図１２には、本発明をビデオ信号に適用する場合のフローチャートを示す。
図１２に示したビデオ信号に対して本発明を適用する処理は、ステップＳ７０において秘密鍵およびメッセージの埋め込みビットを読み出す。ステップＳ７２においては、タイルごとに疑似ランダム数と、秘密鍵、メッセージのビット、およびビットを使用して埋め込み数Ｓを算出し、ステップＳ７４において埋め込み数が０より大きいか否かを判断し、ステップＳ７６およびステップＳ７８において、Ｓに関連して０の信号を含むＷＭ信号を生成し、ステップＳ８０においてこれらの信号を出力ＷＭ信号として生成する。
図１３は、本発明のＷＭ信号生成装置１０の別の実施の形態を示した図である。図１０に示したＷＭ信号生成装置１０は、リアルタイム・コンテンツを分割して入力するための入力手段１２と、入力手段１２により得られたリアルタイム・コンテンツを切れ目無く処理するための入力バッファ１４と、入力バッファ１４に蓄積されたデータを使用してＷＭ信号を将来的に予測する、予測手段１６と、生成されたＷＭ信号を出力前に蓄積しておくための出力バッファ１８とを含んで構成されている。制御手段２０は、秘密鍵およびメッセージを含んでおり、図１に説明したと同様に、埋め込み値Ｓを算出し、ＷＭ信号生成手段２２へと埋め込み値Ｓを送っている。
ＷＭ信号生成手段２２により生成された出力ＷＭ信号は、出力バッファ１８にいったん送られ、保持される。また、図１３に示したＷＭ信号生成装置１０は、出力制御手段２６を含んで構成されている。この出力制御手段２６は、リアルタイム・コンテンツの時間発展から生成した予測値と、その時点でのリアルタイム・コンテンツとから、予測値とリアルタイム・コンテンツの強度との差分を生成する。
出力制御手段２６により生成された差分は、予め不可聴量または不可視量を考慮して設定されたしきい値と比較され、ＷＭ信号と、その時点でのリアルタイム・コンテンツとが入力されていて、予測した値が不可聴量または不可視量として妥当であるか否かを判断し、妥当である場合には、出力バッファ１８に保持されたＷＭ信号を出力させ、リアルタイム・コンテンツに対して電子透かしとして埋め込みを行う。また、ＷＭ信号が大きすぎる場合には、埋め込み手段２４への出力を中止させることで、ＷＭ信号の埋め込みを行わせない。また、本発明においては、適切なアッテネーション・ファクタ（ａｔｔｅｎｕａｔｉｏｎ ｆａｃｔｏｒ）を乗算して適切な不可聴量とした後、出力を行う構成とすることができる。
図１４には、本発明の図１３において示した実施の形態における処理において追加される処理のフローチャートを示す。図１４に示すように、ステップ９０において、その時点でのリアルタイム・コンテンツを取得する。ステップＳ９２では、予測値とその時点でのコンテンツの強度との差分を算出する。ステップＳ９４では、差分が許容範囲内であるか否かの判断を行い、許容範囲内であれば（ｙｅｓ）、ステップＳ９６で出力ＷＭ信号の埋め込みを行わせる。また、差分が許容範囲内ではない場合（ｎｏ）には、ＷＭ信号を埋め込むとリアルタイム・コンテンツの品質を低下させるので、出力ＷＭ信号の埋め込みを行わない。
本発明の図１３および図１４において示した実施の形態を使用することにより、不適切な大きさのＷＭ信号が埋め込まれることが無くなり、リアルタイムで提供されるコンテンツの品質をさらに向上させることが可能となる。また、図１４に示した予測値の妥当性を判断する処理は、ビデオ信号に対してＷＭ信号を埋め込む場合にも適用することができる。
以下、本発明のＷＭ信号生成装置、電子透かし埋め込み装置およびディジタル・テレビ装置を、図面に示した具体的な実施例をもって説明する。
（実施例１）：放送設備での利用
図１５には、テレビや、ラジオで生放送するコンテンツの著作権を示すために使用される電子透かし埋め込み装置の実施例を示す。図１５に示した実施例では、スタジオなどにおいてマイクロフォン７０を使用してリアルタイム・コンテンツを録音する。録音したコンテンツを分割手段として用いられるミキサ７２を使用して２分割して、一方のマイク出力をミキサ７４に入力する。他のマイク出力を、本発明のＷＭ信号生成装置７６へと入力して、出力ＷＭ信号７８を生成させる。出力ＷＭ信号７８は、出力制御手段２６により大きさのチェックを受けた後、ミキサ７４へと入力される。入力された出力ＷＭ信号は、その時点でのリアルタイム・コンテンツに対して埋め込まれ、埋め込み済みコンテンツ８０が生成される。生成された埋め込み済みコンテンツ８０は、適切な通信ネットワークを介してユーザに提供されている。図１５に示した実施の形態におけるネットワークとしては、地上波通信、衛星通信、有線ネットワーク、またはインターネットなどを使用することができる。
本発明の図１５に示した実施例で、ミキサ７４がＷＭ信号の大きさを調整することができる場合には、ＷＭ信号生成装置７６には、図１３および図１４で説明したＷＭ信号の大きさを判断する構成を採用することは必要ではない。しかしながら、図１５に示した実施例においてもＷＭ信号生成装置７６として、図１３に示した構成を採用することができる。図１５に示した実施例によれば、スタジオなどにおける生演奏、ライブ中継に対して電子透かしを付加してユーザに提供することが可能となる。
図１６は、コンサート会場において本発明の電子透かし生成装置を適用する場合の実施例を示した図である。図１６に示された実施例においては、コンサートホールにおいて演奏されるクラシック音楽のように、マイクロフォンなどの録音手段を介さずに、直接ユーザに対してコンテンツが提供される。このため、図１６に示した実施例では、電子透かし埋め込み装置８０は、マイクロフォンといった入力手段１４と、アンプリファイア、スピーカといったオーディオ信号生成装置８２とを含んで構成されており、コンテンツに対して直接電子透かしの埋め込みが行われる。
また、本発明のさらに他の実施例では、オーディオ信号発生装置８２は、１台だけではなく、各演奏者に１つずつ配置することも可能である。複数のオーディオ信号発生装置を演奏者に近接して配置する実施例では、リアルタイム・コンテンツと出力ＷＭ信号との整合性がより確実に保証でき、より品質の向上を達成することができる。この際、複数の出力ＷＭ信号が時間的にずれて混合してしまうと、耐性に悪影響を与えるので、複数のオーディオ信号発生装置８２は、タイミング的に同期されていることが好ましい。
図１７は、本発明において不正な録音を行ったものを特定することを可能とする実施の形態を示した図である。図１７に示した実施例において、クラシック音楽がリアルタイム・コンテンツとして提供されているものとする。ここで、シートＳ_０に着席している観客が不正に録音しているものとする。各シートＳ_０〜Ｓ_３には、コンサート・ホールに固有の識別番号が付されており、例えば識別番号に対応した出力ＷＭ信号が、オーディオ信号として小型マイクロフォンなどにより観客の近くから提供される構成とされている。本発明の図１７に示した実施例では、観客それぞれに隣接して配置した電子透かし埋め込み装置８４により出力ＷＭ信号が生成されている。
しかしながら、本発明の図１７に示した実施例の他の変更例では、図１７に示すように、電子透かし生成サーバ８６を別に設け、識別番号に対応したＷＭ信号を電子透かし生成サーバ８６がシートごとに割り当てられた秘密鍵またはメッセージを使用して、シートごとに出力ＷＭ信号を生成することができる。シートごとに生成された出力ＷＭ信号は、シートなどに配置された小型マイクロフォンへと送られることで、観客ごとに異なる出力ＷＭ信号の提供を可能とする。
図１７に示した実施例は、シートごとに異なる電子透かしを埋め込むことにより、不正に録音を行った者が後にＣＤやＤＶＤに記録して不正に販売した場合にでも、不正な録音を行った者を追跡しやすくなるという効果が得られる。
本発明の電子透かし埋め込み装置は、映画館などにおいて映写されている映像といったリアルタイム・コンテンツの著作権を主張するため、電子透かしを埋め込むためにも使用することができる。以下の実施例では、リアルタイムで提供されるイメージ・コンテンツに対して電子透かしを埋め込む場合について説明する。埋め込まれるメッセージとしては、オーディオ信号と同様に、上映会場、主催者・共催者、上映内容、上映日時、コピー条件などとすることができる。
図１８には、本発明において電子透かしを映像に埋め込む場合の実施例を示す。図１８において示す本発明の特定の実施例においては、プロジェクタ８８からオリジナルのイメージ・コンテンツの再生を行っている。同時に本発明の出力ＷＭ信号生成装置９０には、プロジェクタ８８のビデオ出力が入力され、出力ＷＭ信号が生成されている。生成された出力ＷＭ信号は、プロジェクタ８８へと出力される。ＷＭ信号が埋め込まれた映像は、プロジェクタ８８からスクリーン９２へと投映され、リアルタイムでイメージ・コンテンツへと出力ＷＭ信号を埋め込むことができる。
図１９には、オリジナルのイメージ・コンテンツのビデオ出力を取り出すことができるものの、ミキサを使用することができない場合の実施例を示す。図１９に示した実施例では、オリジナルのイメージ・コンテンツをプロジェクタ９４からスクリーン９２に投影して、ユーザに対してコンテンツの提供を行う。ビデオ出力は、本発明のＷＭ信号生成装置９０へと入力され、出力ＷＭ信号が生成される。生成された出力ＷＭ信号は、プロジェクタ１００へと送られ、プロジェクタ１００からスクリーン９２へと投影することで、スクリーン９２上で電子透かしの埋め込みを行うことが可能となる。
また図２０には、オリジナルのイメージ・コンテンツのビデオ出力を取り出すことも、ミキサを使用することもできない場合の実施例を示す。図２０に示した実施例では、オリジナルのイメージ・コンテンツをプロジェクタ９４からスクリーン９２に投影して、ユーザに対してコンテンツの提供を行う。スクリーン９２に投影されたコンテンツは、例えばビデオ・カメラ１０２により取得され、本発明のＷＭ信号生成装置９０へと入力される。その後、本発明の方法により遅延された出力ＷＭ信号を生成し、出力ＷＭ信号を、プロジェクタ１００からスクリーン９２へと投影することで、スクリーン上で電子透かしの埋め込みを行うことが可能となる。上述したように、本発明の図１８〜図２０に示した実施例では、客席に不正にビデオ・カメラを持ち込んで録画されたビデオ・イメージに対しても電子透かしを埋め込むことが可能となる。
図２１には、ディジタル・テレビ装置でユーザに対して提供されたコンテンツがそのユーザにより不正目的で録画された場合に対応する実施の形態を示す。図２１に示した実施例では、本発明の電子透かし生成装置は、ディジタル・テレビ装置に隣接して配置される外付け装置１０４の形態とされている。ディジタル通信ネットワークを介してアンテナから受信されたデータは、チューナ・デコーダ部１０６でチューニングおよび復号され、誤り訂正およびデマルチプレクサなどを介してテレビ・モニタへと出力されるコンテンツ１０８とされる。コンテンツ１０８は、ミキサ１１０において２分割され、本発明のＷＭ信号生成装置１１２へと入力される。図１８に示した本発明のＷＭ信号生成装置１１２は、これまで説明した方法により、オーディオ信号および画像信号に対して出力ＷＭ信号１１４を生成し、ミキサ１１６へと生成された出力ＷＭ信号１１４を送り、コンテンツ１０８に対して電子透かしを埋め込むことを可能としている。図２１に示した実施例では、ディジタル・テレビ放送において送信されたコンテンツに対して電子透かしを埋め込むことにより、ユーザによる不正な録画または録音を識別することができる構成とされている。
また、本発明のさらに別の実施例では、特に時間的に変動が大きなリアルタイム・コンテンツばかりではなく、美術館に展示されている美術品に対してプロジェクタを使用して電子透かしを投映しておくことにより、美術品のビデオ画像の不正取得を防止するためにも使用することができる。さらに、本発明は、インターネット配信におけるストリーミングに対して電子透かしをリアルタイムで埋め込む場合にも適用することができる。
本発明において説明した各手段は、中央処理装置（ＣＰＵ）、ＲＡＭ、ＲＯＭなどのメモリ、ハードディスクといった記憶手段などを含むコンピュータまたは情報処理装置において、ソフトウエア的に構成されるソフトウエア・モジュールから構成することができる。また、上述したソフトウエア・モジュールは、本発明において説明した機能を有する限り、図面に示した機能ブロックに対応する構成として含まれるものではなく、異なった機能ブロック構成として構成することができる。さらに、本発明の電子透かし生成方法を実行させるためのプログラムは、種々のプログラミング言語、例えばアセンブラ言語、Ｃ言語、Ｃ＋＋言語、Ｊａｖａ（登録商標）、などを使用して記述することができ、本発明のプログラムを記述したコードは、ＲＡＭ、ＲＯＭ、フラッシュ・メモリなどにおけるファームウエアとして含ませることができるし、磁気テープ、フレキシブル・ディスク、ハード・ディスク、コンパクト・ディスク、光磁気ディスク、ディジタル・バーサタイル・ディスク（ＤＶＤ）といったコンピュータ可読な記録媒体に保持させることができる。
これまで本発明を図面に記載した具体的な実施の形態をもって説明してきたが、本発明は、上述した特定の実施の形態に制限されるものではなく、種々の変更例および他の実施の形態であっても、本発明の効果を奏する範囲において、これまで知られたいかなる構成要素であっても用いることができる。

Claims (15)

1. リアルタイム・コンテンツに対して電子透かしとして埋め込まれるＷＭ信号を生成するための装置であって、
   前記リアルタイム・コンテンツを入力する入力手段と、
   前記リアルタイム・コンテンツを保持する入力バッファと、
   前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成する生成手段と、
   前記生成された出力ＷＭ信号を保持する出力バッファとを含み、
   前記生成手段は、
   前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測からＷＭ信号の強度予測を行う予測手段と、
   前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して、出力ＷＭ信号の値を制御するための埋め込み値を生成する手段と、
   前記埋め込み値により出力ＷＭ信号を制御する手段であって、前記埋め込み値が正の場合、前記予測手段からの前記強度予測を用いて出力ＷＭ信号を生成し、前記埋め込み値が負の場合、前記出力ＷＭ信号を生成しない手段、
   を含むＷＭ信号生成装置。
2. 前記知覚刺激値は、音響または輝度であり、前記予測手段は、前記入力バッファに保持されたデータを使用して前記所定時間後のリアルタイム・コンテンツの強度に対応した予測不可聴量または予測不可視量のＷＭ信号の強度予測を行う、請求項１に記載のＷＭ信号生成装置。
3. 前記埋め込み値を生成する手段は、秘密鍵と、前記メッセージと、疑似ランダム数とを使用して、正負の２値化された埋め込み値を生成する手段である、請求項１または２に記載のＷＭ信号生成装置。
4. 前記ＷＭ信号生成装置は、さらに、リアルタイム・コンテンツと、前記生成されたＷＭ信号を埋め込む時間経過後のリアルタイム・コンテンツの予測値について強度の差分を生成し、前記差分が予め設定されたしきい値より大きい場合には前記出力バッファへの前記ＷＭ信号の出力を中止する、出力制御手段を含む、請求項１〜３のいずれか１項に記載のＷＭ信号生成装置。
5. 前記入力手段は、前記リアルタイム・コンテンツを分割して入力する手段を含み、前記生成手段は、該分割されたリアルタイム・コンテンツを使用してＷＭ信号を生成する、請求項１〜４のいずれか１項に記載のＷＭ信号生成装置。
6. リアルタイム・コンテンツに対して電子透かしとして埋め込まれるＷＭ信号を生成するための方法であって、
   前記リアルタイム・コンテンツを入力するステップと、
   前記リアルタイム・コンテンツを保持するステップと、
   前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成するステップと、
   前記生成された出力ＷＭ信号を保持するステップを含み、
   前記生成するステップは、
   前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測からＷＭ信号の強度予測を行うステップと、
   前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して、出力ＷＭ信号の値を制御するための埋め込み値を生成するステップと、
   前記埋め込み値により出力ＷＭ信号を制御するステップであって、前記埋め込み値が正の場合、前記予測手段からの前記強度予測を用いて出力ＷＭ信号を生成し、前記埋め込み値が負の場合、前記出力ＷＭ信号を生成しないステップ、
   を含むＷＭ信号生成方法。
7. 請求項６記載の方法の各ステップをコンピュータに実行させるプログラム。
8. 請求項７記載のプログラムを記憶したコンピュータ可読な記録媒体。
9. リアルタイム・コンテンツに対して生成した電子透かし（ＷＭ信号）を埋め込むための装置であって、
   前記リアルタイム・コンテンツを入力する入力手段と、
   前記リアルタイム・コンテンツを保持する入力バッファと、
   前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成する生成手段と、
   前記生成された出力ＷＭ信号を保持する出力バッファと、
   前記生成された出力ＷＭ信号を受け取って、前記リアルタイム・コンテンツに埋め込む、埋め込み手段とを含み、
   前記生成手段は、
   前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測からＷＭ信号の強度予測を行う予測手段と、
   前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して、出力ＷＭ信号の値を制御するための埋め込み値を生成する手段と、
   前記埋め込み値により出力ＷＭ信号を制御する手段であって、前記埋め込み値が正の場合、前記予測手段からの前記強度予測を用いて出力ＷＭ信号を生成し、前記埋め込み値が負の場合、前記出力ＷＭ信号を生成しない手段、
   を含む電子透かし埋め込み装置。
10. 前記リアルタイム・コンテンツは、生演奏される音楽である、請求項９に記載の電子透かし埋め込み装置。
11. 前記リアルタイム・コンテンツは、生放送される放送コンテンツである、請求項９に記載の電子透かし埋め込み装置。
12. 前記電子透かし埋め込み装置は、ディジタル・テレビ装置の外付け装置または前記ディジタル・テレビ装置の内部に含まれる、請求項９〜１１のいずれか１項に記載の電子透かし埋め込み装置。
13. リアルタイム・コンテンツに対して電子透かしを埋め込むための装置を含むディジタル・テレビ装置であって、
    ディジタル放送を受信し、デコードしてリアルタイム・コンテンツを生成するための手段と、
    生成されたリアルタイム・コンテンツを表示するための表示手段と、
    前記デコードされたリアルタイム・コンテンツに対して生成した電子透かし（ＷＭ信号）を埋め込むための電子透かし埋め込み装置とを含み、
    前記電子透かし埋め込み装置は、
    前記リアルタイム・コンテンツを入力する入力手段と、
    前記リアルタイム・コンテンツを保持する入力バッファと、
    前記リアルタイム・コンテンツからリアルタイム・コンテンツの予測強度に対応する出力ＷＭ信号を生成する生成手段と、
    前記生成された出力ＷＭ信号を保持する出力バッファと、
    前記生成された出力ＷＭ信号を受け取って、前記リアルタイム・コンテンツに埋め込む、埋め込み手段とを含み、
    前記生成手段は、
    前記リアルタイム・コンテンツの所定時間後の知覚刺激値の予測からＷＭ信号の強度予測を行う予測手段と、
    前記リアルタイム・コンテンツに電子透かしとして埋め込むメッセージを使用して、出力ＷＭ信号の値を制御するための埋め込み値を生成する手段と、
    前記埋め込み値により出力ＷＭ信号を制御する手段であって、前記埋め込み値が正の場合、前記予測手段からの前記強度予測を用いて出力ＷＭ信号を生成し、前記埋め込み値が負の場合、前記出力ＷＭ信号を生成しない手段、
    含むディジタル・テレビ装置。
14. 前記電子透かし埋め込み装置は、ディジタル・テレビ装置の外付け装置または前記ディジタル・テレビ装置の内部に含まれる、請求項１３に記載のディジタル・テレビ装置。
15. 前記入力手段は、前記リアルタイム・コンテンツを分割して入力する手段を含み、前記生成手段は、該分割されたリアルタイム・コンテンツを使用してＷＭ信号を生成する手段を含み、前記制御手段は、秘密鍵と、前記メッセージと、疑似ランダム数とを使用して、正負の２値化された埋め込み値を生成する手段を含む
    、請求項１３または１４に記載のディジタル・テレビ装置。

Images