JP4754204B2 - 電子透かし埋込装置 - Google Patents

Description

この発明は映像に埋め込む電子透かしの検出レベルを維持し、映像信号の画質を良好に保つ電子透かし埋込装置に関するものである。

電子透かしを埋め込む方式として、動画像データあるいはその動画像データから得られる数値のうちのある１つ以上の値、またはそれらの値を演算する数値をパラメータとして変更することによって電子透かしを埋め込むものがある。このような方式により電子透かしを動画像に埋め込む場合、電子透かしを埋め込む前の動画像データはカメラまたはデジタルＶＴＲテープなどから出力される。また、電子透かしを動画像に埋め込んだデータを放送、配信、媒体記録などに利用する場合には、映像信号源の動画像に電子透かしを埋め込んだ後、符号化して、直接放送や配信を行うか、あるいはハードディスク、光学的ディスクなどを用いた記録媒体などの映像信号源に再度記録し、必要に応じてこの符号化されたデータを復号し再生する方法をとるのが一般的である。その際、動画像の放送、配信、記録に必要なデータ量を削減するため、動画像データを何らかの方法で符号化圧縮することが多い。その場合、元の動画像データと、符号化後に復号して再生される動画像データは画質が異なっている。このため、入力された動画像に埋め込まれた電子透かしが、符号化方式に依存した影響を受け、動画像を構成するフレームごとの特性やそのフレーム内部のある領域ごとの特性によっては、再生時に復号した動画像データからは、電子透かしの正しい埋込データを検出できなくなることがあった。

一方、電子透かしを必ず検出できるようにするためには、電子透かしを強く埋め込むようにパラメータを設定しておけばよいわけだが、必要以上に強く埋め込んだために、今度は画質を不必要に劣化させてしまうという問題がある。多くの電子透かしでは、電子透かしを埋め込む際の「強さ」と、画質との関係はトレードオフの関係にあり、そのバランスをとるために電子透かしを埋め込む際の「強さ」をより最適に調整する必要がある。しかし、この調整は、人為的に行うとなると、１回の作業で済ますことは困難であり、極めて非効率なものとなる。したがって、電子透かしの検出を行い、かつ画質が許容範囲内にあるという満足できる埋込強度を得ることを自動的な処理により可能にすることが要求されていた。この課題を解決するために、電子透かし埋込部により電子透かしを埋め込んだのち、符号化圧縮の信号処理を経由して得た記録前の動画像データを復号して、その復号データについて埋め込まれた電子透かしを検出し、その検出結果に基づいて埋込強度を決定するパラメータを変更し、以降の入力動画像データに対して埋め込むようにするシステムが提案されている（例えば、特許文献１参照）。

特開２００３−２１９３７６号公報

上述したように、元の動画像は、電子透かしが埋め込まれた後に符号化されるが、その際、動画像の利用のためにＭＰＥＧ方式などによる符号化圧縮を行うことによって、データ量を削減してから放送、配信、記録を行っている。その場合、符号化によって発生する画質劣化はシーンによって大きく変動することが知られている。しかし、特許文献１による方法は、電子透かしの検出率に重点をおいて埋込強度を決めており、符号化による画質劣化を直接考慮した処理を行っていない。すなわち、画質の劣化に応じて透かし検出率の変動を予測した埋込強度の変更するような制御を行うことができない。例えば１つのシーンについて、連続するフレーム毎に電子透かしの状態を検出し、その状態に応じて埋込強度を段階的に調整して埋込強度を決定しているので、シーンチェンジが起り画質劣化に大きい変動があった場合、その画質劣化に応じた最適な埋込強度を決定することができなかった。また、画質の劣化の度合によっては、埋込強度を同じように設定しても、電子透かしの検出率を同じ値となるように制御できない場合があった。

この発明は、上記問題点を解決するためになされたもので、画質劣化度あるいは、電子透かしの検出率をも加えてフィードバックする埋込強度の制御により、画質に応じて、より適した電子透かしの埋込強度を決めることが可能な電子透かし埋込装置を得ることを目的とする。

この発明に係る電子透かし埋込装置は、任意に設定される埋込強度の電子透かしを、入力された動画像データに埋め込む電子透かし埋込部と、電子透かしが埋め込まれた動画像データを符号化して復号した動画像データの、元の動画像データに対する画質劣化度を抽出する画質劣化検出部と、電子透かしが埋め込まれた動画像データを符号化して復号した動画像データから埋め込まれた電子透かしを検出し、この電子透かしの検出率を抽出する電子透かし検出部と、画質劣化度、電子透かしの検出率および電子透かしの所定の検出率が得られる埋込強度の予め定められた関係に基づいて、画質劣化検出部で抽出された画質劣化度および電子透かし検出部で抽出された電子透かしの検出率に対応する電子透かしの所定の検出率が得られる埋込強度を決定し、決定した値を前記電子透かし埋込部の埋込強度を更新する設定値として出力する埋込強度決定部とを備えたものである。

この発明によれば、画質劣化度と電子透かし検出率をフィードバックすることによる埋込強度の制御により、画質劣化に対して所定の電子透かしの検出を維持する最適な埋込強度の埋め込みを可能とする効果がある。

実施の形態１．
図１はこの発明の実施の形態１による電子透かし埋込装置の構成を示すブロック図である。
図において、１０は、例えばデジタルＶＴＲの再生装置のような映像信号源、２０は電子透かし埋込装置である。３０は電子透かし埋込装置２０から出力される電子透かしが埋め込まれた映像信号が入力され、これを符号化した画像データを利用する利用装置で、デジタルＶＴＲ、ＤＶＤレコーダ、送信や配信装置に該当する。この利用装置３０は、符号化後の画像データを分岐して復号しモニタ出力として取り出せるように構成されている。

電子透かし埋込装置２０は、構成として、電子透かし埋込部２１、画質劣化検出部２２および埋込強度決定部２４を備えている。画質劣化検出部２２は、電子透かしが埋め込まれ符号化した後、復号された動画像データの、元の動画像データに対する画質劣化度をフレーム単位で抽出する手段である。埋込強度決定部２４は、画質劣化検出部２２で抽出された画質劣化度に基づいて、電子透かしの要求された所定の検出率に対応した埋め込み強度を算出し、算出した値を電子透かし埋込部の埋込強度の設定値として出力する手段である。電子透かし埋込部２１は、埋込強度決定部２４で算出され埋込強度の電子透かしを、映像信号源１０から出力された動画像データに埋め込む手段である。

図２は電子透かしの埋込強度を固定した場合の画質劣化度と電子透かしの検出率の関係を示す説明図である。電子透かしの検出率は、図１の構成で、復号部３２の出力である動画像データから得られたものを表す。図２から分るように、ある埋込強度を設定した時に期待できる電子透かしの検出率を、画質劣化度ごとに知ることができる。したがって、システムの動作中に、画質が劣化し、検出率が低下した場合あるいは低下が想定しえる場合に、次の埋込強度の値を決めることが可能である。

次に動作について説明する。
映像信号源１０から出力された動画像データは、電子透かし埋込装置２０の電子透かし埋込部２１と画質劣化検出部２２に入力される。埋込強度決定部２４は複数段階の埋込強度を選択できるようになっており、最初の動画像データに対しては、予め決められた標準的な埋込強度を設定するように動作する。したがって、電子透かし埋込部２１において、最初の動画像データには標準的な埋込強度の電子透かしが埋め込まれる。電子透かしが埋め込まれた動画像データは、利用装置３０において、例えばＭＰＥＧ２の符号化方式による符号化部３１によって符号化される。符号化されたデータは復号部３２により復号され、モニタ出力として画質劣化検出部２２に出力される。画質劣化検出部２２では、映像信号源１０から直接入力された動画像データに対して、復号された動画像データがどれだけ劣化しているかを表す画質劣化度をフレーム単位で抽出し、埋込強度決定部２４に出力する。

埋込強度決定部２４では、抽出された画質劣化度に対して適切な埋込強度を算出する。例えば図２に示したように複数の埋込強度に対する処理式を予め用意しておき、現在の埋込強度に対する式を用い、抽出された現在の画質劣化度に対する現在の検出率を算出する。この現在の検出率が予め要求された値以下の場合、現在より少し大きい値の埋込強度を選択し、次の埋込強度の設定値として電子透かし埋込部２１に出力する。このことにより、次回抽出される画質劣化度で検出率が改善されていなければ、再度同様な処理を繰り返す。なお、この処理において、現在の画質劣化度に対して検出率が予め要求された値以上となる最初の式の埋込強度を選択するようにしてもよい。

埋込強度決定部２４の別な処理例として、図３に例示するテーブルを用いる方法がある。このテーブルには、画質劣化度が占める複数の範囲に区分され、各範囲に対応して、電子透かしの所定の検出率が得られる最適な埋込強度が予め設定されている。埋込強度決定部２４では、画質劣化検出部２２で検出された現在の画質劣化度を用いてこのテーブルを参照し、最適な埋込強度を決定し、決定した新たな埋込強度を電子透かし埋込部２１に与える。電子透かし埋込部２１では、映像の変化などにより画質劣化度が変るまで、以降の動画像データにこの埋込強度の電子透かしを埋め込む。したがって、画質劣化度に応じて見込んだ検出率の埋込強度を設定することができる。

以上のように、この実施の形態１によれば、電子透かしの埋込と符号化により生じる画質劣化度を抽出して、この抽出した画質劣化度を基に所定の電子透かしの検出率が得られる埋込強度を設定値として決定し、以降の動画像データに埋め込むようにしたものである。したがって、画質劣化度をフィードバックすることによる埋込強度の制御により、画質劣化に対して所定の電子透かしの検出を維持する最適な埋込強度の埋め込みを可能とする効果が得られる。すなわち、画質の劣化に応じて検出率の変動を予測し、埋込強度を変更できる。例えばシーンによって大きく変動する画質劣化に対して所定の電子透かしの検出を維持する埋め込みを行うことができる。また、電子透かしの検出率が同じであっても、画質の劣化に応じてより適した埋込強度に変えることができる。

実施の形態２．
図４はこの発明の実施の形態２による電子透かし埋込装置の構成を示すブロック図である。図において、図１と同じ構成部分には同一符号を付し、原則として、その説明は省略する。
上記実施の形態１では、画質劣化検出部２２で評価の基準とする元の信号には映像信号源１０の動画像データを用いたが、この実施の形態２では、電子透かし埋込部２１の埋込後のデータを使用するようにした。したがって、画質劣化検出部２２では、電子透かしが埋め込まれた動画像データを基準とし、このデータを符号化したのち復号した動画像データの画質劣化度を抽出する。この場合、埋込強度決定部２４で埋込強度を決定する際に電子透かしに起因する画質劣化分を考慮しないで決定する。例えば、図３に示したようなテーブルを用いる場合、テーブルデータは事前に同じ条件で行って得たもので作成される。

以上のように、この実施の形態２によれば、符号化により生じる画質劣化度のみを抽出して、この抽出した画質劣化度を基に最適な埋込強度を更新する設定値を決定し、以降の動画像データに埋め込むようにしたものである。したがって、画質劣化度をフィードバックすることによる埋込強度の制御により、画質劣化に対して所定の電子透かしの検出を維持する最適な埋込強度の埋め込みを可能とする効果が得られる。すなわち、電子透かしの検出率が変動しなくても、画質の劣化に応じて検出率の変動を予測し、埋込強度を変更できる。例えばシーンによって大きく変動する画質劣化に対して所定の電子透かしの検出を維持する埋め込みを行うことができる。また、電子透かしの検出率が同じであっても、画質の劣化に応じてより適した埋込強度に変えることができる。

実施の形態３．
図５はこの発明の実施の形態３による電子透かし埋込装置の構成を示すブロック図である。図において、図１と同じ構成部分には同一符号を付し、原則として、その説明は省略する。
この実施の形態３では、電子透かし検出部２３を新たに設けたことが、上記実施の形態１と異なっている。電子透かし検出部２３は、利用装置３０のモニタ出力である、符号化したのち復号した動画像データから埋め込まれた電子透かしを検出し、その検出率を抽出する手段である。また、上記実施の形態１とは異なる点は、埋込強度決定部２４が画質劣化検出部２２で抽出した画質劣化度と電子透かし検出部２３で検出した電子透かしの検出率を用いて埋込強度を決定するようにしたことである。

次に動作について説明する。
電子透かし埋込部２１において、最初の動画像データには標準的な埋込強度の電子透かしが埋め込まれたとする。画質劣化検出部２２では、復号された動画像データの画質劣化度をフレーム単位で抽出する。一方、電子透かし検出部２３では、復号した動画像データから、埋め込まれた電子透かしを検出し、その検出率を抽出する。抽出された画質劣化度と電子透かしの検出率は埋込強度決定部２４に与えられ、これらに基づいて最適な埋込強度が決定される。

例えば図２に示したように複数の埋込強度に対する処理式を予め用意しておき、現在の埋込強度に対して抽出された現在の画質劣化度と検出率を用いて、予め要求された検出率の所定値が得られる式を選択する。現在の埋込強度に対応する式上で現在の画質劣化度と検出率が近似的にも満たされ、かつその検出率が所定値以上であった場合には問題ないが、それ以外の場合には次のように処理する。
現在の検出率が所定値以下の場合、現在の画質劣化度で検出率が所定値以上となる式を選択し、その式の対応する埋込強度を電子透かし埋込部２１における次の埋込強度の設定値として決定する。

この実施の形態３の埋込強度決定部２４の別な処理例として、図７に例示するテーブルを用いる方法がある。図７のテーブルは、画質劣化度の範囲、電子透かしの埋込強度、その検出率の関係について予め設定している。このテーブルにおける用語の説明は次のようになる。
埋込強度Ａ： ある画質劣化度に対する標準的な埋込強度
埋込強度Ｂ： ある画質劣化度に対する最大の埋込強度
検出率ａ： 通常の動作で維持すべき検出率の下限
検出率ｃ： 画質面を考えて埋込強度を弱めてもよい検出率の上限

この処理例における電子透かし埋込装置の処理のアルゴリズムを図６に示す。
まず、電子透かし埋込部２１において、入力された元の動画像データに標準的な埋込強度Ａの電子透かしを埋め込む（ステップＳＴ１）。埋込強度Ａの電子透かしを埋め込んだあと符号化、復号された動画像データについて、画質劣化検出部２２により、元の動画像データに対する画質劣化度を取得し、また、電子透かし検出部により、電子透かしの検出率を取得する（ステップＳＴ２）。埋込強度決定部２４では、取得した画質劣化度の範囲において、対応する取得検出率が下限値ａ以上であるかについて判定する（ステップＳＴ３）。下限値ａ以下であれば埋込強度を最大の埋込強度Ｂに設定して電子透かし埋込部２１に処理させ（ステップＳＴ６）、ステップＳＴ２の処理を再度行う。一方、ステップＳＴ３の判定で、検出率が下限値ａ以上となった場合、埋込強度Ａの場合の検出率が埋込強度を弱めても良い検出率の上限値ｃよりも上の値を持つかを判定する（ステップＳＴ４）。この判定で、期待検出率が上限値ｃ以下の場合、現在の埋込強度Ａは変更せず（ステップＳＴ７）、電子透かし埋込部２１は以降の動画像データに対して同じ埋込強度Ａの電子透かしを埋め込む。一方、検出率が上限値ｃ以上の場合、標準的な埋込強度Ａに設定し（ステップＳＴ５）、以降の動画像データに対して同じ埋込強度Ａの電子透かしを埋め込むようにする。このことにより、画質劣化度が大きいときには、劣化度が小さいときより電子透かしの埋込強度上げ方を大きくすることができる。
なお、符号化に起因した本来の画質劣化度に変動分が生じる場合がある。その要因は符号化部３１、復号部３２で処理に用いるバッファなど処理経路によるものであるが、このような場合には、その変動分を考慮したテーブルを作成しておくとよい。

この実施の形態３のさらに別な処理例として図８に例示するテーブルを用いて行う方法がある。ここでは、電子透かしの埋込強度を４段階切り替えられるようにしている。最初に埋め込む電子透かしの標準的な埋込強度を例えば強度１として、その時取得した画質劣化度と検出率を用いて図８のテーブルを参照し、画質劣化度を考慮した適切な埋込強度の設定を行う。
また、さらに別な処理例として図９に例示するテーブルを用いて行う方法がある。ここでは、検出率の条件を図８の場合よりも細分化して埋込強度の強化を図っている。

以上のように、この実施の形態３によれば、電子透かしの埋込と符号化により生じる画質劣化度と電子透かし検出率とを抽出して、この抽出した画質劣化度、電子透かし検出率および現在の埋込強度を基に、電子透かしの検出率に応じて埋込強度を変更する際に画質劣化度により埋込強度の調整量を変えて埋込強度を更新する設定値を決定し、以降の動画像データに埋め込むようにしたものである。したがって、画質劣化度と電子透かし検出率をフィードバックすることによる埋込強度の制御により、画質劣化に対して所定の電子透かしの検出を維持する最適な埋込強度の埋め込みを可能とする効果が得られる。すなわち、画質の劣化に応じて検出率の変動を予測し、埋込強度を変更できる。例えばシーンによって大きく変動する画質劣化に対して所定の電子透かしの検出を維持する埋め込みを行うことができる。また、電子透かしの検出率が同じであっても、画質の劣化に応じてより適した埋込強度に変えることができる。

実施の形態４．
図１０はこの発明の実施の形態４による電子透かし埋込装置の構成を示すブロック図である。図において、図５と同じ構成部分には同一符号を付し、原則として、その説明は省略する。
図５の上記実施の形態３では、画質劣化検出部２２で評価の基準とする元の信号には映像信号源１０の動画像データを用いたが、この実施の形態４では、電子透かし埋込部２１の埋込後のデータを使用するようにした。したがって、画質劣化検出部２２では、電子透かしが埋め込まれた動画像データを基準とし、このデータを符号化して復号した動画像データの画質劣化度を抽出する。また、この実施の形態４の場合も、図６と同様なアルゴリズムで処理が行われ、埋込強度決定部２４で埋込強度を決定する際には図７、図８または図９と同様なテーブルが使用される。しかし、この場合のテーブルに設定された画質劣化度は、電子透かしに起因する画質劣化分を考慮しない値で予め決められているものとする。

以上のように、この実施の形態４によれば、実質的に符号化のみにより生じる画質劣化度と、電子透かしが埋め込まれ符号化して復号した動画像データの電子透かし検出率とを抽出して、この抽出した画質劣化度、電子透かし検出率および現在の埋込強度を基に、電子透かしの検出率に応じて埋込強度を変更する際に画質劣化度により埋込強度の調整量を変えて埋込強度を更新する設定値を決定し、以降の動画像データに埋め込むようにしたものである。したがって、画質劣化度と電子透かし検出率をフィードバックすることによる埋込強度の制御により、画質劣化に対して所定の電子透かしの検出を維持する最適な埋込強度の埋め込みを可能とする効果が得られる。すなわち、電子透かしの検出率が変動しなくても、画質の劣化に応じて検出率の変動を予測し、埋込強度を変更できる。例えばシーンによって大きく変動する画質劣化に対して所定の電子透かしの検出を維持する埋め込みを行うことができる。また、画質の劣化が同じであっても、電子透かしの検出率に応じて埋込強度を変えることができる。

この発明の実施の形態１による電子透かし埋込装置の構成を示すブロック図である。 電子透かしの埋込強度を固定した場合の画質劣化度と電子透かしの検出率の関係を示す説明図である。 この発明の実施の形態１に係る埋込強度決定部が用いるテーブル例を示す説明図である。 この発明の実施の形態２による電子透かし埋込装置の構成を示すブロック図である。 この発明の実施の形態３による電子透かし埋込装置の構成を示すブロック図である。 この発明の実施の形態３に係る電子透かし埋込処理のアルゴリズムを示すフローチャートである。 この発明の実施の形態３に係る処理に使用するテーブル例を示す説明図である。 この発明の実施の形態３に係る処理に使用する他のテーブル例を示す説明図である。 この発明の実施の形態３に係る処理に使用するさらに他のテーブル例を示す説明図である。 この発明の実施の形態４による電子透かし埋込装置の構成を示すブロック図である。

符号の説明

１０ 映像信号源、２０ 電子透かし埋込装置、２１ 電子透かし埋込部、２２ 画質劣化検出部、２３ 電子透かし検出部、２４ 埋込強度決定部、３０ 利用装置、３１ 符号化部、３２ 復号部。

Claims (2)

1. 任意に設定される埋込強度の電子透かしを、入力された動画像データに埋め込む電子透かし埋込部と、
   電子透かしが埋め込まれた動画像データを符号化して復号した動画像データの、元の動画像データに対する画質劣化度を抽出する画質劣化検出部と、
   電子透かしが埋め込まれた動画像データを符号化して復号した動画像データから埋め込まれた電子透かしを検出し、この電子透かしの検出率を抽出する電子透かし検出部と、
   画質劣化度、電子透かしの検出率および電子透かしの所定の検出率が得られる埋込強度の予め定められた関係に基づいて、前記画質劣化検出部で抽出された画質劣化度および前記電子透かし検出部で抽出された電子透かしの検出率に対応する電子透かしの所定の検出率が得られる埋込強度を決定し、決定した値を前記電子透かし埋込部の埋込強度を更新する設定値として出力する埋込強度決定部とを備えた電子透かし埋込装置。
2. 任意に設定される埋込強度の電子透かしを、入力された動画像データに埋め込む電子透かし埋込部と、
   電子透かしが埋め込まれた動画像データを符号化して復号した動画像データの、前記電子透かし埋込部による電子透かしが埋め込まれた動画像データに対する画質劣化度を抽出する画質劣化検出部と、
   電子透かしが埋め込まれた動画像データを符号化して復号した動画像データから埋め込まれた電子透かしを検出し、この電子透かしの検出率を抽出する電子透かし検出部と、
   画質劣化度、電子透かしの検出率および電子透かしの所定の検出率が得られる埋込強度の予め定められた関係に基づいて、前記画質劣化検出部で抽出された画質劣化度および前記電子透かし検出部で抽出された電子透かしの検出率に対応する電子透かしの所定の検出率が得られる埋込強度を決定し、決定した値を前記電子透かし埋込部の埋込強度を更新する設定値として出力する埋込強度決定部とを備えた電子透かし埋込装置。

Images