JP2012205168A - 映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

Abstract

【課題】少ない演算量で、表示装置に表示される映像に付加情報を埋め込み、さらに、専用の検出手段を用いることなく付加情報を確認することが可能な電子透かしを埋め込むことができる映像処理装置を提供する。
【解決手段】映像データをフレーム毎に入力し、入力した映像データに対し、時間経過に従って映像データの各構成画素に対して輝度の加算と減算をフレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込んで出力する。
【選択図】図１

Description

本発明は、デジタルデータに電子透かしを埋め込む映像処理装置、映像処理方法及び映像処理プログラムに関する。

従来から、映像データの違法コピーの検出や防止などの目的で、映像データに著作権情報などを付加情報として埋め込むために、各種の電子透かしの方式が提案されている。例えばＭＰＥＧなどの圧縮技術を用いて映像情報を圧縮する際に、特定の周波数成分に対して操作を行なうなどの方法により、映像の品質劣化を大きく損なうことなく付加情報を埋め込む方式がある。

また、シンボル、ランダム・パターン、ディジタル透かし、テキストメッセージで構成するコピー防止パターンを、ディジタル動画の各フレーム内に複数のピクセルとして埋め込み、表示されるピクセル強度は、人間の観測者には見えないがビデオカメラを用いて作られたコピーにおいて不快なエイリアシングを生成するように故意に選択された変調特性を用いて、時間的周波数において変調された方式も知られている（例えば、特許文献１参照）。

特開２００２−３１４９３８号公報

しかしながら、これらの方式は演算量が多く、高精細映像に対してリアルタイムで処理を行うためには極めて多くの演算リソースが必要であるため、バーチャルリアリティなどのリアルタイムでの映像生成と表示を必要とする用途には適さないという問題がある。また、埋め込まれた情報の検出には埋め込み方式に対応した検出処理が必要であり、映像に対して加工が行なわれた場合や、表示された映像をビデオカメラなどで再撮影された場合などには、埋め込まれた情報を復元できるとは限らないという問題もある。

本発明は、このような事情に鑑みてなされたもので、少ない演算量で、表示装置に表示される映像に付加情報を埋め込み、さらに、専用の検出手段を用いることなく付加情報を確認することが可能な電子透かしを埋め込むことができる映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的とする。

本発明は、映像データをフレーム毎に入力し、入力した前記映像データに対し、時間経過に従って前記映像データの各構成画素に対して輝度の加算と減算を前記フレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込んで出力することを特徴とする。

本発明は、前記輝度変調処理は、前記透かし情報が複数の処理単位領域に分割されており、前記輝度変調処理した各処理単位領域内の構成画素の空間平均輝度を時間平均化した結果が、前記輝度変調処理前の当該処理単位領域内の画素を平均化した輝度と等しいことを特徴とする。

本発明は、前記処理単位領域内の輝度の時間的あるいは空間的変化が観察者の知覚限界以下または知覚限界に近い値となるように画素に対する輝度変調の振幅を設定することを特徴とする。

本発明は、前記輝度変調の振幅が、変調処理対象画素の輝度に基づき制御されることを特徴とする。

本発明は、前記輝度変調の振幅が、変調処理対象画素近傍の空間的輝度変化の大きさに基づき制御されることを特徴とする。

本発明は、前記映像データは、ＣＧ技術によって生成されたものであり、変調処理対象画素近傍の空間的輝度変化の大きさが、ＣＧモデルデータを用いて導出されることを特徴とする。

本発明は、前記映像データは、ＣＧ技術によって生成されたものであり、輝度変調の振幅が、変調処理対象画素が含まれるオブジェクトの誘目性に基づき制御されることを特徴とする。

本発明は、前記処理単位領域の位置が、前記映像データ内の被写体の動きに追従して制御されることを特徴とする。

本発明は、映像データをフレーム毎に入力する入力手段と、入力した前記映像データに対し、時間経過に従って前記映像データの各構成画素に対して輝度の加算と減算を前記フレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込む透かし情報埋め込み手段と、前記透かし情報が埋め込まれた前記映像データを出力する出力手段とを備えたことを特徴とする。

本発明は、映像データをフレーム毎に入力する入力手段と、透かし情報が埋め込まれた前記映像データを出力する出力手段とを備える映像処理装置上のコンピュータに、前記映像データに対する透かし情報埋め込み処理を行わせる映像処理プログラムであって、入力した前記映像データに対し、時間経過に従って前記映像データの各構成画素に対して輝度の加算と減算を前記フレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込む透かし情報埋め込み処理を前記コンピュータに行わせることを特徴とする。

本発明によれば、少ない演算量で、表示装置に表示される映像に付加情報を埋め込み、さらに、専用の検出手段を用いることなく付加情報を確認することが可能な電子透かしを埋め込むことができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 原映像の一例を示す図である。 透かし情報の一例を示す図である。 輝度減算を行った画像の一例を示す図である。 輝度加算を行った画像の一例を示す図である。 加算と減算を併存させた画像の一例を示す図である。 時間軸での平均化を行った画像の一例を示す図である。 時間軸での平均化を行った画像の一例を示す図である。 輝度の時間変化を示す図である。 輝度と変調振幅の関係を示す図である。 輝度と変調振幅の関係を示す図である。 変調振幅係数の一例を示す図である。 ＣＧシーンの画像の一例を示す図である。 図１３に示す画像のオブジェクト構成を示す図である。 輝度変化マップの一例を示す図である。 変調振幅係数の一例を示す図である。 誘目性マップの一例を示す図である。 変調振幅係数の一例を示す図である。

以下、図面を参照して、本発明の一実施形態による映像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１００は、電子透かしを埋め込む対象の映像を生成する映像生成装置であり、ＣＧ（コンピュータ・グラフィックス）を用いて、動画像を生成して出力する。符号２０１は、映像生成装置１００によって生成された１フレーム分のデジタルの映像データである。符号２０２は、映像データに対して輝度変調を加えるための輝度変化情報から構成する輝度変化マップである。符号２０３は、対象映像の誘目性情報が定義された誘目性マップである。

符号３００は、映像データ２０１に対して電子透かしを埋め込む処理を施して出力する映像処理装置であり、コンピュータ装置や専用の論理回路によって構成されたハードウェアによって構成する。符号３０１は、映像データ２０１、輝度変化マップ２０２及び誘目性マップ２０３を入力する映像入力部である。符号３０２は、電子透かしとして埋め込むべき付加情報である透かし情報を設定する透かし情報設定部である。符号３０３は、透かし情報に基づいて透かし情報が復元可能であるように定めた規則に従って、輝度変調処理を行う輝度変調部である。符号３０４は、映像データ中の輝度変化を検出する輝度変化検出部である。符号３０５は、電子透かしが埋め込まれた映像データを出力する映像出力部である。符号４００は、映像出力部３０５から出力する映像データを表示する映像表示装置である。

次に、図１に示す映像処理装置３００の処理動作を説明する。まず、映像入力部３０１は、電子透かしの埋め込み対象となる原映像である映像データ２０１を映像生成装置１００から入力する。ここでは、図２に示す原映像に対して、図３に示すように、原映像の画素に対応付けられた値０の処理単位領域と、値１の２つの処理単位領域から成り、映像データ２０１と同じサイズ（同じ画素数）の図形パターンを透かし情報として埋め込むものとし、透かし情報の値１に対応する処理単位領域内の画素に対して変調を行い、透かし情報の値０に対応する処理単位領域内の画素に対しては変調を行なわない規則とする。

透かし情報設定部３０２には、図３に示す透かし情報が予め内部に記憶されている。輝度変調部３０３は、透かし情報設定部３０２から出力する透かし情報に基づき、映像入力部３０１において入力した映像データ２０１に対して輝度変調を行う。輝度変調は、映像データ２０１の各画素に対して、透かし情報の値１に対応する画素の値に輝度変化量を加算する、または、減算することによって行う。すなわち、透かし情報の値１の領域内の映像データ２０１の画素の輝度値に輝度変化量が加算されるか、減算されることになる。

輝度変調部３０３は、輝度変調後の映像データ２０１を映像出力部３０５へ出力する。映像出力部３０５は、輝度変調部３０５から出力された輝度変調後の映像データ２０１を映像表示装置４００において表示可能な表示データに変換して、映像表示装置４００へ出力する。これにより、映像表示装置４００には、輝度変調後の映像データ２０１が表示されることになる。

図４および図５に、この輝度変調を行なった後の映像データ２０１を示す。図４は、透かし情報を加算した例であり、図５は、透かし情報を減算した例である。なお、図６に示すように、処理単位領域内で、輝度が加算された画素と減算された画素を並存させるように処理しても良い。これにより、処理単位領域内の輝度変調後の画素の空間平均輝度を、輝度変調前の原映像と等しく保つことができ、肉眼での透かしの不可視性を向上させることができる。

次に、輝度変調部３０３は、処理単位領域内の画素の輝度に対して時間軸での平均化を行なうために、同一画素に対して、輝度減算が行なわれたフレームと輝度加算が行なわれたフレームが交互に繰り返されるように、図７に示すように、映像信号の奇数フレームと偶数フレームに対して、それぞれ逆符合の輝度変調を行なう。図７に示す例では、繰り返し周期は２フレームであり、連続した２フレームの輝度の時間平均が原映像と等しくなるが、繰り返し周期は２フレームには限定されない。

例えば、１フレームの輝度減算と２フレームの輝度加算を３フレーム毎に繰り返すことにしてもよい。この場合、加算処理と減算処理の輝度変化量を変え、輝度加算量を輝度減算量の１／２とすることで、時間平均輝度を原映像と等しくすることができる。あるいは、輝度変化量をフレーム毎に細かいステップで変化させてもよい。また、図８に示すように、図６の輝度加算と輝度減算が並存する輝度変調において、加算する領域と減算する領域をフレーム毎に入れ替えるようにしてもよい。

輝度変調された原映像信号は、映像出力部３０５を介して映像表示装置４００に出力されて、透かし情報が埋め込まれた映像が映像表示装置４００上に表示されることになる。映像処理装置３００は、映像生成装置１００から出力する映像データ２０１に対して１フレーム毎にこの処理動作を繰り返し行う。

前述したように、処理単位領域の空間平均輝度あるいは空間平均輝度の時間平均を原映像と等しくすることによって、透かしの不可視性を向上させることができるが、その不可視性と検出性は輝度変化量に大きく依存する。ここで、処理単位領域内の画素の輝度の時間的あるいは空間的変化が観察者の知覚限界以下または知覚限界に近い値となるよう輝度変化量を設定することで、不可視性に優れた透かしの埋め込みを行なうようにしてもよい。

輝度変調された画素の輝度の時間軸に沿った変化を図９に示す。図９において、Ｔは変調周期である。映像表示装置４００に表示されたこの画素を変調周期と同じ露光時間枠ｔでビデオカメラ等で再撮影する場合、時間枠ｔでの時間平均輝度は原画像に等しいため、撮影された画素の輝度は原画像を撮影した場合と等しくなり、透かしパターンは写りこまない。露光時間をＴの整数倍とした時間枠ｔ’についても同様に透かしパターンは写りこまない。

露光時間がＴの整数倍でない時間枠ｔ’’内で輝度減算が行なわれている時間ｔ２は、輝度加算が行なわれている時間ｔ１＋ｔ３よりも長く、時間平均輝度は原映像よりも低下する。結果として、輝度変調が行なわれていない領域あるいは逆符合の変調が行なわれている領域との間に輝度境界が生じ、透かしパターンが写りこむことになる。家庭用ビデオカメラなどでは、露光時間を正確に変調周期Ｔに一致するよう制御することは困難であり、多くの場合に、透かしパターンが写りこんだ映像が再撮影されることになる。

適正な輝度変調の振幅は、原映像の処理単位領域や演算対象画素の輝度によっても異なる。例えば輝度値の範囲を０〜２５５とした場合、輝度変調の結果として画素の輝度が負となるか２５５を超える条件での変調を行なうことはできない。図１０に、例として、画素単位の単純加減算によって振幅２０の変調を行なう場合の対象画素の輝度と実際に変調可能な振幅との関係を示す。この関係を関数やＬＵＴ（ルックアップテーブル）として映像処理装置３００内に保持し、変調振幅の制御に用いることにより、不適切な振幅を用いた変調処理を回避するようにしてもよい。

また、同様の方法により、原映像の輝度と変調振幅の関係を柔軟に変化させるようにしてもよい。例えば、青空など、輝度が平坦な領域では透かしの存在が目立ちやすい。一般に青空の輝度は高いため、図１１に示すように、輝度が高い場合は振幅を小さくするような関数またはＬＵＴを用いて変調振幅の制御を行なうことで青空部分の透かしの不可視性を高めることができる。

また、輝度が平坦な領域では透かしの存在が目立ちやすい。そこで輝度変調部３０３は、変調処理対象画素近傍の複数の画素に着目し、それらの輝度値の統計量である分散を求め、分散が０であれば、すべての着目画素が同じ輝度値、すなわち、その領域内に輝度変化が存在しないことになるが、分散が大きくなるに従い、対象画素近傍での輝度変化が激しくなっていると判断される。さらに、図１２に示すように、予め所望の特性に調整された関数またはＬＵＴを用いて変調振幅に乗じる係数を求め、輝度変化検出部３０４が検出した近傍での輝度変化が小さい画素に対しては、変調振幅が小さく、近傍での輝度変化が大きい画素に対しては、変調振幅が大きくなるような変調処理を行なうようにしてもよい。

また、処理対象となる映像がＣＧ技術によって生成されたものである場合、映像内の輝度変化の分布を映像生成装置１００において、ＣＧモデルデータから推定することができる。一例として図１３および図１４にＣＧシーンとその中のオブジェクト領域の構成を示す。図１３に示すＣＧシーンの各オブジェクト領域はそれぞれ特定のＣＧモデルデータに対応しており、このＣＧモデルデータの構造や使用されているマテリアルやテクスチャなどの特徴から、各オブジェクト領域内での輝度変化量の大小を制作者の主観的判断やＣＧモデルの統計的性質などに基いて推定可能である。各オブジェクト領域には、それぞれに表１に示すようにオブジェクト領域内での輝度変化量の大小を表す指標となる輝度変化指標がＣＤデータ制作時に予め設定されているものとする。

ＣＧシーンの各オブジェクトは映像生成装置１００において投影変換によって投影面に描画されるがその際に、表示面上で各オブジェクトが占める領域を算出し、表１に示す輝度変化指標に基づいて、表示面上での輝度変化指標の分布を示す輝度変化マップ２０２を生成すればよい（図１５参照）。輝度変化マップ２０２は、映像入力部３０１を介して、輝度変調部３０３に入力する。輝度変調部３０３は、図１６に示すような予め所望の特性に調整された関数またはＬＵＴを用いて変調振幅に乗じる係数を求め、輝度変化指標が小さい領域の画素に対しては、変調振幅が小さく、輝度変化指標が大きい画素に対しては、変調振幅が大きくなるよう変調振幅を決定する。

また、鑑賞者に注目されることの多い誘目性の高い領域においては、透かしの存在が気づかれやすいため変調振幅を小さく調整することが望ましい。オブジェクトの誘目性は、文脈的重要性やオブジェクトに対する鑑賞者の関心度などによって大きく変化する。例えば、図１３に示すシーンでは、飛行機の誘目性が最も高いと推測される。このように、表１に示すような誘目性指標がＣＧデータ制作時に制作者の主観的判断などに基いて各オブジェクトに予め設定しておけばよい。映像生成装置１００において、表示面上で各オブジェクトが占める領域を算出し、表１に示すオブジェクト属性に基づいて、描画面上での誘目性指標分布を示す誘目性マップ２０３を生成すればよい（図１７参照）。誘目性マップ２０３は、映像入力部３０１を介して、輝度変調部３０３に入力する。

輝度変調部３０３では、図１８に示すような予め適切な特性に調整された関数またはＬＵＴを用いて変調振幅に乗じる係数を求め、誘目性指標が小さい領域の画素に対しては、変調振幅が大きく、誘目性指標が大きい画素に対しては、変調振幅が小さくなるよう変調振幅を決定すればよい。

以上説明したように、映像処理装置３００は、映像データをフレーム毎に入力し、入力した映像データに対し、時間経過に従って映像データの各構成画素に対して輝度の加算と減算をフレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込んで出力するようにしたため、少ない演算量で、表示装置に表示される映像に付加情報を埋め込み、さらに、専用の検出手段を用いることなく付加情報を確認することが可能な電子透かしを埋め込むことができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより電子透かしを埋め込む処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

デジタルデータに電子透かしを埋め込むことが不可欠な用途に適用できる。

１００・・・映像生成装置、２０１・・・映像データ、２０２・・・輝度変化マップ、２０３・・・誘目性マップ、３０１・・・映像入力部、３０２・・・透かし情報設定部、３０３・・・輝度変調部、３０４・・・輝度検出部、３０５・・・映像出力部、４００・・・映像表示装置

Claims (10)

1. 映像データをフレーム毎に入力し、入力した前記映像データに対し、時間経過に従って前記映像データの各構成画素に対して輝度の加算と減算を前記フレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込んで出力することを特徴とする映像処理方法。
2. 前記輝度変調処理は、前記透かし情報が複数の処理単位領域に分割されており、前記輝度変調処理した各処理単位領域内の構成画素の空間平均輝度を時間平均化した結果が、前記輝度変調処理前の当該処理単位領域内の画素を平均化した輝度と等しいことを特徴とする請求項１に記載の映像処理方法。
3. 前記処理単位領域内の輝度の時間的あるいは空間的変化が観察者の知覚限界以下または知覚限界に近い値となるように画素に対する輝度変調の振幅を設定することを特徴とする請求項１または２に記載の映像処理方法。
4. 前記輝度変調の振幅が、変調処理対象画素の輝度に基づき制御されることを特徴とする１から３のいずれかに記載の映像処理方法。
5. 前記輝度変調の振幅が、変調処理対象画素近傍の空間的輝度変化の大きさに基づき制御されることを特徴とする請求項１から３のいずれかに記載の映像処理方法。
6. 前記映像データは、ＣＧ技術によって生成されたものであり、変調処理対象画素近傍の空間的輝度変化の大きさが、ＣＧモデルデータを用いて導出されることを特徴とする請求項１から５のいずれかに記載の映像処理方法。
7. 前記映像データは、ＣＧ技術によって生成されたものであり、輝度変調の振幅が、変調処理対象画素が含まれるオブジェクトの誘目性に基づき制御されることを特徴とする１から５のいずれかに記載の映像処理方法。
8. 前記処理単位領域の位置が、前記映像データ内の被写体の動きに追従して制御されることを特徴とする１から７のいずれかに記載の映像処理方法。
9. 映像データをフレーム毎に入力する入力手段と、
   入力した前記映像データに対し、時間経過に従って前記映像データの各構成画素に対して輝度の加算と減算を前記フレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込む透かし情報埋め込み手段と、
   前記透かし情報が埋め込まれた前記映像データを出力する出力手段と
   を備えたことを特徴とする映像処理装置。
10. 映像データをフレーム毎に入力する入力手段と、透かし情報が埋め込まれた前記映像データを出力する出力手段とを備える映像処理装置上のコンピュータに、前記映像データに対する透かし情報埋め込み処理を行わせる映像処理プログラムであって、
    入力した前記映像データに対し、時間経過に従って前記映像データの各構成画素に対して輝度の加算と減算を前記フレーム毎に交互に行なう輝度変調処理を行うことにより透かし情報を埋め込む透かし情報埋め込み処理を前記コンピュータに行わせることを特徴とする映像処理プログラム。