JP4566803B2

JP4566803B2 - 動画像用電子透かし検出のための空間同期回復方法及び装置

Info

Publication number: JP4566803B2
Application number: JP2005115650A
Authority: JP
Inventors: 浩一馬養; 浩伊藤; 亮介藤井; 光義鈴木; 光太郎浅井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-04-13
Filing date: 2005-04-13
Publication date: 2010-10-20
Anticipated expiration: 2025-04-13
Also published as: JP2006295688A

Description

この発明は、電子透かし検出前に空間方向の同期を正しく回復するための動画像用電子透かし検出のための空間同期回復方法及び装置に関するものである。

従来の空間同期回復問題の解決方法として、幾何学的変換に不変な量を電子透かしの埋め込みに用いる方法がある（例えば、特許文献１参照）。

また、本来埋め込みたい電子透かしとは別に位置合わせ用の信号を電子透かしとして埋め込み、電子透かし検出時には検出対象画像と埋め込んだ位置合わせ用電子透かしとの相関を計算することによって、空間方向の同期回復を行う方法がある（例えば、特許文献２参照）。

特表２００３−５２１１４９号公報特開２００２−３５４２２１号公報

しかしながら、上述した幾何学的変換に不変な量を電子透かしの埋め込みに用いる方法では、離散領域におけるFourｉer-MellｉＮ変換および逆変換の不安定な性質に起因する実装上の問題が十分解決されていないという問題があった。また、アスペクト比の変更が伴う幾何学変換画像の空間同期回復については考慮されていないという問題があった。

また、位置合わせ用の信号を電子透かしとして埋め込む方法は、電子透かしで埋め込み可能な情報量の一部を位置合わせ用の電子透かしとして利用することと同じであり、埋め込む情報量を維持した場合は、位置合わせ用の信号を電子透かしとして埋め込むことによって、画質がさらに劣化するという問題点があった。また、位置合わせ用の電子透かしの検出に失敗すれば、本来検出したい電子透かしの検出が困難になるという問題があった。

この発明は前記のような問題点を解決するためになされたもので、空間同期回復のための実装上の困難さを排除し、アスペクト比の変更が伴う幾何学変換画像の空間同期回復を可能にすることができる動画像用電子透かし検出のための空間同期回復方法及び装置を得ることを目的とする。
また、不要な画質劣化を生じさせずに空間方向の同期回復を実現することを目的とする。

この発明に係る動画像用電子透かし検出のための空間同期回復方法及び装置は、動画像を構成する各フレームに対し時間方向にスペクトラム拡散を施した電子透かし信号を繰り返し埋め込むことによって生成された電子透かし埋め込み動画像から埋め込んだ電子透かしを検出するための前処理としての時間方向同期回復が行われた後に空間方向同期回復を実施する動画像用電子透かし検出のための空間同期回復方法及び装置であって、時間方向同期が回復された動画像と逆拡散のための時間方向拡散符号とを入力し、フレーム積分データを生成し、生成されたフレーム積分データに二次微分フィルタを適用し、二次微分フィルタが適用された零交差点データについて水平・垂直方向にそれぞれ累積度数データを作成し、水平・垂直方向それぞれにしきい値を設定し、累積度数データからしきい値以上の値を持つ行と列を抽出し、入力された行列番号を使いフレーム積分データ上に現れている個々のブロックを特定すると共にブロックのサイズが異なっている場合にブロックサイズが一定になるように正規化し、フレーム積分データとフレーム積分データに存在するブロックの位置情報とを入力してフレーム積分データを上下左右にずらし、ずらすたびに１ビット目の情報を検出し、検出された複数の検出値の中でその絶対値が最も大きくなるずらし位置で空間同期が回復したと決定することを特徴とする。

この発明によれば、アスペクト比の変更が伴う幾何学変換画像の空間同期回復が可能で、不要な画質劣化を生じさせずに空間方向の同期回復を実現することができる。

実施の形態１．
図１は、この発明の実施の形態１を説明するために利用する電子透かし埋め込み装置の一例を示すブロック図である。
図１に示す電子透かし埋め込み装置１１は、拡散符号列を発生する時間方向拡散符号発生部１２と、電子透かしのビット数に応じたＮ個分のブロックに対応する領域に含まれる画素の位置を示すアドレスを発生するアドレス発生部１３と、アドレス発生部１３で発生された画素位置に関する情報に基づいて電子透かしのビット数（Ｎ）に応じたＮ個の画素値集合（ブロック）を抽出するブロック化部１４と、電子透かし情報のビットごとのデジタル値に応じて対応するブロック内の各画素値をあらかじめ決められた変位だけ加算あるいは減算等の変更を行う情報埋め込み部１５と、電子透かし情報のビットごとのデジタル値（埋め込み情報）を発生するビット発生部１６と、電子透かしを埋め込んだ情報を画像信号に戻す処理を実行し、電子透かし埋め込み済みの拡散フレーム列として出力するブロック解除部１７と、入力映像のフレームを構成する各画素値に対して対応する拡散符号を積算する第１の積算手段１００と、入力映像を構成する各フレーム毎に対応させて第１の積算部１００で積算したものと同一の拡散符号列を、ブロック解除部１７から出力された拡散フレーム列の１つ１つに同じ順番に対応させ、拡散フレームを構成する各画素値に対してその符号を積算する第２の積算手段１０１とから構成される。

次に、前記構成に係る電子透かし埋め込み装置の動作について説明する。
以下の説明では、映像に埋め込む電子透かし情報は、所定のビット数のビット列からなるデジタル情報であって、ここではビット数Ｎ（Ｎは正の整数）であるものとする。

まず、電子透かし情報の埋め込み対象である入力映像を電子透かし埋め込み装置１１に入力する。なお、入力映像はオリジナルの映像から抽出した各フレーム毎の低域成分の信号としてもよい。

時間方向拡散符号発生部１２においては、＋１および−１からなる拡散符号列（拡散パターン）を発生させる。図２に示すように、この拡散符号列の各拡散符号２２は、入力映像を構成する各フレーム２１毎に１つ１つ順番に対応させるものである。

この拡散符号は、固定的な拡散符号列を使っても良いし、あるいはセキュリティを考慮して、たとえば＋１および−１を出力する乱数の種として秘密の値を用いて拡散符号列を発生させてもよい。

そして、第１の積算手段１００において、入力された映像情報のフレームを構成する各画素値に対して、その対応する拡散符号を積算する。たとえば、簡単のため、入力映像が２×２画素の大きさのフレーム列から構成され、あるフレームの画素値が走査順に１０、２００、５０、３５であり、当該フレームに対応する拡散符号が−１であるとする。このとき、当該フレームと当該拡散符号を積算した結果の画素値は、走査順に−１０、−２００、−５０、−３５となる。以後、積算された結果のフレームを「拡散フレーム」と呼ぶ。この各拡散フレームは、ブロック化部１４に入力される。

アドレス発生部１３は、ブロック化部１４に取り込まれた各拡散フレームに対して、電子透かしのビット数に応じたＮ個分のブロックに対応する領域を決定し、その領域に含まれる画素の位置を示すアドレスを発生する。すなわち、アドレス発生部１３は、電子透かし情報を埋め込む画素位置としての領域を決定する画素位置決定部としての機能を持つ。なお、前記領域としては、隣接する画素の集まりとしてもよいし、離れた画素をランダムに抽出した集まりとしてもよい。

ブロック化部１４に各拡散フレームが入力されるとともに、ここではアドレス発生部１３で発生された画素位置に関する情報に基づいて、電子透かしのビット数（Ｎ）に応じたＮ個の画素値集合（ブロック）を抽出する。

なお、上述したアドレス発生部１３が、ブロック化部１４によってブロック化される画素値集合に含まれる画素値の位置が一様に分布するように画素位置に関するアドレス情報を発生するように構成しても良い。このとき、画像上で一様に画素が分布してさえすれば、ランダムに画素が配置されていても、画素が規則的な配列をなしていてもよい。

ブロック化部１４で抽出されたＮ個のブロックは、画素値変更部としての情報埋め込み部１５に入力される。一方、ビット発生部１６では、電子透かし情報のビットごとのデジタル値（埋め込み情報）が発生され情報埋め込み部１５に入力される。そして、情報埋め込み部１５では、電子透かし情報のビットごとのデジタル値に応じて、対応するブロック内の各画素値をあらかじめ決められた変位だけ加算あるいは減算等の変更を行う。

ブロック解除部１７は、電子透かしを埋め込んだ情報を画像信号に戻す処理を実行し、電子透かし埋め込み済みの拡散フレーム列として出力する。

そして、第２の積算部１０１において、入力映像を構成する各フレーム毎に対応させて第１の積算部１００で積算したものと同一の拡散符号列を、ブロック解除部１７から出力された拡散フレーム列の１つ１つに同じ順番に対応させ、拡散フレームを構成する各画素値に対してその符号を積算する。たとえば、簡単のため入力映像が２×２画素の大きさのフレーム列から構成されている場合、電子透かし情報埋め込み済みのある拡散フレームの画素値が走査順に−９、−１９９、−４９、−３４であり、当該フレームに対応する拡散符号が−１であるとする。このとき、当該拡散フレームと当該拡散符号を積算した結果の画素値は走査順に９、１９９、４９、３４となる。積算した結果のフレーム列を情報埋め込み後映像として出力する。

以上のように、この電子透かし埋め込み方法においては、＋１および−１からなる時間方向の拡散符号列を発生させ、入力映像を構成する各フレーム毎に当該拡散符号列の１つ１つを順番に対応させ、フレームを構成する各画素値に対してその符号を積算して拡散フレームを生成し、当該拡散フレームに電子透かし情報を埋め込み後、先に積算したものと同一の時間方向の拡散符号列を再度積算することによって電子透かしを埋め込んだ拡散フレームを元の映像信号に戻す処理を実行するようにしたものである。

このようにすることで、特に、第２の積算部１０１における積算によって、拡散フレーム化された入力映像信号については元の映像信号に近い信号に戻るとともに、情報埋め込み部１５で埋め込まれた電子透かし情報は、この第２の積算部１０１における拡散処理によって拡散されることになる。言い換えれば、埋めこんだ電子透かし情報を拡散する処理に対応した演算（第１の積算部１００での積算）を映像信号に対して行っておき、映像信号に電子透かし情報を埋め込み、その後、拡散符号列を再度積算することで映像信号を元に戻すとともに電子透かし情報を時間方向に拡散するものである。

以上の装置を使って空間方向の同期を回復するための前処理である電子透かし情報が埋め込まれた映像信号から電子透かし情報を抽出するための時間方向の同期回復方法を説明する。
ここで、電子透かしを検出するための時間方向同期の回復とは、動画像を構成する各フレームに対し、時間方向にスペクトラム拡散を施した電子透かし信号を繰り返し埋め込むことによって生成された電子透かし埋め込み動画像から、埋め込んだ電子透かしを検出するための前処理であって、検出対象動画像の各フレームに、埋め込み時と同じ拡散符号を対応させることである。

時間方向の同期が回復したとき、検出対象映像から抽出した各フレームを逆拡散してフレーム積分を実施すると、画像信号電力が弱まる一方で、透かし信号の電力は増幅されることになる。時間同期が回復したときのフレーム積分データイメージを図３に示す。図３では、電子透かし信号を構成する幾何学パターンが浮き出ていることを確認できる。

本実施の形態１では、電子透かしを検出する対象動画像から、次の方法を使ってフレーム積分データを取得する。
まず、フレーム１〜フレームＮの全画素について、同一座標（ｉ，ｊ）の輝度データＹ_ｉｊを積算する。この際、フレーム毎に時間方向の拡散符号Ｓ_Ｔ（ｔ±τ）（−Ｍ≦τ≦Ｍ）を掛けてから積算し、２Ｍ＋１個のフレーム積分データを取得する。時間方向の拡散符号に周期Ｔがある場合、Ｍ≦Ｔとする。図４にフレーム積算データＦ_ｉｊ（τ）の作成イメージを示す。こうして作成した２Ｍ＋１個のフレーム積算データでは、時間方向の同期が回復した場合だけ図３に示したように電子透かし信号が浮かび上がる。

次に、浮かび上がった電子透かし信号以外の信号を除去するため、フレーム積算データにフィルタを適用する。図５はフィルタの一例であり、ＬＯＧ（Laplacian of Gaussian）フィルタを表す。図５において、ｘ，ｙはそれぞれ注目画素からの水平方向、垂直方向の距離を表す。σはスケールを決めるパラメータであり、抽出したい幾何学パターンの大きさの推定に基づいて値を決定する。ＬＯＧフィルタはバンドパスフィルタとして動作する。

時間方向の同期が回復されていれば、フレーム積算データには透かし信号が浮かび上がるので（図３参照）、フレーム積算データの分散値も大きくなることが期待できる。そこで、図４におけるτを変化させたときのフレーム積算データの分散をそれぞれ計算し、最も大きな値となるτのときに時間方向の同期が回復したと判断する。

図６は、前記時間方向同期回復動作と電子透かし抽出処理を示すフローチャートである。図６に示すように、検出対象映像を構成するフレーム列６１に対して、まず、図４におけるτの範囲Ｍを定めるとともに、カウンタｉに−Ｍを設定する（ステップ６２）。その後、カウンタｉの絶対値とτの範囲Ｍの絶対値との大小関係を調べて次の動作を分岐する（ステップ６３）。

ステップ６３において、ｙｅｓの場合は、図４においてτをｉと設定しフレーム積分データを生成する。つまり時間拡散パターンをｉずらしたときのブロック積分データを生成する（ステップ６４）。その後、生成されたブロック積分データに対してＬＯＧフィルタを適用し（ステップ６５）、バンドパスフィルタが適用されたフレーム積分データの分散値を計算する（ステップ６６）。その後、カウンタをインクリメントしステップ６３にリターンする（ステップ６７）。

ステップ６３において、Ｎｏの場合は、ステップ６６で計算した分散値の中で分散値が最大になるフレーム積分データを選択し（ステップ６８）、選択したフレーム積分データから電子透かしを抽出する（ステップ６９）。ステップ６８において、分散値が最大になるフレーム積分データを選択した時点で時間方向の同期が回復される。

このようにすることで、動画像から検出される電子透かしの情報としての信頼性を高めるために、電子透かし検出前に時間方向の同期を正しく回復することが可能となる。

以上の方法により、時間方向の同期を回復した後に、空間方向の同期回復を行う。
時間方向の同期が回復されると、図３に示したように、フレーム積算データには電子透かし信号の幾何学パターンが浮かび上がる。この幾何学パターンは、矩形ブロックの集まりで構成され、このブロックが４つ集まり、図７に示す基本パターンを構成する。ここで述べる例では、基本パターンは、図７における２種類の基本パターン７１あるいは７２となる。基本パターン７１あるいは７２におけるブロックの色はフレーム積分により現れた電子透かし信号の符号を表し、白は正、黒は負である。このブロックの規則性を使い、以下の手順で空間方向の同期を回復する。

時間方向同期が回復されたＬＯＧ適用後のフレーム積算データから、基本パターンを構成するブロックの境界を抽出する。ＬＯＧには二次微分効果があり、エッジ成分付近ではデータの符号が反転する。そこで、ＬＯＧ適用後のフレーム積算データ中の符号反転箇所（零交差点）について、水平・垂直方向の出現頻度を調べ、零交差累積度数データを生成する。図８にグレー画像に電子透かしを埋め込んだ時の水平方向に対する零交差点抽出イメージを示す。また、図９は図８から生成した水平方向の零交差累積度数データである。

次に、生成した水平・垂直方向の零交差累積度数データから平均値を計算し、平均値以上の点を抽出し、抽出した点をフレーム積算データ上のエッジ点とする。特定した水平・垂直方向のエッジ点を使い、フレーム積分データに出現した電子透かし信号を構成する個々の幾何学ブロックを特定する。その後、フレーム積分データを上下左右にずらした個々のデータから、電子透かしの１ビット目の情報が埋め込まれた位置にあるブロックの値を使って１ビット目の情報を表す値を計算し、その値の絶対値が最も大きくなるずらし位置にて空間方向の同期が回復されたと決定する。

実施の形態２．
実施の形態１において生成したＬＯＧ適用後のフレーム積算データにおいて、データ中の符号反転箇所（零交差点）について水平・垂直方向の出現頻度を調べ、零交差累積度数データを生成したあと、この零交差累積度数データを離散フーリエ変換（ＤＦＴ）する。このとき、ブロック幅Ｗと２Ｗの周期を表す点（すなわち１／Ｗと１／２Ｗの周波数）にピークが現れると期待できる。このとき、以下の条件を満たす周波数ｋ（ｋ≠０）からブロックのエッジ周期を算出する。ただし、ｆ（ｋ）をＤＦＴ変換後の周波数ｋにおける振幅値とする。
（条件ａ）ｆ（ｋ／２）＜ｆ（ｋ）
（条件ｂ）条件ａを満たすｋについてｆ（ｋ／２）＋ｆ（ｋ）が最大となるｋ
このように算出したブロックの水平方向および垂直方向のエッジ周期は、それぞれブロックの幅と高さに相当する。

図９の零交差累積度数データをＤＦＴした結果を図１０に示す。図１０において前記の条件を満たす周波数ｋは９０となる。

次に、零交差累積度数データと、前記で算出したブロックの幅と高さとを使い、フレーム積分データ上の個々のブロックを特定する。水平方向および垂直方向のブロック境界は、前記で算出した実数のブロックサイズ周期で存在しているはずである。しかし、デジタルデータでは実数が整数に丸められるため、フレーム積分データ上のブロックの幅や高さには周期的に歪みが発生している。フレーム積分データ上の個々のブロックを特定するためには、この歪みが発生している位置を特定する必要がある。

そこで、本実施の形態２では、前記で算出した実数のブロックサイズからブロック境界位置を算出した後、それぞれの値を四捨五入して整数化することにより、歪みを含むブロック境界位置（整数化ブロック境界位置）を求める。このように決定した水平・垂直方向の整数化ブロック境界位置と零交差累積度数データとの相関値の大きさを使って歪み発生位置を特定することにより、フレーム積分データに浮き出た幾何学パターンを構成する個々のブロックを特定する。

実施の形態３．
実施の形態１及び２において生成した、ＬＯＧ適用後のフレーム積算データ中の符号反転箇所（零交差点）について、符号反転箇所（零交差点）だけを抽出した零交差点データを生成し、零交差点データから直線を抽出する。直線を抽出するアルゴリズムは、Hough変換など多くのアルゴリズムが提案されているので、それらを用いればよい。次に、抽出した直線の角度を算出することによって画像の回転角度を算出し、ＬＯＧ適用後のフレーム積算データの回転を元に戻す。その後、実施の形態１あるいは２に記載したエッジ点抽出処理以降を実施する。

実施の形態４．
実施の形態１〜３において、フレーム積分データに出現した電子透かし信号を構成する個々の幾何学ブロックを特定したあと、フレーム積分データの特徴値として、フレーム積分データの分散値を計算する。計算した分散値に応じて、空間同期回復に利用するビット数の値を定める。次に、フレーム積分データを上下左右にずらした個々のデータから、電子透かしのｉ（１≦ｉ≦Ｎ）ビット目の情報が埋め込まれた位置にあるブロックの値を使ってｉビット目の情報を表す値を計算し、ｉビット目についての、その値の絶対値が最も大きくなる水平・垂直方向のずらし位置を登録しておく。次に、水平・垂直方向それぞれについて、１〜Ｎビット目の登録されたずらし位置の多数決により、水平・垂直方向それぞれのずらし位置を決定する。

ここで、空間同期回復に利用するビット数を決定するための画像の特徴はフレーム積分データの分散値とは限らず、同期回復対象動画像の各フレームを周波数変換したときの高周波数成分値を用いるなど、画像の特徴をあらわすことが可能な値ならば適当なものを選んでも良い。

実施の形態５．
次に、図１１は、この発明の実施の形態５に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。
図１１に示す動画像用電子透かし検出のための空間同期回復装置は、空間同期を回復するための動画像（電子透かし信号がスペクトラム拡散して埋め込まれている）と、逆拡散のための時間方向拡散符号を入力しこれらの入力からフレーム積分データを生成するフレーム積分データ生成部５１と、フレーム積分データ生成部５１で生成されたフレーム積分データに二次微分フィルタを適用する二次微分フィルタ適用部５２と、二次微分フィルタ適用部５２からの零交差点データについて水平・垂直方向にそれぞれ累積度数データを作成する零交差累積度数データ生成部５３と、水平・垂直方向それぞれにしきい値を設定し、零交差累積度数データ生成部５３から累積度数データからしきい値以上の値を持つ行と列を抽出するブロック境界特定部５４と、ブロック境界特定部５４から入力された行列番号を使いフレーム積分データ上に現れている個々のブロックを特定すると共にブロックのサイズが異なっている場合にブロックサイズが一定になるように正規化するブロック特定部５５と、フレーム積分データとフレーム積分データに存在するブロックの位置情報とを入力してフレーム積分データを少しずつずらし、ずらすたびに１ビット目の情報を検出し、検出された複数の検出値の中でその絶対値が最も大きくなるずらし位置で空間同期が回復したものとする空間同期回復部５６とを備えている。

上記構成に係る動作について説明する。
空間同期を回復するための動画像には、電子透かし信号がスペクトラム拡散して埋め込まれている。フレーム積分データ生成部５１には、空間同期を回復するための動画像と、逆拡散のための時間方向拡散符号が入力される。フレーム積分データ生成部５１では、これらの入力からフレーム積分データを生成する。二次微分フィルタ適用部５２は、入力としてフレーム積分データ生成部５１で生成されたフレーム積分データを受け取り、このフレーム積分データに二次微分フィルタを適用する。二次微分フィルタとしては、たとえばラプラスフィルタなどを利用できる。これにより、エッジ成分付近ではデータの符号が反転して零交差点になる。零交差点だけを含む「零交差点データ」を生成し、それを出力する。

零交差累積度数データ生成部５３では、入力として二次微分フィルタ適用部５２から零交差点データを受け取る。この零交差点データについて、水平・垂直方向にそれぞれ累積度数データを作成する。このデータを使えば、たとえば、水平方向ラインを行、垂直方向ラインを列と表現すれば、「３行目には零交差点が２００点あり、８列目には零交差点が４０点ある」という情報がわかるようになる。出力は、この累積度数データとなる。

ブロック境界特定部５４には、零交差累積度数データ生成部５３から累積度数データが入力される。ブロック境界特定部５４では、水平・垂直方向それぞれにしきい値を設定し、累積度数データからしきい値以上の値を持つ行と列を抽出する。抽出された行と列は、フレーム積分データ上に現れたブロックの境界（エッジ成分）を示している。出力は、抽出した行列番号である。

ブロック特定部５５には、ブロック境界特定部５４から入力された行列番号を使い、フレーム積分データ上に現れている個々のブロックを特定する。また、ここのブロックのサイズが異なっている場合には、ブロックサイズが一定になるように正規化してもよい。また、ブロックごとに２値化するなどの処理を加えても良い。ブロック位置が特定されれば、電子透かしの埋め込み位置を特定可能な状態になる。出力は、電子透かしの埋め込み位置情報である。

空間同期回復部５６には、フレーム積分データ生成部５１からフレーム積分データが入力されるとともに、フレーム積分データに存在するブロックの位置情報がブロック特定部５５から入力される。空間同期回復部５６では、ブロック位置情報を使い、フレーム積分データを少しずつずらし、ずらすたびに１ビット目の情報を検出する。このように検出された複数の検出値の中で、その絶対値が最も大きくなるずらし位置で空間同期が回復したものとする。出力は、検出に必要な情報を出力すればよいが、これは検出方法によって異なる。出力例としては、ずれを修正したフレーム積分画像が考えられる。

また、空間同期回復部５６に電子透かし検出機能も含ませ、空間同期回復後にすべてのビットの検出を実施するようにしてもよい。この場合、出力は検出したビット情報ということになる。この同期回復部５６は、画像の特徴に応じて計算に利用するビット数を増減させることによって、空間同期回復の精度を向上することができる。

なお、図１１に示す構成の各部にＣＰＵとメモリが搭載され、必要な計算をＣＰＵが行い、メモリにデータが蓄積される。勿論、１つのＣＰＵとメモリを各部で共通に使用してもよい。

実施の形態６．
次に、図１２は、この発明の実施の形態６に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。
図１２において、図１１に示す構成と同一部分は同一符号を付してその説明は省略する。新たな符号を付して追加されたローパスフィルタ適用部５７は、フレーム積分データ生成部５１で生成されたフレーム積分データを受け取り、このフレーム積分データにローパスフィルタを適用する。ローパスフィルタとしては、たとえばガウシアンフィルタを利用できる。これにより、電子透かし信号とは関係のない高域成分雑音が除去され、後の処理の精度が向上し、空間同期回復の精度が向上する。

実施の形態７．
次に、図１３は、この発明の実施の形態７に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。
図１３において、図１２に示す構成と同一部分は同一符号を付してその説明は省略する。新たな符号を付して追加されたＤＦＴ境界特定部５８は、図１２に示すブロック境界特定部５４の代わりに置き換えられたものであり、図１１に示す構成にも適用できる。

ＤＦＴ境界特定部５８には、零交差累積度数データ生成部５３から水平方向・垂直方向の累積度数データを入力し、それぞれの累積度数データをＤＦＴし、下記の条件１，２を満たす周波数ｋを水平方向・垂直方向それぞれのＤＦＴ結果から抽出する。ただし、ｆ（ｋ）はＤＦＴ後の周波数ｋにおける振幅成分とする。
（条件１）ｆ（ｋ／２）＜ｆ（ｋ）
（条件２）条件１を満たすｋのうち、ｆ（ｋ／２）＋ｆ（ｋ）が最大になるｋ
ただし、ｋが奇数の場合、
ｆ（ｋ／２）＝ｆ（（ｋ＋１）／２）＋ｆ（（ｋ−１）／２）とする。

装置に入力された映像の幅と高さは累積度数データからわかるので、映像の幅と高さ、上記で求めた水平方向・垂直方向それぞれのｋの値から、フレーム積分データ生成部５１で生成されたフレーム積分データ上に現れたブロックの境界（エッジ成分）周期が求められる。ここで求めた水平方向・垂直方向それぞれの周期は、ブロックの幅と高さに相当する。このブロックの幅と高さを基に、まず、水平・垂直方向のブロック境界位置を実数で算出する。次に、このブロック境界位置を四捨五入して整数化し、周期的な歪みを含むブロック境界位置（整数化ブロック境界位置）を求める。整数化ブロック境界位置とＤＦＴ境界特定部５８に入力された零交差累積度数データとの相関を計算し、フレーム積分データ上の境界位置を特定する。出力は、境界位置として特定された行列番号である。

このように、零交差累積度数データ生成処理後に、生成した零交差累積度数データを離散フーリエ変換したピーク点から埋め込まれた電子透かし信号を構成する最小ブロックのエッジ周期を算出し、算出したエッジ周期と零交差累積度数データとの相関を計算することによりフレーム積分データに出現した電子透かし信号を構成する個々の幾何学ブロックを特定することにより、空間同期回復の精度を向上する。

実施の形態８．
次に、図１４は、この発明の実施の形態８に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。
図１４において、図１２に示す構成と同一部分は同一符号を付してその説明は省略する。新たな符号を付して追加された回転補正部５９は、前述した各実施の形態の空間同期回復装置にも適用できる。

この回転補正部５９は、零交差累積度数データ生成部５３から水平方向・垂直方向の累積度数データを入力し、累積度数データの回転角度を検出し、回転を元に戻す。図１５は、累積度数データの回転前イメージと回転後イメージを示している。すなわち、装置に入力される入力映像に回転処理が加えられている場合、累積度数データの零交差点は、斜めのライン上に分布しているので、回転補正部５９では、累積度数データの回転角度を検出し、回転を元に戻す。回転角度の検出のために、たとえばHough 変換など直線を検出するアルゴリズムを使って検出する方法がある。回転を戻す方法は、この発明の範囲ではないので、これ以上は述べない。出力は、回転が戻された累積度数データである。

このように、二次微分フィルタ適用データの処理後に二次微分フィルタ適用データ中の符号反転箇所だけを抽出した零交差点データを生成し、零交差点データから直線を抽出し、抽出した直線の角度を算出することによって画像の回転角度を算出し、生成した二次微分フィルタ適用データの回転を元に戻したあとに、零交差累積度数データ生成以降の処理を行うことによって、回転が施された動画像についても空間同期の回復を可能とする。

この発明の実施の形態１を説明するために利用する電子透かし埋め込み装置の一例を示すブロック図である。入力映像を構成する各フレーム及び拡散符号列の各拡散符号を説ＭＥＩする図である。時間同期が回復したときのフレーム積分データイメージを示す図である。フレーム積算データＦ_ｉｊ（τ）の作成イメージを示す図である。ＬＯＧ（Laplacian of Gaussian）フィルタを表す図である。時間方向同期回復動作と電子透かし抽出処理を示すフローチャートである。図３に示す幾何学パターンを構成する矩形ブロックの基本パターンを示す図である。グレー画像に電子透かしを埋め込んだ時の水平方向に対する零交差点抽出イメージを示す図である。図８から生成した水平方向の零交差累積度数データを示す図である。図９の零交差累積度数データをＤＦＴした結果を示す図である。この発明の実施の形態５に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。この発明の実施の形態６に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。この発明の実施の形態７に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。この発明の実施の形態８に係る動画像用電子透かし検出のための空間同期回復装置の構成を示すブロック図である。累積度数データの回転前イメージと回転後イメージを示す図である。

符号の説明

５１フレーム積分データ生成部、５２二次微分フィルタ適用部、５３零交差累積度数データ生成部、５４ブロック境界特定部、５５ブロック特定部、５６空間同期回復部、５７ローパスフィルタ適用部、５８ＤＦＴ境界特定部、５９回転補正部。

Claims

動画像を構成する各フレームに対し時間方向にスペクトラム拡散を施した電子透かし信号を繰り返し埋め込むことによって生成された電子透かし埋め込み動画像から埋め込んだ電子透かしを検出するための前処理としての時間方向同期回復が行われた後に実施される動画像用電子透かし検出のための空間同期回復方法であって、
時間方向同期が回復された検出対象動画像について隣接フレームを使ってフレーム積分を実施しフレーム積分データを生成するフレーム積分データ生成ステップと、
前記フレーム積分データ生成ステップで生成したフレーム積分データに対し二次微分フィルタを施してエッジ成分部分のデータの符号を反転させた二次微分フィルタ適用データを生成する二次微分フィルタ適用データ生成ステップと、
前記二次微分フィルタ適用データ中の符号反転箇所について水平・垂直方向の出現頻度を調べ水平・垂直方向それぞれの零交差累積度数データを生成する零交差累積度数データ生成ステップと、
前記零交差累積度数データ生成ステップで生成した零交差累積度数データから累積度数があるしきい値以上の点を抽出することにより、水平・垂直方向のエッジ点を特定するエッジ点特定ステップと、
前記エッジ点特定ステップで特定した水平・垂直方向のエッジ点を使い、前記フレーム積分データ生成ステップで生成したフレーム積分データに出現した電子透かし信号を構成する個々の幾何学ブロックを特定する同期回復ステップと、
フレーム積分データを上下左右にずらした個々のデータから電子透かしの１ビット目の情報が埋め込まれた位置にあるブロックの値を使って１ビット目の情報を表す値を計算し、その値の絶対値が最も大きくなるずらし位置にて空間方向の同期が回復されたと決定する回復決定ステップと
を備えたことを特徴とする動画像用電子透かし検出のための空間同期回復方法。
請求項１に記載の動画像用電子透かし検出のための空間同期回復方法において、
前記フレーム積分データ生成ステップでの処理の後に、ローパスフィルタを用いて高域成分の雑音を除去する
ことを特徴とする動画像用電子透かし検出のための空間同期回復方法。
請求項１または２に記載の動画像用電子透かし検出のための空間方向同期回復方法において、
前記零交差累積度数データ生成ステップの処理後に、生成した零交差累積度数データを離散フーリエ変換したピーク点から埋め込まれた電子透かし信号を構成する最小ブロックのエッジ周期を算出し、算出したエッジ周期と零交差累積度数データとの相関を計算することによりフレーム積分データに出現した電子透かし信号を構成する個々の幾何学ブロックを特定する
ことを特徴とする動画像用電子透かし検出のための空間同期回復方法。
請求項１ないし３のいずれか１項に記載の動画像用電子透かし検出のための空間同期回復方法において、
前記二次微分フィルタ適用データ生成ステップの処理後に、二次微分フィルタ適用データ中の符号反転箇所だけを抽出した零交差点データを生成し、零交差点データから直線を抽出し、抽出した直線の角度を算出することによって画像の回転角度を算出し、生成した二次微分フィルタ適用データの回転を元に戻したあとに、零交差累積度数データ生成ステップ以降の処理を行う
ことを特徴とする動画像用電子透かし検出のための空間同期回復方法。
動画像を構成する各フレームに対し時間方向にスペクトラム拡散を施した電子透かし信号を繰り返し埋め込むことによって生成された電子透かし埋め込み動画像から埋め込んだ電子透かしを検出するための前処理としての時間方向同期回復が行われた後に空間方向同期回復を実施する動画像用電子透かし検出のための空間同期回復装置であって、
時間方向同期が回復された動画像と、逆拡散のための時間方向拡散符号とを入力し、フレーム積分データを生成するフレーム積分データ生成部と、
生成されたフレーム積分データに二次微分フィルタを適用する二次微分フィルタ適用部と、
前記二次微分フィルタ適用部からの零交差点データについて水平・垂直方向にそれぞれ累積度数データを作成する零交差累積度数データ生成部と、
水平・垂直方向それぞれにしきい値を設定し、前記零交差累積度数データ生成部で作成された前記累積度数データからしきい値以上の値を持つ行と列を抽出するブロック境界特定部と、
前記ブロック境界特定部から入力された行列番号を使いフレーム積分データ上に現れている個々のブロックを特定すると共にブロックのサイズが異なっている場合にブロックサイズが一定になるように正規化するブロック特定部と、
フレーム積分データとフレーム積分データに存在するブロックの位置情報とを入力してフレーム積分データを上下左右にずらし、ずらすたびに１ビット目の情報を検出し、検出された複数の検出値の中でその絶対値が最も大きくなるずらし位置で空間同期が回復したと決定する空間同期回復部と
を備えたことを特徴とする動画像用電子透かし検出のための空間同期回復装置。
請求項５に記載の動画像用電子透かし検出のための空間同期回復装置において、
前記フレーム積分データ生成部で生成されたフレーム積分データにローパスフィルタを適用してローパスフィルタ処理されたフレーム積分データを前記二次微分フィルタ適用部に出力するローパスフィルタ適用部をさらに備えた
ことを特徴とする動画像用電子透かし検出のための空間同期回復装置。
請求項５または６に記載の動画像用電子透かし検出のための空間同期回復装置において、
前記ブロック境界特定部は、前記零交差累積度数データ生成部から水平方向・垂直方向の累積度数データを入力し、それぞれの累積度数データをＤＦＴし、所定の条件を満たす周波数を水平方向・垂直方向それぞれのＤＦＴ結果から抽出するＤＦＴ境界特定部でなる
ことを特徴とする動画像用電子透かし検出のための空間同期回復装置。
請求項５ないし７のいずれか１項に記載の動画像用電子透かし検出のための空間同期回復装置において、
前記零交差累積度数データ生成部からの水平方向・垂直方向の累積度数データを入力し、累積度数データの回転角度を検出し、回転が戻された累積度数データを前記ブロック境界特定部に出力する回転補正部をさらに備えた
ことを特徴とする動画像用電子透かし検出のための空間同期回復装置。