JP5063690B2 - 電子透かし埋め込み装置および方法、及び、電子透かし検出装置および方法 - Google Patents

Description

この発明は、電子透かし埋め込み装置および方法、及び、電子透かし検出装置および方法に関し、特に、映画館のスクリーンやテレビ画面などに投影された画像をカメラにより再度撮影（再撮）して得られる再撮画像からの電子透かしの検出も可能にするための電子透かし埋め込み装置および方法、及び、電子透かし検出装置および方法に関するものである。

近年、安価で高性能なビデオカメラの普及により、例えば映画館などで上映された映像を直接ビデオカメラで盗撮し、ＤＶＤなどにコピーしたものを違法販売する事件などが発生し、映像の著作権の保護が課題となっている。このような課題を解決する手法として、動画信号の電子透かし技術が提案されている（例えば、特許文献１参照。）。

特許文献１に記載の従来技術では、著作権を保護する対象の動画像に対して時間方向と空間方向に輝度変化パターンを電子透かしとして埋め込む。また、検出対象映像における映像信号に対して検出パターンとの相関値を取ることにより電子透かしとして埋め込まれた情報を検出する。これにより、著作権情報を電子透かしとして埋め込んでおけば、不正にコピーされた再撮映像からでも上記著作権情報を取り出すことができ、その著作権を主張することができる。これは、再撮影による不正コピーを抑制することにも繋がる。

特表２００６−５１７０６８号公報（第４頁〜第８頁、図４）

しかしながら、特許文献１に開示される従来の再撮映像の電子透かし技術では、埋め込み映像と検出対象映像の位相ずれが分からないため、精度よく検出できないという問題点があった。

この発明はかかる問題点を解決するためになされたものであり、再撮映像からも電子透かしを高精度に検出することができる電子透かし埋め込み装置および方法、及び、電子透かし検出装置および方法を得ることを目的とする。

この発明は、処理対象の入力画像に埋め込むための埋め込み情報が入力されて、前記埋め込み情報に基づいた時間方向に変化する透かしパターンを発生させる透かしパターン生成部と、予め設定された同期検出用の固定パターンを透かしパターンとして出力する同期パターン生成部と、前記入力画像に基づいて、前記同期パターン生成部が出力する透かしパターンと前記透かしパターン生成部が出力する透かしパターンのうちのいずれかを選択するパターン切り替え部と、前記入力画像の各画素値に、前記パターン切り替え部によって選択された透かしパターンを加算することにより、電子透かしを埋め込んだ埋め込み画像を生成する埋め込み処理部とを備え、前記入力画像は複数の画像を含み、前記パターン切り替え部は、前記入力画像として入力された画像ごとに、前記同期パターン生成部が出力する透かしパターンと前記透かしパターン生成部が出力する透かしパターンとを切り替えることを特徴とする電子透かし埋め込み装置である。

この発明は、処理対象の入力画像に埋め込むための埋め込み情報が入力されて、前記埋め込み情報に基づいた時間方向に変化する透かしパターンを発生させる透かしパターン生成部と、予め設定された同期検出用の固定パターンを透かしパターンとして出力する同期パターン生成部と、前記入力画像に基づいて、前記同期パターン生成部が出力する透かしパターンと前記透かしパターン生成部が出力する透かしパターンのうちのいずれかを選択するパターン切り替え部と、前記入力画像の各画素値に、前記パターン切り替え部によって選択された透かしパターンを加算することにより、電子透かしを埋め込んだ埋め込み画像を生成する埋め込み処理部とを備え、前記入力画像は複数の画像を含み、前記パターン切り替え部は、前記入力画像として入力された画像ごとに、前記同期パターン生成部が出力する透かしパターンと前記透かしパターン生成部が出力する透かしパターンとを切り替えることを特徴とする電子透かし埋め込み装置であるため、同期検出用の固定パターンを用いて位相ずれが補償できるので、再撮画像からも電子透かしを高精度に検出することができる。

この発明の実施の形態１に係る電子透かし埋め込み装置の構成を示したブロック図である。 この発明の実施の形態１に係る電子透かし埋め込み装置に入力される入力画像の一例を示した説明図である。 この発明の実施の形態１に係る電子透かし埋め込み装置の同期パターン生成部および透かしパターン生成部から出力される透かしパターンの例を示した波形図である。 この発明の実施の形態１に係る電子透かし埋め込み方法の処理の流れを示したフローチャートである。 この発明の実施の形態２に係る電子透かし検出装置の構成を示したブロック図である。 この発明の実施の形態２に係る電子透かし検出方法の処理の流れを示したフローチャートである。

実施の形態１．
図１は、この発明の実施の形態１に係る電子透かし埋め込み装置の構成を示すブロック図である。電子透かし埋め込み装置１は、図１に示すように、予め設定された同期検出用の固定パターンを透かしパターンとして出力する同期パターン生成部３と、入力される処理対象の画像（以下、入力画像７ａとする。）に埋め込むための埋め込み情報が入力されて、当該埋め込み情報に基づいた時間方向に変化する透かしパターンを発生させる透かしパターン生成部４と、同期パターン生成部３が出力する透かしパターンと透かしパターン生成部４が出力する透かしパターンの選択を行うパターン切り替え部５と、選択された透かしパターンを入力画像７ａの各画素値に加算することにより、電子透かしを埋め込んで埋め込み画像７ｃを生成する埋め込み処理部６とから構成されている。

なお、電子透かし埋め込み装置１は、例えば、汎用コンピュータなどの計算機を用いて、この発明の電子透かし埋め込み方法に従う電子透かし埋め込みプログラムを実行させることによって具現化することができる。つまり、電子透かし埋め込みプログラムをコンピュータに実行させて、上述した構成要素３〜６として機能させることにより、電子透かし埋め込み装置１による特徴的なデータ処理を実行することができる。なお、以下の説明において、電子透かし埋め込み装置１を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、この発明の本質に直接かかわるものでないので詳細な記載を省略する。

同期パターン生成部３は、時刻情報１０が入力されて、当該時刻情報１０に応じて、予め設定された同期検出用の固定パターン（以下、同期検出用パターンとする。）を、透かしパターンとして出力する。例えば、図３に示すような同期検出用パターンを透かしパターン８ａとして出力する。
なお、時刻情報１０は、時間的に変動する同期検出用パターン８ａのどの時点の値を同期パターン生成部３の出力としてパターン切り替え部５に出力するかを決定することに用いられる。別の言い方では、与えられた時刻情報１０の時点での同期検出用パターン８ａの値、＋１か−１のどちらかの値を出力すると言ってもよい。
また、時刻情報１０は、入力画像７ａが複数のフレームから構成された動画像だった場合に、入力画像７ａの先頭のフレームを始点として、当該始点からの再生時間を各フレームごとに割り当てたものである。

一方、透かしパターン生成部４は、電子透かしを構成する埋め込み情報としての埋め込みビット１１と時刻情報１０とが入力されて、それらに応じて透かしパターンを生成し、出力する。すなわち、例えば、埋め込みビット１１として「１」を埋め込む場合には、図３に示す正相系列（正相波形）の透かしパターン８ｂを出力し、また、埋め込みビット１１として「０」を埋め込む場合には、図３に示す逆相系列（逆相波形）を透かしパターン８ｃとして出力する。なお、透かしパターンは、図３に示す透かしパターン８ａ〜８ｃの波形だけでなく、他の波形を使用してもよい。なお、埋め込み情報（埋め込みビット１１）とは、入力画像７ａに埋め込みたい情報であり、例えば、著作権情報等が例として挙げられる。

なお、透かしパターン８ａの波形は、図３に示すように、一定でない可変の時間領域ごとに、異なる波形パターンとなっている。図３の例では、最初の時間領域では、長い時間間隔で＋１と−１とが反転し、中間の時間領域では、時間間隔が短くなり、最後の時間領域では、さらに時間間隔が短くなっている。時間間隔が短い部分であることで高精度の同期回復が可能となり、一方、短い時間間隔であっても１種類の時間間隔だけで同期パターンを構成すると時間間隔分（またはその整数倍）だけずれている場合を区別できないから、短い時間間隔と長い時間間隔が混在するように、図３のようにしておくと、透かしパターン８ａの長さ以下での同期誤認識を回避できる。また、透かしパターン８ｂおよび８ｃは、同一時間間隔で、＋１と−１とが反転する。なお、透かしパターン８ｂおよび８ｃとは、互いに逆の波形になっており、透かしパターン８ｂの波形が＋１である時間領域においては、透かしパターン８ｃの波形は−１となっている。

パターン切り替え部５は、入力画像７ａのうち、予め同期パターン画像領域として設定されている画像領域に対しては、同期パターン生成部３で生成された透かしパターン８ａを出力するよう制御し、それ以外の画像領域に対しては、透かしパターン生成部４によって生成された透かしパターン８ｂまたは透かしパターン８ｃを出力するよう制御する。なお、同期パターン画像領域について説明すると、入力画像７ａ（図１では、入力画像７ａを複数のフレームからなる動画像として示す。）を複数領域に空間的に分割し、その分割領域のうちの幾つかを同期パターン画像領域とする。以下では、図２に示すように、入力画像７ａの各フレームを６つの分割領域７ａａに分割する場合を例に挙げて説明する。なお、図２では、分割した各分割領域７ａａを区別するために、それぞれの分割領域７ａａに符号Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを付している。もちろん、入力画像７ａの個数や分割領域７ａａの個数は、必ずしも上記の値である必要はなく、任意の組み合わせで実現可能である。また、パターン切り替え部５は、このようにして生成された各画像領域７ａａの種別（同期パターン画像領域とそれ以外）に応じて同期パターン生成部３が出力する透かしパターンと透かしパターン生成部４が出力する透かしパターンを切り替えるだけでなく、入力画像７ａのフレームごとに切り替えてもよく、あるいは、フレームごとの切り替えと画像領域の種別に応じた切り替えとを併用したりしてもよい。

埋め込み処理部６は、入力画像７ａの各画素に対して、パターン切り替え部５から出力される透かしパターンを加算し、画素値の最大値および最小値でクリッピング処理を行い、埋め込み画像７ｃとして出力する。

次に、この発明の実施の形態１に係る電子透かし埋め込み装置の動作について説明する。図４は、この発明の実施の形態１における電子透かし埋め込み装置１の動作を示すフローチャートである。

図４に示すように、まず、電子透かし埋め込み装置１に、電子透かし埋め込み対象である入力画像７ａが入力される。パターン切り替え部５は、当該入力画像７ａにつき、処理対象となる画像領域が、同期パターン画像領域であるか否かを判定する（ステップＳ２）。

処理対象となる画像領域が同期パターン画像領域である場合には、パターン切り替え部５の制御により、同期パターン生成部３が、時刻情報１０に応じて、所定の同期検出用の固定パターンを透かしパターン８ａとして出力する（ステップＳ３）。

一方、処理対象となる画像領域が同期パターン画像領域でない場合には、パターン切り替え部５の制御により、透かしパターン生成部４が、埋め込みビット１１および時刻情報１０に応じて、透かしパターン８ｂまたは透かしパターン８ｃを出力する（ステップＳ４）。

同期パターン生成部３または透かしパターン生成部４のいずれかから出力された透かしパターン（透かしパターン８ａ、透かしパターン８ｂ、透かしパターン８ｃのいずれか）は、パターン切り替え部５を介して、埋め込み処理部６に入力される。なお、ここでは、パターン切り替え部５が、画像領域７ａａの種別ごとに（同期パターン画像領域とそれ以外）、同期パターン生成部３が出力する透かしパターンと透かしパターン生成部４が出力する透かしパターンとを切り替えることとする。

埋め込み処理部６には、上記の透かしパターンとともに、入力画像７ａも入力される。これらが入力されると、埋め込み処理部６は、入力画像７ａの各画素に対して透かしパターンを加算し、画素値の最大値および最小値でクリッピング処理を行い、埋め込み画像７ｃとして出力する（ステップＳ５）。これにより、処理対象の入力画像７ａに対して、それの所定の同期パターン画像領域には同期検出用の固定パターンが埋め込まれ、それ以外の画像領域には著作権情報等の埋め込みたい埋め込み情報に相当する透かしパターンが埋め込まれる。

このように、本実施の形態１による電子透かし埋め込み装置１では、所定の画像領域に対しては同期検出用の固定パターンを埋め込み、それ以外の画像領域には、著作権情報等を示す埋め込み情報に相当する透かしパターンを埋め込むようにしたため、時間同期の検出に好適な電子透かし埋め込み画像を生成することができる。これにより、同期検出用の固定パターンに基づいて、埋め込み画像７ｃとそれを再撮した再撮画像との位相ずれを自動的に検出して補償することができるので、再撮画像から精度よく電子透かしの検出が行え、埋め込み画像７ｃに埋め込んだ著作権情報等の埋め込み情報を確実に取り出すことが可能となるという効果がある。

実施の形態２．
図５は、この発明の実施の形態２に係る電子透かし検出装置２１の構成を示すブロック図である。電子透かし検出装置２１は、実施の形態１による電子透かし埋め込み装置１によって出力される埋め込み画像７ｃが表示装置によって再生表示された際に、ビデオカメラ等の撮影装置によってそれが再撮されて得られる再撮画像３１ａから、電子透かしを検出するための装置である。

電子透かし検出装置２１は、時刻情報１５に応じて実施の形態１記載の同期パターン生成部３が生成する同期検出用の固定パターンと同じである同期検出用の固定パターンを出力する同期パターン生成部２３と、時刻情報１５に応じて実施の形態１記載の透かしパターン生成部４が生成する透かしパターン３２と同じである検出パターン３２を生成する検出パターン生成部２６と、検出対象の再撮画像３１ａの各画素と同期検出用の固定パターンとの相関値を位相をずらしながら求め、当該相関値を位相ごとに同期パターン相関値として出力する同期パターン相関算出部２４と、各位相のうち、同期パターン相関値が予め設定された所定の相関閾値より大きくなる画素数が最大となる位相を時刻同期位相として出力する時刻同期検出部２５と、再撮画像３１ａにおける画素値と検出パターン３２を時刻同期位相分だけずらしたパターンとの相関値を算出し、検出相関値として出力する相関算出部２７と、当該検出相関値と予め設定された閾値とを比較することによって埋め込みビットの値を決定し、検出ビット情報３３として出力する透かし判定部２８とから構成される。

なお、電子透かし検出装置２１は、例えば、汎用コンピュータなどの計算機を用いて、この発明に従う電子透かし検出プログラムを実行させることによって具現化することができる。つまり、電子透かし検出プログラムをコンピュータに実行させて、上記構成要素２３〜２８として機能させることにより、電子透かし検出装置２１による特徴的なデータ処理を実行することができる。なお、以下の説明において、電子透かし検出装置２１を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、この発明の本質に直接かかわるものでないので詳細な記載を省略する。

同期パターン生成部２３は、時刻情報１５が入力されて、実施の形態１記載の同期検出用の固定パターンである図３の同期検出用パターン８ａと同一のパターンの時刻情報１５における値、＋１か−１のどちらかを出力する。同期パターン相関検出部２４の説明として後述するように、同期パターン生成部２３の出力は、実施の形態１記載に例示されるような方法で電子透かしの埋め込みが施され、再生表示され、ビデオカメラ等の撮影装置によって再撮影され、本実施の形態２の検出装置２１の入力とされる再撮画像３１ａに残存する同期検出用パターン８ａとの相関を計算することになるので、もともと同一のパターンでの相関値を計算することになるので、強い相関を示すことになり、埋め込まれていた同期検出用パターン８ａを検出することになる。

同期パターン相関算出部２４は、前記再撮画像３１ａと前記同期パターンとの各画素の相関値を位相を１フレームずつずらしながら算出し、各位相ごとに同期パターン相関値として出力する。

時刻同期検出部２５は、各位相の同期パターン相関値と予め設定された所定の相関閾値とを比較して、各位相のうちで、同期パターン相関値が当該相関閾値より大きくなる画素の個数（画素数）が最大となる位相を、時刻同期位相として出力する。

検出パターン生成部２６は、時刻情報１５が入力されて、時刻情報１５に応じて、検出パターン３２を生成して、相関算出部２７に出力する。検出パターン３２は、例えば、図３に示した正相系列とする。

相関算出部２７は、再撮画像３１ａの各画素値と、検出パターン３２を時刻同期位相（位相ずれ分）だけずらしたパターンとの相関値を積算し、積算相関値として出力する。

透かし判定部２８は、積算相関値と予め設定された閾値とを比較して、積算相関値が当該閾値より大きければ、再撮された元の埋め込み画像に埋め込まれている埋め込み情報（埋め込みビット）の値が「１」であると判定し、積算相関値が当該閾値以下であれば、当該埋め込み情報（埋め込みビット）の値が「０」であると判定して、検出ビット情報３３として出力する。

次に動作について説明する。図６はこの発明の実施の形態２による電子透かし検出装置２１の動作を示すフローチャートである。

図６に示すように、まず、時刻情報１５が同期パターン生成部２３に入力されると、時刻情報１５に応じてこの発明の実施の形態１記載の同期検出用の固定パターンと同じ同期パターンが出力される（ステップＳ１２）。

次に、再撮画像３１ａと当該同期パターンとが同期パターン相関算出部２４に入力される。同期パターン相関算出部２４は、再撮画像３１ａの各画素と当該同期パターンとの相関を位相を１フレームずつずらしながら各位相ごとに算出し、同期パターン相関値として各位相ごとに出力する（ステップＳ１３）。

次に、各位相ごとの同期パターン相関値が時刻同期検出部２５に入力され、各位相のうちで、所定の相関閾値より大きくなる画素数が最大となる位相が時刻同期位相として出力される（ステップＳ１４）。

また、時刻情報１５が検出パターン生成部２６に入力されると、時刻情報１５に応じて検出パターン３２が生成され、出力される（ステップＳ１５）。

再撮画像３１ａと検出パターン３２と時刻同期位相とが相関算出部２７に入力されると、再撮画像３１ａと検出パターン３２を時刻同期位相分だけずらしたパターンとの相関値が所定の時間分積算され、積算相関値として出力される（ステップＳ１６）。

積算相関値は、透かし判定部２８に入力され、予め設定された閾値と比較される。積算相関値が予め設定された閾値より大きければ、検出された埋め込みビットのビット情報が「１」であると判定され、前記積算相関値が予め設定された閾値以下であれば、検出された埋め込みビットのビット情報が「０」であると判定されて、検出ビット情報３３として出力される（ステップＳ１７）。

以上のように、本実施の形態２による電子透かし検出装置２１によれば、同期検出用の固定パターンを検出することによって時刻同期位相（位相ずれ）を検出できるように構成したので、検出対象の再撮画像３１ａと検出パターンとの位相を精度よく合わせることができるため、精度の高い電子透かしの検出が可能となるという効果が得られる。これにより、同期検出用の固定パターンに基づいて、埋め込み画像７ｃとそれを再撮した再撮画像との位相ずれを自動的に検出して補償することができるので、再撮画像から精度よく電子透かしの検出が行え、埋め込み画像７ｃに埋め込んだ著作権情報等の埋め込み情報を確実に取り出すことが可能となるという効果がある。

Claims (6)

1. 処理対象の入力画像に埋め込むための埋め込み情報が入力されて、前記埋め込み情報に基づいた時間方向に変化する透かしパターンを発生させる透かしパターン生成部と、
   予め設定された同期検出用の固定パターンを透かしパターンとして出力する同期パターン生成部と、
   前記入力画像に基づいて、前記同期パターン生成部が出力する透かしパターンと前記透かしパターン生成部が出力する透かしパターンのうちのいずれかを選択するパターン切り替え部と、
   前記入力画像の各画素値に、前記パターン切り替え部によって選択された透かしパターンを加算することにより、電子透かしを埋め込んだ埋め込み画像を生成する埋め込み処理部と
   を備え、
   前記入力画像は複数の画像を含み、
   前記パターン切り替え部は、前記入力画像として入力された画像ごとに、前記同期パターン生成部が出力する透かしパターンと前記透かしパターン生成部が出力する透かしパターンとを切り替える
   ことを特徴とする電子透かし埋め込み装置。
2. 前記パターン切り替え部は、前記入力画像として入力された画像ごとに、かつ、前記入力画像の画像領域の種別に基づいて、前記同期パターン生成部が出力する透かしパターンと前記透かしパターン生成部が出力する透かしパターンとを切り替えることを特徴とする請求項１の電子透かし埋め込み装置。
3. 処理対象の入力画像に埋め込むための情報を示す埋め込み情報が入力されて、前記埋め込み情報に基づいた時間方向に変化する透かしパターンを発生させる透かしパターン生成ステップと、
   予め設定された同期検出用の固定パターンを透かしパターンとして出力する同期パターン生成ステップと、
   前記入力画像に基づいて、前記同期パターン生成ステップと前記透かしパターン生成ステップのうちのいずれかを選択するパターン切り替えステップと、
   前記入力画像の各画素値に、前記パターン切り替えステップによって選択されたステップによって出力される透かしパターンを加算することにより、電子透かしを埋め込んだ埋め込み画像を生成する埋め込み処理ステップと
   を備え、
   前記入力画像は複数の画像を含み、
   前記パターン切り替えステップは、前記入力画像として入力された画像ごとに、前記同期パターン生成ステップによって出力される透かしパターンと前記透かしパターン生成ステップによって出力される透かしパターンとを切り替える
   ことを特徴とする電子透かし埋め込み方法。
4. 前記パターン切り替え部は、前記入力画像として入力された画像ごとに、かつ、前記入力画像の画像領域の種別に基づいて、前記同期パターン生成ステップによって出力される透かしパターンと前記透かしパターン生成ステップによって出力される透かしパターンとを切り替えることを特徴とする請求項３の電子透かし埋め込み方法。
5. 時刻情報が入力されて、前記時刻情報に基づいた時間方向に変化する検出パターンを発生させる検出パターン生成部と、
   検出対象画像の各画素と同期検出用の固定パターンとの相関を位相ごとに求めて、同期パターン相関値として出力する同期パターン相関算出部と、
   前記位相のうち、前記同期パターン相関値が予め設定された所定の相関閾値より大きい画素の個数が最大となる位相を時刻同期位相として出力する時刻同期検出部と、
   前記検出対象画像の前記画素と、前記検出パターンを前記時刻同期位相だけずらしたパターンとの相関値を算出し、検出相関値として出力する相関算出部と、
   前記検出相関値と予め設定された閾値とを比較して、当該比較結果に基づいて前記検出対象画像に埋め込まれている埋め込み情報の値を決定する透かし判定部と
   を備えたことを特徴とする電子透かし検出装置。
6. 時刻情報が入力されて、前記時刻情報に基づいた時間方向に変化する検出パターンを発生させる検出パターン生成ステップと、
   検出対象画像の各画素と同期検出用の固定パターンとの相関を位相ごとに求めて、同期パターン相関値として出力する同期パターン相関算出ステップと、
   前記位相のうち、前記同期パターン相関値が予め設定された所定の相関閾値より大きい画素の個数が最大となる位相を時刻同期位相として出力する時刻同期検出ステップと、
   前記検出対象画像の前記画素と、前記検出パターンを前記時刻同期位相だけずらしたパターンとの相関値を算出し、検出相関値として出力する相関算出ステップと、
   前記検出相関値と予め設定された閾値とを比較して、当該比較結果に基づいて前記検出対象画像に埋め込まれている埋め込み情報の値を決定する透かし判定ステップと
   を備えたことを特徴とする電子透かし検出方法。

Images