JP3872267B2 - 拡大縮小耐性を有する電子透かし方法およびシステム - Google Patents
拡大縮小耐性を有する電子透かし方法およびシステム Download PDFInfo
- Publication number
- JP3872267B2 JP3872267B2 JP2000276129A JP2000276129A JP3872267B2 JP 3872267 B2 JP3872267 B2 JP 3872267B2 JP 2000276129 A JP2000276129 A JP 2000276129A JP 2000276129 A JP2000276129 A JP 2000276129A JP 3872267 B2 JP3872267 B2 JP 3872267B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- information
- detection
- digital data
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
- G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32352—Controlling detectability or arrangements to facilitate detection or retrieval of the embedded information, e.g. using markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、デジタルデータへの電子透かしに関し、特に拡大操作または縮小操作に耐えられる電子透かしの方法およびそのシステムに関する発明である。
【０００２】
【従来の技術】
映像コンテンツなどのデジタルデータに著作権管理のための電子透かしを埋め込むためには、埋め込んだデータが埋め込み後に受ける様々な処理に対する耐性を持つことが必要である。なかでも映像の拡大・縮小処理に対する耐性の実現は重要である。
従来では、電子透かしの入ったデジタルデータに拡大もしくは縮小操作がなされた場合に備えて、電子透かしの情報とは別に、幾何的な補正を行うためのキャリブレーション信号をデジタルデータに埋め込み、該キャリブレーション信号を検出することにより、デジタルデータの変形操作に対応していた。（たとえばUSP5832119など）しかしながら、このような方法では、電子透かしの情報を埋め込むことに加えて幾何的な補正のためのパターンを別に埋め込まなくてはならないので、元データの品質の劣化や、埋め込み情報の検出時間増大につながる可能性があった。
さらに幾何補正のパターンが周波数空間で埋め込まれた場合には、逆周波数変換してこれを検出する必要があった。
【０００３】
【発明が解決しようとする課題】
従って、本発明が解決しようとする課題は、幾何補正のための信号が必要のない電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、デジタルデータの品質の劣化の少ない電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、電子透かしの検出時間を短縮する電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、逆周波数変換をせずに拡大縮小率を算出できる電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、拡大縮小されたデジタルデータから精度よく電子透かしを検出する、電子透かし検出方法及びシステムを提供することである。
また別の課題は、拡大縮小されたデジタルデータを元の縮尺に戻すことなく電子透かしを検出する、電子透かし検出方法及びシステムを提供することである。
【０００４】
【課題を解決するための手段】
上記課題を解決するために、本発明では、電子透かしとして埋め込む情報を有する、埋め込みパターンそのものに、繰り返しを持つ周期的なパターンを用い、検出時にその周期の変化を観測することにより拡大・縮小率を算出する。電子透かしの検出時には、拡大・縮小処理が施されたデジタルデータから映像の拡大・縮小率を求め、つぎに得られた拡大・縮小率に基づき電子透かしの検出処理を行う。本発明の特徴は、拡大・縮小率の検出に、幾何補正のための特別な第二の埋め込みパターンを必要としないこと、および、拡大・縮小率の検出、電子透かしの検出がMPEGにエンコードされているデータを逆DCTすることなく行えることにある。
【０００５】
以下に、電子透かしに拡大・縮小耐性を与えるための、デジタルデータ（以下デジタルデータの例として単にデータ、画像、または映像とも記す）になされた拡大・縮小率を求める手法について説明する。まず一般的な場合として、データがMPEGにエンコードされていない場合の検出手法を説明する。本発明では埋め込み時に画像に加えるパターンに繰り返しを持つ周期的なパターンを用い、検出時にその周期の変化を観測することにより拡大・縮小率を算出する。拡大・縮小率をsとおいた場合、映像の1フレーム中の画素データi(x,y)は次のように変化する。
【０００６】
i'(sx,sy)=i(x,y) (1)
【０００７】
ここで、x、yは画素の座標を表す。画像が、拡大・縮小処理を受ける場合は、水平方向または垂直方向の拡大・縮小率を求めればよい。従って、ここでは水平方向の拡大・縮小率を求める場合について説明する。一般的に電子透かしの埋め込みは、画像データにパターン（埋め込む情報を有するデジタルのパターン）を加える操作と見なすことができる。従って次のように表すことができる。
【０００８】
i(x,y)=is(x,y)+p(x、y)
【０００９】
ここでis(x,y)は元画像、p(x、y)は、情報を埋め込むために元画像に加えるパターンである。本発明では、拡大・縮小率をp(x、y)の周期変化で検出する。従って、p(x、y)には次のような性質が必要である:
【００１０】
p(x+h、y)＝p(x、y)
【００１１】
ここでhは、繰り返しの周期である。検出時には自己相関を次式で求める。なお「自己相関」とは、繰り返し埋め込まれたパターン自身を比べることにより、最適な周期を算出する方法を指す。
【数１】
施された拡大・縮小率をρとして、次式を満たすｏでｃoがピークを持つ。
【００１２】
ρ≒ｏ／ｈ
【００１３】
ここでp'(x、y)は検出画像i'(x,y)から抽出した埋め込みパターン成分である。そして求めたい拡大・縮小率の範囲でｏを変化させる。ｃoが最大となるｏを求めることにより1／ｈの精度で拡大・縮小率を求めることができる。
【００１４】
実際に埋め込まれる繰り返しパターンは全く同じである必要はなく、自己相関のピークがあらわれる範囲で変化していればよい。電子透かしにおいては、通常、埋め込みパターンを知覚されにくくするために、部分的なパターンを用いたりピクセル毎にパターンの強弱を変更することが行われるが、このような場合にも拡大、縮小率が検出可能である。MPEGデータなどの複数フレームからなる動画においては、各フレームからの検出値を加えることにより、より強い自己相関のピークを得ることができる。この場合、各フレームからの検出は独立して行われるので、加えるフレーム間で同じ埋め込みパターンが用いられている必要はない。
【００１５】
MPEGデータからの拡大・縮小率検出手法を次に説明する。MPEG データは8×8ピクセルサイズのイントラ・ブロックに分割されDCT化されている。逆DCTを行なわずに自己相関を算出した場合、イントラ・ブロック単位の処理では８／ｈの精度でしか拡大・縮小率を求めることができない。そこでp(x+h、y)＝p(x、y)の条件に加えて、埋め込みパターンを8×4サイズの2つの直交する（内積が零の）基底ブロックパターンの組で構成する。
【００１６】
ここで、基底ブロックパターンの組は次の性質を持つ。（これ以外の基底ブロックパターンも存在する）
【数２】
ただし、p0、 p1 は基底ブロックパターンベクトルp0s はp0 を水平方向に循環シフトしたブロックパターン、ｋ は定数、・は内積演算である。内積演算とはベクトルの同じ成分の積を加えたものである。以上で述べた基底ブロックパターンの例を数種類図11に示す。
【００１７】
拡大・縮小率の検出のために各ブロックごとの自己相関の計算を行う。ブロックごとの自己相関の計算には数1の代わりに次式を用いる。
【数３】
ここで、
I(X,Y)=D(X,Y)・P0+jD(X,Y)・P1
I*(X,Y)=D(X,Y)・P0-jD(X,Y)・P1
であり、D(X,Y) は検出画像の(X,Y) 番目のイントラ・ブロックの64個のDCT係数のベクトル、P0、P1 、は、それぞれ 、p0、 p1 のDCT係数ベクトル、・は内積計算、ｊは虚数単位である。拡大・縮小率は、数３において｜Co｜ が最大となるO から、次の式で求められる。
【数４】
ここで、θ は数３を極座標表現した場合の位相を表す。すなわち
【数５】
これによりMPEGデータでも、1／ｈの精度で拡大・縮小率を求めることができる。
【００１８】
拡大、または、縮小された検出データから最終的に電子透かしデータを検出するには、検出データと検出パターンを、求めた拡大、縮小率に応じて一致させる必要がある。但し、拡大、縮小率が小さければ、検出パターンを少しずつシフトさせて検出ブロックに適用することで近似的に検出が可能になる。これにより、拡大、縮小に必要な処理をシフト処理に置き換える、さらに、シフトが限られていればあらかじめ用意したシフトパターンを使用することができるので、処理が高速化される。
【００１９】
すなわち、拡大、縮小率が大きくない場合、検出パターンを拡大、縮小せずに、あらかじめ準備したシフトした検出パターンを組み合わて検出ブロックに適用することにより、拡大、縮小されたままの検出データから直接電子透かしを検出する。
【００２０】
上記の方法を、水平方向、垂直方向にそれぞれ独立に用いれば等方でない拡大・縮小（アスペクト比が変化する場合）に対する耐性をもった、電子透かしの方法およびシステムが提供される。なお上記の例ではMPEGデータを例にあげたが１枚の圧縮画像データ（ＪＰＥＧなど）も全く同様の態様で実現できる。
【００２１】
【発明の実施の形態】
［システム全体の構成］
図1にシステム全体の構成図を示す。電子透かし埋め込み装置(101)は入力データである原画像と埋め込みデータから埋め込み画像を生成する。埋め込み画像はデジタル信号、アナログ信号、MPEG、JPEG等の圧縮データに変換され、目的に応じて、保管、または、配信される。埋め込み画像は保管、配信の過程において、埋め込み後施される処理、または、電子透かしを無効化することを目的として拡大・縮小処理(102)が施されることがある。電子透かし検出装置(103)は検出画像(保管、配信された埋め込み画像、及び、未埋め込み画像)を入力として電子透かしを検出し、検出データとして出力する。
【００２２】
［電子透かし検出装置］
図2に電子透かし検出装置(103) の概要を示す。Scale detector(201)は入力データである検出画像からその画像に施されている拡大、縮小処理を検出し、その拡大・縮小率を出力する。本発明で対象とする拡大・縮小率(scale factor)の検出は以下のものである:
・H-scaling Only
これは水平方向のみに対して拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y) 、拡大・縮小率をsとすると I'(sx,y)≒I(x,y) の関係が成立する。ただし、sxがグリッドに乗っていない場合は適切な補間処理が施されるものとする。
・V-scaling Only
これは垂直方向のみに対して拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y) 、拡大・縮小率をsとすると I'(x,sy) ≒I(x,y) の関係が成立する。ただし、syがグリッドに乗っていない場合は適切な補間処理が施されるものとする。
・H＝V-scaling
これは垂直方向、水平方向に対して同一の比率で拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y)、 拡大・縮小率をsとすると I'(sx,sy) ≒I(x,y) の関係が成立する。ただし、sx,syがグリッドに乗っていない場合は適切な補間処理が施されるものとする。
・H≠V-scaling
これは垂直方向、水平方向に対して異なる比率で拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y) 、拡大・縮小率をs1,s2とすると I'(s1x, s2y) ≒I(x, y) の関係が成立する。ただし、 s1 x, s2 yがグリッドに乗っていない場合は適切な補間処理が施されるものとする
【００２３】
埋め込みパターンの繰り返しの方向を変えることにより、他方向に対する拡大・縮小率の検出が可能である。（後で述べる図9の拡大・縮小率検出のためのWM formatを参照）さらに、このようにして得られた検出結果をH-scalingやV-scalingの代用として用いることも可能である。Scaled WM detector(202)は入力データとして検出画像、拡大・縮小率をうけとり、検出画像を入力された拡大・縮小率に応じて拡大・縮小する、または、検出パターンを拡大・縮小するなどの方法によって電子透かしを検出し、検出データとして出力する。
【００２４】
［水平方向の拡大・縮小のみ電子透かし検出装置フローチャート］
図3にH-scaling only(水平方向の拡大・縮小のみ)の検出画像から電子透かしを検出する場合の処理フローの例を示す。ステップ(301)において、まず拡大・縮小処理が行われていないとして電子透かし検出を行うため、水平方向の拡大・縮小率(H-scaling factor)を1.0にセットする。ステップ(302)は、与えられたH-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。ステップ(303)は条件分岐である。セットされているH-scaling factorが正しければステップ(302)において電子透かしの検出に成功する。この場合、ステップ(304)に進み検出データをbit informationとして出力する。その後ステップ(302)に戻り、引き続き同じH-scaling factorで電子透かしの検出を続ける。ステップ(303)において、電子透かしの検出に失敗した場合は、セットされているH-scaling factorが誤っていと考え、正しいH-scaling factorを検出するためステップ(305)に進みH-scale detectionを行う。ステップ(305)は検出画像からH-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(306)は条件分岐である。ステップ(305)でH-scaling factorが検出できた場合は、ステップ(307)において検出したH-scaling factorを新しいH-scaling factorとしてセットし、ステップ(302)にもどり、この拡大・縮小率に基づいて電子透かしの検出を行う。ステップ(306)において、H-scaling factorが検出できない場合は、引き続きステップ(305)にもどり、H-scale detectionを続ける。V-scaling only(垂直方向の拡大・縮小のみ)の検出画像から電子透かしを検出する場合の処理フローに関しても図3のHをVに置き換えることにより同様に考えることができる。
【００２５】
［水平方向のみの拡大・縮小、及び水平方向と垂直方向の拡大・縮小率が同じ電子透かし検出装置フローチャート］
図４にH-scaling (水平方向のみの拡大・縮小)およびH=V-scaling(水平方向と垂直方向の拡大・縮小率が同じ)された検出画像から電子透かしを検出する場合の処理フローの例を示す。ステップ(401)において、水平方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため水平方向の拡大・縮小率(H-scaling factor)を1.0にセットする。ステップ(402)において、垂直方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため垂直方向の拡大・縮小率(V-scaling factor)を1.0にセットする。ステップ(403)は、与えられたH-scaling factor、V-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。ステップ(404)は条件分岐である。セットされているH-scaling factor、V-scaling factorが正しければステップ(403)において電子透かしの検出に成功する。この場合、ステップ(405)にすすみ検出データをbit informationとして出力する。その後ステップ(403)に戻り、引き続き同じH-scaling factor、V-scaling factorで電子透かしの検出を続ける。ステップ(404)において、電子透かしの検出に失敗した場合は、垂直方向にも拡大・縮小処理が施されてるとし、ステップ(406)において、V-scaling factorをH-scaling factorにセットし、ステップ(407)に進みこの拡大・縮小率で電子透かしの検出を行う。ステップ(407)は、与えられたH-scaling factor、V-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。ステップ(408)は条件分岐である。セットされているH-scaling factor、V-scaling factorが正しければステップ(407)において電子透かしの検出に成功する。この場合、ステップ(409)にすすみ検出データをbit informationとして出力する。その後ステップ(407)に戻り、引き続き同じH-scaling factor、V-scaling factorで電子透かしの検出を続ける。ステップ(408)において、電子透かしの検出に失敗した場合は、セットされているH-scaling factorが誤っていと考え、正しいH-scaling factorを検出するためステップ(410)に進みH-scale detectionを行う。ステップ(410)は検出画像からH-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(411)は条件分岐であり、ステップ(410)でH-scaling factorが検出できた場合は、ステップ(412)で検出したH-scaling factorを新しいH-scaling factorとしてセットし、ステップ(402)にもどり、このscaling factorで水平方向のみに拡大・縮小が行われているものとして電子透かしの検出行う。ステップ(411)において、H-scaling factorが検出できない場合は、引き続きステップ(410)にもどり、H-scale detectionを続ける。H=V-scaling で用いるscaling-factorに関してはH-scaling factorの検出結果を使う上記の方法以外に、V-scaling factorの検出結果などほかの向きに対する拡大・縮小率の検出結果を用いることも可能である。
【００２６】
［水平方向と垂直方向の拡大・縮小率が異なる電子透かし検出装置フローチャート］
図5にH≠V-scaling(水平方向と垂直方向の拡大・縮小率が異なる)された検出画像から電子透かしを検出する場合の処理フローの例を示す。ステップ(501)において、水平方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため水平方向の拡大・縮小率(H-scaling factor)を1.0にセットする。ステップ(502)において、垂直方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため垂直方向の拡大・縮小率(V-scaling factor)を1.0にセットする。
ステップ(503)は、与えられたH-scaling factor、V-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。
ステップ(504)は条件分岐である。セットされているH-scaling factor、V-scaling factorが正しければステップ(503)において電子透かしの検出に成功する。この場合、ステップ(505)に進み検出データをbit informationとして出力する。その後ステップ(503)に戻り、引き続き同じH-scaling factor、V-scaling factorで電子透かしの検出を続ける。ステップ(504)において、電子透かしの検出に失敗した場合は、セットされているH-scaling factor、V-scaling factorが誤っていと考え、正しいscaling factorを検出するためステップ(506)に進みH-scale detectionを行う。ステップ(506)は検出画像からH-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(507)は条件分岐であり、ステップ(506)でH-scaling factorが検出できた場合は、ステップ(508)で検出したH-scaling factorを新しいH-scaling factorとしてセットし、ステップ(510)に進む。ステップ(507)において、H-scaling factorが検出できない場合は、引き続きステップ(506)にもどり、H-scale detectionを続ける。
ステップ(509)は検出画像からV-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(510)は条件分岐であり、ステップ(509)でV-scaling factorが検出できた場合は、ステップ(511)で検出したV-scaling factorを新しいV-scaling factorとしてセットし、ステップ(503)にもどり、検出されたH-scaling factor、V-scaling factorで拡大・縮小が行われているものとして電子透かしの検出行う。ステップ(510)において、V-scaling factorが検出できない場合は、引き続きステップ(509)にもどり、V-scale detectionを続ける。
【００２７】
［水平方向の拡大・縮小率を検出するフローチャート］
図6にH-scale factor(水平方向の拡大・縮小率)を検出するScale detectorの処理フローの例を示す。この処理は図2のステップ(201)において実行される。ステップ(601)は初期化を行うステップである。ステップ(607)、ステップ(608)で参照するframe counterを0にセットする、自己相関の計算結果をストアするたの自己相関テーブルの初期化が主な処理である。ステップ(602)は検出画像データを取得するステップである。静止画の場合は画像全体のデータ、動画の場合は1フレーム分のデータを取得する。ステップ(603)は、ステップ(602)で取得した検出画像データを用いて自己相関(auto-correlation)の計算を行い自己相関テーブルを更新するステップである。ステップ(604) は、ステップ(603)で得られた自己相関テーブルの中からピークとなっている自己相関を探すステップである。ステップ(605)は条件分岐であり、 ステップ(604)で見つけたピークが拡大・縮小率検出の条件を満たしているか判断するステップである。検出の条件を満たしている場合はステップ(606)において検出した拡大・縮小率を出力する。ステップ(607)は、検出画像が動画で、複数フレームの自己相関結果を蓄積し、より信頼性の高い拡大・縮小率の検出結果を得ようとする場合に、蓄積フレーム数があらかじめ定めた最大フレーム数を越えていないかチェックするステップである。最大フレーム数を越えていない場合は、ステップ(608)に進む。ステップ(607)において、蓄積フレーム数が最大フレーム数を越えている場合は、frame counter、自己相関テーブルを初期化するためにステップ(601)に進む。ステップ(608)は、蓄積フレーム数を数えるためにframe counterを1増加させるステップである。V-scale factor(垂直方向の拡大・縮小率)の検出の処理フローに関しても、図6のHをVに置き換えることにより同様に考えることができる。
【００２８】
［拡大・縮小率検出のための埋め込みパターン・フォーマット］
本発明では、拡大・縮小率検出のために特別なregistration用パターンを埋め込みデータ用パターンに重畳して埋め込むのではなく、埋め込みデータの用埋め込みパターンの繰り返しを自己相関計算により検出することにより拡大・縮小率の検出を行うことが可能である。従って埋め込みパターンは図7に示すように拡大・縮小検出方向に対して最低2回の同じパターンの繰り返しにより構成されている必要がある。図7は埋め込み画像1画面に付加する埋め込みパターンを、水平方向、及び、垂直方向の拡大・縮小率検出のために2回繰り返しパターンを用いる場合を概念的に示しているものである。ここではP0[x][y]=P1[x+ch][y]=P2[x][y+cv]=P3[x+ch][y+cv]が成立する。実際の埋め込みパターンは、埋め込みを行う原画像に応じて人に知覚されないように変更される。しかし、繰り返しパターン間の相関を保ったままにしておく。すなわちP0 ≒P1≒P2≒P3が成り立つ。埋め込みパターンの繰り返しのバリエーションとして、負のパターンの繰り返しも可能である。すなわち繰り返しパターンがP0=-P1 , P0=-P2 , P2=-P3などの関係をもたせることも可能である。
【００２９】
［水平方向、または垂直方向に対する自己相関計算（Calculation of auto-correlation）］
図8に水平方向、または垂直方向に対する自己相関計算の概要を示すブロック図を示す。図6のステップ(603)「Calculation of H-auto-correlation」に対応する。ブロック(801)では埋め込みパターン成分抽出は検出画像からフィルタ処理等により検出パターン関連成分を抽出する。ブロック(802)では自己相関計算では検出パターン関連成分を入力として各拡大・縮小の検出ステップ毎に自己相関を計算しその結果で自己相関テーブルを更新する。拡大・縮小の検出ステップは、入力された検出画像がデジタル・データである場合(baseband data)と、入力された検出画像が圧縮データ(MPEG,JPEG等)である場合によって異なる。自己相関テーブル更新の方法は、例えば、過去の自己相関の結果に加算するというものである。ブロック(803)において自己相関計算テーブルは、拡大・縮小の検出ステップ毎に自己相関の計算結果を蓄えておく部分であり、図6のブロック(604)のsearch for auto-correlation peakでピークの検索に用いる。
【００３０】
［ベースバンド・データにおける自己相関計算］
図9に、図8のブロック(802)の「自己相関計算」における処理フロー例を検出データがbaseband データである場合について図示する。ステップ(901)は初期化のステップで、j=0のほか、x=min_x からx=max_xについてAC[x]=0,N1[x]=0,N2[x]=0を行う。ここで縮小率を求めるためにmin_xは負の値、拡大率を求めるためにmax_xは正の値である。ステップ(902)からステップ(910)は、正規化する前の自己相関値AC[x]と正規化ファクター N1[x],N2[x]の計算を行うステップである。これにより(c+min_x)/cから(c+max_x)/cまでの拡大・縮小率の検出を1/cステップで行うことができる。ここでI'[i][j]は入力画像データである検出パターン成分を抽出した検出画像のi行j列のpixel値、cは埋め込みパターンの繰り返し周期(図7におけるchまたはcv)、max_iはiの最大値、max_jはjの最大値である。ステップ(911)からステップ(914)は各拡大・縮小率の検出ステップxについて自己相関値AC[x]を正規化するステップである。以上の処理により以下の式で表される
【数６】
自己相関の計算結果が得られる。ここでmax_i’=max_i-c-max_x である。この処理のうち、正規化処理を除いたもの、すなわち次式、
【数７】
を自己相関の計算結果として代用することも可能である。
【００３１】
［ベースバンド・データにおける自己相関ピークの探索］
入力データがベースバンド・データである場合の図6のステップ(604)「Search for H-auto-correlation peak」で、図9で求めた自己相関の計算結果AC[x]のうちピークとなっている計算結果を探す。隣り合う繰り返しパターン間で正の相関がある場合(図7の例でP0=P1の関係が成り立つ場合)はAC[x]の中から最大となるx=xpeakを探す。逆に隣り合う繰り返しパターン間で負の相関がある場合(図7の例でP0=-P1の関係が成り立つ場合)はAC[x]の中から最小となるx=xpeakを探す。xpeakによって得られる拡大・縮小率scale_factorは次式となる。
【数８】
【００３２】
［圧縮データからの拡大・縮小率検出のための埋め込みパターン・フォーマット］
MPEG,JPEGドメインでは画像は8x8pixelのブロックに分割されのちDCTされたデータとして記録されている。従ってDCTデータを逆変換すればbasebandデータと同様な処理が可能である。しかし、逆変換の処理はコストが高いので、逆変換をせずに拡大・縮小率の検出を可能にする必要がある。圧縮データからの拡大・縮小率検出のための電子透かしフォーマットは次の性質を持つ。
・ピクセルずれに応じて自己相関のピークの現れ方が異なる。
これにより、ブロック単位より細かい拡大・縮小率検出の精度を得る。
【００３３】
［圧縮データにおける自己相関計算］
図10に、図8の(802)「自己相関計算」における処理フロー例を検出データが圧縮データである場合について図示する。この処理は図8のブロック(801)において実行される。ステップ(1001)は初期化ステップである。C0[x],C1[x],N1[x],N2[x](min_x'≦x≦max_x')をリセットする。1+min_x'/c'〜1+max_x'/c'が拡大・縮小率の検出範囲であり、縮小率を求めるためにはmin_x'は負の値である必要がある。
またここで、c'は埋め込みパターンの繰り返し周期(図7におけるchまたはcv)をDCTブロック数で表したものである。ステップ(1002)は、圧縮データをparseして未処理のDCTブロックのDCT係数D[i][j][k](0≦k≦63)及びそのブロック座標i,jを得るステップである。ここでi,jはDCTブロック単位の座標を表す。ステップ(1003)からステップ(1006)は得られたDCTブロック係数と基底ブロックパターンとの内積を計算するステップである。ここでP0[m][k]、P1[m][k]はm番目の基底ブロックパターンの組をDCT変換した係数、max_mは基底ブロックパターンの組の数を表す。ステップ(1007)からステップ(1015)は(1004)で得られた内積計算結果を用いて正規化する前の自己相関値C0[x],C1[x]と正規化ファクターN1[x],N2[x]の計算を行うステップである。ここで、smは基底ブロックパターンの組によって決定される1または-1の値である。になる。ステップ(1016)からステップ(1019)は各拡大・縮小率の検出ステップxについてステップ(1007)からステップ(1015)で得られた自己相関値を正規化するステップである。
【００３４】
［圧縮データにおける自己相関ピークの探索］
図12に圧縮データにおける図6のステップ(604)「Search for H-auto-correlation peak」処理フロー例を示めす。ステップ(1201)はC0[x],C1[x](min_x'≦x≦max_x')の中からC0[x],C1[x]の大きさが最大になるxの値xpeak'を求めるステップである。ステップ(1202)はC0[xpeak'],C1[xpeak']の位相θを計算するステップである。ステップ(1203)は得られたxpeak'とθから拡大・縮小率scale_factorを求めるステップである。(ただし、ここで示した計算式は一例であり、用いる基底ブロックパターンにより異なる。)
【００３５】
［拡大・縮小率に基づく電子透かし検出（Scaled WM detector）］
図2のブロック(202)の「Scaled WM detector」ブロックの概要を図13または図14に示す。図13は検出画像を入力された拡大・縮小率に基づいて修正して電子透かしを検出する方法を表している。図14は検出パターンを検出画像の拡大・縮小率に応じて修正して電子透かしを検出する方法を表している。検出画像の拡大・縮小部(1301)は、入力データである拡大・縮小率に応じて、入力データである検出画像を拡大、縮小して出力する。検出画像の拡大・縮小部(1301)は、拡大・縮小処理(102)によって変形された検出画像を修正する処理を行う。次に電子透かし検出部は、検出画像の拡大・縮小部(1301)において拡大・縮小された検出画像を受け取り、電子透かしの検出を行い、その結果を検出データとして出力する。電子透かしの検出方法は電子透かしの方式に依存するが、入力された画像には拡大・縮小・処理(102)が施されていないものとして処理する。一方、検出パターンの拡大・縮小部(1401)は入力データである拡大・縮小率に応じて、検出パターンを拡大・縮小して出力する。入力された拡大・縮小率が限られた範囲である場合、あらかじめ拡大・縮小した検出パターンを用意しておくことにより、この処理を入力された拡大・縮小率に応じた検出パターンを選択して出力する処理に置き換えることができる。次に、電子透かしの検出部(1402)は、検出パターンの拡大・縮小部(1401)により拡大・縮小された検出パターンと、拡大・縮小率、検出画像を受け取り、電子透かしの検出を行い、その結果を検出データとして出力する。電子透かしの検出方法は電子透かしの方式に依存する。図13の方式と異なり、図14では検出パターンが拡大・縮小されているので、入力された拡大・縮小率によって、検出パターンに拡大・縮小されていない場合との対応をとる必要がある。例えば拡大・縮小率(scale factor)がsi,sjの場合はi,j番目の結果をi/si,j/ sj番目の結果として扱うといった処理を行う。
【００３６】
［水平・垂直方向に縮小処理された場合の検出画像DCTブロックと検出パターンブロック］
MPEG、JPEGなどの圧縮データからの検出では、入力データは8x8ピクセルのDCTプロックデータとして与えられる。DCTブロックのDCT係数を逆変換して、ベースバンド(baseband)データとして扱う方法は、コストの点不利である。検出画像が拡大・縮小処理(102)を受けていない場合は、検出パターンも8x8ピクセルにブロック化し、ブロック毎に検出処理を行うことにより、直接DCTブロックからの検出が可能になる。しかし、検出画像に対して拡大・縮小処理(102)が行われた場合は、DCTブロックと、検出パターンブロックの不一致が生じる。図15は検出画像に対して拡大・縮小処理(102)によって縮小処理が行われた場合に、MPEG、JPEGなどの圧縮データにおいて、検出画像のDCTブロックと、検出パターンブロックの関係を模式的に示したものである。検出画像が縮小するため、縮小した検出パターンを用いる必要がある。検出画像の拡大・縮小処理(102)が行われていない場合に対応して分割した検出パターンのブロックは8x8pixel以下のサイズになり、圧縮データを解釈(parse)して得られるDCTブロックとの不一致が生じる。図15に示すように一つのDCTブロックには複数の検出パターンブロックが含まれることになる。DCTブロックデータから逆DCT処理を行わずに検出する場合、一つのDCTブロックに含まれる複数の検出パターンブロック毎に 電子透かしの検出処理を行う必要がある。逆DCT処理を行ったのち、図13に示す方法で電子透かしの検出を行う場合は、このDCTブロック内に複数の検出パターンが含まれることを考える必要はない。
【００３７】
［圧縮データにおける、拡大・縮小率に基づく電子透かし検出］
図16に、MPEG、JPEGといった圧縮データにおける(1402)「電子透かし検出部」ブロックにおける各DCTブロック毎の処理の例を示す。DCT化された検出画像から直接検出する(逆DCT処理を行わない)ため、図16は図14に示した検出パターンを拡大・縮小する方法を用いている。ステップ(1601)は、圧縮データを解釈(parse)して未処理のDCTブロックの係数を得るステップである。ここでi,jはDCTブロックの座標である。ステップ(1602)は、処理中のDCTブロックないの検出パターンブロックによってm個に分割された各部分を順に処理するために、分割のインデックスlを0に初期化するステップである。ステップ(1603)は、検出画像の拡大・縮小率に対応した検出パターンからDCTブロックとその分割インデックスlに対応したパターン(分割パターン)を得る処理である。ステップ(1604)は、ステップ(1603)で得られた分割パターンM’[i][j][l][k](0≦k≦63)をDCT処理しM’DCT[i][j][l][k](0≦k≦63)を得るステップである。あらかじめDCT処理済み分割パターンが準備されおり、ステップ(1603)で得るパターンがDCT処理済み分割パターンである場合はこの処理は不要である。ステップ(1605)は(1601)で得られたDCTブロックと(1604)で得られた分割パターンによる電子透かし検出処理を行うステップである。電子透かしの検出処理は電子透かしの方式に依存する。ステップ(1606)は条件分岐で、すべての分割パターンを処理した場合にはステップ(1608)に進み、このブロックの電子透かし検出処理を終了する。そうでない場合は次の分割パターンの処理を行うためステップ(1607)に進みlを1増加させる。図17はDCTブロックD[i][j]と分割パターンM’[i][j][l]の関係をDCTブロックが検出パターンブロックによって4分割される場合について示したものである。分割されたパターン以外の部分のパターン値は0にセットされている。
【００３８】
［近似パターンによる、拡大・縮小率に基づく電子透かし検出］
検出画像の拡大縮小、または、検出パターンを拡大縮小を行わない検出方法を図18に示す。拡大・縮小率(scale factor)が1.0に近い場合、図13、及び、図14に示した検出画像の拡大縮小、または、検出パターンを拡大縮小を行わずに、検出パターンをブロックに分割して、ブロック毎にずれが少なくなるように対応づける。電子透かし検出部(1801)は、入力データである拡大・縮小率、および、検出画像から検出データを出力する。
【００３９】
［ベースバンド・データにおける近似パターンによる電子透かし検出］
図19に、近似パターンによる電子透かし検出部(1801)における処理を画像データがベースバンド・データである場合の例を示す。ここで検出パターンは幅mh、高さmwに均等に分割されているものとする。ステップ(1901)は変数jを0にセットするステップである。ステップ(1902)は変数iを0にセットするステップである。ステップ(1903)は座標(i,j)を頂点に持つ幅mw高さmhの検出パターンブロックを得るステップである。ステップ(1904)は(1903)で得た頂点(i,j)検出パターンに対応する検出画像ブロックを得るステップである。得られる検出画像ブロックは座標(i/si,j/sj)を頂点に持つ幅mw高さmhのブロックである。。ここでsiはi座標方向の拡大・縮小率(scale factor)、sjはj座標方向の拡大・縮小率(scale factor)である。ステップ(1905)はステップ(1903)で得られた検出パターンブロックとステップ(1904)で得られた検出画像ブロックを用いて電子透かし検出処理を行うステップである。ステップ(1906)は次の検出パターンブロックの処理に移るためiを幅mw増加させるステップである。ステップ(1907)は処理が検出画像の幅(max_i)を越えてないか判断するステップである。ステップ(1908)は次の検出パターンブロックの処理に移るためjを高さmh増加させるステップである。ステップ(1909)は処理が検出画像の高さ(max_j)を越えてないか判断するステップである。
【００４０】
［水平・垂直方向に縮小処理された場合の検出画像DCTブロックと近似検出パターンブロック］
検出画像がMPEG,JPEG等の圧縮データである場合、拡大・縮小処理(102)された画像データは図15に示したように一つのDCTブロックには複数個の検出パターンブロックに分割される。圧縮データの場合図18に示した近似パターンによる電子透かし検出法を圧縮データに適用する場合、図20に示すようにパターンをシフトさせ、そのパターンを図21に示すように分割ごとに適用し検出を行う。これによりあらかじめ準備する分割パターンの数を減らすことができる。
【００４１】
［圧縮データにおける、拡大・縮小率に基づく近似の電子透かし検出］
図22に、MPEG、JPEGといった圧縮データにおける「近似パターン電子透かし検出部」ブロック(1801)における処理の例を示す。ステップ(2201)は、あらかじめ図21に示したような分割されたパターンを8×8=64通りのシフトと分割毎に生成して、それをDCT処理し、パターンバッファM'' DCT[shift_i][shift_j][l][k](0≦shift_i≦8, 0≦shit_j≦8, 0≦l<m, 0≦k≦63)に蓄えるステップである。ステップ(2202)は、圧縮データを解釈(parse)して未処理のDCTブロックの係数を得るステップである。ここでi,jはDCTブロックの座標である。ステップ(2203)はDCTブロックの座標(i,j)と拡大・縮小率(si,sj)を受け取り、検出パターンのシフト量(shift_i,shift_j)を計算するステップである。図20では左上分割の場合のシフト量の例が示されている。ステップ(2204)は、処理中のDCTブロックないの検出パターンブロックによってm個に分割された各部分を順に処理するために、分割のインデックスlを0に初期化するステップである。ステップ(2205)は、DCTブロックの座標(i,j)と検出パターンのシフト量(shift_i,shift_j) からDCT処理済みの検出パターン(分割パターン)(M'' DCT[shift_i][shift_j][l][k](0≦k≦63))を得る処理である。ステップ(2206)は(2202)で得られたDCTブロックと(2205)で得られた分割パターンによる電子透かし検出処理を行うステップである。電子透かしの検出処理は電子透かしの方式に依存する。ステップ(2207)は条件分岐で、すべての分割パターンを処理した場合にはステップ(2209)に進み、このブロックの電子透かし検出処理を終了する。そうでない場合は次の分割パターンの処理を行うためステップ(2208)に進みlを1増加させる。ステップ(2209)はすべてのDCTブロックが処理されたか判断するステップである。
【００４２】
［埋め込み／検出システムのハードウェア構成例］
図23に本発明において使用される電子透かしの埋め込み／検出システムのハードウェア構成の一実施例を示す。システム１００は、中央処理装置（ＣＰＵ）１とメモリ４とを含んでいる。ＣＰＵ１とメモリ４は、バス２を介して、補助記憶装置としてのハードディスク装置１３（またはＣＤ−ＲＯＭ２６、ＤＶＤ３２等の記憶媒体駆動装置）とＩＤＥコントローラ２５を介して接続してある。同様にＣＰＵ１とメモリ４は、バス２を介して、補助記憶装置としてのハードディスク装置３０（またはＭＯ２８、ＣＤ−ＲＯＭ２９、ＤＶＤ３１等の記憶媒体駆動装置）とＳＣＳＩコントローラ２７を介して接続してある。フロッピーディスク装置２０はフロッピーディスクコントローラ１９を介してバス２へ接続されている。
【００４３】
フロッピーディスク装置２０には、フロッピーディスクが挿入され、このフロッピーディスク等やハードディスク装置１３（またはＣＤ−ＲＯＭ２６、ＤＶＤ３２等の記憶媒体）、ＲＯＭ１４には、オペレーティングシステムと協働してＣＰＵ等に命令を与え、本発明を実施するためのコンピュータプログラム、埋め込み／検出プログラム、オペレーティングシステムのコード若しくはデータを記録することができ、メモリ４にロードされることによって実行される。これらコンピュータ・プログラムのコードは圧縮し、または、複数に分割して、複数の記録媒体に記録することもできる。
【００４４】
システム１００は更に、ユーザ・インターフェース・ハードウェアを備え、入力をするためのポインティング・デバイス（マウス、ジョイスティック等）７またはキーボード６や、電子透かし検出結果を表示するためのディスプレイ１２を有することができる。また、パラレルポート１６を介してプリンタを接続することや、シリアルポート１５を介してモデムを接続することが可能である。このシステム１００は、シリアルポート１５およびモデムまたは通信アダプタ１８(イーサネットやトークンリング・カード)等を介してネットワークに接続し、他のコンピュータ、サーバ等と通信を行い、デジタルデータおよび電子透かしのための埋め込みパターンをネットワークを通じて外部から取り込んでもよい。またシリアルポート１５若しくはパラレルポート１６に、遠隔送受信機器を接続して、赤外線若しくは電波によりデータの送受信を行ってもよい。
【００４５】
スピーカ２３は、オーディオ・コントローラ２１によってＤ／Ａ（デジタル／アナログ変換）変換されたサウンド、音声信号を、アンプ２２を介して受領し、サウンド、音声として出力する。また、オーディオ・コントローラ２１は、マイクロフォン２４から受領した音声情報をＡ／Ｄ（アナログ／デジタル）変換し、システム外部の音声情報をシステムにとり込むことを可能にしている。
【００４６】
このように、本発明のシステムは、通常のパーソナルコンピュータ（ＰＣ）やワークステーション、ノートブックＰＣ、パームトップＰＣ、ネットワークコンピュータ、コンピュータを内蔵したテレビ等の各種家電製品、通信機能を有するゲーム機、電話、ＦＡＸ、携帯電話、ＰＨＳ、電子手帳、等を含む通信機能有する通信端末、または、これらの組合せによって実施可能であることを容易に理解できるであろう。ただし、これらの構成要素は例示であり、その全ての構成要素が本発明の必須の構成要素となるわけではない。
【００４７】
【発明の効果】
本発明により、埋め込む情報とは別の幾何補正のための信号が必要ない、拡大縮小耐性を有する電子透かし埋め込み／検出方法及びシステムが提供される。さらに水平方向、垂直方向の拡大、縮小率を独立に検出することが可能であるので、アスペクト比が変化する場合にも電子透かしが検出できる。
【図面の簡単な説明】
【図１】本発明のシステム全体の構成図である。
【図２】電子透かし検出装置の概要を示す図である。
【図３】水平方向の拡大・縮小のみの検出画像から電子透かしを検出する処理フローである。
【図４】水平方向のみの拡大・縮小および水平方向と垂直方向の拡大・縮小率が同じ検出画像から電子透かしを検出する場合の処理フローである。
【図５】水平方向と垂直方向の拡大・縮小率が異なる検出画像から電子透かしを検出する処理フローである。
【図６】水平方向の拡大・縮小率検出の処理フローである。
【図７】埋め込みパターンの繰り返し例を示す図である。
【図８】水平方向、または垂直方向に対する自己相関計算の概要を示すブロックである。
【図９】検出データがベースバンドデータの場合の自己相関計算処理フローである。
【図１０】検出データが圧縮データの場合の自己相関計算処理フローである。
【図１１】周期的な埋め込みパターンの例である。
【図１２】圧縮データにおける自己相関ピークの探索処理フローである。
【図１３】検出画像を入力された拡大・縮小率に基づいて修正して電子透かしを検出する方法を示した図である。
【図１４】検出パターンを検出画像の拡大・縮小率に応じて修正して電子透かしを検出する方法を示した図である。
【図１５】検出画像のDCTブロックと検出パターンブロックの関係を模式的に示した図である。
【図１６】圧縮データにおける電子透かし検出部のDCTブロック毎の処理の例を示す図である。
【図１７】DCTブロックと分割パターンの関係を示す図である。
【図１８】検出画像の拡大縮小または検出パターンを拡大縮小を行わない検出方法を示す図である。
【図１９】近似パターンによる電子透かし検出部の処理を示す図である。
【図２０】近似検出パターンブロックのシフトを説明する図である。
【図２１】シフトした近似検出パターンブロックを圧縮データに適用する図である。
【図２２】圧縮データにおける近似パターン電子透かし検出部の処理を示す図である。
【図２３】電子透かしの埋め込み／検出システムのハードウェア構成例である。
【符号の説明】
１・・・ＣＰＵ
２・・・バス
４・・・メモリ
５・・・キーボード・マウス・コントローラ
６・・・キーボード
７・・・ポインティングデバイス
８・・・ディスプレイ・アダプタ・カード
９・・・ビデオメモリ
１０・・・ＤＡＣ／ＬＣＤＣ
１１・・・表示装置
１２・・・ＣＲＴディスプレイ
１３・・・ハードディスク装置
１４・・・ＲＯＭ
１５・・・シリアルポート
１６・・・パラレルポート
１７・・・タイマ
１８・・・通信アダプタ
１９・・・フロッピーディスクコントローラ
２０・・・フロッピーディスク装置
２１・・・オーディオ・コントローラ
２２・・・アンプ
２３・・・スピーカ
２４・・・マイクロフォン
２５・・・ＩＤＥコントローラ
２６・・・ＣＤ−ＲＯＭ
２７・・・ＳＣＳＩコントローラ
２８・・・ＭＯ
２９・・・ＣＤ−ＲＯＭ
３０・・・ハードディスク装置
３１・・・ＤＶＤ
３２・・・ＤＶＤ
１００・・・システム
【産業上の利用分野】
本発明は、デジタルデータへの電子透かしに関し、特に拡大操作または縮小操作に耐えられる電子透かしの方法およびそのシステムに関する発明である。
【０００２】
【従来の技術】
映像コンテンツなどのデジタルデータに著作権管理のための電子透かしを埋め込むためには、埋め込んだデータが埋め込み後に受ける様々な処理に対する耐性を持つことが必要である。なかでも映像の拡大・縮小処理に対する耐性の実現は重要である。
従来では、電子透かしの入ったデジタルデータに拡大もしくは縮小操作がなされた場合に備えて、電子透かしの情報とは別に、幾何的な補正を行うためのキャリブレーション信号をデジタルデータに埋め込み、該キャリブレーション信号を検出することにより、デジタルデータの変形操作に対応していた。（たとえばUSP5832119など）しかしながら、このような方法では、電子透かしの情報を埋め込むことに加えて幾何的な補正のためのパターンを別に埋め込まなくてはならないので、元データの品質の劣化や、埋め込み情報の検出時間増大につながる可能性があった。
さらに幾何補正のパターンが周波数空間で埋め込まれた場合には、逆周波数変換してこれを検出する必要があった。
【０００３】
【発明が解決しようとする課題】
従って、本発明が解決しようとする課題は、幾何補正のための信号が必要のない電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、デジタルデータの品質の劣化の少ない電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、電子透かしの検出時間を短縮する電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、逆周波数変換をせずに拡大縮小率を算出できる電子透かし埋め込み／検出方法及びシステムを提供することである。
また別の課題は、拡大縮小されたデジタルデータから精度よく電子透かしを検出する、電子透かし検出方法及びシステムを提供することである。
また別の課題は、拡大縮小されたデジタルデータを元の縮尺に戻すことなく電子透かしを検出する、電子透かし検出方法及びシステムを提供することである。
【０００４】
【課題を解決するための手段】
上記課題を解決するために、本発明では、電子透かしとして埋め込む情報を有する、埋め込みパターンそのものに、繰り返しを持つ周期的なパターンを用い、検出時にその周期の変化を観測することにより拡大・縮小率を算出する。電子透かしの検出時には、拡大・縮小処理が施されたデジタルデータから映像の拡大・縮小率を求め、つぎに得られた拡大・縮小率に基づき電子透かしの検出処理を行う。本発明の特徴は、拡大・縮小率の検出に、幾何補正のための特別な第二の埋め込みパターンを必要としないこと、および、拡大・縮小率の検出、電子透かしの検出がMPEGにエンコードされているデータを逆DCTすることなく行えることにある。
【０００５】
以下に、電子透かしに拡大・縮小耐性を与えるための、デジタルデータ（以下デジタルデータの例として単にデータ、画像、または映像とも記す）になされた拡大・縮小率を求める手法について説明する。まず一般的な場合として、データがMPEGにエンコードされていない場合の検出手法を説明する。本発明では埋め込み時に画像に加えるパターンに繰り返しを持つ周期的なパターンを用い、検出時にその周期の変化を観測することにより拡大・縮小率を算出する。拡大・縮小率をsとおいた場合、映像の1フレーム中の画素データi(x,y)は次のように変化する。
【０００６】
i'(sx,sy)=i(x,y) (1)
【０００７】
ここで、x、yは画素の座標を表す。画像が、拡大・縮小処理を受ける場合は、水平方向または垂直方向の拡大・縮小率を求めればよい。従って、ここでは水平方向の拡大・縮小率を求める場合について説明する。一般的に電子透かしの埋め込みは、画像データにパターン（埋め込む情報を有するデジタルのパターン）を加える操作と見なすことができる。従って次のように表すことができる。
【０００８】
i(x,y)=is(x,y)+p(x、y)
【０００９】
ここでis(x,y)は元画像、p(x、y)は、情報を埋め込むために元画像に加えるパターンである。本発明では、拡大・縮小率をp(x、y)の周期変化で検出する。従って、p(x、y)には次のような性質が必要である:
【００１０】
p(x+h、y)＝p(x、y)
【００１１】
ここでhは、繰り返しの周期である。検出時には自己相関を次式で求める。なお「自己相関」とは、繰り返し埋め込まれたパターン自身を比べることにより、最適な周期を算出する方法を指す。
【数１】
【００１２】
ρ≒ｏ／ｈ
【００１３】
ここでp'(x、y)は検出画像i'(x,y)から抽出した埋め込みパターン成分である。そして求めたい拡大・縮小率の範囲でｏを変化させる。ｃoが最大となるｏを求めることにより1／ｈの精度で拡大・縮小率を求めることができる。
【００１４】
実際に埋め込まれる繰り返しパターンは全く同じである必要はなく、自己相関のピークがあらわれる範囲で変化していればよい。電子透かしにおいては、通常、埋め込みパターンを知覚されにくくするために、部分的なパターンを用いたりピクセル毎にパターンの強弱を変更することが行われるが、このような場合にも拡大、縮小率が検出可能である。MPEGデータなどの複数フレームからなる動画においては、各フレームからの検出値を加えることにより、より強い自己相関のピークを得ることができる。この場合、各フレームからの検出は独立して行われるので、加えるフレーム間で同じ埋め込みパターンが用いられている必要はない。
【００１５】
MPEGデータからの拡大・縮小率検出手法を次に説明する。MPEG データは8×8ピクセルサイズのイントラ・ブロックに分割されDCT化されている。逆DCTを行なわずに自己相関を算出した場合、イントラ・ブロック単位の処理では８／ｈの精度でしか拡大・縮小率を求めることができない。そこでp(x+h、y)＝p(x、y)の条件に加えて、埋め込みパターンを8×4サイズの2つの直交する（内積が零の）基底ブロックパターンの組で構成する。
【００１６】
ここで、基底ブロックパターンの組は次の性質を持つ。（これ以外の基底ブロックパターンも存在する）
【数２】
【００１７】
拡大・縮小率の検出のために各ブロックごとの自己相関の計算を行う。ブロックごとの自己相関の計算には数1の代わりに次式を用いる。
【数３】
I(X,Y)=D(X,Y)・P0+jD(X,Y)・P1
I*(X,Y)=D(X,Y)・P0-jD(X,Y)・P1
であり、D(X,Y) は検出画像の(X,Y) 番目のイントラ・ブロックの64個のDCT係数のベクトル、P0、P1 、は、それぞれ 、p0、 p1 のDCT係数ベクトル、・は内積計算、ｊは虚数単位である。拡大・縮小率は、数３において｜Co｜ が最大となるO から、次の式で求められる。
【数４】
【数５】
【００１８】
拡大、または、縮小された検出データから最終的に電子透かしデータを検出するには、検出データと検出パターンを、求めた拡大、縮小率に応じて一致させる必要がある。但し、拡大、縮小率が小さければ、検出パターンを少しずつシフトさせて検出ブロックに適用することで近似的に検出が可能になる。これにより、拡大、縮小に必要な処理をシフト処理に置き換える、さらに、シフトが限られていればあらかじめ用意したシフトパターンを使用することができるので、処理が高速化される。
【００１９】
すなわち、拡大、縮小率が大きくない場合、検出パターンを拡大、縮小せずに、あらかじめ準備したシフトした検出パターンを組み合わて検出ブロックに適用することにより、拡大、縮小されたままの検出データから直接電子透かしを検出する。
【００２０】
上記の方法を、水平方向、垂直方向にそれぞれ独立に用いれば等方でない拡大・縮小（アスペクト比が変化する場合）に対する耐性をもった、電子透かしの方法およびシステムが提供される。なお上記の例ではMPEGデータを例にあげたが１枚の圧縮画像データ（ＪＰＥＧなど）も全く同様の態様で実現できる。
【００２１】
【発明の実施の形態】
［システム全体の構成］
図1にシステム全体の構成図を示す。電子透かし埋め込み装置(101)は入力データである原画像と埋め込みデータから埋め込み画像を生成する。埋め込み画像はデジタル信号、アナログ信号、MPEG、JPEG等の圧縮データに変換され、目的に応じて、保管、または、配信される。埋め込み画像は保管、配信の過程において、埋め込み後施される処理、または、電子透かしを無効化することを目的として拡大・縮小処理(102)が施されることがある。電子透かし検出装置(103)は検出画像(保管、配信された埋め込み画像、及び、未埋め込み画像)を入力として電子透かしを検出し、検出データとして出力する。
【００２２】
［電子透かし検出装置］
図2に電子透かし検出装置(103) の概要を示す。Scale detector(201)は入力データである検出画像からその画像に施されている拡大、縮小処理を検出し、その拡大・縮小率を出力する。本発明で対象とする拡大・縮小率(scale factor)の検出は以下のものである:
・H-scaling Only
これは水平方向のみに対して拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y) 、拡大・縮小率をsとすると I'(sx,y)≒I(x,y) の関係が成立する。ただし、sxがグリッドに乗っていない場合は適切な補間処理が施されるものとする。
・V-scaling Only
これは垂直方向のみに対して拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y) 、拡大・縮小率をsとすると I'(x,sy) ≒I(x,y) の関係が成立する。ただし、syがグリッドに乗っていない場合は適切な補間処理が施されるものとする。
・H＝V-scaling
これは垂直方向、水平方向に対して同一の比率で拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y)、 拡大・縮小率をsとすると I'(sx,sy) ≒I(x,y) の関係が成立する。ただし、sx,syがグリッドに乗っていない場合は適切な補間処理が施されるものとする。
・H≠V-scaling
これは垂直方向、水平方向に対して異なる比率で拡大・縮小処理された検出画像を示す。埋め込み画像をI(x,y)、検出画像をI'(x,y) 、拡大・縮小率をs1,s2とすると I'(s1x, s2y) ≒I(x, y) の関係が成立する。ただし、 s1 x, s2 yがグリッドに乗っていない場合は適切な補間処理が施されるものとする
【００２３】
埋め込みパターンの繰り返しの方向を変えることにより、他方向に対する拡大・縮小率の検出が可能である。（後で述べる図9の拡大・縮小率検出のためのWM formatを参照）さらに、このようにして得られた検出結果をH-scalingやV-scalingの代用として用いることも可能である。Scaled WM detector(202)は入力データとして検出画像、拡大・縮小率をうけとり、検出画像を入力された拡大・縮小率に応じて拡大・縮小する、または、検出パターンを拡大・縮小するなどの方法によって電子透かしを検出し、検出データとして出力する。
【００２４】
［水平方向の拡大・縮小のみ電子透かし検出装置フローチャート］
図3にH-scaling only(水平方向の拡大・縮小のみ)の検出画像から電子透かしを検出する場合の処理フローの例を示す。ステップ(301)において、まず拡大・縮小処理が行われていないとして電子透かし検出を行うため、水平方向の拡大・縮小率(H-scaling factor)を1.0にセットする。ステップ(302)は、与えられたH-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。ステップ(303)は条件分岐である。セットされているH-scaling factorが正しければステップ(302)において電子透かしの検出に成功する。この場合、ステップ(304)に進み検出データをbit informationとして出力する。その後ステップ(302)に戻り、引き続き同じH-scaling factorで電子透かしの検出を続ける。ステップ(303)において、電子透かしの検出に失敗した場合は、セットされているH-scaling factorが誤っていと考え、正しいH-scaling factorを検出するためステップ(305)に進みH-scale detectionを行う。ステップ(305)は検出画像からH-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(306)は条件分岐である。ステップ(305)でH-scaling factorが検出できた場合は、ステップ(307)において検出したH-scaling factorを新しいH-scaling factorとしてセットし、ステップ(302)にもどり、この拡大・縮小率に基づいて電子透かしの検出を行う。ステップ(306)において、H-scaling factorが検出できない場合は、引き続きステップ(305)にもどり、H-scale detectionを続ける。V-scaling only(垂直方向の拡大・縮小のみ)の検出画像から電子透かしを検出する場合の処理フローに関しても図3のHをVに置き換えることにより同様に考えることができる。
【００２５】
［水平方向のみの拡大・縮小、及び水平方向と垂直方向の拡大・縮小率が同じ電子透かし検出装置フローチャート］
図４にH-scaling (水平方向のみの拡大・縮小)およびH=V-scaling(水平方向と垂直方向の拡大・縮小率が同じ)された検出画像から電子透かしを検出する場合の処理フローの例を示す。ステップ(401)において、水平方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため水平方向の拡大・縮小率(H-scaling factor)を1.0にセットする。ステップ(402)において、垂直方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため垂直方向の拡大・縮小率(V-scaling factor)を1.0にセットする。ステップ(403)は、与えられたH-scaling factor、V-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。ステップ(404)は条件分岐である。セットされているH-scaling factor、V-scaling factorが正しければステップ(403)において電子透かしの検出に成功する。この場合、ステップ(405)にすすみ検出データをbit informationとして出力する。その後ステップ(403)に戻り、引き続き同じH-scaling factor、V-scaling factorで電子透かしの検出を続ける。ステップ(404)において、電子透かしの検出に失敗した場合は、垂直方向にも拡大・縮小処理が施されてるとし、ステップ(406)において、V-scaling factorをH-scaling factorにセットし、ステップ(407)に進みこの拡大・縮小率で電子透かしの検出を行う。ステップ(407)は、与えられたH-scaling factor、V-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。ステップ(408)は条件分岐である。セットされているH-scaling factor、V-scaling factorが正しければステップ(407)において電子透かしの検出に成功する。この場合、ステップ(409)にすすみ検出データをbit informationとして出力する。その後ステップ(407)に戻り、引き続き同じH-scaling factor、V-scaling factorで電子透かしの検出を続ける。ステップ(408)において、電子透かしの検出に失敗した場合は、セットされているH-scaling factorが誤っていと考え、正しいH-scaling factorを検出するためステップ(410)に進みH-scale detectionを行う。ステップ(410)は検出画像からH-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(411)は条件分岐であり、ステップ(410)でH-scaling factorが検出できた場合は、ステップ(412)で検出したH-scaling factorを新しいH-scaling factorとしてセットし、ステップ(402)にもどり、このscaling factorで水平方向のみに拡大・縮小が行われているものとして電子透かしの検出行う。ステップ(411)において、H-scaling factorが検出できない場合は、引き続きステップ(410)にもどり、H-scale detectionを続ける。H=V-scaling で用いるscaling-factorに関してはH-scaling factorの検出結果を使う上記の方法以外に、V-scaling factorの検出結果などほかの向きに対する拡大・縮小率の検出結果を用いることも可能である。
【００２６】
［水平方向と垂直方向の拡大・縮小率が異なる電子透かし検出装置フローチャート］
図5にH≠V-scaling(水平方向と垂直方向の拡大・縮小率が異なる)された検出画像から電子透かしを検出する場合の処理フローの例を示す。ステップ(501)において、水平方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため水平方向の拡大・縮小率(H-scaling factor)を1.0にセットする。ステップ(502)において、垂直方向に拡大・縮小処理が行われていないとして電子透かし検出を行うため垂直方向の拡大・縮小率(V-scaling factor)を1.0にセットする。
ステップ(503)は、与えられたH-scaling factor、V-scaling factorで検出画像が拡大・縮小されているものとして検出画像から電子透かしの検出を行うステップである。このステップは図2のScaled WM detector(202)において実行される。
ステップ(504)は条件分岐である。セットされているH-scaling factor、V-scaling factorが正しければステップ(503)において電子透かしの検出に成功する。この場合、ステップ(505)に進み検出データをbit informationとして出力する。その後ステップ(503)に戻り、引き続き同じH-scaling factor、V-scaling factorで電子透かしの検出を続ける。ステップ(504)において、電子透かしの検出に失敗した場合は、セットされているH-scaling factor、V-scaling factorが誤っていと考え、正しいscaling factorを検出するためステップ(506)に進みH-scale detectionを行う。ステップ(506)は検出画像からH-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(507)は条件分岐であり、ステップ(506)でH-scaling factorが検出できた場合は、ステップ(508)で検出したH-scaling factorを新しいH-scaling factorとしてセットし、ステップ(510)に進む。ステップ(507)において、H-scaling factorが検出できない場合は、引き続きステップ(506)にもどり、H-scale detectionを続ける。
ステップ(509)は検出画像からV-scale factorの検出を行うステップで、図2のScale detector(201)において実行される。ステップ(510)は条件分岐であり、ステップ(509)でV-scaling factorが検出できた場合は、ステップ(511)で検出したV-scaling factorを新しいV-scaling factorとしてセットし、ステップ(503)にもどり、検出されたH-scaling factor、V-scaling factorで拡大・縮小が行われているものとして電子透かしの検出行う。ステップ(510)において、V-scaling factorが検出できない場合は、引き続きステップ(509)にもどり、V-scale detectionを続ける。
【００２７】
［水平方向の拡大・縮小率を検出するフローチャート］
図6にH-scale factor(水平方向の拡大・縮小率)を検出するScale detectorの処理フローの例を示す。この処理は図2のステップ(201)において実行される。ステップ(601)は初期化を行うステップである。ステップ(607)、ステップ(608)で参照するframe counterを0にセットする、自己相関の計算結果をストアするたの自己相関テーブルの初期化が主な処理である。ステップ(602)は検出画像データを取得するステップである。静止画の場合は画像全体のデータ、動画の場合は1フレーム分のデータを取得する。ステップ(603)は、ステップ(602)で取得した検出画像データを用いて自己相関(auto-correlation)の計算を行い自己相関テーブルを更新するステップである。ステップ(604) は、ステップ(603)で得られた自己相関テーブルの中からピークとなっている自己相関を探すステップである。ステップ(605)は条件分岐であり、 ステップ(604)で見つけたピークが拡大・縮小率検出の条件を満たしているか判断するステップである。検出の条件を満たしている場合はステップ(606)において検出した拡大・縮小率を出力する。ステップ(607)は、検出画像が動画で、複数フレームの自己相関結果を蓄積し、より信頼性の高い拡大・縮小率の検出結果を得ようとする場合に、蓄積フレーム数があらかじめ定めた最大フレーム数を越えていないかチェックするステップである。最大フレーム数を越えていない場合は、ステップ(608)に進む。ステップ(607)において、蓄積フレーム数が最大フレーム数を越えている場合は、frame counter、自己相関テーブルを初期化するためにステップ(601)に進む。ステップ(608)は、蓄積フレーム数を数えるためにframe counterを1増加させるステップである。V-scale factor(垂直方向の拡大・縮小率)の検出の処理フローに関しても、図6のHをVに置き換えることにより同様に考えることができる。
【００２８】
［拡大・縮小率検出のための埋め込みパターン・フォーマット］
本発明では、拡大・縮小率検出のために特別なregistration用パターンを埋め込みデータ用パターンに重畳して埋め込むのではなく、埋め込みデータの用埋め込みパターンの繰り返しを自己相関計算により検出することにより拡大・縮小率の検出を行うことが可能である。従って埋め込みパターンは図7に示すように拡大・縮小検出方向に対して最低2回の同じパターンの繰り返しにより構成されている必要がある。図7は埋め込み画像1画面に付加する埋め込みパターンを、水平方向、及び、垂直方向の拡大・縮小率検出のために2回繰り返しパターンを用いる場合を概念的に示しているものである。ここではP0[x][y]=P1[x+ch][y]=P2[x][y+cv]=P3[x+ch][y+cv]が成立する。実際の埋め込みパターンは、埋め込みを行う原画像に応じて人に知覚されないように変更される。しかし、繰り返しパターン間の相関を保ったままにしておく。すなわちP0 ≒P1≒P2≒P3が成り立つ。埋め込みパターンの繰り返しのバリエーションとして、負のパターンの繰り返しも可能である。すなわち繰り返しパターンがP0=-P1 , P0=-P2 , P2=-P3などの関係をもたせることも可能である。
【００２９】
［水平方向、または垂直方向に対する自己相関計算（Calculation of auto-correlation）］
図8に水平方向、または垂直方向に対する自己相関計算の概要を示すブロック図を示す。図6のステップ(603)「Calculation of H-auto-correlation」に対応する。ブロック(801)では埋め込みパターン成分抽出は検出画像からフィルタ処理等により検出パターン関連成分を抽出する。ブロック(802)では自己相関計算では検出パターン関連成分を入力として各拡大・縮小の検出ステップ毎に自己相関を計算しその結果で自己相関テーブルを更新する。拡大・縮小の検出ステップは、入力された検出画像がデジタル・データである場合(baseband data)と、入力された検出画像が圧縮データ(MPEG,JPEG等)である場合によって異なる。自己相関テーブル更新の方法は、例えば、過去の自己相関の結果に加算するというものである。ブロック(803)において自己相関計算テーブルは、拡大・縮小の検出ステップ毎に自己相関の計算結果を蓄えておく部分であり、図6のブロック(604)のsearch for auto-correlation peakでピークの検索に用いる。
【００３０】
［ベースバンド・データにおける自己相関計算］
図9に、図8のブロック(802)の「自己相関計算」における処理フロー例を検出データがbaseband データである場合について図示する。ステップ(901)は初期化のステップで、j=0のほか、x=min_x からx=max_xについてAC[x]=0,N1[x]=0,N2[x]=0を行う。ここで縮小率を求めるためにmin_xは負の値、拡大率を求めるためにmax_xは正の値である。ステップ(902)からステップ(910)は、正規化する前の自己相関値AC[x]と正規化ファクター N1[x],N2[x]の計算を行うステップである。これにより(c+min_x)/cから(c+max_x)/cまでの拡大・縮小率の検出を1/cステップで行うことができる。ここでI'[i][j]は入力画像データである検出パターン成分を抽出した検出画像のi行j列のpixel値、cは埋め込みパターンの繰り返し周期(図7におけるchまたはcv)、max_iはiの最大値、max_jはjの最大値である。ステップ(911)からステップ(914)は各拡大・縮小率の検出ステップxについて自己相関値AC[x]を正規化するステップである。以上の処理により以下の式で表される
【数６】
【数７】
【００３１】
［ベースバンド・データにおける自己相関ピークの探索］
入力データがベースバンド・データである場合の図6のステップ(604)「Search for H-auto-correlation peak」で、図9で求めた自己相関の計算結果AC[x]のうちピークとなっている計算結果を探す。隣り合う繰り返しパターン間で正の相関がある場合(図7の例でP0=P1の関係が成り立つ場合)はAC[x]の中から最大となるx=xpeakを探す。逆に隣り合う繰り返しパターン間で負の相関がある場合(図7の例でP0=-P1の関係が成り立つ場合)はAC[x]の中から最小となるx=xpeakを探す。xpeakによって得られる拡大・縮小率scale_factorは次式となる。
【数８】
［圧縮データからの拡大・縮小率検出のための埋め込みパターン・フォーマット］
MPEG,JPEGドメインでは画像は8x8pixelのブロックに分割されのちDCTされたデータとして記録されている。従ってDCTデータを逆変換すればbasebandデータと同様な処理が可能である。しかし、逆変換の処理はコストが高いので、逆変換をせずに拡大・縮小率の検出を可能にする必要がある。圧縮データからの拡大・縮小率検出のための電子透かしフォーマットは次の性質を持つ。
・ピクセルずれに応じて自己相関のピークの現れ方が異なる。
これにより、ブロック単位より細かい拡大・縮小率検出の精度を得る。
【００３３】
［圧縮データにおける自己相関計算］
図10に、図8の(802)「自己相関計算」における処理フロー例を検出データが圧縮データである場合について図示する。この処理は図8のブロック(801)において実行される。ステップ(1001)は初期化ステップである。C0[x],C1[x],N1[x],N2[x](min_x'≦x≦max_x')をリセットする。1+min_x'/c'〜1+max_x'/c'が拡大・縮小率の検出範囲であり、縮小率を求めるためにはmin_x'は負の値である必要がある。
またここで、c'は埋め込みパターンの繰り返し周期(図7におけるchまたはcv)をDCTブロック数で表したものである。ステップ(1002)は、圧縮データをparseして未処理のDCTブロックのDCT係数D[i][j][k](0≦k≦63)及びそのブロック座標i,jを得るステップである。ここでi,jはDCTブロック単位の座標を表す。ステップ(1003)からステップ(1006)は得られたDCTブロック係数と基底ブロックパターンとの内積を計算するステップである。ここでP0[m][k]、P1[m][k]はm番目の基底ブロックパターンの組をDCT変換した係数、max_mは基底ブロックパターンの組の数を表す。ステップ(1007)からステップ(1015)は(1004)で得られた内積計算結果を用いて正規化する前の自己相関値C0[x],C1[x]と正規化ファクターN1[x],N2[x]の計算を行うステップである。ここで、smは基底ブロックパターンの組によって決定される1または-1の値である。になる。ステップ(1016)からステップ(1019)は各拡大・縮小率の検出ステップxについてステップ(1007)からステップ(1015)で得られた自己相関値を正規化するステップである。
【００３４】
［圧縮データにおける自己相関ピークの探索］
図12に圧縮データにおける図6のステップ(604)「Search for H-auto-correlation peak」処理フロー例を示めす。ステップ(1201)はC0[x],C1[x](min_x'≦x≦max_x')の中からC0[x],C1[x]の大きさが最大になるxの値xpeak'を求めるステップである。ステップ(1202)はC0[xpeak'],C1[xpeak']の位相θを計算するステップである。ステップ(1203)は得られたxpeak'とθから拡大・縮小率scale_factorを求めるステップである。(ただし、ここで示した計算式は一例であり、用いる基底ブロックパターンにより異なる。)
【００３５】
［拡大・縮小率に基づく電子透かし検出（Scaled WM detector）］
図2のブロック(202)の「Scaled WM detector」ブロックの概要を図13または図14に示す。図13は検出画像を入力された拡大・縮小率に基づいて修正して電子透かしを検出する方法を表している。図14は検出パターンを検出画像の拡大・縮小率に応じて修正して電子透かしを検出する方法を表している。検出画像の拡大・縮小部(1301)は、入力データである拡大・縮小率に応じて、入力データである検出画像を拡大、縮小して出力する。検出画像の拡大・縮小部(1301)は、拡大・縮小処理(102)によって変形された検出画像を修正する処理を行う。次に電子透かし検出部は、検出画像の拡大・縮小部(1301)において拡大・縮小された検出画像を受け取り、電子透かしの検出を行い、その結果を検出データとして出力する。電子透かしの検出方法は電子透かしの方式に依存するが、入力された画像には拡大・縮小・処理(102)が施されていないものとして処理する。一方、検出パターンの拡大・縮小部(1401)は入力データである拡大・縮小率に応じて、検出パターンを拡大・縮小して出力する。入力された拡大・縮小率が限られた範囲である場合、あらかじめ拡大・縮小した検出パターンを用意しておくことにより、この処理を入力された拡大・縮小率に応じた検出パターンを選択して出力する処理に置き換えることができる。次に、電子透かしの検出部(1402)は、検出パターンの拡大・縮小部(1401)により拡大・縮小された検出パターンと、拡大・縮小率、検出画像を受け取り、電子透かしの検出を行い、その結果を検出データとして出力する。電子透かしの検出方法は電子透かしの方式に依存する。図13の方式と異なり、図14では検出パターンが拡大・縮小されているので、入力された拡大・縮小率によって、検出パターンに拡大・縮小されていない場合との対応をとる必要がある。例えば拡大・縮小率(scale factor)がsi,sjの場合はi,j番目の結果をi/si,j/ sj番目の結果として扱うといった処理を行う。
【００３６】
［水平・垂直方向に縮小処理された場合の検出画像DCTブロックと検出パターンブロック］
MPEG、JPEGなどの圧縮データからの検出では、入力データは8x8ピクセルのDCTプロックデータとして与えられる。DCTブロックのDCT係数を逆変換して、ベースバンド(baseband)データとして扱う方法は、コストの点不利である。検出画像が拡大・縮小処理(102)を受けていない場合は、検出パターンも8x8ピクセルにブロック化し、ブロック毎に検出処理を行うことにより、直接DCTブロックからの検出が可能になる。しかし、検出画像に対して拡大・縮小処理(102)が行われた場合は、DCTブロックと、検出パターンブロックの不一致が生じる。図15は検出画像に対して拡大・縮小処理(102)によって縮小処理が行われた場合に、MPEG、JPEGなどの圧縮データにおいて、検出画像のDCTブロックと、検出パターンブロックの関係を模式的に示したものである。検出画像が縮小するため、縮小した検出パターンを用いる必要がある。検出画像の拡大・縮小処理(102)が行われていない場合に対応して分割した検出パターンのブロックは8x8pixel以下のサイズになり、圧縮データを解釈(parse)して得られるDCTブロックとの不一致が生じる。図15に示すように一つのDCTブロックには複数の検出パターンブロックが含まれることになる。DCTブロックデータから逆DCT処理を行わずに検出する場合、一つのDCTブロックに含まれる複数の検出パターンブロック毎に 電子透かしの検出処理を行う必要がある。逆DCT処理を行ったのち、図13に示す方法で電子透かしの検出を行う場合は、このDCTブロック内に複数の検出パターンが含まれることを考える必要はない。
【００３７】
［圧縮データにおける、拡大・縮小率に基づく電子透かし検出］
図16に、MPEG、JPEGといった圧縮データにおける(1402)「電子透かし検出部」ブロックにおける各DCTブロック毎の処理の例を示す。DCT化された検出画像から直接検出する(逆DCT処理を行わない)ため、図16は図14に示した検出パターンを拡大・縮小する方法を用いている。ステップ(1601)は、圧縮データを解釈(parse)して未処理のDCTブロックの係数を得るステップである。ここでi,jはDCTブロックの座標である。ステップ(1602)は、処理中のDCTブロックないの検出パターンブロックによってm個に分割された各部分を順に処理するために、分割のインデックスlを0に初期化するステップである。ステップ(1603)は、検出画像の拡大・縮小率に対応した検出パターンからDCTブロックとその分割インデックスlに対応したパターン(分割パターン)を得る処理である。ステップ(1604)は、ステップ(1603)で得られた分割パターンM’[i][j][l][k](0≦k≦63)をDCT処理しM’DCT[i][j][l][k](0≦k≦63)を得るステップである。あらかじめDCT処理済み分割パターンが準備されおり、ステップ(1603)で得るパターンがDCT処理済み分割パターンである場合はこの処理は不要である。ステップ(1605)は(1601)で得られたDCTブロックと(1604)で得られた分割パターンによる電子透かし検出処理を行うステップである。電子透かしの検出処理は電子透かしの方式に依存する。ステップ(1606)は条件分岐で、すべての分割パターンを処理した場合にはステップ(1608)に進み、このブロックの電子透かし検出処理を終了する。そうでない場合は次の分割パターンの処理を行うためステップ(1607)に進みlを1増加させる。図17はDCTブロックD[i][j]と分割パターンM’[i][j][l]の関係をDCTブロックが検出パターンブロックによって4分割される場合について示したものである。分割されたパターン以外の部分のパターン値は0にセットされている。
【００３８】
［近似パターンによる、拡大・縮小率に基づく電子透かし検出］
検出画像の拡大縮小、または、検出パターンを拡大縮小を行わない検出方法を図18に示す。拡大・縮小率(scale factor)が1.0に近い場合、図13、及び、図14に示した検出画像の拡大縮小、または、検出パターンを拡大縮小を行わずに、検出パターンをブロックに分割して、ブロック毎にずれが少なくなるように対応づける。電子透かし検出部(1801)は、入力データである拡大・縮小率、および、検出画像から検出データを出力する。
【００３９】
［ベースバンド・データにおける近似パターンによる電子透かし検出］
図19に、近似パターンによる電子透かし検出部(1801)における処理を画像データがベースバンド・データである場合の例を示す。ここで検出パターンは幅mh、高さmwに均等に分割されているものとする。ステップ(1901)は変数jを0にセットするステップである。ステップ(1902)は変数iを0にセットするステップである。ステップ(1903)は座標(i,j)を頂点に持つ幅mw高さmhの検出パターンブロックを得るステップである。ステップ(1904)は(1903)で得た頂点(i,j)検出パターンに対応する検出画像ブロックを得るステップである。得られる検出画像ブロックは座標(i/si,j/sj)を頂点に持つ幅mw高さmhのブロックである。。ここでsiはi座標方向の拡大・縮小率(scale factor)、sjはj座標方向の拡大・縮小率(scale factor)である。ステップ(1905)はステップ(1903)で得られた検出パターンブロックとステップ(1904)で得られた検出画像ブロックを用いて電子透かし検出処理を行うステップである。ステップ(1906)は次の検出パターンブロックの処理に移るためiを幅mw増加させるステップである。ステップ(1907)は処理が検出画像の幅(max_i)を越えてないか判断するステップである。ステップ(1908)は次の検出パターンブロックの処理に移るためjを高さmh増加させるステップである。ステップ(1909)は処理が検出画像の高さ(max_j)を越えてないか判断するステップである。
【００４０】
［水平・垂直方向に縮小処理された場合の検出画像DCTブロックと近似検出パターンブロック］
検出画像がMPEG,JPEG等の圧縮データである場合、拡大・縮小処理(102)された画像データは図15に示したように一つのDCTブロックには複数個の検出パターンブロックに分割される。圧縮データの場合図18に示した近似パターンによる電子透かし検出法を圧縮データに適用する場合、図20に示すようにパターンをシフトさせ、そのパターンを図21に示すように分割ごとに適用し検出を行う。これによりあらかじめ準備する分割パターンの数を減らすことができる。
【００４１】
［圧縮データにおける、拡大・縮小率に基づく近似の電子透かし検出］
図22に、MPEG、JPEGといった圧縮データにおける「近似パターン電子透かし検出部」ブロック(1801)における処理の例を示す。ステップ(2201)は、あらかじめ図21に示したような分割されたパターンを8×8=64通りのシフトと分割毎に生成して、それをDCT処理し、パターンバッファM'' DCT[shift_i][shift_j][l][k](0≦shift_i≦8, 0≦shit_j≦8, 0≦l<m, 0≦k≦63)に蓄えるステップである。ステップ(2202)は、圧縮データを解釈(parse)して未処理のDCTブロックの係数を得るステップである。ここでi,jはDCTブロックの座標である。ステップ(2203)はDCTブロックの座標(i,j)と拡大・縮小率(si,sj)を受け取り、検出パターンのシフト量(shift_i,shift_j)を計算するステップである。図20では左上分割の場合のシフト量の例が示されている。ステップ(2204)は、処理中のDCTブロックないの検出パターンブロックによってm個に分割された各部分を順に処理するために、分割のインデックスlを0に初期化するステップである。ステップ(2205)は、DCTブロックの座標(i,j)と検出パターンのシフト量(shift_i,shift_j) からDCT処理済みの検出パターン(分割パターン)(M'' DCT[shift_i][shift_j][l][k](0≦k≦63))を得る処理である。ステップ(2206)は(2202)で得られたDCTブロックと(2205)で得られた分割パターンによる電子透かし検出処理を行うステップである。電子透かしの検出処理は電子透かしの方式に依存する。ステップ(2207)は条件分岐で、すべての分割パターンを処理した場合にはステップ(2209)に進み、このブロックの電子透かし検出処理を終了する。そうでない場合は次の分割パターンの処理を行うためステップ(2208)に進みlを1増加させる。ステップ(2209)はすべてのDCTブロックが処理されたか判断するステップである。
【００４２】
［埋め込み／検出システムのハードウェア構成例］
図23に本発明において使用される電子透かしの埋め込み／検出システムのハードウェア構成の一実施例を示す。システム１００は、中央処理装置（ＣＰＵ）１とメモリ４とを含んでいる。ＣＰＵ１とメモリ４は、バス２を介して、補助記憶装置としてのハードディスク装置１３（またはＣＤ−ＲＯＭ２６、ＤＶＤ３２等の記憶媒体駆動装置）とＩＤＥコントローラ２５を介して接続してある。同様にＣＰＵ１とメモリ４は、バス２を介して、補助記憶装置としてのハードディスク装置３０（またはＭＯ２８、ＣＤ−ＲＯＭ２９、ＤＶＤ３１等の記憶媒体駆動装置）とＳＣＳＩコントローラ２７を介して接続してある。フロッピーディスク装置２０はフロッピーディスクコントローラ１９を介してバス２へ接続されている。
【００４３】
フロッピーディスク装置２０には、フロッピーディスクが挿入され、このフロッピーディスク等やハードディスク装置１３（またはＣＤ−ＲＯＭ２６、ＤＶＤ３２等の記憶媒体）、ＲＯＭ１４には、オペレーティングシステムと協働してＣＰＵ等に命令を与え、本発明を実施するためのコンピュータプログラム、埋め込み／検出プログラム、オペレーティングシステムのコード若しくはデータを記録することができ、メモリ４にロードされることによって実行される。これらコンピュータ・プログラムのコードは圧縮し、または、複数に分割して、複数の記録媒体に記録することもできる。
【００４４】
システム１００は更に、ユーザ・インターフェース・ハードウェアを備え、入力をするためのポインティング・デバイス（マウス、ジョイスティック等）７またはキーボード６や、電子透かし検出結果を表示するためのディスプレイ１２を有することができる。また、パラレルポート１６を介してプリンタを接続することや、シリアルポート１５を介してモデムを接続することが可能である。このシステム１００は、シリアルポート１５およびモデムまたは通信アダプタ１８(イーサネットやトークンリング・カード)等を介してネットワークに接続し、他のコンピュータ、サーバ等と通信を行い、デジタルデータおよび電子透かしのための埋め込みパターンをネットワークを通じて外部から取り込んでもよい。またシリアルポート１５若しくはパラレルポート１６に、遠隔送受信機器を接続して、赤外線若しくは電波によりデータの送受信を行ってもよい。
【００４５】
スピーカ２３は、オーディオ・コントローラ２１によってＤ／Ａ（デジタル／アナログ変換）変換されたサウンド、音声信号を、アンプ２２を介して受領し、サウンド、音声として出力する。また、オーディオ・コントローラ２１は、マイクロフォン２４から受領した音声情報をＡ／Ｄ（アナログ／デジタル）変換し、システム外部の音声情報をシステムにとり込むことを可能にしている。
【００４６】
このように、本発明のシステムは、通常のパーソナルコンピュータ（ＰＣ）やワークステーション、ノートブックＰＣ、パームトップＰＣ、ネットワークコンピュータ、コンピュータを内蔵したテレビ等の各種家電製品、通信機能を有するゲーム機、電話、ＦＡＸ、携帯電話、ＰＨＳ、電子手帳、等を含む通信機能有する通信端末、または、これらの組合せによって実施可能であることを容易に理解できるであろう。ただし、これらの構成要素は例示であり、その全ての構成要素が本発明の必須の構成要素となるわけではない。
【００４７】
【発明の効果】
本発明により、埋め込む情報とは別の幾何補正のための信号が必要ない、拡大縮小耐性を有する電子透かし埋め込み／検出方法及びシステムが提供される。さらに水平方向、垂直方向の拡大、縮小率を独立に検出することが可能であるので、アスペクト比が変化する場合にも電子透かしが検出できる。
【図面の簡単な説明】
【図１】本発明のシステム全体の構成図である。
【図２】電子透かし検出装置の概要を示す図である。
【図３】水平方向の拡大・縮小のみの検出画像から電子透かしを検出する処理フローである。
【図４】水平方向のみの拡大・縮小および水平方向と垂直方向の拡大・縮小率が同じ検出画像から電子透かしを検出する場合の処理フローである。
【図５】水平方向と垂直方向の拡大・縮小率が異なる検出画像から電子透かしを検出する処理フローである。
【図６】水平方向の拡大・縮小率検出の処理フローである。
【図７】埋め込みパターンの繰り返し例を示す図である。
【図８】水平方向、または垂直方向に対する自己相関計算の概要を示すブロックである。
【図９】検出データがベースバンドデータの場合の自己相関計算処理フローである。
【図１０】検出データが圧縮データの場合の自己相関計算処理フローである。
【図１１】周期的な埋め込みパターンの例である。
【図１２】圧縮データにおける自己相関ピークの探索処理フローである。
【図１３】検出画像を入力された拡大・縮小率に基づいて修正して電子透かしを検出する方法を示した図である。
【図１４】検出パターンを検出画像の拡大・縮小率に応じて修正して電子透かしを検出する方法を示した図である。
【図１５】検出画像のDCTブロックと検出パターンブロックの関係を模式的に示した図である。
【図１６】圧縮データにおける電子透かし検出部のDCTブロック毎の処理の例を示す図である。
【図１７】DCTブロックと分割パターンの関係を示す図である。
【図１８】検出画像の拡大縮小または検出パターンを拡大縮小を行わない検出方法を示す図である。
【図１９】近似パターンによる電子透かし検出部の処理を示す図である。
【図２０】近似検出パターンブロックのシフトを説明する図である。
【図２１】シフトした近似検出パターンブロックを圧縮データに適用する図である。
【図２２】圧縮データにおける近似パターン電子透かし検出部の処理を示す図である。
【図２３】電子透かしの埋め込み／検出システムのハードウェア構成例である。
【符号の説明】
１・・・ＣＰＵ
２・・・バス
４・・・メモリ
５・・・キーボード・マウス・コントローラ
６・・・キーボード
７・・・ポインティングデバイス
８・・・ディスプレイ・アダプタ・カード
９・・・ビデオメモリ
１０・・・ＤＡＣ／ＬＣＤＣ
１１・・・表示装置
１２・・・ＣＲＴディスプレイ
１３・・・ハードディスク装置
１４・・・ＲＯＭ
１５・・・シリアルポート
１６・・・パラレルポート
１７・・・タイマ
１８・・・通信アダプタ
１９・・・フロッピーディスクコントローラ
２０・・・フロッピーディスク装置
２１・・・オーディオ・コントローラ
２２・・・アンプ
２３・・・スピーカ
２４・・・マイクロフォン
２５・・・ＩＤＥコントローラ
２６・・・ＣＤ−ＲＯＭ
２７・・・ＳＣＳＩコントローラ
２８・・・ＭＯ
２９・・・ＣＤ−ＲＯＭ
３０・・・ハードディスク装置
３１・・・ＤＶＤ
３２・・・ＤＶＤ
１００・・・システム
Claims (13)
- デジタルデータへの情報埋め込み方法であって、
互いに直交しかつ水平方向または垂直方向に繰り返しのパターンを有する基底ブロックパターンの組を前記情報として用意する段階と、
検出時に自己相関により最大の相関を有する周期を得るために、前記基底ブロックパターンの組を前記デジタルデータに少なくとも２回以上、前記デジタルデータの拡大縮小率を表すよう水平方向または垂直方向に対して繰り返し埋め込む段階、
を有する、情報埋め込み方法。 - デジタルデータに埋め込まれた情報を検出する方法であって、
デジタルデータ内に水平方向または垂直方向に対して少なくとも２回以上繰り返して埋め込まれたパターンを前記情報として検出するにあたり、埋め込まれた繰り返しパターンの自己相関により最大の相関を有する周期を求める段階と、
前記周期の周期変化から、前記デジタルデータになされた拡大縮小率を検出する段階と、
前記拡大縮小率を用いて、埋め込まれたパターンを検出する段階、
を有する、情報検出方法。 - 複数のフレームからなるデジタルデータへの情報埋め込み方法であって、
互いに直交しかつ水平方向または垂直方向に繰り返しのパターンを有する基底ブロックパターンの組を前記情報として用意する段階と、
検出時に自己相関により最大の相関を有する周期を得るために、前記基底ブロックパターンの組を前記フレームの１つのフレーム内に少なくとも２回以上、前記デジタルデータの拡大縮小率を表すよう水平方向または垂直方向に対して繰り返し埋め込む段階、
を有する、情報埋め込み方法。 - 前記繰り返し埋め込む段階が、埋め込むパターンとして前記基底ブロックパターンを巡回シフトしたブロックパターンにして埋め込むことを特徴とする、請求項１または請求項３記載の方法。
- 複数のフレームからなるデジタルデータに埋め込まれた情報を検出する方法であって、
１フレーム内に水平方向または垂直方向に対して少なくとも２回以上繰り返して埋め込まれたパターンを前記情報として検出するにあたり、前記１フレーム内における埋め込まれた繰り返しパターンの自己相関により最大の相関を有する周期を求める段階と、
前記周期の周期変化から、前記フレームになされた拡大縮小率を検出する段階と、
前記拡大縮小率を用いて、埋め込まれたパターンを検出する段階、
を有する、情報検出方法。 - 複数のフレームからなるMPEGデータへの情報埋め込み方法であって、前記MPEG データは8×8ピクセルサイズのイントラ・ブロックに分割されDCT化されており、
前記MPEGデータに埋め込む情報として、8×4サイズの互いに直交しかつ水平方向または垂直方向に繰り返しのパターンを有する基底ブロックパターンの組を用意する段階と、
検出時に自己相関により最大の相関を有する周期を得るために、前記基底ブロックパターンの組を前記フレームの１つのフレーム内に少なくとも２回以上、前記MPEGデータの拡大縮小率を表すよう水平方向または垂直方向に対して繰り返し埋め込む段階、
を有する、情報埋め込み方法。 - 圧縮されたデジタルデータへの情報埋め込み方法であって、
互いに直交しかつ水平方向または垂直方向に繰り返しのパターンを有する基底ブロックパターンの組を前記情報として用意する段階と、
前記基底ブロックパターンの組を前記圧縮されたデジタルデータに少なくとも２回以上、
前記デジタルデータの拡大縮小率を表すよう繰り返し埋め込む段階、
を有する、情報埋め込み方法。 - 圧縮されたデジタルデータに埋め込まれた情報を検出する方法であって、
前記デジタルデータ内に水平方向または垂直方向に対して少なくとも２回以上繰り返して埋め込まれたパターンを前記情報として検出するにあたり、埋め込まれた繰り返しパターンの自己相関により最大の相関を有する周期を求める段階と、
前記周期の周期変化から、前記デジタルデータになされた拡大縮小率を検出する段階と、
前記拡大縮小率を用いて、埋め込まれたパターンを検出する段階、
を有する、情報検出方法。 - デジタルデータへの情報埋め込みシステムであって、
互いに直交しかつ水平方向または垂直方向に繰り返しのパターンを有する基底ブロックパターンの組を前記情報として用意する手段と、
検出時に自己相関により最大の相関を有する周期を得るために、前記基底ブロックパターンの組を前記デジタルデータに少なくとも２回以上、前記デジタルデータの拡大縮小率を表すよう水平方向または垂直方向に対して繰り返し埋め込む手段、
を有する、情報埋め込みシステム。 - 前記繰り返し埋め込む手段が、埋め込むパターンとして前記基底ブロックパターンを巡回シフトしたブロックパターンにして埋め込むことを特徴とする、請求項９記載のシステム。
- デジタルデータに埋め込まれた情報を検出するシステムであって、
デジタルデータ内に水平方向または垂直方向に対して少なくとも２回以上繰り返して埋め込まれたパターンを前記情報として検出するにあたり、埋め込まれた繰り返しパターンの自己相関により最大の相関を有する周期を求める手段と、
前記周期の周期変化から、前記デジタルデータになされた拡大縮小率を検出する手段と、
前記拡大縮小率を用いて、埋め込まれたパターンを検出する手段、
を有する、情報検出システム。 - デジタルデータに情報を埋め込むためのプログラムを含むコンピュータ読み取り可能な記録媒体であって、該プログラムがコンピュータに、
互いに直交しかつ水平方向または垂直方向に繰り返しのパターンを有する基底ブロックパターンの組を前記情報として用意する機能と、
検出時に自己相関により最大の相関を有する周期を得るために、前記基底ブロックパターンの組を前記デジタルデータに少なくとも２回以上、前記デジタルデータの拡大縮小率を表すよう水平方向または垂直方向に対して繰り返し埋め込む機能、
を実現させる、プログラムを含む記録媒体。 - デジタルデータに埋め込まれた情報を検出するためのプログラムを含むコンピュータ読み取り可能な記録媒体であって、該プログラムがコンピュータに、
デジタルデータ内に水平方向または垂直方向に対して少なくとも２回以上繰り返して埋め込まれたパターンを前記情報として検出するにあたり、埋め込まれた繰り返しパターンの自己相関により最大の相関を有する周期を求める機能と、
前記周期の周期変化から、前記デジタルデータになされた拡大縮小率を検出する機能と、
前記拡大縮小率を用いて、埋め込まれたパターンを検出する機能、
を実現させる、プログラムを含む記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000276129A JP3872267B2 (ja) | 2000-09-12 | 2000-09-12 | 拡大縮小耐性を有する電子透かし方法およびシステム |
| US09/952,589 US7006655B2 (en) | 2000-09-12 | 2001-09-11 | Methods, apparatus and systems for an electronic watermark having resistance to scaling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000276129A JP3872267B2 (ja) | 2000-09-12 | 2000-09-12 | 拡大縮小耐性を有する電子透かし方法およびシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002111994A JP2002111994A (ja) | 2002-04-12 |
| JP3872267B2 true JP3872267B2 (ja) | 2007-01-24 |
Family
ID=18761648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000276129A Expired - Lifetime JP3872267B2 (ja) | 2000-09-12 | 2000-09-12 | 拡大縮小耐性を有する電子透かし方法およびシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7006655B2 (ja) |
| JP (1) | JP3872267B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6704431B1 (en) * | 1998-09-04 | 2004-03-09 | Nippon Telegraph And Telephone Corporation | Method and apparatus for digital watermarking |
| US6975744B2 (en) * | 2000-12-21 | 2005-12-13 | Digimarc Corporation | Detection of multiple watermarks and improved watermark calibration signals |
| US7657058B2 (en) * | 2000-07-19 | 2010-02-02 | Digimarc Corporation | Watermark orientation signals conveying payload data |
| US6674876B1 (en) | 2000-09-14 | 2004-01-06 | Digimarc Corporation | Watermarking in the time-frequency domain |
| US8301453B2 (en) | 2000-12-21 | 2012-10-30 | Digimarc Corporation | Watermark synchronization signals conveying payload data |
| US7039215B2 (en) * | 2001-07-18 | 2006-05-02 | Oki Electric Industry Co., Ltd. | Watermark information embedment device and watermark information detection device |
| JP2003174556A (ja) * | 2001-09-26 | 2003-06-20 | Canon Inc | 画像処理装置及び画像処理方法 |
| US6975745B2 (en) * | 2001-10-25 | 2005-12-13 | Digimarc Corporation | Synchronizing watermark detectors in geometrically distorted signals |
| US7245740B2 (en) * | 2003-07-01 | 2007-07-17 | Oki Electric Industry Co., Ltd. | Electronic watermark embedding device, electronic watermark detection device, electronic watermark embedding method, and electronic watermark detection method |
| US8301893B2 (en) | 2003-08-13 | 2012-10-30 | Digimarc Corporation | Detecting media areas likely of hosting watermarks |
| US7706565B2 (en) * | 2003-09-30 | 2010-04-27 | Digimarc Corporation | Multi-channel digital watermarking |
| JP2005150815A (ja) * | 2003-11-11 | 2005-06-09 | Oki Electric Ind Co Ltd | 透かし情報埋め込み装置，透かし情報検出装置，透かし情報埋め込み方法，透かし情報検出方法，および印刷物 |
| CN1918597A (zh) * | 2004-02-12 | 2007-02-21 | 皇家飞利浦电子股份有限公司 | 缩放系数检索方法 |
| JP2007536864A (ja) * | 2004-05-10 | 2007-12-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 透かし検出方法 |
| CN1969294A (zh) * | 2004-06-16 | 2007-05-23 | 皇家飞利浦电子股份有限公司 | 搜索用于水印检测的缩放因子 |
| WO2006059648A1 (ja) | 2004-12-03 | 2006-06-08 | Matsushita Electric Industrial Co., Ltd. | 電子透かし埋め込み装置及び検出装置並びに方法及び記録媒体 |
| US20060209350A1 (en) * | 2005-03-17 | 2006-09-21 | Kabushiki Kaisha Toshiba | Image processing apparatus |
| CN101151637A (zh) * | 2005-04-01 | 2008-03-26 | 皇家飞利浦电子股份有限公司 | 量化水印的方法 |
| JP4310288B2 (ja) * | 2005-04-12 | 2009-08-05 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム並びに記憶媒体 |
| JPWO2006115128A1 (ja) * | 2005-04-21 | 2008-12-18 | 松下電器産業株式会社 | 電子透かし検出装置、同方法、同プログラム及び同集積回路装置 |
| EP1943623A1 (en) * | 2005-10-26 | 2008-07-16 | Koninklijke Philips Electronics N.V. | A method of embedding data in an information signal |
| US7729508B2 (en) * | 2006-01-11 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Modifying data |
| WO2009028091A1 (ja) | 2007-08-31 | 2009-03-05 | Fujitsu Limited | 電子透かし埋め込み装置、電子透かし検出装置およびプログラム |
| US8359205B2 (en) | 2008-10-24 | 2013-01-22 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
| US9667365B2 (en) * | 2008-10-24 | 2017-05-30 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
| CN102625982B (zh) | 2009-05-01 | 2015-03-18 | 尼尔森（美国）有限公司 | 提供与主要广播媒体内容关联的辅助内容的方法、装置和制品 |
| US9159112B2 (en) * | 2010-09-16 | 2015-10-13 | Hewlett-Packard Development Company, L.P. | Digital watermarking using saturation patterns |
| US9563927B2 (en) * | 2014-03-25 | 2017-02-07 | Digimarc Corporation | Screen watermarking methods and arrangements |
| KR102594875B1 (ko) | 2021-08-18 | 2023-10-26 | 네이버 주식회사 | 복수의 프레임을 포함하는 영상의 지문을 추출하는 방법 및 장치 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5721788A (en) * | 1992-07-31 | 1998-02-24 | Corbis Corporation | Method and system for digital image signatures |
| US5748783A (en) * | 1995-05-08 | 1998-05-05 | Digimarc Corporation | Method and apparatus for robust information coding |
| US5832119C1 (en) * | 1993-11-18 | 2002-03-05 | Digimarc Corp | Methods for controlling systems using control signals embedded in empirical data |
| US5748763A (en) * | 1993-11-18 | 1998-05-05 | Digimarc Corporation | Image steganography system featuring perceptually adaptive and globally scalable signal embedding |
| US5530759A (en) * | 1995-02-01 | 1996-06-25 | International Business Machines Corporation | Color correct digital watermarking of images |
| US5825892A (en) * | 1996-10-28 | 1998-10-20 | International Business Machines Corporation | Protecting images with an image watermark |
| JP3106985B2 (ja) * | 1996-12-25 | 2000-11-06 | 日本電気株式会社 | 電子すかし挿入装置及び検出装置 |
| CN1153456C (zh) * | 1998-03-04 | 2004-06-09 | 皇家菲利浦电子有限公司 | 水印检测的方法和设备 |
| US6263086B1 (en) | 1998-04-15 | 2001-07-17 | Xerox Corporation | Automatic detection and retrieval of embedded invisible digital watermarks from halftone images |
| JP2000165805A (ja) | 1998-11-30 | 2000-06-16 | Sony Corp | 付随情報付加装置および方法、付随情報検出装置および方法、ならびに不正利用防止システム |
| KR100740792B1 (ko) * | 1999-09-27 | 2007-07-20 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 워터마크 검출 방법 및 워터마크 검출 장치 |
| US6665418B1 (en) * | 1999-12-01 | 2003-12-16 | Eastman Kodak Company | Linear projective data embedding |
| US6678390B1 (en) * | 1999-12-02 | 2004-01-13 | Eastman Kodak Company | Method and computer program for embedding and extracting an embedded message from a digital image |
| US6870931B2 (en) * | 2000-12-13 | 2005-03-22 | Eastman Kodak Company | Method and system for embedding message data in a digital image sequence |
-
2000
- 2000-09-12 JP JP2000276129A patent/JP3872267B2/ja not_active Expired - Lifetime
-
2001
- 2001-09-11 US US09/952,589 patent/US7006655B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20020114490A1 (en) | 2002-08-22 |
| JP2002111994A (ja) | 2002-04-12 |
| US7006655B2 (en) | 2006-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3872267B2 (ja) | 拡大縮小耐性を有する電子透かし方法およびシステム | |
| WO2019153671A1 (zh) | 图像超分辨率方法、装置及计算机可读存储介质 | |
| Arham et al. | Multiple layer data hiding scheme based on difference expansion of quad | |
| US8687839B2 (en) | Robust signatures derived from local nonlinear filters | |
| CN111491170B (zh) | 嵌入水印的方法及水印嵌入装置 | |
| WO2000046740A1 (en) | Non-linear and linear method of scale-up or scale-down image resolution conversion | |
| US20230008085A1 (en) | Method for embedding watermark in video data and apparatus, method for extracting watermark in video data and apparatus, device, and storage medium | |
| US20020001394A1 (en) | Data processing apparatus, image processing apparatus, and method therefor | |
| US20120230604A1 (en) | Image processing apparatus, image processing method and program | |
| CN111179159B (zh) | 消除视频中目标影像的方法、装置、电子设备及存储介质 | |
| CN101674448A (zh) | 视频信号处理装置、视频信号处理方法和视频信号处理程序 | |
| US6731774B1 (en) | Associated information adding apparatus and method, and associated information detecting apparatus and method | |
| JP5806648B2 (ja) | 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム | |
| Yu et al. | A channel selection rule for YASS | |
| JP2002199353A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 | |
| JP2008147880A (ja) | 画像圧縮装置と方法及びそのプログラム | |
| JP2011509455A (ja) | 端指向画像処理 | |
| CN110677728B (zh) | 播放视频的方法、装置、设备及存储介质 | |
| CN114418882A (zh) | 处理方法、训练方法、装置、电子设备及介质 | |
| JP2012113398A (ja) | 画像処理装置及び画像処理システム | |
| JP2012019465A (ja) | 画像処理装置および画像処理方法 | |
| US20090122194A1 (en) | Method and apparatus for reducing picture | |
| JP2009182935A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| CN104244001A (zh) | 数字媒体文件中的水印处理方法和装置 | |
| JP2006050069A (ja) | 電子透かし挿入方法、電子透かし挿入装置及び電子透かし挿入プログラム並びに電子透かし検出方法、電子透かし検出装置及び電子透かし検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050405 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050704 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060510 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061019 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3872267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |