JP4178647B2 - デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体 - Google Patents

デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4178647B2
JP4178647B2 JP03533599A JP3533599A JP4178647B2 JP 4178647 B2 JP4178647 B2 JP 4178647B2 JP 03533599 A JP03533599 A JP 03533599A JP 3533599 A JP3533599 A JP 3533599A JP 4178647 B2 JP4178647 B2 JP 4178647B2
Authority
JP
Japan
Prior art keywords
number sequence
random number
signal
pseudo
digital information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03533599A
Other languages
English (en)
Other versions
JP2000236432A (ja
JP2000236432A5 (ja
Inventor
卓史 桂
尚 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP03533599A priority Critical patent/JP4178647B2/ja
Priority to EP20000101231 priority patent/EP1030511B1/en
Priority to DE2000600188 priority patent/DE60000188T2/de
Priority to US09/496,661 priority patent/US6639997B1/en
Publication of JP2000236432A publication Critical patent/JP2000236432A/ja
Publication of JP2000236432A5 publication Critical patent/JP2000236432A5/ja
Application granted granted Critical
Publication of JP4178647B2 publication Critical patent/JP4178647B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/3217Transform domain methods using wavelet transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体に関し、より特定的には、デジタルデータの著作権保護のため、画像信号に著作者情報などのデジタルデータを埋込み、そして、抽出するデジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
近年、デジタル技術の進展により、音声、画像、映像などのマルチメディアデータをデジタル化し、高速大量に伝送し、利用するようになってきた。しかしながら、デジタル化されたマルチメディアデータは容易に複製できる。このため、著作権者からの正当な許諾を受けていない者が、デジタル画像を当該著作権者に無断で不正コピーを行い、二次的利用をするなどの問題が起こっている。
【0003】
これらの対策の一つとして知られているものに電子透かし技術がある。電子透かしとは、画像データ内部に人間には知覚できないような形でデジタル情報を埋込む技術である。電子透かし技術により、著作権者の情報を人間に知覚できないような形で画像データなどに埋込むことにより、不正に利用された場合、埋込まれた情報を取り出し、証明することにより著作権を主張することができる。
【0004】
従来の電子透かしの方法として、例えば、特開平9−191394号公報は、データをスペクトル分解し、知覚的に重要な成分中に正規分布あるいはランダム分布に従った透かし値を埋込む方法を提案している。より具体的には、透かしをWi、透かし処理されるデータの周波数係数をfi、透かし処理後の周波数係数をfi’、スケーリングパラメータをαとすると、(数1)を用いて埋込みを行い、(数2)で抽出する。
【0005】
【数1】
Figure 0004178647
【0006】
【数2】
Figure 0004178647
【0007】
この方法は、透かしを除去することが困難であるという長所があるが、透かしを挿入した周波数係数の位置を保存していないため、透かし値を抽出する際に透かし値を埋込む前のオリジナルデータを必要とする。
これに対し、特開平10−308867号公報は、オリジナルデータの不要な方法を開示している。透かしをWi、透かし処理されるデータの周波数係数をfi、透かし処理後の周波数係数をfi’、スケーリングパラメータをα、avg(fi)をfiの局部平均とすると、(数3)を用いて埋込み、(数4)で抽出する。
【0008】
【数3】
Figure 0004178647
【0009】
【数4】
Figure 0004178647
【0010】
(数4)の右辺からfiが消えたことによりオリジナルデータは不要になるが、DCT(離散的コサイン変換)および、データの局部平均の逆数を計算する必要があり、画像データのような大量データに適用する場合、その算出コストが高くなる。
【0011】
これらの発明を改善するものとして特開平10−145757号公報がある。透かしをWi、透かし処理されるデータの周波数係数をfi、透かし処理後の周波数係数をfi’、スケーリングパラメータをα、avg(fi)をfiの局部平均、|fi|をfiの絶対値とすると、(数5)を用いて埋込み、(数6)で抽出する。
【0012】
【数5】
Figure 0004178647
【0013】
【数6】
Figure 0004178647
【0014】
これは特開平10−308867号公報において高くなった算出コストを削減するために透かし処理を小区域に分割し、透かしの部分集合を埋込む方式である。特に小区域が8×8の場合、動画像の圧縮符号化の一つであるMPEGの手順と結合することが可能であり、計算を節約できるという長所がある。しかし、データの局部平均の逆数を計算する必要があることには変わりはなく、算出コストは高い。
【0015】
特開平10−145757号公報はMPEGとの結合を考慮した発明であるので、以下、特開平10−308867号公報の透かし埋込み方法および透かし抽出方法について説明する。
【0016】
まず、透かし埋込み方法について、図10を用いて説明する。透かし信号は、誤り訂正符号器81へ入力される。誤り訂正符号器81の出力は、拡散スペクトル変調器82に入力される。拡散スペクトル変調器82の出力は第1のスペクトル変換器83に入力される。第1のスペクトル変換器83の出力はスペクトル整形器84に第1の入力として与えられる。一方、透かし処理を施すべきデータが第2のスペクトル変換器85に入力される。第2のスペクトル変換器85の出力は局部平均器86で時間的あるいは空間的局部平均された後にスペクトル整形器84に第2の入力として与えられるとともに、遅延器87にも与えられる。スペクトル整形器84の出力は加算器88において遅延器87の出力と加算される。加算器88の出力は逆変換器89で逆変換され、透かし処理済みデータが得られる。
【0017】
次に透かし抽出方法について、図11を用いて説明する。透かし処理済みデータをスペクトル正規化ユニット91によりスペクトル正規化し、過去に施されたスペクトル整形を取り除く。次に、正規化された信号を相関器バンク92A〜92Zにより分析する。各相関器は特定の疑似乱数シーケンスがあれば、そのシーケンスを検出し、正規化された信号とこれらの疑似乱数シーケンスとの相関を取り、相関関係の度合いを示す出力を判定回路93に出力する。判定回路93は、通常最大出力を示す相関器を選択し、当該相関器の出力を到来する現シンボルに対する最尤現シンボルとして、順次選択する。次に、最尤現シンボルのシーケンスを誤り訂正器94に入力し、判定回路93の判定結果の誤りを訂正する。誤り訂正器94の出力として、抽出された透かし信号が得られる。
【0018】
【発明が解決しようとする課題】
しかしながら、上記の技術では、オリジナルデータを不要とするために、透かしを埋込む際に局部平均を求め、局部平均を用いてスペクトル整形を行う必要がある。また、透かしを抽出する際に、透かし信号埋込み時に行ったスペクトル整形を取り除くためにスペクトル正規化を行う。これは実際には、局部平均の逆数を計算することになる。さらに、透かし抽出時に複数の相関器を用い、最後に誤り訂正の処理が必要であった。従って、透かし信号を抽出する際の算出コストが高いという課題があった。
【0019】
本発明は、上記の問題点を解決するためになされたものであり、透かし埋込み時に簡易なスペクトル整形を行い、透かし抽出時は内積計算を行うことにより、より簡易で算出コストが低く、しかも第三者には埋込んだデジタル情報が解読されにくい秘匿性を有するデジタル情報の埋込み・抽出を行なうことを目的とする。
【0020】
【課題を解決するための手段】
第1の発明は、離散ウェーブレット変換またはサブバンド分割のいずれかを用いて、デジタル画像信号を複数の周波数帯域の変換係数に分割する帯域分割手段と、固有のデジタル情報を疑似乱数列にマッピングするマッピング手段と、分割された前記複数の周波数帯域のうち、最も低い周波数帯域(以下、MRAという)以外の複数の周波数帯域(以下、MRRという)の変換係数の全てもしくはその一部で構成した数列に前記疑似乱数列を埋込む情報埋込み手段と、情報埋込み処理後の前記MRRと前記MRAとを用いて、前記疑似乱数列を埋込んだデジタル画像信号を再構成する帯域合成手段とを備える。
【0021】
第2の発明は、デジタル画像信号を離散ウェーブレット変換またはサブバンド分割のいずれかにより分割し、最も低い周波数帯域(以下、MRAという)以外の複数の周波数帯域(以下、MRRという)の変換係数の全てもしくはその一部に第1の疑似乱数列を埋込み、更に再構成したデジタル画像信号を入力し、離散ウェーブレット変換またはサブバンド分割のいずれかを用いて、前記デジタル画像信号を複数の周波数帯域の変換係数に分割する帯域分割手段と、分割された前記複数の周波数帯域のうち、前記MRRの変換係数で構成した数列と第2の疑似乱数列との内積を求める相関値算出手段と、前記相関値算出装置の出力から第1の疑似乱数列を決定する疑似乱数列決定手段と、決定した第1の疑似乱数列にマッピングした固有のデジタル情報を生成する情報生成手段とを備える。
【0022】
第3の発明は、疑似乱数列として、平均値0、分散値1の正規分布から選ばれた数列を用いる。
【0023】
第4の発明は、相関値算出手段が出力する値が予め設定したしきい値より大きい場合に該当する疑似乱数列であると判断する疑似乱数列決定手段を備える。
【0024】
第5の発明は、デジタル画像信号を複数の周波数帯域の変換係数に分割する際に、複数の階層に分割する帯域分割手段と、分割された複数の周波数帯域の中で第2階層以上のMRRの変換係数の全てもしくはその一部で構成した数列に疑似乱数列を埋込む情報埋込み手段とを備える。
【0025】
第6の発明は、MRRのうち水平方向が高周波数成分で垂直方向が低周波数成分である領域(以下、HL領域という)の変換係数の全てもしくはその一部と水平方向が低周波数成分で垂直方向が高周波数成分である領域(以下、LH領域という)の変換係数の全てもしくはその一部とで構成した数列に疑似乱数列を埋込む情報埋込み手段を備える。
【0026】
第7の発明は、MRRのうち水平方向が高周波数成分で垂直方向が低周波数成分である領域(以下、HL領域という)の変換係数、および水平方向が低周波数成分で垂直方向が高周波数成分である領域(以下、LH領域という)の変換係数のいずれか一方の全てもしくはその一部から構成される数列に疑似乱数列を埋込む情報埋込み手段を備える。
【0027】
第8の発明は、離散ウェーブレット変換またはサブバンド分割のいずれかを用いて、デジタル画像信号を複数の周波数帯域の変換係数に分割するステップと、固有のデジタル情報を疑似乱数列にマッピングするステップと、分割された前記複数の周波数帯域のうち、最も低い周波数帯域(以下、MRAという)以外の複数の周波数帯域(以下、MRRという)の変換係数の全てもしくはその一部で構成される数列に前記疑似乱数列を埋込むステップと、情報埋込み処理後の前記MRRと前記MRAとを用いて、前記疑似乱数列を埋込んだデジタル画像信号を再構成するステップとを備える。
【0028】
第9の発明は、デジタル画像信号を離散ウェーブレット変換またはサブバンド分割のいずれかにより分割した最も低い周波数帯域(以下、MRAという)以外の複数の周波数帯域(以下、MRRという)の変換係数の全てもしくはその一部で構成した数列に第1の疑似乱数列を埋込み、更に再構成したデジタル画像信号を入力し、離散ウェーブレット変換またはサブバンド分割のいずれかを用いて、前記デジタル画像信号を複数の周波数帯域の変換係数に分割するステップと、分割された前記複数の周波数帯域のうち、前記MRRの変換係数で構成した数列と第2の疑似乱数列との内積を求めるステップと、求めた内積の値から第1の疑似乱数列を決定するステップと、決定した第1の疑似乱数列にマッピングした固有のデジタル情報を生成するステップとを備える。
【0029】
第10の発明は、疑似乱数列として、平均値0、分散値1の正規分布から選ばれた数列を用いる。
【0030】
第11の発明は、求めた内積が予め設定したしきい値より大きい場合に該当する疑似乱数列であると判断するステップを備える。
【0031】
第12の発明は、デジタル画像信号を複数の周波数帯域の変換係数に分割する際に、複数の階層に分割するステップと、分割された複数の周波数帯域の中で第2階層以上の前記MRRの変換係数の全てもしくはその一部で構成した数列に疑似乱数列を埋込むステップを備える。
【0032】
第13の発明は、MRRのうち水平方向が高周波数成分で垂直方向が低周波数成分である領域(以下、HL領域という)の変換係数の全てもしくはその一部と水平方向が低周波数成分で垂直方向が高周波数成分である領域(以下、LH領域という)の変換係数の全てもしくはその一部とで構成した数列に疑似乱数列を埋込むステップを備える。
【0033】
第14の発明は、MRRのうち水平方向が高周波数成分で垂直方向が低周波数成分である領域(以下、HL領域という)の変換係数、または水平方向が低周波数成分で垂直方向が高周波数成分である領域(以下、LH領域という)の変換係数のいずれか一方の全てもしくはその一部から構成される数列に疑似乱数列を埋込むステップを備える。
【0034】
【発明の実施形態】
(第1の実施形態)
図1は、本発明の第1の実施形態に係るデジタル情報埋込み・抽出装置の構成を示すブロック図である。図1において、第1の実施形態に係るデジタル情報埋込み部1aは、帯域分割部11と、マッピング部12と、情報埋込み部13と、帯域合成部14とを備える。
【0035】
帯域分割部11について、図2を用い、離散ウェーブレット変換処理を用いて3階層に帯域分割を行う処理について説明する。
【0036】
図2において、帯域分割部11は、それぞれ同じ構成を有する第1〜第3の帯域分割フィルタ100、200および300を備える。第1〜第3の帯域分割フィルタ100、200および300は、入力した画像を4つの周波数帯域に分割し、各周波数帯域ごとのウェーブレット変換係数(以下、単に変換係数という)を算出する。なお、サブバンド分割によっても、離散ウェーブレット変換による帯域分割と等価である変換係数を得ることもできる。
【0037】
帯域分割部11は、デジタル画像信号71を第1の帯域分割フィルタ100に入力する。第1の帯域分割フィルタ100は、デジタル画像信号71を水平周波数成分と垂直周波数成分のパラメータに基づいて4つの帯域の信号、すなわち、LL1信号、LH1信号、HL1信号およびHH1信号(以下、これらを総称して第1の階層信号という)に分割する。第2の帯域分割フィルタ200は、上記第1の階層信号のうち最も低域のLL1信号を入力し、さらに4つの帯域のLL2信号、LH2信号、HL2信号およびHH2信号(以下、これらを総称して第2の階層信号という)に分割する。そして、第3の帯域分割フィルタ300は、上記第2の階層信号のうち最も低域のLL2信号を入力し、さらに4つの帯域のLL3信号、LH3信号、HL3信号およびHH3信号(以下、これらを総称して第3の階層信号という)に分割する。
【0038】
図3は、図2の第1の帯域分割フィルタ100の詳細な構成の一例を示すブロック図である。図3において、第1の帯域分割フィルタ100は、第1〜第3の2帯域分割部101〜103を備える。この第1〜第3の2帯域分割部101〜103は、それぞれ1次元の低域通過フィルタ(LPF)111〜113と、1次元の高域通過フィルタ(HPF)121〜123と、信号を2:1に間引くダウンサンプラ131〜133および141〜143とを備える。
【0039】
第1の2帯域分割部101は、デジタル画像信号71を入力し、水平方向成分に関してLPF111およびHPF121により低域および高域のフィルタリングを行い、2つの信号を出力する。そして、低域および高域のフィルタリングがされた信号をそれぞれダウンサンプラ131および141を用いて2:1に間引いた後、次段に出力する。第2の2帯域分割部102は、ダウンサンプラ131からの信号を入力し、垂直方向成分に関してLPF112およびHPF122によりそれぞれフィルタリングを行い、ダウンサンプラ132および142を用いて2:1に間引いた後、LL1信号とLH1信号の2つの信号を出力する。一方、第3の2帯域分割部103は、ダウンサンプラ141からの信号を入力し、垂直方向成分に関してLPF113およびHPF123によりそれぞれフィルタリングを行い、ダウンサンプラ133および143を用いて2:1に間引いた後、HL1信号とHH1信号の2つの信号を出力する。
【0040】
これにより、第1の帯域分割フィルタ100からは、水平方向・垂直方向共に低域のLL1信号、水平方向に低域で垂直方向に高域のLH1信号、水平方向に高域で垂直方向に低域のHL1信号および水平方向・垂直方向共に高域のHH1信号の4つの信号、すなわち、変換係数が出力される。
【0041】
なお、第2および第3の帯域分割フィルタ200および300も、入力される信号に対して上記と同様の処理を行う。
【0042】
上述した第1〜第3の帯域分割フィルタ100、200および300による帯域分割処理の結果、デジタル画像信号71は、LL3信号、LH3信号、HL3信号、HH3信号、LH2信号、HL2信号、HH2信号、LH1信号、HL1信号およびHH1信号の10の帯域信号に分割される。図4は、これらを2次元周波数領域で表現した図である。
【0043】
図4において、縦軸は垂直方向の周波数成分を表し下側に行くほど高域となり、横軸は水平方向の周波数成分を表し右側に行くほど高域となる。図4における各々の領域は1つの画像としてのデータであり、その領域の面積比は各々の帯域信号が有するデータ数の比に一致する。すなわち、第3の階層信号であるLL3信号、LH3信号、HL3信号およびHH3信号のデータ数を1とした場合、第2の階層信号であるLH2信号、HL2信号およびHH2信号のデータ数は4となり、第1の階層信号であるLH1信号、HL1信号およびHH1信号のデータ数は16となる。
【0044】
図1におけるマッピング部12は、固有のデジタル情報に対応する疑似乱数列を生成する。この疑似乱数列は、平均値0、分散値1の正規分布で構成される母集団からランダムに選択することにより生成する。疑似乱数列は固有のデジタル情報に対して、ユニークなものを選択する。マッピング部12は固有のデジタル情報と疑似乱数列との対応表を保持している。例えば、固有のデジタル情報が著作者名と作成日時から成る著作者情報の場合、この対応表は著作者情報と疑似乱数列を組みとして記述され、対応表中には同一の疑似乱数列は現れないように構成する。固有のデジタル情報、例えば著作者情報が入力されると、前記の対応表を参照して、疑似乱数列を出力する。
【0045】
図1における情報埋込み部13の一例を図5を用いて説明する。帯域分割部11で分割した信号のMRRの中から図2で示したLH2の変換係数を予め設定した順序で読み出し、絶対値算出部31の入力として与えると共に遅延器32の入力として与える。絶対値算出部31の出力は乗算器33に第1の入力として与える。遅延器32の出力は加算器34に第1の入力として与える。一方、図1のマッピング部12からの出力である疑似乱数列は乗算器33に第2の入力として与えられる。乗算器33では、絶対値算出部31の出力と疑似乱数列Wiとを乗算し、さらにスケーリングパラメータαを乗ずる。乗算器33の出力は加算器34に第2の入力として与えられ、遅延器32の出力と加算される。変換係数をfi、|fi|をfiの絶対値、マッピング部12からの出力である疑似乱数列をWi、埋込み処理された変換係数をfi’とすると、以上の処理は(数7)で表される。αは1より小さい正数を用いる。
【0046】
【数7】
Figure 0004178647
【0047】
上記に続いて、LH3の変換係数を予め設定した順序で読み出し、絶対値算出部31の入力として与えると共に遅延器32の入力として与える。以降の処理は、LH2の変換係数に対するものと同様である。なお、ここでは、LH2の変換係数に対する処理に続いて、LH3の変換係数に対する処理を行なったが、この処理の順序は、LH3の変換係数に対する処理を先に行なってもよい。LH2とLH3の処理順序、およびLH2、LH3の変換係数を読み出すために予め設定した順序は、埋込み処理を行なうためのキー情報であり、固有のデジタル情報を抽出する際にも用いる。
【0048】
次に帯域合成部14の処理について図6を用いて説明する。帯域合成部14は、それぞれ同じ構成を有する第1〜第3の帯域合成フィルタ400、500および600を備える。第1〜第3の帯域合成フィルタ400、500および600は、4つの周波数帯域信号を入力し、1つの信号に合成して出力する。
【0049】
第1の帯域合成フィルタ400は、LL3信号、HL3信号およびHH3信号、疑似乱数列の埋込み処理が終ったLH3信号とを入力し、これらを合成してLL2信号を作成する。第2の帯域合成フィルタ500は、上記合成したLL2信号と疑似乱数列の埋込み処理が終ったLH2信号、およびHL2信号とHH2信号とを入力し、これらを合成してLL1信号を作成する。そして、第3の帯域合成フィルタ600は、上記合成したLL1信号とLH1信号、HL1信号、HH1信号とを入力し、これらを合成してデジタル画像信号72を再構成する。
【0050】
図7は、第1の帯域合成フィルタ400の構成の一例を示すブロック図である。図7において、第1の帯域合成フィルタ400は、第1〜第3の2帯域合成部401〜403を備える。この第1〜第3の2帯域合成部401〜403は、それぞれLPF411〜413と、HPF421〜423と、信号に対して2:1の割合で零を挿入するアップサンプラ431〜433および441〜443と、加算器451〜453とを備える。
【0051】
第1の2帯域合成部401は、LL3信号とLH3信号とを入力して、それぞれアップサンプラ431および441を用いて2倍のサイズの信号に変換し、変換した2つの信号を垂直方向成分に関してLPF411およびHPF421でフィルタリングした後、加算して出力する。一方、第2の2帯域合成部402は、HL3信号とHH3信号とを入力して、それぞれアップサンプラ432および442を用いて2倍のサイズの信号に変換し、変換した2つの信号を垂直方向成分に関してLPF412およびHPF422でフィルタリングした後、加算して出力する。そして、第3の2帯域合成部403は、加算器451および452の出力を入力して、それぞれアップサンプラ433および443を用いて2倍のサイズの信号に変換し、変換した2つの信号を水平方向成分に関してLPF413およびHPF423でフィルタリングした後、加算して出力する。
【0052】
これにより、第1の帯域合成フィルタ400からは、第2の階層信号である水平・垂直方向共に低域のLL2信号が出力される。
【0053】
なお、第2および第3の帯域合成フィルタ500および600も、入力する信号に対して上記と同様の処理を行う。帯域合成部14は、上述のようにLL3信号、LH1信号、LH2信号、LH3信号、HL1信号、HL2信号、HL3信号、HH1信号、HH2信号、HH3信号の10の周波数帯域信号を、埋込み処理が行われたデジタル画像信号72に再構成して出力する。
【0054】
以上のように、本第1の実施形態に係るデジタル情報埋込み部1aによれば、3階層に帯域分割を行い、MRRの中からLH2、LH3の変換係数の絶対値と疑似乱数列とを任意の順に乗算し、さらにスケーリングパラメータを乗じた後に、LH2、LH3の変換係数を加算し、疑似乱数列を埋込む。
【0055】
これにより、圧縮符号化を行っても埋込んだ疑似乱数列は保持される。すなわち、疑似乱数列に対応した固有のデジタル情報は保持され、簡易な構成でデジタル情報埋込み装置を実現できる。
【0056】
なお、本第1の実施形態に係るデジタル情報埋込み部1aにおいて行う離散ウェーブレット変換は、3つの階層に限られるものではなく、LL信号が1×1の要素になるまでならば、何回階層でも階層化してよい。
【0057】
また、埋込みに用いる帯域はLH2、LH3に限ったものではなく、MRRの中から任意の帯域を選択して用いてもよく、また、MRR全域を用いてもよい。この場合、帯域の変換係数に対する処理の順序は、いずれの順序でもよいが、その順序は予め設定しておく必要がある。
【0058】
(第2の実施形態)
図8は、本発明の第2の実施形態に係るデジタル情報埋込み・抽出装置の構成を示すブロック図である。第2の実施形態に関わるデジタル情報抽出部1bは、上記第1の実施形態に係るデジタル情報埋込み部1aによって埋込まれたデジタル情報を抽出するためのものである。図8において、デジタル情報抽出部1bは、帯域分割部11と、相関値算出部21と、疑似乱数列決定部22と、情報生成部23とを備える。
【0059】
なお、本第2の実施形態に係るデジタル情報抽出部1bの帯域分割部11は、上記第1の実施形態に係るデジタル情報埋込み部1aの帯域分割部11と同様の構成であり、以下当該構成については、同一の参照番号を付してその説明を省略する。
【0060】
帯域分割部11は、デジタル画像信号73を入力する。このデジタル画像信号73は、上記第1の実施形態に係るデジタル情報埋込み部1aの帯域合成部14が出力するデジタル画像信号72、あるいは圧縮符号化、伸長化の処理を行った信号である。帯域分割部11は、入力されたデジタル画像信号73に関して離散ウェーブレット変換を行って10個の周波数帯域LL3信号、LH1信号、LH2信号、LH3信号、HL1信号、HL2信号、HL3信号、HH1信号、HH2信号、HH3信号に分割し、それぞれの変換係数を算出する。帯域分割部11で分割したMRRの中からLH2、LH3の変換係数を第1の実施形態で行なったのと同じ順序、すなわちLH2、LH3の順に、第1の実施例と同一の予め設定した順序で読み出し、数列の形で相関値算出部21の第1の入力として与える。相関値算出部21の第2の入力はデジタル画像信号73に埋込まれていると推測される疑似乱数列を与える。相関値算出部21では第1の入力であるLH2、LH3の変換係数で構成される数列と第2の入力である疑似乱数列の内積を取り、疑似乱数列の長さで割る。この算出値は、LH2とLH3の変換係数で構成した数列をfi*(処理あるいは改竄によってfi’と微妙に異なると考える)、疑似乱数列をViとすると(数8)で表される。
【0061】
【数8】
Figure 0004178647
【0062】
ここでMはLH2とLH3の変換係数で構成した数列fi*、および疑似乱数列Viの長さである。デジタル画像信号73が512画素×512画素である場合、Mは最大20480となる。(数8)において、疑似乱数列Viが(数7)の疑似乱数列Wiと等しい場合(Vi=Wi)、(数8)のzはVi≠Wiの場合と比べ大きな値となる。
【0063】
相関値算出部21の出力は、疑似乱数列決定部22に入力される。疑似乱数列決定部22では予め設定されたしきい値と相関値算出部21の出力を比較する。
【0064】
疑似乱数列決定部22で用いるしきい値の一例として、(数9)の値を用いる。
【0065】
【数9】
Figure 0004178647
【0066】
ここで、αは第1の実施形態で用いたスケーリングパラメータであり、pは2以上の正数である。
【0067】
疑似乱数列決定部22において、相関値算出部21の出力がしきい値より大きい場合には、相関値算出部21で用いた疑似乱数列が有意であるという出力を情報生成部23の入力として与える。情報生成部23では有意となった疑似乱数列を用いて、この疑似乱数列にマッピングした固有のデジタル情報を生成する。このマッピングには、第1の実施形態におけるマッピング部12の保持する対応表と同一のものを用いて行なう。
【0068】
一方、疑似乱数列決定部22において、相関値算出部21の出力が予め設定されたしきい値より小さい場合は、埋込まれていると推測される第2の疑似乱数列を用いて、同じ処理を行なう。埋込まれていると推測される全ての疑似乱数列を用いても、疑似乱数列決定部22において疑似乱数列が有意であると判断できない場合は、疑似乱数列は埋込まれていないものと判断する。
【0069】
以上のように、本第2の実施形態に係るデジタル情報抽出部1bによれば、埋込まれた周波数帯域の変換係数と埋込んだと思われる疑似乱数列との内積を求めることで相関値を算出し、予め設定されたしきい値と比較することにより、疑似乱数列を有意とし、固有のデジタル情報を生成する。
【0070】
これにより、簡易な演算で固有のデジタル情報を抽出することができる。しかも、埋込まれた周波数帯域の情報、具体的には、用いた変換係数、変換係数の数列作成順序、疑似乱数列の長さを知らない第3者による固有のデジタル情報の解読を困難にしている。
【0071】
なお、本第2の実施形態に係るデジタル情報抽出部1bにおいて行う相関値算出は、周波数帯域の変換係数と疑似乱数列との内積をその長さで割ったものに限るものではなく、内積の値でも同様な相関値を算出することができる。
【0072】
なお、上記第1〜第2の実施形態に係るデジタル情報埋込み・抽出装置は、デジタル画像信号であればいずれでもよく、静止画像や動画像でもよい。例えば、毎秒30フレームから構成されている動画像信号は、全てのフレームもしくは一部のフレーム(例えば5フレーム毎)に対して上述したデジタル情報の埋込み処理および抽出処理を適用すればよい。
【0073】
なお、典型的には、上記第1〜第2の実施形態に係るデジタル情報埋込み・抽出装置の各処理は、コンピュータプログラム(以下、デジタル情報埋込み・抽出プログラムという)として実現される。図9は、そのシステム構成図である。51はCPUで、プログラムの動作を制御する。52は主記憶装置で、プログラムや各種のデータが記憶される。53はデジタル情報埋込み・抽出プログラムを記録した記録媒体である。記録媒体53は、フロッピーディスクやMOなど読み書き可能な記録媒体ならば、何でもよい。また、ハードディスクなどの予めシステムに組み込まれ、可搬性のないものでもよい。デジタル情報埋込み・抽出プログラムは主記憶装置52に読み込まれ、CPU51の制御によって動作する。また、処理に必要な各種の一時データは、主記憶装置52に確保される。マッピング部12で用いる固有のデジタル情報と疑似乱数列との対応表は、記録媒体53に保持される。なお、デジタル情報埋込み・抽出プログラムと前記対応表の格納位置は、それぞれの格納位置が分かれば、いずれでもよい。
【0074】
【発明の効果】
第1の発明によれば、画質低下を伴うことなく、さらに埋込まれた固有のデジタル情報の位置を記録することなく、固有のデジタル情報を埋込むことができる。
【0075】
また、第2の発明によれば、簡易な構成で、固有のデジタル情報を抽出することができる。
【0076】
また、第3の発明によれば、任意の長さの疑似乱数列を容易に生成することができるので、簡易な埋込み装置を構成することができる。さらには十分な長さの数列においては、その総和が0となり、内積を求めることで、相関値ピークを明確に示すことができる。これにより簡易な抽出装置を構成することができる。
【0077】
また、第4の発明によれば、相関値算出手段の出力値を予め設定したしきい値と比較するだけで判断可能であるので、簡易な抽出装置を構成することができる。
【0078】
また、第5の発明ないし第7の発明によれば、圧縮符号化のような高周波領域をカットする処理を経ても埋込んだデジタル情報を保持することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係るデジタル情報埋込み部1aの構成を示すブロック図
【図2】図1の帯域分割部11の構成を示すブロック図
【図3】図2の第1の帯域分割フィルタ100の構成を示すブロック図
【図4】図1の帯域分割部11によって離散ウェーブレット変換がされた後の各信号の2次元周波数領域での表現図
【図5】図1の情報埋込み部13の構成を示すブロック図
【図6】図1の帯域合成部14の構成を示すブロック図
【図7】図6の第1の帯域合成フィルタの構成を示すブロック図
【図8】本発明の第2の実施形態に係るデジタル情報抽出部1bの構成を示すブロック図
【図9】デジタル情報埋込み・抽出プログラムの動作するシステムの構成図
【図10】従来の透かし埋込み方法の構成を示すブロック図
【図11】従来の透かし抽出方法の構成を示すブロック図
【符号の説明】
1a デジタル情報埋込み部
1b デジタル情報抽出部
11 帯域分割部
12 マッピング部
13 情報埋込み部
14 帯域合成部
21 相関値算出部
22 疑似乱数列決定部
23 情報生成部
31 絶対値算出部
32 遅延器
33 乗算器
34 加算器
51 CPU
52 主記憶装置
53 記録媒体
71,72,73 デジタル画像信号
100,200,300 帯域分割フィルタ
101〜103 2帯域分割部
111〜113,411〜413 1次元の低域通過フィルタ(LPF)
121〜123,421〜423 1次元の高域通過フィルタ(HPF)
131〜133,141〜143 ダウンサンプラ
400,500,600 帯域合成フィルタ
401〜403 2帯域合成部
431〜433,441〜443 アップサンプラ
451〜453 加算器

Claims (1)

  1. デジタル画像信号から複数の周波数帯域の変換係数を導出し、前記変換係数の全てもしくはその一部を要素として構成した数列に、デジタル情報をマッピングされた乱数列を乗算し、前記乗算の結果と前記数列とを用いて帯域合成により再構成されたデジタル画像信号を入力として、前記デジタル情報を抽出するデジタル情報抽出装置であって、
    入力されたデジタル画像信号を複数の周波数帯域に分割し、前記分割された複数の周波数帯域の各周波数帯域ごとの変換係数を生成し、前記生成された変換係数の全てもしくはその一部を要素とした変換係数数列を出力する帯域分割手段と、
    前記変換係数数列と固有のデジタル情報がマッピングされた疑似乱数列との内積により相関値を算出する相関値算出部と、
    前記相関値所定の閾値よりも大きい場合に前記疑似乱数列有意であると判定し、前記相関値が前記所定の閾値よりも小さい場合に前記疑似乱数列は埋め込まれていないと判定する擬似乱数列決定部と、
    前記疑似乱数列決定部によって有意であると判定された前記疑似乱数列にマッピングされた前記固有のデジタル情報を生成する情報生成部と、
    を含むデジタル情報抽出装置。
JP03533599A 1999-02-15 1999-02-15 デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体 Expired - Fee Related JP4178647B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP03533599A JP4178647B2 (ja) 1999-02-15 1999-02-15 デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体
EP20000101231 EP1030511B1 (en) 1999-02-15 2000-01-24 Apparatus for and method of embedding and extracting digital information and medium having program for carrying out the method recorded thereon
DE2000600188 DE60000188T2 (de) 1999-02-15 2000-01-24 Vorrichtung und Verfahren zum Einbetten und Extrahieren von digitalen Informationen sowie Medium mit Programm zur Durchführung des Verfahrens
US09/496,661 US6639997B1 (en) 1999-02-15 2000-02-03 Apparatus for and method of embedding and extracting digital information and medium having program for carrying out the method recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03533599A JP4178647B2 (ja) 1999-02-15 1999-02-15 デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体

Publications (3)

Publication Number Publication Date
JP2000236432A JP2000236432A (ja) 2000-08-29
JP2000236432A5 JP2000236432A5 (ja) 2006-02-02
JP4178647B2 true JP4178647B2 (ja) 2008-11-12

Family

ID=12438979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03533599A Expired - Fee Related JP4178647B2 (ja) 1999-02-15 1999-02-15 デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US6639997B1 (ja)
EP (1) EP1030511B1 (ja)
JP (1) JP4178647B2 (ja)
DE (1) DE60000188T2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754364B1 (en) * 1999-10-28 2004-06-22 Microsoft Corporation Methods and systems for fingerprinting digital data
EP1118961B1 (en) * 1999-11-25 2007-08-29 Matsushita Electric Industrial Co., Ltd. Apparatus and method for embedding information for tamper detection
US6385329B1 (en) * 2000-02-14 2002-05-07 Digimarc Corporation Wavelet domain watermarks
GB2369950B (en) 2000-12-07 2005-03-16 Sony Uk Ltd Image processing apparatus
JP3682222B2 (ja) 2000-12-11 2005-08-10 株式会社東芝 電子透かし検出装置、電子透かし検出方法及び記録媒体
US8301453B2 (en) 2000-12-21 2012-10-30 Digimarc Corporation Watermark synchronization signals conveying payload data
GB2379349B (en) * 2001-08-31 2006-02-08 Sony Uk Ltd Embedding data in material
GB2383148A (en) * 2001-12-13 2003-06-18 Sony Uk Ltd Watermarking
GB2390248A (en) * 2002-06-28 2003-12-31 Sony Uk Ltd Watermarking a reduced bandwidth version of material
JP3754403B2 (ja) 2002-07-26 2006-03-15 株式会社東芝 電子透かし検出方法及び装置
EP1398732A3 (en) * 2002-09-04 2006-09-27 Matsushita Electric Industrial Co., Ltd. Digital watermark-embedding and detecting
EP1634238B1 (en) * 2003-05-09 2012-11-21 Avid Technology, Inc. Watermarking
JP4519678B2 (ja) 2005-02-21 2010-08-04 株式会社東芝 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置
JP4118279B2 (ja) 2005-03-11 2008-07-16 株式会社東芝 電子透かし検出装置及びその方法
CN101115124B (zh) * 2006-07-26 2012-04-18 日电(中国)有限公司 基于音频水印识别媒体节目的方法和装置
KR101397207B1 (ko) 2007-06-12 2014-05-20 삼성전자주식회사 이동 통신 시스템에서 공통제어채널 송수신 방법 및 장치
US20090060257A1 (en) * 2007-08-29 2009-03-05 Korea Advanced Institute Of Science And Technology Watermarking method resistant to geometric attack in wavelet transform domain
KR101308137B1 (ko) 2011-12-19 2013-09-13 창원대학교 산학협력단 디지털 영상 워터마킹 방법
US9191516B2 (en) * 2013-02-20 2015-11-17 Qualcomm Incorporated Teleconferencing using steganographically-embedded audio data
CN111008923B (zh) * 2018-10-08 2022-10-18 阿里巴巴集团控股有限公司 水印嵌入和水印提取方法、装置和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69636084T2 (de) * 1995-09-28 2006-09-14 Nec Corp. Verfahren und Vorrichtung zum Einfügen eines Spreizspektrumwasserzeichens in Multimediadaten
US5848155A (en) 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
JP3262159B2 (ja) 1996-09-04 2002-03-04 日本電気株式会社 拡散スペクトラム透かし処理方法
US5915027A (en) * 1996-11-05 1999-06-22 Nec Research Institute Digital watermarking
EP0996278A4 (en) * 1997-07-02 2005-11-16 Kowa Co METHOD FOR ELECTRONIC WATERMARKS AND METHOD FOR EXTRACTING WATERMARK INFORMATION
JPH1132200A (ja) * 1997-07-09 1999-02-02 Matsushita Electric Ind Co Ltd 透かしデータ挿入方法及び透かしデータ検出方法
JPH11196262A (ja) * 1997-11-07 1999-07-21 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体
US7502759B2 (en) * 1999-08-30 2009-03-10 Digimarc Corporation Digital watermarking methods and related toy and game applications
JP3431593B2 (ja) * 2000-10-31 2003-07-28 株式会社東芝 コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US6831991B2 (en) * 2001-06-22 2004-12-14 The Research Foundation Of Suny State University Plaza Reliable detection of LSB steganography in color and grayscale images

Also Published As

Publication number Publication date
DE60000188T2 (de) 2003-01-23
DE60000188D1 (de) 2002-07-11
EP1030511B1 (en) 2002-06-05
JP2000236432A (ja) 2000-08-29
EP1030511A2 (en) 2000-08-23
US6639997B1 (en) 2003-10-28
EP1030511A3 (en) 2001-04-04

Similar Documents

Publication Publication Date Title
JP4178647B2 (ja) デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した記録媒体
JP3880162B2 (ja) 電子透かしの挿入方法及び抽出方法
JP4006141B2 (ja) デジタルデータの透かしの挿入及び復号する方法及び装置
US6693965B1 (en) Apparatus for and method of embedding and extracting digital information, and medium having program for carrying out the method recorded thereon
Lin et al. Wavelet-based copyright-protection scheme for digital images based on local features
US20050244032A1 (en) System and method for reversible data hiding based on integer wavelet spread spectrum
JP2004525430A (ja) 電子透かしの生成及び検出
Kadian et al. Performance evaluation of robust watermarking using DWT-SVD and RDWT-SVD
Irany et al. A high capacity reversible multiple watermarking scheme for medical images
Lakshmi et al. Difference expansion based reversible watermarking algorithms for copyright protection of images: state-of-the-art and challenges
Hwang et al. Stereo image watermarking scheme based on discrete wavelet transform and adaptive disparity estimation
Altun et al. A set theoretic framework for watermarking and its application to semifragile tamper detection
JP2004526207A (ja) 電子透かしの埋め込み及び検出
Korus et al. A scheme for censorship of sensitive image content with high-quality reconstruction ability
KR100369306B1 (ko) 컬러 이미지 워터마크를 이용한 디지털 오디오 워터마킹방법 및 장치
KR101094809B1 (ko) 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법
Hsieh et al. Perceptual digital watermarking for image authentication in electronic commerce
JP2002244685A (ja) 電子透かしの埋め込みおよび検出
Taskovski et al. Digital watermarking in wavelet domain
Hien et al. RDWT domain watermarking based on independent component analysis extraction
Dhavale et al. Lossless audio watermarking based on the alpha statistic modulation
Cheng et al. Non-ubiquitous digital watermarking for record indexing and integrity protection of medical images
Lee et al. Digital image watermarking using bidimensional empirical mode decomposition in wavelet domain
Kim et al. A new digital video watermarking using the dual watermark images and 3D DWT
Lee et al. Reversible data embedding for tamper-proof watermarks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051213

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees