JP3902863B2 - データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法 - Google Patents

データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法 Download PDF

Info

Publication number
JP3902863B2
JP3902863B2 JP10603798A JP10603798A JP3902863B2 JP 3902863 B2 JP3902863 B2 JP 3902863B2 JP 10603798 A JP10603798 A JP 10603798A JP 10603798 A JP10603798 A JP 10603798A JP 3902863 B2 JP3902863 B2 JP 3902863B2
Authority
JP
Japan
Prior art keywords
data
block
partial
dimensional image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10603798A
Other languages
English (en)
Other versions
JPH11146363A (ja
Inventor
功 越前
裕 吉浦
雅文 中村
孝雄 荒井
敏文 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP10603798A priority Critical patent/JP3902863B2/ja
Priority to US09/144,467 priority patent/US6728408B1/en
Priority to DE69827723T priority patent/DE69827723T2/de
Priority to EP98116571A priority patent/EP0901102B1/en
Priority to KR1019980036253A priority patent/KR100282752B1/ko
Publication of JPH11146363A publication Critical patent/JPH11146363A/ja
Application granted granted Critical
Publication of JP3902863B2 publication Critical patent/JP3902863B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32208Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32229Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32251Spatial or amplitude domain methods in multilevel data, e.g. greyscale or continuous tone data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0061Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、データに著作権等の情報を埋め込む方法及びシステムに係わり、特に画像に情報を埋め込む電子透かしに関する。
【0002】
【従来の技術】
電子透かしは様々なコンテンツに適用されているが、特にここでは画像を例にとって説明する。画像における電子透かしは、画素の値(例えば輝度成分)や周波数成分に変更を加えることで情報を付加し、1組の画像が0または1といった特定の情報を表すようにしている。従来の技術でいうと例えば(清水他:“ピクセルブロックによる静止画像データハイディング”、In proc. of IPSJ 53rd annual conference、 1996)画素の値を微小に変更することで、2つの画素の値の大小関係から0、1を表わしている。しかし情報を付加するときの条件として以下の2点が要求される。
【0003】
1)情報を付加した画像が原画像とほとんど変らないこと(透かしが不可視であること)。
【0004】
2)JPEG圧縮("Digital Compression and Coding of Continuous-Tone Still Images" ISO/IEC/0918-1)などの画像変換に対して付加した情報が消失しにくいこと。
【0005】
上記技術の場合、JPEG圧縮に対する各ビットのエラー率は0。1〜0。2である。そこで、この方式で検出のエラー率を10の−8乗まで小さくするには、透かしを埋め込むビットに10倍以上の冗長度をもたせなければならず、多数の画素の値の変更が必要である。このように、エラー率の減少のためには多数の画素や周波数の変更が必要であり、透かしデータの検出の信頼性とコンテンツの品質の両立は困難であった。
【0006】
特に動画データの場合、データ量が膨大なためにMPEGなどの画像圧縮処理が必要となり、MPEG圧縮された状態(MPEGストリーム)からの検出が不可欠である。一方、基本機能として画像状態からの検出も必要である。画像状態からのみの検出を考えるなら、検出装置にMPEGデコーダを実装しなければならず、装置のコストがかかるだけでなく処理時間も増大してしまう。
【0007】
【発明が解決しようとする課題】
データ検出の信頼性を高めながらも画素の変更数を最小限に押さえる必要がある。また、画素の変更方法もコンテンツの品質をできるだけ劣化させない方法を用いることが望ましい。
【0008】
検出装置のコスト削減のためには、画像状態だけでなく圧縮状態からもデータが検出できなければならない。
【0009】
【課題を解決するための手段】
本発明では上記の課題に対し、以下に述べる4つの解決手段を提案する。
【0010】
第一の手段として、変更した画素の位置パターンとしてデータを埋め込み、これを検出する方式を提案する。これにより、より少ない画素の変更で従来の技術と同等の信頼性を持たせることができる。
【0011】
第二の手段としては、部分画素の総和(または平均値)を特定の値に変更することにより、埋め込みと検出を行う方式を提案する。これにより、部分画素内部で変更量の最適化が可能になり、従来の技術に比べコンテンツの劣化を防ぐことが可能になる。
【0012】
第三の手段として、第一と第二の情報埋め込み方式より成るデータ重畳装置を提案する。
【0013】
第四の手段として、第一と第二の情報検出方式より成るデータ検出装置を提案する。
【0014】
第五の手段として、第一と第二の手段の組み合わせ、すなわち画像をk×l画素のブロックに分割して、そのブロックの画素値の和または平均値を特定の条件を満たす値に変更する方式を提案する。
【0015】
第六の手段として、第五の手段において情報を埋め込むブロックの単位として、JPEGやMPEGなどの圧縮処理の単位となるブロック(例えば8×8画素)を用いる方法を提案する。上記の方法より、画像状態と圧縮状態での埋め込みデータ間に一対一の関係が成立し、画像状態と圧縮状態の両者からデータ検出が可能になる。
【0016】
【発明の実施の形態】
以下、本発明の実施例を図を用いて説明する。
【0017】
まず、本発明で提案する課題を解決するための第一の手段の実施例を図1を用いて説明する。(実施例1)図1は、画像における本埋め込み方式を模式的に示した図である。図1において、各ブロック(2)はm×n画素の画像(1)をk×l画素の部分2次元画像のブロックに分割したものであり、斜線部分のブロック(3)は画素値変更手段によって、画素値を特定の値になるように変更したブロックを示したものである。ここで埋め込む情報は各ブロックで表わされているのではなく、ブロック間隔dで表すようにする。本実施例では、部分2次元画像選択手段により、画素値を変更する部分2次元画像をデータ値xに対応した間隔dおきに配置し、データxを画像に埋め込むようにした例である。透かし埋め込み時はデータをブロック間隔dに変換し、その間隔で画素値を変更することで情報を付加するものである。透かし検出時は画像から変更されたブロックのパターンを検出することでブロック間隔を読み取り、その間隔をデータに変換することで情報を検出する。本実施例では、データxに対応したブロック間隔dを、各ブロック間にわたってすべて同一としているが、データxに対応して(d1、d2、d3)等で3ブロック間にわたって間隔を変え、これを周期毎に繰り返すなどブロック間隔が一様でないように画素値を変更するブロックを選択しても同様である。
【0018】
次に、本発明で提案する課題を解決するための第二の手段の実施例である画素値変更手段について説明する。(実施例2)まず透かし埋め込み時において、図1の画素値を変更する部分2次元画像の各画素値の総和がその総和の近傍の特定値となるように各画素値を変更する。例えば部分画像内の各画素の輝度値の総和が、ある値の倍数となるように変更する。検出時においてはすべての部分2次元ブロックの各画素値の総和を求め、それが特定値、あるいは特定値の近傍の値であることを検出することにより、画素値を変更したブロックを検出する。その場合、画素値の変更は行っておらず、元々の総和が特定値の近傍にあるブロックも検出されるが、パターン一致手段を用いて、パターンの検出及び多数決等の処理を行うことにより、精度を上げた検出を行うことができる。さらに、特定値を画像の位置に依存させるなどして、各部分2次元ブロックに固有の特定値を用いることで、第三者による特定値の推定を困難にすることができる。
【0019】
次に、本発明で提案する課題を解決するための第三の手段の実施例を図2を用いて説明する。(実施例3)図2は第一の実施例と第二実施例による情報埋め込み方式より成るデータ重畳装置の模式図である。図2において、まず埋め込むデータxを第一の実施例による手段により部分2次元画像間隔dに変換してブロック間隔を決定し、画素値を変更するブロックを決定する。次に、埋め込みたい画像に最初に得た変更ブロックの位置情報を与え、第二の実施例による手段によりブロックの画素値を変更し、データxを画像に重畳する。
【0020】
次に、本発明で提案する課題を解決するための第四の手段の実施例を図3を用いて説明する。(実施例4)図3は本発明による情報検出方式より成るデータ検出装置の模式図である。図3において、データxが重畳された画像の部分2次元画素に対して、画素値を変更したブロックの検出手段により変更したブロックを検出する。次に、パターン検出手段により変更したブロックの間隔からデータxに変換を行うことで重畳画像からデータxを再生することができる。
【0021】
図4は本発明の別の実施例を示したものである。(23)はパターン検出手段(21)の位置情報を記憶するための記憶手段であり、図3と同一番号の構成要素は同一の構成要素を示す。本実施例においては、変更ブロック検出手段(20)で検出した位置情報を一度、記憶手段(23)に記憶した後、パターン検出手段(21)によりパターン検出を行うことでデータxを再生することができる。
【0022】
図5は本発明を記録媒体に記録するデータに適用した例である。(実施例5)(32)は本発明のデータ重畳手段であり、(33)は画像圧縮手段、(34)は媒体固有のフォーマット手段、(35)は記録媒体である。2次元画像(30)に、本発明のデータ重畳方法を用いて電子透かしデータ(31)を重畳し、画像圧縮手段(33)で画像圧縮し、フォーマット手段でフォーマットして記録媒体(35)に2次元画像を記録することにより、電子透かし等のデータを重畳した2次元画像を記録した光ディスク等のメディアを作成することができる。
【0023】
次に、上記実施例2について図6を用いて補足説明する。(実施例2補足)
図6は画素値変更手段のフローチャートを表わした図である。一例として、部分2次元画像のサイズを8×8とし、部分2次元画像の画素値の総和が512の倍数となるように各画素値を加算することにする。すなわち、画素値の和<特定値の場合を考える。また、各ブロック内の画素は1から64の画素番号で表わされているとする。
【0024】
最初にステップ601で画素番号I=1に設定する。ステップ602は画素番号Iの画素値を1加算する。
【0025】
ステップ603は8×8画素の部分2次元画像(ブロック)の画素値の和を画素Iの変更に伴って1加算または減算する。ステップ604は変更された部分2次元画像の画素値の和が特定値である512の倍数に一致するか判定し、一致するのであれば終了し、そうでないならステップ605に進むよう指示する。ステップ605は部分2次元画像の各画素に対して変更が完了したか判定し、完了なら終了し、そうでないならステップ606で画素番号Iのインクリメントを行い、次の画素に対して画素値の変更を行う。
【0026】
上記のように、各画素の値を単純に変更すると透かし情報が認識される恐れがある場合、特願平9―238031のように画素毎に変更量を調節する方法で対応できる。
【0027】
次に、本発明の第六の実施例を説明する。(実施例6)これは、画像状態とその圧縮状態の両者から透かしデータの検出が可能な方式である。
【0028】
図7は画像圧縮処理に適した画像におけるデータ重畳方式の一実施例である。図7において(71)は8×8画素の部分2次元画像である。(71)のように画素値変更手段の対象となる部分2次元画像のサイズをJPEG、MPEGなどの画像圧縮処理の画像処理単位である8×8画素にすることで画像圧縮処理に対して付加した情報が消失しにくくなる。また(8×8画素の画素値の和)=(MPEG圧縮状態(MPEGストリーム)のDC成分の値)である。従って、部分2次元画像の画素値の和を特定値にするように情報を付加すれば、MPEGストリーム上からDC成分の値が特定値かどうか判定することで情報を抽出できる。
【0029】
本変更手段の効果としては、画像と圧縮ストリームの双方から付加した情報が抽出可能であり、特に圧縮ストリームからの検出のみを考えればMPEGデコーダを検出装置に実装する必要がなくなりコストの低減につながることなどが挙げられる。
【0030】
次に、本発明で提案する課題を解決するための第七の実施例を説明する。(実施例7)
図8は画像における本埋め込み方式を模式的に示した図である。
【0031】
図8において各ブロック(82)は720×480画素の画像(81)を8×8画素の部分2次元画像のブロックに分割したものである。(83)は各ブロックが64個集まったマクロブロックを示している。(マクロブロックは84個)図に示されているようにx番目(1〜x〜84)のマクロブロック内のy番目(1〜y〜64)のブロックをBxyで表わす。ここで画素値を変更するブロックパターン内のブロックは、一定のブロック間隔(ここでは、d=64)をもたせ、埋め込む情報はブロックパターンのシフト量m(0〜m〜63)で表わす。すなわちブロックパターン(B11、 B21、...、 B84 1)、(B12、 B22、...、 B84 2)、...、(B1 m+1、 B2 m+1、...、 B84 m+1)、...、(B1 64、 B2 64、...、 B84 64)の64通り(6ビット)の情報を付加することができる。
【0032】
図では斜線部のブロック(84)が示すようにブロックパターン(B11、 B21、...、 B84 1)を埋め込んでいる模式図である。
【0033】
図9は上記埋め込み方式のフローチャートを表わした図である。
【0034】
ステップ901では6ビットデータXからブロックパターンのシフト量mを算出する。ステップ902以降は、ブロックパターン(B11、B21、...、 B84 1)をmブロックシフトしたブロックパターン(B1 m+1、 B2 m+1、...、 B84 m+1)に透かし情報を埋め込む操作である。
【0035】
ステップ902は、透かしを埋め込んだブロックの番号nを1に設定する。
【0036】
ステップ903は、ブロックパターン内の全てのブロック(84個)で透かし埋め込みが完了したか判定する。完了であれば終了し、そうでないならステップ904に進む。
【0037】
ステップ904では、n番目のマクロブロック内のm+1番目のブロックを指定し、ステップ905で対象となるブロックに対して画素値を変更して透かし埋め込みとする。
【0038】
ステップ906は透かしを埋め込んだブロックの個数nを1加算するインクリメント処理である。
【0039】
図10は上記検出方式のフローチャートを表わした図である。
【0040】
最初にステップ1002でブロックパターンのシフト量mを0に設定する。
【0041】
ステップ1003では、64通り全てのブロックパターンで検出数Dを求めたか判定し、全てのブロックパターンでDをもとめたのであればステップ1012に進み、そうでないならステップ1004に進む。
【0042】
ステップ1004では、マクロブロックの番号nと検出数Dを1に設定する。
【0043】
ステップ1005では、シフト量mの全てのマクロブロックにおいて検出が完了したか判定し、完了であればステップ1010でシフト量mでの検出数DmとしてDを記憶した後、ステップ1011でシフト量mのインクリメントを行い他のmでの検出操作に移る。全てのマクロブロックで検出が完了でなければステップ1006へ進み、シフト量mでn番目のマクロブロック内のブロックBn m+1を指定する。
【0044】
ステップ1007では該当ブロックの輝度値から透かし情報の検出判定を行い、透かしが検出されればステップ1008で検出数Dの値をインクリメントした後、ステップ1009で次のマクロブロック内の該当ブロックを指定するためマクロブロック番号nのインクリメントを行う。透かしが検出できなければステップ1009へ進みマクロブロックの番号のみをインクリメントする。
【0045】
全てのシフト量mで検出数Dmを求めた後、すなわちステップ1003でm=63と判定された後、ステップ1012で透かし挿入時のシフト量mを求めるため各シフト量mでの検出数Dmの中からしきい値を超えたDmを算出し、そのmを挿入時のシフト量mとし、ステップ1013でシフト量mよりデータXの変換を行い、透かし情報を抽出する。
【0046】
次に、本発明の第八の実施例を説明する。(実施例8)
図11は画像における本埋め込み方式を模式的に示した図である。斜線部のブロック(111)がブロックパターンの一つを表わしている。
【0047】
図8との違いは、画素値を変更するブロックパターン内のブロック間隔が一定ではなくランダム化されていることである。図8のように、ブロック間隔が等間隔であると、画像の種類によっては透かし情報を誤検出したり、不正者による透かし情報の除去が容易になる恐れがあるからである。
【0048】
各ブロックパターン内のブロックは、図12に示された情報とパターンブロックの対応表より、各マクロブロック内でランダムに割り振られていて、6ビットの情報を付加することができる。(図11で表わされているブロックパターンは図12のブロックパターン1が対応する。)
図13は上記埋め込み方式のフローチャートを表わした図である。
ステップ1301は、データXを図12の対応表からブロックパターンに変換する。ステップ1302は、n番めのマクロブロック内のブロックBn An (Anは0から64までの乱数列)に透かしを埋め込む。他のステップは図9で述べたステップの処理に対応する。
【0049】
図14は上記検出方式のフローチャートを表わした図である。
【0050】
ステップ1401で、図12で示したブロックパターン番号pを1に設定する。
【0051】
ステップ1402で、64個の全てのブロックパターンを用いて検出が完了したか判定し、完了であればステップ1406へ進み、完了でなければステップ1004へ進みカウントnと検出数Dの初期化を行う。
【0052】
ステップ1005の判定処理でひとつのブロックパターンにおいて84個の全てのマクロブロックで検出が完了したなら、ステップ1404でブロックパターンpでの検出数Dpとして検出数Dを記憶してステップ1405でpのインクリメントを行う。ステップ1005で検出が完了していなければ、ステップ1403でn番目のマクロブロック内のAn番目のブロックBn Anを指定し、ステップ1007で透かし検出を行う。
【0053】
ステップ1402の判定処理で全てのブロックパターンを用いて検出が完了であれば、ステップ1406で各Dpの中からしきい値を超えたDpを算出し、そのpを挿入時のブロックパターンpとし、ステップ1407で図12の対応表からブロックパターンpよりデータXの変換を行い、透かし情報を抽出する。
【0054】
次に、本発明の第九の実施例を説明する。(実施例9)
第七と第八の手段の実施例では、透かし情報として6ビットの情報を付加することができた。本実施例ではブロックパターン内のブロックの重複を許すことで、ブロックパターンのブロック数を84個に保ちながら6ビット以上の情報を埋め込むことを可能にする。
【0055】
図15は本埋め込み方式で画像に7ビットの透かし情報を付加した模式図である。ブロックパターンは全部で128個あり、図では各ブロックパターンのブロックの配置(斜線部)がマクロブロックごとに示されている。ブロックパターン1から64の埋め込み方法は、第七の手段の実施例に従う。すなわちブロックパターン1から順に64まで
(B11、 B21、...、 B84 1)、(B12、 B22、...、 B84 2)
、...、(B1 64、 B2 64、...、 B84 64)
で表わされる。ブロックパターン65から128までは、図が示すように以下の規則に従う。
【0056】
ブロックパターンp(65〜p〜128)は次のように表わされる。
【0057】
(B1 (p-1)mod64+1、 B2 (p-1)mod64+2、...、 Bn (p-1)mod64+n、...、B84 (p-1)mod64+84)
但し、A mod BはAをBで割った余りを表わし、Bの2番目添え字は64を超えると1に戻るものとする。
【0058】
(つまりB80 65=B80 1、 B80 66=B80 2)
上記の様にブロックパターンを設定すると、ブロックパターンの各マクロブロック内の埋め込み位置は、必ず他のブロックパターンの同じマクロブロック内の埋め込み位置と一致するが、任意ブロックパターン同士の埋め込み位置の一致個数は2個である。例えば、図においてブロックパターン65のマクロブロック2の透かし埋め込み位置はB2 2であるが、これはブロックパターン2のマクロブロック2の埋め込み位置と同じである。しかしパターン全体でみると、ブロックパターン65と2の透かし位置が一致する個数は2個(マクロブロック2とマクロブロック65の透かし位置が一致)であり、他のブロックパターンについても同様である。このようにブロックパターンの一部を他のブロックパターンと重複することでより多くの情報を付加することが可能である。また、第八の手段の実施例を用いて、本埋め込み方式にランダムな要素を取り入れることも可能である。
【0059】
本埋め込み方式のフローチャートと検出方式のフローチャートはAnを本方式に合わせて設定すれば、図13と図14に一致するので説明を省く。
【0060】
次に、本発明の第十の実施例を図16、17を用いて説明する。(実施例10)
本実施例では、実施例9を応用して8ビット以上の透かし情報を付加することを考える。
【0061】
図16、17は、本埋め込み方式画像で8ビットの透かし情報を付加した模式図である。(図15参照)ブロックパターンは、全部で256個ある。他の表現は図15と同様である。
【0062】
ブロックパターンは、以下の様に表わされる。(図16、17参照)
ブロックパターンpが1〜p〜64の場合
実施例9と同様。
【0063】
pが65〜p〜128の場合、ブロックパターンpは
(B1 (p-1)mod64+1、 B2 (p-1)mod64+1+7、...、 Bn (p-1)mod64+1+7(n-1)、...、B84 (p-1)mod64+1+7*83)
・pが129〜p〜192の場合、ブロックパターンpは(B1 (p-1)mod64+1、 B2 (p-1)mod64+1+11、...、 Bn (p-1)mod64+1+11(n-1)、...、B84 (p-1)mod64+1+11*83)
・pが193〜p〜256の場合、ブロックパターンpは(B1 (p-1)mod64+1、 B2 (p-1)mod64+1+13、...、 Bn (p-1)mod64+1+13(n-1)、...、B84 (p-1)mod64+1+13*83)
但し、実施例9と同様に、A mod BはAをBで割った余りを表わし、Bの2番目添え字は64を超えると1に戻るものとする。
【0064】
(つまりB80 65=B80 1、 B80 66=B80 2)
上記の様に埋め込みパターンを設定すれば、ブロックパターン同士の重なりを最小限に押さえながら情報を埋め込むことができる。すなわち、任意のブロックパターン同士の重なり数を均一にすることで重なり数を最小化できる。また、同様の方式で9ビット以上の情報を付加することが可能である。
【0065】
【発明の効果】
本発明で提案によりデータ検出の信頼性を高めながらも、コンテンツの変更を最小限に押さえ、品質を劣化させずに電子透かし等のデータを2次元画像に重畳し、また重畳した2次元画像からデータを検出することができる。
【0066】
また、部分2次元画像のサイズを指定することで、画像圧縮処理に対して付加した情報が消失しになるだけでなく、画像と圧縮ストリームの双方から付加した情報が抽出可能である。特に圧縮ストリームからの検出のみを考えれば、MPEGデコーダを検出装置に実装する必要がなくなりコストの低減につながることが挙げられる。
【図面の簡単な説明】
【図1】画像におけるデータ重畳方式の一実施例を示す図である。
【図2】データ重畳装置の一実施例を示す図である。
【図3】データ再生方法の一実施例を示す図である。
【図4】データ再生装置の一実施例を示す図である。
【図5】本発明を、記録媒体に記録する画像データに応用した一実施例を示す図である。
【図6】画素値変更手段の一実施例を示すフローチャートである。
【図7】画像におけるデータ重畳方式の一実施例を示す図である。
【図8】画像におけるデータ重畳方式の一実施例を示す図である。
【図9】画像におけるデータ埋め込み方式の一実施例を示すフローチャートである。
【図10】画像におけるデータ検出方式の一実施例を示すフローチャートである。
【図11】画像におけるデータ重畳方式の一実施例を示す図である。
【図12】画像におけるデータ重畳方式の一実施例を示す対応表である。
【図13】画像におけるデータ埋め込み方式の一実施例を示すフローチャートである。
【図14】画像におけるデータ検出方式の一実施例を示すフローチャートである。
【図15】画像におけるデータ重畳方式の一実施例を示す図である。
【図16】画像におけるデータ重畳方式の一実施例を示す図である。
【図17】画像におけるデータ重畳方式の一実施例を示す図である。
【符号の説明】
1…m×n画像、2…k×l部分2次元画像(ブロック)、3…変更された部分2次元画像(ブロック)、10…データ重畳装置、11…ブロックの画素値の総和を特定値に変更する変更手段、12…部分2次元画像間隔dへの変更手段、20…変更ブロック検出手段、21…パターン検出手段、22…データx、23…位置記録手段、30…2次元画像、31…データx、32…データ重畳手段、33…画像圧縮手段、34…媒体固有のフォーマット手段、35…記録媒体、71…8×8部分2次元画像(ブロック)、81…720×480画像、82…8×8部分2次元画像(ブロック)、83…マクロブロック(64ブロック)、84…変更された部分2次元画像(ブロック間隔64)、111…変更された部分2次元画像(ブロック間隔ランダム)、601…画素番号の設定処理、602…画素値変更処理、603…画素値の和変更処理、604…画素和=特定値の判定処理、605…画素番号=64判定処理、6606…画素番号インクリメント処理、901…データXからパターンシフトmへの変換処理、902…カウントn設定処理、903…n=64判定処理、904…埋め込み位置特定処理、905…透かし埋め込み処理、906…nのインクリメント処理、1002…シフト量m設定処理、1003…m=63判定処理、1004…カウントn及び検出数D設定処理、1005…n=84判定処理、1006…ブロック指定処理、1007…透かし検出判定処理、1008…検出数Dのインクリメント処理、1009…カウントnのインクリメン処理、1010…mシフトでの検出数Dm記憶処理、1011…シフト量mのインクリメント処理、1012…しきい値によるm算出処理、1013…シフト量mからデータXへの変換処理、1301…データXからパターンブロックへの変換処理、1302…特定ブロックへの透かし埋め込み処理、1401…ブロックパターン番号pの設定処理、1402…p=64判定処理、1403…特定ブロック指定処理、1404…ブロックパターンpでの検出数Dp記憶処理、1405…ブロックパターン番号pのインクリメント処理、1406…しきい値によるブロックパターン番号pの算出処理、1407…ブロックパターン番号pからデータXへの変換処理。

Claims (9)

  1. 横画素数m、縦画素数nの2次元画像にデータxを重畳するデータ重畳方法であって、
    横画素数k(k×i=m、但しk、i、mは正整数)、縦画素数l(l×j=n、但しl、j、nは正整数)の部分2次元画像を単位として、
    複数の前記部分2次元画像の、前記2次元画像における相対的な位置を示す値が前記データxを表すように、前記複数の部分2次元画像を選択するステップと、
    前記選択された複数の部分2次元画像各々において、当該部分2次元画像内の画素値による演算値が、前記データxには依存せず、当該部分2次元画像内の前記画素値により定まる特定値となるように、当該部分2次元画像の画素値を変更するステップと、を備える
    ことを特徴とするデータ重畳方法。
  2. 請求項1記載のデータ重畳方法において、
    前記選択するステップは、
    前記部分2次元画像の間隔が前記データxを表すように、前記相対的な位置を示す値を設定するステップを備える
    ことを特徴とするデータ重畳方法。
  3. 請求項1に記載のデータ重畳方法において、
    前記部分2次元画像が圧縮処理の単位となる2次元部分画像である
    ことを特徴とするデータ重畳方法。
  4. 請求項1に記載のデータ重畳方法において、
    前記画素値は、前記画素の輝度であり、
    前記演算値は、前記部分2次元画像内の画素の輝度の和である
    ことを特徴とするデータ重畳方法。
  5. 請求項1に記載のデータ重畳方法で記録した前記データxを再生するデータ再生方法であって、
    横画素数m、縦画素数nの前記2次元画像に含まれる、複数の、横画素数k(k×i=m、iは整数)、縦画素数l(l×j=n、jは整数)の部分2次元画像毎に、当該部分2次元画像内の画素値による演算値を調べ、
    前記演算値が、当該部分2次元画像内の画素値により定まる特定値となる前記部分2次元画像を複数検出するステップと、
    検出した複数の前記部分2次元画像、前記2次元画像における相対的な位置を示す値を検出するステップと、
    検出した前記相対的な位置を示す値に基づき前記データxを再生するステップと、を備える
    ことを特徴とするデータ再生方法。
  6. 請求項5記載のデータ再生方法において、
    前記相対的な位置を示す値を検出するステップは、
    前記画素値による演算値が前記特定値となる複数の前記部分2次元画像の、前記2次元画像での位置の間隔を検出するステップを備え、
    前記再生するステップは、前記間隔から前記データxを再生するステップを備える
    ことを特徴とするデータ再生方法。
  7. 2次元画像データへの情報埋め込み方法において、
    前記2次元画像データを、それぞれが複数のブロックからなる複数のマクロブロックに分割するステップと、
    前記2次元画像データにおける、各々の前記マクロブロックを構成する前記ブロックの、前記マクロブロック内での位置を示す値が前記埋め込む情報を表すように、複数の前記マクロブロック内の前記ブロックを選択するステップと、
    複数の前記選択したブロック各々において、画素値による演算値が、前記埋め込む情報には依存せず、それぞれの前記ブロックの画素値により定まる特定値となるように、前記画素値を変更するステップを備える
    ことを特徴とする情報埋め込み方法。
  8. 請求項7記載の情報埋め込み方法において、
    前記埋め込む情報の種類数をA、前記ブロックの総数をN、前記マクロブロックの数をMとしたときに、
    前記マクロブロック内の前記ブロックを選択するステップは、AがN/M以下である場合に、前記マクロブロック内の前記ブロックの位置が他のマクロブロック内の選択された前記ブロックの位置と一致するように選択するステップを備える
    ことを特徴とする情報埋め込み方法。
  9. 2次元画像データに請求項7に記載の情報埋め込み方法で埋め込まれた情報を読み出す方法であって、
    前記情報埋め込み時に、前記マクロブロック内の前記画素値が変更されるブロック位置に対応付けられた、前記埋め込み情報を記憶するステップと、
    前記2次元画像データを複数のマクロブロックに分割するステップと、
    各々の前記マクロブロック内の各々のブロックの画素値が、当該ブロック毎の画素値により定まる特定の条件を満たすか否かを判定するステップと、
    前記特定の条件を満たすブロックの個数を、前記複数のマクロブロック内での前記ブロック位置毎に集計するステップと、
    集計した前記ブロックの個数が所定数を越える、前記マクロブロック内の前記ブロック位置に基づき、前記埋め込み情報を特定するステップと、を備える
    ことを特徴とする情報読み出し方法。
JP10603798A 1997-09-03 1998-04-16 データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法 Expired - Fee Related JP3902863B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP10603798A JP3902863B2 (ja) 1997-09-03 1998-04-16 データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法
US09/144,467 US6728408B1 (en) 1997-09-03 1998-09-01 Water-mark embedding method and system
DE69827723T DE69827723T2 (de) 1997-09-03 1998-09-02 Wasserzeicheneinbettungsverfahren und -system
EP98116571A EP0901102B1 (en) 1997-09-03 1998-09-02 Watermark embedding method and system
KR1019980036253A KR100282752B1 (ko) 1997-09-03 1998-09-03 은화 데이타 매립 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-238030 1997-09-03
JP23803097 1997-09-03
JP10603798A JP3902863B2 (ja) 1997-09-03 1998-04-16 データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法

Publications (2)

Publication Number Publication Date
JPH11146363A JPH11146363A (ja) 1999-05-28
JP3902863B2 true JP3902863B2 (ja) 2007-04-11

Family

ID=26446227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10603798A Expired - Fee Related JP3902863B2 (ja) 1997-09-03 1998-04-16 データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法

Country Status (5)

Country Link
US (1) US6728408B1 (ja)
EP (1) EP0901102B1 (ja)
JP (1) JP3902863B2 (ja)
KR (1) KR100282752B1 (ja)
DE (1) DE69827723T2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3266569B2 (ja) * 1998-07-29 2002-03-18 日本電気株式会社 電子透かしデータによる画像属性変更システム
US6463162B1 (en) * 1998-09-30 2002-10-08 Hewlett-Packard Company Robust watermarking for digital objects
WO2000060589A1 (en) * 1999-04-06 2000-10-12 Kwan Software Engineering, Inc. System and method for digitally marking a file with a removable mark
JP4709961B2 (ja) * 1999-08-05 2011-06-29 シヴォリューティオン ベー. フェー. 情報信号中の補助データ検知
JP3599621B2 (ja) 1999-11-19 2004-12-08 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
KR100337954B1 (ko) * 1999-12-16 2002-05-23 최종욱 텍스트 워터마크 삽입 방법 및 장치
US7508944B1 (en) * 2000-06-02 2009-03-24 Digimarc Corporation Using classification techniques in digital watermarking
US20040064416A1 (en) * 2000-10-03 2004-04-01 Ariel Peled Secure distribution of digital content
KR100705932B1 (ko) * 2000-12-08 2007-04-11 엘지전자 주식회사 디지탈 영상 데이타의 암호화 및 복호화 방법
JP2002232685A (ja) * 2001-01-31 2002-08-16 Canon Inc 電子透かし処理装置、情報処理装置、ディジタルコンテンツ配布システム、電子透かし挿入方法、及び記憶媒体
GB2377107B (en) * 2001-06-28 2003-12-03 Motorola Inc Video/image communication with watermarking
WO2003009580A1 (fr) * 2001-07-10 2003-01-30 Kowa Co., Ltd. Procede d'insertion et procede d'extraction de filigrane electronique et appareil conçu a cet effet
US7298865B2 (en) * 2001-07-30 2007-11-20 Sarnoff Corporation Secure robust high-fidelity watermarking
US6944771B2 (en) * 2001-12-20 2005-09-13 Koninklijke Philips Electronics N.V. Method and apparatus for overcoming a watermark security system
AU2002320672B2 (en) * 2001-12-21 2005-06-16 Canon Kabushiki Kaisha Encoding Information in a Watermark
AUPR970601A0 (en) 2001-12-21 2002-01-24 Canon Kabushiki Kaisha Encoding information in a watermark
JP2004054710A (ja) * 2002-07-22 2004-02-19 Sony Corp 情報処理装置、情報処理方法および情報処理システム
US7041350B1 (en) 2002-08-30 2006-05-09 The Coca-Cola Company Polyester composition and articles with reduced acetaldehyde content and method using hydrogenation catalyst
US7657750B2 (en) * 2003-11-24 2010-02-02 Pitney Bowes Inc. Watermarking method with print-scan compensation
US7995246B2 (en) * 2003-11-24 2011-08-09 Pitney Bowes Inc. Detecting printed image copies using phase-space-encoded fragile watermark
US7446891B2 (en) * 2003-11-24 2008-11-04 Pitney Bowes Inc. Fragile watermark for detecting printed image copies
US20060020802A1 (en) * 2004-07-23 2006-01-26 Pitney Bowes Incorporated Tonal compensation for graphic security features
US7551751B2 (en) * 2004-08-30 2009-06-23 Pitney Bowes Inc. Watermarking images with wavepackets encoded by intensity and/or phase variations
GB2418498B (en) * 2004-09-23 2009-08-05 Farhan Khan Software mapping
WO2006053023A2 (en) 2004-11-09 2006-05-18 Digimarc Corporation Authenticating identification and security documents
US7643181B2 (en) * 2004-12-14 2010-01-05 Pitney Bowes Inc. Method and system for printing an original image and for determining if a printed image is an original or has been altered
JP4755073B2 (ja) * 2006-11-29 2011-08-24 三菱電機株式会社 電子透かし埋め込みシステム
JP5751071B2 (ja) * 2011-07-28 2015-07-22 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法、及びプログラム
FR3012641B1 (fr) * 2013-10-31 2016-01-01 Doremi Labs Inc Procede d'augmentation de la sensibilite d'un detecteur de filigrane
CN111008923B (zh) * 2018-10-08 2022-10-18 阿里巴巴集团控股有限公司 水印嵌入和水印提取方法、装置和设备

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066329A (ja) 1992-06-24 1994-01-14 Nec Eng Ltd 多数決判定回路
US5721788A (en) 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
GB9303198D0 (en) 1993-02-17 1993-03-31 Int Computers Ltd Invisible marking of electronic images
JP3472596B2 (ja) 1993-06-11 2003-12-02 株式会社日立製作所 ノイズ低減フィルター
JPH07212712A (ja) 1993-10-29 1995-08-11 Eastman Kodak Co 階層的な画像記憶及び取出しシステムにおいてディジタル透かし模様を付加及び除去する方法及び装置
US5748763A (en) 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US5636292C1 (en) 1995-05-08 2002-06-18 Digimarc Corp Steganography methods employing embedded calibration data
GB9400971D0 (en) 1994-01-19 1994-03-16 Mor Limited Method of and apparatus for manipulating digital data
US5659613A (en) 1994-06-29 1997-08-19 Macrovision Corporation Method and apparatus for copy protection for various recording media using a video finger print
US5606609A (en) 1994-09-19 1997-02-25 Scientific-Atlanta Electronic document verification system and method
US5568570A (en) 1994-09-30 1996-10-22 Eastman Kodak Company Method and apparatus for reducing quantization artifacts in a hierarchical image storage and retrieval system
JP3462917B2 (ja) 1994-12-09 2003-11-05 株式会社日立製作所 画像処理方式
US5530759A (en) 1995-02-01 1996-06-25 International Business Machines Corporation Color correct digital watermarking of images
GB9502274D0 (en) 1995-02-06 1995-03-29 Central Research Lab Ltd Method and apparatus for coding information
US5737417A (en) 1995-04-24 1998-04-07 Technicolor Videocassette, Inc. Videotape anti-copying encryption scheme
EP1049320B1 (en) 1995-05-08 2003-01-02 Digimarc Corporation Initiating a link between computers based on the decoding of an address steganographically embedded in an audio object
US5778102A (en) 1995-05-17 1998-07-07 The Regents Of The University Of California, Office Of Technology Transfer Compression embedding
JPH0998375A (ja) 1995-09-29 1997-04-08 Sony Corp デジタル画像信号の記録方法、記録装置及び記録再生装置
JP4033901B2 (ja) 1995-10-09 2008-01-16 松下電器産業株式会社 データ送信デバイス、データ受信デバイス、情報処理装置およびデータ送信方法
JP3613858B2 (ja) 1995-10-26 2005-01-26 ソニー株式会社 テレビジョン信号の伝送または記録方法、および記録装置
US5859920A (en) 1995-11-30 1999-01-12 Eastman Kodak Company Method for embedding digital information in an image
US5905819A (en) 1996-02-05 1999-05-18 Eastman Kodak Company Method and apparatus for hiding one image or pattern within another
JP3565236B2 (ja) * 1996-02-29 2004-09-15 株式会社安川電機 電動機制御装置とその切換え方法
CA2200121A1 (en) 1996-05-02 1997-11-02 John Charles Mitchell Compressed domain video text overlay for multimedia communication systems
US5889868A (en) 1996-07-02 1999-03-30 The Dice Company Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US5848155A (en) 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
TW312770B (en) 1996-10-15 1997-08-11 Japen Ibm Kk The hiding and taking out method of data
US5915027A (en) 1996-11-05 1999-06-22 Nec Research Institute Digital watermarking
US5960081A (en) 1997-06-05 1999-09-28 Cray Research, Inc. Embedding a digital signature in a video sequence

Also Published As

Publication number Publication date
EP0901102B1 (en) 2004-11-24
KR19990029485A (ko) 1999-04-26
KR100282752B1 (ko) 2001-03-02
JPH11146363A (ja) 1999-05-28
DE69827723D1 (de) 2004-12-30
EP0901102A3 (en) 1999-05-06
EP0901102A2 (en) 1999-03-10
US6728408B1 (en) 2004-04-27
DE69827723T2 (de) 2005-11-24

Similar Documents

Publication Publication Date Title
JP3902863B2 (ja) データ重畳方法とデータ再生方法、及び、情報埋め込み方法と情報読みだし方法
KR100770963B1 (ko) 영상들 및 비디오에 대한 계층 인증 시스템
JP6162734B2 (ja) デジタル・ビデオに電子透かしを入れる方法
US8861922B2 (en) Watermarking scheme for digital video
JP3596590B2 (ja) 付随情報付加装置および方法、付随情報検出装置および方法
EP0860997B1 (en) Digital data encode system
US7961904B2 (en) Apparatus for embedding and reproducing watermark into and from contents data
KR100306457B1 (ko) 매립된데이터를위한데이터전송방법,데이터전송및재생장치,및그를위한정보기록매체
EP1519562B1 (en) Color selection scheme for digital video watermarking
MXPA00011330A (es) Metodo y aparato para el procesamiento selectivo por bloques.
CA2226719C (en) Image data illegal use prevention system
US20060072780A1 (en) Watermarking scheme for analog video
JP4370752B2 (ja) 電子透かし検出装置
EP1743296B1 (en) Watermarking a compressed information signal
JP2004522384A (ja) 信号への補助データの埋め込み
JP4223353B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置及びそれらの方法並びに記録媒体
JP3664594B2 (ja) 画像への透かし情報の埋め込み方法、透かし情報の復号方法および記録媒体
JP3722002B2 (ja) 電子透かし情報埋め込み装置、電子透かし情報再生装置及び記録媒体
JP3750358B2 (ja) データ伝送装置及びデータ再生装置
Thiemert et al. Digital watermarking for digital cinema

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041025

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041029

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041210

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees