JP2001094759A

JP2001094759A - 情報処理装置および方法、並びに記録媒体

Info

Publication number: JP2001094759A
Application number: JP26883199A
Authority: JP
Inventors: Nobusada Miyahara; 信禎宮原; Yoichi Yagasaki; 陽一矢ヶ崎; Kazuhisa Hosaka; 和寿保坂
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-09-22
Filing date: 1999-09-22
Publication date: 2001-04-06

Abstract

(57)【要約】【課題】画質を劣化させることなく付随情報を記録す
る。【解決手段】 WaterMark付加器２は、入力された画像
信号に付随情報ｆを付加する。WaterMark付加器２は、
入力された画像信号の画像上の画素を操作することによ
り、WaterMark（付随情報ｆ）を付加する。WaterMarkが
付加された画像信号は、WaterMark付加器２内の符号化
器に入力され符号化される。符号化された画像データ
は、さらに符号化ビット列上の値が操作されて、WaterM
arkが付加される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理装置および
方法、並びに記録媒体に関し、特に、複数の装置や方法
を組み合わせることにより、それぞれの装置や方法の短
所を補い、長所を生かし、入力された情報を処理する情
報処理装置および方法、並びに記録媒体。

【０００２】

【従来の技術】特定の画像データ（静止画像あるいは動
画像シーケンス）に対して、それに付随する情報を画像
データ中に付加し、再生時にその付随情報ｆを検出して
利用する技術がある。この代表的な例として、著作権情
報の付加が挙げられる。不特定の利用者が特定の画像デ
ータを利用することが可能である場合、その画像に対し
て著作権を持つ者がその権利を主張するためには、あら
かじめ著作権情報を画像データ中に付加しておく必要が
ある。著作権情報を付加することにより、画像の再生装
置あるいは再生方法の処理手順の中で、その画像データ
を表示不可とすべき著作権情報が検出された場合には、
その画像データの表示を行なわない等の対策を講じるこ
とが可能となる。

【０００３】上述の著作権情報の付加あるいは検出は、
ビデオテープの不正コピー防止等でよく利用されてい
る。近頃はビデオテープのレンタルを行なう店も多い
が、多くの利用者がお店から低価格で借りたビデオテー
プを不正にコピーして楽しんだ場合、そのビデオテープ
の著作権を持つ者及びビデオテープのレンタルを行なう
店の損害は甚大である。ビデオテープには、画像データ
がアナログ的に記録されているため、コピーを行なった
場合に画質が劣化する。そのため、コピーが複数回繰り
返された場合、元々保持されていた画質を維持すること
は非常に困難となる。

【０００４】これに対し、最近普及しつつあるデジタル
的に画像データを記録し再生する器等においては、不正
コピーによる損害はさらに大きなものとなる。画像デー
タをデジタル的に扱う機器等では、原理的にコピーによ
って画質が劣化することはない。そのため、デジタル的
に処理を行なう機器等における不正コピー防止は、アナ
ログの場合と比べてはるかに重要である。

【０００５】画像データに付随する情報をその画像デー
タ中に付加する手法は、主に２通りある。第１の手法
は、画像データの補助部分に付加する手法である。例え
ばビデオテープでは、図１に示したように、その画像デ
ータの補助的情報が画面上部に記録されている。この領
域の一部を利用して、付随情報ｆを付加することが可能
である。第２の手法は、画像データの主要部分に付加す
る手法である。これは、図２に示したように、ある特定
のパターン（WaterMarkパターン）を視覚的に感知でき
ない程度に画像の全体あるいは一部に付加するものであ
る。この具体例として、乱数やＭ系列等を用いて発生さ
せた鍵パターンを利用して情報の付加あるいは検出を行
なうスペクトラム拡散等がある。

【０００６】画像データの主要部分への付随情報ｆの付
加あるいは検出の従来例として、ここでは、２つの従来
例を挙げて説明する。まず第１の従来例として、WaterM
arkパターンを用いてスペクトラム拡散を利用する場合
を述べる。図３に、この具体例を示す。各画素につい
て、プラス、マイナスの２つのシンボルのいずれかを取
る、図３（Ａ）に示すようなWaterMarkパターンを用い
る場合を例に挙げて説明する。WaterMarkパターンは、
２つのシンボルのいずれかをランダムに取る方が望まし
く、その領域の形状、大きさは任意で良い。

【０００７】付随情報ｆを付加する際には、付加を行な
う対象となる画像上でWaterMarkパターンの領域と等し
い大きさの領域を設定する。設定された領域とWaterMar
kパターンを重ねて照らし合わせ、プラスのシンボルの
画素については値ａを加算し、マイナスのシンボルの画
素については値ｂを減算する。値ａ，ｂ共に、任意の値
で構わないが、そのWaterMarkパターンを通じて一定に
なるように設定される。図３（Ｂ）では、ａ＝１，ｂ＝
１に設定されており、付加を行なう対象となる領域の画
素値が全て１００の場合には、この埋め込み操作により
１０１と９９の画素値に分かれる。

【０００８】付随情報ｆを検出する際には、検出を行な
う対象となる画像上でWaterMarkパターンの領域と等し
い大きさの領域が設定される。この領域の画素全てを合
計した値が評価値として用いられる。画素全てを合計す
る際には、設定された領域とWaterMarkパターンを重ね
て照らし合わせ、プラスのシンボルの画素については加
算、マイナスのシンボルの画素については減算を適用す
る。この時、付随情報ｆを付加する際に用いたWaterMar
kパターンと同じパターンを用いなければ、付随情報ｆ
を正しく検出することはできない。このような検出操作
により、例えば、図３（Ｃ）に示したように、付随情報
ｆが付加されている場合の評価値は（４ｎ）²（領域に
含まれる画素数の数と同じ）になり、図３（Ｄ）に示し
たように、付随情報ｆが付加されていない場合の評価値
は０となる。

【０００９】WaterMarkパターンの領域が充分に広く、
かつWaterMarkパターンが充分にランダムである場合、
付随情報ｆが付加されていない場合の評価値は、常に、
ほぼ0となる。そのため、評価値がある一定の閾値を超
えた場合には、付随情報ｆが付加されていると判別する
ことができる。上述した手順により、付随情報ｆが付加
されているか否かという２値の情報（１ビット）を付加
することが可能となる。より多くの情報を付加したい場
合には、画像全体をk個の領域に分け、それぞれ上述し
た手順をふむなどの処理により、２^k通り（ｋビット）
の情報を付加することができる。

【００１０】WaterMarkパターンは、例えば、Ｍ系列を
用いて生成したものを利用することができる。Ｍ系列
（最長符号系列）は、０，１の２値のシンボルからなる
数列で、０，１の統計的分布は一定であり、符号相関は
原点で１、その他では符号長に反比例するものである。
もちろん、Ｍ系列以外を用いてWaterMarkパターンを生
成しても良い。

【００１１】画像データをデジタル的に記録し、再生す
る場合、そのままでは非常に情報量が多くなるため、デ
ータを圧縮するのが一般的である。画像データを圧縮す
る方法として、JPEG（カラー静止画像符号化方式）ある
いはMPEG（カラー動画像符号化方式）等の高能率符号化
方法が国際的に標準化され、実用化に至っている。この
高能率符号化によって画像データを圧縮する場合を例に
挙げ、付随情報ｆの付加を行うエンコーダ、及び検出を
行うデコーダについて、それぞれ説明する。

【００１２】図４は、エンコーダ１の構成を示すブロッ
ク図である。エンコーダ１に入力された画像データは、
まずWaterMark付加器２において付随情報fが付加され
る。不付随情報ｆが付加された画像データは、符号化器
３に出力され、高能率符号化が施され、符号化ビット列
として出力される。

【００１３】図５は、WaterMark付加器２の内部構成を
示すブロック図である。WaterMark付加器２に入力され
た画像データは、付随情報付加器１１に入力される。付
随情報付加器１１は、付随情報fがonである場合は、Wat
erMarkパターン保持メモリ１２に記録されているWaterM
arkパターンを用いて付随情報ｆを付加し、付随情報fが
offである場合は、入力された画像データには、何も処
理を施さずに（付随情報ｆを付加せずに）出力する。

【００１４】図６は、符号化器３の内部構成を示すブロ
ック図である。フレームメモリ２１は、入力された画像
データを記憶する。動きベクトル検出器２２は、フレー
ムメモリ２１に保存された入力画像データから、動きベ
クトルvを検出する。動きベクトルｖの検出法として
は、例えば、１６画素×１６画素のブロック単位でのブ
ロックマッチングが行われる。また、より高い精度を実
現するために、半画素単位のマッチングが行われる。動
き補償器２３は図示せぬフレームメモリを備え、現在、
符号化すべき画像の各位置の画素値を、すでに符号化／
復号が終了し、このフレームメモリに保存されている画
像から予測する。

【００１５】時刻tに入力された画像上の位置(i,j)にお
ける画素値I[i,j,t]の予測値I'[i,j,t]は、この位置に
対応する動きベクトルをv=(vx(i,j,t),vy(i,j,t))を用
いて、次式のように決定される。

【００１６】 I'[i,j,t]=(I[i',j',t-T]+I[i'+1,j',t-T] +I[i',j'+1,t-T]+I[i'+1,j'+1,t-T])/4・・・（１） i'=int(i+vx(i,j,t)T) ・・・（２） j'=int(j+vy(i,j,t)T) ・・・（３）ここで、Tは、現在予測を行っている画像Iが入力された
時刻と、フレームメモリ上にある画像が入力された時刻
の差であり、式（１）の右辺のI[i',j',t-T]、I[i'+1,
j',t-T]、I[i',j'+1,t-T]、I[i'+1,j'+1,t-T]は、図示
せぬフレームメモリ上の画素値を表わす。また、int(x)
はxを越えない最大の整数値を表している。

【００１７】減算器２４は、現在符号化すべき画素の値
と、動き補償器２３によって算出された予測値との差分
を計算する。DCT(DescreteCosineTransform)器２５は、
差分値で構成された８画素×８画素のブロックに対して
２次元DCTを施す。量子化器２９は、DCT器２５により得
られたDCT係数cに対して、適当なステップサイズQを用
いて次式（４）に象徴される量子化処理を行う。

【００１８】c'=int(c/Q)・・・（４）量子化の施されたDCT係数は、可変長符号化器２７と逆
量子化器３０に供給される。逆量子化器３０は、量子化
器で用いられたのと同じステップサイズにより、次式
（５）に象徴される逆量子化処理が行われる。

【００１９】c"=c'×Q ・・・（５）逆量子化の施された画像データは、IDCT器２６によって
逆DCTが行われ、画素値の差分値が復元される。この差
分値は、加算器２８によって動き補償器２３から出力さ
れる予測値と加算されて画素値のデータとなり、動き補
償器２３に送られて図示せぬフレームメモリに保存され
る。可変長符号化器３９では、量子化器２９によって得
られた量子化されたDCT係数、動きベクトル検出器２２
によって得られた動きベクトルvに対して可変長符号化
を施し、符号化ビット列を出力する。

【００２０】ここで、図７のフローチャートを参照し
て、図４（図５）に示したWaterMark付加器２の動作に
ついて説明する。ステップＳ１において、WaterMarkの
付加レベルa,bが設定される。ステップＳ２において、
付随情報ｆの付加を行なう対象となる画像上でWaterMar
kパターンの領域と等しい大きさの領域が設定され、そ
の領域内の各画素についてWaterMarkパターンとの照合
が行なわれる。その照合の結果が用いられて、ステップ
Ｓ３において、WaterMarkのシンボルはプラスであるか
マイナスであるかが判断される。

【００２１】ステップＳ３において、WaterMarkのシン
ボルがプラスであると判断された場合、ステップＳ４に
進み、その画素に付加レベルaが加算される。一方、ス
テップＳ３において、WaterMarkのシンボルがマイナス
であると判断された場合、ステップＳ５に進み、その画
素から付加レベルbが減算される。ステップＳ６におい
て、対象領域内の全画素に対してステップＳ２乃至Ｓ５
の処理が行われたか否かが判断され、行われていないと
判断された場合、ステップＳ２に戻り、それ以降の処理
が繰り返される。

【００２２】上述した説明においては、WaterMark（付
随情報ｆ）を付加してから符号化を行う場合について説
明したが、図８に示すようなエンコーダ１の構成にし、
画像データを符号化した後に、WaterMarkを付加するよ
うにしても良い。このような構成にした場合、WaterMar
k付加器２の構成は、図９に示すようになる。

【００２３】WaterMark付加器２には、符号化器３によ
り符号化された画像データの符号化ビット列と、付随情
報fが入力される。入力された符号化ビット列は、付随
情報ｆを付加する符号の位置を探すために、簡易符号解
読器４１で簡易的に解読される。どの符号の位置を探す
かは、符号化ビット列上で付随情報ｆを付加する際に対
象となる符号の種類に依る。場合によっては、符号化ビ
ット列の全体あるいは一部に対して復号を行ない、全体
あるいは一部の再生画像を構成しても良い。

【００２４】符号化ビット列上で付随情報ｆを付加する
際に対象となる符号の位置を示す符号位置情報bは、入
力された符号化ビット列と共に付随情報付加器４２に渡
される。付随情報付加器４２では、入力された付随情報
fがonである場合、符号化ビット列上の対象となる符号
にWaterMarkパターンを付加するため、付加対象の位置
情報pをWaterMarkパターン照合制御器４３へと渡す。

【００２５】MPEG等の高能率符号化では、例えば、マク
ロブロックあるいはブロック等を単位として符号化が行
なわれるため、付加対象の符号の位置情報pはそれらの
空間的位置を表すことが一般的である。具体的には、画
像の左上の位置を起点として、走査順で何番目の位置で
あるかを示す１次元的な位置表現や、同じく画像の左上
の位置を原点として、空間上でどの座標に位置するかを
示す２次元的な位置表現等が用いられる。

【００２６】WaterMarkパターン照合制御器４３では、
位置情報pを基にWaterMarkパターン保持メモリ４４に記
録されているWaterMarkパターンのシンボルを参照し、
得られたシンボルSを付随情報付加器４２へと渡す。付
随情報付加器４２は、渡されたシンボルSを用いて、付
加対象の符号にWaterMarkパターンの付加を行なう。具
体的には、付加対象の符号を新たな符号に置き換える等
の修正が行なわれる。場合によっては、復号して得られ
た再生画像の全体あるいは一部を修正し、それを再度符
号化しても良い。

【００２７】図８に示したようなエンコーダ１の構成に
した場合の、WaterMark付加器２の動作について図１０
のフローチャートを参照して説明する。ステップＳ１０
において、WaterMarkの付加レベルa,bが設定される。ス
テップＳ１１において、符号化ビット列上で付随情報ｆ
を付加する際に対象となる符号の位置まで、符号化ビッ
ト列が読み進められる。ステップＳ１２において、直前
のブロックで発生したミスマッチに対しての補正が行な
われる。ステップＳ１２の処理は省略しても良いが、こ
の処理を設けるのは、以下の理由による。

【００２８】MPEGにおいて、DCTの直流成分は差分符号
化（DPCM:Differential Pulse CodeModulation）により
行なわれる。差分符号化の具体例を挙げると、3,6,12,
4,7という数列があった場合、それぞれ直前の数値との
差分が計算され、例えば3,3,6,-8,3という数列に直して
符号化が行なわれる。この際、例えば、３番目の差分値
を4に置き換えて付随情報ｆを付加した場合、補正を行
なわないと４番目以降の数値は、本来の数値よりも2だ
け小さな値となってしまう。３番目の数値を置き換えて
付随情報ｆを付加する処理はそのままにし、４番目以降
の数値を補正するためには、４番目の差分値を2だけ大
きい-6に置き換えれば良い。このように、補正を行なう
際には、付随情報ｆを付加する方法に応じて処理方法が
決められる。

【００２９】ステップＳ１３において、符号化ビット列
上の対象となる符号のブロック位置に応じて、WaterMar
kパターンとの照合が行なわれる。その照合結果が用い
られて、ステップＳ１４において、WaterMarkのシンボ
ルがプラスであるか、マイナスであるかが判断され、プ
ラスであると判断された場合は、ステップＳ１５に、マ
イナスであると判断された場合は、ステップＳ１６に、
それぞれ進む。

【００３０】例えば、DCTの直流成分の符号に付随情報
ｆを付加する場合、そのブロック位置のWaterMarkのシ
ンボルがプラスである場合は、その符号で表される直流
成分xに付加レベルaを加算された値x'を算出される。そ
のブロック位置のWaterMarkのシンボルがマイナスであ
る場合は、その符号で表される直流成分xから付加レベ
ルaが減算された値x'が算出される。そして、ステップ
Ｓ１７において、そのブロック位置の直流成分xの符号
が値x'の符号に修正される。その符号が固定長の符号部
分である場合には、この修正処理は単なる符号の置き換
えで済む。ステップＳ１８の処理により、これらの処理
が、対象領域の全符号について繰り返えされる。

【００３１】上述した説明では、例えばマクロブロック
あるいはブロックを単位として、付随情報ｆを付加する
例を説明した。より一般的には、必要な構成を取ってそ
れらの処理を行なう限り、マクロブロックあるいはブロ
ックに限らず、どのような単位でWaterMarkパターンの
付加を行なっても良い。しかしながら、実際の符号化ビ
ット列は、例えば符号化レートといった種々の制約に準
じて生成されている。一例として、付加対象の符号を新
たな符号に置き換えると、多くの場合その置き換えによ
って符号の語長が変化し、種々の問題が生じる。

【００３２】これらの問題を防ぐためには、符号化ビッ
ト列上で付随情報ｆを付加する際に対象となる符号を吟
味し、例えば固定長の符号部分だけについて付随情報ｆ
を付加する等の工夫を行なわなければならない。この例
を図１１に示した。MPEG方式では、ブロック単位で符号
化されるDCTの直流成分や、マクロブロック単位で符号
化される動きベクトル等で、固定長の符号化が行なわれ
る。特に、DCTの直流成分の符号を付加対象に選んだ場
合、JPEG等においても、この値はブロック単位で固定長
符号化が行なわれるため、汎用性が高くなる。そこで、
ここでは、ブロック単位で符号化されるDCTの直流成分
の符号に対して、付随情報ｆを付加する場合を主に説明
した。

【００３３】固定長以外の符号（可変の符号）を用いて
付随情報ｆの付加を行なうようにしても良いが、そのよ
うな場合には、符号化ビット列上に不必要なビットを挿
入する、符号化ビット列上の不必要なビットを削るな
ど、必要となる構成を取って処理を行なう。

【００３４】次に、上述したような処理により作成され
た、付随情報ｆが付加された画像データを処理するデコ
ーダについて説明する。図１２は、デコーダ５１の構成
を示すブロック図である。入力された符号化ビット列
は、復号器５２において画像データに復号される。復号
された符号化ビット列から、WaterMark検出器５３にお
いて付随情報fが検出される。

【００３５】図１３は、復号器５２の内部構成を示した
図である。復号器５２に入力された符号化ビット列は、
逆可変長符号化器６１によって、符号化器３における可
変長符号化器２７の逆処理が施され、符号化ビット列か
ら、量子化の施されたDCT係数、動きベクトルvが復元さ
れる。得られたDCT係数は逆量子化器６２に、動きベク
トルvは動き補償器６５に、それぞれ供給される。逆量
子化器６２、及びIDCT器６３は、それぞれ符号化器３の
逆量子化器６２、およびIDCT器２６と同じものであり、
その動作も同じである。

【００３６】IDCT器６３から出力された差分値は、加算
器６４により、動き補償器６５で既に生成されている予
測値と加算され、画素値のデータとなり、符号化器３へ
の入力画像に対応する画像が再構成される。復号された
画像の各画素値は、予測画像を生成するために、動き補
償器６５に備えられた図示せぬフレームメモリに保存さ
れる。動き補償器６５は、符号化器３の動き補償器２３
と同じものであり、逆可変長符号化器６１によって得ら
れた動きベクトルv、及び、既に動き補償器６５が備え
る図示せぬフレームメモリに保存されている画像を用い
て、復号すべき画像の各画素値の予測を行う。

【００３７】図１４は、WaterMark検出器５３の内部構
成を示した図である。復号器５２から出力された画像デ
ータは、評価値算出器７１に入力される。評価値算出器
７１は、WaterMarkパターン保持メモリ７３に記録され
ているWaterMarkパターンを用いて、評価値を算出す
る。算出された評価値は、評価値比較器７２で閾値処理
され、付随情報fが出力される。また、入力された画像
データ自体も、そのまま出力される。なお、図１４に示
した構成では、画像変換器７４が設けられており、評価
値比較器７２から入力された画像データが加工あるいは
処理されて出力されることもある。

【００３８】WaterMark検出器５３の動作を、図１５の
フローチャートを参照して説明する。ステップＳ３１に
おいて、評価値sumの初期化及び閾値thの設定が行なわ
れる。ステップＳ３２において、WaterMarkパターンの
領域と等しい大きさの領域が設定され、その領域内の各
画素についてWaterMarkパターンとの照合が行なわれ
る。ステップＳ３３において、ステップＳ３２における
照合結果を用いて、WaterMarkのシンボルがプラスであ
るか、マイナスであるかが判断され、プラスであると判
断された場合は、ステップＳ３４に、マイナスであると
判断された場合は、ステップＳ３５に、それぞれ進む。

【００３９】画素のWaterMarkのシンボルがプラスであ
る場合には、評価値sumに、その画素値ｘが加算され
る。画素のWaterMarkのシンボルがマイナスである場合
には、評価値sumから、その画素値ｘが減算される。ス
テップＳ３６において、このような処理が対象領域の全
画素について繰り返えされたか否かが判断される。ステ
ップＳ３６において、全画素についてはまだ処理が行わ
れてはいないと判断された場合は、ステップＳ３２に戻
り、それ以降の処理が繰り返され、全画素について処理
が終了されたと判断された場合は、ステップＳ３７に進
む。

【００４０】ステップＳ３７において、評価値sumと閾
値thとが比較され、評価値sum＞閾値thである場合に
は、ステップＳ３８に進み、付随情報ｆが付加されてい
るとみなされて、付随情報fがonにされる。そうでない
場合には、ステップＳ３９に進み、付随情報fがoffにさ
れる。

【００４１】上述したデコーダ５１では、符号化された
データを復号してからWaterMarkを検出したが、図１６
に示すようなデコーダ５１の構成にし、WaterMarkを検
出してから復号するようにしても良い。図１７に、図１
６に示したようなデコーダ５１の構成にした場合のWate
rMark検出器５３の内部構成を示す。

【００４２】デコーダ５１のWaterMark検出器５３に
は、符号化ビット列が入力される。入力された符号化ビ
ット列は、付随情報ｆを検出する符号の位置を探すため
に、簡易符号解読器８１で簡易的に解読される。この場
合の符号の位置とは、例えば、符号化ビット列上の位置
や、あるいは復号された時の空間的あるいは周波数的な
位置等のことを言い、それら以外の位置も含めて、種々
の位置を探しても良い。どの符号の位置を探すかは、符
号化ビット列上で付随情報ｆを検出する際に対象となる
符号の種類に依り、このことはWaterMark付加器のとこ
ろで述べたことと同様である。場合によっては、符号化
ビット列の全体あるいは一部に対して復号を行ない、全
体あるいは一部の再生画像を構成しても良い。

【００４３】符号化ビット列上で付随情報ｆを検出する
際の対象となる符号の位置を示す符号位置情報bは、入
力された符号化ビット列と共に評価値算出器８２へと渡
される。符号化ビット列上の対象の各符号から評価値を
算出するために、評価値算出器８２は評価対象の符号位
置pをWaterMarkパターン照合制御器８３へと渡す。この
符号位置pは、WaterMark付加器のところで述べたことと
同様に、１次元的あるいは２次元的な位置表現等が用い
られることが多い。

【００４４】WaterMarkパターン照合制御器８３では、
符号位置pを基にWaterMarkパターン保持メモリ８４に記
録されているWaterMarkパターンのシンボルを参照し、
得られたシンボルSを評価値算出器８２へと渡す。評価
値算出器８２は、渡されたシンボルSを用いて、評価値
の算出を行なう。算出された評価値は、評価値比較器８
５で閾値処理され、付随情報fが出力される。また、入
力された画像データ自体も、そのまま出力される。な
お、不正コピー防止のところで述べたことと同様の効果
が得られるように、符号変換器８６が置かれ、入力され
た符号化ビット列が加工あるいは処理されて出力される
こともある。符号変換器８６では、例えば符号化ビット
列を出力しない、符号化ビット列を、でたらめに配置し
直す等の加工あるいは処理が行なわれる。

【００４５】WaterMark検出器５３で行なわれる一連の
処理を図１８のフローチャートを参照して説明する。ス
テップＳ５１において、評価値sumの初期化及び閾値th
の設定が行なわれる。ステップＳ５２において、符号化
ビット列上で付随情報ｆを付加する際の対象となる符号
の位置まで、符号化ビット列が読み進められる。ステッ
プＳ５３において、符号化ビット列上の対象となる符号
のブロック位置に応じて、WaterMarkパターンとの照合
が行なわれる。さらに、その照合結果が用いられて、ス
テップＳ５４において、WaterMarkのシンボルがプラス
であるか、マイナスであるかが判断され、プラスである
と判断された場合は、ステップＳ５５に、マイナスであ
ると判断された場合は、ステップＳ５６に、それぞれ進
む。

【００４６】例えば、DCTの直流成分の符号に付随情報
ｆを付加する場合、その符号のWaterMarkのシンボルが
プラスである場合には、評価値sumにその符号で表され
る直流成分ｘが加算される。その画素のWaterMarkのシ
ンボルがマイナスである場合には、評価値sumから、そ
の符号で表される直流成分ｘが減算される。ステップＳ
５７において、これらの処理を対象領域の全符号につい
て繰り返えされたか否かが判断される。対象領域の前符
号について繰り返されたと判断された場合、評価値sum
と閾値thとを比較し、評価値sum＞閾値thである場合に
は、付随情報ｆが付加されているとみなして付随情報f
をonにする。そうでない場合には、付随情報fをoffにす
る。

【００４７】このように画像データなどに付随された付
随情報fは、例えば、不正コピーを防止する場合、以下
のように利用される。図１２のデコーダ５１の例に挙げ
ると、出力される画像データ及び付随情報fは、図示せ
ぬ画像表示部に渡される。画像表示部では、付随情報f
がonである場合には、そのまま画像を表示するが、付随
情報fがoffである場合には、例えば、画像を表示しな
い、画像データの主要領域を表示しない、画像にスクラ
ンブルを掛ける（受けとった画像データをでたらめに表
示する）等の加工あるいは処理を行なう。あるいは、図
１４のWaterMark検出器５３において点線で示した画像
変換器７４を設け、付随情報fに応じて、このような画
像データの加工あるいは処理を行なうように構成するこ
ともある。

【００４８】画像データがJPEGあるいはMPEG等の高能率
符号化方法によって符号化され、既に符号化ビット列に
変換されている場合、通常は一度画像データに戻して付
随情報ｆの付加あるいは検出を行なう必要がある。しか
しながら、改めて符号化あるいは復号を行なわなくて
も、符号化ビット列に対して処理を行なうだけで、付随
情報ｆの付加あるいは検出を容易に行なうことも可能で
ある。

【００４９】次に第２の従来例について説明する。以下
では、JPEGあるいはMPEG等の高能率符号化方法を用いて
生成された、符号化ビット列上での付随情報ｆの付加あ
るいは検出について説明する。

【００５０】図１９は、第二の従来例で付随情報ｆ（キ
ーデータ）を記録する原理を表している。同図に示すよ
うに、GOP（Group Of Pictures）は、１枚のＩピクチ
ャ、複数枚のＰピクチャ、および複数枚のＢピクチャに
より構成されている。図１９においては、１５枚のピク
チャにより１つのGOPが構成されている。また、付随情
報ｆを付加するために、GOPを構成するピクチャの中か
らＩピクチャが選択される。Ｉピクチャは、他のピクチ
ャと同様に、複数のスライスにより構成されており、各
スライスは、所定の数のマクロブロックから構成されて
いる。ここでは、マクロブロックのうち、所定のものが
予め選択されるとして以下の説明をする。

【００５１】１６×１６画素のマクロブロックは、輝度
信号（Ｙ）の場合、８×８画素からなる４個のブロック
で構成される。色差信号Ｃｂ，Ｃｒは、１６×１６画素
の１つのマクロブロックに対して８×８画素のブロック
で表現される。これらの画素データは、DCT（Discrete
Cosine Transform）変換（離散コサイン変換）により、
DCT係数に変換される。１つのブロックの８×８個のDCT
係数Ｃｏｅｆｆ［０］［０］乃至Ｃｏｅｆｆ［７］
［７］は、所定の量子化ステップで量子化され、量子化
レベルＱＦ［０］［０］乃至ＱＦ［７］［７］に変換さ
れる。

【００５２】DCT係数のうち、左上のＣｏｅｆｆ［０］
［０］（ｓｃａｎ［０］）は、直流成分（ＤＣ成分）を
表し、この直流成分からは、直前のブロックの直流成分
を予測値とした差分値が演算され、その差分値が符号化
される。残りの交流成分（ＡＣ成分）は、ブロック内で
ジグザグスキャンにより、直流成分としてのｓｃａｎ
［０］に続いて、ｓｃａｎ［１］乃至ｓｃａｎ［６３］
として並びかえられた後、符号化される。

【００５３】この第二の従来例においては、キーデータ
記録のために、３つのブロックが選択される。第１のブ
ロックは、キーデータのビットを決定するためのブロッ
クであり、第２のブロックは、第１のブロックで決定さ
れたビットが設定される（書き込まれる）ブロックであ
り、第３のブロックは、第２のビットを設定したことに
起因して発生するミスマッチを抑制するための補正デー
タを書き込むブロックである。

【００５４】例えば、図２０（Ａ）に示すように、第２
のブロックを第１のブロックとは異なるマクロブロック
のブロックの中から選定し、第３のブロックを第２のブ
ロックと同一のマクロブロックの他のブロックから選択
することができる。また、図２０（Ｂ）に示すように、
第１乃至第３のブロックを同一のマクロブロック内のブ
ロックから選択することもできる。ただし、第１乃至第
３のブロックは、それぞれＤＣ成分の差分を処理する順
番に選択される。

【００５５】すなわち、図２１に示すように、DCT係数
のうち、ＤＣ成分は、直前のＤＣ成分との差分が演算さ
れ、その差分値が符号化される。輝度信号の場合、４個
のブロックの順番は、左上、右上、左下、右下の順番と
される。従って、左上のブロックのＤＣ成分としては、
直前のマクロブロックの右下のブロックのＤＣ成分との
差分が符号化され、右上のブロックのＤＣ成分として
は、左上のブロックのＤＣ成分との差分が符号化され、
左下のブロックのＤＣ成分としては、右上のブロックの
ＤＣ成分との差分が符号化され、右下のブロックのブロ
ックのＤＣ成分としては、左下のブロックのＤＣ成分と
の差分が符号化される。

【００５６】色差信号の場合は、それぞれ直前の対応す
る色差信号のブロックのＤＣ成分との差分が符号化され
る。このように、ＤＣ成分の差分値を符号化するとき、
ＤＣ成分は、サイズと、そのサイズで表される実際の値
（DC Differential）で表される。前者は、可変長符号
（VLC:Variable Length Code）とされ、後者は、固定長
符号（FLC:Fixed Length Code）とされる。ＤＣ成分の
サイズは、例えば、輝度信号の場合、図２２（Ａ）に示
すように規定されており、色差信号場合、図２２（Ｂ）
に示すように規定されている。また、例えばＤＣ成分の
サイズが３である場合、DC Differentialは、図２３に
示すように規定されている。

【００５７】従って、例えば輝度信号の場合、ＤＣ成分
のサイズが３で、実際の値ｚｚ［０］が−６であると
き、その差分値は、１０１００１で表される。第２のブ
ロックのDC DifferentialのLSBが、第１のブロックのDC
DifferentialのLSBと同一の値に設定することで、キー
データが記録される。例えば、第１のブロックのDC Dif
ferentialが０１０であり、第２のブロックのDC Differ
entialが１０１であるとき、その第２のブロックのDC D
ifferentialのLSBは０に書き換えられ、１００とされ
る。また、第１のブロックのDC Differentialが００１
であり、第２のブロックのDC Differentialが０１０で
あるとき、その第２のブロックのDC Differentialは、
そのLSBが１に書き換えられ、０１１とされる。

【００５８】その結果、この場合、第２のブロックのDC
Differentialの書き換えは、図２３において矢印で示
すように行われる。例えば、その値が００１であると
き、そのLSBを０に書き換えるとき、その値は０００と
書き換えられ、０１０とは書き換えられない。また、例
えば、その値が０１０であるとき、書き換え後の値は０
１１とされる。逆にその値が０１１である場合、書き換
え後の値は０１０とされる。このように、LSBのみが書
き換えられる。また、第２のブロックのDC Differentia
lのLSBが、第１のブロックのDC DifferentialのLSBと元
々同一である場合、実質的にキーデータがすでに記録さ
れていることになるので、第２のブロックのDC Differe
ntialのLSBはそのままの値とされる。

【００５９】このように、第２のブロックのDC Differe
ntialのLSB（図２３の左側の欄の値）が書き換えられる
と、DCT係数の実際の値（図２３の右側の欄の値）が１
だけ増加または減少することになる。そこで、このDCT
係数の実際の値の増加または減少を吸収するように、第
３のブロックのDC Differentialの値が補正される。す
なわち、第２のブロックのDC DifferentialのLSBを０か
ら１に書き換えた場合、DCT係数の実際の値は１だけ増
加したことになるので、第３のブロックのDC Different
ialは、DCT係数の実際の値が１だけ減少するように書き
換えられ、第２のブロックのDC DifferentialのLSBを１
から０に書き換えた場合、DCT係数の実際の値は１だけ
減少したことになるので、第３のブロックのDC Differe
ntialは、DCT係数の実際の値が１だけ増加するように書
き換えられる。

【００６０】例えば、第２のブロックのDC Differentia
lの０１０を０１１に書き換えた場合、DCT係数の実際の
値が−５から−４に１だけ増加するので、例えば、第３
のブロックのDC Differentialが１１０であったとすれ
ば、これを１０１に書き換えて、DCT係数の実際の値
を、６から５に１だけ減少させる。同様に、例えば、第
２のブロックのDC Differentialの０１１を０１０に書
き換えた場合、DCT係数の実際の値が−４から−５に１
だけ減少するので、例えば、第３のブロックのDCDiffer
entialが１１０であったとすれば、これを１１１に書き
換えて、DCT係数の実際の値を、６から７に１だけ増加
させる。

【００６１】以上のようにして、１つのブロックに１ビ
ットのキーデータが書き込まれることになるので、図２
４に示すように、ｎビットによりキーデータを構成する
場合、ｎ個のブロックのDC DifferentialのLSBが書き換
えられることになる。ただし、このｎビットのキーデー
タは、選択した第１のブロックのDC DifferentialのLSB
により結果的に規定されるものであって、記録するデー
タとして、予め用意されるものではない。

【００６２】図２５は、上述したような手法に適したWa
terMark付加器２の構成を示す図である。演算回路９１
は、メモリ９２に記憶されている所定のキーＫ（キーデ
ータを記録するブロックを決定するためのキーであり、
図２４に示すｎビットのキーデータとは別個のキーであ
る）と、符号化ビット列に含まれる一部のデータＢを演
算し、その演算結果から、上記した第１および第２のブ
ロックを決定する。検出回路９３は、演算回路９１の出
力で指定されるブロックからDC Differentialを検出す
る。そして、第１のブロックと第２のブロックのDC Dif
ferentialのLSB、並びに第３のブロックのDC Different
ialがメモリ９４に供給され、記憶される。

【００６３】キーデータ挿入回路９５は、検出回路９３
より第２のブロックの検出信号の入力を受けたとき、符
号化ビット列中の、その第２ブロックのDC Differentia
lのLSBを、メモリ９４から供給される第１のブロックの
DC DifferentialのLSBで書き換える処理を実行する。補
正回路９６は、検出回路９３より第３のブロックの検出
信号の入力を受けたとき、キーデータ挿入回路９５より
供給される符号化ビット列（その第２のブロックにはキ
ーデータが書き込まれている）中の第３のブロックに補
正データを書き込む処理を行う。

【００６４】次に図２６乃至図２８のフローチャートを
参照して、WaterMarkを付加する場合の動作について説
明する。ここでは、符号化ビット列上でWaterMarkを付
加する場合を説明する。ステップＳ７１において、演算
回路９１は符号化ビット列を所定の位置まで読み込む。
そして、ステップＳ７２において、演算回路９１は、GO
P内のＩピクチャのビットストリームの予め定めらてれ
いる所定のデータを読み取り、これをＢとする。次にス
テップＳ７３に進み、演算回路９１は、メモリ９２に記
憶されているキー（Ｋ）を用いて、次式に従ってＸを得
る。Ｘ＝Ｂ／Ｋ次にステップＳ７４において、演算回路
９１は、ステップＳ７３で演算した値Ｘから第１のブロ
ックと第２のブロックの位置を決定する。例えば、第１
のブロックの位置をＸのＭＳＢ側の４ビットで表される
位置とし、第２のブロックの位置をＸのLSB側の４ビッ
トで表される位置とすることができる。この他、例え
ば、ＭＳＢ側の６ビットでマクロブロックを指定し、下
位２ビットで、そのマクロブロック内のブロックを、第
１のブロックとして指定するようにしてもよい。この場
合、第２のブロックは、第１のブロックに続くブロック
とすることができる。

【００６５】次に、ステップＳ７５（図２７）に進み、
検出回路９３は、第１のブロックまでのビットストリー
ムを読み込む処理を実行する。そして、ステップＳ７６
において、検出回路９３は、第１のブロックのDC Size
を読み込む。そして、検出回路９３は、ステップＳ７７
において、そのDC Sizeが０であるか否かを判定し、０
でない場合においては、ステップＳ７８に進み、DC Dif
ferentialのLSBを読み取り、これをメモリ９４に出力
し、そのRegister_１にセット（記憶）させる。DCSize
が０である場合においては、ステップＳ７９に進み、検
出回路９３は、０をメモリ９４に出力し、Register_１
にセットさせる。すなわち、この場合においては、DC D
ifferentialの値が存在しないのであるが、その値は０
であると仮定して、以後の処理を進めるものとする。

【００６６】検出回路９３は、ステップＳ８０におい
て、第２のブロックまで符号化ビット列の読み込みを継
続し、ステップＳ８１において、検出回路９３は、第２
のブロックのDC Sizeを読み込む。そして、ステップＳ
８２において、検出回路９３はDCSizeが０であるか否か
を判定する。DC Sizeが０でなければステップＳ１３に
進み、検出回路９３は第２のブロックのDC Differentia
lのLSBをメモリ９４に出力し、そのRegister_２にセッ
トさせる。

【００６７】ステップＳ８４に進み、メモリ９４のRegi
ster_１とRegister_２に記憶された値（すなわち第１の
ブロックのDC DifferentialのLSBと第２のブロックのDC
DifferentialのLSB）が等しいか否かが検出回路９３で
判定される。両者が等しい場合、実質的にキーデータ
が、すでに書き込まれていることになり、データを変更
する必要がないので、ステップＳ８６に進む。これに対
して、ステップＳ８４において、Register_１とRegiste
r_２の値が異なっていると検出回路９３により判定され
た場合、ステップＳ８５に進み、キーデータ挿入回路９
５において第２のブロックのDC DifferentialのLSBを、
Register_１の値（第１のブロックのDC Differentialの
LSB）で上書きする。すなわち、第２のブロックのDC Di
fferentialのLSBを第１のブロックのDC Differentialの
LSBと同一の値に設定する。

【００６８】以上の処理により、キーデータの１ビット
分のデータの書き込みが完了したことになる。このよう
なキーデータの記録により、例えば、元のビットストリ
ームの復号画像からのずれは、１つのブロックのＤＣ値
を８ビットで量子化した場合、１ずれることになり、ま
た、９ビットで量子化した場合、ずれは０．５となり、
１０ビット量子化の場合、０．２５、１１ビット量子化
の場合、０．１２５となる。そこで、次に、このキーデ
ータの書き込みに起因するミスマッチを抑制するために
補正処理を行う。このため、ステップＳ８６において、
検出回路９３は、次のブロック（第３のブロック）まで
符号化ビット列を読み進み、ステップＳ８７において、
検出回路９３は、その第３のブロックのDC Sizeを読み
込む。

【００６９】検出回路９３は、ステップＳ８８におい
て、第３のブロックのDC Sizeが０であるか否かを判定
する。DC Sizeが０であればDC Differentialが存在しな
いため、補正処理を行うことができない。そこで、ステ
ップＳ８６に戻り、検出回路９３は、さらに次のブロッ
クまで符号化ビット列を読み進み、そのブロックを第３
のブロックとして、ステップＳ８７で、そのDC Sizeを
読み込む。

【００７０】すなわち、図２９に示すように、最初に、
第３のブロックとして、指定されたブロックのDC Size
が０であるとき、次のブロックが第３のブロックとして
選択される。そして、そのブロックのDC Sizeが０でな
ければ、そのブロックが第３のブロックとして選択され
る。検出回路９３は、ステップＳ８８において、第３の
ブロックのDCSizeが０ではないと判定した場合、ステッ
プＳ８９に進み、その第３のブロックのDC Differentia
lを読み取り、その読み取った値をメモリ９４のRegiste
r_３に書き込ませる。これにより、第３のブロックの、
例えば図２３における左側の欄に示す０００乃至１１１
の３ビットの値が、Register_３に記憶されたことにな
る。

【００７１】次にステップＳ９０において、メモリ９４
のRegister_１に記憶した値が０であるか否かが検出回
路９３により判定される。その値が０である場合、ステ
ップＳ９１に進み、検出回路９３は、ステップＳ９９で
Register_３に書き込んだ第３のブロックのDC Differen
tialの値が２＾（DC Size）−１と等しいか否か、ある
いは２＾（DC Size−１）−１と等しいか否かを判定す
る。なお、ここで、＾はべき乗を意味する。

【００７２】すなわち、いま、Register_１の値が０で
ある（ステップＳ９０）から、第２のブロックのDC Dif
ferentialのLSBを１から０に書き換えている（DCT係数
の実際の値（差分値）を１だけ減少させている）（ステ
ップＳ８５）ことになる。そこで、この減少分を相殺す
るには、第３のブロックのDC DifferentialのLSBに１を
加算すればよい（図２３に示すように、基本的に、DC D
ifferentialを１だけ増加すると、DCT係数の差分値も１
だけ増加する）。この加算処理がステップＳ９２で行わ
れるのであるが、図２３に示すように、例えば、第３の
ブロックのDCDifferentialの値が１１１（DC Size＝３
として、２＾３−１＝７＝“１１１”）であるとき（DC
T係数の差分値の値が７であるとき）、その値が最大値
とされているため、差分値をそれ以上の値に設定するこ
とはできない。すなわち、そのブロックは、補正処理を
実行する上において、適当なブロックではないというこ
とになる。

【００７３】同様に、Register_３（第３のブロックのD
C Differential）の値が、２＾（DCSize−１）−１と等
しい場合、すなわちRegister_３の値が２＾(3-1)−１＝
３（＝“０１１”）である時、差分値の値は−４であ
り、その値を１だけ増加した−３の値は規定されていな
いので、その値を１だけ増加する処理を実行することが
できない。すなわち、このブロックも補正処理を行うブ
ロックとしては不適当である。このように、ステップＳ
９１において、補正のためのブロックとしては不適当で
あると検出回路９３により判定された場合、ステップＳ
８６に戻り、検出回路９３は、次のブロックを第３のブ
ロックとして選択する。

【００７４】ステップＳ９１において、第３のブロック
が補正すべきブロックとして適当であると判定された場
合、ステップＳ９２に進み、検出回路９３は、Register
_３の記憶値に１を加算させる。そして、ステップＳ９
５に進み、補正回路９６は、第３のブロックのDC Diffe
rentialの値として、Register_３に設定されている値を
書き込ませる。一方、検出回路９３は、ステップＳ９０
において、Register_１の値が０ではない（１である）
と判定した場合、ステップＳ９３に進み、Register_３
の値が２＾（DC Size−１）と等しいか否か、または０
と等しいか否かを判定する。

【００７５】すなわち、いま、Register_１が１である
ので、第２のブロックのDC DifferentialのLSBは、０か
ら１に書き換えられている（DCT係数の差分値が１だけ
増加されている）ことになる。そこで、これを補正する
には、ステップＳ９４で、第３のブロックのDC Differe
ntialを１だけ減少すればよいのであるが、図２３に示
すように、DC Differentialの値が、４（＝２＾(3-1)＝
２＾2＝４＝“１００”）である場合、差分値は４とし
て規定されており、それより１だけ少ない差分値３は規
定されていない。同様に、DC Differentialが“００
０”であるとき、その差分値は−７として規定され、そ
れより１だけ少ない差分値−８は規定されていない。従
って、いま、第３ブロックとして選択されているブロッ
クは補正処理を行う上において、適当なブロックではな
い。そこで、この場合においては、ステップＳ８６に戻
り、検出回路９３で次のブロックを第３のブロックとし
て選択するようにする。

【００７６】検出回路９３は、ステップＳ９３におい
て、第３のブロックが補正を行うことができるブロック
であると判定した場合、ステップＳ２４に進み、Regist
er_３の値を１だけデクリメントする。そして、ステッ
プＳ９５に進み、補正回路９６は、１だけデクリメント
した値を第３のブロックのDC Differentialに上書きす
る。次に、ステップＳ９６に進み、図示せぬ制御回路
は、キーデータを記録する処理をまだ続けるか否かを判
定し、続ける場合、スタートに戻り、それ以降の処理を
繰り返し実行する。この処理が複数回繰り返されること
で、図２４に示すようなｎビットのキーデータが、メモ
リ９２に記憶されているキー（Ｋ）で規定される位置の
ブロックに記録されることになる。

【００７７】ステップＳ８５で行われる上書き処理は、
キーデータ挿入回路９５で行われる。すなわち、キーデ
ータ挿入回路９５は、検出回路９３より第２のブロック
であることを表す検出信号が入力されているとき、入力
されるビットストリームのDCDifferentialのLSBに、メ
モリ９４のRegister_１に記憶されいる値を上書きす
る。また、ステップＳ９５における補正処理は、補正回
路９６により行われる。すなわち、補正回路９６は、検
出回路９３より第３のブロックであることを表す検出信
号が入力されているとき、キーデータ挿入回路９５を介
して入力されるビットストリームのDC Differential
を、メモリ９４のRegister_３に記憶されているデータ
で書き換える。なお、補正データの書き込みは、必ずし
も必要な処理ではなく、省略することが可能である。た
だし、省略すると、画像に若干のノイズがでるが、LSB
を書き替えているに過ぎないので、実際には、殆ど視聴
者に気付かれるようなことはない。また、ＤＣ成分の差
分符号化（DPCM）は、Slice単位で閉じているので、そ
の影響も、そのブロックが存在するSlice内で収まる。

【００７８】このようにして、キーデータ挿入回路９５
と補正回路９６による処理を経て、符号化ビット列には
WaterMarkが付加される。

【００７９】次に、このようにして付加されたWaterMar
kを検出するWaterMark検出器について説明する。図３０
は、WaterMark検出器５３の構成を示す図である。演算
回路１０１は、メモリ１０２に記憶されている所定のキ
ーＫ（キーデータを記録するブロックを決定するための
キーであり、図２４に示すｎビットのキーデータとは別
個のキーである）と、符号化ビット列に含まれる一部の
データＢを演算し、その演算結果から、上記した第１お
よび第２のブロックを決定する。検出回路１０３は、演
算回路１０１の出力で指定されるブロックからDC Diffe
rentialを検出する。そして、第１のブロックと第２の
ブロックのDC DifferentialのLSBをメモリ１０４に供給
し、記憶させる。そして、メモリ１０４に記憶された第
１のブロックと第２のブロックのDC DifferentialのLSB
を用いて、判定回路１０５はWaterMarkが付加されてい
るか否かを検出し、付随情報fを出力する。

【００８０】なお、第１の従来例の不正コピー防止のと
ころで述べたことと同様の効果が得られるように、符号
変換器１０６が置かれ、入力された符号化ビット列が加
工あるいは処理されて出力されることもある。符号変換
器１０６では、例えば符号化ビット列を出力しない、符
号化ビット列をでたらめに配置し直す等の加工あるいは
処理が行なわれる。

【００８１】次に、図３１と図３２を参照して、WaterM
arkを検出する場合の動作について説明する。ここで
は、符号化ビット列上でWaterMarkを検出する場合を説
明する。ステップＳ１０１において、図示せぬ制御回路
は、変数Ｎを０に初期設定する。次のステップＳ１０２
乃至Ｓ１０５の処理は、図２６のステップＳ７１乃至Ｓ
７４の処理と同様の処理である。すなわち、演算回路１
０１は、ビットストリームを所定の位置まで読み込み、
所定のデータをＢとして読み込む。そして、メモリ１０
２に記憶されているキーデータＫで、読み取ったデータ
Ｂを割算し、その商Ｘから第１のブロックと第２のブロ
ックの位置を決定する。

【００８２】その後、ステップＳ１０６（図３２）にお
いて、検出回路９３は、第１のブロックまで符号化ビッ
ト列を読み進み、ステップＳ１０７において、第１のブ
ロックのDCSizeを読み込む。検出回路１０３は、ステッ
プＳ１０８において、DCSizeが０であるか否かを判定
し、０でなければ、ステップＳ１０９で、第１のブロッ
クのDC DifferentialのLSBをメモリ１０４に供給し、Re
gister_１にセットさせる。DCSizeが０であると判定さ
れた場合においては、ステップＳ１１０に進み、検出回
路１０３は、Register_１に０をセットさせる。

【００８３】次に、検出回路１０３は、ステップＳ１１
１に進み、第２のブロックまでビットストリームを読み
進み、ステップＳ１１２において、第２のブロックのDC
Sizeを読み込む処理を実行する。ステップＳ１１３にお
いて、検出回路１０３は、ステップＳ１１２で読み取っ
た第２のブロックのDCSizeが０であるか否かを判定す
る。DC Sizeが０でなければ、ステップＳ１１４に進
み、検出回路１０３は、第２のブロックのDC Different
ialをRegister_２にセットさせる。ステップＳ１１５に
おいて、判定回路１０５が、ステップＳ１０９またはＳ
１１０において設定されたRegister_１の値と、ステッ
プＳ１１４で設定されたRegister_２の値とを比較す
る。判定回路１０５は、この比較の結果、両者が等しく
ないと判定した場合、付随情報ｆは付加されていないと
みなす。この判定結果が得られたとき、ステップＳ１１
９に進み、付随情報fをoff（例えば、符号化ビット列は
オリジナルのものであると判定）にする。

【００８４】ステップＳ１１５において、Register_１
とRegister_２の値が等しいと判定回路１０５で判定さ
れた場合、付随情報ｆは付加されている可能性がある。
そしてステップＳ１１６において、変数Ｎを１だけイン
クリメントする。そして、図示せぬ制御回路はステップ
Ｓ１１７で、まだ判定するブロックが残っているか否か
をチェックし、さらに判定すべきブロックが存在する場
合においては、ステップＳ１０２に戻り、それ以降の処
理を実行する。すなわち、いまの場合、キーデータの第
１ビットの判定が行われた段階なので、再びステップＳ
１０２に戻り、同様の処理を繰り返し実行する。そし
て、ｎビットのキーデータについて、同様の判定処理が
行われ、ｎビットのデータが一致する場合、ステップＳ
１１８に進み、判定回路１０５（及び図示せぬ制御回
路）は、いま入力されている符号化ビット列は、確率１
−１／２Nで付随情報ｆは付加されているとみなし、付
随情報fをon（例えば、不正にコピーされた符号化ビッ
ト列であると判定）にする。

【００８５】なお、ステップＳ１１３において、第２の
ブロックのDC Sizeが０であると判定された場合、その
第２のブロックにはキーデータが記録されていないの
で、ステップＳ１１４乃至Ｓ１１６の処理は、スキップ
される。

【００８６】

【発明が解決しようとする課題】上述した画像データの
主要部分に対して、付随情報ｆの付加あるいは検出を行
なう各種の装置や方法では、それぞれ長所や短所があ
る。一例として、上述した第１の従来例の場合を考え
る。第１の従来例では、画像上の画素を操作してWaterM
arkを付加する際、各画素単位で調整が行なえるため、
画質の劣化を少なく抑えることができが、符号化ビット
列上のDCTの直流成分の値を操作してWaterMarkを付加す
る際には、例えば縦横８画素のブロック単位でしか調整
が行なえないため、画質の劣化は大きくなることが多
い。このためWaterMarkが付加された画像では、視覚的
にブロック歪みが検知されやすくなるという短所があっ
た。

【００８７】上述した第２の従来例では、WaterMarkの
付加時に、例えば、縦横８画素のブロック単位で調整を
行なう点は第１の従来例と同様だが、そのために必要と
なるブロックの総数を少なくできるので、画質の劣化を
抑えることができる。具体例として、第１のブロックで
決定されたビットを設定するための（書き込まれる）第
２のブロックとして、縦横８画素のブロック３０個を設
定する場合、以下のように検出時の信頼性は非常に高く
なる。P_FP:誤検出の確率（付加していないのに、付加
していると誤検出される確率） P_FP=(1/2)^30=2^(-30)=2^(10*-3) ここで、2^10≠10^3（２の１０乗は、ほぼ１０００に等
しい） P_FP≠10^(3*-3)=10^(-9) これは、非常に少ない確率である。

【００８８】例えば横７２０×縦４８０の画像の場合、
縦横８画素のブロックは横９０×縦６０＝５４００個あ
るが、そのわずか１％未満の３０個のブロックだけを調
整すれば良いため、視覚的に画質の劣化を検知すること
は難しい。一方で、符号化ビット列が一度画像に復号さ
れると、せっかく付加された付随情報ｆは壊れてしまう
可能性が大きくなる。特に、その画像に何らかの処理が
加えられると、付随情報ｆは破壊されやすいといった短
所があった。

【００８９】本発明はこのような状況に鑑みてなされた
ものであり、複数の装置や方法を組み合わせることによ
り、それぞれの装置や方法の短所を互いに補い、長所を
生かすことを目的とする。

【００９０】

【課題を解決するための手段】請求項１に記載の情報処
理装置は、入力された情報に、第１の情報を付加する第
１の付加手段と、第１の付加手段により第１の情報が付
加された情報を符号化する符号化手段と、符号化手段に
より符号化された情報に、第２の情報を付加する第２の
付加手段とを含むことを特徴とする。

【００９１】前記情報は、画像データであり、前記第１
の付加手段は、画像データのうちの所定の位置の画素デ
ータを操作することにより、第１の情報を付加し、前記
第２の付加手段は、符号化手段から出力された符号化ビ
ット列上の所定の値を操作することにより、第２の情報
を付加するようにすることができる。

【００９２】前記第１の情報と第２の情報は、ウォータ
マークパターンを用いたものであるようにすることがで
きる。

【００９３】請求項４に記載の情報処理方法は、入力さ
れた情報に、第１の情報を付加する第１の付加ステップ
と、第１の付加ステップの処理で第１の情報が付加され
た情報を符号化する符号化ステップと、符号化手段の処
理で符号化された情報に、第２の情報を付加する第２の
付加ステップとを含むことを特徴とする。

【００９４】請求項５に記載の記録媒体のプログラム
は、入力された情報に、第１の情報を付加する第１の付
加手段と、第１の付加手段により第１の情報が付加され
た情報を符号化する符号化手段と、符号化手段により符
号化された情報に、第２の情報を付加する第２の付加手
段とを含むことを特徴とする。

【００９５】請求項６に記載の情報処理装置は、符号化
された情報に、第１の情報を付加する第１の付加手段
と、第１の付加手段により第１の情報が付加された情報
を復号する復号手段と、復号手段により復号された情報
に、第２の情報を付加する第２の付加手段とを含むこと
を特徴とする。

【００９６】前記符号化された情報は画像データであ
り、第１の付加手段は、画像データの符号化ビット列上
の所定の値を操作することにより第１の情報を付加し、
第２の付加手段は、復号手段から出力された画像データ
のうちの所定の位置の画素データを操作することにより
第２の情報を付加することを特徴とする。

【００９７】前記第１の情報と第２の情報は、ウォータ
マークパターンを用いたものであるようにすることがで
きる。

【００９８】請求項９に記載の情報処理方法は、符号化
された情報に、第１の情報を付加する第１の付加ステッ
プと、第１の付加ステップの処理で第１の情報が付加さ
れた情報を復号する復号ステップと、復号ステップの処
理で復号された情報に、第２の情報を付加する第２の付
加ステップとを含むことを特徴とする。

【００９９】請求項１０に記載の記録媒体のプログラム
は、符号化された情報に、第１の情報を付加する第１の
付加ステップと、第１の付加ステップの処理で第１の情
報が付加された情報を復号する復号ステップと、復号ス
テップの処理で復号された情報に、第２の情報を付加す
る第２の付加ステップとを含むことを特徴とする。

【０１００】請求項１１に記載の情報処理装置は、入力
された第１の情報から、第２の情報を除去する除去手段
と、除去手段により第２の情報が除去された第１の情報
に第３の情報を付加する付加手段とを含むことを特徴と
する。

【０１０１】前記第１の情報は、画像データであり、前
記除去手段は、入力された画像データの内の所定の位置
の画素データから第２の情報を除去するようにすること
ができる。

【０１０２】前記第１の情報は、符号化された情報であ
り、前記除去手段は、入力された符号化された情報の符
号化ビット列上の所定の値から第２の情報を除去するよ
うにすることができる。

【０１０３】前記除去手段により第２の情報が除去され
た第１の情報を符号化する符号化手段をさらに備え、前
記付加手段は、符号化手段により符号化された情報に、
第３の情報を、情報の符号化ビット列上の所定の値を操
作することにより付加するようにすることができる。

【０１０４】前記除去手段により第２の情報が除去され
た第１の情報を復号する復号手段をさらに備え、前記付
加手段は、復号手段により復号された情報に、第３の情
報を、情報のうちの所定の位置の画素データを操作する
ことで付加するようにすることができる。

【０１０５】請求項１６に記載の情報処理方法は、入力
された第１の情報から、第２の情報を除去する除去ステ
ップと、除去ステップの処理で第２の情報が除去された
第１の情報に第３の情報を付加する付加ステップとを含
むことを特徴とする。

【０１０６】請求項１７に記載の記録媒体のプログラム
は、入力された第１の情報から、第２の情報を除去する
除去ステップと、除去ステップの処理で第２の情報が除
去された第１の情報に第３の情報を付加する付加ステッ
プとを含むことを特徴とする。

【０１０７】請求項１に記載の情報処理装置、請求項４
に記載の情報処理方法、および請求項５に記載の記録媒
体においては、入力された情報に、第１の情報が付加さ
れ、第１の情報が付加された情報が符号化され、符号化
された情報に、第２の情報が付加される。

【０１０８】請求項６に記載の情報処理装置、請求項９
に記載の情報処理方法、および請求項１０に記載の記録
媒体においては、符号化された情報に、第１の情報が付
加され、第１の情報が付加された情報が復号され、復号
された情報に、第２の情報が付加される。

【０１０９】請求項１１に記載の情報処理装置、請求項
１６に記載の情報処理方法、および請求項１７に記載の
記録媒体においては、入力された第１の情報から、第２
の情報が除去され、第２の情報が除去された第１の情報
に第３の情報が付加される。

【０１１０】

【発明の実施の形態】本発明の実施の形態では、上述し
た第１の従来例あるいは第２の従来例で説明したような
装置あるいは方法を組み合わせることによって、それぞ
れの装置あるいは方法の短所を抑え長所を生かすことが
容易に行なえる点に特徴がある。以下に、具体的に、図
を参照して説明する。

【０１１１】複数の装置あるいは方法の組み合わせ方に
ついて、その一例を挙げる。第１の従来例で説明した装
置あるいは方法は、画像の広い範囲に渡って付随情報ｆ
を拡散するため、付随情報ｆの内容が不用意に書き換え
られる危険性が少ない（耐性が強い）。このため、種々
の画像処理やノイズが混入しうる経路（例えばアナログ
の経路）上で、付随情報ｆを付加したい場合に向いてい
る。この経路の例としては、テレビジョン放送のNTSC信
号のように、画像信号そのものをアナログで伝送するよ
うなものが挙げられる。一方で第１の従来例では、後述
するような符号化ビット列上で付随情報ｆを付加する
と、例えば縦横８画素のブロック単位でしか調整が行な
えないため、画質の劣化は大きくなることが多い。

【０１１２】第２の従来例で説明した装置あるいは方法
は、例えば画像の一部だけを用いて付随情報ｆを付加す
るため、上述のアナログのような経路では、付随情報ｆ
の内容が不用意に書き換えられる危険性が高くなる（耐
性が低い）。しかし、種々の処理やノイズがほとんど混
入しない経路では、逆に高い信頼性を発揮する上、画質
の劣化を抑えることも容易である。この経路の例として
は、JPEGあるいはMPEG等の高能率符号化方法で生成され
るような、符号化ビット列をディジタルで伝送するよう
なものが挙げられる。

【０１１３】そこで、画像を伝送するアナログの経路で
は第１の従来例、符号化ビット列を伝送するディジタル
の経路では第２の従来例、というような組み合わせ方に
すれば、双方の装置あるいは方法の短所を抑え長所を生
かすことができる。もちろん、これ以外のどのような組
み合わせ方にしても良い。また上述した以外でも、どの
経路で有効などのような装置あるいは方法と組み合わせ
ても良い。

【０１１４】図３３は、本発明を適用したWaterMark付
加器の一実施の形態の構成を示す図である。図３３に示
したWaterMark付加器１１１Ａは、２つのWaterMark付加
器１１２ＡとWaterMark付加器１１２Ｂとを備え、符号
化器１１３を組み合わせた構成となっている。WaterMar
k付加器１１１ＡのWaterMark付加器１１２Ａに入力され
た、画像信号は、画像上の画素が操作されて付随情報f
が付加される。このWaterMark付加器１１２Ａとして
は、例えば第１の従来例で示した図５のWaterMark付加
器２と同じ構成が挙げられる。

【０１１５】付随情報fが付加された画像は、そのまま
出力される一方で、符号化器１１３で符号化ビット列に
符号化される。この符号化器１１３としては、例えば、
第１の従来例で示した図６の符号化器３と同じ構成が挙
げられる。符号化された符号化ビット列は、WaterMark
付加器１１２Ｂで、符号化ビット列上の値を操作して付
随情報fが付加される。このWaterMark付加器１１２Ｂと
しては、例えば、第１の従来例で示した図９のWaterMar
k付加器２と同じ構成が挙げられる。

【０１１６】図３３（Ｂ）に示したWaterMark付加器１
１１Ｂは、２つのWaterMark付加器１２２ＡとWaterMark
付加器１２２Ｂを備え、１つの復号器１２３とから構成
されている。WaterMark付加器１１１Ｂに入力された符
号化ビット列は、WaterMark付加器１２２Ａで、符号化
ビット列上の値が操作されて付随情報fが付加される。
このWaterMark付加器１２２Ａとしては、例えば、第１
の従来例で示した図９のWaterMark付加器２と同じ構成
が挙げられる。

【０１１７】付随情報fが付加された符号化ビット列
は、そのまま出力される一方で、復号器１２３で画像に
復号される。この復号器５２としては、例えば第１の従
来例で示した図１３の復号器５２と同じ構成が挙げられ
る。復号された画像は、WaterMark付加器１２２Ｂで、
画像上の画素を操作されて付随情報fが付加される。こ
のWaterMark付加器１２２Ｂとしては、例えば第１の従
来例で示した図５のWaterMark付加器２と同じ構成が挙
げられる。

【０１１８】次に、このようなWaterMark付加器１１２
ＡまたはWaterMark付加器１１２Ｂにより付加されたWat
erMarkを検出するWaterMark検出器について説明する。
図３４は、WaterMark検出器の構成を示す図である。図
３４（Ａ）に示したWaterMark１３１Ａは、WaterMark１
３２ＡとWaterMark書換器１３３Ａとから構成されてい
る。WaterMark検出器１３１Ａに入力された画像信号
は、WaterMark検出器１３２Ａにより、画像上の画素を
用いて付随情報fが検出される。このWaterMark検出器１
３２Ａとしては、例えば、第１の従来例で示した図１４
のWaterMark検出器５３と同じ構成が挙げられる。検出
された付随情報fは、WaterMark書換器１３３Ａに入力さ
れ、必要に応じて画像上の画素を操作して付随情報fが
書き換えられる。このWaterMark書換器１３３Ａとして
は、例えば、第１の従来例で示した図５のWaterMark付
加器２と同じ構成が挙げられる。

【０１１９】図３４（Ｂ）に示したWaterMark検出器１
３１Ｂは、基本的に図３４（Ａ）に示したWaterMark検
出器１３２Ａと同様の構成であるが、行う処理が異な
る。WaterMark検出器１３２Ｂには、符号化ビット列が
入力される。入力された符号化ビット列は、WaterMark
検出器１３２Ｂにより、符号化ビット列上の値が用いら
れて付随情報fが検出される。このWaterMark検出器１３
２Ｂとしては、例えば、第２の従来例で示した図３０の
WaterMark検出器５３と同じ構成が挙げられる。

【０１２０】検出された付随情報fは、WaterMark書換器
１３３Ｂに入力され、必要に応じて符号化ビット列上の
値が操作されて付随情報fが書き換えられる。このWater
Mark書換器１３３Ｂとしては、例えば、第２の従来例で
示した図９のWaterMark付加器２と同じ構成が挙げられ
る。

【０１２１】なお、WaterMark書換器１３３ＡあるいはW
aterMark書換器１３３Ｂで書き換える付随情報fの内容
は、必要であるなら、WaterMark検出器１３２Ａあるい
はWaterMark検出器１３２Ｂで検出された付随情報fとは
異なっていても構わない。付随情報ｆの書き換えを行な
わない場合には、WaterMark書換器１３３Ａ，１３３Ｂ
は省かれ、WaterMark検出器１３２Ａ，１３２Ｂで検出
された付随情報fがそのまま出力される。

【０１２２】次に第２の実施の形態について説明する。
まず、WaterMarkを付加する画像上の部分について説明
する。第１の方法は、図３５(Ａ)のように、画像を過不
足無く分割する方法である。この場合、画像中のどの領
域も、WaterMarkが付加される対象領域となる。第２の
方法は、図３５(Ｂ)のように、画像を部分的に分割する
方法である。この場合、画像中に、WaterMarkが付加さ
れることのない領域が存在する。第３の方法は、図３５
(Ｃ)のように、画像に重なりを持って分割する方法であ
る。この場合、画像中のどの領域も、WaterMarkが付加
される領域が存在する。これらは一例であり、これ以外
のどのような方法を用いても構わない。例えば、上記の
第一、第二、第三の方法を組み合わせた方法にしても良
い。

【０１２３】図３６は、第２の実施の形態における構成
におけるWaterMark付加器の構成を示す図である。Water
Mark付加器１４１Ａは、２つのWaterMark付加器１４２
ＡとWaterMark付加器１４２Ｂとを備え、１つの符号化
器１４３とから構成されている。WaterMark付加器１４
１Ａに入力された画像信号は、WaterMark付加器１４２
Ａで、範囲aの対象画像領域に、画像上の画素が操作さ
れて付随情報fが付加される。このWaterMark付加器１４
２Ａとしては、例えば、第１の従来例で示した図５のWa
terMark付加器２と同じ構成が挙げられる。

【０１２４】付随情報fが付加された画像は、そのまま
出力される一方で、符号化器１４３で符号化ビット列に
符号化される。この符号化器１４３としては、例えば、
第１の従来例で示した図６の符号化器３と同じ構成が挙
げられる。符号化された符号化ビット列は、WaterMark
付加器１４２Ｂで、範囲bの対象画像領域に、符号化ビ
ット列上の値が操作されて付随情報fが付加される。こ
のWaterMark付加器１４２Ｂとしては、例えば、第２の
従来例で示した図９のWaterMark付加器２と同じ構成が
挙げられる。

【０１２５】図３６（Ｂ）に示したWaterMark付加器１
４１Ｂは、WaterMark付加器１５２ＡとWaterMark付加器
１５２Ｂとを備え、１つの復号器１５３とから構成され
ている。WaterMark付加器１４１Ｂには、符号化ビット
列が入力される。入力された符号化ビット列は、WaterM
ark付加器１５２Ａで、範囲bの対象画像領域に、符号化
ビット列上の値が操作されて付随情報fが付加される。
このWaterMark付加器１５２Ａとしては、例えば、第１
の従来例で示した図９のWaterMark付加器２と同じ構成
が挙げられる。

【０１２６】付随情報fが付加された符号化ビット列
は、そのまま出力される一方で、復号器１５３で画像に
復号される。この復号器１５３としては、例えば、第１
の従来例で示した図１３の復号器５２と同じ構成が挙げ
られる。復号された画像は、WaterMark付加器１５２Ｂ
で、範囲aの対象画像領域に、画像上の画素が操作され
て付随情報fが付加される。このWaterMark付加器５２Ｂ
としては、例えば、第１の従来例で示した図５のWaterM
ark付加器２と同じ構成が挙げられる。

【０１２７】このようにして付加されたWaterMarkを検
出するWaterMark検出器について説明する。図３７
（Ａ）に示したWaterMark検出器１６１Ａは、WaterMark
検出器１６２ＡとWaterMark書換器１６３Ａとから構成
されている。WaterMark検出器１６１Ａには、画像信号
が入力される。入力された画像信号は、WaterMark検出
器１６１Ａで、範囲aの対象画像領域から、画像上の画
素を用いて付随情報fが検出される。このWaterMark検出
器１６１Ａとしては、例えば、第１の従来例で示した図
１４のWaterMark検出器５３と同じ構成が挙げられる。

【０１２８】検出された付随情報fは、WaterMark書換器
１６３Ａに入力され、例えば範囲ａの対象画像領域に、
必要に応じて画像上の画素を操作して付随情報fが書き
換えられる。このWaterMark書換器１６３Ａとしては、
例えば、第１の従来例で示した図５のWaterMark付加器
２と同じ構成が挙げられる。

【０１２９】図３７（Ｂ）に示したWaterMark検出器１
６１Ｂは、基本的に図３７（Ａ）に示したWaterMark検
出器１６１Ａと同様の構成であるが、その動作が異な
る。WaterMark検出器１６１Ｂに入力された符号化ビッ
ト列は、WaterMark検出器１６２Ｂで、範囲ｂの対象画
像領域から、符号化ビット列上の値が用いられて付随情
報fが検出される。このWaterMark検出器１６２Ｂとして
は、例えば、第１の従来例で示した図１７のWaterMark
検出器５３と同じ構成が挙げられる。

【０１３０】検出された付随情報fは、WaterMark書換器
１６３Ｂに入力され、例えば、範囲ｂの対象画像領域
に、必要に応じて符号化ビット列上の値が操作されて付
随情報fが書き換えられる。このWaterMark書換器１６３
Ｂとしては、例えば、第１の従来例で示した図９のWate
rMark付加器２と同じ構成が挙げられる。

【０１３１】なお、WaterMarkの書き換えを行なう際に
は、付加時や検出時のように対象画像領域を範囲ａやｂ
に限定せず、異なる画像領域を対象に書き換えても良
い。この場合、書き換えた付随情報ｆを検出できるよう
に、書き換えを行なう範囲に合わせて検出器を構成す
る。WaterMark書換器１６３Ａ，１６３Ｂで書き換える
付随情報fの内容は、必要であるなら、それぞれ対応す
るWaterMark検出器１６２Ａ，１６２Ｂで検出された付
随情報fとは異なっていても良い。付随情報ｆの書き換
えを行なわない場合には、WaterMark書換器１６３Ａ，
Ｂは省かれ、WaterMark検出器１６２Ａ，１６２Ｂで検
出された付随情報fが、そのまま出力される。

【０１３２】次に、第３の実施の形態について説明す
る、まず、付随情報ｆをどのように保証するかについ
て、一例を挙げて説明する。例えば、付随情報ｆの利用
方法として、同じ内容の付随情報ｆを付加あるいは検出
して用いられることが挙げられる。例えば、どの装置あ
るいは方法でも、付随情報fがonである場合には、その
まま画像を表示するが、付随情報fがoffである場合に
は、画像を表示しない、画像データの主要領域を表示し
ない、画像にスクランブルを掛ける（受けとった画像デ
ータをでたらめに表示する）等の加工あるいは処理を行
なうといった処理が行われる為に用いられる。

【０１３３】このように、どのような装置あるいは方法
においても、同じ内容の付随情報を用いている場合で、
かつ、画像を伝送するアナログの経路では第１の従来
例、符号化ビット列を伝送するディジタルの経路では第
２の従来例、という組み合わせ方を用いる場合を例に挙
げて説明する。付随情報fについて、onである場合に
は、「コピー不可」であるとみなし、offである場合に
は、「一回コピー可」であるとみなすが、コピー時に付
随情報fを必ずonに書き換えるような構成を考えること
にする。

【０１３４】所定の画像の有する付随情報fがoffだった
場合、その画像は「一回コピー可」である。例えば、画
像を伝送するアナログの経路で、この画像情報を受けと
った装置では、コピー時に画像上で付随情報fを必ずon
に書き換える。しかしながら、例えば、市販の符号化器
を用いて、この画像を符号化ビット列に符号化すると、
符号化ビット列上では付随情報fはoffのままであるた
め、もう一回コピーすることが可能となってしまう。な
ぜならば、先の画像上でのコピー時では、画像上の付随
情報fはonに書き換えるが、符号化ビット列に対しても
付随情報fをonに書き換える訳ではないからである。そ
もそも画像上でのコピー時には、その画像に対応した符
号化ビット列というものは存在していないのが普通なの
で、一般には同時に符号化ビット列上で書き換えること
はできない。

【０１３５】上述の例のように、何らかの手段を用い
て、例えば「画像→符号化ビット列」あるいは「符号化
ビット列→画像」のような変換が行なわれると、せっか
く書き換えた付随情報fが有効に機能しないケースが発
生することがある。そこで、一方の装置で検出された
り、書き換えられたりした付随情報ｆを、他方に伝え、
必要に応じ、付随情報ｆを更新することで、付随情報ｆ
を保証していくような構成にすれば、付随情報fを有効
に機能させることが可能となる。

【０１３６】上述したような付随情報ｆの保証を行うた
めに、第３の実施の形態においては、一方の装置で検出
されたり書き換えられたりした付随情報ｆを他方に伝
え、必要に応じて付随情報ｆを更新することで、付随情
報ｆを保証する。以下では、画像を伝送するアナログの
経路では第１の従来例、符号化ビット列を伝送するディ
ジタルの経路では第２の従来例、という組み合わせ方の
場合を例に挙げて説明する。もちろん、第１あるいは第
２の従来例に限定される必要はなく、これ以外のどのよ
うな組み合わせ方でも構わない。

【０１３７】図３８は、第３の実施の形態におけるWate
rMark検出器の構成を示す図である。図３８（Ａ）に示
したWaterMark検出器１７１Ａは、WaterMark検出器１７
２Ａ、符号化器１７３、およびWaterMark書換器１７４
Ａから構成されている。WaterMark検出器１７１Ａに
は、画像信号が入力される。入力された画像信号は、Wa
terMark検出器１７２Ａで、画像上の画素を用いて付随
情報fが検出される。このWaterMark検出器１７２Ａとし
ては、例えば、第１の従来例で示した図１４のWaterMar
k検出器５３と同じ構成が挙げられる。

【０１３８】WaterMark検出器１７２Ａから出力された
画像データは、そのまま出力される一方で、符号化器１
７３で符号化ビット列に符号化される。この符号化器１
７３としては、例えば、第１の従来例で示した図６の符
号化器３と同じ構成が挙げられる。符号化された符号化
ビット列は、WaterMark書換器１７４Ａで、符号化ビッ
ト列上の値が操作されて付随情報fが付加される。このW
aterMark付加器１７４Ａとしては、例えば、第２の従来
例で示した図９のWaterMark付加器２と同じ構成が挙げ
られる。

【０１３９】図３８（Ｂ）に示すWaterMark検出器１７
１Ｂは、WaterMark検出器１７２Ｂ、復号器１７５、お
よびWaterMark書換器１７４Ｂから構成されている。Wat
erMark検出器１７１Ｂには、符号化ビット列が入力され
る。入力された符号化ビット列は、WaterMark検出器１
７２Ｂで、符号化ビット列上の値を用いて付随情報fが
検出される。このWaterMark検出器１７２Ｂとしては、
例えば、第２の従来例で示した図３０のWaterMark検出
器５３と同じ構成が挙げられる。

【０１４０】符号化ビット列はそのまま出力される一方
で、復号器１７５で画像に復号される。この復号器１７
５としては、例えば、第１の従来例で示した図１３の復
号器５２と同じ構成が挙げられる。復号された画像は、
WaterMark書換器１７４Ｂで、画像上の画素が操作され
て付随情報fが付加される。このWaterMark書換器１７４
Ｂとしては、例えば、第１の従来例で示した図５のWate
rMark付加器２と同じ構成が挙げられる。

【０１４１】なお、WaterMark書換器１７４Ａ，１７４
Ｂで書き換える付随情報fの内容は、必要であるなら、W
aterMark検出器１７２Ａ，１７２Ｂで検出された付随情
報fとは異なっていても構わない。

【０１４２】次に、第４の実施の形態について説明す
る。第４の実施の形態においては、付随情報ｆの書き換
え時に、新たに導入した別の装置あるいは方法を用いて
付随情報ｆを付加する点に特徴がある。以下に、一例を
挙げて説明する。前提として、何らかの装置あるいは方
法を用いて、付随情報ｆを付加したり検出したりするシ
ステム（構成）が、既に構築されているとする（以下、
従来のシステムと称する）。この従来のシステムは既に
普及しており、付随情報ｆの利用方法などについては既
に決定され、その利用方法に従って運用されているとす
る。

【０１４３】この従来のシステムの付随情報ｆの利用方
法では対応できないような、何らかの要望が出てきた場
合を考える。その要望の一例としては、「有効期限を任
意に設定するために、従来のシステムでは表現できな
い、コピー時の日時を記録できるようにしたい」という
ようなものが挙げられる。あるいは、「従来のシステム
で付随情報ｆを書き換えた後の画質は劣化が目立つた
め、新たな書き換え装置あるいは方法を導入して、画質
の劣化をより目立たなくしたい」というようなものも考
えられる。

【０１４４】上記のような要望に対応するためには、従
来のシステムに対して、新たに導入した別の装置あるい
は方法を用いることによって、付随情報ｆを書き換え、
管理していくことが挙げられる。ここで、新たに導入し
た別の装置あるいは方法での演算内容は、従来のシステ
ムでの装置あるいは方法とは異なるようにしなくてはな
らない。

【０１４５】なお、上述した例では、従来のシステムが
既に普及している場合の一例を説明したが、第４実施の
形態では、普及しているか否かは本質的に関係なく、ま
た、上述した要望以外のどのような要望でも、従来のシ
ステムとは異なる新たな装置あるいは方法を導入（第４
の実施の形態を適用）しても良い。

【０１４６】図３９は、上述したことを考慮したWaterM
ark書換器の構成を示す図である。まず、図３９では、
入力と出力が同じ場合のWaterMark書換器を示す。図３
９（Ａ）に示したWaterMark書換器１８１Ａは、WaterMa
rk検出器１８２ＡとWaterMark書換器１８３Ａとから構
成されている。WaterMark検出器１８１Ａには、、画像
信号が入力される。入力された画像信号は、WaterMark
検出器１８２Ａで、画像上の画素が用いられて付随情報
fが検出される。このWaterMark検出器１８２Ａとして
は、例えば、第１の従来例で示した図１４のWaterMark
検出器５３と同じ構成が挙げられる。

【０１４７】検出された付随情報fは、WaterMark書換器
１８３Ａに入力され、必要に応じて画像上の画素が操作
されて付随情報fが書き換えられる。このWaterMark書換
器１８３Ａとしては、例えば、第２の従来例で示した図
５のWaterMark付加器２の動作を画像に対して行なうよ
うな構成が挙げられる。

【０１４８】図３９（Ｂ）に示したWaterMark書換器１
８１Ｂは、WaterMark検出器１８２ＢとWaterMark書換器
１８３Ｂとから構成されている。WaterMark書換器１８
１Ｂには、符号化ビット列が入力される。入力された符
号化ビット列は、WaterMark検出器１８２Ｂで、符号化
ビット列上の値が用いられて付随情報fが検出される。
このWaterMark検出器１８２Ｂとしては、例えば、第１
の従来例で示した図１７のWaterMark検出器５３と同じ
構成が挙げられる。

【０１４９】検出された付随情報fは、WaterMark書換器
１８３Ｂに入力され、必要に応じて符号化ビット列上の
値を操作して付随情報fが書き換えられる。このWaterMa
rk書換器１８３Ｂとしては、例えば、第１の従来例で示
した図９のWaterMark付加器２と同じ構成が挙げられ
る。

【０１５０】図４０では、入力と出力が異なる場合のWa
terMark書換器の構成を示した。図４０（Ａ）に示したW
aterMark書換器１９１Ａは、WaterMark検出器１９２
Ａ、符号化器１９３、およびWaterMark書換器１９４Ａ
とから構成されている。WaterMark書換器１９１Ａに
は、画像信号が入力される。入力された画像信号は、Wa
terMark検出器１９２Ａで、画像上の画素が用いられて
付随情報fが検出される。このWaterMark検出器１９２Ａ
としては、例えば、第１の従来例で示した図１４のWate
rMark検出器５３と同じ構成が挙げられる。

【０１５１】画像は、符号化器１９３で符号化ビット列
に符号化される。なお、そのまま出力されることにして
も良い。この符号化器１９３としては、例えば、第１の
従来例で示した図６の符号化器３と同じ構成が挙げられ
る。符号化された符号化ビット列は、WaterMark書換器
１９４Ａで、符号化ビット列上の値が操作されて付随情
報fが付加される。このWaterMark付加器１９４Ａとして
は、例えば、第１の従来例で示した図９のWaterMark付
加器２と同じ構成が挙げられる。

【０１５２】図４０（Ｂ）に示したWaterMark書換器１
９１Ｂは、WaterMark書換器１９２Ｂ、復号器１９５、
およびWaterMark書換器１９４Ｂとから構成されてい
る。WaterMark書換器１９１Ｂには、符号化ビット列が
入力される。入力された符号化ビット列は、WaterMark
検出器１９２Ｂで、符号化ビット列上の値が用いられて
付随情報fが検出される。このWaterMark検出器１９２Ｂ
としては、例えば、第１の従来例で示した図１７のWate
rMark検出器５３と同じ構成が挙げられる。

【０１５３】符号化ビット列は、復号器１９５で画像に
復号される。なお、そのまま出力されることにしても良
い。この復号器１９５としては、例えば、第１の従来例
で示した図１３の復号器５２と同じ構成が挙げられる。
復号された画像は、WaterMark書換器１９４Ｂで、画像
上の画素を操作して付随情報fが付加される。このWater
Mark付加器１９４Ｂとしては、例えば、第１の従来例で
示した図５のWaterMark付加器２の動作を画像に対して
行なうような構成が挙げられる。

【０１５４】WaterMark書換器１８３Ａ，１８３Ｂ，１
９４Ａ，１９４Ｂで書き換える付随情報fの内容は、そ
れぞれ対応するWaterMark検出器１８２Ａ，１８２Ｂ，
１９２Ａ，１９２Ｂで検出された付随情報fとは異なっ
ていても良いし、同じであっても良い。

【０１５５】上述したように、複数の装置（方法）を組
み合わせることにより、それぞれの装置の短所を抑え、
長所を生かすことが可能となる。

【０１５６】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが専用のハードウェアに組み込まれているコンピ
ュータ、または、各種のプログラムをインストールする
ことで、各種の機能を実行することが可能な、例えば汎
用のパーソナルコンピュータなどに、記録媒体からイン
ストールされる。

【０１５７】コンピュータの構成としては、図４１に示
したように、各部の制御を行うCPU（Central Processin
g Unit）３０１、プログラムなどを記憶するROM（Read
Only Memory）３０２、および、適宜データを書き込
み、読み出すRAM（Random Access Memory）３３が内部
バス３０４に接続されている。内部バス３０４には、入
出力インタフェース３０５も接続されている。入出力イ
ンタフェース３０５には、キーボードやマウスなどから
なる入力部３０６、ディスプレイなどからなる出力部３
０７、ハードディスクなどからなる記憶部３０８、モデ
ムなどからなる通信部３０９，および、ドライブ３１０
が接続されている。

【０１５８】ドライブ３１０は、図４１に示すように、
コンピュータとは別に、ユーザにプログラムを提供する
ために配布される、プログラムが記録されている磁気デ
ィスク３２１（フロッピディスクを含む）、光ディスク
３２２（CD-ROM（Compact Disk-Read Only Memory），D
VD（Digital Versatile Disk）を含む）、光磁気ディス
ク３２３（MD（Mini-Disk）を含む）、若しくは半導体
メモリ３２４などから、データを読み出す。記録媒体と
しては、これらのパッケージメディアにより構成される
だけでなく、コンピュータに予め組み込まれた状態でユ
ーザに提供される、プログラムが記憶されているROM３
０２や記憶部３０８が含まれるハードディスクなどで構
成される。

【０１５９】なお、本明細書において、媒体により提供
されるプログラムを記述するステップは、記載された順
序に従って、時系列的に行われる処理は勿論、必ずしも
時系列的に処理されなくとも、並列的あるいは個別に実
行される処理をも含むものである。

【０１６０】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。

【０１６１】

【発明の効果】以上の如く請求項１に記載の情報処理装
置、請求項４に記載の情報処理方法、および請求項５に
記載の記録媒体によれば、入力された情報に、第１の情
報を付加し、第１の情報が付加された情報を符号化し、
符号化された情報に、第２の情報を付加するようにした
ので、画質を劣化させることなく情報を付加させること
が可能となる。

【０１６２】請求項６に記載の情報処理装置、請求項９
に記載の情報処理方法、および請求項１０に記載の記録
媒体によれば、符号化された情報に、第１の情報を付加
し、第１の情報が付加された情報を復号し、復号された
情報に、第２の情報を付加するようにしたので、画質を
劣化させることなく情報を付加させることが可能とな
る。

【０１６３】請求項１１に記載の情報処理装置、請求項
１６に記載の情報処理方法、および請求項１７に記載の
記録媒体によれば、入力された第１の情報から、第２の
情報を除去し、第２の情報が除去された第１の情報に第
３の情報を付加するようにしたので、付加された情報を
保証することが可能となる。

【図面の簡単な説明】

【図１】補助情報の記録位置について説明する図であ
る。

【図２】WaterMarkの記録について説明する図である。

【図３】WaterMarkについて説明する図である。

【図４】エンコーダの構成を示す図である。

【図５】WaterMark付加器の構成を示す図である。

【図６】符号化器３の構成を示す図である。

【図７】図５に示したWaterMark付加器の動作を説明す
るフローチャートである。

【図８】エンコーダの他の構成を示す図である。

【図９】WaterMark付加器の構成を示す図である。

【図１０】図９に示したWaterMark付加器の動作を説明
するフローチャートである。

【図１１】WaterMarkの付加について説明する図であ
る。

【図１２】デコーダの構成を示す図である。

【図１３】復号器の構成を示す図である。

【図１４】WaterMark検出器の構成を示す図である。

【図１５】図１４に示したWaterMark検出器の動作を説
明するフローチャートである。

【図１６】デコーダの他の構成を示す図である。

【図１７】WaterMark検出器の構成を示す図である。

【図１８】図１７に示したWaterMark検出器の動作を説
明するフローチャートである。

【図１９】不正コピー防止の原理を説明する図である。

【図２０】第１乃至第３のブロックの選択を説明する図
である。

【図２１】DCT係数のDC成分の符号化を説明する図であ
る。

【図２２】DCT係数のDC成分のサイズの符号を説明する
図である。

【図２３】DCT係数のDC成分の差分の符号を説明する図
である。

【図２４】キーデータを説明する図である。

【図２５】WaterMark付加器の構成を示す図である。

【図２６】図２５に示したWaterMark付加器の動作を説
明するフローチャートである。

【図２７】図２６に続くフローチャートである。

【図２８】図２７に続くフローチャートである。

【図２９】ブロックの選択の仕方を説明する図である。

【図３０】WaterMark検出器の構成を示す図である。

【図３１】図３０に示したWaterMark検出器の動作を説
明するフローチャートである。

【図３２】図３１に続くフローチャートである。

【図３３】本発明を適用したWaterMark付加器の構成を
示す図である。

【図３４】本発明を適用したWaterMark検出器の構成を
示す図である。

【図３５】WaterMarkを付加する部分について説明する
図である。

【図３６】WaterMark付加器の構成を示す図である。

【図３７】WaterMark検出器の構成を示す図である。

【図３８】WaterMark検出器の構成を示す図である。

【図３９】WaterMark書換器の構成を示す図である。

【図４０】WaterMark書換器の構成を示す図である。

【図４１】媒体を説明する図である。

【符号の説明】２ WaterMark付加器，３符号化器，５２復号
器，５３ WaterMark検出器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 Ｚ５Ｄ０４４ (72)発明者保坂和寿東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CB19 CC02 CE08 CG07 DA17 5C053 FA13 FA15 FA23 GB36 GB37 JA30 KA24 5C059 KK01 KK43 MA00 PP01 PP04 RC35 SS11 SS20 SS26 UA02 UA05 UA39 5C076 AA02 AA14 AA36 AA40 BA06 BA09 5C078 AA09 BA21 BA42 BA57 BA62 CA14 CA21 DA00 DA01 DA02 DB18 5D044 AB07 DE17 GK17

Claims

【特許請求の範囲】

【請求項１】入力された情報に、第１の情報を付加す
る第１の付加手段と、前記第１の付加手段により前記第１の情報が付加された
前記情報を符号化する符号化手段と、前記符号化手段により符号化された前記情報に、第２の
情報を付加する第２の付加手段とを含むことを特徴とす
る情報処理装置。
【請求項２】前記情報は、画像データであり、前記第１の付加手段は、前記画像データのうちの所定の
位置の画素データを操作することにより、前記第１の情
報を付加し、前記第２の付加手段は、前記符号化手段から出力された
符号化ビット列上の所定の値を操作することにより、前
記第２の情報を付加することを特徴とする請求項１に記
載の情報処理装置。
【請求項３】前記第１の情報と前記第２の情報は、ウ
ォータマークパターンを用いたものであることを特徴と
する請求項１に記載の情報処理装置。
【請求項４】入力された情報に、第１の情報を付加す
る第１の付加ステップと、前記第１の付加ステップの処理で前記第１の情報が付加
された前記情報を符号化する符号化ステップと、前記符号化手段の処理で符号化された前記情報に、第２
の情報を付加する第２の付加ステップとを含むことを特
徴とする情報処理方法。
【請求項５】入力された情報に、第１の情報を付加す
る第１の付加手段と、前記第１の付加手段により前記第１の情報が付加された
前記情報を符号化する符号化手段と、前記符号化手段により符号化された前記情報に、第２の
情報を付加する第２の付加手段とを含むことを特徴とす
るコンピュータが読み取り可能なプログラムが記録され
ている記録媒体。
【請求項６】符号化された情報に所定の情報を付加す
る情報処理装置において、前記符号化された情報に、第１の情報を付加する第１の
付加手段と、前記第１の付加手段により前記第１の情報が付加された
前記情報を復号する復号手段と、前記復号手段により復号された前記情報に、第２の情報
を付加する第２の付加手段とを含むことを特徴とする情
報処理装置。
【請求項７】前記符号化された情報は画像データであ
り、前記第１の付加手段は、前記画像データの符号化ビ
ット列上の所定の値を操作することにより前記第１の情
報を付加し、前記第２の付加手段は、前記復号手段から出力された画
像データのうちの所定の位置の画素データを操作するこ
とにより前記第２の情報を付加することを特徴とする請
求項６に記載の情報処理装置。
【請求項８】前記第１の情報と前記第２の情報はウォ
ータマークパターンを用いたものであることを特徴とす
る請求項６に記載の情報処理装置。
【請求項９】符号化された情報に所定の情報を付加す
る情報処理装置の情報処理方法において、前記符号化された情報に、第１の情報を付加する第１の
付加ステップと、前記第１の付加ステップの処理で前記第１の情報が付加
された前記情報を復号する復号ステップと、前記復号ステップの処理で復号された前記情報に、第２
の情報を付加する第２の付加ステップとを含むことを特
徴とする情報処理方法。
【請求項１０】符号化された情報に所定の情報を付加
する処理のためのプログラムにおいて、前記符号化された情報に、第１の情報を付加する第１の
付加ステップと、前記第１の付加ステップの処理で前記
第１の情報が付加された前記情報を復号する復号ステッ
プと、前記復号ステップの処理で復号された前記情報に、第２
の情報を付加する第２の付加ステップとを含むことを特
徴とするコンピュータが読み取り可能なプログラムが記
録されている記録媒体。
【請求項１１】入力された第１の情報から、第２の情
報を除去する除去手段と、前記除去手段により前記第２の情報が除去された前記第
１の情報に第３の情報を付加する付加手段とを含むこと
を特徴とする情報処理装置。
【請求項１２】前記第１の情報は、画像データであ
り、前記除去手段は、入力された前記画像データの内の所定
の位置の画素データから前記第２の情報を除去すること
を特徴とする請求項１１に記載の情報処理装置。
【請求項１３】前記第１の情報は、符号化された情報
であり、前記除去手段は、入力された前記符号化された情報の符
号化ビット列上の所定の値から前記第２の情報を除去す
ることを特徴とする請求項１１に記載の情報処理装置。
【請求項１４】前記除去手段により前記第２の情報が
除去された前記第１の情報を符号化する符号化手段をさ
らに備え、前記付加手段は、前記符号化手段により符号化された情
報に、前記第３の情報を、前記情報の符号化ビット列上
の所定の値を操作することにより付加することを特徴と
する請求項１２に記載の情報処理装置。
【請求項１５】前記除去手段により前記第２の情報が
除去された前記第１の情報を復号する復号手段をさらに
備え、前記付加手段は、前記復号手段により復号された情報
に、前記第３の情報を、前記情報のうちの所定の位置の
画素データを操作することで付加することを特徴とする
請求項１３に記載の情報処理装置。
【請求項１６】入力された第１の情報から、第２の情
報を除去する除去ステップと、前記除去ステップの処理で前記第２の情報が除去された
前記第１の情報に第３の情報を付加する付加ステップと
を含むことを特徴とする情報処理方法。
【請求項１７】入力された第１の情報から、第２の情
報を除去する除去ステップと、前記除去ステップの処理で前記第２の情報が除去された
前記第１の情報に第３の情報を付加する付加ステップと
を含むことを特徴とするコンピュータが読み取り可能な
プログラムが記録されている記録媒体。