JP3601566B2 - 情報多重化方法および著作権保護システム - Google Patents

情報多重化方法および著作権保護システム Download PDF

Info

Publication number
JP3601566B2
JP3601566B2 JP33876996A JP33876996A JP3601566B2 JP 3601566 B2 JP3601566 B2 JP 3601566B2 JP 33876996 A JP33876996 A JP 33876996A JP 33876996 A JP33876996 A JP 33876996A JP 3601566 B2 JP3601566 B2 JP 3601566B2
Authority
JP
Japan
Prior art keywords
information
value
dct coefficient
multiplexing
multiplexed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP33876996A
Other languages
English (en)
Other versions
JPH10178642A (ja
Inventor
宏 小川
高雄 中村
洋一 高嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP33876996A priority Critical patent/JP3601566B2/ja
Publication of JPH10178642A publication Critical patent/JPH10178642A/ja
Application granted granted Critical
Publication of JP3601566B2 publication Critical patent/JP3601566B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は情報多重化方法および著作権保護システムに関し、詳しくは、MPEG標準の符号化方式により作成したデジタル画像を、デジタル通信網すなわち有線または無線放送網などの公衆網ないし専用網および情報記録媒体を用いて情報発信・入手・利用を行う際に著作権を保護するのに最適な情報多重化方法およびそれを利用した著作権保護システムに関するものである。
【0002】
【従来の技術】
近年、インターネットの急速な普及や、DVD(Digital Video Disk)の登場、デジタル情報圧縮技術(MPEG:Moving Picture Image Expert Groupなど)の発達により、デジタル画像の情報発信・入手が盛んとなってきた。DVDなどといったデジタル記憶媒体中に記憶されているデジタル画像はWrite−Once方式と呼ばれる、再生装置からのデジタル出力はマスターディスクからのみといった形式をとっているが、本質的な著作権保護にはなっていない。
【0003】
一方、MPEGなどのデジタル画像符号化方式のデータ自体に対する著作権保護については、従来は著作権情報を単にデジタル画像のユーザデータラベルに書き込むだけのもの、もしくは、MPEGのビットストリーム中のデータを単純に他のデータに書き換えるだけといった方法がとられており、画質の大きな劣化を伴うものであった。また、画素値を表すビット列の低位ビットを多重化する著作権情報にしたがって変更するなど、画質を考慮した著作権情報多重化方式も提案されているが、画像データを再符号化することにより多重化した著作権情報が簡単に消えてしまうといった問題があった。
【0004】
【発明が解決しようとする課題】
現在提案されているデジタル画像の著作権保護技術は、画像の劣化が大きく、誰にでも簡単に著作権情報の書換えもしくは著作権情報を消去することが容易である問題点があった。また、デジタル画像自体を暗号化する方法が考えられるが、正当な手続きの後、デジタル画像にかけられた暗号の復号を行った画像に対して同様の問題点があった。
【0005】
本発明の目的は、高い画像の品質を保ったままデジタル画像に著作権情報などの情報を多重化し、情報多重化画像と同様の品質を保ったままの多重化情報への改竄に対しては計算量が困難な強度を持ち、デジタル画像および多重化情報への改竄の有無の事実の判定ができる、MPEG符号化されたデジタル画像に対して画像符号化のシンタックスに適合した情報多重化方法および著作権保護システムを提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明では、著作権管理センタ側に著作権保護対象であるデジタル画像の著作権情報をMPEG符号化方式のシンタックスに適合し、かつデジタル画像の画質が劣化しないようにデジタル画像データの情報多重化可能領域に対して著作権情報を多重化する手段を備え、該著作権管理センタ側にある著作権データベースに情報コンテンツの著作権登録を行うことにより、著作権保護を実現することを特徴とする。
情報多重化は、MPEG符号化画像データの1ブロックを構成するDCT係数行列の各々の係数に対して情報多重化に用いる埋め込み強度の値を予め設定しておき、MPEG符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いる量子化DCT係数を選択し、前記選択された量子化DCT係数を逆量子化して元のDCT係数を得、前記元のDCT係数に対応する前記埋め込み強度の値を用いて、該元のDCT係数の取りうる値の範囲を、各小区間の幅が前記埋め込み強度の値となる小区間に分割し、前記元のDCT係数の値を、小区間ごとに予め定めておいた多重化されうる情報の割り付けにもとづき、前記元のDCT係数の値の最近傍の小区間の境界値を基準として、多重化すべき情報を表わす前記境界値に隣接する小区間内の所定の値になるように変更した後、再量子化する、ことにより行うことを基本とする。
【0007】
本発明によれば、作成済みのMPEG画像に対しても著作権情報の多重化が可能であり、高い画像の品質を保ったままデジタル画像に著作権情報を多重化し、デジタル画像および著作権情報への改竄の有無の判定が可能となる。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は本発明が適用される著作権保護システムの全体的ブロック図である。情報コンテンツ提供者1は、作成した原デジタル画像2に著作権情報の書込および著作権登録を行うために、暗号化装置3であらかじめ配布されている著作権管理センタ6の公開鍵4を用いて暗号化し、該暗号化されたデジタル画像7を有線あるいは無線の伝送路または蓄積媒体による配送経路を用いて著作権管理センタ6へ送る。
【0009】
著作権管理センタ6は、情報コンテンツ提供者1から暗号化されたデジタル画像7を受け取り、復号化装置8で該著作権管理センタ6の秘密鍵9を用いて復号化してデジタル画像10を得る。そして、まず、この復号化されたデジタル画像10が過去に著作権登録されていないかどうかを著作権情報二重登録防止装置11で調べる。これは、デジタル画像10に既に著作権情報二重登録防止フラグが多重化されているかどうかチエックすることで行う。ここで、受け取ったデジタル画像10が著作権登録済みでない場合にのみ、著作権情報多重化装置13により、誤り訂正符号化処理を施した著作権情報12の情報多重化、さらに著作権情報二重登録防止フラグを情報多重化し、著作権情報データベース23へ著作権登録を行う。その後、著作権管理センタ6は、暗号化装置14で情報コンテンツ提供者の公開鍵15を用いて暗号化処理を行い、該暗号化された著作権情報多重化済みのデジタル画像16を、有線あるいは無線の伝送路または蓄積媒体による配送経路を用いて情報コンテンツ提供者1に送る。
【0010】
情報コンテンツ提供者1は、暗号化された著作権情報多重化済みのデジタル画像16を復号化装置17で情報コンテンツ提供者の秘密鍵18を用いて復号化し、画像フォーマットに適合した形式の著作権情報多重化済みのデジタル画像19を得る。
【0011】
この著作権情報多重化済みのデジタル画像19が有線あるいは無線の伝送路、もしくは、DVD,CD−ROMといったデジタル情報記憶媒体による流通および配送経路5を用いて、情報コンテンツ利用者20に提供される。情報コンテンツ利用者20は、著作権情報抽出処理装置21を用いることにより、デジタル画像19から著作権情報22を簡単に得ることができる。
【0012】
以下の実施例の説明では、MPEG標準で符号された動画像データを著作権情報多重化対象のデジタル画像とする。
【0013】
MPEG標準の符号化方式による画像データは、図2のような構造を持っている。ここで、動画像の各フレームまたはフィールドの情報はピクチャスタートコード(PSC)に続くピクチャ層以下に記述される。
各フレームまたはフィールド情報は、図3のように、Intra−Picture(動画像のあるフレーム、あるいはフィールド全体の情報を持つデータ、以下Iピクチャという)、PredictivePPicture(過去のフレーム、あるいはフィールドとの差分情報からなるデータ、以下Pピクチャという)、Bidirectionally−Predictive−Picture(過去および未来のフレームあるいはフィールドとの差分情報からなるデータ、以下Bピクチャという)の3種類のピクチャ形式で符号化される。PピクチャおよびBピクチャでは時間的に離れた他の画像を参照画像とし、その画像との差分値のみを画像情報として符号化している。また、ピクチャはブロックに細分され、ブロック単位でDCT(離散コサイン)変換を行い、適当な量子化係数で量子化され、ハフマン符号化される。
【0014】
各フレームのフィールド情報は、スライススタートコード(SSC)に続くスライス層以下にあるマクロブロック層(MB)内にあり、輝度情報Yを表すブロック層が4つ、色差情報Cb、Crを表すブロック層が2つ、計6つのブロック層により表される。
【0015】
各マクロブロック層は、そのマクロブロックの種類に応じて、量子化特性値、動きベクトルのパラメタ値、ブロック層の個数値、ブロック層などから構成され、大別すると4種類ある。それぞれ一般的に、イントラマクロブロック、動き保証ありマクロブロック、動き保証なしマクロブロック、動き保証あり符号化不要マクロブロックと呼ばれる。イントラマクロブロックは、動きは保証を行わず、画像情報をそのまま符号化しており、常に6つのブロック層を持っている。動き保証ありマクロブロックは、動きベクトルが示す画像を参照画像として用い、その画像との差分値を符号化している。すなわち、動きベクトルのパラメタ値を持っている。動き保証なしマクロブロックは、このマクロブロックと同座標の画像を参照画像として用い、その画像との差分値を符号化している。すなわち、動きベクトルのパラメタ値を持っていない。動き保証あり符号化不要マクロブロックは、動きベクトルにより参照される画像との差分がないものである。動きベクトルは持っている。すなわち、動きベクトルのパラメタ値を持っている。
【0016】
次に、MPEG標準で符号化された画像データを著作権情報多重化対象デジタル画像とする本発明の二、三の実施例について詳述する。
【0017】
〈実施例1〉
図4は、本発明の第一の実施例の著作権管理センタの構成図である。この実施例は、ピクチャがブロックに細分化され、DCT変換されたブロックの画像情報を表すDCT係数の値を変更することにより、著作権情報を符号化画像データに多重化して著作権保護を実現するものである。
【0018】
著作権保護対象であるMPEG標準の符号化方式で符号化された画像データ(符号化画像)39は、まず、著作権情報二重登録防止装置40に送られる。著作権情報二重登録防止装置40は、あらかじめ定義された著作権情報二重登録防止フラグ位置情報38を使って、著作権情報二重登録防止フラグ抽出処理部24で符号化画像39に秘密裏に多重化されている著作権情報二重登録防止フラグ25を抽出し、著作権情報二重登録検証部26で入力された符号化画像39が過去に著作権登録されていないかを調べる。符号化画像39が過去に著作権登録されていない場合のみ、符号化画像46を著作権情報多重化装置42内にあるMPEG標準符号構文解析処理部27に送る。一方、符号化画像39が過去に著作権登録されている場合は、既に登録済みである出力41を情報コンテンツ提供者に通知する。
【0019】
著作権情報多重化装置42のMPEG標準符号構文解析処理部27は、符号化画像46を受け取ると、各ブロック毎の画像情報28に該符号化画像を分離する。各ブロック単位に分割された画像は、著作権情報多重化ブロック選定処理部29により、各フレームを構成するブロックのうち、イントラマクロブロックおよび動き保証ありマクロブロックと動き保証なしマクロブロックのブロックに対して、それぞれブロックの画素値のエントロピーを計算され、あらかじめ決められたしきい値30よりブロックの画素値のエントロピーが大きい場合は、このブロックの画像情報を表すDCT係数が著作権情報多重化処理部31に送られ、あらかじめ決められたしきい値30よりブロックの画素値のエントロピーが小さい場合は、そのブロックの画像情報に対して処理は施されず、そのまま出力バッファ44へ送られる。
【0020】
著作権情報多重化処理部31は、乱数生成器32に乱数生成鍵33を入力することにより乱数34を生成し、これを利用して送られてきたブロックのDCT係数行列のうちひとつのDCT係数を選ぶ。乱数生成鍵33は著作権者のみが知っている情報である。著作権情報多重化処理部31では、選ばれたひとつのDCT係数に対して著作権情報12を1bitずつ多重化し、このプロセスを繰り返すことにより全著作情報12を多重化する。
【0021】
ここで、著作権情報多重化処理部31は、選ばれたDCT係数dctk,lの値に対して、情報多重化ステップ幅35であるrange、情報多重化量子化マトリックス36である[q′i,j]、マクロブロックの量子化特性値quant、MPEGのストリーム内の量子化マトリックス[qi,j]を用いて、α、β、γをそれぞれ、
【0022】
【数2】
Figure 0003601566
【0023】
としたとき、多重化したい情報がγmod2と等しい場合、
【0024】
【数3】
Figure 0003601566
【0025】
多重化したい情報がγmod2と等しくない場合、
【0026】
【数4】
Figure 0003601566
【0027】
の変換を行なうことにより、著作権情報56を多重化する。図5は、この概要を示した図である。ここで、βが埋め込み強度を示す。
【0028】
情報を多重化したブロックには、情報を多重化したDCT係数とは別のDCT係数に情報多重化済みフラグを多重化する。また、著作権情報12を多重化していないブロックは、著作権情報12を多重化したDCT係数に著作権情報多重化未済のフラグを多重化する。
【0029】
同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。
【0030】
ここで、著作権情報多重化を行うことにより、著作権情報多重化済み画像の画素値がデコーダの解釈不能値をとりうる場合がある。デコーダの解釈不能画素値をとる可能性があるのは、著作権情報多重化を行ったブロックであるため、これらのブロックのDCT係数に対して、次のようにして修正を行う。
【0031】
ブロックの画像の画素値行列をpi,j、情報多重化を行ったDCT係数をdctkl、[p1i,j][p2i,j][pi,j]をそれぞれ、(0、0)および(k、l)成分を0に変更、(0、0)および(k、l)成分以外の値をすべて0に変更したDCT行列を逆量子化・逆DCT変換して得られる画素値行列としたとき、集合Lover={(m、n)|pm,n<0orpm,n>M}において(Mの画素値の取り最大値で、8ビット構成では255である)、Loverが空集合でないときに限り、
【0032】
【数5】
Figure 0003601566
【0033】
の変換を行うことにより、著作権多重化を行ったDCT係数行列[dct′i,j]を得る。図6は、この概要を示した図で、白棒グラフが多重化直後のDCT係数の値、黒棒グラフが修正後のDCT係数の値である。
【0034】
DCT係数行列[dct′i,j]をDCT変換・逆量子化・可変長符号割り当てを行い、MPEG標準の符号化方式に変換する。
【0035】
以上の処理を行うことにより、入力画像データ39に対して、著作権情報12が多重化され且つあらゆるMPEGデコーダに解釈可能なMPEG標準の符号化方式による画像データが得られる。著作権管理センタは、MPEGデータに多重化した著作権情報を抽出するための秘密情報37を著作権情報データベース43に登録する。処理が終ったMPEG標準の符号化方式による画像データは出力バッファ44にためられ、著作権情報多重化済み画像データ45として出力される。
【0036】
著作権者は情報コンテンツ利用者に対して、この著作権情報多重化済みのMPEG標準の符号化方式による画像データ45を提供する。流通している情報コンテンツの不正な二次利用や複製に対して、不正使用された情報コンテンツが時間的に一部分残っていれば、情報コンテンツの画質が少々劣化していても、その被害となった対象の情報コンテンツがその著作権者のものであることを著作権者本人のみが知っている乱数生成鍵を用いることで著作権情報を抽出することで証明できる。
【0037】
〈実施例2〉
図7は、本発明の第二の実施例の著作権管理センタの構成図である。この実施例は、予め著作権情報を割り当てたタイルを用意し、マクロブロックの動きベクトルが多重化したい著作権情報が割り当てられたタイルを指すように、マクロブロック層にある動きベクトルのパラメータ値を変更することにより、著作権情報を多重化したMPEG標準の符号化方式による画像データを生成するものである。
【0038】
著作権保護対象であるMPEG標準の符号化方式の画像データ(符号化画像)47は、まず、著作権情報二重登録防止装置48に送られる。著作権情報二重登録防止装置48は、著作権情報二重登録防止フラグ位置情報49を使って、著作権情報二重登録防止フラグ抽出処理部50で符号化画像47に秘密裏に多重化されている著作権情報二重登録防止フラグ51を抽出し、著作権情報二重登録検証部52で入力された符号化画像47が過去に著作権登録されているかを調べる。このようにして、著作権情報二重登録防止装置48では、著作権情報が既に登録されている場合は著作権情報済み出力53を行い、符号化画像が過去に著作権登録されていない場合にのみ、符号化画像54を著作権情報多重化装置55に送る。
【0039】
著作権情報多重化装置55内にあるMPEG標準符号構文解析装置56は、MPEG標準の符号化された画像データ54を受け取ると、マクロブロック毎の情報57に分割する。それらのマクロブロックのうち、マクロブロック選定処理部58により動き保証ありマクロブロックの情報59が、著作権情報多重化処理部60に送られる。
【0040】
動きベクトルのパラメータには、水平成分・垂直成分それぞれ、motion_codeとmotion_rがあり、現在のマクロブロックの動きベクトルの値mvは、参照画像とのフレーム間隔を表すf_code、前マクロブロックの動はベクトルp_mvを使って、
【0041】
【数6】
Figure 0003601566
【0042】
と計算される。
【0043】
著作権情報多重化処理部60は、動き保証ありマクロブロックが持っている動きベクトルの値に対して1bitずつ著作権情報を多重化する。具体的には、著作権情報を割り付けたタイルの幅をstrとしたとき、多重化したい著作権情報が
【0044】
【外1】
Figure 0003601566
【0045】
と等しい場合は変化させず、多重化したい著作権情報が
【0046】
【外2】
Figure 0003601566
【0047】
と等しくない場合は、動きベクトルの値の変更により、参照画像および差分値が変化し、差分画像の画素値を表すDCT係数の値を再符号化する必要があるため、多重化したい著作権情報が
【0048】
【外3】
Figure 0003601566
【0049】
と等しくなるような動きベクトルのうち、再符号化した差分画像のDCT係数を表す可変長符号の符号長が最小となるような動きベクトルを検索し、動きベクトルをその値に変更する。
【0050】
上記変更した動きベクトルり値を〔数6〕を使って逆算し、動きベクトルのパラメータmotion_code′とmotion_r′を得、本来の動きベクトルのパラメータ値motion_codeとmotion_rをmotion_code′とmotion_r′に変更することで、MPEG標準で符号化された画像データを生成する。
【0051】
画像再符号化処理部61は、動きベクトルの著作権情報を多重化した動きベクトルが示す参照画像と画像バッファ62の原画像との差分画像を求め、その差分画像の差分値をDCT係数および量子化を行い、本来のDCT係数を新たに符号化した符号に置き換えたのち、現在のフレーム画像を画像バッファ62に蓄える。 同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。すべてのフレームに処理を施すことにより、著作権情報の多重化を行ったMPEG標準の符号化方式による画像データを得る。
【0052】
著作権管理センタは、MPEGデータに多重化した著作権情報を抽出するための秘密情報68を著作権情報データベース66に登録する。こうして、処理が終了した画像データは出力バッファ64に送られ、著作権情報多重化済み画像データ65が出力される。
【0053】
情報コンテンツ利用者は、この著作権情報を多重化されたMPEG標準の符号化方式による画像データを入手する。情報コンテンツ利用者は著作権情報抽出装置に該画像データを入力することによりその画像の著作権情報を得ることができる。すなわち、著作権情報抽出装置(図1の21)は、MPEG標準の符号化方式による画像データを受け取り、各フレーム毎に画像を復号する。復号されたフレーム内の各マクロブロックの動きベクトルのパラメタから動きベクトルを計算し、著作権情報の抽出を行う。その後、著作権情報抽出装置は、この抽出した著作権情報を繋ぎ合わせて再構成し、著作権情報を情報コンテンツ利用者に提示する。
【0054】
〈実施例3〉
図8は、本発明の第三の実施例の著作権管理センタの構成図である。この実施例は、マクロブロック層にある量子化特性値を変更することにより著作権情報を多重化したMPEG標準の符号化方式による画像データを生成するものである。
【0055】
著作権保護対象であるMPEG標準の符号化方式の画像データ69は、まず、著作権情報二重登録防止装置70に送られる。著作権情報二重登録防止フラグ抽出処理部72は、著作権情報二重登録防止フラグ位置情報71を用いて符号化画像69に秘密裏に多重されている著作権情報二重登録防止フラグ73を抽出し、その情報を使って、著作権情報二重登録検証部74は、入力された符号化画像69が過去に著作権登録されていないか調べる。このようにして、既に登録されている画像データに対しては、著作権情報登録済みの出力75を行い、入力された符号化画像が過去に著作権登録されていない場合のみ、符号化画像76を著作権情報多重化装置77に送る。
【0056】
MPEG標準で符号化されたの画像データは、各フレーム内のマクロブロック毎に動的に量子化の粒度を変更するための量子化特性値が用意されている。著作権情報多重化装置77内にあるMPEG標準符号構文解析処理部78は、符号化画像76を受け取り、各マクロブロック毎の情報79に画像データを分割し、量子化特性値ありマクロブロック抽出処理部80により、各マクロブロックが振り分けられ、量子化特性値を持っているマクロブロック81が著作権情報多重化処理部84に送られ、、量子化特性値を持っていないマクロブロック82はそのまま出力バッファ46へ送られる。
【0057】
著作権情報多重化処理部84は、量子化特性値の値に対して、著作権情報87を1bitずつ多重化する。具体的には、量子化特性値quantを、多重化したい著作権情報 quant mod と等しい場合は変化させず、多重化したい著作権情報がquant mod と等しくない場合は、quantの値を絶対値の値が1減少するように±1することで、量子化特性値に著作権情報12を多重化する。
【0058】
同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。
【0059】
処理が終了した画像データは出力バッファ83に送られ、著作権情報多重化済み画像データ85を出力する。また、著作権管理センタは、MPEGデータに多重化した著作権情報87を抽出するための秘密情報88を著作権情報データベース86に登録する。
【0060】
情報コンテンツ利用者は、入手した著作権情報を多重化されたMPEG標準の符号化方式による画像データ85を著作権情報抽出装置に送ることで、その情報コンテンツの著作権者を知ることができる。すなわち、著作権情報抽出装置は、入手されたMPEG標準の符号化方式による画像データを構文解析し、マクロブロック層の量子化特性値を得る。そして、各量子化特性値から著作権情報を抽出し、再構成することで、情報コンテンツの著作権情報を情報コンテンツ利用者に提示する。
【0061】
〈実施例4〉
上記各実施例を種々組み合わせて、著作権保護システムを構築することも可能である。図9に、一例として上記の3つを組み合わせた第四の実施例を示す。すなわち、この実施例は、ブロックの画像情報を示すDCT係数の値およびマクロブロック層にある動きベクトル値のパラメタおよび量子化特性値にそれぞれ著作権情報の項目を割り振ることで、著作権情報を多重化したMPEG標準の符号化方式による画像データを生成するものである。
【0062】
多重化を行うにあたり、予め多重化する著作権情報を二つの項目に分割し、それぞれ著作権情報A、著作権情報Bとする。
【0063】
著作権保護対象であるMPEG標準の符号化方式の画像データ89は、まず、著作権情報二重登録防止装置90に送られる。著作権情報二重登録防止フラグ抽出部92では、秘密裏に多重化されている著作権情報二重登録防止フラグ93を抽出する。著作権情報二重登録検証部94では、入力された符号化画像89が過去に著作権登録されているかを調べる。このようにして、著作権情報二重登録防止装置90は、入力された符号化画像89が過去に著作権登録されていない場合にのみ、符号化画像96を著作権情報多重化装置97に送り、符号化画像89が過去に著作権登録されている場合は、著作権情報登録済み出力95を行なう。
【0064】
著作権情報多重化装置97内にあるMPEG標準符号構文解析装置98は、符号化画像96を受け取ると、各マクロブロック毎の情報99に分割し、著作権情報多重化処理部100に送る。
【0065】
著作権情報多重化処理部100は、受けとった各マクロブロック毎の情報99が量子化特性値をもっている場合は、マクロブロック層にある量子化特性値を変換することにより、著作権情報101の情報Aを情報多重化する。また同時に、受けとった各マクロブロック毎の情報99が動き補償ありマクロブロックの場合にのみ、マクロブロック層にある動きベクトルのパラメタから動きベクトルを計算し、これを〔数6〕を用いて変換することにより、著作権情報101の情報Bを情報多重化し、画像バッファ102を用いて画像再符号化処理部103でDCT係数を再符号化する。処理が終ったマクロブロックの画像は画像バッファ102に蓄えられる。
【0066】
これらの処理と同時に、著作権情報多重化処理部100は、受けとった各マクロブロック毎の情報99がイントラマクロブロックおよび動き保証ありマクロブロックと動き保証なしマクロブロックのブロックの場合は、それぞれブロックの画素値のエントロピーを計算し、あらかじめ決められたエントロピーの閾値104よりブロックの画素値のエントロピーが大きい場合、情報多重化を行う。
【0067】
DCT係数の値への著作権情報多重化については、著作権情報101の情報AとBそれぞれのハッシュ値を計算し、この値を情報多重化する。具体的には、秘密情報である乱数発生鍵105を用いて乱数発生器106で乱数107を発生させ、これを用いてDCT係数行列内の著作権情報多重化を行うDCT係数を選定し、この値を〔数3〕、〔数4〕を用いて変更することにより、著作権情報101の情報Aおよび情報Bのハッシュ値および動きベクトル・量子特性値に多重化された情報を抽出するための各個人別秘密情報108を情報多重化し、その後、〔数5〕を用いて画素値のレンジオーバの処理を施す。
【0068】
同様の手法を用いて、DCT係数領域には、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に、著作権情報二重登録防止フラグを情報多重化する。処理が終った画像は出力バッファ109に送られ、著作権情報多重化済み画像データ110を出力する。
【0069】
情報コンテンツ利用者は、入手したMPEG標準の符号化方式による画像データ110の著作権情報を知りたい場合、このデータを著作権情報抽出装置に入力する。著作権情報抽出装置は、画像データを受け取り復号を行う。そして、マクロブロック層にある動きベクトルのパラメータから動きベクトルを算出し、情報抽出を行い、これを再構成することにより著作権情報Aを得る。また、マクロブロック層にある量子化特性値から情報抽出を行い、これを再構成することにより著作権情報Bを得る。さらに、秘密情報である乱数発生鍵を用いて、各フレームを構成するブロックの画像情報を表すDCT係数から情報抽出を行い、これを再構成することにより著作権情報Aおよび著作権情報Bそれぞれのハッシュ値を得る。このハッシュ値と先に得た著作権情報Aおよび著作権情報Bのハッシュ値を比較することで、情報コンテンツ利用者が入手したMPEG標準の符号化方式による画像データの改竄事実の有無を判定することができる。著作権情報抽出装置は、情報コンテンツの著作権情報と共に、海賊版でない正規の情報コンテンツであることを情報コンテンツ利用者に提示する。
【0070】
以上、各実施例では、著作権保護システムにおいて、MPEG符号化画像データに著作権情報を多重化するとしたが、本発明の情報多重化方法は、原理的に多重化情報を著作権情報に限る必要はない。
【0071】
また、著作権保護システムを対象とする場合でも、多重化する情報を配布先の利用者ユーザに対応する個別の情報とすることにより、不正コピーを防止するシステムを提供できる。
【0072】
【発明の効果】
以上説明したように、本発明によると、符号化されたデジタル画像に対して、著作権情報やその他の情報を情報コンテンツに多重化することで可能で、既存の符号化されたデジタル画像データに対して原画像が無くとも適用できる。著作権保護システムを対象とした場合、デジタル画像と著作権情報を分離不能にすることで、多重化している著作権情報への改竄を困難にしており、従来の方式よりも高い安全性を持った著作権保護方式システムが実現できる。
また、情報コンテンツ利用者が自分の手元で簡単に著作権情報を入手することができるため、情報コンテンツの販売促進や、海賊版流出の抑止、著作権に対する利用者のモラル向上につながる。また、コンテンツ利用者が簡単に手元で検証できる著作権情報と検証ができない配布先である情報コンテンツ利用者のユーザ情報とを同時に多重化することで、利用者の簡単な著作権情報検証と不正コピー防止といった、より高度な著作権保護も行なうことができる。
【図面の簡単な説明】
【図1】本発明の一実施例の著作権保護システムの全体構成図である。
【図2】MPEG標準の符号化方式による画像データの構造を示す図である。
【図3】各ピクチャの参照関係を示す図である。
【図4】著作権保護システムにおける著作権情報管理センタの第1の実施例の構成図である。
【図5】DCT係数への情報多重化方法の概要を示す図である。
【図6】画素のレンジオーバに対する対処方法の概要を示す図である。
【図7】著作権保護システムにおける著作権情報管理センタの第2の実施例の構成図である。
【図8】著作権保護システムにおける著作権情報管理センタの第3の実施例の構成図である。
【図9】著作権保護システムにおける著作権情報管理センタの第4の実施例の構成図である。
【符号の説明】
1 情報コンテンツ提供者
2 原デジタル画像
3 情報コンテンツ提供者側暗号化装置
4 著作権管理センタの公開鍵
5 無線および有線の伝送路または流通および配送経路
6 著作権管理センタ
7 暗号化されたデジタル画像
8 著作権管理センタ側復号化装置
9 著作権管理センタの秘密鍵
10 復号化されたデジタル画像
11 著作権情報二重登録防止装置
12 著作権情報
13 著作権情報多重化装置
14 著作権管理センタ側暗号化装置
15 情報コンテンツ提供者の公開鍵
16 暗号化された著作権情報多重化済みデジタル画像
17 情報コンテンツ側復号化装置
18 情報コンテンツ提供者の秘密鍵
19 著作権情報多重化済みデジタル画像
20 情報コンテンツ利用者
21 著作権情報抽出装置
22 抽出された著作権情報

Claims (9)

  1. MPEG標準の符号化方式による画像データへ別の情報を多重化する方法であって、
    1ブロックを構成するDCT係数行列の各々の係数に対して情報多重化に用いる埋め込み強度の値を予め設定しておき、
    MPEG符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いる量子化DCT係数を選択し、
    前記選択された量子化DCT係数を逆量子化して元のDCT係数を得、
    前記元のDCT係数に対応する前記埋め込み強度の値を用いて、該元のDCT係数の取りうる値の範囲を、各小区間の幅が前記埋め込み強度の値となる小区間に分割し、
    前記元のDCT係数の値を、小区間ごとに予め定めておいた多重化されうる情報の割り付けにもとづき、前記元のDCT係数の値の最近傍の小区間の境界値を基準として、多重化すべき情報を表わす前記境界値に隣接する小区間内の所定の値になるように変更した後、再量子化することを特徴とする情報多重化方法。
  2. 請求項1記載の情報多重化方法において、MPEG符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いるDCT係数として輝度を表わすDCT係数を選択することを特徴とする情報多重化方法。
  3. 請求項1記載の情報多重化方法において、MPEG符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いるDCT係数として色差を表わすDCT係数を選択することを特徴とする情報多重化方法。
  4. 請求項1乃至3のいずれか1項に記載の情報多重化方法において、各ピクチャを構成するブロックの画素値のエントロピーを計算することにより情報の多重化に適したブロックを選定することを特徴とする情報多重化方法。
  5. 請求項2と請求項3を組み合わせた情報多重化方法であって、輝度を表すDCT係数と色差を表わすDCT係数に別々の情報を多重化することを特徴とする情報多重化方法。
  6. 請求項1乃至5のいずれか1項に記載の情報多重化方法において、ブロックの画像の画素値行列をpi,j、情報多重化を行ったDCT係数をdctk,l,[p1i,j],[p2i,j]は[pi,j]をそれぞれ、(0,0)およびk,l)成分を0に変更、(0,0)および(k,l)成分以外の値をすべて0に変更して得られる画素値行列としたとき、集合Lover={(m,n)}|pm,n<0orpm,n>M}において(ただし、Mは画素値の最大値)、Loverが空集合でないときに限り、
    Figure 0003601566
    の変換を行うことにより、多重化した情報を保持したまま情報を多重化したDCT係数の変更により各ピクチャを構成するブロックの全画素値が所定の範囲内に収まるように類似したブロックの画像を再構成することを特徴とする情報多重化方法。
  7. 請求項1乃至6のいずれか1項に記載の情報多重化方法において、多重化する情報を画像データの著作権情報あるいは配布先の利用者に対応する個別の情報とすることを特徴とする情報多重化方法。
  8. MPEG標準の符号化方式による符号化画像に著作権情報を付加する情報付加装置と、著作権情報をMPEG符号化画像から分離する情報分離装置とを備えた著作権保護システムにおいて、
    前記情報付加装置は、
    1ブロックを構成するDCT係数行列の各々の係数に対して情報多重化に用いる埋め込み強度の値を予め設定しておき、MPEG符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いる量子化DCT係数を選択し、該量子化DCT係数を逆量子化してDCT係数を得、前記元のDCT係数に対応する前記埋め込み強度の値を用いて、該元のDCT係数の取りうる値の範囲を、各小区間の幅が前記埋め込み強度の値となる小区間に分割し、前記元のDCT係数の値を、小区間ごとに予め定めておいた多重化されうる情報の割り付けにもとづき、前記元のDCT係数の値の最近傍の小区間の境界値を基準として、多重化すべき情報を表わす前記境界値に隣接する小区間内の所定の値になるように変更した後、再量子化して、符号化画像データに情報を多重化する第1手段と、
    MPEG符号化画像データ中の各ピクチャを構成するブロックの量子化のステップ値を表わす量子化特性値の値を所定の値で除算して剰余値を求め、前記量子化特性値の値を、多重化すべき情報の値が前記剰余値と等しい場合は変更させず、等しくない場合は、予め定めた値だけ変更するようにして、量子化特性値に情報を多重化する第2手段と、
    を有し、前記第1手段と第2手段の組み合わせで著作権情報をMPEG画像に付加することを特徴とする著作権保護システム。
  9. 請求項8記載の著作権保護システムにおいて、情報分離装置は、情報負荷装置の第1手段と第2手段の組み合わせで多重化された情報を分離し、これらを比較することにより画像および著作権情報の改竄の有無を判定する手段を有することを特徴とする著作権保護システム。
JP33876996A 1996-12-18 1996-12-18 情報多重化方法および著作権保護システム Expired - Lifetime JP3601566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33876996A JP3601566B2 (ja) 1996-12-18 1996-12-18 情報多重化方法および著作権保護システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33876996A JP3601566B2 (ja) 1996-12-18 1996-12-18 情報多重化方法および著作権保護システム

Publications (2)

Publication Number Publication Date
JPH10178642A JPH10178642A (ja) 1998-06-30
JP3601566B2 true JP3601566B2 (ja) 2004-12-15

Family

ID=18321300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33876996A Expired - Lifetime JP3601566B2 (ja) 1996-12-18 1996-12-18 情報多重化方法および著作権保護システム

Country Status (1)

Country Link
JP (1) JP3601566B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704431B1 (en) 1998-09-04 2004-03-09 Nippon Telegraph And Telephone Corporation Method and apparatus for digital watermarking
JP3407869B2 (ja) 1999-06-24 2003-05-19 日本電気株式会社 Dct係数に情報を挿入する方式及びその方法
KR100378222B1 (ko) * 2001-04-21 2003-03-29 주식회사 마크애니 디지털 워터마크의 삽입 및 검출방법과 이를 이용한워터마크 삽입/검출 장치
JP5300741B2 (ja) * 2007-01-12 2013-09-25 シフォルーション ベー フェー ビデオ透かし入れのための方法および装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721788A (en) * 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
JP3599795B2 (ja) * 1993-09-03 2004-12-08 株式会社東芝 画像処理装置
GB9502274D0 (en) * 1995-02-06 1995-03-29 Central Research Lab Ltd Method and apparatus for coding information
JP3109575B2 (ja) * 1996-09-30 2000-11-20 日本電気株式会社 画像データ処理装置
TW312770B (en) * 1996-10-15 1997-08-11 Japen Ibm Kk The hiding and taking out method of data

Also Published As

Publication number Publication date
JPH10178642A (ja) 1998-06-30

Similar Documents

Publication Publication Date Title
US8238435B2 (en) Modifying bitstreams
Lin et al. Issues and solutions for authenticating MPEG video
US6996717B2 (en) Semi-fragile watermarking system for MPEG video authentication
US6421450B2 (en) Electronic watermark system
US6810131B2 (en) Information processing method and apparatus
Carrillo et al. Compression independent reversible encryption for privacy in video surveillance
JP3137022B2 (ja) 動画像エンコード装置
Pröfrock et al. H. 264/AVC video authentication using skipped macroblocks for an erasable watermark
JPH11284843A (ja) ウォ―タマ―クをディジタル画像シ―ケンスのビットストリ―ム表現に組み込むための方法及び装置
JPH08163533A (ja) 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
US20060133477A1 (en) Combined video decoder and watermark creator
Carrillo et al. Compression independent object encryption for ensuring privacy in video surveillance
US20090219987A1 (en) Method and Device for Generating a Marked Data Flow, Method and Device for Inserting a Watermark Into a Marked Data Flow, and Marked Data Flow
JP2007520918A (ja) ビットストリームを符号化又は復号化するための方法及び装置
US7447314B2 (en) Information processing method, information processing apparatus, program, and storage medium
JP2005516560A (ja) 高品質の音響映像作品を処理するための安全化装置
JP3478019B2 (ja) 画像符号化データ作成方法及び画像符号化データ復号化方法
KR20030012487A (ko) 워터마킹 및 해쉬함수 기술을 이용한 동영상 송수신 장치및 방법
JP3601566B2 (ja) 情報多重化方法および著作権保護システム
Su et al. A practical design of content protection for H. 264/AVC compressed videos by selective encryption and fingerprinting
Iwakiri et al. Incomplete cryptography method using invariant Huffman code length to digital rights management
Ait Sadi et al. Content fragile watermarking for H. 264/AVC video authentication
KR100990210B1 (ko) H.264 비디오 콘텐츠의 무결성 인증 및 저작권 보호 방법
JP3971814B2 (ja) 情報多重化方法および情報抽出方法
US10958989B2 (en) Framework for embedding data in encoded video

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111001

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121001

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term