JP2001292428A - 動画像へのデータ・ハイディング方法及びデータ抽出方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】画質の劣化や圧縮効率を損なうことなく，動画
像中に付加情報を埋め込むことである。 【解決手段】複数のフレームで構成された動画像中に情
報を埋め込むデータ・ハイディング方法に関する。情報
を埋め込むための複数のマクロブロックを特定する。埋
め込むデータの内容をマクロブロックのフレーム間予測
のタイプに対応づけた埋め込み規則を定義しておく。こ
の規則は，例えば，ビット”１”を埋め込む場合には，
予測のタイプを両方向予測とし，ビット”０”ならば，
前方予測または後方予測とする。この規則に従って，埋
め込もうとするデータに応じて，埋め込み処理の対象と
して特定されたマクロブロックの予測タイプを強制的に
決定していく。抽出は，埋め込み規則とは逆の関係の抽
出規則を定義しておき，これを参照して，抽出処理の対
象として特定されたマクロブロックの予測タイプから埋
め込まれたビットを抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する利用分野】本発明は、メディア・データ
中にメッセージ・データを隠し込むデータ・ハイディン
グ方法及び隠し込まれたデータを抽出するデータ抽出方
法に関する。

【０００２】

【従来の技術】マルチメディア社会の発達により、多く
のデジタル化された画像情報や音声情報が、インターネ
ット上において、またはＣＤ−ＲＯＭソフトとして流通
されている。これらのデジタル情報は、誰もが簡単に劣
化のない完全なコピーを作成することができるため、そ
の不正な使用やその著作権の保護が問題になってきてい
る。こうした画像データや音声データといったメディア
・データを第三者が不法にコピーすることを防止するた
めに、もとのメディア・データに作者の署名といった別
の情報をメッセージ・データとして隠し込む（ハイディ
ング）技術が注目されて始めている。デジタル化された
画像データ等が違法にコピーされた場合、このコピー中
に隠ぺいされた署名を確認しその出所を特定すること
で、それが違法な行為によるものかどうかを知ることが
できる。このような隠し込みの技術は、「データ・ハイ
ディング」と呼ばれている。

【０００３】図１は、ディジタル化されたデータをディ
スプレー上に表示した中間調画像である。同図（ａ）の
デジタル化された画像であるメディア・データには、同
図（ｂ）に示すような「保母」、「川」、「園児」及び
「鳥」といった写真説明（メッセージ）が隠ぺいされて
いる。メディア・データは、写真などをもとに画像を細
かく分割して、小さな点ごとに明るさや色彩を数値化す
ることにより得られる。その際、画像のもとの数値を意
図的に少しだけ変化させておく。数値の変化がごくわず
かならば、画像の乱れはほとんどなく、人間には気づか
ない。この性質をうまく利用すると、もとの映像に全く
別の情報（メッセージ・データ）を隠し込むことができ
る。このメッセージ・データは、どのような情報でも構
わないが、例えば、格子模様、定規のようなもの、また
は画像の製作者の署名などが挙げられる。メディア・デ
ータに隠ぺいされたメッセージ・データは、特別なプロ
グラムで処理することにより抽出することができる。従
って、この抽出されたメッセージ・データに基づいて、
メディア・データが改ざんされていないかどうかを調べ
ることができる。

【０００４】ところで，動画像圧縮の方法としてよく知
られている方法の一つとして，ＭＰＥＧ(Moving Pictur
e Experts Group)がある。ＭＰＥＧを用いたビデオ・ビ
ットストリーム（メディア・データ）中に何らかの付加
情報（メッセージ・データ）を持たせる場合，ユーザ・
データ用のフィールドを用意しておき，このフィールド
に付加情報を隠し込む方法が一般的に用いられている。
しかしながら，このような方法では，フィールドをメデ
ィア・データから容易に分離することができるため，隠
し込まれた付加情報の検知及び除去が容易であるという
問題がある。

【０００５】

【発明が解決しようとする課題】そこで，本発明の目的
は，フレーム間予測を用いて圧縮された動画像に対して
付加情報を埋め込むための新規な方法を提供することで
ある。

【０００６】また，本発明の別の目的は，動画像に付加
情報を埋め込んでも画質の劣化がほとんど生じない方法
を提供することである。

【０００７】さらに，本発明の別の目的は，埋め込まれ
た情報を動画像中から除去することを困難にすることで
ある。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に，第１の発明は， 複数のフレームで構成された動画
像中に情報を埋め込むデータ・ハイディング方法におい
て，情報を埋め込むための少なくとも１つの埋め込み領
域をフレーム中において特定するステップと，埋め込む
データの内容を埋め込み領域のフレーム間予測のタイプ
に対応づけた埋め込み規則を参照して，埋め込む情報に
応じて，埋め込み領域のフレーム間予測のタイプを決定
するステップとを有するデータ・ハイディング方法を提
供する。

【０００９】この埋め込み領域が存在するフレームは，
両方向予測符号化フレームであることが好ましい。この
場合，フレーム間予測のタイプは，前方予測，後方予
測，両方向予測，及びフレーム内予測から選択されるこ
とが好ましい。

【００１０】また，埋め込み規則は，一方のビットを両
方向予測のタイプに対応づけると共に，他方のビットを
前方予測または後方予測のどちらか一方のタイプに対応
づけることが好ましい。さらに，埋め込み規則は，デー
タの埋め込みの禁止をフレーム内予測のタイプに対応づ
けていてもよい。

【００１１】また，この埋め込み領域に関して，埋め込
み規則に基づき決定されたフレーム間予測のタイプにお
ける予測誤差が，所定のしきい値を越える場合には，こ
の埋め込み領域に対するデータの埋め込みを禁止するよ
うにすることが好ましい。埋め込み規則に基づいて，埋
め込み領域の予測タイプを強制的に決定するため，画質
の劣化が生じる可能性がある。そこで，画質の判断基準
としてしきい値を設けておき，埋め込み規則の適用によ
り，しきい値を越えるような場所には，データを埋め込
まないようにすることが有効である。

【００１２】また，両方向予測符号化フレームにおける
前方予測の参照数または後方予測の参照数が，所定の数
より少ない場合には，このフレーム中の埋め込み領域に
対するデータの埋め込みを禁止するようにしてもよい。
例えば，シーン・チェンジ等が起こると，それに関係し
たフレームは，前方参照数または後方参照数が著しく減
少する。このような場合に，埋め込み規則を適用して，
予測のタイプを強制的に決定すると，画質が著しく劣化
する可能性がある。そこで，参照数をカウントして，所
定のしきい値以下であればそのフレームはデータ埋め込
みの対象としないことが好ましい。従って，別の発明
は，複数のフレームで構成された動画像中に情報を埋め
込むデータ・ハイディング方法において，情報を埋め込
むための埋め込み領域を有するフレームにおける前方予
測の参照数または後方予測の参照数をカウントするステ
ップと，当該参照数が所定の数より多い場合には，埋め
込むデータの内容を埋め込み領域の特性に対応づけた埋
め込み規則を参照して，埋め込む情報に応じて，それぞ
れの埋め込み領域の特性を決定するステップと，当該参
照数が所定の数より少ない場合には，当該フレーム中の
埋め込み領域に対するデータの埋め込みを禁止するステ
ップとを有するデータ・ハイディング方法を提供する。

【００１３】第２の発明は，画像中に情報を冗長性を持
たせて埋め込むデータ・ハイディング方法に関する。ま
ず，画像中に，同一のデータを埋め込むため複数の埋め
込み領域を特定する。次に，埋め込み規則を参照して，
埋め込む情報に応じて，それぞれの埋め込み領域に対し
て同一のデータを埋め込む。例えば，ビット”１”を３
つの埋め込み領域中に埋め込む場合を考える。ビットの
値と埋め込み領域の特性（例えば，予測のタイプ）を規
定した埋め込み規則を参照して，３つの埋め込み領域全
てを，ビット”１”その値に対応した特性にする。これ
により，情報に冗長性を持たせて画像中に埋め込むこと
ができる。

【００１４】第３の発明は，符号化された動画像中に埋
め込まれた情報を抽出するデータ抽出方法に関する。情
報が埋め込まれた少なくとも１つの埋め込み領域を，フ
レーム中において特定する。フレーム間予測のタイプと
埋め込むデータの内容とを対応づけた抽出規則を参照す
ることにより，特定された埋め込み領域に埋め込まれた
データを抽出する。

【００１５】この埋め込み領域が存在するフレームは，
双方向予測符号化フレームであることが好ましく，ま
た，フレーム間予測のタイプは，前方予測，後方予測，
両方向予測，及びフレーム内予測から選択されることが
好ましい。

【００１６】また，抽出規則は，一方のビットを両方向
予測に対応づけると共に，他方のビットを前方予測また
は後方予測に対応づけてもよい。さらに，抽出規則は，
フレーム内予測をデータの埋め込み禁止に対応づけても
よい。

【００１７】第４の発明は，画像中に埋め込まれた，冗
長性を有する情報を抽出するデータ抽出方法に関する。
まず，画像中に，同一のデータが埋め込めれた複数の埋
め込み領域を特定する。そして，埋め込み領域の特性を
抽出されるデータに対応づけた抽出規則を参照して，そ
れぞれの埋め込み領域に埋め込まれたデータを抽出しす
る。その際，それぞれの埋め込み領域から異なるデータ
が抽出された場合には，抽出されたデータごと前記埋め
込み領域の数を比較して，当該数が大きい方のデータを
埋め込まれた情報として特定する。例えば，同一のデー
タ（ビット”１”）が埋め込まれているはずの３つの埋
め込み領域Ａ，Ｂ，Ｃから抽出されたデータがそれぞれ
ビット”１”，ビット”１”，ビット”０”だったとす
る。この場合，ビット”１”を抽出した埋め込み領域の
数は２であり，ビット”０”を抽出した埋め込み領域の
数は１である。当該数が大きい方に係るビットの方が，
より確からしいといえるので，ビット”１”が埋め込ま
れていたと認識される。本来，ビット”１”が埋め込ま
れていれば，３つの埋め込み領域から抽出されるべきビ
ットも”１”であるはずだが，何らかの理由により，埋
め込まれた情報が変化してしまう場合もあり得る。そこ
で，第４の発明のような画像中に埋め込まれた冗長性を
有する情報を抽出する方法が有効である。

【００１８】第５の発明は，複数のフレームで構成さ
れ，フレーム間予測を用いた動画像中に情報を埋め込む
動画像符号化システムに関する。このシステムは，前方
予測を用いて，情報を埋め込むために第１のフレーム中
において特定された埋め込み領域とこの埋め込み領域が
参照する第２のフレーム中の参照領域とに基づいた第１
の予測誤差を求め，後方予測を用いて，埋め込み領域と
この埋め込み領域が参照する第３のフレーム中の参照領
域とに基づいた第２の予測誤差を求め，かつ，両方向予
測を用いて，埋め込み領域とこの埋め込み領域が参照す
る第２のフレーム及び第３のフレーム中の参照領域とに
基づいた第３の予測誤差を求める誤差計算手段と，埋め
込み領域に一のデータを埋め込む場合，埋め込み領域に
おけるフレーム間予測のタイプは前方予測または後方予
測の一方を用いるものと規定すると共に，他のデータを
埋め込む場合，前記フレーム間予測のタイプは両方向予
測を用いるものと規定した埋め込み規則を参照して，埋
め込むべき情報の内容に応じて，埋め込み領域における
フレーム間予測のタイプを決定し，かつ当該決定された
フレーム間予測のタイプに応じて，埋め込み領域が参照
する参照領域を特定するとし，さらに第１，第２または
第３の予測誤差のいずれか一つを特定する決定手段とを
有する。

【００１９】ここで，上記決定手段は，ある埋め込み領
域に関して，埋め込み規則に基づき決定されたフレーム
間予測のタイプにおける予測誤差が，所定のしきい値を
越える場合には，当該埋め込み領域に対するデータの埋
め込みを禁止する第１の禁止手段を含んでいてもよい。
また，この決定手段は，両方向予測符号化フレームにお
ける前方予測の参照数または後方予測の参照数が，所定
の数より少ない場合には，当該フレーム中の前記埋め込
み領域に対するデータの埋め込みを禁止する第２の禁止
手段を含んでいてもよい。

【００２０】第６の発明は，符号化された動画像中に埋
め込まれた情報を抽出する動画像復号化システムに関す
る。このシステムは，情報が埋め込まれた少なくとも１
つの埋め込み領域をフレーム中において特定する特定手
段と，埋め込み領域におけるフレーム間予測のタイプを
埋め込むデータの内容に対応づけた抽出規則を参照し
て，埋め込み領域におけるフレーム間予測のタイプか
ら，埋め込まれた情報を抽出する抽出手段とを有する。

【００２１】第７の発明は，コンピュータにより，複数
のフレームで構成された動画像中に情報を埋め込むデー
タ・ハイディング処理を実行させるために，情報を埋め
込む少なくとも１つの埋め込み領域をフレーム中におい
て特定するステップと，埋め込み領域におけるフレーム
間予測のタイプを埋め込むデータの内容に対応づけた埋
め込み規則を参照して，埋め込む情報に応じて，埋め込
み領域における前記フレーム間予測のタイプを決定する
ステップとを有するプログラムを記録した媒体である。

【００２２】第８の発明は，コンピュータにより，符号
化された動画像中に埋め込まれた情報を抽出するデータ
抽出処理を実行させるために，情報が埋め込まれた少な
くとも１つの埋め込み領域をフレーム中において特定す
るステップと，埋め込み領域におけるフレーム間予測の
タイプを埋め込むデータの内容に対応づけた抽出規則を
参照して，埋め込み領域におけるフレーム間予測のタイ
プから，前記埋め込まれた情報を抽出するステップとを
有するプログラムを記録した媒体である。

【００２３】

【発明の実施の形態】［データの埋め込み］まず，ＭＰ
ＥＧを用いたビデオ・ビットストリーム（メディア・デ
ータ）中に何らかの付加情報（メッセージ・データ）を
埋め込む場合について説明する。ＭＰＥＧでは，過去再
生画像からの前方予測と，未来再生画像からの後方予測
と，前方予測及び後方予測の両方を用いた両方向予測が
用いられている。図２はＭＰＥＧにおけるピクチャの配
列状態を説明するための図である。この図のように，両
方向予測を実現するために，ＭＰＥＧでは，フレームに
Ιピクチャ，Ｐピクチャ，及びＢピクチャという３つの
タイプを規定している。

【００２４】ここで，Ιピクチャはフレーム内符号化
（イントラ符号化）された画像であり，このピクチャ内
のすべてのマクロブロックは，イントラ符号化（フレー
ム内予測符号化）されている。Ｐピクチャはフレーム間
前方予測符号化された画像であるが，このピクチャ内の
一部のマクロブロックはイントラ符号化されている場合
もある。また，Ｂピクチャはフレーム間両方向予測符号
化された画像である。Ｂピクチャ内のマクロブロック
は，基本的に，前方予測，後方予測，または両方向予測
により符号化されているが，イントラ符号化を含む場合
もある。画面の全てをイントラ符号化する画面がΙピク
チャであり，Ιピクチャ及びＰピクチャは原動画像と同
じ順序で符号化される。これに対して，Ｂピクチャは，
Ιピクチャ及びＰピクチャを処理した後に，これらの間
に挿入されるＢピクチャを符号化する。

【００２５】情報（メッセージ・データ）を埋め込む埋
め込み領域は，Ｂピクチャのマクロブロックであり，１
つのマクロブロックに対して１ビットの情報を埋め込む
ことができる。従って，メッセージ・データが多ビット
である場合には，それに応じた数のマクロブロックに対
して埋め込み処理を行う必要がある。図３は，Ｂピクチ
ャ内に配置されたマクロブロックの状態を示す図であ
る。マクロブロックは符号化される単位である。各マク
ロブロックについて，１６画素×１６画素の輝度ブロッ
クに対する動き補償を行い，マクロブロック単位の動き
補償フレーム間予測方式とし，時間的画面相関に基づく
情報圧縮を行う。

【００２６】Ｂピクチャ内のマクロブロックは，予測の
タイプとして，次の４つに分類できる。 ・イントラ・マクロブロック（フレーム内予測マクロブ
ロック） フレーム間予測を行わず，その画面自身の情報だけで符
号化されるマクロブロックである。

【００２７】・前方予測マクロブロック 過去のΙピクチャまたはＰピクチャ（参照フレーム）を
参照することにより，前方予測符号化されるマクロブロ
ックである。具体的には，過去の参照フレーム中で最も
似ている１６画素×１６画素の正方形の領域を探し，そ
の正方形の領域との差分である予測誤差（△Ｐ）及び空
間的な相対位置（動きベクトル）に関する情報を有して
いる。ここで予測誤差△Ｐは，１６画素×１６画素分の
輝度，色差の差分として表現される。なお，似ている正
方形の領域を，どのような基準で選択するかは符号化器
に任されている。

【００２８】・後方予測マクロブロック 表示順で未来の参照フレームを参照することにより，後
方予測符号化されるマクロブロックである。未来の参照
フレーム中で最も似ている領域を探し，その領域との差
分である予測誤差（△Ｎ）及び空間的な相対位置（動き
ベクトル）に関する情報を有している。

【００２９】・両方向予測マクロブロック 過去及び未来の参照フレームを参照することにより，両
方向予測符号化されるマクロブロックである。過去の参
照フレーム中で最も似ている領域及び未来の参照フレー
ム中で最も似ている領域を探し，これら２つの領域との
平均（画素ごとに平均される）との差分である予測誤差
（（△Ｎ＋△Ｐ）／２）及びそれらとの空間的な相対位
置（２つの動きベクトル）に関する情報を有している。

【００３０】メッセージ・データを埋め込むために，ま
ず，埋め込み処理を施す少なくとも１つのマクロブロッ
クを，Ｂピクチャ中で特定しなければならない。これ
は，例えば，Ｂピクチャの１ライン目から３ライン目ま
でに存在するそれぞれのマクロブロック（埋め込み領
域）として定義してもよく，あるフレーム中のマクロブ
ロック全体としてもよい。このようにフォーマットとし
て予め定義しておく他に，位置系列を生成するアルゴリ
ズムを用いて決定することもできる。なお，位置系列の
生成アルゴリズムは，例えば，特願平８−１５９３３０
号（社内整理番号ＪＡ９９６−０４４）に開示されてい
るアルゴリズムを用いることができる。

【００３１】次に，埋め込み処理の対象として特定され
たマクロブロックに対して，埋め込み規則に基づいて，
１つのマクロブロックに対して，１ビットのデータを埋
め込んでいく。この埋め込み規則は，ビット情報をマク
ロブロックの予測のタイプに対応づけたものであり，例
えば，以下のような規則が挙げられる。

【００３２】 （埋め込み規則） 埋め込むビット情報 マクロブロックのフレーム間予測のタイプ ビット”１” 両方向予測マクロブロック（Ｂで表す） ビット”０” 前方予測（Ｐで表す），または 後方予測マクロブロック（Ｎで表す） 埋め込み禁止 イントラ・マクロブロック

【００３３】例えば，メッセージ・データ「１０１０」
を埋め込む場合を考える。この４ビットのデータを，図
３に示す１ライン目の左１番目から４番目までの４つの
埋め込み領域（マクロブロック）に順番に埋め込む。ま
ず，最初のデータは，ビット”１”なので，埋め込み規
則に従って，一番左のマクロブロック（第１の埋め込み
領域）の予測タイプは両方向予測（Ｂ）と決定される。
この場合の予測誤差は，過去の参照フレーム中で最も似
ている領域及び未来の参照フレーム中で最も似ている領
域との平均との差分である予測誤差となる。

【００３４】次のデータは，ビット”０”である。従っ
て，埋め込み規則に従うと，２番目のマクロブロック
（第２の埋め込み領域）の予測タイプは，前方予測
（Ｐ）または後方予測マクロブロック（Ｎ）のいずれか
一方である。この場合，画像の品質劣化を抑制するため
に，前方予測における予測誤差と後方予測における予測
誤差とを比較して，予測誤差が小さいタイプを選択す
る。図３の例では，２番目のマクロブロックは，前方予
測における予測誤差の方が後方予測のそれよりも小さか
ったため，前方予測（Ｐ）が選択されている。

【００３５】同様な手順を第３及び第４の埋め込み領域
に繰り返し適用する。すなわち，左から３番目のマクロ
ブロックの予測タイプは，両方向予測（Ｂ）となり，４
番目のマクロブロックの予測タイプは，後方予測におけ
る予測誤差の方が小さいために，後方予測（Ｎ）と決定
される。

【００３６】このようにして，第１から第４の埋め込み
領域のフレーム間予測のタイプをそれぞれ「ＢＰＢＮ］
とすることにより，メッセージ・データ「１０１０」が
これらの領域中に埋め込まれた。なお，ある埋め込み領
域にビットを埋め込もうとすると，画質が著しく劣化す
る場合がある。この場合には，当該埋め込み領域へのビ
ットの埋め込みは行わず，その領域の予測タイプは，
「埋め込み禁止」を示すイントラとする。これはついて
は後述する。

【００３７】［データの抽出］上記の手順により埋め込
まれたメッセージ・データを抽出する方法について説明
する。メッセージ・データを抽出する場合，まず，メッ
セージ・データが埋め込まれているマクロブロックを特
定するための情報が与えられていなければならない。こ
れは，情報として外部から与えられる場合や，データ自
身中に予め埋め込んでおくことも可能である。その他に
も，埋め込み領域の位置が標準化されている場合や，位
置系列を生成するアルゴリズムを知っていれば，メッセ
ージ・データを抽出することができる。なお，位置系列
を用いたメッセージ・データの抽出方法に関しては，例
えば，上記の特願平８−１５９３３０号に開示された技
術を用いることができる。

【００３８】次に，特定された埋め込み領域における予
測のタイプから，抽出規則を参照して，そこに埋め込ま
れている情報を抽出する。この抽出規則は，マクロブロ
ックの予測のタイプをビット情報に対応づけたものであ
り，抽出の際に情報として与えられていなければならな
い。この規則は，例えば，以下のような規則が挙げられ
る。なお，この抽出規則における予測タイプとビット情
報との対応づけは，上述の埋め込み規則のそれと同様で
ある点に留意されたい。また，予測タイプがイントラの
場合には，当該埋め込み領域には，「ビットは埋め込ま
れていない」と判断する。

【００３９】 （抽出規則） マクロブロックのフレーム間予測のタイプ 抽出されるビット情報 両方向予測マクロブロック（Ｂ） ビット”１” 前方予測（Ｐで表す），または ビット”０” 後方予測マクロブロック イントラ・マクロブロック ビットは埋め込まれていな い

【００４０】図３のようにメッセージ・データが埋め込
まれている場合について説明する。前提として，メッセ
ージ・データは同図の１ライン目の左１番目から４番目
までのマクロブロックに埋め込まれていることは既知で
あるものとする。一番左のマクロブロックの予測タイプ
は両方向予測（Ｂ）であるから，抽出規則を参照して，
ビット”１”が抽出される。２番目のマクロブロックの
予測タイプは，前方予測（Ｐ）であるから，抽出規則に
従って，ビット”０”が抽出される。同様な手順を他の
マクロブロックについても繰り返し適用することによ
り，順次，ビット”１”，”０”が抽出される。その結
果，メッセージ・データ「１０１０」がこれらの領域中
から抽出される。

【００４１】もし，一番右のマクロブロックの予測タイ
プが，イントラであるならば，上記抽出規則により，
「このマクロブロックにはビットは埋め込まれていな
い」と判断される。その結果，メッセージ・データは
「１０１」となる。

【００４２】[画質への対策（しきい値の導入）]ＭＰＥ
Ｇにおけるマクロブロックの予測のタイプは，各ピクチ
ャに許されている範囲内で，エンコーダが自由に選ぶこ
とができる。一般的には，マクロブロックの予測タイプ
は予測誤差が一番小さなタイプを選択している。しかし
ながら本実施例における特徴は，埋め込み規則に従って
マクロブロックの予測タイプを選択している点である。
抽出規則における予測タイプとビット情報の関係は，埋
め込み規則が規定する関係と同じであるから，この抽出
規則を参照することにより，埋め込まれたデータを正確
に抽出することができる。

【００４３】但し，埋め込み規則に従って予測タイプを
決定すると，画像の品質劣化が視覚的に認識できるほど
に予測誤差の大きな予測タイプを選択する可能性があ
る。予測誤差は，画素ごとの差の絶対値の和や二乗和が
用いられることが多いが，どのような基準を使うかはＭ
ＰＥＧでは規定していないため，エンコーダの自由であ
る。しかしながら，どのような基準であれ，あまり予測
誤差が大きな予測タイプを選択すると画像の品質劣化が
生じてしまう。そこで，予測誤差に関して，あるしきい
値を予め設定しておき，選択された予測タイプにおける
予測誤差が，このしきい値よりも大きい場合には，その
マクロブロックには，ビットの埋め込みを行わないよう
にすることが好ましい。この場合，マクロブロックの予
測タイプは，上記の埋め込み規則に従って，「イント
ラ」にする。この点を図４を参照して，さらに詳細に説
明する。

【００４４】図４は，マクロブロックの予測タイプと予
測誤差の関係を説明するための図である。この図におい
て，縦軸は予測誤差を表し，予測誤差が大きいほど画質
の劣化が大きいことを示している。また，許容される予
測誤差の程度，すなわち画質の劣化が生じないとする判
断基準としてしきい値が設定されている。図中で，一本
の縦棒で結ばれている三本の短い横棒(i)，(ii)，(iii)
は，マクロブロックの前方予測，後方予測，及び両方向
予測の３つの予測誤差の値のどれかを示している。しき
い値と３つの予測誤差との関係に着目すると，マクロブ
ロックは，４つのタイプ(a)，(b)，(c)，(d)に分類でき
る。すなわち，３つの予測誤差がいずれもしきい値より
も小さい場合（タイプ(a)），いずれか１つの予測誤差
がしきい値を越えている場合（タイプ(b)），２つの予
測誤差がしきい値を越えている場合（タイプ(c)），そ
していずれの予測誤差もしきい値を越えている場合（タ
イプ(d)）である。

【００４５】タイプ(d)のマクロブロックに関しては，
どのようなタイプを選択しても，予測誤差がしきい値を
越え画質の劣化が大きいため，このタイプのブロックを
埋め込み領域として使用することは好ましくはない。こ
の場合，このマクロブロックは，埋め込み規則に従っ
て，イントラ・マクロブロックになる。但し，ＭＰＥＧ
において，Ｂピクチャ中のほとんどのマクロブロック
は，フレーム間予測（前方予測，後方予測，または両方
向予測）となるため，実際にこのタイプのマクロブロッ
クが出現する確率は高くない。

【００４６】また，タイプ(a)のマクロブロックに関し
ては，どのような予測タイプを選択しても，予測誤差が
しきい値を越えることはない。すなわち，どのようなデ
ータを埋め込んでも，画質の劣化は目立たないので，こ
のマクロブロックを埋め込み領域として使用することが
できる。また，また，タイプ(b)に関しても，このブロ
ックを埋め込み領域として使用しても画質の劣化は生じ
ないものと思われる。通常は，両方向予測誤差は，３つ
の予測誤差のうちで最悪になることはない（すなわち，
横棒(i)になることはない）。上述の埋め込み規則に従
えば，ビット”１”及びビット”０”のどちらもしきい
値を越えることなくこのタイプのブロックに埋め込むこ
とができる。従って，上述の埋め込み規則を用いた場
合，画質の劣化をほとんど生じることなく，タイプ(a)
及びタイプ(b)のマクロブロック中にビットを埋め込む
ことができる。

【００４７】なお，タイプ(c)に関しては，このブロッ
クを埋め込み領域として用いることは原則的に好ましく
ない。両方向予測誤差が横棒(iii)の場合，前方予測誤
差及び後方予測誤差はともにしきい値を越えてしまうた
め，埋め込むビットによっては，画質劣化が生じてしま
うからである。但し，この場合であっても，実際に埋め
込もうとするビットに対応した予測タイプにおける予測
誤差がしきい値を越えない場合（例えば，埋め込み規則
に従い，あるデータを埋め込んだ時，それが横棒(iii)
で示すしきい値以下の予測誤差となる場合）には，この
タイプのブロックを埋め込み領域と使用することは可能
である。

【００４８】以上の点に鑑み，データを埋め込もうとす
るあるマクロブロックに関して，３つの予測誤差を求め
ておき，埋め込み規則に基づいて決定された予測タイプ
の予測誤差が，所定のしきい値を越える場合には，この
マクロブロックに対するデータの埋め込みを禁止するこ
とが好ましい。この場合，埋め込みを禁止するマクロブ
ロックの予測タイプは，上述の埋め込み規則に従って，
イントラとなる。

【００４９】なお，タイプ(d)のイントラ・マクロブロ
ックに関しては，データの埋め込みには使わずに無効ビ
ットとするが，上述のように実際にはその出現率は高く
ないため，埋め込む情報に冗長性が許される場合には誤
り訂正符号化で補うことができる。

【００５０】本実施例によれば，動画像の符号化する際
に，マクロブロックの予測タイプと埋め込むビットとを
関連づけて決定している。従って，動画像の圧縮効率に
ほとんど影響を与えることなく，また画質の劣化がほと
んど生じることなく，動画像中にメッセージ・データを
埋め込むことができる。さらに，このようにして埋め込
まれたメッセージ・データを動画像中から除去すること
は非常に困難である。さらに，埋める情報量は，画像の
内容にほとんど依存することないので，効率的にメッセ
ージ・データを埋め込むことが可能である。

【００５１】［画質への対策（シーンチェンジへの対
策）］シーンチェンジが起こった場合，その前後のΙま
たはＰピクチャに挟まれたＢピクチャ中のマクロブロッ
クのほとんど，図４に示したタイプ(c)のようになるこ
とが知られている。図５はシーンチェンジが起こった場
合の参照画像を説明するための図である。同図(a)は，
シーンチェンジがない場合を示しており，同図(b)は，
ピクチャ２とピクチャ３との間でシーンチェンジが起こ
った場合を示している。なお，同図(a)(b)は共に，両端
の２つのピクチャはΙまたはＰピクチャであり，中央の
２ピクチャはＢピクチャである。また図示した矢印はフ
レーム間の参照関係を示している。

【００５２】シーンチェンジがなければ，Ｂピクチャ
は，両方向予測マクロブロックが多数存在している。し
かしながら，同図(b)のようなシーンチェンジが生じる
と，図４のしきい値よりも誤差が小さくなるような，ピ
クチャ２中の後方予測マクロブロックの数が極端に減少
し，そのほとんどが前方予測マクロブロックになる。ま
た図４のしきい値よりも誤差が小さくなるような，ピク
チャ３中の前方予測マクロブロックの数も極端に減少
し，そのほとんどが後方予測マクロブロックになる。従
って，このようなピクチャ中にデータを埋め込むことは
好ましくない。そこで，前方予測マクロブロック及び後
方予測マクロブロックの数をモニターして，これらの数
があるしきい値以下になった場合には，シーンチェンジ
が起こったものと判断して，このようなピクチャ中には
データを埋め込まない（埋め込み規則に従って，予測タ
イプを「イントラ」にする）ことが好ましい。

【００５３】［画質への対策（オクルージョンへの対
策）］オクルージョンとは，あるオブジェクトが移動す
ることにより，その後ろに隠れていた物が突然出現した
り，逆に隠れたりすることをいう。オクルージョンが起
きた場合，ピクチャ全体の内のオクルージョンに係るマ
クロブロックは，図４(c)のタイプになる。この場合，
上述したように，埋め込み規則によって決定された予測
タイプの予測誤差がしきい値より小さければ問題はない
が，そうでない場合には画質の劣化を生じる。画質を重
視する場合，誤り訂正符号を用いてこの劣化を回避する
ことができる。つまり，一つのマクロブロックで１ビッ
トの情報を表現するのではなく，情報に冗長度を持たせ
て，複数のマクロブロックで１ビット相当の情報を表
す。この場合，１つの埋め込み領域は，こららの複数の
マクロブロックの組で構成されることになる。

【００５４】例えば，３個のマクロブロックで１ビット
相当の情報を表す場合を考える。この場合，３つのマク
ロブロックのうちの１つが表したいビットとは反対の予
測タイプであっても，残りの２つから正しくビットを表
現することができる。ある１ビットの情報を表すマクロ
ブロックの組（ここでは３つのマクロブロック）に，所
定の個数以上のイントラ・マクロブロックが含まれてい
れば，その組にはデータを埋め込まないようにする。逆
に，３つのマクロブロックの内の２つ以上が図４(c)の
タイプになったら，そのうちのどれかをイントラにし
て，「データが埋め込まれていない」ことを明示する必
要がある。

【００５５】オクルージョンが起きた場合，オクルージ
ョンに係る部分に存在する互いに隣接した複数のマクロ
ブロックが，同時に図４のタイプ(c)の状態になること
が考えられる。このような点に鑑み，誤り訂正符号を構
成する一組のマクロブロックは，ピクチャ中で離れた位
置に存在するマクロブロックを利用することが望まし
い。

【００５６】なお，上記の記載は，ＭＰＥＧを例に説明
したが，本発明は，ＭＰＥＧに限定されるものではな
く，フレーム間予測符号化を用いたその他の画像圧縮方
法に対しても適用できるのは当然である。その意味で，
本明細書でいう埋め込み領域は，マクロブロックに限定
されない。

【００５７】また，上述した埋め込み規則及び抽出規則
は，一例であって本発明はこれに限定されるものではな
く，さまざまな規則を用いることができる。例えば，前
方予測マクロブロックをデータ”０”に，後方予測マク
ロブロックをデータ”１”に，そして両方向予測マクロ
ブロックをデータ”２”にそれぞれ対応付けて，１つの
マクロブロックに３値データを埋め込むことも可能であ
る。

【００５８】さらに，上記の例は，Ｂピクチャ，すなわ
ち両方向予測フレームを例に説明したが，Ｐピクチャに
データを埋め込むことも可能である。Ｐピクチャを構成
するマクロブロックのタイプは，前方予測及びイントラ
であるから，これビットに対応づければよい。但し，画
質の劣化及びデータ量の増大を抑制する観点からは，上
記のようにＢピクチャ中に埋め込む方がが優れている。
イントラであるべきマクロブロックを，埋め込み規則に
より強制的に前方参照にしてしまうと，画質が劣化して
しまうし，その逆ではデータ量が増大するからである。

【００５９】

【実施例】［動画像符号化システム］図６は，本発明を
用いた動画像符号化システムのブロック図である。メモ
リ６１中には，複数のフレームからなる動画像データが
記憶されている。フレーム・メモリ６２には，過去のフ
レームに関するデータが記憶されていて，フレーム。メ
モリ６３には，表示順で未来のフレームに関するデータ
が記憶されている。

【００６０】領域特定器６４には，付加情報として埋込
むデータの埋め込み場所を特定する。これにより，少な
くとも１つのマクロブロックがフレーム中に特定され
る。

【００６１】誤差計算器６５は，フレーム・メモリ６
２，６３に記憶されているデータに基づいて，前方予測
誤差，後方予測誤差，及び両方向予測誤差を求める。前
方予測誤差は，前方予測を用いて，埋め込み領域とこの
埋め込み領域が参照する第２の前方のフレーム中の参照
領域とから計算される。後方予測誤差は，後方予測を用
いて，埋め込み領域とこの埋め込み領域が参照する後方
のフレームの参照領域とから計算される。そして，両方
向予測誤差は，両方向予測を用いて，埋め込み領域とこ
の埋め込み領域が参照する前方及び後方の両フレーム中
の参照領域とから計算される。

【００６２】決定器６６は，埋め込み規則を参照して，
埋め込み領域であるマクロブロックの特性を操作するこ
とにより，埋込むデータを埋め込み領域に埋め込む。こ
の埋め込み規則は，具体的には，埋め込み領域に一のデ
ータを埋め込む場合，埋め込み領域における予測タイプ
は前方予測または後方予測の一方を用いるものと規定し
ている。また，他のデータを埋め込む場合，予測タイプ
は両方向予測を用いるものと規定している。決定器６６
は，埋め込むべき情報の内容に応じて，埋め込み領域に
おけるフレーム間予測のタイプを決定し，かつ当該決定
されたフレーム間予測のタイプに応じて，埋め込み領域
が参照する参照領域を特定すると共に，第１，第２また
は第３の予測誤差のいずれか一つを特定する。

【００６３】その後，符号化器６７は，決定器６６より
出力された信号を符号化する。

【００６４】ここで，決定器６６は，，ある埋め込み領
域に関して，埋め込み規則に基づき決定されたフレーム
間予測のタイプにおける予測誤差が所定のしきい値を越
える場合には，当該埋め込み領域に対するデータの埋め
込みを禁止するように設計されている。これにより，埋
め込みによる画質の劣化を防止している。また，決定器
６６は，両方向予測符号化フレームにおける前方予測の
参照数または後方予測の参照数が所定の数より少ない場
合には，当該フレーム中の埋め込み領域に対するデータ
の埋め込みを禁止ように設計されている。これらの参照
数をカウントすることでシーン・チェンジを検出でき
る。シーン・チェンジが生じた場合には，それに関係す
るフレームに対して埋め込みを行わないようにしている
ので，画質劣化を防止できる。

【００６５】［動画像復号化システム］図７は，本発明
を用いた動画像復号化システムのブロック図である。メ
モり７１には，付加情報が埋め込まれた符号化された動
画像データが記憶されている。領域特定器７２は，付加
情報が埋め込まれた少なくとも１つの埋め込み領域をフ
レーム中において特定するためのものである。抽出手段
７３は，抽出規則を参照して，埋め込み領域におけるフ
レーム間予測のタイプから，そこに埋め込まれた付加情
報を抽出する。そして，復号化器７４により，抽出器７
３から出力された符号化データが復号化され，これによ
り動画像が再生される。

【００６６】［フィンガー・プリントの埋め込み］ＭＰ
ＥＧにおいて，Ｂピクチャは他のピクチャから参照され
ることはないので，Ｂピクチャ中のマクロブロックの予
測タイプを変更しても他のピクチャに影響を及ぼすこと
はない。このことを利用して，フィンガー・プリントを
埋め込むことができる。フィンガー・プリントとは，所
有者ごとに異なった固有の情報である。フィンガー・プ
リントの典型的な利用例は，動画像データを第三者に発
行する際に、発行者が、発行先である第三者を特定でき
るようなマークを予め動画像中に埋め込んでおく場合で
ある。このようにしておけば、違法コピーなどの不正な
行為が行われば場合、そのコピーのソースを特定するこ
とができるので、この第三者が不正に流通している場合
には、違法コピー分の料金を請求することができる。ま
た，暗号化された映像商品に正当な所有者登録情報を与
えて，それに応じたフィンガー・プリントを埋め込むこ
とも考えられる。

【００６７】フィンガー・プリントを埋め込む場合，基
本的には，ＭＰＥＧエンコードの際に生成される「両方
向予測マクロブロック」及び「予測誤差がより小さな前
方予測マクロブロックまたは後方予測マクロブロック」
の両方を保持しておく。そして，発行先である第三者に
応じて適切な方を選択する。このようにしても，他のピ
クチャまたは当該ピクチャのマクロブロックより上位の
データ階層（例えば，スライス）には何ら影響を及ばさ
ない。

【００６８】

【効果】このように本発明によれば，動画像の圧縮効率
にほとんど影響を与えることなく，また画質の劣化がほ
とんど生じることなく，動画像中にメッセージ・データ
を埋め込むことができる。また，動画像の符号に必須な
部分にメッセージ・データを埋め込んでいるため，メッ
セージ・データを動画像中から画質を損なわずに除去す
ることは困難である。さらに，埋める情報量は，画像の
内容にほとんど依存することないので，効率的にメッセ
ージ・データを埋め込むことが可能である。

【図面の簡単な説明】

【図１】ディジタル化されたデータをディスプレー上に
表示した中間調画像である。

【図２】ＭＰＥＧにおけるピクチャの配列状態を説明す
るための図である。

【図３】Ｂピクチャ内に配置されたマクロブロックの状
態を示す図である。

【図４】マクロブロックの予測タイプと予測誤差の関係
を説明するための図である。

【図５】シーンチェンジが起こった場合の参照画像を説
明するための図である。

【図６】動画像符号化システムのブロック図である。

【図７】動画像復号化システムのブロック図である。

【符号の説明】

６１・・・メモリ ６２，６３・・・フレーム・メモリ ６４・・・領域特定器 ６５・・・誤差計算器 ６６・・・決定器 ６７・・・符号化器

フロントページの続き (72)発明者 前田 潤治 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 森本 典繁 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内

Claims (5)

【特許請求の範囲】
1. 【請求項１】画像中に情報を埋め込むデータ・ハイディ
   ング方法であって，前記画像中に，同一のデータを埋め
   込むため複数の埋め込み領域を特定するステップと，埋
   め込むデータの内容を前記埋め込み領域の特性に対応づ
   けた埋め込み規則を参照して，埋め込む情報に応じて，
   それぞれの前記埋め込み領域を同じ特性に決定するステ
   ップとを有し，それぞれの前記埋め込み領域中に同一の
   データを埋め込むことで，情報に冗長性を持たせて画像
   中に埋め込むことを特徴とするデータ・ハイディング方
   法。
2. 【請求項２】画像中に埋め込まれた，冗長性を有する情
   報を抽出するデータ抽出方法であって，前記画像中に，
   同一のデータが埋め込めれた複数の埋め込み領域を特定
   するステップと，前記埋め込み領域の特性を抽出される
   データに対応づけた抽出規則を参照して，それぞれの前
   記埋め込み領域の特性から，それぞれの前記埋め込み領
   域に埋め込まれたデータを抽出するステップと，それぞ
   れの前記埋め込み領域から異なるデータが抽出された場
   合には，抽出されたデータごとに前記埋め込み領域の数
   を比較して，当該数が大きい方のデータを埋め込まれた
   情報として特定するステップとを有することを特徴とす
   るデータ抽出方法。
3. 【請求項３】上記決定手段は，前記両方向予測符号化フ
   レームにおける前記前方予測の参照数または前記後方予
   測の参照数が，所定の数より少ない場合には，当該フレ
   ーム中の前記埋め込み領域に対するデータの埋め込みを
   禁止する第２の禁止手段を含むことを特徴とする請求項
   ４に記載された動画像符号化システム。
4. 【請求項４】画像中に情報を埋め込むデータ・ハイディ
   ング処理を行なうプログラムを含む、コンピュータ読み
   取り可能な記録媒体であって、 前記プログラムがコンピュータに、 前記画像中に，同一のデータを埋め込むため複数の埋め
   込み領域を特定する機能と，埋め込むデータの内容を前
   記埋め込み領域の特性に対応づけた埋め込み規則を参照
   して，埋め込む情報に応じて，それぞれの前記埋め込み
   領域を同じ特性に決定する機能と、 それぞれの前記埋め込み領域中に同一のデータを埋め込
   むことで，情報に冗長性を持たせて画像中に埋め込む機
   能とを実現させる記録媒体。
5. 【請求項５】画像中に埋め込まれた，冗長性を有する情
   報を抽出する処理を行なうプログラムを含む、コンピュ
   ータ読み取り可能な記録媒体であって、 前記プログラムがコンピュータに、 前記画像中に，同一のデータが埋め込めれた複数の埋め
   込み領域を特定する機能と，前記埋め込み領域の特性を
   抽出されるデータに対応づけた抽出規則を参照して，そ
   れぞれの前記埋め込み領域の特性から，それぞれの前記
   埋め込み領域に埋め込まれたデータを抽出する機能と，
   それぞれの前記埋め込み領域から異なるデータが抽出さ
   れた場合には，抽出されたデータごとに前記埋め込み領
   域の数を比較して，当該数が大きい方のデータを埋め込
   まれた情報として特定する機能とを実現させる記録媒
   体。