以下、図面を参照し、この発明の実施の形態を説明する。
<第1実施形態>
キャリア信号に電子透かし情報を埋め込んで伝送する埋め込み伝送技術は、電子透かし情報の抽出の際に電子透かし情報の埋め込まれていない元のキャリア信号を必要としないブラインド透かし方式の埋め込み伝送技術と、元のキャリア信号を必要とするノンブラインド透かし方式の埋め込み伝送技術に大別される。以下説明する第1実施形態は、前者のブラインド透かし方式の埋め込み伝送技術に属する。図1は、この発明の第1実施形態による電子透かしの埋め込み装置100の構成を示すブロック図、図2は、同実施形態による電子透かしの抽出装置200の構成を示すブロック図である。なお、埋め込み装置100および抽出装置200の各々は、キャリア信号へ電子透かし情報を埋め込む処理またはキャリア信号から電子透かし情報を抽出する処理を実行する専用のハードウェアとして実現してもよいし、埋め込み処理や抽出処理をコンピュータに実行させるコンピュータプログラムとして実現してもよい。この点は、第2実施形態以降の他の実施形態についても同様である。
まず、電子透かしの埋め込み装置100について説明する。図1に示すように、埋め込み装置100は、帯域分割部110と、帯域合成部130と、これらの間に介挿された複数の埋め込み部120−0、120−1、…と、変調信号生成部140とを有する。なお、図1では、図面が煩雑になるのを防ぐため、複数の埋め込み部120−0、120−1、…のうち2個の埋め込み部120−0および120−1のみが図示されている。
図3は、帯域分割部110の処理内容を説明する図である。本実施形態において、電子透かし情報の担い手となるキャリア信号は、オーディオ波形を一定のサンプリングレートでサンプリングしたオーディオサンプルxp(n)である。帯域分割部110は、このキャリア信号であるオーディオサンプルxp(n)の列を受け取って、互いに異なるM個の帯域に属する帯域キャリア信号に分割する。
さらに詳述すると、帯域分割部110は、窓掛け部と、帯域分割フィルタバンクとにより構成されている(図示略)。ここで、窓掛け部は、オーディオサンプルxp(n)の列を1ブロック当たりNサンプル(N=M/2)のブロックxp(n)(n=0〜N−1)に区切る処理と、現時点までの最新の2ブロック分のオーディオサンプルxp(n)(n=0〜2N−1)に窓関数を乗じて帯域分割フィルタバンクに供給する処理を繰り返す。
帯域分割フィルタバンクは、各々、通過帯域中心角周波数がωi(i=0〜M−1)であるM個の複素係数BPF(Band Pass Filter;帯域通過フィルタ)からなる。各通過帯域中心角周波数ωi(i=0〜M−1)に対応した各複素係数BPFは、窓掛け部から窓関数の乗算された2ブロック分のオーディオサンプルxp(n)(n=0〜2N−1)の列を受け取る都度、受け取ったオーディオサンプル列xp(n)(n=0〜2N−1)に対して、各通過帯域中心角周波数ωiに対応した複素係数を用いたBPF処理を施すことにより、オーディオサンプル列xp(n)(n=0〜2N−1)に含まれた通過帯域中心角周波数ωiの成分を示す複素スペクトラム係数X(ωi)を算出し、帯域キャリア信号として出力する。本実施形態では、このようにして帯域分割部110の帯域分割フィルタバンクから得られるM帯域分の各帯域キャリア信号のうち一部または全部の帯域の各帯域キャリア信号が電子透かし情報を示すシンボル列の埋め込みを行う埋め込み先帯域キャリア信号となる。また、本実施形態では、複数の埋め込み先帯域キャリア信号を、帯域が隣り合ったもの同士の2つの埋め込み先帯域キャリア信号のペアに分け、電子透かし情報のシンボル列を構成する個々のシンボルを、各々2個の埋め込み先帯域キャリア信号の複数のペアに分散させて埋め込む。その際、本実施形態では、1つのシンボルを1つのペアをなす2個の埋め込み先帯域キャリア信号に埋め込む。なお、埋め込み先帯域キャリア信号の各ペアに埋め込むシンボル列は、同一種類の電子透かし情報を示すシンボル列を分解したシンボルであってもよいし、異なる複数種類の電子透かし情報のうちの1種類の電子透かし情報を示すシンボル列であってもよい。帯域分割により得られた複数の帯域キャリア信号のうちいずれを埋め込み先帯域キャリア信号とするかについては、埋め込み装置100と抽出装置200との間で合意されていればよく、埋め込み先帯域キャリア信号の選択方法は任意である。
図1において、埋め込み部120−0および120−1は、複素スペクトラム係数X(ω0)の列からなる埋め込み先帯域キャリア信号と複素スペクトラム係数X(ω1)の列からなる埋め込み先帯域キャリア信号のペアに対して、電子透かし情報を示すシンボルの埋め込みを行う手段である。図示を省略した他の埋め込み部120−2、120−3、…も各2個ずつのペアに分かれている。埋め込み部の各ペアは、各々に与えられる2帯域分の埋め込み先帯域キャリア信号の振幅シーケンスの低域成分(あるいは概形)に対し、埋め込み対象のシンボルを示す2相の変調信号を用いた振幅変調処理を施すことにより、当該系列のシンボル列の埋め込みを行うものである。
変調信号生成部140は、シンボルのキャリア信号への埋め込みのために、埋め込み対象であるシンボルを示し、同じ振幅および周波数を有し、かつ、互いに逆相関係にある2相の変調信号を発生する。2相の変調信号の振幅または周波数は、その変調信号が適用される埋め込み先帯域キャリア信号のペアの帯域に依存して決定される。なお、変調信号生成部140によって発生される変調信号の詳細については後述する。
次に、埋め込み部のペアを構成する各埋め込み部のうち埋め込み部120−0を例に各埋め込み部の構成を説明する。埋め込み部120−0において、絶対値検出部121は、次式に示す絶対値|X(ω
0)|を複素スペクトラム係数X(ω
0)の実数部Re(X(ω
0))および虚数部Im(X(ω
0))から算出する。この絶対値検出部121により順次算出される絶対値|X(ω
0)|の列が埋め込み先帯域キャリア信号の振幅シーケンスである。
また、偏角検出部122は、次式に示す偏角Arg(X(ω
0))を複素スペクトラム係数X(ω
0)の実数部Re(X(ω
0))および虚数部Im(X(ω
0))から算出する。
帯域分割部123は、絶対値検出部121から出力される埋め込み先帯域キャリア信号の振幅シーケンスに対して帯域分割を施す。ある好ましい態様において、帯域分割部123は、前述した帯域分割部110と同様な構成を有しており、絶対値検出部121から得られる複素スペクトラム係数の絶対値|X(ω0)|の列、すなわち、埋め込み先帯域キャリア信号の振幅シーケンスを所定長の区間に分割し、区間毎にフィルタバンクによるフィルタ処理またはFFT処理を施し、互いに異なる帯域に属する複数の複素スペクトラム係数を出力する。この場合、帯域分割により順次得られる最も低域のLm個の複素スペクトラム係数の列が1シンボルの埋め込みを行う単位となる。
他の好ましい態様において、帯域分割部123は、絶対値検出部121から得られる複素スペクトラム係数の絶対値|X(ω
0)|の列、すなわち、埋め込み先帯域キャリア信号の振幅シーケンスに対し、複素型離散ウェーブレット変換を施す手段である。周知の通り、離散ウェーブレット変換は、式(3)に示すような離散的なウェーブレット基底ψ
j,k(t)が与えられている場合に、式(4)に示すように、任意の時間関数f(t)とこのウェーブレット基底ψ
j,k(t)との内積であるウェーブレット係数Wf(j,k)を演算する変換式である。
この離散ウェーブレット変換により各種のj、kに対応したウェーブレット係数Wf(j,k)が得られると、元の時間関数f(t)は、各種のj,kに対応したウェーブレット基底ψ
j,k(t)に対して、ウェーブレット係数Wf(j,k)を重み付け加算した一次結合として近似することができる。
複素ウェーブレット変換部である帯域分割部123は、例えば図4に示すようなフィルタバンクである。この複素ウェーブレット変換部は、複素スペクトラム係数の絶対値|X(ω0)|の列に対する離散ウェーブレット変換を行い、式(4)のウェーブレット係数Wf(j,k)に相当するものとして複素ウェーブレット係数を算出する。
図4に示すように、フィルタバンクである複素ウェーブレット変換部は、複素ウェーブレット係数の実数部を算出するツリーTRaと虚数部を算出するツリーTRbとからなる。ツリーTRaにおいて、LPF1231a、HPF1232a、ダウンサンプラ1233aおよび1234aからなる部分は、絶対値検出部121から与えられる連続したL個の複素スペクトラム係数の絶対値|X(ω0)|に対し、レベル1の帯域分割を行う。さらに詳述すると、LPF1231aは、L個の複素スペクトラム係数の絶対値|X(ω0)|の列の中からj=0のウェーブレット基底ψ0,k(t)とウェーブレット係数Wf(0,k)との一次結合により近似可能な低域成分を選択し、この低域成分を示すL個のサンプルを出力する。ダウンサンプラ1233aは、このLPF1231aから出力されるL個のサンプルを2個に1個の割合で間引くことにより、L/2個のレベル1のウェーブレット係数x0の実数部x0aを出力する。一方、HPF1232aは、L個の複素スペクトラム係数の絶対値|X(ω0)|の列の中から、j=0のウェーブレット基底ψ0,k(t)とウェーブレット係数Wf(0,k)との一次結合に属しない高域成分を選択し、この高域成分を示すL個のサンプルを出力する。ダウンサンプラ1234aは、このHPF1232aから出力されるL個のサンプルを2個に1個の割合で間引くことにより、L/2個のレベル1のウェーブレット係数x1の実数部x1aを出力する。
また、ツリーTRaにおいて、LPF1235a、HPF1236a、ダウンサンプラ1237aおよび1238aからなる部分は、ダウンサンプラ1233aから与えられるL/2個の複素ウェーブレット係数の実数部x0aに対し、レベル2の帯域分割を行う。さらに詳述すると、LPF1235aは、L/2個の複素ウェーブレット係数の実数部x0aの列の中からj=1のウェーブレット基底ψ1,k(t)とウェーブレット係数Wf(1,k)との一次結合により近似可能な低域成分を選択し、この低域成分を示すL/2個のサンプルを出力する。ダウンサンプラ1237aは、このLPF1235aから出力されるL/2個のサンプルを2個に1個の割合で間引くことにより、L/4個のレベル2のウェーブレット係数の実数部x00aを出力する。一方、HPF1236aは、L/2個の複素ウェーブレット係数x00の実数部x0aの列の中から、j=1のウェーブレット基底ψ1,k(t)とウェーブレット係数Wf(1,k)との一次結合に属しない高域成分を選択し、この高域成分を示すL/2個のサンプルを出力する。ダウンサンプラ1238aは、このHPF1236aから出力されるL/2個のサンプルを2個に1個の割合で間引くことにより、L/4個のレベル2のウェーブレット係数x01の実数部x01aを出力する。
以上、ツリーTRaについて述べたが、ツリーTRbもツリーTRaのものと同様なLPF1231b、HPF1232b、ダウンサンプラ1233bおよび1234bからなる部分と、LPF1235b、HPF1236b、ダウンサンプラ1237bおよび1238bからなる部分とにより構成されている。そして、これらの各部の働きにより、絶対値検出部121から与えられる連続したL個の複素スペクトラム係数の絶対値|X(ω0)|の列から、L/2個のレベル1のウェーブレット係数x1の虚数部x1b、L/4個のレベル2のウェーブレット係数x00の虚数部x00bおよびL/4個のレベル2のウェーブレット係数x01の虚数部x01bを算出して出力する。
図4に例示するように、複素ウェーブレット変換部である帯域分割部123がレベル2までの帯域分割を行う場合、絶対値検出部121が出力する複素スペクトラム係数の絶対値|X(ω0)|の列から、3種類のウェーブレット係数x1、x00およびx01の実数部および虚数部が得られる。これらのうちj=0のウェーブレット基底ψ0,k(t)に対応したウェーブレット係数x1の絶対値|x1|は、埋め込み先帯域キャリア信号の振幅シーケンス(具体的には複素スペクトラム係数の絶対値|X(ω0)|のエンベロープ)の詳細な変化を表すものとなる。これに対し、j=1のウェーブレット基底ψ1,k(t)に対応したウェーブレット係数x00の絶対値|x00|は、埋め込み先帯域キャリア信号の振幅シーケンスを最も大雑把に示すもの、すなわち、同振幅シーケンスの概形または低域成分を示すものとなる。
帯域分割部123は、帯域分割部110と同様な構成のものであってもよいし、以上説明したような複素ウェーブレット変換部であってもよいが、以下では、帯域分割部123が複素ウェーブレット変換部である場合を例に他の各部の説明を行う。
図1における絶対値検出部124は、帯域分割部123から出力される埋め込み先帯域キャリア信号の振幅シーケンスの各帯域成分、すなわち、各ウェーブレット係数x
1、x
00およびx
01の実数部および虚数部に基づき、各ウェーブレット係数x
1、x
00およびx
01の絶対値|x
1|、|x
00|および|x
01|を次式に従って算出する。
また、偏角検出部125は、帯域分割部123から得られる各ウェーブレット係数x
1、x
00およびx
01の実数部および虚数部に基づき、各ウェーブレット係数x
1、x
00およびx
01の偏角Arg(x
1)、Arg(x
00)およびArg(x
01)を次式に従って算出する。
乗算器126および加算器127は、絶対値検出部124から出力される埋め込み先帯域キャリア信号の振幅シーケンスの各帯域成分の絶対値、すなわち、ウェーブレット係数の絶対値|x1|、|x00|および|x01|のうち、最も低い帯域に属し、振幅シーケンスの概形を最もよく示していると考えられる絶対値|x00|に対し、振幅変調を施す振幅変調器を構成している。さらに詳述すると、乗算器126は、変調信号生成部140が埋め込み対象であるシンボル列に基づいて発生する変調信号Am0を受け取り、この変調信号Am0をウェーブレット係数の絶対値|x00|に乗算する。そして、加算器127は、この乗算結果とウェーブレット係数の絶対値|x00|とを加算し、振幅変調済みの絶対値(1+Am0)|x00|を出力する。ここで、変調信号Am0は、−1から+1までの振幅を持った基本的な変調信号m0に対し、変調強度Aを乗算した信号である。変調強度Aは、0から1までの範囲の中から選択される。A=1である場合、最大限の振幅変調が行われ、A=0である場合は無変調となる。この変調強度Aがどのように決定されるかについては後述する。
位相再結合部128aは、加算器127から得られる振幅変調済みの絶対値(1+Am0)|x00|)と偏角検出部125から得られる偏角Arg(x00)とを再結合させて、埋め込み先帯域キャリア信号の振幅シーケンスの低域成分を示す複素ウェーブレット係数x00に戻す。また、位相再結合部128aは、絶対値検出部124から得られるウェーブレット係数の絶対値|x1|および|x01|を所定の量子化ステップで量子化し、この量子化後の絶対値に偏角検出部125から得られる各ウェーブレット係数の偏角Arg(x1)およびArg(x01)を各々再結合させて、複素ウェーブレット係数x1およびx01に戻す。このようにして得られる埋め込み先帯域キャリア信号の振幅シーケンスの各帯域成分(複素形式の帯域成分)である各ウェーブレット係数が位相再結合部128bおよび帯域合成部129の処理対象となる。
ここで、位相再結合部128aが振幅変調の対象とならないウェーブレット係数の絶対値|x1|および|x01|に量子化処理を施すのは次の理由によるものである。まず、隣接した帯域のウェーブレット係数同士は、周波数領域で実用的に完全といえる程度までは分離されておらず、オーバラップしている。従って、隣接した帯域のウェーブレット係数のうち振幅変調の対象(電子透かしの埋め込み先)とはならないウェーブレット係数に何ら処理を施さずに後述の複素ウェーブレット逆変換に用いると、そのウェーブレット係数がオーディオサンプル列から電子透かしを抽出する際に外乱として働くことになる。しかし、その一方、振幅変調の対象(電子透かしの埋め込み先)とはならないウェーブレット係数を完全に除去し、振幅変調済みのウェーブレット係数のみを用いて後述の複素ウェーブレット逆変換を行うと、電子透かしの埋め込まれたオーディオサンプル列の音質の劣化につながる。そこで、抽出時における電子透かしの抽出精度と音質とのトレードオフを考慮し、抽出精度と音質の両方を適度に満足させるように、振幅変調の対象とならないウェーブレット係数の絶対値|x1|および|x01|については量子化処理を施すようにしているのである。なお、帯域分割部123が複素ウェーブレット変換部ではなく、帯域分割部110のような構成のものである場合には、このような量子化処理は不要である。
以上述べた位相再結合部128aの処理を経た複素ウェーブレット係数x1、x00およびx01は、帯域合成部129に引き渡される。帯域分割部123が複素ウェーブレット変換部である態様において、この帯域合成部129は、複素ウェーブレット逆変換部である。この複素ウェーブレット逆変換部は、位相再結合部128aから引き渡される3種類の複素ウェーブレット係数x1、x00およびx01に複素ウェーブレット逆変換を施し、複素スペクトル係数の絶対値|X’(ω0)|を出力する。この複素ウェーブレット逆変換は、前掲図4の処理を全く逆にしたものである。すなわち、例えば実数部に着目すると、L/4個の複素ウェーブレット係数の実数部x00aの各間に零サンプルを挿入する2倍アップサンプリングを行った後、フィルタ1235aと逆の伝達関数を持ったフィルタ処理を施すとともに、L/4個の複素ウェーブレット係数の実数部x01aの各間に零サンプルを挿入する2倍アップサンプリングを行った後、フィルタ1236aと逆の伝達関数を持ったフィルタ処理を施し、両フィルタ処理の結果を加算する。これにより、L/2個の複素ウェーブレット係数の実数部x0aが得られる。このような処理をツリーTRaの先端から根本に向けて、また、ツリーTRbの先端から根本に向けて繰り返すことにより複素型離散ウェーブレット変換前の状態に戻すのである。
位相再結合部128bは、このようにして帯域合成部129から得られる複素スペクトル係数の絶対値|X’(ω0)|に対し、偏角検出部122から出力される偏角Arg(X(ω0))を再結合させ、複素スペクトラム係数X’(ω0)を算出する。
以上が埋め込み部120−0の詳細である。
埋め込み部120−1も埋め込み部120−0と基本的に同様な構成であり、帯域分割部110から得られる複素スペクトル係数X(ω1)の振幅シーケンスの概形に対し、埋め込み部120−0が埋め込みを行うのと同じシンボル列を埋め込む。ただし、埋め込み部120−1の乗算器126に相当するものには、埋め込み部120−0の乗算器126に与えられる変調信号Am0に対して、周波数および振幅が同じであり、かつ、逆相関係にある変調信号Am1が変調信号生成部140から供給される。
ここで、変調信号Am0およびAm1とこれらを用いた振幅変調の対象とのタイミング関係を説明するとともに、埋め込み対象であるシンボルと変調信号Am0およびAm1との関係を説明する。図5(a)および(d)は、帯域分割部110が出力する複素スペクトラム係数の絶対値|X(ω1)|および|X(ω0)|を各々示している。また、図5(b)および(e)は、シンボルの埋め込み先となる複素ウェーブレット係数の絶対値|x00|のうち埋め込み部120−1において得られる絶対値|x00(ω1)|および埋め込み部120−0において得られる絶対値|x00(ω0)|を各々示している。そして、図5(c)および(f)は、変調信号生成部140が出力する変調信号Am0およびAm1を各々示している。
図5(a)、(b)に示すように、埋め込み部120−1では、帯域分割部110から出力されるL個の複素スペクトラム係数の絶対値|X(ω1)|を単位として複素型離散ウェーブレット変換が実行され、このL個の複素スペクトラム係数の絶対値|X(ω1)|から得られるL/4個の複素ウェーブレット係数の絶対値|x00(ω1)|が1シンボルの埋め込み先となる。また、図5(d)、(e)に示すように、埋め込み部120−0では、帯域分割部110から出力されるL個の複素スペクトラム係数の絶対値|X(ω0)|を単位として複素型離散ウェーブレット変換が実行され、このL個の複素スペクトラム係数の絶対値|X(ω0)|から得られるL/4個の複素ウェーブレット係数の絶対値|x00(ω0)|が1シンボルの埋め込み先となる。図5(c)、(f)に示すように、変調信号生成部140は、L/4個分の複素ウェーブレット係数の絶対値|x00(ω1)|または|x00(ω0)|の長さを1周期とする三角波の変調信号Am1およびAm0を出力する。ここで、埋め込み対象のシンボルbがビット“0”である場合、変調信号Am1は前半が山、後半が谷となるのに対し、変調信号Am0は前半が谷、後半が山となる。また、埋め込み対象のシンボルbがビット“1”である場合、変調信号Am1は前半が谷、後半が山となるのに対し、変調信号Am0は前半が山、後半が谷となる。このように同一シンボルを表す変調信号Am1およびAm0は、互いに逆相関係となり、また、個々の変調信号Am1またはAm0は、各々が表すシンボルの種類により波形が異なったものとなる。
埋め込み部120−1および120−0は、以上のような共通のシンボルに基づいて発生された変調信号Am1およびAm0を受け取り、各変調信号Am1およびAm0を各々用いた振幅変調を複素スペクトラム係数X(ω1)およびX(ω0)の振幅シーケンスの概形を示す複素ウェーブレット係数の絶対値|x00(ω1)|および|x00(ω0)|に各々施し、共通のシンボルが埋め込まれた複素スペクトラム係数X’(ω0)およびX’(ω1)を発生するのである。
そして、図1における帯域合成部130は、この埋め込み部120−0および120−1から得られる複素スペクトラム係数X’(ω0)およびX’(ω1)と、埋め込み先帯域キャリア信号の処理を行う他の埋め込み部の各ペアから得られる複素スペクトラム係数と、帯域分割部110から出力される埋め込み先帯域キャリア信号の帯域キャリア信号(複素スペクトラム係数)を時間領域の信号に戻して加算するとともに窓掛け処理を行い、電子透かし情報の埋め込まれたオーディオサンプル列xp’(n)を出力する。
さて、上述した帯域分割部110は、キャリア信号を時間軸上においてオーバラップしたブロックに区切って帯域分割を行った。これに対し、埋め込み部120−0および120−1内の帯域分割部123が複素ウェーブレット変換部である態様では、同帯域分割部123は、埋め込み先帯域キャリア信号たる複素スペクトラム係数の絶対値|X(ω0)|および|X(ω1)|の各列を時間軸上においてオーバラップしないL個の絶対値からなるブロックに各々区切り、複素型離散ウェーブレット変換を行い、変調信号生成部140は、このブロック単位で1ビット分の変調信号Am1およびAm0を発生し、振幅変調を行わせる。このように帯域分割とシンボルの埋め込みとでブロックの区切り方が異なる理由は次の通りである。
まず、帯域分割部110では、高い周波数分解能が必要なため、FFTの基底関数のような複素指数関数列を想定して帯域分割を行っている。このため、ブロック間のオーバラップを設けないで帯域分割・合成を行うと、合成時にブロックの両端で信号のレベルの不連続または位相の不連続が生じる。そこで、このような不具合の発生を回避するため、帯域分割部110では、キャリア信号を時間軸上においてオーバラップしたブロックに区切って帯域分割を行っている。
一方、シンボルの埋め込みでは、シンボルを埋め込む各ブロック(この例ではL/4個分の複素ウェーブレット係数の絶対値|x00(ω1)|または|x00(ω0)|)を時間軸上においてオーバラップさせると、シンボルの抽出時に相前後して埋め込まれたシンボル間の干渉が発生する可能性がある。このような干渉が発生するのは好ましくない。また、帯域分割部123として複素ウェーブレット変換部を用いる態様では、埋め込み先帯域キャリア信号の振幅シーケンスの“概形(低い周波数から高い周波数まで一定程度含まれている)”にシンボルを埋め込めば足りるので、複素型離散ウェーブレット変換では厳密な周波数分割が要求されない。そこで、埋め込み先帯域キャリア信号を時間軸上においてオーバラップしないブロックに各々区切り、複素型離散ウェーブレット変換を行っているのである。
次に変調信号生成部140について説明する。変調信号生成部140は、埋め込み先帯域キャリア信号の各ペア毎に、埋め込み対象のシンボルを示し、同じ振幅および周波数を有し、かつ、互いに逆相関係にある2相の変調信号を発生する。本実施形態の特徴は、変調信号生成部140が発生する変調信号の周波数または振幅をその変調信号が適用される埋め込み先帯域キャリア信号のペアの帯域に依存させた点にある。
図6(a)〜(c)は、この変調信号生成部140により発生される変調信号の例を各々示すものである。図6(a)〜(c)において、横軸は時間、縦軸は、変調信号が適用される埋め込み先帯域キャリア信号の周波数であり、図示されている三角波は、各埋め込み先帯域キャリア信号の振幅シーケンスの低域成分の変調に用いられる変調信号波形である。
図6(a)に示す例では、最も低い周波数の埋め込み先帯域キャリア信号のペア(角周波数ω0およびω1)に適用される変調信号の周波数はfm、中くらいの周波数の埋め込み先帯域キャリア信号のペア(角周波数ωiおよびωi+1)に適用される変調信号の周波数は2fm、最も高い周波数の埋め込み先帯域キャリア信号のペア(角周波数ωjおよびωj+1)に適用される変調信号の周波数は3fmとなっている。すなわち、この例では、埋め込み先帯域キャリア信号のペアの周波数帯域が高くなる程、変調信号の周波数を高くしている。
本実施形態では、変調信号の1周期分の長さをシンボルフレーム長としている。従って、このように、埋め込み先帯域キャリア信号のペアの周波数帯域毎に変調信号の周波数を変える態様では、埋め込み先帯域キャリア信号の各ペアを処理する埋め込み部の各ペア間で、シンボルフレーム長は異なったものとなる。すなわち、次の通りである。
まず、最も低い周波数の埋め込み先帯域キャリア信号のペア(角周波数ω0およびω1)を処理する埋め込み部120−0および120−1のペアには、最も低い周波数fmを持った変調信号が与えられる。そこで、埋め込み部120−0および120−1のペアでは、シンボルフレーム長1/fm相当の個数の複素スペクトル係数の列(時間軸方向の列)を単位として、帯域分割部123による帯域分割を行って所定個数の複素ウェーブレット係数(または複素スペクトラム係数)の列を発生し、この係数の列の各絶対値に1周期分の変調信号を乗算することにより1シンボルの埋め込みを行う。
他の周波数の埋め込み先帯域キャリア信号のペア(角周波数ωiおよびωi+1や角周波数ωjおよびωj+1等)を処理する各埋め込み部のペアには、他の周波数(例えば2fm、3fm等)の変調信号が与えられる。そこで、これらの各埋め込み部のペアでは、各々に与えられる変調信号の周波数の逆数を1シンボルフレーム長として、帯域分割部123による帯域分割および1シンボル分の変調信号による変調処理を行うのである。
図6(a)の例のように、埋め込み先帯域キャリア信号の帯域に合わせて変調信号の周波数を変化させる場合、次の利点がある。まず、埋め込み先帯域キャリア信号の振幅シーケンスの低域成分は、振幅変動を持っており、この振幅変動の支配的な周波数は、埋め込み先帯域キャリア信号の帯域により異なることが実際多い。具体的には、埋め込み先帯域キャリア信号の帯域が高域になる程、埋め込み先帯域キャリア信号の振幅シーケンスの低域成分に現れる振幅変動の支配的な周波数は高くなる。そこで、図6(a)の例のように、埋め込み先帯域キャリア信号のペア毎に、振幅シーケンスの低域成分の振幅変動の支配的な周波数近傍の周波数で変調することにより、抽出装置
200側での電子透かし情報の抽出をより容易にすることができる。また、この例では、高域の埋め込み先帯域キャリア信号になる程、変調処理に用いる変調信号の周波数が高くなり、シンボルフレーム長が短くなり、埋め込まれるシンボル列の単位時間当たりシンボル数が多くなる。従って、多数のシンボル群を複数の埋め込み先帯域キャリア信号のペアに分散させて埋め込んで伝送する際に全体としてのデータレートを増加させることができる。
図6(b)の例では、埋め込み先帯域キャリア信号のペアが高域になる程、そのペアの処理に用いる変調信号の変調強度Aを小さくしている。なお、これはあくまでも一例であり、変調強度Aは、埋め込み先帯域キャリア信号のペアが高域になるに従って大きくしても良く、それ以外の態様で変化させてもよい。ここで、変調強度Aが大きいと、シンボルを埋め込んだキャリア信号を音として出力したときに聴聴感上の違和感を生じさせ易くなるが、ノイズに対する耐性は強くなる。従って、この例によれば、埋め込み先帯域キャリア信号の帯域に応じて、聴覚的な影響やノイズへの耐性を制御することができるという利点がある。
図6(c)に示す例は、図6(a)および(b)の各例の特徴を併せ持った変調信号の発生態様である。すなわち、この例では、埋め込み先帯域キャリア信号のペアの帯域に依存させて、変調信号の周波数と変調強度の両方を変化させる。この例によれば、図6(a)の例により得られる利点と図6(b)の例により得られる利点の両方の利点が得られる。
以上が図1に示す埋め込み装置100の詳細である。
次に図2を参照し、電子透かしの抽出装置200について説明する。抽出装置200において、帯域分割部210は、埋め込み装置100の帯域分割部110と同じ構成を有する。この帯域分割部210は、電子透かし情報が埋め込まれたオーディオサンプルxp’(n)の列を受け取り、このオーディオサンプルxp’(n)の列から例えばM個の帯域に属する複素スペクトラム係数X’(ωk)(k=0〜M−1)を生成する。
絶対値検出部221−0、帯域分割部223−0および絶対値検出部224−0からなる部分は、埋め込み装置100の埋め込み部120−0内の絶対値検出部121、帯域分割部123および絶対値検出部124からなる部分と同様な役割を果たす部分である。すなわち、この部分は、帯域分割部210から得られる複素スペクトラム係数X’(ω0)の絶対値|X’(ω0)|を求め、この絶対値|X’(ω0)|の列に複素型離散ウェーブレット変換を施し、この結果得られる複素ウェーブレット係数の1つの絶対値、すなわち、埋め込み装置100において変調信号Am0による振幅変調が施された絶対値(1+Am0)|x00(ω0)|を算出する。同様に、絶対値検出部221−1、帯域分割部223−1および絶対値検出部224−1からなる部分は、埋め込み装置100の埋め込み部120−1内の絶対値検出部121、帯域分割部123および絶対値検出部124からなる部分と同様な役割を果たす部分である。すなわち、この部分は、埋め込み装置100において変調信号Am1による振幅変調が施された複素ウェーブレット係数の絶対値(1+Am1)|x00(ω1)|を、帯域分割部210が出力する複素スペクトラム係数X’(ω1)から算出する。
そして、除算器251は、次式に示すように、絶対値検出部224−1の出力情報を絶対値検出部224−0の出力情報により除算し、その除算結果である変調波形データmを出力する。
ここで、複素ウェーブレット係数x
00(ω
1)と複素ウェーブレット係数x
00(ω
0)は、隣接した帯域の複素スペクトラム係数から得られたものであるため、互いに近似した値となる。また、電子透かし情報の埋め込まれたオーディオサンプルxp’(n)の列の伝搬中、様々な外乱が発生し、この外乱に基づくノイズがオーディオサンプルxp’(n)に混入する場合もあるが、このノイズは同相成分となって複素ウェーブレット係数x
00(ω
1)と複素ウェーブレット係数x
00(ω
0)に含まれることとなる。従って、上記式(11)の除算において、同相ノイズを含んだ複素ウェーブレット係数|x
00(ω
1)|および|x
00(ω
0)|が相殺し、変調波形データmは、理想的には次式(12)に示すように、電子透かし情報のビットbを示す変調信号Am
1およびAm
0のみに依存した値に近似することができる。
オフセット除去部252aは、過去一定期間内に出力された変調波形データmの平均値(すなわち、移動平均値)を求めて、それをオフセットとして、変調波形データmから減算する。これにより変調波形データmからオフセット成分(直流成分)が除去される。
正規化部252bは、オフセット除去部252aから過去一定期間内に出力された変調波形データmの絶対値の最大値を求め、オフセット除去部252aから現在出力された変調波形データmをこの最大値によって除算することにより正規化し、正規化された変調波形データmnを出力する。
電子透かし情報抽出部260は、正規化された変調波形データmnから電子透かし情報のビットbを抽出する手段であり、バッファ261と、変調信号生成部262と、相関係数演算部263と、相関判定部264とを有する。バッファ261は、正規化部252bから出力された最新のL/4個の変調波形データmnを記憶するバッファである。変調信号生成部262、相関係数演算部263および相関判定部264の動作は、正規化部252bから出力される変調波形データmnにおけるシンボルの区切り位置を見つけるまでの同期捕捉期間とそれ以降の同期維持期間とで異なったものとなる。
まず、同期捕捉期間中、変調信号生成部262は、バッファ261が新規な変調波形データmnを正規化部252bから取り込んで記憶する毎に、埋め込み装置100の変調信号生成部140側におけるビット“0”に対応した変調信号m1(変調強度Aを乗算する前の振幅が±1の変調信号)と同様な波形の変調信号とビット“1”に対応した変調信号m1と同様な波形の変調信号とを生成する。また、相関係数演算部263は、バッファ261内のL/4個の変調波形データmnと変調信号生成部262が生成するビット“0”に対応した変調信号との相関を示す相関係数R0を算出するとともに、バッファ261内のL/4個の変調波形データmnと変調信号生成部262が生成するビット“1”に対応した変調信号との相関を示す相関係数R1を算出する。そして、相関判定部264は、バッファ261に新規な変調波形データmnが記憶される毎に得られる相関係数R0およびR0の変化の状況に基づいて、変調波形データmnにおけるビットbの区切り位置を判定する。具体的には、相関係数R0またはR1のピークがL/4サンプルの周期で発生していることが判明した場合、そのピークの発生点がビットbの区切り位置であると判定し、次に述べる同期維持の期間の動作に移行する。
同期維持期間中、変調信号生成部262は、1個のビットbを表現するL/4個の変調波形データmnがバッファ261に書き込まれる毎に、ビット“0”に対応した変調信号とビット“1”に対応した変調信号を生成する。また、相関係数演算部263は、バッファ261内のL/4個の変調波形データmnとビット“0”に対応した変調信号との相関を示す相関係数R0を算出するとともに、バッファ261内のL/4個の変調波形データmnとビット“1”に対応した変調信号との相関を示す相関係数R1を算出する。そして、相関判定部264は、R0>R1である場合には、抽出結果である電子透かし情報のビットbとして“0”を出力し、R1>R0である場合には、抽出結果である電子透かし情報のビットbとして“1”を出力する。
以上が、埋め込み先帯域キャリア信号のペアの1つから電子透かし情報のシンボルを抽出するための構成の詳細である。埋め込み装置100側において、埋め込み先帯域キャリア信号の複数のペアに電子透かし情報のシンボル列を分散させて埋め込んでいる場合には、抽出装置200では、帯域分割部210から得られる埋め込み先帯域キャリア信号の各ペアについて、以上説明した構成によりシンボルの抽出を実施し、抽出したシンボルを集めて元の電子透かし情報を再現することとなる。
以上が本実施形態の詳細である。
以上説明した本実施形態によれば、埋め込み先帯域キャリア信号のペアの帯域に依存させて、同ペアの振幅シーケンスの低域成分の変調に用いる変調信号の態様を変化させるようにしているので、埋め込み先の帯域にとって適切な態様でシンボルの埋め込みを行うことができるという効果がある。さらに詳述すると、埋め込み先帯域キャリア信号のペアの帯域に依存させて変調信号の周波数を変える場合には、埋め込み先帯域キャリア信号の振幅シーケンスの低域成分が持っている振幅変動の支配的な周波数に合わせてシンボルに応じた振幅変調を行うことで、抽出装置200側での電子透かし情報の抽出をより容易にすることができるという効果がある。また、この場合、高域の埋め込み先帯域キャリア信号になる程、変調処理に用いる変調信号の周波数が高くなり、シンボルフレーム長が短くなるので、多数のシンボル群を複数の埋め込み先帯域キャリア信号のペアに分散させて埋め込んで伝送する際に全体としてのデータレートを増加させることができる。また、埋め込み先帯域キャリア信号の帯域に依存させて、変調信号の変調強度を変える場合には、埋め込み先帯域キャリア信号の帯域に応じて、聴覚的な影響やノイズへの耐性を制御することができるという効果がある。
<第2実施形態>
本実施形態は、ブラインド透かし方式の埋め込み伝送技術に属する上記第1実施形態をノンブラインド透かし方式に変更したものである。図示は省略したが、本実施形態における電子透かし情報の埋め込み装置は、上記第1実施形態における埋め込み装置100において例えば埋め込み部120−1を省略し、埋め込み部120−0のみを帯域分割部110および帯域合成部130間に介挿した構成となっている。
図7は本実施形態における電子透かし情報の抽出装置200Aの構成を示すブロック図である。この抽出装置200Aは、上記第1実施形態における抽出装置200に対し、帯域分割部210’を追加し、同抽出装置200の絶対値検出部221−1、帯域分割部223−1および絶対値検出部224−1を絶対値検出部221−0’、帯域分割部223−0’および絶対値検出部224−0’に置き換えた構成となっている。なお、図7では、オフセット除去部252a以降の部分の図示が省略されている。
本実施形態において、電子透かし情報の埋め込まれたオーディオサンプル列xp’(n)が帯域分割部210に供給されるのに同期し、電子透かし情報の埋め込まれていない元のオーディオサンプル列xp(n)が帯域分割部210’に供給される。帯域分割部210’は、元のオーディオサンプル列xp(n)の帯域分割を行い、帯域分割部210が出力する複素スペクトラム係数X’(ω0)と同じ帯域の複素スペクトラム係数X(ω0)を出力する。そして、絶対値検出部221−0’、帯域分割部223−0’および絶対値検出部224−0’からなる部分は、絶対値検出部221−0、帯域分割部223−0および絶対値検出部224−0からなる部分が複素スペクトラム係数X’(ω0)に対して行う処理と全く同じ処理を複素スペクトラム係数X’(ω0)に対して行う。
この結果、既に第1実施形態において述べたように、絶対値検出部224−0からは、シンボルに応じた変調信号Am0による振幅変調が施された複素ウェーブレット係数の絶対値(1+Am0)|x00(ω0)|が出力される。一方、絶対値検出部224−0’からは、変調信号Am0による振幅変調が施されていない複素ウェーブレット係数の絶対値|x00(ω0)|が出力される。そして、除算器251では、絶対値検出部224−0の出力データ(1+Am0)|x00(ω0)|が絶対値検出部224−0’の出力データ|x00(ω0)|によって除算され、除算結果(1+Am0)が変調波形データとして出力される。この変調波形データからシンボルを抽出する処理の内容は上記第1実施形態と同様である。
<第3実施形態>
上記第1実施形態では、オーディオサンプル列xp(n)の所定の帯域の複素スペクトラム係数の振幅シーケンスの概形を示す複素ウェーブレット係数に対し、シンボルに応じた変調信号を用いた振幅変調を施すことによりシンボルの埋め込みを行った。これに対し、本実施形態では、オーディオサンプル列xp(n)の所定の帯域の複素スペクトラム係数の振幅シーケンスの概形を示す複素ウェーブレット係数に対し、シンボルに応じた変調信号を用いた位相変調を施すことによりシンボルの埋め込みを行う。さらに詳述すると、本実施形態では、オーディオサンプル列xp(n)の隣接する2つの帯域の各複素スペクトラム係数の振幅シーケンスの各複素ウェーブレット係数が、電子透かし情報に応じた位相差を持つように位相変調を行う。
図8は本実施形態による電子透かし情報の埋め込み装置100Bの構成を示すブロック図である。この埋め込み装置100Bにおいて、埋め込み部120−0Bおよび120−1Bは、上記第1実施形態の埋め込み装置100の埋め込み部120−0および120−1の一部を変更した構成となっている。また、埋め込み装置100Bでは、上記第1実施形態における変調信号生成部140が変調信号生成部140Bに置き換えられている。他の部分の構成は、基本的に上記第1実施形態の埋め込み装置100と同様である。
埋め込み部120−0Bにおいて、偏角検出部125は、上記第1実施形態と同様、帯域分割部123から出力される各ウェーブレット係数の実数部および虚数部に基づき、各ウェーブレット係数x1、x00およびx01の偏角Arg(x1)、Arg(x00)およびArg(x01)を算出する。加算器125aは、これらの偏角のうち例えば偏角Arg(x00)に変調信号生成部140Bから与えられる変調信号Δp0を加算する。
位相再結合部128aは、絶対値検出部124から得られるウェーブレット係数の絶対値|x00|と加算器125aから得られる位相変調済みの偏角Arg(x00)+Δp0を再結合させて、複素ウェーブレット係数x00に戻す。また、位相再結合部128aは、絶対値検出部124から得られるウェーブレット係数の絶対値|x1|を所定の量子化ステップで量子化し、この量子化後の絶対値に偏角検出部125から得られる偏角Arg(x1)を再結合させて、複素ウェーブレット係数x1に戻す。また、位相再結合部128aは、絶対値検出部124から得られるウェーブレット係数の絶対値|x01|を所定の量子化ステップで量子化し、この量子化後の絶対値に偏角検出部125から得られる偏角Arg(x01)を再結合させて、複素ウェーブレット係数x01に戻す。このようにして得られる3種類の複素ウェーブレット係数x1、x00およびx01が帯域合成部129(図1参照)の処理対象となる。
埋め込み部120−1Bは、埋め込み部120−0Bと同様な処理を帯域分割部110(図1参照)から得られる複素スペクトラム係数X(ω1)に施す。ただし、埋め込み部120−1Bの加算器125aに相当するものには、埋め込み部120−0Bの加算器125aに与えられる変調信号Δp0と協働してシンボルに応じた位相差を表現する変調信号Δp1が変調信号生成部140Bから供給される。
さらに詳述すると、変調信号生成部140Bは、上記第1実施形態の変調信号m1およびm0と同様な相補対称な三角波の変調信号Δp1およびΔp0を出力するが、1周期分(1ビット分)の変調信号Δp1−Δp0が出力される間、変調信号の差分Δp1−Δp0は、−Rから+Rまでの変化するようになっている(ただし、Rはπ以下の値)。その変化の態様は、電子透かし情報を示すシンボルがビット“0”であるかビット“1”であるかにより決定される。
図9は、本実施形態における電子透かし情報の抽出装置200Bの構成を示すブロック図である。この抽出装置200Bは、上記第1実施形態における抽出装置200における帯域分割部223−1および223−0の後段の絶対値検出部224−1および224−0と除算器251を、偏角検出部225−1および225−0と減算器253に置き換えた構成となっている。
この構成において、絶対値検出部221−0、帯域分割部223−0および偏角検出部225−0からなる部分は、埋め込み装置100Bの埋め込み部120−0B内の絶対値検出部121、帯域分割部123および偏角検出部125からなる部分と同様な役割を果たす部分である。すなわち、この部分は、帯域分割部210から得られる複素スペクトラム係数X(ω0)の絶対値|X(ω0)|を求め、この絶対値|X(ω0)|の列に複素型離散ウェーブレット変換を施し、この結果得られる複素ウェーブレット係数の1つの偏角、すなわち、埋め込み装置100Bにおいて変調信号Δp0による位相変調が施された偏角Arg(x00(ω0))+Δp0を算出する。同様に、絶対値検出部221−1、帯域分割部223−1および偏角検出部225−1からなる部分は、埋め込み装置100Bの埋め込み部120−1B内の絶対値検出部121、帯域分割部123および偏角検出部125からなる部分と同様な役割を果たす部分である。すなわち、この部分は、埋め込み装置100Bにおいて変調信号Δp1による位相変調が施された複素ウェーブレット係数の偏角Arg(x00(ω1))+Δp1を、帯域分割部210が出力する複素スペクトラム係数X(ω1)から算出する。
そして、減算器253は、この両偏角の差分{Arg(x00(ω1))+Δp1}−{Arg(x00(ω0))+Δp0}を算出する。ここで、偏角Arg(x00(ω1))と偏角Arg(x00(ω0))は隣接する帯域のものであるので両者は近似していると考えられる。従って、減算器253から得られる減算結果は、Δp1−Δp0に近い値となる。そして、正規化部252b以降の部分により、この減算結果Δp1−Δp0から電子透かし情報を示すシンボルを抽出する処理が行われる。この処理の内容は、上記第1実施形態と基本的に同様なので説明を省略する。
<第4実施形態>
本実施形態は、ブラインド透かし方式の埋め込み伝送技術に属する上記第3実施形態をノンブラインド透かし方式に変更したものである。図示は省略したが、本実施形態における電子透かし情報の埋め込み装置は、上記第3実施形態における埋め込み装置100Bにおいて例えば埋め込み部120−1Bを省略し、埋め込み部120−0Bのみを帯域分割部110および帯域合成部130間に介挿した構成となっている。また、埋め込み部120−0Bが位相変調に用いる変調信号Δp0は、電子透かし情報を示すシンボルに応じた位相で−Rから+R(Rはπ以下の値)まで変化する三角波となっている。
図10は本実施形態における電子透かし情報の抽出装置200Cの構成を示すブロック図である。この抽出装置200Cは、上記第3実施形態における抽出装置200Bに対し、帯域分割部210’を追加し、同抽出装置200Bの絶対値検出部221−1、帯域分割部223−1および偏角検出部225−1を絶対値検出部221−0’、帯域分割部223−0’および偏角検出部225−0’に置き換えた構成となっている。なお、図10では、オフセット除去部252a以降の部分の図示が省略されている。
上記第2実施形態と同様、本実施形態においても、電子透かし情報の埋め込まれたオーディオサンプル列xp’(n)が帯域分割部210に供給されるのに同期し、電子透かし情報の埋め込まれていない元のオーディオサンプル列xp(n)が帯域分割部210’に供給される。帯域分割部210’は、元のオーディオサンプル列xp(n)の帯域分割を行い、帯域分割部210が出力する複素スペクトラム係数X’(ω0)と同じ帯域の複素スペクトラム係数X(ω0)を出力する。そして、絶対値検出部221−0’、帯域分割部223−0’および偏角検出部225−0’からなる部分は、絶対値検出部221−0、帯域分割部223−0および偏角検出部225−0からなる部分が複素スペクトラム係数X’(ω0)に対して行う処理と全く同じ処理を複素スペクトラム係数X(ω0)に対して行う。
この結果、既に第3実施形態において述べたように、偏角検出部225−0からは、電子透かし情報に応じた変調信号Δp0による位相変調が施された複素ウェーブレット係数の偏角Arg(x00(ω0))+Δp0が出力される。一方、偏角検出部225−0’からは、変調信号Δp0による位相変調が施されていない複素ウェーブレット係数の偏角Arg(x00(ω0))が出力される。そして、減算器253では、偏角検出部225−0の出力データArg(x00(ω0))+Δp0から偏角検出部225−0’の出力データArg(x00(ω0))が減算され、減算結果Δp0が変調波形データとして出力される。この変調波形データから電子透かし情報を示すシンボルを抽出する処理の内容は上記第1実施形態と同様である。
<第5実施形態>
図11はこの発明の第5実施形態による電子透かし情報の埋め込み装置100Dの構成を示すブロック図である。本実施形態は、上記第1実施形態において、前掲図6(b)の例のように埋め込み先帯域キャリア信号の帯域に依存させて、それらに適用する変調信号の変調強度を決定するための手段に特徴を有するものである。本実施形態による埋め込み装置100Dは、上記第1実施形態による埋め込み装置100に対してエネルギー検出部150を追加した構成となっている。このエネルギー検出部150は、帯域分割部110の後段の複数の埋め込み部120−0、120−1、…から、各々が処理する埋め込み先帯域キャリア信号の振幅シーケンスの低域成分を示す情報を各々取得する。具体的には、各埋め込み部の帯域分割部123が例えばレベル2までの複素ウェーブレット変換(図4参照)を行うものである場合、エネルギー検出部150は、各埋め込み部の絶対値検出部124が出力するウェーブレット係数の絶対値|x00(ωi)|(i=0、1、…)を取得する。
そして、エネルギー検出部150は、同一の変調強度を適用する埋め込み先帯域の各グループbgについて、次式に示す指標E(bg)を算出する。ここで、各グループbgは、同一のシンボルを埋め込む埋め込み先帯域のペアを1または複数有する。全埋め込み先帯域をどのようにして複数のグループbgに分けるかについては、各種の方法が考えられるが、例えば人間の心理聴覚モデルを考慮し、全埋め込み先帯域を1/3オクターブ間隔で区切って、複数のグループbgを構成するという方法が考えられる。
上記式(13)において、x00(ωbb、k)(k=0〜(Lm−1))は、角周波数ωbbの帯域bbの埋め込み先帯域キャリア信号の振幅シーケンスから得られる1シンボルフレーム分(Lm=L/4個)の複素ウェーブレット係数の絶対値である。そして、上記式(13)の分母は、埋め込み装置100Dにおいてシンボルの埋め込みに用いる埋め込み先帯域群allbgに属する全ての埋め込み先帯域bbについて、1シンボルフレーム分(Lm=L/4個)の複素ウェーブレット係数の絶対値の2乗和を加算したもの、すなわち、1シンボルフレームの期間内における全ての埋め込み先帯域キャリア信号の低域成分のエネルギーの総和に相当する値となる。また、上記式(13)の分子は、特定の埋め込み先帯域グループbgに属する各埋め込み先帯域bbについて、1シンボルフレーム分(Lm=L/4個)の複素ウェーブレット係数の絶対値の2乗和を加算したもの、すなわち、1シンボルフレームの期間内における当該埋め込み先帯域グループbgの各埋め込み先帯域キャリア信号の低域成分のエネルギーの総和に相当する値となる。
エネルギー検出部150は、このようにして埋め込み先帯域の各グループbg毎に算出した指標E(bg)を変調信号生成部140に送る。変調信号生成部140は、この埋め込み先帯域の各グループbgに対応した指標E(bg)に基づき、指標E(bg)の大きなもの程、変調強度Aが小さくなるように、各グループの埋め込み先帯域キャリア信号の振幅シーケンスの低域成分の振幅変調に用いる各変調信号の変調強度Aを決定する。一例として、埋め込み先帯域の全グループを通じてのE(bg)の最大値がmax(E(bg))、最小値がmin(E(bg))、E(bg)が最大であるグループに割り当てる変調強度をAmin、E(bg)が最小であるグループに割り当てる変調強度をAmaxとした場合に、埋め込み先帯域の各グループbgに対する変調強度A(bg)は次式に従って算出される。
本実施形態では、エネルギー検出部150は、1シンボルフレーム毎に、各埋め込み先帯域キャリア信号の振幅シーケンスの低域成分のエネルギーの相対値である指標E(bg)を算出する。そして、変調信号生成部140は、これらの各指標E(bg)から埋め込み先帯域の各グループbgに適用する各変調強度A(bg)を演算し、各グループbg毎に、埋め込み対象のシンボルを示す±1の変調信号に変調強度A(bg)を乗算して出力するのである。
ここで、あるシンボルフレームにおける埋め込み先帯域キャリア信号の振幅シーケンスの低域成分(Lm個の複素ウェーブレット係数)に適用する変調強度Aを得るためには、そのシンボルフレームにおけるLm個の複素ウェーブレット係数が帯域分割部123から得られるのを待たねばならない。このため、本実施形態では、帯域分割部123があるシンボルフレームの複素ウェーブレット係数を演算しているとき、変調信号生成部140は、その直前のシンボルフレームの複素ウェーブレット係数から算出された変調強度を用いて変調信号を発生し、乗算器126および加算器127は当該直前のシンボルフレームの複素ウェーブレット係数の絶対値についての振幅変調を行うようにしている。
シンボルフレーム単位で変調信号の変調強度Aを切り換える場合、埋め込み先帯域の各グループbgの低域成分のエネルギー分布に急激な変化が発生すると、その影響により、各グループに適用する変調強度A(bg)に急激な変化が発生することとなって好ましくない。そこで、好ましい態様では、各シンボルフレーム毎に算出される各グループbgに対応した変調強度A(bg)をそのまま変調処理に適用するのではなく、変調強度A(bg)にLPF処理を施して、変調強度A(bg)の急激な変化を緩和した上で変調処理に用いるようにしている。
本実施形態によれば、次の効果が得られる。まず、各埋め込み先帯域キャリア信号を比較した場合、スペクトルエネルギーの大きい埋め込み先帯域キャリア信号は、シンボルの埋め込み時の変調強度を大きくすると、帯域合成時にキャリア信号に残存するイメージング成分が多くなり、これが音質劣化の原因となるので好ましくない。一方、スペクトルエネルギーの小さい埋め込み先帯域キャリア信号は、シンボルを埋め込みに伴う音質への影響は小さいが、伝送時の雑音などの外乱に対して頑健でないので、シンボル埋め込み時の変調強度を大きくして頑健性を高める必要がある。本実施形態によれば、振幅シーケンスの低域成分のエネルギーが大きい埋め込み先帯域キャリア信号には小さな変調強度が適用され、振幅シーケンスの低域成分のエネルギーが小さい埋め込み先帯域キャリア信号には大きな変調強度が適用されるため、全埋め込み先帯域について、シンボル埋め込みに伴う音質の劣化の抑制と、埋め込んだシンボルの外乱に対する頑健性の向上の両方を実現することができる。また、本実施形態によれば、シンボルフレーム単位で、埋め込み先帯域の各グループbgについて最適な変調強度A(bg)を演算し、振幅変調に用いる変調強度A(bg)を更新するので、キャリア信号のパワースペクトル分布が時々刻々と変化する状況においても、シンボル列を埋め込む全区間について、シンボル埋め込みに伴う音質の劣化の抑制と、埋め込んだシンボルの外乱に対する頑健性の向上の両方を実現することができる。
<他の実施形態>
以上、この発明の第1〜第5実施形態を説明したが、この発明には、他にも各種の実施形態が考えられる。例えば次の通りである。
(1)ブラインド透かし方式に対応した各実施形態では、帯域の隣接した2個の帯域キャリア信号を同一シンボルを埋め込む埋め込み先帯域キャリア信号としたが、2個の埋め込み先帯域キャリア信号は、必ずしも隣接する帯域のものでなくてもよい。
(2)上記実施形態において、1個のシンボルは、2値を表すビットであったが、1つのシンボルを表す変調波形を3種類以上用意し、1シンボル当たり3値以上を表すシンボルを埋め込み先帯域キャリア信号に埋め込んでもよい。
(3)上記実施形態では、埋め込み先帯域キャリア信号またはそのペアを複数使用し、各々に電子透かし情報のシンボルを分散させて埋め込んだ。しかし、このように複数の埋め込み先帯域キャリア信号またはそのペアの全てをシンボルの埋め込みに使用するのではなく、シンボルの埋め込み先の候補となる埋め込み先帯域キャリア信号またはそのペアを複数用意しておき、それらの候補の中から1つの埋め込み先帯域キャリア信号またはそのペアを所定のルール(抽出装置との間で合意されたルール)に従って選択し、シンボルの埋め込みに用いるようにしてもよい。その場合において、シンボルを示す2相の変調信号の周波数または振幅を、例えば図6(a)〜(c)に例示するように、埋め込み先として選択した埋め込み先帯域キャリア信号またはそのペアの帯域に依存させて変化させればよい。
100,100B,100D……埋め込み装置、200,200A,200B,200C……抽出装置、110,210,210’……帯域分割部、120−0,120−1,120−0B,120−1B……埋め込み部、121,124,221−0,221−1,224−0,224−1,221−0’,224−0’……絶対値検出部、122,125,225−0,225−1,225−0’……偏角検出部、128a,128b……位相再結合部、123,223−0,223−1,223−0’……帯域分割部、129……帯域合成部、140,140B……変調信号生成部、126……乗算器、127,125a……加算器、251……除算器、252a……オフセット除去部、252b……正規化部、260……電子透かし情報抽出部。