JP6353402B2 - 音響電子透かしシステム、電子透かし埋め込み装置、電子透かし読み取り装置、その方法及びプログラム - Google Patents

Description

本発明は、音声、音楽などの音響信号（以下、単に「音響信号」ともいう）に、テキスト等の並行情報を付加して送信し、受信側において、良好な品質で音響信号を再生するとともに、付加された並行情報を読み出すための音響電子透かし技術に関する。

図１は、音響電子透かしを利用した情報通信システム（以下、「音響電子透かしシステム」ともいう）の従来技術の例である。送信部９１において、電子透かし埋め込み部９２は、入力された音響信号（以下「入力音響信号」ともいう）に並行情報を電子透かしとして埋め込み、再生信号を出力する。再生信号はスピーカ９３から再生される。受信部９４では、音響空間を介して再生信号の再生音をマイク９５で収音し、電子透かし読み取り部９６は、収音信号から並行情報を読み出すとともに、音響信号（以下「出力音響信号」ともいう）を出力する。送信部９１のスピーカ９３として、例えば店舗内や列車内のアナウンスシステムや、屋外広告やイベント用の音響スピーカが利用可能である。受信部９４のマイク９５は、ボーカル用やアナウンス用のマイクのほか、携帯電話またはスマートフォン等に内蔵されたマイクが利用可能である。

図１の音響電子透かしシステムは、例えば、スピーカから音楽を再生しながら、並行情報として音楽のタイトルをテキストとして送信したり、スポーツ映像と音響をスピーカから再生しながら、並行情報として試合のチケット情報やチケット販売サイトのＵＲＬを送信したり、日本語のアナウンスをスピーカから再生しながら、並行情報として外国語訳をテキストで送信したりする用途が想定される。

このような電子透かしの方法の従来技術として、非特許文献１、非特許文献２の方法が知られている。

松岡，中島，吉村「移動端末のマイクロフォンで情報を取得する音波情報伝送方式」，NTT DoCoMo テクニカルジャーナル，2006,VOL.14 NO.2, pp.6-13 茂出木,「非接触抽出可能な音楽への電子透かし埋め込み技術の開発」，情報処理学会 研究報告，2005,2005-MUS-60, pp.1-6

音響電子透かしにおいて重要なことは、
（１）必要とする並行情報の通信速度（ビットレート）を確保すること（並行情報の通信速度の確保）。
（２）埋め込まれた並行情報を受信側で確実に読み取ることができること（通信の信頼性確保）。
（３）出力音響信号を人が聴いたときに、並行情報を埋め込まれる前の入力音響信号に比べて劣化が検知されない、または気にならないこと（音声品質の維持）。
である。

非特許文献１では、入力音響信号の高域、例えば5kHz〜10kHzの信号をOFDM信号に置換している。この方法では、（１）と（２）の条件は満たすが、（３）の条件を満たすとはいえない。非特許文献１では、入力音響信号の高域はスペクトル概形だけは保存されるが、オリジナルの音響情報は失われてしまうためである。また、並行情報はOFDM信号として高域のみに埋め込まれるため、高域を感度よく受音できるマイクロフォンが必要である。

非特許文献２では、ステレオスピーカとステレオマイクを利用する場合には、（１）（２）（３）とも十分な性能を確保できるとされているが、モノラルスピーカとモノラルマイクを利用する場合には、あらかじめ決められた２つの低域、例えば0〜100Hzと100〜200Hzの信号のうち、一方をゼロにして（当該帯域の音が欠落した音として）再生することと等価であり、スピーカとマイクの間の音響空間には、周囲雑音が存在することを前提とすると、再生音量が小さいときには（１）（２）の性能が十分でなく、再生音量が大きいときには（３）を満たすことができない。

また、非特許文献１、非特許文献２とも、入力音響信号は、音楽のような複数の音が混ざり合った信号であることを想定している。しかしながら、入力音響信号が、例えばアナウンスのような一人の声の場合には、電子透かしを埋め込むことによる音質劣化が顕著になり、より（３）の条件を満たすことが難しくなる。

なお、類似したシステム例として、図２に示す構成が考えられる。図１の構成との違いは、入力音響信号を「原音」として別途、デジタル通信手段９７によって電子透かし読み取り部９６に送ることである。図２の構成で上記（１）（２）（３）を満たすことは、図１の構成に比べると易しい。その理由は、「原音」がわかっているため、収音信号と「原音（入力音響信号）」の差分を検出しやすいからである。図２の構成は例えば著作権管理（著作権情報を埋め込んで、不正コピーの検出する）などに利用されるが、背景技術に記載した用途及びサービスに利用するには、送信部９１と受信部９４がデジタル通信できる仕組みが必要である。デジタル通信できる仕組みがあるなら、並行情報もデジタル通信路経由で送ればよく、図２の構成では本発明の目的を達成することができない。

本発明は、必ずしもデジタル通信路を経由せずに、並行情報の通信速度の確保、通信の信頼性確保、音声品質の維持を実現する音響電子透かしシステムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様によれば、音響電子透かしシステムは、電子透かし埋め込み部と電子透かし読み取り部とを含む。電子透かし埋め込み部は、入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタと、
Ｎを２以上の整数の何れかとし、第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成部と、Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める位相変調部と、変調波と第一残差信号とを加算し、第一信号を求める加算部と、第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、第一信号をフィルタリングし、再生信号を求める合成フィルタとを含む。電子透かし読み取り部は、再生信号の再生音を収音して得られる収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタと、第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成部と、第二残差信号と第二搬送波とを用いて、並行情報に対応する情報を検出する検波部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、電子透かし埋め込み装置は、入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタと、Ｎを２以上の整数の何れかとし、第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成部と、Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める第一位相変調部と、変調波と第一残差信号とを加算し、第一信号を求める加算部と、第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、第一信号をフィルタリングし、再生信号を求める合成フィルタとを含む。

上記の課題を解決するために、本発明の他の態様によれば、電子透かし読み取り装置は、収音信号を用いて、並行情報を得る。電子透かし読み取り装置は、収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタと、Ｎを２以上の整数の何れかとし、第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成部と、第二残差信号と第二搬送波とを用いて、並行情報に対応する情報を検出する検波部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、音響電子透かし方法は、入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタリングステップと、Ｎを２以上の整数の何れかとし、第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成ステップと、Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める位相変調ステップと、変調波と第一残差信号とを加算し、第一信号を求める加算ステップと、第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、第一信号をフィルタリングし、再生信号を求める合成フィルタリングステップと、再生信号の再生音を収音して得られる収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタリングステップと、第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成ステップと、第二残差信号と第二搬送波とを用いて、並行情報に対応する情報を検出する検波ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、電子透かし埋め込み方法は、入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタリングステップと、Ｎを２以上の整数の何れかとし、第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成ステップと、Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める第一位相変調ステップと、変調波と第一残差信号とを加算し、第一信号を求める加算ステップと、第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、第一信号をフィルタリングし、再生信号を求める合成フィルタリングステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、電子透かし読み取り方法は、収音信号を用いて、並行情報を得る。電子透かし読み取り方法は、収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタリングステップと、Ｎを２以上の整数の何れかとし、第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成ステップと、第二残差信号と第二搬送波とを用いて、並行情報に対応する情報を検出する検波ステップとを含む。

本発明によれば、必ずしもデジタル通信路を経由せずに、並行情報の通信速度の確保、通信の信頼性確保、音声品質の維持を実現することができるという効果を奏する。

音響電子透かしシステムの構成例を示す図。 音響電子透かしシステムの構成例を示す図。 第一実施形態に係る電子透かし埋め込み部の機能ブロック図。 第一実施形態に係る電子透かし埋め込み部の処理フローの例を示す図。 第一実施形態に係る電子透かし読み込み部の機能ブロック図。 第一実施形態に係る電子透かし読み込み部の処理フローの例を示す図。 図７（Ａ）は残差信号を単純なパルス列でモデル化した信号を示す図、図７（Ｂ）は図７（Ａ）の信号を合成フィルタに通した信号を示す図。 図７（Ｂ）の信号をフーリエ変換した周波数スペクトルを示す図。 図９（Ａ）は図７（Ａ）に搬送波を加算した信号を示す図、図９（Ｂ）は図９（Ａ）の信号を合成フィルタに通した信号を示す図。 図９（Ｂ）の信号をフーリエ変換した周波数スペクトルを示す図。 図１１（Ａ）は図７（Ａ）に図９（Ａ）と位相の異なる搬送波を加算した信号を示す図、図１１（Ｂ）は図１１（Ａ）の信号を合成フィルタに通した信号を示す図。 図１１（Ｂ）の信号をフーリエ変換した周波数スペクトル示す図。 図１３（Ａ）は、図９（Ａ）の搬送波を、ＢＰＳＫで変調した信号を示す図、図１３（Ｂ）は図１３（Ａ）の信号を合成フィルタに通した信号示す図。 図１３（Ｂ）の信号をフーリエ変換した周波数スペクトルを示す図。 図１５（Ａ）は搬送波の周波数やシンボルレートをピッチ周波数の整数倍ではない値に設定して加算した信号を示す図、図１５（Ｂ）は図１５（Ａ）の信号を合成フィルタに通した信号示す図。 図１５（Ｂ）の信号をフーリエ変換した周波数スペクトルを示す図。 第二実施形態に係る電子透かし埋め込み部の機能ブロック図。 第二実施形態に係る電子透かし埋め込み部の処理フローの例を示す図。

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
＜第一実施形態に係る音響電子透かしシステム＞
第一実施形態に係る音響電子透かしシステム１０は、送信部１１と、受信部１４とを含む。送信部１１及び受信部１４はそれぞれ電子透かし埋め込み部１００及び電子透かし読み取り部２００を含む（図１参照）。

送信部１１の電子透かし埋め込み部１００は、入力音響信号と並行情報とを受け取り、再生信号を出力する。送信部１１のスピーカ９３で再生信号が再生され、再生音が発せられる。なお、スピーカ９３とマイク９５とは共通の音場に配置される。

受信部１４のマイク９５は、再生音を収音し、収音信号を出力する。受信部１４の電子透かし読み取り部２００は、収音信号を受け取り、出力音響信号と並行情報に対応する情報とを出力する。例えば、並行情報は、ディスプレイまたはタッチパネル等の表示部に出力され、表示される構成としてもよい。なお、スピーカ９３の再生音が十分に聴こえる場所に受聴者がいる場合には、電子透かし読み取り部２００は出力音響信号を出力せずに、並行情報のみを出力する構成としてもよい。

以下、電子透かし埋め込み部１００及び電子透かし読み取り部２００の詳細について説明する。
＜第一実施形態に係る電子透かし埋め込み部＞
図３は第一実施形態に係る電子透かし埋め込み部１００の機能ブロック図を、図４はその処理フローを示す。

電子透かし埋め込み部１００は、入力バッファ１１０と逆フィルタ１３０と線形予測分析部１２０とピッチ分析部１４０と搬送波生成部１５０と位相変調部１６０と加算部１７０と合成フィルタ１８０とを含む。

＜入力バッファ１１０＞
入力バッファ１１０は、入力音響信号を受け取り、少なくとも一定の時間分の入力音響信号を蓄積し（Ｓ１１０）、一定の時間（フレーム）ごとの入力音響信号を出力する。言い換えると、入力音響信号は、入力バッファ１１０に蓄えられ、入力音響信号をフレームと呼ばれる一定の時間ごとに区切って線形予測分析部１２０と逆フィルタ１３０に送る。１フレームの時間長は一般には、１０ミリ秒から２０ミリ秒程度とすることが多いが、それ以外の時間長でもよい。以下、上記一定の時間ごとに区切られた入力音響信号をフレーム信号ともいう。

＜線形予測分析部１２０＞
線形予測分析部１２０は、フレーム信号を受け取り、線形予測分析の手法を用いて、入力音響信号を線形予測分析し、線形予測係数を求め（Ｓ１２０）、線形予測係数を逆フィルタ１３０と合成フィルタ１８０に送る。線形予測分析の手法としては、共分散法、自己相関法、ＰＡＲＣＯＲ分析、ＬＳＰ分析等が考えられる。なお、線形予測係数とは、線形予測係数自体に加え、線形予測係数と等価な値（例えば、ＰＡＲＣＯＲ係数、ＬＳＰ(line spectrum pair)）を含むものとする。

＜逆フィルタ１３０＞
逆フィルタ１３０は、フレーム信号と線形予測係数とを受け取り、線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、入力音響信号をフィルタリングし（Ｓ１３０）、残差信号を求め、出力する。残差信号はピッチ分析部１４０と加算部１７０に送られる。

＜ピッチ分析部１４０＞
ピッチ分析部１４０は、残差信号を受け取り、残差信号のピッチ長、すなわち音声の基本周波数の１周期の長さを分析して（Ｓ１４０）、ピッチ周波数またはピッチ長を搬送波生成部１５０に送る。ピッチ周波数とピッチ長は、逆数の関係にあり、それぞれＨｚ、秒を単位とする。なお、特にことわりがない場合にはピッチ周波数とピッチ長は同義とし、周波数領域では基本周波数、時間領域ではピッチの時間長を表すものとする。以下、総称して「ピッチ」と呼ぶ。

＜搬送波生成部１５０＞
搬送波生成部１５０は、ピッチを受け取り、周波数がピッチ周波数のＮ倍（１周期がピッチ長のＮ分の１）となる正弦波を搬送波として生成し（Ｓ１５０）、出力する。Ｎは２以上の整数の何れかである。例えば、ピッチが１００Ｈｚの場合には、５００Ｈｚ、８００Ｈｚ、１０００Ｈｚ等の正弦波を出力する。Ｎの上限は特にないが、ピッチ周波数のＮ倍が４ｋＨｚ以下になるように決めると本実施形態の効果が大きい。音声や楽器音などの音響信号は、ピッチ周波数成分とその高調波成分（倍音成分ともいう）から構成される「調波構造」であることが知られているが、特に音声の場合は、４ｋＨｚ以下の周波数成分で調波構造が顕著であることと、４ｋＨｚ以下の周波数成分の割合が４ｋＨｚ以上の周波数成分の割合に比べ大きいことから、上記搬送波を重畳することによる、受聴者の聴覚的な歪みを抑えることができるためである。なお、搬送波の位相は、残差のピッチ周波数成分の位相と一致するか、または、残差のピッチ周波数成分の位相との相対的な位相差が常に一定値となるようにする。

＜位相変調部１６０＞
位相変調部１６０は、搬送波と並行情報とを受け取り、シンボルレートをピッチ周波数のＭ倍となるように、搬送波を並行情報で位相変調し、変調波を求め（Ｓ１６０）、出力する。なお、Ｍを１以上Ｎ以下の整数の何れかとする。なお、並行情報は、１と０の時系列で表されるデジタル信号である。位相変調方式には、ＢＰＳＫ（Binary Phase Shift Keying）やＱＰＳＫ（Quadrature Phase Shift Keying）が知られている。ＢＰＳＫは２ＰＳＫ、ＱＰＳＫは４ＰＳＫとも呼ばれる。ＢＰＳＫでは、１シンボルで１ビット、ＱＰＳＫでは１シンボルで２ビットの並行情報を送ることができる。

＜加算部１７０＞
加算部１７０は、変調波と残差信号とを受け取り、変調波と残差信号とを加算して（Ｓ１７０）、加算後の信号（以下、「第一信号」ともいう）を合成フィルタ１８０に送る。

＜合成フィルタ１８０＞
合成フィルタ１８０は、線形予測係数と第一信号とを受け取り、線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、第一信号をフィルタリングし（Ｓ１８０）、再生信号を求め、出力する。

なお、線形予測分析、逆フィルタ、合成フィルタ１８０、ピッチ分析に関する詳細は、例えば参考文献１に記載されている。また、搬送波および位相変調の詳細については、例えば参考文献２に記載されている。
［参考文献１］古井貞熙著、「ディジタル音声処理」、東海大学出版会、1985年、pp.60-98
［参考文献２］神谷幸宏著、「Ｃ言語によるディジタル無線通信技術」、コロナ社、2010年、pp.53-83

＜第一実施形態に係る電子透かし読み取り部＞
図５は第一実施形態に係る電子透かし読み取り部２００の機能ブロック図を、図２はその処理フローを示す。

電子透かし読み取り部２００は、入力バッファ２１０と逆フィルタ２３０と線形予測分析部２２０とピッチ分析部２４０と搬送波生成部２５０と検波部２６０とを含む。

収音信号は、入力バッファ２１０に送られるとともに、無処理で出力音響信号として出力される。

入力バッファ２１０、線形予測分析部２２０、逆フィルタ２３０、ピッチ分析部２４０、搬送波生成部２５０は図３の電子透かし埋め込み部１００の線形予測分析部１２０、逆フィルタ１３０、ピッチ分析部１４０、搬送波生成部１５０と同じ動作をし、図３の加算部１７０にあたる部分が検波部２６０となる。以下、概要を説明する。

＜入力バッファ２１０＞
入力バッファ２１０は、収音信号を受け取り、少なくとも一定の時間分の収音信号を蓄積し（Ｓ２１０）、一定の時間（フレーム）ごとの収音信号を出力する。

＜線形予測分析部２２０＞
線形予測分析部２２０は、フレーム毎の収音信号を受け取り、線形予測分析の手法を用いて、収音信号を線形予測分析し、線形予測係数を求め（Ｓ２２０）、線形予測係数を逆フィルタ２３０に送る。

＜逆フィルタ２３０＞
逆フィルタ２３０は、フレーム毎の収音信号と線形予測係数とを受け取り、線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、収音信号をフィルタリングし（Ｓ２３０）、残差信号を求め、出力する。残差信号はピッチ分析部２４０と検波部２６０に送られる。

＜ピッチ分析部２４０＞
ピッチ分析部２４０は、残差信号を受け取り、残差信号のピッチ長、すなわち音声の基本周波数の１周期の長さを分析して（Ｓ２４０）、ピッチを搬送波生成部２５０に送る。

＜搬送波生成部２５０＞
搬送波生成部２５０は、ピッチを受け取り、周波数がピッチ周波数のＮ倍となる正弦波を搬送波として生成し（Ｓ２５０）、出力する。

＜検波部２６０＞
検波部２６０は、残差信号と搬送波とを受け取り、電子透かしが埋め込まれた残差信号と搬送波とを用いて、並行情報に対応する情報を検出し（Ｓ２６０）、出力する。なお、通信が正常に行われた場合には、電子透かし埋め込み部１００で埋め込まれた並行情報と、Ｓ２６０で検出した並行情報に対応する情報とは一致する。検出の方法には、一般的な位相変調方式の同期検波の方法を利用することができる。ここでは、同期検波の手法が使えるのがポイントである。一般に、高度なディジタル通信網では、送信側と受信側で同期した搬送波を生成できるため、同期検波が可能であり、高速で安定したディジタル通信を実現している。しかしながら、簡易的なディジタル通信システムでは、遅延検波または非同期検波が主流であり、通信の安定性の点で同期検波に劣る。本実施形態では、簡易な変復調方式にもかかわらず同期検波ができるのは、搬送波が電子透かし埋め込み部１００と電子透かし読み取り部２００の両方で、残差信号のピッチに、周波数、位相とも同期して生成されているため、結果として、送信側と受信側で同期した搬送波を生成できているためである。

なお、同期検波、遅延検波、非同期検波に関する詳細は、例えば参考文献３に記載されている。
［参考文献３］斉藤洋一著、「ディジタル無線通信の変復調」、電子情報通信学会、 1996年、pp.1-35

＜効果＞
以上の構成により、入力音響信号のピッチ周波数を分析し、ピッチ周波数の整数倍の周波数を搬送波として、シンボルレートもピッチ周波数の整数倍とする位相変調信号を透かしとして入力音響信号に重畳する方法により、必ずしもデジタル通信路を経由せずに、（１）並行情報の通信速度の確保、（２）通信の信頼性確保、（３）音声品質の維持を実現する音響電子透かしシステムを実現する。

本実施形態が、上記（１）（２）（３）を満たすことを説明する。

（１）の送信可能な並行情報のビットレートは、仮にピッチ周波数を１００Ｈｚ、シンボルレートを２００Ｈｚとし、ＢＰＳＫを適用すると２００ｂｐｓ（ビット毎秒）、ＱＰＳＫを適用すると４００ｂｐｓの並行情報を送信可能である。人が話す速度で発話内容をテキストにすると、せいぜい１００ｂｐｓ程度であり、十分な速度が得られる。

（２）は上述のように、ピッチを基準とした同期検波が可能となり、並行情報を安定して読み取ることが可能である。

肝心なのは（３）である。再生信号、または、出力音響信号を再生したときに、残差信号に加算された変調波が耳障りな音として聞こえてしまっては全く意味がないが、人間の聴覚的に問題がないことを簡単な例を用いて示す。

音声の母音区間を線形予測し、求められた残差信号は、パルス的な波形であることが知られている。簡単のため、間隔がピッチ長である単純なパルス列でモデル化して説明する。

図７（Ａ）は、音声の母音区間の残差信号を、ピッチ周波数が１２５Ｈｚの単純なパルス列であると仮定したものである。パルスは１２５Ｈｚに相当する８ミリ秒の等間隔で並んでいる。

図７（Ｂ）は、図７（Ａ）の信号を、実際の「あ」と発声した音声を分析して得られた線形予測係数をフィルタ係数とする合成フィルタに通した信号を示す。残差信号を単純なパルスで近似しているため、もとの「あ」の音響信号とは多少異なるが、図７（Ｂ）の信号をスピーカで再生すると、「あ」という音に聞こえる。

図８は、図７（Ｂ）の信号をフーリエ変換（ＦＦＴ）した、周波数スペクトル（パワースペクトル）を示す。スペクトルは１２５Ｈｚの整数倍の高調波が、合成フィルタの周波数特性であるスペクトル包絡で変調された形をしている。

図９（Ａ）は、図７（Ａ）に搬送波を加算した信号である。搬送波の周波数は、ピッチ周波数の８倍、すなわち１ｋＨｚに設定した。

図９（Ｂ）は、図９（Ａ）を前記合成フィルタに通した信号であり、図１０は図９（Ｂ）の周波数スペクトルである。

図８と図１０を比べると、１ｋＨｚの振幅が、搬送波の分だけ高くなっていることがわかるが、じっくり見比べなければ、違いに気が付かない程度である。実際に図７（Ｂ）と図９（Ｂ）をスピーカで再生して聴き比べても、多少音色の違いは感じるが、図９（Ｂ）のみを聴けば、搬送波を加えたことによる違和感は感じない。

図１１（Ａ）も、図９（Ａ）と同様に、図７（Ａ）に搬送波を加算した信号である。図９（Ａ）と図１１（Ａ）の違いは、搬送波の位相がπ／２違っていることのみである。同様に、図１１（Ｂ）は合成フィルタを通した信号、図１２は周波数スペクトルであるが、パワースペクトルは位相に関係がないため、図１０と図１２は同じになる。ただし、フーリエ変換の都合上、厳密には若干違いがある。人間の耳は位相に鈍感なため、図９（Ｂ）と図１１（Ｂ）の音は同じ音に聴こえる。

本実施形態において、搬送波の位相は異なっても人間の耳には違いが感じられないため、搬送波の位相は、前記のように、残差信号のピッチ周波数成分の位相との相対的な位相差が、電子透かし埋め込み部１００と電子透かし読み取り部２００で一致していれば、任意の位相でよい。

図１３（Ａ）は、図９（Ａ）の搬送波を、ＢＰＳＫの手法を用いて、並行情報で変調した信号である。並行情報は、一例として１と０が交互であるとした。またシンボルレートはピッチ周波数の２倍である２５０Ｈｚとした。図１３（Ｂ）は図１３（Ａ）を合成フィルタに通した信号、図１４はその周波数スペクトルである。図１４と図１０を比べると、やはり違いがわずかであることがわかる。図１３（Ｂ）をスピーカで再生して聴いても、多少の音色の違いは感じるが、違和感は感じない。

このように、ピッチ周波数のＮ倍（上記例は８倍）の搬送波を、ピッチ周波数のＭ倍（上記例は２倍）のシンボルレートで変調して残差信号に加算しても、違和感のない再生音を得ることができる。図９（Ａ）〜図１３（Ａ）の例では、説明上わかりやすくするために、搬送波の振幅を大き目（残差信号の振幅の−１４ｄＢ）に設定したが、実際に利用する場合には、搬送波の振幅を残差信号の振幅に対して十分に小さく設定することが可能であり、スピーカで再生したときの音色の違いはより少なくすることができる。

次に、搬送波の周波数やシンボルレートがピッチ周波数の整数倍でない場合について説明する。

図１５（Ａ）は、搬送波の周波数やシンボルレートをピッチ周波数の整数倍ではない値に設定して加算した信号、図１５（Ｂ）はそれを合成フィルタに通した信号、図１６はその周波数スペクトルである。図１６を図１４と比べると、調波構造は大きく崩れ、全く異なるスペクトルになってしまっていることがわかる。図１５（Ｂ）の信号をスピーカで再生して聴くと、大変に不快な音になってしまい、本実施形態と同様の効果は得られない。

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

＜第二実施形態に係る音響電子透かしシステム＞
第二実施形態に係る音響電子透かしシステム３０は、送信部３１と、受信部３４とを含む。送信部３１及び受信部３４はそれぞれ電子透かし埋め込み部３００及び電子透かし読み取り部４００を含む（図１参照）。

以下、電子透かし埋め込み部３００の詳細について説明する。
＜第二実施形態に係る電子透かし埋め込み部＞
図１７は電子透かし埋め込み部３００の機能ブロック図を、図１８はその処理フローを示す。

電子透かし埋め込み部３００は、入力バッファ１１０と逆フィルタ１３０と線形予測分析部１２０とピッチ分析部３４０と搬送波生成部１５０と位相変調部１６０と加算部３７０と合成フィルタ１８０と判定部３９０とＳＷ３９１とを含む。

全ての音響信号は、必ずしも音声の母音区間のような周波数特性（調波構造）を持っていない。例えば子音区間や無音区間で残差信号に上記搬送波を加算して合成フィルタ１８０を通した音を聴くと、搬送波が聞こえてしまい、違和感を感じる。そこで、本実施形態では、残差信号が調波構造を有する場合にのみ変調波と残差信号とを加算する構成とする。

＜ピッチ分析部３４０＞
ピッチ分析部３４０は、残差信号を受け取り、残差信号を用いてピッチ周波数を計算し、搬送波生成部１５０に出力するとともに、ピッチ周波数における残差信号の自己相関値を計算し（Ｓ３４０）、判定部３９０に出力する。

＜判定部３９０＞
判定部３９０は、自己相関値を受け取り、この値を用いて、母音区間のような周波数特性（調波構造）を持っているかどうかの判定を行い、判定結果に従い、ＳＷ３９１をＯＮ／ＯＦＦを制御する制御信号を出力する。母音区間と同様の周波数特性を持っている場合には、ＳＷ３９１をＯＮにして、搬送波を残差信号に加算する。母音区間と同様の周波数特性を持っていないと判定した場合には、ＳＷ３９１をＯＦＦにして、搬送波を残差信号に加算しない。

＜加算部３７０＞
加算部３７０は、残差信号が調波構造を有する場合に変調波と残差信号とを加算し第一信号を求め（Ｓ３９０のｙｅｓ、Ｓ３７０）、残差信号が調波構造を有さない場合に残差信号を第一信号とする（Ｓ３９０のｎｏ）。加算部３７０は、第一信号を加算部１７０に出力する。

＜第二実施形態に係る電子透かし読み取り部＞
電子透かし読み取り部４００は、電子透かし読み取り部２００と、以下の点で異なる。電子透かし読み取り部４００は、検波部２６０に代えて、検波部４６０を含む（図５参照）。

検波部４６０は、残差信号と搬送波とを受け取り、電子透かしが埋め込まれた残差信号と搬送波とを用いて、送信側で変調波が加算されている場合には並行情報に対応する情報を検出し（図６のＳ４６０）、出力する。電子透かし読み取り部４００では、電子透かし埋め込み部３００のＳＷ３９１がＯＮであったのかＯＦＦであったのか、すなわち、変調波が加算されているのか、加算されていないのかを収音信号から判定する必要がある。ただし、判定部３９０と同様の処理を行う必要はない。搬送波生成部２５０の搬送波と逆フィルタ２３０の残差信号とは無相関なので、検波部４６０における検波の結果、変調波が加算されていれば十分な強度でベースバンド信号が得られ、変調波が加算されていなければ十分な強度でベースバンド信号が得られない。そのため、電子透かし読み取り部４００は、得られたベースバンド信号があらかじめ決められた強度以上の場合には、送信側で変調波が加算されていると判断し、並行情報に対応する情報を検出、出力する。一方、電子透かし読み取り部４００は、得られたベースバンド信号があらかじめ決められた強度未満の場合には、送信側で変調波が加算されていないと判断し、並行情報に対応する情報を出力しないようにすればよい。

＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、搬送波を加算しても再生音に違和感を感じない区間のみに電子透かしが埋め込まれる。

なお、音声の母音区間以外でも、弦楽器や管楽器の音は音声の母音区間と同様の周波数特性（調波構造）を持っているため、弦楽器や管楽器の音に対しても違和感なく電子透かしを埋め込むことができる。

＜その他の変形例＞
電子透かし埋め込み部１００、３００、電子透かし読み込み部２００、４００はそれぞれ別装置として構成し、それぞれ電子透かし埋め込み装置、電子透かし読み込み装置としてもよい。

デジタル変復調を用いた通信システムでは、誤り訂正符号や誤り検出符号を併用することが一般的であり、本発明においても、誤り訂正符号や誤り検出符号を併用することによって、より通信の信頼性を高めることができる。

本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
本発明は、デジタルシグナルプロセッサや専用ＬＳＩに実装して実現することも可能である。また、コンピュータ本体とコンピュータプログラムとして実行することが可能である。つまり、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

1. 電子透かし埋め込み部と電子透かし読み取り部とを含み、
   前記電子透かし埋め込み部は、
   入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタと、
   Ｎを２以上の整数の何れかとし、前記第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成部と、
   Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める位相変調部と、
   前記変調波と前記第一残差信号とを加算し、第一信号を求める加算部と、
   前記第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、前記第一信号をフィルタリングし、再生信号を求める合成フィルタとを含み、
   前記電子透かし読み取り部は、
   前記再生信号の再生音を収音して得られる収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタと、
   前記第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成部と、
   前記第二残差信号と前記第二搬送波とを用いて、前記並行情報に対応する情報を検出する検波部とを含む、
   音響電子透かしシステム。
2. 請求項１の音響電子透かしシステムであって、
   前記加算部は、前記第一残差信号が調波構造を有する場合に前記変調波と前記第一残差信号とを加算し前記第一信号を求め、前記第一残差信号が調波構造を有さない場合に前記第一残差信号を前記第一信号とする、
   音響電子透かしシステム。
3. 入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタと、
   Ｎを２以上の整数の何れかとし、前記第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成部と、
   Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める第一位相変調部と、
   前記変調波と前記第一残差信号とを加算し、第一信号を求める加算部と、
   前記第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、前記第一信号をフィルタリングし、再生信号を求める合成フィルタとを含む、
   電子透かし埋め込み装置。
4. 収音信号を用いて、並行情報を得る電子透かし読み取り装置であって、
   収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタと、
   Ｎを２以上の整数の何れかとし、前記第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成部と、
   前記第二残差信号と前記第二搬送波とを用いて、並行情報に対応する情報を検出する検波部とを含む、
   電子透かし読み取り装置。
5. 入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタリングステップと、
   Ｎを２以上の整数の何れかとし、前記第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成ステップと、
   Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める位相変調ステップと、
   前記変調波と前記第一残差信号とを加算し、第一信号を求める加算ステップと、
   前記第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、前記第一信号をフィルタリングし、再生信号を求める合成フィルタリングステップと、
   前記再生信号の再生音を収音して得られる収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタリングステップと、
   前記第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成ステップと、
   前記第二残差信号と前記第二搬送波とを用いて、前記並行情報に対応する情報を検出する検波ステップとを含む、
   音響電子透かし方法。
6. 入力音響信号の線形予測係数である第一線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記入力音響信号をフィルタリングし、第一残差信号を求める第一逆フィルタリングステップと、
   Ｎを２以上の整数の何れかとし、前記第一残差信号の基本周波数である第一基本周波数のＮ倍となる正弦波を第一搬送波として生成する第一搬送波生成ステップと、
   Ｍを１以上Ｎ以下の整数の何れかとし、シンボルレートをピッチ周波数のＭ倍となるように、第一搬送波を並行情報で位相変調し、変調波を求める第一位相変調ステップと、
   前記変調波と前記第一残差信号とを加算し、第一信号を求める加算ステップと、
   前記第一線形予測係数をフィルタ係数とするＩＩＲフィルタを用いて、前記第一信号をフィルタリングし、再生信号を求める合成フィルタリングステップとを含む、
   電子透かし埋め込み方法。
7. 収音信号を用いて、並行情報を得る電子透かし読み取り方法であって、
   収音信号の線形予測係数である第二線形予測係数をフィルタ係数とするＦＩＲフィルタを用いて、前記収音信号をフィルタリングし、第二残差信号を求める第二逆フィルタリングステップと、
   Ｎを２以上の整数の何れかとし、前記第二残差信号の基本周波数である第二基本周波数のＮ倍となる正弦波を第二搬送波として生成する第二搬送波生成ステップと、
   前記第二残差信号と前記第二搬送波とを用いて、並行情報に対応する情報を検出する検波ステップとを含む、
   電子透かし読み取り方法。
8. 請求項３の電子透かし埋め込み装置、または、請求項４の電子透かし読み取り装置としてコンピュータを機能させるためのプログラム。