JP3354880B2 - Information multiplexing method, information extraction method and apparatus - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、ディジタル音声
（主情報）に対して、別の情報（副情報）を情報多重化
する際に、人間の知覚に感知されないように情報多重化
を行なったり、または、音声に多重化された情報を情報
抽出する方法、装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for multiplexing digital information (main information) with another information (sub-information) so as not to be perceived by human perception. Or a method and apparatus for extracting information multiplexed into audio.

【０００２】[0002]

【従来の技術】今日、上記のような情報多重化装置、抽
出装置は、ディジタル著作物に対して著作権情報や利用
ユーザＩＤ等を、情報コンテンツに秘密裏に多重化する
ことによって、ディジタル情報コンテンツの著作権保護
や不正複製抑止システムに用いられている。また、多重
化された情報が人間の知覚に感知されにくいという特色
を利用して、著作権保護のみならず、様々な利用方法が
可能である。2. Description of the Related Art Today, an information multiplexing apparatus and an extracting apparatus as described above secretly multiplex copyright information and a user ID of a digital work with information contents to obtain digital information. It is used for content copyright protection and illegal copy suppression systems. Further, by utilizing the characteristic that multiplexed information is hardly perceived by human perception, not only copyright protection but also various usage methods are possible.

【０００３】また、従来、エコーや位相、周波数成分を
操作し、音響情報に電子透かしを埋め込む方法が知ら
れ、たとえば、「Walter Bender, Daniel Gruhl, Noris
hige Morimoto, and Anthony Lu. Techniques for data
hiding. IBM Systems Journal, Vol.35, No.3&4, pp.
313-336, 1996.」に記載されている。電子透かし技術一
般に関する先行技術は、特開平９−１９１３９４に開示
されている。Conventionally, there is known a method of operating a echo, a phase, and a frequency component to embed a digital watermark in acoustic information. For example, Walter Bender, Daniel Gruhl, Noris
hige Morimoto, and Anthony Lu. Techniques for data
hiding. IBM Systems Journal, Vol.35, No.3 & 4, pp.
313-336, 1996. " Prior art relating to digital watermarking technology in general is disclosed in Japanese Patent Application Laid-Open No. 9-191394.

【０００４】[0004]

【発明が解決しようとする課題】しかし、上記従来技術
では、多重化することによって、情報コンテンツ（主情
報）の品質が低下するという問題がある。However, in the above-mentioned prior art, there is a problem that the quality of information contents (main information) is reduced by multiplexing.

【０００５】また、上記従来例では、人間には知覚され
ずに、情報コンテンツに多重化する場合、その情報コン
テンツを圧縮処理したり、編集処理したりすると、埋め
込まれた副情報が変質したり、破壊されたりして、各種
処理に対する耐性を持つことができないという問題があ
る。特に、ディジタル音声のような時系列データでは、
部分的な切り取り、時間軸方向への圧縮／伸長等の操作
を施された後では、副情報を読み取るための同期を取る
ことが困難であるという問題がある。In the above conventional example, when multiplexed with information content without being perceived by humans, if the information content is compressed or edited, the embedded sub-information may be altered. However, there is a problem that it cannot be tolerated to various processes due to being destroyed. In particular, for time-series data such as digital voice,
After operations such as partial cutting and compression / expansion in the time axis direction, there is a problem that it is difficult to synchronize for reading the sub-information.

【０００６】本発明は、人間には知覚されずに情報多重
化する場合、情報コンテンツ（主情報）の品質の低下が
少ない情報多重化方法、情報抽出方法、および装置を提
供することを目的とするものである。An object of the present invention is to provide an information multiplexing method, an information extracting method, and an apparatus, in which the quality of information content (main information) is less reduced when information is multiplexed without being perceived by a human. Is what you do.

【０００７】また、本発明は、人間には知覚されずに情
報コンテンツに情報多重化する場合、その情報コンテン
ツを圧縮処理したり、編集処理したりしても、埋め込ま
れた副情報が耐性を持つ情報多重化方法、情報抽出方
法、および装置を提供することを目的とするものであ
る。特に、ディジタル音声のような時系列データにおい
て、部分的な切り取り、時間軸方向への圧縮／伸長等の
操作を施しても、副情報を読み取るための同期を容易に
取ることができる情報多重化方法、情報抽出方法、およ
び装置を提供することを目的とするものである。Further, according to the present invention, when information is multiplexed into information content without being perceived by a human, even if the information content is subjected to compression processing or editing processing, the embedded sub-information is not resistant. It is an object of the present invention to provide an information multiplexing method, an information extraction method, and an apparatus having the same. In particular, information multiplexing that enables easy synchronization for reading sub-information even when operations such as partial cutting and compression / expansion in the time axis direction are performed on time-series data such as digital voice. It is an object to provide a method, an information extraction method, and an apparatus.

【０００８】[0008]

【課題を解決するための手段】本発明は、複数のチャネ
ルを持ち、主情報としてのディジタル音声信号に、上記
主情報とは異なる副情報を多重化する情報多重化方法に
おいて、上記複数のチャネルのうちの１つのチャネルに
おける主情報の周波数成分値と、上記複数のチャネルの
うちの他のチャネルにおける主情報の周波数成分値との
比を、上記副情報に応じて変更するものである。 According to the present invention, a plurality of channels are provided.
Digital audio signal as the main information
Information multiplexing method that multiplexes sub information different from main information
In one of the plurality of channels,
Frequency component value of the main information in
Of the main information in the other channels
The ratio is changed according to the sub-information.

【０００９】[0009]

【発明の実施の形態および実施例】図１は、本発明の一
実施例である情報多重化装置１００の入出力関係を示す
ブロック図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a block diagram showing the input / output relationship of an information multiplexing apparatus 100 according to one embodiment of the present invention.

【００１０】情報多重化装置１００は、主情報である原
音声と、副情報が含まれている情報埋め込みパラメタと
を入力し、主情報に副情報を多重化し、情報多重化済み
音声を出力する装置である。The information multiplexing apparatus 100 receives an original voice as main information and an information embedding parameter including sub-information, multiplexes the sub-information with the main information, and outputs an information-multiplexed voice. Device.

【００１１】図２は、上記実施例における情報埋め込み
パラメタの一例を示す図である。FIG. 2 is a diagram showing an example of information embedding parameters in the above embodiment.

【００１２】情報埋め込みパラメタは、副情報、乱数の
初期値、周波数変換フラグ、埋め込み方法パラメタによ
って構成されている。ただし、図２に示してある構成要
素の全てを必ず必要とする訳ではなく、最低限、副情報
を有していれば足り、乱数の初期値は、秘匿性を高める
場合に必要である。なお、周波数変換フラグは、埋め込
み時または抽出時に、周波数変換を実行するか否かを指
定するフラグである。埋め込み方法パラメタは、１つの
情報多重化装置または情報抽出装置内で複数の埋め込み
方法（情報多重化アルゴリズム）を実現することができ
る場合、埋め込み時または抽出時に、上記複数の埋め込
み方法のうちで、どの埋め込み方法で多重化または抽出
するかを指定するパラメタである。The information embedding parameter is composed of sub-information, an initial value of a random number, a frequency conversion flag, and an embedding method parameter. However, not all of the constituent elements shown in FIG. 2 are necessarily required, and it is sufficient to have at least the sub-information, and the initial value of the random number is necessary for enhancing confidentiality. The frequency conversion flag is a flag for specifying whether to perform frequency conversion at the time of embedding or extraction. When a plurality of embedding methods (information multiplexing algorithms) can be realized in one information multiplexing device or information extracting device, the embedding method parameter is selected from among the plurality of embedding methods at the time of embedding or extraction. This parameter specifies which multiplexing or extraction method to use.

【００１３】図３は、情報多重化装置１００を具体的に
示すブロック図である。FIG. 3 is a block diagram specifically showing the information multiplexing apparatus 100.

【００１４】情報多重化装置１００は、音声分解部１０
と、情報多重化部２０と、音声再構成部４０とを有す
る。The information multiplexing apparatus 100 includes a speech decomposition unit 10
, An information multiplexing unit 20 and a voice reconstructing unit 40.

【００１５】音声分解部１０は、主情報である原音声
を、予め定めたサンプル数ごとに分割し、これを「処理
単位」とし、情報多重化部２０へ送るものである。ここ
で、「処理単位」は、たとえば１ビットの副情報を主情
報に埋め込む場合における主情報の処理対象であり、た
とえば６４×チャネル数個のサンプル値である。The speech decomposing unit 10 divides the original speech, which is the main information, by a predetermined number of samples, and uses this as a "processing unit" to send to the information multiplexing unit 20. Here, the “processing unit” is a processing target of the main information when, for example, embedding 1-bit sub information in the main information, and is, for example, 64 × several channel sample values.

【００１６】情報多重化部２０は、上記情報埋め込みパ
ラメタと上記処理単位とを入力し、処理単位毎に多重化
し、この結果である情報多重化済み処理単位を出力し、
音声再構成部４０へ送るものである。また、情報多重化
部２０は、入力パラメタ分解部２１と、周波数変換部２
２と、副情報バッファ２３と、乱数生成部２４と、値変
更部３０と、周波数逆変換部２５とを有する。The information multiplexing unit 20 receives the information embedding parameter and the processing unit, multiplexes the information for each processing unit, and outputs an information multiplexed processing unit as a result.
This is sent to the audio reconstruction unit 40. The information multiplexing unit 20 includes an input parameter decomposing unit 21 and a frequency converting unit 2.
2, a sub information buffer 23, a random number generation unit 24, a value change unit 30, and a frequency inverse conversion unit 25.

【００１７】入力パラメタ分解部２１は、図２に示す情
報埋め込みパラメタから、周波数変換フラグと、副情報
と、乱数の初期値とを分解するものである。The input parameter decomposing unit 21 decomposes the frequency conversion flag, the sub information, and the initial value of the random number from the information embedding parameters shown in FIG.

【００１８】周波数変換部２２は、周波数変換フラグを
読み込み、周波数変換フラグが周波数変換することを指
示している場合にのみ、読み込まれた処理単位に対して
周波数変換を行い、値変更部３０に送るものである。な
お、周波数変換を常に実行しない場合、周波数変換フラ
グと周波数変換部２２と周波数逆変換部２５とを使用す
る必要がない。また、周波数変換を常に実行する場合、
周波数変換フラグを使用する必要がない。The frequency conversion unit 22 reads the frequency conversion flag and performs frequency conversion on the read processing unit only when the frequency conversion flag indicates that the frequency conversion is to be performed. What to send. When the frequency conversion is not always performed, it is not necessary to use the frequency conversion flag, the frequency conversion unit 22, and the frequency inverse conversion unit 25. Also, if frequency conversion is always performed,
There is no need to use a frequency conversion flag.

【００１９】乱数生成部２４は、情報埋め込みパラメタ
に埋め込まれている乱数の初期値を読み取り、この読み
取った乱数の初期値に基づいて、主情報を１ビット分多
重化する毎に順次、乱数を生成し、値変更部３０に送る
ものである。なお、乱数生成部２４は、音声のサンプル
数に比べて十分大きな周期で乱数を発生するものであ
る。The random number generator 24 reads the initial value of the random number embedded in the information embedding parameter, and sequentially multiplexes the random number every time the main information is multiplexed by one bit based on the read initial value of the random number. It is generated and sent to the value changing unit 30. The random number generation unit 24 generates a random number with a period sufficiently larger than the number of audio samples.

【００２０】図４は、上記実施例における副情報バッフ
ァ２３の構成を示す図である。FIG. 4 is a diagram showing the configuration of the sub information buffer 23 in the above embodiment.

【００２１】副情報バッファ２３は、著作権情報等の副
情報を保持する内部バッファに蓄え、所定の読み出しヘ
ッダ（バッファ内の情報を１ビットづつ取り出すための
ヘッダ）に応じて、副情報を１ビットずつ読み出し、こ
の読み出された副情報の各１ビットを情報多重化する毎
に順次、１ビット副情報を、値変更部３０に送るもので
ある。The sub-information buffer 23 stores the sub-information in an internal buffer for holding sub-information such as copyright information, and stores one sub-information in accordance with a predetermined read header (a header for extracting the information in the buffer one bit at a time). Each time one bit of the read sub-information is multiplexed, the one-bit sub-information is sent to the value changing unit 30.

【００２２】副情報バッファ２３における情報書き出し
／読み出しヘッダの制御方法は、情報多重化装置１００
と、後述の情報抽出装置２００とにおいて、同じ方法を
採用する必要がある。The control method of the information write / read header in the sub information buffer 23 is described in the information multiplexing apparatus 100.
It is necessary to adopt the same method in the information extraction device 200 described later.

【００２３】図５は、上記実施例における値変更部３０
の構成を示すブロック図である。FIG. 5 shows the value changing unit 30 in the above embodiment.
FIG. 3 is a block diagram showing the configuration of FIG.

【００２４】値変更部３０は、処理単位を格納する原音
声処理単位バッファ３１と、変調器３２と、処理単位変
更部３３と、情報多重化済み単位バッファ３４とを有す
るものである。The value changing unit 30 has an original audio processing unit buffer 31 for storing a processing unit, a modulator 32, a processing unit changing unit 33, and an information multiplexed unit buffer 34.

【００２５】図６は、上記実施例における主に処理単位
変更部３３の構成例を示すブロック図である。FIG. 6 is a block diagram mainly showing a configuration example of the processing unit changing unit 33 in the above embodiment.

【００２６】フィルタ生成部３３ａは、読み込んだ変調
済み１ビット副情報と、処理単位バッファの何番目の値
を処理しているかという情報とに基づいて、フィルタＦ
１_J〜Ｆｒ_J を生成するものである。The filter generation unit 33a performs filtering on the filter F based on the read modulated 1-bit sub-information and the information indicating the value of the processing unit buffer at which position is being processed.
1 _{J to} Fr _J are generated.

【００２７】変調器３２は、１ビット副情報、副情報終
端フラグ、乱数を入力とし、変調済み１ビット副情報を
出力するものである。乱数は、変調時において秘匿性を
高めるために用いられるものである。また、副情報終端
フラグは、副情報を繰り返し埋め込む際に、副情報の終
端にあたる部分に特別な形の変調をかけるために用いら
れるものである。変調方法の詳細に関しては、後述す
る。The modulator 32 receives 1-bit sub-information, a sub-information end flag, and a random number as input and outputs modulated 1-bit sub-information. The random number is used to enhance confidentiality during modulation. The sub-information end flag is used to apply a special type of modulation to a portion at the end of the sub-information when the sub-information is repeatedly embedded. Details of the modulation method will be described later.

【００２８】そして、１ビット副情報、副情報終端フラ
グ、乱数が変調器３２に送られ、変調器３２で１ビット
副情報が変調される。この変調された１ビット副情報に
基づいて、処理単位変更部３３で定位が変更される。Then, the 1-bit sub information, the sub information end flag, and the random number are sent to the modulator 32, and the modulator 32 modulates the 1-bit sub information. The localization is changed by the processing unit changing unit 33 based on the modulated 1-bit sub information.

【００２９】変調器３２と処理単位変更部３３とによっ
て構成されている値変更部３０は、乱数と１ビット副情
報とに応じ、また、後述の「予め定めた規則」に基づい
て、原音声処理単位バッファ３１に格納されている主情
報の音源定位を変更するものである。The value changing unit 30 composed of the modulator 32 and the processing unit changing unit 33 converts the original audio data in accordance with the random number and 1-bit sub-information, and based on "predetermined rules" described later. The sound source localization of the main information stored in the processing unit buffer 31 is changed.

【００３０】情報多重化装置１００は、上記処理単位が
音圧である場合、複数のチャネルのうちの１つのチャネ
ルにおける主情報の音圧と、上記複数のチャネルのうち
の他のチャネルにおける主情報の音圧との比を、上記副
情報に応じて変更する例である。上記比を変更すること
によって、入力された１ビット副情報が主情報に情報多
重化され、情報多重化済み単位バッファ３４に順次格納
される。When the processing unit is sound pressure, the information multiplexing apparatus 100 determines the sound pressure of the main information in one of the plurality of channels and the main information in the other one of the plurality of channels. This is an example in which the ratio with respect to the sound pressure is changed according to the sub-information. By changing the ratio, the input 1-bit sub-information is multiplexed with the main information, and is sequentially stored in the information-multiplexed unit buffer 34.

【００３１】また、変調器３２は、副情報終端フラグが
副情報の終端に到達したことを示すと、「１」でも
「０」でもない形の変調をかける例であり、「１」でも
「０」でもない形の変調を同期取得に利用する。When the sub-information end flag indicates that the end of the sub-information has been reached, the modulator 32 modulates the data in a form other than "1" or "0". A modulation other than "0" is used for synchronization acquisition.

【００３２】なお、上記処理単位が周波数成分である場
合、複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分値と、上記複数のチャネルのうちの他
のチャネルにおける主情報の周波数成分値との比を、上
記副情報に応じて変更する例である。When the processing unit is a frequency component, the frequency component value of the main information in one of the plurality of channels and the frequency component value of the main information in the other channel of the plurality of channels This is an example in which the ratio is changed according to the sub-information.

【００３３】第２の実施例は、処理単位変更部３３が、
上記副情報に応じてチャネル間の音の位相を操作するこ
とによって定位を変化させ、情報を埋め込む例である。In the second embodiment, the processing unit changing unit 33
This is an example of embedding information by changing the localization by manipulating the phase of the sound between channels in accordance with the sub information.

【００３４】このチャネル間の位相を変化させることに
よって、入力された１ビット副情報に情報多重化され、
情報多重化済み処理単位バッファ３４に順次格納され
る。By changing the phase between the channels, information is multiplexed into the input 1-bit sub information,
The information is sequentially stored in the multiplexed processing unit buffer 34.

【００３５】「空間音響」（イェンスフラウエルト、森
本政之、後藤敏幸編著、鹿島出版会）の３９頁に図２．
２７にチャネル間の時間差（位相差）と音源の定位との
関係が開示され、同文献７４頁には複数チャネル間の音
圧（レベル）差およびレベルの大きさとチャネル間の時
間差（位相差）とが示されている。FIG. 2 shows “Space Acoustic” (Jensfrawelt, edited by Masayuki Morimoto and Toshiyuki Goto, Kashima Press) on page 39.
27 discloses the relationship between the time difference (phase difference) between the channels and the localization of the sound source. On page 74 of the same document, the sound pressure (level) difference and the level of the plurality of channels and the time difference (phase difference) between the channels are described. Are shown.

【００３６】これらの関係を用いて、上記第２の実施例
において、主情報のチャネル間の音圧（レベル）差、位
相差またはその両方に基づいて、複数チャネル間の音源
定位を変化させることができ、また、情報多重化済み音
声のチャネル間の音圧（レベル）差、位相差、またはそ
の両方に基づいて、音源定位の変化を調べることがで
き、それを元に副情報を抽出することが可能である。Using these relationships, in the second embodiment, changing the sound source localization between a plurality of channels based on the sound pressure (level) difference, the phase difference or both of the channels of the main information. In addition, it is possible to examine a change in sound source localization based on a sound pressure (level) difference, a phase difference, or both between channels of information-multiplexed audio, and extract sub-information based on the change. It is possible.

【００３７】ところで、上記「予め定めた規則」は、た
とえば次の規則である。The "predetermined rules" are, for example, the following rules.

【００３８】 原音声処理単位バッファ３１における
所定の位置の値を、２つのチャネルから取り出し、この
値同士の比を変化させる。たとえば、第１チャネルの０
個目の処理単位Ｓ１₀ の値と、第２チャネルの０個目の
処理単位Ｓ２₀ の値との比を変化させる。たとえば、第
１チャネルが左のスピーカから音を出すチャネルであ
り、第２チャネルが右のスピーカから音を出すチャネル
である場合、図７に示すように、上記値の比を、右チャ
ネル側にずらせば（第１チャネルの０個目の処理単位Ｓ
１₀ の値を、第２チャネルの０個目の処理単位Ｓ２₀ の
値に対して小さくすれば）、副情報の内容が０であるこ
とを示し、逆に、上記値の比を、左チャネル側にずらせ
ば、副情報の内容が１であることを示す。A value at a predetermined position in the original sound processing unit buffer 31 is extracted from two channels, and the ratio between the values is changed. For example, the first channel 0
The ratio between the value of the processing unit S1 ₀ of the unit and the value of the processing unit S2 ₀ of the second channel is changed. For example, if the first channel is a channel that emits sound from the left speaker, and the second channel is a channel that emits sound from the right speaker, as shown in FIG. If it is shifted (the 0th processing unit S of the first channel
A value of 1 _0, if smaller than the 0 th processing unit S2 ₀ of the value of the second channel), indicates that the contents of the sub-information is 0, conversely, the ratio of the value, the left Shifting to the channel side indicates that the content of the sub information is 1.

【００３９】図７に示すように、時間軸上の特定タイム
スロットにおいて、副情報に応じて音源定位を離散的に
変化させる場合、時間軸上の特定タイムスロットにおい
て、副情報に応じて音源定位を離散的に変化させる場
合、副情報の入力が「１」であるときは、音源定位を右
または左方向に変化させ、一方、「１」の場合とは逆の
場合である副情報の入力が「０」であるときは、音源定
位を左または右方向に変化させると、変調回路を簡易に
実現することができる。As shown in FIG. 7, when the sound source localization is discretely changed according to the sub information in a specific time slot on the time axis, the sound source localization is performed according to the sub information in the specific time slot on the time axis. When the input of the sub-information is “1”, the sound source localization is changed to the right or left, while the input of the sub-information is the reverse of the case of “1”. Is "0", the modulation circuit can be easily realized by changing the sound source localization to the left or right.

【００４０】 原音声処理単位バッファ３１を、さら
にいくつかのブロックに分割し、各ブロックに対して、
埋め込みたい副情報に応じて、窓関数をかける（変調を
かける）。なお、原音声処理単位バッファ３１の全体を
１つのブロックとみなすこともできる（原音声処理単位
バッファ３１全体に１ビットを埋め込むこともでき
る）。上記窓関数として、図８、図９、図１０にそれぞ
れ示すものを考えることができる。The original audio processing unit buffer 31 is further divided into several blocks, and for each block,
Apply a window function (modulate) according to the sub-information to be embedded. Note that the entire original audio processing unit buffer 31 can be regarded as one block (one bit can be embedded in the entire original audio processing unit buffer 31). The window functions shown in FIGS. 8, 9 and 10 can be considered as the window functions.

【００４１】この場合、副情報に応じて窓関数の形状を
変えるようにしてもよい（位相を反転させる等）。たと
えば、図８に示すように、窓関数としてサインカーブを
選び、埋め込む副情報のビット１と０とに応じて、窓関
数の位相を１８０度変えるようにしてもよい。In this case, the shape of the window function may be changed according to the sub-information (for example, the phase is inverted). For example, as shown in FIG. 8, a sine curve may be selected as a window function, and the phase of the window function may be changed by 180 degrees according to bits 1 and 0 of the sub-information to be embedded.

【００４２】図８に示すように、正弦波で変化する音源
定位の変化に対して副信号の入力によって１８０度位相
変調をかける（１８０度以外で位相変調をかけてもよ
い）と、圧縮／伸長処理されても副情報の読み取りが可
能である。つまり、音源定位が中央から左右のどちらか
に寄り、その後再び中央に戻ってくれば１ブロックであ
るから、圧縮／伸長がかけられても、副情報を読みとる
ことができる。As shown in FIG. 8, when a change in the sound source localization that changes with a sine wave is subjected to 180-degree phase modulation by inputting a sub-signal (phase modulation other than 180 degrees may be applied), The sub information can be read even after the decompression processing. In other words, if the sound source localization shifts to the left or right from the center, and then returns to the center again, it is one block, so that even if compression / expansion is applied, the sub information can be read.

【００４３】または、値の比の変更量をブロック毎に変
えるようにしてもよい。たとえば、図９に示すように、
窓関数としてサインカーブを選び、埋め込む副情報のビ
ット１と０とに応じて、窓関数の振幅を変えるようにし
てもよい。図９に示すように、正弦波で変化する音源定
位の変化に対して、副信号の入力の有無によって振幅変
調すると、圧縮／伸長処理されても副情報の読み取りが
可能である。Alternatively, the change amount of the value ratio may be changed for each block. For example, as shown in FIG.
A sine curve may be selected as the window function, and the amplitude of the window function may be changed according to bits 1 and 0 of the sub-information to be embedded. As shown in FIG. 9, if the amplitude of the sound source localization change that changes with a sine wave is modulated by the presence or absence of the input of the sub signal, the sub information can be read even if the compression / expansion processing is performed.

【００４４】さらには、上記比を区別する周期を、ブロ
ック毎に変更するようにしてもよい。たとえば、図１０
に示すように、窓関数としてサインカーブを選択し、埋
め込む副情報のビット１と０とに応じて、窓関数の周波
数を変えるようにしてもよい。図１０に示すように、正
弦波で変化する音源定位の変化に対して副情報の入力の
有無によって周波数変調すると、圧縮／伸長処理されて
も副情報の読み取りが可能である。Further, the cycle for distinguishing the ratio may be changed for each block. For example, FIG.
As shown in (1), a sine curve may be selected as a window function, and the frequency of the window function may be changed according to bits 1 and 0 of the sub-information to be embedded. As shown in FIG. 10, if the frequency of the change in the sound source localization that changes with a sine wave is modulated by the presence or absence of the input of the sub information, the sub information can be read even if the compression / expansion processing is performed.

【００４５】なお、図８〜図１０に示す変調方法（およ
び対応する復調方法）自体は、既存の技術であり、たと
えば「ディジタル無線通信」（室谷正芳、山本平一
著：産業図書）等に記載されている。The modulation method (and the corresponding demodulation method) shown in FIGS. 8 to 10 is an existing technique, for example, "digital radio communication" (Masayoshi Murotani, Heiichi Yamamoto)
Authors: Industrial Books).

【００４６】また、主情報の特定周波数帯のみに、図７
〜図１０に示す方法のうちのいずれかの変調方法を適用
する方法を採用するようにしてもよく、さらに、その特
定周波数帯を時間の変化に応じて変更する方法（いわゆ
るfrequency hopping を行う方法）を採用するようにし
てもよい。このようにすれば、電子透かしの変造や削除
等の人為的な攻撃への耐性が向上される。FIG. 7 shows only the specific frequency band of the main information.
To any one of the methods shown in FIG. 10 to FIG. 10, and furthermore, a method of changing the specific frequency band according to a change in time (a method of performing so-called frequency hopping). ) May be adopted. This improves the resistance to artificial attacks such as falsification and deletion of digital watermarks.

【００４７】なお、上記複数の変調方法のうちから、埋
め込み方法パラメータによって所望の変調方法を選択で
きるようにすると、変更に柔軟に対応可能なシステムを
実現することができる。If a desired modulation method can be selected from the plurality of modulation methods by using the embedding method parameter, a system that can flexibly respond to the change can be realized.

【００４８】また、上記各窓関数を組合せたものを１つ
の窓関数であると考えるようにしてもよい。The combination of the above window functions may be considered as one window function.

【００４９】なお、変調器３２と処理単位変更部３３と
（値変更部３０）において行われる変更の規則は、情報
多重化装置１００と、情報抽出装置２００とにおいて、
同じ規則が使用される必要がある。The rules of the change performed in the modulator 32, the processing unit changing unit 33, and the (value changing unit 30) are as follows in the information multiplexing apparatus 100 and the information extracting apparatus 200.
The same rules need to be used.

【００５０】１ビット情報を多重化する度に、副情報バ
ッファ２３の副情報読み出しヘッダを、予め定められた
方法で制御する。１つの処理単位に対して、情報多重化
がＴ回（Ｔ≧１）行なわれ、その全てが終了した後、情
報多重化済み処理単位として出力する。Each time 1-bit information is multiplexed, the sub-information read header of the sub-information buffer 23 is controlled by a predetermined method. Information multiplexing is performed T times (T ≧ 1) for one processing unit, and after all of them are completed, the information is output as an information multiplexed processing unit.

【００５１】周波数逆変換部２５は、周波数変換フラグ
を読み込み、周波数変換フラグが周波数逆変換すること
を示している場合にのみ、読み込んだ情報多重化済み処
理単位に対して、周波数逆変換を行う。The frequency inverse conversion unit 25 reads the frequency conversion flag, and performs the frequency inverse conversion on the read information multiplexed processing unit only when the frequency conversion flag indicates that the frequency inverse conversion is performed. .

【００５２】音声再構成部４０は、入力された情報多重
化済み処理単位を順次つなぎ合わせ、情報多重化済み音
声を出力するものである。The audio reconstructing section 40 sequentially connects the input information multiplexed processing units and outputs information multiplexed audio.

【００５３】次に、情報多重化装置１００の動作につい
て説明する。Next, the operation of the information multiplexing apparatus 100 will be described.

【００５４】図１１は、情報多重化装置１００の動作を
示すフローチャートである。FIG. 11 is a flowchart showing the operation of the information multiplexing apparatus 100.

【００５５】まず、主情報と、副情報を含む情報埋め込
みパラメタを読み込み（Ｓ１）、副情報の誤り訂正符号
化が必要であれば（Ｓ２）、副情報の誤り訂正符号化を
行い（Ｓ３）、音声分解部１０によって主情報を処理単
位に分割し（Ｓ４）、分割された処理単位を読み込む
（Ｓ５）。そして、処理単位について周波数変換が必要
であれば（Ｓ６）、処理単位について周波数変換を行い
（Ｓ７）、値変換部３０の変調器３２によって、副情報
を変調し（Ｓ８）、フィルタ生成部３３ａが情報多重化
用フィルタ３３ｂを生成し（Ｓ９）、処理単位毎に情報
多重化し出力する（Ｓ１０）。First, information embedding parameters including main information and sub information are read (S1). If error correction coding of sub information is necessary (S2), error correction coding of sub information is performed (S3). Then, the main information is divided into processing units by the voice decomposition unit 10 (S4), and the divided processing units are read (S5). If frequency conversion is required for the processing unit (S6), the frequency conversion is performed for the processing unit (S7), and the sub-information is modulated by the modulator 32 of the value conversion unit 30 (S8), and the filter generation unit 33a Generates the information multiplexing filter 33b (S9), multiplexes the information for each processing unit, and outputs it (S10).

【００５６】そして、主情報の終端に達すれば（Ｓ１
１）、処理単位に基づいて、音声再構成部４０が情報多
重化済み音声を再構成する（Ｓ１２）。When the end of the main information is reached (S1
1) The speech reconstructing unit 40 reconstructs the information-multiplexed speech based on the processing unit (S12).

【００５７】図１１に示すフローチャートに対応するプ
ログラムが所定の記録媒体（ＦＤ、ＣＤ、ＤＶＤ、半導
体メモリ、磁気テープ等の記録媒体）に記録され、上記
所定の記録媒体が所定のコンピュータにインストールさ
れると、そのコンピュータが情報多重化装置として機能
する。A program corresponding to the flowchart shown in FIG. 11 is recorded on a predetermined recording medium (a recording medium such as an FD, CD, DVD, semiconductor memory, or magnetic tape), and the predetermined recording medium is installed on a predetermined computer. Then, the computer functions as an information multiplexing device.

【００５８】この場合、上記記録媒体は、主情報と副情
報とを読み込む手順と、主情報を処理単位に分割する手
順と、複数のチャネルのうちの１つのチャネルにおける
主情報の処理単位の値と上記複数のチャネルのうちの他
のチャネルにおける主情報の処理単位の値との比を、副
情報に応じて変更することによって、情報多重化する手
順と、情報多重化済み音声を再構成する手順とをコンピ
ュータに実行させるプログラムを記録したコンピュータ
で読み取り可能な記録媒体の例である。In this case, the recording medium has a procedure for reading main information and sub information, a procedure for dividing main information into processing units, and a processing unit value of main information in one of a plurality of channels. Information multiplexing procedure by changing the ratio of the value of the processing unit of the main information in other channels of the plurality of channels according to the sub-information, and reconstructing the information-multiplexed voice 4 is an example of a computer-readable recording medium on which a program for causing a computer to execute the procedure is recorded.

【００５９】次に、上記実施例において、情報多重化さ
れた音声信号から副情報を抽出する場合について説明す
る。Next, a description will be given of a case where sub-information is extracted from an information-multiplexed audio signal in the above embodiment.

【００６０】図１２は、本発明の情報抽出装置２００の
入出力関係を示す概略図である。FIG. 12 is a schematic diagram showing the input / output relationship of the information extraction device 200 of the present invention.

【００６１】情報抽出装置２００は、情報多重化済み音
声と原音声と情報抽出パラメタとを入力し、副情報を抽
出する装置である。ただし、情報抽出装置２００におい
て、同期信号を抽出する場合には、原音声を必要とする
ようでは意味がない。これは、以下の説明でも同様であ
る。The information extraction device 200 is a device for inputting information-multiplexed audio, original audio, and information extraction parameters, and extracting sub-information. However, when the information extraction device 200 extracts the synchronization signal, it does not make sense to require the original audio. This is the same in the following description.

【００６２】図１３は、情報抽出装置２００を具体的に
示すブロック図である。FIG. 13 is a block diagram specifically showing the information extracting device 200.

【００６３】情報抽出装置２００は、音声分解部６０
と、情報抽出部３００とを有するものである。The information extraction device 200 includes a speech
And an information extraction unit 300.

【００６４】音声分解部６０は、予め定めたサンプル数
毎に、情報多重化済み音声を分割し、情報多重化済み処
理単位として出力し、また、予め定めたサンプル数毎
に、原音声を分割し、原音声処理単位として出力するも
のである。なお、音声分解部６０は、原音声を分割する
に際して、情報多重化装置１００における音声分解部１
０と同じ処理を実現する必要がある。The speech decomposing unit 60 divides the information-multiplexed speech for each predetermined number of samples and outputs it as an information-multiplexed processing unit, and also divides the original speech every predetermined number of samples. Then, it is output as an original audio processing unit. Note that the speech decomposing unit 60 divides the original speech by using the speech decomposing unit 1 in the information multiplexing apparatus 100.
It is necessary to realize the same processing as 0.

【００６５】情報抽出部３００は、入力パラメタ分解部
７０と、周波数変換部７１と、乱数生成部７２と、ビッ
ト情報抽出部８０と、副情報再構成部９０とを有し、原
音声処理単位と情報多重化済み処理単位と情報抽出パラ
メタとを入力し、副情報を出力するものである。The information extraction unit 300 includes an input parameter decomposition unit 70, a frequency conversion unit 71, a random number generation unit 72, a bit information extraction unit 80, and a sub information reconstruction unit 90. And information multiplexed processing units and information extraction parameters, and output sub-information.

【００６６】入力パラメタ分解部７０は、情報抽出パラ
メタを、周波数変換フラグと乱数の初期値とに分解する
ものである。The input parameter decomposing unit 70 decomposes the information extraction parameters into a frequency conversion flag and an initial value of a random number.

【００６７】周波数変換部７１は、周波数変換フラグを
読み込み、周波数変換することを周波数変換フラグが示
している場合にのみ、読み込んだ処理単位に周波数変換
を行い、ビット情報抽出部８０に送るものである。な
お、周波数変換を常に施さない場合、周波数変換フラグ
と周波数変換部７１とを必要としない。また、周波数変
換を常に行う場合、周波数変換フラグを必要としない。The frequency conversion unit 71 reads the frequency conversion flag, performs frequency conversion on the read processing unit only when the frequency conversion flag indicates that the frequency conversion is to be performed, and sends it to the bit information extraction unit 80. is there. When the frequency conversion is not always performed, the frequency conversion flag and the frequency conversion unit 71 are not required. When the frequency conversion is always performed, the frequency conversion flag is not required.

【００６８】乱数生成部７２は、乱数の初期値を入力
し、この入力した乱数の初期値に基づいて、副情報を１
ビット抽出する毎に順次、乱数を生成し、ビット情報抽
出部８０に送るものである。The random number generation unit 72 inputs the initial value of the random number, and based on the input initial value of the random number,
Each time a bit is extracted, a random number is sequentially generated and sent to the bit information extraction unit 80.

【００６９】情報多重化装置１００における乱数生成部
２４と、情報抽出装置２００における乱数生成部７２と
は、乱数の初期値として所定の同じ値を与えた場合、同
順序で同じ乱数列を生成するものである。The random number generation unit 24 in the information multiplexing apparatus 100 and the random number generation unit 72 in the information extraction apparatus 200 generate the same random number sequence in the same order when given the same predetermined value as the initial value of the random number. Things.

【００７０】情報抽出装置２００は、上記処理単位が音
圧である場合、複数のチャネルのうちの１つのチャネル
における主情報の音圧と、上記複数のチャネルのうちの
他のチャネルにおける主情報の音圧との比に応じて、上
記副情報を抽出する例である。When the processing unit is sound pressure, the information extraction device 200 determines the sound pressure of the main information in one of the plurality of channels and the main information in the other one of the plurality of channels. This is an example in which the sub information is extracted according to the ratio with the sound pressure.

【００７１】また、情報抽出装置２００は、上記処理単
位が周波数成分である場合、複数のチャネルのうちの１
つのチャネルにおける主情報の周波数成分値と、上記複
数のチャネルのうちの他のチャネルにおける主情報の周
波数成分値との比に応じて、上記副情報を抽出する例で
ある。Further, when the processing unit is a frequency component, the information extracting apparatus 200
This is an example in which the sub-information is extracted in accordance with the ratio between the frequency component value of the main information in one channel and the frequency component value of the main information in another of the plurality of channels.

【００７２】図１４、図１５は、情報抽出部３００にお
けるビット情報抽出部８０の具体例２を示すブロック図
である。FIGS. 14 and 15 are block diagrams showing a specific example 2 of the bit information extracting section 80 in the information extracting section 300. FIG.

【００７３】ビット情報抽出部８０は、原音声処理単位
バッファ８１と、情報多重化済み処理単位バッファ８２
と、変調済み１ビット副情報抽出部８３と、復調器８４
とを有する。The bit information extraction unit 80 includes an original audio processing unit buffer 81 and an information multiplexed processing unit buffer 82.
A modulated 1-bit sub-information extracting unit 83 and a demodulator 84
And

【００７４】原音声処理単位バッファ８１は、原音声単
位を格納するバッファであり、情報多重化済み処理単位
バッファ８２は、情報多重化済み処理単位を格納するバ
ッファである。The original audio processing unit buffer 81 is a buffer for storing an original audio unit, and the information multiplexed processing unit buffer 82 is a buffer for storing an information multiplexed processing unit.

【００７５】変調済み１ビット副情報抽出部８３と復調
器８４とは、乱数と、「予め定めた規則」とに基づい
て、原音声処理単位バッファ８１に格納されている原音
声処理単位の値と、情報多重化済み処理単位バッファ８
２に格納されている情報多重化済み処理単位の値との比
に応じて、１ビット副情報を得るものである。The modulated 1-bit sub-information extracting unit 83 and the demodulator 84 determine the value of the original audio processing unit stored in the original audio processing unit buffer 81 based on the random number and the “predetermined rule”. And information multiplexed processing unit buffer 8
2 is to obtain 1-bit sub-information according to the ratio with the value of the information multiplexed processing unit stored in 2.

【００７６】つまり、上記実施例は、複数のチャネルを
持ち、主情報としてのディジタル音声信号に、上記主情
報とは異なる副情報が多重化されている多重化情報から
上記副情報を抽出する情報抽出方法において、上記複数
のチャネルのうちの１つのチャネルにおける主情報の音
圧と、上記複数のチャネルのうちの他のチャネルにおけ
る主情報の音圧との比に応じて、上記副情報を抽出する
ものである。That is, in the above embodiment, information for extracting the sub-information from multiplexed information having a plurality of channels and multiplexing sub-information different from the main information into a digital audio signal as the main information is described. In the extracting method, the sub-information is extracted according to a ratio between a sound pressure of main information in one of the plurality of channels and a sound pressure of main information in another of the plurality of channels. Is what you do.

【００７７】また、上記のようにして抽出された定位の
変化パターンが所定のパターンである場合、予め定めた
同期信号を読み取ったと判断し、この場合、この読み取
られた同期信号の次のビットが、情報多重化済み音声に
埋め込まれている副情報の先頭ビットである。If the localization change pattern extracted as described above is a predetermined pattern, it is determined that a predetermined synchronization signal has been read. In this case, the next bit of the read synchronization signal is set to the next bit. , The first bit of the sub information embedded in the information-multiplexed audio.

【００７８】ところで、上記「予め定めた規則」とし
て、次のものが考えられ、この「予め定めた規則」は、
情報多重化部２０における変調器３２と処理単位変更部
３３とに対応している必要がある。 原音声処理単位バッファ８１における所定の位置の
値と、情報多重化済み処理単位バッファ８２における上
記所定の位置の値との比を読む。 原音声処理単位バッファ８１を、さらにいくつかの
ブロックに分割し、各ブロックについて、読み取り規則
を適用する。当然、原音声処理単位バッファ８１全体を
１つのブロックとみなすようにしてもよい。By the way, the following may be considered as the above-mentioned "predetermined rule".
It is necessary to correspond to the modulator 32 and the processing unit changing unit 33 in the information multiplexing unit 20. The ratio between the value at a predetermined position in the original audio processing unit buffer 81 and the value at the predetermined position in the information multiplexed processing unit buffer 82 is read. The original audio processing unit buffer 81 is further divided into several blocks, and a reading rule is applied to each block. Naturally, the entire original audio processing unit buffer 81 may be regarded as one block.

【００７９】また、「読み取り規則」として、次のもの
が考えられる。 ブロック毎の値の比の変化（音源定位の変化）のパ
ターンに基づいて、副情報を抽出する。 ブロック毎の値の比の変更量に基づいて、副情報を
抽出する。 ブロック毎の値の比の変化周期に基づいて、副情報
を抽出する。The following can be considered as the "reading rule". Sub-information is extracted based on a pattern of a change in the ratio of values for each block (change in sound source localization). Sub-information is extracted based on the change amount of the value ratio for each block. Sub-information is extracted based on the change period of the value ratio for each block.

【００８０】なお、上記〜の「読み取り規則」のう
ちのいずれか２つまたは３つを組合せて１つの「読み取
り規則」と考えるようにしてもよい。Note that any two or three of the above “read rules” may be combined to be considered as one “read rule”.

【００８１】図１５において、変調済み１ビット情報抽
出部８３は、１ビット副情報、副情報終端フラグ、乱数
を入力し、フィルタ生成部８３ａに送る。フィルタ生成
部８３ａは、入力した１ビット副情報と、副情報終端フ
ラグと、乱数と、処理単位バッファ８１における何番目
の値を処理しているかという情報とに基づいて、フィル
タ８３ｂのＦ１_j 〜Ｆｒ_j を生成する。埋め込み方式選
択部から受けたＳ１_j〜Ｓｒ_j とＦ１_j 〜Ｆｒ_j とを掛
け合わせ、Ｓ’１_j 〜Ｓ’ｒ_j を出力する。In FIG. 15, the modulated 1-bit information extracting section 83 inputs 1-bit sub-information, a sub-information end flag, and a random number, and sends them to the filter generating section 83a. The filter generation unit 83a determines the F1 _j to F1 _{j of} the filter 83b based on the input 1-bit sub-information, the sub-information end flag, the random number, and the information indicating what number in the processing unit buffer 81 is being processed. Generate Fr _j . Multiplied by S1 received from the embedment mode selection unit _j to SR _j and the F1 _j ~Fr _j, outputs a S'1 _j ~S'r _j.

【００８２】次に、情報抽出装置２００の動作について
説明する。Next, the operation of the information extraction device 200 will be described.

【００８３】図１６は、情報抽出装置２００の動作を示
すフローチャートである。FIG. 16 is a flowchart showing the operation of the information extracting device 200.

【００８４】まず、情報抽出パラメタを読み込み（Ｓ２
１）、音声分解部６０が情報多重化済み音声を処理単位
に分割し（Ｓ２２）、その分割された処理単位を読み込
む（Ｓ２３）。周波数変換する必要があれば（Ｓ２
４）、処理単位を周波数変換し（Ｓ２５）、情報抽出用
フィルタ８３ｂを生成し（Ｓ２６）、復調器８４が副情
報を復調し（Ｓ２７）、１ビット副情報として出力する
（Ｓ２８）。つまり、情報多重化済み音声の音圧と原音
声の音圧との比とに応じて、副情報を抽出する。First, the information extraction parameters are read (S2
1) The speech decomposition section 60 divides the information-multiplexed speech into processing units (S22), and reads the divided processing units (S23). If frequency conversion is necessary (S2
4) The frequency of the processing unit is converted (S25), an information extraction filter 83b is generated (S26), and the demodulator 84 demodulates the sub information (S27) and outputs it as 1-bit sub information (S28). That is, the sub-information is extracted according to the ratio between the sound pressure of the information-multiplexed sound and the sound pressure of the original sound.

【００８５】そして、情報多重化済み音声の終端でなけ
れば（Ｓ２９）、ステップＳ２３に戻り、情報多重化済
み音声の終端であれば、副情報再構成部９０が１ビット
副情報から副情報を再構成し（Ｓ３０）、副情報の誤り
訂正符号化が必要であれば（Ｓ３１）、誤り訂正処理を
行う（Ｓ３２）。If it is not the end of the information multiplexed speech (S29), the process returns to step S23, and if it is the end of the information multiplexed speech, the sub-information reconstructing unit 90 converts the sub-information from the 1-bit sub-information. Reconstruction is performed (S30), and if error correction encoding of the sub information is necessary (S31), error correction processing is performed (S32).

【００８６】図１６に示すフローチャートに対応するプ
ログラムが所定の記録媒体（ＦＤ、ＣＤ、ＤＶＤ、半導
体メモリ、磁気テープ等の記録媒体）に記録され、上記
所定の記録媒体が所定のコンピュータにインストールさ
れると、そのコンピュータが情報抽出装置として機能す
る。A program corresponding to the flowchart shown in FIG. 16 is recorded on a predetermined recording medium (a recording medium such as an FD, CD, DVD, semiconductor memory, or magnetic tape), and the predetermined recording medium is installed on a predetermined computer. Then, the computer functions as an information extraction device.

【００８７】この場合、上記記録媒体は、情報抽出パラ
メタを読み込む手順と、情報多重化済み音声を処理単位
に分割する手順と、情報多重化済み音声の音圧と原音声
の音圧との比に応じて、副情報を抽出する手順とをコン
ピュータに実行させるプログラムを記録したコンピュー
タ読み取り可能な記録媒体の例である。In this case, the recording medium includes a procedure for reading the information extraction parameter, a procedure for dividing the information-multiplexed voice into processing units, and a ratio of the sound pressure of the information-multiplexed sound to the sound pressure of the original sound. 2 is an example of a computer-readable recording medium on which a program for causing a computer to execute a procedure for extracting sub-information according to the present invention is recorded.

【００８８】図１７は、本発明の他の実施例である情報
多重化装置１００Ａを示すブロック図である。FIG. 17 is a block diagram showing an information multiplexing apparatus 100A according to another embodiment of the present invention.

【００８９】情報多重化装置１００Ａは、副情報の埋め
込み方式を鍵として利用する情報多−化部２０Ａと、音
声分解部１０とを有するものである。情報多重化部２０
Ａは、基本的には情報多重化部２０と同じであるが、情
報埋め込みパラメタに埋め込み方式パラメタが含まれ、
入力パラメタ分解部２１Ａによって分解された埋め込み
方式パラメタが１ビット副情報、乱数、副情報終端フラ
グとともに値変更部３０Ａに送られる点が、情報多重化
部２０とは異なる。The information multiplexing apparatus 100A includes an information multiplexing section 20A that uses a sub-information embedding method as a key, and a speech decomposition section 10. Information multiplexing unit 20
A is basically the same as the information multiplexing unit 20, except that the information embedding parameter includes an embedding method parameter,
The information multiplexing unit 20 is different from the information multiplexing unit 20 in that the embedding method parameter decomposed by the input parameter decomposing unit 21A is sent to the value changing unit 30A together with 1-bit sub information, a random number, and a sub information end flag.

【００９０】図１８、図１９は、情報多重化装置１００
Ａにおける値変更部３０Ａを示すブロック図である。FIGS. 18 and 19 show information multiplexing apparatus 100.
It is a block diagram which shows the value change part 30A in A.

【００９１】値変更部３０Ａは、副情報の埋め込み方式
を鍵として利用する情報多重化処理部における値変更部
３５と、処理単位を格納する原音声単位バッファ３１
と、情報多重化済み単位バッファ３４とを有するもので
ある。The value changing unit 30A includes a value changing unit 35 in an information multiplexing processing unit that uses a method of embedding sub information as a key, and an original audio unit buffer 31 for storing a processing unit.
And an information multiplexed unit buffer 34.

【００９２】値変更部３５は、変調方式選択部３５ａ
と、変調器３５ｂ₁ 、３５ｂ₂ 、〜、３５ｂ_n と、処理
単位変更部３５ｃとを有する。The value changing section 35 is provided with a modulation scheme selecting section 35a.
, Modulators 35b ₁ , 35b ₂ ,..., 35b _n and a processing unit changing unit 35c.

【００９３】チャネル数がｒである場合に着目すると、
原音声処理単位バッファ３１から送られてきた原音声処
理単位の値（サンプル値）Ｓ１_j 〜Ｓｒ_j は、変調方式
選択部３５ａに送られ、埋め込み方式パラメタによって
指定された変調器に送られる。また、１ビット副情報、
副情報終端フラグ、乱数も、変調器３５ｂ₁ 〜、５ｂ_n
のそれぞれに送られる。各変調器の動作は、変調器３２
に準ずるが、各変調器のフィルタ生成部はそれぞれ異な
った生成規則を持っている。Focusing on the case where the number of channels is r,
The values (sample values) S1 _{j to} Sr _j of the original audio processing unit sent from the original audio processing unit buffer 31 are sent to the modulation scheme selection unit 35a and sent to the modulator specified by the embedding scheme parameter. Also, 1-bit sub information,
The sub information termination flag and the random number are also used as modulators 35b ₁ to 5b _n
Sent to each of The operation of each modulator is controlled by the modulator 32
However, the filter generator of each modulator has a different generation rule.

【００９４】図２０は、本発明の他の実施例である情報
抽出装置２００Ａを示すブロック図である。FIG. 20 is a block diagram showing an information extracting apparatus 200A according to another embodiment of the present invention.

【００９５】情報抽出装置２００Ａは、副情報の埋め込
み方式を鍵として利用する情報抽出部３００Ａと、音声
分解部６０とを有する装置である。情報抽出部３００Ａ
は、基本的には情報抽出部３００と同じであるが、情報
抽出パラメタに埋め込み方式パラメタが含まれ、入力パ
ラメタ分解部７０Ａによって分解された埋め込み方式パ
ラメタが乱数とともにビット情報抽出部８０Ａに送られ
る点が、情報抽出部３００とは異なる。The information extraction device 200A is a device having an information extraction unit 300A that uses the embedding method of sub-information as a key, and a speech decomposition unit 60. Information extraction unit 300A
Is basically the same as the information extraction unit 300, except that the information extraction parameter includes an embedding method parameter, and the embedding method parameter decomposed by the input parameter decomposing unit 70A is sent to the bit information extraction unit 80A together with a random number. This point is different from the information extraction unit 300.

【００９６】図２１は、副情報の埋め込み方式を鍵とし
て利用する情報抽出部３００Ａにおけるビット情報抽出
部８０Ａを示すブロック図である。FIG. 21 is a block diagram showing a bit information extraction unit 80A in an information extraction unit 300A that uses a sub information embedding method as a key.

【００９７】ビット情報抽出部８０Ａは、原音声処理単
位バッファ８１と、情報多重化済み処理単位バッファ８
２と、値比較部８５とを有する。値比較部８５には、埋
め込み方式パラメタとともに乱数を入力する。The bit information extraction unit 80A includes an original audio processing unit buffer 81 and an information multiplexed processing unit buffer 8
2 and a value comparison unit 85. The value comparison unit 85 inputs a random number together with the embedding method parameter.

【００９８】図２２は、情報抽出部３００Ａにおけるビ
ット情報抽出部８０Ａ内の値比較部８５を具体的に示す
ブロック図である。FIG. 22 is a block diagram specifically showing the value comparison unit 85 in the bit information extraction unit 80A in the information extraction unit 300A.

【００９９】値比較部８５は、変調済み１ビット副情報
抽出部８５ａと、復調方式選択部８５ｂと、変調器８５
ｃ₁ 〜８５ｃ_n とを有する。原音声を必要としないで情
報抽出する場合、情報多重化済み処理単位８２からのみ
処理単位を読み込む。変調済み１ビット副情報抽出部８
５ａは、変調済み１ビット副情報抽出部８５ａの動作に
応じて、変調済み１ビット副情報を復調方式選択部８５
ｂに送る。復調方式選択部８５ｂは、埋め込み方式パラ
メタを読み込み、多重化に使用した変調器に該当する復
調器を選択する。そして、変調済み１ビット副情報抽出
部８５ａから送られた変調済み１ビット副情報を、選択
された復調器に送る。The value comparing section 85 includes a modulated 1-bit sub-information extracting section 85a, a demodulating method selecting section 85b, and a modulator 85.
and a c ₁ ~85c _n. When information is extracted without requiring the original voice, the processing unit is read only from the information-multiplexed processing unit 82. Modulated 1-bit sub information extraction unit 8
5a, according to the operation of the modulated 1-bit sub-information extracting section 85a, the demodulated 1-bit sub-information is converted to the demodulation scheme selecting section 85a.
Send to b. The demodulation method selection unit 85b reads the embedding method parameters and selects a demodulator corresponding to the modulator used for multiplexing. Then, the modulated 1-bit sub-information sent from the modulated 1-bit sub-information extracting unit 85a is sent to the selected demodulator.

【０１００】図２３は、本発明の他の実施例である情報
多重化装置１００Ｂを示すブロック図である。FIG. 23 is a block diagram showing an information multiplexing apparatus 100B according to another embodiment of the present invention.

【０１０１】情報多重化装置１００Ｂは、他の情報多重
化方法で多重化した情報を抽出する際に利用する同期情
報を多重化する場合、上記実施例の情報多重化方法を利
用する情報多重化部２０Ｂと、音声分解部１０と、音声
再構成部４０とを有するものである。When multiplexing the synchronization information used for extracting information multiplexed by another information multiplexing method, the information multiplexing apparatus 100B uses the information multiplexing method of the above embodiment to multiplex information. It has a unit 20B, a voice decomposition unit 10, and a voice reconstruction unit 40.

【０１０２】情報多重化部２０Ｂは、基本的には、情報
多重化部２０と同じであり、副情報の多重化を二度に渡
って行なっている点だけが、情報多重化部２０と異なる
点であり、各部の動作は情報多重化部２０に準ずる。Information multiplexing section 20B is basically the same as information multiplexing section 20, and differs from information multiplexing section 20 only in that sub-information is multiplexed twice. In this regard, the operation of each unit conforms to that of the information multiplexing unit 20.

【０１０３】図２４は、本発明の別の実施例である情報
抽出装置２００Ｂを示すブロック図である。FIG. 24 is a block diagram showing an information extracting apparatus 200B according to another embodiment of the present invention.

【０１０４】情報抽出装置２００Ｂは、２つの情報抽出
装置２００、２０１を組み合わせることによって、情報
抽出時に同期取得する装置である。The information extracting device 200B is a device that obtains synchronization at the time of information extraction by combining the two information extracting devices 200 and 201.

【０１０５】情報抽出部３０１は、情報抽出部３００と
は別の方法によって情報抽出するものである。情報抽出
部３００で抽出された情報は、同期情報として、情報抽
出部３０１に送られ、別の情報多重化方法で多重化され
た副情報を抽出する場合における同期取得に利用され
る。The information extracting unit 301 extracts information by a method different from that of the information extracting unit 300. The information extracted by the information extraction unit 300 is sent to the information extraction unit 301 as synchronization information, and is used for synchronization acquisition when sub-information multiplexed by another information multiplexing method is extracted.

【０１０６】上記実施例において、１つの情報多重化済
み処理単位に対して、情報抽出処理がＴ回（たとえば６
４回）行なわれ、多重化されている１ビット副情報を、
順次、出力する。なお、Ｔは、情報多重化したときに、
各処理単位に多重化された副情報のビット数である。In the above embodiment, information extraction processing is performed T times (for example, 6 times) for one information multiplexed processing unit.
4), and multiplexes the 1-bit sub-information
Output sequentially. Note that T is, when information is multiplexed,
This is the number of bits of sub information multiplexed in each processing unit.

【０１０７】副情報再構成部９０は、情報多重化済み処
理単位に埋め込まれている副情報を構成するビット群
を、１ビットずつ順次入力し、複数回入力される各ビッ
トを多数決処理し、誤り訂正等の処理を行うことによっ
て、副情報を構成する各ビットを決定し、副情報を再構
成するものである。The sub-information reconstructing section 90 sequentially inputs the bits constituting the sub-information embedded in the information multiplexed processing unit one bit at a time, and performs majority processing on each bit inputted a plurality of times. By performing processing such as error correction, each bit constituting the sub information is determined, and the sub information is reconstructed.

【０１０８】副情報を構成するビットを１ビット抽出す
る毎に、副情報再構成部９０内の副情報書き込みヘッダ
を、予め定めた方法で制御する。Each time one bit constituting the sub information is extracted, the sub information write header in the sub information reconstructing section 90 is controlled by a predetermined method.

【０１０９】上記処理を、全ての情報多重化済み処理単
位に対して行ない、副情報が再構成される毎に、また
は、情報多重化済み音声全体に対して処理が終了した後
に、副情報を出力する。The above processing is performed on all the information multiplexed processing units, and each time the sub information is reconfigured, or after the processing is completed for the entire information multiplexed voice, the sub information is Output.

【０１１０】以上の動作が、上記実施例における情報抽
出処理である。The above operation is the information extraction processing in the above embodiment.

【０１１１】オーデイオコンテンツにおいて、各チャネ
ルの音圧バランスは、基本的には中央に定位するように
設定されている。これを微妙にずらすことによって副情
報を埋め込むことが、本発明の基本的なアイデアであ
る。具体的には、たとえばチャネル数が２の撮合、透か
し情報のビット列に応じて左右のチャネルの音圧バラン
スを、ある定められた規則に従って変更し、「１」か
「０」を埋め込む。もっとも単純な規則としては、
「１」を埋め込むときは、音源定位を右に、「０」を埋
め込むときは、音源定位を左に移動することが考えられ
る。この場合、より自然に定位位置の移動を行うので、
埋め込む透かし情報のビット毎に、音源定位を一旦中央
に寄せる。このことが、透かし情報を取り出すための同
期信号ともみなされる。In the audio content, the sound pressure balance of each channel is basically set so as to be localized at the center. Embedding sub-information by subtly shifting this is a basic idea of the present invention. Specifically, for example, the sound pressure balance of the left and right channels is changed according to a predetermined rule in accordance with the shooting of two channels and the bit string of the watermark information, and “1” or “0” is embedded. The simplest rule is
It is conceivable to move the sound source localization to the right when embedding "1" and to move the sound source localization to the left when embedding "0". In this case, since the localization position is moved more naturally,
The sound source localization is once centered for each bit of the watermark information to be embedded. This is also regarded as a synchronization signal for extracting watermark information.

【０１１２】透かし情報の読み取りは、原音データの音
圧バランスと透かし情報埋め込み後のデータとの音圧バ
ランスを比較し、原音と比べて左右どちらに音源定位が
シフトしているかを判別し、埋め込み時の変更規則と照
らし合わせて、副情報を読み取る。In reading the watermark information, the sound pressure balance of the original sound data is compared with the sound pressure balance of the data after embedding the watermark information. The sub information is read in accordance with the time change rule.

【０１１３】図２５は、上記実施例において、クラシッ
ク音楽のオーディオデータ（１６ｂｉｔ，４４．１Ｋｈ
ｚ，ｓｔｅｒｅｏ）にビットレート約６９０ｂｉｔ／ｓ
で８ｂｙｔｅの透かし情報を埋め込んだ場合におけるＳ
ＮＲを示す図である。FIG. 25 shows the audio data (16 bits, 44.1 Kh) of classical music in the above embodiment.
z, stereo) with a bit rate of about 690 bit / s
When 8 bytes of watermark information is embedded in
It is a figure showing NR.

【０１１４】ここでいう「埋め込み強度」は図８におけ
る振幅を指す。具体的には、埋め込み強度をα、左右の
チャネルのサンプル値をＬ、Ｒ、変更後のサンプル値を
Ｌ’、Ｒ’としたときに、Ｌ／Ｒ Ｒ’／Ｌが１±αの
範囲を動くことを意味する。また、「定位曲線」は図８
における波形の形状に相当する。この実験では図８と同
様のｓｉｎ曲線、正規分布、矩形波の３通りを試した。The “embedding intensity” here refers to the amplitude in FIG. Specifically, when the embedding strength is α, the sample values of the left and right channels are L and R, and the sample values after change are L ′ and R ′, L / R R ′ / L is in a range of 1 ± α. Means to move. The “localization curve” is shown in FIG.
Corresponds to the shape of the waveform. In this experiment, three types of sin curve, normal distribution, and rectangular wave similar to those in FIG. 8 were tried.

【０１１５】かなり高いビットレートにも関わらず、α
＝０．０００５程度ならば十分な音質を保っている。ま
た、α＝０．００５だと数字の上のＳＮＲはかなり悪い
が、注意深く聴き比べないと違いがわからない程度であ
る。Although the bit rate is rather high, α
If it is about 0.0005, sufficient sound quality is maintained. Also, when α = 0.005, the SNR above the number is quite bad, but the difference can only be seen by listening carefully.

【０１１６】定位曲線の違いによる特色も興味深い。ｓ
ｉｎ曲線は埋め込み単位毎の音源定位の変化量が大きく
なるので、ＳＮＲはそれほど良くないが、同期のタイミ
ングを正確に取ることが可能である。正規分布曲線の場
合は、その逆で、ＳＮＲは良いが同期取得は雑になって
しまう。したがって、電子透かしの用途ごとに異なる要
求条件にうまく適合する定位曲線を選択する必要があ
る。It is also interesting that the characteristics due to the difference of the localization curves are interesting. s
In the in-curve, since the amount of change in sound source localization for each embedding unit is large, the SNR is not so good, but the synchronization timing can be accurately taken. In the case of a normal distribution curve, on the contrary, the SNR is good but the synchronization acquisition is complicated. Therefore, it is necessary to select a localization curve that is well suited to different requirements for each digital watermarking application.

【０１１７】上記実施例を著作権保護システム等に利用
することによって、従来の方式よりもディジタル情報コ
ンテンツの品質を向上させることができ、また、著作権
保護対策を強化させることができ、つまり、被多重化情
報の品質保持と多重化情報の存続率の向上の両方を図る
ことができる。By using the above embodiment in a copyright protection system or the like, the quality of digital information contents can be improved as compared with the conventional method, and copyright protection measures can be strengthened. It is possible to both maintain the quality of the multiplexed information and improve the survival rate of the multiplexed information.

【０１１８】著作権保護情報を副情報とした場合、主情
報と分離困難な形で著作権保護情報が埋め込まれるの
で、主情報が不正にコピーされた場合、源を追跡するこ
とができ、したがって、主情報の不正コピーを防止する
ことができる。When the copyright protection information is used as the sub-information, the copyright protection information is embedded in a form that is difficult to separate from the main information. Therefore, if the main information is illegally copied, the source can be traced. Thus, unauthorized copying of the main information can be prevented.

【０１１９】また、上記実施例において、サンプル値を
操作してもよく、また、周波数成分値を操作してもよ
く、速度重視、耐性重視という要求条件に応じて、柔軟
に利用することができる。つまり、一般的には、サンプ
ル値を操作した場合、その処理速度が速く、その耐性が
低くなり、一方、周波数成分値を操作した場合、その処
理速度が遅く、その耐性が高くなる傾向にあり、したが
って、耐性、速度のいずれを優先するかによって、サン
プル値を操作するか、周波数成分値を操作するかを決定
すればよい。Further, in the above embodiment, the sample value may be manipulated, or the frequency component value may be manipulated, so that it can be flexibly used according to the requirements of emphasis on speed and tolerance. . That is, in general, when a sample value is manipulated, its processing speed is high and its tolerance is low. On the other hand, when a frequency component value is manipulated, its processing speed is slow and its tolerance tends to be high. Therefore, whether to operate the sample value or the frequency component value may be determined depending on which of the tolerance and the speed is prioritized.

【０１２０】また、処理単位に対して周波数変換を行う
場合も、上記と同様の処理が可能である。この場合、所
定の処理単位バッファ３１におけるチャネル間の値の比
を変化させることは、特定周波数成分の定位を変化させ
ることに相当する。この場合の埋め込み規則として、周
波数変換を行わない場合と同様のものを使うことができ
るが、処理単位バッファ３１内の値の意味するところが
異なるので注意を要する。また、情報多重化済処理単位
に対して周波数変換を行う場合も同様の処理が可能であ
る。当然、抽出に用いる規則は、周波数変換に対応する
ものを用いる必要がある。Also, when performing frequency conversion on a processing unit, the same processing as described above can be performed. In this case, changing the value ratio between channels in the predetermined processing unit buffer 31 corresponds to changing the localization of the specific frequency component. As the embedding rule in this case, the same rule as in the case where the frequency conversion is not performed can be used, but it should be noted that the meaning of the value in the processing unit buffer 31 is different. Similar processing can be performed when frequency conversion is performed on the information multiplexed processing unit. Naturally, it is necessary to use a rule corresponding to frequency conversion as a rule used for extraction.

【０１２１】上記実施例によれば、マルチチャネル音声
データの各チャネル間におけるサンプル値または周波数
成分値の比を変更する（マルチチャネル音声データの定
位を操作する）ことによって、副情報を埋め込むので、
スピーカの設置位置等の再生環境による影響が大きく、
従来方法に比べ音質の劣化を知覚されにくく、この知覚
されにくいために、より高いビットレートで副情報を埋
め込むことができる。また、情報多重化時に用いた乱数
の初期値がなければ、副情報の取り出しができない。According to the above embodiment, the sub-information is embedded by changing the ratio of the sample value or the frequency component value between the channels of the multi-channel audio data (operating the localization of the multi-channel audio data).
The effect of the playback environment, such as the speaker installation position, is large,
Deterioration of sound quality is less likely to be perceived as compared with the conventional method, and the sub-information can be embedded at a higher bit rate because it is less perceptible. If there is no initial value of the random number used at the time of information multiplexing, sub-information cannot be extracted.

【０１２２】つまり、上記実施例は、静止画や動画には
ない音声の特徴である「マルチチャネル性」を利用した
ものであり、複数のチャネルを持つ音声の場合、チャネ
ル間の音量バランスの変化によって、音が聞こえてくる
方向が変化するが、これは再生音声を聞いている人間の
位置、スピーカ等の音源の設置条件によっても大きく変
化するので、上記音量バランスの変化を知覚されにく
い。In other words, the above-described embodiment utilizes the “multi-channel characteristic” which is a feature of audio not included in still images and moving images. In the case of audio having a plurality of channels, a change in volume balance between channels is used. The direction in which the sound is heard changes depending on the position of the person listening to the reproduced sound and the installation conditions of the sound source such as a speaker, so that the change in the volume balance is hardly perceived.

【０１２３】また、上記実施例によれば、各チャネル間
におけるサンプル値または周波数成分値の比を変更する
場合、上記比における所定の変更パターンを同期信号と
して用いるので、音声（主情報）の圧縮／伸長や、部分
的な切り取りに対して、副情報の耐性が高められる。Further, according to the above embodiment, when changing the ratio of the sample value or the frequency component value between the channels, a predetermined change pattern in the above ratio is used as a synchronization signal. / The resistance of the sub-information to extension and partial cut-out is increased.

【０１２４】さらに、副情報に誤り訂正符号を適用する
ことによって、音声の圧縮・編集に対して、耐性を持た
せることができる。Further, by applying an error correction code to the sub-information, it is possible to make the audio compression / editing resistant.

【０１２５】そして、人間の聴覚が音源定位の変化に対
して鈍感であるので、変調の余裕を確保することがで
き、たとえば振幅変調を利用する場合、多値変調が可能
であり、より多〈の副情報を主情報に埋め込むことがで
きる。Further, since human hearing is insensitive to changes in sound source localization, a margin for modulation can be secured. For example, when amplitude modulation is used, multi-level modulation is possible, and Can be embedded in the main information.

【０１２６】上記実施例において、主情報が２チャネル
ステレオ音声／音楽情報であれば、音源定位の変化は一
次元であり、主情報が４チャネルステレオ音声／音楽惰
報であれば、音源定位の変化は二次元であり、主情報が
６チャネルステレオ音声／音楽情報であれば、音源定位
の変化は三次元である。なお、主情報が奇数チャネルの
音声／音楽情報であってもよく、主情報が７チャンネル
以上の音声／音楽情報であってもよい。つまり、奇数チ
ャネルのうちの任意のチャネルを組み合わせて定位情報
を伝達することができる。すなわち、主情報は、複数チ
ャネルの音声／音楽情報であればよい。In the above embodiment, if the main information is 2-channel stereo sound / music information, the change in sound source localization is one-dimensional. If the main information is 4-channel stereo sound / music information, the change in sound source localization is one-dimensional. The change is two-dimensional, and if the main information is 6-channel stereo audio / music information, the change in sound source localization is three-dimensional. Note that the main information may be audio / music information of an odd channel, or the main information may be audio / music information of seven or more channels. That is, localization information can be transmitted by combining any of the odd channels. That is, the main information only needs to be audio / music information of a plurality of channels.

【０１２７】「電子透かし」は、人間には知覚できな
い、または知覚しにくい副情報を主情報に埋め込むこと
である。したがって、副情報（埋め込まれる情報）とし
て、どのような情報をも使用することができる。たとえ
ば、主情報として楽曲を想定した場合、主情報を再生し
ながら、埋め込まれた歌詞（副情報）を表示するように
してもよい。"Digital watermarking" is to embed sub-information that cannot be perceived by humans or is hardly perceived in main information. Therefore, any information can be used as sub-information (information to be embedded). For example, when a song is assumed as the main information, the embedded lyrics (sub-information) may be displayed while reproducing the main information.

【０１２８】また、情報重化済みであることを示す識別
情報を、副情報に付加するようにしてもよい。このよう
にすることによって、同一方式の電子透かしが重複して
埋め込まれることを防止することができる。Further, identification information indicating that information duplication has been completed may be added to the sub information. By doing so, it is possible to prevent digital watermarks of the same system from being embedded redundantly.

【０１２９】なお、「空間音響」（イェンスブラウエル
ト、森本政之、後藤敏幸編著、鹿島出版会）の３９頁図
２．２７には、チャネル間の時間差（位相差）と音源の
定位（方位角）との関係が示されている。また、同文献
７４頁には複数チャネル間の音圧（レベル）差およびレ
ベルの大きさとチャネル間の時間差（位相差）とが示さ
れ、上記実施例において、これらの関係を用いて、主情
報のチャネル間の音圧（レベル）差、位相差、またはそ
の両方に基づいて、複数チャネル間の音源定位を変化さ
せることができ、また、受信した複数チャネル信号の主
情報のチャネル間の音圧（レベル）差、位相差、または
その両方に基づいて、音源定位情報を抽出することがで
きる。FIG. 2.27 on page 39 of “Spatial Sound” (edited by Jens Brawelt, Masayuki Morimoto and Toshiyuki Goto, Kashima Publishing Co.) shows the time difference (phase difference) between channels and the localization (azimuth angle) of the sound source. ) Is shown. Also, on page 74 of the document, a sound pressure (level) difference between a plurality of channels, a level magnitude, and a time difference (phase difference) between the channels are shown. The sound source localization between the multiple channels can be changed based on the sound pressure (level) difference, the phase difference, or both, between the channels of the plurality of channels, and the sound pressure between the channels of the main information of the received multi-channel signal can be changed. Sound source localization information can be extracted based on (level) differences, phase differences, or both.

【０１３０】つまり、複数のチャネルを持ち、主情報と
してのディジタル音声信号に、上記主情報とは異なる副
情報を多重化する情報多重化方法または装置において、
上記複数のチャネルのうちの１つのチャネルにおける主
情報と、上記複数のチャネルのうちの他のチャネルにお
ける主情報との間で、上記副情報に応じた位相差を与え
るようにしてもよい。上記のように、１つのチャネルに
おける主情報と、他のチャネルにおける主情報との間に
おける位相差を、副情報に応じて与える場合、処理単位
変更部３３において上記位相差を与えればよい。この具
体的な方法については、上記「空間音響」（イェンスブ
ラウエルト、森本政之、後藤敏幸編著、鹿島出版会）の
３９頁図２．２７に開示されているチャネル間の時間差
（位相差）と音源の定位（方位角）との関係に応じて実
行すればよい。That is, in an information multiplexing method or apparatus having a plurality of channels and multiplexing sub-information different from the main information on a digital audio signal as main information,
A phase difference according to the sub-information may be provided between main information in one of the plurality of channels and main information in another of the plurality of channels. As described above, when the phase difference between the main information in one channel and the main information in another channel is provided according to the sub-information, the processing unit changing unit 33 may provide the phase difference. The specific method is described in the above-mentioned "Spatial Sound" (edited by Jens Brawelt, Masayuki Morimoto and Toshiyuki Goto, Kashima Publishing Co., Ltd., page 39). It may be executed in accordance with the relationship with the localization (azimuth) of the sound source.

【０１３１】上記実施例は、 複数のチャネルのうちの１つのチャネルにおける主
情報の音圧と他のチャネルにおける主情報の音圧との比
を、副情報に応じて変更する実施例 複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分と、他のチャネルにおける主情報の周
波数成分との比を、副情報に応じて変更する実施例 複数のチャネルのうちの１つのチャネルにおける主
情報と、上記複数のチャネルのうちの他のチャネルにお
ける主情報との間で、副情報に応じた位相差を与える実
施例であるが、これら〜の実施例のそれぞれを、情
報多重化方法、情報多重化装置として把握することがで
き、また、情報抽出方法、情報抽出装置としても把握す
ることができ、〜の実施例について情報多重化装置
と情報抽出装置とによって構成される情報伝達システム
としても把握することができる。The above embodiment is an embodiment in which the ratio between the sound pressure of main information in one channel of a plurality of channels and the sound pressure of main information in another channel is changed in accordance with sub-information. An embodiment in which the ratio between the frequency component of the main information in one of the channels and the frequency component of the main information in the other channel is changed according to the sub-information In this embodiment, a phase difference according to the sub-information is provided between the main information in another channel of the plurality of channels according to the sub-information. It can be grasped as an information extraction method and an information extraction device, and can be grasped as an information extraction method and an information extraction device. It can also be understood as that the information transmission system.

【０１３２】[0132]

【発明の効果】本発明によれば、人間には知覚されずに
情報多重化する場合、主情報の品質の低下が少ないとい
う効果を奏する。According to the present invention, when information is multiplexed without being perceived by a human, there is an effect that the quality of the main information is hardly deteriorated.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の一実施例である情報多重化装置１００
の入出力関係を示すブロック図である。FIG. 1 is an information multiplexing apparatus 100 according to an embodiment of the present invention.
FIG. 3 is a block diagram showing the input / output relationship of the first embodiment.

【図２】上記実施例における情報埋め込みパラメタの一
例を示す図である。FIG. 2 is a diagram illustrating an example of an information embedding parameter in the embodiment.

【図３】情報多重化装置１００を具体的に示すブロック
図である。FIG. 3 is a block diagram specifically showing the information multiplexing apparatus 100.

【図４】上記実施例における副情報バッファ２３の構成
を示す図である。FIG. 4 is a diagram showing a configuration of a sub information buffer 23 in the embodiment.

【図５】上記実施例における値変更部３０の構成を示す
ブロック図である。FIG. 5 is a block diagram showing a configuration of a value changing unit 30 in the embodiment.

【図６】上記実施例における主に処理単位変更部３３の
構成例を示す図である。FIG. 6 is a diagram mainly illustrating a configuration example of a processing unit changing unit 33 in the embodiment.

【図７】上記実施例において、副情報に応じて時間軸上
の特定タイムスロットにおいて、音源定位を離散的に変
化させる例を示す図である。FIG. 7 is a diagram illustrating an example in which the sound source localization is discretely changed in a specific time slot on the time axis according to the sub-information in the embodiment.

【図８】上記実施例において、正弦波で変化する音源定
位の変化に対して副信号の入力によって１８０度位相変
調をかける例を示す図である。FIG. 8 is a diagram showing an example in which 180 ° phase modulation is applied to a change in sound source localization that changes with a sine wave by inputting a sub-signal in the embodiment.

【図９】上記実施例において、窓関数としてサインカー
ブを選び、埋め込む副情報のビット１と０とに応じて、
窓関数の振幅を変える例を示す図である。FIG. 9 is a diagram illustrating an example in which a sine curve is selected as a window function in accordance with bits 1 and 0 of sub-information to be embedded.
It is a figure showing the example which changes the amplitude of a window function.

【図１０】上記実施例において、正弦波で変化する音源
定位の変化に対して、副信号の入力の有無によって振幅
変調する場合を示す図である。FIG. 10 is a diagram illustrating a case where amplitude modulation is performed for a change in a sound source localization that changes with a sine wave according to the presence or absence of a sub-signal input in the embodiment.

【図１１】情報多重化装置１００の動作を示すフローチ
ャートである。FIG. 11 is a flowchart showing an operation of the information multiplexing apparatus 100.

【図１２】本発明の他の実施例である情報抽出装置２０
０の入出力関係を示す概略図である。FIG. 12 is an information extracting device 20 according to another embodiment of the present invention.
FIG. 4 is a schematic diagram showing an input / output relationship of 0.

【図１３】情報抽出装置２００を具体的に示すブロック
図である。FIG. 13 is a block diagram specifically showing the information extraction device 200.

【図１４】情報抽出部３００におけるビット情報抽出部
８０の具体例２を示すブロック図である。14 is a block diagram illustrating a specific example 2 of the bit information extraction unit 80 in the information extraction unit 300. FIG.

【図１５】情報抽出部３００におけるビット情報抽出部
８０の具体例２を示すブロック図である。15 is a block diagram showing a specific example 2 of the bit information extraction unit 80 in the information extraction unit 300. FIG.

【図１６】情報抽出装置２００の動作を示すフローチャ
ートである。FIG. 16 is a flowchart showing the operation of the information extraction device 200.

【図１７】本発明の他の実施例である情報多重化装置１
００Ａを示す図である。FIG. 17 is an information multiplexing apparatus 1 according to another embodiment of the present invention.
FIG.

【図１８】情報多重化装置１００Ａにおける値変更部３
０Ａを示すブロック図である。FIG. 18 shows a value change unit 3 in the information multiplexing apparatus 100A.
It is a block diagram showing OA.

【図１９】情報多重化装置１００Ａにおける値変更部３
０Ａを示すブロック図である。FIG. 19 is a value change unit 3 in the information multiplexing apparatus 100A.
It is a block diagram showing OA.

【図２０】本発明の他の実施例である情報抽出装置２０
０Ａを示すブロック図である。FIG. 20 is an information extraction device 20 according to another embodiment of the present invention.
It is a block diagram showing OA.

【図２１】副情報の埋め込み方式を鍵として利用する情
報抽出部３００Ａにおけるビット情報抽出部８０Ａを示
すブロック図である。FIG. 21 is a block diagram showing a bit information extraction unit 80A in an information extraction unit 300A using a sub information embedding method as a key.

【図２２】情報抽出部３００Ａにおけるビット情報抽出
部８０Ａ内の値比較部８５を具体的に示すブロック図で
ある。FIG. 22 is a block diagram specifically showing a value comparison unit 85 in a bit information extraction unit 80A in the information extraction unit 300A.

【図２３】本発明の他の実施例である情報多重化装置１
００Ｂを示す図である。FIG. 23 is an information multiplexing apparatus 1 according to another embodiment of the present invention.
FIG.

【図２４】本発明の別の実施例である情報抽出装置２０
０Ｂを示すブロック図である。FIG. 24 is an information extracting device 20 according to another embodiment of the present invention.
It is a block diagram showing OB.

【図２５】上記実施例において、クラシック音楽のオー
ディオデータ（１６ｂｉｔ，４４．１Ｋｈｚ，ｓｔｅｒ
ｅｏ）にビットレート約６９０ｂｉｔ／ｓで８ｂｙｔｅ
の透かし情報を埋め込んだ場合におけるＳＮＲを示す図
である。FIG. 25 is a block diagram showing the arrangement of the audio data (16 bits, 44.1 Khz, star) of classical music in the embodiment.
eo) to 8 bytes at a bit rate of about 690 bit / s
FIG. 8 is a diagram showing an SNR when watermark information of the first embodiment is embedded.

【符号の説明】[Explanation of symbols]

１００、１００Ａ、１００Ｂ…情報多重化装置、 １０…音声分解部、 ２０、２０Ａ、２０Ｂ…情報多重化部、 ２１…入力パラメタ分解部、 ２３…副情報バッファ、 ２４…乱数生成部、 ３０、３０Ａ…値変更部、 ４０…音声再構成部、 ２００、２００Ａ…情報抽出装置、 ６０…音声分解部、 ３００、３００Ａ、３０１…情報抽出部、 ７０、７０Ａ…入力パラメタ分解部、 ８０…ビット情報抽出部、 ８５…値比較部、 ９０…副情報再構成部。 100, 100A, 100B: Information multiplexing device, 10: Voice decomposing unit, 20, 20A, 20B: Information multiplexing unit, 21: Input parameter decomposing unit, 23: Sub-information buffer, 24: Random number generating unit, 30, 30A ... Value changing unit, 40 ... Sound reconstructing unit, 200, 200A ... Information extraction unit, 60 ... Speech decomposition unit, 300, 300A, 301 ... Information extraction unit, 70, 70A ... Input parameter decomposition unit, 80 ... Bit information extraction Unit, 85: value comparison unit, 90: sub-information reconstruction unit.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高嶋 洋一 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平３−85995（ＪＰ，Ａ) 特開 平２−19049（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04J 7/00 - 7/02 H04J 9/00 H04J 15/00 ──────────────────────────────────────────────────続 き Continuation of the front page (72) Inventor Yoichi Takashima 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo Within Nippon Telegraph and Telephone Corporation (56) References JP-A-3-85995 (JP, A) Kaihei 2-19049 (JP, A) (58) Fields investigated (Int. Cl. ⁷ , DB name) H04J ^7/ 00-7/02 H04J 9/00 H04J 15/00

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 複数のチャネルを持ち、主情報としての
ディジタル音声信号に、上記主情報とは異なる副情報を
多重化する情報多重化方法において、 上記複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分値と、上記複数のチャネルのうちの他
のチャネルにおける主情報の周波数成分値との比を、上
記副情報に応じて変更することを特徴とする情報多重化
方法。1. An information multiplexing method having a plurality of channels and multiplexing sub-information different from the main information on a digital audio signal as main information, comprising the steps of: An information multiplexing method, wherein a ratio between a frequency component value of information and a frequency component value of main information in another of the plurality of channels is changed according to the sub information. 【請求項２】 複数のチャネルを持ち、主情報としての
ディジタル音声信号に、上記主情報とは異なる副情報が
多重化されている多重化情報から上記副情報を抽出する
情報抽出方法において、 上記複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分値と、上記複数のチャネルのうちの他
のチャネルにおける主情報の周波数成分値との比に応じ
て、上記副情報を抽出することを特徴とする情報抽出方
法。2. An information extraction method for extracting said sub-information from multiplexed information having a plurality of channels and multiplexing sub-information different from said main information into a digital audio signal as main information, Extracting the sub-information in accordance with a ratio between a frequency component value of main information in one of the plurality of channels and a frequency component value of main information in another of the plurality of channels. Information extraction method to be characterized. 【請求項３】 複数のチャネルを持ち、主情報としての
ディジタル音声信号に、上記主情報とは異なる副情報を
多重化する情報多重化装置において、 上記複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分値と、上記複数のチャネルのうちの他
のチャネルにおける主情報の周波数成分値との比を、上
記副情報に応じて変更することを特徴とする情報多重化
装置。3. An information multiplexing apparatus having a plurality of channels and multiplexing sub-information different from said main information into a digital audio signal as main information, comprising: An information multiplexing apparatus, wherein a ratio between a frequency component value of information and a frequency component value of main information in another of the plurality of channels is changed according to the sub information. 【請求項４】 複数のチャネルを持ち、主情報としての
ディジタル音声信号に、上記主情報とは異なる副情報を
多重化し、上記副情報が多重化されている多重化情報か
ら上記副情報を抽出する情報伝達システムにおいて、 上記複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分値と、上記複数のチャネルのうちの他
のチャネルにおける主情報の周波数成分値との比を、上
記副情報に応じて変更する情報多重化装置と； 上記複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分値と、上記複数のチャネルのうちの他
のチャネルにおける主情報の周波数成分値との比に応じ
て、上記副情報を抽出する情報抽出装置と； を有することを特徴とする情報伝達システム。4. A digital audio signal having a plurality of channels and multiplexing sub-information different from the main information to a digital audio signal as main information, and extracting the sub-information from multiplexed information in which the sub-information is multiplexed. In the information transmission system, the ratio between the frequency component value of the main information in one of the plurality of channels and the frequency component value of the main information in another of the plurality of channels is determined by the sub information An information multiplexing device that changes in accordance with the following: a ratio between a frequency component value of main information in one of the plurality of channels and a frequency component value of main information in another of the plurality of channels; And an information extracting device for extracting the sub-information according to the information transmission system.