JP4531653B2 - Device for extracting information from acoustic signals - Google Patents
Device for extracting information from acoustic signals Download PDFInfo
- Publication number
- JP4531653B2 JP4531653B2 JP2005228878A JP2005228878A JP4531653B2 JP 4531653 B2 JP4531653 B2 JP 4531653B2 JP 2005228878 A JP2005228878 A JP 2005228878A JP 2005228878 A JP2005228878 A JP 2005228878A JP 4531653 B2 JP4531653 B2 JP 4531653B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- acoustic
- value
- window
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Description
本発明は、CD・DVD等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護(不正コピーの監視)および音楽属性情報の提供(楽曲タイトル検索サービス)分野、ミュージアム、イベント会場における展示説明ナレーションに連動した文字情報の提供サービス、放送番組やCD/DVDパッケージの音声信号からURLなどの情報を抽出し、携帯電話を用いて所定のコンテンツに関連するwebサイトにアクセスして詳細情報を抽出したり、アンケートに回答したりする非接触なインターネットへのゲートウェイサービス分野に関する。 The present invention relates to the protection of music copyright (monitoring illegal copying) in the field of package music for viewing for consumer and business use using CDs and DVDs, and the field of broadcasting and network music distribution distributed for commercial purposes by broadcasters and the like. ) And provision of music attribute information (music title search service), text information provision service linked to exhibition explanation narration in the fields, museums, event venues, information such as URLs from broadcast programs and audio signals of CD / DVD packages The present invention relates to a non-contact Internet gateway service field in which a mobile phone is used to access a web site related to a predetermined content and extract detailed information or answer a questionnaire.
最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている(例えば、特許文献1、2参照)。
As a service to provide music attribute information that allows you to know the titles of music that has been played recently, you can query the broadcast station for the date and time of the broadcast music, and record music fragments that are being played on mobile phones. Services that collate with melodies registered in the database have been put into practical use (see, for example,
特許文献1、2に記載の発明では、録音した音楽の断片と、データベースに登録されているメロディーと照合するため、データベースに登録される楽曲が増えると、処理負荷が増え、類似したメロディーを誤判定する可能性が増える。そこで、曲名やアーチスト情報などの楽曲属性情報を不可聴な電子透かしとして音響信号に埋め込む手法も提案されている(例えば、特許文献3〜6参照)。
In the inventions described in
特許文献1〜6に記載の手法では、埋め込み可能な情報量が少なく、音質が少なからず劣化し、各種信号処理により透かし情報が消失し、またアナログコピーに対しては、透かし検出が困難であるという問題がある。そこで、本出願人は、複数チャンネル有する音響信号の低周波数成分の比率を属性情報のビット値に応じて変更することにより、属性情報を埋め込む手法を提案すると共に、このようにして埋め込まれた音響信号から高い精度で属性情報を抽出するために、位相を変化させて解析を行う手法を提案した(特許文献7、8参照)。
しかしながら、上記特許文献8に記載の手法では、段階的に位相の変更が行われるため、抽出側で取り込んだ信号の先頭が、各段階の中間近辺にずれると、最適な位相の判断が不安定となり、極度に検出精度が低下したり、検出不能になる等の問題がある。この対策として、位相補正段階を細かくすることも考えられるが、演算時間が増大してリアルタイム抽出処理が困難になると共に、最適位相判定の計算誤差も増大して判定精度が向上しないという問題がある。 However, in the method described in Patent Document 8, since the phase is changed step by step, the determination of the optimum phase is unstable if the beginning of the signal captured on the extraction side deviates near the middle of each step. Thus, there are problems such as extremely low detection accuracy and impossible detection. As a countermeasure, it is conceivable to make the phase correction step fine, but there is a problem that the calculation time is increased and the real-time extraction process becomes difficult, and the calculation error of the optimum phase determination is increased and the determination accuracy is not improved. .
また、特許文献8に記載の手法では、低周波成分の強度が閾値より小さい場合には、ビット値検出の対象としないこととしているが、信号レベルの急激な変動や一時的な信号レベル低下や無音状態が発生した場合には、適切に判定できなくなるという問題もある。 Further, in the method described in Patent Document 8, when the intensity of the low frequency component is smaller than the threshold value, the bit value is not detected. However, the signal level suddenly fluctuates or the signal level temporarily decreases. There is also a problem that when a silent state occurs, it cannot be properly determined.
そこで、本発明は、CDや放送で提供される複数チャンネルの音響信号について、不可聴な状態で埋め込まれた属性情報等の付加情報を、演算量の負荷を抑えつつ、より正確に抽出することが可能な音響信号からの情報の抽出装置を提供することを課題とする。また、本発明は、信号レベルの急激な変動や一時的な信号レベル低下や無音状態が発生した場合にも、適切に負荷情報を抽出することが可能な音響信号からの情報の抽出装置を提供することを課題とする。 Therefore, the present invention more accurately extracts additional information such as attribute information embedded in an inaudible state from a plurality of channels of audio signals provided on a CD or broadcast while suppressing the burden of calculation amount. It is an object of the present invention to provide an apparatus for extracting information from an acoustic signal. In addition, the present invention provides an apparatus for extracting information from an acoustic signal that can appropriately extract load information even when a sudden change in signal level, temporary signal level drop, or silence occurs. The task is to do.
上記課題を解決するため、本発明では、時系列のサンプル列で構成される音響信号から、あらかじめ聴取不能な状態で埋め込まれた情報を抽出する装置であって、前記音響信号から、N個のサンプルで構成される音響フレームを獲得する音響フレーム獲得手段と、前記音響フレームを基準フレームとして設定するとともに、当該設定された基準フレームの最終サンプルから所定サンプル数分のオフセット値だけ移動させたサンプルを先頭サンプルとして次の基準サンプルを設定していくことにより複数の基準フレームを順次設定する基準フレーム設定手段と、前記設定された各基準フレームについて、当該基準フレームからN/P個の整数倍だけ順次サンプルを移動させた位置におけるP−1個の音響フレームを互いに位相の異なる位相変更フレームとして設定する位相変更フレーム設定手段と、前記基準フレームおよび位相変更フレームとして設定された各音響フレームに対して周波数変換を行い、前記各音響フレーム中の2箇所に対応する2種類のフレームスペクトルを生成する周波数変換手段と、前記生成された2種類のフレームスペクトルから所定の周波数以下の成分に相当する2種類の低周波強度の合算値を、2種類の符号判定パラメータとして各音響フレームについて算出する符号判定パラメータ算出手段と、前記基準フレームから移動させたサンプル数が同数の音響フレームを互いに同位相と定義し、過去の同位相の音響フレームにおいて算出された2種類の符号判定パラメータのうち、大きい方の符号判定パラメータを小さい方の符号判定パラメータで除した値を累積加算した値S(p)が最大となる音響フレームを、位相が最適な最適位相フレームであると判断し、当該最適位相フレームについて判断された前記符号判定パラメータに基づいて、所定の符号を出力するとともに、当該最適位相フレームが、直前の最適位相フレームと位相が異なり、2つ前の最適位相フレームと位相が同一である場合に、前記オフセット値を変更する符号出力手段と、前記各最適位相フレームに対して出力された符号により構成されるビット配列を、所定の規則により変換して付加情報を抽出する付加情報抽出手段を有する音響信号からの情報の抽出装置を提供する。 In order to solve the above-described problem, the present invention is an apparatus for extracting information embedded in an inaudible state from an acoustic signal composed of a time-series sample sequence, wherein N pieces of information are extracted from the acoustic signal. An acoustic frame acquisition means for acquiring an acoustic frame composed of samples, and setting the acoustic frame as a reference frame, and a sample moved by a predetermined number of samples from the final sample of the set reference frame a reference frame setting means for sequentially setting the plurality of reference frames by a first sample will set the next reference sample, for each reference frame the set, successively by N / P-number of an integral multiple from the reference frame Phase change of P-1 acoustic frames at the position where the sample is moved with different phases Phase change frame setting means for setting as a frame, frequency conversion is performed on each of the acoustic frames set as the reference frame and the phase change frame, and two types of frame spectra corresponding to two locations in each of the acoustic frames are obtained. A frequency conversion means to be generated, and two types of low-frequency intensity sum values corresponding to components below a predetermined frequency are calculated for each acoustic frame as two types of code determination parameters from the two types of generated frame spectra. The code determination parameter calculation means and the acoustic frames having the same number of samples moved from the reference frame as the same phase are defined as the same phase, and the larger of the two types of code determination parameters calculated in the past acoustic frames of the same phase The value obtained by dividing the sign decision parameter of the one by the smaller sign decision parameter The acoustic frame product adding value S (p) is maximum, it is determined that the phase is the best optimum phase frame, based on the sign determination parameter is determined for the optimum phase frame, it outputs a predetermined code as well as, the optimum phase frame, different immediately preceding optimum phase frame and the phase, if the two previous optimum phase frame and the phase is the same, the code output means for changing the offset value, each optimum phase There is provided an apparatus for extracting information from an acoustic signal having additional information extracting means for converting a bit array constituted by codes output for a frame according to a predetermined rule and extracting additional information.
また、本発明では、前記符号出力手段は、前記生成されたフレームスペクトルから抽出した2種類の符号判定パラメータが、ともに所定の下限閾値未満である場合に、前記音響フレームを無効フレームであると判断するものであり、前記判断に使用する下限閾値を、過去に有効フレームとして判断された音響フレームについて求められた符号判定パラメータの累積加算値を、音響フレーム数で除した値に所定の係数を乗じることにより算出し、前記符号判定パラメータの加算に当たり、所定回数加算した場合に、前記累積加算値を半分にする処理を行うものとしたことを特徴とする。
In the present invention, the code output means determines that the acoustic frame is an invalid frame when two types of code determination parameters extracted from the generated frame spectrum are both less than a predetermined lower threshold. The lower threshold used for the determination is multiplied by a predetermined coefficient to a value obtained by dividing the cumulative addition value of the code determination parameter obtained for the acoustic frame previously determined as an effective frame by the number of acoustic frames. When the code determination parameter is added a predetermined number of times, the cumulative addition value is halved .
本発明によれば、取得した音響信号を所定の音響フレーム単位で解析する際、過去の音響フレームにおける最適位相の変化に基づいて、基準フレームの位置を決定し、この基準フレームに対して位相をずらしながら、各音響フレームについて最適な位相を判断し、最適な位相と判断される音響フレームの状態に基づいて、埋め込まれていた情報を判断するため、演算負荷を最小にして最適な位相を決定することができ、不可聴な状態で埋め込まれた付加情報を、再生されている音響信号から正確に抽出することが可能となるという効果を奏する。 According to the present invention, when the acquired acoustic signal is analyzed in a predetermined acoustic frame unit, the position of the reference frame is determined based on the change in the optimum phase in the past acoustic frame, and the phase is determined with respect to the reference frame. The optimal phase is determined for each acoustic frame while shifting, and the optimal phase is determined by minimizing the computation load to determine the embedded information based on the state of the acoustic frame determined to be the optimal phase. The additional information embedded in an inaudible state can be accurately extracted from the reproduced sound signal.
また、本発明では、ビット値を抽出するために必要な低周波強度の閾値の算出にあたり、時間的に遠く離れた過去のフレームほど、その影響を小さくするようにしたので、信号レベルの急激な変動や一時的な信号レベル低下や無音状態が発生した場合にも、適切に付加情報を抽出することが可能となる。 Further, in the present invention, when calculating the threshold value of the low frequency intensity necessary for extracting the bit value, the influence of the past frame farther away in time is reduced, so that the signal level is rapidly increased. It is possible to appropriately extract additional information even when fluctuations, a temporary signal level decrease, or a silent state occurs.
以下、本発明の実施形態について図面を参照して詳細に説明する。
(1.埋め込み装置)
まず、本発明に係る音響信号からの情報の抽出装置により抽出すべき付加情報を音響信号に対して埋め込むための埋め込み装置について説明する。図1は、埋め込み装置の構成を示す機能ブロック図である。図1において、10は音響フレーム読込手段、20は周波数変換手段、30は低周波成分変更手段、40は周波数逆変換手段、50は改変音響フレーム出力手段、60は記憶手段、61は音響信号記憶部、62は付加情報記憶部、63は改変音響信号記憶部、70は付加情報読込手段である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(1. Embedding device)
First, an embedding device for embedding additional information to be extracted in an acoustic signal by an apparatus for extracting information from an acoustic signal according to the present invention will be described. FIG. 1 is a functional block diagram showing the configuration of the embedding device. In FIG. 1, 10 is an acoustic frame reading means, 20 is a frequency converting means, 30 is a low frequency component changing means, 40 is a frequency inverse converting means, 50 is a modified acoustic frame output means, 60 is a storage means, and 61 is an acoustic signal storage. , 62 is an additional information storage unit, 63 is a modified acoustic signal storage unit, and 70 is an additional information reading means.
音響フレーム読込手段10は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを1フレームとして読み込む機能を有している。周波数変換手段20は、音響フレーム読込手段10が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段30は、生成された複数のフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、付加情報記憶部62から抽出した付加情報に基づいて、チャンネル間で対応する低周波強度データのチャンネル間比率を変更する機能を有している。周波数逆変換手段40は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、複数の改変音響フレームを生成する機能を有している。改変音響フレーム出力手段50は、生成された改変音響フレームを順次出力する機能を有している。記憶手段60は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部61と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部62と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部63を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段70は、付加情報記憶部62から付加情報を抽出する機能を有している。なお、付加情報とは、音響情報に付加して埋め込むべき情報であり、タイトルやアーティスト名等の属性情報、および属性情報以外の他の情報を含むものである。図1に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
The sound frame reading means 10 has a function of reading a predetermined number of samples as one frame from each channel of the original stereo sound signal to be embedded with additional information. The frequency conversion means 20 has a function of generating a frame spectrum by frequency-converting the frame of the acoustic signal read by the acoustic frame reading means 10 by Fourier transformation or the like. The low frequency component changing means 30 extracts each low frequency intensity data corresponding to a predetermined frequency or less from a plurality of generated frame spectra, and responds between channels based on the additional information extracted from the additional
(2.埋め込み装置の処理動作)
次に、図1に示した埋め込み装置の処理動作について図2のフローチャートに従って説明する。まず、付加情報読込手段70は、付加情報記憶部62から付加情報を1ワード単位で読み込む(S101)。具体的には、レジスタに1ワード読み込むことになる。続いて、モードを区切りモードに設定する(S102)。モードは区切りモードと、ビットモード、継続識別モードの3種類が存在する。区切りモードは1ワード単位の区切りにおける処理を行うモードを示し、ビットモードは1ワードの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部62から1バイト読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。
(2. Processing operation of embedded device)
Next, the processing operation of the embedding apparatus shown in FIG. 1 will be described according to the flowchart of FIG. First, the additional information reading means 70 reads additional information from the additional
続いて、音響フレーム読込手段10が、音響信号記憶部61に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを1音響フレームとして読み込む(S104)。音響フレーム読込手段10が読み込む1音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が44.1kHzの場合、4096サンプル程度とすることが望ましい。したがって、音響フレーム読込手段10は、左チャンネル、右チャンネルについてそれぞれ4096サンプルずつ、順次音響フレームとして読み込んでいくことになる。 Subsequently, the acoustic frame reading means 10 reads a predetermined number of samples as one acoustic frame from each of the left and right channels of the stereo acoustic signal stored in the acoustic signal storage unit 61 (S104). The number of samples of one sound frame read by the sound frame reading means 10 can be set as appropriate, but is desirably about 4096 samples when the sampling frequency is 44.1 kHz. Therefore, the acoustic frame reading means 10 sequentially reads 4096 samples for each of the left channel and the right channel as acoustic frames.
続いて、周波数変換手段20は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る(S105)。具体的には、各音響フレームについて、3つの窓関数を用いて行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。 Subsequently, the frequency conversion means 20 performs frequency conversion on each read sound frame to obtain a frame spectrum that is a spectrum of the sound frame (S105). Specifically, each acoustic frame is performed using three window functions. As frequency conversion, Fourier transform, wavelet transform, and other various known methods can be used. In the present embodiment, a case where Fourier transform is used will be described as an example.
ここで、一般的なフーリエ変換を行う場合について説明しておく。所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、区切り部分が不連続になる。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。 Here, a case where general Fourier transform is performed will be described. When Fourier transform is performed on a predetermined signal, it is necessary to divide the signal into predetermined lengths. In this case, if Fourier transform is performed on a signal of a predetermined length as it is, the delimiter part is discontinuous. become. Therefore, in general, when performing Fourier transform, a signal value is changed using a window function called a Hanning window, and then Fourier transform is performed on the changed value.
ここで、一般的なフーリエ変換を行う場合の信号波形の変化の様子を図3に示す。図3において、横軸は時間軸(t)であり、図3(a)〜図3(c)は全て対応したものとなっている。また、図3(a)、図3(c)において縦軸は信号の振幅値(レベル)を示す。図3(b)において縦軸は窓関数W(t)の値を示している。なお、W(t)=0.5−0.5・cos(2πt/T)であり、W(t)の最大値は1である。 Here, FIG. 3 shows how the signal waveform changes when general Fourier transform is performed. In FIG. 3, the horizontal axis is the time axis (t), and FIGS. 3 (a) to 3 (c) all correspond to each other. In FIGS. 3A and 3C, the vertical axis indicates the amplitude value (level) of the signal. In FIG. 3B, the vertical axis indicates the value of the window function W (t). Note that W (t) = 0.5−0.5 · cos (2πt / T), and the maximum value of W (t) is 1.
一般的なフーリエ変換の場合、図3(a)に示すような所定長さの信号に対して、図3(a)に示すような窓関数W(t)を乗じて、図3(c)に示すような信号に変換する。そして、図3(c)に示すような波形の信号をフーリエ変換対象としてフーリエ変換を実行することになる。 In the case of a general Fourier transform, a signal having a predetermined length as shown in FIG. 3A is multiplied by a window function W (t) as shown in FIG. Into a signal as shown in Then, the Fourier transform is executed with a signal having a waveform as shown in FIG.
本実施形態では、フーリエ変換後の不連続性を除去するためではなく、一つの音響フレームから、情報を埋め込むための複数の状態を作り出すため、複数の窓関数を用意し、一つの音響フレームに対して、各窓関数を利用してフーリエ変換を行い、複数のスペクトルを得る。ここで、1音響フレームの信号波形および複数の窓関数W(1,i)、W(2,i)、W(3,i)の様子を図4に示す。図4において、横軸は時間軸(i)である。iは、後述するように、各音響フレーム内のN個のサンプルに付した通し番号であるため時刻tに比例している。また、図4(a)(e)(f)(g)において縦軸は信号の振幅値(レベル)を示す。図4(b)〜(d)において縦軸は窓関数W(1,i)、W(2,i)、W(3,i)の値を示しており、W(1,i)、W(2,i)、W(3,i)の最大値はいずれも1である。 In this embodiment, in order to create a plurality of states for embedding information from one acoustic frame, not to remove the discontinuity after Fourier transform, a plurality of window functions are prepared, and one acoustic frame is formed. On the other hand, Fourier transform is performed using each window function to obtain a plurality of spectra. Here, FIG. 4 shows a signal waveform of one acoustic frame and a plurality of window functions W (1, i), W (2, i), and W (3, i). In FIG. 4, the horizontal axis is the time axis (i). As described later, i is a serial number assigned to N samples in each acoustic frame, and is proportional to time t. In FIGS. 4A, 4E, 4F, and 4G, the vertical axis indicates the amplitude value (level) of the signal. 4B to 4D, the vertical axis indicates the values of the window functions W (1, i), W (2, i), W (3, i), and W (1, i), W The maximum values of (2, i) and W (3, i) are both 1.
第1窓関数W(1,i)は、音響フレームの前部を抽出するためのものであり、図4(b)に示すように前部の所定のサンプル番号iの位置において、最大値1をとり、後部においては、最小値0をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、第1窓関数W(1,i)の設計によって異なってくる。第1窓関数W(1,i)を乗じることにより、図4(a)に示すような音響フレームの信号波形は、図4(e)に示すように、前部に信号成分が残り、後部の信号成分が削除されたものとなり、これがフーリエ変換対象となる。また、第2窓関数W(2,i)は、音響フレームの中央部を抽出するためのものであり、図4(c)に示すように、中央部の所定のサンプル番号iの位置において、最大値1をとり、前部、後部においては、最小値0をとるように設定されている。第2窓関数W(2,i)を乗じることにより、図4(a)に示すような音響フレームの信号波形は、図4(f)に示すように、中央部に信号成分が残り、前部と後部の信号成分が削除されたものとなり、これがフーリエ変換対象となる。また、第3窓関数W(3,i)は、音響フレームの後部を抽出するためのものであり、図4(d)に示すように、前部においては最小値0をとり、後部の所定のサンプル番号iの位置において、最大値1をとるように設定されている。第3窓関数W(3,i)を乗じることにより、図4(a)に示すような音響フレームの信号波形は、図4(g)に示すように、前部の信号成分が削除され、後部に信号成分が残ったものとなり、これがフーリエ変換対象となる。このように前部、中央部、後部を抽出した後、フーリエ変換を実行するため、前部、中央部、後部に対応したスペクトルが得られることになる。1つの音響フレームにビット値を埋め込むためには、本来、前部と後部の2つに分けられれば良いのであるが、抽出側においては、必ずしも、信号を同期して読み込むことができるとは限らず、したがって、前部と後部をはっきりと区別するため、本発明では、中央部の信号も抽出することとしている。
The first window function W (1, i) is for extracting the front part of the acoustic frame. As shown in FIG. 4B, the first window function W (1, i) has a maximum value of 1 at the position of the predetermined sample number i. And the rear part is set to have a minimum value of 0. Which sample number has the maximum value depends on the design of the first window function W (1, i). By multiplying the first window function W (1, i), the signal waveform of the acoustic frame as shown in FIG. 4A has a signal component remaining in the front part as shown in FIG. The signal component is deleted and becomes a Fourier transform target. The second window function W (2, i) is for extracting the central portion of the acoustic frame, and as shown in FIG. 4C, at the position of the predetermined sample number i in the central portion. The maximum value is 1, and the minimum value is set to 0 at the front and rear portions. By multiplying by the second window function W (2, i), the signal waveform of the acoustic frame as shown in FIG. 4A has a signal component remaining in the center as shown in FIG. The signal components of the rear part and the rear part are deleted, and this becomes a Fourier transform target. The third window function W (3, i) is for extracting the rear part of the acoustic frame. As shown in FIG. 4 (d), the front part has a minimum value of 0, and the rear part has a predetermined value. The
具体的には、各窓関数は、ハニング窓関数W(i)=0.5−0.5・cos(2πi/N)を基本として窓分割を行うための窓分離関数Wc(i)を以下の〔数式1〕に示すように定義し、この窓分離関数Wc(i)を用いて定められる。 Specifically, each window function has a window separation function Wc (i) for performing window division based on the Hanning window function W (i) = 0.5−0.5 · cos (2πi / N) as follows. [Formula 1] and defined using this window separation function Wc (i).
〔数式1〕
3N/8≦i≦5N/8のとき、Wc(i)=0.5−0.5・cos(8π(i−3N/8)/N)
i<3N/8またはi>5N/8のとき、Wc(i)=0.0
[Formula 1]
When 3N / 8 ≦ i ≦ 5N / 8, Wc (i) = 0.5−0.5 · cos (8π (i−3N / 8) / N)
When i <3N / 8 or i> 5N / 8, Wc (i) = 0.0
そして、この窓分離関数Wc(i)を利用して、第1窓関数W(1,i)、第2窓関数W(2,i)、第3窓関数W(3,i)を以下の〔数式2〕に示すように定義する。 Then, using this window separation function Wc (i), the first window function W (1, i), the second window function W (2, i), and the third window function W (3, i) are It is defined as shown in [Formula 2].
〔数式2〕
W(2,i)=W(i)・Wc(i)
i≦N/2のとき、W(1,i)={1−Wc(i)}W(i)、W(3,i)=0.0
i>N/2のとき、W(1,i)=0.0、W(3,i)={1−Wc(i)}W(i)
[Formula 2]
W (2, i) = W (i) · Wc (i)
When i ≦ N / 2, W (1, i) = {1−Wc (i)} W (i), W (3, i) = 0.0
When i> N / 2, W (1, i) = 0.0, W (3, i) = {1-Wc (i)} W (i)
図4および上記〔数式1〕〔数式2〕からわかるように、第1窓関数、第2窓関数、第3窓関数は、ハニング窓関数を1音響フレームにおいて時間軸上で分割したものである。このうち、第1窓関数と第2窓関数、第2窓関数と第3窓関数は、同一時刻において、双方が同時に0でない値をもつような箇所が存在するように、すなわち時間軸上で互いにオーバーラップして設定される。また、第1窓関数と第3窓関数は、一方が0でない値をもつ場合に他方は必ず0となるように、すなわち時間軸上で互いにオーバーラップしないように設定される。また、第1窓関数、第3窓関数は、図4(b)(d)に示すように、その両側が非対称な余弦関数をもつように設定される。これは、第1窓関数を通して処理された結果と第3窓関数を通して処理された結果との違いが明瞭になるようにするためで、処理された音響フレームが時間軸上でずれが発生しても、互いに逆の窓関数で解析されるのを防ぐことができる。 As can be seen from FIG. 4 and [Formula 1] and [Formula 2], the first window function, the second window function, and the third window function are obtained by dividing the Hanning window function on the time axis in one acoustic frame. . Of these, the first window function and the second window function, and the second window function and the third window function are such that there are places where both have non-zero values at the same time, that is, on the time axis. Set to overlap each other. Further, the first window function and the third window function are set so that when one has a non-zero value, the other always becomes zero, that is, does not overlap each other on the time axis. The first window function and the third window function are set so that both sides thereof have asymmetric cosine functions, as shown in FIGS. This is to make the difference between the result processed through the first window function and the result processed through the third window function clear, and the processed acoustic frame is shifted on the time axis. However, it is possible to prevent the analysis by the inverse window functions.
S105においてフーリエ変換を行う場合、具体的には、左チャンネル信号xl(i)、右チャンネル信号xr(i)(i=0,…,N−1)に対して、上記〔数式2〕に従った3つの窓関数である第1窓関数W(1,i)、第2窓関数W(2,i)、第3窓関数W(3,i)を用いて、以下の〔数式3〕に従った処理を行い、左チャンネルに対応する変換データの実部Al(1,j)、Al(2,j)、Al(3,j)、虚部Bl(1,j)、Bl(2,j)、Bl(3,j)、右チャンネルに対応する変換データの実部Ar(1,j)、Ar(2,j)、Ar(3,j)、虚部Br(1,j)、Br(2,j)、Br(3,j)を得る。なお、窓関数W(1,i)、W(2,i)、W(3,i)は、それぞれ音響フレームの前部(先頭)付近、中央付近、後部付近において値が大きくなる関数となっている。 When the Fourier transform is performed in S105, specifically, the left channel signal xl (i) and the right channel signal xr (i) (i = 0,..., N−1) are in accordance with the above [Equation 2]. Using the first window function W (1, i), the second window function W (2, i), and the third window function W (3, i), which are the three window functions, Processing is performed in accordance with the real part Al (1, j), Al (2, j), Al (3, j), imaginary part Bl (1, j), Bl (2,2) of the conversion data corresponding to the left channel. j), Bl (3, j), real part Ar (1, j), Ar (2, j), Ar (3, j), imaginary part Br (1, j), corresponding to the right channel, Br (2, j) and Br (3, j) are obtained. Note that the window functions W (1, i), W (2, i), and W (3, i) are functions whose values increase near the front (front), near the center, and near the rear of the acoustic frame, respectively. ing.
〔数式3〕
Al(1,j)=Σi=0,…,N-1W(1,i)・xl(i)・cos(2πij/N)
Bl(1,j)=Σi=0,…,N-1W(1,i)・xl(i)・sin(2πij/N)
Al(2,j)=Σi=0,…,N-1W(2,i)・xl(i)・cos(2πij/N)
Bl(2,j)=Σi=0,…,N-1W(2,i)・xl(i)・sin(2πij/N)
Al(3,j)=Σi=0,…,N-1W(3,i)・xl(i)・cos(2πij/N)
Bl(3,j)=Σi=0,…,N-1W(3,i)・xl(i)・sin(2πij/N)
Ar(1,j)=Σi=0,…,N-1W(1,i)・xr(i)・cos(2πij/N)
Br(1,j)=Σi=0,…,N-1W(1,i)・xr(i)・sin(2πij/N)
Ar(2,j)=Σi=0,…,N-1W(2,i)・xr(i)・cos(2πij/N)
Br(2,j)=Σi=0,…,N-1W(2,i)・xr(i)・sin(2πij/N)
Ar(3,j)=Σi=0,…,N-1W(3,i)・xr(i)・cos(2πij/N)
Br(3,j)=Σi=0,…,N-1W(3,i)・xr(i)・sin(2πij/N)
[Formula 3]
Al (1, j) = Σi = 0,..., N-1 W (1, i) · xl (i) · cos (2πij / N)
Bl (1, j) = Σi = 0,..., N-1 W (1, i) · xl (i) · sin (2πij / N)
Al (2, j) = Σi = 0,..., N-1 W (2, i) · xl (i) · cos (2πij / N)
Bl (2, j) = Σ i = 0, ..., N-1 W (2, i) · xl (i) · sin (2πij / N)
Al (3, j) = Σi = 0,..., N-1 W (3, i) · xl (i) · cos (2πij / N)
Bl (3, j) = Σi = 0,..., N-1 W (3, i) · xl (i) · sin (2πij / N)
Ar (1, j) = Σi = 0,..., N-1 W (1, i) .xr (i) .cos (2πij / N)
Br (1, j) = Σ i = 0,..., N−1 W (1, i) · xr (i) · sin (2πij / N)
Ar (2, j) = Σi = 0,..., N-1 W (2, i) .xr (i) .cos (2πij / N)
Br (2, j) = Σi = 0,..., N-1 W (2, i) .xr (i) .sin (2πij / N)
Ar (3, j) = Σi = 0,..., N-1 W (3, i) .xr (i) .cos (2πij / N)
Br (3, j) = Σi = 0,..., N-1 W (3, i) .xr (i) .sin (2πij / N)
上記〔数式3〕において、iは、各音響フレーム内のN個のサンプルに付した通し番号であり、i=0,1,2,…N−1の整数値をとる。また、jは周波数の値について、値の小さなものから順に付した通し番号であり、iと同様にj=0,1,2,…N−1の整数値をとる。サンプリング周波数が44.1kHz、N=4096の場合、jの値が1つ異なると、周波数が10.8Hz異なることになる。 In the above [Expression 3], i is a serial number assigned to N samples in each acoustic frame, and takes an integer value of i = 0, 1, 2,... N−1. Further, j is a serial number assigned in order from the smallest value of the frequency value, and takes an integer value of j = 0, 1, 2,... N−1 similarly to i. When the sampling frequency is 44.1 kHz and N = 4096, if the value of j is different by one, the frequency will be different by 10.8 Hz.
上記〔数式3〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段30が、生成されたフレームスペクトルから3つの所定周波数範囲のスペクトル集合を抽出する。人間の聴覚は、200〜300Hz程度までの低周波成分については、方向性を感知しにくくなっていることが知られている(コロナ社1990年10月30日発行「音響工学講座1.基礎音響工学、日本音響学会編」p247図9・26参照)。したがって、本実施形態では、低周波成分を200Hz程度以下としている。周波数200Hz付近は、上記jが20に相当するので、上記〔数式3〕により算出された実部Al(1,j)、Al(2,j)、Al(3,j)、虚部Bl(1,j)、Al(2,j)、Al(3,j)、実部Ar(1,j)、Ar(2,j)、Ar(3,j)、虚部Br(1,j)、Br(2,j)、Br(3,j)のうち、j≦20のものを抽出することになる。
By executing the processing according to the above [Equation 3], a frame spectrum in which the signal component of each acoustic frame is expressed by a spectrum corresponding to the frequency is obtained. Subsequently, the low frequency
続いて、低周波成分変更手段30は、抽出した実部Al(1,j)等((2,j)(3,j)も含む、他の実部、虚部についても同様)、虚部Bl(1,j)等、実部Ar(1,j)等、虚部Br(1,j)等のうち、左チャンネルの実部Al(1,j)等、虚部Bl(1,j)等を利用して、以下の〔数式4〕により、合算値E1、合算値E2を算出する。 Subsequently, the low frequency component changing means 30 extracts the extracted real part Al (1, j) and the like (the same applies to other real parts and imaginary parts including (2, j) (3, j)), and the imaginary part. Among the real parts Ar (1, j), etc., the imaginary parts Br (1, j), etc., among the real parts Al (1, j), etc., the imaginary parts Bl (1, j), etc. ) And the like, the total value E 1 and the total value E 2 are calculated by the following [Equation 4].
〔数式4〕
E1=Σj=1,…,M-3{Al(1,j)2+Bl(1,j)2+Ar(1,j)2+Br(1,j)2}
E2=Σj=1,…,M-3{Al(3,j)2+Bl(3,j)2+Ar(3,j)2+Br(3,j)2}
[Formula 4]
E 1 = Σj = 1,..., M-3 {Al (1, j) 2 + Bl (1, j) 2 + Ar (1, j) 2 + Br (1, j) 2 }
E 2 = Σ j = 1,..., M-3 {Al (3, j) 2 + Bl (3, j) 2 + Ar (3, j) 2 + Br (3, j) 2 }
上記〔数式4〕により算出されたE1は音響フレーム前部付近のスペクトル集合の成分強度の合算値、E2は音響フレーム後部付近のスペクトル集合の成分強度の合算値を示すことになる。続いて、この合算値E1、E2がレベル下限値Lev以上であるかどうかの判定を行う。レベル下限値Levは、音響信号xl(i)、xr(i)の振幅最大値が1に正規化されており、M=20に設定されている場合、0.05に設定する。この条件において、経験的にアナログ変換への耐性が維持できるレベルは“0.5”となるが、本発明においては、後述するように、電子透かし抽出・照合手段200において照合を行うため、余裕を持たせておく必要がある。したがって、本実施形態においては、アナログ変換への耐性が維持できるレベルの1/10程度の0.05に設定している。なお、上記〔数式4〕において、総和を計算する範囲を1〜M−3までとし、M−2、M−1、Mを除外しているのは、後述するように、非埋め込み領域との分離を明瞭にするためである。 E 1 calculated by the above [Equation 4] indicates the sum of the component intensities of the spectrum set near the front of the acoustic frame, and E 2 indicates the sum of the component intensities of the spectrum set near the rear of the acoustic frame. Subsequently, it is determined whether or not the combined values E 1 and E 2 are equal to or higher than the level lower limit value Lev. The level lower limit value Lev is set to 0.05 when the maximum amplitude value of the acoustic signals xl (i) and xr (i) is normalized to 1 and M = 20 is set. Under this condition, the level at which the resistance to analog conversion can be maintained empirically is “0.5”. However, in the present invention, as will be described later, the digital watermark extraction / collation means 200 performs collation, so It is necessary to have. Therefore, in this embodiment, it is set to 0.05, which is about 1/10 of the level at which the resistance to analog conversion can be maintained. In the above [Equation 4], the range for calculating the sum is from 1 to M-3, and M-2, M-1, and M are excluded, as will be described later. This is to make the separation clear.
合算値E1、E2がレベル下限値Lev以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。また、本実施形態では、第1の値(例えば“1”)と第2の値(例えば“0”)をとり得るビット値が“1”の場合、窓3成分に、ビット値が“0”の場合、窓1成分に、埋め込むこととしている。したがって、埋め込むビット値が“1”の場合は、合算値E1が下限値Lev未満であるとき、埋め込むビット値が“0”の場合は、合算値E2がレベル下限値Lev未満であるとき、付加情報のビット値に応じた記録をせず、モードを区切りモードに設定する(S106)。一方、埋め込むビット値が“1”で合算値E1がレベル下限値Lev以上であるか、埋め込むビット値が“0”で合算値E2がレベル下限値Lev以上であるときには、モードを判断することになる。
The reason why it is determined whether or not the combined values E 1 and E 2 are equal to or greater than the level lower limit value Lev is that if the signal strength is small, even if the signal is changed, the change cannot be detected on the extraction side. is there. In this embodiment, when the bit value that can take the first value (for example, “1”) and the second value (for example, “0”) is “1”, the bit value is “0” for the three components of the window. In the case of "," the
低周波成分変更手段30は、モードが区切りモードである場合、左(L)チャンネル信号において、窓1成分と窓3成分を均等(全て0となる場合も含む)とする処理を行う(S108)。具体的には、以下の〔数式5〕に従って、L側の双方を0に設定する処理を実行することになる。この場合、右(R)チャンネル信号の窓1成分と窓3成分は必ずしも均等ではない。
When the mode is the separation mode, the low-frequency
〔数式5〕
j=1〜Mに対して、
Al´(1,j)=0
Bl´(1,j)=0
Al´(3,j)=0
Bl´(3,j)=0
ステレオの場合、右信号に対応した以下も算出
E(1,j)={Al(1,j)2+Bl(1,j)2+Ar(1,j)2+Br(1,j)2}1/2
Ar´(1,j)=Ar(1,j)・E(1,j)/{Ar(1,j)2+Br(1,j)2}1/2
Br´(1,j)=Br(1,j)・E(1,j)/{Ar(1,j)2+Br(1,j)2}1/2
E(3,j)={Al(3,j)2+Bl(3,j)2+Ar(3,j)2+Br(3,j)2}1/2
Ar´(3,j)=Ar(3,j)・E(3,j)/{Ar(3,j)2+Br(3,j)2}1/2
Br´(3,j)=Br(3,j)・E(3,j)/{Ar(3,j)2+Br(1,j)2}1/2
[Formula 5]
For j = 1 to M,
Al ′ (1, j) = 0
Bl ′ (1, j) = 0
Al ′ (3, j) = 0
Bl ′ (3, j) = 0
In the case of stereo, the following corresponding to the right signal is also calculated: E (1, j) = {Al (1, j) 2 + Bl (1, j) 2 + Ar (1, j) 2 + Br (1, j) 2 } 1 / 2
Ar ′ (1, j) = Ar (1, j) · E (1, j) / {Ar (1, j) 2 + Br (1, j) 2 } 1/2
Br ′ (1, j) = Br (1, j) · E (1, j) / {Ar (1, j) 2 + Br (1, j) 2 } 1/2
E (3, j) = {Al (3, j) 2 + B1 (3, j) 2 + Ar (3, j) 2 + Br (3, j) 2 } 1/2
Ar ′ (3, j) = Ar (3, j) · E (3, j) / {Ar (3, j) 2 + Br (3, j) 2 } 1/2
Br ′ (3, j) = Br (3, j) · E (3, j) / {Ar (3, j) 2 + Br (1, j) 2 } 1/2
上記〔数式5〕に従った処理を実行することにより、左チャンネルのフレームスペクトルの低周波数成分は、窓1成分と窓3成分共に“0” で同一となる。この窓1成分と窓3成分が均等のパターンは、付加情報の先頭位置(区切り)を示す情報となる。なお、上記〔数式5〕においては、窓1成分と窓3成分ともにAl´(j)=Bl´(j)=0としているが、抽出側で区切りであることが認識可能とすることを目的としているため、十分小さな値であれば、必ずしも0とする必要はない。また、必ずしも窓1成分と窓3成分において同一である必要はなく、差が小さければ良い。この意味で、ここでは「均等」という言葉を用いている。
By executing the processing according to the above [Equation 5], the low frequency component of the left channel frame spectrum is the same when both the
一方、低周波成分変更手段30は、モードがビットモードまたは継続識別モードである場合、付加情報記憶部62から抽出した付加情報のビット配列のビット値に応じて、左チャンネル信号の窓1成分と窓3成分のスペクトル強度の割合を窓1成分が優位か、窓3成分が優位かのいずれかの状態に変更する処理を行う(S107)。ここで、「優位」とは、一方の窓成分のスペクトル集合におけるスペクトル強度が、他方の窓成分のスペクトル集合におけるスペクトル強度よりも大きいことを示す。そこで、S107においては、第1の値と第2の値をとり得るビット値に応じて以下の〔数式6〕、〔数式7〕のいずれかに従った処理を実行することにより、窓1成分のスペクトル強度と、窓3成分のスペクトル強度の大小関係を変更し、窓1成分が優位か、窓3成分が優位かのいずれかに変更する処理を行う。例えば、第1の値を1、第2の値を0とした場合、ビット値が1のとき、窓1成分に対して、以下の〔数式6〕に従った処理を実行する。なお、継続識別モードである場合、新規であるときは〔数式6〕に従って窓1成分のスペクトル強度と、窓3成分のスペクトル強度の大小関係を変更し、窓3成分優位に変更し、継続であるときは〔数式7〕に従って窓1成分優位に変更する。
On the other hand, when the mode is the bit mode or the continuous identification mode, the low-frequency
〔数式6〕
j=1〜Mに対して
Al´(1,j)=0
Bl´(1,j)=0
ステレオの場合、右信号に対応した以下も算出
E(1,j)={Al(1,j)2+Bl(1,j)2+Ar(1,j)2+Br(1,j)2}1/2
Ar´(1,j)=Ar(1,j)・E(1,j)/{Ar(1,j)2+Br(1,j)2}1/2
Br´(1,j)=Br(1,j)・E(1,j)/{Ar(1,j)2+Br(1,j)2}1/2
E(3,j)={Al(3,j)2+Bl(3,j)2+Ar(3,j)2+Br(3,j)2}1/2
Al´(3,j)=Al(3,j)・E(3,j)/{Al(3,j)2+Bl(3,j)2}1/2
Bl´(3,j)=Bl(3,j)・E(3,j)/{Al(3,j)2+Bl(3,j)2}1/2
[Formula 6]
For j = 1 to M, Al ′ (1, j) = 0
Bl ′ (1, j) = 0
In the case of stereo, the following corresponding to the right signal is also calculated: E (1, j) = {Al (1, j) 2 + Bl (1, j) 2 + Ar (1, j) 2 + Br (1, j) 2 } 1 / 2
Ar ′ (1, j) = Ar (1, j) · E (1, j) / {Ar (1, j) 2 + Br (1, j) 2 } 1/2
Br ′ (1, j) = Br (1, j) · E (1, j) / {Ar (1, j) 2 + Br (1, j) 2 } 1/2
E (3, j) = {Al (3, j) 2 + B1 (3, j) 2 + Ar (3, j) 2 + Br (3, j) 2 } 1/2
Al ′ (3, j) = Al (3, j) · E (3, j) / {Al (3, j) 2 + Bl (3, j) 2 } 1/2
Bl ′ (3, j) = B1 (3, j) · E (3, j) / {Al (3, j) 2 + Bl (3, j) 2 } 1/2
なお、上記〔数式6〕において、最後の3つの式において、情報が埋め込まれる左チャンネル信号の窓3成分に、右チャンネル信号の対応する周波数成分を加算して、Al´(3,j)、Bl´(3,j)を得ている。これにより、窓3成分と他の窓成分の強度の大小が明確となり、抽出側において、情報の抽出が行い易くなる。
In the above [Expression 6], in the last three expressions, the corresponding frequency component of the right channel signal is added to the
なお、この場合、窓3成分の一部の周波数成分に対しては、以下の〔数式7〕に従った処理を実行する。
In this case, the processing according to the following [Equation 7] is executed for some of the frequency components of the
〔数式7〕
j=M−2、M−1、Mの3成分に対して
Al´(3,j)=0
Bl´(3,j)=0
ステレオの場合、右信号に対応した以下も算出
E(3,j)={Al(3,j)2+Bl(3,j)2+Ar(3,j)2+Br(3,j)2}1/2
Ar´(3,j)=Ar(3,j)・E(3,j)/{Ar(3,j)2+Br(3,j)2}1/2
Br´(3,j)=Br(3,j)・E(3,j)/{Ar(3,j)2+Br(3,j)2}1/2
[Formula 7]
For three components j = M−2, M−1 and M, Al ′ (3, j) = 0
Bl ′ (3, j) = 0
In the case of stereo, the following corresponding to the right signal is also calculated. E (3, j) = {Al (3, j) 2 + Bl (3, j) 2 + Ar (3, j) 2 + Br (3, j) 2 } 1 / 2
Ar ′ (3, j) = Ar (3, j) · E (3, j) / {Ar (3, j) 2 + Br (3, j) 2 } 1/2
Br ′ (3, j) = Br (3, j) · E (3, j) / {Ar (3, j) 2 + Br (3, j) 2 } 1/2
ビット値が0のとき、窓3成分に対して、以下の〔数式8〕に従った処理を実行する。 When the bit value is 0, the processing according to the following [Equation 8] is executed for the three window components.
〔数式8〕
j=1〜Mの各成分に対して
Al´(3,j)=0
Bl´(3,j)=0
ステレオの場合、右信号に対応した以下も算出
E(3,j)={Al(3,j)2+Bl(3,j)2+Ar(3,j)2+Br(3,j)2}1/2
Ar´(3,j)=Ar(3,j)・E(3,j)/{Ar(3,j)2+Br(3,j)2}1/2
Br´(3,j)=Br(3,j)・E(3,j)/{Ar(3,j)2+Br(3,j)2}1/2
E(1,j)={Al(1,j)2+Bl(1,j)2+Ar(1,j)2+Br(1,j)2}1/2
Al´(1,j)=Al(1,j)・E(1,j)/{Al(1,j)2+Bl(1,j)2}1/2
Bl´(1,j)=Bl(1,j)・E(1,j)/{Al(1,j)2+Bl(1,j)2}1/2
[Formula 8]
For each component of j = 1 to M, Al ′ (3, j) = 0
Bl ′ (3, j) = 0
In the case of stereo, the following corresponding to the right signal is also calculated. E (3, j) = {Al (3, j) 2 + Bl (3, j) 2 + Ar (3, j) 2 + Br (3, j) 2 } 1 / 2
Ar ′ (3, j) = Ar (3, j) · E (3, j) / {Ar (3, j) 2 + Br (3, j) 2 } 1/2
Br ′ (3, j) = Br (3, j) · E (3, j) / {Ar (3, j) 2 + Br (3, j) 2 } 1/2
E (1, j) = {Al (1, j) 2 + Bl (1, j) 2 + Ar (1, j) 2 + Br (1, j) 2 } 1/2
Al ′ (1, j) = Al (1, j) · E (1, j) / {Al (1, j) 2 + Bl (1, j) 2 } 1/2
Bl ′ (1, j) = Bl (1, j) · E (1, j) / {Al (1, j) 2 + Bl (1, j) 2 } 1/2
なお、上記〔数式8〕においても、上記〔数式6〕と同様、最後の3つの式を用いて、E(1,j)、Al´(1,j)、Bl´(1,j)を算出している。このように、情報が埋め込まれる左チャンネル信号の窓1成分に、右チャンネル信号の対応する周波数成分を加算して、Al´(1,j)、Bl´(1,j)を得ることにより、窓1成分と他の窓成分の強度の大小が明確となり、抽出側において、情報の抽出が行い易くなる。
In the above [Equation 8], as in the above [Equation 6], E (1, j), Al ′ (1, j), and Bl ′ (1, j) are changed using the last three equations. Calculated. In this way, by adding the corresponding frequency component of the right channel signal to the
なお、この場合、窓1成分の一部の周波数成分に対しては、以下の〔数式9〕に従った処理を実行する。
In this case, the processing according to the following [Equation 9] is executed for some of the frequency components of the
〔数式9〕
j=M−2、M−1、Mの3成分に対して
Al´(1,j)=0
Bl´(1,j)=0
ステレオの場合、右信号に対応した以下も算出
E(1,j)={Al(1,j)2+Bl(1,j)2+Ar(1,j)2+Br(1,j)2}1/2
Ar´(1,j)=Ar(1,j)・E(1,j)/{Ar(1,j)2+Br(1,j)2}1/2
Br´(1,j)=Br(1,j)・E(1,j)/{Ar(1,j)2+Br(1,j)2}1/2
[Formula 9]
For three components j = M−2, M−1 and M, Al ′ (1, j) = 0
Bl ′ (1, j) = 0
In the case of stereo, the following corresponding to the right signal is also calculated: E (1, j) = {Al (1, j) 2 + Bl (1, j) 2 + Ar (1, j) 2 + Br (1, j) 2 } 1 / 2
Ar ′ (1, j) = Ar (1, j) · E (1, j) / {Ar (1, j) 2 + Br (1, j) 2 } 1/2
Br ′ (1, j) = Br (1, j) · E (1, j) / {Ar (1, j) 2 + Br (1, j) 2 } 1/2
上記〔数式8〕〔数式9〕による処理を行った結果、窓1成分のj=M−2、M−1、Mにおいては、値が“0”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓1成分が優位な状態にスペクトル強度の割合が変更されたことになる。
As a result of performing the processing according to the above [Equation 8] and [Equation 9], a value of “0” is obtained at j = M−2, M−1, and M of one component of the window, but signals other than the predetermined value are obtained at other times Ingredients will be present. Therefore, in this case, the ratio of the spectrum intensity is changed so that the
上記〔数式6〕および〔数式7〕、又は〔数式8〕および〔数式9〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、左チャンネル信号の窓1成分が優位か、窓3成分が優位かのどちらかのパターンに変更されることになる。
By executing the processing according to any one of [Formula 6] and [Formula 7], or [Formula 8] and [Formula 9], the left channel signal is determined according to each bit value of the bit array of the additional information. Thus, the pattern is changed so that the
この場合、高周波帯と低周波数帯の間には、必ず信号成分が“0”の部分が存在し、これにより、高周波帯と低周波数帯の信号成分が混在することを防いでいる。結局、低周波成分変更手段30は、区切りモードの場合に〔数式5〕に基づく処理をS108において行い、ビットモード又は継続識別モードの場合に〔数式6〕〔数式7〕又は〔数式8〕〔数式9〕に基づく処理をS107において行うことになる。 In this case, there is always a portion where the signal component is “0” between the high frequency band and the low frequency band, thereby preventing the signal components of the high frequency band and the low frequency band from being mixed. Eventually, the low frequency component changing means 30 performs the processing based on [Equation 5] in the case of the separation mode in S108, and [Equation 6], [Equation 7] or [Equation 8] in the bit mode or the continuous identification mode. The processing based on Equation 9] is performed in S107.
上記S107、S108いずれの場合であっても、次に、低周波成分変更手段30は、窓2成分の削除を行う(S109)。具体的には、窓2成分に対して、以下の〔数式10〕に従った処理を実行することになる。
In either case of S107 and S108, the low-frequency
〔数式10〕
j=1〜Mの各成分に対して
Al´(2,j)=0
Bl´(2,j)=0
ステレオの場合、右信号に対応した以下も算出
E(2,j)={Al(2,j)2+Bl(2,j)2+Ar(2,j)2+Br(2,j)2}1/2
Ar´(2,j)=Ar(2,j)・E(2,j)/{Ar(2,j)2+Br(2,j)2}1/2
Br´(2,j)=Br(2,j)・E(2,j)/{Ar(2,j)2+Br(2,j)2}1/2
[Formula 10]
For each component of j = 1 to M, Al ′ (2, j) = 0
Bl ′ (2, j) = 0
In the case of stereo, the following corresponding to the right signal is also calculated: E (2, j) = {Al (2, j) 2 + Bl (2, j) 2 + Ar (2, j) 2 + Br (2, j) 2 } 1 / 2
Ar ′ (2, j) = Ar (2, j) · E (2, j) / {Ar (2, j) 2 + Br (2, j) 2 } 1/2
Br ′ (2, j) = Br (2, j) · E (2, j) / {Ar (2, j) 2 + Br (2, j) 2 } 1/2
次に、周波数逆変換手段40が、上記S107〜S109の処理により各窓成分のスペクトル集合間の割合が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う(S110)。この周波数逆変換は、当然のことながら、周波数変換手段20がS105において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段20において、フーリエ逆変換を施しているため、周波数逆変換手段40は、フーリエ逆変換を実行することになる。具体的には、上記〔数式5〕〜〔数式10〕のいずれかにより得られたスペクトルの左チャンネルの実部Al´(1,j)等、虚部Bl´(1,j)等、右チャンネルの実部Ar´(1,j)等、虚部Br´(1,j)等を用いて、以下の〔数式11〕に従った処理を行い、xl´(i)、xr´(i)を算出する。なお、上記〔数式5〕〜〔数式10〕において処理されていない周波数成分については、Al´(1,j)等、Bl´(1,j)等、Ar´(1,j)等、Br´(1,j)等として、Al(1,j)等、Bl(1,j)等、Ar(1,j)等、Br(1,j)等を用いる。
Next, the frequency inverse transform means 40 performs the process of obtaining the modified acoustic frame by performing the frequency inverse transform on the frame spectrum in which the ratio between the spectrum sets of the window components is changed by the processes of S107 to S109 (S110). As a matter of course, this frequency inverse transform needs to correspond to the method executed by the
〔数式11〕
xl´(i)=1/N・{ΣjAl´(1,j)・cos(2πij/N)−ΣjBl´(1,j)・sin(2πij/N)}+1/N・{ΣjAl´(2,j)・cos(2πij/N)−ΣjBl´(2,j)・sin(2πij/N)}+1/N・{ΣjAl´(3,j)・cos(2πij/N)−ΣjBl´(3,j)・sin(2πij/N)}+xlp(i+N/2)
xr´(i)=1/N・{ΣjAr´(1,j)・cos(2πij/N)−ΣjBr´(1,j)・sin(2πij/N)}+1/N・{ΣjAr´(2,j)・cos(2πij/N)−ΣjBr´(2,j)・sin(2πij/N)}+1/N・{ΣjAr´(3,j)・cos(2πij/N)−ΣjBr´(3,j)・sin(2πij/N)}+xrp(i+N/2)
[Formula 11]
xl' (i) = 1 / N · {Σ j Al' (1, j) · cos (2πij / N) -Σ j Bl' (1, j) · sin (2πij / N)} + 1 / N · { Σ j Al ′ (2, j) · cos (2πij / N) −Σ j Bl ′ (2, j) · sin (2πij / N)} + 1 / N · {Σ j Al ′ (3, j) · cos (2πij / N) −Σ j Bl ′ (3, j) · sin (2πij / N)} + xlp (i + N / 2)
xr' (i) = 1 / N · {Σ j Ar' (1, j) · cos (2πij / N) -Σ j Br' (1, j) · sin (2πij / N)} + 1 / N · { Σ j Ar' (2, j) · cos (2πij / N) -Σ j Br' (2, j) · sin (2πij / N)} + 1 / N · {Σ j Ar' (3, j) · cos (2πij / N) -Σ j Br' (3, j) · sin (2πij / N)} + xrp (i + N / 2)
上記〔数式11〕においては、式が繁雑になるのを防ぐため、Σj=0,…,N-1をΣjとして示している。 In the above [Expression 11], Σ j = 0, ... , N−1 is shown as Σ j in order to prevent the expression from becoming complicated.
上記〔数式11〕における第1式の“+xlp(i+N/2)”、第2式の“+xrp(i+N/2)”の項は、直前に改変された改変音響フレームのデータxlp(i)、xrp(i)が存在する場合に、時間軸上N/2サンプル分重複することを考慮して加算するためのものである。上記〔数式11〕により改変音響フレームの左チャンネルの各サンプルxl´(i)、右チャンネルの各サンプルxr´(i)、が得られることになる。改変音響フレーム出力手段50は、得られた改変音響フレームを順次出力ファイルに出力する(S111)。こうして1つの音響フレームに対する処理を終えたら、モードの判定を行い(S112)、モードが区切りモードである場合は、モードを継続識別モードに設定した後(S113)、音響フレーム読込手段10が、音響フレームを読み込む(S104)。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後(S114)、低周波成分変更手段30が付加情報のビット配列中の次のビットを読み込む(S103)。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら(S104)、処理を終了する。なお、S101において読み込んだ1ワードのデータの各ビットに対応する処理を終えた場合、S103からS101に戻り、付加情報の次のワードを読み込み処理をすることになる。付加情報の全ワードに対して、処理が終了した場合は、付加情報の先頭ワードに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段60内の改変音響信号記憶部63に出力され、記憶される。
The terms “+ xlp (i + N / 2)” in the first equation and “+ xrp (i + N / 2)” in the second equation in the above [Equation 11] are the data xlp (i) of the modified acoustic frame modified immediately before, When xrp (i) exists, the addition is performed in consideration of overlapping of N / 2 samples on the time axis. By the above [Equation 11], each sample xl ′ (i) of the left channel and each sample xr ′ (i) of the right channel of the modified acoustic frame are obtained. The modified sound frame output means 50 sequentially outputs the obtained modified sound frames to the output file (S111). When the processing for one acoustic frame is completed in this manner, the mode is determined (S112). If the mode is the separation mode, the mode is set to the continuous identification mode (S113), and then the acoustic frame reading means 10 A frame is read (S104). On the other hand, when the mode is the bit mode or the continuous identification mode, after the mode is set to the bit mode (S114), the low frequency component changing means 30 reads the next bit in the bit array of the additional information (S103). The above processing is executed over all samples of both channels of the acoustic signal. That is, a predetermined number of samples are read as sound frames, and when there are no more sound frames to be read from the sound signal (S104), the process ends. When the processing corresponding to each bit of 1-word data read in S101 is completed, the process returns from S103 to S101, and the next word of the additional information is read. When the processing is completed for all the words of the additional information, the processing is returned to the first word of the additional information. As a result, all modified acoustic frames that have been processed for all acoustic frames are recorded in the output file and obtained as modified acoustic signals. The obtained modified acoustic signal is output to and stored in the modified acoustic
以上の処理による左チャンネル信号の変化の様子を図5を用いて説明する。図5において、図面左右方向は、時間軸であり、サンプル数に比例する。また、図中多数存在する矩形は、改変音響フレームの窓1成分、窓3成分を示している。窓成分を示す矩形の横幅はサンプル数、縦幅は強度を示しているが、図3においては、横幅、縦幅とも正確に示したものではなく、窓1成分に対応する先頭部分に強い信号成分があるか、窓3成分に対応する後部部分に強い信号成分があるかということを示すものである。図5(a)は、上記〔数式4〕により算出された合算値E1、E2がレベル下限値Lev未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図5(b)は、上記〔数式4〕により算出された合算値E1、E2がレベル下限値Lev未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。
The change of the left channel signal by the above processing will be described with reference to FIG. In FIG. 5, the horizontal direction in the drawing is the time axis and is proportional to the number of samples. In addition, a large number of rectangles in the figure indicate the
例えば、付加情報として、1バイト目が「11011100」、2バイト目が「11000001」の2バイトのビット配列を埋め込むとする。まず、各バイトの先頭には、区切りを示す情報として、窓1成分、窓3成分が均等な状態に設定されることになる。これは、S102により区切りモードに設定され、S108において、上記〔数式5〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。これは、レベル下限値未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要があるからである。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより(S112)、継続識別モードに設定され(S113)、付加情報のビットを読み込むことなく、音響フレームの抽出を行う(S104)。そして、周波数変換後(S105)、新規である場合には、〔数式6〕〔数式7〕に従った処理により、低周波成分の窓1成分、窓3成分間の分布を窓3成分が優位な状態に変更する(S107)。
For example, it is assumed that a 2-byte bit array in which the first byte is “11011100” and the second byte is “11000001” is embedded as additional information. First, at the beginning of each byte, the
このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため(S112)、ビットモードに設定され(S114)、レジスタから先頭のビットを読み込み(S103)、音響フレームの抽出を行う(S104)。図5(a)の例では、レベル下限値Lev未満となる音響フレームが存在しないため、1バイトが連続してS107により処理されることになる。これは、S103からS114を経由するループが8回連続して繰り返され、その間レベル下限値Lev未満であるとしてS106およびS108、S113を経由することがなかったことを示している。 After recording the information indicating whether it is new or continued in this way, the mode determination is performed in the state of the continuous identification mode (S112), so the bit mode is set (S114), and the first bit is read from the register ( (S103), an acoustic frame is extracted (S104). In the example of FIG. 5A, since there is no acoustic frame that is less than the level lower limit value Lev, one byte is continuously processed by S107. This indicates that the loop from S103 to S114 was repeated eight times in succession, and during that time, it was assumed that the level was lower than the lower limit value Lev, and that it did not pass through S106, S108, and S113.
図5(b)の例では、上記〔数式6〕〔数式7〕に従った処理の結果、レベル下限値Lev未満となる音響フレームが存在するので、この場合S106およびS108を経由して、上記〔数式5〕に従った処理を実行した結果、窓1成分と窓3成分が均等な状態に設定される。この場合、S106において、区切りモードに設定されるため、S112を経由して、新規か継続かを示す情報を記録することになる。図5(b)の例では、1バイト目の「11011100」を埋め込む場合に、最初は第1ビット目の「1」の1ビット処理した時点でレベル下限値Lev未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第2ビット目の「1」から処理をしている。そして、第2ビット目から第5ビット目の「1011」を処理した時点でレベル下限値Lev未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第6ビット目の「1」から処理をしている。
In the example of FIG. 5B, as a result of the processing according to the above [Formula 6] and [Formula 7], there is an acoustic frame that is less than the level lower limit value Lev. As a result of executing the processing according to [Equation 5], the
なお、図5の例では、付加情報が1ワード=1バイトである場合について説明したが、図2に示す処理は、新規か継続かを示す情報を記録するため、付加情報を任意のビット数単位で記録することが可能である。 In the example of FIG. 5, the case where the additional information is 1 word = 1 byte has been described. However, since the process illustrated in FIG. 2 records information indicating whether the additional information is new or continued, the additional information is set to an arbitrary number of bits. It is possible to record in units.
上記の例では、可変長のワード単位で区切りを示す情報を挿入するようにしたが、さらにビット単位で区切りを示す情報を挿入することも可能である。この場合、音響フレーム読込手段10が音響フレームの抽出を行う際、前後の音響フレームに重複する重複音響フレームを抽出し、この重複音響フレームに対して、〔数式1〕に従って周波数変換を行い、さらに、〔数式5〕に従って窓1成分と窓3成分を均等にする処理を行う。重複音響フレームは、前後の音響フレームと半数づつサンプルが重複するように設定する。例えば、先行する音響フレームがサンプル番号1から4096まで、後続する音響フレームがサンプル番号4097から8192までである場合、この間に設定される重複音響フレームはサンプル番号2049から6144までとなる。同様にして、音響信号の全区間について、重複音響フレームを読み込み、窓1成分と窓3成分を均等にする処理を行うことになる。
In the above example, information indicating a delimiter is inserted in word units of variable length, but information indicating a delimiter can be further inserted in bit units. In this case, when the acoustic frame reading means 10 extracts the acoustic frame, it extracts an overlapping acoustic frame that overlaps the preceding and following acoustic frames, performs frequency conversion on the overlapping acoustic frame according to [Equation 1], and In accordance with [Equation 5], the processing for equalizing the
上記のように、重複音響フレームを設定して、その窓1成分と窓3成分を均等にする処理を行った場合、これを改変音響信号に反映させるため、窓1成分と窓3成分を均等にする処理後の重複フレームスペクトルに対して周波数逆変換を行って改変重複音響フレームを得て、さらに改変音響フレームと連結する処理を行う必要がある。
As described above, when the overlapping acoustic frame is set and the processing for equalizing the
上記のようにして得られた改変音響信号の左チャンネルのうち、付加情報が埋め込まれている部分については、低周波成分は、窓1成分と窓3成分が均等となっているか、あるいは窓1成分が優位か、窓3成分が優位かの3通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上記の例で示したように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式5〕〜〔数式10〕の処理からも明らかなように、必ず右チャンネルの低周波成分に付加されている。したがって、右チャンネルが左チャンネルにおいて削除された成分を補っているため、両チャンネル全体として見ると、信号の劣化がない。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。
Of the left channel of the modified acoustic signal obtained as described above, for the portion where the additional information is embedded, the low frequency component is equal to the
(3.音響信号からの情報の抽出装置)
次に、本発明に係る音響信号からの情報の抽出装置について説明する。図6は、本発明に係る音響信号からの情報の抽出装置の一実施形態を示す構成図である。図6において、100は音響信号入力手段、110は音響フレーム獲得手段、120は基準フレーム設定手段、130は位相変更フレーム設定手段、140は周波数変換手段、150は符号判定パラメータ算出手段、160は符号出力手段、170は付加情報抽出手段、180は音響フレーム保持手段である。
(3. Device for extracting information from acoustic signals)
Next, an apparatus for extracting information from an acoustic signal according to the present invention will be described. FIG. 6 is a block diagram showing an embodiment of an apparatus for extracting information from an acoustic signal according to the present invention. In FIG. 6, 100 is an acoustic signal input means, 110 is an acoustic frame acquisition means, 120 is a reference frame setting means, 130 is a phase change frame setting means, 140 is a frequency conversion means, 150 is a code determination parameter calculation means, and 160 is a code. An output means, 170 is an additional information extraction means, and 180 is an acoustic frame holding means.
音響信号入力手段100は、流れている音声をデジタル音響信号として取得し、入力する機能を有している。現実には、マイクロフォンおよびA/D変換器により実現される。マイクロフォンとしては、左右の2チャンネルからの音声入力が可能な指向性マイクロフォンであることが必要である。音響フレーム獲得手段110は、入力されたデジタルのステレオ音響信号の各チャンネルから所定数のサンプルで構成される音響フレームを読み込む機能を有している。基準フレーム設定手段120は、読み込んだ音響フレームをオフセット値分移動させたものを基準フレームとして設定する機能を有している。位相変更フレーム設定手段130は、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する機能を有している。周波数変換手段140は、図1に示した周波数変換手段20と同様の機能を有している。符号判定パラメータ算出手段150は、生成された複数のフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、窓1成分、窓3成分ごとに各低周波強度データの合算値Ec1、Ec2を算出し、この合算値Ec1、Ec2を符号判定パラメータとし、この符号判定パラメータEc1、Ec2の比率に基づいて、所定の状態であると判断する機能を有している。
The acoustic
符号出力手段160は、1つの基準フレームに対応する音響フレーム(基準フレームおよび位相変更フレーム)の中から最適な位相であると判断されるものを判断し、その音響フレームの状態に対応する符号を出力する機能を有している。また、以降の基準フレームを設定するためのオフセット値を決定する機能も有している。付加情報抽出手段170は、符号出力手段160により出力された符号の集合である3値配列を、所定の規則により変換して意味のある付加情報として抽出する機能を有している。音響フレーム保持手段180は、各チャンネルごとに、連続する2個の音響フレームを保持可能なバッファメモリである。図6に示した各構成手段は、現実には情報処理機能を有する小型のコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。特に、本発明の目的をより簡易に達成するためには、携帯型端末装置をハードウェアとして用いることが望ましい。
The code output means 160 determines which one of the acoustic frames (reference frame and phase change frame) corresponding to one reference frame is determined to have the optimum phase, and selects a code corresponding to the state of the acoustic frame. It has a function to output. It also has a function of determining an offset value for setting a subsequent reference frame. The additional
(4.抽出装置の処理動作)
次に、図6に示した音響信号からの情報の抽出装置の処理動作について図7のフローチャートに従って説明する。利用者が流れている音楽について、その楽曲名等の属性情報を知りたいと思った場合、まず、抽出装置に対して、抽出装置としての起動の指示を行う。これは、例えば、抽出装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。抽出装置は、指示が入力されると、音響信号入力手段100が、流れている音楽を録音し、デジタル化してデジタル音響信号として入力する。具体的には、指向性マイクロフォンの左右から入力される音声を、それぞれA/D変換器によりデジタル化する処理を行うことになる。
(4. Processing operation of extraction device)
Next, the processing operation of the apparatus for extracting information from the acoustic signal shown in FIG. 6 will be described with reference to the flowchart of FIG. When the user wants to know the attribute information such as the song name of the music that is playing, first, the extraction device is instructed to start as the extraction device. For example, this can be executed by operating a predetermined button when the extraction device is realized by a mobile terminal such as a mobile phone. When an instruction is input to the extraction device, the acoustic
続いて、平均符号レベルHL1、HL2、位相判定テーブルS(p)、非符号カウンタNn、微小オフセット値の5つを初期化する(S200)。これらについて説明する。平均符号レベルHL1、HL2は、ビット値に対応する2値が埋め込まれていたと判断される音響フレーム(以下、有効フレームと呼ぶことにする)についての、下記〔数式12〕で算出される低周波成分の合算値Ec1、Ec2の平均値、すなわち、過去の有効フレームにおける合算値Ec1、Ec2の平均値で与えられるものであり、初期値は、上記埋め込み装置においても用いられるレベル下限値Levの2倍に設定されている。したがって、本実施形態では、HL1、HL2の初期値はともに“0.1”に設定されることになる。位相判定テーブルS(p)は、位相を判定するためのテーブルであり、pは0〜5の整数値をとる。初期値はS(p)=0に設定されている。非符号カウンタNnは、信号レベルが低く、非符号(区切りを示す符号と同一)であると判断されるフレーム数のカウンタであり、初期状態では、Nn=0に設定される。微小オフセット値は、音響信号から抽出した基準フレームを移動させる場合に、そのオフセット値を示すものである。オフセット値は、8通りの値をとり、各値は、各フレームサイズの位相変更分をさらに1/8にした値、すなわち、本実施形態では、4096×1/6×1/8単位で設定される。 Subsequently, the average code levels HL1, HL2, the phase determination table S (p), the non-code counter Nn, and the minute offset value are initialized (S200). These will be described. The average code levels HL1 and HL2 are low frequencies calculated by the following [Equation 12] for an acoustic frame (hereinafter referred to as an effective frame) that is determined to have a binary value corresponding to a bit value embedded therein. the average value of the sum E c1, E c2 components, i.e., which is given by the average value of the sum E c1, E c2 in the past of the effective frame, the initial value is, the level limit is also used in the above embedding device It is set to twice the value Lev. Therefore, in this embodiment, the initial values of HL1 and HL2 are both set to “0.1”. The phase determination table S (p) is a table for determining the phase, and p takes an integer value of 0 to 5. The initial value is set to S (p) = 0. The non-sign counter Nn is a counter of the number of frames determined to have a low signal level and non-sign (same as a code indicating a delimiter), and is set to Nn = 0 in the initial state. The minute offset value indicates the offset value when the reference frame extracted from the acoustic signal is moved. The offset value takes eight values, and each value is a value obtained by further reducing the phase change amount of each frame size to 1/8, that is, in this embodiment, set in units of 4096 × 1/6 × 1/8. Is done.
続いて、音響フレーム獲得手段110が、音響信号入力手段100から入力されたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルで構成される音響フレームを抽出する(S201)。具体的には、音響フレームを抽出して音響フレーム保持手段180に読み込むことになる。音響フレーム獲得手段110が基準フレームとして読み込む1音響フレームのサンプル数は、図1に示した音響フレーム読込手段10で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響フレーム獲得手段110は、左チャンネル、右チャンネルについてそれぞれ4096サンプルずつ、順次基準フレームとして読み込んでいくことになる。音響フレーム保持手段180には、上述のように各チャンネルごとに2個の基準フレームが格納可能となっており、新しい基準フレームが読み込まれると、古い基準フレームを破棄するようになっている。したがって、音響フレーム保持手段180には、常に各チャンネルごとに基準フレーム2個分(連続する8192サンプル)が格納されていることになる。基準フレーム設定手段120は、オフセット値が“0”である場合は、音響フレーム保持手段180に保持されている各音響フレームを、そのまま基準フレームとして設定する。
Subsequently, the acoustic
埋め込み装置で処理する音響フレームは、オフセット値が“0”の場合に、先頭から途切れることなく隣接して設定される基準フレームと、この基準フレームと位相を変更した位相変更フレームとに分けることができる。基準フレームについては、最初の基準フレームとしてサンプル番号1からサンプル番号4096までを設定したら、次の基準フレームは、サンプル番号4097からサンプル番号8192、さらに次の基準フレームは、サンプル番号8193からサンプル番号12288、というように、オフセット値が“0”である限り、途切れることなく設定される。そして、各基準フレームについて、1/6フレーム(約683サンプル)ずつ移動した5個の位相変更フレームを設定する。例えば、最初の基準フレームについては、サンプル番号683、1366、2049、2732、3413から始まる4096のサンプルで構成される5個の位相変更フレームが設定されることになる。
When the offset value is “0”, the acoustic frame to be processed by the embedding device can be divided into a reference frame that is set adjacently without interruption from the beginning, and a phase change frame in which the phase is changed with the reference frame. it can. For the reference frame, after setting
続いて、周波数変換手段140、符号判定パラメータ算出手段150が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する(S202)。出力される情報の形式は、埋め込み側のビット値に対応する2値、および区切りとして入力された値の3値の形式となる。
Subsequently, the
ここで、S202の符号出力処理の詳細を図8のフローチャートに従って説明する。まず、符号判定パラメータ算出手段150は、候補符号テーブルの初期化を行う(S304)。候補符号テーブルは、1つの基準フレームおよび5個の位相変更フレームを特定する0〜5の位相番号および、この6個の音響フレームの状態から得られる3値の符号を記録するものである。
Details of the code output process of S202 will be described with reference to the flowchart of FIG. First, the code determination
次に、アドレスの微小オフセット処理を行う(S300)。具体的には、オフセット番号(オフセット値)に従って、基準フレームおよび位相変更フレームの読込位置を、所定フレーム数移動させた位置に設定する。 Next, an address fine offset process is performed (S300). Specifically, according to the offset number (offset value), the reading position of the reference frame and the phase change frame is set to a position moved by a predetermined number of frames.
続いて、周波数変換手段140が、前記オフセット処理された位置から読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る(S301)。この処理は、図1に示した周波数変換手段20における処理と同様である。ただし、抽出に用いるのは、左チャンネルだけであるので、上記〔数式1〕に従った処理を行い、左チャンネルに対応する変換データの実部Al(1,j)等、虚部Bl(1,j)等を得る。
Subsequently, the
上記周波数変換手段140における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、符号判定パラメータ算出手段150は、平均符号レベルHL1、HL2の算出を行う(S302)。具体的には、過去窓1成分が優位な状態と判断された音響フレームについての合算値Ec1の積算値であるv1を、過去窓1成分が優位な状態と判断された音響フレームの数であるn1で除算することによりHL1を算出し、過去窓3成分が優位な状態と判断された音響フレームについての合算値Ec2の積算値であるv2を、過去窓3成分が優位な状態と判断された音響フレームの数であるn2で除算することによりHL2を算出する。ここで、Ec1およびEc2は後述する左チャンネル信号の各々窓1成分および窓3成分の合算値で、以下〔数式12〕で与えられる。
By the processing in the frequency conversion means 140, a frame spectrum expressed by a spectrum that is a component corresponding to the frequency is obtained. Subsequently, the code determination
〔数式12〕
Ec1=Σj=1,…,M-3{Al(1,j)2+Bl(1,j)2}
Ec2=Σj=1,…,M-3{Al(3,j)2+Bl(3,j)2}
[Formula 12]
E c1 = Σ j = 1, ... , M-3 {Al (1, j) 2 + Bl (1, j) 2 }
E c2 = Σ j = 1, ... , M-3 {Al (3, j) 2 + Bl (3, j) 2 }
したがって、平均符号レベルHL1、HL2は、過去対応する窓成分が優位な状態と判断された音響フレームの低周波強度データの合算値の平均値に近くなる。厳密な平均値とならないのは、上述のように、HL1、HL2の初期値はともに“0.1”が設定されており、この初期値に合算値Ec1、合算値Ec2を分子に加算していくためである。また、平均符号レベルHL1、HL2の算出のための分母として用いるn1、n2は、上記合算値Ec1、合算値Ec2が各々v1、v2に加算されるごとに、同時に各々1づつ加算されるが、最大値nmaxを超えないようにし、n1=nmaxとなった場合には、v1をv1/2に、n1をn1/2に再設定し、n2=nmaxとなった場合には、v2をv2/2に、n2をn2/2に再設定する。これにより、絶えず最新のnmax/2個の合算値Ec1、合算値Ec2で殆ど平均符号レベルHL1、HL2は決定され、信号レベルの変動に速やかに追従できるようになる。 Therefore, the average code levels HL1 and HL2 are close to the average value of the sum value of the low-frequency intensity data of the sound frame for which it has been determined that the window component corresponding to the past is dominant. As described above, the initial value of HL1 and HL2 is both set to “0.1”, and the summation value E c1 and the summation value E c2 are added to the numerator. It is to do. In addition, n1 and n2 used as denominators for calculating the average code levels HL1 and HL2 are added one by one each time the summed value E c1 and summed value E c2 are added to v1 and v2, respectively. However, if n1 = nmax, v1 is reset to v1 / 2, n1 is reset to n1 / 2, and if n2 = nmax, v2 is Reset v2 / 2 to n2 / 2. As a result, the average code levels HL1 and HL2 are almost always determined by the latest nmax / 2 summation value E c1 and summation value E c2 , and it becomes possible to quickly follow fluctuations in the signal level.
さらに、符号判定パラメータ算出手段150は、生成されたフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が200Hz以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式1〕により算出された左チャンネルの実部Al(j)、虚部Bl(j)のうち、j≦20のものを抽出する。そして、符号判定パラメータ算出手段150は、上記〔数式12〕に従った処理を実行することにより左チャンネル信号の窓1成分の合算値Ec1、窓3成分の合算値Ec2を算出する。このEc1、Ec2を符号判定パラメータとして用いる。
Further, the code determination parameter calculation means 150 extracts each low frequency intensity data in a predetermined frequency range from the generated frame spectrum. The frequency range to be extracted needs to correspond to the embedding device. Therefore, here, low frequency intensity data having a frequency of 200 Hz or less is extracted, and the real part Al (j) and imaginary part Bl of the left channel calculated by the above [Equation 1] as in the case of the embedding device. Among (j), those with j ≦ 20 are extracted. The code determination parameter calculating means 150, the sum of the
続いて、符号判定パラメータ算出手段150は、窓1成分の合算値Ec1、窓3成分の合算値Ec2がそれぞれ所定値以下であるかどうかの判定を行う(S305)。ここで、所定値として符号判定レベルFL1、FL2を用いる。符号判定レベルFL1、FL2としては、それぞれ平均符号レベルHL1、HL2に0.001を乗じた値を設定する。合算値Ec1がFL1未満であり、かつ、合算値Ec2がFL2未満である場合、符号判定パラメータ算出手段150は、区切り情報であると判定する(S309)。
Subsequently, the code determination parameter calculating means 150 makes a
一方、合算値Ec1、Ec2のうちいずれか一方が所定値以上である場合、すなわち、Ec1>FL1またはEc2>FL2の条件を満たす場合、符号判定パラメータ算出手段150は、上記算出された符号判定パラメータEc1、Ec2の比較判定を以下の〔数式13〕に従って行い(S306)、比較結果に対応する符号を出力する。
On the other hand, when either one of the total values E c1 and E c2 is equal to or greater than a predetermined value, that is, when the condition of E c1 > FL1 or E c2 > FL2 is satisfied, the code determination
〔数式13〕
Ec2>FL2かつEc2/Ec1>2の場合、窓3成分が優位な状態
Ec1>FL1かつEc1/Ec2>2の場合、窓1成分が優位な状態
上記いずれでもない場合(Ec2≦FL2またはEc2/Ec1≦2、かつEc1≦FL1またはEc1/Ec2≦2)、両窓成分が均等
[Formula 13]
When E c2 > FL2 and E c2 / E c1 > 2, the
符号判定パラメータ算出手段150は、各音響フレーム単位で、上記判定結果に応じて3値の符号を出力する。すなわち、窓3成分が優位と判定した場合には、第1のビット値(例えば“1”)を出力し(S307)、窓1成分が優位と判定した場合には、第2のビット値(例えば“0”)を出力し(S308)、両窓成分が均等と判定した場合には、区切り情報を示す符号を出力する(S309)。窓3成分が優位と判定して、第1のビット値を出力した場合(S307)、又は窓1成分が優位と判定して、第2のビット値を出力した場合(S308)は、さらに、以下の〔数式14〕に従って位相判定テーブルS(p)の更新を行う(S310)。
The code determination parameter calculation means 150 outputs a ternary code according to the determination result for each acoustic frame. That is, when the
〔数式14〕
窓3成分が優位の場合、S(p)←S(p)+Ec2/Ec1
窓1成分が優位の場合、S(p)←S(p)+Ec1/Ec2
[Formula 14]
When the three window components are dominant, S (p) ← S (p) + E c2 / E c1
When the
続いて、符号判定パラメータ算出手段150は、候補符号テーブルに、最適位相となる候補を保存する(S311)。具体的には、位相判定テーブルに記録されているS(p)の値が最大となる位相番号pの値、前記S307〜S309により判定された3値のいずれかの符号、その音響フレームについての各Ec2、Ec1の値を最適位相の候補として候補符号テーブルに保存する。
Subsequently, the code determination
続いて、全ての位相番号pに対応する処理を終えたかどうかを判定する(S312)。これは、ある基準フレームに対して全ての位相変更フレームの処理を行ったかどうかを判定している。本実施形態では、pが0〜5までの値をとるので、6回分処理していない場合は、処理していた音響フレームから所定サンプル数ずらして、位相の異なる音響フレームを設定し、S305に戻って処理を繰り返す。なお、p=0の場合が基準フレームであり、p=1〜5の場合が位相変更フレームである。全ての位相番号pに対応する処理を終えた場合は、候補保存テーブルに記録されている位相番号pに対応する位相が最適位相であると判定し、候補保存テーブルに記録されている符号を出力する(S313)。この際、後続の音響フレームについての最適位相を求めるため、位相番号pを最適位相決定テーブルに保存しておく。 Subsequently, it is determined whether or not the processing corresponding to all the phase numbers p has been completed (S312). This determines whether all phase change frames have been processed for a certain reference frame. In this embodiment, since p takes a value from 0 to 5, if the processing is not performed six times, an acoustic frame having a different phase is set by shifting a predetermined number of samples from the acoustic frame being processed, and the process proceeds to S305. Return and repeat the process. The case where p = 0 is a reference frame, and the case where p = 1 to 5 is a phase change frame. When the processing corresponding to all the phase numbers p is completed, it is determined that the phase corresponding to the phase number p recorded in the candidate storage table is the optimum phase, and the code recorded in the candidate storage table is output. (S313). At this time, the phase number p is stored in the optimum phase determination table in order to obtain the optimum phase for the subsequent acoustic frame.
次に、オフセット変更処理を行う(S314)。このオフセット変更処理についての詳細を図9のフローチャートに示す。オフセット変更処理においては、まず、判定位相の変動があったかどうかを判断する(S401)。具体的には、最適位相決定テーブルを参照し、たった今処理した音響フレームの最適位相が、その2つ前の音響フレームと同一であり、かつ直前の音響フレームと異なるという変動条件に該当するかどうかを判断する。 Next, an offset change process is performed (S314). Details of the offset change processing are shown in the flowchart of FIG. In the offset changing process, first, it is determined whether or not the determination phase has changed (S401). Specifically, referring to the optimum phase determination table, whether or not the optimum phase of the acoustic frame just processed is the same as that of the previous acoustic frame and that it is different from the immediately preceding acoustic frame. Judging.
前記変動条件に該当する場合、微小オフセット値を更新する(S402)。具体的には、8種類用意されているオフセット値のうち、現在のオフセット値より大きく一番近いものに変更する。微小オフセット値の更新を行った場合、または上記S401において変動条件に該当しないと判断した場合は、モード判定を行う(S403)。モードは、区切りモードとビット出力モードの2つが用意されている。 If the variation condition is met, the minute offset value is updated (S402). Specifically, the offset value is changed to the closest value greater than the current offset value among the eight types of offset values prepared. When the minute offset value is updated or when it is determined in S401 that the variation condition is not met, mode determination is performed (S403). Two modes, a delimited mode and a bit output mode, are prepared.
ビット出力モードである場合、平均符号レベルHL1、HL2のパラメータおよび位相判定テーブルS(p)の更新を行う(S404)。平均符号レベルHL1、HL2のパラメータの更新は、平均符号レベルHL1、HL2算出の際の分子となる積算値v1、v2に合算値Ec1、Ec2を加算して積算値v1、v2を更新し、分母となるフレーム数n1、n2に1を加算してフレーム数n1、n2を更新することにより行う。位相判定テーブルS(p)の更新は、上記S310 および〔数式14〕に従った処理と同様にして行われる。さらに、S404においては、更新カウンタの更新も行う。更新カウンタの値は、S404における処理が実行される度に1づつ加算される。 In the bit output mode, the parameters of the average code levels HL1 and HL2 and the phase determination table S (p) are updated (S404). To update the parameters of the average code levels HL1 and HL2, the sum values E c1 and E c2 are added to the integrated values v1 and v2 which are numerators when calculating the average code levels HL1 and HL2, and the integrated values v1 and v2 are updated. , By adding 1 to the number of frames n1 and n2 as denominators and updating the number of frames n1 and n2. The phase determination table S (p) is updated in the same manner as the processing according to S310 and [Equation 14]. In S404, the update counter is also updated. The value of the update counter is incremented by 1 each time the process in S404 is executed.
そして、更新回数が所定以上となった場合、すなわち、更新カウンタの値が所定値以上となった場合には、平均符号レベルHL1、HL2のパラメータおよび位相判定テーブルS(p)のリフレッシュを行う(S405)。具体的には、参照する過去データの回数を50回までと制限し、100回累積されるごとに積算値vおよびS(p)の値を半分にする。そして、更新カウンタの値を“0”にリセットする。
Then, when the number of updates exceeds a predetermined value, that is, when the value of the update counter exceeds a predetermined value, the parameters of the average code levels HL1 and HL2 and the phase determination table S (p) are refreshed ( S405). Specifically, the number of past data to be referred to is limited to 50 times, and the accumulated values v and S (p) are halved every
上記S403において区切りモードと判定された場合、S404において更新回数が所定未満である場合、S405においてリフレッシュを行った場合は、オフセット変更処理(S314)を終了する。 If it is determined in S403 that the separation mode is selected, if the number of updates is less than a predetermined value in S404, or if refresh is performed in S405, the offset change process (S314) is terminated.
オフセット変更処理の終了により、図8に示す符号判定処理が終了するため、図7のフローチャートに戻って説明する。S202による処理の結果、ビット値に相当する符号が出力された場合には、平均符号レベルHL1、HL2のパラメータの更新および非符号カウンタの初期化処理を行う(S203)。具体的には、平均符号レベルHLのパラメータの更新は、上記S404と同様、平均符号レベルHL算出の際の分子となる積算値v1、v2に合算値Ec1、Ec2を加算して積算値v1、v2を更新し、分母となるフレーム数n1、n2に1を加算してフレーム数n1、n2を更新することにより行う。非符号カウンタの初期化処理は、上記S200の初期化処理における処理と同様、非符号カウンタNn=0と設定する。 Since the code determination process shown in FIG. 8 is completed by the end of the offset changing process, the description will be returned to the flowchart of FIG. If the code corresponding to the bit value is output as a result of the process in S202, the parameters of the average code levels HL1 and HL2 are updated and the non-code counter is initialized (S203). Specifically, the update of the parameter of the average code level HL is performed by adding the total values E c1 and E c2 to the integrated values v1 and v2 which are numerators when calculating the average code level HL, as in S404. This is performed by updating v1 and v2, and adding 1 to the number of frames n1 and n2 as denominators to update the number of frames n1 and n2. In the initialization process of the non-sign counter, the non-sign counter Nn = 0 is set as in the process in the initialization process of S200.
続いて、モードの判定を行う(S204)。具体的には、上記S403と同様、区切りモードかビット出力モードかの判定を行う。ビット出力モードである場合は、そのビット値をバッファに保存する(S209)。続いて、ビットカウンタをカウントアップする(S210)。一方、S204による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する(S205)。この結果、新規である場合には、その直前で1ワードが終了していることを意味するので、バッファに記録された1ワード分のデータを、付加情報抽出手段170が出力する(S206)。そして、ビットカウンタを0に初期化する(S207)。さらに、モードをビット出力モードに設定する(S208)。S205において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。
Subsequently, the mode is determined (S204). Specifically, as in S403, it is determined whether the mode is a separation mode or a bit output mode. If it is in the bit output mode, the bit value is stored in the buffer (S209). Subsequently, the bit counter is counted up (S210). On the other hand, if the result of determination in S204 is that the mode is separation mode, it is further determined whether the extracted code means new or continuation (S205). As a result, if it is new, it means that one word has been completed immediately before, so that the additional
続いて、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する(S212)。そして、非符号カウンタのカウントアップ処理を行う(S213)。具体的には、非符号カウンタNnの値に1を加算する。図7に示す処理を各基準フレームに対して実行することにより、付加情報が抽出されることになる。S201において全ての基準フレームが抽出されたと判断された場合には、処理を終了する。 Subsequently, the mode is set to the delimiter mode in order to extract information on whether it is new or continued from the next sound frame (S212). Then, the non-sign counter is incremented (S213). Specifically, 1 is added to the value of the unsigned counter Nn. By executing the process shown in FIG. 7 for each reference frame, additional information is extracted. If it is determined in S201 that all reference frames have been extracted, the process ends.
上記S206の処理において、付加情報抽出手段170は、まず、符号判定パラメータ算出手段150により出力された3値の符号のうち、両窓成分均等を示す符号を区切り位置として、その次の符号を先頭とし、窓3成分優位、窓1成分優位の符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、付加情報抽出手段170は、符号判定パラメータ算出手段150が判定し、符号出力手段160から出力される符号を1バイト(8ビット)単位で認識し、これを設定されたコード体系に従って文字情報を認識する。このようにして得られた文字情報は、表示装置(図示省略)の画面に表示出力される。
In the process of S206, the additional
従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等の属性情報を文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストを知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末の画面に曲名やアーチスト等の属性情報が文字情報として表示されることになる。 Therefore, if the embedding device embeds the attribute information such as the song title or artist in the sound signal as the character information, the user wants to know the song title or artist by listening to the music being played. If a predetermined operation is performed on the mobile terminal that functions as the extraction device, attribute information such as a song title and an artist is displayed as character information on the screen of the mobile terminal.
以上の処理においては、抽出装置において正確に付加情報を抽出するために、位相を補正する処理、左右の低周波成分の強度の差を補正する処理、無効フレームであることを判断するための下限閾値を補正する処理を行っている。次に、これら3つの補正処理について補足説明を行う。 In the above processing, in order to extract additional information accurately in the extraction device, processing for correcting the phase, processing for correcting the difference in intensity between the left and right low frequency components, and a lower limit for determining that the frame is an invalid frame Processing to correct the threshold is performed. Next, supplementary explanation will be given for these three correction processes.
(5.位相補正処理およびオフセット変更処理について)
上記のように、抽出時には、埋め込み時に埋め込んだ音響フレームに対応して、音響信号を読み込むことができるとは限らない。そこで、音響フレームの位相をずらして複数通り(本実施形態では6通り)で読み込み、その中で最適な位相を決定し、その位相で特定される音響フレームに対応する符号を出力することにしている。この際、検出精度をさらに向上させるため、本発明では、基準フレームの位置を微小量づつ移動させて、最適な音響フレームを符号抽出対象として決定するようにしている。
(5. About phase correction processing and offset change processing)
As described above, at the time of extraction, it is not always possible to read an acoustic signal corresponding to the acoustic frame embedded at the time of embedding. Therefore, the phase of the acoustic frame is shifted and read in a plurality of ways (six in this embodiment), the optimum phase is determined, and a code corresponding to the acoustic frame specified by the phase is output. Yes. At this time, in order to further improve the detection accuracy, in the present invention, the position of the reference frame is moved by a minute amount to determine the optimum acoustic frame as a code extraction target.
位相補正処理については、例えば6通りで読み込む場合、先頭の音響フレームは、本来サンプル番号1〜4096のサンプルであるが、サンプル番号1、683、1366、2049、2732、3413から始まる4096のサンプルで構成される6個の各音響フレームに対して処理を行い、最適な音響フレームに対応する符号を出力することになる。この位相補正処理は、S304、S310、S311、S312、S313における処理を中心として行われることになる。
Regarding the phase correction processing, for example, when reading in six ways, the first acoustic frame is originally a sample with
また、オフセット変更処理については、最適位相フレームが、2つ前の最適位相フレームと同じ位相であり、1つ前の最適位相フレームと異なる位相である場合に限り、オフセット値を変更することになる。このオフセット変更処理は、S304およびS314における処理を中心として行われることになる。 As for the offset changing process, the offset value is changed only when the optimum phase frame has the same phase as the two previous optimum phase frames and a phase different from the previous optimum phase frame. . This offset changing process is performed centering on the processes in S304 and S314.
ここで、オフセット変更処理による情報抽出の対象とする音響フレームの変化の様子を図10に示す。図10において、左右方向は時系列方向を示し、右側に行くほど未来であることを示している。図10(a)は、音響信号入力手段100が、サンプル列として取得する対象であるデジタル音響信号を模式的に示したもので、音響フレームAから音響フレームDと示している4つの箇所に付加情報が埋め込まれているものとする。図10(b)の各々は、音響信号入力手段100が、前記付加情報を抽出するためにサンプル列として位相をずらしながら取得したデジタル音響信号を模式的に示したものである。上述のように、音響フレーム獲得手段110は、入力されたデジタルのステレオ音響信号の各チャンネルから所定数のサンプル(サンプル群)を基準フレームとして読み込み、位相変更フレーム設定手段130が、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する。図10(b)は、基準フレームおよび位相変更フレームとしての音響フレームを示すものである。図10の例では、サンプル群Aを基準フレーム(音響フレームA0)として読み込み、音響フレームA1〜音響フレームA5は、位相変更フレームとして読み込まれたものであることを示している。サンプル群B、Cと音響フレームB0〜音響フレームB5、音響フレームC0〜音響フレームC5の関係についても同様である。すなわち、音響フレームのアルファベットはサンプル群のアルファベットに対応し、音響フレームの数字は、位相番号pに対応している。
Here, FIG. 10 shows a state of change of the acoustic frame that is a target of information extraction by the offset changing process. In FIG. 10, the left-right direction indicates the time-series direction, and indicates the future as it goes to the right. FIG. 10A schematically shows a digital acoustic signal that is an object to be acquired by the acoustic
このような状況で、音響フレームA0〜音響フレームA5の中では音響フレームA2、音響フレームB0〜音響フレームB5の中では音響フレームB1、音響フレームC0〜音響フレームC5の中では音響フレームC2が最適位相フレームとして決定されたとする。この場合、上記S313における処理により、最適位相決定テーブルには、位相番号pが、各基準フレームに対応して、“2” “1” “2”という順序で記録されていることになる。このような不安定な現象は、音響フレームAの位相が音響フレームA1と音響フレームA2の中間に位置することに起因するもので、どちらが最適と判断できないため、サンプル群ごとに異なる位相番号が判定されることになり、S401の判定位相の変動条件に該当する。すなわち、図10(b)に示すように、たった今処理した音響フレームの最適位相(C2)が、その2つ前の音響フレーム(A2)と同一であり、かつ直前の音響フレーム(B1)と異なる。すると、S402において、微小オフセット値が更新され、S300において、アドレスの微小オフセット処理、すなわち、更新されたオフセット値に従って、基準フレームおよび位相変更フレームの読込位置を、所定フレーム数移動させた位置に設定する。したがって、図10(b)に示すように、サンプル群Dは、オフセット値分移動されたものとなる。そうすると、音響フレームD0〜音響フレームD5のいずれの候補音響フレームも前記オフセット値分だけ移動し、図10(b)の例では、音響フレームD1以外は選択される余地がなくなり、これ以降はしばらく位相番号p=1が安定して判定されるようになる。ただし実際には、本例のように、1回の微小オフセット処理で安定することは稀であり、逆に微小オフセット処理を施すことにより位相判定の不安定さが悪化する場合もあるが、そのような場合でも本実施例では、多くても7回の微小オフセット処理を施せば位相判定が安定するようになる。 Under such circumstances, the acoustic frame A2 is in the acoustic frame A0 to the acoustic frame A5, the acoustic frame B1 is in the acoustic frame B0 to the acoustic frame B5, and the acoustic frame C2 is in the optimal phase in the acoustic frame C0 to the acoustic frame C5. Assume that the frame is determined. In this case, the phase number p is recorded in the optimum phase determination table in the order of “2” “1” “2” corresponding to each reference frame by the process in S313. Such an unstable phenomenon is caused by the fact that the phase of the acoustic frame A is located between the acoustic frame A1 and the acoustic frame A2, and since it cannot be determined which is optimal, a different phase number is determined for each sample group. Therefore, this corresponds to the determination phase fluctuation condition in S401. That is, as shown in FIG. 10B, the optimum phase (C2) of the acoustic frame just processed is the same as the previous acoustic frame (A2) and is different from the previous acoustic frame (B1). . Then, in S402, the minute offset value is updated, and in S300, the reading position of the reference frame and the phase change frame is set to a position shifted by a predetermined number of frames in accordance with the address minute offset process, that is, the updated offset value. To do. Therefore, as shown in FIG. 10B, the sample group D is moved by the offset value. Then, any candidate acoustic frame of the acoustic frames D0 to D5 moves by the offset value, and in the example of FIG. 10B, there is no room for selection other than the acoustic frame D1, and after that, the phase continues for a while. The number p = 1 is determined stably. However, in practice, as in this example, it is rare to be stabilized by a single minute offset process, and on the contrary, the instability of phase determination may worsen by performing a minute offset process. Even in such a case, in this embodiment, the phase determination becomes stable if the minute offset process is performed at most seven times.
(7.下限閾値(平均符号レベル)補正処理について)
信号レベルが小さい場合には、両窓成分の大小が判定できず、抽出側で誤判断することが多くなる。そこで、低周波強度Ec1、Ec2が符号判定レベルFL1、FL2以下のフレームについては、S305において、無効なフレームであると判断する(ビット値抽出の対象としない)ようにしているが、この符号判定レベルFL1、FL2を過去の有効フレームについての低周波強度の積算値Ec1、Ec2を利用して補正する処理を行っている。このように閾値である符号判定レベルFL1、FL2を変動させることにより、信号レベルが変動しても無効なフレームであるか、有効なフレームであるかを正確に判断することが可能となる。特に、本発明では、入力信号レベルが、信号が断絶したと判断される程小さい状態が続いた場合には、平均符号レベルHL1、HL2を初期値であるレベル下限値Levに初期化する処理を行う。また、本発明では、音響信号全般を通して信号レベルが変化した場合であっても、それに対応できるように、平均符号レベルHL1、HL2の算出の際に、時間的に遠くなったフレームについての低周波強度Ec1、Ec2を、その比重を軽くして用いるようにしている。この下限閾値補正処理は、S302、S203、S404における処理を中心として行われることになる。
(7. Lower threshold (average code level) correction process)
When the signal level is low, the size of both window components cannot be determined, and the extraction side often makes a wrong determination. Therefore, frames whose low frequency intensities E c1 and E c2 are lower than the code determination levels FL1 and FL2 are determined to be invalid frames in S305 (not subject to bit value extraction). The code determination levels FL1 and FL2 are corrected using the low frequency intensity integrated values E c1 and E c2 for the past effective frames. Thus, by varying the code determination levels FL1 and FL2, which are threshold values, it is possible to accurately determine whether the frame is invalid or valid even if the signal level varies. In particular, in the present invention, when the input signal level remains so low that it is determined that the signal has been interrupted, the process of initializing the average code levels HL1 and HL2 to the level lower limit value Lev that is the initial value is performed. Do. Further, in the present invention, even when the signal level changes throughout the acoustic signal, the low frequency of a frame that is distant in time is calculated when the average code levels HL1 and HL2 are calculated. The strengths E c1 and E c2 are used while reducing the specific gravity. This lower limit threshold correction process is performed centering on the processes in S302, S203, and S404.
ここで、従来のように、平均符号レベルHL1、HL2の算出の基礎である低周波強度Ec1、Ec2を過去全てのフレームについて均等に扱った場合と、本発明のように、時間的に遠いフレームの重要度を小さくし、信号が極端に小さい場合には、初期化するようにした場合の、符号判定の様子を図11に示す。図11において、横軸は時間軸をフレーム単位で示し、縦軸は信号レベルを示している。また、フレーム幅の太い実線は低周波強度Ec1、Ec2(図中Eと示す)、フレーム幅の太い破線は符号判定レベルFL1、FL2(図中FLと示す)を示している。なお、図11(a)(b)に示す低周波強度Eは対応するフレームにおいて全く同一となっている。 Here, as in the case of the present invention, when the low frequency intensities E c1 and E c2 that are the basis for calculating the average code levels HL1 and HL2 are treated equally for all the past frames, FIG. 11 shows the state of code determination when the importance of a distant frame is reduced and the signal is extremely small, and initialization is performed. In FIG. 11, the horizontal axis indicates the time axis in frame units, and the vertical axis indicates the signal level. In addition, solid lines with thick frame widths indicate low frequency intensities E c1 and E c2 (shown as E in the figure), and broken lines with thick frame widths show code determination levels FL1 and FL2 (shown as FL in the figure). Note that the low frequency intensity E shown in FIGS. 11A and 11B is exactly the same in the corresponding frame.
このような低周波強度Eが得られる場合、従来法では、図11(a)に示すように、左から6番目のフレームにおいて、低周波強度Ec1、Ec2が符号判定レベルFL1、FL2未満となるため、S309において、区切り情報と判定される。このように、従来法では、左から6番目のフレームは、それなりの低周波強度Ec1、Ec2を有しており、本来ならビット値の抽出が可能であるにも関わらず、区切り情報と判定してしまうことになる。一方、本発明では、時間的に遠くなったフレームについての低周波強度Ec1、Ec2の比重を軽くしている。したがって、時間的に近いフレームについての低周波強度Eの値が符号判定レベルFL1、FL2に大きく反映される。このため、左から4番目から6番目のフレームにおいて低周波強度Eが徐々に小さくなっている場合には、それが反映されて符号判定レベルFL1、FL2の値も小さくなる。すると、図11(b)に示すように、左から6番目のフレームにおいて、低周波強度Ec1、Ec2が符号判定レベルFL1、FL2以上となるため、S306〜S308において、ビット値が設定されることになる。 When such a low frequency intensity E is obtained, in the conventional method, as shown in FIG. 11A, in the sixth frame from the left, the low frequency intensity E c1 and E c2 are less than the code determination levels FL1 and FL2. Therefore, in S309, it is determined as delimiter information. As described above, in the conventional method, the sixth frame from the left has appropriate low-frequency intensities E c1 and E c2 , and although bit values can be extracted originally, It will be judged. On the other hand, in the present invention, the specific gravity of the low frequency intensities E c1 and E c2 for a frame that is distant in time is reduced. Therefore, the value of the low frequency intensity E for a frame close in time is greatly reflected in the code determination levels FL1 and FL2. For this reason, when the low frequency intensity E gradually decreases in the fourth to sixth frames from the left, this is reflected and the values of the code determination levels FL1 and FL2 also decrease. Then, as shown in FIG. 11 (b), in the sixth frame from the left, the low frequency intensities E c1 and E c2 are equal to or higher than the code determination levels FL1 and FL2, so the bit values are set in S306 to S308. Will be.
また、左から10、11番目のフレームにおいて低周波強度Ec1、Ec2は“0”になっているが、従来法では、このような場合に符号判定レベルFL1、FL2に対して特別な処理を行わないため、符号判定レベルFL1、FL2の値は急激には減少しない。このため、図11(a)に示すように、左から12、13番目のフレームにおいて、低周波強度Ec1、Ec2が符号判定レベルFL1、FL2未満となるため、S309において、区切り情報と判定される。一方、本発明では、低周波強度Eが“0”の状態が所定フレーム数以上連続すると、符号判定レベルFL1、FL2を初期値に再設定する。このため、左から11番目のフレームにおいて符号判定レベルFL1、FL2の値も小さくなる。すると、図11(b)に示すように、左から12、13番目のフレームにおいて、低周波強度Eが符号判定レベルFL1、FL2以上となるため、S306〜S308において、ビット値が設定されることになる。なお、図11の例では、低周波強度Ec1、Ec2が“0”の状態が2フレーム連続しただけで、符号判定レベルFL1、FL2を初期値に設定しているが、これは、説明の便宜のためであり、現実には、多数のフレームについて、連続して低周波強度Eが“0”の場合に、符号判定レベルFL1、FL2が初期値に設定される。 Further, the low frequency intensities E c1 and E c2 are “0” in the 10th and 11th frames from the left, but in the conventional method, special processing is applied to the code determination levels FL1 and FL2 in such a case. Therefore, the values of the code determination levels FL1 and FL2 do not decrease rapidly. For this reason, as shown in FIG. 11A, in the 12th and 13th frames from the left, the low frequency intensities E c1 and E c2 are less than the code determination levels FL1 and FL2, so that it is determined as delimiter information in S309. Is done. On the other hand, in the present invention, when the low frequency intensity E is “0” for a predetermined number of frames or more, the code determination levels FL1 and FL2 are reset to the initial values. For this reason, in the eleventh frame from the left, the values of the code determination levels FL1, FL2 also become small. Then, as shown in FIG. 11B, in the twelfth and thirteenth frames from the left, the low frequency intensity E becomes equal to or higher than the code determination levels FL1 and FL2, so that a bit value is set in S306 to S308. become. In the example of FIG. 11, the code determination levels FL1 and FL2 are set to the initial values only when the low-frequency intensities E c1 and E c2 are “0” for two consecutive frames. In reality, the sign determination levels FL1 and FL2 are set to initial values when the low frequency intensity E is continuously “0” for a number of frames.
10・・・音響フレーム読込手段
20・・・周波数変換手段
30・・・低周波成分変更手段
40・・・周波数逆変換手段
50・・・改変音響フレーム出力手段
60・・・記憶手段
61・・・音響信号記憶部
62・・・付加情報記憶部
63・・・改変音響信号記憶部
70・・・付加情報読込手段
100・・・音響信号入力手段
110・・・音響フレーム獲得手段
120・・・基準フレーム設定手段
130・・・位相変更フレーム設定手段
140・・・周波数変換手段
150・・・符号判定パラメータ算出手段
160・・・符号出力手段
170・・・付加情報抽出手段
180・・・音響フレーム保持手段
DESCRIPTION OF
Claims (5)
前記音響信号から、N個のサンプルで構成される音響フレームを獲得する音響フレーム獲得手段と、
前記音響フレームを基準フレームとして設定するとともに、当該設定された基準フレームの最終サンプルから所定サンプル数分のオフセット値だけ移動させたサンプルを先頭サンプルとして次の基準サンプルを設定していくことにより複数の基準フレームを順次設定する基準フレーム設定手段と、
前記設定された各基準フレームについて、当該基準フレームからN/P個の整数倍だけ順次サンプルを移動させた位置におけるP−1個の音響フレームを互いに位相の異なる位相変更フレームとして設定する位相変更フレーム設定手段と、
前記基準フレームおよび位相変更フレームとして設定された各音響フレームに対して周波数変換を行い、前記各音響フレーム中の2箇所に対応する2種類のフレームスペクトルを生成する周波数変換手段と、
前記生成された2種類のフレームスペクトルから所定の周波数以下の成分に相当する2種類の低周波強度の合算値を、2種類の符号判定パラメータとして各音響フレームについて算出する符号判定パラメータ算出手段と、
前記基準フレームから移動させたサンプル数が同数の音響フレームを互いに同位相と定義し、過去の同位相の音響フレームにおいて算出された2種類の符号判定パラメータのうち、大きい方の符号判定パラメータを小さい方の符号判定パラメータで除した値を累積加算した値S(p)が最大となる音響フレームを、位相が最適な最適位相フレームであると判断し、当該最適位相フレームについて判断された前記符号判定パラメータに基づいて、所定の符号を出力するとともに、当該最適位相フレームが、直前の最適位相フレームと位相が異なり、2つ前の最適位相フレームと位相が同一である場合に、前記オフセット値を変更する符号出力手段と、
前記各最適位相フレームに対して出力された符号により構成されるビット配列を、所定の規則により変換して付加情報を抽出する付加情報抽出手段と、
を有することを特徴とする音響信号からの情報の抽出装置。 A device that extracts information embedded in advance in an inaudible state from an acoustic signal composed of a time-series sample sequence,
Acoustic frame acquisition means for acquiring an acoustic frame composed of N samples from the acoustic signal;
The sound frame is set as a reference frame, and a plurality of reference samples are set by setting a next reference sample with a sample moved by an offset value by a predetermined number of samples from the final sample of the set reference frame as a first sample. Reference frame setting means for sequentially setting reference frames;
For each of the set reference frames, a phase change frame for setting P-1 acoustic frames at positions where the samples are sequentially moved from the reference frame by an integer multiple of N / P as phase change frames having different phases. Setting means;
Frequency conversion means for performing frequency conversion on each acoustic frame set as the reference frame and the phase change frame, and generating two types of frame spectra corresponding to two locations in each acoustic frame;
Code determination parameter calculation means for calculating a total value of two types of low-frequency intensities corresponding to components of a predetermined frequency or less from the generated two types of frame spectra as two types of code determination parameters for each acoustic frame ;
Acoustic frames having the same number of samples moved from the reference frame are defined as being in phase with each other, and the larger one of the two types of code determination parameters calculated in the previous acoustic frame with the same phase is set smaller. The sound frame having the maximum value S (p) obtained by cumulatively adding the values divided by the other code determination parameter is determined to be the optimal phase frame having the optimum phase, and the code determination determined for the optimal phase frame is performed. Based on the parameters, a predetermined code is output, and the offset value is changed when the optimum phase frame is different in phase from the previous optimum phase frame and in phase with the two previous optimum phase frames. a code outputting means for,
Additional information extracting means for extracting the additional information by converting the bit arrangement constituted by the code output for each optimum phase frame according to a predetermined rule;
An apparatus for extracting information from an acoustic signal, comprising:
前記周波数変換手段は、
前記音響フレームに対して、当該音響フレーム中の前半にのみ作用する第1窓関数、後半にのみ作用する第3窓関数を用いてそれぞれ周波数変換を行い、前記第1窓関数に対応するスペクトルである第1窓スペクトル、前記第3窓関数に対応するスペクトルである第3窓スペクトルを前記2種類のフレームスペクトルとして生成するものであり、
前記符号判定パラメータ算出手段は、前記第1窓スペクトル、第3窓スペクトルから所定の低周波数帯に対応するスペクトル集合をそれぞれ抽出し、各スペクトル集合ごとにスペクトル強度の総和値である低周波強度の合算値を符号判定パラメータとして算出するものであり、
前記符号出力手段は、前記2種類の符号判定パラメータの大小関係および比率に基づいて、所定の符号を出力するものであることを特徴とする音響信号からの情報の抽出装置。 In claim 1,
The frequency conversion means includes
A frequency conversion is performed on the acoustic frame using a first window function that operates only in the first half of the acoustic frame and a third window function that operates only in the second half, and a spectrum corresponding to the first window function is used. A first window spectrum, a third window spectrum that is a spectrum corresponding to the third window function, is generated as the two types of frame spectra ;
The code determination parameter calculation means extracts a spectrum set corresponding to a predetermined low frequency band from the first window spectrum and the third window spectrum, respectively, and for each spectrum set, a low frequency intensity that is a total value of the spectrum intensity. The total value is calculated as a sign determination parameter,
The apparatus for extracting information from an acoustic signal, wherein the code output means outputs a predetermined code based on a magnitude relationship and a ratio of the two types of code determination parameters .
前記符号出力手段は、前記累積加算した値S(p)の算出に当たり、所定回数加算した場合に、当該S(p)の値を半分にする処理を行うものであることを特徴とする音響信号からの情報の抽出装置。 In claim 1 or claim 2 ,
In the calculation of the cumulatively added value S (p) , the code output means performs a process of halving the value of S (p) when added a predetermined number of times. Information extraction device.
前記符号出力手段は、
前記生成されたフレームスペクトルから抽出した2種類の符号判定パラメータが、ともに所定の下限閾値未満である場合に、前記音響フレームを無効フレームであると判断するものであり、
前記判断に使用する下限閾値を、過去に有効フレームとして判断された音響フレームについて求められた符号判定パラメータの累積加算値を、音響フレーム数で除した値に所定の係数を乗じることにより算出し、前記符号判定パラメータの加算に当たり、所定回数加算した場合に、前記累積加算値を半分にする処理を行うものであることを特徴とする音響信号からの情報の抽出装置。 In any one of Claims 1-3 ,
The code output means includes
When the two types of code determination parameters extracted from the generated frame spectrum are both less than a predetermined lower threshold, the acoustic frame is determined to be an invalid frame,
The lower limit threshold value used for the determination is calculated by multiplying a value obtained by dividing the cumulative addition value of the code determination parameter obtained for an acoustic frame previously determined as an effective frame by the number of acoustic frames by a predetermined coefficient , An apparatus for extracting information from an acoustic signal, which performs a process of halving the cumulative added value when adding a predetermined number of times when adding the code determination parameter .
前記符号出力手段は、
前記音響フレームが無効フレームと判断され、かつ過去の連続する所定の個数の音響フレームも全て無効フレームとして判断された場合には、
前記下限閾値を初期値に再設定するものであることを特徴とする音響信号からの情報の抽出装置。 In claim 4,
The code output means includes
When it is determined that the acoustic frame is an invalid frame and a predetermined number of past consecutive acoustic frames are also determined as invalid frames,
An apparatus for extracting information from an acoustic signal, wherein the lower limit threshold is reset to an initial value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005228878A JP4531653B2 (en) | 2005-08-05 | 2005-08-05 | Device for extracting information from acoustic signals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005228878A JP4531653B2 (en) | 2005-08-05 | 2005-08-05 | Device for extracting information from acoustic signals |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007048340A JP2007048340A (en) | 2007-02-22 |
JP4531653B2 true JP4531653B2 (en) | 2010-08-25 |
Family
ID=37851057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005228878A Expired - Fee Related JP4531653B2 (en) | 2005-08-05 | 2005-08-05 | Device for extracting information from acoustic signals |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4531653B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5104200B2 (en) * | 2007-10-23 | 2012-12-19 | 大日本印刷株式会社 | Network connection device |
JP5273366B2 (en) * | 2008-11-13 | 2013-08-28 | 大日本印刷株式会社 | Content synchronized playback device |
US9767822B2 (en) | 2011-02-07 | 2017-09-19 | Qualcomm Incorporated | Devices for encoding and decoding a watermarked signal |
US8880404B2 (en) * | 2011-02-07 | 2014-11-04 | Qualcomm Incorporated | Devices for adaptively encoding and decoding a watermarked signal |
US9767823B2 (en) | 2011-02-07 | 2017-09-19 | Qualcomm Incorporated | Devices for encoding and detecting a watermarked signal |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006235359A (en) * | 2005-02-25 | 2006-09-07 | Dainippon Printing Co Ltd | Device for extracting information from sound signal |
-
2005
- 2005-08-05 JP JP2005228878A patent/JP4531653B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006235359A (en) * | 2005-02-25 | 2006-09-07 | Dainippon Printing Co Ltd | Device for extracting information from sound signal |
Also Published As
Publication number | Publication date |
---|---|
JP2007048340A (en) | 2007-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4899416B2 (en) | Network connection device | |
JP4660275B2 (en) | Information embedding apparatus and method for acoustic signal | |
JP4839775B2 (en) | Information embedding device, method, and program for acoustic signal | |
JP4531653B2 (en) | Device for extracting information from acoustic signals | |
JP4629495B2 (en) | Information embedding apparatus and method for acoustic signal | |
JP4867765B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP4770194B2 (en) | Information embedding apparatus and method for acoustic signal | |
JP2007292827A (en) | Acoustic signal retrieving apparatus | |
JP5011849B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP4839721B2 (en) | Information embedding device for acoustic signals | |
JP5082257B2 (en) | Acoustic signal retrieval device | |
JP2006195061A (en) | Information embedding device for acoustic signal, information extracting device from acoustic signal and acoustic signal reproducing device | |
JP2006201527A (en) | Device for embedding information in sound signal, device for extracting information from sound signal, and sound signal reproducing device and method | |
JP4713180B2 (en) | Device for extracting information from acoustic signals | |
JP4713181B2 (en) | Information embedding device for sound signal, device for extracting information from sound signal, and sound signal reproducing device | |
JP4831335B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP4831333B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP5011855B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP4760539B2 (en) | Information embedding device for acoustic signals | |
JP4760540B2 (en) | Information embedding device for acoustic signals | |
JP4876978B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP4831334B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP2008129198A (en) | Information embedding device for acoustic signal and information extracting device from acoustic signal | |
JP5011865B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal | |
JP4877007B2 (en) | Information embedding device for sound signal and device for extracting information from sound signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100609 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140618 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |