JP5825607B2 - Signal feature extraction apparatus and signal feature extraction method - Google Patents
Signal feature extraction apparatus and signal feature extraction method Download PDFInfo
- Publication number
- JP5825607B2 JP5825607B2 JP2011267612A JP2011267612A JP5825607B2 JP 5825607 B2 JP5825607 B2 JP 5825607B2 JP 2011267612 A JP2011267612 A JP 2011267612A JP 2011267612 A JP2011267612 A JP 2011267612A JP 5825607 B2 JP5825607 B2 JP 5825607B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- feature extraction
- channels
- correlation
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Complex Calculations (AREA)
Description
本発明は、信号特徴抽出装置および信号特徴抽出方法に関するものであり、特に音声、音響信号あるいは心電計や複数の計測装置から得られる複数チャネルの時系列信号から特徴を抽出する信号特徴抽出装置および信号特徴抽出方法に関する。 The present invention relates to a signal feature extraction device and a signal feature extraction method, and more particularly to a signal feature extraction device for extracting features from voices, acoustic signals, or time-series signals of a plurality of channels obtained from an electrocardiograph or a plurality of measuring devices. And a signal feature extraction method.
従来、例えば音声認識や機械の故障診断等のために、音声あるいはその他の音響信号から音源を認識、識別する技術が各種提案されている。下記特許文献１にはこのような音源の識別方法の一例が開示されている。この音源の識別方法は、機械装置からの音響信号を高速フーリエ変換して周波数スペクトルを求め、次にこの周波数スペクトルに対してファジィルールによるフィルタリング処理を行うことにより、周波数スペクトルの特徴部を抽出する。
Conventionally, various techniques for recognizing and identifying a sound source from voice or other acoustic signals have been proposed for voice recognition, machine failure diagnosis, and the like.
次に、この抽出されたスペクトルデータを階層型ニューラルネットワークに入力し、この階層型ニューラルネットワーク内で、上記スペクトルデータに基づき演算された演算データと予め記憶されている判断用データとを比較するとともに、この比較データを所定の評価関数により判断して音源を識別する際に、上記判断用データを入力されたスペクトルデータに応じて切り換える。 Next, the extracted spectrum data is input to the hierarchical neural network, and the calculation data calculated based on the spectrum data is compared with the judgment data stored in advance in the hierarchical neural network. When the comparison data is judged by a predetermined evaluation function to identify the sound source, the judgment data is switched according to the input spectrum data.
前記した従来の信号特徴抽出方法においては、下記のような問題点があった。
（１）複数チャネルの信号の相関を考慮した情報が抽出できなかった。
（２）信号に含まれる各周波数成分の位相情報が抽出されておらず、位相に特徴がある信号の識別精度が低かった。
（３）各周波数成分からの線形特徴を抽出しており、周波数間での関係性に注目した特徴量はほとんど提案されていない。
本発明の目的は、前記のような従来技術の問題点を解決し、呼吸音、機械の動作音あるいは心電計から出力される信号などの複数チャネルの時系列信号から高精度に特徴を抽出する信号特徴抽出装置および信号特徴抽出方法を提供することにある。
The above-described conventional signal feature extraction method has the following problems.
(1) Information that considers the correlation of signals of a plurality of channels could not be extracted.
(2) The phase information of each frequency component included in the signal has not been extracted, and the identification accuracy of the signal characterized by the phase was low.
(3) A linear feature is extracted from each frequency component, and few feature amounts that focus on the relationship between frequencies have been proposed.
The object of the present invention is to solve the problems of the prior art as described above, and extract features with high accuracy from time series signals of multiple channels such as respiratory sounds, machine operation sounds or signals output from an electrocardiograph. An object of the present invention is to provide a signal feature extraction apparatus and a signal feature extraction method.
本発明の信号特徴抽出装置は、所定期間だけサンプリングされた複数チャネルのデジタル入力信号をそれぞれ移動する時間窓を使用して抽出し、周波数軸に変換することによって、時間軸および周波数軸においてそれぞれ離散したデータを得る複素フーリエ変換手段と、前記複素フーリエ変換手段において変換された複数チャネルのデータから局所相関特徴（以下ＬＡＣ（Local Auto-Correlation）とも記す）データを抽出する特徴抽出手段とを備えたことを主要な特徴とする。 The signal feature extraction apparatus of the present invention extracts a digital input signal of a plurality of channels sampled for a predetermined period using a moving time window and converts it into a frequency axis, thereby making it discrete on the time axis and the frequency axis, respectively. Complex Fourier transform means for obtaining the data, and feature extraction means for extracting local correlation feature (hereinafter also referred to as LAC (Local Auto-Correlation)) data from the data of a plurality of channels transformed by the complex Fourier transform means. This is the main feature.
また、前記した信号特徴抽出装置において、前記特徴抽出手段は各チャネルの信号の内で局所相関特徴データを抽出する信号内特徴抽出手段と、複数のチャネルの信号の間の局所相関特徴データを抽出する信号間特徴抽出手段とを備えた点にも特徴がある。 In the above-described signal feature extraction apparatus, the feature extraction unit extracts local correlation feature data between signals of a plurality of channels and an in-signal feature extraction unit that extracts local correlation feature data from the signals of each channel. There is also a feature in that it includes an inter-signal feature extraction means.
また、前記した信号特徴抽出装置において、信号内特徴抽出手段は、時間軸および周波数軸にそって２次元に配列された多数のデータの内の所定の２次元局所領域に注目し、その局所領域内において予め定められた相関パターンによって決定される近傍のデータ間の相関値を算出するものである点にも特徴がある。 In the above-described signal feature extraction device, the in-signal feature extraction means pays attention to a predetermined two-dimensional local region among a large number of data arranged two-dimensionally along the time axis and the frequency axis, and the local region Another feature is that a correlation value between neighboring data determined by a predetermined correlation pattern is calculated.
また、前記した信号特徴抽出装置において、前記信号間特徴抽出手段は、前記複数のチャネルから２つのチャネルの組み合わせを重複せずに順次選択する選択手段と、前記選択された２つのチャネルのデータを、時間軸、周波数軸、チャネル軸にそって３次元に配列し、所定の３次元局所領域に注目して、その局所領域内において予め定められた相関パターンによって決定される２つのチャネルのデータ間の相関値を算出するチャネル間特徴抽出手段とを備えた点にも特徴がある。 Further, in the signal feature extraction device, the inter-signal feature extraction unit includes a selection unit that sequentially selects a combination of two channels from the plurality of channels without overlapping, and data of the two selected channels. , Arranged in three dimensions along the time axis, frequency axis, and channel axis, paying attention to a predetermined three-dimensional local area, and between the data of two channels determined by a predetermined correlation pattern in the local area There is also a feature in that it is provided with an inter-channel feature extracting means for calculating the correlation value.
また、前記した信号特徴抽出装置において、前記局所相関特徴は、フーリエ変換手段から入力された複素データの位相情報をベクトル表現に変換するベクトル変換手段を備えた点にも特徴がある。 In the signal feature extraction apparatus described above, the local correlation feature is characterized in that it includes a vector conversion unit that converts phase information of complex data input from the Fourier transform unit into a vector expression.
また、前記した信号特徴抽出装置において、複数のバンドパスフィルターからなるフィルターバンクであり、各バンドパスフィルターは入力されたデータに重みを乗算して加算し、出力するフィルター手段が、前記複素フーリエ変換手段と前記特徴抽出手段の間あるいは前記特徴抽出手段の後のいずれかに配置された点にも特徴がある。 Further, in the above-described signal feature extraction apparatus, the filter bank is composed of a plurality of bandpass filters, and each bandpass filter multiplies the input data by adding a weight, and outputs the filter means, the complex Fourier transform There is also a feature in that it is arranged either between the means and the feature extraction means or after the feature extraction means.
また、前記した信号特徴抽出装置において、前記フィルター手段は、入力信号を参照して、各バンドパスフィルターの帯域幅が振幅の時間平均値の周波数分布が一様になるように決定された等価フィルターである点にも特徴がある。 Further, in the above-described signal feature extraction device, the filter means refers to the input signal, and the equivalent filter in which the bandwidth of each bandpass filter is determined so that the frequency distribution of the time average value of the amplitude is uniform. This is another feature.
また、前記した信号特徴抽出装置において、前記特徴抽出手段の後にあるいは前記フィルター手段の後に振幅情報の対数変換手段が配置された点にも特徴がある。 Further, the signal feature extraction device described above is characterized in that logarithmic conversion means for amplitude information is arranged after the feature extraction means or after the filter means.
本発明の信号特徴抽出方法は、所定期間だけサンプリングされた複数チャネルのデジタル入力信号をそれぞれ移動する時間窓を使用して抽出し、周波数軸に変換することによって、時間軸および周波数軸においてそれぞれ離散したデータを得る複素フーリエ変換処理を行うステップと、前記複素フーリエ変換手段において変換された複数チャネルのデータから局所相関特徴データを抽出する特徴抽出処理を行うステップとを含むことを主要な特徴とする。 According to the signal feature extraction method of the present invention, a digital input signal of a plurality of channels sampled for a predetermined period is extracted using a moving time window and converted to a frequency axis, thereby being discrete on the time axis and the frequency axis. And a step of performing a complex Fourier transform process for obtaining the obtained data and a step of performing a feature extraction process for extracting local correlation feature data from the data of the plurality of channels transformed by the complex Fourier transform means. .
本発明の信号特徴抽出装置および信号特徴抽出方法には以下のような効果がある。
（１）複数チャネルの信号間の相関を考慮した特徴情報が抽出できるので、信号の識別精度が向上する。
（２）位相に特徴がある信号の識別精度が向上する。
（３）周波数間さらには時間軸上での関係性を効果的に抽出することが可能となり、識別精度が向上する。
The signal feature extraction apparatus and signal feature extraction method of the present invention have the following effects.
(1) Since feature information considering the correlation between signals of a plurality of channels can be extracted, signal identification accuracy is improved.
(2) The accuracy of identifying a signal characterized in phase is improved.
(3) It becomes possible to effectively extract the relationship between the frequencies and on the time axis, and the identification accuracy is improved.
以下に、この発明の実施の形態を実施例によって、図面に基づき詳細に説明する。なお、実施例においては音を複数のマイクにて入力する例を開示するが、本発明はコンピューターに入力可能な複数チャネルの任意の電気信号に適用可能である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, although the example which inputs a sound with a some microphone is disclosed in an Example, this invention is applicable to the arbitrary electrical signals of several channels which can be input into a computer.
図１は本発明の信号特徴抽出装置のハードウェア構成を示すブロック図である。図１（ａ）は音響信号を入力するための構成であり、図１（ｂ）は周知の心電計１６から出力される複数の筋電波形電気信号を入力するための構成である。
FIG. 1 is a block diagram showing a hardware configuration of a signal feature extraction apparatus according to the present invention. FIG. 1A shows a configuration for inputting an acoustic signal, and FIG. 1B shows a configuration for inputting a plurality of myoelectric waveform electrical signals output from a known
図１（ａ）において、複数のマイク１０は例えば対象物から発生する可聴音を電気信号に変換し、コンピューター１１に出力する。コンピューター１１は例えば音信号その他のアナログ電気信号を取り込むための複数のインターフェイス回路（マイク（アナログ信号）入力回路：サンプリング、Ａ／Ｄ変換回路）を備えた周知のパソコン（ＰＣ）であってもよい。本発明は、パソコンなどの周知の任意のコンピューター１１に後述する処理を実行するプログラムを作成、インストールすることにより実現される。
In FIG. 1A, a plurality of
モニタ装置１２はコンピューター１１の周知の出力装置であり、例えば対象物が発する音の種別などの認識結果等をオペレータに表示するために使用される。キーボード１３およびマウス１４は、オペレータが入力に使用する周知の入力装置である。
The
図２（ａ）は本発明の信号特徴抽出方法を使用した信号認識処理（１）の内容を示すフローチャートである。Ｓ１０においては、マイク１０などから入力された複数のアナログ信号がそれぞれ所定の周期でサンプリングされ、Ａ／Ｄ変換されたデジタル信号データから、移動する時間窓を用いた公知の複素フーリエ変換処理を行う。
FIG. 2A is a flowchart showing the contents of the signal recognition process (1) using the signal feature extraction method of the present invention. In S10, a plurality of analog signals input from the
Ｓ１１においては、特徴抽出処理として、後述する（１）マルチフーリエＬＡＣ（Multi Fourier LAC、以下ＭＦＬＡＣと記す）、（２）マルチフェーズインデックスＬＡＣ（Multi Phase Index LAC、以下ＭＰＬＡＣ）と記す）のいずれか１つの特徴データを算出する。 In S11, any one of (1) Multi Fourier LAC (hereinafter referred to as MFRAC) or (2) Multiphase Index LAC (hereinafter referred to as MPLAC) described later is used as the feature extraction processing. One feature data is calculated.
Ｓ１２においてはフィルター処理として後述する（１）分布平滑化フィルター処理、（２）Ｍｅｌフィルター処理のいずれかを行う。
Ｓ１３においては、必要に応じて振幅Ａについて対数変換を行う。この処理によって例えば大きな雑音の影響を抑制することができる。
In S12, any one of (1) distribution smoothing filter processing and (2) Mel filter processing, which will be described later, is performed as filter processing.
In S13, logarithmic conversion is performed on the amplitude A as necessary. By this processing, for example, the influence of large noise can be suppressed.
Ｓ１４においては、抽出された特徴データに基づき、公知の認識、識別処理が行われる。例えばｘiを時間窓を用いて得られた学習用の特徴ベクトル群であるとすると、ｘiに対して主成分分析を行うことによって、学習データに頻繁に含まれる（正常な）特徴ベクトルの張る空間Ｖが求まる。そして、入力特徴ベクトルをｘとするとき、以下に示す数式１３によってｄ2を求め、この値の大小によって異音かどうか、即ち故障か否かを判定する。
In S14, known recognition and identification processing is performed based on the extracted feature data. For example, if xi is a learning feature vector group obtained by using a time window, a space over which (normal) feature vectors frequently included in the learning data are obtained by performing principal component analysis on xi. V is obtained. Then, when the input feature vector is x, d2 is obtained by the following
以下に各ステップの処理の詳細について説明する。
図２（ａ）のＳ１０においては複素フーリエ変換処理を行う。図４は本発明におけるフーリエ変換処理の内容を示す説明図である。マイク１０などから入力された複数チャネルのアナログ信号は所定の周期（例えば５０μ秒（サンプリング周波数２０ｋＨｚ））でサンプリングされ、Ａ／Ｄ変換されて、一旦保存される。このデジタル信号データは所定の長さ（例えば数秒、対象となる信号の基本周期でもよい）の時間窓を用いて切り出され、公知の短時間複素フーリエ変換処理によって、下記の数式１に示す周波数軸上の複数の離散複素数値Ｆに変換される。なお、Ａはその周波数成分の振幅、θは位相を表している。
Details of the processing of each step will be described below.
In S10 of FIG. 2A, complex Fourier transform processing is performed. FIG. 4 is an explanatory diagram showing the contents of the Fourier transform process in the present invention. The analog signals of a plurality of channels input from the
時間窓は１〜複数サンプリング周期毎に移動され、所定の期間（例えば数十秒）だけフーリエ変換処理が行われる。この結果、図４右側に示すような、それぞれ直交する時間軸、周波数軸、チャネル軸にそって３次元に配列された多数の複素数データＦが得られる。 The time window is moved every one to a plurality of sampling periods, and the Fourier transform process is performed for a predetermined period (for example, several tens of seconds). As a result, as shown on the right side of FIG. 4, a large number of complex number data F arranged in three dimensions along the orthogonal time axis, frequency axis, and channel axis are obtained.
図２（ａ）のＳ１１においては、特徴抽出処理として、（１）マルチフーリエＬＡＣ（ＭＦＬＡＣ）、（２）マルチフェーズインデックスＬＡＣ（ＭＰＬＡＣ）のいずれか１つの特徴データを算出する。 In S11 of FIG. 2A, one feature data of (1) multi-Fourier LAC (MFRAC) and (2) multi-phase index LAC (MPLAC) is calculated as feature extraction processing.
（１）ＭＦＬＡＣ：
図３は、本発明におけるＳ１１の特徴抽出処理（ＭＦＬＡＣ）の内容を示すフローチャートである。ＭＦＬＡＣは本発明者が発明したマルチフーリエ局所自己相関特徴である。Ｓ３０においては複数のチャネルから未処理の組み合わせの２つのチャネルを選択する。組み合わせの数はチャネル数をｎとすればnＣ2となる。即ち、チャネル数が２、３、４、５…なら組み合わせ数は１、３、６、１０…となる。そして、選択された２つのチャネルのデータを、直交する時間軸、周波数軸、チャネル軸にそって３次元に配列する。
(1) MFRAC:
FIG. 3 is a flowchart showing the contents of the feature extraction process (MFRAC) of S11 in the present invention. MFRAC is a multi-Fourier local autocorrelation feature invented by the inventors. In S30, two channels of unprocessed combinations are selected from a plurality of channels. The number of combinations is nC2, where n is the number of channels. That is, if the number of channels is 2, 3, 4, 5,..., The number of combinations is 1, 3, 6, 10,. Then, the data of the two selected channels are arranged three-dimensionally along the orthogonal time axis, frequency axis, and channel axis.
Ｓ３１においては参照（走査）位置を初期化する。例えば参照位置を、時間軸：ｔ−１（Ｓ３２の処理でｔ＋０となるように）、周波数軸：最低周波数（ｆ１）、チャネル軸：チャネル１としてもよい。Ｓ３２においては参照位置を１つ移動（走査）する。即ち、例えば時間軸を＋１していき、時間軸の終わり（ｔ＋ｍ）に到達した場合には時間軸をｔとして周波数軸を＋１する。この処理を最高周波数（ｆｎ）のデータの時間軸の終わり（ｔ＋ｍ）に達するまで繰り返す。
In S31, the reference (scanning) position is initialized. For example, the reference position may be time axis: t−1 (so that it becomes t + 0 in the process of S32), frequency axis: lowest frequency (f1), and channel axis:
Ｓ３３においては選択された２つのチャネルのそれぞれについて未処理の場合にチャネル内の局所相関値を求める。Ｓ３０の処理においては同じチャネルのデータが複数回選択される可能性がある（例えば３チャネルなら２回）ので、初回に選択された場合にのみＳ３３においてチャネル内の局所相関値を求める。 In S33, a local correlation value in the channel is obtained when each of the selected two channels is not processed. In the process of S30, there is a possibility that the data of the same channel is selected a plurality of times (for example, twice if there are 3 channels), so the local correlation value in the channel is obtained in S33 only when it is selected for the first time.
Ｓ３４においては選択された２つのチャネル相互の間の局所相関値を求める。
図５は本発明の特徴抽出処理における相関を取る注目データ範囲を示す説明図である。直交する時間軸、周波数軸、チャネル軸にそって３次元に配列されたデータにおいて、参照位置（例えば図５のチャネル１の左上のデータの位置）を含む２×２×２個＝８個のデータからなるデータ範囲に注目し、所定の相関パターンに基づいて、この８個のデータから局所相関値を算出する。
In S34, a local correlation value between the two selected channels is obtained.
FIG. 5 is an explanatory diagram showing a data range of interest for which correlation is taken in the feature extraction processing of the present invention. In data arranged in three dimensions along the orthogonal time axis, frequency axis, and channel axis, 2 × 2 × 2 = 8 including the reference position (for example, the position of the upper left data of
図６は本発明の特徴抽出処理において使用する相関パターンの内容を示す説明図である。相関パターンはチャネル内局所相関パターンとチャネル間局所相関パターンの２種類ある。なお、図６においてはチャネル数２の場合に使用する全ての相関パターン１９個を表わしている。 FIG. 6 is an explanatory diagram showing the contents of the correlation pattern used in the feature extraction processing of the present invention. There are two types of correlation patterns: an intra-channel local correlation pattern and an inter-channel local correlation pattern. FIG. 6 shows all 19 correlation patterns used in the case of 2 channels.
相関パターンは参照位置を含む２×２×２の立方形の内部において、選択する２つのデータ（図６において●印の付いた位置のデータ）位置を表わしている。なお、上下左右および斜め方向に平行移動して重なる相関パターンは注目データ範囲を移動（走査）させれば重複するので１つを残して他を削除する。 The correlation pattern represents the positions of two data to be selected (data at positions marked with ● in FIG. 6) in the 2 × 2 × 2 cubic shape including the reference position. It should be noted that the correlation patterns that are overlapped by parallel translation in the up / down / left / right and diagonal directions are overlapped if the target data range is moved (scanned), so one is left and the other is deleted.
この重複排除の結果、図６に示すように、チャネル内局所相関パターンがチャネル当たり５個、チャネル間局所相関パターンがチャネルの組合わせ当たり９個となる。なお、チャネル内局所相関パターンは同一チャネル内の４つのデータの内から２個を選択するパターン４個、および参照位置を２回選択するパターン１個の合計５個であり、各チャネルに共通である。 As a result of this de-duplication, as shown in FIG. 6, there are 5 intra-channel local correlation patterns per channel and 9 inter-channel local correlation patterns per channel combination. The intra-channel local correlation pattern is a total of five patterns including four patterns for selecting two of the four data in the same channel and one pattern for selecting the reference position twice. is there.
チャネル間局所相関パターンは２つのチャネルからそれぞれ１個のデータを選択するパターン９個であり、各チャネルの組合わせに共通である。また、選択した２つのチャネルを相関パターンの２つのチャネルのどちらに割り当てても結果は同じである。 The inter-channel local correlation pattern is nine patterns for selecting one data from each of two channels, and is common to combinations of the channels. In addition, the result is the same whether the two selected channels are assigned to either of the two channels of the correlation pattern.
本発明の特徴データの要素数は２つのチャネルの組合わせそれぞれについてパターンの数だけ生成される。特徴データの要素数ｍは、チャネル数をｎとすればチャネル内局所相関パターンが５ｎ個、チャネル間局所相関パターンが９×nＣ2個であるので、ｍ＝５ｎ＋９×nＣ2個となる。即ち、ｎ＝２、３、４…ならば、ｍ＝１９、７２、１３４…となる。チャネル数が多い場合にはより特徴を反映している一部の相関パターンのみを採用してもよい。
The number of elements of the feature data of the present invention is generated by the number of patterns for each combination of two channels. The number m of feature data is m = 5n + 9 ×
Ｓ３３においては、図６の相関パターンの黒丸●のある位置の複素数データ同士の相関値が算出される。同じ位置に２個以上の黒丸●があるときは、その値が２個以上あると考えて他と同様に相関を取る（自分自身を２回かける）。 In S33, the correlation value between the complex number data at the positions with the black circles ● in the correlation pattern of FIG. 6 is calculated. If there are two or more black circles ● at the same position, consider that there are two or more values and correlate like the others (multiply yourself twice).
相関パターンを用いた相関の演算式を下記の数式３に示す。演算においては一方の複素数の虚数の正負を反転させる複素共役をとっており、（Ｆの上部のバーで表現）相関値も複素数である。相関値の位相情報はその周波数成分の位相の１次微分情報を示している。なお、図６のパターン（５）、（１０）の自分自身のみの相関パターンの場合には、実数値の特徴が得られ、これは従来のパワースペクトル特徴に一致する。
なお、上記数式３においては複数の振幅Ａを乗算しているが、演算は乗算以外に、ｍｉｎ（Ａ，Ｂ）（Ａ、Ｂの小さい方）などであってもよい。従って、演算を任意の関数ｆとすれば以下の数式４のように表現できる。
In the
（２）ＭＰＬＡＣ：
ＭＰＬＡＣはやはり本発明者が発明したフーリエ局所自己相関特徴であり、相関値を算出する際、各複素数データについて位相情報を量子化表現（ベクトル表現）に変換してから相関をとる。なお、ＭＰＬＡＣにおいては、自分自身を２回以上選択する相関（図６の相関パターン（５）、（１０））はとらない。
(2) MPLAC:
MPLAC is also a Fourier local autocorrelation feature invented by the present inventors, and when calculating a correlation value, correlation is obtained after phase information is converted into a quantized expression (vector expression) for each complex number data. Note that MPLAC does not take a correlation (correlation patterns (5) and (10) in FIG. 6) for selecting itself two or more times.
図７は本発明のＭＰＬＡＣにおける量子化方法（１）を示す説明図である。前記した数式１の複素数Ｆを複素平面上で表すと、図７左側に示すように表すことができる。ここで、位相θは、それぞれが均等な角度だけ他と方向が異なる複数（図７では８個）の基準方向（１〜８）の内、複素数Ｆを挟む２個の基準方向の重み付け和によって表すことができる。
FIG. 7 is an explanatory diagram showing a quantization method (1) in MPLAC according to the present invention. When the complex number F of
例えば図７に示す複素数Ｆの場合には、θがベクトル２と３のちょうど中間にあるので、ベクトル２とベクトル３の重みがそれぞれ０．５、他の重みは０である８個の実数によって表すことができる。そこでこの８個の重み値を８次元のベクトルｈとすると、複素数Ｆは以下の数式５のように表わされる。
For example, in the case of the complex number F shown in FIG. 7, since θ is exactly in the middle of the
ここで、数式５の表現を使用し、前記した相関パターンを用いた相関の演算式を下記の数式６に示す。なお、関数ｆは前記したものと同一である。
Here, the expression of
演算は数式６においてはベクトルの外積（outer-product）となる。数式６の１つの相関パターンと対応する相関特徴は８×８個の実数値からなるベクトルとなる。
The calculation is a vector outer-product in
次に、ＭＰＬＡＣの変形例について説明する。上記したＭＰＬＡＣにおいては位相θを８次元のベクトルｈによる量子化表現に変換する例を開示したが、数式４に示す複素数データＸの位相差分情報をベクトルｈを用いた量子化表現に変換することも可能である。
Next, a modified example of MPLAC will be described. In the above MPLAC, the example in which the phase θ is converted into the quantized representation by the 8-dimensional vector h has been disclosed. However, the phase difference information of the complex number data X shown in
下記の数式７においては数式４の位相差分情報を８次元のベクトルｈによる量子化表現に変換している。数式７においては数式４よりも次元が低下し、データ量が減少している。
In the following
次に、ＭＰＬＡＣの他の変形例について説明する。上記したＭＰＬＡＣにおいては位相情報θを量子化表現に変換する例を開示したが、この変形例は位相情報の代わりに位相の周波数微分値である群遅延あるいは位相の時間微分値である瞬時周波数を用いる。 Next, another modification of MPLAC will be described. In the above-mentioned MPLAC, an example in which the phase information θ is converted into a quantized expression is disclosed, but in this modified example, a group delay that is a phase frequency differential value or an instantaneous frequency that is a time differential value of a phase is used instead of the phase information. Use.
図８は本発明のＭＰＬＡＣにおける量子化方法（２）を示す説明図である。図８は本発明のＭＰＬＡＣにおいて、位相情報の代わりに群遅延あるいは瞬時周波数を用いる場合の量子化方法を示す説明図である。群遅延あるいは瞬時周波数は周期性のない値であるので、最小値と最大値の間を複数の区間に分割し、量子化する。 FIG. 8 is an explanatory diagram showing a quantization method (2) in MPLAC according to the present invention. FIG. 8 is an explanatory diagram showing a quantization method when group delay or instantaneous frequency is used instead of phase information in the MPLAC of the present invention. Since the group delay or instantaneous frequency is a value having no periodicity, the minimum value and the maximum value are divided into a plurality of sections and quantized.
群遅延あるいは瞬時周波数の値（θハット）は、複数（図８では８個）の基準値（１〜８）の内、群遅延あるいは瞬時周波数の値（θハット）を挟む２個の基準値の重み付け和によって表すことができる。そこでこの８個の重み値を上述した８次元のベクトルｈとする。以下は前述した処理と同一である。最小値、最大値、区間の分け方は学習データ（入力信号データ）から決定してもよいし、事前にパラメータとして与えてもよい。 The group delay or instantaneous frequency value (θ hat) is two reference values sandwiching the group delay or instantaneous frequency value (θ hat) among a plurality (eight in FIG. 8) of reference values (1 to 8). Can be represented by a weighted sum of Therefore, these eight weight values are set as the above-described 8-dimensional vector h. The following is the same as the processing described above. The method of dividing the minimum value, maximum value, and section may be determined from learning data (input signal data), or may be given as a parameter in advance.
図３に戻ってＳ３５においては、求めた相関値を要素ごと（相関パターン別）に加算する。Ｓ３６においては走査完了したか否かが判定され、判定結果が否定の場合にはＳ３２に移行するが、肯定の場合にはＳ３７に移行する。注目データ範囲を時間軸方向に走査（スキャン）して全ての注目データ範囲について上記の処理を行って複素数データＸの集合を求めたものがＭＦＬＡＣである。なお加算は基本的には時間方向に行って、周波数方向は後述のフィルタバンクで圧縮する。 Returning to FIG. 3, in S35, the obtained correlation values are added element by element (by correlation pattern). In S36, it is determined whether or not the scanning is completed. If the determination result is negative, the process proceeds to S32. If the determination is affirmative, the process proceeds to S37. MFRAC is obtained by scanning the target data range in the time axis direction and performing the above processing on all the target data ranges to obtain a set of complex data X. The addition is basically performed in the time direction, and the frequency direction is compressed by a filter bank described later.
Ｓ３７においては求めた相関値をチャネルおよびチャネルの組み合わせ対応（別）に保存する。Ｓ３８においては全ての組み合わせについて処理が完了したか否かが判定され、判定結果が否定の場合にはＳ３０に移行するが、肯定の場合には処理を終了する。 In S37, the obtained correlation value is stored in correspondence with channels and channel combinations (separate). In S38, it is determined whether or not the processing has been completed for all the combinations. If the determination result is negative, the process proceeds to S30, but if the determination is positive, the process ends.
図２（ａ）のＳ１２においてはフィルター処理として（１）分布平滑化フィルター処理、（２）Ｍｅｌフィルター処理のいずれかを行う。。フィルター処理においては、複数のバンドパスフィルター機能を使用して下記の数式８に示す演算が行われる。各バンドパスフィルターは入力されたデータに重みを乗算して加算（積算、合算）し、出力する。なお、ｗはフィルターの重みである。この結果、特徴データＸの周波数方向のデータ数がフィルターの数に減少する。
In S12 of FIG. 2A, either (1) distribution smoothing filter processing or (2) Mel filter processing is performed as the filter processing. . In the filter processing, the calculation shown in the following
Ｍｅｌフィルター処理：
図９はＭｅｌフィルターの特性例を示す説明図である。公知のＭｅｌフィルターは、複数のバンドパスフィルターからなるフィルターバンクである。各フィルターの特性は図７に示すような３角形の形をしており、それぞれのフィルターの重みを積分した値は同一となっている。
Mel filter processing:
FIG. 9 is an explanatory diagram showing a characteristic example of the Mel filter. A known Mel filter is a filter bank composed of a plurality of bandpass filters. The characteristic of each filter has a triangular shape as shown in FIG. 7, and the integrated value of the weight of each filter is the same.
各フィルターの中心周波数の間隔は周波数が高くなるほど広くなっており、周波数軸を対数スケールで表わした場合に、Ｍｅｌフィルターの各フィルターの中心周波数は等間隔に配置されている。また、各フィルターの帯域幅も同じ幅になる。 The intervals between the center frequencies of the filters become wider as the frequency becomes higher. When the frequency axis is expressed in a logarithmic scale, the center frequencies of the filters of the Mel filter are arranged at equal intervals. Also, the bandwidth of each filter is the same.
分布平滑化フィルター処理：
前記したＭｅｌフィルターは各バンドパスフィルターの中心周波数が対数スケールにおいて等間隔に配置されているが、信号によってはこれが最適な配置とは限らない。そこで、本発明者は以下に示す分布平滑化フィルターを発明した。この分布平滑化フィルターにおいては、Ｍｅｌフィルターと同様に複数のバンドパスフィルターからなるフィルターバンクを用いる。
Distribution smoothing filter processing:
In the above-described Mel filter, the center frequencies of the bandpass filters are arranged at regular intervals on a logarithmic scale, but this is not always the optimal arrangement depending on the signal. Therefore, the present inventor has invented the following distribution smoothing filter. In this distributed smoothing filter, a filter bank composed of a plurality of band pass filters is used in the same manner as the Mel filter.
分布平滑化フィルターの各バンドパスフィルターの帯域幅は、入力信号の特性に合わせて以下のように決定される。まず、下記の数式９によって、複素数データＦの振幅ＡからＨ、ｑを求める。Ｈは周波数ｋのヒストグラム値（＝振幅の時間平均値）であり、ｑは周波数軸におけるＨの累積分布関数となる。また、ｇは任意の関数であり、対数（ｌｏｇ）関数あるいは閾値をもつステップ関数などでもよい。
The bandwidth of each bandpass filter of the distributed smoothing filter is determined as follows according to the characteristics of the input signal. First, H and q are obtained from the amplitude A of the complex number data F by the following
このｑは、周波数ｋが増加するに従って０から１まで単調増加する関数である。このｑによって周波数軸を変換すると、振幅の小さい帯域は狭くなり、振幅の大きな帯域は広くなるので、変換された周波数軸を均等に区切ると、各区間における振幅の加算値が同一（一様分布）になるような新たな周波数軸が得られる。この新たな周波数軸上で均等な重みとなる、即ち、各バンドパスフィルターの中心周波数の間隔が均等であり、かつフィルター特性の形状も同一となるようなフィルター群を構成する。 This q is a function that monotonously increases from 0 to 1 as the frequency k increases. When the frequency axis is converted by q, the band with small amplitude becomes narrow and the band with large amplitude becomes wide. Therefore, when the converted frequency axis is equally divided, the added value of the amplitude in each section is the same (uniform distribution) A new frequency axis can be obtained. A filter group is formed in which the weights are even on the new frequency axis, that is, the intervals between the center frequencies of the bandpass filters are equal, and the filter characteristics have the same shape.
具体的には、例えばこのｑの値を均等に分割する点（例えば１０等分であれば、０、０．１、０．２…０．９、１．０）の周波数を求め、この周波数を各バンドパスフィルターの境界の周波数あるいは中心周波数とする。フィルターをこのように構成すれば、入力信号の特性に合わせて、振幅の大きな帯域はバンドパスフィルターの帯域幅が狭くなり、特徴を細かく抽出することができる。従って、認識、識別精度が向上する。 Specifically, for example, the frequency of a point that equally divides the value of q (for example, 0, 0.1, 0.2,... Is the boundary frequency or center frequency of each bandpass filter. If the filter is configured in this manner, the bandwidth of the band-pass filter becomes narrow in the band having a large amplitude in accordance with the characteristics of the input signal, and the feature can be extracted finely. Therefore, recognition and identification accuracy are improved.
図２（ｂ）は本発明の信号特徴抽出方法を使用した信号認識処理の実施例２の内容を示すフローチャートである。前述した実施例1においてはＳ１１の特徴抽出処理を行った後にＳ１２のフィルター処理を行う例を開示したが、実施例２は、実施例１のＳ１１とＳ１２の実行順序を入れ替えてＳ１６（＝Ｓ１２）、Ｓ１７（＝Ｓ１１）としたものである。その他の処理は実施例１と同一である。実施例２においてはフィルター処理によってデータ量が減少するので、特徴抽出処理の負荷が軽減され、全体の処理速度が向上する。 FIG. 2B is a flowchart showing the contents of a second embodiment of the signal recognition process using the signal feature extraction method of the present invention. In the first embodiment described above, the example in which the filtering process in S12 is performed after the feature extraction process in S11 has been disclosed. However, in the second embodiment, the execution order of S11 and S12 in the first embodiment is switched to S16 (= S12 ), S17 (= S11). Other processes are the same as those in the first embodiment. In the second embodiment, the amount of data is reduced by the filter processing, so that the load of the feature extraction processing is reduced and the overall processing speed is improved.
以上実施例を説明したが、本発明の装置には更に以下のような変形例も考えられる。実施例においてはＡ／Ｄ変換後に一旦保存し、オフライン処理を行う例を開示したが、処理速度が間に合えばリアルタイムで処理してもよい。 Although the embodiments have been described above, the following modifications can be considered for the apparatus of the present invention. In the embodiment, an example is disclosed in which after A / D conversion is temporarily stored and offline processing is performed, but processing may be performed in real time if the processing speed is in time.
実施例においては近傍の２つのデータを選択して１次相関を取る例を開示したが、チャネル内およびチャネル間において近傍の３個のデータを選択して２次相関を取ることもできる。この場合は相関パターンが異なるが処理内容は同じ方式を適用可能である。この場合、２つのチャネルを選択し、注目データ範囲を３×３×２個としてもよいし、３つのチャネルを選択し、注目データ範囲を３×３×３個としてもよく、３つのチャネルから１個づつ選択するようなチャネル間相関パターンも採用可能である。 In the embodiment, an example in which two neighboring data are selected to obtain a primary correlation has been disclosed. However, it is also possible to select three neighboring data within a channel and between channels to obtain a secondary correlation. In this case, the correlation pattern is different, but the same processing method can be applied. In this case, two channels may be selected and the target data range may be 3 × 3 × 2 or three channels may be selected and the target data range may be 3 × 3 × 3. An inter-channel correlation pattern that selects one by one can also be employed.
本発明は音声その他の音響信号を初め、心電計からの出力信号などコンピューターに入力可能な任意の複数の信号の認識、識別、機械の故障等による異音、異常検出に適用可能である。 The present invention can be applied to detection of abnormal sounds and abnormalities caused by recognition, identification, machine failure, etc. of a plurality of signals that can be input to a computer such as voice and other acoustic signals as well as output signals from an electrocardiograph.
１０…マイク
１１…コンピューター
１２…モニタ装置
１３…キーボード
１４…マウス
１６…心電計
DESCRIPTION OF
Claims (7)
前記複素フーリエ変換手段において変換された複数チャネルのデータから局所相関特徴データを抽出する特徴抽出手段とを備え、
前記特徴抽出手段は各チャネルの信号の内で局所相関特徴データを抽出する信号内特徴抽出手段と、複数のチャネルの信号の間の局所相関特徴データを抽出する信号間特徴抽出手段とを備え、
前記信号内特徴抽出手段は、時間軸および周波数軸にそって２次元に配列された多数のデータの内の所定の２次元局所領域に注目し、前記２次元局所領域内において、予め定められた選択すべきデータ位置を指定する複数の２次元相関パターンの１つによって選択されたデータ位置のデータ間の相関値を全ての２次元相関パターンについて算出するものであり、
前記信号間特徴抽出手段は、前記複数のチャネルから２つのチャネルの組み合わせを重複せずに順次選択する選択手段と、前記選択された２つのチャネルのデータを、時間軸、周波数軸、チャネル軸にそって３次元に配列し、所定の３次元局所領域に注目して、前記３次元局所領域内において、予め定められた選択すべきデータ位置を指定する複数の３次元相関パターンの１つによって選択されたデータ位置の２つのチャネルのデータ間の相関値を全ての３次元相関パターンについて算出するチャネル間特徴抽出手段を備えている
ことを特徴とする信号特徴抽出装置。 Complex Fourier transform means for obtaining discrete data on the time axis and the frequency axis by extracting digital input signals of a plurality of channels sampled for a predetermined period using a moving time window and converting them to the frequency axis. ,
Feature extraction means for extracting local correlation feature data from the data of a plurality of channels converted by the complex Fourier transform means;
The feature extraction means includes an in-signal feature extraction means for extracting local correlation feature data among signals of each channel, and an inter-signal feature extraction means for extracting local correlation feature data between signals of a plurality of channels,
The in-signal feature extracting means pays attention to a predetermined two-dimensional local region among a large number of data arranged two-dimensionally along a time axis and a frequency axis, and is predetermined within the two-dimensional local region. Calculating a correlation value between data at data positions selected by one of a plurality of two-dimensional correlation patterns specifying data positions to be selected for all two-dimensional correlation patterns;
The inter-signal feature extracting unit sequentially selects a combination of two channels from the plurality of channels without overlapping, and the data of the two selected channels are set to a time axis, a frequency axis, and a channel axis. Therefore, it is arranged in three dimensions, paying attention to a predetermined three-dimensional local area, and selected by one of a plurality of three-dimensional correlation patterns that designate predetermined data positions to be selected in the three-dimensional local area A signal feature extraction device comprising an inter-channel feature extraction means for calculating a correlation value between data of two channels at a data position for all three-dimensional correlation patterns.
前記複素フーリエ変換処理において変換された複数チャネルのデータから局所相関特徴データを抽出する特徴抽出処理を行うステップを含み、
前記特徴抽出処理は各チャネルの信号の内で局所相関特徴データを抽出する信号内特徴抽出処理と、複数のチャネルの信号の間の局所相関特徴データを抽出する信号間特徴抽出処理を含み、
前記信号内特徴抽出処理は、時間軸および周波数軸にそって２次元に配列された多数のデータの内の所定の２次元局所領域に注目し、前記２次元局所領域内において、予め定められた選択すべきデータ位置を指定する複数の２次元相関パターンの１つによって選択されたデータ位置のデータ間の相関値を全ての２次元相関パターンについて算出するものであり、
前記信号間特徴抽出処理は、前記複数のチャネルから２つのチャネルの組み合わせを重複せずに順次選択する選択処理と、前記選択された２つのチャネルのデータを、時間軸、周波数軸、チャネル軸にそって３次元に配列し、所定の３次元局所領域に注目して、前記３次元局所領域内において、予め定められた選択すべきデータ位置を指定する複数の３次元相関パターンの１つによって選択されたデータ位置の２つのチャネルのデータ間の相関値を全ての３次元相関パターンについて算出するチャネル間特徴抽出処理を含む
ことを特徴とする信号特徴抽出方法。 Complex Fourier transform processing to obtain discrete data on the time axis and frequency axis by extracting digital input signals of multiple channels sampled for a predetermined period using a moving time window and converting them to the frequency axis. Steps to do,
Performing a feature extraction process of extracting local correlation feature data from the data of a plurality of channels transformed in the complex Fourier transform process ,
The feature extraction processing includes in-signal feature extraction processing for extracting local correlation feature data from signals of each channel, and inter-signal feature extraction processing for extracting local correlation feature data between signals of a plurality of channels,
The in-signal feature extraction process focuses on a predetermined two-dimensional local area among a large number of data arranged two-dimensionally along a time axis and a frequency axis, and is predetermined in the two-dimensional local area . Calculating a correlation value between data at data positions selected by one of a plurality of two-dimensional correlation patterns specifying data positions to be selected for all two-dimensional correlation patterns ;
The inter-signal feature extraction process includes a selection process for sequentially selecting a combination of two channels from the plurality of channels without overlapping, and the data of the selected two channels on a time axis, a frequency axis, and a channel axis. Therefore, it is arranged in three dimensions, paying attention to a predetermined three-dimensional local area, and selected by one of a plurality of three-dimensional correlation patterns that designate predetermined data positions to be selected in the three-dimensional local area A signal feature extraction method including an inter-channel feature extraction process for calculating a correlation value between data of two channels at a data position for all three-dimensional correlation patterns .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011267612A JP5825607B2 (en) | 2011-12-07 | 2011-12-07 | Signal feature extraction apparatus and signal feature extraction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011267612A JP5825607B2 (en) | 2011-12-07 | 2011-12-07 | Signal feature extraction apparatus and signal feature extraction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013120467A JP2013120467A (en) | 2013-06-17 |
| JP5825607B2 true JP5825607B2 (en) | 2015-12-02 |
Family
ID=48773084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011267612A Active JP5825607B2 (en) | 2011-12-07 | 2011-12-07 | Signal feature extraction apparatus and signal feature extraction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5825607B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6580497B2 (en) * | 2016-02-09 | 2019-09-25 | Kddi株式会社 | Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal |
| CN110047516A (en) * | 2019-03-12 | 2019-07-23 | 天津大学 | A kind of speech-emotion recognition method based on gender perception |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4201907B2 (en) * | 1999-02-09 | 2008-12-24 | パナソニック株式会社 | Signal separation device, signal separation method, and recording medium |
| JP4469880B2 (en) * | 2007-08-09 | 2010-06-02 | 株式会社東芝 | Audio processing apparatus and method |
| JP2009069305A (en) * | 2007-09-11 | 2009-04-02 | Fujitsu Ten Ltd | Sound echo canceler and in-vehicle device |
| JP5338643B2 (en) * | 2009-12-07 | 2013-11-13 | 株式会社豊田中央研究所 | Image feature extraction device, image processing device, and program |
-
2011
- 2011-12-07 JP JP2011267612A patent/JP5825607B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013120467A (en) | 2013-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6027087B2 (en) | Acoustic signal processing system and method for performing spectral behavior transformations | |
| KR101122838B1 (en) | Method and apparatus for separating sound-source signal and method and device for detecting pitch | |
| JP4810109B2 (en) | Method and system for separating components of separate signals | |
| JP5101316B2 (en) | Pitch extraction using fundamental frequency harmonics and subharmonic suppression | |
| US6934649B2 (en) | Waveform detection system and state-monitoring system | |
| WO2006120829A1 (en) | Mixed sound separating device | |
| KR20170108085A (en) | Abnormal sound diagnostic apparatus, abnormal sound diagnostic system, abnormal sound diagnostic method, and abnormal sound diagnostic program | |
| EP1227471A1 (en) | Apparatus and program for separating a desired sound from a mixed input sound | |
| WO2007085853A2 (en) | Signal analyser | |
| JP5644934B2 (en) | Signal feature extraction apparatus and signal feature extraction method | |
| JP5825607B2 (en) | Signal feature extraction apparatus and signal feature extraction method | |
| KR20070062551A (en) | Extraction of a melody underlying an audio signal | |
| CN113160852A (en) | Voice emotion recognition method, device, equipment and storage medium | |
| JP4705480B2 (en) | How to find the fundamental frequency of a harmonic signal | |
| Rahman et al. | Dynamic time warping assisted svm classifier for bangla speech recognition | |
| JP5598815B2 (en) | Signal feature extraction apparatus and signal feature extraction method | |
| JP5131863B2 (en) | HLAC feature extraction method, abnormality detection method and apparatus | |
| EP1605437B1 (en) | Determination of the common origin of two harmonic components | |
| JP5772957B2 (en) | Sound processing apparatus, sound processing system, video processing system, control method, and control program | |
| JP2010185682A (en) | General harmonic analyzer and frequency analyzer | |
| JP5579884B2 (en) | Sound identification condition selection device and abnormal sound determination device | |
| de León et al. | A complex wavelet based fundamental frequency estimator in singlechannel polyphonic signals | |
| CN102667508B (en) | Detect the method corresponding to the wavefront of event in the signal received by detecting device | |
| KR20090058226A (en) | A method and an apparatus for detecting realtime music beat period | |
| JP2020012976A (en) | Sound source separation evaluation device and sound source separation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151006 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5825607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |