JP2007174190A - Audio system - Google Patents
Audio system Download PDFInfo
- Publication number
- JP2007174190A JP2007174190A JP2005368053A JP2005368053A JP2007174190A JP 2007174190 A JP2007174190 A JP 2007174190A JP 2005368053 A JP2005368053 A JP 2005368053A JP 2005368053 A JP2005368053 A JP 2005368053A JP 2007174190 A JP2007174190 A JP 2007174190A
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- signal
- speaker
- sound
- filter coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
Description
この発明は、スピーカとマイクロホンの位置関係をリアルタイムに検出するオーディオシステムに関する。 The present invention relates to an audio system that detects a positional relationship between a speaker and a microphone in real time.
スピーカとマイクとを備えたカラオケ装置においては、複数のスピーカによるステレオ効果によって立体感のある音響効果を付与するものがあった。立体感を得るためにはスピーカ、マイクの位置関係が重要となる。すなわち、歌唱者の位置において最も立体感が得られるように音響効果を付与する。しかし、歌唱者が移動した場合には最適な音響効果を付与できないという問題が発生する。 Some karaoke apparatuses including a speaker and a microphone provide a three-dimensional sound effect by a stereo effect by a plurality of speakers. In order to obtain a three-dimensional effect, the positional relationship between the speaker and the microphone is important. That is, an acoustic effect is provided so that the most stereoscopic effect can be obtained at the position of the singer. However, when a singer moves, the problem that an optimal acoustic effect cannot be provided generate | occur | produces.
そこで、可聴外の周波数の音声信号(超音波)を歌唱用マイクから出力し、カラオケ装置本体に設置した超音波受信用のマイクで距離を測定する手法が提案されている(例えば特許文献1参照)。
しかしながら、特許文献1の構成によれば、マイクに超音波発生器が必要となり、また、カラオケ装置本体にも超音波受信用のマイクを設置する必要があった。これらの超音波発生器や受信機は、カラオケ装置の本来機能(歌唱音声の拡声、カラオケ楽音の再生など)に関係するものではなく、位置検出のためだけに用いられるものである。したがって、位置検出のためだけに付加装置が必要となり、コストがかかるという問題が有った。また、リアルタイムに位置検出するためには超音波を発し続けなければならないという問題も有った。 However, according to the configuration of Patent Document 1, an ultrasonic generator is required for the microphone, and it is necessary to install an ultrasonic receiving microphone on the karaoke apparatus main body. These ultrasonic generators and receivers are not related to the original functions of the karaoke apparatus (speech voice enhancement, karaoke music reproduction, etc.), but are used only for position detection. Therefore, an additional device is required only for position detection, and there is a problem that costs increase. In addition, in order to detect the position in real time, there is a problem that it is necessary to continuously emit ultrasonic waves.
また、特許文献1の構成を他の分野(例えば通信会議装置)に適用した場合においても同様に、本来機能(マイクで収音した音声を送信し、受信した音声をスピーカで放音する)に関係しない付加装置が必要となり、コストがかかるという問題が有った。 Similarly, when the configuration of Patent Document 1 is applied to other fields (for example, a teleconferencing device), the original function (sound collected by a microphone is transmitted and the received sound is emitted by a speaker) is similarly applied. There was a problem that an additional device that was not related was necessary and costly.
この発明は、付加装置を使用せず、信号処理だけでマイクの位置をリアルタイムに検出することができるオーディオシステムを提供することを目的とする。 An object of the present invention is to provide an audio system that can detect the position of a microphone in real time only by signal processing without using an additional device.
この発明のオーディオシステムは、音声を収音し、収音信号を出力するマイクと、出力音声信号を音声として放音するスピーカと、前記スピーカから前記マイクに至る音声伝搬経路を模したフィルタ係数を算出する係数推定部、前記フィルタ係数が設定され、前記出力音声信号をフィルタリングして前記音声伝搬経路を帰還した帰還音声信号の模擬信号を出力するフィルタ、および、前記収音信号から前記模擬信号を減算することにより収音信号中の帰還音声信号成分を除去した残差信号を出力する減算部、を備えた適応フィルタと、前記残差信号を含む出力音声信号を生成する出力音声信号生成部と、前記フィルタ係数の時間軸におけるピーク位置に基づいて前記スピーカと前記マイクとの距離を推定するマイク位置推定手段と、を備えたことを特徴とする。 The audio system according to the present invention includes a microphone that collects sound and outputs a collected sound signal, a speaker that emits the output sound signal as sound, and a filter coefficient that imitates a sound propagation path from the speaker to the microphone. A coefficient estimating unit to calculate, a filter in which the filter coefficient is set, filtering the output audio signal and outputting a simulated signal of a feedback audio signal that is fed back through the audio propagation path, and the simulated signal from the collected sound signal An adaptive filter comprising: a subtractor that outputs a residual signal from which a feedback audio signal component in the collected sound signal has been removed by subtraction; and an output audio signal generator that generates an output audio signal including the residual signal; And a microphone position estimation means for estimating a distance between the speaker and the microphone based on a peak position of the filter coefficient on the time axis. And wherein the door.
この発明において、マイクで収音した音声は適応フィルタにて帰還音声信号成分が除去される。適応フィルタは、スピーカからマイクに至る伝達系(音響伝達系)の伝達関数を推定して、スピーカに入力する出力音声信号から帰還音(回り込み信号)を模擬した模擬信号を生成する。適応フィルタは、この模擬信号をマイクで収音した収音信号から減算する。マイク位置推定手段は、この適応フィルタの推定した伝達関数(フィルタ係数)を参照して、所定レベル以上のピークを示す時間軸の位置を検出する。通常、スピーカからマイクに至る音声のうち、最もレベルの大きい信号は直接音であるため、フィルタ係数のピークは、スピーカからマイクに至る直接音に対応するものである。したがって、マイク位置推定手段は、フィルタ係数のピークの位置を検出することで、直接音の到達時間を検出することができる。この時間に音速を乗算することで、スピーカとマイクの距離を推定する。 In the present invention, the feedback sound signal component is removed from the sound collected by the microphone by the adaptive filter. The adaptive filter estimates a transfer function of a transmission system (acoustic transmission system) from the speaker to the microphone, and generates a simulated signal that simulates a feedback sound (around signal) from an output audio signal input to the speaker. The adaptive filter subtracts this simulation signal from the collected sound signal collected by the microphone. The microphone position estimating means refers to the transfer function (filter coefficient) estimated by the adaptive filter and detects the position of the time axis indicating a peak of a predetermined level or higher. Usually, the signal having the highest level among the sound from the speaker to the microphone is a direct sound, and therefore the peak of the filter coefficient corresponds to the direct sound from the speaker to the microphone. Therefore, the microphone position estimating means can detect the arrival time of the direct sound by detecting the peak position of the filter coefficient. By multiplying this time by the speed of sound, the distance between the speaker and the microphone is estimated.
この発明は、さらに、前記スピーカを複数備え、前記マイク位置推定手段は、前記フィルタ係数から複数のピークを検出し、各ピーク位置に基づいて各スピーカと前記マイクとの距離を推定することを特徴とする。 The present invention further comprises a plurality of the speakers, and the microphone position estimating means detects a plurality of peaks from the filter coefficient and estimates a distance between each speaker and the microphone based on each peak position. And
この発明において、スピーカが複数あり、それぞれのスピーカとマイクの距離が異なる場合は、フィルタ係数に複数のピークが検出されることとなる。マイク位置推定手段は、この複数のピークをそれぞれのスピーカの出力した音声に対応させ、各スピーカとマイクとの距離を推定する。 In the present invention, when there are a plurality of speakers and the distance between each speaker and the microphone is different, a plurality of peaks are detected in the filter coefficient. The microphone position estimating means estimates the distance between each speaker and the microphone by associating the plurality of peaks with the sound output from each speaker.
この発明は、さらに、特定のスピーカに入力する出力音声信号を遅延させる出力音声信号遅延部をさらに備え、前記マイク位置推定手段は、前記遅延部の遅延時間を変化させるとともに、この遅延時間の変化によるフィルタ係数のピークの移動を検出することにより、前記特定のスピーカに対応するピークを割り出すことを特徴とする。 The present invention further includes an output audio signal delay unit that delays an output audio signal input to a specific speaker, and the microphone position estimating unit changes a delay time of the delay unit and changes the delay time. The peak corresponding to the specific speaker is determined by detecting the movement of the peak of the filter coefficient due to.
この発明において、いずれかのスピーカに入力する出力音声信号に遅延時間を付与する。マイク位置推定手段は、この遅延時間をコントロールし、フィルタ係数のピークの時間変化を検出する。すなわち、スピーカが複数あり、それぞれのスピーカとマイクの距離が異なる場合は、フィルタ係数に複数のピークが検出されることとなるが、いずれかのスピーカに入力する出力音声信号の遅延時間を変化させることで、そのスピーカに対応するフィルタ係数のピークを割り出すことができる。これにより、より詳細にスピーカ、マイクの位置関係を検出することができる。 In the present invention, a delay time is given to an output audio signal input to any speaker. The microphone position estimating means controls the delay time and detects the time change of the peak of the filter coefficient. That is, if there are multiple speakers and the distance between each speaker and the microphone is different, multiple peaks will be detected in the filter coefficient, but the delay time of the output audio signal input to one of the speakers will be changed. Thus, the peak of the filter coefficient corresponding to the speaker can be determined. Thereby, the positional relationship between the speaker and the microphone can be detected in more detail.
この発明は、さらに、前記出力音声信号生成部を前記複数のスピーカのそれぞれに独立して備えるとともに、前記残差信号を遅延させて各出力音声信号生成部に入力する残差信号遅延部を各出力音声信号生成部毎に独立してさらに備え、前記マイク位置推定手段は、前記残差信号遅延部の遅延時間を変化させるとともに、この遅延時間の変化によるフィルタ係数のピークの移動を検出することにより、前記各スピーカに対応するピークを割り出すことを特徴とする。 The present invention further includes the output audio signal generation unit independently for each of the plurality of speakers, and further includes residual signal delay units that delay the residual signal and input the output signals to the output audio signal generation units. The microphone position estimator further changes the delay time of the residual signal delay unit and detects the movement of the peak of the filter coefficient due to the change of the delay time. Thus, a peak corresponding to each speaker is determined.
この発明において、複数のスピーカのそれぞれに入力する出力音声信号に遅延時間を付与する。マイク位置推定手段は、この遅延時間をそれぞれコントロールし、フィルタ係数のピークの時間変化を検出する。それぞれの出力音声信号の遅延時間を変化させることで、フィルタ係数の各ピークに対応するスピーカを割り出すことができる。これにより、より詳細にスピーカ、マイクの位置関係を検出することができる。 In the present invention, a delay time is given to the output audio signal input to each of the plurality of speakers. The microphone position estimating means controls the delay time, and detects the time change of the peak of the filter coefficient. By changing the delay time of each output audio signal, a speaker corresponding to each peak of the filter coefficient can be determined. Thereby, the positional relationship between the speaker and the microphone can be detected in more detail.
この発明は、さらに、前記マイク位置推定手段は、前記フィルタ係数の各スピーカに対応するピークが時間軸上で一致するように前記残差信号遅延部の遅延時間を設定することを特徴とする。 The present invention is further characterized in that the microphone position estimating means sets the delay time of the residual signal delay unit so that the peaks corresponding to the respective speakers of the filter coefficient coincide on the time axis.
この発明において、さらにディレイ回路の遅延量を変化させ、複数のピークのうち移動したピークを、時間軸において一方のピークに一致させる。すなわち、いずれか一方のスピーカに入力される音声信号を遅延させ、仮想的に、それぞれのスピーカとマイクとの距離を等しくする。これにより、それぞれのスピーカから放音された音声のうち、マイクで収音した音声に関しては、歌唱者の位置に同時に到達することとなり、歌唱音声を歌唱者に集中させることができる。 In the present invention, the delay amount of the delay circuit is further changed, and the shifted peak among the plurality of peaks is matched with one peak on the time axis. That is, the audio signal input to one of the speakers is delayed to virtually equalize the distance between each speaker and the microphone. Thereby, regarding the sound picked up by the microphone among the sounds emitted from the respective speakers, the position of the singer is reached at the same time, and the singing sound can be concentrated on the singer.
この発明によれば、適応フィルタのフィルタ係数の時間軸上のピーク位置を検出することで、スピーカからマイクに至る直接音の到達時間を推定するので、スピーカとマイクの距離を検出することができ、付加装置を使用せず、信号処理だけでマイクの位置をリアルタイムに検出することができる。 According to this invention, since the arrival time of the direct sound from the speaker to the microphone is estimated by detecting the peak position on the time axis of the filter coefficient of the adaptive filter, the distance between the speaker and the microphone can be detected. The position of the microphone can be detected in real time only by signal processing without using an additional device.
図面を参照して、本発明の実施形態について説明する。本発明は、マイクとスピーカを用いたシステムであれば、殆どのシステムに適用可能であるが、ここではカラオケ装置について説明する。図1は、同実施形態に係るカラオケ装置の主要部を示すブロック図である。同図に示すように、このカラオケ装置は、マイク11、A/Dコンバータ12、適応フィルタ13、分析制御部14、加算器15、D/Aコンバータ16、増幅器17、およびスピーカ18L,Rを備えている。
Embodiments of the present invention will be described with reference to the drawings. The present invention can be applied to almost any system as long as the system uses a microphone and a speaker. Here, a karaoke apparatus will be described. FIG. 1 is a block diagram showing a main part of the karaoke apparatus according to the embodiment. As shown in the figure, this karaoke apparatus includes a microphone 11, an A /
マイク11は、歌唱者の歌唱音声とともに、カラオケ装置が設置された空間の音声を収音し、収音した音声に応じた音声信号をA/Dコンバータ12に出力する。収音した音声には、スピーカ18L,Rから放音されて回り込んだ音声(回り込み音)も含まれている。マイク11は、一般的にはダイナミックマイクユニットを用いるが、コンデンサマイクユニット等、その他の形式を用いてもよい。また、マイク11は、単一指向性マイクであってもよいし、無指向性マイクであってもよい。
The microphone 11 collects the voice of the space where the karaoke apparatus is installed together with the singing voice of the singer, and outputs an audio signal corresponding to the collected voice to the A /
A/Dコンバータ12は、マイク11から出力された音声信号をデジタル信号に変換し、適応フィルタ13に出力する。
The A /
適応フィルタ13は、FIRフィルタ等のデジタルフィルタを含んでおり、A/Dコンバータ12でデジタル信号に変換されたマイク11の収音信号から前記回り込み音を除去して加算器15に出力する。
The
図2に適応フィルタ13の詳細なブロック図を示す。適応フィルタ13は、FIRフィルタ131、加算器132、および係数推定部133を備えている。係数推定部133は、音響伝達系(マイク11からスピーカ18に至る音響伝搬経路)の伝達関数を推定し、推定した伝達関数を模擬するようにFIRフィルタ131のフィルタ係数を算出して設定する。伝達関数の推定及びフィルタ係数の算出は、加算器132から出力された信号である残差信号を参照信号として用いて加算器15から入力された信号(スピーカ18へ入力する出力音声信号)に基づいて、適応アルゴリズムを用いて行われる。適応アルゴリズムは、残差信号ができるだけ小さくなるようにフィルタ係数を算出するアルゴリズムである。
FIG. 2 shows a detailed block diagram of the
これにより、FIRフィルタ131において音響伝達系の回り込み信号(スピーカ18からマイク11に至る音声信号)を模擬した信号が生成され、加算器132においてマイク11の出力信号から模擬信号を差し引くことで、回り込み信号のみを効率的に減衰させることができる。これにより、適応フィルタ13は、回り込み信号のループ現象により発生するハウリングやエコーを防止することができる。
As a result, a signal simulating the sneak signal of the acoustic transmission system (sound signal from the speaker 18 to the microphone 11) is generated in the
加算器15は、適応フィルタの出力信号である歌唱音声信号と、カラオケ装置の楽音再生部(図示せず)から出力された楽音信号(モノラル)を加算してD/Aコンバータ16に出力する。
The
D/Aコンバータ16は、加算器15の出力信号をアナログ音声信号に変換して増幅器17に出力する。
The D /
増幅器17は、所謂パワーアンプであり、D/Aコンバータ16から出力された音声信号を増幅してスピーカ18L、およびスピーカ18Rに分岐して出力する。この例において、モノラル楽音信号と歌唱音声信号は、加算器15で加算され、スピーカ18L,Rに均等に(センタ定位で)出力される。
The
スピーカ18L、およびスピーカ18Rは、それぞれ増幅器17から出力された増幅音声信号に基づいて音声を放音する。スピーカ18L、およびスピーカ18Rは、一般的にコーン型スピーカユニットを用いるが、ホーン型スピーカユニット等、その他の形式を用いてもよい。
The
分析制御部14は、図1、および図2に示すように、適応フィルタ13の係数推定部133に接続されており、FIRフィルタ131に設定するフィルタ係数を読み出す。そして、このフィルタ係数のピーク位置に基づいて、マイク11とスピーカ18L,Rとの距離を検出する。
As shown in FIGS. 1 and 2, the
ここで分析制御部14が距離を検出する手法について詳細に説明する。図3に適応フィルタ13のフィルタ係数の時間軸成分を示す。同図に示すグラフの横軸はFIRフィルタのタップ番号、すなわち時間を表し、縦軸は各タップのゲイン、すなわち回り込み音のレベルを表す。同図(A)においてはスピーカが1つ、マイクが1つの場合のフィルタ係数の例を示す。なお、適応フィルタ13は、デジタルフィルタであり、フィルタ係数は離散信号として表されるものであるが、同図においては説明を容易にするために連続信号として表す。
Here, a method in which the
上述したように、適応フィルタ13は、残差信号を参照信号として用いてスピーカに入力される出力音声信号に基づいて、音響伝達系の伝達関数を推定し、推定した伝達関数に合わせてフィルタ係数を算出する。したがって、同図に示すフィルタ係数の時間軸成分は、スピーカからマイクに至る帰還信号に対応する。スピーカからマイクに至る帰還信号のレベルが大きい場合は、これをキャンセルするためにフィルタ係数のレベルが大きくなる。
As described above, the
同図に示すように、フィルタ係数は所定レベル以上のピークを1つ有している。ピークとは所定レベル(閾値)以上の成分のうち、最もレベルが大きい係数を言う。ここで、スピーカからマイクに至る音声のうち、最もレベルの大きい信号は直接到達音であるため、フィルタ係数のピークは、スピーカからマイクに至る直接音に対応するものである。したがって、フィルタ係数のピークの時間成分は、スピーカからマイクへの直接音声の到達時間を示すこととなる。よって、適応フィルタ13に接続されている分析制御部14は、このピークの時間成分を検出し、この時間成分に音速を乗算することによってスピーカとマイクの距離を算出する。スピーカは固定されているため、この距離によりマイクの位置を検出することができる。
As shown in the figure, the filter coefficient has one peak of a predetermined level or higher. The peak is a coefficient having the largest level among components of a predetermined level (threshold value) or more. Here, of the sound from the speaker to the microphone, the signal having the highest level is the direct arrival sound, and therefore the peak of the filter coefficient corresponds to the direct sound from the speaker to the microphone. Therefore, the time component of the peak of the filter coefficient indicates the arrival time of the direct sound from the speaker to the microphone. Therefore, the
ここで、この例においては、複数のスピーカ18L,Rを備えており、実際には同図(B)に示すようにフィルタ係数は所定レベル以上のピークを2つ有している。それぞれのスピーカとマイクとの距離が異なるため、各スピーカからマイクへの直接音声の到達時間が異なり、フィルタ係数は時間軸成分の異なるピークを2つ有することとなる。時間軸成分の小さい(時間が短い)ピークはマイクとの距離が近いスピーカに対応するピークであり、時間軸成分の大きい(時間が長い)ピークはマイクとの距離が遠いスピーカに対応するピークである。分析制御部14は、マイク11がスピーカ18Lとスピーカ18Rのどちら側に位置するか(距離が近いスピーカ、遠いスピーカ)を予め判断することで上記フィルタ係数の各ピークがそれぞれどのスピーカの出力音声に対応するものであるかを判断することができる。マイク11がどちら側に位置するかを判断するには、マイクを使用する状況を想定して予め設定しておいてもよいし、ユーザがカラオケ装置の操作部等を用いて設定するようにしてもよい。
Here, in this example, a plurality of
例えばスピーカ18Lがマイク11に近い場合は、図3(B)に示す時間軸成分の小さいピークがスピーカ18Lの出力音声に対応するものである。一方で時間軸成分の大きいピークがスピーカ18Rの出力音声に対応するものである。したがって、各スピーカ18とマイク11との距離を検出することができる。各スピーカ18とマイク11との距離を検出することで、マイク11の位置を検出することができる。すなわち、スピーカの設置位置が決まっており、スピーカ18Lとスピーカ18Rの距離が判明している場合は、三角測量によってマイク11の位置を判断することができる。
For example, when the
以上のようにして検出したマイクの距離情報は、例えばカラオケ装置の音響制御部等に出力され、音響制御部にて音響効果を付与するために用いられる。音響制御部は、スピーカ18とマイク11の距離情報に基づいて、例えばスピーカ18の音量等をコントロールし、歌唱者(マイク)の位置で最適な音響効果が付与されるようにする。また、歌唱者の位置にスポットライトを当てる等、その他の効果を付与するために用いてもよい。 The distance information of the microphone detected as described above is output to, for example, an acoustic control unit of the karaoke apparatus, and is used for providing an acoustic effect by the acoustic control unit. The sound control unit controls, for example, the volume of the speaker 18 based on the distance information between the speaker 18 and the microphone 11 so that an optimal sound effect is applied at the position of the singer (microphone). Moreover, you may use in order to provide other effects, such as shining a spotlight on the position of a singer.
また、左右スピーカからの回り込み音によるピークの特定を容易にするために、本発明においては以下のような変形例が可能である。図4は、変形例に係るカラオケ装置の主要部を示すブロック図である。なお、図1に示したカラオケ装置の主要部のブロック図と共通する構成部分については同一の符号を付し、その説明を省略する。 Further, in order to easily specify the peak due to the wraparound sound from the left and right speakers, the following modifications are possible in the present invention. FIG. 4 is a block diagram showing a main part of a karaoke apparatus according to a modification. In addition, about the component which is common in the block diagram of the principal part of the karaoke apparatus shown in FIG. 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted.
このカラオケ装置は、マイク11、A/Dコンバータ12、適応フィルタ13、分析制御部14、加算器21L、R、ミキサ22、ディレイ23、D/Aコンバータ16、増幅器17、およびスピーカ18L,Rを備えている。
This karaoke apparatus includes a microphone 11, an A /
このカラオケ装置において、適応フィルタ13は、加算器21L,R、およびミキサ22に接続されている。また、加算器21Lはディレイ23に接続され、D/Aコンバータ16は加算器21R、およびディレイ23に接続されている。また、分析制御部14は、適応フィルタ13、およびディレイ23に接続されている。
In this karaoke apparatus, the
適応フィルタ13の出力信号は加算器21L,Rに入力される。加算器21L,Rは、それぞれ適応フィルタ13の出力信号(歌唱音声信号)と、カラオケ装置の楽音再生部(図示せず)から出力されたステレオ楽音信号(Lチャンネル、Rチャンネル)を加算する。加算器21Rの出力信号はD/Aコンバータ16に入力され、加算器21Lの出力信号はディレイ23に入力される。また、加算器21L,Rの出力信号は、それぞれミキサ22に分岐入力される。ミキサ22は、これらの信号をミキシングし、適応フィルタ13にモノラル信号として出力する。適応フィルタ13は、このモノラル信号に基づいて、上述した残差信号を参照信号としてフィルタ係数を更新する。
The output signal of the
ディレイ23は、加算器21Lの出力信号に対し、分析制御部14が設定した遅延時間を付与して出力する。ディレイ23の出力信号はD/Aコンバータ16に入力される。D/Aコンバータ16は、加算器21Rの出力信号、ディレイ23の出力信号をそれぞれアナログ音声信号に変換し、増幅器17に出力する。増幅器17は、それぞれのアナログ信号(Lチャンネル,Rチャンネル)を増幅し、スピーカ18L,Rに出力する。スピーカ18L、およびスピーカ18Rは、それぞれのチャンネルの信号に応じて音声を放音する。
The
分析制御部14は、ディレイ23の遅延量を変化させる。これにより、適応フィルタ13の外の系でLチャンネルの距離が擬似的に長くなる。分析制御部14は、この遅延量の変化に対応して移動するフィルタ係数のピークがスピーカ18Lの出力音声に対応すると判断できる。したがって、マイク11の位置(スピーカ18L,Rからの距離)を検出することができる。
The
分析制御部14がマイク11の位置を検出する手法について詳細に説明する。図5にこのカラオケ装置における適応フィルタ13のフィルタ係数の時間軸成分を示す。同図に示すグラフの横軸は時間を表し、縦軸はレベルを表す。同図においてはスピーカが2つ、マイクが1つであって、それぞれのスピーカとマイクとの距離が異なる場合のフィルタ係数の例を示す。なお、同図においても説明を容易にするためにフィルタ係数は連続信号として表す。
A method in which the
適応フィルタ13のフィルタ係数の時間軸成分は、上述したように、スピーカからマイクに至る帰還信号に対応する。スピーカからマイクに至る帰還信号のレベルが大きい場合は、これをキャンセルするためにフィルタ係数のレベルが大きくなる。図1に示したカラオケ装置においては、通常、図3(B)に示したように、フィルタ係数は所定レベル以上のピークを2つ有している。すなわち、図1のカラオケ装置は、スピーカが2つ、マイクが1つであって、それぞれのスピーカとマイクとの距離が異なるため、フィルタ係数は時間軸成分の異なるピークを2つ有することとなる。時間軸成分の小さい(時間が短い)ピークはマイクとの距離が近いスピーカに対応するピークであり、時間軸成分の大きい(時間が長い)ピークはマイクとの距離が遠いスピーカに対応するピークである。
As described above, the time axis component of the filter coefficient of the
図4の分析制御部14は、ディレイ23の遅延量を変化させる。すると、図5に示すように、フィルタ係数の2つのピークのうち、一方のピークの時間軸上の位置が移動することとなる。
The
すなわち、Lチャンネルの出力音声信号が遅延時間を付与されてスピーカから出力されるため、適応フィルタ13は、遅延された音声信号にあわせてフィルタ係数を適応させ、ピークの位置が移動する。この移動したピークがLチャンネルの直接音に対応するピークであると判断することができる。分析制御部14は、このピークの移動を検出することにより、そのピークがLチャンネルのスピーカから出力された音声信号に対応するものであるかを判断することができる。なお、遅延量は固定(分析制御部14はディレイ23をオン/オフするのみ)であってもよいし、変化させるようにしてもよい。また、図4ではディレイ23をLチャンネルの信号に接続する例を示したが、Rチャンネルであってもよい。
That is, since the output audio signal of the L channel is output from the speaker with a delay time, the
以上のようにして、分析制御部14は、フィルタ係数の複数のピークがそれぞれどのスピーカから出力された音声信号に対応するものであるかを判断し、各スピーカとマイクとの距離を検出することができる。各スピーカを識別してマイクとの距離を検出するので、スピーカの左右を間違えることなくマイクの位置を検出することができる。検出したマイクの位置情報は、カラオケ装置の音響制御部等に出力され、音響効果を付与するために用いられる。無論、マイクの位置情報を他の用途に適用してもよい。
As described above, the
また、他の変形例として、以下のような態様も考えられる。図6は、他の変形例に係るカラオケ装置の主要部を示すブロック図である。なお、図1に示したカラオケ装置の主要部のブロック図と共通する構成部分については同一の符号を付し、その説明を省略する。同図に示すように、このカラオケ装置は、マイク11、A/Dコンバータ12、適応フィルタ13、分析制御部14、ディレイ31L,R、加算器21L,R、D/Aコンバータ16、増幅器17、スピーカ18L,R、およびミキサ32を備えている。
Moreover, the following aspects are also considered as another modification. FIG. 6 is a block diagram showing a main part of a karaoke apparatus according to another modification. In addition, about the component which is common in the block diagram of the principal part of the karaoke apparatus shown in FIG. 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted. As shown in the figure, this karaoke apparatus includes a microphone 11, an A /
この例において、適応フィルタ13は、分析制御部14、ディレイ31L,R、およびミキサ32に接続されている。また、ディレイ31Lは、加算器21L、および分析制御部14に接続され、ディレイ31Rは、加算器21R、および分析制御部14に接続されている。ミキサ32は、カラオケ装置の楽音再生部(図示せず)から出力されたステレオ楽音信号(Lチャンネル,Rチャンネル)と、適応フィルタ13の出力信号とをミキシングして、適応フィルタ13に出力する。
In this example, the
ディレイ31L,Rは、それぞれ適応フィルタの出力信号に対し、分析制御部14が設定した遅延量を付与して出力する。ディレイ31L,Rの出力信号はそれぞれ加算器21L,Rに入力される。加算器21L,Rは、それぞれディレイ31L,Rの出力信号とLチャンネル楽音信号,Rチャンネル楽音信号をミキシングしてD/Aコンバータ16に出力する。D/Aコンバータ16は、加算器21L,Rの出力信号をそれぞれアナログ音声信号に変換し、増幅器17に出力する。増幅器17は、それぞれのアナログ信号(Lチャンネル,Rチャンネル)を増幅し、スピーカ18L,Rに出力する。スピーカ18L、およびスピーカ18Rは、それぞれのチャンネルの信号に応じて音声を放音する。
Each of the
分析制御部14は、ディレイ31L,Rの遅延量を変化させ、この遅延量の変化に応じて更新される適応フィルタ13のフィルタ係数を参照し、マイク11の位置(スピーカ18L,Rからの距離)を検出する。分析制御部14がマイク11の位置を検出する手法については図5に示したように、ディレイ31L(又はディレイ31R)の遅延時間を変化させ、時間軸において移動したフィルタ係数のピークを参照することで行う。ディレイ31Lの遅延により移動するピークがスピーカ18Lに対応するピークであり、ディレイ31Rの遅延により移動するピークがスピーカ18Rに対応するピークである。また、分析制御部14は、ディレイ31L,Rの遅延量を変化させ、フィルタ係数の複数のピークが時間軸において一致するように制御を行う。図7は、この変形例における適応フィルタのフィルタ係数の時間軸成分を示す図である。同図に示すグラフについても横軸は時間を表し、縦軸はレベルを表す。また、同図においてはスピーカが2つ、マイクが1つであって、それぞれのスピーカとマイクとの距離が異なる場合のフィルタ係数の例を示す。なお、同図においても説明を容易にするためにフィルタ係数は連続信号として表す。
The
同図(A)に示すように、この例においてもスピーカが2つ、マイクが1つであって、それぞれのスピーカとマイクとの距離が異なるため、フィルタ係数は時間軸成分の異なるピークを2つ有することとなる。時間軸成分の小さいピークはマイクとの距離が近いスピーカに対応するピークであり、時間軸成分の大きいピークはマイクとの距離が遠いスピーカに対応するピークである。分析制御部14は、ディレイ31(LまたはR)の遅延量を変化させ、移動したピークがどのスピーカから出力された音声信号に対応するものであるかを判断する。これによりマイクの位置を検出する。検出したマイクの位置情報は、カラオケ装置の音響制御部等に出力され、音響効果を付与するために用いられる。
As shown in FIG. 5A, in this example, there are two speakers and one microphone, and the distance between each speaker and the microphone is different. Therefore, the filter coefficient has two peaks with different time axis components. Will have one. A peak with a small time axis component is a peak corresponding to a speaker with a short distance from the microphone, and a peak with a large time axis component is a peak corresponding to a speaker with a long distance from the microphone. The
この例において分析制御部14は、さらにディレイ31(LまたはR)の遅延量を変化させ、移動したピークを時間軸上で他方のピークに一致させる。すなわち、いずれか一方のスピーカに入力される音声信号を遅延させ、仮想的に、それぞれのスピーカとマイクとの距離を等しくする。これにより、それぞれのスピーカから放音された音声のうち、マイクで収音した音声の成分(拡声音)に関しては、歌唱者の位置に同時に到達することとなる。
In this example, the
このように、LチャンネルまたはRチャンネルの信号(拡声音)が遅延され、マイク11に同時に到達するので、歌唱者の位置でマイク音声の音像が定位し、歌唱音声を歌唱者に集中させることができる。さらに、この例によれば、カラオケ楽音信号については遅延しない(ディレイ31にはマイクで収音した信号のみ入力される)ため、上述の図4に示した例に比較してカラオケ楽音の音像定位感を崩しにくく、さらに音質の向上が期待できる。 In this way, since the L channel or R channel signal (loud sound) is delayed and reaches the microphone 11 at the same time, the sound image of the microphone sound is localized at the position of the singer, and the singing sound can be concentrated on the singer. it can. Further, according to this example, the karaoke music sound signal is not delayed (only the signal picked up by the microphone is input to the delay 31), so that the sound image localization of the karaoke music sound is compared with the example shown in FIG. It is difficult to destroy the feeling, and further improvement in sound quality can be expected.
なお、この変形例においても、マイクの位置情報はカラオケ装置の音響制御部に出力して、音響制御部において音響効果を付与するために用いてもよいし、他の用途に適用してもよい。 In this modification as well, the microphone position information may be output to the acoustic control unit of the karaoke apparatus and used to impart an acoustic effect in the acoustic control unit, or may be applied to other uses. .
なお、上記例においては、カラオケ装置について説明したが、本発明の適用例はこれに限らず、PAシステム(拡声装置)に用いることも可能である。拡声装置に用いる場合、図1においては加算器15を省略し、楽音信号を入力しない構成とする。この場合、本発明の構成要件である出力音声信号生成部は、例えば増幅器に該当する。
In the above example, the karaoke apparatus has been described. However, the application example of the present invention is not limited to this, and can be used in a PA system (speaking apparatus). When used in a loudspeaker, the
また、本発明のオーディオシステムは、上記の様にカラオケ装置(拡声装置)に適用する場合に限るものではない。例えば図8に示すように、音声入出力装置(所謂、通信会議装置)に適用することもできる。図8は、音声入出力装置の構成を示すブロック図である。なお、図1に示したカラオケ装置の主要部のブロック図と共通する構成部分については同一の符号を付し、その説明を省略する。同図に示すように、この音声入出力装置は、マイク11、A/Dコンバータ12、適応フィルタ13A、適応フィルタ13B、分析制御部14、D/Aコンバータ16、増幅器17、スピーカ18L,R、および入出力インタフェース51を備えている。
In addition, the audio system of the present invention is not limited to the case where it is applied to a karaoke apparatus (speaking apparatus) as described above. For example, as shown in FIG. 8, the present invention can be applied to a voice input / output device (so-called communication conference device). FIG. 8 is a block diagram showing the configuration of the voice input / output device. In addition, about the component which is common in the block diagram of the principal part of the karaoke apparatus shown in FIG. 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted. As shown in the figure, the voice input / output device includes a microphone 11, an A /
この例において、適応フィルタ13Aおよび適応フィルタ13Bは、分析制御部14と入出力インタフェース51に接続されている。また、入出力インタフェース51はD/Aコンバータ16、および他の音声入出力装置等(図示せず)に接続されている。
In this example, the
入出力インタフェース51は、ネットワーク等を介して接続される他の音声入出力装置から音声信号(発話信号)を受信する。この受信信号は、D/Aコンバータ16、増幅器17を介してスピーカ18から音声として発せられる。また、入出力インタフェース51は、マイク11で収音し、A/Dコンバータ12、および適応フィルタ13A,Bを介して入力された音声信号をそれぞれ、他の音声入出力装置に出力する。
The input /
この例において、適応フィルタ13A、および適応フィルタ13Bは、入出力インタフェースが受信した複数の発話信号(図8における受信信号A、B)をそれぞれ入力し、マイク11で収音した音声から発話信号の帰還成分をキャンセルする。すなわち、この例において、適応フィルタ13はスピーカ18からマイク11に帰還する音声の成分(エコー)をキャンセルする。各スピーカ18L,Rにはそれぞれ異なる発話信号(受信信号A、B)が入力され、各スピーカからは異なる音声が発せられる。適応フィルタ13A、および適応フィルタ13Bは、それぞれの発話信号に係る帰還成分をキャンセルする。
In this example, the
分析制御部14は、適応フィルタ13A、適応フィルタ13Bのフィルタ係数をそれぞれ参照し、上述の様にスピーカ18からマイク11に至る直接音の到達時間を検出する。この例においては、各スピーカから発せられる音声が異なる(各スピーカに対応する適応フィルタが1対1に決まっている)ため、分析制御部14においてそれぞれのスピーカとマイクとの距離を算出することができる。したがって、この音声入出力装置においては音声信号に遅延時間を付与しなくとも詳細にマイクの位置を検出(2次元的に検出)することができる。
The
なお、この例においてもマイクの位置情報は、音声入出力装置の音響制御部に出力し、音響制御部において音響効果を付与するために用いてもよいし、他の音声入出力装置に出力する等、どの様な用途に適用してもよいものである。 In this example as well, the position information of the microphone is output to the sound control unit of the sound input / output device, and may be used for providing the sound effect in the sound control unit, or is output to another sound input / output device. The present invention may be applied to any use.
11−マイク
12−A/Dコンバータ
13−適応フィルタ
14−分析制御部
15−加算器
16−D/Aコンバータ
17−増幅器
18−スピーカ
11-Microphone 12-A / D converter 13-Adaptive filter 14-Analysis control unit 15-Adder 16-D / A converter 17-Amplifier 18-Speaker
Claims (5)
出力音声信号を音声として放音するスピーカと、
前記スピーカから前記マイクに至る音声伝搬経路を模したフィルタ係数を算出する係数推定部、前記フィルタ係数が設定され、前記出力音声信号をフィルタリングして前記音声伝搬経路を帰還した帰還音声信号の模擬信号を出力するフィルタ、および、前記収音信号から前記模擬信号を減算することにより収音信号中の帰還音声信号成分を除去した残差信号を出力する減算部、を備えた適応フィルタと、
前記残差信号を含む出力音声信号を生成する出力音声信号生成部と、
前記フィルタ係数の時間軸におけるピーク位置に基づいて前記スピーカと前記マイクとの距離を推定するマイク位置推定手段と、
を備えたオーディオシステム。 A microphone that picks up sound and outputs a picked up signal;
A speaker that emits the output audio signal as audio;
A coefficient estimator that calculates a filter coefficient that imitates a sound propagation path from the speaker to the microphone, a simulated signal of a feedback sound signal in which the filter coefficient is set, the output sound signal is filtered and the sound propagation path is fed back An adaptive filter comprising: a filter that outputs a residual signal obtained by subtracting the simulated signal from the collected sound signal and removing a feedback audio signal component in the collected sound signal;
An output audio signal generation unit that generates an output audio signal including the residual signal;
Microphone position estimation means for estimating a distance between the speaker and the microphone based on a peak position on the time axis of the filter coefficient;
Audio system with
前記マイク位置推定手段は、前記フィルタ係数から複数のピークを検出し、各ピーク位置に基づいて各スピーカと前記マイクとの距離を推定する請求項1に記載のオーディオシステム。 A plurality of the speakers;
The audio system according to claim 1, wherein the microphone position estimation unit detects a plurality of peaks from the filter coefficient and estimates a distance between each speaker and the microphone based on each peak position.
前記マイク位置推定手段は、前記遅延部の遅延時間を変化させるとともに、この遅延時間の変化によるフィルタ係数のピークの移動を検出することにより、前記特定のスピーカに対応するピークを割り出す請求項2に記載のオーディオシステム。 An output audio signal delay unit that delays an output audio signal input to a specific speaker;
3. The microphone position estimating means detects a peak corresponding to the specific speaker by changing a delay time of the delay unit and detecting a shift of a peak of a filter coefficient due to the change of the delay time. The audio system described.
前記残差信号を遅延させて各出力音声信号生成部に入力する残差信号遅延部を各出力音声信号生成部毎に独立してさらに備え、
前記マイク位置推定手段は、前記残差信号遅延部の遅延時間を変化させるとともに、この遅延時間の変化によるフィルタ係数のピークの移動を検出することにより、前記各スピーカに対応するピークを割り出す請求項2に記載のオーディオシステム。 The output audio signal generator is provided independently for each of the plurality of speakers, and
A residual signal delay unit that delays the residual signal and inputs it to each output audio signal generation unit is further provided independently for each output audio signal generation unit,
The microphone position estimation means determines a peak corresponding to each speaker by changing a delay time of the residual signal delay unit and detecting a shift of a peak of a filter coefficient due to the change of the delay time. 2. The audio system according to 2.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005368053A JP4835151B2 (en) | 2005-12-21 | 2005-12-21 | Audio system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005368053A JP4835151B2 (en) | 2005-12-21 | 2005-12-21 | Audio system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007174190A true JP2007174190A (en) | 2007-07-05 |
JP4835151B2 JP4835151B2 (en) | 2011-12-14 |
Family
ID=38300180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005368053A Expired - Fee Related JP4835151B2 (en) | 2005-12-21 | 2005-12-21 | Audio system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4835151B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009031595A1 (en) * | 2007-09-04 | 2009-03-12 | Yamaha Corporation | Sound collection device |
WO2009037985A1 (en) * | 2007-09-21 | 2009-03-26 | Yamaha Corporation | Sound emission/collection device |
JP2009122596A (en) * | 2007-11-19 | 2009-06-04 | Nec Corp | Noise canceling device, noise canceling method and noise canceling program |
JP2009147625A (en) * | 2007-12-13 | 2009-07-02 | Yamaha Corp | Echo canceller, karaoke device, echo canceling method and program |
JP2015507400A (en) * | 2011-12-16 | 2015-03-05 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Optimize audio processing capabilities by dynamically compensating for the variable distance between speakers and microphones in mobile devices |
US9654609B2 (en) | 2011-12-16 | 2017-05-16 | Qualcomm Incorporated | Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device |
CN108028980A (en) * | 2015-09-30 | 2018-05-11 | 索尼公司 | Signal processing apparatus, signal processing method and program |
JP2018170545A (en) * | 2017-03-29 | 2018-11-01 | オンキヨー株式会社 | Signal analyzer, signal analytic program, program storage medium and signal analysis method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01251900A (en) * | 1988-03-31 | 1989-10-06 | Toshiba Corp | Acoustic system |
JPH0675585A (en) * | 1992-08-27 | 1994-03-18 | Kenwood Corp | 'karaoke' device |
JPH0759200A (en) * | 1993-08-20 | 1995-03-03 | Mitsubishi Electric Corp | Acoustic reproduction device |
JPH10111691A (en) * | 1996-10-03 | 1998-04-28 | Yamaha Corp | Public-address system |
JPH10161667A (en) * | 1996-12-02 | 1998-06-19 | Alpine Electron Inc | Audio device |
JP2003174699A (en) * | 2001-09-27 | 2003-06-20 | Nissan Motor Co Ltd | Voice input and output device |
-
2005
- 2005-12-21 JP JP2005368053A patent/JP4835151B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01251900A (en) * | 1988-03-31 | 1989-10-06 | Toshiba Corp | Acoustic system |
JPH0675585A (en) * | 1992-08-27 | 1994-03-18 | Kenwood Corp | 'karaoke' device |
JPH0759200A (en) * | 1993-08-20 | 1995-03-03 | Mitsubishi Electric Corp | Acoustic reproduction device |
JPH10111691A (en) * | 1996-10-03 | 1998-04-28 | Yamaha Corp | Public-address system |
JPH10161667A (en) * | 1996-12-02 | 1998-06-19 | Alpine Electron Inc | Audio device |
JP2003174699A (en) * | 2001-09-27 | 2003-06-20 | Nissan Motor Co Ltd | Voice input and output device |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009031595A1 (en) * | 2007-09-04 | 2009-03-12 | Yamaha Corporation | Sound collection device |
WO2009037985A1 (en) * | 2007-09-21 | 2009-03-26 | Yamaha Corporation | Sound emission/collection device |
CN101803402B (en) * | 2007-09-21 | 2012-12-12 | 雅马哈株式会社 | Sound emission/collection device |
US8559647B2 (en) | 2007-09-21 | 2013-10-15 | Yamaha Corporation | Sound emitting and collecting apparatus |
JP2009122596A (en) * | 2007-11-19 | 2009-06-04 | Nec Corp | Noise canceling device, noise canceling method and noise canceling program |
JP2009147625A (en) * | 2007-12-13 | 2009-07-02 | Yamaha Corp | Echo canceller, karaoke device, echo canceling method and program |
JP2015507400A (en) * | 2011-12-16 | 2015-03-05 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Optimize audio processing capabilities by dynamically compensating for the variable distance between speakers and microphones in mobile devices |
US9232071B2 (en) | 2011-12-16 | 2016-01-05 | Qualcomm Incorporated | Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in a mobile device |
US9654609B2 (en) | 2011-12-16 | 2017-05-16 | Qualcomm Incorporated | Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device |
CN108028980A (en) * | 2015-09-30 | 2018-05-11 | 索尼公司 | Signal processing apparatus, signal processing method and program |
CN108028980B (en) * | 2015-09-30 | 2021-05-04 | 索尼公司 | Signal processing apparatus, signal processing method, and computer-readable storage medium |
JP2018170545A (en) * | 2017-03-29 | 2018-11-01 | オンキヨー株式会社 | Signal analyzer, signal analytic program, program storage medium and signal analysis method |
Also Published As
Publication number | Publication date |
---|---|
JP4835151B2 (en) | 2011-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4835151B2 (en) | Audio system | |
CN106664473B (en) | Information processing apparatus, information processing method, and program | |
US7889872B2 (en) | Device and method for integrating sound effect processing and active noise control | |
JP5654513B2 (en) | Sound identification method and apparatus | |
US9544698B2 (en) | Signal enhancement using wireless streaming | |
JP4946090B2 (en) | Integrated sound collection and emission device | |
KR101877323B1 (en) | Device and method for spatially selective audio playback | |
JP2016218456A (en) | Noise reducing sound reproduction | |
JP6377249B2 (en) | Apparatus and method for enhancing an audio signal and sound enhancement system | |
JP2008122729A (en) | Noise reducing device, noise reducing method, noise reducing program, and noise reducing audio outputting device | |
JP4215015B2 (en) | Howling canceller and loudspeaker equipped with the same | |
WO2005125272A1 (en) | Howling suppression device, program, integrated circuit, and howling suppression method | |
WO2018010375A1 (en) | Method and device for realising karaoke function through earphone, and earphone | |
JP5259622B2 (en) | Sound collection device, sound collection method, sound collection program, and integrated circuit | |
EP1932144A1 (en) | A system for providing a reduction of audiable noise perception for a human user | |
JP7352291B2 (en) | sound equipment | |
JP2010050739A (en) | Noise-canceling system | |
JP5811993B2 (en) | Headphones, headphone noise reduction method, noise reduction processing program | |
JP6631010B2 (en) | Microphone selection device, microphone system, and microphone selection method | |
JP4428257B2 (en) | Adaptive sound field support device | |
US10643597B2 (en) | Method and device for generating and providing an audio signal for enhancing a hearing impression at live events | |
JP2001005463A (en) | Acoustic system | |
JP2006261808A (en) | Adaptive sound field support apparatus | |
JP2008048324A (en) | Automatic panning adjusting apparatus and method | |
JP5101351B2 (en) | Sound field space control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110830 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110912 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |