JP5082878B2 - Audio conferencing equipment - Google Patents
Audio conferencing equipment Download PDFInfo
- Publication number
- JP5082878B2 JP5082878B2 JP2008010131A JP2008010131A JP5082878B2 JP 5082878 B2 JP5082878 B2 JP 5082878B2 JP 2008010131 A JP2008010131 A JP 2008010131A JP 2008010131 A JP2008010131 A JP 2008010131A JP 5082878 B2 JP5082878 B2 JP 5082878B2
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- microphones
- speaker
- voice
- loudspeaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephone Set Structure (AREA)
- Telephone Function (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、通信手段を用いて遠隔地同士の音声会議を可能とする音声会議装置に関するものである。 The present invention relates to an audio conference apparatus that enables an audio conference between remote locations using communication means.
近年、通信手段を用いて遠隔地同士の音声会議を可能とする音声会議装置が普及しつつある。このような音声会議装置は、それぞれの設置場所において複数の人がいても使用できるよう設計されていることが望ましい。代表的な例としては、可聴音を電気信号に変換する複数のマイクロホン装置と、電気信号を可聴音に変換するラウドスピーカと、それらマイクロホン装置とラウドスピーカとを電話回線に電気的に接続する音声通信網とからなり、マイクロホン装置は少なくとも一方向から放散する音に対し他の方向からのそれよりも高感度であるような指向性ポーラー感度特性を有し、さらにそのポーラー感度特性は、主ローブ、サイドローブ、及びローブのペア間にあるヌルを有し、ラウドスピーカは、主ローブと隣接するサイドローブの間にある上記ポーラー感度特性のヌルの位置に配置されたテレカンファレンス装置がある（例えば特許文献１参照）。 In recent years, a voice conference apparatus that enables a voice conference between remote locations using a communication means is becoming widespread. It is desirable that such an audio conference apparatus is designed so that it can be used even if there are a plurality of people at each installation location. As a typical example, a plurality of microphone devices that convert audible sound into electrical signals, a loudspeaker that converts electrical signals into audible sound, and audio that electrically connects the microphone device and the loudspeaker to a telephone line. The microphone device has a directional polar sensitivity characteristic that is more sensitive to sound radiating from at least one direction than that from the other direction, and the polar sensitivity characteristic is the main lobe. , Side lobes, and nulls between the pair of lobes, and the loudspeaker is a teleconference device located at the null position of the polar sensitivity characteristic between the main lobe and the adjacent side lobe (e.g. Patent Document 1).
このテレカンファレンス装置が備えるラウドスピーカは主ローブと隣接サイドローブのポーラー感度パターンのヌルに設置されおり、その結果ラウドスピーカとマイクロホンの間の音響結合が実質上減少するので、全二重動作、すなわち互いに相手の音声をラウドスピーカより出力させて話を聞きながらマイクロホンを用いて発音することが可能である。さらにこのテレカンファレンス装置は、壁もしくは天井からの直接通話の反響から来る無方向音声をマイクロホンがピックアップすることにより起こる室内の残響や室内雑音を低減するための第１のエコーキャンセラや、送信チャネルと受信チャネルを電話回線に接続するハイブリッド回路からの電気的エコー（ハイブリッドエコー）を低減するための第２のエコーキャンセラを有している。これらの構成により、さらに高品質な全二重動作を可能にする。
しかしながら、テレカンファレンス装置で使用される各マイクロホンの指向性ポーラー感度特性には製造上の特性バラつきが存在し、主ローブ・サイドローブの大きさやヌルの位置がマイクロホンによって異なる。この特性バラつきを低減するためには、各マイクロホンの取り付け角度の微調整や集音感度の微調整、さらに場合によっては取り付けるマイクロホンの選別を行わなければならない。これらはテレカンファレンス装置の製造工数の増加や使用されるマイクロホンの歩留まりの低下を引き起こし、装置全体の製造コストの増加につながる。 However, the directional polar sensitivity characteristics of each microphone used in the teleconference device have manufacturing characteristic variations, and the size of the main lobe and side lobe and the position of the null differ depending on the microphone. In order to reduce this characteristic variation, it is necessary to finely adjust the mounting angle of each microphone, finely adjust the sound collection sensitivity, and in some cases select the microphone to be attached. These cause an increase in the man-hours for manufacturing the teleconference device and a decrease in the yield of the microphones used, leading to an increase in the manufacturing cost of the entire device.
また、このようなマイクロホンの指向性ポーラー感度特性は、経年変化により主ローブ・サイドローブの大きさやヌルの位置が変化する。そうするとテレカンファレンス装置の全二重動作の品質が低下する。 In addition, in the directional polar sensitivity characteristic of such a microphone, the size of the main lobe and side lobe and the position of the null change with time. This will reduce the quality of the full-duplex operation of the teleconference device.
さらに、装置を使用するユーザは通常、マイクロホンに対する正面方向、すなわちこのテレカンファレンス装置においては各マイクロホンの中心と装置の中心（つまりラウドスピーカの中心）とを結ぶ線上にマイクロホンの主ローブがあるものと考えるはずである。しかしながら、このテレカンファレンス装置の主ローブは前記線上と直交する方向にある。つまり、ユーザが自分の音声を集音してくれていると考えていたのとは別のマイクの集音感度のほうが実際には高い、ということが発生し得る。このことはユーザに違和感を与え、装置自体が自ら有している複数のマイクロホンを用いて話者選択制御を行う場合に誤動作を引き起こしてしまう要因となり得る。 Furthermore, the user who uses the device usually has the main lobe of the microphone in the front direction with respect to the microphone, that is, in the teleconference device, on the line connecting the center of each microphone and the center of the device (that is, the center of the loudspeaker). I should think about it. However, the main lobe of this teleconference device is in a direction perpendicular to the line. In other words, it may happen that the sound collection sensitivity of a microphone other than the user's thought of collecting his / her voice is actually higher. This gives a sense of incongruity to the user, and may cause a malfunction when performing speaker selection control using a plurality of microphones that the device itself has.
この主ローブの設定方向に関する問題を回避するためには、主ローブと逆方向にヌルを有するマイクロホンの主ローブを各マイクロホンの中心と装置の中心すなわちラウドスピーカの中心とを結ぶ線上に配置し、かつそのマイクロホンのヌルの方向にラウドスピーカを配置することが望ましい。しかしながら、そのような指向性ポーラー感度特性を有するマイクロホンを使用したとしても、各マイクロホンの指向性ポーラー感度特性にはやはり前述の製造上の特性バラつきが存在し、装置の製造工数の増加や使用されるマイクロホンの歩留まりの低下を引き起こし、装置全体の製造コストの増加につながる。 In order to avoid this problem regarding the setting direction of the main lobe, the main lobe of the microphone having a null in the direction opposite to the main lobe is arranged on a line connecting the center of each microphone and the center of the apparatus, that is, the center of the loudspeaker, And it is desirable to arrange a loudspeaker in the null direction of the microphone. However, even if a microphone having such a directional polar sensitivity characteristic is used, the directional polar sensitivity characteristic of each microphone still has the above-mentioned manufacturing characteristic variation, and the number of manufacturing steps of the apparatus is increased or used. Lowering the yield of microphones, leading to an increase in the manufacturing cost of the entire device.
また、上記従来の構成を有するテレカンファレンス装置は室内の残響や室内雑音を低減するための第１のエコーキャンセラを有しているが、実際にはこの他に装置筐体内での反射や振動による残響も存在する。これらの残響は、例えラウドスピーカから出力された同じ音により発生したものであってもマイクロホンへの到達時間が異なるため、第１のエコーキャンセラによる残響低減処理を困難かつ複雑なものとし、場合によっては処理が発散したり処理不能に陥ったりすることになる。 In addition, the teleconference device having the above-described conventional configuration has a first echo canceller for reducing indoor reverberation and room noise, but actually, in addition to this, it is caused by reflection or vibration in the device casing. There is also reverberation. Even if these reverberations are generated by the same sound output from the loudspeaker, the arrival time to the microphone is different, so that the reverberation reduction processing by the first echo canceller is difficult and complicated. Will diverge or become unprocessable.
また、上記従来の構成を有するテレカンファレンス装置のエコーキャンセラは、基本的にマイクロホンとラウドスピーカとの間に挿入されているものであり、ラウドスピーカでの電気信号から空気振動への変換時における音響的ひずみ（ラウドスピーカの固有振動数や周波数特性に起因する）によるエコー信号や、ラウドスピーカの振動に伴うテレカンファレンス装置の筐体振動などによるエコー信号などのいわゆる非線形エコーに対してはエコーキャンセル効果が得られにくいという課題を有していた。特に安価なラウドスピーカにおいては高周波ひずみが問題となっていた。 Moreover, the echo canceller of the teleconference device having the above-described conventional configuration is basically inserted between the microphone and the loudspeaker, and the sound at the time of conversion from the electric signal to the air vibration at the loudspeaker. Cancel effect for so-called non-linear echo such as echo signal due to mechanical distortion (due to natural frequency and frequency characteristics of loudspeaker) and echo signal due to housing vibration of teleconference device due to loudspeaker vibration Has a problem that it is difficult to obtain. Particularly in an inexpensive loudspeaker, high-frequency distortion has been a problem.
本発明は、ユーザに違和感を与えたり誤動作を引き起こしたりすること無く、各集音部の指向性ポーラー感度特性のバラつきと経年変化が低減でき、残響低減処理の負担を低減でき、高品質な全二重動作が可能となる音声会議装置を提供することを目的とする。 The present invention can reduce variations in directional polar sensitivity characteristics and secular change of each sound collection unit without causing a sense of incongruity or malfunctioning to the user, and can reduce the burden of reverberation reduction processing. An object of the present invention is to provide an audio conference apparatus capable of dual operation.
この課題を解決するため、本発明の音声会議装置は、受話音声を出力するスピーカと、送話音声およびスピーカからの音声を集音して音声信号を出力する第一のマイクロホンと前記第一のマイクロホンより前記スピーカから近い位置に設けられ送話音声およびスピーカからの音声を集音して音声信号を出力する第二のマイクロホンを有するマイクユニットと、前記マイクユニットの感度特性を形成する感度特性形成手段と、を有し、前記感度特性形成手段は、前記第一のマイクロホンからの音声信号を一定時間遅延させて出力する第一の遅延手段と、前記第二のマイクロホンからの音声信号を一定時間遅延させて出力する第二の遅延手段と、前記第一のマイクロホンからの音声信号と前記第二の遅延手段からの出力を元に前記スピーカからの音声を打ち消しあうようにすることで前記送話音声を強調して出力する第一の演算手段と、前記第二のマイクロホンからの音声信号と前記第一の遅延手段からの出力を元に前記送話音声を打ち消しあうようにすることで前記スピーカからの音声を強調して出力する第二の演算手段と、前記第二の演算手段の出力を前記第一の演算手段の出力から減算する第三の演算手段と、前記第一のマイクロホンと前記第二のマイクロホンの距離をｄ、音速をｃとした場合、前記第一の遅延手段の遅延時間τ １ は、前記第一、第二のマイクロホンを結ぶ線の延長線と、前記スピーカ中心と前記第一、第二のマイクロホンの中間点とを結ぶ延長線とのなす角度をθ １ として、τ １ ＝ｄ・ｃｏｓθ １ ／ｃとなり、前記第二の遅延手段の遅延時間τ ２ は、前記第一、第二のマイクロホンを結ぶ線の延長線と、前記第一、第二のマイクロホンの中間点と送話者とを結ぶ線とのなす角度
θ ２ として、τ ２ ＝ｄ・ｃｏｓθ ２ ／ｃとなることを特徴とする。
In order to solve this problem, an audio conference apparatus according to the present invention includes a speaker that outputs a received voice, a first microphone that collects a transmitted voice and a voice from the speaker, and outputs a voice signal, and the first microphone. A microphone unit having a second microphone that is provided nearer to the speaker than the microphone and collects the transmitted voice and the voice from the speaker and outputs a voice signal, and sensitivity characteristic formation that forms the sensitivity characteristic of the microphone unit And the sensitivity characteristic forming means delays the audio signal from the first microphone for a predetermined time and outputs the audio signal from the second microphone for a predetermined time. Second delay means for outputting after delay, audio signal from the first microphone and output from the speaker based on the output from the second delay means First transmission means that emphasizes and outputs the transmitted voice by canceling voices, and based on the audio signal from the second microphone and the output from the first delay means. Second computing means for emphasizing and outputting the sound from the speaker by canceling out the spoken voice, and third for subtracting the output of the second computing means from the output of the first computing means When the distance between the computing means and the first microphone and the second microphone is d and the speed of sound is c, the delay time τ 1 of the first delay means is the first and second microphones. Assuming that the angle formed between the extension line of the connecting line and the extension line connecting the center of the speaker and the midpoint of the first and second microphones is θ 1 , τ 1 = d · cos θ 1 / c, and the second The delay time τ 2 of the delay means is the first time The angle between the extension of the line connecting the second microphone and the line connecting the midpoint of the first and second microphones and the sender
θ 2 is characterized in that τ 2 = d · cos θ 2 / c .
この構成により、ラウドスピーカとの音響結合が小さくなり、かつ使用者が違和感を覚えることが無く、各集音部の感度特性のバラつきと経年変化も低減される。 With this configuration, the acoustic coupling with the loudspeaker is reduced, the user does not feel uncomfortable, and variations in sensitivity characteristics of each sound collection unit and secular change are reduced.
本発明によれば、ラウドスピーカとの音響結合が小さくなり、かつ使用者が違和感を覚えることが無く、各集音部の感度特性のバラつきと経年変化も低減されるので、高品質な全二重動作が可能となる。さらには、感度特性の主ローブが使用者にとって潜在的に感じるのとは全く異なる方向に形成されることによる予期しない誤動作、例えば誤った残響処理や指向調整制御の不具合などを防ぐことが出来る。またさらには、非線形エコーについても低減することができる。 According to the present invention, the acoustic coupling with the loudspeaker is reduced, the user does not feel uncomfortable, the variation in sensitivity characteristics of each sound collecting unit and the secular change are reduced, so that all high quality Double operation is possible. Furthermore, unexpected malfunctions caused by the main lobe of the sensitivity characteristic being formed in a direction completely different from what is potentially felt by the user, for example, erroneous reverberation processing and direction adjustment control problems can be prevented. Furthermore, it is possible to reduce the non-linear echo.
第１の発明は、送話音声信号を集音するための複数の無指向性マイクロホン装置からなるマイクユニットと、受話音声信号を拡声するためのラウドスピーカと、送話音声信号および受話信号を送受信するための通信手段とを有し、さらにマイクユニットの音響的中心における収音方向を角度とし感度の大きさを半径方向としてマイクユニットの感度特性を表現する場合に、マイクユニットの音響的中心とラウドスピーカの音響的中心とを結ぶ放射線と直交しかつマイクユニットの音響的中心を通過する直交線を境界として、境界よりもラウドスピーカ側に形成される感度特性の面積が他方より小さくなるようマイクユニットの感度特性を形成する感度特性形成手段と、を設けた。 A first invention is a microphone unit composed of a plurality of omnidirectional microphone devices for collecting transmission voice signals, a loudspeaker for amplifying reception voice signals, and transmission / reception of transmission voice signals and reception signals. Communication means, and when the sensitivity characteristic of the microphone unit is expressed with the sound collection direction at the acoustic center of the microphone unit as an angle and the magnitude of sensitivity as a radial direction, The microphone is such that the area of the sensitivity characteristic formed on the loudspeaker side is smaller than the other, with an orthogonal line orthogonal to the radiation connecting the acoustic center of the loudspeaker and passing through the acoustic center of the microphone unit as the boundary. And sensitivity characteristic forming means for forming the sensitivity characteristic of the unit.
これにより、マイクユニットとラウドスピーカとの音響結合が小さくなり、かつ使用者が違和感を覚えることが無く、各集音部の感度特性のバラつきと経年変化も低減されるので、高品質な全二重動作が可能となる。さらには、感度特性の主ローブが使用者にとって潜在的に感じるのとは全く異なる方向に形成されることによる予期しない誤動作、例えば誤った残響処理や指向調整制御の不具合などを低減することが出来る。またさらには、非線形エコーについても低減することができる。 As a result, the acoustic coupling between the microphone unit and the loudspeaker is reduced, the user does not feel uncomfortable, the variation in sensitivity characteristics of each sound collection unit and the secular change are reduced. Double operation is possible. Furthermore, it is possible to reduce unexpected malfunctions caused by the main lobe of the sensitivity characteristic being formed in a direction completely different from what is potentially felt by the user, for example, erroneous reverberation processing or malfunction of the directivity adjustment control. . Furthermore, it is possible to reduce the non-linear echo.
第２の発明は、第１の発明において、複数のマイクロホンのうち少なくとも一つは他よりラウドスピーカに近い位置に配置した構成とした。 According to a second invention, in the first invention, at least one of the plurality of microphones is arranged closer to the loudspeaker than the other microphones.
これにより、マイクユニットの音響的中心とラウドスピーカの音響的中心とを結ぶ放射線と直交する線を境界として、その境界よりもラウドスピーカ側に形成される感度特性の面積が他方より小さくなるので、マイクユニットとラウドスピーカとの音響結合を小さくできる。 Thereby, since the area perpendicular to the radiation connecting the acoustic center of the microphone unit and the acoustic center of the loudspeaker is a boundary, the area of the sensitivity characteristic formed on the loudspeaker side is smaller than the other, The acoustic coupling between the microphone unit and the loudspeaker can be reduced.
第３の発明は、第２の発明において、複数のマイクロホンの集音口を有する面と複数のマイクロホンを保護するためのマイクユニット保護部材上面との距離は、マイクロホンのそれ以外の面と保護部材との距離よりも小さくなる構成とした。 According to a third invention, in the second invention, the distance between the surface having the sound collection ports of the plurality of microphones and the upper surface of the microphone unit protection member for protecting the plurality of microphones is the same as the distance between the other surface of the microphone and the protection member. It was set as the structure smaller than the distance.
これにより、マイクユニットはラウドスピーカからの一次粗密波を主に集音することができ、マイクユニット内での反射音が拾いにくくなるので、残響低減処理の負担が低減され、さらに高品質な全二重動作が可能となる。 As a result, the microphone unit can mainly collect the primary dense wave from the loudspeaker, and it becomes difficult to pick up the reflected sound in the microphone unit. Dual operation is possible.
第４の発明は、第２の発明において、マイクユニットは２つの無指向性マイクロホン装置がマイクユニットの音響的中心とラウドスピーカの音響的中心とを結ぶ放射線上に並べて配置された構成とした。 In a fourth aspect based on the second aspect, the microphone unit is configured such that two omnidirectional microphone devices are arranged side by side on the radiation connecting the acoustic center of the microphone unit and the acoustic center of the loudspeaker.
これにより、最小個数の無指向性マイクロホンにてマイクユニットを構成可能であり、従って安価な装置コストで高品質な全二重動作が可能となる。 As a result, the microphone unit can be configured with the minimum number of omnidirectional microphones, and therefore high-quality full-duplex operation can be performed at a low device cost.
第５の発明は、第４の発明において、２つの無指向性マイクロホン装置の音響的中心間の距離ｄは、サンプリング周波数をＦｓ、音速をｃ、最高処理可能周波数をｆ、その波長をλとした場合に、ｄ＝ｃ／２Ｆｓ＝ｃ／４ｆ＝（１／４）λとなるように構成した。 According to a fifth aspect of the present invention, in the fourth aspect, the distance d between the acoustic centers of the two omnidirectional microphone devices includes a sampling frequency Fs, a sound velocity c, a maximum processable frequency f, and a wavelength λ. In this case, d = c / 2Fs = c / 4f = (1/4) λ.
これにより、音声通話として十分な音質感が得られ、かつ残響低減処理の負担や誤動作が軽減されるので、高品質な全二重動作が可能となる。さらには、特に高周波ひずみに対する非線形エコーの低減効果が増す。 As a result, a sound quality sufficient for a voice call can be obtained, and the burden and malfunction of reverberation reduction processing can be reduced, so that high-quality full-duplex operation is possible. Furthermore, the effect of reducing non-linear echo particularly with respect to high-frequency distortion is increased.
第６の発明は、第５の発明において、マイクユニットの２つの無指向性マイクロホン装置の音響的中心間の距離ｄを、２つの無指向性マイクロホン装置の延長線と、スピーカの音響的中心とマイクロホン装置とを結ぶ線が交差する角度をθとして、ｄ’＝ｄ／ｃｏｓθへと補正するように構成した。 According to a sixth invention, in the fifth invention, the distance d between the acoustic centers of the two omnidirectional microphone devices of the microphone unit is defined as an extension line of the two omnidirectional microphone devices and an acoustic center of the speaker. The angle at which the line connecting the microphone device intersects is assumed to be θ, and d ′ = d / cos θ is corrected.
これにより、２つの無指向性マイクロホン装置の延長線がスピーカの音響的中心を通らない場合においても、スピーカの音響的中心から見た２つの無指向性マイクロホン装置の間隔が、第５の発明の条件を満たすので、十分な指向特性を得ることが可能となる。 Thus, even when the extension line of the two omnidirectional microphone devices does not pass through the acoustic center of the speaker, the distance between the two omnidirectional microphone devices viewed from the acoustic center of the speaker is the same as that of the fifth invention. Since the condition is satisfied, sufficient directivity can be obtained.
第７の発明は、第５の発明において、マイクユニットの２つの無指向性マイクロホン装置の音響的中心間の距離ｄを、電気雑音や量子化雑音に対する音響信号のＳＮ比が確保される距離ｄ'＞ｄへと補正するように構成した。 According to a seventh aspect, in the fifth aspect, the distance d between the acoustic centers of the two omnidirectional microphone devices of the microphone unit is the distance d at which the S / N ratio of the acoustic signal with respect to electrical noise or quantization noise is ensured. It was configured to correct to '> d.
これにより、固定小数点演算による量子化雑音や電気基板の雑音など、雑音の影響が無視できない条件において、可能な範囲で十分な指向特性を得る事が出来る。 As a result, sufficient directivity characteristics can be obtained as far as possible under conditions where the influence of noise cannot be ignored, such as quantization noise due to fixed-point arithmetic and noise on the electric board.
第８の発明は、第７の発明において、マイクユニットの２つの無指向性マイクロホン装置の音響的中心間の距離ｄを、電気雑音に対する音響信号のＳＮ比が３５ｄＢ以上になる距離ｄ'＞ｄへと補正するように構成した。 In an eighth aspect based on the seventh aspect, the distance d between the acoustic centers of the two omnidirectional microphone devices of the microphone unit is defined as the distance d ′> d at which the S / N ratio of the acoustic signal to the electrical noise is 35 dB or more. It was configured to correct.
これにより、一般的な１６ビット固定小数点演算による量子化雑音の下限値である３５ｄＢよりも音響信号のＳＮ比が上回るため、１６ビット固定小数点演算における最大限の指向特性を得る事が可能となる。 As a result, the SN ratio of the acoustic signal is higher than 35 dB, which is the lower limit value of quantization noise by a general 16-bit fixed-point operation, so that it is possible to obtain the maximum directivity characteristics in the 16-bit fixed-point operation. .
第９の発明は、第４の発明において、感度特性形成手段は、２つの無指向性マイクロホンのうちラウドスピーカに近い側にある無指向性マイクロホンからの入力を一定時間遅延させて出力する第一の遅延手段と、２つの無指向性マイクロホンのうちラウドスピーカから遠い側にある無指向性マイクロホンからの入力を一定時間遅延させて出力する第二の遅延手段と、ラウドスピーカから遠い側にある無指向性マイクロホンからの入力に対し第一の遅延手段の出力を減算する第一の演算手段と、ラウドスピーカに近い側にある無指向性マイクロホンからの入力に対し第二の遅延手段の出力を減算する第二の演算手段と、第二の演算手段の出力を入力し適応学習を行う適応フィルタ手段と、第一の遅延手段の出力から適応フィルタ手段の出力を減算する第三の演算手段と、を有する構成とした。 In a ninth aspect based on the fourth aspect, the sensitivity characteristic forming means delays the input from the omnidirectional microphone on the side closer to the loudspeaker out of the two omnidirectional microphones and outputs the delayed first time. Of the two omnidirectional microphones, second delay means for delaying the input from the omnidirectional microphone on the side far from the loudspeaker for a fixed time, and output on the side farther from the loudspeaker. The first computing means for subtracting the output of the first delay means from the input from the directional microphone and the output of the second delay means from the input from the omnidirectional microphone on the side close to the loudspeaker The second computing means, the adaptive filter means for performing adaptive learning by inputting the output of the second computing means, and the output of the adaptive filter means from the output of the first delay means. A third calculating means for, and configured to have.
これにより、ラウドスピーカに近い側のマイクロホンの入力はラウドスピーカからの受話者の音声が強調され、他のマイクロホンの入力は送話者の音声が強調されるので、受話者音声信号と送話者の残響音の減算が容易となり、スピーカ部から複数のマイクロホンに入力される音声がさらに打ち消されるとともに、音声会議装置の周辺環境により発生する残響音も低減され、音声会議装置の使用者（送話者）の音声が極めて明瞭に、相手側の音声会議装置へと送出される。 As a result, the microphone input closer to the loudspeaker emphasizes the voice of the receiver from the loudspeaker, and the input of the other microphone emphasizes the voice of the sender. The reverberant sound can be easily subtracted, the sound input from the speaker unit to the plurality of microphones is further canceled, and the reverberant sound generated by the surrounding environment of the audio conference device is also reduced. The other party's voice is transmitted to the other party's voice conference apparatus very clearly.
第１０の発明は、第９の発明において、第一および第二の遅延手段の遅延時間τは、サンプリング周波数をＦｓ、最高処理可能周波数をｆとした場合に、τ＝ｄ／ｃとなるように構成した。 In a tenth aspect based on the ninth aspect, the delay time τ of the first and second delay means is τ = d / c when the sampling frequency is Fs and the maximum processable frequency is f. Configured.
これにより、送話者の音声および受話者の音声強調処理が最適となり、残響低減処理の負担がより軽減されるので、より高品質な全二重動作が可能となる。 Thereby, the voice of the sender and the voice of the receiver are optimized, and the burden of the reverberation reduction process is further reduced, so that a higher-quality full-duplex operation can be performed.
第１１の発明は、第２の発明において、マイクユニットは装置筐体上面から見てラウドスピーカの音響的中心の同心円面上に複数配置され、それらのマイクユニットの感度特性は互いに略同一であり、かつそれらのマイクユニットの音響的中心とラウドスピーカの音響的中心とを結ぶ放射線が隣接するマイクユニットの音響的中心とラウドスピーカの音響的中心とを結ぶ線となす角度は同一である構成とした。 According to an eleventh aspect, in the second aspect, a plurality of microphone units are arranged on a concentric circle at the acoustic center of the loudspeaker when viewed from the upper surface of the apparatus housing, and the sensitivity characteristics of the microphone units are substantially the same. And the angle between the radiation connecting the acoustic center of the microphone unit and the acoustic center of the loudspeaker and the line connecting the acoustic center of the adjacent microphone unit and the acoustic center of the loudspeaker is the same. did.
これにより、あらゆる方向に存在する送話者の音声の集音不均一が低減され、さらに高品質な全二重動作が可能である。 As a result, non-uniform sound collection of the voices of the speakers present in all directions is reduced, and further high-quality full-duplex operation is possible.
第１２の発明は、第１１の発明において、マイクユニットを４つ配置する構成とした。 In a twelfth aspect according to the eleventh aspect, four microphone units are arranged.
これにより、上から俯瞰すれば圧倒的に長方形または正方形が多いテーブルや部屋の各辺からの集音の均一化を最小のマイクユニット数で実現でき、安価な装置コストでさらに高品質な全二重動作が可能となる。 This makes it possible to achieve uniform sound collection from each side of a table or room, which is overwhelmingly rectangular or square when viewed from above, with a minimum number of microphone units. Double operation is possible.
第１３の発明は、第４の発明において、２つの無指向性マイクロホン装置の音響的中心間の距離ｘが、サンプリング周波数をＦｓ、音速をｃ、最高処理可能周波数をｆ、その波長をλとした場合にｘ＝ｈｃ／２Ｆｓ＝ｈｃ／４ｆ＝（１／４）ｈλ（但しｈ＜１）とするように構成した。 According to a thirteenth aspect, in the fourth aspect, the distance x between the acoustic centers of the two omnidirectional microphone devices is Fs as the sampling frequency, c as the sound speed, f as the maximum processable frequency, and λ as the wavelength. In this case, x = hc / 2Fs = hc / 4f = (1/4) hλ (where h <1).
これにより、マイクユニットに配置された２つのマイクロホンの間の距離がさらに縮まるので、それぞれのマイクロホンに異なる反射音が入力するのを低減することができ、さらに高品質な全二重動作が可能となる。さらには、特に高周波ひずみに対する非線形エコーの低減効果が増す。 As a result, the distance between the two microphones arranged in the microphone unit is further reduced, so that it is possible to reduce the input of different reflected sounds to each microphone, and a higher-quality full-duplex operation is possible. Become. Furthermore, the effect of reducing non-linear echo particularly with respect to high-frequency distortion is increased.
第１４の発明は、第９の発明において、前記マイクユニット２つの無指向性マイクロホン装置の音響的中心間の距離をｄ、音速をｃとした場合、前記第一の遅延手段の遅延時間τ1はτ1＝ｄ／ｃとなり、前記第二の遅延手段の遅延時間τ2は、２つの無指向性マイクロホン装置の延長線と、マイクロホン装置と通話者とを結ぶ線分との角度をθとして、τ2＝ｄ・ｃｏｓθ／ｃとなるように構成した。 In a fourteenth aspect based on the ninth aspect, when the distance between the acoustic centers of the two omnidirectional microphone devices of the microphone unit is d and the speed of sound is c, the delay time τ 1 of the first delay means. Τ 1 = d / c, and the delay time τ 2 of the second delay means is θ, where θ is the angle between the extension line of the two omnidirectional microphone devices and the line segment connecting the microphone device and the caller. , Τ 2 = d · cos θ / c.
これにより、通話者の２つの無指向性マイクロホン装置の延長線上に位置しないような装置構成・デザイン構成の場合でも、τ2を通話者の音声が２つの無指向性マイクロホン装置にそれぞれ到達する時間の差に一致させる事が出来るので、通話者の音声をクリアに収音する事が可能になる。 Thus, even in the case of a device configuration / design configuration that does not lie on the extension line of the caller's two omnidirectional microphone devices, τ 2 is the time for the caller's voice to reach the two omnidirectional microphone devices, respectively. Therefore, the voice of the caller can be clearly picked up.
第１５の発明は、第９の発明において、前記マイクユニット２つの無指向性マイクロホン装置の音響的中心間の距離をｄ、音速をｃとした場合、前記第一の遅延手段の遅延時間τ1は、２つの無指向性マイクロホン装置の延長線と、スピーカ中心とマイクロホン装置とを結ぶ線が交差する角度をθ1として、τ1＝ｄ・ｃｏｓθ1／ｃとなり、前記第二の遅延手段の遅延時間τ2は、２つの無指向性マイクロホン装置の延長線と、マイクロホン装置と通話者とを結ぶ線分との角度をθ2として、τ2＝ｄ・ｃｏｓθ2／ｃとなるように構成した。 According to a fifteenth aspect, in the ninth aspect, when the distance between the acoustic centers of the two omnidirectional microphone devices of the microphone unit is d and the speed of sound is c, the delay time τ 1 of the first delay means. Is the angle at which the extension line of the two omnidirectional microphone devices and the line connecting the speaker center and the microphone device intersect, θ 1 , and τ 1 = d · cos θ 1 / c. The delay time τ 2 is configured to be τ 2 = d · cos θ 2 / c, where θ 2 is the angle between the extension line of the two omnidirectional microphone devices and the line segment connecting the microphone device and the talker. did.
これにより、通話者、およびスピーカの音響的中心が、２つの無指向性マイクロホン装置の延長線上にそれぞれ位置しないような装置構成・デザイン構成の場合でも、τ1はスピーカの信号が２つの無指向性マイクロホン装置に到達する時間の差に一致し、τ2は通話者の音声が２つの無指向性マイクロホン装置に到達する時間の差に一致させる事が出来るので、スピーカより再生された音声と通話者の音声とを正確に分離する事が可能となる。 Thus, even in the case of a device configuration / design configuration in which the acoustic center of the caller and the speaker is not located on the extension lines of the two omnidirectional microphone devices, τ 1 is the two omnidirectional signals of the speaker. Τ 2 can match the difference in the time required for the caller to reach the two omnidirectional microphone devices, so that τ 2 can match the difference in the time required to reach the directional microphone device. It is possible to accurately separate the person's voice.
以下、本発明の実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（実施の形態１）
図１は、本発明の実施の形態１における音声会議装置の斜視図、図２は、本発明の実施の形態１における音声会議装置の上面図であり、図１の音声会議装置を上面から見た図である。
(Embodiment 1)
1 is a perspective view of an audio conference apparatus according to
図１、図２において、１は音声会議装置、２ａ〜２ｄは使用者の音声を集音するための集音部、３は受話音声を再生するスピーカ部、４は発信／着信や各種設定などの操作を行う操作ボタン、５は通話や設定の状態などを表示する表示装置、６または７は相手側回線と接続する通信ケーブルである。６はＥｔｈｅｒｎｅｔ（登録商標）ケーブル、７は電話線であり、６と７は通信手段に応じていずれか一方が使用される。実際には互いに離れた２つ以上の音声会議装置が通信手段を介し接続され使用される。 1 and 2, 1 is an audio conference device, 2a to 2d are sound collecting units for collecting user's audio, 3 is a speaker unit for reproducing received audio, 4 is outgoing / incoming calls, various settings, etc. Operation buttons 5 for performing the above operations are indicated by 5, a display device for displaying the state of calls and settings, and 6 or 7 is a communication cable for connecting to the partner line. 6 is an Ethernet (registered trademark) cable, 7 is a telephone line, and either 6 or 7 is used depending on the communication means. Actually, two or more audio conference apparatuses separated from each other are connected and used via communication means.
図３及び図４は、本発明の実施の形態１における２つの音声会議装置を接続した構成例を示す図であり、２つの音声会議装置１ａ、１ｂがＥｔｈｅｒｎｅｔ（登録商標）ケーブル６を使用して接続された時の様子を示している。
3 and 4 are diagrams showing a configuration example in which two audio conference apparatuses according to
図３に示す音声会議装置１ａおよび１ｂは、図１における音声会議装置１と同一のものである。音声会議装置１ａおよび１ｂはそれぞれＥｔｈｅｒｎｅｔ（登録商標）ケーブル６ａおよび６ｂによりゲートウェイ１０ａおよび１０ｂを介してインターネット１１に接続され、互いに通話出来るようになっている。音声会議装置１ａと１ｂとの間で送受信される音声の信号は、図３の場合、デジタル信号がパケット化されたデータである。
The
なお、ゲートウェイ１０ａやゲートウェイ１０ｂには他の端末装置やハブやルータなどが接続されていても構わないし、ゲートウェイ１０ａと音声会議装置１ａとの間またはゲートウェイ１０ｂと音声会議装置１ｂとの間にも他の端末装置やハブやルータなどが接続されていても構わない。
Note that another terminal device, a hub, a router, or the like may be connected to the
また、図４に示すように、音声会議装置１ａおよび１ｂがそれぞれ電話線７ａおよび７ｂにより公衆電話回線１２に接続されているものであっても良い。この場合、少なくとも電話線７ａおよび７ｂ上ではアナログ音声信号で送受信が行われる。
Further, as shown in FIG. 4, the
なお、本実施の形態における音声会議装置１ａおよび１ｂは、それぞれの集音部（図２における音声会議装置１の２ａ〜２ｄに相当）に入力される当該音声会議装置の使用者の音声については、その音声会議装置に内蔵されたスピーカ部（図２における音声会議装置１のスピーカ部３に相当）には出力しないようにしている。これは、内蔵マイクロホンに入力された当該音声会議装置の使用者の音声を当該音声会議装置のスピーカから出力するようにした場合、ハウリングを起こしやすいためである。しかしながらもしハウリングが発生しないよう装置を構成することができるのであれば、内蔵マイクロホンに入力された当該音声会議装置の使用者の音声を当該音声会議装置のスピーカから出力するようにしても良い。
Note that the
以上の図１〜図４に示す構成により、音声会議装置１ａを使用する話者と音声会議装置１ｂを使用する話者は互いに離れていながら会話を行うことができる。なお、それぞれの音声会議装置１ａおよび１ｂを使用する話者は１人に限らず、複数人であってもよい。
1 to 4, the speaker who uses the
図５は、本発明の実施の形態１における音声会議装置のハードウェアブロック図を示している。
FIG. 5 shows a hardware block diagram of the audio conference apparatus according to
図５において、４０はＤＳＰ内蔵のＣＰＵ、４１はＣＰＵ４０での各種処理を実行するためのプログラムソフトウェアを格納するプログラムメモリ、４２はプログラムメモリ４１に格納された各種プログラムをＣＰＵ４０で実行するために必要となる作業用のメインメモリである。これらにより、ＭＡＣ層レベル以上でのパケット処理や、ダイヤルトーンやメロディなどの出力処理が行われる。
In FIG. 5,
４３はＥｔｈｅｒｎｅｔ（登録商標）の物理層レベルでのプロトコル処理をおこなうためのＰＨＹチップ、４６はＥｔｈｅｒｎｅｔ（登録商標）ケーブル６を接続するための通常ＲＪ−４５と呼ばれるコネクタである。ＣＰＵ４０で処理される音声データのパケットは、ＰＨＹチップ４３、コネクタ４６およびＥｔｈｅｒｎｅｔ（登録商標）ケーブル６を介して送受信される。
また、ＣＰＵ４０にはキーボード４４、ＬＣＤ４５、コントローラ４７が接続されている。キーボード４４は操作ボタン４の内部に格納され、ＬＣＤ４５は表示部５の内部に格納される。コントローラ４７はキーボード４４の入力処理を担当している。
In addition, a
５０はエコーキャンセル処理を行うＤＳＰ、５１はＤＳＰ５０での各種処理を実行するためのプログラムソフトウェアを格納するプログラムメモリ、５２はプログラムメモリ５１に格納された各種プログラムをＤＳＰ５０で実行するために必要となる作業用のワークメモリである。
50 is a DSP that performs echo cancellation processing, 51 is a program memory that stores program software for executing various processes in the
ＤＳＰ５０にはタイミング調整用ＰＬＤ５４およびＣＯＤＥＣ部５５を介してマイクロホン／スピーカ部５６が接続されている。マイクロホン／スピーカ部５６のアナログ入出力信号はＣＯＤＥＣ部５５においてデジタル化された後、ＤＳＰ５０においてマイクロホンとラウドスピーカとの間のエコーキャンセル処理が実行される。これらの部分ブロック５８のより詳細なブロック図については後述の図６において説明する。マイクロホン／スピーカ部５６は８個のマイクロホンと１個のラウドスピーカからなる。マイクロホンは集音部２ａ〜２ｄに各２個ずつ設置され、ラウドスピーカはスピーカ部３に設置されているが、これらのより詳細な構成についても後述の図６以降において行う。
A microphone /
本実施の形態における音声会議装置１が電話線７を介して公衆電話回線１２に接続され使用される場合は、ＣＯＤＥＣ部５５に対して電話線７を接続するための公衆回線Ｉ／Ｆ部５７が図４の点線に示すようにさらに接続されるが、公衆回線Ｉ／Ｆ部５７の詳細については省略する。
When the
図６は、本発明の実施の形態１におけるＤＳＰ、タイミング調整用ＰＬＤ、ＣＯＤＥＣ部およびマイク／ラウドスピーカ部のブロック図であり、図５をより詳細に示したものである。 FIG. 6 is a block diagram of the DSP, timing adjustment PLD, CODEC unit, and microphone / loud speaker unit according to the first embodiment of the present invention, and shows FIG. 5 in more detail.
本実施の形態の場合、ＣＯＤＥＣ部５５は２つのＣＯＤＥＣ−ＩＣ５５ａおよび５５ｂからなる。ＣＯＤＥＣ−ＩＣ５５ａおよび５５ｂに対して８個のマイクロホン２１ａ〜２１ｄ、２２ａ〜２２ｄおよびラウドスピーカ３０が、図６に示すように、各マイク駆動回路６１ａ〜６１ｄ、６２ａ〜６２ｄおよびスピーカ増幅回路６３を介して接続される。マイクロホン２１ａとマイク駆動回路６１ａおよびマイクロホン２２ａとマイク駆動回路６２ａは、実際には２系統の独立した回路であるが、図６においてはマイク駆動回路６１ａと６２ａおよびそれらを介したマイクロホン２１ａおよびマイクロホン２２ａとＣＯＤＥＣ部５５との間の接続線は１つに省略されている。マイクロホン２１ｂ〜２１ｄおよび２２ｂ〜２２ｄとマイク駆動回路６１ｂ〜６１ｄおよび６２ｂ〜６２ｄとのそれぞれの関係も同様である。
In the case of the present embodiment, the
次に、本実施の形態の音声会議装置１に内蔵されるマイクロホンとラウドスピーカとの配置関係について説明する。
Next, the arrangement relationship between the microphone and the loudspeaker built in the
図７は、本発明の実施の形態１におけるラウドスピーカの説明図であり、ラウドスピーカ３０の例を示している。
FIG. 7 is an explanatory diagram of the loudspeaker according to
図８は、本発明の実施の形態１におけるマイクロホンとラウドスピーカとの配置関係を示す図であり、マイクロホン２１・２２と図７に示すラウドスピーカ３０が音声会議装置１に内蔵された場合の配置関係をその筐体上面から見た状態を示している。
FIG. 8 is a diagram showing an arrangement relationship between the microphone and the loudspeaker according to the first exemplary embodiment of the present invention. The arrangement in the case where the
図９は、本発明の実施の形態１におけるＤＳＰのマイクロホンに係る処理ブロックを示す図であり、ＤＳＰ５０内においてマイクロホン２１・２２に関わる部分の処理ブロックを示している。
FIG. 9 is a diagram showing processing blocks related to the microphone of the DSP according to the first embodiment of the present invention, and shows processing blocks of portions related to the
図１０は、本発明の実施の形態１におけるマイクロホンとラウドスピーカの配置関係を示す図であり、図８に示す音声会議装置１の集音部２０ａ〜２０ｄの一つに配置されたマイクロホン２１・２２とスピーカ部３に配置されたラウドスピーカ３０との配置関係を断面方向から示したものである。
FIG. 10 is a diagram showing the positional relationship between the microphone and the loudspeaker according to the first exemplary embodiment of the present invention. The
図８の集音部２ａ〜２ｄおよびスピーカ部３において、マイクロホン２１ａ〜２１ｄおよび２２ａ〜２２ｄとラウドスピーカ３０はそれらの位置がわかるよう描かれているが、実際にはそれぞれ集音部２およびスピーカ部３の内部に配置されているものであり、外部から直接視認することはできない。
In the
図６において、マイクロホン部２１ａ〜２１ｄ、２２ａ〜２２ｄに入射した音波は電圧に変換され、ＣＯＤＥＣ部５５によりデジタル信号化され、ＤＳＰ５０によりエコーキャンセル処理がなされ、図５のＣＰＵ４０においてパケット処理がなされ、ＰＨＹチップ４３およびコネクタ４６を介してＥｔｈｅｒｎｅｔ（登録商標）またはインターネット上にある相手側の音声会議装置（例えば図３において本会議装置を１ａとするならば、相手側の音声会議装置は１ｂ）へと送出される。
In FIG. 6, sound waves incident on the
図７（ａ）は、ラウドスピーカ３０の背面図、図７（ｂ）は、ラウドスピーカ３０の側面方向から見た断面構成図、図７（ｃ）はラウドスピーカ３０の動作を簡潔に示すための概略断面図である。
7A is a rear view of the
ラウドスピーカ３０は、詳細には図７（ａ）、（ｂ）に示すような構造を有しているが、原理的には図７（ｃ）に示すとおり、振動板であるコーン紙３１、コイル３５、磁石３７により動作の説明が可能である。すなわち、コイル３５に図５におけるスピーカ増幅回路６３からの音声の電気信号を流せば、フレミングの法則によってコイル３５につながっているコーン紙３１が前後に振動して音になる。コーン紙３１の振動方向は図７（ａ）〜（ｃ）に示すとおりである。
The
ラウドスピーカ３０から出力されるのはＥｔｈｅｒｎｅｔ（登録商標）またはインターネット上にある相手側の音声会議装置（例えば図２において本会議装置を１ａとするならば、相手側の音声会議装置は１ｂ）において集音された音声であり、図６におけるコネクタ４６およびＰＨＹチップ４３を介して受信された相手側の音声会議装置からのパケットがＣＰＵ４０においてパケット処理がなされ、ＤＳＰ５０を介してＣＯＤＥＣ部５５によりアナログ信号に変換された後、スピーカ増幅回路６３により増幅された信号が入力される。
The output from the
本実施の形態の音声会議装置１においては、以上のようなマイクロホン２１ａ〜２１ｄ・２２ａ〜２２ｄおよびラウドスピーカ３０が、図８に示す２１ａ〜２１ｄおよび２２ａ〜２２ｄのように配置される。すなわち、各マイクロホン２１ａ〜２１ｄおよび２２ａ〜２２ｄの振動板の振動方向はラウドスピーカ３０により発生する疎密波の伝播方向に対し略直交し、かつラウドスピーカ３０に対し第１のマイクロホン２１ａ〜２１ｄよりも第２のマイクロホン２２ａ〜２２ｄのほうが距離ｄだけ近くに設置されている。本実施の形態の場合、２つのマイクロホン２１ａ・２２ａ〜２１ｄ・２２ｄのそれぞれの間の距離ｄは（数１）に示すように、最高処理周波数ｆの波長の１／４とする。
In the
２つのマイクロホン２１ａ・２２ａ〜２１ｄ・２２ｄのそれぞれの間の距離ｄを、ｄ＝（１／４）λ程度に設定する事が望ましい理由を図１１により説明する。
The reason why it is desirable to set the distance d between the two
図１１の円グラフ（ａ）と（ｂ）はマイクロホン組の信号処理によって合成される、最高周波数付近の指向性を示すポーラパターンであり、死角方向の感度が最小になる事が望ましい。図１１（ｂ）の円グラフのようにマイクの間隔ｄがλの１／４倍よりも大きくなると、死角方向に空間的な折り返しが発生してしまう。一方、図１１（ａ）の円グラフのようにマイクの間隔ｄがλの１／４倍に等しいと、死角方向の感度が比較的低くなり、望ましい指向特性を得ることが出来る。逆に、マイクの間隔ｄがλの１／４倍より小さくなる場合、図１２のグラフに示すように、死角と反対側の主ローブの感度はマイクロホンの間隔ｄに比例するため、感度が低下して相対的に雑音が大きくなり、音声品質が損なわれる。以上より、これら両方が最適なマイクロホン間隔は、ｄ＝λ／４の近傍となる。 The pie charts (a) and (b) in FIG. 11 are polar patterns indicating directivity near the highest frequency, which are synthesized by signal processing of a microphone set, and it is desirable that sensitivity in the blind spot direction is minimized. As shown in the pie chart of FIG. 11B, when the microphone distance d is larger than ¼ of λ, spatial folding occurs in the blind spot direction. On the other hand, when the microphone interval d is equal to ¼ times λ as in the pie chart of FIG. 11A, the sensitivity in the blind spot direction is relatively low, and a desirable directivity can be obtained. Conversely, when the microphone distance d is smaller than ¼ of λ, the sensitivity of the main lobe opposite to the blind spot is proportional to the microphone distance d as shown in the graph of FIG. As a result, noise is relatively increased and voice quality is impaired. Accordingly, the optimum microphone interval for both of these is in the vicinity of d = λ / 4.
空気中での音速度ｃは通常３４０ｍ／秒であり、最高処理可能周波数は本実施の形態１の場合７ｋＨｚとなるが、その場合のマイク間隔ｄは約１２ｍｍとなる。 The sound speed c in the air is normally 340 m / sec, and the maximum processable frequency is 7 kHz in the case of the first embodiment, but the microphone interval d in that case is about 12 mm.
最高処理可能周波数を７ｋＨｚとする第１の理由は、ここまでの周波数の音声が処理できれば音声通話として十分な音質感が得られることにある。最高処理周波数ｆが高くすればより高音質な音声通話が可能となるように思えるが、実際には本実施の形態に示すような音声会議装置においては使用者が実感できるほどの音質感の違いが得られず、逆に、（数１）を見ればわかるように、そのためにサンプリング周波数Ｆｓも上げなければならないので、ＤＳＰ５０の演算量が増加してしまう。
The first reason for setting the maximum processable frequency to 7 kHz is that a sound quality sufficient for a voice call can be obtained if the sound having the frequency so far can be processed. Although it seems that voice communication with higher sound quality can be performed if the maximum processing frequency f is increased, the difference in sound quality that can be actually felt by the user in the audio conference apparatus as shown in the present embodiment. On the contrary, as can be seen from (Equation 1), the sampling frequency Fs must be increased for this purpose, so that the calculation amount of the
最高処理可能周波数を７ｋＨｚとする第２の理由としては、通常のＡＤコンバータのアンチエイリアスフィルタの阻止域はサンプリング周波数の０．５倍よりも低い周波数に設定されるので、一般的な１６ｋＨｚサンプリングのＡＤコンバータにおける実用的な最高周波数は７ｋＨｚ程度となる。 The second reason for setting the maximum processable frequency to 7 kHz is that the stop band of the anti-aliasing filter of a normal AD converter is set to a frequency lower than 0.5 times the sampling frequency, and therefore a general 16 kHz sampling AD is used. The practical maximum frequency in the converter is about 7 kHz.
２つのマイクロホンの距離をｄ＝（１／４）λから補正する例について、図１３を用いて説明する。２つのマイクロホンの音響的中心を結んだ線の延長上に、スピーカの音響的中心が位置しない場合、スピーカの音響的中心と２つのマイクロホンの中間位置とを結ぶ線が、２つのマイクロホンの延長線と交差する角度をθとして、間隔をｄ’＝ｄ／ｃｏｓθ へと補正する事が望ましい。これにより、スピーカの音響的中心から２つのマイクロホンに到達する音波の伝播方向における行程差が、ｄ＝（１／４）の条件を満たす事になり、感度と指向特性の点で望ましい性能を得ることが出来る。例えば、ｄ＝（１／４）λ＝１２ｍｍで、角度θが３０度の場合は、ｄ’＝１２ｍｍ／ｃｏｓ３０°＝約１４ｍｍに補正すればよい。
An example of correcting the distance between two microphones from d = (1/4) λ will be described with reference to FIG. When the acoustic center of the speaker is not located on the extension of the line connecting the acoustic centers of the two microphones, the line connecting the acoustic center of the speaker and the intermediate position of the two microphones is an extension line of the two microphones. It is desirable to correct the interval to d ′ = d / cos θ, where θ is the angle that intersects with. As a result, the stroke difference in the propagation direction of the sound wave reaching the two microphones from the acoustic center of the speaker satisfies the condition of d = (1/4), and a desirable performance is obtained in terms of sensitivity and directivity. I can do it. For example, if d = (1/4) λ = 12 mm and the angle θ is 30 degrees, d ′ = 12 mm /
２つのマイクロホンの距離ｄを補正するもう一つの例について、図１４を用いて説明する。固定小数点演算による量子化雑音や電気基板の雑音など、一定の大きさの雑音の混入が避けられない条件下で、図１４（ａ）の２つのマイクロホンの音響的中心間の距離ｄを、図１４（ｂ）のグラフに示すｄ＝（１／４）λに設定すると、上記雑音に対する音響信号のＳＮ比が不足する場合がある。そのような場合は、マイクロホンの間隔ｄをＳＮ比が確保できる距離ｄ'＝（１／４）λ＋α＞ｄへと補正する必要がある。これにより、量子化雑音や電気ノイズなどの雑音の影響が無視できない条件においても、妥当な指向性能を得る事が出来る。例えば、ｄ＝（１／４）λ＝１２ｍｍの場合、ｄ’＝約１４ｍｍに補正する。 Another example of correcting the distance d between two microphones will be described with reference to FIG. The distance d between the acoustic centers of the two microphones in FIG. 14 (a) is shown under the condition that a certain amount of noise, such as quantization noise due to fixed-point arithmetic and electric board noise, cannot be avoided. When d = (1/4) λ shown in the graph of 14 (b) is set, the SN ratio of the acoustic signal to the noise may be insufficient. In such a case, it is necessary to correct the distance d of the microphones to a distance d ′ = (1/4) λ + α> d at which an S / N ratio can be ensured. This makes it possible to obtain reasonable directivity even under conditions where the influence of noise such as quantization noise and electrical noise cannot be ignored. For example, when d = (1/4) λ = 12 mm, d ′ is corrected to about 14 mm.
上記の雑音による距離ｄの補正の具体的な例としては、図１４の（ａ）と（ｂ）のグラフに示すように、音響信号のＳＮ比が約３５ｄＢを上回るように、距離ｄを（１／４）λよりも少し大きな値に補正する場合がある。これは、一般的な１６ビット固定小数点演算による量子化雑音の下限値が３５ｄＢ前後であるので、その条件下で得られる最大限の指向特性の実現が可能となる。 As a specific example of the correction of the distance d due to the noise, as shown in the graphs of FIGS. 14A and 14B, the distance d is set so that the SN ratio of the acoustic signal exceeds about 35 dB. In some cases, the value is corrected to a value slightly larger than ¼) λ. This is because the lower limit value of the quantization noise by general 16-bit fixed point arithmetic is around 35 dB, so that it is possible to realize the maximum directivity obtained under that condition.
図８のマイクユニットすなわち集音部２ａ〜２ｄにおいては、それぞれ２つの無指向性マイクロホン装置２１ａ・２２ａ〜２１ｄ・２２ｄが集音部２ａ〜２ｄの音響的中心８２ａ〜８２ｄとラウドスピーカ３０の音響的中心８３とを結ぶ放射線８１ａ〜８１ｄ上にそれぞれ並べて配置されている。各集音部２ａ〜２ｄにおける無指向性マイクロホンの数を２とすることにより、最小個数の無指向性マイクロホンにてマイクユニットすなわち各集音部２ａ〜２ｄを構成可能であり、従って安価な装置コストで高品質な全二重動作が可能となる。
In the microphone unit of FIG. 8, that is, the
さらに、マイクユニットすなわち集音部２ａ〜２ｄは音声会議装置１の筐体上面から見てラウドスピーカ３０の音響的中心８３を中心とする同心円面８６上に複数、本実施の形態の場合は４つ配置されており、それらのマイクユニットすなわち集音部２ａ〜２ｄの感度特性８５ａ〜８５ｄは互いに略同一であり、かつそれらのマイクユニットすなわち集音部２ａ〜２ｄの音響的中心８２ａ〜８２ｄとラウドスピーカ３０の音響的中心８３とを結ぶ放射線８１ａ〜８１ｄが隣接する放射線となす角度は同一である。これにより、あらゆる方向に存在する送話者の音声の集音不均一が低減され、高品質な全二重動作が可能である。
Further, a plurality of microphone units, that is, the
それに加えマイクユニットすなわち集音部が４つ配置されているのは、テーブルや部屋を上から俯瞰すれば圧倒的に長方形または正方形が多いということによる。よってこの構成が最小のマイクユニット数でテーブルや部屋の各辺からの集音の均一化を最も期待できると言え、安価な装置コストでさらに高品質な全二重動作が可能となる。 In addition, four microphone units, that is, sound collecting units are arranged because the number of rectangles or squares is overwhelming when the table or room is viewed from above. Therefore, it can be said that this configuration can be expected most to equalize the sound collection from each side of the table or room with the minimum number of microphone units, and a higher-quality full-duplex operation is possible at a low cost.
ここで、集音部２ａ〜２ｄの各部の音響的中心における収音方向を角度とし感度の大きさを半径方向として、集音部２ａ〜２ｄの感度特性８５ａ〜８５ｄを表現する場合について考える。集音部２ａ〜２ｄの音響的中心８２ａ〜８２ｄとラウドスピーカ３０の音響的中心８３とを結ぶ各放射線８１ａ〜８１ｄのそれぞれに直交しかつ音響的中心８２ａ〜８２ｄ上を通過する直交線８４ａ〜８４ｄを境界として、それらの境界よりも各集音部２ａ〜２ｄの感度特性８５ａ〜８５ｄのラウドスピーカ３０側に形成される面積が他方より小さくなるよう、後述の感度特性形成手段により各集音部２ａ〜２ｄの２組のマイクロホン２１ａ〜２１ｄおよび２２ａ〜２２ｄを用いて感度特性８５ａ〜８５ｄが形成されている。すなわち感度特性８５ａ〜８５ｄの主ローブは、音声会議装置１の使用者が潜在的かつ無意識に考えている方向、つまり各放射線８１ａ〜８１ｄ上であってラウドスピーカ３０とは反対の方向に形成されている。
Here, a case will be considered in which the
ここで集音部２ａ〜２ｄの音響的中心は、複数の無指向性マイクロホン装置、すなわち本実施の形態１の場合は各２組のマイクロホン２１ａ〜２１ｄおよび２２ａ〜２２ｄをその振動板の振動方向から見た場合の振動板の中心といずれも等距離にある点を仮想的に設定している。また、ラウドスピーカ３０の音響的中心８３についても、ラウドスピーカ３０の振動板を振動方向から見た場合の中心を仮想的に設定している。
Here, the acoustic centers of the
重要なのは、各マイクロホン２１ａ〜２１ｄおよび２２ａ〜２２ｄの振動板の振動方向がラウドスピーカにより発生する疎密波の伝播方向に対し略直交し、ラウドスピーカ３０に対し各集音部２ａ〜２ｄにおける各第１のマイクロホン２１ａ〜２１ｄよりも各第２のマイクロホン２２ａ〜２２ｄのほうがより近くに設置されていることである。後述の感度特性形成手段は、このようなマイクロホンの配置により初めて図８に示すような各集音部の感度特性を形成することが出来る。もし各集音部に配置されるマイクロホンが３組以上である場合には、それらの少なくとも一つのマイクロホンが他よりもラウドスピーカに近い位置に配置されていれば、各集音部の音響的中心とラウドスピーカの音響的中心とを結ぶ放射線と直交する線を境界として、その境界よりもラウドスピーカ側に形成される感度特性の面積が他方より小さくなる。
What is important is that the vibration directions of the diaphragms of the
以上のような構成により、マイクユニットとラウドスピーカとの音響結合が小さくなり、使用者が違和感を覚えることが無く、各集音部２ａ〜２ｄの感度特性８５ａ〜８５ｄのバラつきと経年変化も低減されるので、高品質な全二重動作が可能となる。さらには、感度特性の主ローブが使用者にとって潜在的に感じるのとは全く異なる方向に形成されることによる予期しない誤動作、例えば誤った残響処理や指向調整制御の不具合などを防ぐことができる。
With the above configuration, the acoustic coupling between the microphone unit and the loudspeaker is reduced, the user does not feel uncomfortable, and variations in the
各集音部２ａ〜２ｄの２組のマイクロホン２１ａ〜２１ｄおよび２２ａ〜２２ｄを用いて感度特性８５ａ〜８５ｄを形成するための感度特性形成手段は、本実施の形態の音声会議装置１においては主に図９に示すＤＳＰ５０内におけるマイクロホン２１ａ〜２１ｄ（図９以降においては以下、代表して２１と表す）からの入力信号の処理回路ブロック５９である。以下、図９以降においては各集音部２ａ〜２ｄを代表して２と、各マイクロホン２１ａ〜２１ｄおよび２２ａ〜２２ｄを代表して２１および２２と、各集音部２ａ〜２ｄの音響的中心８２ａ〜８２ｄを代表して８２と、集音部２ａ〜２ｄの音響的中心８２ａ〜８２ｄとラウドスピーカ３０の音響的中心８３とを結ぶ各放射線８１ａ〜８１ｄを代表して８１と、そのそれぞれに対応する直交線８４ａ〜８４ｄを代表して８４と、各集音部２ａ〜２ｄの感度特性８５ａ〜８５ｄを代表して８５として説明する。
The sensitivity characteristic forming means for forming the
図９において、マイク駆動回路６１および６２を介して第１のマイクロホン２１および第２のマイクロホン２２からのアナログ入力信号を入力しデジタル信号化するＡ／Ｄコンバータ６０および６４はＣＯＤＥＣ部５５内にある。
In FIG. 9, A /
５９は、ＤＳＰ５０のプログラムメモリ５１に格納されたプログラムにより構成される本発明に関わる部分の処理ブロックである。それぞれのＡ／Ｄコンバータ６０および６４からの出力データからは、互いに他の出力を遅延フィルタ６５または６６を通して遅延させた信号が減算される。本実施の形態１の場合、遅延フィルタ６５および６６の遅延時間は（数２）により求められる。
すなわち１サンプリング周期１／Ｆｓであり、最高処理可能周波数ｆの波形を入力した場合は１／４波長分遅らせることが出来る。これにより、後述の送話者の音声および受話者の音声強調処理が最適となり、残響低減処理の負担がより軽減されるので、より高品質な全二重動作が可能となる。 That is, the sampling period is 1 / Fs, and when a waveform of the maximum processable frequency f is input, it can be delayed by 1/4 wavelength. Thereby, the voice of the sender and the voice enhancement of the receiver, which will be described later, are optimized, and the burden of the reverberation reduction process is further reduced, so that a higher-quality full-duplex operation can be performed.
演算器６７は、ラウドスピーカ３０に対してより近くに位置している第２のマイクロホン２２からの入力信号を処理するＡ／Ｄコンバータ６４の出力データが遅延フィルタ６６により遅延時間τだけ遅延されたデータを、第１のマイクロホン２１からの入力信号を処理するＡ／Ｄコンバータ６０の出力データより減算し出力する。第１のマイクロホン２１と第２のマイクロホン２２とは最高処理可能周波数ｆの１／４波長だけ離れているので、特にラウドスピーカ３０から２つのマイクロホン２１および２２に入力される受話者の音声が打ち消し合うこととなる（これを「メイン・ビーム」と呼ぶ）。
In the
演算器６８は、ラウドスピーカ３０に対してより近くに位置している第２のマイクロホン２２からの入力信号を処理するＡ／Ｄコンバータ６４の出力データから、第１のマイクロホン２１からの入力信号を処理するＡ／Ｄコンバータ６３の出力データが遅延フィルタ６５により遅延時間τだけ遅延されたデータを減算し出力する。第１のマイクロホン２１と第２のマイクロホン２２とは最高処理可能周波数ｆの１／４波長だけ離れているので、ラウドスピーカ３０とは別の方向、特にラウドスピーカ３０とは逆の方向から２つのマイクロホン２１および２２に入力される使用者（送話者）の音声が打ち消し合うこととなる（これを「ヌル・ビーム」と呼ぶ）。以上のような遅延加算処理により、ラウドスピーカ３０に近い側のマイクロホン２２の入力はラウドスピーカ３０からの受話者の音声が強調され、反対側のマイクロホン２１の入力は送話者の音声が強調されるので、後述の適応フィルタ６９および減算器７０において受話者音声信号と送話者の残響音の減算が容易となり、高品質な全二重動作が可能となる。
The
減算器７０は、演算器６８の出力データ（ヌル・ビーム）が適応フィルタ６９により処理されたデータを演算器６７の出力データ（メイン・ビーム）より減算する。これにより、ラウドスピーカ３０から２つのマイクロホン２１および２２に入力される音声がさらに打ち消されるとともに、音声会議装置１の周辺環境により発生する残響音も低減され、音声会議装置１の使用者（送話者）の音声が極めて明瞭に、遠端話者の音声会議装置へと送出される。なお、減算器７０の後段には、マイクロホン２１および２２とラウドスピーカ３０との間のエコー（線形エコーという）をキャンセルするための別の適応フィルタが配置されていても良い。
The
本実施の形態の音声会議装置１の適応フィルタ６９は、音声会議装置１のラウドスピーカ３０より通信相手である遠端話者の音声会議装置からの音が出力されており、音声会議装置１の使用者は音声会議装置１に向かって話をしていない状況で学習作業を行う。ここで、適応フィルタ６９の一つの例として、ＦＩＲフィルタが用いられる場合について説明する。
The
まず、演算器６７の出力データ（メイン・ビーム）と演算器６８の出力データ（ヌル・ビーム）に相関が高いエコー信号成分との関係は、理論的に（数３）で表されると仮定できる。
First, it is assumed that the relationship between the output data (main beam) of the
上記（数３）においてヌル・ビームに相関が高いエコー成分は、もしマイクロホン２１および２２に入力される音が純粋にラウドスピーカ３０からの音と全く同一であればヌル・ビームと全く同一となるはずであるが、実際には、ラウドスピーカ３０での電気信号から空気振動への変換時における音響的ひずみ（ラウドスピーカ３０の固有振動数や周波数特性に起因する、特に安価なラウドスピーカにおいては高周波ひずみが問題となる）やラウドスピーカの振動に伴う音声会議装置１の筐体振動などにより、様々なエコー信号が含まれている。ただし、この（数３）におけるヌル・ビームに相関が高いエコー成分を直接算出するのは困難である。そこで、適応フィルタ６９はヌル・ビームを基に、（数４）に従って擬似エコー信号を合成する。
The echo component highly correlated with the null beam in the above (Equation 3) is exactly the same as the null beam if the sound input to the
減算器７０はメイン・ビームからこの擬似エコー信号を減算する。これによりエコー信号がメイン・ビームより減衰される仕組みとなっている。従って、減算器７０の出力信号は以下の（数５）により求められる。
A
適応フィルタの推定誤差がゼロであれば（数５）右辺の第１項と第２項との関係は以下の（数６）および（数７）となり、（数５）における減算器７０の出力信号は０となるはずである。
If the estimation error of the adaptive filter is zero (Equation 5), the relationship between the first term and the second term on the right side is (Equation 6) and (Equation 7) below, and the output of the
だが現実には推定誤差が存在するので、（数６）および（数７）とはならない。特に、遠端話者のみが発声し、近端話者が発声していない時の（数５）は残留エコー（エラー）信号と呼ばれ、以下の（数８）のように表される。 However, since there is an estimation error in reality, (Equation 6) and (Equation 7) are not satisfied. Particularly, (Equation 5) when only the far-end speaker speaks and the near-end speaker does not utter is called a residual echo (error) signal, and is expressed as the following (Equation 8).
このような適応フィルタでは、フィルタ係数を推定誤差が少ない方向に更新（学習）していく事が重要であり、その学習のアルゴリズムは数種類知られている。音声の収束が良い事で一般的なＮＬＭＳ法では、（数９）に示すようにフィルタ係数を更新する。 In such an adaptive filter, it is important to update (learn) the filter coefficients in a direction with less estimation error, and several types of learning algorithms are known. In general NLMS method due to good speech convergence, the filter coefficient is updated as shown in (Equation 9).
この種のアルゴリズムにより、適応フィルタによるエコーの減算と係数の更新が並行的に行われ、メイン・ビームに混入したヌル・ビームのエコー成分が減衰され続け、より純粋に近いメイン・ビームすなわち近端話者の音声信号のみを出力する事が可能となる。なお、本実施の形態における適応フィルタ６９については、ＦＩＲフィルタをその一つの例として取り上げて説明したが、本実施の形態の音声会議装置の適応フィルタは特にＦＩＲフィルタに限るものではなく、例えば周波数領域適応フィルタやサブバンド分割型適応フィルタを用いても良い。
With this type of algorithm, echo subtraction and coefficient updating by the adaptive filter are performed in parallel, and the echo component of the null beam mixed into the main beam continues to be attenuated, resulting in a purer main beam or near end. Only the voice signal of the speaker can be output. The
従来、適応フィルタはある方向にいる近端話者の音声をより鮮明に抽出するための適応処理を行うものであったが、本実施の形態の音声会議装置における適応フィルタ６９は、音声会議装置の周囲にいる近端話者に対してはラウドスピーカ３０からの音声が聞こえるように維持しつつ、ラウドスピーカ３０から出力されマイクロホン２１および２２に入力される遠端話者の音声のエコーをキャンセルすることに貢献している。特に、ラウドスピーカ３０での電気信号から空気振動への変換時における音響的ひずみによるエコー信号や、ラウドスピーカ３０の振動に伴う音声会議装置１の筐体振動などによるエコー信号などのいわゆる非線形エコーに対して効果がある。すなわち、本発明の感度特性形成手段（図９の処理ブロック５９に相当）は、マイクユニット２の感度特性をラウドスピーカ３０からの出力音声が拾いにくくなるよう形成することに加えて、非線形エコーを低減できるという特徴を併せ持つ。この適応フィルタ６９のエコーキャンセル効果をさらにアップするために、前述のように２つのマイクロホン２１・２２の音響的中心間の距離ｄを（数１）のように設定すれば、特に高い周波数のひずみに対して効果的である。
Conventionally, the adaptive filter performs an adaptive process for more clearly extracting the voice of the near-end speaker in a certain direction. However, the
図８に示す音声会議装置１の集音部２ａ〜２ｄの一つを代表して集音部２とし、そこに配置されるマイクロホン２１および２２とスピーカ部３に配置されたラウドスピーカ３０との配置関係を断面方向から見たものが図１０である。相手側の音声会議装置において集音された音声はラウドスピーカ３０より出力される。すなわち、そのコーン紙３１の振動が空気の粗密波３８ａ及び３８ｂを発生させて音声会議装置１の筐体外部を伝播し、周囲にいる使用者にその音声が伝わる。
The
集音部２の複数のマイクロホン２１および２２の振動板の振動方向はラウドスピーカにより発生する疎密波の伝播方向に対し略直交している。また、集音部２の複数のマイクロホン２１および２２の振動板２８の振動方向はその直上にあるマイクユニットすなわち集音部２の保護部材２０の上面と略直交し、ラウドスピーカ３０の振動板２８の振動方向はその直上にある保護部材３ａの上面と略直交している。
The vibration directions of the diaphragms of the plurality of
このとき、マイクロホン２１および２２にはラウドスピーカ３０からの音声、すなわち相手側の音声会議装置において集音された音声や、周辺の残響などが入力されてしまうが、先に説明した図９に示す処理ブロックによりこれらは低減されるので、本音声会議装置の周辺にいる使用者の音声が極めて明瞭に、相手側の音声会議装置へと送出される。
At this time, voices from the
もし、マイクロホン２１および２２を、図１５の２１ｅおよび２２ｅのように配置すると、ラウドスピーカ３０により発生する相手側の音声会議装置において集音された音声の空気粗密波がマイクロホン２１ｅおよび２２ｅに多少なりとも入射しにくくなるかもしれない。しかしながらそのメリットよりも、ラウドスピーカ３０からの距離差がほとんど取れないことによる図９のエコーキャンセル処理効果の喪失のほうが極めて大きい。従って、２つのマイクロホン２１および２２は、図１０に示すように配置するほうが良い。
If the
なお、マイクユニットすなわち集音部２の複数のマイクロホン２１および２２の集音口を有する面とマイクユニットすなわち集音部２の保護部材２０の上面との距離は、マイクロホン２１および２２のそれ以外の面と保護部材２０との距離よりも小さくなるよう配置することが望ましい。これによりマイクユニットすなわち集音部２はラウドスピーカ３０からの一次粗密波を主に集音することができ、マイクユニットすなわち集音部２内での反射音が拾いにくくなるので、残響低減処理の負担が低減され、さらに高品質な全二重動作が可能となる。
It should be noted that the distance between the microphone unit, that is, the surface having the sound collection ports of the
なお、本実施の形態における音声会議装置１はラウドスピーカ３０を一つだけ備えた構成であるが、ラウドスピーカは一つに限定するものではなく、複数備えていても良い。その場合、例えば音声会議装置の上面から見た場合にスピーカ部が備える複数のラウドスピーカの各音響的中心から等距離にある点を音声会議装置のスピーカ部の音響的中心とすることができる。
In addition, although the
以上のように本実施の形態によれば、ラウドスピーカとの音響結合が小さくなり、かつ使用者が違和感を覚えることが無く、各集音部の感度特性のバラつきと経年変化も低減されるので、高品質な全二重動作が可能となる。さらには、感度特性の主ローブが使用者にとって潜在的に感じるのとは全く異なる方向に形成されることによる予期しない誤動作、例えば誤った残響処理や指向調整制御の不具合などを防ぐことができる。 As described above, according to the present embodiment, the acoustic coupling with the loudspeaker is reduced, the user does not feel uncomfortable, and variations in the sensitivity characteristics of each sound collection unit and aging are also reduced. High-quality full-duplex operation is possible. Furthermore, unexpected malfunctions caused by the main lobe of the sensitivity characteristic being formed in a direction completely different from what is potentially felt by the user, for example, erroneous reverberation processing and direction adjustment control problems can be prevented.
（実施の形態２）
本発明における実施の形態２における信号遅延時間の補正の例を図１６に示す。図１０との相違点は、送話者の位置が机面と平行に位置し、２個のマイクの延長線方向より角度θの方向に送話者が存在すると仮定しており、より実際に近い。それぞれのＡ／Ｄコンバータ６０および６４からの出力データには、互いに他の出力を遅延フィルタ６５または６６を通して遅延させた信号が減算される。本実施の形態の場合、ラウドスピーカ３０に対してより近くに位置している第２のマイクロホンに適用される遅延フィルタ６５の遅延時間τ1は、（数１０）により求められる。
(Embodiment 2)
An example of signal delay time correction in the second embodiment of the present invention is shown in FIG. The difference from FIG. 10 is that it is assumed that the position of the speaker is parallel to the desk surface, and that the speaker exists in the direction of the angle θ from the extension line direction of the two microphones. close. Signals obtained by delaying other outputs through the
一方、図１６においてラウドスピーカ３０に対してより遠くに位置している第１のマイクロホンに適用される遅延フィルタ６６の遅延時間τ2は、（数１１）により求められる。
On the other hand, the delay time τ 2 of the
すなわち、τ2はτ1よりも遅延時間が小さい。これにより、実際に送話者が位置する方向からの音声信号が強調されるので、集音効率が一層向上し、高品質な全二重動作が可能となる。
このように遅延時間を設定する効果の例を、図１６にて説明する。ここではマイクユニット間隔ｄ＝１４ｍｍ，ユニットの延長方向と机面が形成する角度θ＝３０°と仮定し、指向性パターンを例示している。
That is, τ 2 has a smaller delay time than τ 1 . As a result, the voice signal from the direction in which the speaker is actually located is emphasized, so that the sound collection efficiency is further improved and high-quality full-duplex operation is possible.
An example of the effect of setting the delay time in this way will be described with reference to FIG. Here, the directivity pattern is illustrated on the assumption that the microphone unit interval d is 14 mm and the angle θ between the unit extension direction and the desk surface is 30 °.
最初に、メインビームの指向性パターンを示す。メインビームとは近端話者の音声方向に感度が強く、その反対側は死角となるように合成された指向性パターンの出力信号であり、図１６（ａ）ではａの矢印で示す机面と平行な方向に指向角を向ける事が目的である。この図の場合、近端話者に近い側と遠い側のマイク信号が互いに一致するように、両マイク間の音波の到達時間の差に合わせた遅延を、近端話者に近い側のマイク信号に与えれば良い。その遅延時間τ2がτ2＝ｄ／ｃの場合、図１６（ｂ）の円グラフのように、近端話者の反対方向にも感度が多く残り、死角の形成が不十分である。一方、τ2＝ｄ・ｃｏｓθ／ｃの場合は図１６（ｃ）の円グラフのように、近端話者の反対方向に鋭い死角が形成され、この方が優れている事が判る。 First, the directivity pattern of the main beam is shown. The main beam is an output signal of a directivity pattern synthesized so as to be sensitive to the voice direction of the near-end speaker and the other side to be a blind spot. In FIG. The aim is to direct the directivity angle in a direction parallel to. In the case of this figure, the delay that matches the difference in the arrival time of the sound waves between the two microphones is set so that the microphone signals on the near side and the far side talk to each other. What is necessary is just to give to a signal. When the delay time τ 2 is τ 2 = d / c, as shown in the pie chart of FIG. 16B, the sensitivity remains in the opposite direction of the near-end speaker, and the formation of the blind spot is insufficient. On the other hand, when τ 2 = d · cos θ / c, a sharp blind spot is formed in the opposite direction of the near-end speaker, as shown in the pie chart of FIG.
次に、ヌルビームの指向性パターンを示す。ヌルビームとは通話装置のスピーカの方向、すなわち音響エコーの最大の到達方向に感度が強く、その反対側は死角となるように合成された指向性パターンの出力信号であり、図１６（ａ）ではｂの矢印で示す２個のマイクの延長線上でスピーカの方向に指向角を向ける事が目的である。この図の場合、スピーカに近い側と遠い側のマイク信号が互いに一致するように、両マイク間の音波の到達時間の差に合わせた遅延を、スピーカに近い側のマイク信号に与えれば良い。その遅延時間τ1がτ1＝ｄ／ｃの場合、図１６（ｄ）の円グラフのように、スピーカと反対方向に鋭い死角が形成され、この遅延時間が妥当である事が判る。一方、メインビーム側と同様にτ1＝ｄ・ｃｏｓθ／ ｃを適用する場合は図１６（ｅ）の円グラフのように、スピーカの反対方向にも感度が多く残り、死角の形成が不十分である。 Next, the directivity pattern of the null beam is shown. The null beam is an output signal of a directivity pattern synthesized so that the sensitivity is strong in the direction of the speaker of the communication device, that is, the maximum arrival direction of the acoustic echo, and the opposite side is a blind spot. The purpose is to direct the directivity angle toward the speaker on the extension line of the two microphones indicated by the arrow b. In the case of this figure, a delay according to the difference in arrival time of sound waves between the two microphones may be given to the microphone signal near the speaker so that the microphone signals near and far from the speaker match each other. When the delay time τ 1 is τ 1 = d / c, a sharp blind spot is formed in the opposite direction to the speaker as shown in the pie chart of FIG. 16D, and it can be seen that this delay time is appropriate. On the other hand, when τ 1 = d · cos θ / c is applied as in the main beam side, as shown in the pie chart of FIG. 16 (e), the sensitivity remains in the opposite direction of the speaker, and the formation of the blind spot is insufficient. It is.
以上から本実施の形態のように、指向性を合成する遅延時間τを、メインビーム側とヌルビーム側の目的とする音源の方向で換算した行程差をそれぞれ適用する事によって、メインビーム・ヌルビームの指向性を正確に実現する事が可能になる。 As described above, the delay time τ for synthesizing the directivity is applied to the main beam side and the null beam side by applying the stroke difference converted in the direction of the target sound source on the main beam side and the null beam side. It becomes possible to realize directivity accurately.
（実施の形態３）
本発明における実施の形態３における信号遅延時間の補正の例を図１７に示す。図１７（ｂ）に示すように図１６と比較して、送話者の位置が机面と平行に位置し、２個のマイクの延長線方向より角度θ2の方向に送話者が存在する事は図１６（ａ）と同様であるが、更にスピーカの音響中心も２個のマイクの延長線方向に位置しておらず、角度θ1の方向に位置している。本実施の形態の場合、図１７（ａ）においてラウドスピーカ３０に対してより近くに位置している第２のマイクロホンに適用される遅延フィルタ６５の遅延時間τ1は、（数１２）により求められる。
(Embodiment 3)
An example of signal delay time correction in the third embodiment of the present invention is shown in FIG. As shown in FIG. 17B, compared to FIG. 16, the position of the speaker is parallel to the desk surface, and there is a speaker in the direction of the angle θ 2 from the extension line direction of the two microphones. This is the same as FIG. 16A, but the acoustic center of the speaker is not located in the direction of the extension line of the two microphones, but is located in the direction of the angle θ 1 . In the case of the present embodiment, the delay time τ 1 of the
一方、図１７（ｂ）においてラウドスピーカ３０に対してより遠くに位置している第１のマイクロホンに適用される遅延フィルタ６６の遅延時間τ2は、（数１３）により求められる。
On the other hand, the delay time τ 2 of the
以上によって、メインビームでは実際に送話者が位置する方向からの音声信号が強調され、ヌルビームでは実際にスピーカが位置する方向からの信号が強調されるので、集音効率が一層向上し、高品質な全二重動作が可能となる。 As described above, the sound signal from the direction where the speaker is actually positioned is emphasized in the main beam, and the signal from the direction where the speaker is actually positioned is emphasized in the null beam. Quality full-duplex operation is possible.
（実施の形態４）
実施の形態１においては（数１）に示すように、２つのマイクロホン２１（２１ａ〜２
１ｄ）および２２（２２ａ〜２２ｄ）の間の距離ｄを最高処理周波数ｆの波長の４分の１程度としていたが、サンプリング周波数Ｆｓや最高処理可能周波数ｆは変えずにこれよりももっと近い距離とすることもできる。すなわち、距離ｄの代わりに、（数１４）で得られる距離ｘを、２つのマイクロホン２１（２１ａ〜２１ｄ）および２２（２２ａ〜２２ｄ）の間の距離とする。
(Embodiment 4)
In the first embodiment, as shown in (Equation 1), two microphones 21 (21a to 2) are used.
The distance d between 1d) and 22 (22a to 22d) is set to about one quarter of the wavelength of the maximum processing frequency f, but the sampling frequency Fs and the maximum processing frequency f are not changed, and the distance is closer than this. It can also be. That is, instead of the distance d, the distance x obtained by (Equation 14) is the distance between the two microphones 21 (21a to 21d) and 22 (22a to 22d).
この場合、図９の回路における遅延フィルタ６５および６６の遅延時間τを以下のようにする。 In this case, the delay time τ of the delay filters 65 and 66 in the circuit of FIG. 9 is set as follows.
すなわち、サンプリング周期１／Ｆｓのｈ倍（ｈ＜１）とすればよい。
That is, the
以上のように本実施の形態によれば、マイクユニットすなわち集音部に配置された２つのマイクロホンの間の距離をさらに縮めるので、それぞれのマイクロホンに異なる反射音が入力するのを低減することができ、さらに高品質な全二重動作が可能となる。 As described above, according to the present embodiment, the distance between two microphones arranged in the microphone unit, that is, the sound collecting unit is further reduced, so that it is possible to reduce the input of different reflected sounds to each microphone. In addition, high-quality full-duplex operation is possible.
（実施の形態５）
図１８は、本発明の実施の形態５における電話機の斜視図であり、実施の形態１、２，３，４の音声会議装置を応用した電話機を示している。図１９は、本発明の実施の形態５における電話機の上面図であり、図１８の電話機を上面から見たものを示している。
(Embodiment 5)
FIG. 18 is a perspective view of a telephone set according to the fifth embodiment of the present invention, showing a telephone to which the voice conference apparatus according to the first, second, third, and fourth embodiments is applied. FIG. 19 is a top view of the telephone set according to Embodiment 5 of the present invention, showing the telephone set shown in FIG. 18 as viewed from above.
図１８に示すように、本実施の形態の電話機は、実施の形態１における音声会議装置と同様に集音部１０２およびスピーカ部１０３を有する。ただし集音部１０２は実施の形態１の音声会議装置１とは異なり、１つのみである。
As shown in FIG. 18, the telephone according to the present embodiment includes a
図１９に示す集音部１０２およびスピーカ部１０３において、マイクロホン１２１および１２２とラウドスピーカ１３０はそれらの位置がわかるよう描かれているが、実際にはそれぞれ集音部１０２およびスピーカ部１０３の内部に配置されているものであり、外部から直接視認することはできない。
In the
このような電話機１１３が、実施の形態１の図３または図４における音声会議装置１ａまたは１ｂのように複数台用いられ、インターネット１１または公衆電話回線１２等を介して接続され、互いに音声の送受信を行う。
A plurality of
本実施の形態における電話機１１３のハードウェアは、実施の形態１の音声会議装置１における図５および図６と大きな相違点は無く、これらにハンドセットの送受話インターフェース等が追加される程度で実現できる。マイクユニットすなわち集音部１０２に設置される２つの無指向性マイクロホン装置１２１・１２２やスピーカ部に設置されるラウドスピーカ１３０も、実施の形態１に示したものと大きな相違点の無いものが使用できる。
The hardware of the telephone set 113 in the present embodiment is not significantly different from that in the
マイクユニットすなわち集音部１０２においては、２つの無指向性マイクロホン装置１２１・１２２が集音部１０２の音響的中心１８２とラウドスピーカ１３０の音響的中心１８３とを結ぶ放射線１８１上に並べて配置されている。
In the microphone unit, that is, the
各集音部１０２ａ〜１０２ｄにおける無指向性マイクロホンの数を２とすることにより、最小個数の無指向性マイクロホンにてマイクユニットすなわち各集音部１０２ａ〜１０２ｄを構成可能であり、従って安価な装置コストで高品質な全二重動作が可能となる。 By setting the number of omnidirectional microphones in each of the sound collection units 102a to 102d to 2, the microphone unit, that is, each of the sound collection units 102a to 102d can be configured with the minimum number of omnidirectional microphones, and thus an inexpensive device. High-quality full-duplex operation is possible at low cost.
各マイクロホン１２１および１２２の振動板の振動方向は、ラウドスピーカ１３０により発生する疎密波の伝播方向に対し略直交し、かつラウドスピーカ１３０に対し第１のマイクロホン１２１よりも第２のマイクロホン１２２のほうが近くに設置されている。その距離は実施の形態１における（数１）により導かれるｄでも良いし、実施の形態４における（数１４）により導かれるｘでも構わない。
The vibration directions of the diaphragms of the
集音部２の音響的中心１８２とラウドスピーカ１３０の音響的中心１８３とを結ぶ放射線８１に対応する直交線１８４を境界として、その境界よりも集音部２の感度特性１８５のラウドスピーカ１３０側に形成される面積が他方より小さくなるよう、実施の形態１および実施の形態２において示したのと同様の感度特性形成手段により集音部２の２組のマイクロホン１２１および１２２を用いて感度特性１８５が形成されている。
On the
以上のような構成により、ラウドスピーカとの音響結合が小さくなり、集音部１０２の感度特性１８５の経年変化も低減され、後述の送話者の音声および受話者の音声強調処理が最適となり、残響低減処理の負担がより軽減されるので、より高品質な全二重動作が可能となる。電話機１１３の使用者（送話者）の音声が極めて明瞭に、相手側の電話機へと送出される。
With the above configuration, the acoustic coupling with the loudspeaker is reduced, the secular change of the
なお、マイクユニットすなわち集音部１０２の複数のマイクロホン１２１および１２２の集音口１２７を有する面とマイクユニット、すなわち集音部１０２の保護部材の上面との距離は、マイクロホン１２１および１２２のそれ以外の面と保護部材との距離よりも小さくなるよう配置することが望ましい。これによりラウドスピーカ１３０からの一次粗密波を主に集音することができ、マイクユニット内での反射音が拾いにくくなるので、残響低減処理の負担が低減され、さらに高品質な全二重動作が可能となる。
The distance between the microphone unit, that is, the surface of the plurality of
本発明にかかる音声会議装置は、高品質な全二重動作が可能となり、さらには、感度特性の主ローブが使用者にとって潜在的に感じるのとは全く異なる方向に形成されることによる予期しない誤動作、例えば誤った残響処理や指向調整制御の不具合などを防ぐことが出来るところから、例えば電話機や、音声会議システムおよびテレビ会議システムなどへの利用が可能である。 The audio conferencing apparatus according to the present invention enables high-quality full-duplex operation, and is unexpected due to the fact that the main lobe of the sensitivity characteristic is formed in a completely different direction from what is potentially felt to the user. Since malfunctions such as erroneous reverberation processing and orientation adjustment control can be prevented, it can be used for telephones, audio conference systems, video conference systems, and the like.
１、１ａ、１ｂ 音声会議装置
２、２ａ〜２ｄ 集音部
３ スピーカ部
４ 操作ボタン
５ 表示装置
６、６ａ、６ｂ 通信ケーブル（Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル）
７、７ａ、７ｂ 通信ケーブル（電話線）
１０ａ、１０ｂ ゲートウェイ
１１ インターネット
１２ 公衆電話回線
２０ 保護部材
２１、２１ａ〜２１ｄ、２２、２２ａ〜２２ｄ マイクロホン
３０ ラウドスピーカ
３０ａ 保護部材
３１ コーン紙（振動板）
３５ コイル
３７ 磁石
３８ａ、３８ｂ 粗密波
４０ ＣＰＵ
４１ プログラムメモリ
４２ メインメモリ
４３ ＰＨＹチップ
４４ キーボード
４５ ＬＣＤ
４６ コネクタ（ＲＪ−４５）
４７ コントローラ
５０ ＤＳＰ
５１ プログラムメモリ
５２ ＤＳＰのワークメモリ
５４ タイミング調整用ＰＬＤ
５５ ＣＯＤＥＣ部
５５ａ、５５ｂ ＣＯＤＥＣ−ＩＣ
５６ マイクロホン／スピーカ部
５７ 公衆回線Ｉ／Ｆ部
５８ 部分ブロック
５９ 処理ブロック
６１、６１ａ〜６１ｄ、６２、６２ａ〜６２ｄ マイク駆動回路
６３ スピーカ増幅回路
６０、６４ Ａ／Ｄコンバータ
６５、６６ 遅延フィルタ
６７、６８ 演算器
６９ 適応フィルタ
７０ 減算器
８１、８１ａ〜８１ｄ 放射線
８２、８２ａ〜８２ｄ マイクユニット（集音部）の音響的中心
８３ スピーカ部（ラウドスピーカ）の音響的中心
８４、８４ａ〜８４ｄ 直交線
８５、８５ａ〜８５ｄ 感度特性
８６ スピーカ部（ラウドスピーカ）の音響的中心を中心とする同心円面
DESCRIPTION OF
7, 7a, 7b Communication cable (telephone line)
10a, 10b Gateway 11
35
41
46 Connector (RJ-45)
47
51
55
56 Microphone /
Claims (8)
送話音声およびスピーカからの音声を集音して音声信号を出力する第一のマイクロホンと前記第一のマイクロホンより前記スピーカから近い位置に設けられ送話音声およびスピーカからの音声を集音して音声信号を出力する第二のマイクロホンを有するマイクユニットと、
前記マイクユニットの感度特性を形成する感度特性形成手段と、を有し、
前記感度特性形成手段は、
前記第一のマイクロホンからの音声信号を一定時間遅延させて出力する第一の遅延手段と、
前記第二のマイクロホンからの音声信号を一定時間遅延させて出力する第二の遅延手段と、
前記第一のマイクロホンからの音声信号と前記第二の遅延手段からの出力を元に前記スピーカからの音声を打ち消しあうようにすることで前記送話音声を強調して出力する第一の演算手段と、
前記第二のマイクロホンからの音声信号と前記第一の遅延手段からの出力を元に前記送話音声を打ち消しあうようにすることで前記スピーカからの音声を強調して出力する第二の演算手段と、
前記第二の演算手段の出力を前記第一の演算手段の出力から減算する第三の演算手段と、前記第一のマイクロホンと前記第二のマイクロホンの距離をｄ、音速をｃとした場合、
前記第一の遅延手段の遅延時間τ １ は、前記第一、第二のマイクロホンを結ぶ線の延長線と、前記スピーカ中心と前記第一、第二のマイクロホンの中間点とを結ぶ延長線とのなす角度をθ １ として、τ １ ＝ｄ・ｃｏｓθ １ ／ｃとなり、
前記第二の遅延手段の遅延時間τ ２ は、前記第一、第二のマイクロホンを結ぶ線の延長線と、前記第一、第二のマイクロホンの中間点と送話者とを結ぶ線とのなす角度θ ２ として、τ ２ ＝ｄ・ｃｏｓθ ２ ／ｃとなることを特徴とする音声会議装置。 A speaker for outputting the received voice;
A first microphone that collects a transmitted voice and a voice from a speaker and outputs a voice signal, and a voice that is provided near the speaker from the first microphone and collects a transmitted voice and a voice from the speaker A microphone unit having a second microphone for outputting an audio signal;
Sensitivity characteristic forming means for forming sensitivity characteristics of the microphone unit,
The sensitivity characteristic forming means includes:
First delay means for outputting the audio signal from the first microphone with a predetermined time delay;
Second delay means for delaying and outputting the audio signal from the second microphone for a fixed time;
First computing means for emphasizing and outputting the transmitted voice by canceling the voice from the speaker based on the voice signal from the first microphone and the output from the second delay means When,
Second computing means for emphasizing and outputting the sound from the speaker by canceling the transmitted voice based on the audio signal from the second microphone and the output from the first delay means When,
When the third calculation means for subtracting the output of the second calculation means from the output of the first calculation means, the distance between the first microphone and the second microphone is d, and the speed of sound is c,
The delay time τ 1 of the first delay means includes an extension line connecting the first and second microphones, and an extension line connecting the speaker center and the intermediate point of the first and second microphones. Where θ 1 is τ 1 = d · cos θ 1 / c,
The delay time τ 2 of the second delay means is an extension of a line connecting the first and second microphones, and a line connecting the midpoint of the first and second microphones and the transmitter. An audio conference apparatus characterized in that the angle θ 2 formed is τ 2 = d · cos θ 2 / c .
The distance between the surface of the first and second microphones having the sound collection port and the upper surface of the microphone unit protection member for protecting the first and second microphones is that of the first and second microphones. The audio conference apparatus according to claim 1, wherein the audio conference apparatus is smaller than a distance between the other surface and the protective member.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008010131A JP5082878B2 (en) | 2007-02-28 | 2008-01-21 | Audio conferencing equipment |
| US12/037,426 US8111838B2 (en) | 2007-02-28 | 2008-02-26 | Conferencing apparatus for echo cancellation using a microphone arrangement |
| PCT/JP2008/000388 WO2008120436A2 (en) | 2007-02-28 | 2008-02-28 | Voice conference apparatus providing microphone directivity to reduce acoustic coupling |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007048762 | 2007-02-28 | ||
| JP2007048762 | 2007-02-28 | ||
| JP2008010131A JP5082878B2 (en) | 2007-02-28 | 2008-01-21 | Audio conferencing equipment |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008245250A JP2008245250A (en) | 2008-10-09 |
| JP2008245250A5 JP2008245250A5 (en) | 2011-03-10 |
| JP5082878B2 true JP5082878B2 (en) | 2012-11-28 |
Family
ID=39915972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008010131A Expired - Fee Related JP5082878B2 (en) | 2007-02-28 | 2008-01-21 | Audio conferencing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5082878B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5270312B2 (en) * | 2008-11-20 | 2013-08-21 | 株式会社ユニバーサルエンターテインメント | Game machine |
| JPWO2012124422A1 (en) * | 2011-03-11 | 2014-07-17 | 三洋電機株式会社 | Recording device |
| JP6036412B2 (en) * | 2013-03-04 | 2016-11-30 | ヤマハ株式会社 | Sound collector |
| US9807514B2 (en) | 2013-08-26 | 2017-10-31 | Kyocera Corporation | Audio apparatus, audio system, image display apparatus, and image projection apparatus |
| JP2020178244A (en) | 2019-04-18 | 2020-10-29 | レノボ・シンガポール・プライベート・リミテッド | Electronic device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02288455A (en) * | 1989-04-27 | 1990-11-28 | Fujitsu Ltd | Talking device for conference |
| JPH1118186A (en) * | 1997-06-25 | 1999-01-22 | Purimo:Kk | Primary pressure gradient microphone |
-
2008
- 2008-01-21 JP JP2008010131A patent/JP5082878B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008245250A (en) | 2008-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657793B2 (en) | Voice sensing using multiple microphones | |
| US9749731B2 (en) | Sidetone generation using multiple microphones | |
| JP6573624B2 (en) | Frequency dependent sidetone calibration | |
| US8111838B2 (en) | Conferencing apparatus for echo cancellation using a microphone arrangement | |
| JP5394373B2 (en) | Apparatus and method for processing audio signals | |
| JP2843278B2 (en) | Noise control handset | |
| US20060147063A1 (en) | Echo cancellation in telephones with multiple microphones | |
| US9542957B2 (en) | Procedure and mechanism for controlling and using voice communication | |
| JP3267556B2 (en) | Echo canceller and transmitter | |
| JP2009141698A (en) | Headset | |
| JP5082878B2 (en) | Audio conferencing equipment | |
| EP2257081B1 (en) | Listening device with two or more microphones | |
| US10182160B2 (en) | Speakerphone system or speakerphone accessory with on-cable microphone | |
| US8923530B2 (en) | Speakerphone feedback attenuation | |
| US11335315B2 (en) | Wearable electronic device with low frequency noise reduction | |
| US7751575B1 (en) | Microphone system for communication devices | |
| JP2018018042A (en) | Sound suppression device | |
| US11637932B2 (en) | Method for optimizing speech pickup in a speakerphone system | |
| WO2023047911A1 (en) | Call system | |
| JP2013141118A (en) | Howling canceller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110121 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |