JP5870785B2 - COMMUNICATION DEVICE, SIGNAL PROCESSING PROGRAM, SIGNAL PROCESSING METHOD, AND COMMUNICATION SYSTEM - Google Patents
COMMUNICATION DEVICE, SIGNAL PROCESSING PROGRAM, SIGNAL PROCESSING METHOD, AND COMMUNICATION SYSTEM Download PDFInfo
- Publication number
- JP5870785B2 JP5870785B2 JP2012061530A JP2012061530A JP5870785B2 JP 5870785 B2 JP5870785 B2 JP 5870785B2 JP 2012061530 A JP2012061530 A JP 2012061530A JP 2012061530 A JP2012061530 A JP 2012061530A JP 5870785 B2 JP5870785 B2 JP 5870785B2
- Authority
- JP
- Japan
- Prior art keywords
- communication
- voice
- signal
- communication device
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006854 communication Effects 0.000 title claims description 637
- 238000004891 communication Methods 0.000 title claims description 636
- 238000003672 processing method Methods 0.000 title claims description 12
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000005236 sound signal Effects 0.000 claims description 125
- 238000012545 processing Methods 0.000 claims description 94
- 230000004044 response Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 175
- 238000000034 method Methods 0.000 description 62
- 230000008569 process Effects 0.000 description 30
- 230000001629 suppression Effects 0.000 description 30
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000012790 confirmation Methods 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
Description
本発明は、携帯電話機など、音声通信を行う通信装置に関し、たとえば、音声入力にマイクロフォンを用いる通信装置、信号処理プログラム、信号処理方法および通信システムに関する。
The present invention relates to a communication device that performs voice communication, such as a mobile phone, and relates to a communication device that uses a microphone for voice input, a signal processing program, a signal processing method, and a communication system.
携帯電話などの通信装置の音声通話では、装置に搭載されたマイクロフォンが用いられる。マイクロフォンには通話者の音声の他、周囲音が入る。周囲音は通話者音声に対しては騒音である。この周囲音は通話者の音声とともに電気信号に変換されて通信先に到達する。 In a voice call of a communication device such as a mobile phone, a microphone mounted on the device is used. In addition to the voice of the caller, ambient sound enters the microphone. Ambient sounds are noise for caller voice. This ambient sound is converted into an electrical signal together with the voice of the caller and reaches the communication destination.
このような音声通話に関し、信号合成により環境騒音を抑圧する処理を行うことが知られている（例えば、特許文献１）。また、環境音のみを取り込むマイクロフォンを備え、このマイクロフォンに得られた環境音信号により、音声から環境音を相殺することが知られている（例えば、特許文献２）。
With respect to such a voice call, it is known to perform processing for suppressing environmental noise by signal synthesis (for example, Patent Document 1). Further, it is known that a microphone that captures only environmental sound is provided, and the environmental sound is canceled from the sound by the environmental sound signal obtained by the microphone (for example, Patent Document 2).
ところで、通信装置が隣接した場所での音声通話では、通信装置のマイクロフォンに他の通信装置の通話中の音声が入り込む。このような周囲音の混入は主たる音声信号のＳＮ比を低下させる。この周囲音が電気信号に変換されて通信先に到達すると、通信先での音声の了解度を低下させる。この場合、周囲音が話者音声以外の情報として通信先に通知される不都合もある。 By the way, in a voice call at a place where a communication device is adjacent, a voice during a call of another communication device enters the microphone of the communication device. Such mixing of ambient sounds reduces the S / N ratio of the main audio signal. When this ambient sound is converted into an electrical signal and reaches the communication destination, the intelligibility of the voice at the communication destination is reduced. In this case, there is a disadvantage that the ambient sound is notified to the communication destination as information other than the speaker voice.
話者がマイクロフォンを口に近づければ、周囲音をある程度抑えることは可能であるだろう。しかし、マイクロフォンの感度が高ければ、周囲音を拾うことを避けることができない。話者が発生音を大きくすれば、周囲に居る話者の発生音はより大きくなる傾向がある。 If the speaker brings the microphone closer to the mouth, it will be possible to suppress ambient sounds to some extent. However, if the sensitivity of the microphone is high, picking up ambient sounds cannot be avoided. If the speaker increases the generated sound, the generated sound of the speakers in the vicinity tends to increase.
通話中の音声が他の通信装置により音声信号の一部として他の通話先に送信された場合には、プライバシやセキュリティが損なわれる。 When the voice during a call is transmitted as a part of a voice signal by another communication device to another call destination, privacy and security are impaired.
そこで、本開示の通信装置、信号処理プログラム、信号処理方法および通信システムの目的は、上記課題に鑑み、通話中に他の通信装置による通話音声の影響を軽減させることにある。
Accordingly, an object of the communication device, the signal processing program, the signal processing method, and the communication system according to the present disclosure is to reduce the influence of call voice by other communication devices during a call in view of the above problems.
本開示の構成では、他の通信装置の通話中の音声信号を無線通信により通信部で受信する。音声通話の開始を契機として、音声通信部でマイクロフォンの出力信号に不要音が含まれるか否かを判断し、該不要音が含まれる場合に無線通信が可能な範囲に存在する通話中の通信装置と無線通信を確立し、この通信装置の音声信号を通信部に受信させる。この通信部で受信した音声信号を用いることにより、信号相殺部でマイクロフォンの出力信号に含まれる他の通信装置側の音声信号を相殺する。
In the configuration of the present disclosure, an audio signal during a call of another communication device is received by the communication unit by wireless communication. Triggered by the start of a voice call, the voice communication unit determines whether or not an unnecessary sound is included in the output signal of the microphone. If the unnecessary sound is included, communication during a call that exists in a range where wireless communication is possible Wireless communication is established with the apparatus, and the communication unit receives an audio signal of the communication apparatus. By using the audio signal received by the communication unit, the signal canceling unit cancels the audio signal on the other communication device side included in the output signal of the microphone.
本開示の構成によれば、次のような効果が得られる。 According to the configuration of the present disclosure, the following effects can be obtained.
(1) 通話中に他の通信装置の音声が通信装置のマイクロフォンに入っても、その音声を相殺するので、他の通信装置による通話音声の影響を軽減させることができ、通話音声のＳＮ比や了解度が高められる。 (1) Even if the voice of another communication device enters the microphone of the communication device during a call, the voice is canceled, so the influence of the voice of the call by the other communication device can be reduced, and the SN ratio of the call voice And intelligibility is increased.
(2) 隣接する通信装置を介して、通話音声がこの通信装置の通話先へ到達することを抑制でき、隣接通話者のプライバシやセキュリティが防護される。 (2) It is possible to suppress call voice from reaching the communication destination of this communication device via the adjacent communication device, and privacy and security of the adjacent caller are protected.
(3) 通話中の発生音レベルを抑制でき、通話に伴う環境騒音の低減に寄与する。
(3) The sound level generated during a call can be suppressed, contributing to the reduction of environmental noise associated with the call.
〔第１の実施の形態〕 [First Embodiment]
図１は第１の実施の形態に係る通信装置を示している。図２は、通信システムを示している。図１および図２に示す構成は一例であって、斯かる構成に本開示の通信装置、信号処理プログラム、信号処理方法および通信システムが限定されるものではない。本開示の実施の形態において、音声は、音を表す用語、声を表す用語、または、声と音が混在する音を表す用語として用いている。声と音が混在する音には、時間経過の中で音又は声が部分的に存在している場合を含んでいる。 FIG. 1 shows a communication apparatus according to the first embodiment. FIG. 2 shows a communication system. The configuration illustrated in FIGS. 1 and 2 is an example, and the communication device, the signal processing program, the signal processing method, and the communication system according to the present disclosure are not limited to the configuration. In the embodiment of the present disclosure, sound is used as a term representing a sound, a term representing a voice, or a term representing a sound in which voice and sound are mixed. The sound in which the voice and the sound are mixed includes the case where the sound or the voice is partially present over time.
通信装置２は、周囲に位置する他の通信装置１４（図２）から音声信号を取得する。通信装置２は、処理部４により、マイク（マイクロフォン）１２から出力される出力信号に含まれる他の通信装置１４側の音声を、他の通信装置１４から取得した音声信号を用いて打ち消し、減少させ、相殺する。通信装置２、１４は、例えば、携帯電話、スマートフォン、固定電話などの電話装置、音声通信機能を有する携帯情報端末（PDA: Personal Digital Assistant）、又は音声通信機能を有するＰＣ（パーソナルコンピュータ）である。この処理部４は、マイク１２に接続される。マイク１２の出力信号が処理部４に入力される。処理部４には、マイク１２の出力信号、すなわち、マイク１２からの入力音声信号と他の通信装置１４（図２）からの音声信号が入力され、音声の出力信号を通信装置２の外部に出力する。
The
通信装置１４は、通信装置２とは別に配置された他の通信装置であって、通信部１６を含む処理部１７及びマイク１８を備える。通信部１６は、通信装置２の通信部６と無線通信を行ない、音声信号を送信する。マイク１２及びマイク１８は、取り込んだ音声をマイクに接続されている装置に入力する音声入力装置の一例である。マイク１２は、取り込んだ音声を音声信号に変換して出力し、この出力信号を入力音声として処理部４に入力する。マイク１８は、取り込んだ音声を音声信号に変換して出力し、この出力信号を入力音声として処理部１７に入力する。なお、この実施の形態および以下に示す実施の形態では、通信部間の無線通信の一例として、近距離無線通信の例を示す。この実施の形態では、通信部１６が通信部６と近距離無線通信を行なう例を示す。本開示の範囲は、近距離無線通信に限定されるものではなく、他の無線通信であってもよい。
The
通信部６は、通信手段の一例であり、例えば、近距離無線通信機能を有する近距離無線通信部で構成し、例えば近距離無線通信回路により構成される。通信部６は、例えば近距離無線通信により、他の通信装置１４と通信を行う。通信部６は、通信装置２から近距離の範囲にある通信装置１４を検出し、通信装置１４に接続し、通信装置１４から音声信号を取得する。通信部６は、通信装置１４からの音声信号を信号相殺部１０に出力する。
The
信号相殺部１０は、音声信号に含まれる特定の音声を相殺する手段の一例である。信号相殺部１０は、マイク１２からの入力音声と、通信装置１４から受信した音声信号を取得する。信号相殺部１０は、マイク１２からの入力音声又は通信装置１４から通信部６で受信した音声信号又はこれらの両方の音声の位相を調整した後、入力音声と音声信号とを合成する。入力音声及び音声信号の合成に際し、入力音声又は音声信号の何れかの位相を１８０［度］反転させておく。この位相の反転は、信号相殺部１０又は通信装置１４に逆位相生成機能を形成して、信号相殺部１０又は通信装置１４で行えばよい。入力音声又は音声信号を反転させて合成するので、音声信号を相殺することができる。
The
マイク１２からの入力音声には、マイク１２に向かって音声を発している話者ＳＰ１（図２）の音声が含まれている。マイク１２からの入力音声には、話者ＳＰ１以外の話者ＳＰ２（図２）の音声が含まれている。この他、マイク１２からの入力音声には、周辺環境からもたらされる環境音を含んでいる。話者ＳＰ１の音声通信において、話者ＳＰ２の音声及び環境音は、周囲音であって、不要な音声（不要音）である。話者ＳＰ１は、通信装置２の利用者であって、例えば、通信装置２を使用して通信相手ＣＰ１（図２）と音声通信をするオペレータである。話者ＳＰ２は、通信装置１４の利用者であって、例えば、通信装置２の周囲において通信装置１４を使用して通信相手ＣＰ２（図２）と音声通信をする周囲のオペレータである。話者ＳＰ２は、通信装置１４に向かって音声を発している。
The input sound from the
通信装置２の周囲において、通信装置１４を用いて話者ＳＰ２が音声通信をしている場合、マイク１２が話者ＳＰ２の音声を取り込むことになる。マイク１２からの入力音声は、マイク１２が取り込んだ話者ＳＰ２の音声を含んでいる。信号相殺部１０は、マイク１２からの入力音声中の話者ＳＰ２の音声を相殺する。すなわち、信号相殺部１０は、マイク１２からの入力音声から話者ＳＰ２の音声を除去するように、マイク１２からの入力音声又は周囲の通信装置１４からの音声の位相を調整して、話者ＳＰ２の音声を相殺する。
When the speaker SP2 is performing voice communication using the
通信部６及び信号相殺部１０は、例えば、ＤＳＰ（Digital Signal Processor）やＣＰＵ（Central Processing unit）等のプロセッサを用いて構成する。このプロセッサは、音声処理を行う音声処理手段の一例であり、プロセッサに組み込まれるプログラムに基づいて、既述の機能を実行する。
The
図２に示す通信装置２及び通信装置１４は、通信システム１９を構成している。通信装置２及び通信装置１４は、互いに近距離無線通信可能な範囲に配置され、近距離無線通信により近距離無線接続している。通信装置１４には、話者ＳＰ２の音声が直接入力される。通信装置１４は、この入力される音声を通信相手ＣＰ２に音声送信するとともに、近距離無線通信により処理部４に送信する。なお、通信装置１４は、第一の通信装置を構成し、通信装置２は第二の通信装置を構成している。
The
処理部４に接続されているマイク１２は、話者ＳＰ１の音声の他、周囲の話者ＳＰ２の音声を取り込む。処理部４には、通信装置１４からの音声信号と、マイク１２からの音声信号が入力される。通信装置１４は、この入力される音声を信号相殺部１０で調整して通信相手ＣＰ１に音声送信する。
The
次に音声について図３を参照する。図３Ａはマイクからの音声信号の一例を示す図、図３Ｂは、近距離無線通信で受信した音声信号の一例を示す図である。図３Ａ及び図３Ｂにおいて、縦軸は、音の強さ（単位：ｄｂ）を表している。横軸は、時間を表している。すなわち、図３Ａ及び図３Ｂでは、音の強さの時間変化が表されている。なお、図３に示す音声信号は一例であって、斯かる音声信号に本開示の範囲が限定されるものではない。 Next, referring to FIG. FIG. 3A is a diagram illustrating an example of an audio signal from a microphone, and FIG. 3B is a diagram illustrating an example of an audio signal received by short-range wireless communication. 3A and 3B, the vertical axis represents the sound intensity (unit: db). The horizontal axis represents time. That is, in FIG. 3A and FIG. 3B, the time change of the sound intensity is represented. Note that the audio signal illustrated in FIG. 3 is an example, and the scope of the present disclosure is not limited to such an audio signal.
図３Ａに示す音声信号２０は、例えば既述のマイク１２からの入力音声信号に対応する。音声区間２３、２５には話者ＳＰ１の音声が取り込まれている。音声区間２２、２４には話者ＳＰ２の音声が取り込まれている。話者ＳＰ１の音声がマイク１２に直接取り込まれるのに対し、話者ＳＰ２の音声は、周囲に拡散した音声の一部が取り込まれる。よって、音声信号２０では、話者ＳＰ１の音声は話者ＳＰ２の音声より高い強度を示している。話者ＳＰ２の音声は、処理部４又は通信装置２における音声通信において不要な音声、即ち不要音であって、抑制の対象となる音声である。なお、音声区間２１、２２、２３、２４、２５には、話者ＳＰ２の音声以外の環境音が含まれている。
The
図３Ｂに示す音声信号３０は、通信装置１４からの音声信号を表している。音声区間３２、３４には話者ＳＰ２の音声が取り込まれている。音声区間３１、３３、３５では、話者ＳＰ２による発声がなく、音声が全くもしくはほとんど取り込まれていない区間になっている。音声区間２２の波形は、音声区間３２の波形に対応しており、マイク１２及び通信装置１４が同一の音声を取り込んでいることを表している。音声区間２４の波形は、音声区間３４の波形に対応しており、マイク１２及び通信装置１４が同一の音声を取り込んでいることを表している。信号処理に時間を必要とするため、音声区間３２の波形及び音声区間３４の波形は、それぞれ音声区間２２の波形及び音声区間２４の波形から時間ΔＤほど遅れて発生している。
An
次に音声の位相反転及び合成について図４を参照する。図４Ａはマイクからの音声信号の一例を示す図、図４Ｂは、近距離無線通信で受信した音声信号の一例を示す図、図４Ｃは、図４Ｂに示す音声信号を逆位相にした図、図４Ｄは、合成された音声の出力信号の一例を示す図である。縦軸は、音の強さ（単位：ｄｂ）を表している。横軸は、時間を表している。なお、図４に示す位相反転及び合成は一例であって、斯かる位相反転及び合成に本開示の範囲が限定されるものではない。 Next, FIG. 4 will be referred to regarding the phase inversion and synthesis of speech. 4A shows an example of an audio signal from a microphone, FIG. 4B shows an example of an audio signal received by short-range wireless communication, FIG. 4C shows an audio signal shown in FIG. 4B in reverse phase, FIG. 4D is a diagram illustrating an example of an output signal of synthesized speech. The vertical axis represents the sound intensity (unit: db). The horizontal axis represents time. Note that the phase inversion and synthesis illustrated in FIG. 4 are examples, and the scope of the present disclosure is not limited to such phase inversion and synthesis.
図４Ａに示す音声信号２０及び図４Ｂに示す音声信号３０は、それぞれ図３Ａに示す音声信号２０及び図３Ｂに示す音声信号３０と同様である。図４に示す例では、話者ＳＰ２の音声の抑制には、通信装置１４からの音声信号の位相を１８０［度］反転させた逆位相信号を用いる。この逆位相信号は、信号相殺部１０が備える逆位相生成機能により、通信装置１４からの音声信号から生成される。この逆位相信号も音声信号であって、例えば逆位相音声を示している。
The
図４Ｃに示す逆位相信号３７は、図４Ｂに示す音声信号の逆位相信号である。
The
図４Ｄに示す出力信号４０は、図４Ａに示すマイク１２からの音声信号２０と、図４Ｃに示す逆位相信号３７を合成することで得られる。これらの信号を合成する際、例えばマイク１２からの音声信号２０の位相が調整される。位相は、例えば、音声区間２２と音声区間３２が一致し、音声区間２４と音声区間３４が一致するように、マイク１２からの音声信号を時間的に遅延させることで調整される。音声区間４１から音声区間４５は、それぞれ音声区間２１から音声区間２５に対応する。音声区間４２、４４では、話者ＳＰ２の音声が逆位相信号３７によりフィルタリングされて抑制される。よって、話者ＳＰ２の発生した音声を認識することができなくできる。位相の調整は、音声信号２０の位相を調整しながら話者ＳＰ２の音声が最も消音になるように、位相にフィードバックをかけるので、安定して話者ＳＰ２の音声を抑制できる。
The
次に、音声の抑制処理について図５を参照する。図５は、音声の抑制処理の一例を示すフローチャートである。なお、図５に示す処理手順は一例であって、斯かる処理手順に本開示の範囲が限定されるものではない。この処理手順は本開示の信号処理プログラム、信号処理方法の一例であって、本開示の通信装置２がこの処理又は方法を実行する。
Next, FIG. 5 is referred to regarding the voice suppression processing. FIG. 5 is a flowchart illustrating an example of a voice suppression process. Note that the processing procedure illustrated in FIG. 5 is an example, and the scope of the present disclosure is not limited to such a processing procedure. This processing procedure is an example of the signal processing program and the signal processing method of the present disclosure, and the
この抑制処理は、音声通話の開始を契機として、例えば処理部４が実行する。
This suppression process is executed by, for example, the
通信装置２が通話等の音声通信を開始すると、処理部４は、周囲に通信装置１４が存在するかを確認する（Ｓ１）。この確認は、例えば、通信部６を用いて近距離無線通信により行う。近距離無線通信が可能な近距離範囲に通信装置１４が存在しない場合、通信装置１４なしと判断し（Ｓ１のＮＯ）、この処理手順を終了する。近距離範囲に通信装置１４が存在する場合、通信装置１４ありと判断し（Ｓ１のＹＥＳ）、この通信装置１４が音声通話中かを判断する（Ｓ２）。音声通話中でない場合、（Ｓ２のＮＯ）、この処理手順を終了する。音声通話中である場合（Ｓ２のＹＥＳ）、処理部４と通信装置１４の間で近距離無線通信を開始する（Ｓ３）。近距離無線通信が開始されると、通信部６により通信装置１４から音声信号が受信される（Ｓ４）。信号相殺部１０は、取得した音声信号の逆位相信号と、マイク１２から入力される音声信号との間で位相を調整し、これらの信号を合成して信号を相殺する（Ｓ５）。
When the
処理部４は、近距離無線通信により周囲の通信装置１４から周囲の通信装置１４に対する話者ＳＰ２の音声信号を取得し、取得した音声信号に基づきマイク１２が取り込んだ話者ＳＰ２の音声を抑制することができる。これにより、通信装置２の通信の際に話者ＳＰ２の音声が話者ＳＰ１の通信相手ＣＰ１に伝達されることが抑制される。すなわち、この抑制により、話者ＳＰ２が発した音声情報が通信相手ＣＰ１に漏洩することが防止される。例えば、携帯電話で通話中に、マイク１２を通して入力される周囲の携帯電話の音声を消音又は抑制する目的で、処理部４が携帯電話に搭載される。処理部４は、周囲の携帯電話から入力される音声を近距離無線通信により受信する。また、処理部４は、周囲の携帯電話から入力される音声の逆位相をとるとともに、この音声の逆位相を信号相殺部１０によりマイク１２から入力された周囲の音声と合成し、周囲音声が消音又は抑制するように、合成位相を調整する。この調整により、携帯電話における通信において、通信相手に周囲の話者が話した情報が漏洩することが抑制される。
The
処理部４は、周囲の通信装置１４に対する話者ＳＰ２の音声信号を近距離無線通信で受信するので、音声信号を受信できる方位が広く、効率的に音声信号を受信することができる。また、話者ＳＰ２の直接的な音声を受信し、この音声を話者ＳＰ２の音声信号により抑制するので、話者ＳＰ２の音声を効率的に抑制できる。
Since the
〔第２の実施の形態〕
図６は第２の実施の形態に係る通信装置を示している。図７は、音声抑制機能を示している。図６及び図７に示す構成又は機能は一例であって、斯かる構成又は機能に本開示の通信装置、信号処理プログラム、信号処理方法および通信システムが限定されるものではない。図１及び図２と同一部分には同一符号を付してある。
[Second Embodiment]
FIG. 6 shows a communication apparatus according to the second embodiment. FIG. 7 shows the voice suppression function. The configuration or function illustrated in FIGS. 6 and 7 is an example, and the communication device, the signal processing program, the signal processing method, and the communication system of the present disclosure are not limited to such configuration or function. The same parts as those in FIGS. 1 and 2 are denoted by the same reference numerals.
図６に示す通信装置２は、例えば、携帯電話や固定電話等の電話装置、携帯情報端末又はＰＣであって、音声による通信機能を有している。
The
記憶部１０２は、記憶手段の一例であって、例えば、ＲＯＭ（Read Only Memory）１０４及びＲＡＭ（Random Access Memory）１０６を含む。ＲＯＭ１０４は、不揮発性のメモリであって、例えばフラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）等で構成する。ＲＯＭ１０４は、ＯＳ（Operating System）や各種プログラムを記憶するほか、各種のデータの記憶に用いられる。ＲＡＭ１０６は、高速なアクセスが可能なメモリであって、例えばデータの一時的記憶に用いられる。
The
プロセッサ１０８は、通信装置２を制御する制御手段の一例であり、記憶部１０２に記憶されているＯＳや各種プログラムを実行し、無線通信機能１３２（図７）、逆位相音声通信機能１３４（図７）、及びキーの入力処理機能等の機能を構成する。プロセッサ１０８は、ＤＳＰ（Digital signal Processor）１１０を伴って、例えば、音声の入力制御機能及び音声の出力制御機能等の音声通話に関連する制御を行う。即ち、プロセッサ１０８及びＤＳＰ１１０は、例えば既述の処理部４を構成し、音声の抑制を行う。なお、無線通信機能１３２は、通信手段の一例であり、無線通信部を構成し、例えば、無線通信により、通信先と通信を行う。無線通信機能１３２は、無線通信により合成された出力音声を通信先に送信する。逆位相音声通信機能１３４は、音声信号を通信する音声通信機能又は音声通信手段の一例であって、例えば、逆位相にするための音声信号を周囲の通信装置から受信するための制御を行う。
The
ＤＳＰ１１０は、音声の抑制を制御する制御手段の一例である。ＤＳＰ１１０は、例えば、ディジタル信号を処理するマイクロプロセッサにより構成し、ディジタル信号を高速に処理する。ＤＳＰ１１０は、逆位相信号の生成及び音声信号の位相調整等の処理を行う。
The
オーディオコーデック１１２は、信号をディジタル化又はアナログ化し、ディジタル信号を圧縮又は伸張する信号変換手段の一例である。オーディオコーデック１１２は、マイク１２から入力されたアナログの音声信号をディジタルの音声信号に変換し、ディジタルの音声信号を圧縮して、圧縮された音声データをＤＳＰ１１０に出力する。また、オーディオコーデック１１２は、圧縮された音声データをＤＳＰ１１０から受け、この音声データを伸長して、圧縮されていない音声信号に変換する。オーディオコーデック１１２は、伸長された音声信号をアナログ化し、アナログの音声信号を出力する。オーディオコーデック１１２により圧縮された音声データは、例えば無線通信又は近距離無線通信に用いられる。オーディオコーデック１１２から出力されるアナログの音声信号は、例えば、増幅器１１４により増幅された後、スピーカ１１６から音声として出力される。オーディオコーデック１１２は、例えば、ディジタル・シグナル・プロセッサにより構成する。この場合、ＤＳＰ１１０がオーディオコーデック１１２を含んで構成されてもよい。ＤＳＰ１１０とオーディオコーデック１１２は、ＤＳＰ１１０とオーディオコーデック１１２の間で信号を行き来させて、音声信号を処理する。
The
近距離無線通信Ｉ／Ｆ（interface）１１８は、近距離無線通信用のインタフェースであって、例えば、近距離無線通信用のアンテナ１２０に接続して、アンテナ１２０を介して近距離無線通信を行う。近距離無線通信には、Bluetooth（登録商標）規格に準拠した通信、Ｗｉ−Ｆｉ規格に準拠した通信及び赤外線通信等がある。
The short-range wireless communication I / F (interface) 118 is an interface for short-range wireless communication. For example, the short-range wireless communication I / F (interface) 118 is connected to the
無線通信Ｉ／Ｆ（interface）１２２は、無線通信用のインタフェースであって、例えば、無線通信用のアンテナ１２４に接続して、アンテナ１２４を介して無線通信を行う。この無線通信は、例えば、無線通信基地局を介した無線通信である。なお、近距離を越えた場所に存在する通信相手に音声通信できれば良く、例えば近距離無線通信により近距離に配置された親機等に無線通信し、親機が有線又は無線で通信する構成であってもよい。
The wireless communication I / F (interface) 122 is an interface for wireless communication, and is connected to the
キー入力部１２６は、操作に応じてデータを生成するデータ生成手段の一例であり、例えば、操作入力キー、キーボード又はタッチパネルで構成する。また、キー入力部１２６は、例えば、キーを表示した画面と、マウスや移動キー等のポインティング・デバイスとを含んで構成し、ポインティング・デバイスを操作して画面のキーを選択して、データを生成するようにする。キー入力部１２６の操作により、キー入力部１２６が入力情報を生成する。
The
表示部１２８は、情報を表示する表示手段の一例であって、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等の各種ディスプレイ装置で構成され、文字、数字、記号及び記号列等を表示する。
The
次に、処理部の音声抑制機能について、図７を参照する。 Next, FIG. 7 is referred about the audio | voice suppression function of a process part.
近距離無線通信機能１２９は、通信部６の一例である。近距離無線通信機能１２９は、例えば近距離無線通信により、他の通信装置と通信を行う。近距離無線通信機能１２９は、通信装置２から近距離の範囲にある通信装置１４を検出し、通信装置１４に接続し、通信装置１４から音声信号を取得する。近距離無線通信機能１２９は、取得した音声信号に基づき、通信装置１４からの音声を逆位相生成機能１３０に出力する。
The short-range
逆位相生成機能１３０は、入力される信号の位相を反転させる位相反転手段の一例であり、位相反転部を構成する。逆位相生成機能１３０では、入力された信号の逆位相信号が生成される。即ち、逆位相生成機能１３０は、入力された信号の逆位相信号を生成する逆位相生成手段でもあり、逆位相生成部を構成し、例えば逆位相生成回路により構成される。逆位相生成機能１３０は、例えば、信号の位相を１８０［度］反転させて、逆位相の信号を生成する。逆位相生成機能１３０は通信装置１４からの音声信号を近距離無線通信機能１２９から受信し、通信装置１４からの音声信号の位相を１８０［度］反転させ、逆位相信号を生成する。逆位相生成機能１３０は、この逆位相信号を、音位相調整機能１３１に出力する。逆位相生成機能１３０は、音位相調整機能１３１とともに、既述の信号相殺部１０を構成する。なお、逆位相信号は、逆位相生成機能１３０が受信した音声信号に対して位相が１８０［度］反転している音声信号であり、例えば、逆位相音声を表している。
The inverse
音位相調整機能１３１は、位相遅延機能１３６と、位相合成機能１３８と、レベル測定機能１４０を含む。音位相調整機能１３１は、マイク１２から出力される出力信号に含まれる他の通信装置１４側の音声を、逆位相信号を用いて打ち消し、減少させ、相殺する。
The sound
位相遅延機能１３６は、音声信号を遅延させる遅延手段の一例であり、例えば位相遅延回路により構成される。位相遅延機能１３６は、マイク１２からの入力音声信号を受信し、レベル測定機能１４０から信号を遅延させる量を表す遅延設定値ＤＶを受ける。位相遅延機能１３６は、この遅延設定値ＤＶに基づき入力音声信号を遅延させる。なお、遅延設定値ＤＶは変数であり、マイク１２からの入力音声信号に対する逆位相信号の遅延時間ΔＤに応じて調整される。この遅延設定値ＤＶはマイク１２からの入力音声信号を遅延させる際の係数として用いられる。
The
位相合成機能１３８は、信号を合成する合成手段の一例であり、例えば合成回路により構成される。位相合成機能１３８は、逆位相生成機能１３０により生成した逆位相信号を位相遅延機能１３６により遅延されたマイク１２からの入力音声信号に合成する。
The
レベル測定機能１４０は、音声信号のレベルを測定する測定手段の一例であり、例えば、レベル測定回路により構成される。レベル測定機能１４０は、位相合成機能１３８から出力される合成された音声信号の音量レベルを測定して、この音量が減少するように遅延設定値ＤＶを調整する。
The
次に音声信号及び逆位相信号について図８を参照する。図８Ａはマイクからの音声信号の一例を示す図、図８Ｂは、近距離無線通信で受信した音声信号の一例を示す図、図８Ｃは、近距離無線通信で受信した音声信号の逆位相信号一例を示す図である。縦軸は、音の強さ（単位：ｄｂ）を表している。横軸は、時間を表している。すなわち、図８Ａ、図８Ｂ及び図８Ｃでは、音の強さの時間変化が表されている。なお、図３に示す音声信号及び逆位相信号は一例であって、斯かる音声信号及び逆位相信号に本開示の通信装置、信号処理プログラム、信号処理方法および通信システムが限定されるものではない。図３及び図４と同一部分には同一符号を付してある。 Next, FIG. 8 is referred with respect to an audio | voice signal and an antiphase signal. 8A is a diagram illustrating an example of an audio signal from a microphone, FIG. 8B is a diagram illustrating an example of an audio signal received by short-range wireless communication, and FIG. 8C is an antiphase signal of the audio signal received by short-range wireless communication. It is a figure which shows an example. The vertical axis represents the sound intensity (unit: db). The horizontal axis represents time. That is, in FIG. 8A, FIG. 8B, and FIG. 8C, the time change of the sound intensity is represented. Note that the audio signal and the antiphase signal shown in FIG. 3 are examples, and the communication device, the signal processing program, the signal processing method, and the communication system of the present disclosure are not limited to the audio signal and the antiphase signal. . The same parts as those in FIGS. 3 and 4 are denoted by the same reference numerals.
図８Ａに示す音声信号２０、図８Ｂに示す音声信号３０及び図８Ｃに示す逆位相信号３７は、それぞれ図３Ａ（図４Ａ）に示す音声信号２０、図３Ｂ（図４Ｂ）に示す音声信号３０及び図４Ｃに示す逆位相信号３７と同様である。図８Ｂに示す信号の位相の反転は、例えば、ＤＳＰ１１０により高速に処理される。このため、位相を反転させる処理による遅延は時間ΔＤに対して十分に小さく、無視されている。よって、図８Ａに示すマイクからの音声信号２０と図８Ｃに示す逆位相信号３７を合成する場合、遅延設定値ＤＶとして、時間ΔＤを設定して、マイク１２からの音声信号２０を遅延させる。
The
図９に示す音位相調整機能１３１には、図８Ａに示すマイク１２からの音声信号２０と、図８Ｃに示す逆位相信号３７とが入力されている。この場合、音声信号２０は、位相遅延機能１３６により遅延され、位相合成機能１３８により、逆位相信号３７と合成される。レベル測定機能１４０は、合成された合成信号の音量が一番小さな音量になるように遅延設定値ＤＶを調整して、遅延設定値ＤＶとして値ΔＤを得る。レベル測定機能１４０は、得られた値ΔＤを位相遅延機能１３６にフィードバックする。遅延設定値ＤＶは、例えば、初回において、遅延時間ΔＤを複数回サンプリングしてその平均値を遅延時間の推定平均値ΔＤに設定する。推定平均値を設定した後、遅延時間ΔＤのサンプリングを継続して、遅延時間ΔＤを更新していく。この更新により、遅延時間ΔＤがフィードバックされる。
The sound
図１０に示すグラフの曲線１４２は、合成信号の音量と遅延設定値との関係の一例を示している。曲線１４２では、遅延設定値が位相ΔＤに相当する時間において合成信号の音量が最小値となり位相ΔＤに相当する時間より離れるにつれて、合成信号の音量が増加している。位相ΔＤに相当する時間では、逆位相信号３７がより多くの音声を打ち消し、合成信号の音量が最小値となっている。よって、遅延設定値をΔＤにすると、近距離無線通信により音声信号を提供している提供元の通信装置に向かって話をしている話者の音声を抑制することができる。
A
次に、音声の抑制処理について図１１及び図１２を参照する。図１１は通信システムの一例を示している。図１２は、音声の抑制処理のフローチャートの一例である。なお、図１１に示すシステム及び図１２に示す処理手順は一例であって、斯かるシステム及び処理手順に本開示の通信装置、信号処理プログラム、信号処理方法および通信システムが限定されるものではない。図１２に示す処理手順は本開示の信号処理プログラム及び信号処理方法の一例であって、本開示の処理部４又は通信装置２の逆位相音声通信機能１３４が実行する。図１及び図２と同一部分には同一符号を付してある。
Next, referring to FIG. 11 and FIG. FIG. 11 shows an example of a communication system. FIG. 12 is an example of a flowchart of a voice suppression process. The system illustrated in FIG. 11 and the processing procedure illustrated in FIG. 12 are examples, and the communication device, the signal processing program, the signal processing method, and the communication system of the present disclosure are not limited to the system and the processing procedure. . The processing procedure illustrated in FIG. 12 is an example of the signal processing program and the signal processing method of the present disclosure, and is executed by the
図１１に示す通信装置２の周囲には、複数の通信装置として例えば携帯電話１５２−１、１５２−２、・・・、１５２−Ｎが存在している（以下、一つ又は一部の携帯電話を示す場合を含め、「携帯電話１５２」と表す）。この場合において、逆位相音声通信機能１３４は、通話の開始を契機にして、周囲の携帯電話１５２を近距離無線通信によりサーチを行う。周囲に携帯電話１５２が存在した場合、この周囲の携帯電話１５２と近距離無線通信を開始する。逆位相音声通信機能１３４は、近距離無線通信先の携帯電話１５２に対して端末通話状態の問い合わせを送信する。この端末通話状態の問い合わせは、例えば通話中かを問い合わせる問い合わせ又は待ち受けかを問い合わせる問い合わせである。周囲の携帯電話１５２が通話中である場合、逆位相通信を行う。即ち、逆位相にするための音声信号を受信する。なお、各携帯電話１５２は通信装置１４の一例であり、通信部１６を含む処理部１７−１、１７−２、・・・、１７−３及びマイク１８−１、１８−２、・・・、１８−Ｎ（以下、一つ又は一部のマイクを示す場合を含め、「マイク１８」と表す）を含む。
Around the
近距離無線通信によるサーチの結果、複数の近距離通信要求の返答を受信した場合、逆位相音声通信機能１３４は、例えば全ての携帯電話１５２との間に同時に又は順次に近距離通信を確立させる。逆位相音声通信機能１３４は、複数の携帯電話１５２におけるマイク１８の入力レベルを携帯電話１５２から受け取る。この入力レベルは、例えば、入力レベルの過去の平均値である。逆位相音声通信機能１３４は一番大きい入力レベルをもつ携帯電話１５２から順に、携帯電話１５２に関連する不要音のレベルが所定の閾値ＴＬ（図８Ａ）を超えているかを判定する。逆位相音声通信機能１３４は、不要音のレベルが閾値ＴＬを超えていたら逆位相通信を行い、超えていなかったら次に大きい入力レベルを持つ携帯電話１５２に関連する不要音のレベルが閾値ＴＬを超えているかを判定する。斯かる手順が繰り返される。
When a plurality of short-range communication request responses are received as a result of the search by short-range wireless communication, the antiphase
図１２に示す音声抑制の処理手順では、周囲の通信装置１４として、端末の一形態である携帯電話１５２を例示し、近距離無線通信としてＢＴ通信（Bluetooth（登録商標）通信）を例示している。処理部４を搭載した通信装置２において通話を開始すると（Ｓ１０１）、逆位相音声通信機能１３４は不要音があるかを確認する（Ｓ１０２）。不要音の確認は、例えば、マイク１２が取り込んだ音声の波形から判断する。マイク１２からの音声では、通信装置２に対する話者ＳＰ１の音声とその他の音声の間に強度の差があるので、例えば、通信装置２に対する話者ＳＰ１の音声に比べて低い強度の音声の有無により不要音の有無を判断する。この場合、不要音が話者ＳＰ２の音声によるものか、それ以外の環境音によるものかを例えば不要音の波形から判断し、話者ＳＰ２の音声による場合に、不要音ありと判断してもよい。不要音がない場合（Ｓ１０２のＮＯ）、確認を繰り返し、不要音がある場合（Ｓ１０２のＹＥＳ）、処理部４又は通信装置２の周囲に携帯電話１５２があるかを確認する（Ｓ１０３）。周囲に携帯電話１５２がない場合（Ｓ１０３のＮＯ）、不要音があるかの確認（Ｓ１０２）及び周囲に携帯電話１５２があるかの確認（Ｓ１０３）を繰り返す。周囲に携帯電話１５２がある場合（Ｓ１０３のＹＥＳ）、確認された携帯電話１５２にＢＴ通信を要求する（Ｓ１０４）。ＢＴ通信が確立したかを確認し（Ｓ１０５）、ＢＴ通信が確立しない場合（Ｓ１０５のＮＯ）、ＢＴ通信の確立の確認を繰り返す。ＢＴ通信が確立すると（Ｓ１０５のＹＥＳ）、ＢＴ通信先の携帯電話１５２に端末通話状態を問い合わせる（Ｓ１０６）。この問い合わせに基づいて、逆位相音声通信機能１３４は、ＢＴ通信先の携帯電話１５２が音声通話中かを判断する（Ｓ１０７）。ＢＴ通信先の携帯電話１５２が音声通話中である場合（Ｓ１０７のＹＥＳ）、不要音のレベルが閾値ＴＬを超えているかを確認する（Ｓ１０８）。なお、ＢＴ通信先の携帯電話１５２が音声通話中でない場合（Ｓ１０７のＮＯ）、ＢＴ通信先の携帯電話１５２に対して音声通話のための音声入力がないので、不要音の確認（Ｓ１０２）に戻って処理を繰り返す。複数のＢＴ通信先の携帯電話１５２が存在する場合、例えば複数の携帯電話１５２におけるマイク１８の入力レベルを受信及び確認し、大きい入力レベルの携帯電話１５２から順に、不要音のレベルが閾値ＴＬを超えているかを確認する。不要音のレベルが閾値ＴＬを超えている場合（Ｓ１０８のＹＥＳ）、逆位相通信を行い（Ｓ１０９）、処理を終了する。なお、不要音のレベルが閾値ＴＬを超えていない場合（Ｓ１０８のＮＯ）、不要音のレベルの確認を繰り返す。
In the voice suppression processing procedure shown in FIG. 12, a
図１３に示す逆位相通信の処理手順は、図１２に示す逆位相通信（Ｓ１０９）のサブルーチンである。この逆位相通信の処理手順では、逆位相音声通信機能１３４は、ＢＴ通信先の通話中の携帯電話１５２に「逆位相通信開始」を通知する（Ｓ１２１）。この通知により、ＢＴ通信先の携帯電話１５２のマイク音声が近距離無線通信を介してＢＴ通信先の携帯電話１５２から受信される。逆位相音声通信機能１３４は、逆位相生成機能１３０を起動し（Ｓ１２２）、音位相調整機能１３１を起動し（Ｓ１２３）、近距離無線通信機能１２９を介してＢＴ通信先の携帯電話１５２のマイク音声信号の受信を開始する（Ｓ１２４）。マイク音声信号の受信は、通信装置２の通話の間継続する。通話が終了すると、逆位相音声通信機能１３４は、逆位相通信の処理からリターンして、音声抑制の処理を終了する。
The processing procedure of the reverse phase communication shown in FIG. 13 is a subroutine of the reverse phase communication (S109) shown in FIG. In the processing procedure of the reverse phase communication, the reverse phase
逆位相生成機能１３０及び音位相調整機能１３１が起動した後、逆位相生成機能１３０は近距離無線通信機能１２９が取得した音声信号から逆位相信号を生成する。音位相調整機能１３１は位相を調整し、信号を合成する。近距離無線通信機能１２９、逆位相生成機能１３０及び音位相調整機能１３１による処理は、通信装置２の通話の間継続する。
After the reverse
次に位相調整について図１４を参照する。図１４は音位相調整の処理手順の一例を示すフローチャートである。この処理手順では、遅延設定値ＤＶを調整して決定する。この処理手順では、音位相調整機能１３１は、マイク１２からの入力音声信号の位相をずらしながらマイク１２からの入力音声信号と逆位相信号とを合成し、合成された音声の出力信号を得る。音位相調整機能１３１は、この合成された音声の出力信号の音量が最も小さい音量になるように遅延設定値ＤＶを調整する。
Next, FIG. 14 will be referred to regarding phase adjustment. FIG. 14 is a flowchart showing an example of a sound phase adjustment processing procedure. In this processing procedure, the delay set value DV is adjusted and determined. In this processing procedure, the sound
音位相調整機能１３１は、初期状態として遅延設定値ＤＶを０［ミリ秒（msec）］に設定し（Ｓ１４１）、位相０の音量レベルを測定する（Ｓ１４２）。音位相調整機能１３１は、遅延設定値ＤＶに１［msec］加算して、遅延設定値ＤＶ＝ＤＶ＋１［msec］に変更し（Ｓ１４３）、ＤＶ＋１［msec］の音量レベルを測定する（Ｓ１４２）。そして、音量レベルが減少したかを判断し（Ｓ１４５）、減少した場合（Ｓ１４５のＹＥＳ）、遅延設定値ＤＶの変更（Ｓ１４３）、変更後の遅延設定値ＤＶの音量レベルの測定（Ｓ１４４）及び減少したかの判断（Ｓ１４５）を繰り返す。音量レベルが減少しない場合（Ｓ１４５のＮＯ）、即ち、音量レベルが同一又は増加した場合、音位相調整機能１３１は、遅延設定値ＤＶを１［msec］減算して、遅延設定値ＤＶ＝ＤＶ−１［msec］に変更し、遅延設定値ＤＶを決定する。そして、音位相調整処理を終了する。
The sound
音声の出力信号の音量レベルが、図１５に示す曲線１４２のように変化する場合、遅延設定値ＤＶが位相０の位置から増加するにつれて、合成信号の音量レベルが減少する。遅延設定値ＤＶが位相ΔＤに相当する時間になると、音量レベルが増加に転じる。よって、遅延設定値ＤＶが遅延設定値ＤＶ＝ΔＤに調整される。
When the volume level of the audio output signal changes as shown by a
次にＢＴ通信先の携帯電話の処理手順について図１６を参照する。図１６はＢＴ通信先の携帯電話の処理手順の一例を示すフローチャートである。この処理手順は、ＢＴ通信先の携帯電話１５２のプロセッサとして例えば処理部１７が実行する。ＢＴ通信先の携帯電話１５２のプロセッサが処理部４及び通信装置２と同様の逆位相音声通信機能を備えて、この逆位相音声通信機能がこの処理手順を行ってもよい。携帯電話１５２のプロセッサ又は逆位相音声通信機能は、ＢＴ通信先の装置である通信装置２より「端末通話状態問合せ」要求を受信した場合、端末通話状態として「通話中」を応答する。そして、ＢＴ通信先の通信装置２より「逆位相通信開始」通知を受信した場合、「逆位相生成部」「音位相調整部」を起動した後、マイク音声をＢＴ通信先に転送開始する。
Next, FIG. 16 is referred with respect to the processing procedure of the mobile phone of the BT communication destination. FIG. 16 is a flowchart showing an example of the processing procedure of the mobile phone of the BT communication destination. This processing procedure is executed by, for example, the
ＢＴ通信先の携帯電話１５２は、通話中であるか否かを判断し（Ｓ１６１）、通話中でない場合（Ｓ１６１のＮＯ）、確認を繰り返す。通話中であって（Ｓ１６１のＹＥＳ）、「端末通話状態問い合わせ」がない場合（Ｓ１６２のＮＯ）、「逆位相通信開始」通知（Ｓ１６４）もないので、「端末通話状態問い合わせ」の確認（Ｓ１６２）を繰り返す。「端末通話状態問い合わせ」がある場合（Ｓ１６２のＹＥＳ）、ＢＴ通信先の装置に端末通話状態として「通話中」を応答する（Ｓ１６３）。「逆位相通信開始」通知があると（Ｓ１６４のＹＥＳ）、マイク音声をＢＴ通信先の通信装置２に転送を開始して（Ｓ１６５）。処理を終了する。これによりＢＴ通信先の装置である処理部４又は通信装置２は、近距離無線通信により携帯電話１５２のマイク１８に入力される音声信号を受信することになる。
The
次に、音声の抑制処理のシーケンスについて図１７を参照する。図１７は、音声の抑制処理シーケンスの一例を示す図である。図１７に示すシーケンス図は、一例であって、斯かるシーケンスに本開示の通信装置、信号処理プログラム、信号処理方法および通信システムが限定されるものではない。 Next, FIG. 17 is referred to regarding the sequence of the voice suppression process. FIG. 17 is a diagram illustrating an example of a speech suppression processing sequence. The sequence diagram illustrated in FIG. 17 is an example, and the communication device, the signal processing program, the signal processing method, and the communication system of the present disclosure are not limited to such a sequence.
図１７に示す通信装置２は、例えば話者ＳＰ１が使用している携帯電話である。また、図１７に示す携帯電話１５２は、話者ＳＰ２が使用している携帯電話であって、例えば通信装置２と同様の構成を備えている。携帯電話１５２は、マイク１８と、近距離無線通信機能１５６と、逆位相生成機能１５８と、音位相調整機能１６０と、逆位相音声通信機能１６２を備えている。なお、近距離無線通信機能１５６は、通信部１６の一例である。話者ＳＰ１は、例えば、通信装置２を使用して音声通信をしているオペレータであり、話者ＳＰ２は、例えば、携帯電話１５２を使用して音声通信をしているオペレータである。
The
通信装置２では、通話を開始すると（Ｓ２０１）、逆位相音声通信機能１３４は不要音があるかを確認する（Ｓ２０２）。不要音がない場合（Ｓ２０２のＮＯ）、確認を繰り返し、不要音がある場合（Ｓ２０２のＹＥＳ）、周囲の携帯電話１５２をサーチする（Ｓ２０３）。逆位相音声通信機能１３４は、確認された携帯電話１５２にＢＴ通信を要求するため、近距離無線通信機能１２９にＢＴ通信確立要求を送信する（Ｓ２０４）。近距離無線通信機能１２９は、携帯電話１５２の近距離無線通信機能１５６にＢＴ通信要求を送信する（Ｓ２０５）。ＢＴ通信要求の送信により近距離無線通信機能１２９と近距離無線通信機能１５６の間にＢＴ通信が確立する（Ｓ２０６）。
In the
ＢＴ通信が確立されると、逆位相音声通信機能１３４は携帯電話１５２の逆位相音声通信機能１６２に端末通話状態を問い合わせる（Ｓ２０７）。この問い合わせに対し、逆位相音声通信機能１６２は、通信装置２の逆位相音声通信機能１３４に端末通話状態として「通話中」を応答する（Ｓ２０８）。この応答に基づいて、逆位相音声通信機能１３４は、携帯電話１５２が音声通話中かを判断する（Ｓ２０９）。携帯電話１５２が音声通話中である場合（Ｓ２０９のＹＥＳ）、不要音のレベルが閾値ＴＬを超えているかを確認する（Ｓ２１０）。なお、携帯電話１５２が音声通話中でない場合（Ｓ２０９のＮＯ）、不要音の確認（Ｓ２０２）に戻って処理を繰り返す。不要音のレベルが閾値ＴＬを超えている場合（Ｓ２１０のＹＥＳ）、逆位相通信開始通知を逆位相音声通信機能１６２に送信する（Ｓ２１１）。そして、逆位相音声通信機能１３４は、音位相調整機能１３１を起動し（Ｓ２１２）、逆位相生成機能１３０を起動する（Ｓ２１３）。携帯電話１５２では、マイク１８に入力された話者ＳＰ２の音声が、マイク１８から近距離無線通信機能１５６に送信される（Ｓ２１４）。近距離無線通信機能１５６は、ＢＴ通信により、近距離無線通信機能１２９に話者ＳＰ２の音声信号を送信する（Ｓ２１５）。近距離無線通信機能１２９は、話者ＳＰ２の音声信号を逆位相生成機能１３０に送信する（Ｓ２１６）。逆位相生成機能１３０は、受信した話者ＳＰ２の音声信号を、逆位相にして、話者ＳＰ２の音声信号の逆位相信号を生成して、音位相調整機能１３１へ送信する（Ｓ２１７）。音位相調整機能１３１は、音位相調整により逆位相の音声を減衰させる（Ｓ２１８）。なお、不要音のレベルが閾値ＴＬを超えていない場合（Ｓ２１０のＮＯ）、不要音のレベルの確認を繰り返す。
When BT communication is established, the reverse phase
上記した第２の実施の形態について、特徴事項、利点又は変形例等を列挙する。 With respect to the second embodiment described above, features, advantages, modifications, and the like are listed.
(1) 通信装置２は、近距離無線通信を介して通信装置１４から話者ＳＰ２の音声信号を取得し、取得した音声信号に基づきマイク１２が取り込んだ話者ＳＰ２の音声を抑制する。よって、通信装置２では、音声通信の際、話者ＳＰ２の音声が話者ＳＰ１の通信相手に伝達されることが抑制される。話者ＳＰ２が発した音声情報が話者ＳＰ１の通信相手に漏洩することが抑制される。
(1) The
(2) また、マイク１２が取り込んだ音声が、不要音を含んでいるか否かを近距離通信前に判断するので、不要音がない場合に近距離通信を行うことが抑制され、近距離通信による処理部４又は通信装置２への負荷軽減及び電力消費を軽減することができる。
(2) In addition, since it is determined before short-range communication whether or not the voice captured by the
(3) 通信装置２の周辺に複数の携帯電話１５２が存在する場合、一番大きい入力レベルをもつ携帯電話１５２から順に、不要音のレベルを判断するので、周囲の話者の音声の抑制を効率的に行うことができる。
(3) When there are a plurality of
〔第３の実施の形態〕
第３の実施の形態では、音位相調整機能１３１が既述の位相の調整を行うとともに、マイクからの入力音声信号と、周囲の通信装置からの音声信号との合成比率を調整する。即ち、音位相調整機能１３１は、周囲の話者の音声を除去するように少なくともマイクからの入力音声信号及び周囲の通信装置からの音声信号のいずれかの音の強さを調整して、これらの音声信号を合成する。位相調整とともに音の強さを調整することにより、周囲の話者の音声の抑制を高めることができる。その他の構成は第１の実施の形態又は第２の実施の形態と同様であるのでその説明を省略する。
[Third Embodiment]
In the third embodiment, the sound
遅延設定値と音声の合成比率について図１８を参照する。図１８は、音声の時間経過に対する振幅の変化の一例を示す図である。図１８Ａは、通信装置２のマイク１２に入力される音声の時間経過に対する変化を示している。図１８Ｂは、携帯電話１５２のマイク１８に入力される音声の時間経過に対する変化を示している。図１８Ａ及び図１８Ｂに示す時間変化は、図１８Ｃに示す時間の基準をもとに、時間の流れが合わされている。なお、図１８Ａ及び図１８Ｂの振幅の変化は話者ＳＰ１の音声と話者ＳＰ２の音声によりもたらされる例である。便宜上、話者ＳＰ１の音声信号による振幅の変化と、話者ＳＰ２の音声信号による振幅の変化を分解して別々に記載している。図１８Ａ及び図１８Ｂに示す変化は、一例であって斯かる変化に本開示の範囲が限定されるものではない。
FIG. 18 is referred to regarding the delay setting value and the speech synthesis ratio. FIG. 18 is a diagram illustrating an example of a change in amplitude over time of audio. FIG. 18A shows a change over time of the sound input to the
通信装置２において時刻Ｔ１からＴ３の間に確認される話者ＳＰ１の音声信号１８２−１は、携帯電話１５２において時刻Ｔ５からＴ７の間に話者ＳＰ１の音声信号１８２−２として確認される。通信装置２において時刻Ｔ１０からＴ１２の間に確認される話者ＳＰ１の音声信号１８４−１は、携帯電話１５２において時刻Ｔ１１からＴ１３の間に話者ＳＰ１の音声信号１８４−２として確認される。携帯電話１５２において時刻Ｔ２からＴ４の間に確認される話者ＳＰ２の音声信号１８６−１は、通信装置２において時刻Ｔ６からＴ８の間に話者ＳＰ２の音声信号１８６−２として確認される。携帯電話１５２において時刻Ｔ９からＴ１２の間に確認される話者ＳＰ２の音声信号１８８−１は、通信装置２において時刻Ｔ１１からＴ１４の間に話者ＳＰ２の音声信号１８８−２として確認される。話者ＳＰ１の音声信号１８２−１と音声信号１８２−２は、同一周波数の信号である。話者ＳＰ１の音声信号１８４−１と音声信号１８４−２は、同一周波数の信号である。話者ＳＰ２の音声信号１８６−１と音声信号１８６−２は、同一周波数の信号である。話者ＳＰ２の音声信号１８８−１と音声信号１８８−２は、同一周波数の信号である。
The voice signal 182-1 of the speaker SP1 confirmed between the times T1 and T3 in the
音声信号１８２−２、１８４−２、１８６−２、１８８−２は、音声の伝搬により時間ΔＴほど遅延し、音声の拡散により音声信号１８２−１、１８４−１、１８６−１、１８８−１に比べて振幅が小さくなる。音声信号の合成は、例えば携帯電話１５２における話者ＳＰ２の音声信号１８６−１、１８８−１の振幅と通信装置２における音声信号１８６−２、１８８−２の振幅の比率を基に決定する。合成比率は、例えば、式（１）とする。
The audio signals 182-2, 184-2, 186-2, and 188-2 are delayed by a time ΔT due to the propagation of the audio, and the audio signals 182-1, 184-1, 186-1, and 188-1 due to the diffusion of the audio. The amplitude is smaller than The synthesis of the voice signal is determined based on, for example, the ratio of the amplitude of the voice signals 186-1 and 188-1 of the speaker SP2 in the
合成比率＝通信装置における振幅／携帯電話における振幅・・・(1) Combining ratio = Amplitude in communication device / Amplitude in mobile phone (1)
通信装置における振幅：マイク１２からの入力音声信号における振幅
携帯電話における振幅：近距離無線通信で受信した音声信号における振幅
Amplitude in communication device: Amplitude in input voice signal from
そして、信号の合成は、例えば、式（２）に基づいて合成する。 The signal is synthesized based on, for example, Expression (2).
合成信号＝マイクからの入力音声信号＋合成比率×逆位相信号 ・・・(2) Composite signal = Input audio signal from microphone + Composite ratio x Antiphase signal (2)
マイク１８に入力された音声信号１８６−１、１８２−２、１８８−１、１８４−２は近距離無線通信により通信装置２が受信する。通信装置２は、既述の位相の調整及び式（１）及び式（２）に基づいてマイク１２からの入力音声信号と逆位相信号を合成する。得られた合成信号を出力音声とすれば、話者ＳＰ２の音声を効率よく抑制することができる。
The
その他の構成は、第１の実施の形態又は第２の実施の形態と同様であるのでその説明を省略する。 Since other configurations are the same as those in the first embodiment or the second embodiment, the description thereof is omitted.
〔第４の実施の形態〕 [Fourth Embodiment]
第４の実施の形態では、複数の通信装置が抑制装置を備えて、近距離無線通信により接続された複数の通信装置において並行して音声の抑制を行う。 In the fourth embodiment, a plurality of communication devices include a suppression device, and perform voice suppression in parallel in a plurality of communication devices connected by short-range wireless communication.
図１９に示す処理部４−１及び処理部４−２は、第１の実施の形態ないし第３の実施の形態の処理部４と同様の構成を備えているのでその説明を省略する。図１９に示す通信装置２−１及び通信装置２−２は、第１の実施の形態ないし第３の実施の形態の通信装置２と同様の構成を備えているので、その説明を省略する。図１９に示すマイク１２−１及びマイク１２−２は、第１の実施の形態ないし第３の実施の形態のマイク１２と同様の構成を備えているので、その説明を省略する。
Since the processing unit 4-1 and the processing unit 4-2 illustrated in FIG. 19 have the same configuration as the
処理部４−１は、周囲に位置する通信装置２−２から近距離無線通信により音声信号を取得し、この通信装置２−２からの音声信号を用いて、マイク１２−１から入力された音声に含まれる周囲の音声を抑制する。処理部４−２は、周囲に位置する通信装置２−１から近距離無線通信により音声信号を取得し、この通信装置２−１からの音声信号を用いて、マイク１２−２から入力された音声に含まれる周囲の音声を抑制する。 The processing unit 4-1 acquires an audio signal from the communication device 2-2 located in the vicinity by short-range wireless communication, and is input from the microphone 12-1 using the audio signal from the communication device 2-2. Suppresses surrounding sounds contained in the sound. The processing unit 4-2 acquires an audio signal from the communication device 2-1 located in the vicinity by short-range wireless communication, and is input from the microphone 12-2 using the audio signal from the communication device 2-1. Suppresses surrounding sounds contained in the sound.
処理部４−１では、近距離無線通信を介して周囲の通信装置２−２から、周囲の通信装置２−２に対する話者ＳＰ２の音声信号を取得し、取得した音声信号に基づきマイク１２−１が取り込んだ話者ＳＰ２の音声を抑制することができる。処理部４−１を搭載した通信装置２−１では、話者ＳＰ１と話者ＳＰ１の通信相手ＣＰ１との間で音声通信が行われる。この音声通信の際、話者ＳＰ２の音声が通信相手ＣＰ１に伝達されることが抑制される。この抑制により、話者ＳＰ２が発した音声情報が話者ＳＰ１の通信相手ＣＰ１に漏洩することが抑制される。
The processing unit 4-1 acquires the voice signal of the speaker SP <b> 2 for the surrounding communication device 2-2 from the surrounding communication device 2-2 via the short-range wireless communication, and the microphone 12-based on the obtained voice signal. The voice of the speaker SP2 captured by 1 can be suppressed. In the communication device 2-1 equipped with the processing unit 4-1, voice communication is performed between the
処理部４−２では、近距離無線通信を介して周囲の通信装置２−１から、周囲の通信装置２−１に対する話者ＳＰ１の音声信号を取得し、取得した音声信号に基づきマイク１２−２が取り込んだ話者ＳＰ１の音声を抑制することができる。処理部４−２を搭載した通信装置２−２では、話者ＳＰ２と話者ＳＰ２の通信相手ＣＰ２との間で音声通信が行われる。この音声通信の際、話者ＳＰ１の音声が通信相手ＣＰ２に伝達されることが抑制される。この抑制により、話者ＳＰ１が発した音声情報が話者ＳＰ２の通信相手ＣＰ２に漏洩することが抑制される。
In the processing unit 4-2, the voice signal of the
複数の通信装置において並行して音声の抑制を行う場合、例えば処理部４−１は、図２０に示す逆位相通信の処理手順を行う。処理部４−１の逆位相音声通信機能１３４は、ＢＴ通信先の通話中の通信装置２−２に「逆位相通信開始」を通知する（Ｓ２２１）。この通知により、例えば、ＢＴ通信先の通信装置２−２のマイク音声が近距離無線通信を介して通信装置２−２から受信される。逆位相音声通信機能１３４は、逆位相生成機能１３０を起動し（Ｓ２２２）、音位相調整機能１３１を起動し（Ｓ２２３）、マイク１２−１の音声をＢＴ通信先の通信装置２−２に転送を開始する（Ｓ２２４）。
When performing voice suppression in parallel in a plurality of communication devices, for example, the processing unit 4-1 performs the processing procedure of the antiphase communication illustrated in FIG. 20. The reverse phase
ＢＴ通信先の通信装置２−２は、例えば図２１に示す処理手順を行う。ＢＴ通信先の通信装置２−２の逆位相音声通信機能１３４は、通話中であるか否かを判断し（Ｓ２６１）、通話中でない場合（Ｓ２６１のＮＯ）、確認を繰り返す。通話中であって（Ｓ２６１のＹＥＳ）、「端末通話状態問い合わせ」がない場合（Ｓ２６２のＮＯ）、「逆位相通信開始」通知（Ｓ２６３）もないので、「端末通話状態問い合わせ」の確認（Ｓ２６２）を繰り返す。「端末通話状態問い合わせ」がある場合（Ｓ２６２のＹＥＳ）、ＢＴ通信先の通信装置２−１に端末通話状態として「通話中」を応答する（Ｓ２６４）。「逆位相通信開始」通知があると（Ｓ２６３のＹＥＳ）、逆位相音声通信機能１３４は、逆位相生成機能１３０を起動し（Ｓ２６５）、音位相調整機能１３１を起動し（Ｓ２６６）、ＢＴ通信先の通信装置２−１にマイク１２−２の音声の転送を開始する（Ｓ２６７）。
The BT communication destination communication device 2-2 performs, for example, the processing procedure illustrated in FIG. The anti-phase
複数の通信装置において並行して音声の抑制を行うに際し、処理部４−２が例えば図２０に示す逆位相通信の処理手順を行い、通信装置２−１が例えば図２１に示す処理手順を行ってもよい。その他の処理手順は、第２の実施の形態と同様であるので、その説明を省略する。 When performing speech suppression in parallel in a plurality of communication devices, the processing unit 4-2 performs, for example, the reverse phase communication processing procedure illustrated in FIG. 20, and the communication device 2-1 performs, for example, the processing procedure illustrated in FIG. May be. Since other processing procedures are the same as those in the second embodiment, the description thereof is omitted.
〔他の実施の形態〕 [Other Embodiments]
上記実施の形態では、ＤＳＰ１１０及びオーディオコーデック１１２を含んで通信装置２を構成したが、例えば、ＤＳＰ１１０及びオーディオコーデック１１２の各機能を別々の回路として構成してもよい。図２２に示す通信装置２０４は、近距離無線通信部２０６、逆位相生成部２０８及び音位相調整部２１０を含む。近距離無線通信部２０６は、例えば近距離無線通信機能１２９を構成する回路、逆位相生成部２０８は例えば逆位相生成機能１３０を構成する回路、音位相調整部２１０は、例えば、音位相調整機能１３１を構成する回路である。
In the above embodiment, the
通信装置２０４は、ＡＤ変換部２１２、エンコーダ２１４、２１８、デコーダ２１６、２２０、無線受信部２２２、無線送信部２２４を含む。ＡＤ変換部２１２は、アナログ信号をディジタル信号に変換する回路である。アナログ信号は、マイク１２から入力される。ディジタル信号は、音位相調整部２１０及びエンコーダ２１４に向け出力される。エンコーダ２１４、２１８は信号を符号化する回路であり、例えば、信号を圧縮する。デコーダ２１６、２２０は、符号化された信号を、復号する回路であり、例えば、圧縮された信号を元の信号に戻す。無線受信部２２２は、アンテナ１２０を介して無線により信号を受信する回路である。無線送信部２２４は、アンテナ１２０を介して無線により信号を送信する回路である。その他の構成は上記実施の形態と同様であるので、その説明を省略する。
The
次に、一方の通信装置において音声の抑制を行う構成について図２３を参照する。図２３に示す通信装置２０４−１、２０４−２は、通信装置２０４（図２２）と同様の構成を備えている。尚、図中の矢示は音声または信号の伝搬の例を表している。また、破線を用いた矢示は周囲の話者による音声または信号の伝搬の例を表している。話者の音声と周囲の話者の音声が重畳する音声の伝搬については、実線を用いた矢示により表している。 Next, FIG. 23 is referred to regarding a configuration for suppressing voice in one communication apparatus. The communication devices 204-1 and 204-2 shown in FIG. 23 have the same configuration as the communication device 204 (FIG. 22). The arrows in the figure represent examples of voice or signal propagation. An arrow using a broken line represents an example of voice or signal propagation by surrounding speakers. Propagation of voice in which the voice of the speaker and the voices of surrounding speakers are superimposed is indicated by arrows using solid lines.
通信装置２０４−２は、通信装置２０４−１の周囲に配置されている。話者ＳＰ１は、通信装置２０４−１を用いて通信相手ＣＰ１と音声通信を行っている。通信相手ＣＰ１は話者ＳＰ１に「Ｄさんの住所を教えてください。」と問い合わせている。話者ＳＰ１が音声を発すると、話者ＳＰ１の音声は、マイク１２−１で取り込まれ、ＡＤ変換部２１２−１でディジタル信号に変換された後、音位相調整部２１０−１に入力される。音位相調整部２１０−１で調整された音声信号は、エンコーダ２１８−１で符号化され、無線送信部２２４−１を介して通信相手ＣＰ１に送信される。通信相手ＣＰ１の音声は無線受信部２２２−１を介して受信され、デコーダ２２０−１で復号化され、スピーカ１１６−１から放出される。 The communication device 204-2 is arranged around the communication device 204-1. The speaker SP1 performs voice communication with the communication partner CP1 using the communication device 204-1. The communication partner CP1 asks the speaker SP1 "Tell me about Mr. D's address." When the speaker SP1 utters voice, the voice of the speaker SP1 is captured by the microphone 12-1, converted into a digital signal by the AD conversion unit 212-1, and then input to the sound phase adjustment unit 210-1. . The audio signal adjusted by the sound phase adjustment unit 210-1 is encoded by the encoder 218-1 and transmitted to the communication partner CP1 via the wireless transmission unit 224-1. The voice of the communication partner CP1 is received via the wireless reception unit 222-1, decoded by the decoder 220-1, and emitted from the speaker 116-1.
話者ＳＰ２は、通信装置２０４−２を用いて通信相手ＣＰ２と音声通信を行っている。通信相手ＣＰ２は、話者ＳＰ２に「Ｙさんの電話番号を教えて。」と問い合わせている。話者ＳＰ２は、通信相手ＣＰ２に「０９０−１１１１２２２２です。」と答えている。話者ＳＰ２の音声は、マイク１２−２で取り込まれ、ＡＤ変換部２１２−２でディジタル信号に変換された後、エンコーダ２１８−２に入力される、エンコーダ２１８−２に入力された音声信号は、エンコーダ２１８−２で符号化され、無線送信部２２４−２を介して通信相手ＣＰ２に送信される。通信相手ＣＰ２の音声は無線受信部２２２−２を介して受信され、デコーダ２２０−２で復号化され、スピーカ１１６−２から放出される。 The speaker SP2 performs voice communication with the communication partner CP2 using the communication device 204-2. The communication partner CP2 inquires of the speaker SP2 "Tell me your phone number." The speaker SP2 answers the communication partner CP2 as “090-11112222”. The voice of the speaker SP2 is captured by the microphone 12-2, converted into a digital signal by the AD converter 212-2, and then input to the encoder 218-2. The voice signal input to the encoder 218-2 is , Encoded by the encoder 218-2, and transmitted to the communication partner CP2 via the wireless transmission unit 224-2. The voice of the communication partner CP2 is received via the wireless reception unit 222-2, decoded by the decoder 220-2, and emitted from the speaker 116-2.
話者ＳＰ２の音声は、通信装置２０４−２のマイク１２−２に直接的に入力されるとともに、空間に拡散して通信装置２０４−１のマイク１２−１にも入力される。マイク１２−１に入力された音声は、音位相調整部２１０−１に到達する。そこで、マイク１２−２に入力された話者ＳＰ２の音声は、ＡＤ変換部２１２−２からエンコーダ２１４−２に入力される。話者ＳＰ２の音声は、エンコーダ２１４−２で符号化され、近距離無線通信部２０６−２を介して近距離無線通信部２０６−１に送信される。近距離無線通信部２０６−２と近距離無線通信部２０６−１の間における信号の伝達には、近距離無線通信が用いられる。近距離無線通信部２０６−１が受信した話者ＳＰ２の音声信号は、デコーダ２１６−１で復号化される。逆位相生成部２０８−１において復号化された音声信号から逆位相信号が生成される。逆位相信号が音位相調整部２１０−１に到達し、マイク１２−１に入力された話者ＳＰ２の音声が抑制される。これにより、話者ＳＰ２の音声が通信相手ＣＰ１に伝達されることが抑制され、話者ＳＰ２の回答、即ち、Ｙさんの電話番号が漏洩することを防止する。 The voice of the speaker SP2 is directly input to the microphone 12-2 of the communication device 204-2, and is also diffused into the space and input to the microphone 12-1 of the communication device 204-1. The sound input to the microphone 12-1 reaches the sound phase adjustment unit 210-1. Therefore, the voice of the speaker SP2 input to the microphone 12-2 is input from the AD conversion unit 212-2 to the encoder 214-2. The voice of the speaker SP2 is encoded by the encoder 214-2 and transmitted to the short-range wireless communication unit 206-1 via the short-range wireless communication unit 206-2. Near field communication is used for signal transmission between the near field communication unit 206-2 and the near field communication unit 206-1. The voice signal of the speaker SP2 received by the short-range wireless communication unit 206-1 is decoded by the decoder 216-1. An antiphase signal is generated from the audio signal decoded by the antiphase generation unit 208-1. The reverse phase signal reaches the sound phase adjustment unit 210-1, and the voice of the speaker SP2 input to the microphone 12-1 is suppressed. Thereby, the voice of the speaker SP2 is suppressed from being transmitted to the communication partner CP1, and the answer of the speaker SP2, that is, the telephone number of Mr. Y is prevented from leaking.
次に、通信装置２０４−１及び通信装置２０４−２において音声の抑制を行う構成について図２４を参照する。図２４に示す通信装置２０４−１、２０４−２は、図２３に示す通信装置２０４−１、２０４−２と同様の構成を備えている。話者ＳＰ２の音声の抑制は、図２３に示す一方の通信装置において音声の抑制を行う場合と同様であるのでその説明を省略する。尚、図中の矢示は音声または信号の伝搬の例を表している。また、破線を用いた矢示は周囲の話者による音声または信号の伝搬の例を表している。話者の音声と周囲の話者の音声が重畳する音声の伝搬については、実線を用いた矢示により表している。 Next, FIG. 24 is referred about the structure which suppresses an audio | voice in the communication apparatus 204-1 and the communication apparatus 204-2. The communication devices 204-1 and 204-2 illustrated in FIG. 24 have the same configuration as the communication devices 204-1 and 204-2 illustrated in FIG. The suppression of the voice of the speaker SP2 is the same as the case where the voice is suppressed in one communication apparatus shown in FIG. The arrows in the figure represent examples of voice or signal propagation. An arrow using a broken line represents an example of voice or signal propagation by surrounding speakers. Propagation of voice in which the voice of the speaker and the voices of surrounding speakers are superimposed is indicated by arrows using solid lines.
通信相手ＣＰ１の問い合わせに対し、話者ＳＰ１は「Ｄさんの情報はお伝えできません。」と回答している。 In response to the inquiry of the communication partner CP1, the speaker SP1 replies, “We cannot give information about Mr. D”.
話者ＳＰ１の音声は、通信装置２０４−１のマイク１２−１に直接的に入力されるとともに、空間に拡散して通信装置２０４−２のマイク１２−２にも入力される。マイク１２−２に入力された音声は、音位相調整部２１０−２に到達する。マイク１２−１に入力された話者ＳＰ１の音声は、ＡＤ変換部２１２−１からエンコーダ２１４−１に入力される。話者ＳＰ１の音声は、エンコーダ２１４−１で符号化され、近距離無線通信部２０６−１を介して近距離無線通信部２０６−２に送信される。近距離無線通信部２０６−２と近距離無線通信部２０６−１の間における信号の伝達には、近距離無線通信が用いられる。近距離無線通信部２０６−２が受信した話者ＳＰ１の音声信号は、デコーダ２１６−２で復号化される。逆位相生成部２０８−２において復号化された音声信号から逆位相信号が生成される。逆位相信号が音位相調整部２１０−２に到達し、マイク１２−２に入力された話者ＳＰ１の音声の抑制が行われる。よって、話者ＳＰ１の音声が通信相手ＣＰ２に伝達されることが抑制され、話者ＳＰ１の回答が漏洩することが防止される。 The voice of the speaker SP1 is directly input to the microphone 12-1 of the communication device 204-1 and is also diffused into the space and input to the microphone 12-2 of the communication device 204-2. The sound input to the microphone 12-2 reaches the sound phase adjustment unit 210-2. The voice of the speaker SP1 input to the microphone 12-1 is input from the AD conversion unit 212-1 to the encoder 214-1. The voice of the speaker SP1 is encoded by the encoder 214-1 and transmitted to the short-range wireless communication unit 206-2 via the short-range wireless communication unit 206-1. Near field communication is used for signal transmission between the near field communication unit 206-2 and the near field communication unit 206-1. The voice signal of the speaker SP1 received by the short-range wireless communication unit 206-2 is decoded by the decoder 216-2. An antiphase signal is generated from the audio signal decoded by the antiphase generation unit 208-2. The reverse phase signal reaches the sound phase adjustment unit 210-2, and the speech of the speaker SP1 input to the microphone 12-2 is suppressed. Therefore, the voice of the speaker SP1 is suppressed from being transmitted to the communication partner CP2, and the answer of the speaker SP1 is prevented from leaking.
以上説明した実施の形態について、その特徴事項や変形例を以下に列挙する。 With respect to the embodiment described above, the features and modifications thereof are listed below.
(1) 上記実施の形態では、オペレータセンタ等においてオペレータが実施する形態を例示したが、これに限定されない。狭い範囲において複数の人が携帯端末を用いて会話を行う場合においても、周辺の人の音声を抑制することができる。 (1) In the above embodiment, an embodiment is described in which the operator performs at the operator center or the like, but the present invention is not limited to this. Even when a plurality of people have a conversation using a portable terminal in a narrow range, it is possible to suppress the sounds of surrounding people.
(2) 上記実施の形態では、無線通信による音声通信の際に周囲の話者の音声を抑制したがこれに限らず、有線通信による音声通信の際に用いてもよい。例えば、通信装置として固定電話を用いて、電話回線網を通じた音声通信において音声を抑制してもよい。通信装置としてＰＣを用いて、インターネット等の有線ネットワークを介したネットワーク通信において音声を抑制してもよい。更に、子機電話やヘッドセット等の通信デバイスを近距離無線通信機能により固定電話やＰＣ等と接続して通信装置として用いて音声を抑制してもよい。 (2) In the above embodiment, the voices of the surrounding speakers are suppressed during voice communication by wireless communication. However, the present invention is not limited to this, and may be used for voice communication by wired communication. For example, a fixed telephone may be used as a communication device, and voice may be suppressed in voice communication through a telephone line network. Using a PC as a communication device, audio may be suppressed in network communication via a wired network such as the Internet. Furthermore, a communication device such as a handset phone or a headset may be connected to a fixed phone, a PC, or the like by a short-range wireless communication function and used as a communication device to suppress voice.
(3) 上記実施の形態では、近距離無線通信により受信した音声信号を逆位相に変換したが、これに限定されない。例えば、図２５に示す処理部４では、マイク１２からの入力音声を位相反転部８に入力する。位相反転部８は、マイクからの入力音声を逆位相に変換して、逆位相信号を生成する。信号相殺部１０は、この逆位相信号と、通信部６から近距離無線通信により受信した周囲の通信装置からの音声信号との間の位相又は合成比率を調整してこれらの信号を合成する。斯かる構成であっても、既述の効果を得ることができる。
(3) In the above embodiment, the audio signal received by the short-range wireless communication is converted to the opposite phase, but the present invention is not limited to this. For example, in the
(4) 上記実施の形態では、通信装置２側で逆位相信号を生成したが、例えば、通信装置１４側または携帯電話１５２側に位相反転部を形成してもよい。この場合、通信装置１４または携帯電話１５２はマイク１８の音声信号を位相反転部により反転させて、生成した逆位相信号を通信部６を介して通信装置２に送信するようにすればよい。斯かる構成であっても、既述の効果を得ることができると共に、通信装置２側の処理負担を軽減させることができる。
(4) In the above embodiment, the reverse phase signal is generated on the
(5) 音声を抑制するにあたり、複数の周囲の通信装置から音声信号を受信し、マイク１２からの入力音声に複数の音声信号を合成して音声を抑制するようにしてもよい。周囲に複数の通信装置が存在する場合に、これらの通話装置の話者の音声を同時に抑制することができる。
(5) In order to suppress sound, sound signals may be received from a plurality of surrounding communication devices, and the sound may be suppressed by synthesizing a plurality of sound signals with the input sound from the
(6) 音声抑制の処理手順は、上記実施の形態で既述した処理手順に限定されるものではなく、他の処理であってもよい。たとえば、通話の開始を契機として、逆位相音声通信機能１３４が図２６に示す音声抑制の処理手順を行うようにしてもよい。図２６に示す音声抑制の処理手順では、逆位相音声通信機能１３４は処理部４又は通信装置２の周囲に携帯電話１５２があるかを確認する（Ｓ３０１）。周囲に携帯電話１５２がない場合（Ｓ３０１のＮＯ）、処理を終了し、周囲に携帯電話１５２がある場合（Ｓ３０１のＹＥＳ）、確認された携帯電話１５２にＢＴ通信を要求する（Ｓ３０２）。ＢＴ通信が確立したかを確認し（Ｓ３０３）、ＢＴ通信が確立しない場合（Ｓ３０３のＮＯ）、ＢＴ通信の確立の確認を繰り返す。ＢＴ通信が確立すると（Ｓ３０３のＹＥＳ）、ＢＴ通信先の携帯電話１５２に端末通話状態を問い合わせる（Ｓ３０４）。この問い合わせに対する応答に基づいて、逆位相音声通信機能１３４は、ＢＴ通信先の携帯電話１５２が音声通話中かを判断する（Ｓ３０５）。ＢＴ通信先の携帯電話１５２が音声通話中である場合（Ｓ３０５のＹＥＳ）、既述の逆位相通信を行った後（Ｓ３０６）、処理を終了し、音声通話中でない場合（Ｓ３０５のＮＯ）、処理を終了する。周囲に携帯電話がない場合及びＢＴ通信先の携帯電話が音声通話中の場合に処理を終了するので、プロセッサによる処理負荷が軽減される。
(6) The voice suppression processing procedure is not limited to the processing procedure described in the above embodiment, and may be other processing. For example, triggered by the start of a call, the reverse phase
ＢＴ通信先の携帯電話の処理手順は、上記実施の形態で既述した処理手順に限定されるものではなく、他の処理であってもよい。たとえば、図２７に示す処理手順では、「端末通話状態問い合わせ」がない場合（Ｓ３２１のＮＯ）、「逆位相通信開始」通知（Ｓ３２３）もないので、通信先の携帯電話１５２はこの処理を終了する。「端末通話状態問い合わせ」がある場合（Ｓ３２１のＹＥＳ）、ＢＴ通信先の通信装置に端末通話状態として例えば「通話中」又は「待ち受け」を応答する（Ｓ３２２）。「逆位相通信開始」通知があると（Ｓ３２３のＹＥＳ）、逆位相音声通信機能１３４は、逆位相生成機能１３０を起動し（Ｓ３２４）、音位相調整機能１３１を起動し（Ｓ３２５）、マイクの音声をＢＴ通信先の通信装置に転送を開始する（Ｓ３２５）。なお、「待ち受け」は、着信を待っている状態を意味する。
The processing procedure of the mobile phone of the BT communication destination is not limited to the processing procedure described in the above embodiment, and may be other processing. For example, in the processing procedure shown in FIG. 27, when there is no “terminal call state inquiry” (NO in S321), there is no “reverse phase communication start” notification (S323), and the
この場合、図２８に示す通信装置２では、通話を開始すると（Ｓ３４１）、逆位相音声通信機能１３４は、近距離無線通信機能１２９にＢＴ通信確立要求を送信する（Ｓ３４２）。近距離無線通信機能１２９は、携帯電話１５２の近距離無線通信機能１５６にＢＴ通信要求を送信する（Ｓ３４３）。ＢＴ通信要求の送信により近距離無線通信機能１２９と近距離無線通信機能１５６の間にＢＴ通信が確立する（Ｓ３４４）。ＢＴ通信が確立されると、逆位相音声通信機能１３４は携帯電話１５２の逆位相音声通信機能１６２に端末通話状態を問い合わせる（Ｓ３４５）。この問い合わせに対し、逆位相音声通信機能１６２は、通信装置２の逆位相音声通信機能１３４に端末通話状態として例えば「通話中」を応答する（Ｓ３４６）。この応答に基づいて、逆位相音声通信機能１３４は、携帯電話１５２が音声通話中かを判断する（Ｓ３４７）。携帯電話１５２が音声通話中である場合、逆位相通信開始通知を逆位相音声通信機能１６２に送信する（Ｓ３４８）。そして、逆位相音声通信機能１３４は、音位相調整機能１３１を起動し（Ｓ３４９）、逆位相生成機能１３０を起動する（Ｓ３５０）。逆位相音声通信機能１６２は、逆位相通信開始通知を受け、音位相調整機能１６０を起動し（Ｓ３５１）、逆位相生成機能１５８を起動する（Ｓ３５２）。携帯電話１５２では、マイク１８に入力された話者ＳＰ２の音声が、マイク１８から近距離無線通信機能１５６に送信される（Ｓ３５３）。近距離無線通信機能１５６は、ＢＴ通信により、近距離無線通信機能１２９に話者ＳＰ２の音声信号を送信する（Ｓ３５４）。近距離無線通信機能１２９は、話者ＳＰ２の音声信号を逆位相生成機能１３０に送信する（Ｓ３５５）。逆位相生成機能１３０は、受信した話者ＳＰ２の音声信号を逆位相にして話者ＳＰ２の音声信号の逆位相信号を生成して、音位相調整機能１３１へ送信する（Ｓ３５６）。音位相調整機能１３１は、音位相調整により逆位相の音声を減衰させる（Ｓ３５７）。
In this case, in the
(7) 上記実施の形態では、通信装置間で行う無線通信の一例として、近距離無線通信の例を示したが、通信装置間で行う無線通信は、近距離無線通信に限定されるものではない。無線通信として、例えば、中距離無線通信や遠距離無線通信等の他の無線通信を用いて、例えば音声信号を送信または受信するようにしてもよい。 (7) In the above embodiment, an example of short-range wireless communication is shown as an example of wireless communication performed between communication devices. However, wireless communication performed between communication devices is not limited to short-range wireless communication. Absent. As the wireless communication, for example, an audio signal may be transmitted or received using another wireless communication such as a medium-range wireless communication or a long-range wireless communication.
以上説明したように、本開示の最も好ましい実施の形態等について説明したが、本開示の通信装置、信号処理プログラム、信号処理方法および通信システムは、上記記載に限定されるものではなく、特許請求の範囲に記載され、又は明細書に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。
As described above, the most preferable embodiment and the like of the present disclosure have been described. However, the communication device, the signal processing program, the signal processing method, and the communication system of the present disclosure are not limited to the above description. It goes without saying that various modifications and changes can be made by those skilled in the art based on the gist of the invention described in the scope of the present invention or disclosed in the specification, and such modifications and changes are included in the scope of the present invention. Needless to say.
２、１４、２０４ 通信装置
４、１７ 処理部
６、１６ 通信部
８ 位相反転部
１０ 信号相殺部
１２、１８ マイク
１９ 通信システム
１０２ 記憶部
１０８ プロセッサ
１１０ ＤＳＰ
１１２ オーディオコーデック
１１８ 近距離無線通信Ｉ／Ｆ
１２０、１２４ アンテナ
１２２ 無線通信Ｉ／Ｆ
１２９、１５６ 近距離無線通信機能
１３０、１５８ 逆位相生成機能
１３１、１６０ 音位相調整機能
１３２ 無線通信機能
１３４、１６２ 逆位相音声通信機能
１３６ 位相遅延機能
１３８ 位相合成機能
１４０ レベル測定機能
１５２ 携帯電話
２０６ 近距離無線通信部
２０８ 逆位相生成部
２１０ 音位相調整部
２１２ ＡＤ変換部
２１４、２１８ エンコーダ
２１６、２２０ デコーダ
２２２ 無線受信部
２２４ 無線送信部
2, 14, 204
112
120, 124
129, 156 Short-range
Claims (5)
音声通話の開始を契機として、マイクロフォンの出力信号に不要音が含まれるか否かを判断し、該不要音が含まれる場合に無線通信が可能な範囲に存在する通話中の前記通信装置と無線通信を確立し、該通信装置の前記音声信号を前記通信部に受信させる音声通信部と、
前記マイクロフォンの出力信号に含まれる前記通信装置側の音声信号を、前記通信部で受信した前記音声信号により相殺する信号相殺部と、
を備えることを特徴とする通信装置。 A communication unit for receiving a voice signal during a call of the communication device by wireless communication from another communication device;
In response to the start of a voice call, it is determined whether or not an unnecessary sound is included in the output signal of the microphone, and when the unnecessary sound is included, the communication device and the wireless communication device that are in a range where wireless communication can be performed A voice communication unit that establishes communication and causes the communication unit to receive the voice signal of the communication device;
A signal canceller that cancels the audio signal of the communication apparatus included in the output signal of the microphone, by the audio signal received by the communication unit,
A communication apparatus comprising:
音声通話の開始を契機として、マイクロフォンの出力信号に不要音が含まれるか否かを判断し、該不要音が含まれる場合に無線通信が可能な範囲に存在する通話中の他の通信装置と無線通信を確立させ、
前記通信装置から無線通信により前記通信装置の音声信号を通信部に受信させ、
前記マイクロフォンの出力信号に含まれる前記通信装置側の音声信号を、前記通信部に受信させた前記音声信号により信号相殺部で相殺させる、
処理を前記コンピュータに実行させるための信号処理プログラム。 A signal processing program for a communication device that performs signal processing using a computer,
With the start of a voice call as a trigger, it is determined whether or not an unnecessary sound is included in the output signal of the microphone, and when the unnecessary sound is included, another communication apparatus that is in a range where wireless communication can be performed and Establish wireless communication,
Is received by the communication unit an audio signal before Symbol communications device by wireless communication from the communication device,
The communication device side audio signal included in the output signal of the microphone is canceled by the signal canceling unit by the audio signal received by the communication unit,
A signal processing program for causing a computer to execute processing.
前記通信装置の通話中の音声信号を無線通信により取得し、
通話中に前記マイクロフォンの出力信号から前記通信装置側の音声信号を、無線通信により取得した前記音声信号により相殺する、
ことを特徴とする信号処理方法。 With the start of a voice call as a trigger, it is determined whether or not an unnecessary sound is included in the output signal of the microphone, and when the unnecessary sound is included, another communication apparatus that is in a range where wireless communication can be performed and Establish wireless communication,
An audio signal in a call of the communication device acquired by wireless communication,
The audio signal of the communication apparatus side from the output signal of the microphone during a call, canceling by the audio signal acquired by radio communications,
And a signal processing method.
音声通話の開始を契機として、マイクロフォンの出力信号に不要音が含まれるか否かを判断し、該不要音が含まれる場合に無線通信が可能な範囲に存在する通話中の前記第一の通信装置と無線通信を確立して、前記第一の通信装置が送信する前記音声信号を受信し、前記マイクロフォンの出力信号から前記第一の通信装置側の音声信号を、前記第一の通信装置から受信した前記音声信号により相殺する第二の通信装置と、
を備える通信システム。 A first communication device for transmitting a voice signal during a call by wireless communication;
In response to the start of a voice call, it is determined whether or not an unnecessary sound is included in the output signal of the microphone, and when the unnecessary sound is included, the first communication during a call that exists in a range where wireless communication is possible Establishing wireless communication with the apparatus, receiving the audio signal transmitted by the first communication apparatus, and transmitting the audio signal on the first communication apparatus side from the output signal of the microphone from the first communication apparatus A second communication device that cancels out the received audio signal;
A communication system comprising:
前記音声信号の送信前に位相を反転させる位相反転部と、A phase inverting unit for inverting the phase before transmission of the audio signal;
位相を反転させた前記音声信号を無線通信により前記第二の通信装置に送信する通信部と、A communication unit that transmits the audio signal with the phase inverted to the second communication device by wireless communication;
を備える、請求項４に記載の通信システム。The communication system according to claim 4, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012061530A JP5870785B2 (en) | 2012-03-19 | 2012-03-19 | COMMUNICATION DEVICE, SIGNAL PROCESSING PROGRAM, SIGNAL PROCESSING METHOD, AND COMMUNICATION SYSTEM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012061530A JP5870785B2 (en) | 2012-03-19 | 2012-03-19 | COMMUNICATION DEVICE, SIGNAL PROCESSING PROGRAM, SIGNAL PROCESSING METHOD, AND COMMUNICATION SYSTEM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013197773A JP2013197773A (en) | 2013-09-30 |
| JP5870785B2 true JP5870785B2 (en) | 2016-03-01 |
Family
ID=49396232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012061530A Active JP5870785B2 (en) | 2012-03-19 | 2012-03-19 | COMMUNICATION DEVICE, SIGNAL PROCESSING PROGRAM, SIGNAL PROCESSING METHOD, AND COMMUNICATION SYSTEM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5870785B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101733011B1 (en) * | 2015-06-18 | 2017-05-08 | 라인 가부시키가이샤 | Apparatus for providing recommendation based social network service and method using the same |
| JP6668907B2 (en) * | 2016-04-13 | 2020-03-18 | 沖電気工業株式会社 | Environmental audio distribution system, environmental audio processing method, and environmental audio processing program |
| WO2019012661A1 (en) * | 2017-07-13 | 2019-01-17 | 住友電気工業株式会社 | Voice control device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0936940A (en) * | 1995-07-14 | 1997-02-07 | Hitachi Ltd | Voice input device |
| JP2003296854A (en) * | 2002-04-05 | 2003-10-17 | Toa Corp | Reporting device with alarm sound canceling function |
| WO2006066618A1 (en) * | 2004-12-21 | 2006-06-29 | Freescale Semiconductor, Inc. | Local area network, communication unit and method for cancelling noise therein |
| JP2008311876A (en) * | 2007-06-13 | 2008-12-25 | Funai Electric Co Ltd | Television set with telephone function, television system and method for removing noise signal |
| JP4431836B2 (en) * | 2007-07-26 | 2010-03-17 | 株式会社カシオ日立モバイルコミュニケーションズ | Voice acquisition device, noise removal system, and program |
-
2012
- 2012-03-19 JP JP2012061530A patent/JP5870785B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013197773A (en) | 2013-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9749737B2 (en) | Decisions on ambient noise suppression in a mobile communications handset device | |
| US20110181452A1 (en) | Usage of Speaker Microphone for Sound Enhancement | |
| US8379884B2 (en) | Sound signal transmitter-receiver | |
| US8538492B2 (en) | System and method for localized noise cancellation | |
| US7953456B2 (en) | Acoustic echo reduction in mobile terminals | |
| US8194871B2 (en) | System and method for call privacy | |
| US20070237339A1 (en) | Environmental noise reduction and cancellation for a voice over internet packets (VOIP) communication device | |
| TW201227718A (en) | Intelligibility control using ambient noise detection | |
| JP2011227199A (en) | Noise suppression device, noise suppression method and program | |
| US20140365212A1 (en) | Receiver Intelligibility Enhancement System | |
| JP5870785B2 (en) | COMMUNICATION DEVICE, SIGNAL PROCESSING PROGRAM, SIGNAL PROCESSING METHOD, AND COMMUNICATION SYSTEM | |
| US8694059B2 (en) | Mobile communication device and echo cancellation method | |
| KR100703703B1 (en) | Method and apparatus for extending sound input and output | |
| JP2004128751A (en) | Hands-free speech device and program for hands-free speech | |
| US20230058981A1 (en) | Conference terminal and echo cancellation method for conference | |
| TWI232666B (en) | Low echo communication apparatus and method | |
| KR100724888B1 (en) | Mobile terminal having radio frequency module and method for controlling sound output of mobile terminal | |
| KR20090056338A (en) | Mobile phone and method for optimizing wireless headset | |
| JP4415831B2 (en) | Mobile communication terminal and method for reducing leaked voice thereof | |
| JP2008148011A (en) | Electronic device | |
| JP2012203172A (en) | Voice output device, voice output method, and program | |
| JP2006238148A (en) | Handsfree telephone device | |
| EP2802157B1 (en) | Dual beamform audio echo reduction | |
| JP6369189B2 (en) | Echo suppression device, echo suppression program, echo suppression method, and communication terminal | |
| JP2020191604A (en) | Signal processing device and signal processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5870785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |