JP4873316B2 - Acoustic space sharing device - Google Patents
Acoustic space sharing device Download PDFInfo
- Publication number
- JP4873316B2 JP4873316B2 JP2007061107A JP2007061107A JP4873316B2 JP 4873316 B2 JP4873316 B2 JP 4873316B2 JP 2007061107 A JP2007061107 A JP 2007061107A JP 2007061107 A JP2007061107 A JP 2007061107A JP 4873316 B2 JP4873316 B2 JP 4873316B2
- Authority
- JP
- Japan
- Prior art keywords
- sound field
- sound
- shared
- acoustic space
- bsc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
この発明は、複数のスピーカによって音場を合成再生し、共有するリアリティ音場を再現して、その音響空間を共有する装置に関し、特に、再生音場内にいる会話者が互いに話者にもなる音響空間を制御する装置に関するものである。 The present invention relates to an apparatus for synthesizing and reproducing a sound field by a plurality of speakers, reproducing a shared reality sound field, and sharing the acoustic space, and in particular, a conversation person in the reproduction sound field is also a speaker. The present invention relates to an apparatus for controlling an acoustic space.
ある空間において、人々がコミュニケーションを交わすとき、言語的な意味の交換は勿論重要である。さらに、その空間を共に過ごしたという記憶が意外に重要である。電話の場合は、話すことが無くなれば、電話を切ることになるが、同一の空間にいる場合には話すことがなくなっても、一緒に空間を共有することができる。 Of course, exchanging linguistic meaning is important when people communicate in a space. Furthermore, it is surprisingly important that you have spent the space together. In the case of the telephone, if the person stops speaking, the telephone is hung up. However, if the person is in the same space, the person can share the space even if the person stops speaking.
同一の空間にいる場合には、話をしていなければコミュニケーションが存在しないというわけではなく、非言語的で身体的なコミュニケーションが存在していると考えて良い。すなわち、意味を交換することだけではなく、共に同じ空間を過ごすという記憶を得ることが、会って話をするという会話本来の重要な機能である。しかし、この機能は現在の通信技術においては、欠落しているのが現状である。 If you are in the same space, communication does not exist if you are not speaking, but you can think of non-verbal and physical communication. In other words, not only exchanging meanings but also acquiring memories of spending the same space together is an essential function of the conversation that meets and talks. However, this function is currently lacking in the current communication technology.
ところで、高い臨場感のある音場を生成するために多くの方法が提案されている。その中で、境界音場制御（Ｂｏｕｎｄａｒｙ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌ：ＢＳＣ）の原理に基づいた音場再現方法が提案されている。 By the way, many methods have been proposed to generate a highly realistic sound field. Among them, a sound field reproduction method based on the principle of boundary sound field control (Boundary Surface Control: BSC) has been proposed.
境界音場制御（以下、ＢＳＣと略記する。）の原理は、境界から離れた点に音源を設置し、逆システムを用いて生成された信号を音源から出力する方法である。 The principle of boundary sound field control (hereinafter abbreviated as BSC) is a method in which a sound source is installed at a point away from the boundary and a signal generated using an inverse system is output from the sound source.
境界音場制御の原理によれば、その領域を囲む境界上の音圧と音圧勾配を制御することにより、３次元音場内の任意の領域内の音圧を制御できる。厳密に制御を行うためには、境界面を波長よりも十分短く離散化する必要がある。そこで、会話者の頭部周辺での音場再現を目的とした６４ｃｈの収音・再生が可能なコンパクトな没入型聴覚ディスプレイシステムが提案されている（非特許文献１参照）。 According to the principle of boundary sound field control, the sound pressure in an arbitrary region in the three-dimensional sound field can be controlled by controlling the sound pressure and the sound pressure gradient on the boundary surrounding the region. In order to perform precise control, it is necessary to discretize the boundary surface sufficiently shorter than the wavelength. Therefore, a compact immersive auditory display system capable of collecting and reproducing 64 channels for the purpose of reproducing the sound field around the head of a conversation person has been proposed (see Non-Patent Document 1).
上記したＢＳＣ原理を用いた音場再現室を構成して、この室内に会話者が入ることで、会話者の音場を共有することが考えられる。例えば、このＢＳＣ原理を用いて、会話者との間で音場を共有するシステムを図１１に示す。 It is conceivable that a sound field reproduction room using the BSC principle described above is configured and a conversation person enters the room to share the sound field of the conversation person. For example, FIG. 11 shows a system for sharing a sound field with a talker using this BSC principle.
図１１に示すように、音響空間を構成する音場再現室１０内には、ＢＳＣスピーカ２０が設けられている。このＢＳＣスピーカ２０は、ＢＳＣの原理による音場再現を行うために、複数のスピーカが所定の位置に配置されている。このＢＳＣスピーカ２０に対して、所定の位置に設けられた椅子１５に、会話者１が着席して、ＢＳＣスピーカ２０からの音を聴取する。ＢＳＣスピーカ２０は、共有音場１３０で取得された音圧信号等に基づき、ＢＳＣシステム制御部１１により駆動される。
As shown in FIG. 11, a BSC speaker 20 is provided in a sound
ＢＳＣの原理は、会話者１を取り囲む面Ｓ２上における音圧信号が共有音場１３０の面Ｓ１における音圧信号と同一になるように、ＢＳＣスピーカ２０を駆動するものである。すなわち、共有音場１３０の面Ｓ１の内部に会話者１が存在していると仮定し、面Ｓ１の音圧信号を取得するべく、複数のマイクロフォンからなるＢＳＣマイクロフォン（図示せず）が面Ｓ１に沿って配置されている。一方、会話者１が発した音声がマイク１６で収音され、共有音場１３０に設置されたスピーカ３２より出力される。よって、ＢＳＣマイクロフォンには、共有音場１３０内にいる会話者２からの音声、共有音場１３０内の音、スピーカ３２から出力される会話者１の音が取得されることになる。
The principle of BSC is to drive the BSC speaker 20 so that the sound pressure signal on the surface S2 surrounding the
ＢＳＣマイクロフォンからの音圧信号に基づき、スピーカ２０の駆動をＢＳＣシステム制御部１１で制御し、会話者１を取り囲む面Ｓ２上における音圧信号が共有音場１３０の面Ｓ１における音圧信号と同一にする。この結果、会話者１を取り囲む空間Ｖ２内では、共有音場の空間Ｖ１と同一の音場が生成され、音場再現室１０内にいる会話者１は、会話者２がいる共有音場１３０と同じ空間の音響効果を感じることができる。
Based on the sound pressure signal from the BSC microphone, the driving of the speaker 20 is controlled by the BSC
上記のように構成したシステムにおいては、音場再現室１０内にいる会話者１は、会話話者２がいる共有音場１３０と同じ空間を感じることができる。しかし、その反対に、会話者２が会話者１の存在する空間を感じることはできない。
In the system configured as described above, the
会話者２の側にも音場再現システムを設置することも考えられるが、両者が互いに音場再現室内部の空間を感じることになり、同一の空間を感じるという目的を達成することは難しい。
この発明は、上記した、従来の課題に鑑み、人々が会話をしながら空間を共に過ごすことにより、より深いコミュニケーションの記憶が得られるシステム、すなわち、リアリティ音場通信システムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-described conventional problems, and an object thereof is to provide a system in which a deeper memory of communication can be obtained when people spend time together while having a conversation, that is, a reality sound field communication system. To do.
この発明の音響空間共有装置は、複数のスピーカによって音場を再現する音響空間と、この音響空間内に設けられる会話者の音声を取得する収音手段と、この収音手段からの音声情報と共有する音場の情報に基き共有音場の空間データ情報を作成する共有音場データ作成手段と、前記共有音場データ作成手段からの空間データ情報に基づき前記音響空間のスピーカの駆動を制御する制御手段と、を備え、前記共有音場データ作成手段は、共有音場の会話者が存在すると仮定する任意の位置空間を囲むように設置された複数のマイクロフォンと、この複数のマイクロフォンで形成された空間内に配置され、前記収音手段で所得した音声情報を出力するスピーカと、を音響空間の数だけ有し、複数の前記音響空間の前記収音手段で所得した音声情報がそれぞれのスピーカら出力され、前記共有音場データ作成手段は、前記マイクロフォンから得られた音圧信号から各音響空間に対応した共有音場の空間データ情報を作成し、各音響空間は対応する共有音場データ作成手段からの空間データ情報に基づきスピーカの駆動が制御され共有音場を再現することを特徴とする。 An acoustic space sharing apparatus according to the present invention includes an acoustic space that reproduces a sound field by a plurality of speakers, a sound collection unit that acquires a voice of a talker provided in the acoustic space, and voice information from the sound collection unit. Shared sound field data creating means for creating spatial data information of the shared sound field based on shared sound field information, and driving of the speaker in the acoustic space based on the spatial data information from the shared sound field data creating means Control means, and the shared sound field data creation means is formed by a plurality of microphones installed so as to surround an arbitrary position space assuming that a talker of the shared sound field exists, and the plurality of microphones. Audio information obtained by the sound collecting means in a plurality of acoustic spaces, the number of the sound space having speakers arranged in the space and outputting the sound information obtained by the sound collecting means. There are output speakers, et al, the shared sound field data creation means creates the spatial data information sharing sound field corresponding to each acoustic space from the sound pressure signal obtained from the microphone, the acoustic space corresponding Based on the spatial data information from the shared sound field data creation means, the driving of the speaker is controlled to reproduce the shared sound field.
前記音響空間に設けられる複数のスピーカは、境界音場制御原理に基づき駆動を制御される。 Driving of the plurality of speakers provided in the acoustic space is controlled based on the boundary sound field control principle.
また、前記共有音場データ作成手段は、複数の共有音場に基づく空間データを格納する記憶手段を有し、この記憶手段からの空間データを読み出し、前記音響空間のスピーカの駆動を制御する制御信号を作成するように構成できる。 Further, the shared sound field data creating means has storage means for storing spatial data based on a plurality of shared sound fields, and reads out the spatial data from the storage means to control the driving of the speaker in the acoustic space Can be configured to create a signal.
前記音響空間及び共有音場データ作成手段に通信制御手段が設けられ、前記音響空間と共有音場データ作成手段とがネットワークを介して接続することができる。 Communication control means is provided in the acoustic space and shared sound field data creation means, and the acoustic space and shared sound field data creation means can be connected via a network.
前記音響空間の複数のスピーカはドーム状に配置するとよい。 The plurality of speakers in the acoustic space may be arranged in a dome shape.
この発明は、会話者が複数存在しても、各会話者の周囲に、共有空間を構成する他の同一の共有音場を生成することができ、同一の音響空間にて、コミュニケーションが行えるシステムを構築することができる。 The present invention is a system capable of generating another identical shared sound field that constitutes a shared space around each conversation person and communicating in the same acoustic space even when there are a plurality of talkers. Can be built.
以下、この発明の実施の形態につき図面を参照して説明する。図１は、この発明の音響空間共有装置の構成を示す模式図である。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic diagram showing the configuration of the acoustic space sharing apparatus of the present invention.
図１に示すように、この発明は、会話者が複数存在し、各会話者の周囲に、共有空間を構成する他の同一の共有音場を生成するものである。共有音場を生成することにより、同一の空間にて、コミュニケーションが行えるシステムを構築する。 As shown in FIG. 1, in the present invention, there are a plurality of talkers, and other identical shared sound fields constituting a shared space are generated around each talker. By generating a shared sound field, a system that can communicate in the same space is constructed.
図１に示すように、会話者１、２の周囲に、共有音場作成室３０内で得られた情報から作成される共有音場における空間データが与えられる。会話者１、２は、前述したものと同様の音場再現室１０ａ（音場再現室１）、１０ｂ（音場再現室２）に、それぞれに入室している。この実施形態においては、音場再現室１０ａ、１０ｂで共有音場が再現され音響空間として機能する。
As shown in FIG. 1, spatial data in a shared sound field created from information obtained in the shared sound
この音場再現室１０ａ、１０ｂには、音場を再現するためのＢＳＣシステム制御部１１ａ、１１ｂが設けられている。このＢＳＣシステム制御部１１ａ、１１ｂは、会話者１、２の周囲に共有音場における空間データを与えるために、共有音場作成室３０内の共有音場データ作成制御部（図示しない）と接続されている。ＢＳＣシステム制御部１１ａ、１１ｂと共有音場作成室３０内の共有音場データ作成制御部とは、図示はしないが、ＬＡＮ、ブロードバンドネットワークなどの通信手段を用いて接続されている。この図１においては、この発明のシステムの理解を容易にするために、通信手段等は省略している。
The sound
音場再現室１０ａ、１０ｂ内には、ＢＳＣの原理による音場再現を行うために、複数のスピーカが所定の位置に配置されたＢＳＣスピーカ２０ａ、２０ｂが設けられている。このＢＳＣスピーカ２０ａ、２０ｂに対して、所定の位置に設けられた椅子１５ａ、１５ｂに、会話者１、２がそれぞれ着席して、スピーカ２０ａ、２０ｂからの音を聴取する。
In the sound
スピーカ２０ａ、２０ｂは、共有音場作成室３０内で取得された音圧信号に基づき、ＢＳＣシステム制御部１１ａ、１１ｂにより駆動される。
The
共有音場作成室３０には、会話者１の共有音場の音圧信号を取得するためのＢＳＣマイクロフォン３１ａ、会話者２の共有音場の音圧信号を取得するためのＢＳＣマイクロフォン３１ｂが配置されている。共有音場として仮定した共有音場再現室３１の空間Ｖ１、Ｖ２に会話者１、２が存在している仮定し、空間Ｖ１、Ｖ２の音圧信号を取得するべく、複数のマイクロフォンからなるＢＳＣマイクロフォン３１ａ、３１ｂを配置している。
In the shared sound
会話者１、２が発した音声は、音場再現室１０ａ、１０ｂ内のマイク１６ａ、１６ｂで収音され、通信手段を介して共有音場作成室３０に送られる。そして、共有音場作成室３０内の音声再生用スピーカ３２ａ、３２ｂよりそれぞれ出力される。音声再生用スピーカ３２ａ、３２ｂは会話者１、２がそれぞれ存在していると仮定している箇所、すなわち、空間Ｖ１、Ｖ２に設置される。具体的には、ＢＳＣマイクロフォン３２ａ、３２ｂの空間内に設置される。
Voices uttered by the
共有音場作成室３０では、会話者１、２の音声、共有音場内の音が、ＢＳＣマイクロフォン３２ａ、３２ｂで収音されることになる。
In the shared sound
このようにして、ＢＳＣマイクロフォン３２ａで会話者１のための共有音場データ、ＢＳＣマイクロフォン３２ｂで会話者２のための共有音場データを取得する。すなわち、各会話者１、２の音声は音場再現室１、２内のマイクロフォン１６ａ、１６ｂによって収音され、共有音場作成室３０の音声再生用スピーカ３２ａ、３２ｂによって再生される。共有音場作成室３０で再生された音声は、ＢＳＣマイクロフォン３２ａ、３２ｂによって再び収音されて会話の相手の音場再現室１ａ、１ｂ内のＢＳＣスピーカ２０ａ、２０ｂにおいて再現されることになる。
In this way, the shared sound field data for the
ＢＳＣマイクロフォン３１ａ、３１ｂは、例えば、図２に示すように設けられる。図２は、ＢＳＣマイクロフォン３１ａ、３１ｂの一例を示す模式図である。この実施形態において、ＢＳＣマイクロンフォン３１ａ、３１ｂは、空間をほぼ均等に区分けするための形状として、Ｃ８０フラーレンの一部を利用している。システムの利用者（会話者）の頭部全体を覆うことが出来る程度のＣ８０フラーレンからなるフレーム３１を作成する。この実施形態におけるＣ８０フラーレンは、８０個のノードから頭部をフレーム内部に入れるための１０個のノードを除いた７０個のノードで構成する。７０個のノードの位置は、６角形と５角形の組み合わせにより構成されている。マイクロフォンは、７０個のノードの位置に１個ずつの７０個を用いた。この実施形態においては、図２に示すように、ＢＳＣマイクロフォン３１ａ、３１ｂの内部に、音声再生用スピーカ３２ａ、３２ｂが設置される。
The
このＢＳＣマイクロンフォン３１ａ、３１ｂにて、共有音場の任意の位置の閉空間を囲む境界上の音圧と粒子速度を測定し、その測定結果に基づく音圧信号を出力する。この音圧信号に基づきＢＳＣシステム制御部１１ａ、１１ｂは、ＢＳＣスピーカ２０ａ、２０ｂのスピーカと音場再現室１０ａ、１０ｂの会話者１、２の耳の位置との間の音響系の逆システムに基づいたフィルタ処理を行い、ＢＳＣスピーカ２０ａ、２０ｂの各スピーカから音を出力し、共有音場を再現する。
The
上記したように、ＢＳＣの原理は、会話者を取り囲む面上における音圧信号が共有音場の面における音圧信号と同一になるように、ＢＳＣスピーカ２０ａ、２０ｂを駆動するものである。
As described above, the principle of BSC is to drive the
このＢＳＣの原理は、境界面外側から到達する音波に対して成立する理論である。図１のように、音声再生用スピーカ３２ａ、３２ｂがＢＳＣマクロフォン３１ａ、３１ｂの内部に設置される場合には、境界面内部の信号、すなわち、スピーカ３２ａ、３２ｂからの音声Ｌ１１、Ｌ２２の直接音部分をキャンセルする必要がある。従って、ＢＳＣシステム制御部１１ａ、１１ｂに必要な機能は、音場再現室１０ａ、１０ｂ内の伝達関数Ｍ１、Ｍ２の逆システムおよび自らの音声Ｌ１１、Ｌ２２の直接音信号をキャンセルするシステムとを重ね合わせたものになる。また、厳密には、音場再現室１０ａ、１０ｂ内で発生した際に生じる自分の音声の反響（Ｍ’１、Ｍ’２）を抑制する必要がある。しかし、共有音場の再現信号に比べて僅かなので、無視しても別条ない。
The principle of this BSC is a theory that holds for sound waves that reach from the outside of the interface. As shown in FIG. 1, when the
上記したＢＳＣシステム制御回路１１ａ、１１ｂは、基本的には、ＢＳＣの原理による音場再現を行うものである。ＢＳＣの原理によると、３次元空間内の任意の領域を囲む閉曲面上の音圧と音圧勾配を制御することが出来れば、領域内部の任意の点の音圧を制御することが可能となり、各会話者が共有音場を共有できるものである。ＢＳＣの原理につき簡単に説明する。
The above-described BSC
ＢＳＣの原理は、図３に示すように、原音場内の領域Ｖの音場を、再生音場内の領域Ｖ’において、再現するシステムを考えている。ただし、領域Ｖと領域Ｖ’を囲む境界ＳとＳ’上の収録点（ｒｅｃｏｒｄｉｎｇ ｐｏｉｎｔ）ｒ、制御点（ｃｏｎｔｏｒｏｌ ｐｏｉｎｔ）ｒ’と領域内部の点Ｓ、Ｓ’の相対位置は等しいとしている。このことから、下記（１）式が成立する。 As shown in FIG. 3, the principle of BSC is a system that reproduces the sound field of the region V in the original sound field in the region V ′ in the reproduction sound field. However, the relative positions of the recording points (recording points) r and control points r ′ on the boundaries S and S ′ surrounding the regions V and V ′ and the points S and S ′ in the region are equal. From this, the following formula (1) is established.
このとき内部に音源を含まない領域内の音圧ｐ（ｓ）、ｐ（ｓ’）は、Ｋｉｒｃｈｈｏｆｆ−Ｈｅｌｍｈｏｌｔｚ積分方程式により、下記（２）になる。 At this time, the sound pressures p (s) and p (s ′) in the region not including the sound source are represented by the following (2) by the Kirchoff-Helmholtz integral equation.
ただし、ωは角周波数、ρは媒質の密度、ｐ（ｒ）、∂ｐ（ｒ／ｓ）／∂ｎはそれぞれ境界上の点ｒにおける音圧と法線ｎ方向の音圧勾配、Ｇ（ｒ／ｓ）はグリーン関数とする。ここで式（２）の関係より、下記式（３）が成立する。したがって、下記式（４）が得られる。 Where ω is the angular frequency, ρ is the density of the medium, p (r) and ∂p (r / s) / ∂n are the sound pressure at the point r on the boundary and the sound pressure gradient in the normal n direction, respectively G ( r / s) is the Green function. Here, the following equation (3) is established from the relationship of the equation (2). Therefore, the following formula (4) is obtained.
式（４）より、原音場で収音された境界面上の音圧と音圧勾配を再現音場においてそれぞれ等しくなるように制御すれば、領域Ｖ内の音場が領域Ｖ’において再現されることがわかる。 From equation (4), if the sound pressure and the sound pressure gradient on the boundary surface collected in the original sound field are controlled to be equal in the reproduced sound field, the sound field in the region V is reproduced in the region V ′. I understand that
ここで、音圧勾配境界上の点ｒｉ（添え字ｉは離散化した境界Ｓの微少要素の１つを表す）において、境界を挟む２点に設置したマイクロフォンで測定した音圧の差により求めることが出来る。しかしながら、境界値問題における解の一意性から、固有周波数を制御すれば、音圧勾配を制御することが出来、境界内部の音圧も制御できる。 Here, at a point ri on the boundary of the sound pressure gradient (subscript i represents one of the minute elements of the discrete boundary S), the difference is determined by the difference in sound pressure measured by the microphones installed at two points sandwiching the boundary. I can do it. However, from the uniqueness of the solution in the boundary value problem, if the natural frequency is controlled, the sound pressure gradient can be controlled, and the sound pressure inside the boundary can also be controlled.
再生音場の制御点において、原音場の収録点で収録された信号を再現するためには、再生音場の全ての２次音源（Ｓｅｃｏｎｄａｒｙ ｓｏｕｒｃｅ）と全ての制御点の間の伝達特性と空間ストロークを打ち消す逆フィルタを必要とする。 In order to reproduce the signal recorded at the recording point of the original sound field at the control point of the reproduction sound field, the transfer characteristic and space between all the secondary sound sources (Secondary source) of the reproduction sound field and all the control points. Requires an inverse filter to cancel the stroke.
図４に示す関係から逆フィルタマトリクスを求めることができる。逆システムの入力信号をｘ、伝達関数マトリクスを［Ｇ］、制御点における出力信号をｘ’とすると、逆フィルタマトリクスについて以下の式が成り立つ。 An inverse filter matrix can be obtained from the relationship shown in FIG. When the input signal of the inverse system is x, the transfer function matrix is [G], and the output signal at the control point is x ′, the following equation holds for the inverse filter matrix.
ｘ’＝［Ｇ］［Ｈ］ｘ
ここで、逆フィルタマトリクス［Ｈ］は以下のように書くことが出来る。
x ′ = [G] [H] x
Here, the inverse filter matrix [H] can be written as follows.
［Ｈ］＝［Ｇ］−
ただし、［Ｇ］−は［Ｇ］の一般逆行列である。また、［Ｇ］、［Ｈ］、ｘ、ｘ’は次
の通りとする。
[H] = [G] −
However, [G] − is a general inverse matrix of [G]. [G], [H], x, and x ′ are as follows.
上記した境界音場制御（ＢＳＣ）の原理に基づいて、ＢＳＣマイクロンフォン３１ａ、３１ｂで収音したデータに基づき、ＢＳＣシステム制御部１１ａ、１１ｂはＢＳＣスピーカ２０ａ、２０ｂを制御する。
Based on the principle of boundary sound field control (BSC) described above, the BSC
上記した７０個のマイクロンフォンで収音した音を再生するためには、マイクロフォンの数以上のスピーカを用いることが望ましい。これは、フィルタ設計の演算において、マイクロフォンの数以上のスピーカであれば、近似解にならず、行列演算によりフィルタ特性が得られるからである。勿論、マイクロフォンの数より少ないスピーカを用いて、スピーカシステムを構成することもできる。この場合には、フィルタ演算は、近似解を用いることになる。 In order to reproduce the sound collected by the 70 microphones described above, it is desirable to use speakers that are equal to or more than the number of microphones. This is because, in the filter design calculation, if the number of speakers is more than the number of microphones, an approximate solution is not obtained, and filter characteristics can be obtained by matrix calculation. Of course, a speaker system can be configured by using less speakers than the number of microphones. In this case, an approximate solution is used for the filter operation.
次に、上記した音場再現室１０ａ、１０ｂとして用いて好適な音場再現室を図５、図６及び図７に従い説明する。音場再現室１０ａ、１０ｂは、同じ構成で実現されているので、図５、図６、図７においては、符号にａ、ｂという添え字は省略している。
Next, a sound field reproduction room suitable for use as the above-described sound
図５は、この発明に用いて好適な音場再現室を示す斜視図、図６は、音場再現室の外側の壁面を除いて、ＢＳＣスピーカシステムの配置状態を示す斜視図、図７は、音場再現室におけるスピーカシステムを下方から見た図である。この実施形態においては、７０個のマイクロンフォンに対して、７０個のスピーカを用いて音場再現室を構成している。 FIG. 5 is a perspective view showing a sound field reproduction room suitable for use in the present invention, FIG. 6 is a perspective view showing an arrangement state of the BSC speaker system except for a wall surface outside the sound field reproduction room, and FIG. It is the figure which looked at the speaker system in a sound field reproduction room from the lower part. In this embodiment, a sound field reproduction room is configured using 70 speakers for 70 microphones.
図５に示すように、この実施形態においては、外部からのノイズ等を遮断するために、３次元音場再生装置を設置する音場再現室１０として防音室１００を用いている。この防音室１００内には、ドア１０１から内部に入り、ドア１０１を閉めることで、外部とは遮断された防音室１００となる。
As shown in FIG. 5, in this embodiment, a
音場再現室１０は、内部に吸音処理が施されている。この防音室１００の中央部にリフト装置１０２が設けられ、このリフト装置１０２上に会話者が座る椅子１５が取り付けられている。リフト装置１０２は、音場再現領域の高さまで会話者の頭部を移動させるために上昇する。また、椅子１５は回転可能であり、頭部が再現領域内部で回転出来るように構成されている。
The sound
なお、図示はしないが、内部に映像投影用のスクリーン及びプロジェクタが設置され、映像を音とともに再生し、バーチャルリアリティを体験出来るように構成されている。また、会話者の音声を収音するマイク、会話者を撮影するビデオカメラを設けられている。 Although not shown, a screen for projecting video and a projector are installed inside, so that the video can be reproduced together with sound to experience virtual reality. In addition, a microphone for collecting the voice of the conversation person and a video camera for photographing the conversation person are provided.
会話者を中心とする３次元軸上の正負の位置にＢＳＣスピーカ２０として複数のスピーカ群２１０〜２１４を配置し、スピーカは会話者の定位の弁別限の小さな方向に多く配置している。 A plurality of speaker groups 210 to 214 are arranged as BSC speakers 20 at positive and negative positions on a three-dimensional axis centering on a conversation person, and a large number of speakers are arranged in a direction with a small discrimination limit of the conversation person.
図６及び図７に示すように、会話者を取り囲むように、スピーカの取り付け部材２０２が配置され、会話者の上方の取り付け部材２はアーチ状に曲げられている。会話者の頭部が位置する場所はドーム状に形成されている。
As shown in FIGS. 6 and 7, a
すなわち、会話者の頭部より下方には、４隅に直線状の取り付け部材２０２が設けられ、この取り付け部材２０２の直線部分に、それぞれ２つずつのＢＳＣスピーカ２０の一部としてのスピーカ２１５…が取り付けられている。従って、会話者の頭部より下方には、計８個のスピーカ２１５…が取り付けられている。会話者の頭部より下方部に位置する８個のスピーカは、特に中低音を中心とした音が十分に再生できるスピーカを用いている。
That is,
頭部より上方に位置する部分には、アーチ状に曲げられた取り付け部材２０２に、正中面に対する角度が異なる位置の水平面に対して、第２の取り付け部材２０３が取り付けられている。この第２の取り付け部材２０３に、それぞれ複数個のＢＳＣスピーカ２０の一部としてのフルレンジのスピーカ２１１〜２１４が取り付けられている。
In the portion located above the head, the
そして、人間の定位の弁別限の小さな方向に数多くのスピーカを配置している。このため、会話者の両耳が位置する水平面近傍に最大個数のスピーカを配置している。 A large number of speakers are arranged in the direction of small discrimination limit for human localization. For this reason, the maximum number of speakers are arranged in the vicinity of the horizontal plane where both ears of the talker are located.
上記した実施形態においては、７０個のスピーカを用いたが、スピーカの個数はこれに限るものではない。また、ドーム状にスピーカを配置しているが、ドーム状に限らず、単に円筒状や，四角柱状のスピーカ配置でもよく、それぞれのスピーカ配置に従い、予測・逆システムの演算を行い、フィルタ特性を設定すればよい。 In the embodiment described above, 70 speakers are used, but the number of speakers is not limited to this. In addition, the speaker is arranged in a dome shape, but it is not limited to a dome shape, and may be a simple cylindrical or square columnar speaker arrangement. According to each speaker arrangement, the prediction / inverse system calculation is performed, and the filter characteristics are changed. You only have to set it.
図８及び図９を参照して、この発明の音響空間共有装置の構成につき更に説明する。図８は、この発明の音響空間共有装置の構成を示すブロック図、図９は、この発明の音響空間共有装置における音場再生装置の構成例を示すブロック図である。尚、図９においては、便宜上、会話者１（２）の正面部分にスピーカを配置したように記載しているが、実際には会話者１（２）を取り囲むように７０個のスピーカが配置されている。 With reference to FIG.8 and FIG.9, it demonstrates further about the structure of the acoustic space sharing apparatus of this invention. FIG. 8 is a block diagram showing the configuration of the acoustic space sharing device of the present invention, and FIG. 9 is a block diagram showing an example of the configuration of the sound field reproducing device in the acoustic space sharing device of the present invention. In FIG. 9, for the sake of convenience, the speaker is described as being arranged in front of the conversation person 1 (2), but in reality, 70 speakers are arranged so as to surround the conversation person 1 (2). Has been.
図８は、本実施形態にかかる音響空間共有装置の全体構成を示すブロック図である。
図８に示すように、音響空間共有装置は、ネットワーク５０と接続される通信インターフェース４０ａ（４０ｂ）、ＢＳＣ制御装置１１ａ（１１ｂ）、アンプ７０ａ（７０ｂ）、ＢＳＣスピーカ２０ａ（２０ｂ）、マイク１６ａ（１６ｂ）、及び共有音場データ作成制御部３００を備える。共有音場データ作成制御部３００は、共有音場作成室３０に設けられている。
FIG. 8 is a block diagram showing the overall configuration of the acoustic space sharing apparatus according to the present embodiment.
As shown in FIG. 8, the acoustic space sharing device includes a
図に示すように、共有音場データ作成制御部３００を除いた各部は、音場再現室の各々に個別に備え付けられる。この図８においては、２つの音場再現室を記載してるが、２以上の音場再生装置をネットワーク５０に接続することができる。
As shown in the drawing, each unit except the shared sound field data
また、共有音場データ作成制御部３００には、前述したように、会話者１、２の周囲の共有音場における空間データを与えるための音圧信号を作成し、対応する音場再現室にネットワーク５０を介して音圧信号データなどからなる制御信号を送出する。このため、この共有音場データ作成制御部３００は、接続される音源再生室にそれぞれ対応するＢＳＣマクロフォン、音声スピーカなどが設けられている。そして、ＢＳＣマクロフォンからの信号を図示していないが通信インターフェースを介してネットワーク５０に送出する。
In addition, as described above, the shared sound field data
この音場再現室１０ａ、１０ｂには、音場を再現するためのＢＳＣシステム制御部１１ａ、１１ｂが設けられている。このＢＳＣシステム制御部１１ａ、１１ｂはそれぞれ通信インターフェース４０ａ、４０ｂを介してネットワーク５０を介して共有音場作成データ制御部３００と接続されている。
The sound
音場再現室１０ａ、１０ｂ内には、ＢＳＣの原理による音場再現を行うために、複数のスピーカが所定の位置に配置されたＢＳＣスピーカ２０ａ、２０ｂが設けられている。スピーカ２０ａ、２０ｂは、共有音場作成データ制御部３００で作成した音圧信号がネットワーク５０、通信インターフェース４０ａ、４０ｂを介してＢＳＣシステム制御部１１ａ、１１ｂに与えられる。ＢＳＣシステム制御部１１ａ、１１ｂは、共有音場作成データ制御部３００から送られてきた音圧信号に基づき、上記したＢＳＣの原理に基づいて、フィルタ係数等を演算し、その演算結果に基づきアンプが７０ａ、７０ｂが駆動され、スピーカ２０ａ、２０ｂが駆動される。
In the sound
次に、図９に従い、各音場再現室の動作につき、更に説明する。 Next, the operation of each sound field reproduction room will be further described with reference to FIG.
共有音場データ作成制御部３００で作成した音圧信号が通信インターフェース４０ａ（４０ｂ）に与えられ、通信インターフェース４０ａ（４０ｂ）から音場データがＢＳＣ制御装置１１ａ（１１ｂ）に与えられる。
The sound pressure signal created by the shared sound field data
この通信インターフェース４０ａ（４０ｂ）を介して与えられる音場データは、複数のデジタルフィルタ５１１，５１２‥‥５１ｍに供給される。デジタルフィルタ５１１，５１２‥‥５１ｍの伝達関数は、通信インターフェース４０ａ（４０ｂ）から与えられる信号に基づいて前述したＢＳＣの原理に基づき演算処理部８０によって算出され、決定されるものである。
The sound field data given through the
デジタルフィルタ５１１，５１２‥‥５１ｍの出力の音場データは、ＤＡコンバータ６１１，６１２‥‥６１ｍでアナログ音声信号に変換され、その変換後の音声信号が、それぞれ音声増幅回路７１１，７１２‥‥７１ｍで増幅されてスピーカ２１１〜２１４に供給される。スピーカ２１１〜２１４は、前述したスピーカの配置状態で構成される。
The sound field data output from the digital filters 51 1 , 51 2, ... 51 m are converted into analog audio signals by the DA converters 61 1 , 61 2, ... 61 m , and the converted audio signals are respectively converted into audio amplifier circuits. 71 1 , 71 2 ... Are amplified by 71 m and supplied to the
演算処理部８０は、図では省略したがＣＰＵ，ＲＯＭおよびＲＡＭを備えるコンピュータ部として構成され、デジタルフィルタ５１１，５１２‥‥５１ｍのフィルタ係数を設定するものである。
Although not shown in the figure, the
演算処理部８０には、記憶装置部８５が接続される。記憶装置部８５は、ＢＳＣの原理に基づく演算結果のデータとして得られたデジタルフィルタ５１１，５１２‥‥５１ｍのフィルタ係数を記憶させておくものである。通信インターフェース４０ａ（４０ｂ）から与えられる信号に基づいて、演算部８０は、記憶部８５から該当するフィルタ係数を読み出し、デジタルフィルタ５１１，５１２‥‥５１ｍのフィルタ係数を設定するものである。
A
上記した手法により、共有空間の音場データを再生することにより、会話者は離れていても共通の空間を共有することができる。 By reproducing the sound field data in the shared space by the above-described method, a conversation person can share a common space even if they are separated.
この図８に示すものは、会話者が２名であるが、会話者が増える場合には同一セットを増加させればよい。 In the example shown in FIG. 8, there are two talkers, but when the number of talkers increases, the same set may be increased.
上記した音響空間共有装置では、共有音場作成室３０にて、共有音場をリアルタイムで作成することができる。しかし、リアルタイムで共有音場を再現する必要がない場合もある。図１０に示す実施形態は、リアルタイムで共有音場を再現する必要がない場合の音響空間共有装置を示す模式図である。
In the acoustic space sharing apparatus described above, the shared sound field can be created in real time in the shared sound
図１０に示すように、リアルタイムで共有音場を再現する必要がない場合には、予めＢＳＣマイクロフォンを用いて予め共有音場の音を収音しておく。そして、収音したデータから共有音場のデータ（Ｎ１）、（Ｎ２）を共有音場再現室の共有音場データ作成制御部３００の記憶装置などに格納しておく。そして、記憶装置から共有音場のデータ（Ｎ１）、（Ｎ２）を読み出し、再生する。
As shown in FIG. 10, when there is no need to reproduce the shared sound field in real time, the sound of the shared sound field is collected in advance using a BSC microphone. Then, shared sound field data (N 1 ) and (N 2 ) are stored in the storage device of the shared sound field data
また、各会話者１、２の音声に関しても、再生用スピーカからＢＳＣマイクロフォンへの伝達関数（Ｌ１２、Ｌ２１）を音声信号に畳み込んだ信号を加えればよい。また、自分の音声信号に対しては、直接音成分を除いた伝達関数（Ｌ’１１、Ｌ’２２）を加えればよい。
In addition, regarding the voices of the
この図に示すものでは、共有音場データ作成制御部３００に内に、ＢＳＣ制御システム回路を構成し、逆システムに係るフィルタ係数、音場データを音場再現装置に送り、ＢＳＣスピーカを駆動するように構成している。共有音場のデータ（Ｎ１）、（Ｎ２）、再生用スピーカからＢＳＣマイクロフォンへの伝達関数（Ｌ１２、Ｌ２１）、直接音成分を除いた伝達関数（Ｌ’１１、Ｌ’２２）を予め記憶装置に格納する。記憶装置には、様々な音場データを格納し、会話者１、２が希望する音場のデータを共有音場データ作成制御部３００は読み出してＢＳＣ制御するものである。
In the figure, a BSC control system circuit is configured in the shared sound field data
制御装置２０にて、音源再生装置１０ａ、１０ｂから送られてくる音声信号に、各伝達関数を畳み込んだ信号を加えて、逆システム用の信号（Ｍ１ −１、Ｍ２ −１）を生成して、各音源再生装置１０ａ、１０ｂに送出する。各音源再生装置１０ａ、１０ｂでは、送られてきた逆システムに係るフィルタ係数、音場データにてＢＳＣスピーカ２０ａ、２０ｂを駆動することで、共有音場を得ることができる。
The control device 20 adds signals obtained by convolving each transfer function to the audio signals transmitted from the sound
このようなシステムを構成するメリットは、蓄積した様々な音場のデータベースを共有音場のデータとして利用できる。すなわち、共有音場のデータ（Ｎ１）、（Ｎ２）、再生用スピーカからＢＳＣマイクロフォンへの伝達関数（Ｌ１２、Ｌ２１）を多数の場所で計測し、蓄積することで会話者は様々な条件の音場を体験することができるようになる。伝達関数（Ｌ１２、Ｌ２１）は、無響室で計測したデータで代替えしたり、あるいは計算でもとめばよい。 The merit of configuring such a system is that a database of various stored sound fields can be used as shared sound field data. That is, the data of the shared sound field (N 1 ), (N 2 ), and the transfer functions (L 12 , L 21 ) from the playback speaker to the BSC microphone are measured and stored in a number of places, so that the talker can You will be able to experience a sound field with various conditions. The transfer function (L 12 , L 21 ) may be replaced with data measured in an anechoic room or may be stopped by calculation.
さらに、会話者をビデオカメラで撮像し、そのデータを相手方に送り、共有音場に相手方の映像を重ね合わせることで、よりリアリティある会話を楽しむことができる。 Furthermore, by capturing a conversation person with a video camera, sending the data to the other party, and superimposing the other party's video on the shared sound field, a more realistic conversation can be enjoyed.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above description of the embodiments but by the scope of claims for patent, and is intended to include meanings equivalent to the scope of claims for patent and all modifications within the scope.
この発明は、リアリティ感のあるテレビ会議システム、臨場感あふれる映画観賞装置などに適用することができる。 The present invention can be applied to a video conference system with a sense of reality, a movie appreciation device full of realism, and the like.
１、２ 会話者、１０、１０ａ、１０ｂ 音場再現室、１１、１１ａ、１１ｂ ＢＳＣシステム制御部、１６ａ、１６ｂ マイク、２０、２０ａ、２０ｂ ＢＳＣスピーカ、３０ 共有音場作成室、３１ａ、３１ｂ ＢＳＣマイクロフォン、３２ａ、３２ｂ 音声スピーカ、３００ 共有音場データ作成制御部。
1, 2,
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007061107A JP4873316B2 (en) | 2007-03-09 | 2007-03-09 | Acoustic space sharing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007061107A JP4873316B2 (en) | 2007-03-09 | 2007-03-09 | Acoustic space sharing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008227773A JP2008227773A (en) | 2008-09-25 |
| JP4873316B2 true JP4873316B2 (en) | 2012-02-08 |
Family
ID=39845875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007061107A Expired - Fee Related JP4873316B2 (en) | 2007-03-09 | 2007-03-09 | Acoustic space sharing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4873316B2 (en) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5550019B2 (en) * | 2010-10-08 | 2014-07-16 | 独立行政法人情報通信研究機構 | Sound field sharing system and optimization method |
| JP5697079B2 (en) * | 2010-11-15 | 2015-04-08 | 独立行政法人情報通信研究機構 | Sound reproduction system, sound reproduction device, and sound reproduction method |
| JP5698164B2 (en) * | 2012-02-20 | 2015-04-08 | 日本電信電話株式会社 | Sound field recording / reproducing apparatus, method, and program |
| JP5713964B2 (en) * | 2012-06-25 | 2015-05-07 | 日本電信電話株式会社 | Sound field recording / reproducing apparatus, method, and program |
| US10075801B2 (en) | 2012-07-13 | 2018-09-11 | Sony Corporation | Information processing system and storage medium |
| RU2635046C2 (en) * | 2012-07-27 | 2017-11-08 | Сони Корпорейшн | Information processing system and information media |
| JP6202003B2 (en) * | 2012-11-02 | 2017-09-27 | ソニー株式会社 | Signal processing apparatus and signal processing method |
| EP2916567B1 (en) * | 2012-11-02 | 2020-02-19 | Sony Corporation | Signal processing device and signal processing method |
| JP5698279B2 (en) * | 2013-02-01 | 2015-04-08 | 日本電信電話株式会社 | Sound field recording / reproducing apparatus, method, and program |
| JP5698278B2 (en) * | 2013-02-01 | 2015-04-08 | 日本電信電話株式会社 | Sound field recording / reproducing apparatus, method, and program |
| JP5741866B2 (en) * | 2013-03-05 | 2015-07-01 | 日本電信電話株式会社 | Sound field recording / reproducing apparatus, method, and program |
| US10674304B2 (en) * | 2015-10-09 | 2020-06-02 | Sony Corporation | Signal processing apparatus and signal processing method |
| KR101677502B1 (en) * | 2015-10-26 | 2016-11-18 | 한양대학교 산학협력단 | Method for transferring stereophonic sound between users far away from each other |
| JP7020432B2 (en) | 2017-01-31 | 2022-02-16 | ソニーグループ株式会社 | Signal processing equipment, signal processing methods and computer programs |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001339799A (en) * | 2000-05-29 | 2001-12-07 | Alpine Electronics Inc | Virtual meeting apparatus |
| FR2847376B1 (en) * | 2002-11-19 | 2005-02-04 | France Telecom | METHOD FOR PROCESSING SOUND DATA AND SOUND ACQUISITION DEVICE USING THE SAME |
| JP2005340924A (en) * | 2004-05-24 | 2005-12-08 | Matsushita Electric Ind Co Ltd | Information reproducing apparatus |
| JP4735108B2 (en) * | 2005-08-01 | 2011-07-27 | ソニー株式会社 | Audio signal processing method, sound field reproduction system |
-
2007
- 2007-03-09 JP JP2007061107A patent/JP4873316B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008227773A (en) | 2008-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4873316B2 (en) | Acoustic space sharing device | |
| DK2863654T3 (en) | Method for reproducing an acoustic sound field | |
| RU2635046C2 (en) | Information processing system and information media | |
| JP5637661B2 (en) | Method for recording and playing back sound sources with time-varying directional characteristics | |
| JP7352291B2 (en) | sound equipment | |
| CN103385009B (en) | Sound field controlling device and sound field control method | |
| US20120057734A1 (en) | Hearing Device System and Method | |
| JP6246922B2 (en) | Acoustic signal processing method | |
| Omoto et al. | Sound field reproduction and sharing system based on the boundary surface control principle | |
| TW201306609A (en) | Audio devices having electroactive polymer actuators | |
| JP5697079B2 (en) | Sound reproduction system, sound reproduction device, and sound reproduction method | |
| JP2008118559A (en) | Three-dimensional sound field reproducing apparatus | |
| JP4725234B2 (en) | Sound field reproduction method, sound signal processing method, sound signal processing apparatus | |
| Enomoto et al. | Three-dimensional sound field reproduction and recording systems based on boundary surface control principle | |
| JP2012010011A (en) | Sound field reproduction system using principle of boundary surface control | |
| Ikeda et al. | Sound Cask: Music and voice communications system with three-dimensional sound reproduction based on boundary surface control principle. | |
| Hiipakka | Estimating pressure at the eardrum for binaural reproduction | |
| McKenzie et al. | The auditory perceived aperture position of the transition between rooms | |
| Tucker et al. | Perception of reconstructed sound-fields: The dirty little secret | |
| Enomoto et al. | 3-D sound reproduction system for immersive environments based on the boundary surface control principle | |
| JP2004200761A (en) | Video image appreciation apparatus | |
| San Martín et al. | Influence of recording technology on the determination of binaural psychoacoustic indicators in soundscape investigations | |
| JP2016220032A (en) | Sound field reproduction system | |
| Pausch | Documentation of the experimental environments and hardware used in the dissertation “Spatial audio reproduction for hearing aid research: System design, evaluation and application” | |
| De Vries et al. | Auralization of room acoustics by wave field synthesis based on array measurements of impulse responses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111025 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111110 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4873316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |