JP4422656B2 - Remote multi-point concert system using network - Google Patents

Description

本発明は、ネットワークを介して接続された複数の演奏端末装置を用いて、複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にするネットワークを用いた遠隔多地点合奏システムネットワークに関するものである。   The present invention makes it possible to perform together with the performances of the performers in other places at the places where the plurality of performance terminal apparatuses are placed, using the plurality of performance terminal apparatuses connected via the network. The present invention relates to a remote multipoint ensemble system network that uses a network to perform.

従来、ネットワークを介して音楽、音声をリアルタイムで送受信して合奏を実現するシステムが種々提案されている。特開平02-204794号公報（特許文献１）に示された合奏システムでは、遠隔地からネットワークを介して送られてくる演奏情報を端末装置のシンセサイザーで合成してスピーカーから増幅して出力して、遠隔地間での合奏を可能にしている。また別の合奏システムでは、１箇所にミキサを備えた集配装置を設け、この集配装置で各端末装置から送信されてきた演奏情報を混合多重化して、各端末装置に送信し、各端末装置では送信された演奏情報をシンセサイザーで合成してスピーカーから増幅して出力して、遠隔地間での合奏を可能にしている。   Conventionally, various systems have been proposed for realizing ensemble by transmitting and receiving music and voice in real time via a network. In the ensemble system disclosed in Japanese Patent Application Laid-Open No. 02-204794 (Patent Document 1), performance information sent from a remote location via a network is synthesized by a synthesizer of a terminal device, amplified from a speaker, and output. , Enabling ensembles between remote locations. In another ensemble system, a collection / delivery device provided with a mixer is provided at one location, and the performance information transmitted from each terminal device is mixed and multiplexed by this collection / delivery device and transmitted to each terminal device. The transmitted performance information is synthesized by a synthesizer, amplified from a speaker, and output to enable ensemble between remote locations.

また特開平6-35456号公報（特許文献２）に示された電子楽器演奏システムでは、ネットワークを介して送られてくる演奏情報をクライアントに供給するだけでなく、演奏状態、指揮内容をディスプレイに表示する技術を開示している。   In addition, in the electronic musical instrument performance system disclosed in Japanese Patent Laid-Open No. 6-35456 (Patent Document 2), not only the performance information sent via the network is supplied to the client, but also the performance status and the command content are displayed on the display. The technique to display is disclosed.

特開2005-77485号公報（特許文献３）には、ネットワークを介してカラオケのデュエットを可能にするために、多拠点の空間の映像・音響信号を遠隔地同士の利用者で共有することを内容とする「多拠点におけるデュエット・合唱カラオケ制御方式」が記載されている。またこの公報には、相互の音響信号データの遅延を極小化するために、映像信号ストリーム等よりも音響信号を優先して通信網に配信することが開示されている。   JP-A-2005-77485 (Patent Document 3) states that in order to enable a duet of karaoke via a network, video / audio signals of multi-site spaces can be shared by users at remote locations. The content is “Duet / choral karaoke control system in multiple locations”. This publication also discloses that the audio signal is distributed to the communication network with priority over the video signal stream or the like in order to minimize the delay of the mutual audio signal data.

しかし実際に、遠隔地にいる複数の演奏者がネットワークを介して演奏する場合には、通信にかかる遅延時間が問題となる。すなわち遅延時間が長くなるにしたがって、合奏をリアルタイムで実現することは困難となる。そこでこのような問題を克服するための試みとして様々な装置が提案されてきた。例えば、特開2002-207492公報（特許文献４）には、遠隔地にある実演収録装置を数珠繋ぎにして順番を設定し、その設定した順番で演奏信号を順次次の実演収録装置に送ることによって演奏音の同期を可能にしている。しかしこの技術では、先頭の演奏者は、他の演奏者の演奏を聴くことができなかった。   However, in practice, when a plurality of performers at remote locations perform over a network, a delay time for communication becomes a problem. That is, as the delay time becomes longer, it becomes difficult to realize the ensemble in real time. Accordingly, various devices have been proposed as attempts to overcome such problems. For example, in Japanese Patent Laid-Open No. 2002-207492 (Patent Document 4), a sequence is set by connecting a number of demonstration recording devices at remote locations, and performance signals are sequentially sent to the next demonstration recording device in the set order. The performance sound can be synchronized. However, with this technique, the first performer could not hear the performances of other performers.

また特開2005-128296号公報（特許文献５）に記載の技術では、正確な演奏操作を即すためのテンポに従った報知音（メトロノーム音）を電波時計に基づき発生させることによって、複数の演奏者の演奏音を同期させてミキシングすることを可能としていた。しかし、この技術では、遠隔地の各演奏者は他の演奏者の演奏を聴くことができず、あらかじめ決められた楽曲を所定のテンポで演奏するだけであった。   In the technique described in Japanese Patent Laid-Open No. 2005-128296 (Patent Document 5), a notification sound (metronome sound) according to a tempo for accelerating an accurate performance operation is generated on the basis of a radio timepiece. It was possible to synchronize the performance sound of the performer. However, with this technique, each performer at a remote location cannot listen to the performances of other performers, and only plays a predetermined piece of music at a predetermined tempo.

さらに特開2004-325775号公報（特許文献６）に記載の合奏用演奏装置の技術では、遠隔地との通信にかかる遅延時間を測定し、その測定した遅延時間に基づき自己の演奏情報を遅延させることで、演奏音を同期してミキシングすることを可能としていた。しかし、この技術では自己の演奏情報を遅延させて相手の演奏に同期させてミキシングするだけであるため、遅延時間の異なる３地点以上の遠隔地でネットワークを介して演奏する場合には、対応できない。   Furthermore, in the technique of the ensemble performance device described in Japanese Patent Laid-Open No. 2004-325775 (Patent Document 6), the delay time required for communication with a remote place is measured, and the performance information of the player is delayed based on the measured delay time. By doing so, it was possible to mix the performance sound in synchronization. However, this technology only delays the performance information of the player and mixes them in sync with the performance of the other party. Therefore, this technique cannot be used when playing over a network at three or more remote locations with different delay times. .

一方、特開2003-280644号公報（特許文献７）及び特開2003-323173号公報（特許文献８）並びに非特許文献１に記載の技術では、遠隔地から受け取った演奏を１小節から数小節の音楽的な区切りの長さ時間遅延させて、自分の演奏に同期させることによって、ネットワークによる遅延の影響を吸収していた。しかし、この技術では相手の演奏が自分に伝わるまでに数小節かかるため、相手の数小節前の演奏に合わせて演奏することになることから、合奏という性格が弱い。
特開平02-204794号公報 特開平6-35456号公報 特開2005-77485号公報 特開2002-207492公報 特開2005-128296号公報 特開2004-325775号公報 特開2003-280644号公報 特開2003-323173号公報 後藤 真孝, 根山 亮: "Open RemoteGIG: 遅延を考慮した不特定多数による遠隔セッションシステム", 情報処理学会論文誌, Vol.43, No.2, pp.299-309, February 2002. On the other hand, in the techniques described in Japanese Patent Application Laid-Open No. 2003-280644 (Patent Document 7), Japanese Patent Application Laid-Open No. 2003-323173 (Patent Document 8), and Non-Patent Document 1, a performance received from a remote place is recorded from one measure to several measures. By delaying the length of the musical break in time and synchronizing it with my performance, I was able to absorb the effects of the delay caused by the network. However, with this technique, it takes several measures for the opponent's performance to be transmitted to him, so it is performed in accordance with the performance of the opponent several measures before, so the character of ensemble is weak.
Japanese Patent Laid-Open No. 02-204794 JP-A-6-35456 JP 2005-77485 JP JP 2002-207492 JP JP 2005-128296 A JP 2004-325775 A Japanese Patent Laid-Open No. 2003-280644 JP 2003-323173 A Masataka Goto, Ryo Neyama: "Open RemoteGIG: Remote session system with unspecified number of users considering delay", IPSJ Journal, Vol.43, No.2, pp.299-309, February 2002.

しかしながら従来提案されている各種の技術では、合奏に参加を希望する者から送信されてくる演奏信号をすべて対象とするため、遅延時間の長い演奏信号の補正処理が複雑なものとなり、また遅延時間の補正処理が上手に行われていない場合には、時間遅れの演奏が耳障りなものとして聞こえる問題があった。   However, since the various techniques that have been proposed in the past target all performance signals transmitted from those who wish to participate in the ensemble, the correction processing of performance signals having a long delay time becomes complicated, and the delay time is also complicated. If the correction process is not performed well, there is a problem that a time-delayed performance can be heard as annoying.

本発明の目的は、複雑な遅延時間の補正処理を行うことなく、遠隔地にいる複数の演奏者がネットワークを介して合奏をすることを可能にする遠隔多地点合奏システムを提供することにある。   An object of the present invention is to provide a remote multipoint ensemble system that allows a plurality of performers in a remote place to perform ensembles via a network without performing complicated delay time correction processing. .

本発明の他の目的は、耳障りとなるような時間遅れの演奏を聞くことなく、合奏をすることができる遠隔多地点合奏システムを提供することにある。   Another object of the present invention is to provide a remote multi-point ensemble system that can perform an ensemble without listening to a time-delayed performance that is annoying.

本出願に係わる発明は、ネットワークを利用するがサーバは利用しないタイプの遠隔多地点合奏システムと、ネットワークとサーバの両方を利用するタイプの遠隔多地点合奏システムに分けられる。サーバを利用しないタイプの本発明の遠隔多地点合奏システムは、ネットワークを介して接続された複数の演奏端末装置を用いて、複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にする。ここで「演奏」「合奏」とは、楽器を使用した演奏・合奏だけでなく、声だけの演奏・合奏や、楽器と声の両方が混在した演奏・合奏のいずれでもよい。また演奏には、拍手、手拍子、観客の声、叫び声等が含まれていてもよい。   The invention according to the present application is divided into a remote multipoint concert system of a type that uses a network but does not use a server, and a remote multipoint concert system of a type that uses both a network and a server. The remote multipoint ensemble system of the present invention of a type that does not use a server is in a different place where a plurality of performance terminal devices are placed using a plurality of performance terminal devices connected via a network. Enables performance and ensemble of performers. Here, “performance” and “ensemble” may be not only performance / ensemble using musical instruments, but also performance / ensemble of voice only, or performance / ensemble in which both instruments and voices are mixed. The performance may also include applause, clapping, audience voice, screaming, and the like.

本発明では、演奏端末装置として、実際の演奏を演奏信号に変換する変換手段と、演奏信号をネットワークを介して他の１以上の演奏端末装置との間で送受信する送受信手段と、受信した演奏信号の遅延時間を測定する遅延時間測定手段と、変換手段から出力した演奏信号と受信した演奏信号をミキシングして混合信号を作成するミキシング手段と、混合信号を再生する再生手段とを少なくとも備えたものを用いる。ここで「演奏信号」とは、演奏を再現するために使用可能な信号（例えば、音響信号、ＭＩＤＩ信号等）のすべてを含むものである。また遅延時間測定手段で採用する遅延時間の測定方法は、任意である。例えば、遅延時間測定手段を、一つの演奏端末装置から他の１以上の演奏端末装置に対して遅延測定用信号を送信してから、他の１以上の演奏端末装置が遅延測定用信号に応じて返信信号を一つの演奏端末装置に送信し、前記一つの演奏端末装置が返信信号を受信するまでの時間に基づいて、遅延時間を測定するように構成することができる。なお最近は、パーソナルコンピュータ用のオペレーションシステムにこのような遅延時間の測定機能が含まれているものも販売されているので、この機能を利用するようにしてもよいのは勿論である。   In the present invention, as a performance terminal device, conversion means for converting an actual performance into a performance signal, transmission / reception means for transmitting / receiving the performance signal to / from one or more other performance terminal devices via a network, and received performance A delay time measuring means for measuring the delay time of the signal; a mixing means for mixing the performance signal output from the converting means and the received performance signal to create a mixed signal; and a reproducing means for reproducing the mixed signal. Use things. Here, the “performance signal” includes all signals (for example, an acoustic signal, a MIDI signal, etc.) that can be used to reproduce the performance. Moreover, the measuring method of the delay time employ | adopted by a delay time measuring means is arbitrary. For example, after the delay time measuring means transmits a delay measurement signal from one performance terminal device to one or more other performance terminal devices, the other one or more performance terminal devices respond to the delay measurement signal. Then, a reply signal can be transmitted to one performance terminal device, and the delay time can be measured based on the time until the one performance terminal device receives the reply signal. In recent years, an operation system for a personal computer has been sold in which such a delay time measurement function is included. Of course, this function may be used.

そして本発明では、複数の演奏端末装置のミキンング手段を、それぞれ、変換手段から出力した演奏信号を基準として測定した受信した１以上の演奏信号の遅延時間が長くなるほど１以上の演奏信号の増幅率を小さくするように構成している。ここで「遅延時間が長くなるほど１以上の演奏信号の増幅率を小さくする関係」は、負の傾きを持った比例関係や、反比例の関係である。負の傾きを持った比例関係とは、ｘｙ軸で考えた場合におけるｙ＝−ｍｘ＋ｋで表される比例関係である。ここでｍは比例係数（傾き）である。また反比例とは、遅延時間の長さが２倍、３倍であれば、増幅率を１／２倍、１／３倍とする関係である。本発明によれば、遅延時間が長くなるほど、増幅率が小さくなるため、ある程度遅延時間が長くなると、増幅率がかなり小さいものとなって、実際に再生手段から聞こえる合奏からは、耳障りなほどに遅れた演奏が聞こえることはない。また遅延時間が長い演奏信号ほど、増幅率が小さくなるため、その演奏信号に基づく演奏は、合奏の中では目立たない存在となる。そのため演奏間に多少の遅れがあったとしても、聞く者にとって耳障りな存在となることはない。このシステムでは、ある演奏端末装置Ａを考えた場合、その演奏端末装置Ａから遠く離れている（遅延時間がかなり長くなる）位置にある他の演奏端末装置Ｅから送信されてきた演奏信号は、演奏端末装置Ａのミキシング手段においては、増幅率が小さいために、実質的に増幅されない状態となるために、演奏端末装置Ａでは演奏端末装置Ｅが置かれている場所で行われている演奏を合奏中に聴くことはできない。このことと逆のことは、演奏端末装置Ｅにおいても発生している。したがってこのシステムでは、演奏端末装置Ａを中心にしてみれば、遅延時間が合奏に支障がない程度の長さになる距離の範囲内に置かれている他の演奏端末装置だけが、合奏に参加することになる。そのためこのシステムでは、参加しているすべての演奏端末装置が、遅延時間が合奏に支障がない程度の長さになる距離の範囲内に置かれている場合には、合奏に加わる各演奏に音量の差はあるもののすべての演奏端末装置において同じ種類の演奏による合奏が再生されている。これに対して、ある演奏端末装置からみると、遅延時間が合奏に支障を生じさせるほどに長くなる距離にある演奏端末装置が合奏に参加している場合には、すべての演奏端末装置において同じ種類の演奏による合奏が再生されることはなく、演奏端末装置によって異なる種類の演奏による合奏が再生される場合がある。しかしながらこのような事態が発生しても、参加者全員で合奏することを必須の要件としなければ特に問題は生じない。   In the present invention, the mixing means of the plurality of performance terminal devices respectively increases the amplification factor of one or more performance signals as the delay time of the one or more performance signals received measured with reference to the performance signal output from the conversion means becomes longer. Is configured to be small. Here, the “relationship that decreases the amplification factor of one or more performance signals as the delay time becomes longer” is a proportional relationship having a negative slope or an inversely proportional relationship. The proportional relationship having a negative slope is a proportional relationship represented by y = −mx + k when considered on the xy axis. Here, m is a proportionality coefficient (slope). Further, the inverse proportion means a relationship in which the amplification factor is ½ times and 倍 times when the length of the delay time is 2 times and 3 times. According to the present invention, the longer the delay time is, the smaller the amplification factor becomes. Therefore, when the delay time is increased to some extent, the amplification factor becomes considerably small. You will never hear a delayed performance. Also, the performance signal with a longer delay time has a smaller amplification factor, and the performance based on the performance signal becomes inconspicuous in the ensemble. Therefore, even if there is a slight delay between performances, it will not be harsh to the listener. In this system, when a certain performance terminal device A is considered, the performance signal transmitted from another performance terminal device E located far from the performance terminal device A (the delay time becomes considerably long) is In the mixing means of the performance terminal device A, since the amplification factor is small, the performance terminal device A is in a state where it is not substantially amplified. Therefore, the performance terminal device A performs the performance being performed at the place where the performance terminal device E is placed. You cannot listen to it during the concert. The reverse of this also occurs in the performance terminal device E. Therefore, in this system, when the performance terminal device A is taken as the center, only other performance terminal devices having a delay time that is long enough not to interfere with the ensemble participate in the ensemble. Will do. Therefore, in this system, if all participating performance terminal devices are located within a distance range where the delay time does not interfere with the ensemble, the volume of each performance that participates in the ensemble Although there is a difference, the ensemble by the same kind of performance is reproduced in all the performance terminal devices. On the other hand, when a performance terminal device participating in the ensemble has a delay time that is long enough to cause trouble in the ensemble when viewed from a certain performance terminal device, the same applies to all performance terminal devices. An ensemble based on a different type of performance is not reproduced, and an ensemble based on a different type of performance may be reproduced depending on the performance terminal device. However, even if such a situation occurs, there is no particular problem unless it is an essential requirement that all the participants perform.

理論的には、このシステムに参加できる演奏端末装置の台数に制限はない。しかしながら参加台数が多くなり過ぎると、合奏事態が耳障りなものとなることもある。そこで参加台数を予め制限するようにしてもよい。台数制限の方法は任意である。例えば、複数の演奏端末装置のミキシング手段を次のように動作するように構成することにより、結果として台数制限をすることができる。すなわち、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比して、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外する。そして遅延時間が基準遅延時間内にある演奏信号の増幅率を、該演奏信号の遅延時間の長さに反比例の関係で小さくする。このようにすると基準遅延時間の設定を変えることによって、システムに参加できる演奏端末装置の台数を制限できる。   Theoretically, there is no limit to the number of performance terminal devices that can participate in this system. However, if the number of participants increases too much, the ensemble situation may become annoying. Therefore, the number of participants may be limited in advance. The method for limiting the number of units is arbitrary. For example, by configuring the mixing means of a plurality of performance terminal devices to operate as follows, the number of units can be limited as a result. That is, by comparing the delay time of one or more received performance signals with a predetermined reference delay time, performance signals whose delay time is longer than the reference delay time are excluded from mixing. Then, the amplification factor of the performance signal whose delay time is within the reference delay time is reduced in inverse proportion to the length of the delay time of the performance signal. In this way, the number of performance terminal devices that can participate in the system can be limited by changing the setting of the reference delay time.

上記のように基準遅延時間を設定する場合、基準遅延時間の定め方によっては、必ずしも遅延時間に応じて増幅率を小さくする必要がない場合もある。人間の耳の識別能力から考えると、約５０ｍｓ以内の遅延時間であれば、時間を遅れを感じることはないと言われている。したがって基準遅延時間を、人間が時間遅れを識別できない時間に設定した場合には、特に遅延時間に応じて増幅率を小さくしなくてもよい。そのためこの場合には、複数の演奏端末装置のミキシング手段は、それぞれ、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し、残った演奏信号をそのまま混合して出力するように構成すればよい。   When the reference delay time is set as described above, depending on how the reference delay time is determined, it may not be necessary to reduce the amplification factor according to the delay time. Considering the ability of human ears to discern, it is said that if the delay time is within about 50 ms, the time will not feel delayed. Therefore, when the reference delay time is set to a time at which human beings cannot identify the time delay, the amplification factor does not have to be reduced particularly according to the delay time. Therefore, in this case, the mixing means of the plurality of performance terminal devices respectively compare the delay time of the received one or more performance signals with a predetermined reference delay time, and the performance signal having a delay time longer than the reference delay time. May be excluded from mixing, and the remaining performance signals may be mixed and output as they are.

増幅率の変更の方法は任意である。例えば、ミキシング手段をコンピュータを用いて構成して音量調節をする場合には、音量調節変数を遅延時間に応じて変更するようにすればよい。このようにすると増幅率の変更を簡単に行える。   The method for changing the amplification factor is arbitrary. For example, when the volume is adjusted by configuring the mixing means using a computer, the volume adjustment variable may be changed according to the delay time. In this way, the amplification factor can be easily changed.

上記のシステムでは、各演奏端末装置で聴くことができる合奏に大きな相違が生じることがある。そこで参加者全員が同じ合奏を聴くことを可能にするためには、ネットワークを介してミキシング用サーバに複数の演奏端末装置を接続する本発明の遠隔多地点合奏システムを採用することができる。このシステムでは、演奏端末装置は、実際の演奏を演奏信号に変換する変換手段と、演奏信号をネットワークを介してミキシング用サーバに送信し且つミキシング用サーバから混合信号を受信する送受信手段と、混合信号を再生する再生手段とを少なくとも備えていればよい。そしてミキシング用サーバを、複数の演奏端末装置から送信される複数の演奏信号を受信する機能と、受信した複数の演奏信号の遅延時間を測定する遅延時間測定機能と、受信した複数の演奏信号の増幅率を測定した遅延時間の長さに反比例の関係で小さくして、複数の演奏信号を混合することにより混合信号を生成する機能と、混合信号を複数の演奏端末装置に送信する機能とを実現できる構成とする。このシステムでは、ミキシング用サーバを中心にして遅延時間が判定されるため、ミキシング用サーバから所定の距離の範囲内に置かれた複数の演奏端末装置だけが、合奏に参加できることになる。遅延時間は、例えば、最初に受信した演奏信号を基準にして、他の演奏信号の遅延時間を測定してもよいし、前述のように、遅延測定用信号をミキシング用サーバから演奏端末装置に送信して、遅延時間を測定してもよい。そして遅延時間が長くなる遠隔地に置かれた演奏端末装置では、ミキシング用サーバから送信された混合信号を再生して、参加者と同じ合奏を聴くことが可能になる。このシステムでも、遅延時間の長さに反比例の関係で演奏信号の増幅率を小さくするため、合奏中における時間遅れの演奏が耳障りなものとなることがない。またミキシング用サーバを中心にすると、遅延時間の判断を１箇所で行うことになるため、演奏端末装置側の負担が少なくなる上、遅延時間の判断に遅れが生じることはない。   In the above system, there may be a large difference in the ensemble that can be heard at each performance terminal device. Therefore, in order to enable all the participants to listen to the same concert, the remote multipoint concert system of the present invention in which a plurality of performance terminal devices are connected to a mixing server via a network can be employed. In this system, the performance terminal device includes a conversion unit that converts an actual performance into a performance signal, a transmission / reception unit that transmits the performance signal to the mixing server via the network and receives a mixed signal from the mixing server, and a mixing unit. It suffices to have at least reproduction means for reproducing the signal. The mixing server has a function of receiving a plurality of performance signals transmitted from a plurality of performance terminal devices, a delay time measuring function of measuring a delay time of the received plurality of performance signals, and a plurality of performance signals received. A function of generating a mixed signal by mixing a plurality of performance signals by reducing the amplification factor in inverse proportion to the length of the delay time measured, and a function of transmitting the mixed signals to a plurality of performance terminal devices A configuration that can be realized. In this system, since the delay time is determined centering on the mixing server, only a plurality of performance terminal devices placed within a predetermined distance from the mixing server can participate in the concert. As for the delay time, for example, the delay time of another performance signal may be measured based on the performance signal received first, and the delay measurement signal is sent from the mixing server to the performance terminal device as described above. You may transmit and measure delay time. In the performance terminal device placed in a remote place where the delay time becomes long, it is possible to reproduce the mixed signal transmitted from the mixing server and listen to the same ensemble as the participant. Even in this system, since the amplification factor of the performance signal is reduced in inverse proportion to the length of the delay time, the performance with a time delay during the ensemble does not become annoying. If the mixing server is the center, the determination of the delay time is performed at one place, so that the burden on the performance terminal device side is reduced and there is no delay in the determination of the delay time.

ミキシング用サーバを用いる場合でも参加できる演奏端末装置の台数に制限を付ける場合には、前述と同様に、基準遅延時間を予め定めて、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外するようにすればよい。またこの場合においても、基準遅延時間を適当な長さとすれば、遅延時間の長さに対して、負の傾きを持った比例関係を持って増幅率を小さくしたり、反比例の関係で増幅率を小さくすることは、必ずしも必要がない。この場合には、ミキシング用サーバは、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し、残った演奏信号をそのまま混合して混合信号を生成する機能を有していればよい。   In order to limit the number of performance terminal devices that can participate even when using a mixing server, a reference delay time is determined in advance and a delay time of one or more received performance signals is determined in the same manner as described above. In contrast to the delay time, a performance signal whose delay time is longer than the reference delay time may be excluded from the mixing. Even in this case, if the reference delay time is set to an appropriate length, the amplification factor can be reduced with a proportional relationship having a negative slope or the inverse amplification factor with respect to the length of the delay time. It is not always necessary to reduce the size. In this case, the mixing server only needs to have a function of excluding performance signals whose delay time is longer than the reference delay time from mixing and mixing the remaining performance signals as they are to generate a mixed signal.

ミキシング用サーバを用いる本発明のシステムでは、合奏から除外したすべての演奏端末装置をミキシング用サーバで認識している。そこでミキシング用サーバに、ミキシングから除外した演奏信号を送信してきた演奏端末装置に対して、除外したことを通知する機能を更に付加することができる。このような機能があれば、除外された演奏端末装置を使用する参加希望者は、自分が除外されていることに気が付かずに、演奏を続けるといった事態が発生することがなくなる。また除外された参加希望者も、自分の演奏端末装置を通して合奏を聴くことができるので、除外されたとしても合奏を楽しむことができる。   In the system of the present invention using the mixing server, all the performance terminal devices excluded from the ensemble are recognized by the mixing server. Therefore, it is possible to further add a function for notifying the performance server that has transmitted the performance signal excluded from mixing to the mixing server. With such a function, a participant who uses the excluded performance terminal device does not notice that he / she is excluded and does not cause a situation in which the performance continues. In addition, since the participant who is excluded can listen to the ensemble through his / her performance terminal device, the ensemble can be enjoyed even if excluded.

以下図面を参照して、本発明のネットワークを用いた遠隔多地点合奏システムの実施の形態を詳細に説明する。図１は、サーバを利用しないタイプの本発明の遠隔多地点合奏システムの実施の形態の一例を説明するための概念図である。図１においては、符号１で示した部分が、インターネット等によって構成されるネットワークである。本実施の形態では、ネットワーク１に５台（複数）の演奏端末装置Ａ〜Ｅが接続されている。演奏端末装置Ａ〜Ｅがそれぞれ置かれた場所において、演奏者３Ａ〜３Ｅは他の場所にいる演奏者の演奏と合奏をするが可能になる。図１の例では、演奏者３Ａ〜３Ｅは、それぞれ異なる楽器を演奏するように表示してあるが、演奏者がすべて同じ楽器を演奏する場合でも、また演奏者が楽器を演奏するのではなく歌を歌って演奏する場合も、また演奏者が手拍子で演奏に参加する場合でも、いずれの場合であってもよい。演奏端末装置Ａ〜Ｅは、主たる制御装置として、一般に使用されているパーソナルコンピュータ５Ａ〜５Ｅを用いており、この例ではＭＩＤＩ信号を音響信号に変換し、また音響信号をＭＩＤＩ信号に変換するＭＩＤＩ音源７Ａ〜７Ｅを備えている。なお図１においては、符号９Ａ〜９Ｅで示したボリューム表示は、後述するミキシング手段の内部の複数の増幅部の増幅率の相違を模擬的に表示したものである。   Embodiments of a remote multipoint concert system using a network according to the present invention will be described in detail below with reference to the drawings. FIG. 1 is a conceptual diagram for explaining an example of an embodiment of a remote multipoint concert system of the present invention of a type that does not use a server. In FIG. 1, the portion indicated by reference numeral 1 is a network constituted by the Internet or the like. In the present embodiment, five (a plurality) performance terminal devices A to E are connected to the network 1. In the places where the performance terminal devices A to E are placed, the performers 3A to 3E can perform ensembles with the performances of the performers in other places. In the example of FIG. 1, the performers 3 </ b> A to 3 </ b> E are displayed to play different instruments, but even if the performers play all the same instruments, the performers do not play the instruments. It may be either the case of singing and performing, or the case where the performer participates in the performance with clapping. The performance terminal devices A to E use personal computers 5A to 5E that are generally used as main control devices. In this example, the MIDI terminals convert MIDI signals into acoustic signals, and convert acoustic signals into MIDI signals. Sound sources 7A to 7E are provided. In FIG. 1, the volume display indicated by reference numerals 9 </ b> A to 9 </ b> E is a simulated display of differences in amplification factors of a plurality of amplification units inside the mixing means described later.

演奏端末装置Ａ〜Ｅは、それぞれ同じ構成を有している。その構成は図２に示すとおりであり、概念として分けると、変換手段５１と、送受信手段５３と、遅延時間測定手段５５と、ミキシング手段５７と、ミキシング手段５７から出力される混合信号を再生する再生手段５９とから構成されているものと考えることができる。なお前述のＭＩＤＩ音源は、変換手段５１，送受信手段５３及び再生手段５９の一部を構成している。図２に示した変換手段５１は、例えばマイクロフォンを含んで構成されて実際の演奏を演奏信号に変換するもののほか、電子楽器の内部に内蔵されて電子楽器の操作に応じてＭＩＤＩ信号を演奏信号として発生することにより実際の演奏を演奏信号に変換するものを含むものである。この例では、変換手段５１として、マイクロフォンで集音した音に基づく音響信号をＭＩＤＩ信号に変換して演奏信号とするものの他に、電子楽器に内蔵されて直接ＭＩＤＩ信号を出力するものの両方が用いられているものとする。この例ではネットワークに接続している５台の演奏端末装置Ａ〜Ｅは、お互いにアドレスを知っていて、互いに演奏信号を送受信する関係が成立しているものとする。そこで送受信手段５３は、演奏信号をネットワーク１を介して他の４台の演奏端末装置との間で演奏信号の送受信をする。遅延時間測定手段５５は、受信した複数の演奏信号（この例では４つの演奏信号）の遅延時間を測定する。本実施の形態で用いる遅延時間測定手段５５は、図３に示すように、一つの演奏端末装置（例えば５Ａ）から他の１以上の演奏端末装置（５Ｂ〜５Ｅ）に対して遅延測定用信号を送信してから、他の１以上の演奏端末装置（５Ｂ〜５Ｅ）が遅延測定用信号に応じて返信信号を一つの演奏端末装置（５Ａ）に送信し、一つの演奏端末装置（５Ａ）が返信信号を受信するまでの時間に基づいて、遅延時間を測定するように構成されている。この遅延時間の測定は、演奏信号を送信するときに、遅延測定用信号を一緒に送信して、演奏と並行して行うようにしてもよいし、演奏信号の送信とは別に周期的に（例えば０．５秒間隔で）遅延測定用信号を送信するようにしてもよい。なおこのような遅延時間測定機能は、例えば、アップルコンピュータ（商標）が、Ｍａｃ ＯＳ Ｘ Ｔｉｇｅｒ（商標）の名前で販売しているオペレーションシステムには、標準的な機能として装備されている。したがってこの機能を用いれば、簡単に遅延時間の測定を行うことができる。   The performance terminal devices A to E have the same configuration. The configuration is as shown in FIG. 2, and when divided as a concept, the conversion means 51, the transmission / reception means 53, the delay time measurement means 55, the mixing means 57, and the mixed signal output from the mixing means 57 are reproduced. It can be considered that the reproduction means 59 is configured. The MIDI sound source described above constitutes a part of the converting means 51, the transmitting / receiving means 53, and the reproducing means 59. The conversion means 51 shown in FIG. 2 includes, for example, a microphone and converts an actual performance into a performance signal. In addition, the conversion means 51 is built in an electronic musical instrument and converts a MIDI signal into a performance signal according to the operation of the electronic musical instrument. Are included to convert an actual performance into a performance signal. In this example, as the converting means 51, in addition to the one that converts the acoustic signal based on the sound collected by the microphone into a MIDI signal to be a performance signal, both the one that is built in the electronic musical instrument and directly outputs the MIDI signal is used. It is assumed that In this example, it is assumed that the five performance terminal devices A to E connected to the network know the addresses of each other and have a relationship of transmitting and receiving performance signals to each other. Therefore, the transmission / reception means 53 transmits / receives the performance signal to / from the other four performance terminal devices via the network 1. The delay time measuring means 55 measures the delay times of the plurality of received performance signals (four performance signals in this example). As shown in FIG. 3, the delay time measuring means 55 used in this embodiment is a signal for measuring delay from one performance terminal device (for example, 5A) to one or more performance terminal devices (5B to 5E). Then, one or more other performance terminal devices (5B to 5E) transmit a reply signal to one performance terminal device (5A) according to the delay measurement signal, and one performance terminal device (5A) Is configured to measure the delay time based on the time until the reply signal is received. This delay time measurement may be performed in parallel with the performance by transmitting the delay measurement signal together with the performance signal when transmitting the performance signal. For example, a delay measurement signal may be transmitted at intervals of 0.5 seconds. Such a delay time measurement function is provided as a standard function in, for example, an operation system sold by Apple Computer (trademark) under the name of Mac OS X Tiger (trademark). Therefore, if this function is used, the delay time can be easily measured.

この例のミキシング手段５７は、受信した複数の演奏信号をミキシングして混合信号を作成する機能の他に、受信した１以上の演奏信号の遅延時間が長くなるほど１以上の演奏信号の増幅率を小さくする機能を有している。より具体的には、演奏信号の遅延時間に対して負の傾きを持った比例関係（ｙ＝−ｍｘの関係）や、反比例の関係を持って、遅延時間に応じて増幅率を小さくする機能を、ミキシング手段５７が備えている。図１の例では、自らの変換手段５１から出力される演奏信号を基準にして、受信する１以上の演奏信号の遅延時間を測定する。ミキンング手段５５が、演奏信号の遅延時間が長くなればなるほど１以上の演奏信号の増幅率を小さくする場合の関係を図４に示す。図４（Ａ）は、遅延時間の長さに対して、負の傾き（−ｍ）一定で増幅率が減少する場合の遅延時間と増幅率との関係を示しており、図４（Ｂ）は、反比例の関係で増幅率が減少する場合の遅延時間と増幅率との関係を示している。   In addition to the function of mixing a plurality of received performance signals to create a mixed signal, the mixing means 57 in this example increases the amplification factor of one or more performance signals as the delay time of the received one or more performance signals increases. Has the function of reducing. More specifically, it has a proportional relationship (y = −mx relationship) having a negative slope with respect to the delay time of the performance signal and an inversely proportional relationship, and a function of decreasing the amplification factor according to the delay time. Is provided with mixing means 57. In the example of FIG. 1, the delay time of one or more performance signals to be received is measured with reference to the performance signal output from its own conversion means 51. FIG. 4 shows the relationship when the mixing means 55 decreases the amplification factor of one or more performance signals as the performance signal delay time increases. FIG. 4A shows the relationship between the delay time and the gain when the gain decreases with a negative slope (−m) constant with respect to the length of the delay time. Indicates the relationship between the delay time and the amplification factor when the amplification factor decreases in an inversely proportional relationship.

このように遅延時間が長くなるほど、受信した演奏信号の増幅率を小さくすると、ある程度遅延時間が長くなると、増幅率がかなり小さいものとなって、実際に再生手段５９から聞こえる合奏からは、耳障りなほどに遅れた演奏が聞こえることがなくなる。また遅延時間が長い演奏信号ほど、増幅率が小さくなるため、その演奏信号に基づく演奏は、合奏の中では目立たない存在となる。そのため演奏間に多少の遅れがあったとしても、聞く者にとって耳障りな存在となることはない。なお再生手段５９としては、コンピュータに付随している音楽再生装置を利用することができる。   As the delay time becomes longer as described above, the amplification factor of the received performance signal is reduced. When the delay time is increased to some extent, the amplification factor becomes considerably small. From the ensemble actually heard from the reproduction means 59, it is unpleasant. You won't be able to hear a performance that is too late. Also, the performance signal with a longer delay time has a smaller amplification factor, and the performance based on the performance signal becomes inconspicuous in the ensemble. Therefore, even if there is a slight delay between performances, it will not be harsh to the listener. As the playback means 59, a music playback device attached to the computer can be used.

理論的には、このシステムに参加できる演奏端末装置の台数に制限はない。しかしながら参加台数が多くなり過ぎると、合奏事態が耳障りなものとなることもある。そこで参加台数を予め制限するようにしてもよい。図５は、予め参加できる最大台数を設定する場合に用いる各演奏端末装置のコンピュータにインストールするプログラムのアルゴリズムを示すフローチャートである。このフローチャートでは、ステップＳＴ１で、一緒に合奏できる遠隔地の演奏端末装置の最大数を設定する。そしてステップＳＴ２では、遠隔地の１以上の演奏端末装置に対して演奏信号を送信する。次にステップＳＴ３で、遠隔地から演奏信号を受信する。そしてステップＳＴ４で各遠隔地とネットワークによる遅延時間（受信した演奏信号の遅延時間）を測定（算出）する。次にステップＳＴ５で、測定した遅延時間に応じて、増幅率（音量調節変数）を変えて音量を調節する。すなわち各演奏信号の増幅率を遅延時間が長くなればなるほど小さくなるように変更する。そしてステップＳＴ６で、各演奏信号に対する増幅率（音量調節変数）を変更してミキシング手段ですべての演奏信号を混合することにより混合信号を得て、再生が行われる。合奏終了（自ら演奏端末装置の変換手段５１から演奏信号が所定の時間出力されなくなったこと）を、ステップＳＴ７で検出すると、終了する。   Theoretically, there is no limit to the number of performance terminal devices that can participate in this system. However, if the number of participants increases too much, the ensemble situation may become annoying. Therefore, the number of participants may be limited in advance. FIG. 5 is a flowchart showing an algorithm of a program installed in a computer of each performance terminal device used when setting the maximum number that can be participated in advance. In this flowchart, in step ST1, the maximum number of remote performance terminal devices that can be played together is set. In step ST2, a performance signal is transmitted to one or more performance terminal devices at remote locations. Next, in step ST3, a performance signal is received from a remote place. In step ST4, the delay time (delay time of the received performance signal) due to each remote place and the network is measured (calculated). Next, in step ST5, the volume is adjusted by changing the amplification factor (volume adjustment variable) according to the measured delay time. That is, the amplification factor of each performance signal is changed so as to become smaller as the delay time becomes longer. In step ST6, the amplification factor (volume control variable) for each performance signal is changed, and all performance signals are mixed by the mixing means to obtain a mixed signal for reproduction. When the end of the ensemble (the performance signal is no longer output from the conversion means 51 of the performance terminal device for a predetermined time) is detected in step ST7, the process ends.

図６は、予め台数を制限せずに、ミキシング手段５７を次のように構成することにより、結果として台数制限をする場合に用いるプログラムのアルゴリズムの一例を示している。この例では、ステップＳＴ１１〜ステップＳＴ１３が図５のステップＳＴ２〜ステップＳＴ４に対応しており、ステップＳＴ１５〜ステップＳＴ１７までが図５のステップＳＴ５〜ステップＳＴ７に対応している。図６のアルゴリズムと図５のアルゴリズムとを対比すると、予め参加できる台数を限定せずに、ステップＳＴ１４において、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外するステップが追加されている点で、両者は相違する。すなわちこの例では、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比して、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外する。そして遅延時間が基準遅延時間内にある演奏信号の増幅率を、該演奏信号の遅延時間の長さに応じて小さくする。このようにすると基準遅延時間の設定を変えることによって、システムに参加できる演奏端末装置の台数を結果として制限することになる。   FIG. 6 shows an example of a program algorithm used when the number of units is limited as a result by configuring the mixing means 57 as follows without limiting the number of units in advance. In this example, steps ST11 to ST13 correspond to steps ST2 to ST4 in FIG. 5, and steps ST15 to ST17 correspond to steps ST5 to ST7 in FIG. If the algorithm of FIG. 6 is compared with the algorithm of FIG. 5, the step which excludes from the mixing the performance signal whose delay time is longer than the reference delay time is added in step ST14 without limiting the number of participants that can participate in advance. In that respect, they are different. That is, in this example, the delay time of one or more performance signals received is compared with a predetermined reference delay time, and a performance signal having a delay time longer than the reference delay time is excluded from mixing. Then, the amplification factor of the performance signal whose delay time is within the reference delay time is reduced according to the length of the delay time of the performance signal. In this way, by changing the setting of the reference delay time, the number of performance terminal devices that can participate in the system is limited as a result.

図６の例のように基準遅延時間を設定する場合、基準遅延時間の定め方によっては、必ずしも遅延時間に応じて増幅率を小さくする必要がない場合もある。人間の耳の識別能力から考えると、約５０ｍｓ以内の遅延時間であれば、時間遅れを感じることはないと言われている。したがって基準遅延時間を、人間が時間遅れを識別できない時間に設定した場合には、特に遅延時間に応じて増幅率を小さくしなくてもよい。そのためこの場合には、複数の演奏端末装置のミキシング手段５７は、それぞれ、受信した１以上の演奏信号の遅延時間を予め定めた基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し、残った演奏信号をそのまま混合して出力するように構成すればよい。図７は、この場合に用いるプログラムのアルゴリズムの一例を示している。   When the reference delay time is set as in the example of FIG. 6, depending on how the reference delay time is determined, it may not be necessary to reduce the amplification factor according to the delay time. Considering the ability of human ears to discern, it is said that there is no time delay if the delay time is within about 50 ms. Therefore, when the reference delay time is set to a time at which human beings cannot identify the time delay, the amplification factor does not have to be reduced particularly according to the delay time. Therefore, in this case, the mixing means 57 of the plurality of performance terminal apparatuses respectively compare the delay time of the received one or more performance signals with a predetermined reference delay time, and perform a performance whose delay time is longer than the reference delay time. What is necessary is just to comprise so that a signal may be excluded from mixing and the remaining performance signal may be mixed and output as it is. FIG. 7 shows an example of a program algorithm used in this case.

上記の実施の形態のシステムでは、各演奏端末装置で聴くことができる合奏に大きな相違が生じることがある。そこで参加者全員が同じ合奏を聴くことを可能にするためには、図８に示すようにネットワーク１を介してミキシング用サーバ３１に複数（５台）の演奏端末装置２５Ａ〜２５Ｅを接続する別の遠隔多地点合奏システムを採用することができる。このシステムでは、演奏端末装置２５Ａ〜２５Ｅは、図示していないが図２に示した前の実施の形態の構成と同様に、実際の演奏を演奏信号に変換する変換手段と、演奏信号をネットワーク１を介してミキシング用サーバ３１に送信し且つミキシング用サーバ３１から混合信号を受信する送受信手段と、混合信号を再生する再生手段とを少なくとも備えている。   In the system of the above embodiment, a large difference may occur in the ensemble that can be listened to by each performance terminal device. Therefore, in order to make it possible for all the participants to listen to the same ensemble, as shown in FIG. 8, a plurality (five) of performance terminal devices 25A to 25E are connected to the mixing server 31 via the network 1. Remote multipoint ensemble system can be adopted. In this system, the performance terminal devices 25A to 25E are not shown, but, as in the configuration of the previous embodiment shown in FIG. 2, the conversion means for converting the actual performance into the performance signal, and the performance signal in the network 1 is provided at least with a transmission / reception means for transmitting to the mixing server 31 via 1 and receiving a mixed signal from the mixing server 31 and a reproducing means for reproducing the mixed signal.

この例では、ミキシング用サーバ３１に付随してＭＩＤＩ信号を音響信号に変換するＭＩＤＩ音源３３が設けられている。そしてミキシング用サーバ３１の内部には、プログラムによって図９にその構成の概略を示すように、複数の演奏端末装置から送信される複数の演奏信号を受信する機能と、混合信号を複数の演奏端末装置に送信する機能とを実現する送受信手段３５を備えている。また、ミキシング用サーバ３１は、受信した複数の演奏信号の遅延時間を測定する遅延時間測定機能を備えた遅延時間測定手段３７と、受信した複数の演奏信号の増幅率を測定した遅延時間の長さに反比例の関係で小さくして、複数の演奏信号を混合することにより混合信号を生成する機能を備えたミキシング手段３９とをプログラムによって内部に実現している。遅延時間測定手段３７の構成は、前の実施の形態と同じである。   In this example, a MIDI sound source 33 that converts a MIDI signal into an acoustic signal is provided along with the mixing server 31. The mixing server 31 has a function for receiving a plurality of performance signals transmitted from a plurality of performance terminal devices and a mixed signal for a plurality of performance terminals, as schematically shown in FIG. A transmission / reception means 35 for realizing a function of transmitting to the apparatus is provided. The mixing server 31 includes a delay time measuring unit 37 having a delay time measuring function for measuring delay times of a plurality of received performance signals, and a delay time length obtained by measuring the amplification factors of the received plurality of performance signals. The mixing means 39 having a function of generating a mixed signal by mixing a plurality of performance signals, which is reduced in an inversely proportional relationship, is realized internally by a program. The configuration of the delay time measuring means 37 is the same as that in the previous embodiment.

またミキシング用サーバ３１内には、後述する通知手段４１が実現されている。このシステムでは、ミキシング用サーバ３１を中心にして遅延時間が判定されるため、ミキシング用サーバ３１から所定の距離の範囲内に置かれた複数の演奏端末装置だけが、合奏に参加できることになる。そして遅延時間が長くなる遠隔地に置かれた演奏端末装置２５Ａ〜２５Ｅでは、ミキシング用サーバ３１から送信された混合信号（音響信号）を再生して、参加者と同じ合奏を聴くことが可能になる。   In addition, a notification means 41 described later is realized in the mixing server 31. In this system, since the delay time is determined with the mixing server 31 as the center, only a plurality of performance terminal devices placed within a predetermined distance from the mixing server 31 can participate in the concert. The performance terminal devices 25A to 25E placed in remote locations where the delay time becomes long can reproduce the mixed signal (acoustic signal) transmitted from the mixing server 31 and listen to the same ensemble as the participant. Become.

図１０は、このシステムのミキシング用サーバ３１にインストールされるプログラムの一例のアルゴリズムを示している。このアルゴリズムでは、少なくとも１台の演奏端末装置（クライアント）が置かれて位置で、合奏のための演奏が開始されると、ミキシング用サーバ３１は処理をスタートする。そしてステップＳＴ１０１で、遠隔地にある演奏端末装置（クライアント）からの演奏信号（ＭＩＤＩ信号）を受信する。次にステップＳＴ１０２で、各演奏信号の遅延時間が測定され、ステップＳＴ１０３で測定した遅延時間の長さに反比例の関係で各演奏信号の増幅率を小さくしてＭＩＤＩ信号をＭＩＤＩ音源３３へと送る。ＭＩＤＩ音源は、ＭＩＤＩ信号を音響信号に変化して、ミキシング用サーバ３１へと音響信号を送る（ステップＳＴ１０４）。そしてミキシング用サーバ３１は、音響信号を複数の演奏端末装置（クライアント）２５Ａ〜２５Ｅへと送信する。そしてミキシング用サーバ３１にすべての演奏端末装置（クライアント）２５Ａ〜２５Ｅから演奏信号が送信されてこなくなったことをステップＳＴ１０６で確認すると、合奏を終了する。   FIG. 10 shows an example of an algorithm of a program installed in the mixing server 31 of this system. In this algorithm, when at least one performance terminal device (client) is placed and performance for an ensemble is started, the mixing server 31 starts processing. In step ST101, a performance signal (MIDI signal) is received from a remote performance terminal device (client). Next, in step ST102, the delay time of each performance signal is measured, and the MIDI signal is sent to the MIDI sound source 33 by reducing the amplification factor of each performance signal in inverse relation to the length of the delay time measured in step ST103. . The MIDI sound source changes the MIDI signal into an acoustic signal and sends the acoustic signal to the mixing server 31 (step ST104). The mixing server 31 transmits the acoustic signal to the plurality of performance terminal devices (clients) 25A to 25E. When it is confirmed in step ST106 that performance signals are no longer transmitted from all the performance terminal devices (clients) 25A to 25E to the mixing server 31, the ensemble ends.

このシステムでも、遠隔地から送信されてくる演奏信号に対する増幅率を、遅延時間に応じて（負の傾きを持った比例関係または反比例の関係等で）小さくしているので、合奏中における時間遅れの演奏が耳障りなものとなることがない。またミキシング用サーバ３１を中心にすると、遅延時間の判断を１箇所で行うことになるため、演奏端末装置側の負担が少なくなる上、遅延時間の判断に遅れが生じることはない。   Even in this system, the amplification factor for performance signals transmitted from a remote location is reduced according to the delay time (such as a proportional or inversely proportional relationship with a negative slope). The performance will not be annoying. If the mixing server 31 is the center, the determination of the delay time is performed at one place, so that the burden on the performance terminal device side is reduced and the delay time is not delayed.

ミキシング用サーバを用いる場合でも参加できる演奏端末装置の台数に制限を付ける場合には、図１１に示すように、ミキシング用サーバ３１側で基準遅延時間を予め定めて（ステップＳＴ２０３）、受信した１以上の演奏信号の遅延時間を基準遅延時間と対比し、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外するようにすればよい（ステップＳＴ２０３）。図１１のアルゴリズムでは、合奏から除外したすべての演奏端末装置をミキシング用サーバで認識しているので、ミキシング用サーバに、ミキシングから除外した演奏信号を送信してきた演奏端末装置に対して、除外したことを通知する機能（図９の通知手段４１）を更に付加している。この機能は図１１のステップＳＴ２０７で実現されている。このような機能があれば、除外された演奏端末装置を使用する参加希望者は、自分が除外されていることに気が付かずに、演奏を続けるといった事態が発生することがなくなる。除外したことの通知は、図８の演奏端末装置２５Ｃの画面に例えば除外を意味するレッドカードを表示するようにして行うことができる。言葉による通知であってもよいのは勿論である。このシステムでは、ように除外された参加希望者は、自分の演奏端末装置２５Ｃを通して合奏を聴くことができるので、除外されたとしても、観客となって合奏を楽しむことができる。   In order to limit the number of performance terminal devices that can participate even when a mixing server is used, a reference delay time is set in advance on the mixing server 31 side as shown in FIG. 11 (step ST203). The performance signal delay time described above is compared with the reference delay time, and a performance signal having a delay time longer than the reference delay time may be excluded from the mixing (step ST203). In the algorithm of FIG. 11, since all the performance terminal devices excluded from the ensemble are recognized by the mixing server, they are excluded from the performance terminal devices that have transmitted performance signals excluded from the mixing to the mixing server. A function for notifying that (notification means 41 in FIG. 9) is further added. This function is realized in step ST207 of FIG. With such a function, a participant who uses the excluded performance terminal device does not notice that he / she is excluded and does not cause a situation in which the performance continues. The notification of exclusion can be made by displaying, for example, a red card that means exclusion on the screen of the performance terminal device 25C of FIG. Of course, it may be a verbal notification. In this system, since the participant who is excluded as described above can listen to the ensemble through his / her performance terminal device 25C, the ensemble can be enjoyed as a spectator even if excluded.

図１２は、このシステムにおける演奏端末装置側のコンピュータにインストールされるプログラムのアルゴリズムを示している。このアルゴリズムでは、演奏モードと観客モードとを備えている。そしてサーバから警告（除外することを通知するもの）を受信すると（ステップＳＴ３０４）、警告（レッドカードＲ）をその演奏端末装置の画面に表示する（ステップＳＴ３０５）。そして合奏への参加が終了すると、ステップＳＴ３０６からステップＳＴ３０７へと移って、演奏モードから観客モードになる。観客モードは、合奏を聴くことを終了することにより終了する（ステップＳＴ３０８）。   FIG. 12 shows an algorithm of a program installed in the computer on the performance terminal device side in this system. This algorithm has a performance mode and an audience mode. Then, when a warning (notifying that it is excluded) is received from the server (step ST304), a warning (red card R) is displayed on the screen of the performance terminal device (step ST305). When participation in the ensemble ends, the process moves from step ST306 to step ST307, and the performance mode is changed to the audience mode. The audience mode ends when the listening to the ensemble ends (step ST308).

またミキシング用サーバ３１を用いる場合においても、基準遅延時間を適当な長さとすれば、遅延時間の長さに応じて増幅率を小さくすることは、必ずしも必要がない。そこでこの場合には、図１３に示すアルゴリズムのように、遅延時間が基準遅延時間よりも長い演奏信号をミキシングから除外し（ステップＳＴ４０３）、残った演奏信号をそのまま混合して混合信号を生成する（ステップＳＴ２０４）機能をミキシング用サーバ３１内に実現するようにしてもよい。   Even when the mixing server 31 is used, if the reference delay time is set to an appropriate length, it is not always necessary to reduce the amplification factor according to the length of the delay time. Therefore, in this case, as in the algorithm shown in FIG. 13, performance signals whose delay time is longer than the reference delay time are excluded from mixing (step ST403), and the remaining performance signals are mixed as they are to generate a mixed signal. (Step ST204) The function may be realized in the mixing server 31.

サーバを利用しないタイプの本発明の遠隔多地点合奏システムの実施の形態の一例を説明するための概念図である。It is a conceptual diagram for demonstrating an example of embodiment of the remote multipoint concert system of the present invention of the type which does not use a server. 演奏端末装置の構成の一例を示す図である。It is a figure which shows an example of a structure of a performance terminal device. 遅延時間を測定する方法の一例を説明するために用いる図である。It is a figure used in order to demonstrate an example of the method of measuring delay time. （Ａ）及び（Ｂ）は、演奏信号の増幅率を遅延時間の長さに反比例の関係で小さくする場合の関係を示す図である。(A) And (B) is a figure which shows the relationship in the case of making small the amplification factor of a performance signal in inverse proportion to the length of delay time. 予め参加できる最大台数を設定する場合に用いる各演奏端末装置のコンピュータにインストールするプログラムのアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of the program installed in the computer of each performance terminal device used when setting the maximum number which can participate beforehand. 演奏端末装置のコンピュータにインストールすることができる他のプログラムのアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of the other program which can be installed in the computer of a performance terminal device. 演奏端末装置のコンピュータにインストールすることができるその他のプログラムのアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of the other program which can be installed in the computer of a performance terminal device. ネットワークを介してミキシング用サーバに複数の演奏端末装置を接続する本発明の別の遠隔多地点合奏システムの概略構成を示す図である。It is a figure which shows schematic structure of another remote multipoint concert system of this invention which connects a some performance terminal device to the server for mixing via a network. ミキシング用サーバ内に実現する機能実現手段の構成を示す図である。It is a figure which shows the structure of the function implementation means implement | achieved in the server for mixing. ミキシング用サーバにインストールされるプログラムの一例のアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of an example of the program installed in the server for mixing. ミキシング用サーバにインストールされる他のプログラムの一例のアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of an example of the other program installed in the server for mixing. 演奏端末装置のコンピュータにインストールされるプログラムの一例のアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of an example of the program installed in the computer of a performance terminal device. ミキシング用サーバにインストールされる他のプログラムの一例のアルゴリズムを示すフローチャートである。It is a flowchart which shows the algorithm of an example of the other program installed in the server for mixing.

符号の説明Explanation of symbols

１ ネットワーク
３Ａ〜３Ｅ 演奏者
５Ａ〜５Ｅ パーソナルコンピュータ
Ａ〜Ｅ 演奏端末装置
５１ 変換手段
５３，３５ 送受信手段
５５，３７ 遅延時間測定手段
５７，３９ ミキシング手段
５９ 再生手段
３１ ミキシング用サーバ
４１ 通知手段 DESCRIPTION OF SYMBOLS 1 Network 3A-3E Performer 5A-5E Personal computer AE Performance terminal device 51 Conversion means 53, 35 Transmission / reception means 55, 37 Delay time measurement means 57, 39 Mixing means 59 Reproduction means 31 Mixing server 41 Notification means

Claims (3)

ネットワークを介して接続された複数の演奏端末装置を用いて、前記複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にするネットワークを用いた遠隔多地点合奏システムであって、
前記演奏端末装置として、実際の演奏を演奏信号に変換する変換手段と、前記演奏信号を前記ネットワークを介して他の１以上の前記演奏端末装置との間で送受信する送受信手段と、前記変換手段から出力した前記演奏信号を基準にして受信した演奏信号の遅延時間を測定する遅延時間測定手段と、前記変換手段から出力した前記演奏信号と受信した１以上の前記演奏信号をミキシングして混合信号を作成するミキシング手段と、前記混合信号を再生する再生手段とを少なくとも備えたものを用い、
前記複数の演奏端末装置の前記ミキシング手段が、それぞれ、受信した１以上の前記演奏信号の遅延時間を予め定めた基準遅延時間と対比して、前記遅延時間が前記基準遅延時間よりも長い演奏信号をミキシングから除外し、前記遅延時間が前記基準遅延時間内にある演奏信号の増幅率を、該演奏信号の前記遅延時間が長くなればなるほど小さくするように構成されていることを特徴とするネットワークを用いた遠隔多地点合奏システム。 A network that uses a plurality of performance terminal devices connected via a network to perform performances of performers in other locations at a place where the plurality of performance terminal devices are placed. A remote multipoint concert system used,
As the performance terminal device, conversion means for converting an actual performance into a performance signal, transmission / reception means for transmitting / receiving the performance signal to / from one or more other performance terminal devices via the network, and the conversion means A delay time measuring means for measuring a delay time of a performance signal received on the basis of the performance signal output from the signal, and a mixed signal obtained by mixing the performance signal output from the conversion means and the one or more received performance signals. Using at least a mixing means for generating a reproduction means for reproducing the mixed signal,
The mixing means of the plurality of performance terminal devices respectively compare the delay time of the received one or more performance signals with a predetermined reference delay time, and the performance signal whose delay time is longer than the reference delay time Wherein the amplification factor of the performance signal having the delay time within the reference delay time is made smaller as the delay time of the performance signal becomes longer. Remote multi-site ensemble system using ネットワークを介してミキシング用サーバに接続された複数の演奏端末装置を用いて、前記複数の演奏端末装置がそれぞれ置かれた場所において、他の場所にいる演奏者の演奏と合奏をすることを可能にするネットワークを用いた遠隔多地点合奏システムであって、
前記演奏端末装置は、実際の演奏を演奏信号に変換する変換手段と、前記演奏信号を前記ネットワークを介して前記ミキシング用サーバに送信し且つ前記ミキシング用サーバから混合信号を受信する送受信手段と、前記混合信号を再生する再生手段とを少なくとも備えており、
前記ミキシング用サーバが、前記複数の演奏端末装置から送信される複数の前記演奏信号を受信する機能と、受信した前記複数の演奏信号の遅延時間を測定する遅延時間測定機能と、受信した１以上の前記演奏信号の遅延時間を予め定めた基準遅延時間と対比し、前記遅延時間が前記基準遅延時間よりも長い演奏信号をミキシングから除外し、前記遅延時間が前記基準遅延時間内にある演奏信号の増幅率を、該演奏信号の前記遅延時間が長くなればなるほど小さくなるように変更して、前記複数の演奏信号を混合することにより前記混合信号を生成する機能と、前記混合信号を前記複数の演奏端末装置に送信する機能とを備えていることを特徴とするネットワークを用いた遠隔多地点合奏システム。 Using a plurality of performance terminal devices connected to a mixing server via a network, it is possible to perform with the performances of the performers in other locations at the location where the plurality of performance terminal devices are respectively placed. A remote multipoint ensemble system using a network
The performance terminal device includes a conversion means for converting an actual performance into a performance signal, a transmission / reception means for transmitting the performance signal to the mixing server via the network and receiving a mixed signal from the mixing server; And at least reproducing means for reproducing the mixed signal,
The mixing server has a function of receiving a plurality of performance signals transmitted from the plurality of performance terminal devices, a delay time measuring function of measuring delay times of the received plurality of performance signals, and one or more received The performance signal is compared with a predetermined reference delay time, a performance signal having a delay time longer than the reference delay time is excluded from mixing, and the performance signal has the delay time within the reference delay time. A function of generating the mixed signal by mixing the plurality of performance signals, and a function of generating the mixed signal by changing the amplification rate of the performance signal so that the delay time of the performance signal becomes longer The remote multipoint concert system using the network characterized by having a function of transmitting to the performance terminal device. 前記ミキシング用サーバは、ミキシングから除外した前記演奏信号を送信してきた前記演奏端末装置に対して、除外したことを通知する機能を更に備えていることを特徴とする請求項２に記載の遠隔多地点合奏システム。 The mixing server, to the excluded said performance terminal apparatus that transmitted the play signals from the mixing, the multi remote of claim 2, characterized in that it comprises further a function of notifying that it has excluded Point ensemble system.

Images