JP2002062884A - Method and terminal for data transmission and reception, and storage medium stored with program regarding method for data transmission and reception - Google Patents
Method and terminal for data transmission and reception, and storage medium stored with program regarding method for data transmission and receptionInfo
- Publication number
- JP2002062884A JP2002062884A JP2001195579A JP2001195579A JP2002062884A JP 2002062884 A JP2002062884 A JP 2002062884A JP 2001195579 A JP2001195579 A JP 2001195579A JP 2001195579 A JP2001195579 A JP 2001195579A JP 2002062884 A JP2002062884 A JP 2002062884A
- Authority
- JP
- Japan
- Prior art keywords
- data
- midi
- audio
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、データ送受信方
法、送受信端末、およびデータ送受信方法に係るプログ
ラムを記憶した記憶媒体に関し、特に電子楽器の演奏情
報、並びに、音声情報および画像情報などをネットワー
クを介して送受信する技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a data transmission / reception method, a transmission / reception terminal, and a storage medium storing a program relating to the data transmission / reception method, and more particularly, to a network for storing performance information of an electronic musical instrument, audio information, image information, and the like. Technology for transmitting and receiving via the Internet.
【０００２】[0002]
【従来の技術】従来、演奏会場において演奏者が演奏し
た電子楽器から出力されるＭＩＤＩ（Musical Instrume
nt Digital Interface）演奏データを、インターネット
などのネットワークを介して配信し、配信先の例えば家
庭内のコンピュータおよびＭＩＤＩ機器で該ＭＩＤＩ演
奏データを再生して、演奏会場における演奏者の演奏を
家庭内で再現する試み（いわゆるインターネットコンサ
ート）が行なわれている。この際、ＭＩＤＩデータとと
もに、会場での演奏者の演奏の様子や会場にいる観客の
様子などを画像（静止画や動画）データで配信したり、
ＭＩＤＩ以外で取り込んだ音声データを配信するものが
あった。これにより、あたかも演奏者が家庭内で演奏し
ているようなイメージで演奏を聞くことができる。2. Description of the Related Art Conventionally, a MIDI (Musical Instrument) output from an electronic musical instrument played by a performer in a performance hall.
Digital Interface) Performance data is distributed via a network such as the Internet, and the MIDI performance data is reproduced by a distribution destination, for example, a computer and MIDI equipment at home. Attempts to reproduce (so-called Internet concerts) have been made. At this time, along with the MIDI data, the performance of the performer at the venue and the state of the audience at the venue are distributed as image (still or moving image) data,
Others distributed audio data fetched by means other than MIDI. This allows the performance to be heard as if the performer were playing at home.
【０００３】[0003]
【発明が解決しようとする課題】ところで、上述のイン
ターネットコンサートなどでは、ＭＩＤＩデータはＭＩ
ＤＩデータとして配信し、画像や音声はＭＩＤＩデータ
とは独立に入力され配信している。そのため、家庭内で
再生する際、画像データや音声データとＭＩＤＩデータ
との同期がとれない場合があった。例えば、演奏者が電
子楽器の鍵盤を押下したとき、その押下の動作を写した
画像データとその押下イベントのＭＩＤＩデータとは別
個に配信されるので、家庭内で再生したとき、受信した
ＭＩＤＩデータにより先に音が鳴った後で演奏者の鍵盤
押下の動作の画像がモニタに出力される、というような
ことがある。また、電子楽器から取り込んだＭＩＤＩ演
奏データによる楽音と、マイクから取り込み音声データ
として配信されるボーカルの音声とが、再生時にタイミ
ングがずれてしまう、というようなことがある。By the way, in the above-mentioned Internet concerts, etc., MIDI data is
It is distributed as DI data, and images and sounds are input and distributed independently of MIDI data. Therefore, when the data is played back at home, the image data or audio data may not be synchronized with the MIDI data. For example, when a player presses the keyboard of an electronic musical instrument, image data of the pressing action and MIDI data of the pressing event are separately delivered. Therefore, an image of the player's keyboard pressing operation may be output to the monitor after the sound is first sounded. Further, there may be a case where the timing of the musical sound based on the MIDI performance data captured from the electronic musical instrument and the vocal sound distributed as the voice data captured from the microphone are shifted during reproduction.
【０００４】この発明は、ネットワークを介して演奏デ
ータ、画像データ、音声データなどを配信し、受信側で
それらのデータから演奏会場の環境を再現するようなシ
ステムにおいて、演奏者の演奏による楽音、演奏時の画
像、および音声などを同期をとってタイミングを合わせ
て再生できるようにすることを目的とする。According to the present invention, in a system in which performance data, image data, audio data, and the like are distributed via a network, and the reception side reproduces the environment of the performance venue from the data, a musical tone generated by the performance of the performer is reproduced. It is an object of the present invention to be able to reproduce an image, a sound, and the like at the time of a performance at a synchronized timing.
【０００５】[0005]
【課題を解決するための手段】この目的を達成するた
め、請求項１に係る発明は、ＭＩＤＩ形式演奏データを
該ＭＩＤＩ形式演奏データと並行して再生されるべき画
像データおよび音声データと共に送信端末からネットワ
ークに配信するデータ送信方法であって、前記送信端末
において、前記ＭＩＤＩ形式演奏データ、画像データ、
および音声データを一時的に記憶する第１ステップと、
前記一時的に記憶されているデータを読み出してそのデ
ータの内容を判別する第２ステップと、前記第２ステッ
プにおいて、読み出されたデータが前記画像データある
いは、前記音声データであると判別された場合に、該デ
ータをＭＩＤＩイベント化する第３ステップと、前記Ｍ
ＩＤＩイベント化された画像データあるいは音声データ
を、前記第２ステップにおいて、ＭＩＤＩ形式演奏デー
タであると判別されたデータと合わせてＭＩＤＩデータ
とするとともに、該ＭＩＤＩデータの再生を開始する時
刻を表わす再生時間を付加することにより、該ＭＩＤＩ
データおよび該再生時間を含むパケットデータを生成す
る第４ステップと、前記生成されたパケットデータを前
記ネットワークに配信する第５ステップとを備えたこと
を特徴とする。In order to achieve this object, the invention according to claim 1 is a transmission terminal for transmitting MIDI-format performance data together with image data and audio data to be reproduced in parallel with the MIDI-format performance data. A data transmission method for distributing the MIDI performance data, image data,
And a first step of temporarily storing audio data;
A second step of reading the temporarily stored data and determining the contents of the data; and in the second step, the read data is determined to be the image data or the audio data. A third step of converting the data to a MIDI event,
The image data or audio data converted into the IDI event is converted into MIDI data together with the data determined to be the MIDI-format performance data in the second step, and the reproduction indicating the time at which the reproduction of the MIDI data is started. By adding time, the MIDI
A fourth step of generating packet data including the data and the reproduction time; and a fifth step of distributing the generated packet data to the network.
【０００６】請求項２に係る発明は、ＭＩＤＩ形式演奏
データと並行して再生されるべき画像データおよび音声
データを一時的に記憶し、当該一時的に記憶されたデー
タの内容を判別し、前記一時的に記憶されたものが画像
データあるいは音声データであると判別された場合には
該データをＭＩＤＩイベント化し、前記ＭＩＤＩ形式演
奏データと合わせてＭＩＤＩデータとしてネットワーク
に配信する送信端末から、前記ＭＩＤＩデータを受信し
て再生するデータ受信方法であって、前記受信端末にお
いて、前記ネットワークからＭＩＤＩ形式演奏データ、
並びに、データの内容に応じてＭＩＤＩイベント化され
た前記画像データあるいは音声データを含むＭＩＤＩデ
ータ、および、当該ＭＩＤＩデータの再生を開始する時
刻を表わす再生時間が付与されたパケットデータを受信
する第１ステップと、再生開始からの経過時間をカウン
トする第２ステップと、前記経過時間が前記受信したパ
ケットデータに含まれる再生時間に到達したことに応じ
て、前記受信したパケットデータから、前記ＭＩＤＩ形
式演奏データおよび前記ＭＩＤＩイベント化された画像
データあるいは音声データを順次取り出して再生する第
３ステップとを備えたことを特徴とする。According to a second aspect of the present invention, image data and audio data to be reproduced in parallel with MIDI format performance data are temporarily stored, and the contents of the temporarily stored data are determined. When it is determined that the temporarily stored data is image data or audio data, the data is converted into a MIDI event, and the MIDI data is transmitted from the transmitting terminal that transmits the MIDI data together with the MIDI format performance data to the network. A data receiving method for receiving and reproducing data, wherein at the receiving terminal, MIDI format performance data from the network,
A first receiving unit which receives the MIDI data including the image data or the audio data converted into a MIDI event according to the content of the data, and packet data to which a reproduction time indicating a reproduction start time of the MIDI data is added; And a second step of counting an elapsed time from the start of the reproduction. In response to the elapsed time reaching the reproduction time included in the received packet data, the MIDI format performance is calculated from the received packet data. And a third step of sequentially taking out and reproducing the data and the MIDI event image data or audio data.
【０００７】請求項３に係る発明は、ＭＩＤＩ形式演奏
データを該ＭＩＤＩ形式演奏データと並行して再生され
るべき画像データおよび音声データと共にネットワーク
に配信する送信端末であって、前記ＭＩＤＩ形式演奏デ
ータ、画像データ、および音声データを一時的に記憶す
る手段と、前記一時的に記憶されているデータを読み出
してそのデータの内容を判別する手段と、前記読み出さ
れたデータが前記画像データあるいは、前記音声データ
であると判別された場合に、該データをＭＩＤＩイベン
ト化する手段と、前記ＭＩＤＩイベント化された画像デ
ータあるいは音声データを、ＭＩＤＩ形式演奏データで
あると判別されたデータと合わせてＭＩＤＩデータとす
るとともに、該ＭＩＤＩデータの再生を開始する時刻を
表わす再生時間を付加することにより、該ＭＩＤＩデー
タおよび該再生時間を含むパケットデータを生成する手
段と、前記生成されたパケットデータを前記ネットワー
クに配信する手段とを備えたことを特徴とする。According to a third aspect of the present invention, there is provided a transmission terminal for delivering MIDI-format performance data to a network together with image data and audio data to be reproduced in parallel with the MIDI-format performance data. Means for temporarily storing image data and audio data, means for reading the temporarily stored data and determining the content of the data, and the read data is the image data or Means for converting the data to a MIDI event when the data is determined to be the MIDI data, and combining the image data or the voice data converted to the MIDI event with the data determined to be the MIDI-format performance data; Data, and a playback time indicating a time at which playback of the MIDI data is started. By pressing, characterized by comprising means for generating a packet data including the MIDI data and the reproduction time, and means for distributing the generated packet data to the network.
【０００８】請求項４に係る発明は、ＭＩＤＩ形式演奏
データと並行して再生されるべき画像データおよび音声
データを一時的に記憶し、当該一時的に記憶されたデー
タの内容を判別し、前記一時的に記憶されたものが画像
データあるいは音声データであると判別された場合には
該データをＭＩＤＩイベント化し、前記ＭＩＤＩ形式演
奏データと合わせてＭＩＤＩデータとしてネットワーク
に配信する送信端末から、前記ＭＩＤＩデータを受信し
て再生する受信端末であって、前記ネットワークからＭ
ＩＤＩ形式演奏データ、並びに、データの内容に応じて
ＭＩＤＩイベント化された前記画像データあるいは音声
データを含むＭＩＤＩデータ、および、当該ＭＩＤＩデ
ータの再生を開始する時刻を表わす再生時間が付与され
たパケットデータを受信する手段と、再生開始からの経
過時間をカウントする手段と、前記経過時間が前記受信
したパケットデータに含まれる再生時間に到達したこと
に応じて、前記受信したパケットデータから、前記ＭＩ
ＤＩ形式演奏データおよび前記ＭＩＤＩイベント化され
た画像データあるいは音声データを順次取り出して再生
する手段とを備えたことを特徴とする。According to a fourth aspect of the present invention, image data and audio data to be reproduced in parallel with MIDI-format performance data are temporarily stored, and the contents of the temporarily stored data are determined. When it is determined that the temporarily stored data is image data or audio data, the data is converted into a MIDI event, and the MIDI data is transmitted from the transmitting terminal that transmits the MIDI data together with the MIDI format performance data to the network. A receiving terminal for receiving and reproducing data, wherein M
MIDI data including IDI-formatted performance data, image data or audio data converted into MIDI events in accordance with the contents of the data, and packet data to which a reproduction time indicating the time at which reproduction of the MIDI data is started is added. Means for counting the time elapsed since the start of playback, and means for counting the MI from the received packet data in response to the elapsed time reaching the playback time included in the received packet data.
Means for sequentially retrieving and reproducing the DI-format performance data and the MIDI event image data or audio data.
【０００９】請求項５に係る発明は、ＭＩＤＩ形式演奏
データを該ＭＩＤＩ形式演奏データと並行して再生され
るべき画像データおよび音声データと共に送信端末から
ネットワークに配信するデータ送信方法に係るプログラ
ムを記憶した記憶媒体であって、前記プログラムは、前
記ＭＩＤＩ形式演奏データ、画像データ、および音声デ
ータを一時的に記憶する第１ステップと、前記一時的に
記憶されているデータを読み出してそのデータの内容を
判別する第２ステップと、前記第２ステップにおいて、
読み出されたデータが前記画像データあるいは、前記音
声データであると判別された場合に、該データをＭＩＤ
Ｉイベント化する第３ステップと、前記ＭＩＤＩイベン
ト化された画像データあるいは音声データを、前記第２
ステップにおいて、ＭＩＤＩ形式演奏データであると判
別されたデータと合わせてＭＩＤＩデータとするととも
に、該ＭＩＤＩデータの再生を開始する時刻を表わす再
生時間を付加することにより、該ＭＩＤＩデータおよび
該再生時間を含むパケットデータを生成する第４ステッ
プと、前記生成されたパケットデータを前記ネットワー
クに配信する第５ステップとを備えたことを特徴とす
る。The invention according to claim 5 stores a program relating to a data transmission method for distributing MIDI-format performance data from a transmitting terminal to a network together with image data and audio data to be reproduced in parallel with the MIDI-format performance data. A first step of temporarily storing the MIDI performance data, image data, and audio data; and reading the temporarily stored data to read the contents of the data. In the second step of determining
If it is determined that the read data is the image data or the audio data, the
A third step of converting the MIDI-processed image data or audio data into the second
In the step, MIDI data is combined with the data determined to be MIDI format performance data, and a playback time indicating a time at which playback of the MIDI data is started is added. And a fifth step of distributing the generated packet data to the network.
【００１０】請求項６に係る発明は、ＭＩＤＩ形式演奏
データと並行して再生されるべき画像データおよび音声
データを一時的に記憶し、当該一時的に記憶されたデー
タの内容を判別し、前記一時的に記憶されたものが画像
データあるいは音声データであると判別された場合には
該データをＭＩＤＩイベント化し、前記ＭＩＤＩ形式演
奏データと合わせてＭＩＤＩデータとしてネットワーク
に配信する送信端末から、前記ＭＩＤＩデータを受信し
て再生するデータ受信方法に係るプログラムを記憶した
記憶媒体であって、前記受信端末において、前記ネット
ワークからＭＩＤＩ形式演奏データ、並びに、データの
内容に応じてＭＩＤＩイベント化された前記画像データ
あるいは音声データを含むＭＩＤＩデータ、および、当
該ＭＩＤＩデータの再生を開始する時刻を表わす再生時
間が付与されたパケットデータを受信する第１ステップ
と、再生開始からの経過時間をカウントする第２ステッ
プと、前記経過時間が前記受信したパケットデータに含
まれる再生時間に到達したことに応じて、前記受信した
パケットデータから、前記ＭＩＤＩ形式演奏データおよ
び前記ＭＩＤＩイベント化された画像データあるいは音
声データを順次取り出して再生する第３ステップとを備
えたことを特徴とする。According to a sixth aspect of the present invention, the image data and the audio data to be reproduced in parallel with the MIDI-format performance data are temporarily stored, and the contents of the temporarily stored data are determined. When it is determined that the temporarily stored data is image data or audio data, the data is converted into a MIDI event, and the MIDI data is transmitted from the transmitting terminal that transmits the MIDI data together with the MIDI format performance data to the network. A storage medium storing a program related to a data receiving method for receiving and reproducing data, wherein the receiving terminal has a MIDI format performance data from the network and a MIDI event-converted image according to the content of the data. MIDI data including data or audio data, and the MIDI data A first step of receiving packet data to which a reproduction time indicating a reproduction start time is added, a second step of counting an elapsed time from the start of reproduction, and a reproduction in which the elapsed time is included in the received packet data. A third step of sequentially extracting and playing back the MIDI-format performance data and the MIDI-event-converted image data or audio data from the received packet data in response to the arrival of time. I do.
【００１１】[0011]
【発明の実施の形態】以下、図面を用いてこの発明の実
施の形態を説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１２】図１は、この発明に係るデータ送受信シス
テムの接続例を示す。これは、従来技術の欄で説明した
ようなインターネットコンサートを行なう際のシステム
例である。FIG. 1 shows a connection example of a data transmission / reception system according to the present invention. This is an example of a system for performing an Internet concert as described in the section of the related art.
【００１３】演奏会場１００には、演奏者が演奏操作す
るＭＩＤＩ楽器１０１、その演奏の様子や会場の様子な
どを画像（静止画や動画）として取り込むカメラ１０
２、および、ボーカルや自然楽器やＭＩＤＩ以外の楽器
からの音声や楽音を取り込んで音声データとして出力す
るマイクロフォンなどの音声データ取り込み機器１０３
を備えている。ＭＩＤＩ楽器１０１から出力されるＭＩ
ＤＩデータ（ＭＩＤＩパートデータと呼ぶ）、カメラ１
０２から出力される画像データ、および音声データ取り
込み機器１０３から出力される音声データは、送信端末
として動作するエンコーダ１０４に入力する。エンコー
ダ１０４は、後述する図４の処理ルーチンで、入力した
これらのデータをパケット化し、後述する図２のような
パケットデータを生成して出力する。このパケットデー
タは、ルータ１０５を介して、外部のメインフレーム１
１０に送られる。[0013] A musical instrument 101 which is operated by a performer and a camera 10 which captures the state of the performance, the state of the venue, and the like as images (still images and moving images) are provided in the performance hall 100.
2, and a voice data capturing device 103 such as a microphone that captures voices and musical sounds from vocals, natural musical instruments, and musical instruments other than MIDI and outputs them as voice data.
It has. MI output from the MIDI instrument 101
DI data (called MIDI part data), camera 1
The image data output from the device 02 and the audio data output from the audio data capturing device 103 are input to an encoder 104 that operates as a transmission terminal. The encoder 104 packetizes these input data in a processing routine shown in FIG. 4 described later, and generates and outputs packet data as shown in FIG. 2 described later. This packet data is transmitted to the external mainframe 1 via the router 105.
Sent to 10.
【００１４】メインフレーム１１０は、インターネット
などのネットワークを介して、上記パケットデータをＷ
ＷＷ（World Wide Web）サーバ１２１〜１２３などに配
信する。ＷＷＷサーバ１２１〜１２３は、例えばインタ
ーネットの各プロバイダのサーバである。The mainframe 110 transmits the packet data to a W via a network such as the Internet.
It is distributed to WW (World Wide Web) servers 121 to 123 and the like. The WWW servers 121 to 123 are, for example, servers of providers of the Internet.
【００１５】各家庭などでこのインターネットコンサー
トを視聴したいときは、各家庭内にあるホームコンピュ
ータ１３１〜１３４などを、各プロバイダのＷＷＷサー
バ１３１〜１３４に接続する。ホームコンピュータ１３
１〜１３４には、受信端末として動作するための再生プ
ログラムがあらかじめインストールされており、動作し
ている。この再生プログラムの動作については図５で詳
しく説明するが、要するに、ＷＷＷサーバ１２１〜１２
３から配信されるデータを受信し、そのデータを再生す
る時間や順序を管理するとともに、ＭＩＤＩパートデー
タはＭＩＤＩ音源モジュール（例えば、図１のホームコ
ンピュータ１３３に接続されているＭＩＤＩ音源１４
３）に送って再生し、画像データは画像制御モジュール
（例えば、図１の各ホームコンピュータ１３１〜１３４
のモニタ）に送って表示器（例えば、図１の各ホームコ
ンピュータ１３１〜１３４のモニタ）に表示し、音声デ
ータは音声制御モジュール（例えば、図１の音声出力装
置１４１，１４２，１４４，１４５）に送って音声出力
する処理を行なうものである。これにより、家庭内で演
奏会場の様子をリアルタイムに再現できる。When the user wants to watch the Internet concert at each home, the home computers 131 to 134 in each home are connected to the WWW servers 131 to 134 of the respective providers. Home computer 13
A reproduction program for operating as a receiving terminal is installed in advance in each of 1-134, and operates. The operation of this reproduction program will be described in detail with reference to FIG. 5, but in short, the WWW servers 121 to 12
3 and manages the time and order in which the data is reproduced, and stores MIDI part data in the MIDI sound source module (for example, the MIDI sound source 14 connected to the home computer 133 in FIG. 1).
3) for reproduction, and the image data is sent to an image control module (for example, each of the home computers 131 to 134 in FIG. 1)
Of the home computers 131 to 134 in FIG. 1 for display on a display device (for example, the monitor of each of the home computers 131 to 134 in FIG. 1). And performs a process of outputting a voice. This makes it possible to reproduce the state of the performance hall in the home in real time.
【００１６】特に、この実施の形態のシステムでは、画
像データおよび音声データは、イベントが発生した時点
で送信側のエンコーダ１０４内でＭＩＤＩイベント化さ
れ（ＭＩＤＩの拡張形式であるイクスクルーシブ（excl
usive）で表すものとする）、ＭＩＤＩパートデータと
合わせてＭＩＤＩデータとして、配信される。受信端末
１３１〜１３４側では、これらのＭＩＤＩパートデー
タ、画像データ、および音声データをすべて含むＭＩＤ
Ｉデータを受信し、ＭＩＤＩイベントとして再生するの
で、各データの再生のタイミングが揃う。すなわち、す
べてＭＩＤＩ化されているデータなので、受信端末内の
シーケンサにより再生する際、画像出力および音声出力
も含めて、小節単位あるいは拍単位などでのタイミング
調整が可能である。また、ＭＩＤＩパートデータによ
り、演奏者が不特定多数の受信端末に接続されたＭＩＤ
Ｉ楽器を演奏している状況が実現できる。さらに、これ
らのデータはすべてＭＩＤＩデータ化されているため、
ＭＩＤＩファイラなどに記録させ、後で再現することも
できる。In particular, in the system according to the present embodiment, the image data and the audio data are converted into MIDI events in the encoder 104 on the transmission side when the event occurs (exclusive (excl.
usive)) and distributed as MIDI data together with MIDI part data. On the receiving terminals 131 to 134 side, the MID including all of these MIDI part data, image data, and audio data
Since the I data is received and reproduced as a MIDI event, the reproduction timing of each data is aligned. That is, since the data is all MIDI data, the timing can be adjusted in measures or beats, including image output and audio output, when reproduced by a sequencer in the receiving terminal. Also, the MIDI part data allows the performer to connect the MID connected to an unspecified number of receiving terminals.
The situation of playing the I musical instrument can be realized. Furthermore, since all of these data are converted to MIDI data,
It can be recorded on a MIDI filer or the like and reproduced later.
【００１７】図２は、エンコーダ１０４が取り込んだＭ
ＩＤＩパートデータ、画像データ、および音声データか
ら生成して配信するパケットデータの構造を示す。パケ
ットデータ２００は、チェックサム２０１、データＩＤ
２０２、シーケンスナンバ２０３、再生時間２０４、イ
ベントデータ長２０５、およびＭＩＤＩデータ２０６を
有する。チェックサム２０１からイベントデータ長２０
５までがこのパケットデータ２００のヘッダ部であり、
ＭＩＤＩデータ２０６がこのパケットデータ２００のデ
ータ部を構成する。FIG. 2 shows the M
2 shows the structure of packet data generated from IDI part data, image data, and audio data and distributed. The packet data 200 has a checksum 201, a data ID
202, a sequence number 203, a reproduction time 204, an event data length 205, and MIDI data 206. Checksum 201 to event data length 20
5 is the header of the packet data 200,
The MIDI data 206 constitutes a data portion of the packet data 200.
【００１８】チェックサム２０１は、このパケットデー
タ２００のデータＩＤ２０２以降のデータから生成した
チェックサムである。データＩＤ２０２は、このパケッ
トデータ２００の識別子（ＩＤ）であり、各種データの
種類を示す情報なども含む。シーケンスナンバ２０３
は、このパケットデータ２００の再生順を示す番号（コ
マ割りのコマ番号のようなもの）である。再生時間２０
４は、このパケットデータ２００中のＭＩＤＩデータ２
０６の再生を開始する時間（演奏開始時からの相対時
刻）である。イベントデータ長２０５は、ＭＩＤＩデー
タ２０６のデータ長を示す。ＭＩＤＩデータ２０６は、
ＭＩＤＩの実データそのものであり、図１で説明したＭ
ＩＤＩパートデータ、ＭＩＤＩ化された画像データ、お
よびＭＩＤＩ化された音声データを含む。The checksum 201 is a checksum generated from the data after the data ID 202 of the packet data 200. The data ID 202 is an identifier (ID) of the packet data 200 and includes information indicating the type of various data. Sequence number 203
Is a number indicating the reproduction order of the packet data 200 (such as a frame number of frame division). Reproduction time 20
4 is MIDI data 2 in the packet data 200.
06 is the time to start the reproduction (relative time from the start of the performance). The event data length 205 indicates the data length of the MIDI data 206. MIDI data 206
It is the actual data of MIDI itself, and the M data described in FIG.
It includes IDI part data, MIDI-converted image data, and MIDI-converted audio data.
【００１９】なお、１つのパケットデータ２００のＭＩ
ＤＩデータ２０６中のＭＩＤＩ化された画像データは、
所定時間（パケットを生成する単位時間であり、例えば
５００ｍｓｅｃ程度）間隔で取り込んだ単位を１つのイ
ベントとしてイクスクルーシブで表したデータ（以下、
画像イクスクルーシブと呼ぶ）である。ＭＩＤＩデータ
２０６中のＭＩＤＩ化された音声データも同様に、この
所定時間間隔で取り込んだ単位を１つのイベントとして
イクスクルーシブで表したデータ（以下、音声イクスク
ルーシブと呼ぶ）である。ＭＩＤＩデータ２０６中のＭ
ＩＤＩパートデータは、この所定時間の間にＭＩＤＩ楽
器１０１から発生したＭＩＤＩイベントをまとめたデー
タである。ＭＩＤＩパートデータは、イクスクルーシブ
でないデータ（以下、演奏ＭＩＤＩデータと呼ぶ）だけ
でなく、必要に応じてイクスクルーシブデータ（以下、
音源イクスクルーシブと呼ぶ）を含む。また、このパケ
ットデータ２００は、実際には、ネットワークに配信す
る際に所定の形式でエンコードされたデータである。The MI of one packet data 200
The MIDI image data in the DI data 206 is
Exclusive data representing a unit captured at predetermined time intervals (a unit time for generating a packet, for example, about 500 msec) as one event (hereinafter, referred to as an event).
Image exclusive). Similarly, the MIDI-converted audio data in the MIDI data 206 is data (hereinafter, referred to as audio exclusive) in which a unit fetched at the predetermined time interval is expressed as one event as an exclusive. M in MIDI data 206
The IDI part data is data that summarizes MIDI events generated from the MIDI musical instrument 101 during the predetermined time. The MIDI part data includes not only non-exclusive data (hereinafter referred to as performance MIDI data) but also exclusive data (hereinafter, referred to as performance MIDI data) as necessary.
Sound source exclusive). The packet data 200 is actually data encoded in a predetermined format when distributed to a network.
【００２０】図３は、図１のホームコンピュータ（受信
端末）１３１〜１３４内でのデータの流れを示すフロー
チャートである。ステップ３０１で、図２で説明したよ
うなパケットデータ２００を受信すると、ステップ３０
２以降の処理で、受信したパケットデータ２００中のＭ
ＩＤＩデータ２０６を解析する。なお、ステップ３０２
以降の処理は、ＭＩＤＩデータ２０６中の各イベントデ
ータを単位として繰り返し（ＭＩＤＩデータ２０６中に
イベントが無くなるまで）実行される処理である。FIG. 3 is a flowchart showing a data flow in the home computers (receiving terminals) 131 to 134 of FIG. In step 301, when the packet data 200 described with reference to FIG.
In the subsequent processing, M in the received packet data 200
The IDI data 206 is analyzed. Step 302
Subsequent processing is processing that is repeatedly performed in units of each event data in the MIDI data 206 (until no event is left in the MIDI data 206).
【００２１】まずステップ３０２で、イクスクルーシブ
データであるか否か判別する。イクスクルーシブデータ
でないときは、ＭＩＤＩ楽器１０１から出力されたＭＩ
ＤＩパートデータのうちの演奏ＭＩＤＩデータであると
いうことだから、そのＭＩＤＩパートデータをイベント
としてＭＩＤＩ音源モジュール３０４に渡す。ステップ
３０２でイクスクルーシブデータであるときは、ステッ
プ３０３でそのイクスクルーシブデータの種類を判別
し、その種類に応じて、音源イクスクルーシブならＭＩ
ＤＩ音源モジュール３０４に、画像イクスクルーシブな
ら画像制御モジュール３０６に、音声イクスクルーシブ
なら音声制御モジュール３０８に、それぞれイベントと
して渡す。First, at step 302, it is determined whether or not the data is exclusive data. If the data is not exclusive data, the MI
Since the MIDI part data is performance MIDI data of the DI part data, the MIDI part data is passed to the MIDI tone generator module 304 as an event. If the data is exclusive data in step 302, the type of the exclusive data is determined in step 303.
The event is passed to the DI tone generator module 304 as an event if it is an image exclusive, to the image control module 306 if it is an audio exclusive, and to the audio control module 308 if it is an audio exclusive.
【００２２】音源モジュール３０４は、上述したように
渡されたＭＩＤＩパートデータ（演奏ＭＩＤＩデータと
音源イクスクルーシブ）を再生して、楽音をスピーカ３
０５から出力する。画像制御モジュール３０６は、上述
したように渡された画像イクスクルーシブの画像データ
をモニタ３０７に表示出力する。音声制御モジュール３
０８は、上述したように渡された音声イクスクルーシブ
の音声データをスピーカ３０９から出力する。これらの
モジュール３０４，３０６，３０８は、イベント起動型
のモジュールで、イベントが入力すると、渡されたデー
タに基づいて発音や表示を行なうモジュールである。こ
れらのモジュール３０４，３０６，３０８は、ソフトウ
エア、ハードウエア、あるいはそれらの組合わせの何れ
で実現しても良い。The tone generator module 304 reproduces the MIDI part data (performance MIDI data and tone generator exclusive) passed as described above, and outputs musical tones to the speaker 3.
Output from 05. The image control module 306 displays and outputs the image exclusive image data passed to the monitor 307 as described above. Voice control module 3
08 outputs from the speaker 309 the audio exclusive audio data passed as described above. These modules 304, 306, and 308 are event-initiated modules that, when an event is input, sound and display based on the passed data. These modules 304, 306, and 308 may be implemented by software, hardware, or a combination thereof.
【００２３】図４は、図１のエンコーダ（送信端末）１
０４における入力データ処理ルーチンを示す。この処理
ルーチンは、所定時間（データをパケット化する単位時
間）ごとに繰り返し実行される。まずステップ４０１
で、ＭＩＤＩ楽器１０１、カメラ１０２、および音声デ
ータ取り込み機器１０３から出力されるＭＩＤＩパート
データ、画像データ、および音声データを受信する。次
にステップ４０２で、これらの受信データを所定のバッ
ファにバッファリングする。ステップ４０３で、バッフ
ァリングしたデータを取り出し、イベントごとに別処理
を行なう。取り出したデータが画像データであるとき
は、ステップ４０４で当該画像データをＭＩＤＩのイク
スクルーシブの形式にするとともに、ＩＤを付加して、
画像イクスクルーシブとし、ステップ４０６に渡す。取
り出したデータが音声データであるときは、ステップ４
０５で当該音声データをＭＩＤＩのイクスクルーシブの
形式にするとともに、ＩＤを付加して、音声イクスクル
ーシブとし、ステップ４０６に渡す。取り出したデータ
がＭＩＤＩパートデータであるときは、そのままステッ
プ４０６に渡す。FIG. 4 shows the encoder (transmitting terminal) 1 of FIG.
4 shows an input data processing routine at 04. This processing routine is repeatedly executed every predetermined time (unit time for packetizing data). First, step 401
Then, MIDI part data, image data, and audio data output from the MIDI musical instrument 101, the camera 102, and the audio data capturing device 103 are received. Next, in step 402, these received data are buffered in a predetermined buffer. In step 403, the buffered data is extracted, and another process is performed for each event. If the extracted data is image data, the image data is converted into a MIDI exclusive format in step 404, and an ID is added to the image data.
The image is made exclusive and passed to step 406. If the extracted data is audio data, step 4
In step 05, the audio data is converted into a MIDI exclusive format, an ID is added to the audio data to make the audio exclusive, and the data is passed to step 406. If the extracted data is MIDI part data, it is passed to step 406 as it is.
【００２４】ステップ４０６では、図２で説明した構造
のパケットデータ２００を生成する。すなわち、上記の
ように渡された画像イクスクルーシブ、ＭＩＤＩパート
データ、および音声イクスクルーシブをまとめてＭＩＤ
Ｉデータ２０６とするとともに、データＩＤ２０２、シ
ーケンスナンバ２０３、再生時間２０４、およびイベン
トデータ長２０５を付加し、さらにチェックサムを求め
てチェックサム２０１として付加する。シーケンスナン
バ２０３には、演奏が開始されてからこのパケットが幾
つ目のパケットかを示す値を設定する。再生時間２０４
には、このパケットのＭＩＤＩデータ２０６が再生を開
始する時刻を、演奏が開始されてからの相対時間で表し
た値を設定する。シーケンスナンバ２０３や再生時間２
０４は、エンコーダ１０４内で管理している。ステップ
４０６で生成したパケットデータ２００は、ステップ４
０７で、ルータ１０５を介して、メインフレーム１１０
に送信される。In step 406, the packet data 200 having the structure described with reference to FIG. 2 is generated. That is, the image exclusive data, the MIDI part data, and the audio exclusive data passed as described above are put together in the MID.
In addition to the I data 206, a data ID 202, a sequence number 203, a reproduction time 204, and an event data length 205 are added, and a checksum is obtained and added as a checksum 201. In the sequence number 203, a value indicating the number of this packet after the performance is started is set. Play time 204
Is set to the time at which the MIDI data 206 of the packet starts to be reproduced, and a value represented by the relative time from the start of the performance. Sequence number 203 and playback time 2
04 is managed in the encoder 104. The packet data 200 generated in step 406 is stored in step 4
At 07, the mainframe 110 is connected via the router 105.
Sent to.
【００２５】なお、ステップ４０３〜４０６の処理は、
１パスの処理ではない。すなわち、ステップ４０２でバ
ッファリングしたデータは、画像データ、ＭＩＤＩパー
トデータ、および音声データの何れをも含むものである
ので、画像データはステップ４０３→４０４→４０６の
ように、ＭＩＤＩパートデータはステップ４０３→４０
６のように、音声データはステップ４０３→４０５→４
０６のように、それぞれ処理され、そのバッファ内の全
データが１つのパケットデータにパケット化されるもの
である。The processing in steps 403 to 406 is as follows.
It is not a one-pass process. That is, since the data buffered in step 402 includes any of image data, MIDI part data, and audio data, the image data is stored in steps 403 → 404 → 406, and the MIDI parts data is stored in steps 403 → 40.
As shown in step 6, the voice data is stored in steps 403 → 405 → 4
As indicated by reference numeral 06, each data is processed, and all data in the buffer is packetized into one packet data.
【００２６】図５は、図１の各ホームコンピュータ（受
信端末）１３１〜１３４における受信データ処理ルーチ
ンを示す。この処理ルーチンは、パケットデータを受信
するごとに実行される。まずステップ５０１で、当該受
信端末が接続しているＷＷＷサーバ１２１〜１２３か
ら、図２のパケットデータ２００を受信する。次にステ
ップ５０２で、受信したパケットデータ２００のチェッ
クサム２０１を確認し、エラーが発生していないかどう
か判別する。チェックサムエラーのときは、ステップ５
０４で何もせずに処理を終了する。なお、データの再送
を要求するなど、発生しているエラーに応じた処理を行
なうようにしてもよい。FIG. 5 shows a reception data processing routine in each of the home computers (reception terminals) 131 to 134 in FIG. This processing routine is executed every time packet data is received. First, in step 501, the packet data 200 of FIG. 2 is received from the WWW servers 121 to 123 to which the receiving terminal is connected. Next, in step 502, the checksum 201 of the received packet data 200 is checked to determine whether an error has occurred. Step 5 if a checksum error occurs
In step 04, the process ends without any operation. It should be noted that processing corresponding to the error that has occurred, such as requesting retransmission of data, may be performed.
【００２７】エラーがなければ、ステップ５０５で、受
信したパケットデータ２００のシーケンスナンバ２０３
を確認する。また、受信したパケットデータが演奏の先
頭のパケットであったときは、再生用タイマを０に初期
化する。再生用タイマは、受信端末内での経過時間をカ
ウントするタイマである。次に、ステップ５０６で、受
信パケットデータの再生時間２０４に所定のオフセット
分を足す。このオフセット分とは、再生時間を遅らせる
ためのオフセットである。すなわち、受信パケットデー
タの再生時間２０４にオフセットを足し込んで、再生を
開始する時間をこのオフセット分だけ遅らせる。インタ
ーネットなどのオープンなネットワークでは、各種の状
況によりデータ転送速度が変化するし、パケットデータ
が送出された順に受信できるとは限らない。そこで、所
定のオフセット分だけ再生時間を遅らせて、その間に受
信したパケットをバッファリングしてある程度ためてか
ら再生開始するようにしたものである。この遅れ時間の
間に、画像データや音声データのパケット間のつなぎの
処理を行なって、画像や音声をパケット切れ目のノイズ
を発生させることなく再生出力できる。If there is no error, in step 505, the sequence number 203 of the received packet data 200
Check. If the received packet data is the first packet of the performance, the reproduction timer is initialized to zero. The reproduction timer is a timer that counts the elapsed time in the receiving terminal. Next, at step 506, a predetermined offset is added to the reproduction time 204 of the received packet data. This offset is an offset for delaying the reproduction time. That is, the offset is added to the reproduction time 204 of the received packet data, and the time to start reproduction is delayed by this offset. In an open network such as the Internet, the data transfer rate changes depending on various situations, and packet data cannot always be received in the order in which they were transmitted. Therefore, the reproduction time is delayed by a predetermined offset, the packets received during that time are buffered, and the reproduction is started after a certain amount of storage. During the delay time, a process of connecting the packets of the image data and the audio data is performed, so that the image and the audio can be reproduced and output without generating noise at the packet break.
【００２８】次に、ステップ５０７で、受信パケットデ
ータが再生すべきシーケンスナンバのデータであり、か
つ、その再生時間２０４（ステップ５０６でオフセット
分が足されている）が再生用タイマの現在値以下か否か
判別する。この判定結果がＮＯのときは、未だそのパケ
ットデータを再生するタイミングではないので、ステッ
プ５０８で、当該受信パケットデータを所定のバッファ
にバッファリングして処理を終了する。Next, at step 507, the received packet data is the data of the sequence number to be reproduced, and the reproduction time 204 (to which the offset is added at step 506) is equal to or less than the current value of the reproduction timer. Is determined. If the result of this determination is NO, it is not the timing to reproduce the packet data yet, so in step 508, the received packet data is buffered in a predetermined buffer and the process is terminated.
【００２９】ステップ５０７の判定結果がＹＥＳである
ときは、当該受信パケットデータを再生すべきであると
いうことだから、ステップ５０９で、当該受信パケット
データのＭＩＤＩデータ２０６内の各イベントごとにス
テップ５１０〜５１２の処理を行なう。これらの処理
は、図３で説明した、各データを音源モジュール３０
４、画像制御モジュール３０６、および音声制御モジュ
ール３０８に振り分けて渡し、各モジュールで各データ
を出力する処理である。これにより、当該パケットデー
タのＭＩＤＩデータ２０６に含まれているＭＩＤＩパー
トデータ、画像データ、および音声データがそれぞれ再
生・出力される。If the decision result in the step 507 is YES, it means that the received packet data is to be reproduced. Therefore, in the step 509, steps 510 to 510 are performed for each event in the MIDI data 206 of the received packet data. The processing of 512 is performed. In these processes, each data described in FIG.
4. This is a process in which the data is distributed to the image control module 306 and the audio control module 308, and each module outputs each data. Thereby, the MIDI part data, the image data, and the audio data included in the MIDI data 206 of the packet data are reproduced and output.
【００３０】ステップ５０９の後、ステップ５１３で、
この受信端末内部で管理しているシーケンスナンバの値
をカウントアップする。次にステップ５１４で、再生す
べきシーケンスナンバのパケットデータがバッファ内に
存在しているか否かを判別する。存在していたときは、
ステップ５１５に進んで、そのパケットデータが再生す
べきシーケンスナンバのデータであり、かつ、その再生
時間２０４（ステップ５０６でオフセット分が足された
後、バッファリングされている）が再生用タイマの現在
値以下か否か判別する。この判定結果がＮＯのときは、
未だそのパケットデータを再生するタイミングではない
ので、そのままリターンする。ステップ７１５の判定結
果がＹＥＳのときは、当該パケットデータを再生すべき
であるということだから、ステップ５０９に進む。ステ
ップ５１４で再生すべきシーケンスナンバのパケットデ
ータがバッファ内に存在していないときは、そのままリ
ターンする。After step 509, in step 513,
The value of the sequence number managed in the receiving terminal is counted up. Next, at step 514, it is determined whether or not the packet data of the sequence number to be reproduced exists in the buffer. When it was,
Proceeding to step 515, the packet data is the data of the sequence number to be reproduced, and its reproduction time 204 (which is buffered after the offset is added in step 506) is the current value of the reproduction timer. It is determined whether the value is equal to or less than the value. If this determination is NO,
Since it is not yet time to reproduce the packet data, the process returns. If the decision result in the step 715 is YES, it means that the packet data should be reproduced, and the process proceeds to a step 509. If the packet data of the sequence number to be reproduced does not exist in the buffer in step 514, the process returns.
【００３１】さらに、バッファリングされたパケットデ
ータを再生・出力するために、所定の時間間隔（パケッ
トを受信する間隔より充分短い間隔）で、ステップ５１
６のバッファサーチを行ない、バッファリングされてい
るパケットデータがあるときは、当該パケットデータを
再生すべきか否か判別するステップ５１５に進むように
する。Further, in order to reproduce and output the buffered packet data, at a predetermined time interval (an interval sufficiently shorter than the packet receiving interval), the process goes to step 51.
When the buffer search in step 6 is performed, and there is buffered packet data, the process proceeds to step 515 for determining whether or not the packet data should be reproduced.
【００３２】なお、上述の実施の形態では、画像および
音声をＭＩＤＩ化する例を示したが、画像や音声のほ
か、歌詞を表示するためのデータ、演奏者のプロフィー
ルを表示するためのデータ、著作権表示のためのデー
タ、スポンサーのコマーシャルを表示するためのデータ
などをＭＩＤＩ化して配信するようにしても良い。ま
た、配信されるデータは、ＭＩＤＩ化されているので、
ＭＩＤＩファイラーなどに記録しておき、後で再生する
ようにできる。In the above-described embodiment, an example in which images and sounds are converted to MIDI has been described. In addition to the images and sounds, data for displaying lyrics, data for displaying a profile of a performer, The data for displaying the copyright, the data for displaying the commercial of the sponsor, and the like may be converted to MIDI and distributed. Also, since the data to be distributed is MIDI,
It can be recorded on a MIDI filer or the like and reproduced later.
【００３３】図１では、ルータ１０５およびメインフレ
ーム１１０を介して、インターネットに配信する例を示
したが、ルータ１０５やメインフレーム１１０無しに直
接、インターネットなどのネットワークにデータを流し
ても良い。また、インターネットに限らず、他の任意の
ネットワークに適用することもできる。FIG. 1 shows an example in which data is distributed to the Internet via the router 105 and the mainframe 110. However, data may be directly transmitted to a network such as the Internet without the router 105 and the mainframe 110. Further, the present invention is not limited to the Internet, and can be applied to any other network.
【００３４】[0034]
【発明の効果】以上説明したように、この発明によれ
ば、ネットワークを介して演奏データ、画像データ、音
声データなどを配信し、受信側でそれらのデータから演
奏会場の環境を再現するようなシステムにおいて、ＭＩ
ＤＩ楽器の演奏操作と並行して発生される画像データ、
音声データ、およびそれらに付随する各種のデータをＭ
ＩＤＩイベント化してＭＩＤＩ形式演奏データと合わせ
て配信し、受信側ではＭＩＤＩベースで再生しているの
で、インターネットなどでネットワークコンサートを催
すような場合、受信側に転送されるＭＩＤＩデータとＭ
ＩＤＩ以外の楽器やボーカルの音声データとの音声上の
同期がとれ、またＭＩＤＩデータと演奏風景などの画像
データとの同期がとれる。また、ネットワークコンサー
トの状況を、すべてＭＩＤＩ形式のデータで転送するの
で、受信したデータをＭＩＤＩファイラーに記録でき、
後で完全に再現することが可能である。さらに、ＭＩＤ
Ｉ楽器からのＭＩＤＩ演奏データは、音声データでなく
ＭＩＤＩデータで記録されるため、データ量も少なくて
済む。As described above, according to the present invention, performance data, image data, audio data, and the like are distributed via a network, and the environment of the performance hall is reproduced from the data on the receiving side. In the system, MI
Image data generated in parallel with the operation of the DI musical instrument,
Audio data and various data accompanying them are represented by M
Since it is converted into an IDI event and distributed together with the performance data in the MIDI format and is played back on a MIDI basis on the receiving side, when a network concert is held on the Internet or the like, the MIDI data and M transferred to the receiving side are transmitted.
Audio synchronization with audio data of instruments and vocals other than IDI can be achieved, and MIDI data can be synchronized with image data such as performance scenery. In addition, since the status of the network concert is all transferred in MIDI format, the received data can be recorded on a MIDI filer.
It can be completely reproduced later. Furthermore, MID
Since the MIDI performance data from the I musical instrument is recorded as MIDI data instead of audio data, the data amount can be reduced.
【図１】この発明に係るデータ送受信システムの接続例
を示す図FIG. 1 is a diagram showing a connection example of a data transmission / reception system according to the present invention;
【図２】パケットデータの構造を示す図FIG. 2 is a diagram showing a structure of packet data;
【図３】受信端末内でのデータの流れを示すフローチャ
ート図FIG. 3 is a flowchart showing the flow of data in the receiving terminal.
【図４】送信端末における入力データ処理ルーチンのフ
ローチャート図FIG. 4 is a flowchart of an input data processing routine in a transmission terminal.
【図５】受信端末における受信データ処理ルーチンのフ
ローチャート図FIG. 5 is a flowchart of a reception data processing routine in the reception terminal.
１００…演奏会場、１０１…ＭＩＤＩ楽器、１０２…カ
メラ、１０３…音声データ取り込み機器、１０４…エン
コーダ、１０５…ルータ、１１０…メインフレーム、１
２１〜１２３…ＷＷＷサーバ、１３１〜１３４…ホーム
コンピュータ、１４１，１４２，１４４，１４５…音声
出力装置、１４３…ＭＩＤＩ音源。Reference numeral 100: performance hall, 101: MIDI instrument, 102: camera, 103: audio data capturing device, 104: encoder, 105: router, 110: main frame, 1
21 to 123: WWW server; 131 to 134: home computer; 141, 142, 144, 145: audio output device; 143: MIDI sound source.
Claims (6)
演奏データと並行して再生されるべき画像データおよび
音声データと共に送信端末からネットワークに配信する
データ送信方法であって、 前記送信端末において、 前記ＭＩＤＩ形式演奏データ、画像データ、および音声
データを一時的に記憶する第１ステップと、 前記一時的に記憶されているデータを読み出してそのデ
ータの内容を判別する第２ステップと、 前記第２ステップにおいて、読み出されたデータが前記
画像データあるいは、前記音声データであると判別され
た場合に、該データをＭＩＤＩイベント化する第３ステ
ップと、 前記ＭＩＤＩイベント化された画像データあるいは音声
データを、前記第２ステップにおいて、ＭＩＤＩ形式演
奏データであると判別されたデータと合わせてＭＩＤＩ
データとするとともに、該ＭＩＤＩデータの再生を開始
する時刻を表わす再生時間を付加することにより、該Ｍ
ＩＤＩデータおよび該再生時間を含むパケットデータを
生成する第４ステップと、 前記生成されたパケットデータを前記ネットワークに配
信する第５ステップとを備えたことを特徴とするデータ
送信方法。1. A data transmission method for distributing MIDI-format performance data together with image data and audio data to be reproduced in parallel with the MIDI-format performance data from a transmission terminal to a network, the transmission terminal comprising: A first step of temporarily storing formal performance data, image data, and audio data; a second step of reading out the temporarily stored data and determining the contents of the data; A third step of converting the read data to the MIDI data when the read data is determined to be the image data or the audio data; In the second step, data determined to be MIDI format performance data Together MIDI
Data, and by adding a playback time indicating the time at which playback of the MIDI data is started,
A data transmission method, comprising: a fourth step of generating packet data including IDI data and the reproduction time; and a fifth step of distributing the generated packet data to the network.
れるべき画像データおよび音声データを一時的に記憶
し、当該一時的に記憶されたデータの内容を判別し、前
記一時的に記憶されたものが画像データあるいは音声デ
ータであると判別された場合には該データをＭＩＤＩイ
ベント化し、前記ＭＩＤＩ形式演奏データと合わせてＭ
ＩＤＩデータとしてネットワークに配信する送信端末か
ら、前記ＭＩＤＩデータを受信して再生するデータ受信
方法であって、 前記受信端末において、 前記ネットワークからＭＩＤＩ形式演奏データ、並び
に、データの内容に応じてＭＩＤＩイベント化された前
記画像データあるいは音声データを含むＭＩＤＩデー
タ、および、当該ＭＩＤＩデータの再生を開始する時刻
を表わす再生時間が付与されたパケットデータを受信す
る第１ステップと、 再生開始からの経過時間をカウントする第２ステップ
と、 前記経過時間が前記受信したパケットデータに含まれる
再生時間に到達したことに応じて、前記受信したパケッ
トデータから、前記ＭＩＤＩ形式演奏データおよび前記
ＭＩＤＩイベント化された画像データあるいは音声デー
タを順次取り出して再生する第３ステップとを備えたこ
とを特徴とするデータ受信方法。2. Temporarily storing image data and audio data to be reproduced in parallel with MIDI format performance data, judging the contents of the temporarily stored data, If it is determined that the data is image data or audio data, the data is converted to a MIDI event, and the MIDI
A data receiving method for receiving and playing back the MIDI data from a transmitting terminal that distributes the data as IDI data to a network, wherein at the receiving terminal, a MIDI event in accordance with MIDI format performance data and data content from the network. A first step of receiving MIDI data including the image data or audio data, and packet data provided with a reproduction time indicating a time at which reproduction of the MIDI data is started; A second step of counting; in response to the elapsed time reaching a reproduction time included in the received packet data, the MIDI-formatted performance data and the MIDI event-converted image data are converted from the received packet data. Alternatively, take audio data sequentially And a third step of outputting and reproducing the data.
演奏データと並行して再生されるべき画像データおよび
音声データと共にネットワークに配信する送信端末であ
って、 前記ＭＩＤＩ形式演奏データ、画像データ、および音声
データを一時的に記憶する手段と、 前記一時的に記憶されているデータを読み出してそのデ
ータの内容を判別する手段と、 前記読み出されたデータが前記画像データあるいは、前
記音声データであると判別された場合に、該データをＭ
ＩＤＩイベント化する手段と、 前記ＭＩＤＩイベント化された画像データあるいは音声
データを、ＭＩＤＩ形式演奏データであると判別された
データと合わせてＭＩＤＩデータとするとともに、該Ｍ
ＩＤＩデータの再生を開始する時刻を表わす再生時間を
付加することにより、該ＭＩＤＩデータおよび該再生時
間を含むパケットデータを生成する手段と、 前記生成されたパケットデータを前記ネットワークに配
信する手段とを備えたことを特徴とする送信端末。3. A transmission terminal for delivering MIDI-format performance data to a network together with image data and audio data to be reproduced in parallel with the MIDI-format performance data, the MIDI-format performance data, image data, and audio Means for temporarily storing data; means for reading the temporarily stored data to determine the content of the data; and that the read data is the image data or the audio data. If the data is determined,
Means for converting the image data or audio data converted to MIDI events into MIDI data together with data determined to be MIDI-format performance data;
Means for generating packet data including the MIDI data and the reproduction time by adding a reproduction time indicating a time at which reproduction of the IDI data is started; and means for distributing the generated packet data to the network. A transmission terminal, comprising:
れるべき画像データおよび音声データを一時的に記憶
し、当該一時的に記憶されたデータの内容を判別し、前
記一時的に記憶されたものが画像データあるいは音声デ
ータであると判別された場合には該データをＭＩＤＩイ
ベント化し、前記ＭＩＤＩ形式演奏データと合わせてＭ
ＩＤＩデータとしてネットワークに配信する送信端末か
ら、前記ＭＩＤＩデータを受信して再生する受信端末で
あって、 前記ネットワークからＭＩＤＩ形式演奏データ、並び
に、データの内容に応じてＭＩＤＩイベント化された前
記画像データあるいは音声データを含むＭＩＤＩデー
タ、および、当該ＭＩＤＩデータの再生を開始する時刻
を表わす再生時間が付与されたパケットデータを受信す
る手段と、 再生開始からの経過時間をカウントする手段と、 前記経過時間が前記受信したパケットデータに含まれる
再生時間に到達したことに応じて、前記受信したパケッ
トデータから、前記ＭＩＤＩ形式演奏データおよび前記
ＭＩＤＩイベント化された画像データあるいは音声デー
タを順次取り出して再生する手段とを備えたことを特徴
とする受信端末。4. Temporarily storing image data and audio data to be reproduced in parallel with MIDI format performance data, determining the contents of the temporarily stored data, If it is determined that the data is image data or audio data, the data is converted to a MIDI event, and the MIDI
A receiving terminal for receiving and playing back the MIDI data from a transmitting terminal that delivers the data as IDI data to a network, comprising: MIDI-format performance data from the network; and the image data converted into MIDI events in accordance with the contents of the data. Alternatively, means for receiving MIDI data including audio data, and packet data to which a playback time indicating the time at which playback of the MIDI data is started is provided; means for counting elapsed time since the start of playback; Means for sequentially retrieving and reproducing the MIDI-format performance data and the MIDI-event-converted image data or audio data from the received packet data in response to reaching a reproduction time included in the received packet data. Characterized by having Shin terminal.
演奏データと並行して再生されるべき画像データおよび
音声データと共に送信端末からネットワークに配信する
データ送信方法に係るプログラムを記憶した記憶媒体で
あって、 前記プログラムは、 前記ＭＩＤＩ形式演奏データ、画像データ、および音声
データを一時的に記憶する第１ステップと、 前記一時的に記憶されているデータを読み出してそのデ
ータの内容を判別する第２ステップと、 前記第２ステップにおいて、読み出されたデータが前記
画像データあるいは、前記音声データであると判別され
た場合に、該データをＭＩＤＩイベント化する第３ステ
ップと、 前記ＭＩＤＩイベント化された画像データあるいは音声
データを、前記第２ステップにおいて、ＭＩＤＩ形式演
奏データであると判別されたデータと合わせてＭＩＤＩ
データとするとともに、該ＭＩＤＩデータの再生を開始
する時刻を表わす再生時間を付加することにより、該Ｍ
ＩＤＩデータおよび該再生時間を含むパケットデータを
生成する第４ステップと、 前記生成されたパケットデータを前記ネットワークに配
信する第５ステップとを備えたことを特徴とする記憶媒
体。5. A storage medium storing a program relating to a data transmission method for distributing MIDI format performance data together with image data and audio data to be reproduced in parallel with the MIDI format performance data from a transmission terminal to a network. A first step of temporarily storing the MIDI-format performance data, image data, and audio data; and a second step of reading the temporarily stored data and determining the contents of the data. And if the read data is determined to be the image data or the audio data in the second step, a third step of converting the data into a MIDI event; and In the second step, data or audio data is played in MIDI format. MIDI together with discrimination data to be over data
Data, and by adding a playback time indicating the time at which playback of the MIDI data is started,
A storage medium comprising: a fourth step of generating packet data including IDI data and the reproduction time; and a fifth step of delivering the generated packet data to the network.
れるべき画像データおよび音声データを一時的に記憶
し、当該一時的に記憶されたデータの内容を判別し、前
記一時的に記憶されたものが画像データあるいは音声デ
ータであると判別された場合には該データをＭＩＤＩイ
ベント化し、前記ＭＩＤＩ形式演奏データと合わせてＭ
ＩＤＩデータとしてネットワークに配信する送信端末か
ら、前記ＭＩＤＩデータを受信して再生するデータ受信
方法に係るプログラムを記憶した記憶媒体であって、 前記受信端末において、 前記ネットワークからＭＩＤＩ形式演奏データ、並び
に、データの内容に応じてＭＩＤＩイベント化された前
記画像データあるいは音声データを含むＭＩＤＩデー
タ、および、当該ＭＩＤＩデータの再生を開始する時刻
を表わす再生時間が付与されたパケットデータを受信す
る第１ステップと、 再生開始からの経過時間をカウントする第２ステップ
と、 前記経過時間が前記受信したパケットデータに含まれる
再生時間に到達したことに応じて、前記受信したパケッ
トデータから、前記ＭＩＤＩ形式演奏データおよび前記
ＭＩＤＩイベント化された画像データあるいは音声デー
タを順次取り出して再生する第３ステップとを備えたこ
とを特徴とする記憶媒体。6. Temporarily storing image data and audio data to be reproduced in parallel with MIDI format performance data, judging the contents of the temporarily stored data, If it is determined that the data is image data or audio data, the data is converted to a MIDI event, and the MIDI
A storage medium storing a program related to a data receiving method for receiving and reproducing the MIDI data from a transmitting terminal that delivers the data as IDI data to a network, wherein the receiving terminal includes: MIDI format performance data from the network; A first step of receiving MIDI data including the image data or audio data converted into MIDI events in accordance with the contents of the data, and packet data provided with a reproduction time indicating a time at which reproduction of the MIDI data is started; A second step of counting an elapsed time from the start of playback, and, in response to the elapsed time reaching a playback time included in the received packet data, converting the MIDI-format performance data and the MIDI-format performance data from the received packet data. The MIDI event image A third step of sequentially extracting and reproducing data or audio data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001195579A JP3705581B2 (en) | 2001-06-27 | 2001-06-27 | Data transmission method and transmission system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001195579A JP3705581B2 (en) | 2001-06-27 | 2001-06-27 | Data transmission method and transmission system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14867097A Division JP3242028B2 (en) | 1997-05-22 | 1997-05-22 | Data transmission / reception method and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002062884A true JP2002062884A (en) | 2002-02-28 |
| JP3705581B2 JP3705581B2 (en) | 2005-10-12 |
Family
ID=19033529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001195579A Expired - Fee Related JP3705581B2 (en) | 2001-06-27 | 2001-06-27 | Data transmission method and transmission system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3705581B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1544845A1 (en) * | 2003-12-18 | 2005-06-22 | Telefonaktiebolaget LM Ericsson (publ) | Encoding and Decoding of Multimedia Information in Midi Format |
| EP1551005A1 (en) * | 2003-12-26 | 2005-07-06 | Yamaha Corporation | Music apparatus with selective decryption of usable component in loaded composite content |
| JP2008233558A (en) * | 2007-03-20 | 2008-10-02 | Yamaha Corp | Electronic musical instrument and program |
| JP2008233557A (en) * | 2007-03-20 | 2008-10-02 | Yamaha Corp | Electronic musical instrument and program |
| EP1447791A3 (en) * | 2003-01-14 | 2010-01-27 | Yamaha Corporation | Performance information reproducing apparatus and method |
| CN106531138A (en) * | 2016-12-13 | 2017-03-22 | 蒋晓东 | Entertainment system with performance being assisted by intelligent mobile phone group of art performance field audience |
-
2001
- 2001-06-27 JP JP2001195579A patent/JP3705581B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1447791A3 (en) * | 2003-01-14 | 2010-01-27 | Yamaha Corporation | Performance information reproducing apparatus and method |
| EP1544845A1 (en) * | 2003-12-18 | 2005-06-22 | Telefonaktiebolaget LM Ericsson (publ) | Encoding and Decoding of Multimedia Information in Midi Format |
| WO2005059891A1 (en) * | 2003-12-18 | 2005-06-30 | Telefonaktiebolaget L M Ericsson (Publ) | Midi encoding and decoding |
| EP1551005A1 (en) * | 2003-12-26 | 2005-07-06 | Yamaha Corporation | Music apparatus with selective decryption of usable component in loaded composite content |
| JP2008233558A (en) * | 2007-03-20 | 2008-10-02 | Yamaha Corp | Electronic musical instrument and program |
| JP2008233557A (en) * | 2007-03-20 | 2008-10-02 | Yamaha Corp | Electronic musical instrument and program |
| CN106531138A (en) * | 2016-12-13 | 2017-03-22 | 蒋晓东 | Entertainment system with performance being assisted by intelligent mobile phone group of art performance field audience |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3705581B2 (en) | 2005-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3242028B2 (en) | Data transmission / reception method and system | |
| JP4001091B2 (en) | Performance system and music video playback device | |
| US7756595B2 (en) | Method and apparatus for producing and distributing live performance | |
| US8918541B2 (en) | Synchronization of audio and video signals from remote sources over the internet | |
| US20070255816A1 (en) | System and method for processing data signals | |
| JP5733321B2 (en) | Automatic performance device | |
| JP5729393B2 (en) | Performance system | |
| US6627807B2 (en) | Communications apparatus for tone generator setting information | |
| JP2006215460A (en) | Karaoke sound transmitting and receiving system and method therefor | |
| JP3705581B2 (en) | Data transmission method and transmission system | |
| US6525253B1 (en) | Transmission of musical tone information | |
| US6757303B1 (en) | Technique for communicating time information | |
| JP5109496B2 (en) | Data distribution apparatus, data distribution method and program | |
| US7631094B1 (en) | Temporary storage of communications data | |
| JP2004094683A (en) | Server, communication method, and spectator terminal | |
| JP2003085068A (en) | Live information providing server, information communication terminal, live information providing system and live information providing method | |
| JP4422656B2 (en) | Remote multi-point concert system using network | |
| JP3271572B2 (en) | Communication method of musical information, communication device, and medium recording program | |
| WO2022168375A1 (en) | Communication method, communication system, and communication device | |
| JP2004093975A (en) | Communication terminal and program | |
| JP3786039B2 (en) | Communication apparatus and method | |
| JP2024001600A (en) | Reproducing device, reproducing method, and reproducing program | |
| JP4071140B2 (en) | Data communication apparatus, method and program | |
| JP3700693B2 (en) | Music information transfer device | |
| JP2004294519A (en) | Communication device, communication method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040723 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041101 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041201 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050117 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050725 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |