JP7156646B2 - Music distribution system, music distribution method, and music distribution program - Google Patents
Music distribution system, music distribution method, and music distribution program Download PDFInfo
- Publication number
- JP7156646B2 JP7156646B2 JP2020522441A JP2020522441A JP7156646B2 JP 7156646 B2 JP7156646 B2 JP 7156646B2 JP 2020522441 A JP2020522441 A JP 2020522441A JP 2020522441 A JP2020522441 A JP 2020522441A JP 7156646 B2 JP7156646 B2 JP 7156646B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- video
- reproduction
- control command
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/02—Synthesis of acoustic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
この発明は、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、その楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるようにする楽曲配信システム、楽曲配信方法及び楽曲配信プログラムに関するものである。 The present invention stream-delivers music data to be distributed to a music reproduction terminal via a public communication network, causes the music reproduction terminal to stream-play music based on the music data, and reproduces a video image provided on the music reproduction terminal. The present invention relates to a music distribution system, a music distribution method, and a music distribution program for displaying a related image on a display unit when music is reproduced.
イベント会場や音楽ラウンジなどにおいて、会場内にリズム感の良い音楽が流れ、会場内のスクリーンに音楽と同期した映像が流れることも多い。このような場所では、会場内の音楽についてはディスクジョッキー（以下、「ＤＪ」と略称する）が主に担当し、映像についてはビジュアルジョッキー（ビデオジョッキーとも呼ばれることもある：以下、ＶＪと称する）が主に担当する。ＤＪは音楽を切り替えてつないだり、合成するなどの操作により、聴覚を通じて客（オーディエンス）に高揚感を与え、ＶＪは音楽と同期したリズムで、様々な内容を有する短い映像素材や様々な図形、文字、背景色などを合成して視覚を通じてオーディエンスに高揚感を与え、客が気分よく踊ったりたたずんだりすることを容易にさせている。このように、音楽と同期した映像で、瞬間的にリズムが変化する音楽に合わせて瞬時に映像を次々と変化させ、かつ、見ている者に高揚感や爽快感を与える。他方、近年はスマートフォンなどの携帯端末に音楽を配信するサービスが普及しており、上記のようなディスクジョッキー番組形式のサービスを、複数の楽曲のストリーミング配信サービスにより実現しようとする試みがある。この場合、楽曲に同期する映像をクリッピングして同時配信することも行われている（例えば、特許文献１、２）。
In event venues, music lounges, and the like, music with a good sense of rhythm is played in the venue, and images synchronized with the music are often played on screens in the venue. In such a place, a disc jockey (hereinafter abbreviated as "DJ") is mainly in charge of the music in the venue, and a visual jockey (sometimes called a video jockey; hereinafter referred to as VJ) is in charge of the video. is mainly in charge. DJs give the audience a sense of exhilaration through their sense of hearing by switching, connecting, and synthesizing music, while VJs create short video materials with various contents, various graphics, Text, background colors, etc. are combined to give the audience an uplifting feeling through visuals, making it easy for customers to dance and stand comfortably. In this way, the images are synchronized with the music, and the images are instantaneously changed one after another in accordance with the music whose rhythm changes momentarily, and the viewer is given a sense of exhilaration and exhilaration. On the other hand, in recent years, services for distributing music to mobile terminals such as smartphones have become popular, and there are attempts to realize services in the form of disc jockey programs as described above by streaming distribution services for a plurality of songs. In this case, video synchronized with music is clipped and distributed simultaneously (for example,
上記特許文献１及び２に開示された方式では、楽曲に同期する映像のファイルは楽曲ファイルとの間で再生タイミング情報を予め共有したクリッピングファイルが使用され、ＤＪによる選曲再生時には、共有されている再生タイミング情報に従って楽曲と映像との再生同期が図られている。一方、特許文献３には、ステージ上で繰り広げられる音楽ライヴの音声及び映像をインターネットを通じて携帯端末に配信するとともに、携帯端末から入力されるユーザーコメントを配信画像上にリアルタイムに反映・表示させるシステムが開示されている。
In the methods disclosed in
ディスクジョッキー番組の現場において、楽曲に重ね合わせる映像の再生制御がＶＪにより行われる場合、ＶＪは映像機材を操作しつつ、楽曲に応じて映像を手動により切り替え選択しつつ再生する。この場合、映像ファイルは楽曲ファイルとクリッピングされていない、独立したものが使用される。また、サウンドビジュアライザーなど再生音に合わせてその場で表示内容が変化する映像出力が用いられる場合は、事前に用意された映像ファイル自体が存在しないこともある。 In the field of a disc jockey program, when a VJ controls the reproduction of images superimposed on music, the VJ operates the video equipment and manually selects and reproduces images according to the music. In this case, the video file used is independent of the music file and is not clipped. Further, when a video output such as a sound visualizer whose display contents change on the spot in accordance with the reproduced sound is used, the video file prepared in advance may not exist.
楽曲に合わせて映像を表示したり切り替えたりするタイミングはＶＪの人的判断に委ねられており、映像と音声の同期もＶＪの判断および操作に支配される。例えばＤＪとＶＪが同じスタジオに詰め、お互いがオンサイトで意思疎通しながら楽曲再生と映像再生とを連携させて番組進行を図り、そのスタジオでの映像と音声が同期担保されつつ放送配信されるとき、聴取者（オーディエンス）は楽曲と映像とのコラボレーションを最高の状態で享受することができる。 The timing of displaying and switching images in time with the music is left to the VJ's human judgment, and the synchronization of the image and sound is also controlled by the VJ's judgment and operation. For example, DJs and VJs are packed in the same studio, and while communicating with each other on-site, music playback and video playback are coordinated to progress the program, and the video and audio in the studio are broadcast while ensuring synchronization. At that time, the listener (audience) can enjoy the collaboration between music and video in the best possible condition.
他方、インターネット環境が発達した近年、楽曲や映像が個別の聴取者（オーディエンス）にストリーミング配信されるサービス形態が急速に普及しつつある。その特性を利用すれば、ＤＪが配給者からダウンロードした楽曲をＤＪ側の端末でストリーム再生しつつ、これをモニタリングするＶＪが映像再生を異なる端末上で行い、それぞれ音声と映像をインターネット上に各端末からアップロードする形でストリーム配信することで、映像がコラボレーションしたＤＪ番組をバーチャルに実現できると考えられる。 On the other hand, with the development of the Internet environment in recent years, a service form in which music and video are streamed to individual listeners (audiences) is rapidly spreading. Using this feature, DJs download music from distributors and stream it on the DJ's terminal, while VJs who monitor this play back video on different terminals, and the audio and video are sent to each other on the Internet. It is conceivable that DJ programs in which images are collaborated can be realized virtually by stream distribution in the form of uploading from a terminal.
しかし、周知のごとく、インターネット上のデータ転送には、通信容量逼迫などを背景としたさまざまな遅延要素が存在するので、異なる端末から配信される音声と映像をＤＪないしＶＪの意図通りにリアルタイム同期させることは望むべくもない。例えば、特許文献１では映像と楽曲とは初めからクリッピングされたストリームファイルが使用されているに過ぎず、他方、特許文献２には、携帯端末のユーザが自身の端末上で、もともと連関していない映像ファイルと楽曲ファイルとを収集し、楽曲ファイルのタイムスタンプを用いて映像ファイルを後付けクリッピングして番組として構成し、これを再配信する構成も開示されているが、楽曲と映像のクリッピングは同一端末上で行われている。すなわち、いずれの場合も、ＤＪの選曲に合わせて映像を別端末からリアルタイムに同期させつつ配信する点については言及されていない。また、特許文献３は、ステージ上の演奏風景を音声ととともにビデオ撮影したものが配信されるのであって、データに基づく再生映像及び再生音声のクリッピングを配信時に行なうものではない。
However, as is well known, there are various delay factors in data transfer over the Internet due to tight communication capacity. I don't want it to. For example, in
本発明の課題は、再生中の楽曲に対し人為的操作によりその場で映像を付加してストリーム配信サービスを行う場合においても、再生映像と楽曲との間の同期を問題なく確保でき、映像付きの楽曲再生を違和感なく楽しむことができる楽曲配信システム、楽曲配信方法及び楽曲配信プログラムを提供することにある。 An object of the present invention is to ensure synchronization between the reproduced video and the music without any problem even in the case of performing a stream distribution service by adding video on the spot by human operation to the music being played. To provide a music distributing system, a music distributing method, and a music distributing program which enable the user to enjoy the reproduction of the music without discomfort.
上記課題を解決するために、本発明の楽曲配信システムは、
配信対象となる楽曲データを公共通信網にストリーム配信する楽曲配信部と、
公共通信網を介して楽曲データを受信するとともに、当該楽曲データに基づいて楽曲をストリーム再生する楽曲再生部と、楽曲の再生時に関連映像を表示させる映像表示部とを備えた楽曲再生端末と、
楽曲再生端末とは別に設けられ、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付ける映像操作入力部と、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出する映像制御指令情報送出部とを備えた映像制御指令部と、
公共通信網を介して映像制御指令情報を取得する映像制御指令情報取得部と、映像操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握する楽曲再生タイミング把握部と、映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させる映像同期制御指令部と、を有する映像管理部と、を備えたことを特徴とする。In order to solve the above problems, the music distribution system of the present invention includes:
a music distribution unit that streams music data to be distributed to a public communication network;
A music reproduction terminal that receives music data via a public communication network and includes a music reproduction unit that stream reproduces music based on the music data, and a video display unit that displays a related video when the music is reproduced;
A video operation input unit, which is provided separately from the music playback terminal, receives video operation input from a video operator who monitors the music being streamed, and sends video control command information for related video based on the video operation input to the public communication network. a video control command section comprising a video control command information sending section for
A video control command information acquisition unit that acquires video control command information via a public communication network, a music playback timing grasping unit that grasps the playback timing of a song being streamed when a video operation input is executed, and a video control and a video management unit having a video synchronization control command unit that causes the music reproduction terminal to perform display control of the related video based on the command information in synchronization with the comprehended reproduction timing.
また、本発明の楽曲配信方法は、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるようにした楽曲配信方法であって、
楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出し、
公共通信網に接続された映像管理部において、映像制御指令情報を取得し、映操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握し、さらに映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させることを特徴とする法。Further, in the music distribution method of the present invention, music data to be distributed is stream-distributed to a music reproduction terminal via a public communication network, and the music reproduction terminal streams and reproduces the music based on the music data. A music distribution method in which a related video is displayed at the time of playing music on a video display unit provided in
A video control command unit provided separately from the music playback terminal accepts video operation input from the video operator who monitors the music being streamed, and sends video control command information for related video based on the video operation input to the public communication network. sending out,
A video management unit connected to a public communication network acquires video control command information, grasps the playback timing of the music being streamed when a video operation input is executed, and furthermore, related video based on the video control command information. A method characterized in that the display control of the music reproduction terminal is executed in synchronization with the comprehended reproduction timing.
さらに、本発明の楽曲配信プログラムは、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるための楽曲配信プログラムであって、
楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出するステップと、
公共通信網に接続された映像管理部において、映像制御指令情報を取得し、映操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握し、さらに映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させるステップと、をコンピュータに実行させるものである。Further, the music distribution program of the present invention stream-distributes music data to be distributed to a music reproduction terminal via a public communication network, causes the music reproduction terminal to perform stream reproduction of music based on the music data, A music distribution program for displaying a related video when playing music on a video display unit provided in
A video control command unit provided separately from the music playback terminal accepts video operation input from the video operator who monitors the music being streamed, and sends video control command information for related video based on the video operation input to the public communication network. a sending step;
A video management unit connected to a public communication network acquires video control command information, grasps the playback timing of the music being streamed when a video operation input is executed, and furthermore, related video based on the video control command information. and a step of causing the music reproduction terminal to perform the display control in synchronization with the comprehended reproduction timing.
上記の構成においては、映像制御指令部において楽曲のストリーム配信中に映像操作者（例えば、前述のＶＪ）による映像操作入力がなされ、その入力に基づく映像制御指令情報が公共通信網に送出される。そして、映像制御指令部において、制御操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングが把握され、上記の映像制御指令情報に基づく関連映像の表示制御指令が、上記把握した再生タイミングと同期した形でなされるよう楽曲再生端末に対して発動される。すなわち、楽曲再生のタイミングを基準に映像操作者の映像表示制御入力タイミングを把握し、配信楽曲をストリーム再生する楽曲再生端末にその映像制御の実行タイミングを指令するように構成することで、映像操作者の意図通りのタイミングにて楽曲再生端末側の映像表示制御を実施することが可能となる。その結果、再生映像と楽曲との間の同期を問題なく確保でき、映像付きの楽曲再生を違和感なく楽しむことができるようになる。 In the above configuration, the video control command unit receives a video operation input by a video operator (for example, the aforementioned VJ) during stream distribution of music, and transmits video control command information based on the input to the public communication network. . Then, the video control command unit grasps the reproduction timing of the music being streamed when the control operation input is executed, and the related video display control command based on the video control command information is executed at the grasped reproduction timing. It is activated for the music playback terminal so that it is synchronized with the That is, by grasping the video display control input timing of the video operator based on the timing of music playback, and instructing the music playback terminal that stream-plays the distributed music to execute the video control, the video operation can be realized. It is possible to perform image display control on the music reproduction terminal side at the timing as intended by the person. As a result, the synchronization between the reproduced video and the music can be ensured without any problem, and the reproduction of the music with the video can be enjoyed without discomfort.
楽曲データは再生時のデータビットの時系列的な出力タイミングを個々に記述した再生タイミング情報が組み込まれたものとして構成できる。前述の楽曲再生タイミング把握部は、上記の再生タイミング情報に基づいてストリーム配信中の楽曲の再生タイミングを把握するように構成できる。再生中の楽曲の再生タイミング情報を利用することで、映像操作者による映像操作入力のタイミングをより正確に把握することができる。 The music data can be configured to incorporate reproduction timing information that individually describes time-series output timings of data bits during reproduction. The above-mentioned music reproduction timing grasping unit can be configured to grasp the reproduction timing of the music being stream-delivered based on the above-mentioned reproduction timing information. By using the reproduction timing information of the music being reproduced, it is possible to more accurately grasp the timing of the video operation input by the video operator.
楽曲配信部は、楽曲配信部は、複数の楽曲データを順次ストリーム配信するものとして構成できる。この場合、映像制御指令情報は、楽曲の再生が第一の楽曲から第二の楽曲に切り替わるのに対応して、関連映像の表示内容を第一の関連映像から第二の関連映像に切り替えるための映像切替指令情報を含むものとできる。 The music distribution unit can be configured to sequentially stream-distribute a plurality of music data. In this case, the video control command information is for switching the display content of the related video from the first related video to the second related video in response to the switching of the playback of the music from the first music to the second music. video switching command information.
上記の構成によると、映像操作者が、順次ストリーム再生される楽曲を聞きながら、ある楽曲（第一の楽曲）から次の楽曲（第二の楽曲）に切り替わるタイミング（例えば第二の楽曲の再生開始タイミング）で、表示中の関連映像（第一の関連映像）を同様に別の関連映像（第二の関連映像）に切替え操作したとき、その映像切替えの操作入力タイミングが楽曲の再生タイミングを基準に把握され、これに基づいて楽曲再生端末に対する映像切替え指示がなされる。その結果、楽曲再生端末における楽曲再生の切替えと映像切替えとの同期を問題なく図ることができる。 According to the above configuration, the video operator, while listening to the sequentially stream-reproduced songs, can switch from one song (first song) to the next song (second song) (for example, the playback of the second song). At the start timing), when the currently displayed related video (first related video) is similarly switched to another related video (second related video), the operation input timing of that video switching will match the playback timing of the song. This is grasped as a reference, and based on this, a video switching instruction is given to the music reproducing terminal. As a result, it is possible to achieve synchronization between music playback switching and video switching in the music playback terminal without any problem.
関連映像は、例えば表示オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを楽曲の再生音と同期して変化させるサウンドビジュアライザーの出力映像とすることができる。この場合、映像制御指令情報は、サウンドビジュアライザーを第一のサウンドビジュアライザーから第二のサウンドビジュアライザーに切り替えるサウンドビジュアライザー切替指示情報を含むように構成できる。 The related video can be, for example, an output video of a sound visualizer that changes at least one of the form, size, display position and color tone of the display object in synchronization with the reproduced sound of the music. In this case, the video control instruction information can be configured to include sound visualizer switching instruction information for switching the sound visualizer from the first sound visualizer to the second sound visualizer.
サウンドビジュアライザーは再生楽曲の音声入力を受けて視覚的な映像を生成する一種の映像生成モジュールであり、映像表示するべき端末にサウンドビジュアライザーのモジュールをソフト的に組み込んでおくことで、音声入力を利用して端末側で映像を生成出力できる。その結果、サイズの大きい動画ファイルの転送処理や再生処理に伴う処理負荷を大幅に軽減できる。また、映像は抽象的ではあるが、再生楽曲の音響スペクトルに直接的に反応し、曲の強弱、音高、テンポなどにきめ細かく対応した特徴的な演出が可能である。しかし、音響入力に対する反応が鋭敏である分、楽曲再生との同期がずれた場合、その不具合を聴取者に悟られやすくなる。そこで、上記のごとく、映像制御指令情報に、楽曲切替に対応してサウンドビジュアライザーの種別を切り替えるサウンドビジュアライザー切替指示情報を含ませておくことで、楽曲に合わせて映像操作者が行う映像切替を楽曲再生端末側においても忠実なタイミングにて反映させることができ、こうした不具合を効果的に解消することができる。 The Sound Visualizer is a kind of video generation module that receives the audio input of the playback music and generates visual images. can be used to generate and output video on the terminal side. As a result, it is possible to greatly reduce the processing load associated with transfer processing and playback processing of large-sized moving image files. In addition, although the video is abstract, it directly responds to the sound spectrum of the music being played, and it is possible to create a distinctive presentation that meticulously responds to the dynamics, pitch, tempo, etc. of the music. However, since the reaction to the acoustic input is sensitive, the listener is likely to notice the problem when the synchronization with the music reproduction is deviated. Therefore, as described above, by including the sound visualizer switching instruction information for switching the type of the sound visualizer corresponding to the switching of music in the video control command information, the video switching performed by the video operator in accordance with the music can be performed. can be reflected at faithful timing on the music reproducing terminal side, and such problems can be effectively eliminated.
次に、楽曲再生端末には、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を公共通信網に送出する評価情報送出部とを備え、
映像管理部は、評価情報を受信する評価情報受信部と、評価情報が肯定的内容を有していた場合に楽曲の再生を盛り上げるための盛上げ画像データを、関連映像のデータとして記憶する盛上げ画像データ記憶部と、評価情報の受信状態が予め定められた条件を充足する場合に、盛上げ画像データと盛上げ画像にかかる表示制御指令情報とを楽曲再生端末に送出する盛上げ画像送出部とを設けることができる。楽曲再生端末には、盛り上げ画像データと表示制御指令情報とに基づき盛上げ画像を映像表示部に表示させる盛上げ画像表示制御部を設けることができる。Next, the music reproduction terminal includes an evaluation input unit for the distribution music operated by the user, and an evaluation information transmission unit for transmitting the input evaluation information to the public communication network,
The video management unit includes an evaluation information receiving unit that receives the evaluation information, and a boost image that stores, as related video data, boost image data for boosting the reproduction of the music when the evaluation information has positive content. Provided with a data storage unit and an enhancement image sending unit for sending enhancement image data and display control command information related to the enhancement image to the music reproduction terminal when the reception state of the evaluation information satisfies a predetermined condition. can be done. The music reproduction terminal can be provided with a raised image display control section for displaying a raised image on the video display section based on the raised image data and the display control command information.
上記の構成によると、聴取者が保有する楽曲再生端末に配信楽曲に対する評価入力部が設けられており、再生楽曲に対し聴取者が高い好感を示した場合に、該端末から肯定的な評価情報が入力・送信され、映像制御指令部にてこれが取得される。そして、評価情報の受信状態が予め定められた条件、特に聴取者が高い好感を示したと考えられる条件が到来したとき、効果的に盛上げ画像を表示でき、楽曲配信サービスのイベント性をより高めることができる。 According to the above configuration, the music reproduction terminal owned by the listener is provided with an evaluation input unit for the distributed music, and when the listener shows a high favorable impression of the reproduced music, positive evaluation information is sent from the terminal. is input/transmitted and acquired by the video control instruction section. Then, when the reception condition of the evaluation information meets a predetermined condition, especially when the condition that the listener is considered to show a high favorable impression, the boost image can be effectively displayed, and the event characteristics of the music distribution service can be further enhanced. can be done.
また、盛上げ画像表示制御部は、評価情報が肯定的内容を有していた場合に、盛上げ画像を関連映像に重ねて表示させるように構成してもよい。本発明の場合、楽曲のストリーム再生と関連映像の表示とをコラボレーションさせることが大きな目的の一つであり、盛上げ画像を表示するタイミングにおいても関連映像にこれを重ね表示により継続することは、関連映像と楽曲との一体不可分性を聴取者に意識させることができる。 Further, the boost image display control unit may be configured to display the boost image superimposed on the related video when the evaluation information has positive content. In the case of the present invention, one of the main purposes is to collaborate the music stream playback and the display of the related video. It is possible to make the listener aware of the inseparability of the image and the music.
なお、再生楽曲に対し聴取者が高い好感を示した場合に、盛上げ画像とともに、又は盛上げ画像とは別に、盛上げ音声が出力されるように楽曲再生端末を構成してもよい。盛上げ音声は、例えば拍手、歓声、指笛音などの効果音である。これにより、楽曲配信サービスのイベント性をより高めることができる。この場合の構成も、楽曲再生端末は、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を公共通信網に送出する評価情報送出部とを備える。また、楽曲配信システムは、評価情報を受信する評価情報受信部と、評価情報が肯定的内容を有していた場合に楽曲の再生を盛り上げるための盛上げ音声データを記憶する盛上げ音声データ記憶部と、評価情報の受信状態が予め定められた条件を充足する場合に、盛上げ音声データを音声出力制御指令情報とともに楽曲再生端末に送出する盛上げ音声情報送出部とを備えるように構成する。そして、楽曲再生端末には、盛上げ音声データと音声出力制御指令情報とに基づき盛上げ音声を出力させる盛上げ音声出力部が設けられる。 Note that the music reproduction terminal may be configured so that, when the listener shows a favorable impression of the reproduced music piece, the music reproduction terminal outputs the music reproduction sound together with the music reproduction image or separately from the music reproduction image. Exciting sounds are sound effects such as applause, cheers, and finger whistles. As a result, the event characteristics of the music distribution service can be further enhanced. Also in this case, the music reproduction terminal includes an evaluation input unit for the distribution music operated by the user, and an evaluation information sending unit for sending the input evaluation information to the public communication network. The music distribution system further comprises an evaluation information receiving unit for receiving evaluation information, and an audio boost data storage unit for storing audio data for boosting the reproduction of the music when the evaluation information has positive content. and an enlivening voice information sending unit for sending the enlivening voice data together with the voice output control command information to the music reproduction terminal when the reception state of the evaluation information satisfies a predetermined condition. Then, the music reproducing terminal is provided with a live sound output section for outputting live sound based on the live sound data and the sound output control command information.
次に、楽曲配信部は、
選曲操作者が選択する複数の番組楽曲を楽曲再生端末に順次配信し再生させるために、公共通信網を介して番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、選曲操作者による選曲再生操作入力を受け付ける選曲再生操作入力部と、該選曲再生操作入力部への入力内容に基づいて、各番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報を作成する再生制御指令情報作成部と、再生制御指令情報を公共通信網に送出する再生制御指令情報送出部とを備えた選曲再生制御指令部と、
番組楽曲の楽曲データの楽曲再生端末への配信を楽曲配信元サーバに指示する番組楽曲配信指示部と、番組楽曲について作成される再生制御指令情報を、公共通信網を介して取得して楽曲再生端末に転送する再生制御指令情報取得・転送部とを有する楽曲配信管理部とを備え、
楽曲再生端末は、番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、番組楽曲に対応する再生制御指令情報を楽曲配信管理部より取得する再生制御指令情報取得部と、再生制御指令情報が示す再生タイミング及び再生条件に従い番組楽曲の楽曲データを楽曲再生部に対し順次ストリーム再生させる番組再生制御部と、を備えるものとして構成できる。Next, the music distribution unit
A program music data acquisition unit that acquires music data of program music from a music distribution source server via a public communication network in order to sequentially distribute and reproduce a plurality of program music selected by a music selection operator to a music reproduction terminal, and music selection. A music selection/playback operation input unit that receives a music selection/playback operation input by an operator, and playback that creates playback control command information including playback timing and playback conditions for each program song based on the input content to the music selection/playback operation input unit. a music selection/playback control command unit including a control command information creation unit and a playback control command information sending unit that sends the playback control command information to a public communication network;
A program music distribution instruction unit that instructs a music distribution source server to distribute music data of program music to a music reproduction terminal, and obtains reproduction control command information created for program music via a public communication network and reproduces the music. a music distribution management unit having a reproduction control command information acquisition/transfer unit for transferring to a terminal,
The music reproduction terminal includes a program music data acquisition unit that acquires music data of program music from the music distribution source server, a reproduction control command information acquisition unit that acquires reproduction control command information corresponding to the program music from the music distribution management unit, and a program reproduction control unit that causes the music reproduction unit to sequentially stream-play the music data of the program music according to the reproduction timing and the reproduction condition indicated by the reproduction control command information.
番組形式の楽曲配信においては、選曲操作及び楽曲の再生条件入力を司る選曲操作者（特に、ＤＪ）の果たす役割が重要であり、製作される番組全体のクオリティも選曲操作者の操作手腕に大きく依存する。特に、インターネット等の公共通信網を介した番組配信に際しては、選曲操作者が実行する曲の再生開始や再生条件（後述するごとく、例えば音質、テンポ、音程、かける曲を切り替える際のミキシング形態など）の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが、番組の配信品質を担保する上での大前提となる。この課題を解消する最も簡単な方法は、選曲操作者が取得する配信楽曲に対し、曲順や再生タイミング、及び再生条件をすべて反映させる加工を行い、その加工後の楽曲データファイルを聴取者に再配信する方式である。 In program-style music distribution, the role played by the music selection operator (especially the DJ), who is in charge of selecting music and inputting music playback conditions, is important. Dependent. In particular, when a program is distributed via a public communication network such as the Internet, a music selection operator executes playback start of a song and playback conditions (as described later, for example, sound quality, tempo, pitch, mixing mode when switching songs to be played, etc.) ) is synchronized with the playback timing of music streamed to listeners, which is a major prerequisite for ensuring the quality of program distribution. The easiest way to solve this problem is to process the distribution music acquired by the music selection operator so that it reflects all the song order, playback timing, and playback conditions, and then send the music data file after processing to the listener. This is a method of redelivery.
しかし、この方式には次のような大きな欠点がある。
（１）サイズの大きい楽曲ファイルを、楽曲配信元サーバ→選曲操作者及び選曲操作者→聴取者（一般に多数）の２段階にてファイルアップロード及びダウンロードを実行しなければならず、公共通信網の容量を圧迫する問題を生じやすい。
（２）楽曲提供者が運営する楽曲配信元サーバからの楽曲ファイルのダウンロードは、聴取者との契約により１回に制限されていることが多く、一旦取得した楽曲ファイルを転売したり、転売目的で二次加工したりするには、著作権をクリアするための許諾を楽曲提供者から取得する必要が生じ、面倒である。
（３）配信楽曲の多くは圧縮ファイル形式でダウンロードされ、これを非圧縮ファイルにデコードした後再生に供する。再生条件を変更した状態で聴取者に再配信するには、一旦圧縮ファイルをデコードした後、再生条件変更のためのファイル加工を施し、その後再度圧縮ファイルにエンコードして聴取者に再配信することになるので、そのファイル変換処理に多大な処理負荷を要し、楽曲再生同期の遅延要因となる。However, this method has the following major drawbacks.
(1) File upload and download must be performed in two stages: music distribution source server → music selection operator and music selection operator → listeners (generally many), and the public communication network is used. It is easy to cause problems that squeeze the capacity.
(2) Downloading music files from music distribution source servers operated by music providers is often limited to one time due to agreements with listeners. In order to perform secondary processing with , it is necessary to obtain permission from the music provider to clear the copyright, which is troublesome.
(3) Most of the songs to be distributed are downloaded in a compressed file format, which is decoded into a non-compressed file and then played back. To redistribute to listeners with changed playback conditions, first decode the compressed file, process the file to change the playback conditions, then re-encode to a compressed file and redistribute to listeners. Therefore, a large processing load is required for the file conversion processing, which causes a delay in music reproduction synchronization.
しかし、上記の方式によると、聴取者と選曲操作者は楽曲データを楽曲配信元サーバから直接ダウンロードする形で取得する一方、選曲操作者から聴取者向けにアップロードされるのは、再生条件を反映した楽曲データの加工ファイルではなく、該再生条件を含んだサイズの小さい再生制御指令情報である。したがって、加工ファイルをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、聴取者側での楽曲のストリーム再生に際しては、転送されてくる再生制御指令情報により、再生開始タイミングや再生条件の設定・変更の内容及びタイミングが選曲操作者の意図通りに反映されるので、配信される番組の品質も高度に担保することができる。また、楽曲配信元サーバからの楽曲データの配信は、各々契約者となる聴取者と選曲操作者に向けてのもののみとなるので、楽曲提供者の意図に反した二次配信の問題も回避できる。さらに、楽曲データの再生条件変更に必要な加工ファイル作成のエンコード・デコード処理の負荷も生じない。 However, according to the above method, the listener and the music selection operator obtain the music data by directly downloading it from the music distribution source server, while the data uploaded from the music selection operator to the listener reflects the playback conditions. It is not a processed file of music data that has been processed, but a small-sized reproduction control command information containing the reproduction conditions. Therefore, the amount of data communication can be significantly reduced compared to uploading processed files. When the stream of music is reproduced on the listener's side, the content and timing of the reproduction start timing and the setting/change of the reproduction condition are reflected as intended by the music selection operator according to the transferred reproduction control command information. , the quality of the distributed program can be highly secured. In addition, since the distribution of music data from the music distribution source server is directed only to the listeners who are contracted parties and the music selection operator, the problem of secondary distribution contrary to the intention of the music provider is avoided. can. Furthermore, the load of the encoding/decoding processing for creating the processing file required for changing the playback conditions of the music data does not occur.
上記の構成においても、楽曲データは再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものであり、再生制御指令情報作成部は、選曲再生操作入力部において入力操作がなされたときの楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、入力操作内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するように構成できる。番組再生制御部は、楽曲データを再生開始後、再生制御指令情報に含まれるタイムスタンプが示す再生位置が到来するに伴い、再生条件が示す制御タスクを再生中の楽曲データに対して発動するように構成することができる。楽曲データに随伴する再生タイミング情報を用いて選曲再生操作入力のタイミングを特定し、これを再生条件とともに楽曲再生端末に送信することで、選曲操作者の意図をより正確に反映した再生制御を楽曲再生端末にて実施することが可能となる。 In the above configuration as well, the music data incorporates reproduction timing information that describes the time-series output timing of data bits in the reproduction stream, and the reproduction control command information creation unit Reproduction timing information indicating the reproduction position of music data when an input operation is performed is acquired as a time stamp, and information in which the reproduction condition indicated by the input operation content is associated with the time stamp is created as reproduction control command information. can be configured to After starting to reproduce the music data, the program reproduction control unit activates the control task indicated by the reproduction condition for the music data being reproduced as the reproduction position indicated by the time stamp included in the reproduction control command information arrives. can be configured to By specifying the timing of music selection and reproduction operation input using the reproduction timing information accompanying the music data, and transmitting this along with the reproduction conditions to the music reproduction terminal, the reproduction control that more accurately reflects the intention of the music selection operator is performed. It becomes possible to implement it at the playback terminal.
この場合、再生制御指令情報作成部は、再生楽曲の音量、音質、テンポないし音程の少なくともいずれかにかかる設定・変更入力操作がなされたときの楽曲の再生位置を示す再生タイミング情報をタイムスタンプとして取得し、入力操作内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するように構成できる。ＤＪなどの選曲操作者が楽曲の再生進行に合わせて実行する音量、音質、テンポないし音程の設定変更は楽曲の演奏行為にも匹敵する重要な操作である。上記構成では、その選曲操作者による操作が聴取者側での楽曲再生に反映される同期性が高められ、配信番組の付加価値を大いに高めることに貢献する。 In this case, the reproduction control command information creation unit uses the reproduction timing information indicating the reproduction position of the music when the setting/change input operation for at least one of the volume, sound quality, tempo or pitch of the music to be reproduced is performed as a time stamp. Information obtained by associating the playback condition indicated by the input operation content with the time stamp can be created as playback control command information. Changing settings of volume, sound quality, tempo, or pitch performed by a music selection operator such as a DJ in accordance with the progress of music reproduction is an important operation comparable to the act of playing music. In the above configuration, the synchronism in which the music selection operator's operation is reflected in the music reproduction on the listener side is enhanced, contributing to greatly increasing the added value of the distribution program.
また、ＤＪなどの選曲操作者が行う別の重要な操作に、曲を次々と変えて再生する際のつなぎに行うミキシング操作がある。このミキシング操作を聴取者側での楽曲再生に忠実に反映させる上で、次のような構成を採用すると効果的である。すなわち、再生条件が示す制御タスクが、先行楽曲の再生途中にて後続楽曲を先行楽曲にミキシングしつつ再生させる制御に関するものである場合、再生制御指令情報作成部は、後続楽曲の再生開始入力操作がなされたときの先行楽曲の再生位置を示す再生タイミング情報を楽曲ミキシング開始タイムスタンプとして取得するものとする。そして、番組再生制御部は、先行楽曲の再生開始後、再生制御指令情報に含まれる楽曲ミキシング開始タイムスタンプが示す再生位置が到来するに伴い、後続楽曲の再生を先行楽曲とミキシングしつつ開始させるように構成する。 Another important operation performed by a music selection operator such as a DJ is a mixing operation performed as a transition between songs that are changed one after another and reproduced. In order to faithfully reflect this mixing operation in music reproduction on the listener's side, it is effective to employ the following configuration. That is, when the control task indicated by the reproduction condition relates to control for reproducing the succeeding music while mixing the preceding music with the preceding music during reproduction of the preceding music, the reproduction control command information creation unit performs an input operation for starting reproduction of the succeeding music. Reproduction timing information indicating the reproduction position of the preceding music when is performed is acquired as a music mixing start time stamp. Then, after starting the reproduction of the preceding music, the program reproduction control unit starts the reproduction of the succeeding music while mixing it with the preceding music as the reproduction position indicated by the music mixing start time stamp included in the reproduction control command information arrives. configured as follows.
上記のように構成すると、後続楽曲を先行楽曲にミキシングするときの後続楽曲の再生開始タイミングを、先行楽曲の再生タイミング情報を用いて正確に特定することができ、曲と曲のつなぎにかかる選曲操作者のタイミング設定テクニックを聴取者側での楽曲再生に忠実に反映することができる。 With the above configuration, the reproduction start timing of the succeeding music when mixing the succeeding music with the preceding music can be specified accurately by using the reproduction timing information of the preceding music, and the music selection related to the connection between the music is possible. The operator's timing setting technique can be faithfully reflected in music reproduction on the listener's side.
この場合、再生制御指令情報作成部は、後続楽曲の再生開始入力操作がなされた後の先行楽曲とのミキシング再生期間中において、両楽曲のミキシング条件にかかる設定・変更入力がなされたときの、先行楽曲又は後続楽曲の再生位置をタイムスタンプとして取得し、設定・変更入力が示すミキシング条件をタイムスタンプと対応付けて再生制御指令情報として作成するように構成できる。番組再生制御部は、ミキシング再生期間中においてタイムスタンプが示す再生位置が到来するに伴い、上記のミキシング条件にて後続楽曲と先行楽曲とをミキシングしつつ再生させるものとできる。これにより、後続楽曲の再生開始タイミングだけでなく、曲の重なり再生部分におけるミキシング条件についても、選曲操作者の操作設定内容を聴取者側での楽曲再生によりきめ細かく反映できる。より具体的には、選曲再生操作入力部が、操作位置に応じて後続楽曲と先行楽曲とのミキシング比率を連続的に変更可能な楽曲クロスフェード入力部を備える場合、再生制御指令情報作成部は、該楽曲クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率をミキシング条件にかかる情報として作成するように構成できる。曲のつなぎ目における選曲操作者のスムーズなクロスフェード操作を聴取者側での楽曲再生にきめ細かく反映することができる。 In this case, the reproduction control command information creation unit, during the mixing reproduction period with the preceding music after the reproduction start input operation of the succeeding music is performed, when the setting/change input related to the mixing conditions of both music is performed, The playback position of the preceding music piece or the subsequent music piece can be acquired as a time stamp, and the mixing condition indicated by the setting/change input can be associated with the time stamp to create reproduction control command information. During the mixing reproduction period, the program reproduction control unit can mix and reproduce the succeeding music and the preceding music under the above-described mixing conditions as the reproduction position indicated by the time stamp arrives. As a result, not only the reproduction start timing of the succeeding music piece but also the mixing conditions for the overlapped reproduction portion of the music piece can be more precisely reflected by the music selection operator's operation and setting details in the music reproduction on the listener side. More specifically, when the music selection/playback operation input unit includes a song crossfade input unit that can continuously change the mixing ratio between the succeeding song and the preceding song according to the operation position, the playback control command information creating unit , the mixing ratio to be set/changed according to the operation position of the music crossfade input section can be created as information relating to the mixing condition. The smooth cross-fade operation of the music selection operator at the joint of music can be reflected finely on the music reproduction on the listener's side.
本発明の楽曲配信システムにおいて再生制御指令情報作成部は、再生中の楽曲の特定情報と再生条件とを取得しつつ、それら情報の取得時刻を示す再生タイミング情報と対応付けてスナップショット情報を作成するものとして構成できる。楽曲配信管理部は、上記スナップショット情報を取得して楽曲再生端末に転送するスナップショット転送部を有するものとし、楽曲再生端末の番組再生制御部は、転送されるスナップショット情報を取得するとともに、該スナップショット情報に基づいて、楽曲データの取得・再生にかかる制御を補正する楽曲再生制御補正部を設けることができる。楽曲再生端末にてストリーム再生される楽曲と再生条件実行の同期タイミングに万一ずれが生じた場合にあっても、上記のスナップショット情報を定期的に取得して楽曲再生端末に転送し、補正処理を実施することで、再生楽曲に対する再生条件実行の同期タイミングを容易に修正することができる。また、配信番組が楽曲再生端末にて途中から聴取開始された場合などにおいても、スナップショット情報を用いて現在の番組進行位置を容易に把握することができ、楽曲再生端末における楽曲データのストリーミング再生を追随させる補正が可能となる。 In the music distribution system of the present invention, the reproduction control command information creation unit acquires the specific information of the song being played and the playback conditions, and creates snapshot information in association with the playback timing information indicating the acquisition time of the information. can be configured as The music distribution management unit has a snapshot transfer unit that acquires the snapshot information and transfers it to the music reproduction terminal, and the program reproduction control unit of the music reproduction terminal acquires the transferred snapshot information, It is possible to provide a music reproduction control correcting section for correcting control related to acquisition and reproduction of music data based on the snapshot information. Even in the unlikely event that there is a discrepancy in the synchronization timing between the music stream-reproduced on the music reproduction terminal and the execution of the reproduction conditions, the above-mentioned snapshot information is periodically obtained and transferred to the music reproduction terminal for correction. By executing the processing, it is possible to easily correct the synchronization timing of execution of the reproduction conditions for the reproduction music. In addition, even when listening to a distributed program is started in the middle of a music reproduction terminal, the current program progress position can be easily grasped using the snapshot information, and streaming reproduction of music data on the music reproduction terminal is possible. can be corrected to follow.
さらに、上記の構成においては、映像制御指令部は、選曲操作者が順次選択し再生する番組楽曲をモニタリングする番組楽曲モニタリング部と、番組楽曲に対応する関連映像としての複数の番組映像を取得する番組映像取得部と、選曲操作者による番組映像の選択及び表示制御操作を受け付ける映像操作入力部と、映像操作入力部への入力操作の内容に基づいて、各番組映像の表示タイミング及び表示条件を含んだ映像制御指令情報を作成する映像制御指令情報作成部と、映像制御指令情報を公共通信網に送出する映像制御指令情報送出部とを備え、楽曲配信管理部は、映像制御指令情報作成部が作成する映像制御指令情報を、公共通信網を介して取得して楽曲再生端末に転送する映像制御指令情報取得・転送部を備えるものとして構成できる。楽曲再生端末は、番組映像を取得する番組映像取得部と、番組楽曲に対応する映像制御指令情報を取得する映像制御指令情報取得部と、映像制御指令情報が示す表示タイミング及び表示生条件に従い番組映像を映像表示部に対し順次表示させる映像制御部を備えるように構成する。 Furthermore, in the above configuration, the video control command unit includes a program music monitoring unit that monitors program music that is sequentially selected and reproduced by the music selection operator, and acquires a plurality of program videos as related videos corresponding to the program music. A program video acquisition unit, a video operation input unit that accepts program video selection and display control operations by a music selection operator, and display timing and display conditions for each program video based on the details of input operations to the video operation input unit. and a video control command information sending unit for sending the video control command information to the public communication network. can be configured to include a video control command information acquisition/transfer unit that acquires the video control command information created by through a public communication network and transfers the video control command information to the music reproduction terminal. The music reproduction terminal includes a program video acquisition unit that acquires program video, a video control command information acquisition unit that acquires video control command information corresponding to the program music, and a program according to the display timing and display raw conditions indicated by the video control command information. It is configured to include an image control unit for sequentially displaying images on the image display unit.
上記のような番組進行においては、映像選択操作及び映像の表示条件入力を司る映像操作者（特に、ＶＪ）の果たす役割も同様に重要である。そして、映像操作者が実行する映像の表示開始や表示条件（後述するごとく、表示映像を切り替える際のミキシング形態など）の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが必要となる。この課題も、映像操作者が取得する映像に対し、表示順や表示タイミング、及び表示条件をすべて反映させる加工を行い、その加工後の映像データファイルを聴取者に再配信すれば解決できるが、公共通信網の容量を圧迫する問題を同様に生じやすい。 In the progress of the program as described above, the role played by the video operator (in particular, the VJ) who controls video selection operations and input of video display conditions is equally important. The timing of the start of display of images and the timing of setting and changing the display conditions (such as the mixing mode when switching the displayed images, as described later) executed by the video operator is the timing of playing the music streamed to the listener. Need to be in sync. This problem can also be solved by processing the video acquired by the video operator to reflect all the display order, display timing, and display conditions, and redistributing the video data file after processing to the listener. It is equally prone to problems that stress the capacity of public telecommunications networks.
しかし、前述の方式によると、映像操作者から聴取者向けにアップロードされるのは、再生条件を反映した映像データの加工ファイルではなく、表示条件を含んだサイズの小さい映像制御指令情報である。したがって、映像加工ファイルをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、聴取者側での映像表示に際し、転送されてくる映像制御指令情報により、表示開始タイミングや表示条件の設定・変更の内容及びタイミングを像操作者の意図通りに反映することができる。 However, according to the above-described method, what is uploaded from the video operator to the listener is not the processed file of video data reflecting the playback conditions, but the small-sized video control command information including the display conditions. Therefore, the amount of data communication can be greatly reduced as compared with the case of uploading the processed video file. When the image is displayed on the listener side, the content and timing of the display start timing and setting/change of the display condition can be reflected as intended by the image operator according to the transferred image control command information.
上記の構成においても、楽曲データはストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものとすることができ、映像制御指令情報作成部は、映像操作入力部において入力操作がなされたときの楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、映像操作入力部への入力操作内容が示す表示条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するようにできる。映像制御部は、楽曲データを再生開始後、再生制御指令情報に含まれるタイムスタンプが示す再生位置が到来するに伴い、表示条件が示す映像表示タスクを、表示中の番組映像に対して発動するように構成することができる。楽曲データに随伴する再生タイミング情報を用いて映像操作入力のタイミングを特定し、これを表示生条件とともに楽曲再生端末に送信することで、映像操作者の意図をより正確に反映した映像表示制御を楽曲再生端末にて実施することが可能となる。 In the above configuration as well, the music data may incorporate reproduction timing information describing the time-series output timing of the data bits in the stream. acquires, as a time stamp, playback timing information indicating the playback position of music data when an input operation is performed in the video operation input unit, and reproduces information that associates the time stamp with the display condition indicated by the content of the input operation to the video operation input unit. It can be created as control command information. After starting to reproduce the music data, the video control unit activates the video display task indicated by the display condition for the program video being displayed as the playback position indicated by the time stamp included in the playback control command information arrives. can be configured as By specifying the timing of the video operation input using the playback timing information that accompanies the music data and transmitting this along with the display raw conditions to the music playback terminal, video display control that more accurately reflects the intentions of the video operator can be achieved. It is possible to implement this at the music playback terminal.
また、ＶＪなどの映像操作者が行う別の重要な操作に、映像を曲に合わせて次々と変えて再生する際のつなぎに行う映像ミキシング操作がある。この映像ミキシング操作を聴取者側での楽曲再生に忠実に反映させるために、次のような構成を採用すると効果的である。すなわち、表示条件が示す映像表示タスクは、先行映像の表示途中にて後続映像を先行映像にミキシングしつつ表示させるものとし、映像制御指令情報作成部は、後続映像の表示開始入力操作がなされたときに再生されている先行楽曲の再生位置を示す再生タイミング情報を映像ミキシング開始タイムスタンプとして取得するものとする。映像制御部は、先行映像の表示開始後、再生制御指令情報に含まれる映像ミキシング開始タイムスタンプが示す先行楽曲の再生位置が到来するに伴い、後続映像の表示を先行映像とミキシングしつつ開始させるものとする。 Another important operation performed by a video operator such as a VJ is a video mixing operation that is performed as a transition between changing videos one after another according to a song and reproducing them. In order to faithfully reflect this video mixing operation in music reproduction on the listener's side, it is effective to employ the following configuration. That is, the video display task indicated by the display condition is to display the subsequent video while mixing it with the preceding video in the middle of displaying the preceding video. It is assumed that reproduction timing information indicating the reproduction position of the preceding music being reproduced is obtained as a video mixing start time stamp. After the display of the preceding video is started, the video control unit starts the display of the subsequent video while mixing the preceding video with the preceding music reproduction position indicated by the video mixing start time stamp included in the reproduction control command information. shall be
上記のように構成すると、後続映像を先行映像にミキシングするときの後続映像の表示開始タイミングを、先行楽曲の再生タイミング情報を用いて正確に特定することができ、曲と曲のつなぎに合わせた映像切替における映像操作者のタイミング設定テクニックを聴取者側での楽曲再生に忠実に反映することができる。 With the above configuration, the display start timing of the subsequent video when the subsequent video is mixed with the preceding video can be accurately specified using the reproduction timing information of the preceding music, and the timing can be synchronized with the connection between the music. The video operator's timing setting technique for video switching can be faithfully reflected in music playback on the listener's side.
この場合、映像制御指令情報作成部は、後続映像の表示開始入力操作がなされた後の先行映像とのミキシング表示期間中において、両映像のミキシング条件にかかる設定・変更入力がなされたときの、先行楽曲又は後続楽曲の再生位置をタイムスタンプとして取得し、設定・変更入力が示す映像ミキシング条件をタイムスタンプと対応付けて映像制御指令情報として作成するように構成できる。また、映像制御部は、ミキシング表示期間中においてタイムスタンプが示す番組楽曲の再生位置が到来するに伴い、ミキシング条件にて後続映像と先行映像とをミキシングしつつ再生させるものとする。これにより、映像ミキシング条件についても、映像操作者の操作設定内容を聴取者側での楽曲再生及び映像表示に対し、よりきめ細かく反映できる。より具体的には、映像操作入力部は、操作位置に応じて後続映像と先行映像とのミキシング比率を連続的に変更可能な映像クロスフェード入力部を備えるものとし、映像制御指令情報作成部は、該映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を映像ミキシング条件にかかる情報として作成するものとできる。映像操作者のスムーズな映像クロスフェード操作を聴取者側での楽曲再生に合わせてきめ細かく反映することができる。 In this case, the video control command information creation unit, during the mixing display period with the previous video after the display start input operation of the subsequent video is performed, when the setting/change input related to the mixing conditions of both videos is performed, It is possible to configure such that the playback position of the preceding music piece or the subsequent music piece is acquired as a time stamp, and the video mixing condition indicated by the setting/change input is associated with the time stamp to create video control command information. In addition, the video control unit mixes and reproduces the subsequent video and the preceding video under the mixing conditions as the reproduction position of the program music indicated by the time stamp arrives during the mixing display period. As a result, it is possible to more finely reflect the operation setting contents of the video operator on the music reproduction and video display on the listener's side also with respect to the video mixing conditions. More specifically, the video operation input unit includes a video crossfade input unit that can continuously change the mixing ratio of the subsequent video and the preceding video according to the operation position, and the video control command information creation unit , the mixing ratio to be set/changed according to the operation position of the video crossfade input section can be created as information relating to the video mixing condition. The smooth video crossfade operation of the video operator can be finely reflected in accordance with the playback of the music on the listener's side.
本発明の作用及び効果の詳細については、「課題を解決するための手段」の欄にすでに記載したので、ここでは繰り返さない。 Since the details of the action and effect of the present invention have already been described in the column of "Means for Solving the Problems", they will not be repeated here.
以下、本発明の実施の形態を添付の図面に基づき説明する。
図１は、本発明の楽曲配信システムの位置構成例を示すブロック図である。楽曲配信システム１は、公共通信網としてのインターネット１００により相互に接続される楽曲配信元サーバ１０２、楽曲配信・映像管理部１０１、ＤＪ司令部（選曲再生制御指令部）１０３、ＶＪ司令部（映像制御指令部）１０４、携帯端末（楽曲再生端末：本実施形態ではスマートフォン）１５０などを含んで構成される。携帯端末１５０は楽曲再生端末として使用され、携帯電話基地局１０６とのパケット通信を介してインターネット１００に接続される。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a positional configuration example of a music distribution system of the present invention. The
楽曲配信・映像管理部１０１は楽曲配信管理部と映像管理部との主機能を担うコンピュータユニットとして構成され、マイコン３０を処理主体として備えている。マイコン３０は、ＭＰＵ３１、プログラム実行領域となるＲＡＭ３２、ＲＯＭ３３、入出力部２９及びそれらを相互に接続するバス３４等からなる。また、バス３４にはハードディスクドライブ３５が接続され、ここに配信システムソフト１０１ａがインストールされている。配信システムソフト１０１ａは、楽曲配信管理部１０１の、請求項に記した楽曲配信管理部及び映像管理部の以下の機能を実現するためのソフトウェアコンポーネント１０１ｂ～１０１ｅを含んで構成されている。
The music distribution/
・楽曲取得指示機能実現部１０１ｂ
番組楽曲配信指示部：番組楽曲の楽曲データの携帯端末１５０への配信を楽曲配信元サーバに指示する。
・ＤＪ／ＶＪコマンド転送機能実現部１０１ｃ
再生制御指令情報取得・転送部：インターネット１００を介し、後述のＤＪ司令部１０３（選曲再生制御指令部）にて番組楽曲ごとに作成されるＤＪコマンド（再生制御指令情報）を取得し、携帯端末１５０に転送する。
映像制御指令情報取得・転送部：インターネット１００を介して、後述のＶＪ司令部１０４（映像制御指令部）にて作成されるＶＪコマンド（映像制御指令情報）を取得し、携帯端末１５０に転送する。
・スナップショット機能実現部１０１ｄ
スナップショット転送部：ＤＪ司令部１０３で取得されるスナップショット情報を取得して携帯端末１５０に転送する。
・盛上げ画像表示機能実現部１０１ｅ
評価情報受信部：携帯端末１５０からの評価情報を受信する。
盛上げ画像送出部：評価情報の受信状態が予め定められた条件を充足する場合に、楽曲の再生を盛り上げるための盛上げ画像データと盛上げ画像にかかる表示制御指令情報とを楽曲再生端末に送出する。・Music acquisition instruction function implementation unit 101b
Program music distribution instruction unit: instructs the music distribution source server to distribute music data of program music to the
・DJ/VJ command transfer function realization unit 101c
Playback control command information acquisition/transfer unit: Through the Internet 100, a DJ command (playback control command information) created for each program song by the DJ command unit 103 (music selection playback control command unit), which will be described later, is acquired, and transferred to the portable terminal. Transfer to 150.
Video control command information acquisition/transfer unit: Acquires VJ commands (video control command information) created by the VJ command unit 104 (video control command unit), which will be described later, via the Internet 100, and transfers them to the
・Snapshot function implementation unit 101d
Snapshot transfer unit: Acquires snapshot information obtained by the DJ command unit 103 and transfers it to the
・Enhanced image display function realization unit 101e
Evaluation information receiving unit: receives evaluation information from the
Enhancement image sending unit: When the reception state of the evaluation information satisfies a predetermined condition, the enhancement image data for enlivening the reproduction of the music and the display control command information related to the enhancement image are sent to the music reproduction terminal.
また、ハードディスクドライブ３５には、上記の盛上げ画像データ１０１ｆと、該盛上げ画像データとともに出力することが予定された盛上げ音声の音源データ１０１ｇ（以下、盛上げ音源データ：例えば拍手、歓声、指笛音など）が記憶されている。図９は盛上げ画像の一例を示すものであり、この実施形態では花火のアニメーション映像が採用されている。 The hard disk drive 35 also stores the above-mentioned boost image data 101f and boost sound source data 101g scheduled to be output together with the boost image data (hereinafter referred to as boost sound source data: e.g., applause, cheers, finger whistles, etc.). ) is stored. FIG. 9 shows an example of a boost image, and this embodiment employs an animation image of fireworks.
楽曲配信元サーバ１０２は大容量データの記憶・蓄積が可能な一般的なコンピュータサーバ（インターネット接続された複数のコンピュータ群よりなるクラウドサーバであってもよい）により構成され、配信対象となる多数の楽曲データが蓄積された楽曲データベース１０２ａを有する。
The music
ＤＪ司令部１０３はコンピュータユニットとして構成され、マイコン５０を処理主体として備えている。マイコン５０は、ＭＰＵ５１、プログラム実行領域となるＲＡＭ５２、ＲＯＭ５３、入出力部４９及びそれらを相互に接続するバス５４等からなる。また、バス５４にはハードディスクドライブ５５が接続され、ここに選曲再生制御指令部の主機能を実現するＰＣＤＪソフト１０３ａがインストールされている。また、ハードディスクドライブ５５には、番組楽曲データ取得部及び再生制御指令情報送出部の機能を実現するための通信ソフト１０３ｂが同様にインストールされている。マイコン５０の入出力部４９には、番組楽曲モニタリング用のスピーカ６０がオーディオアンプ５９（入力側のＤ／Ａ変換部は図示略）を介して、さらにＤＪのトークを集音するためのマイク６１がＡ／Ｄ変換部６２を介してそれぞれ接続されている。
The DJ command section 103 is configured as a computer unit and has a
さらに、入出力部４９には、選曲再生操作入力のＧＵＩ部分を構築するとともに楽曲再生時の関連映像の表示部として機能するモニタ５６が表示インターフェース５７を介して接続されている。また、入出力部４９には、選曲再生操作入力部としてのＤＪコマンド入力部５８が接続されている。本実施形態では、ＤＪコマンド入力部５８は入力ＧＵＩを表示するモニタ５６に重ね配置されるタッチパネルとしてＤＪコマンド入力部５８を構成しているが、市販のＰＣＤＪコントローラを用いてもよい。
Further, the input/
図６は、ＤＪ司令部１０３のモニタ５６（タッチパネル（ＤＪコマンド入力部）５８が重ねられている）の表示画面を示している。この画面は、操作パネル５６ａ、関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像５６ｃの各表示レイヤが透視形態で重ね表示されたものである。図７は、操作パネル５６ａのレイヤを抜き出して示すものであり、アナログＤＪコンソールをイメージして各コンポーネントがレイアウトされている。なお、ＰＣＤＪソフトの機能自体は公知であるので、以下に概略のみを説明する。 FIG. 6 shows the display screen of the monitor 56 (on which the touch panel (DJ command input section) 58 is superimposed) of the DJ command section 103. As shown in FIG. On this screen, display layers of an operation panel 56a, a related image (sound visualizer) 56b, and an enhanced image 56c are superimposed and displayed in perspective. FIG. 7 shows an extracted layer of the operation panel 56a, in which each component is laid out in the image of an analog DJ console. Since the function of the PCDJ software itself is known, only the outline will be described below.
取得する番組楽曲はパネルの左右コラムに１曲ずつ、計２曲がロードされるようになっており、右側の楽曲Ａと左側の楽曲Ｂの選曲・再生のための制御入力コンポーネントが独立して操作できるようになっている。以下、左側のコラムについて説明する。コラムの最上位置にはダウンロードした楽曲のタイトル（及びアーチスト名）３０１Ａが表示され、その下には楽曲再生位置を示すタイミングバー３０２Ａが表示されている。その下に形成されているのは、音量・音質の調整パネルであり、低域（ＬＯＷ）、中域（ＭＩＤ）及び高域（ＨＩ）の２つの周波数帯域の音声波形成分の各ゲインをコントロールするためのつまみ３０４Ａを有したグラフィックイコライザパネル３０３Ａと、全体音量をコントロールするためのつまみ３０６Ａを有したボリュームパネル３０５Ａが含まれる。また、コラムの最下部には楽曲の再生・停止ボタン３１１Ａ、巻き戻しボタン３１６Ａ、左右の曲のビートを同期させる同期ボタン３１７Ａが形成されている。
Program songs to be acquired are loaded into the left and right columns of the panel, one for each, and a total of two songs are loaded. It is ready to operate. The left column is described below. The title (and artist name) 301A of the downloaded song is displayed at the top of the column, and a timing bar 302A indicating the playback position of the song is displayed below it. Beneath that is a volume and tone control panel that controls the gain of each audio waveform component in two frequency bands: LOW, MID and HI. A
また、左右のコラムの操作パネルレイアウトは、メニューアイコン群３１８Ａの所望のものをタッチすることにより異なるテーマのものに随時切り替えることができる。例えば、選曲及びロードの操作は選曲用の別パネル（非図示）に切り替えて、指で選曲リストをスクロールし、曲を選んでタッチするなどの公知の操作に実行できる。 In addition, the operation panel layout of the left and right columns can be switched to a different theme at any time by touching a desired one of the menu icon group 318A. For example, song selection and load operations can be performed by switching to a separate panel for song selection (not shown), scrolling a song selection list with a finger, and selecting and touching a song.
右側のコラムの構成も全く同じであるが、ＤＪが左右の手で別々に操作することの利便性を考慮し、各操作部が左右反転してレイアウトされている。各部の説明は、末尾のアルファベットを「Ａ」から「Ｂ」に替えつつ、左側コラムの対応するものと同一番号の符号を付与して説明を略する。 The configuration of the right column is exactly the same, but considering the convenience of the DJ operating the left and right hands separately, each operating section is laid out with the left and right reversed. In the explanation of each part, the letter of the last letter is changed from "A" to "B", and the same number as the corresponding part in the left column is given to omit the explanation.
また、左右のコラムの間のスペースには、上から再生タイミングデジタル表示部３１５、機能選択用のアイコン（説明略）、楽曲のＷＡＶＥファイル（非圧縮ＰＣＭ波形データファイル）の波形ウィンドウ３０７Ａ，３０７Ｂとこれに重畳表示される再生位置バー３０８及びクロスフェード入力部３０９が形成されている。クロスフェード入力部３０９は操作バー３１０の（例えば、左右への）スライド操作が可能であり、右側の楽曲と左側の楽曲の音声データがその操作位置に応じたゲイン比率にてデジタル的にミキシングされる。操作バー３１０を左端に移動させると楽曲Ｂの音量がゼロとなって楽曲Ｂだけが再生され、右端に移動させるとその逆となる。また、中間の操作位置では両者の音がミックスされた状態となる。そして、先行して再生されているのが楽曲Ａの場合、操作バー３１０を左端に移動させた状態で、そのエンディング付近で楽曲Ｂの再生を開始し、操作バー３１０を右端にまで適当な速度でスライドさせると、楽曲Ａがフェードアウトし、楽曲Ｂの冒頭部がフェードインしつつこれに重ねてつながれるクロスフェード効果が得られるようになっている。
In addition, in the space between the left and right columns, there are, from the top, a reproduction timing
ＤＪ司令部１０３の操作パネル５６ａからの入力情報は、操作が実行されるごとに、その操作位置も含めて全てＤＪコマンドとして発行され、楽曲ファイルごとに付与される示す再生タイミング情報から、操作実行時に取得するタイムスタンプ（楽曲ファイルの再生開始点を基準として再生時刻の情報である）と対応付けた形で再生制御指令情報として楽曲配信・映像管理部１０１を経て後述の携帯端末１５０に送られる。
Input information from the operation panel 56a of the DJ command unit 103 is all issued as DJ commands each time an operation is performed, including the operation position. is sent to the
図１４は、本実施形態にて採用されているＤＪコマンドの関係イベントのリストを示している。末尾のスナップショットイベント（後述）以外のものは公知であるため、詳細は略する。いずれも、一旦発行されたＤＪコマンドの実行状態は、次の操作変更が実行されるまで継続される。 FIG. 14 shows a list of events related to DJ commands employed in this embodiment. The details are omitted because the events other than the last snapshot event (described later) are known. In either case, the execution state of the DJ command once issued is continued until the next operation change is executed.
また、図４に示すごとく、ＶＪ司令部１０４もコンピュータユニットとして構成され、マイコン７０を処理主体として備えている。マイコン７０は、ＭＰＵ７１、プログラム実行領域となるＲＡＭ７２、ＲＯＭ７３、入出力部６９及びそれらを相互に接続するバス７４等からなる。また、バス７４にはハードディスクドライブ７５が接続され、映像制御指令部の主機能を実現するＰＣＶＪソフト１０４ａがインストールされている。マイコン７０の入出力部４９には、番組映像取得部及び映像操作入力部のＧＵＩ部分を構築するとともに関連映像の表示部として機能するモニタ７６が表示インターフェース７７を介して接続されている。また、入出力部６９には、映像操作入力部としてのＶＪコマンド入力部７８が接続されている。本実施形態では、ＶＪコマンド入力部７８は入力ＧＵＩを表示するモニタ７６に重ね配置されるタッチパネルとして構成している。他方、入出力部６９には、番組楽曲モニタリング部としてのスピーカ８０がオーディオアンプ７９（入力側のＤ／Ａ変換部は図示略）を介して接続されている。
Further, as shown in FIG. 4, the
ハードディスクドライブ７５には、サウンドビジュアライザー１０５ｃのモジュールが（複数組）インストールされている。さらに、ハードディスクドライブ７５には、番組楽曲データ取得及び映像制御指令情報送出の各機能を実現するための通信ソフト１０４ｂが同様にインストールされている。
The
サウンドビジュアライザーのモジュール１０５ｃは公知のアルゴリズムに従い構築されている。概略は、周知の高速フーリエ変換等を用いたアルゴリズムにより、入力される楽曲再生音声の周波数スペクトラムを解析し、その解析結果（各周波数成分クラスの存在比率等）に応じて、あらかじめ用意されている画像オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを再生音と同期して変化させつつ映像出力するものである。個々のサウンドビジュアライザーのモジュール１０５ｃは、周波数スペクトラム解析と画像オブジェクトの表示制御だけを行なうエンジンであって、そのサイズは数１０ｋＢ～１ＭＢ程度までの小容量のプログラムファイルである。 The sound visualizer module 105c is constructed according to known algorithms. Basically, the frequency spectrum of the input music playback sound is analyzed by an algorithm using well-known fast Fourier transform, etc., and according to the analysis results (existence ratio of each frequency component class, etc.), it is prepared in advance. At least one of the form, size, display position, and color tone of the image object is changed in synchronism with the reproduced sound, and the image is output. Each sound visualizer module 105c is an engine that performs only frequency spectrum analysis and image object display control, and is a small program file whose size ranges from several tens of kilobytes to 1 MB.
図８は、サウンドビジュアライザーの一例を示すものであり、音声入力の波形を反映して変化する波形映像と３５１と、その背景に重畳されるカラーグラデーション画像３５０とからなり、カラーグラデーション画像３５０の色調及びグラデーション分布が入力音声の周波数により、同じく明るさが入力音声波形の振幅により、音声と同期して変化する。 FIG. 8 shows an example of a sound visualizer, which consists of a waveform image 351 that changes reflecting the waveform of an audio input, and a color gradation image 350 that is superimposed on the background. The color tone and gradation distribution change with the frequency of the input sound, and the brightness changes with the amplitude of the input sound waveform in synchronization with the sound.
図１０は、ＶＪ司令部のモニタ７６（タッチパネル７８が重ねられている）の表示画面を示している。この画面もＶＪ操作パネルの背景に関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像３６０の各表示レイヤが透視形態で重ね表示される映像表示エリア７６Ｍが形成されている。また、映像表示エリア７６Ｍの上方には再生中の楽曲のタイトル３０１Ｂが表示されている。
FIG. 10 shows the display screen of the monitor 76 (overlaid with the touch panel 78) of the VJ headquarters. This screen also forms a
ＶＪ操作パネルの下部には選択可能な関連映像として、複数のサウンドビジュアライザーの選択アイコン群３７０が表示されている。また、その上方には選択したサウンドビジュアライザーのロードエリア３７１Ａ，３７１Ｂが形成されている。これは、ＤＪ司令部１０３と同様に、２つのサウンドビジュアライザーを同時選択できるようにするためである。本実施形態では、選択アイコン群３７０から所望のものを指で選択し、ロードエリア３７１Ａないし３７１Ｂまでドラッグすることで選択が完了する。これは、表示するべき映像の決定するための映像操作入力の一つである。さらに、サウンドビジュアライザーモジュールはロードされた後、楽曲再生音の入力と同期して自動的に映像出力を開始するものであり、種類によっては、音入力の待ち受け状態から映像出力する形態のものもある。したがって、サウンドビジュアライザーモジュールのローディングにかかる上記操作は、実質的に映像表示開始を指示するための映像操作入力であるともいえる。 A selection icon group 370 of a plurality of sound visualizers is displayed at the bottom of the VJ operation panel as selectable related images. Moreover, load areas 371A and 371B for the selected sound visualizer are formed above them. This is to enable simultaneous selection of two sound visualizers, similar to the DJ command section 103 . In this embodiment, a desired icon is selected from the selection icon group 370 with a finger and dragged to the load areas 371A to 371B to complete the selection. This is one of the video manipulation inputs for determining the video to be displayed. Furthermore, after the sound visualizer module is loaded, it automatically starts video output in synchronization with the input of the music playback sound, and depending on the type, there is also a form that outputs video from the standby state of sound input. be. Therefore, it can be said that the operation for loading the sound visualizer module is substantially a video operation input for instructing the start of video display.
選択され、ロードされた２つのサウンドビジュアライザーは音声入力待機状態となり、楽曲の演奏が開始されるとこれに反応して映像表示エリア７６Ｍ内にて出力映像を変化させる。映像表示エリア７６Ｍの下方には映像クロスフェード入力部３１９が形成されている。映像クロスフェード入力部３１９は主要な映像操作入力部をなすものであって、操作バー３２０のスライド操作が可能であり、選択された２つのサウンドビジュアライザーの映像フレームがその操作位置に応じた比率にてデジタル的にミキシングされる。このミキシングは、例えばフレーム間の対応する画素の設定値同士を、操作位置に応じて線形結合演算することで実施できる。
The two sound visualizers that have been selected and loaded are in a state of waiting for voice input, and when the performance of a piece of music is started, they change the output video in the
例えば操作バー３２０を左端に移動させるとサウンドビジュアライザー３７１Ａだけが表示され、右端に移動させるとその逆となる。また、中間の操作位置では２つのサウンドビジュアライザーの映像が重ねてミックスされた状態となる。そして、先行して表示されているのがサウンドビジュアライザー３７１Ａの映像である場合、操作バー３１０を左端に移動させた状態で、操作バー３１０を右端にまで適当な速度でスライドさせると、映像Ａがフェードアウトし、映像Ｂがフェードインしつつ切り替わる映像クロスフェード効果が得られる。なお、映像は曲の切れ目で切り替えることもできるし、曲の途中で切り替えることもできる。
For example, if the operation bar 320 is moved to the left end, only the sound visualizer 371A is displayed, and if it is moved to the right end, vice versa. Also, at the intermediate operating position, the images of the two sound visualizers are superimposed and mixed. In the case where the image of the sound visualizer 371A is being displayed first, when the
このほか、図示はしていないが、サウンドビジュアライザー３７１Ａの明るさや色調の変更設定や、映像変形などを行なうための他の映像操作入力部を設けておき、表示中の映像に対して随時映像操作入力を実施できるように構成することも可能である。また、任意の演出画像のデータをＶＪ司令部１０４側で用意しておき、該演出画像を随時表示出力させるための演出画像表示ボタンを映像操作入力部として設けておくことも可能である。
In addition, although not shown, another image operation input unit is provided for changing settings of the brightness and color tone of the sound visualizer 371A, and for image deformation, etc. It is also possible to configure so that operation input can be performed. Further, it is also possible to prepare data of an arbitrary effect image on the
ＶＪ司令部１０４（再生制御指令情報作成部）の操作パネルからなされる映像操作入力の入力情報は、操作が実行されるごとに、その操作位置も含めて全てＶＪコマンドとして発行され、楽曲ファイルごとに付与される示す再生タイミング情報から、操作実行時に取得するタイムスタンプ（楽曲ファイルの再生開始点を基準として再生時刻の情報である）と対応付けた形で再生制御指令情報として楽曲配信・映像管理部１０１を経て後述の携帯端末１５０に送られる。また、ＶＪ司令部１０４で選択されたサウンドビジュアライザーモジュールは、インターネット１００を経由して、配信楽曲が再生中の携帯端末１５０に送信される。
The input information of the video operation input from the operation panel of the VJ command unit 104 (playback control command information creation unit) is issued as a VJ command each time the operation is performed, including the operation position. The playback timing information given to each unit is associated with the time stamp (playback time information based on the playback start point of the music file) obtained when the operation is executed, and the music distribution/video is used as playback control command information. It is sent to the
.
次に、図５は、携帯端末１５０の電気的構造を示すものである。携帯端末１５０は、ＣＰＵ１５２、メモリ１５３、入出力部１５４がバス１５５で接続されたマイコン１５１を有する。メモリ１５３には携帯電話端末１５０の動作環境を構築するためのＯＳ（図示せず）と、ＤＪ及びＶＪが主導する番組の再現環境を実現しつつ楽曲の圧縮データファイルを展開してデジタル再生するための携帯端末アプリ１５３ａが格納されている。また、ＲＡＭ１５１には上記のアプリの実行エリア１５１ａ、再生に供する楽曲データをバッファリングする楽曲バッファエリア１５１ｂ、関連映像の表示生成エンジンであるサウンドビジュアライザーモジュールの格納エリア（以下、ＳＶＳＬ格納エリアという）１５１ｃ、サウンドビジュアライザーの映像と前述の盛上げ画像とを合成して表示するための画像合成エリア１５１ｄなどが形成されている。.
Next, FIG. 5 shows the electrical structure of the
また、入出力部１５４には、液晶パネルないし有機ＥＬパネルよりなるモニタ１５６（映像表示部）、タッチパネル１５７及びその入力インターフェース１５８、無線通信インターフェース１５９、振動センサ１６０などが接続されている。また、楽曲再生部として、スピーカ１６１がアンプ１６２（入力側のＤ／Ａ変換部は図示略）を介して接続されている。
Connected to the input/
モニタ１５８は端末操作入力のＧＵＩ部分を構築するとともに楽曲再生時の関連映像の表示部として機能する。また、タッチパネル１５７は入力部を構成するものであり、本実施形態においては評価入力部としても機能する。
The
無線通信インターフェース１５９はインターネット１０２を介して楽曲データを受信する役割を果たす。また、携帯端末アプリ１５３ａは、請求項に記載した下記の各部を機能実現するものである。
番組楽曲データ取得部：番組楽曲の楽曲データを楽曲配信元サーバから取得する。
選曲再生制御情報取得部：番組楽曲に対応するＤＪコマンド（選曲再生制御情報）を楽曲配信・映像管理部１０１を経由してＤＪ司令部１０３より取得する。
番組再生制御部：ＤＪコマンドが示す再生タイミング及び再生条件に従い番組楽曲の楽曲データを順次連続的にストリーム再生させる。
番組映像取得部：関連映像である番組映像を取得する。
映像制御指令情報取得部：番組楽曲に対応するＶＪコマンド（映像制御指令情報）を楽曲配信・映像管理部１０１を経由してＶＪ司令部１０４より取得する。
映像制御部：ＶＪコマンドが示す表示タイミング及び表示条件に従い番組映像を順次表示させる。A wireless communication interface 159 serves to receive music data via the
Program music data acquisition unit: Acquires music data of program music from the music distribution source server.
Music selection/playback control information acquisition unit: Acquires a DJ command (music selection/playback control information) corresponding to program music from the DJ command unit 103 via the music distribution/
Program reproduction control unit: Streams music data of program music sequentially and continuously according to the reproduction timing and reproduction conditions indicated by the DJ command.
Program image acquisition unit: Acquires program images that are related images.
Video control command information acquisition unit: Acquires VJ commands (video control command information) corresponding to program music from the
Video control unit: sequentially displays the program video according to the display timing and display conditions indicated by the VJ command.
図１０は、携帯端末１５０のモニタ１５６（タッチパネル１５７が重ねられている）の表示画面を示している。この画面は、携帯端末１５０にてダウンロードした携帯端末アプリ１５３ａを立ち上げることにより表示されるものであり、端末操作パネルの背景に関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像３６０の各表示レイヤが透視形態で重ね表示される映像表示エリア７６Ｍが形成されている。また、映像表示エリア７６Ｍの上方には再生中の楽曲のタイトル３０１Ｂが表示されている。他方、下方には、担当ＤＪの名前３７１、担当ＶＪの名前３７２、及び再生タイミングデジタル表示部３１５もそれぞれ表示されている。
FIG. 10 shows the display screen of the monitor 156 (overlaid with the touch panel 157) of the
そして、その下方には評価入力部である「Ｗｈｏｏｐ」ボタン１５６ｗが表示されており、対応位置にタッチすることで「Ｗｈｏｏｐ」情報が評価情報としてインターネット上に送出される。「Ｗｈｏｏｐ」ボタン１５６ｗは、種々のソーシャルネットワーキングサービスにおいて周知の「いいね」ボタンに相当するものであり、再生中の楽曲とＤＪやＶＪの盛り上げに賛同し、肯定的な評価意思表示を行なうために端末所有者（番組のオーディエンス）により随時操作される。「Ｗｈｏｏｐ」ボタン１５６ｗが多数のオーディエンスにより類似のタイミングで操作されるとき、その操作の数は楽曲配信・映像管理部１０１にて集計把握でき、一定時間内の集計数などに基づいて、配信した番組に対するオーディエンスの評価状態を随時把握することが可能である。なお、評価情報の入力は、携帯端末１５０をシェイクする操作を振動センサ１６０により検知して行うようにしてもよい。
A "Whoop" button 156w, which is an evaluation input section, is displayed below it, and by touching the corresponding position, "Whoop" information is transmitted to the Internet as evaluation information. The "Whoop" button 156w corresponds to the well-known "Like" button in various social networking services, and is used to agree with the song being played and the excitement of the DJ or VJ, and to indicate a positive evaluation intention. is operated at any time by the terminal owner (audience of the program). When the "Whoop" button 156w is operated by a large number of audience members at similar timings, the number of such operations can be tabulated and grasped by the music distribution/
以下、楽曲配信システム１の動作について説明する。
図１２は、ＤＪ形式による番組楽曲の端末配信と、端末側での同期再生の流れを示すものである。ＤＪ司令部１０３ではＰＣＤＪソフト１０３ａ（図３）を立ち上げ、図７の操作パネル５６ａが表示された状態とする。ＤＪ（選曲操作者）は、予め定められた番組構成に従い、必要な楽曲をロードし、トークも交えながら曲を変えつつ順次再生してゆく作業に入る。まず、操作パネル５６ａの左右に最初の楽曲３０１Ａと次の楽曲３０１Ｂとを選曲し、ＤＪコマンドの一つである楽曲ロードコマンド（図１４：Track Load Event）を自身に対して発行する（図１２のＤ１）。一方、Ｄ２では、この楽曲ロードコマンドを楽曲配信・映像管理部１０１に向けても送信・発行する。The operation of the
FIG. 12 shows the flow of terminal distribution of program music in the DJ format and synchronous reproduction on the terminal side. In the DJ command section 103, the PCDJ software 103a (FIG. 3) is activated and the operation panel 56a of FIG. 7 is displayed. A DJ (music selection operator) loads necessary music according to a predetermined program structure, and sequentially reproduces the music while changing the music while having a talk. First, the
まず、ＤＪ司令部１０３では、発行した楽曲ロードコマンドに従い、Ｄ４にて対応する楽曲のストリーム配信を楽曲配信元サーバ１０２に要求する。楽曲配信元サーバ１０２は楽曲データベース１０２ａから楽曲データ（例えばＭＰ３、ＡＡＣなどの圧縮データファイル）を読み出し、ＤＪ司令部１０５に送信する。このとき、図７にて再生・停止ボタン３１１Ａ，３１１Ｂはいずれも停止状態であり、配信された楽曲データはＤ６にてＷＡＶＥデータ（ＰＣＭ波形データファイル）に変換され、ＲＡＭ５２内のバッファリングエリアにバッファリングされるだけで、再生開始されない。
First, according to the issued music load command, the DJ command unit 103 requests the music
次に、楽曲配信・映像管理部１０１は、Ｄ２で受けた楽曲ロードコマンドを、事前契約により聴取者として登録されているオーディエンスの携帯端末１５０（一般に複数）に向けて転送する。携帯端末１５０ではこれを受け、Ｄ７にて、対応する楽曲のストリーム配信を楽曲配信元サーバ１０２に要求する。楽曲配信元サーバ１０２は、Ｄ８にて楽曲データベース１０２ａから楽曲データを読み出し、各携帯端末１５０にストリーム配信する。携帯端末１５０は、Ｄ９にて、配信された楽曲データをＷＡＶＥデータに変換し、ＲＡＭ５２内のバッファリングエリアにバッファリングする。携帯端末１５０の端末アプリ１５３ａには、端末所有者による楽曲の再生・停止のインターフェースが設けられておらず、楽曲配信・映像管理部１０１から再生開始のコマンドを受け取らない限り、楽曲の再生は開始されない。
Next, the music distribution/
ここまでの説明から、次のことが明らかである。
（１）楽曲データは配信権を所有する楽曲配信元サーバ１０２から、個別の契約者であるＤＪ司令部１０３と携帯端末１５０に、それぞれ配信されており、配信権のないＤＪ司令部１０３から携帯端末１５０に直接向かうデータ送信の流れは存在しない。
（２）携帯端末１５０は、Ｄ９では、配信された楽曲データはＤ６にてＷＡＶＥデータに変換され、ＲＡＭ５２内のバッファリングエリアにバッファリングされ、再生開始指示を受けるまで再生開始されない。当然、ＤＪの行うような再生制御操作もできない。これらの動作は、下記に詳述するごとく、携帯端末アプリ１５３ａがＤＪ司令部１０３から送信されてくるＤＪコマンドを利用して実行するのであり、ＤＪ司令部１０３による楽曲再生操作がＤＪコマンド列によって携帯端末１５０にてバーチャルに再現されることの一環をなすものである。From the explanation so far, the following is clear.
(1) Music data is distributed from the music
(2) At D9, the distributed music data is converted into WAVE data at D6, buffered in the buffering area in the
続いて、ＤＪ司令部１０３では、Ｄ１０にて、ＤＪ司令部１０３にて配信を受けている楽曲データの再生開始コマンド（図１４：Track Start Event）を実行し、Ｄ１４にて楽曲Ａの再生を開始する。これは、すなわち、図７にて、ＤＪにより楽曲Ａの再生開始ボタン３１１Ａが操作されることを意味する。また、図１２のＤ１１にてＤＪ司令部１０３は、楽曲配信・映像管理部１０１に向けても再生開始コマンドを送信する。楽曲配信・映像管理部１０１は、Ｄ１２にてオーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｄ１３にてこれを受け、配信を受けた楽曲の再生を開始する。ここから、楽曲を組み合わせた番組の本体が携帯端末１５０上にて始まる。
Subsequently, the DJ command unit 103 executes a playback start command (Fig. 14: Track Start Event) of the music data distributed by the DJ command unit 103 at D10, and starts playback of the song A at D14. Start. This means that the DJ operates the reproduction start button 311A of the song A in FIG. In D11 of FIG. 12, the DJ command unit 103 also transmits a reproduction start command to the music distribution/
以下、ＤＪは、操作パネル上の各操作部を操作しつつ、再生楽曲の音量、音質、テンポ、音程等を様々に変更設定しながら楽曲Ａの再生音に味付けを行なってゆく。操作はＤＪの両手を使った手作業であり、操作の時系列順に各操作部の状態からＤＪコマンドが読み取られる。そして、各操作を行ったときの楽曲の再生位置は、図１５に示すように、楽曲Ａのデータファイル内に組み込まれているタイミングデータからタイムスタンプとして特定され、このタイムスタンプと、そのときの操作に伴い発行されるＤＪコマンドとの組が再生制御指令情報として作成される（図１２：Ｄ１７）。 Thereafter, the DJ adjusts the reproduced sound of the music A while operating the operation units on the operation panel and variously changing and setting the volume, sound quality, tempo, pitch, etc. of the music to be reproduced. The operation is performed manually by the DJ using both hands, and DJ commands are read from the state of each operation unit in chronological order of operation. Then, as shown in FIG. 15, the playback position of the music piece when each operation is performed is specified as a time stamp from the timing data incorporated in the data file of the music piece A. A set with a DJ command issued along with the operation is created as reproduction control command information (FIG. 12: D17).
ＤＪ司令部１０３（再生制御指令情報作成部）では、Ｄ１６にて、自身が発行したＤＪコマンドにより配信される楽曲の再生が制御され、その制御を受けた再生音が図３のスピーカ６０より出力される。ＤＪはその再生音を聞きながら、さらに操作パネル５６ａ（図７）上で再生制御を継続する。こうして、再生制御指令情報がタイムスタンプを伴うＤＪコマンドとして次々と作成され、Ｄ１７にて楽曲配信・映像管理部１０１に送信される。楽曲配信・映像管理部１０１は、Ｄ１８にて各オーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｄ１９にてこれを受け、バッファリングされている楽曲データに対し、再生制御指令情報に含まれるタイムスタンプの示す再生位置にて、そのＤＪコマンドが示す再生制御処理（例えば、音量、音質、テンポ、音程等の変更）を実行するとともに、その処理後のデータに基づいて楽曲再生がなされる（Ｄ１５～Ｄ１９の処理は番組配信が終了されるまで繰り返される）。
At D16, the DJ command unit 103 (playback control command information creation unit) controls the playback of the music distributed by the DJ command issued by the DJ command unit 103, and the controlled playback sound is output from the
図１５では、Ａ側で楽曲Ａがロードされ（Track Loading A、TLAと略）、Ｂ側で楽曲Ｂがロードされている（Track Loading B、TLBと略）。また、楽曲Ａだけで再生開始されるので、クロスフェード操作部３０９（図７）はＡ側一杯に設定されている（５段階、ＣＦＭＸ５／０はＡ側一杯、ＣＦＭＸ０／５はＢ側一杯、ＣＦＭＸ２／３等はミキシング状態を示す）。タイミング０：００で楽曲Ａの再生が開始されている（Track Start A、TSAと略)。ＤＪはその後、図７のグラフィックイコライザパネル３０３Ａとボリュームパネル３０５Ａとを操作し、図１４のイコライザーイベント（ＥＱＡと略）とボリュームフェーダーイベント（ＶＯＬと略）にかかるＤＪコマンドが継続的に発行されている。
In FIG. 15, the song A is loaded on the A side (Track Loading A, abbreviated as TLA), and the song B is loaded on the B side (Track Loading B, abbreviated as TLB). Also, since reproduction is started only with music A, the crossfade operation section 309 (FIG. 7) is set to the full A side (five levels, CFMX5/0 full on the A side, CFMX0/5 full on the B side, CFMX2/3 etc. indicate the mixing state). At timing 0:00, playback of music A is started (abbreviated as Track Start A, TSA). After that, the DJ operates the
例えば図１５にて、楽曲Ａから楽曲Ｂにクロスフェード処理を交えながら切り替えるときのデータ処理の流れは次のようである。タイミングデータから楽曲Ａの再生は３：０６で終了し、その終了６秒前に次の楽曲Ｂが再生開始されている（ＴＳＢ）。この開始時の楽曲Ａ側のタイムスタンプ（３：００）が、楽曲Ｂの開始指示コマンド（ＴＳＢ）とともに携帯端末１５０に送られる。また、ＤＪは、クロスフェード操作部３０９（図７）を、Ａ側一杯の状態（ＣＦＭＸ５／０）の状態からＢ側一杯の状態（ＣＦＭＸ５／０）となるまで、約６秒かけて移動させている。この時の、各タイミングでのクロスフェード操作部３０９の状態がＤＪコマンドとして特定され、個々の操作位置でのタイムスタンプが楽曲Ｂのタイミングデータより取得され、再生制御指令情報として携帯端末１５０に送られる。
For example, in FIG. 15, the flow of data processing when switching from music A to music B with cross-fade processing is as follows. From the timing data, the reproduction of music A ends at 3:06, and the reproduction of the next music B starts 6 seconds before the end (TSB). The time stamp (3:00) on the music A side at the time of the start is sent to the
携帯端末１５０では、これを参照することにより、先に再生開始している楽曲Ａの再生終了の６秒前（楽曲Ａの再生位置：３：００）に楽曲Ｂの再生を正確に開始することができ、さらに、クロスフェード操作部３０９の設定状態変化も、楽曲Ｂ側のタイムスタンプから忠実に再現されることとなる。なお、クロスフェード操作期間に限っては楽曲Ａがのタイムスタンプを継続利用してもよい。
By referring to this, the
番組形式の楽曲配信においては、ＤＪの果たす役割が重要であり、製作される番組全体のクオリティも選曲操作者の操作手腕に大きく依存する。特に、インターネット等の公共通信網を介した番組配信に際しては、選曲操作者が実行する曲の再生開始や再生条件の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが、番組の配信品質を担保する上での大前提となる。 DJs play an important role in music distribution in the form of programs, and the quality of the entire produced program greatly depends on the skill of the music selection operator. In particular, when a program is distributed via a public communication network such as the Internet, the timing of the start of reproduction of the music performed by the music selection operator and the setting/change of the reproduction conditions are synchronized with the timing of the reproduction of the music streamed to the listener. This is a major premise for ensuring the distribution quality of programs.
例えば、ＤＪが取得する配信楽曲に対し、曲順や再生タイミング、及び再生条件をすべて反映させる加工を行い、その加工後の楽曲データファイルを携帯端末１５０に再配信する方式であると、サイズの大きい楽曲ファイルを、楽曲配信元サーバ１０２→ＤＪ司令部１０３及びＤＪ司令部１０３→携帯端末１５０の２段階にてファイルアップロード及びダウンロードを実行しなければならず、インターネット１００の通信容量を圧迫する問題がある。また、楽曲配信元サーバ１０２からの楽曲ファイルのダウンロードは、聴取者との契約により１回に制限されていることが多く、一旦取得した楽曲ファイルを転売したり、転売目的で二次加工したりするには、著作権をクリアするための許諾を楽曲提供者から取得する必要が生じ、面倒である。
For example, in the case of a system in which the distribution music acquired by the DJ is processed so as to reflect all the order of the music, the reproduction timing, and the reproduction conditions, and the music data file after the processing is redistributed to the
しかし、上記の方式によると、オーディエンスの携帯端末１５０とＤＪ司令部１０３とは、楽曲データを楽曲配信元サーバ１０２から直接ダウンロードする形で取得する一方、ＤＪ司令部１０３から携帯端末１５０に向けてアップロードされるのは、再生条件を含んだサイズの小さい再生制御指令情報のみであるから、加工した楽曲ファイルそのものをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、携帯端末１５０側での楽曲のストリーム再生に際しては、転送されてくる再生制御指令情報により、再生開始タイミングや再生条件の設定・変更の内容及びタイミングがＤＪの意図通りに反映され、配信される番組の品質も高度に担保することができる。
However, according to the above method, the
なお、操作部の数は多く、全ての操作部の操作設定状態を漏れなくＤＪコマンドとして送信継続することは送信データ量の肥大化を招き、楽曲データの再配信を廃止することのうまみが薄れることにつながる。そこで、楽曲再生開始時の各操作部の操作状態を示すＤＪコマンドを一括して携帯端末１５０に送信することにより初期設定状態を形成し、その後は、楽曲再生後にＤＪ操作により変更を受けた操作部の状態のみをＤＪコマンドとして送信するとともに、端末１５０側では受信したＤＪコマンドに含まれる再生制御設定状態のみを変更して、他は現在の設定状態を維持するようにすれば、ＤＪコマンドの送信負荷及び通信容量占有量を減らすことができる。 In addition, since there are a large number of operation units, continuing to transmit the operation setting states of all operation units as DJ commands without omission causes an increase in the amount of data to be transmitted, and the benefits of abolishing the redistribution of music data are diminished. It leads to things. Therefore, an initial setting state is formed by collectively transmitting to the mobile terminal 150 a DJ command indicating the operation state of each operation unit at the time of music reproduction start, and after that, the operation changed by the DJ operation after the music reproduction is performed. If only the state of the unit is transmitted as a DJ command, and only the reproduction control setting state included in the received DJ command is changed on the terminal 150 side, and the other setting state is maintained at the current setting state, the DJ command can be executed. Transmission load and communication capacity occupation can be reduced.
また、ＤＪ司令部１０３からの再生制御指令情報の発行・送信頻度については、データ量の肥大化を回避しつつ、ＤＪの行うきめ細かい楽曲再生制御のニュアンスが極度に損なわれない範囲にて適宜設定する必要がある。例えば、１回の再生制御指令情報の送信ビット数が１６ビット程度である場合、例えば音楽再生の品質を最低限保つ量子化サンプリング周波数を８ｋＨｚ程度とみなしたとき、その１／５００～１／５０程度の頻度で再生制御指令情報の送信を行なうと、１秒間の再生制御指令情報の送信回数は１６～１６０回となり、再生制御ニュアンスをおおむね保持できる回数と符合する。このときの、再生制御指令情報の送信ビットレートは０．２５ｋｂｐｓ～２．５ｋｂｐｓとなり、８ｋＨｚ／１６ビットサンプリングにて作成される非圧縮ＰＣＭデータの送信ビットレート（約１２８ｋｂｓ）と比較しても十分なデータ通信量削減が見込まれる。 In addition, the frequency of issuing/transmitting the reproduction control command information from the DJ command unit 103 is appropriately set within a range that avoids an increase in the amount of data and does not extremely impair the nuances of the detailed music reproduction control performed by the DJ. There is a need to. For example, when the number of bits transmitted in one reproduction control command information is about 16 bits, for example, when the quantization sampling frequency that keeps the quality of music reproduction at a minimum is regarded as about 8 kHz, it is 1/500 to 1/50 of that. If the reproduction control command information is transmitted at a moderate frequency, the number of times the reproduction control command information is transmitted per second is 16 to 160 times, which corresponds to the number of times that the reproduction control nuances can be generally held. At this time, the transmission bit rate of the reproduction control command information is 0.25 kbps to 2.5 kbps, which is sufficient compared to the transmission bit rate of uncompressed PCM data (approximately 128 kbs) created by 8 kHz/16 bit sampling. significant reduction in data traffic is expected.
次に、図１３は、図１２に対応するＶＪ司令部側の映像制御処理を分離して示すものである。ＶＪ司令部１０４においてＶＪ（映像操作者）は、ＤＪが再生制御する楽曲をモニタリングしつつ、前述の映像操作入力によりサウンドビジュアライザーを用いた映像表示制御を実行してゆくので、図１３に示す図示しないステップにて楽曲配信元サーバ１０２より楽曲の配信を受け、さらにＶ１４にて楽曲配信・映像管理部１０１を経由してＤＪ司令部が発行するタイムスタンプとＤＪコマンドを含む再生制御指令情報を取得する。そして、Ｖ１５で、その再生制御指令情報により制御しつつ楽曲データを再生し、スピーカ８０（図４）より出力することで、ＤＪ司令部１０３における楽曲再生状態のモニタリングを開始できる。
Next, FIG. 13 shows separately the video control processing on the VJ command side corresponding to FIG. In the
次いで、ＶＪ司令部１０４ではＰＣＶＪソフト１０４ａ（図４）を立ち上げ、図１０の操作画面が表示された状態とする。ＶＪ（映像操作者）は、予め定められた番組構成に従い、必要なＳＶＳＬモジュールをロードし、曲に合わせて（あるいは曲の途中で）順次モジュールを切り替えながら映像操作入力を行う。まず、Ｖ１８にて、左右のロードエリアに最初のサウンドビジュアライザー３７１Ａと次のサウンドビジュアライザー３７１Ｂとを選択し、対応するＳＶＬＳモジュールをロードする。また、Ｖ１９では、ロードしたものと同じＳＶＬＳモジュールを楽曲配信・映像管理部１０１を経由して携帯端末１５０に送信する（Ｖ１９→Ｖ２０）。前述のごとくＳＶＬＳモジュールのサイズは小さく、送信は速やかに完了できる。携帯端末１５０では、取得したＳＶＬＳモジュールをロードする（Ｖ２１）。
Next, the
以下、ＶＪは、図１０の操作パネル上の各操作部を操作して、楽曲再生に合わせた映像（サウンドビジュアライザー）の表示切替えを含む映像操作入力を行なってゆく。そして、操作の時系列順に各操作部の状態からＶＪコマンドが読み取られる。また、各操作を行ったときの楽曲の再生位置は、ＤＪ司令部１０３での処理と同様に、楽曲Ａのデータファイル内に組み込まれているタイミングデータからタイムスタンプとして特定され、このタイムスタンプと、そのときの操作に伴い発行されるＶＪコマンドとの組が映像制御指令情報として作成される。 Thereafter, the VJ operates each operation section on the operation panel shown in FIG. 10 to perform video operation input including display switching of video (sound visualizer) in accordance with music reproduction. Then, the VJ commands are read from the state of each operation unit in chronological order of operation. Also, the playback position of the music when each operation is performed is specified as a time stamp from the timing data incorporated in the data file of the music A, similarly to the processing in the DJ command unit 103. , and a VJ command issued along with the operation at that time are created as video control command information.
ＶＪ司令部１０４では、Ｖ２２にて、自身が発行したＶＪコマンドが指定するサウンドビジュアライザーの映像出力がモニタ７６の映像表示エリア７６Ｍ（図１０）に表示される。ＶＪは再生音を聞きながら、さらに操作パネル上で映像制御（例えば他のサウンドビジュアライザーへの切替え）を継続する。こうして、映像制御指令情報がタイムスタンプを伴うＶＪコマンドとして次々と作成され、Ｖ２３にて楽曲配信・映像管理部１０１に送信される。楽曲配信・映像管理部１０１は、Ｖ２４にて各オーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｖ２５にてこれを受け、再生制御指令情報に含まれるタイムスタンプの示す再生位置にて、そのＶＪコマンドが示す映像制御処理、例えば、サウンドビジュアライザーの切替えを実行するとともに、その切替え後のサウンドビジュアライザーに基づいて映像表示がなされる（Ｖ１８～Ｖ２５の処理は番組配信が終了されるまで繰り返される）。
At V22, the
図１５の右３列のデータに示すごとく、Ａ側でサウンドビジュアライザー１がロードされ（ＳＶ１ＬＡ）、Ｂ側でサウンドビジュアライザー２がロードされている（ＳＶ２ＬＢ）。また、サウンドビジュアライザー１だけで表示生開始されるので、クロスフェード操作部３１９（図１０）はＡ側一杯に設定されている（５段階、ＣＦＭＸ５／０はＡ側一杯、ＣＦＭＸ０／５はＢ側一杯、ＣＦＭＸ２／３等はミキシング状態を示す）。
As shown in the data in the right three columns of FIG. 15, the
楽曲Ａの再生は３：０６で終了し、その終了６秒前に次の楽曲Ｂが再生開始されるのに合わせ、Ｂ側のサウンドビジュアライザー２への切替えが行われている。このときのＡ側のタイムスタンプ（３：００）が、サウンドビジュアライザー２への切替コマンド（ＳＶ２ＬＢ）とともに携帯端末１５０に送られる。また、ＶＪは、クロスフェード操作部３１９（図１０）を、Ａ側一杯の状態（ＣＦＭＸ５／０）の状態からＢ側一杯の状態（ＣＦＭＸ５／０）となるまで、約６秒かけて移動させている。この時の、各タイミングでのクロスフェード操作部３１９の状態がＶＪコマンドとして特定され、個々の操作位置でのタイムスタンプが楽曲Ｂのタイミングデータより取得され、映像制御指令情報として携帯端末１５０に送られる。
The reproduction of music A ends at 3:06, and switching to the
携帯端末１５０では、これを参照することにより、先に再生開始している楽曲Ａの再生終了の６秒前（楽曲Ａの再生位置：３：００）に、サウンドビジュアライザー１から同２への切替えに移行することができ、さらに、クロスフェード操作部３１９の設定状態変化（つまり、映像ミキシングの状態変化）も、楽曲Ｂ側（クロスフェード期間中は楽曲Ａ側でもよい）のタイムスタンプから忠実に再現されることとなる。
In the
以上を受け、図１１に示すように、携帯端末１５０では、ＤＪによる再生制御処理が反映された形で番組楽曲のストリーム再生を行なうことができ、ＶＪによる映像制御操作が反映された映像を映像表示領域７６Ｍに表示することができる。楽曲の再生はＤＪの操作が忠実に反映されたものとなり、映像表示切替にもＤＪに合わせたＶＪの操作が的確に反映されることとなる。これを享受するオーディエンスは、番組を気に入り、よいと感じれば、その評価入力としてＷｈｏｏｐボタン１５６を操作する。以下の処理は、図１３によると次の通りである。
In response to the above, as shown in FIG. 11, the
まずＶ２６で、携帯端末１５０からはＷｈｏｏｐボタン操作に伴う（肯定的な）反応情報があることを楽曲配信・映像管理部１０１に通知する。楽曲配信・映像管理部１０１では、例えば最初の反応情報が到来してから予め定められた期間内の（肯定的な）反応情報の数（以下、Ｗｈｏｏｐ数という）を計数する（Ｖ２７）。そして、その計数されたＷｈｏｏｐ数が画像発動基準値（これは１でもよいが、ノイズ的な反応を排除するために、複数回に設定しておくとよい）に到達するごとに、そのときの再生中の楽曲のタイムスタンプを取得し、さらに盛上げ画像データ１０１ｆ（図２）を読み出して、携帯端末１５０、ＤＪ司令部（図１３では図示略）及びＶＪ司令部にそれぞれ送信する（Ｖ２８，Ｖ３０）。
First, in V26, the
各送信先、例えば図１１の携帯端末１５０のように、取得した盛上げ画像データに基づく盛上げ画像３６０が、サウンドビジュアライザーによる関連映像上に透視形態で合成され、表示される（Ｖ３１，Ｖ２９）。盛上げ画像３６０は、番組楽曲のストリーム配信を受けている全ての携帯端末１５０にて表示されることとなる。Ｗｈｏｏｐ数が画像発動基準値に到達すれば、一旦その計数値をクリアし計数を再開する。そして、再度画像発動基準値に到達すれば、盛上げ画像データとタイムスタンプの送信が繰り返され、盛上げ画像３６０の表示が継続される。例えば図１１の花火のアニメーション映像の場合、Ｗｈｏｏｐ数が画像発動基準値に到達するごとに花火が繰り返し打ちあがることになる。このとき、花火の表示位置や表示サイズを映像表示エリア７５Ｍ内にて乱数を用いてその都度変更すれば、Ｗｈｏｏｐが発生するごとに花火が打ち上る位置が変わり、視覚的な楽しさが高められる。特に、多数の端末１５０から同時にＷｈｏｏｐが発動されると、多くの花火が映像表示エリア７５Ｍ内にてスターマインのごとく乱れ飛び、より華やかな演出を行なうことが可能となる。
At each destination, for example, the
そして、本実施形態では、同様のアルゴリズムにて、拍手、歓声、指笛音、あるいは花火の打ち上げ音などからなる盛上げ音源データ１０１ｇ（図２）を読み出し、各送信先にて盛上げ画像とともに盛上げ音声を出力させるようにしている（Ｖ３２～Ｖ３５）。なお、盛上げ画像及び盛上げ音声の出力は、一方又は双方を省略することも可能である。 Then, in the present embodiment, the same algorithm is used to read out the cheering sound source data 101g (FIG. 2) composed of applause, cheers, finger whistling, or fireworks launching sounds, and the cheering sound and the cheering images are read at each destination. is output (V32 to V35). It is also possible to omit one or both of the output of the boost image and the boost sound.
なお、上記の番組配信形態においては、定められた配信時刻が到来するに伴い、ＤＪ司令部１０３及びＶＪ司令部１０４での楽曲再生制御及び映像制御をライヴ配信する形を想定することができるが、この場合、契約した携帯端末１５０の中には配信開始時刻当初からの視聴ができず、途中からの参加となる場合もあり得る。この場合、配信にログインしたときの楽曲と映像の配信状況については、楽曲再生制御情報と映像制御情報の流れについては受信できても、楽曲データのストリーム配信については、どの曲のどの位置が現在ストリーミング中であるかを直ちには把握できないことがある。そこで、本実施形態では、ＤＪ司令部１０３にてスナップショットの実行を指令するＤＪコマンド（図１４：Snapshot Event）が発行されるようになっている。
It should be noted that, in the above program distribution mode, it is conceivable that music playback control and video control in the DJ command section 103 and
図１２の下に示すように、ＤＪ司令部１０３ではこのコマンドの発動により、ストリーム配信の中の楽曲名と映像名、及び再生タイミングなどがキャプチャされ、スナップショット情報として、楽曲配信・映像管理部１０１を経由して各携帯端末１５０に送られる。ストリーミング再生の同期が取れないでいる途中視聴参加の端末はこのスナップショット情報を参照し、配信を受けるべき楽曲の種別と、随伴する関連映像（サウンドビジュアライザー）の種類、及び楽曲の現在の再生位置を特定し、必要に応じて楽曲データとサウンドビジュアライザーの配信を楽曲配信・映像管理部１０１に要請する（楽曲配信・映像管理部１０１はこれを受けて楽曲データ、サウンドビジュアライザー及びタイムスタンプを各所より取得して携帯端末１５０に中継配信する）。これにより、途中視聴参加の携帯端末１５０では、現在の番組進行位置を容易に把握することができ、楽曲データのストリーミング再生を追随補正することが可能となる。
As shown in the lower part of FIG. 12, the DJ command unit 103 activates this command to capture the music name and video name in the stream distribution, playback timing, etc., and store it as snapshot information in the music distribution/
また、図１２からも明らかなごとく、楽曲配信元サーバ１０２、ＤＪ司令部１０３及び携帯端末１５０間の楽曲データファイルの配信系統は、楽曲配信・映像管理部１０１を境に明確に分離されている。これは、ＤＪ司令部１０３への楽曲配信は選曲再生制御指令情報を作成するだけの目的で使用されており、携帯端末１５０への楽曲配信は作成済みの選曲再生制御指令情報による再生制御にのみ使用されていることを意味する。また、作成された選曲再生制御指令情報（及びＶＪ司令部１０４で作成した映像制御指令情報）を番組ごとにセットにしたファイルは、例えば楽曲配信・映像管理部１０１の記憶装置（ハードディスクドライブ３５）に保存しておくことが可能である。このとき、ＤＪのトークなども録音して音声ファイルとして保存しておけば、ＤＪ及びＶＪによる番組のリアルライヴ配信が終了した後であっても、楽曲配信元サーバ１０２からの携帯端末１５０への楽曲配信と、楽曲配信・映像管理部１０１からの、保存された選曲再生制御指令情報、映像制御指令情報、ＤＪトークファイルおよび関連映像データ（ＳＶＬＳモジュール）のセットファイルの配信とを組み合わせることで、携帯端末１５０への番組配信を任意の日時に再現することができる。これは、ＤＪライヴ番組の再放送配信やオンデマンド配信を行う上で有利な形態であるといえる。
Also, as is clear from FIG. 12, the distribution system of music data files among the music
また、楽曲再生と同期させる関連映像は、サウンドビジュアライザーに限らず、動画ファイルを用いた再生動画を使用することもできるし、ＣＧを使用することもできる。プロモーションビデオ等の動画ファイルを使用する場合は、楽曲ファイルと同様に、映像配信元サーバから動画ファイルをＶＪ、ＤＪ、オーディエンス（携帯端末）のそれぞれに独立に配信することが同様に望ましい。ＶＪ司令部１０４では配信された動画の再生・停止・切替えに加え、明るさ、色バランス調整、早送り・巻き戻し、合成、変形といった種々のグラフィック操作を映像制御入力として実施することで、関連映像によるイベントの盛り上げを図ることができる。
Also, the related video to be synchronized with the music playback is not limited to the sound visualizer, and may be a playback video using a video file or CG. When using moving image files such as promotional videos, similarly to music files, it is similarly desirable to independently distribute moving image files from a video distribution source server to VJs, DJs, and audiences (portable terminals). In addition to playing/stopping/switching the distributed video, the
以上、本発明の実施の形態について説明したが、あくまで例示であって、本発明はこれに限定されるものではない。 Although the embodiment of the present invention has been described above, it is merely an example, and the present invention is not limited to this.
１ 楽曲配信システム
２９，４９，６９ 入出力部
３０，５０，７０ マイコン
３１，５１，７１ ＭＰＵ
３２，５２，７２ ＲＡＭ
３３，５３，７３ ＲＯＭ
３４，５４，７４ バス
５６ モニタ
５６ａ 操作パネル
５６ｂ 関連画像（サウンドビジュアライザー）
５６ｃ 盛上げ画像
５８ ＤＪコマンド入力部
５９ オーディオアンプ
６０ スピーカ
６１ マイク
６２ Ａ／Ｄ変換部
７６ モニタ
７６Ｍ 映像表示エリア
７８ タッチパネル
１００ インターネット
１０１ 楽曲配信・映像管理部
１０１ａ 配信システムソフト
１０１ｂ～１０１ｅ ソフトウェアコンポーネント
１０１ｆ 盛上げ画像データ
１０１ｇ 盛上げ音源データ
１０２ 楽曲配信元サーバ
１０２ａ 楽曲データベース
１０３ ＤＪ司令部（選曲再生制御指令部）
１０３ａ ＰＣＤＪソフト
１０４ ＶＪ司令部（映像制御指令部）
１０４ｂ 通信ソフト
１０５ｃ サウンドビジュアライザー
１０６ 携帯電話基地局
１５０ 携帯端末（楽曲再生端末：本実施形態ではスマートフォン）
１５１ マイコン
１５１ａ アプリ実行エリア
１５１ｂ 楽曲バッファエリア
１５１ｃ サウンドビジュアライザーモジュールの格納エリア
１５２ ＣＰＵ
１５３ メモリ
１５３ａ 携帯端末アプリ
１５４ 入出力部
１５５バス
１５６ モニタ
１５６ 「Ｗｈｏｏｐ」ボタン
１５９ 無線通信インターフェース
１６０ 振動センサ
１６１ スピーカ
１６２ アンプ
３０１Ａ，Ｂ 楽曲のタイトル
３０３Ａ，Ｂ グラフィックイコライザパネル
３０４Ａ，Ｂ つまみ
３０５Ａ，Ｂ ボリュームパネル
３０６Ａ，Ｂ つまみ
３０７Ａ，Ｂ 波形ウィンドウ
３０８ 再生位置バー
３０９ クロスフェード入力部
３１０ 操作バー
３１１Ａ，Ｂ 再生・停止ボタン
３１５ 再生タイミングデジタル表示部
３１６Ａ，Ｂ 巻き戻しボタン
３１７Ａ，Ｂ 同期ボタン
３１９ 映像クロスフェード入力部
３７１ 担当ＤＪの名前
３７２ 担当ＶＪの名前1
32, 52, 72 RAM
33, 53, 73 ROMs
34, 54, 74
56c Boosted
104b communication software 105c sound visualizer 106 mobile
151 microcomputer 151a application execution area 151b music buffer area 151c sound visualizer
153 Memory 153a Mobile
Claims (21)
前記公共通信網を介して前記楽曲データを受信するとともに、当該楽曲データに基づいて楽曲をストリーム再生する楽曲再生部と、前記楽曲の再生時に関連映像を表示させる映像表示部と、前記番組楽曲の楽曲データを前記楽曲配信元サーバから取得する番組楽曲データ取得部と、前記番組楽曲に対応する前記再生制御指令情報を前記楽曲配信部より取得する再生制御指令情報取得部と、前記再生制御指令情報が示す再生タイミング及び再生条件に従い前記番組楽曲の楽曲データを前記楽曲再生部に対し順次ストリーム再生させる番組再生制御部と、を備えた楽曲再生端末と、
前記楽曲再生端末とは別に設けられ、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付ける映像操作入力部と、前記映像操作入力に基づく前記関連映像の映像制御指令情報を前記公共通信網に送出する映像制御指令情報送出部とを備えた映像制御指令部と、
前記公共通信網を介して前記映像制御指令情報を取得する映像制御指令情報取得部と、前記番組楽曲の楽曲データの前記楽曲再生端末への配信を前記楽曲配信元サーバに指示する番組楽曲配信指示部と、前記映像操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを、取得した前記映像制御指令情報に含まれる前記タイムスタンプにより把握するとともに、前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させるため、前記番組楽曲について作成される前記再生制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送する再生制御指令情報取得・転送部とを有する楽曲配信・映像管理部と、
を備えたことを特徴とする楽曲配信システム。 The music data to be distributed , which incorporates reproduction timing information describing the chronological output timing of the data bits in the reproduction stream, is stream-distributed to the public communication network, and multiple program music selected by the music selection operator is played. A program music data acquisition unit for acquiring music data of the program music from a music distribution source server via the public communication network, and a music selection and reproduction operation input by the music selection operator, in order to sequentially distribute and reproduce the music to the music reproduction terminal. Playback control command information including playback timing and playback conditions for each of the program songs based on a music selection playback operation input unit that receives and input content to the music selection playback operation input unit, wherein the music selection playback operation input unit receives Reproduction timing information indicating the reproduction position of the music data when the input operation is performed is acquired as a time stamp, and information associating the reproduction condition indicated by the content of the input operation with the time stamp is used as reproduction control command information. a music distribution unit comprising: a music selection reproduction control command unit comprising a reproduction control command information creation unit that creates the reproduction control command information; and a reproduction control command information transmission unit that transmits the reproduction control command information to the public communication network ;
A music reproduction unit that receives the music data via the public communication network and stream reproduces the music based on the music data, a video display unit that displays a related video when the music is reproduced, and a program music. a program music data acquisition unit that acquires music data from the music distribution source server; a reproduction control command information acquisition unit that acquires the reproduction control command information corresponding to the program music from the music distribution unit; and the reproduction control command information. a program playback control unit that causes the song playback unit to sequentially stream-play the song data of the program songs in accordance with the playback timing and playback conditions indicated by ;
a video operation input unit provided separately from the music reproduction terminal for receiving a video operation input by a video operator who monitors the music being streamed; a video control command section including a video control command information sending section for sending to a communication network;
a video control command information acquisition unit for acquiring the video control command information via the public communication network; and a program music distribution instruction for instructing the music distribution source server to distribute music data of the program music to the music reproduction terminal. and grasping the playback timing of the music being streamed when the video operation input is performed by the time stamp included in the acquired video control command information, and based on the video control command information. The reproduction control command information created for the program music is acquired via the public communication network in order to cause the music reproduction terminal to perform display control of the related video in synchronization with the grasped reproduction timing. a music distribution/video management unit having a reproduction control command information acquisition/transfer unit for transferring to the music reproduction terminal ;
A music distribution system characterized by comprising:
前記映像制御指令情報は、前記楽曲の再生が第一の楽曲から第二の楽曲に切り替わるのに対応して、前記関連映像の表示内容を第一の関連映像から第二の関連映像に切り替えるための映像切替指令情報を含むものである請求項１記載の楽曲配信システム。 The music distribution unit sequentially stream-distributes the plurality of music data,
The video control command information is for switching the display content of the related video from the first related video to the second related video in response to the switching of the reproduction of the music from the first music to the second music. 2. The music distribution system according to claim 1, wherein the video switching command information is included.
前記映像切替指令情報は、前記サウンドビジュアライザーを第一のサウンドビジュアライザーから第二のサウンドビジュアライザーに切り替えるサウンドビジュアライザー切替指示情報である請求項３記載の楽曲配信システム。 The related video is a generated output video of a sound visualizer that changes at least one of the form, size, display position and color tone of the display object in synchronization with the reproduced sound of the music,
4. The music distribution system according to claim 3, wherein said video switching instruction information is sound visualizer switching instruction information for switching said sound visualizer from a first sound visualizer to a second sound visualizer.
前記映像制御指令部は、前記映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を前記映像制御指令情報として作成するものである請求項４記載の楽曲配信システム。 The video operation input unit includes a video crossfade input unit capable of continuously changing the mixing ratio between the first sound visualizer and the second sound visualizer according to the operation position,
5. The music distribution system according to claim 4, wherein said video control command section creates, as said video control command information, a mixing ratio to be set/changed according to an operation position of said video crossfade input section.
前記楽曲配信・映像管理部は、前記評価情報を受信する評価情報受信部と、前記評価情報が肯定的内容を有していた場合に前記楽曲の再生を盛り上げるための盛上げ画像データを、前記関連映像のデータとして記憶する盛上げ画像データ記憶部と、前記評価情報の受信状態が予め定められた条件を充足する場合に、前記盛上げ画像データと前記盛上げ画像にかかる表示制御指令情報とを前記楽曲再生端末に送出する盛上げ画像送出部とを備え、
前記楽曲再生端末には、前記盛り上げ画像データと前記表示制御指令情報とに基づき前記盛上げ画像を前記映像表示部に表示させる盛上げ画像表示制御部が設けられる請求項１記載の楽曲配信システム。 The music reproduction terminal includes an evaluation input unit for the distribution music operated by the user, and an evaluation information transmission unit that transmits the input evaluation information to the public communication network,
The music distribution/video management unit includes an evaluation information receiving unit that receives the evaluation information, and an image data that boosts the reproduction of the music when the evaluation information has positive content. a boost image data storage unit for storing video data; and when the reception state of the evaluation information satisfies a predetermined condition, the boost image data and the display control command information related to the boost image are played back to the music piece. an enhanced image sending unit for sending to a terminal,
2. The music distribution system according to claim 1, wherein said music reproduction terminal is provided with a raised image display control section for displaying said raised image on said video display section based on said raised image data and said display control command information.
前記楽曲配信・映像管理部は、前記評価情報を受信する評価情報受信部と、前記評価情報が肯定的内容を有していた場合に前記楽曲の再生を盛り上げるための盛上げ音声データを記憶する盛上げ音声データ記憶部と、前記評価情報の受信状態が予め定められた条件を充足する場合に、前記盛上げ音声データを音声出力制御指令情報とともに前記楽曲再生端末に送出する盛上げ音声情報送出部とを備え、
前記楽曲再生端末には、前記盛上げ音声データと前記音声出力制御指令情報とに基づき前記盛上げ音声を出力させる盛上げ音声出力部が設けられる請求項１記載の楽曲配信システム。 The music reproduction terminal includes an evaluation input unit for the distribution music operated by the user, and an evaluation information transmission unit that transmits the input evaluation information to the public communication network,
The music distribution/video management unit includes an evaluation information receiving unit that receives the evaluation information, and a boosting audio data that boosts the reproduction of the music when the evaluation information has positive content. a voice data storage unit; and a boost voice information sending unit for sending the boost voice data together with voice output control command information to the music reproduction terminal when the reception state of the evaluation information satisfies a predetermined condition. ,
2. The music distribution system according to claim 1, wherein said music reproduction terminal is provided with a live sound output unit for outputting said live sound based on said live sound data and said sound output control command information.
前記再生制御指令情報作成部は、前記後続楽曲の再生開始入力操作がなされたときの前記先行楽曲の再生位置をミキシング開始のタイムスタンプとして取得するものであり、
前記番組再生制御部は、前記先行楽曲の再生開始後、前記再生制御指令情報に含まれる前記ミキシング開始のタイムスタンプが示す再生位置が到来するに伴い、前記後続楽曲の再生を前記先行楽曲とミキシングしつつ開始させるものである請求項１記載の楽曲配信システム。 The control task indicated by the reproduction condition relates to control for reproducing the subsequent music while mixing the preceding music with the preceding music during reproduction of the preceding music,
The reproduction control command information creation unit acquires the reproduction position of the preceding music when the reproduction start input operation of the subsequent music is performed as a mixing start time stamp,
After starting the reproduction of the preceding music, the program reproduction control unit mixes the reproduction of the subsequent music with the preceding music as the reproduction position indicated by the mixing start time stamp included in the reproduction control command information arrives. 2. The music distribution system according to claim 1 , wherein the music distribution system is started while the music distribution is being performed.
前記番組再生制御部は、前記ミキシング再生期間中において前記タイムスタンプが示す再生位置が到来するに伴い、前記ミキシング条件にて前記後続楽曲と前記先行楽曲とをミキシングしつつ再生させるものである請求項１１記載の楽曲配信システム。 The reproduction control command information creation unit, during the mixing reproduction period with the preceding music after the reproduction start input operation of the succeeding music is performed, when the setting/change input related to the mixing conditions of both music is performed, Acquiring the playback position of the preceding song or the succeeding song as the time stamp, and creating the playback control command information by associating the mixing condition indicated by the setting/change input with the time stamp,
3. The program reproduction control unit mixes and reproduces the succeeding music and the preceding music under the mixing conditions as the reproduction position indicated by the time stamp arrives during the mixing reproduction period. 12. The music distribution system according to 11 .
前記再生制御指令情報作成部は、該楽曲クロスフェード入力部の操作位置に応じて設定・変更される前記ミキシング比率を前記ミキシング条件にかかる情報として作成するものである請求項１１記載の楽曲配信システム。 The music selection reproduction operation input unit includes a music crossfade input unit capable of continuously changing the mixing ratio of the subsequent music and the preceding music according to the operation position,
12. The music distribution system according to claim 11 , wherein the reproduction control command information creation unit creates the mixing ratio set/changed according to the operation position of the music crossfade input unit as the information related to the mixing conditions. .
前記楽曲配信管理部は、前記スナップショット情報を取得して前記楽曲再生端末に転送するスナップショット転送部を有し、
前記楽曲再生端末の前記番組再生制御部は、転送される前記スナップショット情報を取得するとともに、該スナップショット情報に基づいて、前記楽曲データの取得・再生にかかる制御を補正する楽曲再生制御補正部を備える請求項１記載の楽曲配信システム。 The reproduction control command information creation unit acquires the specific information of the music being played and the playback conditions, and creates snapshot information in association with the playback timing information indicating the acquisition time of the information. ,
The music distribution management unit has a snapshot transfer unit that acquires the snapshot information and transfers it to the music playback terminal,
The program reproduction control unit of the music reproduction terminal acquires the transferred snapshot information, and based on the snapshot information, a music reproduction control correction unit that corrects control related to acquisition and reproduction of the music data. The music distribution system according to claim 1 , comprising:
前記楽曲配信管理部は、前記映像制御指令情報作成部が作成する前記映像制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送する映像制御指令情報取得・転送部を備え、
前記楽曲再生端末は、前記番組映像を取得する番組映像取得部と、前記番組楽曲に対応する前記映像制御指令情報を取得する映像制御指令情報取得部と、前記映像制御指令情報が示す表示タイミング及び表示生条件に従い前記番組映像を前記映像表示部に対し順次表示させる映像制御部を備える請求項１記載の楽曲配信システム。 The video control command unit includes a program music monitoring unit that monitors program music that is sequentially selected and reproduced by the music selection operator, and a program video acquisition unit that acquires a plurality of program videos as the related video corresponding to the program music. and the video operation input section for receiving selection of the program video and display control operation by the music selection operator, and display timing and display conditions for each of the program video based on input operation contents to the video operation input section. a video control command information creating unit for creating video control command information including the video control command information, and a video control command information sending unit for sending the video control command information to the public communication network,
The music distribution management unit has a video control command information acquisition/transfer unit that acquires the video control command information created by the video control command information creation unit via the public communication network and transfers the video control command information to the music playback terminal. prepared,
The music playback terminal includes: a program video acquisition unit that acquires the program video; a video control command information acquisition unit that acquires the video control command information corresponding to the program music; 2. The music distribution system according to claim 1 , further comprising a video control section for sequentially displaying said program video on said video display section according to a display raw condition.
前記映像制御指令情報作成部は、前記映像操作入力部において入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記映像操作入力部への前記入力操作内容が示す表示条件と該タイムスタンプとを対応付けた情報を前記再生制御指令情報として作成するものであり、
前記映像制御部は、前記楽曲データを再生開始後、前記再生制御指令情報に含まれる前記タイムスタンプが示す再生位置が到来するに伴い、前記表示条件が示す映像表示タスクを、表示中の前記番組映像に対して発動するものである請求項１５記載の楽曲配信システム。 the music data incorporates reproduction timing information describing time-series output timing of data bits in the stream;
The video control command information creation unit acquires, as a time stamp, playback timing information indicating a playback position of the music data when an input operation is performed in the video operation input unit, and performs the input operation to the video operation input unit. Information in which the display condition indicated by the content is associated with the time stamp is created as the reproduction control command information,
After starting the reproduction of the music piece data, the video control unit performs the video display task indicated by the display condition according to the arrival of the reproduction position indicated by the time stamp included in the reproduction control command information. 16. The music distribution system according to claim 15 , which is activated with respect to video.
前記映像制御指令情報作成部は、前記後続映像の表示開始入力操作がなされたときに再生されている先行楽曲の再生位置を示す再生タイミング情報を映像ミキシング開始のタイムスタンプとして取得するものであり、
前記映像制御部は、前記先行映像の表示開始後、前記再生制御指令情報に含まれる前記映像ミキシング開始のタイムスタンプが示す前記先行楽曲の再生位置が到来するに伴い、前記後続映像の表示を前記先行映像とミキシングしつつ開始させるものである請求項１６記載の楽曲配信システム。 The video display task indicated by the display condition is to display a subsequent video while mixing the preceding video with the preceding video during display of the preceding video,
The video control command information creation unit acquires playback timing information indicating the playback position of the preceding music being played when the display start input operation of the subsequent video is performed as a video mixing start time stamp,
After the display of the preceding video is started, the video control unit causes the subsequent video to be displayed according to the arrival of the playback position of the preceding music indicated by the video mixing start time stamp included in the playback control command information. 17. The music distribution system according to claim 16 , wherein the music is started while being mixed with the preceding video.
前記映像制御部は、前記ミキシング表示期間中において前記タイムスタンプが示す番組楽曲の再生位置が到来するに伴い、前記ミキシング条件にて前記後続映像と前記先行映像とをミキシングしつつ再生させるものである請求項１７記載の楽曲配信システム。 The video control command information creation unit is configured to perform the above-described setting/change input related to the mixing conditions of both videos during the mixing display period with the preceding video after the display start input operation of the subsequent video is performed. The preceding music piece or the reproduction position of the succeeding music piece reproduced during the reproduction of the preceding music piece is acquired as a time stamp, and the video mixing condition indicated by the content of the setting/change input is associated with the time stamp, and the video control command is provided. It is created as information,
The video control unit mixes and reproduces the subsequent video and the preceding video under the mixing condition as the reproduction position of the program music indicated by the time stamp arrives during the mixing display period. 18. The music distribution system according to claim 17 .
前記映像制御指令情報作成部は、該映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を前記映像ミキシング条件にかかる情報として作成するものである請求項１８記載の楽曲配信システム。 The video operation input unit includes a video crossfade input unit capable of continuously changing the mixing ratio of the subsequent video and the preceding video according to the operation position,
19. The music distribution system according to claim 18 , wherein said video control command information creating section creates a mixing ratio to be set/changed according to an operation position of said video crossfade input section as information relating to said video mixing condition. .
再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれた、配信対象となる楽曲データを公共通信網にストリーム配信し、選曲操作者が選択する複数の番組楽曲を前記楽曲再生端末に順次配信し再生させるために、前記公共通信網を介して前記番組楽曲の楽曲データを楽曲配信元サーバから取得し、前記選曲操作者による選曲再生操作入力を受け付け、入力内容に基づいて、各前記番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報であって、入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記入力操作の内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成し、前記再生制御指令情報を前記公共通信網に送出し、
前記公共通信網に接続された前記楽曲配信・映像管理部において、前記公共通信網を介して前記映像制御指令情報を取得し、前記番組楽曲の楽曲データの前記楽曲再生端末への配信を前記楽曲配信元サーバに指示し、前記映像操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを、取得した前記映像制御指令情報に含まれる前記タイムスタンプにより把握するとともに、前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させるため、前記番組楽曲について作成される前記再生制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送することを特徴とする楽曲配信方法。 Music data to be distributed is stream-delivered to a music reproduction terminal via a public communication network, music is stream-reproduced based on the music data in the music reproduction terminal, and a video display unit provided in the music reproduction terminal is displayed. The music distribution method in the music distribution system according to claim 1, wherein a related video is displayed when the music is reproduced by
The music data to be distributed, which incorporates reproduction timing information describing the chronological output timing of the data bits in the reproduction stream, is stream-distributed to the public communication network, and multiple program music selected by the music selection operator is played. In order to sequentially distribute and reproduce the music reproduction terminal, the music data of the program music is obtained from the music distribution source server via the public communication network, the music selection and reproduction operation input by the music selection operator is received, and the content of the input is accepted. Based on this, reproduction control command information including the reproduction timing and reproduction conditions of each program music piece, which is reproduction timing information indicating the reproduction position of the music piece data when an input operation is performed, is acquired as a time stamp, creating, as reproduction control command information, information in which the reproduction condition indicated by the content of the input operation is associated with the time stamp, and transmitting the reproduction control command information to the public communication network;
The music distribution/video management unit connected to the public communication network acquires the video control command information via the public communication network, and distributes the music data of the program music to the music reproduction terminal. instructing a distribution source server to grasp the playback timing of the music being streamed when the video operation input is executed from the time stamp included in the acquired video control command information, and the video control command; In order to cause the music reproduction terminal to perform display control of the related video based on the information in a form synchronized with the grasped reproduction timing, the reproduction control command information created for the program music is transmitted through the public communication network. a music distribution method, characterized in that the music is acquired via a music player and transferred to the music reproduction terminal .
再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれた、配信対象となる楽曲データを公共通信網にストリーム配信し、選曲操作者が選択する複数の番組楽曲を前記楽曲再生端末に順次配信し再生させるために、前記公共通信網を介して前記番組楽曲の楽曲データを楽曲配信元サーバから取得し、前記選曲操作者による選曲再生操作入力を受け付け、入力内容に基づいて、各前記番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報であって、入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記入力操作の内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成し、前記再生制御指令情報を前記公共通信網に送出するステップと、
前記公共通信網に接続された前記楽曲配信・映像管理部において、前記公共通信網を介して前記映像制御指令情報を取得し、前記番組楽曲の楽曲データの前記楽曲再生端末への配信を前記楽曲配信元サーバに指示し、前記映像操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを、取得した前記映像制御指令情報に含まれる前記タイムスタンプにより把握するとともに、前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させるため、前記番組楽曲について作成される前記再生制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送するステップと、
をコンピュータに実行させるための楽曲配信プログラム。
Music data to be distributed is stream-delivered to a music reproduction terminal via a public communication network, music is stream-reproduced based on the music data in the music reproduction terminal, and a video display unit provided in the music reproduction terminal is displayed. The music distribution program in the music distribution system according to claim 1, wherein a related video is displayed when the music is played back,
The music data to be distributed, which incorporates reproduction timing information describing the chronological output timing of the data bits in the reproduction stream, is stream-distributed to the public communication network, and multiple program music selected by the music selection operator is played. In order to sequentially distribute and reproduce the music reproduction terminal, the music data of the program music is obtained from the music distribution source server via the public communication network, the music selection and reproduction operation input by the music selection operator is received, and the content of the input is accepted. Based on this, reproduction control command information including the reproduction timing and reproduction conditions of each program music piece, which is reproduction timing information indicating the reproduction position of the music piece data when an input operation is performed, is acquired as a time stamp, creating information that associates the reproduction condition indicated by the content of the input operation with the time stamp as reproduction control command information, and transmitting the reproduction control command information to the public communication network;
The music distribution/video management unit connected to the public communication network acquires the video control command information via the public communication network, and distributes the music data of the program music to the music reproduction terminal. instructing a distribution source server to grasp the playback timing of the music being streamed when the video operation input is executed from the time stamp included in the acquired video control command information, and the video control command; In order to cause the music reproduction terminal to perform display control of the related video based on the information in a form synchronized with the grasped reproduction timing, the reproduction control command information created for the program music is transmitted through the public communication network. a step of acquiring via and transferring to the music playback terminal ;
A music distribution program for executing on a computer.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/020624 WO2019229861A1 (en) | 2018-05-29 | 2018-05-29 | Music piece distribution system, music piece distribution method and music piece distribution program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019229861A1 JPWO2019229861A1 (en) | 2021-05-13 |
| JP7156646B2 true JP7156646B2 (en) | 2022-10-19 |
Family
ID=68697908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020522441A Active JP7156646B2 (en) | 2018-05-29 | 2018-05-29 | Music distribution system, music distribution method, and music distribution program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7156646B2 (en) |
| WO (1) | WO2019229861A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102369682B1 (en) * | 2020-05-07 | 2022-03-04 | (주)뮤직몹 | System for providing a playing music information |
| WO2023209690A1 (en) * | 2022-04-29 | 2023-11-02 | Jio Platforms Limited | System and method for referencing media using content-based timestamps |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007241652A (en) | 2006-03-08 | 2007-09-20 | Core Colors Inc | Content distribution system |
| JP2009017417A (en) | 2007-07-09 | 2009-01-22 | Think Corp | Server, program and system for content distribution |
-
2018
- 2018-05-29 WO PCT/JP2018/020624 patent/WO2019229861A1/en active Application Filing
- 2018-05-29 JP JP2020522441A patent/JP7156646B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007241652A (en) | 2006-03-08 | 2007-09-20 | Core Colors Inc | Content distribution system |
| JP2009017417A (en) | 2007-07-09 | 2009-01-22 | Think Corp | Server, program and system for content distribution |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2019229861A1 (en) | 2021-05-13 |
| WO2019229861A1 (en) | 2019-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11553235B2 (en) | Audiovisual collaboration method with latency management for wide-area broadcast | |
| US11683536B2 (en) | Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics | |
| US11520479B2 (en) | Mass media presentations with synchronized audio reactions | |
| JP5609160B2 (en) | Information processing system, content composition apparatus and method, and recording medium | |
| CN107027050B (en) | Audio and video processing method and device for assisting live broadcast | |
| US20100040349A1 (en) | System and method for real-time synchronization of a video resource and different audio resources | |
| WO2007111842A2 (en) | Method and system for low latency high quality music conferencing | |
| WO2009135088A2 (en) | System and method for real-time synchronization of a video resource to different audio resources | |
| CN104348899B (en) | The sharing method and share system of client, server-side multimedia content | |
| CN110910860A (en) | Online KTV implementation method and device, electronic equipment and storage medium | |
| WO2013188053A1 (en) | Systems and methods for seamlessly switching between media streams | |
| JP7156646B2 (en) | Music distribution system, music distribution method, and music distribution program | |
| US20150162997A1 (en) | Methods for streaming radio content | |
| JP2024056974A (en) | Information processing device, video distribution method, and video distribution program | |
| EP3808096A1 (en) | Audiovisual livestream system and method with latency management and social media-type user interface mechanics | |
| WO2021235048A1 (en) | No-audience live event streaming method and system | |
| JP2021021870A (en) | Content collection/distribution system | |
| JP6958676B1 (en) | Control method and control system | |
| JP2009005012A (en) | Device and method for distributing data, and program | |
| JP2008171194A (en) | Communication system, communication method, server, and terminal | |
| WO2004095841A1 (en) | Content reproduction method | |
| US12041290B2 (en) | Audiovisual collaboration method with latency management for wide-area broadcast | |
| JP6864938B1 (en) | Recorded data playback method and system | |
| JP2002010164A (en) | Computer control method, computer, and storage medium | |
| CN1451123A (en) | Interactive data Transmission system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220804 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220818 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7156646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |