JP2005340955A

JP2005340955A - Program, apparatus, and method for synchronizing a plurality of contents

Info

Publication number: JP2005340955A
Application number: JP2004153727A
Authority: JP
Inventors: Noriyasu Mizushima; 範恭水島; Tomoki Shiraishi; 知樹白石
Original assignee: VFIELD Inc
Current assignee: VFIELD Inc
Priority date: 2004-05-24
Filing date: 2004-05-24
Publication date: 2005-12-08

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology of automatically synchronizing video and music contents such as moving pictures acquired from the Internet and video and music contents such as moving pictures recorded by a computer with each other and furthermore synchronizing all or parts of contents from an optional point of time even when the optional point of time is set after start of the synchronization. <P>SOLUTION: Media information being one or a plurality of combinations of video and music or the like is produced, and media related information with respect to the order of video and music of each media information, a display time, and a play time is produced. An arithmetic section of the computer classifies the media information into front media information and back media information. The arithmetic section displays or plays the front media information and calculates a point of time of desirable synchronization on the basis of the media related information or the like. The arithmetic section starts buffering of each back media information before the point of desirable synchronization time and pauses the back media information at a point of the desirable synchronization time after the end of the buffering. The arithmetic section displays or plays each back media information at a point of the desirable synchronization time at the same time. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ディスプレイが表示する複数の画面における映像、音楽等のコンテンツを同期させて表示するプログラム及び装置並びに方法に関するものである。 The present invention relates to a program, an apparatus, and a method for synchronously displaying contents such as video and music on a plurality of screens displayed on a display.

現在多くのユーザーがインターネットを利用して映画などの動画や音楽をコンピュータ、ディスプレイ、演奏装置等を使用して見たり聞いたりして楽しんでいる。動画や音楽の情報は動画配信を業とする企業が管理するサーバーからダウンロードするが映像や音楽の情報はユーザーが使用するコンピュータ内に記録できる場合もあるが、ストリーミングによって得られ記録できない場合もある。また、ユーザーは他の映像や音楽の情報を自分が使用するコンピュータ内に記録していること場合もありそれらを繰り返し見たり聞いたりすることがある。 Currently, many users enjoy watching and listening to movies and music using the Internet using computers, displays, and performance devices. Video and music information is downloaded from a server managed by a company that distributes video, but video and music information may be recorded on the computer used by the user, but may be obtained by streaming and may not be recorded. . In addition, the user may have recorded other video and music information in the computer that he / she uses, and may repeatedly see and listen to it.

現在インターネットにおけるブロードバンド化が進み情報の高速配信が可能になったことによりディスプレイ上に複数の画面部を設け各々の画面部に異なった映像を表示したり、演奏装置を使用して音楽を演奏することが可能となった。また、インターネットを利用して複数の動画などの映像の情報を取得しそれらを複数の画面部で各々表示したり、複数の画面のうち一部の画面部でインターネットを利用して取得した情報に基づいて動画を表示し、別の画面部ではコンピュータが記録する情報に基づいた動画を表示する場合がある。 With the spread of broadband on the Internet, high-speed distribution of information is now possible, so that multiple screens can be displayed on the display and different images can be displayed on each screen, and music can be played using a performance device. It became possible. In addition, information on videos such as multiple videos can be acquired using the Internet and displayed on multiple screens, or information acquired using the Internet on some of the multiple screens. In some cases, a moving image is displayed based on the information recorded by the computer on another screen.

従前の技術では、複数の画面で表示されている映像や演奏装置で演奏されている音楽を同期させようとた場合、最初に初期値をあわせて複数の動画や音楽を同期させても、インターネットとの接続環境によってインターネットを利用して取得する情報が不安定になって同期がずれていくことがあった。また、例えば複数の画面部のうち一つの画面部について現在よりα時間経過後の映像を見ようとした場合当該画面部の映像はα時間経過後の映像に移っても、他の画面部の表示内容はα時間経過後に対応するとは限らずさらに複数の画面を同期させる場合インターネットを利用することによる接続環境の影響により取得する情報を安定して受信できるとは限らず同期させることが困難であった。特開２００４−９３６０１号などにおいても映像と演奏や歌詞を同期させる方法がある。しかし、仮に映像の再生時点をα時間経過後にずらした場合、映像が一時的に映らなかったり演奏が一時中断されたりすることを防ぐ手段がなかった。
特開２００４−９３６０１号公報 With conventional technology, if you try to synchronize video displayed on multiple screens or music played on a performance device, you can synchronize multiple videos and music with the initial values first. Depending on the connection environment, the information acquired using the Internet may become unstable and become out of sync. In addition, for example, when one of a plurality of screen portions is to be viewed after a time α has elapsed since the current time, the image on the screen has moved to the image after the time α has elapsed, and other screen portions are displayed. The content does not necessarily correspond after the α time has elapsed, and when synchronizing multiple screens, it is difficult to synchronize because it is not always possible to stably receive information acquired due to the influence of the connection environment by using the Internet. It was. Japanese Patent Application Laid-Open No. 2004-93601 also has a method of synchronizing video, performance, and lyrics. However, if the video playback time is shifted after the lapse of α time, there is no means for preventing the video from being temporarily displayed or the performance from being interrupted.
JP 2004-93601 A

解決しようとする問題点は、インターネットを利用して取得した複数の映像の情報及び同様に取得した複数の音楽の情報及びコンピュータのハードディスク等の記録装置に記録されている映像や音楽の情報について、複数の画面部が表示する映像同士や複数の演奏装置同士ないし複数の映像と複数の音楽をいかに同期させるかにある。 The problems to be solved are as follows: information on a plurality of videos acquired using the Internet, information on a plurality of music acquired in the same way, and information on videos and music recorded in a recording device such as a hard disk of a computer. It is how to synchronize videos displayed on a plurality of screens, between a plurality of performance devices, or between a plurality of videos and a plurality of music.

本発明は、同期が始まる時点を計算し、表示ないし演奏する情報を裏情報と表情報に分けて、裏情報につき同期が始まる時点を目標ポイントとしてバッファリングをしバッファリングが完了後ポーズをとり、表情報は表示ないし演奏し、同期が始まる時点で裏情報のポーズを解除するのと同時に表情報から裏情報に切り替えて裏情報を表示ないし演奏して同期をはかることを最も主要な特徴とする。 The present invention calculates the time when synchronization starts, divides the information to be displayed or played into back information and table information, and buffers the back information as the target point when synchronization starts and pauses after buffering is completed. The main feature is that the front information is displayed or played, and when the synchronization starts, the pause of the back information is canceled and at the same time the display information is switched from the front information to the back information and the back information is displayed or played to synchronize. To do.

本発明は、ディスプレイ上の複数の画面ないし複数の演奏装置に関してインターネットを利用して取得した情報やコンピュータが記録した情報を相互に同期させることができるという利点がある。 The present invention has an advantage that information acquired using the Internet regarding a plurality of screens or a plurality of performance devices on a display or information recorded by a computer can be synchronized with each other.

本発明では複数の画面及び複数の演奏装置を同期させるためにメディア情報に最小の関連情報を付加して簡易に実現した。 In the present invention, in order to synchronize a plurality of screens and a plurality of performance devices, the minimum related information is added to the media information, which is simply realized.

図１は本発明のシステム構成図である。図２は本発明のフロー図である。本発明はインターネットで接続されたサーバー５と一つないし複数のコンピュータ１とケーブルないし赤外線等の無線で接続された一つないし複数の入力装置３と一つないし複数のディスプレイ２と一つないし複数の演奏装置４とからなる。サーバー５はサーバー送信部５１とサーバー記録部５２を設ける。サーバー送信部５１はメディア情報等の情報をコンピュータ１の演算部１１の指示に従ってコンピュータ１に送信する。サーバー記録部５２はサーバー５にあるハードディスクであってコンピュータ１に送信する動画や静止画などの映像、音楽に関する情報をメディア情報として記録する。映像や音楽に関するコンテンツは一つないし複数であってよい。サーバー記録部５２は各メディア情報について、メディア情報を構成する映像、音楽に関するコンテンツの順番及び各コンテンツの時間をメディア関連情報として記録する。例えば、ディスプレイ２の第１画面部については、コンテンツをビデオＡ、ビデオＢ、ビデオＣとしてメディア情報Ａを記録し、コンテンツの順番を最初にビデオＡ、次にビデオＢ、最後にビデオＣとしコンテンツの時間をビデオＡを１０分、ビデオＢを１５分、ビデオＣを２５分としてメディア関連情報Ａを記録する。例えば、ディスプレイ２の第２画面部については、コンテンツをビデオＤ、音楽Ｅ、ビデオＦとしてメディア情報Ｂを記録し、コンテンツの順番を最初にビデオＤ、次に音楽Ｅ、最後にビデオＦとしコンテンツの時間をビデオＤを５分、音楽Ｅを７分、ビデオＦを２０分としてメディア関連情報Ｂを記録する。 FIG. 1 is a system configuration diagram of the present invention. FIG. 2 is a flowchart of the present invention. The present invention includes a server 5 connected to the Internet, one or more computers 1, one or more input devices 3, one or more displays 2, and one or more displays connected wirelessly such as cables or infrared rays. And the performance device 4. The server 5 includes a server transmission unit 51 and a server recording unit 52. The server transmission unit 51 transmits information such as media information to the computer 1 in accordance with instructions from the calculation unit 11 of the computer 1. The server recording unit 52 is a hard disk in the server 5 and records video and information such as moving images and still images to be transmitted to the computer 1 as media information. There may be one or more contents related to video and music. For each piece of media information, the server recording unit 52 records the order of content related to video and music constituting the media information and the time of each content as media related information. For example, for the first screen portion of the display 2, the media information A is recorded with the content as video A, video B, and video C, the content order is video A, then video B, and finally video C. The media-related information A is recorded with video A being 10 minutes, video B being 15 minutes, and video C being 25 minutes. For example, for the second screen portion of the display 2, the media information B is recorded with the content as video D, music E, and video F, and the content order is video D, then music E, and finally video F. The media-related information B is recorded with video D as 5 minutes, music E as 7 minutes, and video F as 20 minutes.

コンピュータ１はインターネットを利用してサーバー５と接続する。コンピュータ１はパーソナルコンピュータ１などの市販のものでよい。コンピュータ１は入力装置３とディスプレイ２と演奏装置４とをケーブルないし赤外線無線などで接続する。入力装置はキーボード、マウスなどユーザーが任意の文字記号等を入力できるものでよい。ディスプレイは市販の液晶画面などでよい。演奏装置はコンピュータの指示により音楽やサウンド効果を奏でるものでよい。コンピュータ１はコンピュータ記録部１２及びＣＰＵ等によって計算する演算装置に演算部１１を有し、コンピュータ１は時間を計測できる時間信号部１８を有し時間信号部１８は時間信号を出す。コンピュータ記録部１２は表メディア情報用のメモリ１３と裏メディア情報用のメモリ１４とメディア関連情報用のメモリ１５と計算結果用のメモリ１６とコンピュータハードディスク１７からなる。演算部１１はインターネットを利用してサーバー５からメディア情報及びメディア関連情報を取得するように指示する。サーバー送信部５１は演算部１１の指示に従ってメディア情報及びメディア関連情報をコンピュータ１に送信する。ディスプレイ２には第１画面部、第２画面部、第３画面部のように複数の画面部を設ける。演奏装置４も第１演奏装置、第２演奏装置、第３演奏装置のように複数設ける。 The computer 1 connects to the server 5 using the Internet. The computer 1 may be a commercially available computer such as a personal computer 1. The computer 1 connects the input device 3, the display 2, and the performance device 4 with a cable or an infrared radio. The input device may be a keyboard, mouse, or the like that allows the user to input arbitrary character symbols. The display may be a commercially available liquid crystal screen. The performance device may play music and sound effects according to instructions from the computer. The computer 1 has a computing unit 11 in a computing device that calculates by a computer recording unit 12 and a CPU. The computer 1 has a time signal unit 18 that can measure time, and the time signal unit 18 outputs a time signal. The computer recording unit 12 comprises a memory 13 for front media information, a memory 14 for back media information, a memory 15 for media related information, a memory 16 for calculation results, and a computer hard disk 17. The calculation unit 11 instructs to acquire media information and media related information from the server 5 using the Internet. The server transmission unit 51 transmits the media information and the media related information to the computer 1 according to the instruction of the calculation unit 11. The display 2 is provided with a plurality of screen portions such as a first screen portion, a second screen portion, and a third screen portion. A plurality of performance devices 4 are also provided such as a first performance device, a second performance device, and a third performance device.

演算部１１はメディア情報を表メディア情報と裏メディア情報に分ける。表メディア情報と裏メディア情報はメディア情報の内容とする。例えばメディア情報Ａであれば表メディア情報Ａと裏メディア情報Ａに分ける。演算部１１は必要がある場合表メディア情報を表メディア情報用のメモリ１３に記録し、裏メディア情報を裏メディア情報用のメモリ１４に記録する。演算部１１は必要がある場合メディア関連情報をメディア関連情報用のメモリ１５に記録する。 The computing unit 11 divides the media information into front media information and back media information. The front media information and the back media information are the contents of the media information. For example, media information A is divided into front media information A and back media information A. The computing unit 11 records the front media information in the front media information memory 13 and the back media information in the back media information memory 14 when necessary. The calculation unit 11 records the media related information in the memory 15 for media related information when necessary.

演算部１１は記録したメディア関連情報から各メディア情報を同期させる同期開始時点を計算する。演算部１１は計算結果を計算結果用のメモリ１６に記録する。例えば、メディア情報Ａとメディア情報Ｂを同期させる場合メディア情報ＡのビデオＡの開始時点とメディア情報ＢのビデオＤの開始時点を同期開始時点としてもよく、メディア情報ＡのビデオＡの開始時点から３分後とメディア情報Ｂの音楽Ｅの開始時点から５分後を同期開始時点としてもよい。同期開始時点は予め決定された時点でもよく、ユーザーが入力装置３を用いて同期開始時点を指定してもよい。例えば、演算部１１はメディア情報ＡのビデオＡの開始時点から３分後を同期開始時点とする計算結果を計算結果用のメモリ１６に記録する。 The calculation unit 11 calculates a synchronization start point for synchronizing each piece of media information from the recorded media related information. The calculation unit 11 records the calculation result in the memory 16 for the calculation result. For example, when the media information A and the media information B are synchronized, the start time of the video A of the media information A and the start time of the video D of the media information B may be set as the synchronization start time, and from the start time of the video A of the media information A The synchronization start time may be 3 minutes later and 5 minutes after the start time of the music E of the media information B. The synchronization start time may be a predetermined time, or the user may specify the synchronization start time using the input device 3. For example, the calculation unit 11 records a calculation result in the calculation result memory 16 in which the synchronization start time is 3 minutes after the start time of the video A of the media information A.

そして、演算部１１は最初に表メディア情報をディスプレイ２の画面部に表示するように指示する。演算部１１はメディア情報が音楽に関する情報の場合は表メディア情報を演奏装置４に演奏するように指示する。例えば表メディア情報Ａを第１画面部に表示するように指示し、表メディア情報Ｂを第２画面部に表示するように指示する。メディア情報Ｂの２番目のコンテンツである音楽Ｅであれば第１演奏装置に表メディア情報Ｂを演奏するように指示する。さらに、別のメディア情報を同期させてもよい。例えば、ビデオＧ、ビデオＨ、音楽Ｉのコンテンツをもつメディア情報Ｃで、コンテンツの順番を最初にビデオＧ、次にビデオＨ、最後に音楽Ｉとしコンテンツの時間をビデオＧを１２分、ビデオＨを１５分、音楽Ｉを１８分としてメディア関連情報Ｃを作成しサーバー記録部５２に記録させる。サーバー５はメディア情報Ｃ及びメディア関連情報Ｃをコンピュータ１に送信し、演算部１１はメディア情報Ａ及びメディア情報Ｂの記録された同期開始時点からメディア情報Ｃの同期開始時点を計算し、表メディア情報Ｃをメディア情報Ａとメディア情報Ｂに同期するように第３画面部に表示するよう指示してもよい。メディア情報Ｃのコンテンツの音楽Ｉに関する表メディア情報Ｃを第２演奏装置で演奏するように指示してもよい。 Then, the calculation unit 11 first instructs the display media information to be displayed on the screen unit of the display 2. When the media information is information related to music, the calculation unit 11 instructs the performance device 4 to play the table media information. For example, the front media information A is instructed to be displayed on the first screen portion, and the front media information B is instructed to be displayed on the second screen portion. If the music E is the second content of the media information B, the first performance apparatus is instructed to play the front media information B. Further, other media information may be synchronized. For example, in media information C having contents of video G, video H, and music I, the content order is first video G, then video H, and finally music I. Content time is 12 minutes for video G, video H For 15 minutes and music I for 18 minutes, media-related information C is created and recorded in the server recording unit 52. The server 5 transmits the media information C and the media related information C to the computer 1, and the calculation unit 11 calculates the synchronization start point of the media information C from the synchronization start point at which the media information A and the media information B are recorded. You may instruct | indicate to display on the 3rd screen part so that the information C may synchronize with the media information A and the media information B. It may be instructed to play the table media information C related to the music I of the content of the media information C on the second performance device.

また、コンピュータハードディスク１７にメディア情報及びメディア関連情報を記録してインターネットを利用して取得したメディア情報と同期させてもよい。例えば、ディスプレイ２の第４画面部については、コンピュータハードディスク１７にコンテンツをビデオＪ、ビデオＫ、音楽Ｌとしてメディア情報Ｄを記録し、コンテンツの順番を最初にビデオＪ、次にビデオＫ、最後に音楽Ｌとしコンテンツの時間をビデオＪを８分、ビデオＫを１６分、音楽Ｌを５分としてメディア関連情報Ｄを記録する。演算部１１はメディア情報Ｄとメディア情報Ａ、メディア情報Ｂ、メディア情報Ｃとを各記録したメディア関連情報ないし記録した同期開始時点の計算結果からさらにメディア情報Ｄの同期開始時点を計算して、表メディア情報Ｄを各メディア情報と同期するようにして第４画面部に表示するよう指示してもよい。メディア情報Ｄのコンテンツの音楽Ｌに関する表メディア情報Ｄを第３演奏装置で演奏するように指示してもよい。かようにして各メディア情報が同期して画面部に表示され、同期して演奏装置４で演奏される。 Further, the media information and the media related information may be recorded on the computer hard disk 17 and synchronized with the media information acquired using the Internet. For example, for the fourth screen portion of the display 2, the media information D is recorded as video J, video K, music L on the computer hard disk 17, the content order is first video J, then video K, and finally Media-related information D is recorded with music L as the content time of video J for 8 minutes, video K for 16 minutes, and music L for 5 minutes. The calculation unit 11 further calculates the synchronization start time of the media information D from the media related information recorded for each of the media information D, the media information A, the media information B, and the media information C or the calculation result of the recorded synchronization start time. The front media information D may be instructed to be displayed on the fourth screen unit in synchronization with each media information. It may be instructed to play the table media information D related to the music L of the content of the media information D on the third performance device. In this way, each piece of media information is synchronously displayed on the screen, and is played on the performance device 4 synchronously.

ユーザーがメディア情報のうち一つを現在見たり聞いたりしている時点から別の任意の時点から見たり聞いたりしたい場合、他のメディア情報をすべて同期させる指示について説明する。ユーザーは入力装置３を用いて各メディア情報の一つを現在の時点からα時間後の時点に設定する。演算部１１はユーザーの入力結果を取得する。例えばメディア情報Ａ、メディア情報Ｂ、メディア情報Ｃ、メディア情報Ｄが各々ビデオＡ、ビデオＤ、ビデオＧ、ビデオＪの開始時点から同期を開始しており、ユーザーがメディア情報ＡのビデオＡの開始時点から５分後の第１画面部を見ていたとする。このときユーザーは第２画面部ではビデオＤを見終わったところで、第３画面部ではビデオＧの開始後５分が経過した時点を、第４画面部ではビデオＪの開始後５分が経過した時点を見ている。 An instruction to synchronize all other media information when the user wants to view or listen to any one of the media information from a point of time currently being viewed or heard will be described. The user uses the input device 3 to set one piece of each piece of media information at a time point α hours after the current time point. The calculation unit 11 acquires a user input result. For example, the media information A, the media information B, the media information C, and the media information D are synchronized from the start of the video A, the video D, the video G, and the video J, respectively, and the user starts the video A of the media information A. Assume that the user is looking at the first screen portion 5 minutes after the time. At this time, the user has finished watching the video D on the second screen part, the time when 5 minutes have passed after the start of the video G on the third screen part, and the time 5 minutes after the start of the video J has passed on the fourth screen part. Looking at the time.

その後例えばユーザーが入力装置３を用いて第１画面部についてメディア情報ＡのビデオＣが開始してから２分後に設定する。このとき同期が開始してから２７分が経過しており、ユーザーは第２画面部ではメディア情報ＢのビデオＦが開始してから１５分後、第３画面部ではメディア情報ＣのビデオＨが終了し、第２演奏装置が音楽Ｉを開始する時点、第３演奏装置ではメディア情報Ｄの音楽Ｌが開始してから３分後の時点から各メディア情報を開始し同期させる必要がある。 Thereafter, for example, the user uses the input device 3 to set 2 minutes after the start of the video C of the media information A for the first screen portion. At this time, 27 minutes have passed since the start of synchronization, and the user has played the video H of the media information B on the second screen 15 minutes after the start of the video F of the media information B on the second screen. It is necessary to start and synchronize each piece of media information when the second playing device starts music I, and at the third playing device three minutes after the start of the music L of the media information D.

演算部１１は記録した同期開始時点と記録したメディア関連情報及び時間信号部１８の出す時間信号からα時間後の時点がユーザーが変更したメディア情報について具体的にどの時点であるのかを計算し、計算結果をα時点として計算結果用のメモリ１６に記録する。例えば、α時間後がメディア情報ＡのビデオＣが開始してから２分後であった場合、演算部１１は記録した同期開始時点はビデオＡの開始時点であり、記録したメディア関連情報ＡからビデオＡの１０分が経過し、ビデオＢの１５分が経過し、ビデオＣの開始後２分が経過した時点で記録した同期開始時点から２７分後の時点をα時点と計算し、計算結果をα時点として計算結果用のメモリ１６に記録する。次に演算部１１は記録した同期開始時点と各記録したメディア関連情報から各メディア情報に関し記録されたα時点が各メディア情報上の具体的にどの時点になるのか計算しβ時点として各メディア情報毎に計算結果用のメモリ１６にそれぞれ記録する。 The calculation unit 11 calculates the specific point in time about the media information changed by the user from the time point α after the recorded synchronization start time and the recorded media related information and the time signal output by the time signal unit 18, The calculation result is recorded in the calculation result memory 16 as α time. For example, when the time α is two minutes after the start of the video C of the media information A, the calculation unit 11 records the synchronization start time at the start time of the video A. From the recorded media related information A 10 minutes of video A, 15 minutes of video B, and 2 minutes after the start of video C, the time 27 minutes after the start of recording is calculated as α time, and the calculation result Is recorded in the memory 16 for calculation results as time α. Next, the calculation unit 11 calculates from the recorded synchronization start time and each recorded media related information which time point α recorded for each piece of media information will be on the media information, and calculates each media information as β time point. Every time, it records in the memory 16 for calculation results.

例えば、演算部１１はメディア情報Ｂでは、記録した同期開始時点がビデオＤの開始時点で、記録したメディア関連情報Ｂから記録した同期開始時点から２７分後はビデオＤの５分が経過し、音楽Ｅの７分が経過し、ビデオＦの開始後１５分が経過した時点と計算しこの時点をβＢ時点として計算結果用のメモリ１６に記録する。例えば演算部１１はメディア情報Ｃでは、記録した同期開始時点がビデオＧの開始時点で、記録したメディア関連情報Ｃから記録した同期開始時点から２７分後はビデオＧの１２分が経過し、ビデオＨの１５分が経過した時点と計算しこの時点をβＣ時点として計算結果用のメモリ１６に記録する。例えば演算部１１はメディア情報Ｄでは、記録した同期開始時点がビデオＪの開始時点で、記録したメディア関連情報Ｄから記録した同期開始時点から２７分後はビデオＪの８分が経過し、ビデオＫの１６分が経過し、音楽Ｌの開始後３分が経過した時点と計算しこの時点をβＤ時点として計算結果用のメモリ１６に記録する。 For example, in the media information B, the calculation unit 11 indicates that the recorded synchronization start time is the start time of the video D, and 27 minutes after the synchronization start time recorded from the recorded media related information B, 5 minutes of the video D elapses. It is calculated that 7 minutes of music E have elapsed and 15 minutes have elapsed since the start of video F, and this time is recorded as βB time in memory 16 for calculation results. For example, in the media information C, the calculation unit 11 indicates that the recorded synchronization start time is the start time of the video G, and 12 minutes of the video G elapses 27 minutes after the synchronization start time recorded from the recorded media related information C. The time when 15 minutes of H have passed is calculated, and this time is recorded in the memory 16 for calculation results as the βC time. For example, in the media information D, the calculation unit 11 indicates that the recorded synchronization start time is the start time of the video J, and the video J 8 minutes elapses 27 minutes after the recorded synchronization start time from the recorded media related information D. It is calculated that 16 minutes of K have passed and 3 minutes have passed since the start of music L, and this time is recorded in the memory 16 for calculation results as βD time.

演算部１１は記録されたα時点もしくは記録されたβ時点でのメディア情報を目標ポイントとして裏メディア情報のバッファリングを開始し、裏メディア情報を裏メディア情報用のメモリ１４に記録する。演算部１１は目標ポイントまでのバッファリングが完了したら記録した裏メディア情報にポーズをかける。表メディア情報はそのまま第１画面部、第１演奏装置などで表示ないし演奏される。例えば、演算部１１は記録したα時点でのメディア情報Ａを目標ポイントとして裏メディア情報Ａについてバッファリングを開始し、裏メディア情報Ａを裏メディア情報用のメモリ１４に記録し、目標ポイントまでのバッファリングが完了したら記録した裏情報Ａにポーズをかける。第１画面部では表メディア情報Ａがそのまま表示される。例えば、演算部１１はβＢ時点でのメディア情報Ｂを目標ポイントとして裏メディア情報Ｂのバッファリングを開始し、裏メディア情報Ｂを裏メディア情報用のメモリ１４に記録し、目標ポイントまでのバッファリングが完了したら記録した裏メディア情報Ｂにポーズをかける。第２画面部では表メディア情報Ｂがそのまま表示される。例えば、演算部１１はβＣ時点でのメディア情報Ｃを目標ポイントとして裏メディア情報Ｃのバッファリングを開始し、裏メディア情報Ｃを裏メディア情報用のメモリ１４に記録し、目標ポイントまでのバッファリングが完了したら裏メディア情報Ｃにポーズをかける。第３画面部では表メディア情報Ｃがそのまま表示される。例えば、演算部１１はβＤ時点でのメディア情報Ｄを目標ポイントとして裏メディア情報Ｄのバッファリングを開始し、裏メディア情報Ａを裏メディア情報用のメモリ１４に記録し、目標ポイントまでのバッファリングが完了したらポーズをかける。第４画面部では表メディア情報Ｄがそのまま表示される。 The computing unit 11 starts buffering of the back media information using the recorded media information at the α time or the recorded β time as a target point, and records the back media information in the memory 14 for the back media information. When the buffering up to the target point is completed, the calculation unit 11 pauses the recorded back media information. The front media information is displayed or played as it is on the first screen unit, the first performance device, or the like. For example, the calculation unit 11 starts buffering for the back media information A using the recorded media information A at the time α as a target point, records the back media information A in the memory 14 for back media information, and reaches the target point. When buffering is completed, the recorded back information A is paused. In the first screen part, the front media information A is displayed as it is. For example, the computing unit 11 starts buffering of the back media information B using the media information B at the time of βB as a target point, records the back media information B in the memory 14 for back media information, and buffers to the target point. When is completed, the recorded back media information B is paused. In the second screen portion, the front media information B is displayed as it is. For example, the calculation unit 11 starts buffering of the back media information C with the media information C at the time of βC as a target point, records the back media information C in the memory 14 for back media information, and buffers to the target point. Is completed, the back media information C is paused. In the third screen portion, the front media information C is displayed as it is. For example, the calculation unit 11 starts buffering the back media information D using the media information D at the time of βD as a target point, records the back media information A in the memory 14 for the back media information, and buffers the data up to the target point. When you are done, pose. In the fourth screen portion, the front media information D is displayed as it is.

そして、演算部１１は時間信号部１８の出す時間信号から計算して各メディア情報の表示ないし演奏が記録したα時点、記録したβ時点に達した場合記録した各裏メディア情報のポーズを解除するとともに、各画面部ないし各演奏装置４に記録した裏メディア情報を表示ないし演奏するように指示する。その後演算部１１はサーバー５からメディア情報を引き続き取得して裏メディア情報によって各画面部ないし演奏装置４で表示ないし演奏するよう指示する。例えば、演算部１１は記録したα時点に達した場合記録した裏メディア情報Ａのポーズを解除し、記録した裏メディア情報Ａを第１画面部に表示するように指示する。例えば、演算部１１は記録したβＢ時点に達した場合記録した裏メディア情報Ｂのポーズを解除し、記録した裏メディア情報Ｂを第２画面部に表示するように指示する。例えば、演算部１１は記録したβＣ時点に達した場合記録した裏メディア情報Ｃのポーズを解除し、記録した裏メディア情報Ｃを第２演奏装置で演奏するように指示する。例えば、演算部１１は記録したβＤ時点に達した場合記録した裏メディア情報Ｄのポーズを解除し、記録した裏メディア情報Ｄを第２演奏装置で演奏するように指示する。その後演算部１１はサーバー５から各メディア情報を引き続き取得して裏メディア情報によって各画面部ないし演奏装置４で表示ないし演奏するよう指示する。 Then, the calculation unit 11 calculates from the time signal output from the time signal unit 18 and cancels the pause of each recorded back media information when the display or performance of each media information reaches the recorded α time or the recorded β time. At the same time, the back media information recorded on each screen unit or each performance device 4 is instructed to be displayed or played. Thereafter, the calculation unit 11 continuously acquires the media information from the server 5 and instructs the screen unit or the performance device 4 to display or perform the performance based on the back media information. For example, the calculation unit 11 instructs to cancel the pause of the recorded back media information A and display the recorded back media information A on the first screen when the recorded α time point is reached. For example, the calculation unit 11 instructs to cancel the pause of the recorded back media information B and display the recorded back media information B on the second screen unit when the recorded βB time point is reached. For example, the arithmetic unit 11 releases the pause of the recorded back media information C when the recorded βC time is reached, and instructs the second performance device to perform the recorded back media information C. For example, the arithmetic unit 11 cancels the pause of the recorded back media information D when the recorded βD time is reached, and instructs the second performance device to perform the recorded back media information D. Thereafter, the calculation unit 11 continuously obtains each media information from the server 5 and instructs to display or perform the performance on each screen unit or the performance device 4 according to the back media information.

各画面部ないし演奏装置４は記録したα時点と記録したβ時点が同時なため、同時に記録した裏メディア情報に基づいた映像を表示し音楽を演奏することで同期が開始される。さらにユーザーが各メディア情報のうち一つを現在の時点よりαＢ時間後の時点に変更した場合、演算部１１はαＢ時間後の時点から各記録したメディア関連情報、記録した同期開始情報を使用して新たにα時点、β時点を計算し、計算結果を計算結果用のメモリ１６に記録する。演算部１１は今度は記録したα時点ないし記録したβ時点での各メディア情報を取得すべく各表メディア情報のバッファリングを開始し、各表メディア情報を表メディア情報用のメモリ１３に記録しバッファリングが完了したら記録したα時点、記録したβ時点でポーズをかける。演算部１１は時間信号部１８の出す時間信号から計算して記録したα時点、記録したβ時点に達した場合記録した各表メディア情報のポーズを解除し、記録した表メディア情報を各画面部ないし各演奏装置４に表示ないし演奏するように指示する。その後演算部１１はサーバー５からメディア情報を引き続き取得して表メディア情報によって各画面部ないし演奏装置４で表示ないし演奏するよう指示する。かように前述の手順により各メディア情報の同期をはかることができる。 Since each screen unit or performance device 4 has the recorded α time point and the recorded β time point at the same time, synchronization is started by displaying video based on the simultaneously recorded back media information and playing music. Further, when the user changes one of the pieces of media information to a time point after αB time from the current time point, the calculation unit 11 uses each recorded media related information and recorded synchronization start information from the time point after αB time. Then, the α point and the β point are newly calculated, and the calculation result is recorded in the calculation result memory 16. The computing unit 11 starts buffering each table media information to acquire each media information at the recorded α time or recorded β time, and records each table media information in the table media information memory 13. When buffering is complete, pause at the recorded α time and recorded β time. The calculation unit 11 cancels the pause of each recorded table media information when the α time point calculated and recorded from the time signal output from the time signal unit 18 and the recorded β time point is reached, and the recorded table media information is displayed on each screen unit. Or it instructs each performance device 4 to display or perform. Thereafter, the calculation unit 11 continuously obtains the media information from the server 5 and instructs to display or perform on each screen unit or the performance device 4 according to the table media information. Thus, the media information can be synchronized by the above-described procedure.

さらに自動的に同期をはかる方法について説明する。前述まではユーザーが各メディア情報のうち一つを現在の時点よりα時間後などの時点に変更したが、演算部１１が各メディア情報のうち一つを選択し現在の時点よりαＣ時間後の時点に変更する。演算部１１は記録した同期開始時点や各記録したメディア関連情報及びαＣ時間後の時点から新たにα時点及びβ時点を計算し、計算結果用のメモリ１６に記録する。演算部１１は記録したα時点ないし記録したβ時点での各メディア情報を目標として各裏メディア情報のバッファリングを開始し、各裏メディア情報を裏メディア情報用のメモリ１４に記録し、目標ポイントまでのバッファリングが完了したら記録した各裏メディア情報にポーズをかける。演算部１１は時間信号部１８の出す時間信号から計算して記録したα時点、記録したβ時点に達した場合記録した各裏メディア情報のポーズを解除し記録した裏メディア情報を各画面部ないし各演奏装置４に表示ないし演奏するように指示する。その後演算部１１はサーバー５からメディア情報を引き続き取得して裏メディア情報によって各画面部ないし演奏装置４で表示ないし演奏するよう指示する。演算部１１が自動的にαＣ時間を設定することにより前述の手順で自動的に各メディア情報の同期をはかることができる。 Further, a method for automatically synchronizing will be described. Until now, the user has changed one of the media information to a time such as α hours after the current time, but the calculation unit 11 selects one of the media information and αC time after the current time. Change to the time. The calculation unit 11 newly calculates the α time and β time from the recorded synchronization start time, each recorded media related information, and the time after αC time, and records them in the memory 16 for calculation results. The calculation unit 11 starts buffering of each back media information with each media information at the recorded α time or recorded β time as a target, and records each back media information in the memory 14 for back media information. Pause the recorded back media information when buffering is completed. The calculation unit 11 calculates the time signal calculated from the time signal output from the time signal unit 18 and records the recorded back media information by canceling the pause of each recorded back media information when the recorded β time point is reached. Each performance apparatus 4 is instructed to display or perform. Thereafter, the calculation unit 11 continuously acquires the media information from the server 5 and instructs the screen unit or the performance device 4 to display or perform the performance based on the back media information. When the calculation unit 11 automatically sets the αC time, the media information can be automatically synchronized according to the above-described procedure.

その後演算部１１が各メディア情報のうち一つを選択し現在の時点よりαＤ時間後の時点に変更する。演算部１１はαＤ時間後の時点から各記録したメディア関連情報や記録した同期開始時点を使用して新たにα時点、β時点を計算する。演算部１１は今度は記録したα時点ないし記録したβ時点での各メディア情報を目標ポイントとして各表メディア情報のバッファリングを開始し、各表メディア情報を表メディア情報用のメモリ１３に記録し、目標ポイントまでのバッファリングが完了したら記録した各表メディア情報にポーズをかける。演算部１１は時間信号部１８の出す時間信号から計算して記録したα時点、記録したβ時点に達した場合記録した各表メディア情報のポーズを解除し記録した表メディア情報を各画面部ないし各演奏装置４に表示ないし演奏するよう指示する。その後演算部１１はサーバー５からメディア情報を引き続き取得して表メディア情報によって各画面部ないし演奏装置４で表示ないし演奏するよう指示する。演算部１１が自動的にαＤ時間を設定した手順を今度αＥ時間後に設定して前述と同様の手順を繰り返すことにより自動的に各メディア情報の同期をはかることができる。 Thereafter, the calculation unit 11 selects one of the pieces of media information and changes it to a time point after αD time from the current time point. The calculation unit 11 newly calculates the α time and β time using each recorded media related information and the recorded synchronization start time from the time after αD time. The computing unit 11 starts buffering each table media information by using each media information at the recorded α time or recorded β time as a target point, and records each table media information in the table media information memory 13. When the buffering up to the target point is completed, pause each recorded media information. The computing unit 11 calculates the time signal outputted from the time signal output from the time signal unit 18, and when the recorded β time point is reached, the pause of each recorded table media information is released and the recorded table media information is stored in each screen unit. Each performance apparatus 4 is instructed to display or perform. Thereafter, the calculation unit 11 continuously obtains the media information from the server 5 and instructs to display or perform on each screen unit or the performance device 4 according to the table media information. It is possible to automatically synchronize each media information by repeating the same procedure as described above by setting the procedure in which the calculation unit 11 automatically sets the αD time this time after the αE time.

インターネットから取得されるメディア情報やコンピュータが記録するメディア情報を任意の時間に同期させることができ、しかも表メディア情報と裏メディア情報を同期開始時に切り替えることにより映像や音楽にムラや途切れがなく同期を実現できる。 Media information acquired from the Internet and media information recorded by the computer can be synchronized at any time, and by switching between front media information and back media information at the start of synchronization, video and music can be synchronized without unevenness or interruption Can be realized.

システム構成図System Configuration フロー図Flow diagram

符号の説明Explanation of symbols

１コンピュータ
１１演算部
１２コンピュータ記録部
１３表メディア情報用のメモリ
１４裏メディア情報用のメモリ
１５メディア関連情報用のメモリ
１６計算結果用のメモリ
１７コンピュータハードディスク
１８時間信号部
２ディスプレイ
３入力装置
４演奏装置
５サーバー
５１サーバー送信部
５２サーバー記録部 DESCRIPTION OF SYMBOLS 1 Computer 11 Computation part 12 Computer recording part 13 Memory for front media information 14 Memory for back media information 15 Memory for media related information 16 Memory for calculation results 17 Computer hard disk
18 Time signal unit 2 Display 3 Input device 4 Performance device 5 Server 51 Server transmission unit 52 Server recording unit

Claims

複数の映像及び音楽を同期させるプログラムに関して、ユーザー側に設置されるコンピュータとユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれたディスプレイとユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれた入力装置とユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれた演奏装置と映像もしくは音楽に関する情報を送信する側に設置され該コンピュータと電子信号を伝達する媒体物を介してインターネットで結ばれたサーバーとからなる装置において、映像及び音楽に関する情報に時間及び順番に関する情報を設定する手段と該コンピュータの演算部が映像及び音楽に関する情報を２つに分ける手段と該コンピュータの演算部が映像及び音楽に関する情報に同期させる時点を設定する手段と該コンピュータの演算部が設定された該同期させる時点を目標ポイントとして該２つに分けた情報の一方のバッファリングを開始する手段と該コンピュータの演算部が該２つに分けバッファリングを開始し該コンピュータのメモリに記録する手段と該コンピュータの演算部が該バッファリングを開始し記録した情報が該目標ポイントまで記録された時点で該バッファリングを開始し記録した情報にポーズを取る手段と該コンピュータの演算部が該同期させる時点に達した場合該バッファリングを開始し記録しポーズをかけた情報のポーズを解除する手段と該コンピュータの演算部が該２つに分けた情報のバッファリングをしていない情報に代えて該ポーズを解除した情報を該ディスプレイないし該演奏装置が表示ないし演奏させる手段を備えることを特徴とするプログラム。 Regarding a program for synchronizing a plurality of images and music, a computer installed on the user side, a computer installed on the user side and a medium connected to transmit electronic signals with the computer, or a display connected by infrared rays, and the computer installed on the user side On the user's side with an input device connected with a medium or infrared that transmits an electronic signal to the computer and a medium that transmits an electronic signal with the computer or on a side that transmits information about video or music In an apparatus comprising an installed server and a server connected to the Internet via a medium for transmitting electronic signals, means for setting information relating to time and order in information relating to video and music, and a computing unit of the computer And means for dividing information about music into two and the computer Starts buffering of one of the information divided into the two points with the target point as the means for setting the time point when the computing unit of the computer synchronizes with information related to video and music and the time point when the computing unit of the computer is set The computer and the computing unit of the computer divide into the two, start buffering and record in the memory of the computer, and the information that the computing unit of the computer starts and records is recorded up to the target point. The buffering is started and the recorded information is paused. When the time for synchronizing the computer and the computer is reached, the buffering is started and the recorded information is paused. And the computing unit of the computer solves the pause instead of the information that is not buffered into the two information. Program the information, characterized in that it comprises means for the display or the playing device to display or play.

複数の映像及び音楽を同期させる装置に関して、ユーザー側に設置されるコンピュータとユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれたディスプレイとユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれた入力装置とユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれた演奏装置と映像もしくは音楽に関する情報を送信する側に設置され該コンピュータと電子信号を伝達する媒体物を介してインターネットで結ばれたサーバーとからなる装置において、映像及び音楽に関する情報に時間及び順番に関する情報を設定する手段と該コンピュータの演算部が映像及び音楽に関する情報を２つに分ける手段と該コンピュータの演算部が映像及び音楽に関する情報に同期させる時点を設定する手段と該コンピュータの演算部が設定された該同期させる時点を目標ポイントとして該２つに分けた情報の一方のバッファリングを開始する手段と該コンピュータの演算部が該２つに分けバッファリングを開始し該コンピュータのメモリに記録する手段と該コンピュータの演算部が該バッファリングを開始し記録した情報が該目標ポイントまで記録された時点で該バッファリングを開始し記録した情報にポーズを取る手段と該コンピュータの演算部が該同期させる時点に達した場合該バッファリングを開始し記録しポーズをかけた情報のポーズを解除する手段と該コンピュータの演算部が該２つに分けた情報のバッファリングをしていない情報に代えて該ポーズを解除した情報を該ディスプレイないし該演奏装置が表示ないし演奏させる手段を備えることを特徴とする装置。 Regarding a device for synchronizing a plurality of images and music, a computer installed on the user side, a computer installed on the user side and a medium that transmits electronic signals with the computer, or a display connected by infrared rays, and a computer installed on the user side On the user's side with an input device connected with a medium or infrared that transmits an electronic signal to the computer and a medium that transmits an electronic signal with the computer or on a side that transmits information about video or music In an apparatus comprising an installed server and a server connected to the Internet via a medium for transmitting electronic signals, means for setting information relating to time and order in information relating to video and music, and a computing unit of the computer And means for dividing information about music into two and the computer Means for setting a point of time when the calculation unit of the computer synchronizes with information related to video and music, and starts buffering of one of the two divided information with the point of synchronization set by the calculation unit of the computer as a target point The computer and the computer computing unit divide into two and start buffering and record in the computer memory and the computer computing unit started the buffering and recorded information was recorded up to the target point Means for starting the buffering at the time and pausing the recorded information, and means for releasing the pause of the recorded and paused information when the computing unit of the computer reaches the time of synchronization And the computation unit of the computer releases the pause instead of the information that is not buffered in the two pieces of information. Broadcasting the apparatus characterized in that it comprises means for the display or the playing device to display or play.

複数の映像及び音楽を同期させる方法に関して、ユーザー側に設置されるコンピュータとユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれたディスプレイとユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれた入力装置とユーザー側に設置され該コンピュータと電子信号を伝達する媒体物もしくは赤外線で結ばれた演奏装置と映像もしくは音楽に関する情報を送信する側に設置され該コンピュータと電子信号を伝達する媒体物を介してインターネットで結ばれたサーバーとからなる装置において、映像及び音楽に関する情報に時間及び順番に関する情報を設定する手段と該コンピュータの演算部が映像及び音楽に関する情報を２つに分ける手段と該コンピュータの演算部が映像及び音楽に関する情報に同期させる時点を設定する手段と該コンピュータの演算部が設定された該同期させる時点を目標ポイントとして該２つに分けた情報の一方のバッファリングを開始する手段と該コンピュータの演算部が該２つに分けバッファリングを開始し該コンピュータのメモリに記録する手段と該コンピュータの演算部が該バッファリングを開始し記録した情報が該目標ポイントまで記録された時点で該バッファリングを開始し記録した情報にポーズを取る手段と該コンピュータの演算部が該同期させる時点に達した場合該バッファリングを開始し記録しポーズをかけた情報のポーズを解除する手段と該コンピュータの演算部が該２つに分けた情報のバッファリングをしていない情報に代えて該ポーズを解除した情報を該ディスプレイないし該演奏装置が表示ないし演奏させる手段を備えることを特徴とする方法。 Regarding a method of synchronizing a plurality of images and music, a computer installed on the user side, a computer installed on the user side and a medium connected to transmit electronic signals with the computer, or a display connected by infrared rays, and the computer installed on the user side On the user's side with an input device connected with a medium or infrared that transmits an electronic signal to the computer and a medium that transmits an electronic signal with the computer or on a side that transmits information about video or music In an apparatus comprising an installed server and a server connected to the Internet via a medium for transmitting electronic signals, means for setting information relating to time and order in information relating to video and music, and a computing unit of the computer And means for dividing information about music into two and the computer Means for setting a point of time when the calculation unit of the computer synchronizes with information related to video and music, and starts buffering of one of the two divided information with the point of synchronization set by the calculation unit of the computer as a target point The computer and the computer computing unit divide into two and start buffering and record in the computer memory and the computer computing unit started the buffering and recorded information was recorded up to the target point Means for starting the buffering at the time and pausing the recorded information, and means for releasing the pause of the recorded and paused information when the computing unit of the computer reaches the time of synchronization And the computation unit of the computer releases the pause instead of the information that is not buffered in the two pieces of information. Method characterized by comprising means for the display or the playing device to display or play the broadcast.