JP2012195704A - Synchronization control device, synchronization control method, and synchronization control program - Google Patents

Synchronization control device, synchronization control method, and synchronization control program Download PDF

Info

Publication number
JP2012195704A
JP2012195704A JP2011057275A JP2011057275A JP2012195704A JP 2012195704 A JP2012195704 A JP 2012195704A JP 2011057275 A JP2011057275 A JP 2011057275A JP 2011057275 A JP2011057275 A JP 2011057275A JP 2012195704 A JP2012195704 A JP 2012195704A
Authority
JP
Japan
Prior art keywords
time
data
reproduction
sound data
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011057275A
Other languages
Japanese (ja)
Inventor
Hiroshi Sasage
泰士 捧
Noriaki Murata
憲明 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011057275A priority Critical patent/JP2012195704A/en
Publication of JP2012195704A publication Critical patent/JP2012195704A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a synchronization control device which synchronizes the same data reproduced in different devices and displays the same reproduction place in each of the devices, a synchronization control method, and a synchronization control program.SOLUTION: A synchronization control device, a synchronization control method, and a synchronization control program compare first sound data which are distribution data received through a second line and reproduced by a first terminal, with second sound data which are distribution data distributed from a server and reproduced by a second terminal; detect whether there is a coincident period in the first sound data and the second sound data; obtain shifted time between a start of the coincident period of the second sound data and a start of the coincident period of the first sound data when there is the coincident period; and synchronize data outputted by the first terminal and the second terminal according to the time.

Description

本発明は、異なる装置で再生する同じデータを同期させる同期制御装置、同期制御方法、同期制御プログラムに関する。   The present invention relates to a synchronization control device, a synchronization control method, and a synchronization control program for synchronizing the same data reproduced by different devices.

従来、コールセンタのオペレータが顧客からの製品の説明、操作、故障などの問合わせなどがあったとき、サーバから配信された問合せに関する動画などを見ながらオペレータが顧客に説明をすることがある。そのような場合、顧客とオペレータはそれぞれ異なる端末を用いて同じ動画を見ながら通話をする。しかし、顧客端末とオペレータ端末に動画などが表示されている場合に、顧客端末とオペレータ端末とに表示される画面がずれることがある。顧客端末とオペレータ端末とで異なる画面が表示されると、オペレータは顧客の問合わせに対して的確な説明や回答を行えなくなる。よって、顧客端末とオペレータ端末で再生の同期を取ることが望まれている。   Conventionally, when a call center operator receives an inquiry about product explanation, operation, failure, etc. from a customer, the operator may explain it to the customer while watching a video about the inquiry distributed from the server. In such a case, the customer and the operator make a call using different terminals while watching the same video. However, when a moving image or the like is displayed on the customer terminal and the operator terminal, the screens displayed on the customer terminal and the operator terminal may be shifted. If different screens are displayed on the customer terminal and the operator terminal, the operator cannot give an accurate explanation or answer to the customer inquiry. Therefore, it is desired to synchronize reproduction between the customer terminal and the operator terminal.

例えば、サーバがオペレータ端末から顧客端末に送信をしている動画と同じ動画の送信要求を受けた際に、顧客端末で再生している時間帯の動画をオペレータ端末に送信して、オペレータ端末と顧客端末それぞれの画面の同期を取る方法が開示されている。しかし、上記方法では通信回線の混雑などで一方の端末への通信速度が遅くなり、一方の端末で再生待ちが発生すると、双方の端末の同期が取れなくなる。   For example, when the server receives a transmission request for the same video as the video being transmitted from the operator terminal to the customer terminal, the video of the time zone being played on the customer terminal is transmitted to the operator terminal, A method for synchronizing the screens of customer terminals is disclosed. However, in the above method, when the communication speed to one terminal becomes slow due to congestion of the communication line and the reproduction waiting occurs in one terminal, both terminals cannot be synchronized.

また、関連する技術として、例えば、2つのメディア間の同期を、メディア対時刻の同期付けではなく、メディア対メディアの同期付けをする方法が知られている。そのメディア対メディアの同期付け方法によれば、一方のメディアの特定ポイントを基準にして、他方のメディアの特定ポイントを所定量だけずらすことにより、設定された同期ポイントでのみ同期を取ることが示されている。   Further, as a related technique, for example, a method is known in which synchronization between two media is not media-time synchronization but media-media synchronization. According to the media-to-media synchronization method, it is indicated that synchronization is performed only at a set synchronization point by shifting a specific point of the other medium by a predetermined amount with respect to a specific point of one medium. Has been.

特開平05−236297号公報JP 05-236297 A

本発明は、異なる装置各々で再生する同じデータを同期させて、装置各々で同じ再生箇所を出力させる同期制御装置、同期制御方法、同期制御プログラムを提供することを目的とする。   It is an object of the present invention to provide a synchronization control device, a synchronization control method, and a synchronization control program that synchronize the same data to be reproduced by different devices and output the same reproduction location by each device.

実施の態様のひとつである同期制御装置は、音記憶部、再生部、動画記録部、算出部、調整部を備えている。
音記憶部は、サーバから第1の回線を介して配信される配信データを受信して再生する第1の端末が、上記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第2の回線を介して所定の間隔で受信して第1の音データにする。そして、上記第1の音データと受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する。
A synchronization control device which is one embodiment includes a sound storage unit, a reproduction unit, a moving image recording unit, a calculation unit, and an adjustment unit.
The sound storage unit receives from the input device the sound generated when the first terminal that receives and reproduces the distribution data distributed from the server via the first line reproduces the distribution data, and inputs the input Sound is received at a predetermined interval via the second line and converted into first sound data. Then, the first sound data is stored in the storage unit in association with the reception date and time or the reception time that has elapsed since the start of reception.

再生部は、上記サーバまたは異なるサーバから配信される上記配信データに含まれる複数の動画データを順次再生する。
動画記録部は、上記再生部で再生した上記動画データと、上記動画データに関連する第2の音データと、上記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて上記記憶部に記憶する。
The reproduction unit sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or different servers.
The moving image recording unit includes the moving image data reproduced by the reproducing unit, the second sound data related to the moving image data, the reproduction date / time when the moving image data was reproduced, or the reproduction time elapsed from the start of reproduction of the distribution data, Are stored in the storage unit in association with each other.

算出部は、上記第1の音データと、第2の音データとを比較し、上記第1の音データと上記第2の音データに一致するデータがあれば、上記記憶部を参照して、一致をする第1の音データに関連付けられている受信日時または受信時間と、一致する第2の音データに関連付けられている再生日時または再生時間とを取得する。続いて、算出部は、一致する期間がある場合、上記第2の音データの一致する期間の始まりの上記再生日時または上記再生時間より、上記第1の音データの一致する期間の始まりの上記受信日時または上記受信時間が後である場合に、上記第2の音データの一致する期間と上記第1の音データの一致する期間のずれている時間を求め第1の時間差とする。   The calculation unit compares the first sound data and the second sound data, and if there is data matching the first sound data and the second sound data, refer to the storage unit. The reception date / time or reception time associated with the matching first sound data and the reproduction date / time or reproduction time associated with the matching second sound data are acquired. Subsequently, when there is a coincidence period, the calculation unit determines the start of the period in which the first sound data coincides from the reproduction date and time or the reproduction time at the start of the period in which the second sound data coincides. When the reception date and time or the reception time is later, the time difference between the matching period of the second sound data and the matching period of the first sound data is obtained as the first time difference.

算出部は、上記第2の音データの一致する期間の始まりの上記再生日時または上記再生時間より、上記第1の音データの一致する期間の始まりの上記受信日時または上記受信時間が前である場合に、上記第2の音データの一致する期間と上記第1の音データの一致する期間のずれている時間を求め第2の時間差とする。   The calculation unit has the reception date and time or the reception time before the start of the matching period of the first sound data before the playback date and time or the playback time of the start of the period of matching of the second sound data. In such a case, the second time difference is obtained by obtaining a time difference between the period in which the second sound data coincides with the period in which the first sound data coincides.

調整部は、上記第1の時間差があるとき、上記第1の時間差に応じて上記再生日時または上記再生時間に対応する上記動画記録部の動画データから順に上記再生部で再生する通知を上記再生部に出力する。調整部は、上記第2の時間差があるとき、上記第2の時間差分後の上記再生日時または上記再生時間に対応する動画データから順に再生する通知を上記サーバまたは上記異なるサーバに対して通知をする。   When there is a first time difference, the adjustment unit sends notifications to be reproduced by the reproduction unit in order from moving image data of the moving image recording unit corresponding to the reproduction date and time or the reproduction time according to the first time difference. To the output. When there is a second time difference, the adjustment unit notifies the server or the different server of notifications for sequentially reproducing the reproduction date and time or the moving image data corresponding to the reproduction time after the second time difference. To do.

実施の態様によれば、異なる装置で再生する同じデータを同期させて、装置各々で同じ再生箇所を出力させることができるという効果を奏する。   According to the embodiment, it is possible to synchronize the same data to be reproduced by different devices and to output the same reproduction portion in each device.

通話支援をするシステムの一実施例を示す図である。It is a figure which shows one Example of the system which supports a telephone call. サーバのハードウェアの一実施例を示す図である。It is a figure which shows one Example of the hardware of a server. サーバの機能の一実施例を示す図である。It is a figure which shows one Example of the function of a server. 動画情報のデータ構造の一実施例を示す図である。It is a figure which shows one Example of the data structure of moving image information. 配信状況情報のデータ構造の一実施例を示す図である。It is a figure which shows one Example of the data structure of delivery status information. オペレータ情報と顧客情報のデータ構造の一実施例を示す図である。It is a figure which shows one Example of the data structure of operator information and customer information. オペレータ端末のハードウェアの一実施例を示す図である。It is a figure which shows one Example of the hardware of an operator terminal. オペレータ端末の機能の一実施例を示す図である。It is a figure which shows one Example of the function of an operator terminal. オペレータ動画情報と顧客音情報のデータ構造の一実施例を示す図である。It is a figure which shows one Example of the data structure of operator moving image information and customer sound information. 顧客端末のハードウェアの一実施例を示す図である。It is a figure which shows one Example of the hardware of a customer terminal. 顧客端末の一実施例を示すブロック図である。It is a block diagram which shows one Example of a customer terminal. 同期制御動作の一実施例を示すフロー図である。It is a flowchart which shows one Example of a synchronous control operation | movement. 同期制御動作の一実施例を示すフロー図である。It is a flowchart which shows one Example of a synchronous control operation | movement. オペレータ端末より顧客端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。It is a time chart which shows one Example which synchronizes a moving image when the moving image of a customer terminal is behind the operator terminal. 顧客端末よりオペレータ端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。It is a time chart which shows one Example which synchronizes a moving image when the moving image of an operator terminal is behind the customer terminal.

以下図面に基づいて、実施形態について詳細を説明する。
実施形態1について説明する。図1は、通話支援をするシステムの一実施例を示す図である。図1のシステムは、サーバ1、顧客端末2(第1の端末)、同期制御機能を有するオペレータ端末3、顧客端末4(入力装置)を有し、ネットワーク5によって接続されている。サーバ1と顧客端末2はインターネットなどの公衆回線や専用回線などのネットワーク5と接続されている。サーバ1とオペレータ端末3は、例えば、コールセンタ内でネットワークを介して接続されている。また、コールセンタとは別の場所に設けられたサーバ1とコールセンタ内のオペレータ端末3がネットワーク5と接続されていてもよい。
Hereinafter, embodiments will be described in detail based on the drawings.
The first embodiment will be described. FIG. 1 is a diagram showing an embodiment of a system for supporting a call. The system of FIG. 1 includes a server 1, a customer terminal 2 (first terminal), an operator terminal 3 having a synchronization control function, and a customer terminal 4 (input device), which are connected by a network 5. The server 1 and the customer terminal 2 are connected to a network 5 such as a public line such as the Internet or a dedicated line. For example, the server 1 and the operator terminal 3 are connected via a network in a call center. Further, the server 1 provided in a place different from the call center and the operator terminal 3 in the call center may be connected to the network 5.

サーバ1は、例えば、コールセンタなどに配置されている。また、サーバ1は顧客の用いる顧客端末2から動画データ配信要求を受信すると、要求された動画に対応するストリーミング再生可能な配信データを顧客端末2に配信する。ストリーミング再生可能な配信データは、複数の動画データ(パケット)を有し、動画データは画像データ、音データ、再生時間情報、その他の各種情報を有している。ストリーミング再生可能なデータは、例えば、Moving Picture Experts Group(MPEG)などの技術で用いられるデータである。また、動画配信にはストリーミングサーバを用いることが考えられる。再生時間情報は、動画データが再生され出力される時間を示す情報である。例えば、画像データが圧縮されている場合に、画像データをデコードして復号器から出力する時間である。   The server 1 is arranged at a call center, for example. When the server 1 receives the moving image data distribution request from the customer terminal 2 used by the customer, the server 1 distributes the streaming playable distribution data corresponding to the requested moving image to the customer terminal 2. Distribution data that can be streamed has a plurality of moving image data (packets), and the moving image data includes image data, sound data, reproduction time information, and various other information. The data that can be reproduced by streaming is, for example, data used in a technique such as Moving Picture Experts Group (MPEG). Further, it is conceivable to use a streaming server for moving image distribution. The reproduction time information is information indicating a time during which moving image data is reproduced and output. For example, when the image data is compressed, it is the time to decode the image data and output from the decoder.

また、配信データが配信されている回線6(第1の回線)と別の回線7(第2の回線)を介して、オペレータ端末3と通話をするための接続要求を、顧客端末4からサーバ1が受信すると、サーバ1は顧客端末4とオペレータ端末3とを通話可能な状態にする。続いて、顧客端末2が現在再生している動画とともに再生され、顧客端末2の出力部(スピーカなど)から出力される音楽、音声案内などを含む音を、顧客端末4の入力部(マイクなど)から取得して回線7を介してサーバ1が受信する。そして、サーバ1は受信した音を音データにして記憶部に記憶する。   In addition, a connection request for making a call with the operator terminal 3 is transmitted from the customer terminal 4 to the server via a line 7 (second line) different from the line 6 (first line) to which the distribution data is distributed. When 1 is received, the server 1 brings the customer terminal 4 and the operator terminal 3 into a state in which a call can be made. Subsequently, the sound including the music, voice guidance, etc., which is reproduced together with the moving image currently being reproduced by the customer terminal 2 and output from the output unit (speaker, etc.) of the customer terminal 2, ) And is received by the server 1 via the line 7. And the server 1 makes the received sound into sound data, and memorize | stores it in a memory | storage part.

ここで、音は顧客の声や環境音などをなるべく含まない動画を再生した際に発生する音楽や音声案内などだけであることが望ましい。そこで、顧客が既に動画を視聴している場合、または、通話を開始してから動画を視聴する場合において、顧客端末4とオペレータ端末3は通話が可能であっても、通話開始直後の一定期間は顧客とオペレータが会話できない状態にすることが考えられる。すなわち、顧客にオペレータの声が聞こえないようにして、顧客がオペレータと会話しにくい状態にし、一定期間に動画を再生した際に発生する音楽や音声案内などの音をなるべく受信する。なお、音は人間の耳には聞こえない非可聴音でもよく、その場合には顧客端末4が非可聴音も拾える入力部を有していればよい。   Here, it is desirable that the sound is only music or voice guidance that is generated when a moving image that does not contain the customer's voice or environmental sound as much as possible is reproduced. Therefore, when the customer has already watched the video, or when watching the video after starting the call, even if the customer terminal 4 and the operator terminal 3 can make a call, a certain period immediately after the start of the call It is conceivable that the customer and the operator cannot talk. In other words, the customer cannot hear the operator's voice so that the customer can hardly talk with the operator, and receives as much sound as possible, such as music and voice guidance, which is generated when a moving image is reproduced for a certain period. The sound may be a non-audible sound that cannot be heard by human ears. In that case, the customer terminal 4 only needs to have an input unit that can pick up the non-audible sound.

また、顧客端末4とオペレータ端末3が通話可能な状態になると、サーバ1はオペレータ端末3に該動画データを配信する。
オペレータ端末3は、サーバ1から動画データを受信すると、動画データを順に再生して動画を表示させるとともに、該動画データを再生して出力した日時または再生開始から経過した該動画データと再生して出力した時間とを関連付け、記憶部に記憶する。また、オペレータ端末3は、該動画データの音データが圧縮されている場合にはデコードし、該動画データと再生して出力した日時または再生開始から経過した該動画データを再生して出力した時間とを関連付け、記憶部に記憶する。
Further, when the customer terminal 4 and the operator terminal 3 are ready for a call, the server 1 delivers the moving image data to the operator terminal 3.
When the operator terminal 3 receives the moving image data from the server 1, the operator terminal 3 reproduces the moving image data in order to display the moving image, and reproduces the moving image data with the date and time when the moving image data was reproduced and output or the moving image data that has elapsed from the start of reproduction. The output time is associated and stored in the storage unit. Further, the operator terminal 3 decodes the sound data of the moving image data when it is compressed, and reproduces and outputs the moving image data and the time when the moving image data that has elapsed from the start of reproduction is reproduced and output. Are stored in the storage unit.

また、オペレータ端末3は、回線7を用い顧客端末4からサーバ1を介して受信した音楽や音声案内などを含む音データを、該音データを受信した日時または受信開始から経過した該音データを受信した時間と、を関連付けて記憶部に記憶する。   In addition, the operator terminal 3 receives the sound data including music and voice guidance received from the customer terminal 4 via the server 1 using the line 7, the date and time when the sound data was received, or the sound data that has elapsed since the start of reception. The received time is associated and stored in the storage unit.

続いて、オペレータ端末3に配信された動画データに関連付けられている音データと、顧客端末4から回線7を介して受信した音データとを比較し、各音データの一致する期間を、オペレータ端末3が検出する。オペレータ端末3は、この期間各々に対応付けられている、動画データを再生して出力した日時または再生開始から経過した該動画データを再生して出力した時間と、音データを受信した日時または受信開始から経過した音データを受信した時間と、の差を求める。この差は、顧客端末2で表示されている動画と、オペレータ端末3で表示されている動画とが、ずれている時間を示している。   Subsequently, the sound data associated with the moving image data distributed to the operator terminal 3 is compared with the sound data received from the customer terminal 4 via the line 7, and the period in which each sound data matches is determined as the operator terminal. 3 detects. The operator terminal 3 reproduces and outputs the moving image data associated with each period, or the time when the moving image data that has been reproduced and output since the start of reproduction, and the date and time when the sound data is received or received. The difference from the time when the sound data that has passed since the start is received is obtained. This difference indicates a time when the moving image displayed on the customer terminal 2 and the moving image displayed on the operator terminal 3 are shifted.

動画がずれる原因は、例えば、動画データを配信するサーバ1が顧客端末2とオペレータ端末3へ動画データを配信中に、回線6の混雑などで通信速度が変化して再生にずれが発生することが考えられる。また、顧客端末2とオペレータ端末3のデコード時間の違いによりずれが発生することが考えられる。   The reason why the video is shifted is that, for example, while the server 1 that distributes the video data is distributing the video data to the customer terminal 2 and the operator terminal 3, the communication speed changes due to the congestion of the line 6 and the reproduction is shifted. Can be considered. Further, it is conceivable that a deviation occurs due to a difference in decoding time between the customer terminal 2 and the operator terminal 3.

また、ずれを検出する方法は、例えば、音データ各々をパターンマッチング処理して、音データ各々の一致した期間を検出する。
続いて、オペレータ端末3はサーバ1から既に配信された動画データに関連付けられている音データに、顧客端末4から受信した音データと一致するデータがあれば、ずれている時間分、オペレータ端末3の動画再生を待機させる。あるいは、オペレータ端末3の動画を巻き戻しする。その結果、顧客端末2の再生がオペレータ端末3の再生より遅延をしている場合でも、顧客端末2とオペレータ端末3に表示する画面を同期させることができる。
Further, as a method for detecting the deviation, for example, each sound data is subjected to pattern matching processing to detect a period in which each sound data is matched.
Subsequently, if there is data that matches the sound data received from the customer terminal 4 in the sound data associated with the moving image data already distributed from the server 1, the operator terminal 3 will be out of the operator terminal 3 by the amount of time shifted. To wait for video playback. Alternatively, the moving image of the operator terminal 3 is rewound. As a result, even when the reproduction of the customer terminal 2 is delayed from the reproduction of the operator terminal 3, the screens displayed on the customer terminal 2 and the operator terminal 3 can be synchronized.

また、オペレータ端末3はサーバ1から既に配信された動画データに関連付けられている音データに、顧客端末4から受信した音データと一致するデータがなければ、サーバ1から一致するデータが送信されてくるまでの時間差を求める。そして、サーバ1に対して求めた時間差分飛ばした位置から動画を送信するように要求する。その結果、オペレータ端末3の再生が顧客端末2の再生より遅延をしている場合でも、顧客端末2とオペレータ端末3に表示する画面各々を同期させることができる。   If the operator terminal 3 has no data that matches the sound data received from the customer terminal 4 in the sound data associated with the moving image data that has already been distributed from the server 1, the matching data is transmitted from the server 1. Find the time difference to come. Then, the server 1 is requested to transmit the moving image from the position where the calculated time difference is skipped. As a result, even when the reproduction of the operator terminal 3 is delayed from the reproduction of the customer terminal 2, the screens displayed on the customer terminal 2 and the operator terminal 3 can be synchronized.

なお、サーバ1は、画面各々の同期が取れるとオペレータ端末3の出力部(ハンドセットのスピーカなど)に顧客端末4から送られてくる音が出力される状態にする。
上記に示すように動画の再生箇所を同期させることで、オペレータが顧客に説明をする際、顧客とオペレータが同じ動画の再生箇所を参照できるので、オペレータは顧客の問合わせに対して的確な説明や回答を行える。
In addition, the server 1 will be in the state which the sound transmitted from the customer terminal 4 is output to the output part (handset speaker etc.) of the operator terminal 3 if each screen is synchronized.
As shown above, by synchronizing the playback location of the video, when the operator explains to the customer, the operator and the operator can refer to the same video playback location, so the operator can accurately explain the customer's inquiry And answer.

顧客端末2は、サーバ1に動画データの要求をし、サーバ1から配信された動画を再生する。オペレータ端末3は、サーバ1から配信される顧客端末2で再生中の動画データを再生し、顧客端末4と通話が可能である。顧客端末4は、例えば、顧客が利用している電話機、Internet Protocol(IP)電話機、ソフトフォンなどである。   The customer terminal 2 requests the moving image data from the server 1 and reproduces the moving image distributed from the server 1. The operator terminal 3 can reproduce the moving image data being reproduced by the customer terminal 2 distributed from the server 1 and can make a call with the customer terminal 4. The customer terminal 4 is, for example, a telephone used by a customer, an Internet Protocol (IP) telephone, a soft phone, or the like.

サーバ1について説明する。
図2は、サーバのハードウェアの一実施例を示す図である。サーバ1は、制御部201、記憶部202、記録媒体読取装置203、入出力インタフェース204(入出力I/F)、通信インタフェース205(通信I/F)などを備えている。また、上記各構成部はバス206によってそれぞれ接続されている。
The server 1 will be described.
FIG. 2 is a diagram illustrating an embodiment of server hardware. The server 1 includes a control unit 201, a storage unit 202, a recording medium reading device 203, an input / output interface 204 (input / output I / F), a communication interface 205 (communication I / F), and the like. Each of the above components is connected by a bus 206.

制御部201は、後述する通信接続部301、動画配信部302、呼接続部303、特定部304などを有している。また、制御部201はCentral Processing Unit(CPU)、マルチコアCPU、プログラマブルなデバイス(Field Programmable Gate Array(FPGA)、Programmable Logic Device(PLD)など)を用いることが考えられる。   The control unit 201 includes a communication connection unit 301, a moving image distribution unit 302, a call connection unit 303, a specifying unit 304, and the like which will be described later. The control unit 201 may be a central processing unit (CPU), a multi-core CPU, or a programmable device (such as a field programmable gate array (FPGA) or a programmable logic device (PLD)).

記憶部202は、後述する動画情報305、配信状況情報306、オペレータ情報307、顧客情報308などを記憶している。記憶部202は、例えばRead Only Memory(ROM)、Random Access Memory(RAM)などのメモリやハードディスクなどが考えられる。なお、記憶部202にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。上記動画情報305、配信状況情報306、オペレータ情報307、顧客情報308などは、テーブル以外の記憶方法であってもよく、ハードウェアとしてデータベースに記録されていてもよい。   The storage unit 202 stores moving image information 305, distribution status information 306, operator information 307, customer information 308, and the like, which will be described later. The storage unit 202 may be a memory such as a read only memory (ROM) or a random access memory (RAM), a hard disk, or the like. The storage unit 202 may record data such as parameter values and variable values, or may be used as a work area at the time of execution. The moving image information 305, distribution status information 306, operator information 307, customer information 308, and the like may be stored in a database other than a table, or may be recorded in a database as hardware.

記録媒体読取装置203は、制御部201の制御に従って記録媒体207に対するデータのリード/ライトを制御する。そして、記録媒体207に記録媒体読取装置203の制御で書き込まれたデータを記録させたり、記録媒体207に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体207は、コンピュータで読み取り可能なnon-transitory(非一時的)な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置(HDD)などがある。光ディスクには、Digital Versatile Disc(DVD)、DVD−RAM、Compact Disc Read Only Memory(CD−ROM)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、Magneto-Optical disk(MO)などがある。なお、記憶部202もnon-transitory(非一時的)な記録媒体に含まれる。   The recording medium reading device 203 controls reading / writing of data with respect to the recording medium 207 according to the control of the control unit 201. Then, the data written under the control of the recording medium reader 203 is recorded on the recording medium 207, or the data recorded on the recording medium 207 is read. The removable recording medium 207 includes a computer-readable non-transitory recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. The magnetic recording device includes a hard disk device (HDD). Optical discs include Digital Versatile Disc (DVD), DVD-RAM, Compact Disc Read Only Memory (CD-ROM), and CD-R (Recordable) / RW (ReWritable). Magneto-optical recording media include magneto-optical disks (MO). Note that the storage unit 202 is also included in a non-transitory recording medium.

入出力インタフェース204には、入出力部208が接続され、利用者が入力した情報を受信し、バス206を介して制御部201に送信する。また、制御部201からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部208の入力装置は、例えば、キーボード、ポインティングデバイス(マウスなど)、タッチパネルなどが考えられる。なお、入出力部208の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube(CRT)ディスプレイ、プリンタなどの出力装置であってもよい。   An input / output unit 208 is connected to the input / output interface 204, receives information input by the user, and transmits the information to the control unit 201 via the bus 206. Further, operation information and the like are displayed on the display screen in accordance with a command from the control unit 201. Examples of the input device of the input / output unit 208 include a keyboard, a pointing device (such as a mouse), and a touch panel. In addition, the display which is an output part of the input / output part 208 can consider a liquid crystal display etc., for example. The output unit may be an output device such as a Cathode Ray Tube (CRT) display or a printer.

通信インタフェース205は、顧客端末2およびオペレータ端末3との間のLocal Area Network(LAN)接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース205は必要に応じ、他のコンピュータとの間のLAN接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。   The communication interface 205 is an interface for performing Local Area Network (LAN) connection, Internet connection, and wireless connection between the customer terminal 2 and the operator terminal 3. The communication interface 205 is an interface for performing LAN connection, Internet connection, or wireless connection with another computer as necessary. It is also connected to other devices and controls data input / output from external devices.

なお、サーバ1の動画配信機能を分けて動画配信サーバ(ストリーミングサーバ)などを用いた場合、動画配信サーバはコールセンタ内に設置するだけでなく、複数の異なる場所に分けて配置されていてもよい。また、顧客端末2とオペレータ端末に配信される動画が、異なる動画配信サーバから配信されてもよい。   When the video distribution server (streaming server) or the like is used by dividing the video distribution function of the server 1, the video distribution server may be arranged not only in the call center but also in a plurality of different places. . Moreover, the video delivered to the customer terminal 2 and the operator terminal may be delivered from different video delivery servers.

制御部201と記憶部202について説明する。
図3は、サーバの機能の一実施例を示す図である。図3の制御部201は、通信接続部301、動画配信部302、呼接続部303、特定部304などを有している。
The control unit 201 and the storage unit 202 will be described.
FIG. 3 is a diagram illustrating an example of functions of the server. The control unit 201 in FIG. 3 includes a communication connection unit 301, a moving image distribution unit 302, a call connection unit 303, a specifying unit 304, and the like.

通信接続部301は、顧客端末2から動画データ配信要求を受信すると、動画データ配信要求を動画配信部302に転送する。また、動画配信部302が後述する動画情報305から取得した動画データ配信要求に含まれる顧客が要求している動画に対応する動画データを、通信接続部301が受信する。その後、通信接続部301は受信した動画データを、回線6を介して顧客端末2に配信する。   When receiving the moving image data distribution request from the customer terminal 2, the communication connection unit 301 transfers the moving image data distribution request to the moving image distribution unit 302. In addition, the communication connection unit 301 receives moving image data corresponding to the moving image requested by the customer included in the moving image data distribution request acquired from the moving image information 305 described later by the moving image distribution unit 302. Thereafter, the communication connection unit 301 distributes the received moving image data to the customer terminal 2 via the line 6.

動画配信部302は、配信データをリアルタイムストリーム再生方式で顧客端末2とオペレータ端末3に配信する。また、配信データのファイル形式は、リアルタイムストリーム再生方式で再生可能なファイル形式であればよい。   The moving image distribution unit 302 distributes distribution data to the customer terminal 2 and the operator terminal 3 by a real-time stream reproduction method. The file format of the distribution data may be any file format that can be reproduced by the real-time stream reproduction method.

動画配信部302は、動画情報305を参照して、動画データ配信要求で要求された動画データを取得して、通信接続部301を介して顧客端末2に動画データを配信する。動画情報305は、例えば、動画データを含むファイルとファイルを識別する情報が関連付けられて記録されている。図4は、動画情報のデータ構造の一実施例を示す図である。図4の動画情報401は、「配信データID」「動画データ記憶場所情報」などの情報を有している。「配信データID」には、動画データを識別する情報が記憶されている。本例では、配信データとして「001」「002」「003」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「動画データ記憶場所情報」には、記憶部202に記憶されている動画データの記憶位置が記憶されている。例えば、配信データに対応する動画データを含むファイルの記憶されている記憶位置が記憶されている。本例では、「U:¥製品1¥操作¥001_move.mpg」「U:¥製品2¥操作¥002_move.mpg」「U:¥製品3¥操作¥003_move.mpg」・・・・が記憶されている。「U:」は、記憶部202のドライブがUドライブであることを示し、「¥フォルダ製品1」「¥フォルダ製品2」「¥フォルダ製品3」「¥操作」は、フォルダ名を示している。「001_move.mpg」「002_move.mpg」「003_move.mpg」は動画データを含むファイルを示している。「001_move.mpg」は、「製品1」フォルダの下の階層にある「操作」フォルダの中の記憶されている。「002_move.mpg」は、「製品2」フォルダの下の階層にある「操作」フォルダの中の記憶されている。「003_move.mpg」は、「製品3」フォルダの下の階層にある「操作」フォルダの中の記憶されている。   The moving image distribution unit 302 refers to the moving image information 305, acquires the moving image data requested by the moving image data distribution request, and distributes the moving image data to the customer terminal 2 via the communication connection unit 301. In the moving image information 305, for example, a file including moving image data and information for identifying the file are associated and recorded. FIG. 4 is a diagram illustrating an example of the data structure of the moving image information. The moving image information 401 in FIG. 4 has information such as “distribution data ID” and “moving image data storage location information”. Information for identifying moving image data is stored in the “distribution data ID”. In this example, “001”, “002”, “003”,... Are stored as distribution data. In addition, the name of a file including moving image data may be stored. The “moving image data storage location information” stores the storage location of the moving image data stored in the storage unit 202. For example, a storage location where a file including moving image data corresponding to distribution data is stored is stored. In this example, “U: ¥ Product 1 ¥ Operation ¥ 001_move.mpg”, “U: ¥ Product 2 ¥ Operation ¥ 002_move.mpg”, “U: ¥ Product 3 ¥ Operation ¥ 003_move.mpg”,... Are stored. ing. “U:” indicates that the drive of the storage unit 202 is the U drive, and “¥ folder product 1”, “¥ folder product 2”, “¥ folder product 3”, and “¥ operation” indicate folder names. . “001_move.mpg”, “002_move.mpg”, and “003_move.mpg” indicate files including moving image data. “001_move.mpg” is stored in the “operation” folder in the hierarchy below the “product 1” folder. “002_move.mpg” is stored in the “operation” folder in the hierarchy below the “product 2” folder. “003_move.mpg” is stored in the “operation” folder in the hierarchy below the “product 3” folder.

また、動画配信部302は、現在配信中の顧客端末2を識別する配信先顧客IDと、現在配信している配信データを識別する配信データIDと、現在配信している配信データの動画データの再生時間情報とを関連付けて、配信状況情報306に記憶する。   The video distribution unit 302 also includes a distribution destination customer ID that identifies the customer terminal 2 that is currently distributed, a distribution data ID that identifies distribution data that is currently distributed, and video data of the distribution data that is currently distributed. The distribution status information 306 is stored in association with the reproduction time information.

また、動画配信部302は、配信状況情報306を参照して現在顧客端末2に配信中の動画データを、通信接続部301を介してオペレータ端末3に配信する。動画配信部302は、後述する特定部304から顧客端末2とオペレータ端末3が通話可能な状態であることを通知されると、オペレータ端末3への配信データの配信を開始する。また、動画配信部302は、後述する特定部304から顧客端末2を利用している顧客を識別する情報と、オペレータ端末3を利用しているオペレータを識別する情報を取得する。その際、動画配信部302は、配信するオペレータ端末3の配信先オペレータIDと、該オペレータ端末3に対応する顧客端末2に配信中の配信データの配信データIDと該配信データの動画データの再生時間情報とを関連付けて、配信状況情報306に記憶する。ただし、顧客端末2に配信している配信データを調整して同期をとる場合には、オペレータ端末3に関する配信先オペレータID、配信データID、再生時間情報は必要ない。   In addition, the moving image distribution unit 302 distributes the moving image data currently distributed to the customer terminal 2 to the operator terminal 3 via the communication connection unit 301 with reference to the distribution status information 306. When notified from the specifying unit 304, which will be described later, that the customer terminal 2 and the operator terminal 3 are ready for a call, the moving image distribution unit 302 starts distributing distribution data to the operator terminal 3. In addition, the moving image distribution unit 302 acquires information for identifying a customer who uses the customer terminal 2 and information for identifying an operator who is using the operator terminal 3 from the specifying unit 304 described later. At that time, the moving image distribution unit 302 reproduces the distribution destination operator ID of the operator terminal 3 to be distributed, the distribution data ID of distribution data being distributed to the customer terminal 2 corresponding to the operator terminal 3, and the moving image data of the distribution data. The distribution status information 306 is stored in association with the time information. However, when the distribution data distributed to the customer terminal 2 is adjusted and synchronized, the distribution destination operator ID, distribution data ID, and reproduction time information regarding the operator terminal 3 are not necessary.

オペレータ端末3に配信している配信データを調整して同期をとる場合には、動画配信部302はオペレータ端末3から配信する動画データを調整する情報(同期情報)を取得し、オペレータ端末3へ配信する動画データの配信箇所を変更する。そして、変更した箇所から動画データをオペレータ端末3へ配信する。その際、動画配信部302は、配信状況情報306のオペレータ端末3に対応する再生時間情報も変更する。   When the distribution data distributed to the operator terminal 3 is adjusted and synchronized, the moving image distribution unit 302 acquires information (synchronization information) for adjusting the moving image data distributed from the operator terminal 3, and sends it to the operator terminal 3. Change the delivery location of the video data to be delivered. Then, the moving image data is distributed to the operator terminal 3 from the changed location. At that time, the moving image distribution unit 302 also changes the reproduction time information corresponding to the operator terminal 3 in the distribution status information 306.

図5は、配信状況情報のデータ構造の一実施例を示す図である。図5の配信状況情報501は、「配信先顧客ID」「配信データID」「再生時間情報」を有している。「配信先顧客ID」には、配信データが配信されている顧客を識別する情報が記憶されている。本例では、顧客IDとして「CS001」「CS002」「CS003」・・・・が記録されている。「配信データID」には、配信データを識別する情報が配信先顧客IDに関連付けられて記憶されている。本例では、配信データIDとして「001」「002」「003」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「再生時間情報」には、動画データが再生され出力される時間を示す再生時間情報が、配信データIDに関連付けられて記憶されている。本例では、再生時間情報として、「001_cs_now」「002_cs_now」「003_cs_now」・・・・が記憶されている。   FIG. 5 is a diagram illustrating an example of the data structure of the distribution status information. The distribution status information 501 in FIG. 5 includes “distribution destination customer ID”, “distribution data ID”, and “reproduction time information”. The “distribution destination customer ID” stores information for identifying a customer to whom distribution data is distributed. In this example, “CS001”, “CS002”, “CS003”,... Are recorded as customer IDs. In the “distribution data ID”, information for identifying the distribution data is stored in association with the distribution destination customer ID. In this example, “001”, “002”, “003”,... Are stored as distribution data IDs. In addition, the name of a file including moving image data may be stored. In “playback time information”, playback time information indicating the time during which moving image data is played back and output is stored in association with the distribution data ID. In this example, “001_cs_now”, “002_cs_now”, “003_cs_now”,... Are stored as reproduction time information.

図5の配信状況情報502は、「配信先オペレータID」「配信データID」「再生時間情報」を有している。「配信先オペレータID」には、配信データが配信されている顧客に対応するオペレータを識別する情報が記憶されている。本例では、配信先オペレータIDとして「OP001」「OP102」「OP033」・・・・が記憶されている。「配信データID」には、配信データを識別する情報が配信先オペレータIDに関連付けられて記憶されている。本例では、配信データIDとして「001」「002」「003」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「再生時間情報」には、オペレータ端末3に配信される配信データの再生時間情報が、配信データIDに関連付けられて記憶されている。本例では、再生時間情報として、「001_op_now」「002_op_now」「003_op_now」・・・・が記憶されている。   The distribution status information 502 in FIG. 5 includes “distribution destination operator ID”, “distribution data ID”, and “reproduction time information”. The “distribution destination operator ID” stores information for identifying an operator corresponding to a customer to whom distribution data is distributed. In this example, “OP001”, “OP102”, “OP033”,... Are stored as distribution destination operator IDs. In the “distribution data ID”, information for identifying the distribution data is stored in association with the distribution destination operator ID. In this example, “001”, “002”, “003”,... Are stored as distribution data IDs. In addition, the name of a file including moving image data may be stored. In the “reproduction time information”, reproduction time information of distribution data distributed to the operator terminal 3 is stored in association with the distribution data ID. In this example, “001_op_now”, “002_op_now”, “003_op_now”,... Are stored as reproduction time information.

同期情報は、オペレータ端末3にサーバ1から既に配信された動画データに関連付けられている音データに、顧客端末4から受信した音データと一致するデータがない場合に、サーバ1から一致するデータが送信されてくるまでの時間差を求めた情報を有している。また、同期情報は、サーバ1に対して求めた時間差分飛ばした位置から動画を送信させる要求である。その結果、オペレータ端末3の再生が顧客端末2の再生より遅延をしている場合でも、顧客端末2とオペレータ端末3に表示する画面を同期させることができる。   The synchronization information includes data that matches from the server 1 when there is no data that matches the sound data received from the customer terminal 4 in the sound data associated with the video data that has already been distributed from the server 1 to the operator terminal 3. It has information that determines the time difference until it is transmitted. The synchronization information is a request for transmitting a moving image from the position where the time difference obtained for the server 1 is skipped. As a result, even when the reproduction of the operator terminal 3 is delayed from the reproduction of the customer terminal 2, the screens displayed on the customer terminal 2 and the operator terminal 3 can be synchronized.

呼接続部303は、例えば、顧客端末4から呼を受信すると記憶部202に記憶されているオペレータ情報307の通話状況を参照して、通話中でないオペレータを抽出する。例えば、オペレータが通話中であるか通話中でないかを示す情報を参照して、通話中でないオペレータを抽出する。通話中でないオペレータが抽出された場合は、呼接続部303は抽出したオペレータ端末3と呼を受信した顧客端末4とを接続して、通話可能な状態にする。その後、呼接続部303は現在動画配信中の顧客を特定するために、例えば、呼接続部303が顧客の電話番号を取得し、取得した電話番号を特定部304に送信する。   For example, when the call connection unit 303 receives a call from the customer terminal 4, the call connection unit 303 refers to the call state of the operator information 307 stored in the storage unit 202 and extracts an operator who is not in a call. For example, an operator who is not talking is extracted by referring to information indicating whether the operator is talking or not talking. When an operator who is not in a call is extracted, the call connection unit 303 connects the extracted operator terminal 3 and the customer terminal 4 that has received the call so that a call can be made. Thereafter, the call connection unit 303 acquires the telephone number of the customer, for example, and transmits the acquired telephone number to the specifying unit 304 in order to specify the customer who is currently delivering the moving image.

また、抽出したオペレータ端末3と顧客端末4との通話が終了したことを検出すると、呼接続部303は通話を終えたことを動画配信部302、特定部304に通知する。また、オペレータが通話中でないことをオペレータ情報307に記憶する。   In addition, when it is detected that the call between the extracted operator terminal 3 and the customer terminal 4 has ended, the call connection unit 303 notifies the moving image distribution unit 302 and the specifying unit 304 that the call has ended. Further, the operator information 307 stores that the operator is not in a call.

図6は、オペレータ情報と顧客情報のデータ構造の一実施例を示す図である。図6のオペレータ情報601は、「オペレータID」「通話状態」を有している。「オペレータID」には、オペレータを識別する情報が記憶されている。本例では、オペレータIDとして「OP001」「OP002」「OP003」・・・・が記憶されている。「通話状態」には、オペレータが通話しているか否かを示す情報が記憶されている。本例では、オペレータ端末と顧客端末が接続され、通話状態である場合、オペレータIDに関連付けられて「通話中」が記憶される。また、オペレータ端末と顧客端末が接続されていない状態である場合、オペレータIDに関連付けられて「空き」が記憶される。   FIG. 6 is a diagram illustrating an example of a data structure of operator information and customer information. The operator information 601 in FIG. 6 includes “operator ID” and “call state”. In the “operator ID”, information for identifying the operator is stored. In this example, “OP001”, “OP002”, “OP003”,... Are stored as operator IDs. In the “call state”, information indicating whether or not the operator is talking is stored. In this example, when the operator terminal and the customer terminal are connected and are in a call state, “in call” is stored in association with the operator ID. When the operator terminal and the customer terminal are not connected, “empty” is stored in association with the operator ID.

特定部304は、呼接続部303から送信された顧客の電話番号を受信する。続いて、特定部304は、後述する顧客情報308を参照し、受信した電話番号を用いて一致する顧客IDを特定する。ただし、取得した電話番号に顧客IDが関連付けられていない場合があるので、そのときは、オペレータが顧客に現在見ている動画について問合せをして、オペレータ端末3から直接動画を選択してもよい。また、オペレータが顧客に登録時の電話番号について問合せをして、オペレータ端末3から直接電話番号を入力してもよい。特定部304は、顧客端末2とオペレータ端末3が通話可能な状態であること、顧客IDと、オペレータIDとを動画配信部302に通知し、オペレータ端末3への配信データの配信を開始する指示を通知する。   The identification unit 304 receives the customer's telephone number transmitted from the call connection unit 303. Subsequently, the identifying unit 304 refers to customer information 308 described later, and identifies a matching customer ID using the received telephone number. However, since the customer ID may not be associated with the acquired telephone number, the operator may inquire about the video currently being viewed by the operator and select the video directly from the operator terminal 3. . Alternatively, the operator may make an inquiry to the customer about the telephone number at the time of registration and input the telephone number directly from the operator terminal 3. The specifying unit 304 notifies the moving image distribution unit 302 that the customer terminal 2 and the operator terminal 3 are in a callable state, the customer ID and the operator ID, and instructs to start distributing distribution data to the operator terminal 3 To be notified.

顧客情報308は顧客を識別する情報と顧客が予め登録した電話番号などが記録されている。図6の顧客情報602は、「顧客ID」「電話番号」などの情報を有している。「顧客ID」には、顧客を識別する情報が記憶されている。本例では、顧客IDとして「CS001」「CS002」「CS003」・・・・が記憶されている。「電話番号」には、顧客の電話番号が記憶されている。本例では、電話番号として「080−3456−06XX」「090−1234−56XX」「070−4567−89XX」・・・・が記憶されている。   In the customer information 308, information for identifying the customer and a telephone number registered in advance by the customer are recorded. The customer information 602 in FIG. 6 includes information such as “customer ID” and “telephone number”. In the “customer ID”, information for identifying a customer is stored. In this example, “CS001”, “CS002”, “CS003”,... Are stored as customer IDs. The “telephone number” stores the telephone number of the customer. In this example, “080-3456-06XX”, “090-1234-56XX”, “070-4567-89XX”,... Are stored as telephone numbers.

オペレータ端末3について説明する。
図7は、オペレータ端末のハードウェアの一実施例を示す図である。オペレータ端末3は、Personal Computer(PC)などを用いることが考えられる。オペレータ端末3は、制御部701、記憶部702、記録媒体読取装置703、入出力インタフェース704(入出力I/F)、通信インタフェース705(通信I/F)などを備えている。また、上記各構成部はバス706によってそれぞれ接続されている。制御部701は、Central Processing Unit(CPU)、マルチコアCPU、プログラマブルなデバイス(Field Programmable Gate Array(FPGA)、Programmable Logic Device(PLD)など)を用いることが考えられる。制御部701は、後述する再生部801、動画記録部802、音記憶部803、算出部804、調整部805などを有している。また、制御部701はオペレータ端末3の各部を制御する。また、制御部701は、サーバ1から送信された動画データを再生して表示する制御をする。また、制御部701は顧客端末4との通話を制御する機能を有する。なお、動画データのずれを迅速に検出して、動画を同期させることが求められるため、制御部201には各処理部が並列に動作でき、各処理部の演算結果を連携して用いる構成であることが望ましい。
The operator terminal 3 will be described.
FIG. 7 is a diagram illustrating an example of hardware of an operator terminal. The operator terminal 3 may be a personal computer (PC). The operator terminal 3 includes a control unit 701, a storage unit 702, a recording medium reading device 703, an input / output interface 704 (input / output I / F), a communication interface 705 (communication I / F), and the like. Further, each of the components is connected by a bus 706. The control unit 701 may be a central processing unit (CPU), a multi-core CPU, or a programmable device (such as a field programmable gate array (FPGA) or a programmable logic device (PLD)). The control unit 701 includes a reproduction unit 801, a moving image recording unit 802, a sound storage unit 803, a calculation unit 804, an adjustment unit 805, and the like which will be described later. The control unit 701 controls each unit of the operator terminal 3. In addition, the control unit 701 performs control to reproduce and display the moving image data transmitted from the server 1. The control unit 701 has a function of controlling a call with the customer terminal 4. In addition, since it is required to quickly detect the shift of the moving image data and synchronize the moving images, the control unit 201 can operate each processing unit in parallel, and the calculation result of each processing unit is used in cooperation. It is desirable to be.

図8は、オペレータ端末の機能の一実施例を示す図である。
再生部801は、通信インタフェース705を介してサーバ1から配信される配信データを受信し、動画データを順次再生して、表示部808に動画を表示させる。また、再生部801はオペレータ動画情報806に動画データ各々を再生した日時または再生開始から経過した時間と、動画データの音データを再生したデータを関連付けて記憶する。オペレータ動画情報806は、再生部801で再生した動画データの日時または再生開始から経過した時間と、動画記録部802により記録される該動画データとを関連付けて記憶する。図9は、オペレータ動画情報と顧客音情報のデータ構造の一実施例を示す図である。図9のオペレータ動画情報901は、「日時」「オペレータ音データ」「オペレータ動画データ」を有している。「日時」には、再生した動画データの日時または再生開始から経過した時間が記憶されている。本例では、「time1」「time2」「time3」・・・・が記憶されている。「オペレータ音データ」には、再生部801により再生された動画データの音データが記録される。本例では、音データとして「op_sound1」「op_sound2」「op_sound3」・・・・が記憶されている。「オペレータ動画データ」には、再生した動画データの日時または再生開始から経過した時間に関連付けられて、動画データが動画記録部802により記憶される。
FIG. 8 is a diagram illustrating an example of functions of the operator terminal.
The reproducing unit 801 receives distribution data distributed from the server 1 via the communication interface 705, sequentially reproduces the moving image data, and causes the display unit 808 to display the moving image. In addition, the playback unit 801 stores in the operator video information 806 the date and time when each video data was played back or the time elapsed from the start of playback and the data that played back the sound data of the video data in association with each other. The operator moving image information 806 stores the date and time of the moving image data reproduced by the reproducing unit 801 or the time elapsed from the start of reproduction and the moving image data recorded by the moving image recording unit 802 in association with each other. FIG. 9 is a diagram illustrating an example of a data structure of operator moving image information and customer sound information. The operator moving image information 901 in FIG. 9 includes “date and time”, “operator sound data”, and “operator moving image data”. The “date and time” stores the date and time of the reproduced moving image data or the time elapsed from the start of reproduction. In this example, “time 1”, “time 2”, “time 3”,... Are stored. In the “operator sound data”, sound data of moving image data reproduced by the reproducing unit 801 is recorded. In this example, “op_sound1”, “op_sound2”, “op_sound3”,... Are stored as sound data. In the “operator moving image data”, moving image data is stored by the moving image recording unit 802 in association with the date and time of the reproduced moving image data or the time elapsed from the start of reproduction.

また、再生部801は調整部805から再生日時が通知されると、オペレータ動画情報806を参照して、該再生日時に対応する動画データから再生を始める。
動画記録部802は、再生部801により再生され出力される動画データに対応する動画データを、再生日時または再生開始から経過した時間に関連付けて記憶される。
Also, when the playback date / time is notified from the adjustment unit 805, the playback unit 801 refers to the operator video information 806 and starts playback from the video data corresponding to the playback date / time.
The moving image recording unit 802 stores moving image data corresponding to the moving image data reproduced and output by the reproducing unit 801 in association with the reproduction date and time or the time elapsed from the start of reproduction.

音記憶部803は、サーバ1から顧客端末2に配信されている配信データを再生した際に出力される音楽、音声案内などの音を、顧客端末4(例えば、電話など)からサーバ1を介して所定の間隔で取得し、音データとして受信する。そして、音記憶部803は受信した音データを受信した日時または受信開始から経過した時間に関連付けて、顧客音情報807に記憶する。   The sound storage unit 803 transmits sounds such as music and voice guidance that are output when the distribution data distributed from the server 1 to the customer terminal 2 is reproduced via the server 1 from the customer terminal 4 (for example, telephone). Are acquired at predetermined intervals and received as sound data. The sound storage unit 803 stores the received sound data in the customer sound information 807 in association with the received date and time or the time elapsed since the start of reception.

顧客音情報807は、音記憶部803が受信した音声データを受信した日時または受信開始から経過した時間に関連付けて記憶されている。図9の顧客音情報902は、「日時」「顧客音データ」を有している。「日時」には、受信した音データの日時または再生開始から経過した時間が記憶されている。本例では、「time_a」「time_b」「time_c」・・・・が記憶されている。「顧客音データ」には、音記憶部803で受信した音データが記憶される。本例では、音データとして「cs_data1」「cs_data2」「cs_data3」・・・・が記憶されている。   The customer sound information 807 is stored in association with the date and time when the sound data received by the sound storage unit 803 is received or the time elapsed since the start of reception. The customer sound information 902 in FIG. 9 includes “date and time” and “customer sound data”. The “date and time” stores the date and time of the received sound data or the time elapsed since the start of reproduction. In this example, “time_a”, “time_b”, “time_c”,... Are stored. In “customer sound data”, sound data received by the sound storage unit 803 is stored. In this example, “cs_data1”, “cs_data2”, “cs_data3”,... Are stored as sound data.

算出部804は、オペレータ動画情報806に記憶されている音データと、顧客音情報807に記憶されている音データとを比較し、後述する音パターンマッチング処理をして、一致する期間を検出する。続いて、算出部804は検出した音データ各々の一致する箇所に関連付けられている日時を、オペレータ動画情報806と顧客音情報807からそれぞれ取得する。そして、取得した日時それぞれを用いて時間差を求め、求めた時間差を算出部804が調整部805に送信する。   The calculation unit 804 compares the sound data stored in the operator moving image information 806 with the sound data stored in the customer sound information 807, and performs a sound pattern matching process described later to detect a matching period. . Subsequently, the calculation unit 804 obtains the date and time associated with the matching location of each detected sound data from the operator moving image information 806 and the customer sound information 807, respectively. Then, a time difference is obtained using each of the acquired dates and times, and the calculation unit 804 transmits the obtained time difference to the adjustment unit 805.

算出部804は、オペレータ動画情報806の音データの一致する期間の始まりの再生日時または再生時間より、顧客音情報807の音データの一致する期間の始まりの受信日時または受信時間が後であるか判定する。後ろである場合に、算出部804は、オペレータ動画情報806の音データの一致する期間と顧客音情報807の音データの一致する期間のずれている時間(第1の時間差)を求める。   The calculation unit 804 determines whether the reception date / time or reception time of the beginning of the period of matching sound data of the customer sound information 807 is later than the reproduction date / time or the reproduction time of the period of matching of sound data of the operator moving image information 806. judge. In the latter case, the calculation unit 804 obtains a time (first time difference) in which the period in which the sound data of the operator moving image information 806 matches and the period in which the sound data of the customer sound information 807 match.

また、算出部804は、オペレータ動画情報806の音データの一致する期間の始まりの再生日時または再生時間より、顧客音情報807の音データの一致する期間の始まりの受信日時または受信時間が前であるかを判定する。前である場合に、オペレータ動画情報806の音データの一致する期間と顧客音情報807の音データの一致する期間のずれている時間(第2の時間差)を求める。   In addition, the calculation unit 804 may receive the reception date / time or reception time at the beginning of the matching period of the sound data of the customer sound information 807 before the reproduction date / time or the reproduction time of the period of matching of the sound data of the operator video information 806. Determine if there is. If it is before, the time (second time difference) in which the period in which the sound data of the operator moving image information 806 matches and the period in which the sound data of the customer sound information 807 match is obtained.

調整部805は、上記時間差を算出部804から取得し、時間差に応じて、オペレータ端末3で再生する動画データを決める。すなわち、調整部805は、サーバ1から既に配信された動画データに関連付けられている音データに、顧客端末4から受信した音データと一致するデータがある場合に、ずれている時間差分、オペレータ端末3において時間差分待機する。その後、再生部801が再生を再開する通知を再生部801に出力してもよい。あるいは、オペレータ端末3において再生している動画を巻き戻す通知を再生部801に出力してもよい。例えば、調整部805は、オペレータ動画情報901の「日時」を参照して、現在再生している動画データに対応する再生日時を選択し、選択した再生日時から時間差分前の再生日時を求める。そして、調整部805は該再生日時を再生部801に送信する。   The adjustment unit 805 acquires the time difference from the calculation unit 804, and determines moving image data to be reproduced on the operator terminal 3 according to the time difference. That is, the adjustment unit 805, when there is data that matches the sound data received from the customer terminal 4 in the sound data associated with the moving image data that has already been distributed from the server 1, the time difference that is shifted, the operator terminal In step 3, a time difference is waited. Thereafter, a notification that the playback unit 801 resumes playback may be output to the playback unit 801. Alternatively, a notification for rewinding the moving image being played back on the operator terminal 3 may be output to the playback unit 801. For example, the adjustment unit 805 refers to “date and time” of the operator moving image information 901, selects a reproduction date and time corresponding to the currently reproduced moving image data, and obtains the reproduction date and time before the time difference from the selected reproduction date and time. Then, the adjustment unit 805 transmits the reproduction date and time to the reproduction unit 801.

また、調整部805は、サーバ1から既に配信された音データと、顧客端末4から受信した音データの一致を算出部が確認できなかったら、一旦サーバからの音データをさらに蓄積し、一致を確認できるまで繰り返します。その結果(オペ端末側が遅延していたら)調整部805は、時間差分を飛ばして動画を配信させる通知(同期情報)をします。
すなわち、調整部805は、時間差分後の再生日時に対応する動画データから順に配信させるための通知を、サーバ1に送信する。
同期情報は、例えば、オペレータID、配信データID、時間差を含む情報である。
If the calculation unit cannot confirm the coincidence between the sound data already distributed from the server 1 and the sound data received from the customer terminal 4, the adjustment unit 805 further accumulates the sound data from the server, Repeat until you can confirm. As a result (if the operating terminal side is delayed), the adjustment unit 805 sends a notification (synchronous information) to skip the time difference and distribute the video.
That is, the adjustment unit 805 transmits to the server 1 a notification for sequentially distributing moving image data corresponding to the reproduction date and time after the time difference.
The synchronization information is, for example, information including an operator ID, a distribution data ID, and a time difference.

記憶部702は、例えばRead Only Memory(ROM)、Random Access Memory(RAM)などのメモリやハードディスクなどが考えられる。記憶部702は、オペレータ動画情報806、顧客音情報807を有している。なお、記憶部702にはパラメータ値、変数値などのデータを記憶してもよいし、実行時のワークエリアとして用いてもよい。また、記憶部702は動画データと、該動画データを再生した日時または通話開始からの経過時間とを関連付けて記憶してもよい。   The storage unit 702 may be a memory such as a read only memory (ROM) or a random access memory (RAM), a hard disk, or the like. The storage unit 702 has operator moving image information 806 and customer sound information 807. The storage unit 702 may store data such as parameter values and variable values, or may be used as a work area at the time of execution. Further, the storage unit 702 may store the moving image data and the date and time when the moving image data was reproduced or the elapsed time from the start of the call in association with each other.

記録媒体読取装置703は、制御部701の制御に従って記録媒体707に対するデータのリード/ライトを制御する。そして、記録媒体707に記録媒体読取装置703の制御で書き込まれたデータを記憶させたり、記録媒体707に記憶されたデータを読み取らせたりする。また、着脱可能な記録媒体707は、コンピュータで読み取り可能なnon-transitory(非一時的)な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置(HDD)などがある。光ディスクには、Digital Versatile Disc(DVD)、DVD−RAM、Compact Disc Read Only Memory(CD−ROM)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、Magneto-Optical disk(MO)などがある。なお、記憶部702もnon-transitory(非一時的)な記録媒体に含まれる。   The recording medium reading device 703 controls reading / writing of data with respect to the recording medium 707 according to the control of the control unit 701. Then, the data written under the control of the recording medium reading device 703 is stored in the recording medium 707, or the data stored in the recording medium 707 is read. The removable recording medium 707 includes a computer-readable non-transitory recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. The magnetic recording device includes a hard disk device (HDD). Optical discs include Digital Versatile Disc (DVD), DVD-RAM, Compact Disc Read Only Memory (CD-ROM), and CD-R (Recordable) / RW (ReWritable). Magneto-optical recording media include magneto-optical disks (MO). Note that the storage unit 702 is also included in a non-transitory recording medium.

入出力インタフェース704には、入出力部708が接続され、利用者が入力した情報を受信し、バス706を介して制御部701に送信する。また、制御部701からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部708の入力装置は、例えば、キーボード、ポインティングデバイス(マウスなど)、タッチパネルなどが考えられる。なお、入出力部708の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube(CRT)ディスプレイ、プリンタなどの出力装置であってもよい。   An input / output unit 708 is connected to the input / output interface 704, receives information input by the user, and transmits the information to the control unit 701 via the bus 706. Further, operation information and the like are displayed on the display screen in accordance with a command from the control unit 701. Examples of the input device of the input / output unit 708 include a keyboard, a pointing device (such as a mouse), and a touch panel. In addition, the display which is an output part of the input / output part 708 can consider a liquid crystal display etc., for example. The output unit may be an output device such as a Cathode Ray Tube (CRT) display or a printer.

なお、入出力部708には、オペレータの音声を入力する入力装置(マイクなど)、顧客の音声などを出力する出力装置(ヘッドホン、イヤホン)などが設けられている。また、入力装置と出力装置は、ハンドセットなどであってもよい。なお、入力装置により入力されるオペレータの音声は回線7を介して顧客端末4の音声出力部に送られ、顧客の音声は、入出力部708の出力装置に出力される。   The input / output unit 708 is provided with an input device (such as a microphone) for inputting operator's voice, an output device (headphone, earphone) for outputting customer's voice and the like. The input device and the output device may be a handset. The operator's voice input by the input device is sent to the voice output unit of the customer terminal 4 via the line 7, and the customer's voice is output to the output device of the input / output unit 708.

通信インタフェース705は、サーバ1および顧客端末2との間のLocal Area Network(LAN)接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース705は必要に応じ、他のコンピュータとの間のLAN接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。   The communication interface 705 is an interface for performing Local Area Network (LAN) connection, Internet connection, and wireless connection between the server 1 and the customer terminal 2. The communication interface 705 is an interface for performing LAN connection, Internet connection, or wireless connection with another computer as necessary. It is also connected to other devices and controls data input / output from external devices.

このようなハードウェア構成を有するコンピュータを用いることによって、後述する各種処理機能が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体707に記録しておくことができる。   By using a computer having such a hardware configuration, various processing functions to be described later are realized. In that case, a program describing the processing contents of the functions that the system should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded in a computer-readable recording medium 707.

プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの記録媒体707が販売される。また、プログラムをサーバコンピュータの記憶装置に記録しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。   When distributing the program, for example, a recording medium 707 such as a DVD or a CD-ROM in which the program is recorded is sold. It is also possible to record the program in a storage device of the server computer and transfer the program from the server computer to another computer via a network.

プログラムを実行するコンピュータは、例えば、記録媒体707に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部702に記録する。そして、コンピュータは、自己の記憶部702からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、記録媒体707から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。   The computer that executes the program records, for example, the program recorded in the recording medium 707 or the program transferred from the server computer in its own storage unit 702. Then, the computer reads the program from its own storage unit 702 and executes processing according to the program. The computer can also read the program directly from the recording medium 707 and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

顧客端末2について説明する。
図10は、顧客端末のハードウェアの一実施例を示す図である。顧客端末2は、Personal Computer(PC)などを用いることが考えられる。顧客端末2は、制御部1001、記憶部1002、記録媒体読取装置1003、入出力インタフェース1004(入出力I/F)、通信インタフェース1005(通信I/F)などを備えている。また、上記各構成部はバス1006によってそれぞれ接続されている。制御部1001は、Central Processing Unit(CPU)やプログラマブルなデバイス(Field Programmable Gate Array(FPGA)、Programmable Logic Device(PLD)など)を用いることが考えられる。制御部1001は、顧客端末2の各部を制御する。また、制御部1001は動画データをリアルタイムストリーム再生方式で再生することができる。
The customer terminal 2 will be described.
FIG. 10 is a diagram illustrating an example of hardware of a customer terminal. The customer terminal 2 may be a personal computer (PC). The customer terminal 2 includes a control unit 1001, a storage unit 1002, a recording medium reading device 1003, an input / output interface 1004 (input / output I / F), a communication interface 1005 (communication I / F), and the like. In addition, each of the components is connected by a bus 1006. The control unit 1001 may use a central processing unit (CPU) or a programmable device (such as a field programmable gate array (FPGA) or a programmable logic device (PLD)). The control unit 1001 controls each unit of the customer terminal 2. Further, the control unit 1001 can reproduce the moving image data by a real-time stream reproduction method.

記憶部1002は、例えばRead Only Memory(ROM)、Random Access Memory(RAM)などのメモリやハードディスクなどが考えられる。なお、記憶部1002にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。また、記憶部1002はストリーム再生するために動画データを一時記憶し、再生されると動画データは消去される。   The storage unit 1002 may be a memory such as a read only memory (ROM) or a random access memory (RAM), a hard disk, or the like. Note that data such as parameter values and variable values may be recorded in the storage unit 1002 or may be used as a work area at the time of execution. In addition, the storage unit 1002 temporarily stores moving image data for stream reproduction, and the moving image data is erased when reproduced.

記録媒体読取装置1003は、制御部1001の制御に従って記録媒体1007に対するデータのリード/ライトを制御する。そして、記録媒体1007に記録媒体読取装置1003の制御で書き込まれたデータを記録させたり、記録媒体1007に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体1007は、コンピュータで読み取り可能なnon-transitory(非一時的)な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置(HDD)などがある。光ディスクには、Digital Versatile Disc(DVD)、DVD−RAM、Compact Disc Read Only Memory(CD−ROM)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、Magneto-Optical disk(MO)などがある。なお、記憶部1002もnon-transitory(非一時的)な記録媒体に含まれる。   The recording medium reading device 1003 controls reading / writing of data with respect to the recording medium 1007 according to the control of the control unit 1001. Then, the data written by the control of the recording medium reading device 1003 is recorded on the recording medium 1007 or the data recorded on the recording medium 1007 is read. The detachable recording medium 1007 includes a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like as a computer-readable non-transitory recording medium. The magnetic recording device includes a hard disk device (HDD). Optical discs include Digital Versatile Disc (DVD), DVD-RAM, Compact Disc Read Only Memory (CD-ROM), and CD-R (Recordable) / RW (ReWritable). Magneto-optical recording media include magneto-optical disks (MO). Note that the storage unit 1002 is also included in a non-transitory recording medium.

入出力インタフェース1004には、入出力部1008が接続され、利用者が入力した情報を受信し、バス1006を介して制御部1001に送信する。また、制御部1001からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部1008の入力装置は、例えば、キーボード、ポインティングデバイス(マウスなど)、タッチパネルなどが考えられる。なお、入出力部1008の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube(CRT)ディスプレイ、プリンタなどの出力装置であってもよい。   An input / output unit 1008 is connected to the input / output interface 1004, receives information input by the user, and transmits the information to the control unit 1001 via the bus 1006. Further, operation information and the like are displayed on the display screen in accordance with a command from the control unit 1001. Examples of the input device of the input / output unit 1008 include a keyboard, a pointing device (such as a mouse), and a touch panel. In addition, the display which is an output part of the input / output part 1008 can consider a liquid crystal display etc., for example. The output unit may be an output device such as a Cathode Ray Tube (CRT) display or a printer.

通信インタフェース1005は、サーバ1およびオペレータ端末3との間のLocal Area Network(LAN)接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース1005は必要に応じ、他のコンピュータとの間のLAN接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。   The communication interface 1005 is an interface for performing Local Area Network (LAN) connection, Internet connection, and wireless connection between the server 1 and the operator terminal 3. The communication interface 1005 is an interface for performing LAN connection, Internet connection, or wireless connection with another computer as necessary. It is also connected to other devices and controls data input / output from external devices.

図11は、顧客端末の一実施例を示すブロック図である。図11に示す顧客端末2の制御部1001は、動画依頼部1101、動画受信部1102、動画再生部1103などを有している。また、図11に示す顧客端末2に接続される入出力部1008は、図11に示す入力部1104、表示部1105を有している。顧客は、表示部1105に表示される動画選択画面を見て、マウスなどの入力部1104を用いて、動画を選択する。動画が選択されると、動画依頼部1101は、サーバ1に動画を要求するために動画データ配信要求を生成する。続いて、動画データ配信要求は、動画依頼部1101から通信インタフェース1005を介して、サーバ1に送信される。次に、顧客端末2の動画受信部1102はサーバ1から動画データを取得すると、取得した動画データを例えば記憶部1002に一時記憶する。動画再生部1103は、一時記憶した動画データを取得して、動画データを再生する。表示部1105は、動画再生部1103が再生した出力を受信して動画を表示する。   FIG. 11 is a block diagram showing an embodiment of a customer terminal. The control unit 1001 of the customer terminal 2 illustrated in FIG. 11 includes a moving image request unit 1101, a moving image receiving unit 1102, a moving image reproducing unit 1103, and the like. Further, the input / output unit 1008 connected to the customer terminal 2 illustrated in FIG. 11 includes the input unit 1104 and the display unit 1105 illustrated in FIG. The customer views a moving image selection screen displayed on the display unit 1105 and selects a moving image using the input unit 1104 such as a mouse. When a moving image is selected, the moving image request unit 1101 generates a moving image data distribution request in order to request a moving image from the server 1. Subsequently, the moving image data distribution request is transmitted from the moving image request unit 1101 to the server 1 via the communication interface 1005. Next, when the moving image receiving unit 1102 of the customer terminal 2 acquires moving image data from the server 1, the acquired moving image data is temporarily stored in the storage unit 1002, for example. The moving image reproduction unit 1103 acquires the temporarily stored moving image data and reproduces the moving image data. The display unit 1105 receives the output reproduced by the moving image reproducing unit 1103 and displays the moving image.

顧客端末4は、例えば、電話、IP電話、ソフトフォンなどが考えられる。また、顧客端末4は、図10に示した装置に電話、IP電話、ソフトフォンなどのいずれかの機能を持たせた装置でもよい。   For example, the customer terminal 4 may be a telephone, an IP telephone, a soft phone, or the like. Further, the customer terminal 4 may be a device in which the device shown in FIG. 10 has any function such as a telephone, an IP phone, and a soft phone.

オペレータ端末の動作について説明する。
図12、図13は、同期制御動作の一実施例を示すフロー図である。図12の例では、顧客が既に顧客端末2を用いてサーバ1から配信された動画を見ている状況で、顧客からオペレータへ動画を配信している回線とは別の回線を用いて問合せがあった場合を想定している。すなわち、動画配信部302が通信接続部301を介して動画データを、サーバ1から顧客端末2に配信している。なお、顧客が動画を見るよりも先に、顧客からオペレータへの問合せがある場合には、オペレータ端末3と顧客端末4とが接続された後、別の回線を用いてサーバ1から顧客に動画が配信されることも想定される。また、呼接続部303が顧客端末4から送信される呼(顧客端末4の電話番号などを含む情報)を受信し、オペレータ端末3と顧客端末4を接続する。次に、呼接続部303は受信した情報から顧客の電話番号を特定する。次に、呼接続部303は特定した電話番号を特定部304に送信する。特定部304が特定した電話番号を用いて顧客情報308を検索して顧客IDを特定する。ただし、顧客IDと電話番号が一致しない場合には、オペレータは顧客から顧客IDなどを直接聞いて、オペレータ端末3の入出力部708を用いて直接顧客IDを入力し、特定部304が特定する顧客IDとしてもよい。次に、顧客端末2とオペレータ端末3が通話可能な状態であること、顧客IDと、オペレータIDとを、特定部304は動画配信部302に通知し、オペレータ端末3への配信データの配信を開始する指示を通知する。続いて、動画配信部302が配信データの配信を開始する指示を受信すると、オペレータ端末3へ顧客端末2と同じ動画データが送信される。
The operation of the operator terminal will be described.
12 and 13 are flowcharts showing an embodiment of the synchronization control operation. In the example of FIG. 12, in the situation where the customer has already watched the video delivered from the server 1 using the customer terminal 2, the inquiry is made using a line different from the line delivering the video from the customer to the operator. We assume the case. That is, the moving image distribution unit 302 distributes moving image data from the server 1 to the customer terminal 2 via the communication connection unit 301. If the customer makes an inquiry to the operator before the customer sees the video, after the operator terminal 3 and the customer terminal 4 are connected, the video is sent from the server 1 to the customer using another line. Is also expected to be delivered. Further, the call connection unit 303 receives a call (information including the telephone number of the customer terminal 4) transmitted from the customer terminal 4, and connects the operator terminal 3 and the customer terminal 4. Next, the call connection unit 303 identifies the customer's telephone number from the received information. Next, the call connection unit 303 transmits the specified telephone number to the specifying unit 304. The customer information 308 is searched using the telephone number specified by the specifying unit 304 to specify the customer ID. However, if the customer ID does not match the telephone number, the operator directly asks the customer ID, etc. from the customer, directly inputs the customer ID using the input / output unit 708 of the operator terminal 3, and the specifying unit 304 specifies the customer ID. It may be a customer ID. Next, the specifying unit 304 notifies the moving image distribution unit 302 that the customer terminal 2 and the operator terminal 3 are in a communicable state, the customer ID and the operator ID, and distributes the distribution data to the operator terminal 3. Notify instructions to start. Subsequently, when the moving image distribution unit 302 receives an instruction to start distributing distribution data, the same moving image data as the customer terminal 2 is transmitted to the operator terminal 3.

ステップS1201では、再生部801が通信インタフェース705を介して動画データを受信する。
ステップS1202では、再生部801が受信した動画データ各々を順次再生して、表示部808に動画を表示させる。また、再生部801はオペレータ動画情報806に動画データ各々を再生した日時または再生開始から経過した時間と、動画データの音データを再生したデータを関連付けて記憶する。また、動画記録部802は、再生部801により再生され出力される動画データに対応する動画データを、再生日時または再生開始から経過した時間に関連付けて、オペレータ動画情報806に記憶する。
In step S1201, the playback unit 801 receives moving image data via the communication interface 705.
In step S1202, the moving image data received by the reproducing unit 801 is sequentially reproduced, and the moving image is displayed on the display unit 808. In addition, the playback unit 801 stores in the operator video information 806 the date and time when each video data was played back or the time elapsed from the start of playback and the data that played back the sound data of the video data in association with each other. In addition, the moving image recording unit 802 stores the moving image data corresponding to the moving image data reproduced and output by the reproducing unit 801 in the operator moving image information 806 in association with the reproduction date and time or the time elapsed from the start of reproduction.

ステップS1203では、音記憶部803がサーバ1から顧客端末2に配信されている配信データを再生した際に出力される音楽、音声案内などの音を、顧客端末4からサーバ1を介して受信し、音声データとして取得する。音記憶部803は、取得した音声データを受信した日時または受信開始から経過した時間に関連付けて、顧客音情報807に記憶する。   In step S1203, the sound storage unit 803 receives sounds such as music and voice guidance output from the customer terminal 4 via the server 1 when the distribution data distributed from the server 1 to the customer terminal 2 is reproduced. , Get as voice data. The sound storage unit 803 stores the acquired sound data in the customer sound information 807 in association with the date and time when the acquired sound data is received or the time elapsed since the start of reception.

ステップS1204では、算出部804が顧客電話からの音データと、オペレータ端末に送信された動画データの音データと、を音パターンマッチング処理する。
ステップS1205では、算出部804が音データ各々の一致する期間を検出できたか否かを判定し、一致した期間が検出された場合にはステップS1206(Yes)に移行し、一致した期間が検出されない場合には図13のステップS1211(No)に移行する。すなわち、算出部804は、サーバ1から既に配信された動画データに関連付けられている音データに、顧客端末4から受信した音データと一致するデータがある場合にステップS1206に移行する。また、算出部804は、サーバ1から既に配信された音データに、顧客端末4から受信した音データと一致するデータがなければ、図13のステップS1211に移行する。
In step S1204, the calculation unit 804 performs a sound pattern matching process on the sound data from the customer phone and the sound data of the moving image data transmitted to the operator terminal.
In step S1205, it is determined whether the calculation unit 804 has detected a matching period of each sound data. If a matching period is detected, the process proceeds to step S1206 (Yes), and no matching period is detected. In this case, the process proceeds to step S1211 (No) in FIG. That is, the calculation unit 804 proceeds to Step S1206 when there is data that matches the sound data received from the customer terminal 4 in the sound data associated with the moving image data already distributed from the server 1. If there is no data that matches the sound data received from the customer terminal 4 in the sound data already distributed from the server 1, the calculation unit 804 proceeds to step S1211 in FIG.

ステップS1206では、算出部804が検出した音データ各々の一致する箇所に関連付けられている再生日時と受信日時各々を、オペレータ動画情報806と顧客音情報807からそれぞれ取得する。ただし、再生日時と受信日時は一致することが少ないため、例えば、受信日時を基準に、該基準とした受信日時に最も近い再生日時を選択することが考えられる。ただし、再生日時と受信日時の取得の仕方は上記に限定されるものではなく、再生日時を基準とし、該基準とした再生日時に最も近い受信日時を選択してもよい。   In step S1206, the reproduction date / time and the reception date / time associated with the corresponding portions of the sound data detected by the calculation unit 804 are acquired from the operator moving image information 806 and the customer sound information 807, respectively. However, since the reproduction date / time and the reception date / time rarely match, for example, it is conceivable to select the reproduction date / time closest to the reception date / time based on the reception date / time. However, the method of obtaining the reproduction date and reception date and time is not limited to the above, and the reception date and time closest to the reproduction date and time may be selected based on the reproduction date and time.

ステップS1207では、算出部804が取得した再生日時と受信日時各々を用いて時間差を求め、求めた時間差を調整部805に送信する。
ステップS1208では、調整部805がずれている時間差分、オペレータ端末3の動画再生を待機させる。あるいは、オペレータ端末3において再生している動画を巻き戻しする。例えば、調整部805は、オペレータ動画情報901の「日時」を参照して、現在再生している動画データに対応する再生日時を選択し、選択した再生日時から時間差分前の再生日時を求める。そして、調整部805は該再生日時を再生部801に送信する。
In step S <b> 1207, a time difference is obtained using each of the reproduction date and reception date and time received by the calculation unit 804, and the obtained time difference is transmitted to the adjustment unit 805.
In step S <b> 1208, the adjustment unit 805 waits for the time difference that the adjustment unit 805 deviates and the moving image reproduction of the operator terminal 3. Alternatively, the moving image being played back on the operator terminal 3 is rewound. For example, the adjustment unit 805 refers to “date and time” of the operator moving image information 901, selects a reproduction date and time corresponding to the currently reproduced moving image data, and obtains the reproduction date and time before the time difference from the selected reproduction date and time. Then, the adjustment unit 805 transmits the reproduction date and time to the reproduction unit 801.

ステップS1209では、再生部801が調整部805から再生日時が通知されると、オペレータ動画情報806を参照して、該再生日時に対応する動画データから再生を始める。その後、ステップS1210に移行する。   In step S1209, when the playback unit 801 is notified of the playback date / time from the adjustment unit 805, the playback unit 801 refers to the operator video information 806 and starts playback from the video data corresponding to the playback date / time. Thereafter, the process proceeds to step S1210.

図13のステップS1211では、顧客音情報807に記憶されている音データのレベルが所定の値より小さいとき、音記憶部803が受信音量を変更してもよい。また、音データを取得し直してもよい。   In step S1211, the sound storage unit 803 may change the reception volume when the level of the sound data stored in the customer sound information 807 is lower than a predetermined value. Moreover, sound data may be acquired again.

ステップS1212では、オペレータ音情報806と顧客音情報807にさらに音データが記憶されるまで一定期間待つ。
ステップS1213では、算出部804が顧客からの音データと、前の音パターンマッチング処理以降に記録した動画データの音データと、を音パターンマッチング処理する。
In step S <b> 1212, the process waits for a certain period until further sound data is stored in the operator sound information 806 and the customer sound information 807.
In step S1213, the calculation unit 804 performs sound pattern matching processing on the sound data from the customer and the sound data of the moving image data recorded after the previous sound pattern matching processing.

ステップS1214では、算出部804が音データ各々の一致する期間を検出できたか否かを判定し、一致した期間が検出された場合にはステップS1215(Yes)に移行し、一致した期間が検出されない場合には図13のステップS1204(No)に移行する。すなわち、算出部804は、サーバ1から既に配信された音データに、顧客端末4から受信した音データと一致するデータがあればステップS1215に移行し、一致するデータがなければ図12のステップS1204に移行する。   In step S1214, the calculation unit 804 determines whether or not the matching periods of the sound data can be detected. If a matching period is detected, the process proceeds to step S1215 (Yes), and the matching period is not detected. In this case, the process proceeds to step S1204 (No) in FIG. That is, if there is data that matches the sound data received from the customer terminal 4 in the sound data already distributed from the server 1, the calculation unit 804 proceeds to step S1215, and if there is no matching data, the calculation unit 804 proceeds to step S1204 in FIG. Migrate to

ステップS1215では、算出部804が検出した音データ各々の一致する箇所に関連付けられている再生日時と受信日時各々を、オペレータ動画情報806と顧客音情報807からそれぞれ取得する。ただし、再生日時と受信日時は一致することが少ないため、例えば、受信日時を基準に、該基準とした受信日時に最も近い再生日時を選択することが考えられる。ただし、再生日時と受信日時の取得の仕方は上記に限定されるものではなく、再生日時を基準とし、該基準とした再生日時に最も近い受信日時を選択してもよい。   In step S1215, the reproduction date / time and the reception date / time associated with the corresponding portions of the sound data detected by the calculation unit 804 are acquired from the operator moving image information 806 and the customer sound information 807, respectively. However, since the reproduction date / time and the reception date / time rarely match, for example, it is conceivable to select the reproduction date / time closest to the reception date / time based on the reception date / time. However, the method of obtaining the reproduction date and reception date and time is not limited to the above, and the reception date and time closest to the reproduction date and time may be selected based on the reproduction date and time.

ステップS1216では、ステップS1215で取得した動画データの音データの再生日時と、ステップS1215で取得した顧客からの音データの受信日時との時間の差を算出部804が求め、求めた時間差を調整部805に送信する。   In step S1216, the calculation unit 804 obtains a time difference between the reproduction date / time of the sound data of the moving image data acquired in step S1215 and the reception date / time of the sound data from the customer acquired in step S1215, and adjusts the obtained time difference. To 805.

ステップS1217では、調整部805がサーバ1から一致する音データが送信されるまでの時間差分飛ばして動画を配信させるためにオペレータID、配信データID、時間差を含む同期情報を、サーバ1に送信する。その後、ステップS1210に移行する。   In step S1217, the adjustment unit 805 transmits the synchronization information including the operator ID, the distribution data ID, and the time difference to the server 1 in order to skip the time difference until the matching sound data is transmitted from the server 1 and distribute the moving image. . Thereafter, the process proceeds to step S1210.

サーバ1は、同期情報のオペレータID、配信データIDと配信状況情報306を用いて、オペレータと通話中の顧客に配信中の配信データと動画データを特定する。次に、特定した動画データの再生時間情報と同期情報の時間差を用いて、特定した動画データを基準に、基準から時間差分飛ばした位置にある再生時間情報を有する動画データを検出する。ただし、特定した動画データの再生時間情報の示す時間から時間差を引いた時間と、動画データの再生時間情報に示す時間が一致する動画データは少ないので、最も近い再生時間情報を有する動画データを特定する。そして、特定した動画データの位置〜順次オペレータ端末3へ動画データを配信する。   The server 1 uses the operator ID, the distribution data ID, and the distribution status information 306 of the synchronization information to specify distribution data and moving image data being distributed to the customer who is talking with the operator. Next, using the time difference between the reproduction time information and the synchronization information of the specified moving image data, moving image data having the reproduction time information at a position that is skipped by the time difference from the reference is detected using the specified moving image data as a reference. However, since there is little video data that matches the time shown in the playback time information of the video data and the time indicated by the playback time information of the specified video data, the video data that has the closest playback time information is specified. To do. Then, the moving image data is distributed to the operator terminal 3 sequentially from the position of the specified moving image data.

ステップS1210では、オペレータ端末3が顧客とオペレータとの通話を可能にする。
ステップS1201〜ステップS1217の処理について、図14、15を用いて説明する。図14は、オペレータ端末より顧客端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。図14の縦軸には、上から(A)オペレータ端末3が同期された音データ、(B)オペレータ端末3が非同期の音データ、(C)顧客端末4の音データが表されている。図14の横軸には時間が示されている。
In step S1210, the operator terminal 3 enables a call between the customer and the operator.
The processes in steps S1201 to S1217 will be described with reference to FIGS. FIG. 14 is a time chart showing an embodiment in which the moving image is synchronized when the moving image of the customer terminal is delayed from the operator terminal. The vertical axis of FIG. 14 represents (A) the sound data in which the operator terminal 3 is synchronized, (B) the asynchronous sound data in the operator terminal 3 and (C) the sound data in the customer terminal 4 from the top. The time is shown on the horizontal axis of FIG.

図14のタイミングt0は、サーバ1から配信された最初の動画データが再生された再生日時または再生開始から経過した時間を示している。図14のタイミングt1〜t4は再生日時または再生開始から経過した時間を示している。(A)(B)に示される波形は、オペレータ動画情報806に記憶されている再生日時または再生開始から経過した時間に関連付けられている音データの波形である。(C)に示される波形は、顧客音情報807に記憶されている受信日時または受信開始から経過した時間に関連付けられている音データの波形である。なお、図14のタイムチャートには動画データを示さないが、音声データと画像データは同期しているものとする。   A timing t0 in FIG. 14 indicates a reproduction date and time when the first moving image data distributed from the server 1 is reproduced or a time elapsed from the start of reproduction. Timings t1 to t4 in FIG. 14 indicate the playback date and time or the time elapsed from the start of playback. The waveforms shown in (A) and (B) are waveforms of sound data associated with the reproduction date and time or the time elapsed from the start of reproduction stored in the operator moving image information 806. The waveform shown in (C) is a waveform of sound data associated with the reception date and time stored in the customer sound information 807 or the time elapsed from the start of reception. Although the moving image data is not shown in the time chart of FIG. 14, it is assumed that the audio data and the image data are synchronized.

算出部804は、図14のタイミングt1でオペレータ動画情報806の期間t0〜t1(tmuch)の音データと、顧客音情報807に記憶されている音データとを用いて算出部804が音パターンマッチング処理を行う。しかし、(C)の期間t0〜t1にはデータがないので、顧客音情報807に音データが記憶されるまで一定期間待つ。   The calculation unit 804 uses the sound data of the period t0 to t1 (tmuch) of the operator moving image information 806 and the sound data stored in the customer sound information 807 at the timing t1 in FIG. Process. However, since there is no data in the period t0 to t1 in (C), it waits for a certain period until the sound data is stored in the customer sound information 807.

また、タイミングt2で、音記憶部803はサーバ1を介して顧客端末4から送信されてくる音データと受信日時または受信開始から経過した時間と、を音記憶部803が顧客音情報807に記録し始める。   At timing t2, the sound storage unit 803 records the sound data transmitted from the customer terminal 4 via the server 1 and the reception date and time or the time elapsed from the start of reception in the customer sound information 807. Begin to.

また、算出部804は、図14のタイミングt2でオペレータ動画情報806の期間t1〜t2(tmuch)の音データと、顧客音情報807に記憶されている音データとを用いて算出部804が音パターンマッチング処理を行う。しかし、期間t1〜t2にはデータがないので、顧客音情報807に音データが記憶されるまで一定期間待つ。   In addition, the calculation unit 804 uses the sound data in the period t1 to t2 (tmuch) of the operator moving image information 806 and the sound data stored in the customer sound information 807 at the timing t2 in FIG. Perform pattern matching processing. However, since there is no data in the period t1 to t2, it waits for a certain period until the sound data is stored in the customer sound information 807.

本例では、タイミングt2において、再生日時または再生開始から経過した時間と、受信日時または受信開始から経過した時間とを便宜上同じにしているが、同じでなくてもよい。   In this example, at the timing t2, the playback date and time or the time elapsed from the start of playback and the reception date and time or the time elapsed from the start of reception are the same for convenience, but they may not be the same.

次に、図14のタイミングt3のタイミングで、算出部804が音パターンマッチング処理を行うと、(B)の期間t0〜t1の音データと(C)の期間t2〜t3の音データのパターンが一致している。つまり、(B)の期間t0〜t1の音データと(C)の期間t2〜t3の音データのパターンが一致しているので、t0とt2またはt1とt3を記憶部702に記憶する。   Next, when the calculation unit 804 performs the sound pattern matching process at the timing t3 in FIG. 14, the patterns of the sound data in the periods t0 to t1 in (B) and the sound data in the periods t2 to t3 in (C) are obtained. Match. That is, since the pattern of the sound data in the period t0 to t1 in (B) and the sound data in the period t2 to t3 in (C) match, t0 and t2 or t1 and t3 are stored in the storage unit 702.

次に、算出部804がt2とt0の時間差tsubを求め、求めた時間差tsubを調整部805に送信する(ステップS1207)。
次に、調整部805は、オペレータ動画情報806を参照して、現在再生している動画データに対応する再生日時t4を選択し、選択した再生日時から時間差tsub分前の再生日時t2を求める。そして、調整部805は再生日時t2を再生部801に送信する。再生部801は、再生日時t2に関連付けられている動画データを、タイミングt4から再生する。すなわち、オペレータ端末3の画面には(A)のタイミングt4以降に示す音データ(波形)に対応する画像が表示されるので、タイミングt4以降でオペレータ端末3と顧客端末2で表示される動画が同期する。
Next, the calculation unit 804 obtains a time difference tsub between t2 and t0, and transmits the obtained time difference tsub to the adjustment unit 805 (step S1207).
Next, the adjustment unit 805 refers to the operator moving image information 806, selects a reproduction date and time t4 corresponding to the currently reproduced moving image data, and obtains a reproduction date and time t2 that is a time difference tsub before the selected reproduction date and time. Then, the adjustment unit 805 transmits the reproduction date and time t2 to the reproduction unit 801. The reproduction unit 801 reproduces the moving image data associated with the reproduction date / time t2 from the timing t4. That is, since the image corresponding to the sound data (waveform) shown after the timing t4 of (A) is displayed on the screen of the operator terminal 3, the moving image displayed on the operator terminal 3 and the customer terminal 2 after the timing t4. Synchronize.

図15は、顧客端末よりオペレータ端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。図15の縦軸には、上から(A)オペレータ端末3が同期された音データ、(B)オペレータ端末3が非同期の音データ、(C)顧客端末4の音データが表されている。図15の横軸には時間が示されている。なお、図15のタイムチャートには動画データを示さないが、音声データと画像データは同期しているものとする。   FIG. 15 is a time chart showing an embodiment in which a moving image is synchronized when the moving image of the operator terminal is delayed from the customer terminal. The vertical axis in FIG. 15 represents (A) the sound data in which the operator terminal 3 is synchronized, (B) the asynchronous sound data in the operator terminal 3, and (C) the sound data in the customer terminal 4 from the top. Time is shown on the horizontal axis of FIG. Although the moving image data is not shown in the time chart of FIG. 15, it is assumed that the audio data and the image data are synchronized.

図15のタイミングt0は、サーバ1から配信された最初の動画データが再生された再生日時または再生開始から経過した時間を示している。図15のタイミングt1〜t3は再生日時または再生開始から経過した時間を示している。   A timing t0 in FIG. 15 indicates a reproduction date and time when the first moving image data distributed from the server 1 is reproduced or a time elapsed from the start of reproduction. Timings t1 to t3 in FIG. 15 indicate the playback date and time or the time elapsed from the start of playback.

また、タイミングt0で、音記憶部803はサーバ1を介して顧客端末4から送信されてくる音データと受信日時または受信開始から経過した時間と、を音記憶部803が顧客音情報807に記録し始める。   At timing t0, the sound storage unit 803 records the sound data transmitted from the customer terminal 4 via the server 1 and the reception date and time or the time elapsed from the start of reception in the customer sound information 807. Begin to.

(A)(B)に示される波形は、オペレータ動画情報806に記憶されている再生日時または再生開始から経過した時間に関連付けられている音データの波形である。(C)に示される波形は、顧客音情報807に記憶されている受信日時または受信開始から経過した時間に関連付けられている音データの波形である。   The waveforms shown in (A) and (B) are waveforms of sound data associated with the reproduction date and time or the time elapsed from the start of reproduction stored in the operator moving image information 806. The waveform shown in (C) is a waveform of sound data associated with the reception date and time stored in the customer sound information 807 or the time elapsed from the start of reception.

算出部804は、図15のタイミングt1でオペレータ動画情報806の期間t0〜t1の音データと、顧客音情報807に記憶されている音データとを用いて算出部804が音パターンマッチング処理を行う。しかし、(C)の期間t0〜t1には一致するデータがないので、顧客音情報807に音データが記憶されるまで一定期間待つ。   In the calculation unit 804, the calculation unit 804 performs sound pattern matching processing using the sound data in the period t0 to t1 of the operator moving image information 806 and the sound data stored in the customer sound information 807 at the timing t1 in FIG. . However, since there is no coincident data in the period t0 to t1 in (C), it waits for a certain period until the sound data is stored in the customer sound information 807.

また、算出部804は、図15のタイミングt2で前のパターンマッチング処理をしたタイミング以降(期間t1以降)に記録した動画データの音データと、顧客音情報807に記憶されている音データとを用い、音パターンマッチング処理を行う。(C)の期間t0〜t2のmuch期間のデータと一致しているので、taとt1またはtbとt2を記憶部702に記憶する。   Further, the calculation unit 804 obtains the sound data of the moving image data recorded after the timing of the previous pattern matching process at the timing t2 in FIG. 15 (after the period t1) and the sound data stored in the customer sound information 807. Used to perform sound pattern matching processing. Since it matches the data of the much period from period t0 to t2 in (C), ta and t1 or tb and t2 are stored in the storage unit 702.

次に、算出部804がt2とtbの時間差tcを求め、求めた時間差tcを調整部805に送信する(ステップS1216)。
次に、調整部805がサーバ1から一致する音データが送信されるまでの時間差分飛ばして動画を配信させるために、オペレータID、配信データID、時間差tcを含む同期情報を、サーバ1に送信する。サーバ1は、同期情報を受信すると、顧客端末2へ配信中の動画データより時間差tc分前(分飛ばした位置)の動画データを特定し、動画データをオペレータ端末3に配信する。すなわち、期間td、teを飛ばして動画データをオペレータ端末3に配信する。オペレータ端末3の画面には(A)のタイミングt3以降に示す音データ(波形)に対応する画像が表示されるので、タイミングt3以降でオペレータ端末3と顧客端末2で表示される動画が同期する。
Next, the calculation unit 804 obtains a time difference tc between t2 and tb, and transmits the obtained time difference tc to the adjustment unit 805 (step S1216).
Next, the synchronization unit 805 transmits synchronization information including the operator ID, the distribution data ID, and the time difference tc to the server 1 in order to skip the time difference until the matching sound data is transmitted from the server 1 and distribute the moving image. To do. When the server 1 receives the synchronization information, the server 1 identifies the moving image data before the time difference tc from the moving image data being distributed to the customer terminal 2 (position skipped), and distributes the moving image data to the operator terminal 3. That is, the moving image data is distributed to the operator terminal 3 by skipping the periods td and te. Since the image corresponding to the sound data (waveform) shown after the timing t3 in (A) is displayed on the screen of the operator terminal 3, the moving images displayed on the operator terminal 3 and the customer terminal 2 are synchronized after the timing t3. .

実施形態によれば、オペレータ端末3はサーバ1から既に配信された動画データに関連付けられている音データに、顧客端末4から受信した音データと一致するデータがあれば、ずれている時間分、オペレータ端末3の動画再生を待機させる。あるいは、オペレータ端末3の動画を巻き戻しする。その結果、顧客端末2の再生がオペレータ端末3の再生より遅延をしている場合でも、顧客端末2とオペレータ端末3に表示する画面を同期させることができる。   According to the embodiment, if the operator terminal 3 has data that matches the sound data received from the customer terminal 4 in the sound data associated with the video data already distributed from the server 1, The operator terminal 3 is made to wait for moving image reproduction. Alternatively, the moving image of the operator terminal 3 is rewound. As a result, even when the reproduction of the customer terminal 2 is delayed from the reproduction of the operator terminal 3, the screens displayed on the customer terminal 2 and the operator terminal 3 can be synchronized.

また、オペレータ端末3はサーバ1から既に配信された動画データに関連付けられている音データに、顧客端末4から受信した音データと一致するデータがなければ、サーバ1から一致するデータが送信されてくるまでの時間差を求める。そして、サーバ1に対して求めた時間差分飛ばした位置から動画を送信するように要求する。その結果、オペレータ端末3の再生が顧客端末2の再生より遅延をしている場合でも、顧客端末2とオペレータ端末3に表示する画面各々を同期させることができる。   If the operator terminal 3 has no data that matches the sound data received from the customer terminal 4 in the sound data associated with the moving image data that has already been distributed from the server 1, the matching data is transmitted from the server 1. Find the time difference to come. Then, the server 1 is requested to transmit the moving image from the position where the calculated time difference is skipped. As a result, even when the reproduction of the operator terminal 3 is delayed from the reproduction of the customer terminal 2, the screens displayed on the customer terminal 2 and the operator terminal 3 can be synchronized.

また、上記に示すように動画の再生箇所を同期させることで、オペレータが顧客に説明をする際、顧客とオペレータが同じ動画の再生箇所を参照できるので、オペレータは顧客の問合わせに対して的確な説明や回答を行える。
また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。
In addition, by synchronizing the playback location of the video as described above, when the operator explains to the customer, the operator and the operator can refer to the playback location of the same video. Can give simple explanations and answers.
The present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the gist of the present invention.

以上実施形態1に関し、更に以下の付記を開示する。
(付記1)
サーバから第1の回線を介して配信される配信データを受信して再生する第1の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第2の回線を介して所定の間隔で受信して第1の音データにして、受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する音記憶部と、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部と、
前記再生部で再生した前記動画データと、前記動画データに関連する第2の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて前記記憶部に記憶する動画記録部と、
前記第1の音データと、第2の音データとを比較し、前記第1の音データと前記第2の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第1の音データに関連付けられている受信日時または受信時間と、一致する第2の音データに関連付けられている再生日時または再生時間とを取得し、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第1の時間差とし、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第2の時間差とする、算出部と、
前記第1の時間差があるとき、前記第1の時間差に応じて前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力し、前記第2の時間差があるとき、前記第2の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、調整部と、
を備えることを特徴とする同期制御装置。
(付記2)
前記調整部は、
前記第1の時間差があるとき、前記第1の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする付記1に記載の同期制御装置。
(付記3)
前記調整部は、
前記第1の時間差があるとき、前記第1の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする付記1に記載の同期制御装置。
(付記4)
コンピュータによって実行される同期制御方法であって、
サーバから第1の回線を介して配信される配信データを受信して再生する第1の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第2の回線を介して所定の間隔で受信して第1の音データにし、受信日時または受信を開始してから経過した受信時間に関連付け記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第2の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第1の音データと、第2の音データとを比較し、前記第1の音データと前記第2の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第1の音データに関連付けられている受信日時または受信時間と、一致する第2の音データに関連付けられている再生日時または再生時間とを取得し、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第1の時間差とし、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第2の時間差とし、
前記第1の時間差があるとき、前記第1の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第2の時間差があるとき、前記第2の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
ことを特徴とする同期制御方法。
(付記5)
前記第1の時間差があるとき、前記第1の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする付記4に記載の同期制御方法。
(付記6)
前記第1の時間差があるとき、前記第1の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする付記4に記載の同期制御方法。
(付記7)
サーバから第1の回線を介して配信される配信データを受信して再生する第1の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第2の回線を介して所定の間隔で受信して第1の音データにし、受信日時または受信を開始してから経過した受信時間に関連付けて記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第2の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第1の音データと、第2の音データとを比較し、前記第1の音データと前記第2の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第1の音データに関連付けられている受信日時または受信時間と、一致する第2の音データに関連付けられている再生日時または再生時間とを取得し、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第1の時間差とし、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第2の時間差とし、
前記第1の時間差があるとき、前記第1の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第2の時間差があるとき、前記第2の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
処理をコンピュータに実行させることを特徴とする同期制御プログラム。
(付記8)
前記第1の時間差があるとき、前記第1の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力する処理を前記コンピュータに実行させることを特徴とする付記7に記載の同期制御プログラム。
(付記9)
前記第1の時間差があるとき、前記第1の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力する処理を前記コンピュータに実行させることを特徴とする付記7に記載の同期制御プログラム。
Regarding the first embodiment, the following additional notes are disclosed.
(Appendix 1)
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second A sound storage unit for storing in a storage unit in association with a reception date / time or a reception time that has elapsed since the start of reception;
A reproduction unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server;
The moving image data reproduced by the reproducing unit, the second sound data related to the moving image data, the reproduction date / time when the moving image data was reproduced, or the reproduction time elapsed from the start of reproduction of the distribution data are associated and stored. A video recording unit to be stored in the unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A calculation unit that obtains a time difference between a matching period of second sound data and a matching period of the first sound data as a second time difference;
When there is the first time difference, a notification for reproduction by the reproduction unit is output to the reproduction unit in order from the moving image data of the moving image recording unit corresponding to the reproduction date and time or the reproduction time according to the first time difference. When there is the second time difference, an adjustment is made to notify the server or the different server of notifications that are sequentially distributed from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference. And
A synchronization control device comprising:
(Appendix 2)
The adjustment unit is
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronous control device according to supplementary note 1, wherein:
(Appendix 3)
The adjustment unit is
The synchronization control apparatus according to appendix 1, wherein when there is the first time difference, after the standby for the first time difference, the reproduction unit outputs a notification to resume reproduction to the reproduction unit.
(Appendix 4)
A synchronization control method executed by a computer,
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, and stored in the association storage unit in the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control method characterized by the above.
(Appendix 5)
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronization control method according to supplementary note 4, wherein:
(Appendix 6)
5. The synchronization control method according to appendix 4, wherein when there is the first time difference, after the standby for the first time difference, the reproduction unit outputs a notification to resume reproduction to the reproduction unit.
(Appendix 7)
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, stored in the storage unit in association with the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control program for causing a computer to execute processing.
(Appendix 8)
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronization control program according to appendix 7, wherein the computer causes the computer to execute processing.
(Appendix 9)
Supplementary note 7 wherein when the first time difference exists, the computer is caused to execute a process of outputting a notification that the reproduction unit resumes reproduction to the reproduction unit after waiting for the first time difference. The synchronous control program described.

1 サーバ
2 顧客端末
3 オペレータ端末
4 顧客端末(入力装置)
5 ネットワーク
6、7 回線
201 制御部
202 記憶部
203 記録媒体読取装置
204 入出力インタフェース
205 通信インタフェース
206 バス
207 記録媒体
208 入出力部
301 通信接続部
302 動画配信部
303 呼接続部
304 特定部
305 動画情報
306 配信状況情報
307 オペレータ情報
308 顧客情報
701 制御部
702 記憶部
703 記録媒体読取装置
704 入出力インタフェース
705 通信インタフェース
706 バス
707 記録媒体
708 入出力部
801 再生部
802 動画記録部
803 音記憶部
804 算出部
805 調整部
806 オペレータ動画情報
807 顧客音情報
808 表示部
1001 制御部
1002 記憶部
1003 記録媒体読取装置
1004 入出力インタフェース
1005 通信インタフェース
1006 バス
1007 記録媒体
1008 入出力部
1101 動画依頼部
1102 動画受信部
1103 動画再生部
1104 入力部
1105 表示部
1 server 2 customer terminal 3 operator terminal 4 customer terminal (input device)
5 Network 6, 7 Line 201 Control Unit 202 Storage Unit 203 Recording Medium Reading Device 204 Input / Output Interface 205 Communication Interface 206 Bus 207 Recording Medium 208 Input / Output Unit 301 Communication Connection Unit 302 Video Distribution Unit 303 Call Connection Unit 304 Identification Unit 305 Video Information 306 Distribution status information 307 Operator information 308 Customer information 701 Control unit 702 Storage unit 703 Recording medium reader 704 Input / output interface 705 Communication interface 706 Bus 707 Recording medium 708 Input / output unit 801 Playback unit 802 Movie recording unit 803 Sound storage unit 804 Calculation unit 805 Adjustment unit 806 Operator video information 807 Customer sound information 808 Display unit 1001 Control unit 1002 Storage unit 1003 Recording medium reader 1004 Input / output interface 1 005 Communication interface 1006 Bus 1007 Recording medium 1008 Input / output unit 1101 Movie request unit 1102 Movie receiving unit 1103 Movie playback unit 1104 Input unit 1105 Display unit

Claims (5)

サーバから第1の回線を介して配信される配信データを受信して再生する第1の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第2の回線を介して所定の間隔で受信して第1の音データにして、受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する音記憶部と、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部と、
前記再生部で再生した前記動画データと、前記動画データに関連する第2の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて前記記憶部に記憶する動画記録部と、
前記第1の音データと、第2の音データとを比較し、前記第1の音データと前記第2の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第1の音データに関連付けられている受信日時または受信時間と、一致する第2の音データに関連付けられている再生日時または再生時間とを取得し、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第1の時間差とし、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第2の時間差とする、算出部と、
前記第1の時間差があるとき、前記第1の時間差に応じて前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力し、前記第2の時間差があるとき、前記第2の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、調整部と、
を備えることを特徴とする同期制御装置。
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second A sound storage unit for storing in a storage unit in association with a reception date / time or a reception time that has elapsed since the start of reception;
A reproduction unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server;
The moving image data reproduced by the reproducing unit, the second sound data related to the moving image data, the reproduction date / time when the moving image data was reproduced, or the reproduction time elapsed from the start of reproduction of the distribution data are associated and stored. A video recording unit to be stored in the unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A calculation unit that obtains a time difference between a matching period of second sound data and a matching period of the first sound data as a second time difference;
When there is the first time difference, a notification for reproduction by the reproduction unit is output to the reproduction unit in order from the moving image data of the moving image recording unit corresponding to the reproduction date and time or the reproduction time according to the first time difference. When there is the second time difference, an adjustment is made to notify the server or the different server of notifications that are sequentially distributed from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference. And
A synchronization control device comprising:
前記調整部は、
前記第1の時間差があるとき、前記第1の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする請求項1に記載の同期制御装置。
The adjustment unit is
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronous control device according to claim 1, wherein:
前記調整部は、
前記第1の時間差があるとき、前記第1の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする請求項1に記載の同期制御装置。
The adjustment unit is
2. The synchronization control apparatus according to claim 1, wherein, when there is the first time difference, after the standby for the first time difference, the reproduction unit outputs a notification to resume reproduction to the reproduction unit.
コンピュータによって実行される同期制御方法であって、
サーバから第1の回線を介して配信される配信データを受信して再生する第1の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第2の回線を介して所定の間隔で受信して第1の音データにし、受信日時または受信を開始してから経過した受信時間に関連付け記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第2の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第1の音データと、第2の音データとを比較し、前記第1の音データと前記第2の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第1の音データに関連付けられている受信日時または受信時間と、一致する第2の音データに関連付けられている再生日時または再生時間とを取得し、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第1の時間差とし、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第2の時間差とし、
前記第1の時間差があるとき、前記第1の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第2の時間差があるとき、前記第2の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
ことを特徴とする同期制御方法。
A synchronization control method executed by a computer,
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, and stored in the association storage unit in the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control method characterized by the above.
サーバから第1の回線を介して配信される配信データを受信して再生する第1の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第2の回線を介して所定の間隔で受信して第1の音データにし、受信日時または受信を開始してから経過した受信時間に関連付けて記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第2の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第1の音データと、第2の音データとを比較し、前記第1の音データと前記第2の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第1の音データに関連付けられている受信日時または受信時間と、一致する第2の音データに関連付けられている再生日時または再生時間とを取得し、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第1の時間差とし、
前記第2の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第1の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第2の音データの一致する期間と前記第1の音データの一致する期間のずれている時間を求め第2の時間差とし、
前記第1の時間差があるとき、前記第1の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第2の時間差があるとき、前記第2の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
処理をコンピュータに実行させることを特徴とする同期制御プログラム。
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, stored in the storage unit in association with the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control program for causing a computer to execute processing.
JP2011057275A 2011-03-15 2011-03-15 Synchronization control device, synchronization control method, and synchronization control program Pending JP2012195704A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011057275A JP2012195704A (en) 2011-03-15 2011-03-15 Synchronization control device, synchronization control method, and synchronization control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011057275A JP2012195704A (en) 2011-03-15 2011-03-15 Synchronization control device, synchronization control method, and synchronization control program

Publications (1)

Publication Number Publication Date
JP2012195704A true JP2012195704A (en) 2012-10-11

Family

ID=47087230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011057275A Pending JP2012195704A (en) 2011-03-15 2011-03-15 Synchronization control device, synchronization control method, and synchronization control program

Country Status (1)

Country Link
JP (1) JP2012195704A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014105201A1 (en) * 2012-12-24 2014-07-03 Intel Corporation Improved techniques for audio synchronization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191786A (en) * 2003-12-25 2005-07-14 Mega Chips Corp Method for synchronization control between terminals
JP2008085573A (en) * 2006-09-27 2008-04-10 Iwatsu Electric Co Ltd Video telephone system
WO2010067026A1 (en) * 2008-12-10 2010-06-17 Alcatel Lucent Method and device for communication by video conference

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191786A (en) * 2003-12-25 2005-07-14 Mega Chips Corp Method for synchronization control between terminals
JP2008085573A (en) * 2006-09-27 2008-04-10 Iwatsu Electric Co Ltd Video telephone system
WO2010067026A1 (en) * 2008-12-10 2010-06-17 Alcatel Lucent Method and device for communication by video conference
JP2012511855A (en) * 2008-12-10 2012-05-24 アルカテル−ルーセント Method and apparatus for communication by video conference

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014105201A1 (en) * 2012-12-24 2014-07-03 Intel Corporation Improved techniques for audio synchronization
US9521449B2 (en) 2012-12-24 2016-12-13 Intel Corporation Techniques for audio synchronization

Similar Documents

Publication Publication Date Title
JP5979483B2 (en) Content reproduction apparatus, content reproduction system, and content reproduction method
US11606596B2 (en) Methods, systems, and media for synchronizing audio and video content on multiple media devices
CN1981524B (en) Information processing device and method
EP2061241A1 (en) Method and device for playing video data of high bit rate format by player suitable to play video data of low bit rate format
JP5911613B2 (en) Method and apparatus for synchronized playback by multiple smart devices
KR20090039408A (en) Apparatus and method for providing the thread of a contents
JP5557939B2 (en) Portable terminal, information reproduction system, and information reproduction method
JP5060649B1 (en) Information reproducing apparatus and information reproducing method
US10181312B2 (en) Acoustic system, communication device, and program
JP2008085934A (en) Remote reproduction system for video and method of resume reproduction
JP2012195704A (en) Synchronization control device, synchronization control method, and synchronization control program
KR20080087592A (en) Method of updating additional data and reproduction apparatus thereof
WO2018173312A1 (en) Virtual reality viewing system, reproduction synchronizing method, and virtual reality viewing program
JP2014011597A (en) Reproducing device and reproducing method
JP2014153515A (en) Musical performance recording system
JP7100468B2 (en) Terminal devices and programs
JP2008135985A (en) Content reproducing device, content reproduction controller, content reproducing method
KR101947186B1 (en) Content reproduction method and system
JP5899718B2 (en) Information processing system, information processing apparatus, and information processing program
JP2002204441A (en) Information processing unit and information processing system
KR20130096538A (en) Mobile communication terminal and method for generating contents data thereof
KR100697854B1 (en) Multimedia source making and playing system and method of multimedia source making and playing thereof
WO2022079853A1 (en) Music data processing method
JP5678532B2 (en) Signal processing apparatus and signal processing method
JP2016226053A (en) Client terminal and moving image reproduction system via internet including the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150106