JP2012195704A - Synchronization control device, synchronization control method, and synchronization control program - Google Patents
Synchronization control device, synchronization control method, and synchronization control program Download PDFInfo
- Publication number
- JP2012195704A JP2012195704A JP2011057275A JP2011057275A JP2012195704A JP 2012195704 A JP2012195704 A JP 2012195704A JP 2011057275 A JP2011057275 A JP 2011057275A JP 2011057275 A JP2011057275 A JP 2011057275A JP 2012195704 A JP2012195704 A JP 2012195704A
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- reproduction
- sound data
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、異なる装置で再生する同じデータを同期させる同期制御装置、同期制御方法、同期制御プログラムに関する。 The present invention relates to a synchronization control device, a synchronization control method, and a synchronization control program for synchronizing the same data reproduced by different devices.
従来、コールセンタのオペレータが顧客からの製品の説明、操作、故障などの問合わせなどがあったとき、サーバから配信された問合せに関する動画などを見ながらオペレータが顧客に説明をすることがある。そのような場合、顧客とオペレータはそれぞれ異なる端末を用いて同じ動画を見ながら通話をする。しかし、顧客端末とオペレータ端末に動画などが表示されている場合に、顧客端末とオペレータ端末とに表示される画面がずれることがある。顧客端末とオペレータ端末とで異なる画面が表示されると、オペレータは顧客の問合わせに対して的確な説明や回答を行えなくなる。よって、顧客端末とオペレータ端末で再生の同期を取ることが望まれている。 Conventionally, when a call center operator receives an inquiry about product explanation, operation, failure, etc. from a customer, the operator may explain it to the customer while watching a video about the inquiry distributed from the server. In such a case, the customer and the operator make a call using different terminals while watching the same video. However, when a moving image or the like is displayed on the customer terminal and the operator terminal, the screens displayed on the customer terminal and the operator terminal may be shifted. If different screens are displayed on the customer terminal and the operator terminal, the operator cannot give an accurate explanation or answer to the customer inquiry. Therefore, it is desired to synchronize reproduction between the customer terminal and the operator terminal.
例えば、サーバがオペレータ端末から顧客端末に送信をしている動画と同じ動画の送信要求を受けた際に、顧客端末で再生している時間帯の動画をオペレータ端末に送信して、オペレータ端末と顧客端末それぞれの画面の同期を取る方法が開示されている。しかし、上記方法では通信回線の混雑などで一方の端末への通信速度が遅くなり、一方の端末で再生待ちが発生すると、双方の端末の同期が取れなくなる。 For example, when the server receives a transmission request for the same video as the video being transmitted from the operator terminal to the customer terminal, the video of the time zone being played on the customer terminal is transmitted to the operator terminal, A method for synchronizing the screens of customer terminals is disclosed. However, in the above method, when the communication speed to one terminal becomes slow due to congestion of the communication line and the reproduction waiting occurs in one terminal, both terminals cannot be synchronized.
また、関連する技術として、例えば、２つのメディア間の同期を、メディア対時刻の同期付けではなく、メディア対メディアの同期付けをする方法が知られている。そのメディア対メディアの同期付け方法によれば、一方のメディアの特定ポイントを基準にして、他方のメディアの特定ポイントを所定量だけずらすことにより、設定された同期ポイントでのみ同期を取ることが示されている。 Further, as a related technique, for example, a method is known in which synchronization between two media is not media-time synchronization but media-media synchronization. According to the media-to-media synchronization method, it is indicated that synchronization is performed only at a set synchronization point by shifting a specific point of the other medium by a predetermined amount with respect to a specific point of one medium. Has been.
本発明は、異なる装置各々で再生する同じデータを同期させて、装置各々で同じ再生箇所を出力させる同期制御装置、同期制御方法、同期制御プログラムを提供することを目的とする。 It is an object of the present invention to provide a synchronization control device, a synchronization control method, and a synchronization control program that synchronize the same data to be reproduced by different devices and output the same reproduction location by each device.
実施の態様のひとつである同期制御装置は、音記憶部、再生部、動画記録部、算出部、調整部を備えている。
音記憶部は、サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、上記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにする。そして、上記第１の音データと受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する。
A synchronization control device which is one embodiment includes a sound storage unit, a reproduction unit, a moving image recording unit, a calculation unit, and an adjustment unit.
The sound storage unit receives from the input device the sound generated when the first terminal that receives and reproduces the distribution data distributed from the server via the first line reproduces the distribution data, and inputs the input Sound is received at a predetermined interval via the second line and converted into first sound data. Then, the first sound data is stored in the storage unit in association with the reception date and time or the reception time that has elapsed since the start of reception.
再生部は、上記サーバまたは異なるサーバから配信される上記配信データに含まれる複数の動画データを順次再生する。
動画記録部は、上記再生部で再生した上記動画データと、上記動画データに関連する第２の音データと、上記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて上記記憶部に記憶する。
The reproduction unit sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or different servers.
The moving image recording unit includes the moving image data reproduced by the reproducing unit, the second sound data related to the moving image data, the reproduction date / time when the moving image data was reproduced, or the reproduction time elapsed from the start of reproduction of the distribution data, Are stored in the storage unit in association with each other.
算出部は、上記第１の音データと、第２の音データとを比較し、上記第１の音データと上記第２の音データに一致するデータがあれば、上記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得する。続いて、算出部は、一致する期間がある場合、上記第２の音データの一致する期間の始まりの上記再生日時または上記再生時間より、上記第１の音データの一致する期間の始まりの上記受信日時または上記受信時間が後である場合に、上記第２の音データの一致する期間と上記第１の音データの一致する期間のずれている時間を求め第１の時間差とする。 The calculation unit compares the first sound data and the second sound data, and if there is data matching the first sound data and the second sound data, refer to the storage unit. The reception date / time or reception time associated with the matching first sound data and the reproduction date / time or reproduction time associated with the matching second sound data are acquired. Subsequently, when there is a coincidence period, the calculation unit determines the start of the period in which the first sound data coincides from the reproduction date and time or the reproduction time at the start of the period in which the second sound data coincides. When the reception date and time or the reception time is later, the time difference between the matching period of the second sound data and the matching period of the first sound data is obtained as the first time difference.
算出部は、上記第２の音データの一致する期間の始まりの上記再生日時または上記再生時間より、上記第１の音データの一致する期間の始まりの上記受信日時または上記受信時間が前である場合に、上記第２の音データの一致する期間と上記第１の音データの一致する期間のずれている時間を求め第２の時間差とする。 The calculation unit has the reception date and time or the reception time before the start of the matching period of the first sound data before the playback date and time or the playback time of the start of the period of matching of the second sound data. In such a case, the second time difference is obtained by obtaining a time difference between the period in which the second sound data coincides with the period in which the first sound data coincides.
調整部は、上記第１の時間差があるとき、上記第１の時間差に応じて上記再生日時または上記再生時間に対応する上記動画記録部の動画データから順に上記再生部で再生する通知を上記再生部に出力する。調整部は、上記第２の時間差があるとき、上記第２の時間差分後の上記再生日時または上記再生時間に対応する動画データから順に再生する通知を上記サーバまたは上記異なるサーバに対して通知をする。 When there is a first time difference, the adjustment unit sends notifications to be reproduced by the reproduction unit in order from moving image data of the moving image recording unit corresponding to the reproduction date and time or the reproduction time according to the first time difference. To the output. When there is a second time difference, the adjustment unit notifies the server or the different server of notifications for sequentially reproducing the reproduction date and time or the moving image data corresponding to the reproduction time after the second time difference. To do.
実施の態様によれば、異なる装置で再生する同じデータを同期させて、装置各々で同じ再生箇所を出力させることができるという効果を奏する。 According to the embodiment, it is possible to synchronize the same data to be reproduced by different devices and to output the same reproduction portion in each device.
以下図面に基づいて、実施形態について詳細を説明する。
実施形態１について説明する。図１は、通話支援をするシステムの一実施例を示す図である。図１のシステムは、サーバ１、顧客端末２（第１の端末）、同期制御機能を有するオペレータ端末３、顧客端末４（入力装置）を有し、ネットワーク５によって接続されている。サーバ１と顧客端末２はインターネットなどの公衆回線や専用回線などのネットワーク５と接続されている。サーバ１とオペレータ端末３は、例えば、コールセンタ内でネットワークを介して接続されている。また、コールセンタとは別の場所に設けられたサーバ１とコールセンタ内のオペレータ端末３がネットワーク５と接続されていてもよい。
Hereinafter, embodiments will be described in detail based on the drawings.
The first embodiment will be described. FIG. 1 is a diagram showing an embodiment of a system for supporting a call. The system of FIG. 1 includes a
サーバ１は、例えば、コールセンタなどに配置されている。また、サーバ１は顧客の用いる顧客端末２から動画データ配信要求を受信すると、要求された動画に対応するストリーミング再生可能な配信データを顧客端末２に配信する。ストリーミング再生可能な配信データは、複数の動画データ（パケット）を有し、動画データは画像データ、音データ、再生時間情報、その他の各種情報を有している。ストリーミング再生可能なデータは、例えば、Moving Picture Experts Group（ＭＰＥＧ）などの技術で用いられるデータである。また、動画配信にはストリーミングサーバを用いることが考えられる。再生時間情報は、動画データが再生され出力される時間を示す情報である。例えば、画像データが圧縮されている場合に、画像データをデコードして復号器から出力する時間である。
The
また、配信データが配信されている回線６（第１の回線）と別の回線７（第２の回線）を介して、オペレータ端末３と通話をするための接続要求を、顧客端末４からサーバ１が受信すると、サーバ１は顧客端末４とオペレータ端末３とを通話可能な状態にする。続いて、顧客端末２が現在再生している動画とともに再生され、顧客端末２の出力部（スピーカなど）から出力される音楽、音声案内などを含む音を、顧客端末４の入力部（マイクなど）から取得して回線７を介してサーバ１が受信する。そして、サーバ１は受信した音を音データにして記憶部に記憶する。
In addition, a connection request for making a call with the
ここで、音は顧客の声や環境音などをなるべく含まない動画を再生した際に発生する音楽や音声案内などだけであることが望ましい。そこで、顧客が既に動画を視聴している場合、または、通話を開始してから動画を視聴する場合において、顧客端末４とオペレータ端末３は通話が可能であっても、通話開始直後の一定期間は顧客とオペレータが会話できない状態にすることが考えられる。すなわち、顧客にオペレータの声が聞こえないようにして、顧客がオペレータと会話しにくい状態にし、一定期間に動画を再生した際に発生する音楽や音声案内などの音をなるべく受信する。なお、音は人間の耳には聞こえない非可聴音でもよく、その場合には顧客端末４が非可聴音も拾える入力部を有していればよい。
Here, it is desirable that the sound is only music or voice guidance that is generated when a moving image that does not contain the customer's voice or environmental sound as much as possible is reproduced. Therefore, when the customer has already watched the video, or when watching the video after starting the call, even if the
また、顧客端末４とオペレータ端末３が通話可能な状態になると、サーバ１はオペレータ端末３に該動画データを配信する。
オペレータ端末３は、サーバ１から動画データを受信すると、動画データを順に再生して動画を表示させるとともに、該動画データを再生して出力した日時または再生開始から経過した該動画データと再生して出力した時間とを関連付け、記憶部に記憶する。また、オペレータ端末３は、該動画データの音データが圧縮されている場合にはデコードし、該動画データと再生して出力した日時または再生開始から経過した該動画データを再生して出力した時間とを関連付け、記憶部に記憶する。
Further, when the
When the
また、オペレータ端末３は、回線７を用い顧客端末４からサーバ１を介して受信した音楽や音声案内などを含む音データを、該音データを受信した日時または受信開始から経過した該音データを受信した時間と、を関連付けて記憶部に記憶する。
In addition, the
続いて、オペレータ端末３に配信された動画データに関連付けられている音データと、顧客端末４から回線７を介して受信した音データとを比較し、各音データの一致する期間を、オペレータ端末３が検出する。オペレータ端末３は、この期間各々に対応付けられている、動画データを再生して出力した日時または再生開始から経過した該動画データを再生して出力した時間と、音データを受信した日時または受信開始から経過した音データを受信した時間と、の差を求める。この差は、顧客端末２で表示されている動画と、オペレータ端末３で表示されている動画とが、ずれている時間を示している。
Subsequently, the sound data associated with the moving image data distributed to the
動画がずれる原因は、例えば、動画データを配信するサーバ１が顧客端末２とオペレータ端末３へ動画データを配信中に、回線６の混雑などで通信速度が変化して再生にずれが発生することが考えられる。また、顧客端末２とオペレータ端末３のデコード時間の違いによりずれが発生することが考えられる。
The reason why the video is shifted is that, for example, while the
また、ずれを検出する方法は、例えば、音データ各々をパターンマッチング処理して、音データ各々の一致した期間を検出する。
続いて、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがあれば、ずれている時間分、オペレータ端末３の動画再生を待機させる。あるいは、オペレータ端末３の動画を巻き戻しする。その結果、顧客端末２の再生がオペレータ端末３の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面を同期させることができる。
Further, as a method for detecting the deviation, for example, each sound data is subjected to pattern matching processing to detect a period in which each sound data is matched.
Subsequently, if there is data that matches the sound data received from the
また、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがなければ、サーバ１から一致するデータが送信されてくるまでの時間差を求める。そして、サーバ１に対して求めた時間差分飛ばした位置から動画を送信するように要求する。その結果、オペレータ端末３の再生が顧客端末２の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面各々を同期させることができる。
If the
なお、サーバ１は、画面各々の同期が取れるとオペレータ端末３の出力部（ハンドセットのスピーカなど）に顧客端末４から送られてくる音が出力される状態にする。
上記に示すように動画の再生箇所を同期させることで、オペレータが顧客に説明をする際、顧客とオペレータが同じ動画の再生箇所を参照できるので、オペレータは顧客の問合わせに対して的確な説明や回答を行える。
In addition, the
As shown above, by synchronizing the playback location of the video, when the operator explains to the customer, the operator and the operator can refer to the same video playback location, so the operator can accurately explain the customer's inquiry And answer.
顧客端末２は、サーバ１に動画データの要求をし、サーバ１から配信された動画を再生する。オペレータ端末３は、サーバ１から配信される顧客端末２で再生中の動画データを再生し、顧客端末４と通話が可能である。顧客端末４は、例えば、顧客が利用している電話機、Internet Protocol（ＩＰ）電話機、ソフトフォンなどである。
The
サーバ１について説明する。
図２は、サーバのハードウェアの一実施例を示す図である。サーバ１は、制御部２０１、記憶部２０２、記録媒体読取装置２０３、入出力インタフェース２０４（入出力Ｉ／Ｆ）、通信インタフェース２０５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス２０６によってそれぞれ接続されている。
The
FIG. 2 is a diagram illustrating an embodiment of server hardware. The
制御部２０１は、後述する通信接続部３０１、動画配信部３０２、呼接続部３０３、特定部３０４などを有している。また、制御部２０１はCentral Processing Unit（ＣＰＵ）、マルチコアＣＰＵ、プログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。
The
記憶部２０２は、後述する動画情報３０５、配信状況情報３０６、オペレータ情報３０７、顧客情報３０８などを記憶している。記憶部２０２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部２０２にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。上記動画情報３０５、配信状況情報３０６、オペレータ情報３０７、顧客情報３０８などは、テーブル以外の記憶方法であってもよく、ハードウェアとしてデータベースに記録されていてもよい。
The
記録媒体読取装置２０３は、制御部２０１の制御に従って記録媒体２０７に対するデータのリード／ライトを制御する。そして、記録媒体２０７に記録媒体読取装置２０３の制御で書き込まれたデータを記録させたり、記録媒体２０７に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体２０７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部２０２もnon-transitory（非一時的）な記録媒体に含まれる。
The recording
入出力インタフェース２０４には、入出力部２０８が接続され、利用者が入力した情報を受信し、バス２０６を介して制御部２０１に送信する。また、制御部２０１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部２０８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部２０８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。
An input /
通信インタフェース２０５は、顧客端末２およびオペレータ端末３との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース２０５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。
The
なお、サーバ１の動画配信機能を分けて動画配信サーバ（ストリーミングサーバ）などを用いた場合、動画配信サーバはコールセンタ内に設置するだけでなく、複数の異なる場所に分けて配置されていてもよい。また、顧客端末２とオペレータ端末に配信される動画が、異なる動画配信サーバから配信されてもよい。
When the video distribution server (streaming server) or the like is used by dividing the video distribution function of the
制御部２０１と記憶部２０２について説明する。
図３は、サーバの機能の一実施例を示す図である。図３の制御部２０１は、通信接続部３０１、動画配信部３０２、呼接続部３０３、特定部３０４などを有している。
The
FIG. 3 is a diagram illustrating an example of functions of the server. The
通信接続部３０１は、顧客端末２から動画データ配信要求を受信すると、動画データ配信要求を動画配信部３０２に転送する。また、動画配信部３０２が後述する動画情報３０５から取得した動画データ配信要求に含まれる顧客が要求している動画に対応する動画データを、通信接続部３０１が受信する。その後、通信接続部３０１は受信した動画データを、回線６を介して顧客端末２に配信する。
When receiving the moving image data distribution request from the
動画配信部３０２は、配信データをリアルタイムストリーム再生方式で顧客端末２とオペレータ端末３に配信する。また、配信データのファイル形式は、リアルタイムストリーム再生方式で再生可能なファイル形式であればよい。
The moving
動画配信部３０２は、動画情報３０５を参照して、動画データ配信要求で要求された動画データを取得して、通信接続部３０１を介して顧客端末２に動画データを配信する。動画情報３０５は、例えば、動画データを含むファイルとファイルを識別する情報が関連付けられて記録されている。図４は、動画情報のデータ構造の一実施例を示す図である。図４の動画情報４０１は、「配信データＩＤ」「動画データ記憶場所情報」などの情報を有している。「配信データＩＤ」には、動画データを識別する情報が記憶されている。本例では、配信データとして「００１」「００２」「００３」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「動画データ記憶場所情報」には、記憶部２０２に記憶されている動画データの記憶位置が記憶されている。例えば、配信データに対応する動画データを含むファイルの記憶されている記憶位置が記憶されている。本例では、「Ｕ：￥製品１￥操作￥００１＿ｍｏｖｅ．ｍｐｇ」「Ｕ：￥製品２￥操作￥００２＿ｍｏｖｅ．ｍｐｇ」「Ｕ：￥製品３￥操作￥００３＿ｍｏｖｅ．ｍｐｇ」・・・・が記憶されている。「Ｕ：」は、記憶部２０２のドライブがＵドライブであることを示し、「￥フォルダ製品１」「￥フォルダ製品２」「￥フォルダ製品３」「￥操作」は、フォルダ名を示している。「００１＿ｍｏｖｅ．ｍｐｇ」「００２＿ｍｏｖｅ．ｍｐｇ」「００３＿ｍｏｖｅ．ｍｐｇ」は動画データを含むファイルを示している。「００１＿ｍｏｖｅ．ｍｐｇ」は、「製品１」フォルダの下の階層にある「操作」フォルダの中の記憶されている。「００２＿ｍｏｖｅ．ｍｐｇ」は、「製品２」フォルダの下の階層にある「操作」フォルダの中の記憶されている。「００３＿ｍｏｖｅ．ｍｐｇ」は、「製品３」フォルダの下の階層にある「操作」フォルダの中の記憶されている。
The moving
また、動画配信部３０２は、現在配信中の顧客端末２を識別する配信先顧客ＩＤと、現在配信している配信データを識別する配信データＩＤと、現在配信している配信データの動画データの再生時間情報とを関連付けて、配信状況情報３０６に記憶する。
The
また、動画配信部３０２は、配信状況情報３０６を参照して現在顧客端末２に配信中の動画データを、通信接続部３０１を介してオペレータ端末３に配信する。動画配信部３０２は、後述する特定部３０４から顧客端末２とオペレータ端末３が通話可能な状態であることを通知されると、オペレータ端末３への配信データの配信を開始する。また、動画配信部３０２は、後述する特定部３０４から顧客端末２を利用している顧客を識別する情報と、オペレータ端末３を利用しているオペレータを識別する情報を取得する。その際、動画配信部３０２は、配信するオペレータ端末３の配信先オペレータＩＤと、該オペレータ端末３に対応する顧客端末２に配信中の配信データの配信データＩＤと該配信データの動画データの再生時間情報とを関連付けて、配信状況情報３０６に記憶する。ただし、顧客端末２に配信している配信データを調整して同期をとる場合には、オペレータ端末３に関する配信先オペレータＩＤ、配信データＩＤ、再生時間情報は必要ない。
In addition, the moving
オペレータ端末３に配信している配信データを調整して同期をとる場合には、動画配信部３０２はオペレータ端末３から配信する動画データを調整する情報（同期情報）を取得し、オペレータ端末３へ配信する動画データの配信箇所を変更する。そして、変更した箇所から動画データをオペレータ端末３へ配信する。その際、動画配信部３０２は、配信状況情報３０６のオペレータ端末３に対応する再生時間情報も変更する。
When the distribution data distributed to the
図５は、配信状況情報のデータ構造の一実施例を示す図である。図５の配信状況情報５０１は、「配信先顧客ＩＤ」「配信データＩＤ」「再生時間情報」を有している。「配信先顧客ＩＤ」には、配信データが配信されている顧客を識別する情報が記憶されている。本例では、顧客ＩＤとして「ＣＳ００１」「ＣＳ００２」「ＣＳ００３」・・・・が記録されている。「配信データＩＤ」には、配信データを識別する情報が配信先顧客ＩＤに関連付けられて記憶されている。本例では、配信データＩＤとして「００１」「００２」「００３」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「再生時間情報」には、動画データが再生され出力される時間を示す再生時間情報が、配信データＩＤに関連付けられて記憶されている。本例では、再生時間情報として、「００１＿ｃｓ＿ｎｏｗ」「００２＿ｃｓ＿ｎｏｗ」「００３＿ｃｓ＿ｎｏｗ」・・・・が記憶されている。
FIG. 5 is a diagram illustrating an example of the data structure of the distribution status information. The
図５の配信状況情報５０２は、「配信先オペレータＩＤ」「配信データＩＤ」「再生時間情報」を有している。「配信先オペレータＩＤ」には、配信データが配信されている顧客に対応するオペレータを識別する情報が記憶されている。本例では、配信先オペレータＩＤとして「ＯＰ００１」「ＯＰ１０２」「ＯＰ０３３」・・・・が記憶されている。「配信データＩＤ」には、配信データを識別する情報が配信先オペレータＩＤに関連付けられて記憶されている。本例では、配信データＩＤとして「００１」「００２」「００３」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「再生時間情報」には、オペレータ端末３に配信される配信データの再生時間情報が、配信データＩＤに関連付けられて記憶されている。本例では、再生時間情報として、「００１＿ｏｐ＿ｎｏｗ」「００２＿ｏｐ＿ｎｏｗ」「００３＿ｏｐ＿ｎｏｗ」・・・・が記憶されている。
The
同期情報は、オペレータ端末３にサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがない場合に、サーバ１から一致するデータが送信されてくるまでの時間差を求めた情報を有している。また、同期情報は、サーバ１に対して求めた時間差分飛ばした位置から動画を送信させる要求である。その結果、オペレータ端末３の再生が顧客端末２の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面を同期させることができる。
The synchronization information includes data that matches from the
呼接続部３０３は、例えば、顧客端末４から呼を受信すると記憶部２０２に記憶されているオペレータ情報３０７の通話状況を参照して、通話中でないオペレータを抽出する。例えば、オペレータが通話中であるか通話中でないかを示す情報を参照して、通話中でないオペレータを抽出する。通話中でないオペレータが抽出された場合は、呼接続部３０３は抽出したオペレータ端末３と呼を受信した顧客端末４とを接続して、通話可能な状態にする。その後、呼接続部３０３は現在動画配信中の顧客を特定するために、例えば、呼接続部３０３が顧客の電話番号を取得し、取得した電話番号を特定部３０４に送信する。
For example, when the
また、抽出したオペレータ端末３と顧客端末４との通話が終了したことを検出すると、呼接続部３０３は通話を終えたことを動画配信部３０２、特定部３０４に通知する。また、オペレータが通話中でないことをオペレータ情報３０７に記憶する。
In addition, when it is detected that the call between the extracted
図６は、オペレータ情報と顧客情報のデータ構造の一実施例を示す図である。図６のオペレータ情報６０１は、「オペレータＩＤ」「通話状態」を有している。「オペレータＩＤ」には、オペレータを識別する情報が記憶されている。本例では、オペレータＩＤとして「ＯＰ００１」「ＯＰ００２」「ＯＰ００３」・・・・が記憶されている。「通話状態」には、オペレータが通話しているか否かを示す情報が記憶されている。本例では、オペレータ端末と顧客端末が接続され、通話状態である場合、オペレータＩＤに関連付けられて「通話中」が記憶される。また、オペレータ端末と顧客端末が接続されていない状態である場合、オペレータＩＤに関連付けられて「空き」が記憶される。
FIG. 6 is a diagram illustrating an example of a data structure of operator information and customer information. The
特定部３０４は、呼接続部３０３から送信された顧客の電話番号を受信する。続いて、特定部３０４は、後述する顧客情報３０８を参照し、受信した電話番号を用いて一致する顧客ＩＤを特定する。ただし、取得した電話番号に顧客ＩＤが関連付けられていない場合があるので、そのときは、オペレータが顧客に現在見ている動画について問合せをして、オペレータ端末３から直接動画を選択してもよい。また、オペレータが顧客に登録時の電話番号について問合せをして、オペレータ端末３から直接電話番号を入力してもよい。特定部３０４は、顧客端末２とオペレータ端末３が通話可能な状態であること、顧客ＩＤと、オペレータＩＤとを動画配信部３０２に通知し、オペレータ端末３への配信データの配信を開始する指示を通知する。
The
顧客情報３０８は顧客を識別する情報と顧客が予め登録した電話番号などが記録されている。図６の顧客情報６０２は、「顧客ＩＤ」「電話番号」などの情報を有している。「顧客ＩＤ」には、顧客を識別する情報が記憶されている。本例では、顧客ＩＤとして「ＣＳ００１」「ＣＳ００２」「ＣＳ００３」・・・・が記憶されている。「電話番号」には、顧客の電話番号が記憶されている。本例では、電話番号として「０８０−３４５６−０６ＸＸ」「０９０−１２３４−５６ＸＸ」「０７０−４５６７−８９ＸＸ」・・・・が記憶されている。
In the
オペレータ端末３について説明する。
図７は、オペレータ端末のハードウェアの一実施例を示す図である。オペレータ端末３は、Personal Computer（ＰＣ）などを用いることが考えられる。オペレータ端末３は、制御部７０１、記憶部７０２、記録媒体読取装置７０３、入出力インタフェース７０４（入出力Ｉ／Ｆ）、通信インタフェース７０５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス７０６によってそれぞれ接続されている。制御部７０１は、Central Processing Unit（ＣＰＵ）、マルチコアＣＰＵ、プログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。制御部７０１は、後述する再生部８０１、動画記録部８０２、音記憶部８０３、算出部８０４、調整部８０５などを有している。また、制御部７０１はオペレータ端末３の各部を制御する。また、制御部７０１は、サーバ１から送信された動画データを再生して表示する制御をする。また、制御部７０１は顧客端末４との通話を制御する機能を有する。なお、動画データのずれを迅速に検出して、動画を同期させることが求められるため、制御部２０１には各処理部が並列に動作でき、各処理部の演算結果を連携して用いる構成であることが望ましい。
The
FIG. 7 is a diagram illustrating an example of hardware of an operator terminal. The
図８は、オペレータ端末の機能の一実施例を示す図である。
再生部８０１は、通信インタフェース７０５を介してサーバ１から配信される配信データを受信し、動画データを順次再生して、表示部８０８に動画を表示させる。また、再生部８０１はオペレータ動画情報８０６に動画データ各々を再生した日時または再生開始から経過した時間と、動画データの音データを再生したデータを関連付けて記憶する。オペレータ動画情報８０６は、再生部８０１で再生した動画データの日時または再生開始から経過した時間と、動画記録部８０２により記録される該動画データとを関連付けて記憶する。図９は、オペレータ動画情報と顧客音情報のデータ構造の一実施例を示す図である。図９のオペレータ動画情報９０１は、「日時」「オペレータ音データ」「オペレータ動画データ」を有している。「日時」には、再生した動画データの日時または再生開始から経過した時間が記憶されている。本例では、「ｔｉｍｅ１」「ｔｉｍｅ２」「ｔｉｍｅ３」・・・・が記憶されている。「オペレータ音データ」には、再生部８０１により再生された動画データの音データが記録される。本例では、音データとして「ｏｐ＿ｓｏｕｎｄ１」「ｏｐ＿ｓｏｕｎｄ２」「ｏｐ＿ｓｏｕｎｄ３」・・・・が記憶されている。「オペレータ動画データ」には、再生した動画データの日時または再生開始から経過した時間に関連付けられて、動画データが動画記録部８０２により記憶される。
FIG. 8 is a diagram illustrating an example of functions of the operator terminal.
The reproducing
また、再生部８０１は調整部８０５から再生日時が通知されると、オペレータ動画情報８０６を参照して、該再生日時に対応する動画データから再生を始める。
動画記録部８０２は、再生部８０１により再生され出力される動画データに対応する動画データを、再生日時または再生開始から経過した時間に関連付けて記憶される。
Also, when the playback date / time is notified from the
The moving
音記憶部８０３は、サーバ１から顧客端末２に配信されている配信データを再生した際に出力される音楽、音声案内などの音を、顧客端末４（例えば、電話など）からサーバ１を介して所定の間隔で取得し、音データとして受信する。そして、音記憶部８０３は受信した音データを受信した日時または受信開始から経過した時間に関連付けて、顧客音情報８０７に記憶する。
The
顧客音情報８０７は、音記憶部８０３が受信した音声データを受信した日時または受信開始から経過した時間に関連付けて記憶されている。図９の顧客音情報９０２は、「日時」「顧客音データ」を有している。「日時」には、受信した音データの日時または再生開始から経過した時間が記憶されている。本例では、「ｔｉｍｅ＿ａ」「ｔｉｍｅ＿ｂ」「ｔｉｍｅ＿ｃ」・・・・が記憶されている。「顧客音データ」には、音記憶部８０３で受信した音データが記憶される。本例では、音データとして「ｃｓ＿ｄａｔａ１」「ｃｓ＿ｄａｔａ２」「ｃｓ＿ｄａｔａ３」・・・・が記憶されている。
The
算出部８０４は、オペレータ動画情報８０６に記憶されている音データと、顧客音情報８０７に記憶されている音データとを比較し、後述する音パターンマッチング処理をして、一致する期間を検出する。続いて、算出部８０４は検出した音データ各々の一致する箇所に関連付けられている日時を、オペレータ動画情報８０６と顧客音情報８０７からそれぞれ取得する。そして、取得した日時それぞれを用いて時間差を求め、求めた時間差を算出部８０４が調整部８０５に送信する。
The
算出部８０４は、オペレータ動画情報８０６の音データの一致する期間の始まりの再生日時または再生時間より、顧客音情報８０７の音データの一致する期間の始まりの受信日時または受信時間が後であるか判定する。後ろである場合に、算出部８０４は、オペレータ動画情報８０６の音データの一致する期間と顧客音情報８０７の音データの一致する期間のずれている時間（第１の時間差）を求める。
The
また、算出部８０４は、オペレータ動画情報８０６の音データの一致する期間の始まりの再生日時または再生時間より、顧客音情報８０７の音データの一致する期間の始まりの受信日時または受信時間が前であるかを判定する。前である場合に、オペレータ動画情報８０６の音データの一致する期間と顧客音情報８０７の音データの一致する期間のずれている時間（第２の時間差）を求める。
In addition, the
調整部８０５は、上記時間差を算出部８０４から取得し、時間差に応じて、オペレータ端末３で再生する動画データを決める。すなわち、調整部８０５は、サーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがある場合に、ずれている時間差分、オペレータ端末３において時間差分待機する。その後、再生部８０１が再生を再開する通知を再生部８０１に出力してもよい。あるいは、オペレータ端末３において再生している動画を巻き戻す通知を再生部８０１に出力してもよい。例えば、調整部８０５は、オペレータ動画情報９０１の「日時」を参照して、現在再生している動画データに対応する再生日時を選択し、選択した再生日時から時間差分前の再生日時を求める。そして、調整部８０５は該再生日時を再生部８０１に送信する。
The
また、調整部８０５は、サーバ１から既に配信された音データと、顧客端末４から受信した音データの一致を算出部が確認できなかったら、一旦サーバからの音データをさらに蓄積し、一致を確認できるまで繰り返します。その結果（オペ端末側が遅延していたら）調整部８０５は、時間差分を飛ばして動画を配信させる通知（同期情報）をします。
すなわち、調整部８０５は、時間差分後の再生日時に対応する動画データから順に配信させるための通知を、サーバ１に送信する。
同期情報は、例えば、オペレータＩＤ、配信データＩＤ、時間差を含む情報である。
If the calculation unit cannot confirm the coincidence between the sound data already distributed from the
That is, the
The synchronization information is, for example, information including an operator ID, a distribution data ID, and a time difference.
記憶部７０２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。記憶部７０２は、オペレータ動画情報８０６、顧客音情報８０７を有している。なお、記憶部７０２にはパラメータ値、変数値などのデータを記憶してもよいし、実行時のワークエリアとして用いてもよい。また、記憶部７０２は動画データと、該動画データを再生した日時または通話開始からの経過時間とを関連付けて記憶してもよい。
The
記録媒体読取装置７０３は、制御部７０１の制御に従って記録媒体７０７に対するデータのリード／ライトを制御する。そして、記録媒体７０７に記録媒体読取装置７０３の制御で書き込まれたデータを記憶させたり、記録媒体７０７に記憶されたデータを読み取らせたりする。また、着脱可能な記録媒体７０７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部７０２もnon-transitory（非一時的）な記録媒体に含まれる。
The recording
入出力インタフェース７０４には、入出力部７０８が接続され、利用者が入力した情報を受信し、バス７０６を介して制御部７０１に送信する。また、制御部７０１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部７０８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部７０８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。
An input /
なお、入出力部７０８には、オペレータの音声を入力する入力装置（マイクなど）、顧客の音声などを出力する出力装置（ヘッドホン、イヤホン）などが設けられている。また、入力装置と出力装置は、ハンドセットなどであってもよい。なお、入力装置により入力されるオペレータの音声は回線７を介して顧客端末４の音声出力部に送られ、顧客の音声は、入出力部７０８の出力装置に出力される。
The input /
通信インタフェース７０５は、サーバ１および顧客端末２との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース７０５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。
The
このようなハードウェア構成を有するコンピュータを用いることによって、後述する各種処理機能が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体７０７に記録しておくことができる。
By using a computer having such a hardware configuration, various processing functions to be described later are realized. In that case, a program describing the processing contents of the functions that the system should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded in a computer-
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの記録媒体７０７が販売される。また、プログラムをサーバコンピュータの記憶装置に記録しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
When distributing the program, for example, a
プログラムを実行するコンピュータは、例えば、記録媒体７０７に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部７０２に記録する。そして、コンピュータは、自己の記憶部７０２からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、記録媒体７０７から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
The computer that executes the program records, for example, the program recorded in the
顧客端末２について説明する。
図１０は、顧客端末のハードウェアの一実施例を示す図である。顧客端末２は、Personal Computer（ＰＣ）などを用いることが考えられる。顧客端末２は、制御部１００１、記憶部１００２、記録媒体読取装置１００３、入出力インタフェース１００４（入出力Ｉ／Ｆ）、通信インタフェース１００５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス１００６によってそれぞれ接続されている。制御部１００１は、Central Processing Unit（ＣＰＵ）やプログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。制御部１００１は、顧客端末２の各部を制御する。また、制御部１００１は動画データをリアルタイムストリーム再生方式で再生することができる。
The
FIG. 10 is a diagram illustrating an example of hardware of a customer terminal. The
記憶部１００２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部１００２にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。また、記憶部１００２はストリーム再生するために動画データを一時記憶し、再生されると動画データは消去される。
The
記録媒体読取装置１００３は、制御部１００１の制御に従って記録媒体１００７に対するデータのリード／ライトを制御する。そして、記録媒体１００７に記録媒体読取装置１００３の制御で書き込まれたデータを記録させたり、記録媒体１００７に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体１００７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部１００２もnon-transitory（非一時的）な記録媒体に含まれる。
The recording
入出力インタフェース１００４には、入出力部１００８が接続され、利用者が入力した情報を受信し、バス１００６を介して制御部１００１に送信する。また、制御部１００１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部１００８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部１００８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。
An input /
通信インタフェース１００５は、サーバ１およびオペレータ端末３との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース１００５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。
The
図１１は、顧客端末の一実施例を示すブロック図である。図１１に示す顧客端末２の制御部１００１は、動画依頼部１１０１、動画受信部１１０２、動画再生部１１０３などを有している。また、図１１に示す顧客端末２に接続される入出力部１００８は、図１１に示す入力部１１０４、表示部１１０５を有している。顧客は、表示部１１０５に表示される動画選択画面を見て、マウスなどの入力部１１０４を用いて、動画を選択する。動画が選択されると、動画依頼部１１０１は、サーバ１に動画を要求するために動画データ配信要求を生成する。続いて、動画データ配信要求は、動画依頼部１１０１から通信インタフェース１００５を介して、サーバ１に送信される。次に、顧客端末２の動画受信部１１０２はサーバ１から動画データを取得すると、取得した動画データを例えば記憶部１００２に一時記憶する。動画再生部１１０３は、一時記憶した動画データを取得して、動画データを再生する。表示部１１０５は、動画再生部１１０３が再生した出力を受信して動画を表示する。
FIG. 11 is a block diagram showing an embodiment of a customer terminal. The
顧客端末４は、例えば、電話、ＩＰ電話、ソフトフォンなどが考えられる。また、顧客端末４は、図１０に示した装置に電話、ＩＰ電話、ソフトフォンなどのいずれかの機能を持たせた装置でもよい。
For example, the
オペレータ端末の動作について説明する。
図１２、図１３は、同期制御動作の一実施例を示すフロー図である。図１２の例では、顧客が既に顧客端末２を用いてサーバ１から配信された動画を見ている状況で、顧客からオペレータへ動画を配信している回線とは別の回線を用いて問合せがあった場合を想定している。すなわち、動画配信部３０２が通信接続部３０１を介して動画データを、サーバ１から顧客端末２に配信している。なお、顧客が動画を見るよりも先に、顧客からオペレータへの問合せがある場合には、オペレータ端末３と顧客端末４とが接続された後、別の回線を用いてサーバ１から顧客に動画が配信されることも想定される。また、呼接続部３０３が顧客端末４から送信される呼（顧客端末４の電話番号などを含む情報）を受信し、オペレータ端末３と顧客端末４を接続する。次に、呼接続部３０３は受信した情報から顧客の電話番号を特定する。次に、呼接続部３０３は特定した電話番号を特定部３０４に送信する。特定部３０４が特定した電話番号を用いて顧客情報３０８を検索して顧客ＩＤを特定する。ただし、顧客ＩＤと電話番号が一致しない場合には、オペレータは顧客から顧客ＩＤなどを直接聞いて、オペレータ端末３の入出力部７０８を用いて直接顧客ＩＤを入力し、特定部３０４が特定する顧客ＩＤとしてもよい。次に、顧客端末２とオペレータ端末３が通話可能な状態であること、顧客ＩＤと、オペレータＩＤとを、特定部３０４は動画配信部３０２に通知し、オペレータ端末３への配信データの配信を開始する指示を通知する。続いて、動画配信部３０２が配信データの配信を開始する指示を受信すると、オペレータ端末３へ顧客端末２と同じ動画データが送信される。
The operation of the operator terminal will be described.
12 and 13 are flowcharts showing an embodiment of the synchronization control operation. In the example of FIG. 12, in the situation where the customer has already watched the video delivered from the
ステップＳ１２０１では、再生部８０１が通信インタフェース７０５を介して動画データを受信する。
ステップＳ１２０２では、再生部８０１が受信した動画データ各々を順次再生して、表示部８０８に動画を表示させる。また、再生部８０１はオペレータ動画情報８０６に動画データ各々を再生した日時または再生開始から経過した時間と、動画データの音データを再生したデータを関連付けて記憶する。また、動画記録部８０２は、再生部８０１により再生され出力される動画データに対応する動画データを、再生日時または再生開始から経過した時間に関連付けて、オペレータ動画情報８０６に記憶する。
In step S1201, the
In step S1202, the moving image data received by the reproducing
ステップＳ１２０３では、音記憶部８０３がサーバ１から顧客端末２に配信されている配信データを再生した際に出力される音楽、音声案内などの音を、顧客端末４からサーバ１を介して受信し、音声データとして取得する。音記憶部８０３は、取得した音声データを受信した日時または受信開始から経過した時間に関連付けて、顧客音情報８０７に記憶する。
In step S1203, the
ステップＳ１２０４では、算出部８０４が顧客電話からの音データと、オペレータ端末に送信された動画データの音データと、を音パターンマッチング処理する。
ステップＳ１２０５では、算出部８０４が音データ各々の一致する期間を検出できたか否かを判定し、一致した期間が検出された場合にはステップＳ１２０６（Ｙｅｓ）に移行し、一致した期間が検出されない場合には図１３のステップＳ１２１１（Ｎｏ）に移行する。すなわち、算出部８０４は、サーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがある場合にステップＳ１２０６に移行する。また、算出部８０４は、サーバ１から既に配信された音データに、顧客端末４から受信した音データと一致するデータがなければ、図１３のステップＳ１２１１に移行する。
In step S1204, the
In step S1205, it is determined whether the
ステップＳ１２０６では、算出部８０４が検出した音データ各々の一致する箇所に関連付けられている再生日時と受信日時各々を、オペレータ動画情報８０６と顧客音情報８０７からそれぞれ取得する。ただし、再生日時と受信日時は一致することが少ないため、例えば、受信日時を基準に、該基準とした受信日時に最も近い再生日時を選択することが考えられる。ただし、再生日時と受信日時の取得の仕方は上記に限定されるものではなく、再生日時を基準とし、該基準とした再生日時に最も近い受信日時を選択してもよい。
In step S1206, the reproduction date / time and the reception date / time associated with the corresponding portions of the sound data detected by the
ステップＳ１２０７では、算出部８０４が取得した再生日時と受信日時各々を用いて時間差を求め、求めた時間差を調整部８０５に送信する。
ステップＳ１２０８では、調整部８０５がずれている時間差分、オペレータ端末３の動画再生を待機させる。あるいは、オペレータ端末３において再生している動画を巻き戻しする。例えば、調整部８０５は、オペレータ動画情報９０１の「日時」を参照して、現在再生している動画データに対応する再生日時を選択し、選択した再生日時から時間差分前の再生日時を求める。そして、調整部８０５は該再生日時を再生部８０１に送信する。
In step S <b> 1207, a time difference is obtained using each of the reproduction date and reception date and time received by the
In step S <b> 1208, the
ステップＳ１２０９では、再生部８０１が調整部８０５から再生日時が通知されると、オペレータ動画情報８０６を参照して、該再生日時に対応する動画データから再生を始める。その後、ステップＳ１２１０に移行する。
In step S1209, when the
図１３のステップＳ１２１１では、顧客音情報８０７に記憶されている音データのレベルが所定の値より小さいとき、音記憶部８０３が受信音量を変更してもよい。また、音データを取得し直してもよい。
In step S1211, the
ステップＳ１２１２では、オペレータ音情報８０６と顧客音情報８０７にさらに音データが記憶されるまで一定期間待つ。
ステップＳ１２１３では、算出部８０４が顧客からの音データと、前の音パターンマッチング処理以降に記録した動画データの音データと、を音パターンマッチング処理する。
In step S <b> 1212, the process waits for a certain period until further sound data is stored in the operator
In step S1213, the
ステップＳ１２１４では、算出部８０４が音データ各々の一致する期間を検出できたか否かを判定し、一致した期間が検出された場合にはステップＳ１２１５（Ｙｅｓ）に移行し、一致した期間が検出されない場合には図１３のステップＳ１２０４（Ｎｏ）に移行する。すなわち、算出部８０４は、サーバ１から既に配信された音データに、顧客端末４から受信した音データと一致するデータがあればステップＳ１２１５に移行し、一致するデータがなければ図１２のステップＳ１２０４に移行する。
In step S1214, the
ステップＳ１２１５では、算出部８０４が検出した音データ各々の一致する箇所に関連付けられている再生日時と受信日時各々を、オペレータ動画情報８０６と顧客音情報８０７からそれぞれ取得する。ただし、再生日時と受信日時は一致することが少ないため、例えば、受信日時を基準に、該基準とした受信日時に最も近い再生日時を選択することが考えられる。ただし、再生日時と受信日時の取得の仕方は上記に限定されるものではなく、再生日時を基準とし、該基準とした再生日時に最も近い受信日時を選択してもよい。
In step S1215, the reproduction date / time and the reception date / time associated with the corresponding portions of the sound data detected by the
ステップＳ１２１６では、ステップＳ１２１５で取得した動画データの音データの再生日時と、ステップＳ１２１５で取得した顧客からの音データの受信日時との時間の差を算出部８０４が求め、求めた時間差を調整部８０５に送信する。
In step S1216, the
ステップＳ１２１７では、調整部８０５がサーバ１から一致する音データが送信されるまでの時間差分飛ばして動画を配信させるためにオペレータＩＤ、配信データＩＤ、時間差を含む同期情報を、サーバ１に送信する。その後、ステップＳ１２１０に移行する。
In step S1217, the
サーバ１は、同期情報のオペレータＩＤ、配信データＩＤと配信状況情報３０６を用いて、オペレータと通話中の顧客に配信中の配信データと動画データを特定する。次に、特定した動画データの再生時間情報と同期情報の時間差を用いて、特定した動画データを基準に、基準から時間差分飛ばした位置にある再生時間情報を有する動画データを検出する。ただし、特定した動画データの再生時間情報の示す時間から時間差を引いた時間と、動画データの再生時間情報に示す時間が一致する動画データは少ないので、最も近い再生時間情報を有する動画データを特定する。そして、特定した動画データの位置〜順次オペレータ端末３へ動画データを配信する。
The
ステップＳ１２１０では、オペレータ端末３が顧客とオペレータとの通話を可能にする。
ステップＳ１２０１〜ステップＳ１２１７の処理について、図１４、１５を用いて説明する。図１４は、オペレータ端末より顧客端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。図１４の縦軸には、上から（Ａ）オペレータ端末３が同期された音データ、（Ｂ）オペレータ端末３が非同期の音データ、（Ｃ）顧客端末４の音データが表されている。図１４の横軸には時間が示されている。
In step S1210, the
The processes in steps S1201 to S1217 will be described with reference to FIGS. FIG. 14 is a time chart showing an embodiment in which the moving image is synchronized when the moving image of the customer terminal is delayed from the operator terminal. The vertical axis of FIG. 14 represents (A) the sound data in which the
図１４のタイミングｔ０は、サーバ１から配信された最初の動画データが再生された再生日時または再生開始から経過した時間を示している。図１４のタイミングｔ１〜ｔ４は再生日時または再生開始から経過した時間を示している。（Ａ）（Ｂ）に示される波形は、オペレータ動画情報８０６に記憶されている再生日時または再生開始から経過した時間に関連付けられている音データの波形である。（Ｃ）に示される波形は、顧客音情報８０７に記憶されている受信日時または受信開始から経過した時間に関連付けられている音データの波形である。なお、図１４のタイムチャートには動画データを示さないが、音声データと画像データは同期しているものとする。
A timing t0 in FIG. 14 indicates a reproduction date and time when the first moving image data distributed from the
算出部８０４は、図１４のタイミングｔ１でオペレータ動画情報８０６の期間ｔ０〜ｔ１（ｔｍｕｃｈ）の音データと、顧客音情報８０７に記憶されている音データとを用いて算出部８０４が音パターンマッチング処理を行う。しかし、（Ｃ）の期間ｔ０〜ｔ１にはデータがないので、顧客音情報８０７に音データが記憶されるまで一定期間待つ。
The
また、タイミングｔ２で、音記憶部８０３はサーバ１を介して顧客端末４から送信されてくる音データと受信日時または受信開始から経過した時間と、を音記憶部８０３が顧客音情報８０７に記録し始める。
At timing t2, the
また、算出部８０４は、図１４のタイミングｔ２でオペレータ動画情報８０６の期間ｔ１〜ｔ２（ｔｍｕｃｈ）の音データと、顧客音情報８０７に記憶されている音データとを用いて算出部８０４が音パターンマッチング処理を行う。しかし、期間ｔ１〜ｔ２にはデータがないので、顧客音情報８０７に音データが記憶されるまで一定期間待つ。
In addition, the
本例では、タイミングｔ２において、再生日時または再生開始から経過した時間と、受信日時または受信開始から経過した時間とを便宜上同じにしているが、同じでなくてもよい。 In this example, at the timing t2, the playback date and time or the time elapsed from the start of playback and the reception date and time or the time elapsed from the start of reception are the same for convenience, but they may not be the same.
次に、図１４のタイミングｔ３のタイミングで、算出部８０４が音パターンマッチング処理を行うと、（Ｂ）の期間ｔ０〜ｔ１の音データと（Ｃ）の期間ｔ２〜ｔ３の音データのパターンが一致している。つまり、（Ｂ）の期間ｔ０〜ｔ１の音データと（Ｃ）の期間ｔ２〜ｔ３の音データのパターンが一致しているので、ｔ０とｔ２またはｔ１とｔ３を記憶部７０２に記憶する。
Next, when the
次に、算出部８０４がｔ２とｔ０の時間差ｔｓｕｂを求め、求めた時間差ｔｓｕｂを調整部８０５に送信する（ステップＳ１２０７）。
次に、調整部８０５は、オペレータ動画情報８０６を参照して、現在再生している動画データに対応する再生日時ｔ４を選択し、選択した再生日時から時間差ｔｓｕｂ分前の再生日時ｔ２を求める。そして、調整部８０５は再生日時ｔ２を再生部８０１に送信する。再生部８０１は、再生日時ｔ２に関連付けられている動画データを、タイミングｔ４から再生する。すなわち、オペレータ端末３の画面には（Ａ）のタイミングｔ４以降に示す音データ（波形）に対応する画像が表示されるので、タイミングｔ４以降でオペレータ端末３と顧客端末２で表示される動画が同期する。
Next, the
Next, the
図１５は、顧客端末よりオペレータ端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。図１５の縦軸には、上から（Ａ）オペレータ端末３が同期された音データ、（Ｂ）オペレータ端末３が非同期の音データ、（Ｃ）顧客端末４の音データが表されている。図１５の横軸には時間が示されている。なお、図１５のタイムチャートには動画データを示さないが、音声データと画像データは同期しているものとする。
FIG. 15 is a time chart showing an embodiment in which a moving image is synchronized when the moving image of the operator terminal is delayed from the customer terminal. The vertical axis in FIG. 15 represents (A) the sound data in which the
図１５のタイミングｔ０は、サーバ１から配信された最初の動画データが再生された再生日時または再生開始から経過した時間を示している。図１５のタイミングｔ１〜ｔ３は再生日時または再生開始から経過した時間を示している。
A timing t0 in FIG. 15 indicates a reproduction date and time when the first moving image data distributed from the
また、タイミングｔ０で、音記憶部８０３はサーバ１を介して顧客端末４から送信されてくる音データと受信日時または受信開始から経過した時間と、を音記憶部８０３が顧客音情報８０７に記録し始める。
At timing t0, the
（Ａ）（Ｂ）に示される波形は、オペレータ動画情報８０６に記憶されている再生日時または再生開始から経過した時間に関連付けられている音データの波形である。（Ｃ）に示される波形は、顧客音情報８０７に記憶されている受信日時または受信開始から経過した時間に関連付けられている音データの波形である。
The waveforms shown in (A) and (B) are waveforms of sound data associated with the reproduction date and time or the time elapsed from the start of reproduction stored in the operator moving
算出部８０４は、図１５のタイミングｔ１でオペレータ動画情報８０６の期間ｔ０〜ｔ１の音データと、顧客音情報８０７に記憶されている音データとを用いて算出部８０４が音パターンマッチング処理を行う。しかし、（Ｃ）の期間ｔ０〜ｔ１には一致するデータがないので、顧客音情報８０７に音データが記憶されるまで一定期間待つ。
In the
また、算出部８０４は、図１５のタイミングｔ２で前のパターンマッチング処理をしたタイミング以降（期間ｔ１以降）に記録した動画データの音データと、顧客音情報８０７に記憶されている音データとを用い、音パターンマッチング処理を行う。（Ｃ）の期間ｔ０〜ｔ２のｍｕｃｈ期間のデータと一致しているので、ｔａとｔ１またはｔｂとｔ２を記憶部７０２に記憶する。
Further, the
次に、算出部８０４がｔ２とｔｂの時間差ｔｃを求め、求めた時間差ｔｃを調整部８０５に送信する（ステップＳ１２１６）。
次に、調整部８０５がサーバ１から一致する音データが送信されるまでの時間差分飛ばして動画を配信させるために、オペレータＩＤ、配信データＩＤ、時間差ｔｃを含む同期情報を、サーバ１に送信する。サーバ１は、同期情報を受信すると、顧客端末２へ配信中の動画データより時間差ｔｃ分前（分飛ばした位置）の動画データを特定し、動画データをオペレータ端末３に配信する。すなわち、期間ｔｄ、ｔｅを飛ばして動画データをオペレータ端末３に配信する。オペレータ端末３の画面には（Ａ）のタイミングｔ３以降に示す音データ（波形）に対応する画像が表示されるので、タイミングｔ３以降でオペレータ端末３と顧客端末２で表示される動画が同期する。
Next, the
Next, the
実施形態によれば、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがあれば、ずれている時間分、オペレータ端末３の動画再生を待機させる。あるいは、オペレータ端末３の動画を巻き戻しする。その結果、顧客端末２の再生がオペレータ端末３の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面を同期させることができる。
According to the embodiment, if the
また、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがなければ、サーバ１から一致するデータが送信されてくるまでの時間差を求める。そして、サーバ１に対して求めた時間差分飛ばした位置から動画を送信するように要求する。その結果、オペレータ端末３の再生が顧客端末２の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面各々を同期させることができる。
If the
また、上記に示すように動画の再生箇所を同期させることで、オペレータが顧客に説明をする際、顧客とオペレータが同じ動画の再生箇所を参照できるので、オペレータは顧客の問合わせに対して的確な説明や回答を行える。
また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。
In addition, by synchronizing the playback location of the video as described above, when the operator explains to the customer, the operator and the operator can refer to the playback location of the same video. Can give simple explanations and answers.
The present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the gist of the present invention.
以上実施形態１に関し、更に以下の付記を開示する。
（付記１）
サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにして、受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する音記憶部と、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部と、
前記再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて前記記憶部に記憶する動画記録部と、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とする、算出部と、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力し、前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、調整部と、
を備えることを特徴とする同期制御装置。
（付記２）
前記調整部は、
前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする付記１に記載の同期制御装置。
（付記３）
前記調整部は、
前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする付記１に記載の同期制御装置。
（付記４）
コンピュータによって実行される同期制御方法であって、
サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにし、受信日時または受信を開始してから経過した受信時間に関連付け記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
ことを特徴とする同期制御方法。
（付記５）
前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする付記４に記載の同期制御方法。
（付記６）
前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする付記４に記載の同期制御方法。
（付記７）
サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにし、受信日時または受信を開始してから経過した受信時間に関連付けて記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
処理をコンピュータに実行させることを特徴とする同期制御プログラム。
（付記８）
前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力する処理を前記コンピュータに実行させることを特徴とする付記７に記載の同期制御プログラム。
（付記９）
前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力する処理を前記コンピュータに実行させることを特徴とする付記７に記載の同期制御プログラム。
Regarding the first embodiment, the following additional notes are disclosed.
(Appendix 1)
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second A sound storage unit for storing in a storage unit in association with a reception date / time or a reception time that has elapsed since the start of reception;
A reproduction unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server;
The moving image data reproduced by the reproducing unit, the second sound data related to the moving image data, the reproduction date / time when the moving image data was reproduced, or the reproduction time elapsed from the start of reproduction of the distribution data are associated and stored. A video recording unit to be stored in the unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A calculation unit that obtains a time difference between a matching period of second sound data and a matching period of the first sound data as a second time difference;
When there is the first time difference, a notification for reproduction by the reproduction unit is output to the reproduction unit in order from the moving image data of the moving image recording unit corresponding to the reproduction date and time or the reproduction time according to the first time difference. When there is the second time difference, an adjustment is made to notify the server or the different server of notifications that are sequentially distributed from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference. And
A synchronization control device comprising:
(Appendix 2)
The adjustment unit is
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronous control device according to
(Appendix 3)
The adjustment unit is
The synchronization control apparatus according to
(Appendix 4)
A synchronization control method executed by a computer,
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, and stored in the association storage unit in the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control method characterized by the above.
(Appendix 5)
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronization control method according to
(Appendix 6)
5. The synchronization control method according to
(Appendix 7)
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, stored in the storage unit in association with the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control program for causing a computer to execute processing.
(Appendix 8)
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronization control program according to
(Appendix 9)
１ サーバ
２ 顧客端末
３ オペレータ端末
４ 顧客端末（入力装置）
５ ネットワーク
６、７ 回線
２０１ 制御部
２０２ 記憶部
２０３ 記録媒体読取装置
２０４ 入出力インタフェース
２０５ 通信インタフェース
２０６ バス
２０７ 記録媒体
２０８ 入出力部
３０１ 通信接続部
３０２ 動画配信部
３０３ 呼接続部
３０４ 特定部
３０５ 動画情報
３０６ 配信状況情報
３０７ オペレータ情報
３０８ 顧客情報
７０１ 制御部
７０２ 記憶部
７０３ 記録媒体読取装置
７０４ 入出力インタフェース
７０５ 通信インタフェース
７０６ バス
７０７ 記録媒体
７０８ 入出力部
８０１ 再生部
８０２ 動画記録部
８０３ 音記憶部
８０４ 算出部
８０５ 調整部
８０６ オペレータ動画情報
８０７ 顧客音情報
８０８ 表示部
１００１ 制御部
１００２ 記憶部
１００３ 記録媒体読取装置
１００４ 入出力インタフェース
１００５ 通信インタフェース
１００６ バス
１００７ 記録媒体
１００８ 入出力部
１１０１ 動画依頼部
１１０２ 動画受信部
１１０３ 動画再生部
１１０４ 入力部
１１０５ 表示部
1
5
Claims (5)
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部と、
前記再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて前記記憶部に記憶する動画記録部と、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とする、算出部と、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力し、前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、調整部と、
を備えることを特徴とする同期制御装置。 A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second A sound storage unit for storing in a storage unit in association with a reception date / time or a reception time that has elapsed since the start of reception;
A reproduction unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server;
The moving image data reproduced by the reproducing unit, the second sound data related to the moving image data, the reproduction date / time when the moving image data was reproduced, or the reproduction time elapsed from the start of reproduction of the distribution data are associated and stored. A video recording unit to be stored in the unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A calculation unit that obtains a time difference between a matching period of second sound data and a matching period of the first sound data as a second time difference;
When there is the first time difference, a notification for reproduction by the reproduction unit is output to the reproduction unit in order from the moving image data of the moving image recording unit corresponding to the reproduction date and time or the reproduction time according to the first time difference. When there is the second time difference, an adjustment is made to notify the server or the different server of notifications that are sequentially distributed from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference. And
A synchronization control device comprising:
前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする請求項１に記載の同期制御装置。 The adjustment unit is
When there is the first time difference, a notification to be reproduced by the reproduction unit is output to the reproduction unit in order from the reproduction date and time or the moving image data of the moving image recording unit corresponding to the reproduction time before the first time difference. The synchronous control device according to claim 1, wherein:
前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする請求項１に記載の同期制御装置。 The adjustment unit is
2. The synchronization control apparatus according to claim 1, wherein, when there is the first time difference, after the standby for the first time difference, the reproduction unit outputs a notification to resume reproduction to the reproduction unit.
サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにし、受信日時または受信を開始してから経過した受信時間に関連付け記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
ことを特徴とする同期制御方法。 A synchronization control method executed by a computer,
A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, and stored in the association storage unit in the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control method characterized by the above.
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
処理をコンピュータに実行させることを特徴とする同期制御プログラム。 A first terminal that receives and reproduces distribution data distributed from a server via a first line inputs sound generated when reproducing the distribution data from an input device, and inputs the input sound to a second The first sound data is received at a predetermined interval via the line, stored in the storage unit in association with the reception date and time or the reception time that has elapsed since the start of reception,
The moving image data reproduced by a reproducing unit that sequentially reproduces a plurality of moving image data included in the distribution data distributed from the server or a different server, second sound data related to the moving image data, and the moving image data The playback date and time or the playback time that has elapsed since the start of playback of the distribution data is stored in the association storage unit,
The first sound data and the second sound data are compared, and if there is data that matches the first sound data and the second sound data, they match with reference to the storage unit. Obtaining the reception date and time or reception time associated with the first sound data and the reproduction date and time or reproduction time associated with the matching second sound data;
When the reception date and time or the reception time at the start of the matching period of the first sound data are later than the reproduction date and time or the playback time at the start of the period of matching of the second sound data, The time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as the first time difference,
When the reception date and time or the reception time of the start of the matching period of the first sound data is before the reproduction date and time or the playback time of the start of the period of matching of the second sound data, A time difference between the period in which the second sound data coincides with the period in which the first sound data coincides is obtained as a second time difference;
When there is the first time difference, according to the first time difference, the reproduction date and time or the video data corresponding to the reproduction time is reproduced in order,
When there is the second time difference, the server or the different server is notified of a notification to be delivered in order from the reproduction date and time or the video data corresponding to the reproduction time after the second time difference.
A synchronization control program for causing a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011057275A JP2012195704A (en) | 2011-03-15 | 2011-03-15 | Synchronization control device, synchronization control method, and synchronization control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011057275A JP2012195704A (en) | 2011-03-15 | 2011-03-15 | Synchronization control device, synchronization control method, and synchronization control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012195704A true JP2012195704A (en) | 2012-10-11 |
Family
ID=47087230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011057275A Pending JP2012195704A (en) | 2011-03-15 | 2011-03-15 | Synchronization control device, synchronization control method, and synchronization control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012195704A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014105201A1 (en) * | 2012-12-24 | 2014-07-03 | Intel Corporation | Improved techniques for audio synchronization |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005191786A (en) * | 2003-12-25 | 2005-07-14 | Mega Chips Corp | Method for synchronization control between terminals |
| JP2008085573A (en) * | 2006-09-27 | 2008-04-10 | Iwatsu Electric Co Ltd | Video telephone system |
| WO2010067026A1 (en) * | 2008-12-10 | 2010-06-17 | Alcatel Lucent | Method and device for communication by video conference |
-
2011
- 2011-03-15 JP JP2011057275A patent/JP2012195704A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005191786A (en) * | 2003-12-25 | 2005-07-14 | Mega Chips Corp | Method for synchronization control between terminals |
| JP2008085573A (en) * | 2006-09-27 | 2008-04-10 | Iwatsu Electric Co Ltd | Video telephone system |
| WO2010067026A1 (en) * | 2008-12-10 | 2010-06-17 | Alcatel Lucent | Method and device for communication by video conference |
| JP2012511855A (en) * | 2008-12-10 | 2012-05-24 | アルカテル−ルーセント | Method and apparatus for communication by video conference |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014105201A1 (en) * | 2012-12-24 | 2014-07-03 | Intel Corporation | Improved techniques for audio synchronization |
| US9521449B2 (en) | 2012-12-24 | 2016-12-13 | Intel Corporation | Techniques for audio synchronization |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5979483B2 (en) | Content reproduction apparatus, content reproduction system, and content reproduction method | |
| US11606596B2 (en) | Methods, systems, and media for synchronizing audio and video content on multiple media devices | |
| CN1981524B (en) | Information processing device and method | |
| EP2061241A1 (en) | Method and device for playing video data of high bit rate format by player suitable to play video data of low bit rate format | |
| JP5911613B2 (en) | Method and apparatus for synchronized playback by multiple smart devices | |
| KR20090039408A (en) | Apparatus and method for providing the thread of a contents | |
| JP5557939B2 (en) | Portable terminal, information reproduction system, and information reproduction method | |
| JP5060649B1 (en) | Information reproducing apparatus and information reproducing method | |
| US10181312B2 (en) | Acoustic system, communication device, and program | |
| JP2012195704A (en) | Synchronization control device, synchronization control method, and synchronization control program | |
| KR20080087592A (en) | Method of updating additional data and reproduction apparatus thereof | |
| WO2018173312A1 (en) | Virtual reality viewing system, reproduction synchronizing method, and virtual reality viewing program | |
| JP2014011597A (en) | Reproducing device and reproducing method | |
| JP2014153515A (en) | Musical performance recording system | |
| JP7100468B2 (en) | Terminal devices and programs | |
| JP2008135985A (en) | Content reproducing device, content reproduction controller, content reproducing method | |
| JP6677343B2 (en) | Operation device, command processing device, and content reproduction system | |
| KR101947186B1 (en) | Content reproduction method and system | |
| JP5899718B2 (en) | Information processing system, information processing apparatus, and information processing program | |
| JP2002204441A (en) | Information processing unit and information processing system | |
| KR20130096538A (en) | Mobile communication terminal and method for generating contents data thereof | |
| KR100697854B1 (en) | Multimedia source making and playing system and method of multimedia source making and playing thereof | |
| WO2022079853A1 (en) | Music data processing method | |
| JP5678532B2 (en) | Signal processing apparatus and signal processing method | |
| JP2016226053A (en) | Client terminal and moving image reproduction system via internet including the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150106 |