JP2012195704A - 同期制御装置、同期制御方法、同期制御プログラム - Google Patents

Abstract

【課題】異なる装置各々で再生する同じデータを同期させて、装置各々で同じ再生箇所を表示させる同期制御装置、同期制御方法、同期制御プログラムを提供する。
【解決手段】第２の回線を介して受信した第１の端末で再生された配信データの第１の音データと、サーバから配信される配信データの第２の端末で再生された第２の音データとを比較し、第１の音データと第２の音データに一致する期間があるか否かを検出し、一致する期間がある場合、第２の音データの一致する期間の始まりと、第１の音データの一致する期間の始まりのずれている時間を求め、その時間に応じて第１の端末と第２の端末で出力するデータの同期させる、同期制御装置、同期制御方法、同期制御プログラムである。
【選択図】図８

Description

本発明は、異なる装置で再生する同じデータを同期させる同期制御装置、同期制御方法、同期制御プログラムに関する。

従来、コールセンタのオペレータが顧客からの製品の説明、操作、故障などの問合わせなどがあったとき、サーバから配信された問合せに関する動画などを見ながらオペレータが顧客に説明をすることがある。そのような場合、顧客とオペレータはそれぞれ異なる端末を用いて同じ動画を見ながら通話をする。しかし、顧客端末とオペレータ端末に動画などが表示されている場合に、顧客端末とオペレータ端末とに表示される画面がずれることがある。顧客端末とオペレータ端末とで異なる画面が表示されると、オペレータは顧客の問合わせに対して的確な説明や回答を行えなくなる。よって、顧客端末とオペレータ端末で再生の同期を取ることが望まれている。

例えば、サーバがオペレータ端末から顧客端末に送信をしている動画と同じ動画の送信要求を受けた際に、顧客端末で再生している時間帯の動画をオペレータ端末に送信して、オペレータ端末と顧客端末それぞれの画面の同期を取る方法が開示されている。しかし、上記方法では通信回線の混雑などで一方の端末への通信速度が遅くなり、一方の端末で再生待ちが発生すると、双方の端末の同期が取れなくなる。

また、関連する技術として、例えば、２つのメディア間の同期を、メディア対時刻の同期付けではなく、メディア対メディアの同期付けをする方法が知られている。そのメディア対メディアの同期付け方法によれば、一方のメディアの特定ポイントを基準にして、他方のメディアの特定ポイントを所定量だけずらすことにより、設定された同期ポイントでのみ同期を取ることが示されている。

特開平０５−２３６２９７号公報

本発明は、異なる装置各々で再生する同じデータを同期させて、装置各々で同じ再生箇所を出力させる同期制御装置、同期制御方法、同期制御プログラムを提供することを目的とする。

実施の態様のひとつである同期制御装置は、音記憶部、再生部、動画記録部、算出部、調整部を備えている。
音記憶部は、サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、上記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにする。そして、上記第１の音データと受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する。

再生部は、上記サーバまたは異なるサーバから配信される上記配信データに含まれる複数の動画データを順次再生する。
動画記録部は、上記再生部で再生した上記動画データと、上記動画データに関連する第２の音データと、上記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて上記記憶部に記憶する。

算出部は、上記第１の音データと、第２の音データとを比較し、上記第１の音データと上記第２の音データに一致するデータがあれば、上記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得する。続いて、算出部は、一致する期間がある場合、上記第２の音データの一致する期間の始まりの上記再生日時または上記再生時間より、上記第１の音データの一致する期間の始まりの上記受信日時または上記受信時間が後である場合に、上記第２の音データの一致する期間と上記第１の音データの一致する期間のずれている時間を求め第１の時間差とする。

算出部は、上記第２の音データの一致する期間の始まりの上記再生日時または上記再生時間より、上記第１の音データの一致する期間の始まりの上記受信日時または上記受信時間が前である場合に、上記第２の音データの一致する期間と上記第１の音データの一致する期間のずれている時間を求め第２の時間差とする。

調整部は、上記第１の時間差があるとき、上記第１の時間差に応じて上記再生日時または上記再生時間に対応する上記動画記録部の動画データから順に上記再生部で再生する通知を上記再生部に出力する。調整部は、上記第２の時間差があるとき、上記第２の時間差分後の上記再生日時または上記再生時間に対応する動画データから順に再生する通知を上記サーバまたは上記異なるサーバに対して通知をする。

実施の態様によれば、異なる装置で再生する同じデータを同期させて、装置各々で同じ再生箇所を出力させることができるという効果を奏する。

通話支援をするシステムの一実施例を示す図である。 サーバのハードウェアの一実施例を示す図である。 サーバの機能の一実施例を示す図である。 動画情報のデータ構造の一実施例を示す図である。 配信状況情報のデータ構造の一実施例を示す図である。 オペレータ情報と顧客情報のデータ構造の一実施例を示す図である。 オペレータ端末のハードウェアの一実施例を示す図である。 オペレータ端末の機能の一実施例を示す図である。 オペレータ動画情報と顧客音情報のデータ構造の一実施例を示す図である。 顧客端末のハードウェアの一実施例を示す図である。 顧客端末の一実施例を示すブロック図である。 同期制御動作の一実施例を示すフロー図である。 同期制御動作の一実施例を示すフロー図である。 オペレータ端末より顧客端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。 顧客端末よりオペレータ端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。

以下図面に基づいて、実施形態について詳細を説明する。
実施形態１について説明する。図１は、通話支援をするシステムの一実施例を示す図である。図１のシステムは、サーバ１、顧客端末２（第１の端末）、同期制御機能を有するオペレータ端末３、顧客端末４（入力装置）を有し、ネットワーク５によって接続されている。サーバ１と顧客端末２はインターネットなどの公衆回線や専用回線などのネットワーク５と接続されている。サーバ１とオペレータ端末３は、例えば、コールセンタ内でネットワークを介して接続されている。また、コールセンタとは別の場所に設けられたサーバ１とコールセンタ内のオペレータ端末３がネットワーク５と接続されていてもよい。

サーバ１は、例えば、コールセンタなどに配置されている。また、サーバ１は顧客の用いる顧客端末２から動画データ配信要求を受信すると、要求された動画に対応するストリーミング再生可能な配信データを顧客端末２に配信する。ストリーミング再生可能な配信データは、複数の動画データ（パケット）を有し、動画データは画像データ、音データ、再生時間情報、その他の各種情報を有している。ストリーミング再生可能なデータは、例えば、Moving Picture Experts Group（ＭＰＥＧ）などの技術で用いられるデータである。また、動画配信にはストリーミングサーバを用いることが考えられる。再生時間情報は、動画データが再生され出力される時間を示す情報である。例えば、画像データが圧縮されている場合に、画像データをデコードして復号器から出力する時間である。

また、配信データが配信されている回線６（第１の回線）と別の回線７（第２の回線）を介して、オペレータ端末３と通話をするための接続要求を、顧客端末４からサーバ１が受信すると、サーバ１は顧客端末４とオペレータ端末３とを通話可能な状態にする。続いて、顧客端末２が現在再生している動画とともに再生され、顧客端末２の出力部（スピーカなど）から出力される音楽、音声案内などを含む音を、顧客端末４の入力部（マイクなど）から取得して回線７を介してサーバ１が受信する。そして、サーバ１は受信した音を音データにして記憶部に記憶する。

ここで、音は顧客の声や環境音などをなるべく含まない動画を再生した際に発生する音楽や音声案内などだけであることが望ましい。そこで、顧客が既に動画を視聴している場合、または、通話を開始してから動画を視聴する場合において、顧客端末４とオペレータ端末３は通話が可能であっても、通話開始直後の一定期間は顧客とオペレータが会話できない状態にすることが考えられる。すなわち、顧客にオペレータの声が聞こえないようにして、顧客がオペレータと会話しにくい状態にし、一定期間に動画を再生した際に発生する音楽や音声案内などの音をなるべく受信する。なお、音は人間の耳には聞こえない非可聴音でもよく、その場合には顧客端末４が非可聴音も拾える入力部を有していればよい。

また、顧客端末４とオペレータ端末３が通話可能な状態になると、サーバ１はオペレータ端末３に該動画データを配信する。
オペレータ端末３は、サーバ１から動画データを受信すると、動画データを順に再生して動画を表示させるとともに、該動画データを再生して出力した日時または再生開始から経過した該動画データと再生して出力した時間とを関連付け、記憶部に記憶する。また、オペレータ端末３は、該動画データの音データが圧縮されている場合にはデコードし、該動画データと再生して出力した日時または再生開始から経過した該動画データを再生して出力した時間とを関連付け、記憶部に記憶する。

また、オペレータ端末３は、回線７を用い顧客端末４からサーバ１を介して受信した音楽や音声案内などを含む音データを、該音データを受信した日時または受信開始から経過した該音データを受信した時間と、を関連付けて記憶部に記憶する。

続いて、オペレータ端末３に配信された動画データに関連付けられている音データと、顧客端末４から回線７を介して受信した音データとを比較し、各音データの一致する期間を、オペレータ端末３が検出する。オペレータ端末３は、この期間各々に対応付けられている、動画データを再生して出力した日時または再生開始から経過した該動画データを再生して出力した時間と、音データを受信した日時または受信開始から経過した音データを受信した時間と、の差を求める。この差は、顧客端末２で表示されている動画と、オペレータ端末３で表示されている動画とが、ずれている時間を示している。

動画がずれる原因は、例えば、動画データを配信するサーバ１が顧客端末２とオペレータ端末３へ動画データを配信中に、回線６の混雑などで通信速度が変化して再生にずれが発生することが考えられる。また、顧客端末２とオペレータ端末３のデコード時間の違いによりずれが発生することが考えられる。

また、ずれを検出する方法は、例えば、音データ各々をパターンマッチング処理して、音データ各々の一致した期間を検出する。
続いて、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがあれば、ずれている時間分、オペレータ端末３の動画再生を待機させる。あるいは、オペレータ端末３の動画を巻き戻しする。その結果、顧客端末２の再生がオペレータ端末３の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面を同期させることができる。

また、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがなければ、サーバ１から一致するデータが送信されてくるまでの時間差を求める。そして、サーバ１に対して求めた時間差分飛ばした位置から動画を送信するように要求する。その結果、オペレータ端末３の再生が顧客端末２の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面各々を同期させることができる。

なお、サーバ１は、画面各々の同期が取れるとオペレータ端末３の出力部（ハンドセットのスピーカなど）に顧客端末４から送られてくる音が出力される状態にする。
上記に示すように動画の再生箇所を同期させることで、オペレータが顧客に説明をする際、顧客とオペレータが同じ動画の再生箇所を参照できるので、オペレータは顧客の問合わせに対して的確な説明や回答を行える。

顧客端末２は、サーバ１に動画データの要求をし、サーバ１から配信された動画を再生する。オペレータ端末３は、サーバ１から配信される顧客端末２で再生中の動画データを再生し、顧客端末４と通話が可能である。顧客端末４は、例えば、顧客が利用している電話機、Internet Protocol（ＩＰ）電話機、ソフトフォンなどである。

サーバ１について説明する。
図２は、サーバのハードウェアの一実施例を示す図である。サーバ１は、制御部２０１、記憶部２０２、記録媒体読取装置２０３、入出力インタフェース２０４（入出力Ｉ／Ｆ）、通信インタフェース２０５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス２０６によってそれぞれ接続されている。

制御部２０１は、後述する通信接続部３０１、動画配信部３０２、呼接続部３０３、特定部３０４などを有している。また、制御部２０１はCentral Processing Unit（ＣＰＵ）、マルチコアＣＰＵ、プログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。

記憶部２０２は、後述する動画情報３０５、配信状況情報３０６、オペレータ情報３０７、顧客情報３０８などを記憶している。記憶部２０２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部２０２にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。上記動画情報３０５、配信状況情報３０６、オペレータ情報３０７、顧客情報３０８などは、テーブル以外の記憶方法であってもよく、ハードウェアとしてデータベースに記録されていてもよい。

記録媒体読取装置２０３は、制御部２０１の制御に従って記録媒体２０７に対するデータのリード／ライトを制御する。そして、記録媒体２０７に記録媒体読取装置２０３の制御で書き込まれたデータを記録させたり、記録媒体２０７に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体２０７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部２０２もnon-transitory（非一時的）な記録媒体に含まれる。

入出力インタフェース２０４には、入出力部２０８が接続され、利用者が入力した情報を受信し、バス２０６を介して制御部２０１に送信する。また、制御部２０１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部２０８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部２０８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。

通信インタフェース２０５は、顧客端末２およびオペレータ端末３との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース２０５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。

なお、サーバ１の動画配信機能を分けて動画配信サーバ（ストリーミングサーバ）などを用いた場合、動画配信サーバはコールセンタ内に設置するだけでなく、複数の異なる場所に分けて配置されていてもよい。また、顧客端末２とオペレータ端末に配信される動画が、異なる動画配信サーバから配信されてもよい。

制御部２０１と記憶部２０２について説明する。
図３は、サーバの機能の一実施例を示す図である。図３の制御部２０１は、通信接続部３０１、動画配信部３０２、呼接続部３０３、特定部３０４などを有している。

通信接続部３０１は、顧客端末２から動画データ配信要求を受信すると、動画データ配信要求を動画配信部３０２に転送する。また、動画配信部３０２が後述する動画情報３０５から取得した動画データ配信要求に含まれる顧客が要求している動画に対応する動画データを、通信接続部３０１が受信する。その後、通信接続部３０１は受信した動画データを、回線６を介して顧客端末２に配信する。

動画配信部３０２は、配信データをリアルタイムストリーム再生方式で顧客端末２とオペレータ端末３に配信する。また、配信データのファイル形式は、リアルタイムストリーム再生方式で再生可能なファイル形式であればよい。

動画配信部３０２は、動画情報３０５を参照して、動画データ配信要求で要求された動画データを取得して、通信接続部３０１を介して顧客端末２に動画データを配信する。動画情報３０５は、例えば、動画データを含むファイルとファイルを識別する情報が関連付けられて記録されている。図４は、動画情報のデータ構造の一実施例を示す図である。図４の動画情報４０１は、「配信データＩＤ」「動画データ記憶場所情報」などの情報を有している。「配信データＩＤ」には、動画データを識別する情報が記憶されている。本例では、配信データとして「００１」「００２」「００３」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「動画データ記憶場所情報」には、記憶部２０２に記憶されている動画データの記憶位置が記憶されている。例えば、配信データに対応する動画データを含むファイルの記憶されている記憶位置が記憶されている。本例では、「Ｕ：￥製品１￥操作￥００１＿ｍｏｖｅ．ｍｐｇ」「Ｕ：￥製品２￥操作￥００２＿ｍｏｖｅ．ｍｐｇ」「Ｕ：￥製品３￥操作￥００３＿ｍｏｖｅ．ｍｐｇ」・・・・が記憶されている。「Ｕ：」は、記憶部２０２のドライブがＵドライブであることを示し、「￥フォルダ製品１」「￥フォルダ製品２」「￥フォルダ製品３」「￥操作」は、フォルダ名を示している。「００１＿ｍｏｖｅ．ｍｐｇ」「００２＿ｍｏｖｅ．ｍｐｇ」「００３＿ｍｏｖｅ．ｍｐｇ」は動画データを含むファイルを示している。「００１＿ｍｏｖｅ．ｍｐｇ」は、「製品１」フォルダの下の階層にある「操作」フォルダの中の記憶されている。「００２＿ｍｏｖｅ．ｍｐｇ」は、「製品２」フォルダの下の階層にある「操作」フォルダの中の記憶されている。「００３＿ｍｏｖｅ．ｍｐｇ」は、「製品３」フォルダの下の階層にある「操作」フォルダの中の記憶されている。

また、動画配信部３０２は、現在配信中の顧客端末２を識別する配信先顧客ＩＤと、現在配信している配信データを識別する配信データＩＤと、現在配信している配信データの動画データの再生時間情報とを関連付けて、配信状況情報３０６に記憶する。

また、動画配信部３０２は、配信状況情報３０６を参照して現在顧客端末２に配信中の動画データを、通信接続部３０１を介してオペレータ端末３に配信する。動画配信部３０２は、後述する特定部３０４から顧客端末２とオペレータ端末３が通話可能な状態であることを通知されると、オペレータ端末３への配信データの配信を開始する。また、動画配信部３０２は、後述する特定部３０４から顧客端末２を利用している顧客を識別する情報と、オペレータ端末３を利用しているオペレータを識別する情報を取得する。その際、動画配信部３０２は、配信するオペレータ端末３の配信先オペレータＩＤと、該オペレータ端末３に対応する顧客端末２に配信中の配信データの配信データＩＤと該配信データの動画データの再生時間情報とを関連付けて、配信状況情報３０６に記憶する。ただし、顧客端末２に配信している配信データを調整して同期をとる場合には、オペレータ端末３に関する配信先オペレータＩＤ、配信データＩＤ、再生時間情報は必要ない。

オペレータ端末３に配信している配信データを調整して同期をとる場合には、動画配信部３０２はオペレータ端末３から配信する動画データを調整する情報（同期情報）を取得し、オペレータ端末３へ配信する動画データの配信箇所を変更する。そして、変更した箇所から動画データをオペレータ端末３へ配信する。その際、動画配信部３０２は、配信状況情報３０６のオペレータ端末３に対応する再生時間情報も変更する。

図５は、配信状況情報のデータ構造の一実施例を示す図である。図５の配信状況情報５０１は、「配信先顧客ＩＤ」「配信データＩＤ」「再生時間情報」を有している。「配信先顧客ＩＤ」には、配信データが配信されている顧客を識別する情報が記憶されている。本例では、顧客ＩＤとして「ＣＳ００１」「ＣＳ００２」「ＣＳ００３」・・・・が記録されている。「配信データＩＤ」には、配信データを識別する情報が配信先顧客ＩＤに関連付けられて記憶されている。本例では、配信データＩＤとして「００１」「００２」「００３」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「再生時間情報」には、動画データが再生され出力される時間を示す再生時間情報が、配信データＩＤに関連付けられて記憶されている。本例では、再生時間情報として、「００１＿ｃｓ＿ｎｏｗ」「００２＿ｃｓ＿ｎｏｗ」「００３＿ｃｓ＿ｎｏｗ」・・・・が記憶されている。

図５の配信状況情報５０２は、「配信先オペレータＩＤ」「配信データＩＤ」「再生時間情報」を有している。「配信先オペレータＩＤ」には、配信データが配信されている顧客に対応するオペレータを識別する情報が記憶されている。本例では、配信先オペレータＩＤとして「ＯＰ００１」「ＯＰ１０２」「ＯＰ０３３」・・・・が記憶されている。「配信データＩＤ」には、配信データを識別する情報が配信先オペレータＩＤに関連付けられて記憶されている。本例では、配信データＩＤとして「００１」「００２」「００３」・・・・が記憶されている。また、動画データを含むファイルの名称などが記憶されていてもよい。「再生時間情報」には、オペレータ端末３に配信される配信データの再生時間情報が、配信データＩＤに関連付けられて記憶されている。本例では、再生時間情報として、「００１＿ｏｐ＿ｎｏｗ」「００２＿ｏｐ＿ｎｏｗ」「００３＿ｏｐ＿ｎｏｗ」・・・・が記憶されている。

同期情報は、オペレータ端末３にサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがない場合に、サーバ１から一致するデータが送信されてくるまでの時間差を求めた情報を有している。また、同期情報は、サーバ１に対して求めた時間差分飛ばした位置から動画を送信させる要求である。その結果、オペレータ端末３の再生が顧客端末２の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面を同期させることができる。

呼接続部３０３は、例えば、顧客端末４から呼を受信すると記憶部２０２に記憶されているオペレータ情報３０７の通話状況を参照して、通話中でないオペレータを抽出する。例えば、オペレータが通話中であるか通話中でないかを示す情報を参照して、通話中でないオペレータを抽出する。通話中でないオペレータが抽出された場合は、呼接続部３０３は抽出したオペレータ端末３と呼を受信した顧客端末４とを接続して、通話可能な状態にする。その後、呼接続部３０３は現在動画配信中の顧客を特定するために、例えば、呼接続部３０３が顧客の電話番号を取得し、取得した電話番号を特定部３０４に送信する。

また、抽出したオペレータ端末３と顧客端末４との通話が終了したことを検出すると、呼接続部３０３は通話を終えたことを動画配信部３０２、特定部３０４に通知する。また、オペレータが通話中でないことをオペレータ情報３０７に記憶する。

図６は、オペレータ情報と顧客情報のデータ構造の一実施例を示す図である。図６のオペレータ情報６０１は、「オペレータＩＤ」「通話状態」を有している。「オペレータＩＤ」には、オペレータを識別する情報が記憶されている。本例では、オペレータＩＤとして「ＯＰ００１」「ＯＰ００２」「ＯＰ００３」・・・・が記憶されている。「通話状態」には、オペレータが通話しているか否かを示す情報が記憶されている。本例では、オペレータ端末と顧客端末が接続され、通話状態である場合、オペレータＩＤに関連付けられて「通話中」が記憶される。また、オペレータ端末と顧客端末が接続されていない状態である場合、オペレータＩＤに関連付けられて「空き」が記憶される。

特定部３０４は、呼接続部３０３から送信された顧客の電話番号を受信する。続いて、特定部３０４は、後述する顧客情報３０８を参照し、受信した電話番号を用いて一致する顧客ＩＤを特定する。ただし、取得した電話番号に顧客ＩＤが関連付けられていない場合があるので、そのときは、オペレータが顧客に現在見ている動画について問合せをして、オペレータ端末３から直接動画を選択してもよい。また、オペレータが顧客に登録時の電話番号について問合せをして、オペレータ端末３から直接電話番号を入力してもよい。特定部３０４は、顧客端末２とオペレータ端末３が通話可能な状態であること、顧客ＩＤと、オペレータＩＤとを動画配信部３０２に通知し、オペレータ端末３への配信データの配信を開始する指示を通知する。

顧客情報３０８は顧客を識別する情報と顧客が予め登録した電話番号などが記録されている。図６の顧客情報６０２は、「顧客ＩＤ」「電話番号」などの情報を有している。「顧客ＩＤ」には、顧客を識別する情報が記憶されている。本例では、顧客ＩＤとして「ＣＳ００１」「ＣＳ００２」「ＣＳ００３」・・・・が記憶されている。「電話番号」には、顧客の電話番号が記憶されている。本例では、電話番号として「０８０−３４５６−０６ＸＸ」「０９０−１２３４−５６ＸＸ」「０７０−４５６７−８９ＸＸ」・・・・が記憶されている。

オペレータ端末３について説明する。
図７は、オペレータ端末のハードウェアの一実施例を示す図である。オペレータ端末３は、Personal Computer（ＰＣ）などを用いることが考えられる。オペレータ端末３は、制御部７０１、記憶部７０２、記録媒体読取装置７０３、入出力インタフェース７０４（入出力Ｉ／Ｆ）、通信インタフェース７０５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス７０６によってそれぞれ接続されている。制御部７０１は、Central Processing Unit（ＣＰＵ）、マルチコアＣＰＵ、プログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。制御部７０１は、後述する再生部８０１、動画記録部８０２、音記憶部８０３、算出部８０４、調整部８０５などを有している。また、制御部７０１はオペレータ端末３の各部を制御する。また、制御部７０１は、サーバ１から送信された動画データを再生して表示する制御をする。また、制御部７０１は顧客端末４との通話を制御する機能を有する。なお、動画データのずれを迅速に検出して、動画を同期させることが求められるため、制御部２０１には各処理部が並列に動作でき、各処理部の演算結果を連携して用いる構成であることが望ましい。

図８は、オペレータ端末の機能の一実施例を示す図である。
再生部８０１は、通信インタフェース７０５を介してサーバ１から配信される配信データを受信し、動画データを順次再生して、表示部８０８に動画を表示させる。また、再生部８０１はオペレータ動画情報８０６に動画データ各々を再生した日時または再生開始から経過した時間と、動画データの音データを再生したデータを関連付けて記憶する。オペレータ動画情報８０６は、再生部８０１で再生した動画データの日時または再生開始から経過した時間と、動画記録部８０２により記録される該動画データとを関連付けて記憶する。図９は、オペレータ動画情報と顧客音情報のデータ構造の一実施例を示す図である。図９のオペレータ動画情報９０１は、「日時」「オペレータ音データ」「オペレータ動画データ」を有している。「日時」には、再生した動画データの日時または再生開始から経過した時間が記憶されている。本例では、「ｔｉｍｅ１」「ｔｉｍｅ２」「ｔｉｍｅ３」・・・・が記憶されている。「オペレータ音データ」には、再生部８０１により再生された動画データの音データが記録される。本例では、音データとして「ｏｐ＿ｓｏｕｎｄ１」「ｏｐ＿ｓｏｕｎｄ２」「ｏｐ＿ｓｏｕｎｄ３」・・・・が記憶されている。「オペレータ動画データ」には、再生した動画データの日時または再生開始から経過した時間に関連付けられて、動画データが動画記録部８０２により記憶される。

また、再生部８０１は調整部８０５から再生日時が通知されると、オペレータ動画情報８０６を参照して、該再生日時に対応する動画データから再生を始める。
動画記録部８０２は、再生部８０１により再生され出力される動画データに対応する動画データを、再生日時または再生開始から経過した時間に関連付けて記憶される。

音記憶部８０３は、サーバ１から顧客端末２に配信されている配信データを再生した際に出力される音楽、音声案内などの音を、顧客端末４（例えば、電話など）からサーバ１を介して所定の間隔で取得し、音データとして受信する。そして、音記憶部８０３は受信した音データを受信した日時または受信開始から経過した時間に関連付けて、顧客音情報８０７に記憶する。

顧客音情報８０７は、音記憶部８０３が受信した音声データを受信した日時または受信開始から経過した時間に関連付けて記憶されている。図９の顧客音情報９０２は、「日時」「顧客音データ」を有している。「日時」には、受信した音データの日時または再生開始から経過した時間が記憶されている。本例では、「ｔｉｍｅ＿ａ」「ｔｉｍｅ＿ｂ」「ｔｉｍｅ＿ｃ」・・・・が記憶されている。「顧客音データ」には、音記憶部８０３で受信した音データが記憶される。本例では、音データとして「ｃｓ＿ｄａｔａ１」「ｃｓ＿ｄａｔａ２」「ｃｓ＿ｄａｔａ３」・・・・が記憶されている。

算出部８０４は、オペレータ動画情報８０６に記憶されている音データと、顧客音情報８０７に記憶されている音データとを比較し、後述する音パターンマッチング処理をして、一致する期間を検出する。続いて、算出部８０４は検出した音データ各々の一致する箇所に関連付けられている日時を、オペレータ動画情報８０６と顧客音情報８０７からそれぞれ取得する。そして、取得した日時それぞれを用いて時間差を求め、求めた時間差を算出部８０４が調整部８０５に送信する。

算出部８０４は、オペレータ動画情報８０６の音データの一致する期間の始まりの再生日時または再生時間より、顧客音情報８０７の音データの一致する期間の始まりの受信日時または受信時間が後であるか判定する。後ろである場合に、算出部８０４は、オペレータ動画情報８０６の音データの一致する期間と顧客音情報８０７の音データの一致する期間のずれている時間（第１の時間差）を求める。

また、算出部８０４は、オペレータ動画情報８０６の音データの一致する期間の始まりの再生日時または再生時間より、顧客音情報８０７の音データの一致する期間の始まりの受信日時または受信時間が前であるかを判定する。前である場合に、オペレータ動画情報８０６の音データの一致する期間と顧客音情報８０７の音データの一致する期間のずれている時間（第２の時間差）を求める。

調整部８０５は、上記時間差を算出部８０４から取得し、時間差に応じて、オペレータ端末３で再生する動画データを決める。すなわち、調整部８０５は、サーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがある場合に、ずれている時間差分、オペレータ端末３において時間差分待機する。その後、再生部８０１が再生を再開する通知を再生部８０１に出力してもよい。あるいは、オペレータ端末３において再生している動画を巻き戻す通知を再生部８０１に出力してもよい。例えば、調整部８０５は、オペレータ動画情報９０１の「日時」を参照して、現在再生している動画データに対応する再生日時を選択し、選択した再生日時から時間差分前の再生日時を求める。そして、調整部８０５は該再生日時を再生部８０１に送信する。

また、調整部８０５は、サーバ１から既に配信された音データと、顧客端末４から受信した音データの一致を算出部が確認できなかったら、一旦サーバからの音データをさらに蓄積し、一致を確認できるまで繰り返します。その結果（オペ端末側が遅延していたら）調整部８０５は、時間差分を飛ばして動画を配信させる通知（同期情報）をします。
すなわち、調整部８０５は、時間差分後の再生日時に対応する動画データから順に配信させるための通知を、サーバ１に送信する。
同期情報は、例えば、オペレータＩＤ、配信データＩＤ、時間差を含む情報である。

記憶部７０２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。記憶部７０２は、オペレータ動画情報８０６、顧客音情報８０７を有している。なお、記憶部７０２にはパラメータ値、変数値などのデータを記憶してもよいし、実行時のワークエリアとして用いてもよい。また、記憶部７０２は動画データと、該動画データを再生した日時または通話開始からの経過時間とを関連付けて記憶してもよい。

記録媒体読取装置７０３は、制御部７０１の制御に従って記録媒体７０７に対するデータのリード／ライトを制御する。そして、記録媒体７０７に記録媒体読取装置７０３の制御で書き込まれたデータを記憶させたり、記録媒体７０７に記憶されたデータを読み取らせたりする。また、着脱可能な記録媒体７０７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部７０２もnon-transitory（非一時的）な記録媒体に含まれる。

入出力インタフェース７０４には、入出力部７０８が接続され、利用者が入力した情報を受信し、バス７０６を介して制御部７０１に送信する。また、制御部７０１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部７０８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部７０８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。

なお、入出力部７０８には、オペレータの音声を入力する入力装置（マイクなど）、顧客の音声などを出力する出力装置（ヘッドホン、イヤホン）などが設けられている。また、入力装置と出力装置は、ハンドセットなどであってもよい。なお、入力装置により入力されるオペレータの音声は回線７を介して顧客端末４の音声出力部に送られ、顧客の音声は、入出力部７０８の出力装置に出力される。

通信インタフェース７０５は、サーバ１および顧客端末２との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース７０５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。

このようなハードウェア構成を有するコンピュータを用いることによって、後述する各種処理機能が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体７０７に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの記録媒体７０７が販売される。また、プログラムをサーバコンピュータの記憶装置に記録しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、記録媒体７０７に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶部７０２に記録する。そして、コンピュータは、自己の記憶部７０２からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、記録媒体７０７から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

顧客端末２について説明する。
図１０は、顧客端末のハードウェアの一実施例を示す図である。顧客端末２は、Personal Computer（ＰＣ）などを用いることが考えられる。顧客端末２は、制御部１００１、記憶部１００２、記録媒体読取装置１００３、入出力インタフェース１００４（入出力Ｉ／Ｆ）、通信インタフェース１００５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス１００６によってそれぞれ接続されている。制御部１００１は、Central Processing Unit（ＣＰＵ）やプログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。制御部１００１は、顧客端末２の各部を制御する。また、制御部１００１は動画データをリアルタイムストリーム再生方式で再生することができる。

記憶部１００２は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記憶部１００２にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。また、記憶部１００２はストリーム再生するために動画データを一時記憶し、再生されると動画データは消去される。

記録媒体読取装置１００３は、制御部１００１の制御に従って記録媒体１００７に対するデータのリード／ライトを制御する。そして、記録媒体１００７に記録媒体読取装置１００３の制御で書き込まれたデータを記録させたり、記録媒体１００７に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体１００７は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記憶部１００２もnon-transitory（非一時的）な記録媒体に含まれる。

入出力インタフェース１００４には、入出力部１００８が接続され、利用者が入力した情報を受信し、バス１００６を介して制御部１００１に送信する。また、制御部１００１からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力部１００８の入力装置は、例えば、キーボード、ポインティングデバイス（マウスなど）、タッチパネルなどが考えられる。なお、入出力部１００８の出力部であるディスプレイは、例えば、液晶ディスプレイなどが考えられる。また、出力部はCathode Ray Tube（ＣＲＴ）ディスプレイ、プリンタなどの出力装置であってもよい。

通信インタフェース１００５は、サーバ１およびオペレータ端末３との間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、通信インタフェース１００５は必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。

図１１は、顧客端末の一実施例を示すブロック図である。図１１に示す顧客端末２の制御部１００１は、動画依頼部１１０１、動画受信部１１０２、動画再生部１１０３などを有している。また、図１１に示す顧客端末２に接続される入出力部１００８は、図１１に示す入力部１１０４、表示部１１０５を有している。顧客は、表示部１１０５に表示される動画選択画面を見て、マウスなどの入力部１１０４を用いて、動画を選択する。動画が選択されると、動画依頼部１１０１は、サーバ１に動画を要求するために動画データ配信要求を生成する。続いて、動画データ配信要求は、動画依頼部１１０１から通信インタフェース１００５を介して、サーバ１に送信される。次に、顧客端末２の動画受信部１１０２はサーバ１から動画データを取得すると、取得した動画データを例えば記憶部１００２に一時記憶する。動画再生部１１０３は、一時記憶した動画データを取得して、動画データを再生する。表示部１１０５は、動画再生部１１０３が再生した出力を受信して動画を表示する。

顧客端末４は、例えば、電話、ＩＰ電話、ソフトフォンなどが考えられる。また、顧客端末４は、図１０に示した装置に電話、ＩＰ電話、ソフトフォンなどのいずれかの機能を持たせた装置でもよい。

オペレータ端末の動作について説明する。
図１２、図１３は、同期制御動作の一実施例を示すフロー図である。図１２の例では、顧客が既に顧客端末２を用いてサーバ１から配信された動画を見ている状況で、顧客からオペレータへ動画を配信している回線とは別の回線を用いて問合せがあった場合を想定している。すなわち、動画配信部３０２が通信接続部３０１を介して動画データを、サーバ１から顧客端末２に配信している。なお、顧客が動画を見るよりも先に、顧客からオペレータへの問合せがある場合には、オペレータ端末３と顧客端末４とが接続された後、別の回線を用いてサーバ１から顧客に動画が配信されることも想定される。また、呼接続部３０３が顧客端末４から送信される呼（顧客端末４の電話番号などを含む情報）を受信し、オペレータ端末３と顧客端末４を接続する。次に、呼接続部３０３は受信した情報から顧客の電話番号を特定する。次に、呼接続部３０３は特定した電話番号を特定部３０４に送信する。特定部３０４が特定した電話番号を用いて顧客情報３０８を検索して顧客ＩＤを特定する。ただし、顧客ＩＤと電話番号が一致しない場合には、オペレータは顧客から顧客ＩＤなどを直接聞いて、オペレータ端末３の入出力部７０８を用いて直接顧客ＩＤを入力し、特定部３０４が特定する顧客ＩＤとしてもよい。次に、顧客端末２とオペレータ端末３が通話可能な状態であること、顧客ＩＤと、オペレータＩＤとを、特定部３０４は動画配信部３０２に通知し、オペレータ端末３への配信データの配信を開始する指示を通知する。続いて、動画配信部３０２が配信データの配信を開始する指示を受信すると、オペレータ端末３へ顧客端末２と同じ動画データが送信される。

ステップＳ１２０１では、再生部８０１が通信インタフェース７０５を介して動画データを受信する。
ステップＳ１２０２では、再生部８０１が受信した動画データ各々を順次再生して、表示部８０８に動画を表示させる。また、再生部８０１はオペレータ動画情報８０６に動画データ各々を再生した日時または再生開始から経過した時間と、動画データの音データを再生したデータを関連付けて記憶する。また、動画記録部８０２は、再生部８０１により再生され出力される動画データに対応する動画データを、再生日時または再生開始から経過した時間に関連付けて、オペレータ動画情報８０６に記憶する。

ステップＳ１２０３では、音記憶部８０３がサーバ１から顧客端末２に配信されている配信データを再生した際に出力される音楽、音声案内などの音を、顧客端末４からサーバ１を介して受信し、音声データとして取得する。音記憶部８０３は、取得した音声データを受信した日時または受信開始から経過した時間に関連付けて、顧客音情報８０７に記憶する。

ステップＳ１２０４では、算出部８０４が顧客電話からの音データと、オペレータ端末に送信された動画データの音データと、を音パターンマッチング処理する。
ステップＳ１２０５では、算出部８０４が音データ各々の一致する期間を検出できたか否かを判定し、一致した期間が検出された場合にはステップＳ１２０６（Ｙｅｓ）に移行し、一致した期間が検出されない場合には図１３のステップＳ１２１１（Ｎｏ）に移行する。すなわち、算出部８０４は、サーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがある場合にステップＳ１２０６に移行する。また、算出部８０４は、サーバ１から既に配信された音データに、顧客端末４から受信した音データと一致するデータがなければ、図１３のステップＳ１２１１に移行する。

ステップＳ１２０６では、算出部８０４が検出した音データ各々の一致する箇所に関連付けられている再生日時と受信日時各々を、オペレータ動画情報８０６と顧客音情報８０７からそれぞれ取得する。ただし、再生日時と受信日時は一致することが少ないため、例えば、受信日時を基準に、該基準とした受信日時に最も近い再生日時を選択することが考えられる。ただし、再生日時と受信日時の取得の仕方は上記に限定されるものではなく、再生日時を基準とし、該基準とした再生日時に最も近い受信日時を選択してもよい。

ステップＳ１２０７では、算出部８０４が取得した再生日時と受信日時各々を用いて時間差を求め、求めた時間差を調整部８０５に送信する。
ステップＳ１２０８では、調整部８０５がずれている時間差分、オペレータ端末３の動画再生を待機させる。あるいは、オペレータ端末３において再生している動画を巻き戻しする。例えば、調整部８０５は、オペレータ動画情報９０１の「日時」を参照して、現在再生している動画データに対応する再生日時を選択し、選択した再生日時から時間差分前の再生日時を求める。そして、調整部８０５は該再生日時を再生部８０１に送信する。

ステップＳ１２０９では、再生部８０１が調整部８０５から再生日時が通知されると、オペレータ動画情報８０６を参照して、該再生日時に対応する動画データから再生を始める。その後、ステップＳ１２１０に移行する。

図１３のステップＳ１２１１では、顧客音情報８０７に記憶されている音データのレベルが所定の値より小さいとき、音記憶部８０３が受信音量を変更してもよい。また、音データを取得し直してもよい。

ステップＳ１２１２では、オペレータ音情報８０６と顧客音情報８０７にさらに音データが記憶されるまで一定期間待つ。
ステップＳ１２１３では、算出部８０４が顧客からの音データと、前の音パターンマッチング処理以降に記録した動画データの音データと、を音パターンマッチング処理する。

ステップＳ１２１４では、算出部８０４が音データ各々の一致する期間を検出できたか否かを判定し、一致した期間が検出された場合にはステップＳ１２１５（Ｙｅｓ）に移行し、一致した期間が検出されない場合には図１３のステップＳ１２０４（Ｎｏ）に移行する。すなわち、算出部８０４は、サーバ１から既に配信された音データに、顧客端末４から受信した音データと一致するデータがあればステップＳ１２１５に移行し、一致するデータがなければ図１２のステップＳ１２０４に移行する。

ステップＳ１２１５では、算出部８０４が検出した音データ各々の一致する箇所に関連付けられている再生日時と受信日時各々を、オペレータ動画情報８０６と顧客音情報８０７からそれぞれ取得する。ただし、再生日時と受信日時は一致することが少ないため、例えば、受信日時を基準に、該基準とした受信日時に最も近い再生日時を選択することが考えられる。ただし、再生日時と受信日時の取得の仕方は上記に限定されるものではなく、再生日時を基準とし、該基準とした再生日時に最も近い受信日時を選択してもよい。

ステップＳ１２１６では、ステップＳ１２１５で取得した動画データの音データの再生日時と、ステップＳ１２１５で取得した顧客からの音データの受信日時との時間の差を算出部８０４が求め、求めた時間差を調整部８０５に送信する。

ステップＳ１２１７では、調整部８０５がサーバ１から一致する音データが送信されるまでの時間差分飛ばして動画を配信させるためにオペレータＩＤ、配信データＩＤ、時間差を含む同期情報を、サーバ１に送信する。その後、ステップＳ１２１０に移行する。

サーバ１は、同期情報のオペレータＩＤ、配信データＩＤと配信状況情報３０６を用いて、オペレータと通話中の顧客に配信中の配信データと動画データを特定する。次に、特定した動画データの再生時間情報と同期情報の時間差を用いて、特定した動画データを基準に、基準から時間差分飛ばした位置にある再生時間情報を有する動画データを検出する。ただし、特定した動画データの再生時間情報の示す時間から時間差を引いた時間と、動画データの再生時間情報に示す時間が一致する動画データは少ないので、最も近い再生時間情報を有する動画データを特定する。そして、特定した動画データの位置〜順次オペレータ端末３へ動画データを配信する。

ステップＳ１２１０では、オペレータ端末３が顧客とオペレータとの通話を可能にする。
ステップＳ１２０１〜ステップＳ１２１７の処理について、図１４、１５を用いて説明する。図１４は、オペレータ端末より顧客端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。図１４の縦軸には、上から（Ａ）オペレータ端末３が同期された音データ、（Ｂ）オペレータ端末３が非同期の音データ、（Ｃ）顧客端末４の音データが表されている。図１４の横軸には時間が示されている。

図１４のタイミングｔ０は、サーバ１から配信された最初の動画データが再生された再生日時または再生開始から経過した時間を示している。図１４のタイミングｔ１〜ｔ４は再生日時または再生開始から経過した時間を示している。（Ａ）（Ｂ）に示される波形は、オペレータ動画情報８０６に記憶されている再生日時または再生開始から経過した時間に関連付けられている音データの波形である。（Ｃ）に示される波形は、顧客音情報８０７に記憶されている受信日時または受信開始から経過した時間に関連付けられている音データの波形である。なお、図１４のタイムチャートには動画データを示さないが、音声データと画像データは同期しているものとする。

算出部８０４は、図１４のタイミングｔ１でオペレータ動画情報８０６の期間ｔ０〜ｔ１（ｔｍｕｃｈ）の音データと、顧客音情報８０７に記憶されている音データとを用いて算出部８０４が音パターンマッチング処理を行う。しかし、（Ｃ）の期間ｔ０〜ｔ１にはデータがないので、顧客音情報８０７に音データが記憶されるまで一定期間待つ。

また、タイミングｔ２で、音記憶部８０３はサーバ１を介して顧客端末４から送信されてくる音データと受信日時または受信開始から経過した時間と、を音記憶部８０３が顧客音情報８０７に記録し始める。

また、算出部８０４は、図１４のタイミングｔ２でオペレータ動画情報８０６の期間ｔ１〜ｔ２（ｔｍｕｃｈ）の音データと、顧客音情報８０７に記憶されている音データとを用いて算出部８０４が音パターンマッチング処理を行う。しかし、期間ｔ１〜ｔ２にはデータがないので、顧客音情報８０７に音データが記憶されるまで一定期間待つ。

本例では、タイミングｔ２において、再生日時または再生開始から経過した時間と、受信日時または受信開始から経過した時間とを便宜上同じにしているが、同じでなくてもよい。

次に、図１４のタイミングｔ３のタイミングで、算出部８０４が音パターンマッチング処理を行うと、（Ｂ）の期間ｔ０〜ｔ１の音データと（Ｃ）の期間ｔ２〜ｔ３の音データのパターンが一致している。つまり、（Ｂ）の期間ｔ０〜ｔ１の音データと（Ｃ）の期間ｔ２〜ｔ３の音データのパターンが一致しているので、ｔ０とｔ２またはｔ１とｔ３を記憶部７０２に記憶する。

次に、算出部８０４がｔ２とｔ０の時間差ｔｓｕｂを求め、求めた時間差ｔｓｕｂを調整部８０５に送信する（ステップＳ１２０７）。
次に、調整部８０５は、オペレータ動画情報８０６を参照して、現在再生している動画データに対応する再生日時ｔ４を選択し、選択した再生日時から時間差ｔｓｕｂ分前の再生日時ｔ２を求める。そして、調整部８０５は再生日時ｔ２を再生部８０１に送信する。再生部８０１は、再生日時ｔ２に関連付けられている動画データを、タイミングｔ４から再生する。すなわち、オペレータ端末３の画面には（Ａ）のタイミングｔ４以降に示す音データ（波形）に対応する画像が表示されるので、タイミングｔ４以降でオペレータ端末３と顧客端末２で表示される動画が同期する。

図１５は、顧客端末よりオペレータ端末の動画が遅れている場合に、動画を同期させる一実施例を示すタイムチャートである。図１５の縦軸には、上から（Ａ）オペレータ端末３が同期された音データ、（Ｂ）オペレータ端末３が非同期の音データ、（Ｃ）顧客端末４の音データが表されている。図１５の横軸には時間が示されている。なお、図１５のタイムチャートには動画データを示さないが、音声データと画像データは同期しているものとする。

図１５のタイミングｔ０は、サーバ１から配信された最初の動画データが再生された再生日時または再生開始から経過した時間を示している。図１５のタイミングｔ１〜ｔ３は再生日時または再生開始から経過した時間を示している。

また、タイミングｔ０で、音記憶部８０３はサーバ１を介して顧客端末４から送信されてくる音データと受信日時または受信開始から経過した時間と、を音記憶部８０３が顧客音情報８０７に記録し始める。

（Ａ）（Ｂ）に示される波形は、オペレータ動画情報８０６に記憶されている再生日時または再生開始から経過した時間に関連付けられている音データの波形である。（Ｃ）に示される波形は、顧客音情報８０７に記憶されている受信日時または受信開始から経過した時間に関連付けられている音データの波形である。

算出部８０４は、図１５のタイミングｔ１でオペレータ動画情報８０６の期間ｔ０〜ｔ１の音データと、顧客音情報８０７に記憶されている音データとを用いて算出部８０４が音パターンマッチング処理を行う。しかし、（Ｃ）の期間ｔ０〜ｔ１には一致するデータがないので、顧客音情報８０７に音データが記憶されるまで一定期間待つ。

また、算出部８０４は、図１５のタイミングｔ２で前のパターンマッチング処理をしたタイミング以降（期間ｔ１以降）に記録した動画データの音データと、顧客音情報８０７に記憶されている音データとを用い、音パターンマッチング処理を行う。（Ｃ）の期間ｔ０〜ｔ２のｍｕｃｈ期間のデータと一致しているので、ｔａとｔ１またはｔｂとｔ２を記憶部７０２に記憶する。

次に、算出部８０４がｔ２とｔｂの時間差ｔｃを求め、求めた時間差ｔｃを調整部８０５に送信する（ステップＳ１２１６）。
次に、調整部８０５がサーバ１から一致する音データが送信されるまでの時間差分飛ばして動画を配信させるために、オペレータＩＤ、配信データＩＤ、時間差ｔｃを含む同期情報を、サーバ１に送信する。サーバ１は、同期情報を受信すると、顧客端末２へ配信中の動画データより時間差ｔｃ分前（分飛ばした位置）の動画データを特定し、動画データをオペレータ端末３に配信する。すなわち、期間ｔｄ、ｔｅを飛ばして動画データをオペレータ端末３に配信する。オペレータ端末３の画面には（Ａ）のタイミングｔ３以降に示す音データ（波形）に対応する画像が表示されるので、タイミングｔ３以降でオペレータ端末３と顧客端末２で表示される動画が同期する。

実施形態によれば、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがあれば、ずれている時間分、オペレータ端末３の動画再生を待機させる。あるいは、オペレータ端末３の動画を巻き戻しする。その結果、顧客端末２の再生がオペレータ端末３の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面を同期させることができる。

また、オペレータ端末３はサーバ１から既に配信された動画データに関連付けられている音データに、顧客端末４から受信した音データと一致するデータがなければ、サーバ１から一致するデータが送信されてくるまでの時間差を求める。そして、サーバ１に対して求めた時間差分飛ばした位置から動画を送信するように要求する。その結果、オペレータ端末３の再生が顧客端末２の再生より遅延をしている場合でも、顧客端末２とオペレータ端末３に表示する画面各々を同期させることができる。

また、上記に示すように動画の再生箇所を同期させることで、オペレータが顧客に説明をする際、顧客とオペレータが同じ動画の再生箇所を参照できるので、オペレータは顧客の問合わせに対して的確な説明や回答を行える。
また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。

以上実施形態１に関し、更に以下の付記を開示する。
（付記１）
サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにして、受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する音記憶部と、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部と、
前記再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて前記記憶部に記憶する動画記録部と、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とする、算出部と、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力し、前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、調整部と、
を備えることを特徴とする同期制御装置。
（付記２）
前記調整部は、
前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする付記１に記載の同期制御装置。
（付記３）
前記調整部は、
前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする付記１に記載の同期制御装置。
（付記４）
コンピュータによって実行される同期制御方法であって、
サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにし、受信日時または受信を開始してから経過した受信時間に関連付け記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
ことを特徴とする同期制御方法。
（付記５）
前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする付記４に記載の同期制御方法。
（付記６）
前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする付記４に記載の同期制御方法。
（付記７）
サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにし、受信日時または受信を開始してから経過した受信時間に関連付けて記憶部に記憶し、
前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
処理をコンピュータに実行させることを特徴とする同期制御プログラム。
（付記８）
前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力する処理を前記コンピュータに実行させることを特徴とする付記７に記載の同期制御プログラム。
（付記９）
前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力する処理を前記コンピュータに実行させることを特徴とする付記７に記載の同期制御プログラム。

１ サーバ
２ 顧客端末
３ オペレータ端末
４ 顧客端末（入力装置）
５ ネットワーク
６、７ 回線
２０１ 制御部
２０２ 記憶部
２０３ 記録媒体読取装置
２０４ 入出力インタフェース
２０５ 通信インタフェース
２０６ バス
２０７ 記録媒体
２０８ 入出力部
３０１ 通信接続部
３０２ 動画配信部
３０３ 呼接続部
３０４ 特定部
３０５ 動画情報
３０６ 配信状況情報
３０７ オペレータ情報
３０８ 顧客情報
７０１ 制御部
７０２ 記憶部
７０３ 記録媒体読取装置
７０４ 入出力インタフェース
７０５ 通信インタフェース
７０６ バス
７０７ 記録媒体
７０８ 入出力部
８０１ 再生部
８０２ 動画記録部
８０３ 音記憶部
８０４ 算出部
８０５ 調整部
８０６ オペレータ動画情報
８０７ 顧客音情報
８０８ 表示部
１００１ 制御部
１００２ 記憶部
１００３ 記録媒体読取装置
１００４ 入出力インタフェース
１００５ 通信インタフェース
１００６ バス
１００７ 記録媒体
１００８ 入出力部
１１０１ 動画依頼部
１１０２ 動画受信部
１１０３ 動画再生部
１１０４ 入力部
１１０５ 表示部

Claims (5)

1. サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにして、受信日時または受信を開始してから経過した受信時間に関連付けて、記憶部に記憶する音記憶部と、
   前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部と、
   前記再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付けて前記記憶部に記憶する動画記録部と、
   前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
   前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
   前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とする、算出部と、
   前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力し、前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、調整部と、
   を備えることを特徴とする同期制御装置。
2. 前記調整部は、
   前記第１の時間差があるとき、前記第１の時間差分前の前記再生日時または前記再生時間に対応する前記動画記録部の動画データから順に前記再生部で再生する通知を前記再生部に出力することを特徴とする請求項１に記載の同期制御装置。
3. 前記調整部は、
   前記第１の時間差があるとき、前記第１の時間差分待機した後、前記再生部が再生を再開する通知を前記再生部に出力することを特徴とする請求項１に記載の同期制御装置。
4. コンピュータによって実行される同期制御方法であって、
   サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにし、受信日時または受信を開始してから経過した受信時間に関連付け記憶部に記憶し、
   前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
   前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
   前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
   前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
   前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
   前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
   ことを特徴とする同期制御方法。
5. サーバから第１の回線を介して配信される配信データを受信して再生する第１の端末が、前記配信データを再生すると発生する音を入力装置から入力し、入力した前記音を第２の回線を介して所定の間隔で受信して第１の音データにし、受信日時または受信を開始してから経過した受信時間に関連付けて記憶部に記憶し、
   前記サーバまたは異なるサーバから配信される前記配信データに含まれる複数の動画データを順次再生する再生部で再生した前記動画データと、前記動画データに関連する第２の音データと、前記動画データを再生した再生日時または配信データの再生開始から経過した再生時間と、を関連付け記憶部に記憶し、
   前記第１の音データと、第２の音データとを比較し、前記第１の音データと前記第２の音データに一致するデータがあれば、前記記憶部を参照して、一致をする第１の音データに関連付けられている受信日時または受信時間と、一致する第２の音データに関連付けられている再生日時または再生時間とを取得し、
   前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が後である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第１の時間差とし、
   前記第２の音データの一致する期間の始まりの前記再生日時または前記再生時間より、前記第１の音データの一致する期間の始まりの前記受信日時または前記受信時間が前である場合に、前記第２の音データの一致する期間と前記第１の音データの一致する期間のずれている時間を求め第２の時間差とし、
   前記第１の時間差があるとき、前記第１の時間差に応じて前記再生日時または前記再生時間に対応する動画データから順に再生し、
   前記第２の時間差があるとき、前記第２の時間差分後の前記再生日時または前記再生時間に対応する動画データから順に配信する通知を前記サーバまたは前記異なるサーバに対して通知をする、
   処理をコンピュータに実行させることを特徴とする同期制御プログラム。

Images