JP2004282614A - Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method - Google Patents
Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method Download PDFInfo
- Publication number
- JP2004282614A JP2004282614A JP2003074208A JP2003074208A JP2004282614A JP 2004282614 A JP2004282614 A JP 2004282614A JP 2003074208 A JP2003074208 A JP 2003074208A JP 2003074208 A JP2003074208 A JP 2003074208A JP 2004282614 A JP2004282614 A JP 2004282614A
- Authority
- JP
- Japan
- Prior art keywords
- data
- material image
- audio data
- image group
- image display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
この発明は、同期再生データ生成装置、同期再生コンテンツ提供装置、同期再生データ生成方法およびコンテンツ提供方法に関する。
【0002】
【従来の技術】
子供に童話などを読み聞かせる場合などには、親等は童話の本を開き子供に見せながら読んであげるといったことが行われる。このような読み聞かせは子供にとっては楽しみであり、また教育上も重要なものと考えられるが、このような読み聞かせを何度も行うには時間や手間を要することになる。
【0003】
また、視力障害者、視力の弱い人、高齢者等にとっては、文字の小さい新聞、雑誌、その他の書籍等を読むのが困難な場合もあり、このような人々が書籍等から情報を有効に得られないといったケースもある。
【0004】
このように書籍などの文書を読み聞かせるために、文書データ中の文書を言語解析し、言語解析された文書を合成して音声として出力する装置、いわゆる文書読み上げ装置を用いる方法がある(例えば、特許文献1参照)。
【0005】
【特許文献1】
特開2000−99073号公報
【0006】
【発明が解決しようとする課題】
しかしながら、童話、小説、雑誌などの書籍や新聞等は複数ページにわたる者であることが多く、またそのページ中に挿絵や写真が含まれたり、また文字の大きさも一律ではなく、見出し文字等が用いられる等その掲載内容にメリハリがつけられている場合もあり、挿絵、写真や見出し文字等によって掲載内容がより容易に理解できる場合もある。
【0007】
上記のような文書読み上げ装置によっては、予め用意されている文書データに基づく読み上げを行うことができるが、聴いている者は挿絵、写真等を見ることができず、読み上げられた内容を十分に把握できなかったりする場合もある。もちろん、文書読み上げ装置に読み上げさせる文書と同内容の書籍、新聞を用意して、それを参照しながら読み上げ内容を聞くといったことで上記の問題を解消することができるが、その作業が面倒である。
【0008】
この発明は上記に鑑みてなされたもので、面倒な作業を行うことなく、書籍や新聞等の資料内容に関する音声で聴きながら、書籍や新聞等の複数の資料のうち音声で説明されている資料を表示させることができる同期再生コンテンツ提供装置およびコンテンツ提供方法、このような同期再生が可能なデータを生成する同期再生データ生成装置および同期再生データ生成方法を得ることを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生データ生成装置であって、複数の資料画像表示データを有する資料画像群を記憶する画像データ記憶手段と、ネットワークを介して前記通信端末から送信される資料画像群を指定する指定情報が前記通信手段によって受信された場合に指定された資料画像群をネットワークを介して前記通信端末に送信するよう前記通信手段を制御する画像送信手段と、前記画像送信手段によって送信された資料画像群に基づく画像表示がなされている間に取得された音声データが前記ネットワークを介して前記通信端末から供給されて前記通信手段によって受信された場合に、受信された音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成手段とを具備することを特徴とする同期再生データ生成装置である。
【0010】
請求項1にかかる発明によれば、通信端末から所望する資料画像群を指定する指定情報をネットワークを介して送信すると、かかる指定に応じた資料画像群が送信され、通信端末において資料画像群に含まれる資料画像表示データに基づく画像表示をなすことができる。このような画像表示がなされている間に、表示される資料に関する説明などの音声データを取得して通信端末から送信することで、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができる。
【0011】
また、請求項2にかかる発明は、請求項1にかかる発明の構成において、前記画像送信手段は、前記通信端末から送信される資料画像切り替え指示にしたがって順次資料画像群に含まれる資料画像表示データを送信し、前記同期再生データ生成手段は、前記切り替え指示が行われたタイミングに基づいて前記音声データの再生中に前記資料画像群に含まれる各資料画像表示データに基づく画像表示を行うべきタイミングを示すタイミング情報を取得し、当該タイミング情報に基づいて前記同期再生データを生成することを特徴とする。
【0012】
請求項2にかかる発明によれば、音声データの再生中に各資料画像を表示させるべきタイミングで各資料画像を表示させることが可能な同期再生データを得ることができる。
【0013】
また、請求項3にかかる発明は、請求項2にかかる発明の構成において、前記同期再生データ生成手段は、前記通信端末のユーザによって前記各資料画像表示データに基づく画像表示状態の変更指示があった場合に、その変更指示があったタイミングに基づいて前記資料画像群に含まれる各資料画像表示データに基づく画像表示状態を変更すべきタイミングを示す表示状態タイミング情報を取得し、当該表示状態タイミング情報に基づいて前記同期再生データを生成することを特徴とする。
【0014】
請求項3にかかる発明によれば、資料画像が表示されているときにユーザから表示拡大など表示状態の変更指示があった場合には、その指示タイミングから表示状態を変更すべきタイミングを取得し、取得したタイミングで表示状態が変更されるような同期再生データを得ることができる。
【0015】
また、請求項4にかかる発明は、請求項1ないし3のいずれかにかかる発明の構成において、前記通信手段によって受信される前記指定情報に前記資料画像群を指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群を特定する音声解析手段をさらに具備し、前記画像送信手段は、前記音声解析手段によって特定された資料画像群を送信するよう前記通信手段を制御することを特徴とする。
【0016】
請求項4にかかる発明によれば、通信端末のユーザは声を発し、その音声データを送信すれば、その音声データの内容が解析されて指定した資料画像群が特定される。したがって、ユーザは指定したい資料画像群を特定するための内容を声で発するといった簡易な作業で希望する資料画像群を指定することができる。
【0017】
また、請求項5にかかる発明は、請求項1ないし4のいずれかにかかる発明の構成において、通信端末から前記ネットワークを介して供給される資料画像群が前記通信手段によって受信された場合に、受信された前記資料画像群を前記画像データ記憶手段に書き込む画像記録手段をさらに具備することを特徴とする。
【0018】
請求項5にかかる発明によれば、あるユーザが自作したオリジナルの資料画像群を通信端末からネットワークを介して送信すれば、その資料画像群が新たに他のユーザ等に提供可能な資料画像群として記憶される。したがって、提供可能な資料画像群をより多くすることができる。
【0019】
また、請求項6にかかる発明は、請求項1ないし5のいずれかにかかる発明の構成において、前記同期再生データ生成手段によって生成される同期再生データを、前記指定情報の送信元である前記通信端末に前記ネットワークを介して送信するよう前記通信手段を制御する同期再生データ送信手段をさらに具備することを特徴とする。
【0020】
請求項6にかかる発明によれば、ユーザが指定した資料画像群に含まれる資料画像の表示と、ユーザがかかる資料画像群に関連して取得して送信した音声データの再生とを同期させることができる同期再生データを当該ユーザの通信端末に送信されるので、ユーザはこの同期再生データに基づいた資料画像表示と音声データ再生とを視聴することができる。
【0021】
また、請求項7にかかる発明は、前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータであることを特徴とする。
【0022】
請求項7にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる同期再生データを得ることができる。
【0023】
また、請求項8にかかる発明は、通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生コンテンツ提供装置であって、複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶する記憶手段と、ネットワークを介して前記通信端末から送信される、資料画像群および当該資料画像群に関連する前記音声データを指定する指定情報が前記通信手段によって受信された場合に、指定された資料画像群に含まれる資料画像表示データおよび前記音声データを、前記同期用データに基づいたタイミングで前記ネットワークを介して前記通信端末に送信するよう前記通信手段を制御し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づく再生とを同期させて行わせるコンテンツ送信手段とを具備することを特徴とする同期再生コンテンツ提供装置である。
【0024】
請求項8にかかる発明によれば、ユーザが通信端末から視聴したい資料画像群およびこれに関連する音声データを指定する指定情報を送信すれば、音声データが送信されて通信端末で再生されている間に、同期用データに基づいて当該資料画像群に含まれる複数の資料画像表示データが所定のタイミングで順次送信されて通信端末において表示されることになる。したがって、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができる。
【0025】
また、請求項9にかかる発明は、請求項8にかかる発明の構成において、前記コンテンツ送信手段は、前記音声データの再生時刻と各前記資料画像表示データとが対応付けられた前記同期用データに基づいて、前記前記音声データに基づく再生時刻に応じて前記資料画像表示データを送信するよう前記通信手段を制御することを特徴とする。
【0026】
請求項9にかかる発明によれば、音声データの再生時刻が、同期用データにおいてある資料画像表示データに対応付けられた再生時刻となったときに、当該資料画像表示データが通信端末に送信される。このように送信されたタイミングで資料画像表示データを表示すれば、音声データに基づく音声再生と資料画像表示との同期再生が可能となる。
【0027】
また、請求項10にかかる発明は、請求項8または9にかかる発明の構成において、前記通信手段によって受信される前記指定情報に前記資料画像群および前記音声データを指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群および前記音声データを特定する音声解析手段をさらに具備し、前記画像送信手段は、前記音声解析手段によって特定された資料画像群および前記音声データを送信させることを特徴とする。
【0028】
請求項10にかかる発明によれば、通信端末のユーザは声を発し、その音声データを送信すれば、その音声データの内容が解析されて指定した資料画像群および音声データが特定される。したがって、ユーザは指定したい資料画像群および音声データを特定するための内容を声で発するといった簡易な作業で希望する資料画像群および音声データを指定することができる。
【0029】
また、請求項11にかかる発明は、請求項8ないし9のいずれかにかかる発明の構成において、通信端末から前記ネットワークを介して供給される資料画像群、これに関連する前記音声データおよび当該資料画像群に基づく画像表示と前記音声データに基づく再生とを同期させるための同期用データが前記通信手段によって受信された場合に、受信された前記資料画像群、前記音声データおよび前記同期用データを前記記憶手段に書き込む記録手段をさらに具備することを特徴とする。
【0030】
請求項11にかかる発明によれば、あるユーザが自作したオリジナルの資料画像群、音声データおよび同期用データを通信端末からネットワークを介して送信すれば、その資料画像群等のコンテンツが新たに他のユーザ等に提供可能なコンテンツとして記憶される。したがって、提供可能なコンテンツをより多くすることができる。
【0031】
また、請求項12にかかる発明は、請求項8ないし11のいずれかにかかる発明の構成において、前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータであることを特徴とする。
【0032】
請求項12にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる。
【0033】
また、請求項13にかかる発明は、請求項8ないし12のいずれかにかかる発明の構成において、前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段をさらに具備することを特徴とする。
【0034】
請求項13にかかる発明によれば、通信端末に対して資料画像群および音声データを同期再生させるといったコンテンツ提供を行った場合に、その通信端末のユーザに対して課金を行うことができる。
【0035】
また、請求項14にかかる発明は、請求項11にかかる発明の構成において、前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段であって、課金処理の対象となる前記通信端末のユーザが、前記記録手段が前記記憶手段に記録させた資料画像群、音声データおよび同期用データの送信主であるか否かを判別し、当該判別結果に基づいた処理を行うことを特徴とする。
【0036】
請求項14にかかる発明によれば、資料画像群、音声データおよび同期用データといったコンテンツの送信主である場合には、資料画像群等のコンテンツの提供を受けた場合にも課金をしない、または減額する等の優遇措置をとることができ、これにより自作コンテンツの送信を促すことができ、結果として提供可能なコンテンツを多くすることができる。
【0037】
また、請求項15にかかる発明は、ネットワークを介して前記通信端末から送信される、複数の資料画像表示データを有する資料画像群を指定する指定情報を受信した同期再生データ生成サーバが、指定された資料画像群をネットワークを介して前記通信端末に送信し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像を表示させる画像表示ステップと、前記通信端末から前記ネットワークを介して送信される、前記画像表示ステップにおいて前記資料画像群に基づく画像表示がなされている間に取得された音声データを受信した前記同期再生データ生成サーバが、受信した音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成ステップとを具備することを特徴とする同期再生データ生成方法である。
【0038】
請求項15にかかる発明によれば、通信端末から所望する資料画像群を指定する指定情報をネットワークを介して送信すると、かかる指定に応じた資料画像群が送信され、資料画像群に含まれる資料画像表示データに基づく画像表示がなされる。このような画像表示がなされている間に、表示される資料に関する説明などの音声データを取得して通信端末から送信することで、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができる。
【0039】
また、請求項16にかかる発明は、複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶するコンテンツ提供サーバからネットワークを介して通信端末にコンテンツを提供する方法であって、ネットワークを介して前記通信端末から送信される、資料画像群およびこれに関連する前記音声データを指定する指定情報を受信した前記コンテンツ提供サーバが、指定された資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づいた再生が前記通信端末において同期して行われるよう前記同期用データに基づいてタイミングを制御して指定された前記資料画像群に含まれる資料画像表示データおよび前記音声データを前記ネットワークを介して前記通信端末に送信するコンテンツ送信ステップを具備することを特徴とするコンテンツ提供方法である。
【0040】
請求項16にかかる発明によれば、ユーザが通信端末から視聴したい資料画像群およびこれに関連する音声データを指定する指定情報を送信すれば、音声データが送信されて通信端末で再生されている間に、同期用データに基づいて当該資料画像群に含まれる複数の資料画像表示データが所定のタイミングで順次送信されて通信端末において表示されることになる。したがって、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができる。
【0041】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる同期再生データ生成装置、同期再生コンテンツ提供装置、同期再生データ生成方法およびコンテンツ提供方法の好適な実施の形態を詳細に説明する。
【0042】
A.第1実施形態
図1は、本発明の第1実施形態にかかる同期再生データ生成方法が適用される同期再生データ配信サービスを実施するためのネットワークシステムの全体構成を示す図である。同図に示すように、このネットワークシステムは、インターネット等のネットワーク1を介してデータの互いに授受が可能な同期再生データ生成サーバ100と、PC(Personal Computer)110とを備えている。
【0043】
このネットワークシステムにより実施される同期再生データ配信サービスは、複数ページにわたる資料画像の表示と、その資料に関連する音声再生(例えば資料の朗読や説明など)とを同期させて行うための同期再生データを生成して配信するサービスであり、PC110はかかるサービスによって同期再生データの配信を受けるユーザが利用する端末である。なお、本明細書において資料画像の表示と音声データの同期再生とは、音声データの再生時刻等に応じて順次資料画像の表示ページを切り替えていくといったように音声再生と資料画像表示を関連付けて制御することをいう。
【0044】
また、この同期再生データ配信サービスでは、同期再生させる音声データをサービスを受けるユーザが作成することができ、つまりユーザオリジナルの音声データとすることができ、かかるオリジナルの音声データをPC110から同期再生データ生成サーバ100に送信して同期再生データを生成させ、その生成された同期再生データの配信を受けるようになっている。
【0045】
このようなサービスの利用に用いられるPC110は、インターネット等のネットワーク1に接続するための通信機能と、当該ネットワーク1を介してWebサーバ等との間でデータの授受を行ってWebページの閲覧等を行うためのブラウザ機能とを備えている。このような機能を備えることで、PC110は、ネットワーク1を介して同期再生データ生成サーバ100とデータの授受を行う通信端末として機能する。また、PC110には、資料画像表示と同期再生させるユーザオリジナルの音声データを取得するためのマイクロホン115が接続されている。
【0046】
同期再生データ生成サーバ100は、同期再生データ配信サービスを実施する事業者等によって設置されるサーバであり、単一または互いに通信可能な複数のパーソナルコンピュータやワークステーション等で構成されている。そして、内蔵するハードディスク等の外部記憶装置に格納されたプログラムを実行することにより、同期再生データ生成のための種々の機能を実現する。
【0047】
より具体的には、同期再生データ生成サーバ100は、通信インターフェース(IF:interface)150と、資料群送信部160と、インデキシング部170と、資料記憶部180と、コンテンツ送信部190とを備える。
【0048】
通信インターフェース(通信手段)150は、インターネットなどのネットワーク1を介して他の通信端末とデータの授受を行うものであり、ルータなどを備えている。
【0049】
資料群送信部160は、PC110から送信される配信を希望する資料群を指定する情報を含む資料配信要求が通信インターフェース150によって受信された場合に、かかる指定にしたがった資料群を資料記憶部180から読み出す。そして、資料群送信部160は、読み出した資料群をネットワーク1を経由して要求元であるPC110に送信するよう通信インターフェース150を制御する。
【0050】
資料記憶部180は、ハードディスクドライブ等の記憶装置を有しており、図2に示すように、多数の資料群を記憶している。1つの資料群は、童話、小説、雑誌、教育用図書などの書籍の1ページに相当する内容や、新聞の1ページに相当する内容を表示させるための資料画像表示データを書籍や新聞のページ数に相当する数だけ有している。
【0051】
すなわち、ある童話について資料群Aは、その童話書籍のすべてのページ(1〜nページ)の各々を表示させるための資料画像表示データを含んでおり、ある日の新聞について資料群Bは、その新聞のすべてのページ(1〜nページ)の各々を表示させるための資料画像表示データを含んでいる。
【0052】
資料記憶部180には、以上のような童話、小説、教育用図書(参考書や問題集など)、雑誌などの種々の書籍や新聞に対応する資料群が記憶されているのである。このような資料群に含まれる資料画像表示データとしては、JPEG(Joint Photographic Experts Group)形式等種々の公知の画像表示データのフォーマットを採用することがでる。
【0053】
なお、これらの資料群は、実際に発刊された書籍や新聞と全くの同一の内容を表示させるようなものであってもよいが、書籍や新聞の内容と変更したものを表示させるものであってもよいし、書籍としては発刊していない内容を表示させるものであってもよく、書籍や新聞等に類似した形式のオリジナルの資料群を作成して記憶させるようにしてもよい。
【0054】
図1に示す資料群送信部160は、上記のように種々の資料群が記憶されている資料記憶部180から、PC110から送信された配信要求者の指定にしたがった資料群を読出し、資料群に含まれる資料画像表示データを順次ネットワーク1を介してPC110に送信し、PC110の表示部に送信した資料画像表示データに対応する資料画像を表示させるのである。
【0055】
また、資料群送信部160は、音声解析部161を有している。音声解析部161は、PC110から送信される資料配信要求に、資料群を指定するための音声データが含まれている場合、その音声データの内容を解析し、その解析結果に基づいて配信要求者が指定した資料郡を特定する。より具体的には、音声解析部161は、当該音声データに対して音声認識処理を行い、当該音声データに含まれる文字列(テキストデータ等)を取得する。音声解析部161は、図3に示す予め用意された資料群特定用データベースを参照することで、取得した文字列に基づいて資料群を特定する。
【0056】
同図に示すように、資料群特定用データベースには、予め資料記憶部180に記憶されている種々の資料群の各々に、その資料群の内容を特定するためのキーワードとなる文字列が1または複数が対応付けられて記憶されている。このようなキーワードとしては、その資料群のタイトルそのものであってもよいし、童話などの書籍に対応する資料群の場合には、その内容に関するもの、例えば童話なら「王様」、「姫様」など、教育用書籍なら「数学」、「初級」などである。
【0057】
音声解析部161は、このような資料群特定用データベースの中に、音声データから取得した文字列と一致するものがあるか否かを判別し、一致した文字列に対応付けられた資料群を特定するのである。なお、資料群のタイトルそのものが取得した文字列に含まれていた場合には、文字列と一致したタイトルの資料群を特定するようにしてもよいが、タイトル以外のキーワード、例えば資料群の内容に関するキーワード(「王様」、「姫様」)などの場合には、複数のキーワードが取得した文字列中に含まれていた場合にのみ、文字列が一致したものとして資料群を特定するようにしてもよい。
【0058】
図1に戻り、インデキシング部170は、上記のように資料群送信部160から指定された資料群に含まれる資料画像表示データが送信されてPC110の表示部に資料画像が表示されている間に、当該PC110からネットワーク1を介して送信される音声データが受信された場合に、当該音声データの再生と、指定された資料郡に含まれる各資料画像表示データに基づく画像表示とを同期させるための同期再生データを生成する。
【0059】
同期再生データとは、音声データが再生されている間に、その音声データの再生時刻に応じて資料群に含まれる資料画像表示データに基づく画像表示を順次切り替えて行うためのデータであり、かかるデータ生成のためには再生時刻と各資料画像表示のタイミング、つまり再生時刻がどの時にどの資料画像を表示させるかを決定する必要がある。インデキシング部170は、資料群送信部160から資料群に含まれる各資料画像表示データを配信要求元であるPC110に送信し、表示が切り替えられたタイミングを示すタイミング情報を取得し、かかるタイミング情報に示されるタイミングに基づいて同期再生データを生成しているが、当該生成処理についての詳細は後述する。
【0060】
コンテンツ送信部190は、上記のようにインデキシング部170によって生成された同期再生データ(音声データ、資料群およびこれらを同期再生させるための同期再生用データ)を、同期再生データの配信要求元であるPC110にネットワーク1を経由して送信するよう通信インターフェース150を制御する。
【0061】
以上が本実施形態にかかる同期再生データ生成方法が適用される同期再生データ配信サービスを実施するためのネットワークシステムの各部の構成である。
【0062】
次に、同期再生データ配信サービスが実施される際の上記構成のネットワークシステムの各部の動作について図4を参照しながら説明する。
【0063】
同図に示すように、同期再生データの生成および配信を希望するユーザは、PC110を適宜操作し、これによりPC110でブラウザを起動させ、予め決められたアドレス(同期再生データ生成サーバ100を示すもの)を指定してネットワーク1に接続させる(ステップSa1)。
【0064】
PC110からのアクセスを受けた同期再生データ生成サーバ100は、資料群を選択指定をユーザに促すためのWebページをネットワーク1を経由してPC110に送信する(ステップSa2)。このWebページを受信したPC110の表示部には、例えば選択指定可能な多数の資料群のタイトルなどが一覧表示されており、ユーザはかかる一覧表示された資料群を選択指定する。なお、タイトルが不明な資料群の選択指定を可能等するために、資料の内容に関するキーワード(小説の作者名、主人公名等)等を指定することで、当該キーワードに一致する資料郡のみを一覧表示させて選択させるようにしてもよいし、上述したようにユーザがタイトルやキーワードを発声することでマイクロホン115を介した音声入力を利用して資料群の指定を行うようにしてもよい。
【0065】
ユーザはPC110のマウス等を操作し、資料群を指定するための情報(音声データであってもよい)を入力し配信要求を指示すると、かかる指示に応じてPC110はネットワーク1を経由して、資料群を指定するための情報を含む資料群配信要求を同期再生データ生成サーバ100に送信する(ステップSa3)。
【0066】
かかる配信要求を受けた同期再生データ生成サーバ100の資料群送信部160は、この配信要求に含まれる指定にしたがって資料記憶部180から資料群を読出し、かかる資料群のPC110への送信を開始する(ステップSa4)。ここで、資料群送信部160は、指定された資料郡に含まれる1ページ目の資料を表示するための資料画像表示データを送信し、これによりPC110の表示部にはかかる1ページ目の資料画像が表示される。
【0067】
このように1ページ目の資料画像が表示された状態で、ユーザはPC110を適宜操作し、マイクロホン115から入力される音声データの送信を開始するよう指示する。この指示をなした後、ユーザはマイクロホン115に向けて、表示された資料を朗読する等音声を発し、当該音声に対応する音声データがマイクロホン115からPC110に取り込まれ、かかる音声データのネットワーク1を経由した同期再生データ生成サーバ100へのリアルタイム送信が開始される(ステップSa5)。
【0068】
このような音声データの送信が開始されると、同期再生データ生成サーバ100のインデキシング部170は、その音声データを記録するとともに、音声データの送信開始時からタイマーのカウントを開始する(ステップSa6)。そして、ユーザの発した音声に基づく音声データが送信されている間に、ユーザがPC110の表示部に表示される資料画像を次ページのものに切り替えることをPC110に指示した場合、その旨がPC110からネットワーク1を介して同期再生データ生成サーバ100に送信される(ステップSa7)。
【0069】
例えば、ユーザが表示されている資料(童話や新聞)を朗読し終えると、次ページの朗読を行うために表示切り替え指示を行うと、その指示がPC110から同期再生データ生成サーバ100に送信されるのである。かかる表示切り替え指示を受けた同期再生データ生成サーバ100の資料群送信部160は指定された資料群の中から先に送信した資料画像表示データの次ページに対応する資料画像表示データをネットワーク1を介してPC110に送信し(ステップSa8)、これによりPC110の表示部には次ページの資料画像が表示される。
【0070】
また、このような資料画像表示切り替え指示を受けると、同期再生データ生成サーバ100のインデキシング部170は、タイマカウント開始(音声データの送信開始)から当該指示が行われて表示が切り替えられた時点の経過時間と、どのページからどのページに切り替えがなされたかといった表示切り替え内容を含むタイミング情報を取得する(ステップSa9)。
【0071】
その後も、ユーザがPC110の表示部に表示させるべき資料画像のページの切り替えを指示すると、上記ステップSa7〜ステップSa9の処理が繰り返され、当該指示に応じた資料画像表示データが同期再生データ生成サーバ100から順次PC110に送信されて資料画像が表示されるとともに、その表示切り替え内容と音声データ送信開始からの切り替えタイミングを含むタイミング情報が取得される。
【0072】
そして、ユーザからPC110に対して音声データの入力を終了した旨の指示があった場合にはPC110からネットワーク1を介してその旨が同期再生データ生成サーバ100に送信される(ステップSa10)。音声データ送信終了通知を受けた同期再生データ生成サーバ100のインデキシング部170は、指定された資料群、PC110から送信された音声データおよび上記のように取得したタイミング情報に基づいて、資料群に含まれる各資料画像表示データに基づく画像表示と、音声データに基づく音声再生とを同期させるための同期再生データを生成する(ステップSa11)。
【0073】
ここで、インデキシング部170が生成する同期再生データ、画像表示データと、音声データといった異なる形式のデータの再生を制御して同期させるデータのフォーマットとして、例えばSMIL(Synchronized Multimedia Integration Language)形式があり、本実施形態におけるインデキシング部170は同期再生データとしてかかるSMIL形式のデータを作成する。
【0074】
そして、インデキシング部170は、タイミング情報等から以下のデータを取得し、これらをSMIL形式にしたがって記述することでSMIL形式のプレゼンテーションデータを作成する。
(1)各資料画像の表示タイミング(開始時刻、終了時刻)
(2)各資料画像(JPEG2000等)の保存場所(ファイルパス情報)
(3)各資料画像に対応する音声データの保存場所(ファイルパス情報)
【0075】
このように情報に基づいて作成される同期再生データにおける、資料画像と音声データとの同期の対応関係について図5に模式的に示す。同図に示す例では、音声データの送信開始時(0:00)から1:15経過後に1ページ目の資料画像から2ページ目の資料画像への表示切り替え指示がなされ、2:45の時点で3ページ目の資料画像への表示切り替え指示がなされ、3:53の時点で4ページ目の資料画像への表示切り替え指示がなされたものとする。すなわち、PC110の表示部には、0:00〜1:15の間は1ページ目の資料画像が表示され、1:15〜2:45の間は2ページ目の資料画像が表示され、2:45〜3:53の間は3ページ目の資料画像が表示されていたことになる。
【0076】
PC110から同期再生データ生成サーバ100への音声データ送信時に以上のようなタイミングで資料画像の表示切り替えが行われると、1ページ目の資料画像が表示されている間(時刻0:00〜1:15)にリアルタイム送信された音声データ(つまり、この間にユーザが発した音声に対応する音声データ)と1ページ目の資料画像が対応付けられている。
【0077】
また、2ページ目の資料画像が表示されている間(時刻1:15〜2:45)にリアルタイム送信された音声データと2ページ目の資料画像が対応付けられている。さらに3ページ目の資料画像が表示されている間(時刻2:45〜3:53)にリアルタイム送信された音声データが3ページ目の資料画像に対応付けられている。
【0078】
インデキシング部170は、このような対応関係に基づいて資料画像表示データに基づく画像表示タイミングや音声データの再生を制御することで画像表示と音声再生とを同期させることができるSMIL形式のデータを作成するのである。
【0079】
インデキシング部170によって以上のような同期再生データが生成されると、同期再生データ生成サーバ100のコンテンツ送信部190は、生成された同期再生データをネットワーク1を介して配信要求元であるPC110に対して送信する(ステップSa12)。
【0080】
同期再生データ生成サーバ100からの同期再生データの送信を受けたPC110によれば、かかる同期再生データに基づく資料画像表示と音声データの同期再生が可能となる。すなわち、配信された同期再生データを所定の再生ソフトウェアにより再生することで、音声データの再生時刻に応じたページの資料画像がPC110の表示部に表示されるので、ユーザは資料に関する音声(資料である童話、小説、新聞の朗読や説明など)を聴きながら、その音声によって朗読等されているページの資料を見ることができる。したがって、文書を単に読み上げる文書読み上げ装置と異なり、朗読等されている文書等の資料に挿絵、写真、見出し文字があったりするなど朗読を聞くだけでは正確に資料の内容を理解できない場合であっても、朗読等されている部分に対応するページの資料が表示されているので、資料の内容をより正確に理解することができるようになる。また、音声データの再生進行に応じて表示される資料のページが順次自動的に切り替わるので、朗読等されている部分に対応するページめくりのための操作等を行う必要がない。
【0081】
しかも、再生される音声は事業者によって用意されたものではなく、ユーザが自ら発したオリジナルの音声であり、例えば子供に童話の読み聞かせなどをする場合であっても、電子的な合成音等による読み聞かせではなく、母親が発した音声による読み聞かせを行うことができる。また、一度上記のような同期再生データを生成しておけばその後母親などは実際に童話などを読むことなく、当該データを再生することで子供に対して読み聞かせを行うことができ、繰り返し読みか聞かせを行うといった必要がなくなり負担を軽減することができる。
【0082】
B.第2実施形態
次に、図6は本発明の第2実施形態にかかるコンテンツ提供方法が適用されるコンテンツ提供サービスを実施するためのネットワークシステムの全体構成を示す。なお、第2実施形態において、第1実施形態と共通する構成要素には同一の符号をつけてその説明を省略する。
【0083】
同図に示すように、このネットワークシステムは、インターネット等のネットワーク1を介してデータの互いに授受が可能なコンテンツ提供サーバ200と、PC110と、PC120とを備えている。
【0084】
このネットワークシステムにより実施されるコンテンツ提供サービスは、クライアントであるPC110から要求があった場合に、複数ページにわたる資料画像の表示と、その資料に関連する音声再生(例えば資料の朗読や説明など)とをクライアントPC110において同期させて行わせるといったサービスであり、PC110はかかるサービスによって同期再生データの配信を受けるユーザが利用する端末である。また、当該コンテンツ提供サービスでは、上記のような同期再生を行うためのコンテンツデータをクライアントPCからネットワーク1を介してコンテンツ提供サーバ200にアップロードすることができるようになっている。以下、このようなサービスを行うための当該ネットワークシステムの各部の構成について説明する。
【0085】
PC110およびPC120は、上記実施形態と同様、通信機能およびブラウザ機能を備えており、またPC120には同期再生を行うためのデータを作成するためのマイクロホン115が接続されている。
【0086】
コンテンツ提供サーバ200は、コンテンツサービスを実施する事業者等によって設置されるサーバであり、単一または互いに通信可能な複数のパーソナルコンピュータやワークステーション等で構成されている。そして、内蔵するハードディスク等の外部記憶装置に格納されたプログラムを実行することにより、コンテンツ提供のための種々の機能を実現する。
【0087】
より具体的には、コンテンツ提供サーバ200は、通信インターフェース150と、コンテンツ送信部210と、資料記憶部220と、コンテンツ記録部230とを備えている。
【0088】
コンテンツ送信部210は、PC110から送信される配信を希望する資料群および音声データを指定する情報を含む資料配信要求が通信インターフェース150によって受信された場合に、かかる指定にしたがった資料群および音声データを資料記憶部220から読み出す。そして、コンテンツ送信部210は、読み出した資料群および音声データをネットワーク1を経由して要求元であるPC110に送信するよう通信インターフェース150を制御する。
【0089】
この際、コンテンツ送信部210は、資料記憶部220に記憶されている同期用データを参照し、資料群および音声データの送信タイミングを制御する。
【0090】
資料記憶部220は、ハードディスクドライブ等の記憶装置を有しており、図7に示すように、多数の資料群を記憶している。1つの資料群は、上記第1実施形態と同様であり、童話、小説、雑誌、教育用図書などの書籍の1ページに相当する内容や、新聞の1ページに相当する内容を表示させるための資料画像表示データを複数有している。
【0091】
また、資料記憶部220には、上記のような資料群の各々に関連する音声データ(各資料群の内容の朗読、説明等)が記憶されている。ここで、1つの資料群に対して複数の音声データが記憶されており、例えばある小説を朗読した音声データであっても、早く朗読する人の朗読を録音した音声データや、比較的ゆっくりと朗読する人の朗読を録音した音声データといった具合に複数の音声データが記憶されているのである。このように人が実際に朗読等したものを録音した音声データ以外にも、資料に含まれる文字列から電子的に合成した音声データを記憶するようにしてもよい。
【0092】
また、資料記憶部220には、上記資料群に含まれる各資料画像表示データに基づく画像表示と、当該資料群に関連する音声データの再生とが送信先であるPC110において同期してなされるように送信タイミングを制御するための同期用データが記憶されている。すなわち、上記第1実施形態において説明したような各資料画像表示データに基づく画像表示と、音声データの再生時刻との対応関係(図5参照)を示す同期用データが記憶されている。
【0093】
資料記憶部220には、以上のような童話、小説、教育用図書(参考書や問題集など)、雑誌などの種々の書籍や新聞に対応する資料群と、これに関連する音声データと、資料群とこれに関連する音声データに基づく同期再生を行うための同期用データとが記憶されているのである。
【0094】
図1に示すコンテンツ送信部210は、上記のように種々の資料群と、これに対応する音声データおよび同期用データが記憶されている資料記憶部220から、PC110から送信された配信要求者の指定にしたがった資料群および音声データを読出す。そして、コンテンツ送信部210は、音声データを送信してPC110において音声データの再生を行わせるとともに、同期用データにしたがって音声データの送信時刻(PC110における音声データの再生時刻)に応じて資料群に含まれる資料画像表示データを順次ネットワーク1を介してPC110に送信し、PC110の表示部に送信した資料画像表示データに対応する資料画像を表示させるのである。
【0095】
また、コンテンツ送信部210は、上記第1実施形態における資料群送信部160と同様、音声解析部161を有している。したがって、PC110から送信される資料配信要求に、資料群とこれに関連する音声データを指定するための指定用の音声データが含まれている場合、その指定用の音声データの内容を解析し、その解析結果に基づいて配信要求者が指定した資料郡および音声データを特定する。
【0096】
図1に戻り、コンテンツ記録部230は、PC120からネットワーク1を介して資料記憶部220に記憶されている資料群と、これに関連する音声データと、これらを同期再生させるための同期用データが送信された場合、つまり新たなコンテンツがアップロードされた場合に、そのコンテンツ(資料群、音声データおよび同期用データの組)を、新たに提供可能なコンテンツとして資料記憶部220に記憶させる。
【0097】
以上が第2実施形態にかかるコンテンツ方法が適用されるコンテンツ提供サービスを実施するためのネットワークシステムの各部の構成である。
【0098】
次に、コンテンツ提供サービスが実施される際の上記構成のネットワークシステムの各部の動作について図8を参照しながら説明する。
【0099】
同図に示すように、資料画像表示と音声データとの同期再生を可能とするコンテンツの提供を希望するユーザは、PC110を適宜操作し、これによりPC110でブラウザを起動させ、予め決められたアドレス(コンテンツ提供サーバ200を示すもの)を指定してネットワーク1に接続させる(ステップSb1)。
【0100】
PC110からのアクセスを受けたコンテンツ提供サーバ200は、資料群およびこれに関連する音声データの選択指定をユーザに促すためのWebページをネットワーク1を経由してPC110に送信する(ステップSb2)。このWebページを受信したPC110の表示部には、例えば選択指定可能な多数の資料群のタイトルおよびこれに関連する複数の音声データの概略(例えば、早めの朗読、遅めの朗読等)などが一覧表示されており、ユーザはかかる一覧表示された資料群および音声データを選択指定する。
【0101】
ユーザはPC110のマウス等を操作し、資料群および音声データを指定するための情報(音声データであってもよい)を入力し配信要求を指示すると、かかる指示に応じてPC110はネットワーク1を経由して、資料群および音声データを指定するための情報を含む資料群配信要求を同期再生データ生成サーバ100に送信する(ステップSb3)。
【0102】
かかる配信要求を受けたコンテンツ提供サーバ200のコンテンツ送信部210は、この配信要求に含まれる指定にしたがって資料記憶部220から資料群および音声データを読出し、読み出した資料群および音声データのPC110への送信を行う(ステップSb4)。
【0103】
上述したように本実施形態では、コンテンツ送信の際にコンテンツ提供サーバ200は、資料群に含まれる各資料画像表示データの送信タイミングを同期用データにしたがって制御する。これによりPC110における音声データの再生時刻に応じて、PC110の表示部に表示される資料のページが自動的に切り替わるといった画像と音声の同期再生がなされる(ステップSb5)。これにより、ユーザは資料に関する音声(資料である童話、小説、新聞の朗読や説明など)を聴きながら、その音声によって朗読等されているページの資料を見ることができる。
【0104】
したがって、上記第1実施形態と同様、朗読等されている文書等の資料に挿絵、写真、見出し文字があったりするなど朗読を聞くだけでは正確に資料の内容を理解できない場合であっても、資料の内容をより正確に理解することができるようになる。また、音声データの再生進行に応じて表示される資料のページが順次自動的に切り替わるので、朗読等されている部分に対応するページめくりのための操作等を行う必要がない。
【0105】
また、コンテンツ提供サーバ200側で各資料画像表示データの送信タイミングを同期用データに基づいて制御することで、PC110において上記のような同期再生を行うことができるようになっているので、PC110側に再生や表示タイミングを制御するといった特殊な機能が要求されない。
【0106】
また、上記のように資料画像と音声の同期再生を可能とするといったコンテンツの提供を受けるのみならず、ユーザは自ら作成したコンテンツをPC120からネットワーク1を介してコンテンツ提供サーバ200に送信すれば、コンテンツ記録部230によってユーザが作成したオリジナルのコンテンツが資料記憶部220に新たな提供用のコンテンツとして記録される。
【0107】
したがって、他のユーザがPCで当該コンテンツ提供サーバ200にアクセスし、当該アップロードされたコンテンツの資料群および音声データを指定した配信要求を行えば、上述した過程を経ることで(ステップSb1〜Sb5)、ユーザによって作成されてアップロードされた資料群に含まれる資料画像表示データに基づく画像表示と音声データに基づく再生とを配信要求をなした他のユーザのPC上で同期させて行うことができる。
【0108】
C.変形例
なお、本発明は、上述した第1実施形態および第2実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【0109】
(変形例1)
上述した第1実施形態では、同期再生データ生成サーバ100が、音声データを送信元であるPC110に対して生成した同期再生用データを送信するようになっていたが、同期再生データ生成サーバ100のコンテンツ送信部190が音声データ送信元以外の第3者のPC等の通信端末宛てにネットワーク1を介して生成した同期再生データを送信するようにしてもよい。
【0110】
このように音声データの送信元、つまり同期再生データの生成にかかわった者以外の者に生成した同期再生用データを送信するといった場合には、次のような利用態様がある。まず、教育者がPC110を利用して教育用図書に対応した資料群を指定し、かかる資料群に関連する音声データ、つまり当該教育用図書を用いて授業内容の音声データを同期再生データ生成サーバ100に送信する。
【0111】
そして、同期再生データ生成サーバ100が、当該音声データの再生と、教育用図書に対応する資料画像の表示とを同期させて行うための同期再生データを生成する。この後、同期再生データ生成サーバ100に対して受講者の利用するPCからネットワーク1を介したアクセスがあった場合に、当該受講者のPCの表示部に表示させる配信希望同期再生データの選択画面に、教育用図書のタイトルおよび教育者の氏名等を表示させる。つまり、誰がどの教育用図書について授業をして生成された同期再生データであるかを選択者である受講者によって判別できるようにし、受講者がこのような表示を参照して配信を希望する同期再生データを選択する。
【0112】
受講者のPCから選択指定を含む配信要求を受けた同期再生データ生成サーバ100が、指定された同期再生データを配信すれば、受講者はPCにおいて、所望する内容の教育図書に対応する資料画像を見ながら、その資料に対する所望する教育者の授業を聴くことができるようになる。
【0113】
このように教育者が音声データを送信することで、同期再生データ生成サーバ100が生成した同期再生データを保持しておき、受講者からの配信要求があった場合にその受講者のPCに対して同期再生データを配信する、いわゆるプル配信を行うようにしてもよいが、予め音声データを送信する教育者のPCから同期再生データ生成サーバ100に対して受講者を指定する情報(受講者のメールアドレスなど)を送信しておき、同期再生データ生成サーバ100が指定された電子メールアドレス宛て等に生成した同期再生データを送信する、いわゆるプッシュ配信するようにしてもよい。
【0114】
(変形例2)
また、上述した第1実施形態における同期再生データ生成サーバ100に代えて、図9に示すような同期再生データ生成サーバ300を設け、ユーザが自ら作成した資料群を当該ユーザが利用するPC等の通信端末からネットワーク1を介して同期再生データ生成サーバ100にアップロードできるようにしてもよい。図9に示すように、同期再生データ生成サーバ300は、上記第1実施形態における同期再生データ生成サーバ100の構成に加え、資料記録部320を設けた構成となっている。
【0115】
資料記録部320は、資料群を作成した者が利用するPC130からネットワーク1を介して資料群がアップロードされて通信インターフェース150によって受信された場合、当該資料群を資料記憶部180に新たにユーザに選択可能な資料群として追加記録する。このように資料記録部320によって追加記録された後は、他のユーザ等はPC110を用いて当該同期再生データ生成サーバ300にアクセスすることで、当該追加記録された資料群を選択し、これに関連する音声データを送信することで、あるユーザによって作成された資料群に基づく画像表示と、他のユーザによって送信された当該資料群に関連する音声データの音声再生とを同期させて行うための同期再生データを生成することも可能となる。
【0116】
(変形例3)
また、上述した第1実施形態では、PC110からネットワーク1を経由して画像表示切り替え指示がなされた場合に、同期再生データ生成サーバ100が、次ページに対応する資料画像表示データをPC110に送信するとともに(図4のステップSa8)、その指示があったタイミングを取得して同期再生データの生成に用いるようにしていた(ステップSa9、ステップSa11)。
【0117】
このように表示切り替えのタイミングを取得して、音声データ再生時に自動的に資料画像の表示切り替えがなされるようにするのに加え、ユーザからページ切り替え以外の資料画像表示の表示状態を変更すべき指示があった場合に、その指示があったタイミングと当該指示によって変更される表示状態とを同期再生データ生成サーバ100が取得し、このような表示状態の変更を反映させた画像表示が可能な同期再生データを生成するようにしてもよい。
【0118】
例えば、音声データの送信開始によるタイマカウント開始(図4のステップSa6)から2:20の時点で2ページ目の資料画像が表示されており、この時点で2ページ目の資料画像について拡大表示すべき旨の指示がユーザによってなされた場合、PC110において当該指示に応じた拡大表示を実行させるとともに、同期再生データ生成サーバ100が、その指示があったタイミング(2:20)と、その指示によって実現された表示状態(拡大表示)を取得する。
【0119】
そして、インデキシング部170は、音声の再生時刻が2:20になった時点で表示されている2ページ目の資料画像を自動的に拡大表示させるといった同期再生を実現するための同期再生データを生成する。
【0120】
以上のようにすることで、表示させる資料のページ切り替えがあった場合にのみならず、拡大表示等の資料画像の表示状態の変更があった場合にも、その表示状態の変更を音声データの再生に同期させて行うことができ、当該同期再生による画像表示と音声再生を視聴した者に対する資料内容に関する理解を効果的に支援することができる。
【0121】
なお、資料画像表示データとしてJPEG2000形式のデータを用いるようにすれば、1つの画像表示データから異なる解像度の画像が得られ、解像度の変更がなされた場合、その変更を同期再生に反映させた同期再生データを生成すればよい。
【0122】
(変形例4)
上述した第1および第2実施形態では、音声データの再生の進行に応じて順次表示させる資料画像を切り替えるといった同期再生を行うことができるようになっていたが、図10に示すように、資料画像表示と音声データとが同期再生されるPC110の表示部に、資料群に含まれる資料画像についての目次を表示させるようにし、かかる目次を利用して音声データの再生位置の変更や表示させる資料画像の切り替えを指示できるようにしてもよい。
【0123】
同図に示すように、同期再生データに基づく画像表示および音声再生中における表示画面には、音声データの再生位置を示す再生状況表示欄400、資料画像表示データに基づく資料画像が表示される資料画像欄401および目次欄402が表示されている。
【0124】
そして、ユーザがマウスを操作する等して目次欄402の第3章をクリックすると、PC110が第三章の最初のページの資料画像を表示させるとともに、第3章の最初のページの資料画像に関連する再生時刻に音声データの再生位置をジャンプさせるといったことを可能とする同期再生データを生成するようにしてもよい。このような同期再生データは、上記第1実施形態で説明した各資料画像の表示と音声再生時刻との対応関係(図5参照)に、さらに目次中のタイトル(第一章、第二章)を再生時刻および資料画像のページに対応させることで生成できる。例えば、第三章の最初のページが30ページ目の資料画像であり、30ページ目の資料画像の表示開始タイミングが15:35である場合には、目次タイトル「第三章」に、資料画像30ページ、再生時刻15:35という対応関係を同期再生データに記述しておけばよい。
【0125】
以上のような目次欄402に表示されたタイトルをクリックすることで、再生位置の変更および資料画像の表示の切り替えを可能とすることで、ユーザにとっては必要な部分のみ抜粋して同期再生することができ、利便性が向上する。
【0126】
(変形例5)
また、上述した第1実施形態および第2実施形態において、PC110等のクライアント通信端末からの配信要求に応じて同期再生データを送信等した場合に当該クライアント通信端末のユーザに対して課金処理を行う課金サーバ等を設けるようにしてもよい。
【0127】
例えば、図11に示すように、第2実施形態におけるネットワークシステムにおいて、コンテンツ提供サーバ200とデータの授受が可能な課金サーバ500を設けるようにしてもよい。課金サーバ500は、ユーザに対する課金を管理する機能を有しており、コンテンツ提供サービスを受けることができる各ユーザについての課金管理情報を記憶する課金管理情報記憶部510を有している。
【0128】
課金管理情報記憶部510には、ユーザごとにコンテンツの一定期間内(例えば1ヶ月間)のアップロード回数およびダウンロード回数が記憶されており、これらの情報はアップロードやダウンロードが行われるごとに更新されるようになっている。
【0129】
そして、所定の課金管理タイミング(月末等)になると、課金サーバ500は、ダウンロード回数がアップロード回数よりも多いユーザに対しては多い回数分に対応した課金処理を行い、アップロード回数がダウンロード回数よりも多い場合には課金処理を行わないようにする。
【0130】
このようにすることで、コンテンツを自作したユーザ等はそのコンテンツをアップロードすることで、他のコンテンツのダウンロードを無償で受けることができるといったメリットがあり、より多くのオリジナルコンテンツのアップロードを促すことができ、結果として提供可能なコンテンツの数が多くすることができる。
【0131】
なお、上記のようにダウンロード回数がアップロード回数を超えない場合にはそのユーザに対して課金を行わないといった課金処理を行うようにしてもよいが、アップロードしたユーザであるか否かを判別し、アップロードしたユーザに対して有利な課金処理を行えばよく、原則としてコンテンツのダウンロードサービスを受けたユーザに対しては課金処理を行いつつも、アップロードした場合にはその課金額を減額する等の課金処理を行うようにしてもよいし、アップロード回数の方がダウンロード回数よりも多いユーザに対しては報酬を与えるようにしてもよい。このようにした場合にもユーザに自作コンテンツのアップロードを促すことができ、提供可能なコンテンツの種類をより多くすることができる。
【0132】
(変形例6)
また、上述した第1実施形態および第2実施形態では、PC110において資料画像表示と音声データの再生とを同期させるようにしていたが、音声データに限らず、音声付の映像データの再生と資料画像表示とを同期させるものであってもよい。
【0133】
【発明の効果】
以上説明したように、請求項1にかかる発明によれば、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができるという効果を奏する。
【0134】
また、請求項2にかかる発明によれば、音声データの再生中に各資料画像を表示させるべきタイミングで各資料画像を表示させることが可能な同期再生データを得ることができるという効果を奏する。
【0135】
また、請求項3にかかる発明によれば、資料画像が表示されているときにユーザから表示拡大など表示状態の変更指示があった場合には、その指示タイミングから表示状態を変更すべきタイミングを取得し、取得したタイミングで表示状態が変更されるような同期再生データを得ることができるという効果を奏する。
【0136】
また、請求項4にかかる発明によれば、ユーザは指定したい資料画像群を特定するための内容を声で発するといった簡易な作業で希望する資料画像群を指定することができるという効果を奏する。
【0137】
また、請求項5にかかる発明によれば、提供可能な資料画像群をより多くすることができるという効果を奏する。
【0138】
また、請求項6にかかる発明によれば、ユーザが指定した資料画像群に含まれる資料画像の表示と、ユーザがかかる資料画像群に関連して取得して送信した音声データの再生とを同期させることができる同期再生データを当該ユーザの通信端末に送信されるので、ユーザはこの同期再生データに基づいた資料画像表示と音声データ再生とを視聴することができるという効果を奏する。
【0139】
また、請求項7にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる同期再生データを得ることができるという効果を奏する。
【0140】
また、請求項8にかかる発明によれば、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができるという効果を奏する。
【0141】
また、請求項9にかかる発明によれば、通信端末においては送信されたタイミングで資料画像表示データを表示すれば、音声データに基づく音声再生と資料画像表示との同期再生が可能となるという効果を奏する。
【0142】
また、請求項10にかかる発明によれば、ユーザは指定したい資料画像群および音声データを特定するための内容を声で発するといった簡易な作業で希望する資料画像群および音声データを指定することができるという効果を奏する。
【0143】
また、請求項11にかかる発明によれば、提供可能なコンテンツをより多くすることができるという効果を奏する。
【0144】
また、請求項12にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができるという効果を奏する。
【0145】
また、請求項13にかかる発明によれば、通信端末に対して資料画像群および音声データを同期再生させるといったコンテンツ提供を行った場合に、その通信端末のユーザに対して課金を行うことができるという効果を奏する。
【0146】
また、請求項14にかかる発明によれば、資料画像群、音声データおよび同期用データといったコンテンツの送信主である場合には、資料画像群等のコンテンツの提供を受けた場合にも課金をしない、または減額する等の優遇措置をとることができ、これにより自作コンテンツの送信を促すことができ、結果として提供可能なコンテンツを多くすることができるという効果を奏する。
【0147】
また、請求項15にかかる発明によれば、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができるという効果を奏する。
【0148】
また、請求項16にかかる発明によれば、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の第1実施形態にかかる同期再生データ生成方法が適用されるネットワークシステムの全体構成を示す図である。
【図2】前記ネットワークシステムの構成要素である同期再生データ生成サーバの資料記憶部に記憶される資料群の内容を説明するための図である。
【図3】音声解析によりユーザの指定する資料群を特定するための資料群特定用データベースの内容を説明するための図である。
【図4】同期再生データの配信サービス時の前記ネットワークシステムの動作を示すシーケンスフローチャートである。
【図5】資料画像の表示と音声データの再生を同期させる同期再生データにおける、資料画像と音声データとの対応関係を模式的に示す図である。
【図6】本発明の第2実施形態にかかるコンテンツ提供方法が適用されるネットワークシステムの全体構成を示す図である。
【図7】前記第2実施形態におけるネットワークシステムの構成要素であるコンテンツ提供サーバの資料記憶部に記憶されるコンテンツの内容を説明するための図である。
【図8】コンテンツ提供サービス時の第2実施形態におけるネットワークシステムの動作を示すシーケンスフローチャートである。
【図9】前記同期再生データ生成方法が適用されるネットワークシステムの変形例を示す図である。
【図10】前記同期再生データ生成サーバによって生成される同期再生データに基づく再生時に表示部に表示される画面の一例を示す図である。
【図11】第2実施形態にかかるコンテンツ提供方法が適用される他のネットワークシステムの全体構成を示す図である。
【符号の説明】
1 ネットワーク
100 同期再生データ生成サーバ
110、120、130 PC
115 マイクロホン
150 通信インターフェース
160 資料群送信部
161 音声解析部
170 インデキシング部
180 資料記憶部
190 コンテンツ送信部
200 コンテンツ提供サーバ
210 コンテンツ送信部
220 資料記憶部
230 コンテンツ記録部
300 同期再生データ生成サーバ
320 資料記録部
500 課金サーバ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a synchronized playback data generation device, a synchronized playback content providing device, a synchronized playback data generation method, and a content providing method.
[0002]
[Prior art]
When a child reads a fairy tale or the like, the parents open the fairy tale book and read it while showing it to the child. Such story-telling is fun for children and is considered important for education, but it takes time and effort to repeat such story-telling many times.
[0003]
Also, it may be difficult for visually impaired persons, people with weak vision, the elderly, etc. to read newspapers, magazines, and other books with small characters, and such people can effectively read information from books and the like. In some cases, it cannot be obtained.
[0004]
In order to read a document such as a book in this way, there is a method of using a device that performs a language analysis of a document in document data, synthesizes the language-analyzed document, and outputs the synthesized voice, that is, a so-called document reading device (for example, And Patent Document 1).
[0005]
[Patent Document 1]
JP 2000-99073 A
[0006]
[Problems to be solved by the invention]
However, books, newspapers, etc., such as fairy tales, novels, magazines, etc. are often spread over multiple pages, and illustrations and photographs are included in the pages, and the size of the characters is not uniform, and In some cases, the contents of the publication are sharpened, such as when they are used, and in other cases, the contents of the publication can be more easily understood by illustrations, photographs, headline characters, and the like.
[0007]
Some text-to-speech devices as described above can perform text-to-speech based on document data prepared in advance, but those who listen cannot see illustrations, photographs, etc. In some cases, they cannot be understood. Of course, the above problem can be solved by preparing a book or newspaper having the same content as the document to be read by the document reading device and listening to the read content while referring to it, but the work is troublesome. .
[0008]
The present invention has been made in view of the above, and without performing any troublesome work, while listening to the audio related to the contents of materials such as books and newspapers, materials described in audio among a plurality of materials such as books and newspapers It is an object of the present invention to obtain a synchronized reproduction content providing device and a method for providing a synchronized reproduction data, and a synchronized reproduction data generation device and a synchronized reproduction data generation method for generating such synchronously reproducible data.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is a synchronous reproduction data generation device including a communication means for exchanging data with a communication terminal via a network, wherein the material includes a plurality of material image display data. An image data storage unit for storing an image group; and a material image group specified when the specification information for specifying the material image group transmitted from the communication terminal via the network is received by the communication unit. Image transmission means for controlling the communication means to transmit to the communication terminal, and voice data acquired during image display based on the material image group transmitted by the image transmission means is transmitted via the network. When the data is supplied from the communication terminal and received by the communication means, the received voice data and the designation information A synchronous reproduction data generating apparatus characterized by comprising a synchronous playback data generating means for generating a synchronous reproduction data for performing image display based on the specified document images in synchronization.
[0010]
According to the first aspect of the present invention, when designation information for designating a desired material image group is transmitted from the communication terminal via the network, the material image group corresponding to the designation is transmitted, and the communication terminal transmits the material image group to the material image group. An image can be displayed based on the included material image display data. While such image display is being performed, audio data such as a description of the displayed material is acquired and transmitted from the communication terminal, so that the original audio data and the material image group transmitted from the user side are included. Synchronized reproduction data that can synchronize the image display based on the material image display data to be obtained can be obtained.
[0011]
Further, according to a second aspect of the present invention, in the configuration of the first aspect, the image transmitting unit sequentially transmits the material image display data included in the material image group in accordance with the material image switching instruction transmitted from the communication terminal. And the synchronous reproduction data generation means transmits an image based on each material image display data included in the material image group during reproduction of the audio data based on the timing at which the switching instruction is performed. Is obtained, and the synchronous reproduction data is generated based on the timing information.
[0012]
According to the second aspect of the present invention, it is possible to obtain synchronous reproduction data capable of displaying each material image at a timing at which each material image should be displayed during reproduction of audio data.
[0013]
According to a third aspect of the present invention, in the configuration according to the second aspect of the present invention, the synchronous reproduction data generating unit receives an instruction to change an image display state based on each of the material image display data by a user of the communication terminal. The display state timing information indicating the timing at which the image display state based on each of the material image display data included in the material image group should be changed based on the timing at which the change instruction was issued, and the display state timing The synchronous reproduction data is generated based on information.
[0014]
According to the third aspect of the present invention, when a user issues a display state change instruction such as display enlargement while the material image is displayed, a timing to change the display state is acquired from the instruction timing. It is possible to obtain synchronous reproduction data whose display state is changed at the acquired timing.
[0015]
According to a fourth aspect of the present invention, in the configuration according to any one of the first to third aspects, a voice uttered by a user to designate the material image group in the designation information received by the communication means. If data is included, the apparatus further includes a voice analysis unit that analyzes the content of the voice data and specifies the material image group specified by the user, and the image transmission unit is specified by the voice analysis unit. The communication unit is controlled to transmit a material image group.
[0016]
According to the fourth aspect of the present invention, when the user of the communication terminal utters a voice and transmits the voice data, the content of the voice data is analyzed and the specified material image group is specified. Therefore, the user can specify the desired material image group by a simple operation such as vocalizing the content for specifying the material image group to be specified.
[0017]
According to a fifth aspect of the present invention, in the configuration according to any one of the first to fourth aspects, when a material image group supplied from a communication terminal via the network is received by the communication means, The image processing apparatus further includes an image recording unit that writes the received material image group into the image data storage unit.
[0018]
According to the invention according to claim 5, if a user transmits an original material image group created by himself / herself from a communication terminal via a network, the material image group can be newly provided to another user or the like. Is stored as Therefore, the number of material image groups that can be provided can be increased.
[0019]
According to a sixth aspect of the present invention, in the configuration according to any one of the first to fifth aspects, the synchronous reproduction data generated by the synchronous reproduction data generating means is transmitted to the communication device which transmits the designation information. The apparatus further includes a synchronous reproduction data transmitting unit that controls the communication unit to transmit the communication unit to the terminal via the network.
[0020]
According to the present invention, the display of the material image included in the material image group designated by the user and the reproduction of the audio data acquired and transmitted by the user in connection with the material image group are synchronized. Is transmitted to the user's communication terminal, so that the user can view material image display and audio data reproduction based on the synchronous reproduction data.
[0021]
In the invention according to claim 7, each of the material image display data included in the material image group stored in the image data storage means is data for displaying a content published in a book or a newspaper for each page. It is characterized by being.
[0022]
According to the invention according to claim 7, it is possible to obtain synchronized reproduction data that can synchronize the reproduction of the audio data relating to the content published in the book or the newspaper with the display of each page of the book or the newspaper. .
[0023]
The invention according to claim 8 is a synchronous reproduction content providing apparatus provided with a communication means for exchanging data with a communication terminal via a network, wherein the material image group having a plurality of material image display data, Audio data related to an image displayed based on the material image group, and synchronization data for synchronizing the image display based on the material image group and the reproduction of the audio data related to the material image group, and And storage means for storing, when the communication unit receives designation information specifying the material image group and the audio data related to the material image group, transmitted from the communication terminal via the network, The material image display data and the audio data included in the group of material images obtained through the network at the timing based on the synchronization data. Content transmitting means for controlling the communication means to transmit to the communication terminal, and causing the communication terminal to perform image display based on the material image display data included in the material image group and reproduction based on the audio data in synchronization with each other; And a synchronized reproduction content providing apparatus.
[0024]
According to the invention according to claim 8, if the user transmits from the communication terminal a designation image specifying a material image group to be viewed and audio data related thereto, the audio data is transmitted and reproduced on the communication terminal. In the meantime, a plurality of material image display data included in the material image group is sequentially transmitted at a predetermined timing based on the synchronization data, and is displayed on the communication terminal. Therefore, even a user of a communication terminal that does not have a function of performing timing control or the like for synchronizing each material image included in the material image group with audio reproduction can view such synchronized reproduction.
[0025]
According to a ninth aspect of the present invention, in the configuration of the eighth aspect of the invention, the content transmitting unit transmits the synchronization data in which a reproduction time of the audio data is associated with each of the material image display data. And controlling the communication means to transmit the material image display data based on the reproduction time based on the audio data.
[0026]
According to the ninth aspect of the present invention, when the reproduction time of the audio data becomes the reproduction time associated with the certain material image display data in the synchronization data, the material image display data is transmitted to the communication terminal. You. If the material image display data is displayed at the transmitted timing as described above, the synchronized reproduction of the sound reproduction based on the sound data and the material image display becomes possible.
[0027]
According to a tenth aspect of the present invention, in the configuration of the eighth or ninth aspect, the user issues a command to designate the material image group and the audio data in the designation information received by the communication means. When audio data is included, the apparatus further includes audio analysis means for analyzing the content of the audio data and specifying the material image group and the audio data specified by the user, wherein the image transmission means includes the audio analysis means. The material image group specified by the means and the audio data are transmitted.
[0028]
According to the tenth aspect, when the user of the communication terminal utters a voice and transmits the voice data, the content of the voice data is analyzed and the specified material image group and voice data are specified. Therefore, the user can specify the desired material image group and audio data by a simple operation such as vocalizing the content for specifying the material image group and audio data to be specified.
[0029]
According to an eleventh aspect of the present invention, in the configuration according to any one of the eighth to ninth aspects, a material image group supplied from a communication terminal via the network, the audio data related to the material image group, and the material data When synchronization data for synchronizing image display based on an image group and reproduction based on the audio data is received by the communication unit, the received material image group, the audio data, and the synchronization data are received. It is characterized by further comprising recording means for writing to the storage means.
[0030]
According to the eleventh aspect of the present invention, if a certain user transmits an original material image group, audio data, and synchronization data created by himself / herself from a communication terminal via a network, the content of the material image group and the like becomes newly available. Is stored as content that can be provided to the user or the like. Therefore, the content that can be provided can be increased.
[0031]
According to a twelfth aspect of the present invention, in the configuration according to any one of the eighth to eleventh aspects, each material image display data contained in the material image group stored in the image data storage means is a book or a book. It is characterized in that it is data for displaying contents published in a newspaper for each page.
[0032]
According to the twelfth aspect of the present invention, it is possible to synchronize the reproduction of the audio data relating to the content published in the book or the newspaper with the display of each page of the book or the newspaper.
[0033]
According to a thirteenth aspect of the present invention, in the configuration according to any one of the eighth to twelfth aspects, when transmission control is performed by the content transmission unit, the user of the communication terminal that is the transmission destination is notified. It is characterized by further comprising a charging means for performing a charging process corresponding to the transmission.
[0034]
According to the thirteenth aspect, when content is provided to the communication terminal such that the material image group and the audio data are synchronously reproduced, the user of the communication terminal can be charged.
[0035]
According to a fourteenth aspect of the present invention, in the configuration of the eleventh aspect, when transmission control is performed by the content transmission unit, the content is transmitted to a user of the communication terminal as a transmission destination. A charging unit for performing a charging process, wherein a user of the communication terminal to be charged is a sender of a material image group, audio data, and synchronization data recorded in the storage unit by the recording unit; It is characterized in that it is determined whether or not to perform the process based on the result of the determination.
[0036]
According to the fourteenth aspect, when the sender of the content such as the material image group, the audio data, and the synchronization data is the sender, the user is not charged even when the content such as the material image group is provided, or It is possible to take preferential measures such as reducing the amount of money, thereby prompting the transmission of self-produced content, and consequently increasing the content that can be provided.
[0037]
According to a fifteenth aspect of the present invention, a synchronous reproduction data generation server, which receives specification information for specifying a material image group having a plurality of material image display data transmitted from the communication terminal via a network, is designated. Transmitting the material image group to the communication terminal via a network, and displaying the image based on the material image display data included in the material image group on the communication terminal; and an image display step from the communication terminal via the network. The synchronous playback data generation server, which receives the transmitted audio data while the image display based on the material image group is being displayed in the image display step, is designated by the received audio data and the designation information. Synchronized playback data for generating synchronized playback data for synchronizing image display based on selected material image groups A synchronous reproduction data generation method characterized by comprising a formation step.
[0038]
According to the invention according to claim 15, when designation information for designating a desired material image group is transmitted from the communication terminal via the network, the material image group corresponding to the designation is transmitted, and the material included in the material image group is transmitted. An image is displayed based on the image display data. While such image display is being performed, audio data such as a description of the displayed material is acquired and transmitted from the communication terminal, so that the original audio data and the material image group transmitted from the user side are included. Synchronized reproduction data that can synchronize the image display based on the material image display data to be obtained can be obtained.
[0039]
The invention according to claim 16 provides a material image group having a plurality of material image display data, audio data related to an image displayed based on the material image group, and an image display based on the material image group. A method for providing a content to a communication terminal from a content providing server that stores synchronization data for synchronizing reproduction of the audio data related to the material image group with the communication terminal via a network, the method comprising: The content providing server, which has received the designation information for designating the material image group and the audio data related thereto, transmitted from the communication terminal according to the image based on the material image display data included in the designated material image group The timer is set based on the synchronization data so that the display and the reproduction based on the audio data are performed synchronously in the communication terminal. A content providing step of transmitting material image display data and audio data included in the material image group designated by controlling the content to the communication terminal via the network. is there.
[0040]
According to the sixteenth aspect of the present invention, if the user transmits a material image group to be viewed from the communication terminal and designation information for designating audio data related thereto, the audio data is transmitted and reproduced by the communication terminal. In the meantime, a plurality of material image display data included in the material image group is sequentially transmitted at a predetermined timing based on the synchronization data, and is displayed on the communication terminal. Therefore, even a user of a communication terminal that does not have a function of performing timing control or the like for synchronizing each material image included in the material image group with audio reproduction can view such synchronized reproduction.
[0041]
BEST MODE FOR CARRYING OUT THE INVENTION
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of a synchronized playback data generation device, a synchronized playback content providing device, a synchronized playback data generation method, and a content providing method according to the present invention will be described below in detail with reference to the accompanying drawings.
[0042]
A. First embodiment
FIG. 1 is a diagram showing an overall configuration of a network system for implementing a synchronous reproduction data distribution service to which a synchronous reproduction data generation method according to a first embodiment of the present invention is applied. As shown in FIG. 1, the network system includes a synchronous reproduction
[0043]
Synchronous reproduction data distribution service implemented by this network system is a synchronous reproduction data for synchronizing the display of the material image over a plurality of pages and the sound reproduction (for example, reading and explanation of the material) related to the material. The
[0044]
Further, in the synchronous reproduction data distribution service, the user who receives the service can create the audio data to be synchronously reproduced, that is, the user's original audio data. The data is transmitted to the
[0045]
The
[0046]
The synchronous reproduction
[0047]
More specifically, the synchronized reproduction
[0048]
The communication interface (communication means) 150 exchanges data with another communication terminal via the network 1 such as the Internet, and includes a router and the like.
[0049]
When a material distribution request transmitted from the
[0050]
The
[0051]
That is, for a certain fairy tale, the material group A includes material image display data for displaying each of all pages (1 to n pages) of the fairy tale book, and for a newspaper on a certain day, the material group B includes Material image display data for displaying each of all pages (1 to n pages) of the newspaper is included.
[0052]
The
[0053]
It should be noted that these material groups may be those that display the exact same contents as the actually published books and newspapers, but are those that display the changed contents of the books and newspapers. Alternatively, a book may be one that displays unpublished content, or an original material group in a format similar to a book or newspaper may be created and stored.
[0054]
The material
[0055]
Further, the material
[0056]
As shown in the drawing, in the material group specifying database, one character string as a keyword for specifying the contents of the material group is added to each of various material groups stored in the
[0057]
The
[0058]
Returning to FIG. 1, the
[0059]
The synchronous playback data is data for sequentially switching image display based on the material image display data included in the material group according to the playback time of the audio data while the audio data is being played. For data generation, it is necessary to determine the reproduction time and the timing of displaying each material image, that is, which material image is to be displayed when the reproduction time is displayed. The
[0060]
The
[0061]
The above is the configuration of each unit of the network system for implementing the synchronous reproduction data distribution service to which the synchronous reproduction data generation method according to the present embodiment is applied.
[0062]
Next, the operation of each unit of the network system having the above configuration when the synchronous reproduction data distribution service is performed will be described with reference to FIG.
[0063]
As shown in the figure, a user who wishes to generate and distribute synchronized reproduction data operates the
[0064]
The synchronized playback
[0065]
When the user operates a mouse or the like of the
[0066]
Upon receiving the distribution request, the material
[0067]
With the material image of the first page displayed in this way, the user operates the
[0068]
When the transmission of such audio data is started, the
[0069]
For example, when the user finishes reading the displayed material (a fairy tale or a newspaper), when the user issues a display switching instruction to read the next page, the instruction is transmitted from the
[0070]
Further, upon receiving such a material image display switching instruction, the
[0071]
Thereafter, when the user instructs to switch the page of the material image to be displayed on the display unit of the
[0072]
Then, when the user instructs the
[0073]
Here, as a format of data for controlling and synchronizing the reproduction of data in different formats such as synchronous reproduction data, image display data, and audio data generated by the
[0074]
Then, the
(1) Display timing of each material image (start time, end time)
(2) Storage location (file path information) of each material image (JPEG2000 etc.)
(3) Storage location of audio data corresponding to each material image (file path information)
[0075]
FIG. 5 schematically shows the correspondence between the synchronization of the material image and the audio data in the synchronized reproduction data created based on the information as described above. In the example shown in the figure, the display switching instruction from the first page material image to the second page material image is issued after 1:15 from the start of the audio data transmission (0:00), and at 2:45 It is assumed that an instruction to switch the display to the material image on the third page has been made, and an instruction to switch the display to the material image on the fourth page has been made at 3:53. That is, on the display unit of the
[0076]
When the display of the material image is switched at the above timing when the audio data is transmitted from the
[0077]
In addition, while the material image of the second page is displayed (time 1:15 to 2:45), the audio data transmitted in real time is associated with the material image of the second page. Further, while the material image on the third page is displayed (time 2:45 to 3:53), the audio data transmitted in real time is associated with the material image on the third page.
[0078]
The
[0079]
When the synchronized reproduction data as described above is generated by the
[0080]
According to the
[0081]
In addition, the reproduced sound is not prepared by the business operator, but is an original sound uttered by the user himself. For example, even in the case of reading a fairy tale to a child, an electronic synthetic sound, etc. Instead of reading aloud by the mother, it is possible to perform the reading aloud by the voice uttered by the mother. Also, once the above-mentioned synchronized playback data has been generated, the mother or the like can then read the data to the child without actually reading a fairy tale, etc. There is no need to ask a question, and the burden can be reduced.
[0082]
B. Second embodiment
Next, FIG. 6 shows an overall configuration of a network system for implementing a content providing service to which the content providing method according to the second embodiment of the present invention is applied. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
[0083]
As shown in FIG. 1, the network system includes a
[0084]
The content providing service implemented by this network system includes, when requested by a
[0085]
The
[0086]
The
[0087]
More specifically, the
[0088]
When a material distribution request including information designating a material group and audio data desired to be transmitted and transmitted from the
[0089]
At this time, the
[0090]
The
[0091]
In addition, the
[0092]
In the
[0093]
The
[0094]
The
[0095]
Further, the
[0096]
Returning to FIG. 1, the
[0097]
The above is the configuration of each unit of the network system for implementing the content providing service to which the content method according to the second embodiment is applied.
[0098]
Next, the operation of each unit of the network system having the above configuration when the content providing service is performed will be described with reference to FIG.
[0099]
As shown in the figure, a user who wishes to provide a content that enables synchronized playback of a material image display and audio data operates the
[0100]
The
[0101]
The user operates a mouse or the like of the
[0102]
Upon receiving such a distribution request, the
[0103]
As described above, in the present embodiment, at the time of transmitting content, the
[0104]
Therefore, as in the first embodiment, even if the reading of a document such as a document has an illustration, a photograph, or a headline, the content of the document cannot be understood accurately just by listening to the reading. You will be able to understand the contents of the material more accurately. In addition, since the pages of the material to be displayed are automatically switched sequentially in accordance with the progress of the reproduction of the audio data, it is not necessary to perform an operation for turning the page corresponding to the part where the reading is performed.
[0105]
In addition, since the
[0106]
Further, as described above, in addition to receiving the provision of the content that enables the synchronized reproduction of the material image and the audio, the user can also transmit the content created by himself / herself from the
[0107]
Therefore, if another user accesses the
[0108]
C. Modified example
The present invention is not limited to the first and second embodiments described above, and various modifications as exemplified below are possible.
[0109]
(Modification 1)
In the above-described first embodiment, the synchronous reproduction
[0110]
As described above, when the generated synchronous reproduction data is transmitted to the transmission source of the audio data, that is, the person other than the person involved in the generation of the synchronous reproduction data, there are the following usage modes. First, the educator uses the
[0111]
Then, the synchronous reproduction
[0112]
When the synchronous reproduction
[0113]
By transmitting the audio data by the educator in this way, the synchronous reproduction data generated by the synchronous reproduction
[0114]
(Modification 2)
Further, a synchronous reproduction data generation server 300 as shown in FIG. 9 is provided in place of the synchronous reproduction
[0115]
When the material group is uploaded from the
[0116]
(Modification 3)
In the first embodiment described above, when an image display switching instruction is issued from the
[0117]
In this way, the display switching timing is acquired, and in addition to automatically switching the display of the material image when the audio data is reproduced, the display state of the material image display other than the page switching from the user should be changed. When an instruction is issued, the synchronized reproduction
[0118]
For example, the material image of the second page is displayed at 2:20 from the start of the timer count (step Sa6 in FIG. 4) due to the start of the transmission of the audio data. At this time, the material image of the second page is enlarged and displayed. When the instruction to the effect is given by the user, the
[0119]
Then, the
[0120]
In this way, not only when there is a page change of the material to be displayed, but also when the display state of the material image such as an enlarged display is changed, the change of the display state is performed by the audio data. This can be performed in synchronization with the reproduction, and it is possible to effectively assist the viewer who has watched the image display and the sound reproduction by the synchronous reproduction with understanding the contents of the material.
[0121]
If data in JPEG2000 format is used as the material image display data, images having different resolutions can be obtained from one image display data. When the resolution is changed, the change is reflected in the synchronous playback. What is necessary is just to generate reproduction data.
[0122]
(Modification 4)
In the first and second embodiments described above, synchronous playback, such as switching of material images to be displayed sequentially according to the progress of the playback of audio data, can be performed. However, as shown in FIG. A table of contents for the material images included in the material group is displayed on the display unit of the
[0123]
As shown in the figure, on the display screen during the image display based on the synchronized playback data and the audio playback, a playback
[0124]
When the user clicks the third chapter of the table of
[0125]
By clicking the title displayed in the table of
[0126]
(Modification 5)
In the first and second embodiments described above, when synchronous reproduction data is transmitted in response to a distribution request from a client communication terminal such as the
[0127]
For example, as shown in FIG. 11, a charging server 500 capable of exchanging data with the
[0128]
The charging management
[0129]
Then, at a predetermined billing management timing (such as at the end of the month), the billing server 500 performs a billing process corresponding to the number of downloads that is larger than the number of uploads for the user, and the number of uploads is smaller than the number of downloads. If the number is large, the accounting process is not performed.
[0130]
By doing so, users who have created their own content have the advantage that by uploading that content, they can receive other content for free of charge, and it is possible to encourage more original content to be uploaded. As a result, the number of contents that can be provided can be increased.
[0131]
If the number of downloads does not exceed the number of uploads as described above, a billing process may be performed such that the user is not charged, but it is determined whether or not the user is the uploader, It is sufficient to perform an advantageous charging process for the uploading user. In principle, while charging the user who has received the content download service, if the uploading is performed, the charging amount is reduced. The processing may be performed, or a reward may be given to a user whose upload count is larger than the download count. Also in this case, the user can be prompted to upload his or her own content, and the types of content that can be provided can be increased.
[0132]
(Modification 6)
In the first and second embodiments described above, the display of the material image and the reproduction of the audio data are synchronized in the
[0133]
【The invention's effect】
As described above, according to the first aspect of the invention, it is possible to synchronize the original audio data transmitted from the user side and the image display based on the material image display data included in the material image group. There is an effect that reproduction data can be obtained.
[0134]
Further, according to the invention according to claim 2, there is an effect that synchronized reproduction data capable of displaying each material image at a timing at which each material image should be displayed during reproduction of audio data can be obtained.
[0135]
According to the third aspect of the present invention, when the user issues a display state change instruction such as display enlargement while the material image is displayed, the display state change timing is determined from the instruction timing. There is an effect that synchronous reproduction data whose display state is changed at the acquired timing can be obtained.
[0136]
Further, according to the invention according to claim 4, there is an effect that the user can specify a desired material image group by a simple operation such as vocalizing the content for specifying the material image group to be specified.
[0137]
Further, according to the invention of claim 5, there is an effect that the number of material image groups that can be provided can be increased.
[0138]
According to the invention of claim 6, the display of the material image included in the material image group designated by the user and the reproduction of the audio data acquired and transmitted by the user in relation to the material image group are synchronized. Since the synchronized reproduction data that can be made to be transmitted is transmitted to the communication terminal of the user, there is an effect that the user can view the material image display and the audio data reproduction based on the synchronized reproduction data.
[0139]
Further, according to the invention according to claim 7, synchronous reproduction data which can synchronize the reproduction of audio data relating to the content published in a book or newspaper with the display of each page of the book or newspaper can be obtained. This has the effect that it can be performed.
[0140]
According to the invention of claim 8, even if the user of the communication terminal does not have a function of performing timing control or the like for synchronizing each of the material images included in the material image group with the audio reproduction, such synchronization can be performed. This has the effect of being able to view the playback.
[0141]
According to the ninth aspect of the invention, if the communication terminal displays the material image display data at the transmitted timing, the sound reproduction based on the sound data and the synchronous reproduction of the material image display can be performed. To play.
[0142]
According to the tenth aspect of the present invention, the user can specify the desired material image group and audio data by a simple operation such as vocalizing the content for specifying the material image group and audio data to be specified. It has the effect of being able to do it.
[0143]
Further, according to the eleventh aspect, there is an effect that the content that can be provided can be increased.
[0144]
Further, according to the twelfth aspect of the invention, there is an effect that the reproduction of the audio data related to the content published in the book or the newspaper can be synchronized with the display of each page of the book or the newspaper.
[0145]
According to the thirteenth aspect of the present invention, when content is provided to the communication terminal such that the material image group and the audio data are synchronously reproduced, the user of the communication terminal can be charged. This has the effect.
[0146]
According to the fourteenth aspect of the present invention, if the sender of the content such as the material image group, the audio data, and the synchronization data is the sender, the user is not charged even if the content such as the material image group is provided. Or a preferential measure such as reducing the amount of money, whereby the transmission of the self-produced content can be prompted, and as a result, the content that can be provided can be increased.
[0147]
According to the fifteenth aspect of the present invention, there is obtained synchronized reproduction data capable of synchronizing the original audio data transmitted from the user side with the image display based on the material image display data included in the material image group. It has the effect of being able to.
[0148]
According to the invention of claim 16, even if the user of the communication terminal does not have a function of performing timing control or the like for synchronizing each material image included in the material image group and audio reproduction, such synchronization can be performed. This has the effect of being able to view the playback.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a network system to which a synchronous reproduction data generation method according to a first embodiment of the present invention is applied.
FIG. 2 is a diagram for explaining the contents of a material group stored in a material storage unit of a synchronous reproduction data generation server which is a component of the network system.
FIG. 3 is a diagram for explaining the contents of a material group specifying database for specifying a material group specified by a user by voice analysis;
FIG. 4 is a sequence flowchart showing an operation of the network system during a synchronous reproduction data distribution service.
FIG. 5 is a diagram schematically showing a correspondence relationship between the material image and the audio data in the synchronized reproduction data for synchronizing the display of the material image and the reproduction of the audio data.
FIG. 6 is a diagram illustrating an overall configuration of a network system to which a content providing method according to a second embodiment of the present invention is applied.
FIG. 7 is a diagram for explaining the contents of contents stored in a material storage unit of a contents providing server which is a component of the network system in the second embodiment.
FIG. 8 is a sequence flowchart showing an operation of the network system in the second embodiment at the time of a content providing service.
FIG. 9 is a diagram showing a modified example of a network system to which the synchronous reproduction data generation method is applied.
FIG. 10 is a diagram showing an example of a screen displayed on a display unit at the time of reproduction based on synchronous reproduction data generated by the synchronous reproduction data generation server.
FIG. 11 is a diagram illustrating an overall configuration of another network system to which the content providing method according to the second embodiment is applied.
[Explanation of symbols]
1 Network
100 Synchronous playback data generation server
110, 120, 130 PC
115 microphone
150 Communication interface
160 Data group transmission unit
161 Voice analysis unit
170 Indexing Department
180 Document storage unit
190 Content transmission unit
200 contents providing server
210 Content transmission unit
220 Document storage unit
230 Content Recorder
300 Synchronous playback data generation server
320 Document Recorder
500 billing server
Claims (16)
複数の資料画像表示データを有する資料画像群を記憶する画像データ記憶手段と、
ネットワークを介して前記通信端末から送信される資料画像群を指定する指定情報が前記通信手段によって受信された場合に指定された資料画像群をネットワークを介して前記通信端末に送信するよう前記通信手段を制御する画像送信手段と、
前記画像送信手段によって送信された前記資料画像群に基づく画像表示がなされている間に取得された音声データが前記ネットワークを介して前記通信端末から供給されて前記通信手段によって受信された場合に、受信された音声データと、前記指定情報によって指定された前記資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成手段と
を具備することを特徴とする同期再生データ生成装置。A synchronous reproduction data generation device comprising a communication means for transmitting and receiving data via a communication terminal and a network,
Image data storage means for storing a material image group having a plurality of material image display data;
The communication means for transmitting the specified material image group to the communication terminal via the network when designation information for specifying the material image group transmitted from the communication terminal via the network is received by the communication means; Image transmission means for controlling
When audio data obtained during image display based on the material image group transmitted by the image transmitting unit is supplied from the communication terminal via the network and received by the communication unit, Synchronous reproduction data generating means for generating synchronous reproduction data for synchronizing the received audio data with the image display based on the material image group specified by the specification information. Playback data generation device.
前記同期再生データ生成手段は、前記切り替え指示が行われたタイミングに基づいて前記音声データの再生中に前記資料画像群に含まれる各資料画像表示データに基づく画像表示を行うべきタイミングを示すタイミング情報を取得し、当該タイミング情報に基づいて前記同期再生データを生成する
ことを特徴とする請求項1に記載の同期再生データ生成装置。The image transmitting means transmits material image display data sequentially included in the material image group according to a material image switching instruction transmitted from the communication terminal,
The synchronous reproduction data generating means includes a timing information indicating a timing at which an image display based on each material image display data included in the material image group should be performed during the reproduction of the audio data based on the timing at which the switching instruction is performed. The synchronous reproduction data generation device according to claim 1, wherein the synchronous reproduction data is generated based on the timing information.
ことを特徴とする請求項2に記載の同期再生データ生成装置。When the user of the communication terminal issues an instruction to change the image display state based on the material image display data, the synchronous playback data generating unit is included in the material image group based on the timing at which the change instruction was issued. 3. The synchronous reproduction data according to claim 2, further comprising acquiring display state timing information indicating a timing to change an image display state based on each material image display data, and generating the synchronous reproduction data based on the display state timing information. Synchronous playback data generation device.
前記画像送信手段は、前記音声解析手段によって特定された資料画像群を送信するよう前記通信手段を制御する
ことを特徴とする請求項1ないし3のいずれかに記載の同期再生データ生成装置。When the designation information received by the communication means includes audio data issued by a user to designate the material image group, the content of the audio data is analyzed, and the material image group designated by the user is analyzed. Further comprising voice analysis means for identifying
4. The synchronous reproduction data generation device according to claim 1, wherein the image transmission unit controls the communication unit to transmit the material image group specified by the audio analysis unit.
ことを特徴とする請求項1ないし4のいずれかに記載の同期再生データ生成装置。When a material image group supplied from a communication terminal via the network is received by the communication means, the image processing apparatus further comprises image recording means for writing the received material image group to the image data storage means. 5. The synchronized reproduction data generation device according to claim 1, wherein:
ことを特徴とする請求項1ないし6のいずれかに記載の同期再生データ生成装置。2. The material image display data included in the material image group stored in the image data storage means is data for displaying content published in a book or a newspaper for each page. 7. The synchronous reproduction data generation device according to any one of claims 6 to 6.
複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶する記憶手段と、
ネットワークを介して前記通信端末から送信される、資料画像群および当該資料画像群に関連する前記音声データを指定する指定情報が前記通信手段によって受信された場合に、指定された資料画像群に含まれる資料画像表示データおよび前記音声データを、前記同期用データに基づいたタイミングで前記ネットワークを介して前記通信端末に送信するよう前記通信手段を制御し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づく再生とを同期させて行わせるコンテンツ送信手段と
を具備することを特徴とする同期再生コンテンツ提供装置。A synchronized playback content providing apparatus including a communication unit for transmitting and receiving data via a communication terminal and a network,
A material image group having a plurality of material image display data, audio data related to an image displayed based on the material image group, and an image display based on the material image group and the audio data related to the material image group Storage means for storing synchronization data for synchronizing with reproduction of the
When the designation information that specifies the material image group and the audio data related to the material image group transmitted from the communication terminal via the network is received by the communication unit, the material image group is included in the specified material image group. The communication means is controlled to transmit the material image display data and the audio data to the communication terminal via the network at a timing based on the synchronization data, and the communication terminal includes the material included in the material image group. A synchronized reproduction content providing apparatus, comprising: a content transmission unit that synchronizes image display based on image display data with reproduction based on the audio data.
ことを特徴とする請求項8に記載の同期再生コンテンツ提供装置。The content transmitting unit, based on the synchronization data in which the reproduction time of the audio data and each of the material image display data are associated, converts the material image display data in accordance with the reproduction time based on the audio data. 9. The synchronized reproduction content providing apparatus according to claim 8, wherein said communication means is controlled to transmit.
前記画像送信手段は、前記音声解析手段によって特定された資料画像群および前記音声データを送信させる
ことを特徴とする請求項8または9に記載の同期再生コンテンツ提供装置。When the designation information received by the communication means includes audio data issued by a user to designate the material image group and the audio data, the content of the audio data is analyzed, and the content specified by the user is specified. Further comprising a sound analysis means for specifying the material image group and the sound data,
10. The synchronous reproduction content providing apparatus according to claim 8, wherein the image transmitting unit transmits the material image group specified by the audio analyzing unit and the audio data.
ことを特徴とする請求項8ないし10のいずれかに記載の同期再生コンテンツ提供装置。The material image group supplied from the communication terminal via the network, the audio data related thereto, and synchronization data for synchronizing image display based on the material image group with reproduction based on the audio data are transmitted through the communication terminal. 11. The recording apparatus according to claim 8, further comprising a recording unit configured to write the received material image group, the audio data, and the synchronization data to the storage unit when received by the unit. Synchronized playback content providing device.
ことを特徴とする請求項8ないし11のいずれかに記載の同期再生コンテンツ提供装置。9. The material image display data included in the material image group stored in the image data storage means is data for displaying content published in a book or newspaper for each page. 12. The synchronized reproduction content providing device according to any one of claims 11 to 11.
ことを特徴とする請求項8ないし12のいずれかに記載の同期再生コンテンツ提供装置。13. The system according to claim 8, further comprising a charging unit configured to perform a charging process corresponding to the transmission to a user of the communication terminal as a transmission destination when the transmission control is performed by the content transmission unit. The synchronized reproduction content providing device according to any one of the above.
ことを特徴とする請求項11に記載の同期再生コンテンツ提供装置。A charging unit configured to perform a charging process corresponding to the transmission to a user of the communication terminal that is a transmission destination when transmission control is performed by the content transmission unit; A user discriminating whether or not the recording means is a sender of the material image group, audio data and synchronization data recorded in the storage means, and performing a process based on the discrimination result; The synchronized reproduction content providing device according to claim 11.
前記通信端末から前記ネットワークを介して送信される、前記画像表示ステップにおいて前記資料画像群に基づく画像表示がなされている間に取得された音声データを受信した前記同期再生データ生成サーバが、受信した音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成ステップと
を具備することを特徴とする同期再生データ生成方法。Transmitted from the communication terminal via the network, the synchronous reproduction data generation server, which receives the specification information specifying the material image group having a plurality of material image display data, the specified material image group via the network An image display step of transmitting to the communication terminal and causing the communication terminal to display an image based on the material image display data included in the material image group,
Transmitted from the communication terminal via the network, the synchronous reproduction data generation server that has received the audio data acquired during the image display based on the material image group is being performed in the image display step, A synchronous reproduction data generating step for generating synchronous reproduction data for synchronizing image display based on the material image group designated by the designation information with the audio data. .
ネットワークを介して前記通信端末から送信される、資料画像群およびこれに関連する前記音声データを指定する指定情報を受信した前記コンテンツ提供サーバが、指定された資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づいた再生が前記通信端末において同期して行われるよう前記同期用データに基づいてタイミングを制御して指定された前記資料画像群に含まれる資料画像表示データおよび前記音声データを前記ネットワークを介して前記通信端末に送信するコンテンツ送信ステップ
を具備することを特徴とするコンテンツ提供方法。A material image group having a plurality of material image display data, audio data related to an image displayed based on the material image group, and an image display based on the material image group and the audio data related to the material image group A method of providing content to a communication terminal via a network from a content providing server that stores synchronization data for synchronizing playback with
The content providing server, which has received the designation information for designating the material image group and the audio data related thereto, transmitted from the communication terminal via the network, includes the material image display data included in the designated material image group. Material image display data included in the material image group specified by controlling the timing based on the synchronization data so that the image display based on the audio data and the reproduction based on the audio data are performed in synchronization in the communication terminal and A content providing method, comprising: transmitting the audio data to the communication terminal via the network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003074208A JP2004282614A (en) | 2003-03-18 | 2003-03-18 | Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003074208A JP2004282614A (en) | 2003-03-18 | 2003-03-18 | Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004282614A true JP2004282614A (en) | 2004-10-07 |
Family
ID=33289914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003074208A Pending JP2004282614A (en) | 2003-03-18 | 2003-03-18 | Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004282614A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006178989A (en) * | 2004-12-20 | 2006-07-06 | Ricoh Co Ltd | Apparatus, method and program for processing document |
US10055475B2 (en) | 2015-04-29 | 2018-08-21 | Ricoh Company, Ltd. | Authentication system, synchronization method, and authentication apparatus |
JP2021073569A (en) * | 2016-12-05 | 2021-05-13 | 株式会社アイヴィジョン | Video generation program |
-
2003
- 2003-03-18 JP JP2003074208A patent/JP2004282614A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006178989A (en) * | 2004-12-20 | 2006-07-06 | Ricoh Co Ltd | Apparatus, method and program for processing document |
US10055475B2 (en) | 2015-04-29 | 2018-08-21 | Ricoh Company, Ltd. | Authentication system, synchronization method, and authentication apparatus |
JP2021073569A (en) * | 2016-12-05 | 2021-05-13 | 株式会社アイヴィジョン | Video generation program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6968506B2 (en) | Method of and system for composing, delivering, viewing and managing audio-visual presentations over a communications network | |
US6868435B2 (en) | Method and apparatus for creating and executing internet based lectures using public domain web pages | |
US20100332959A1 (en) | System and Method of Capturing a Multi-Media Presentation for Delivery Over a Computer Network | |
US20020091658A1 (en) | Multimedia electronic education system and method | |
KR20070095332A (en) | System and method for music score capture and synthesized audio performance with synchronized presentation | |
JP2008172582A (en) | Minutes generating and reproducing apparatus | |
TW201123111A (en) | Video/audio teaching system | |
WO2003001430A1 (en) | Content delivery method, scenario data, recording medium, and scenario data creation method | |
US20030086682A1 (en) | System and method for creating synchronized multimedia presentations | |
US20240205515A1 (en) | Information processing system, information processing method, and storage medium | |
JP2003323104A (en) | Language learning system | |
WO2021111872A1 (en) | Content provision system, content provision method, and storage medium | |
JP2004233698A (en) | Device, server and method to support music, and program | |
Kruge et al. | MadPad: A Crowdsourcing System for Audiovisual Sampling. | |
Waters | Ideas for Effective Web-Based Instruction: Knowing how to choose an audio format,“Stream” a soundfile, and conduct an on-line student conference will help instructors design Web-based music course | |
Braun | Listen up!: podcasting for schools and libraries | |
JP2004282614A (en) | Synchronous reproduction data generating apparatus, synchronous reproduction content providing apparatus, synchronous reproduction data generating method and content providing method | |
CN117156199A (en) | Digital short-man video production platform and production method thereof | |
KR20030013791A (en) | System and the method which in internet base remake a books contents in voice | |
JP2003015673A (en) | Karaoke lesson supporting method | |
Anderson et al. | Using desktop video to enhance music instruction | |
JP2007012091A (en) | Content distribution method | |
JP2003173177A (en) | Projector, and system and method for image distribution | |
KR20020016509A (en) | The multimedia electronic education system and the method thereof | |
Chong et al. | Delivery of multimedia educational presentations via streaming media. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |