JP2013229672A - 通信端末、通信方法、通信プログラム及び通信システム - Google Patents

Abstract

【課題】複数の端末間通信において共有されたコンテンツの編集操作に追従して、編集操作後のコンテンツを各々の通信端末に対してリアルタイムに反映させる。
【解決手段】共有表示領域部２３に表示されている動画において移動しているバス６１のオブジェクトが手描き操作の対象として選択される場合、指６５のタッチによりバス６１のオブジェクトを含む所定の範囲が個別表示領域部２４に表示される。個別表示領域部２４において、指６５により平仮名「ばす」が手描きされると、各々の通信端末の各共有表示領域部に、平仮名「ばす」の手描き文字６８がバス６１の移動に追従して描画される。
【選択図】図３

Description

本発明は、コンテンツを他の通信端末と共有する通信端末、通信方法、通信プログラム及び通信システムに関する。

近年、複数の通信端末を用いて、各々の通信端末間において、再生中のコンテンツ（例えば動画データ）をリアルタイムに共有する通信形態が検討されている。複数の通信端末間において、コンテンツをリアルタイムに共有する通信形態として、例えば複数のコンピュータをネットワークに接続したコンピュータネットワークシステムを用いて、コンテンツ（例えば文字、図形又は動画）をリアルタイムに共有する電子会議システムが知られている（特許文献１参照）。

また、拡張現実（ＡＲ：Augmented Reality）の技術を用いて、被写体（例えば人）の動き又は顔を検出して被写体の特徴情報を抽出し、予め使用可能に保存されているＣＧコンテンツを撮影画像にリアルタイムに重畳するアプリケーションが知られている（非特許文献１参照）。

特開平８−２９７６２４号公報

ＡＲ（拡張現実）動画・写真撮影アプリ「モシモカメラ」（登録商標）、［online］、平成２４年３月３０日、［平成２４年３月１５日検索］、インターネット＜URL：http://www.aitia.co.jp/product/＞

特許文献１では、各々のコンピュータは、一人のユーザがコンピュータに表示されたコンテンツに対して手描きした手描き画像を共有させることはできる。しかし、各々のコンピュータは、例えば被写体が動くような動画が再生されている場合に、ユーザの手描き操作に応じて、手描き画像を動画に追従させて表示することは困難である。

また、非特許文献１では、既に撮影された動画データの再生中において、ユーザ自身が描画した手描き画像を動画データに追従して再生させることは具体的に想定されていないと考えられる。

再生中の動画にユーザが手描きする場合、手描き対象のオブジェクトが動画の再生中に移動すると、ユーザにとって手描きが困難であった。また、複数の通信端末間においてリアルタイムに動画を共有する以上、各ユーザが自己の都合で動画を一時停止させて手描きすることはできず、たとえ再生中の動画に手描きしても、動画の動き（例えば動画のシーンの画像フレーム内のオブジェクトの移動或いは変化）と手描き画像とが追従して表示されないため、各ユーザに操作上の違和感を与えることになる。

本発明は、上述した従来の事情に鑑みてなされたものであって、複数の端末間通信において共有されたコンテンツに対する編集操作に追従して、編集操作後のコンテンツを各々の通信端末に対してリアルタイムに反映させる通信端末、通信方法、通信プログラム及び通信システムを提供することを目的とする。

本発明は、コンテンツを他の通信端末と共有する通信端末であって、前記コンテンツを再生する再生部と、前記再生されている前記コンテンツを表示する表示部と、前記コンテンツの再生中に、前記コンテンツに対する編集操作を受け付ける入力部と、前記編集操作に応じた描画情報を、前記コンテンツの再生に追従して前記表示部に表示させる表示制御部と、前記描画情報を前記他の通信端末に送信する通信部と、を備える。

また、本発明は、コンテンツを他の通信端末と共有する通信端末であって、前記コンテンツを再生する再生部と、前記コンテンツの再生中に、前記コンテンツに対する編集操作を受け付ける入力部と、前記再生されている前記コンテンツを表示する第１の表示部と、前記編集操作の対象となる前記コンテンツを表示する第２の表示部と、前記第２の表示部に表示された前記コンテンツに対する前記編集操作に応じた描画情報を、前記第１の表示部に表示されている前記コンテンツの再生に追従して前記第１の表示部に表示させる表示制御部と、前記描画情報を前記他の通信端末に送信する通信部と、を備える。

また、本発明は、通信端末がコンテンツを他の通信端末と共有する通信方法であって、前記コンテンツを再生するステップと、前記再生されている前記コンテンツを前記通信端末の表示部に表示するステップと、前記コンテンツの再生中に、前記コンテンツに対する編集操作を受け付けるステップと、前記編集操作に応じた描画情報を、前記コンテンツの再生に追従して前記表示部に表示させるステップと、前記描画情報を前記他の通信端末に送信するステップと、を有する。

また、本発明は、コンテンツを他の通信端末と共有するコンピュータに、前記コンテンツを再生するステップと、前記再生されている前記コンテンツを前記通信端末の表示部に表示するステップと、前記コンテンツの再生中に、前記コンテンツに対する編集操作を受け付けるステップと、前記編集操作に応じた描画情報を、前記コンテンツの再生に追従して前記表示部に表示させるステップと、前記描画情報を前記他の通信端末に送信するステップと、を実行させるための通信プログラムである。

また、本発明は、複数の通信端末がコンテンツを共有する通信システムであって、前記通信端末は、前記コンテンツを再生する再生部と、前記再生されている前記コンテンツを表示する表示部と、前記コンテンツの再生中に、前記コンテンツに対する編集操作を受け付ける入力部と、前記編集操作に応じた描画情報を、前記コンテンツの再生に追従して前記表示部に表示させる表示制御部と、前記描画情報を前記他の通信端末に送信する通信部と、を備える。

この構成によれば、複数の端末間通信において共有されたコンテンツに対する入力操作に追従して、入力操作に応じたコンテンツを各々の通信端末に対してリアルタイムに反映させることができる。

また、本発明は、サーバ装置から送信されたコンテンツデータを他の通信端末と共有する通信端末であって、前記送信されたコンテンツデータを再生する再生部と、前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付ける入力部と、前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを表示する表示部と、前記編集開始操作を受け付けた時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶する記憶部と、前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報を表示させる表示制御部と、前記描画情報を前記他の通信端末に送信する通信部と、を備える。

また、本発明は、通信端末がサーバ装置から送信されたコンテンツデータを他の通信端末と共有する通信方法であって、前記送信された前記コンテンツデータを受信した時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶するステップと、前記送信されたコンテンツデータを再生するステップと、前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付けるステップと、前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを前記通信端末の表示部に表示するステップと、前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報に対応する画像を表示させるステップと、前記描画情報を前記他の通信端末に送信するステップと、を備える。

また、本発明は、サーバ装置から送信されたコンテンツデータを他の通信端末と共有するコンピュータに、前記送信された前記コンテンツデータを受信した時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶するステップと、前記送信されたコンテンツデータを再生するステップと、前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付けるステップと、前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを前記通信端末の表示部に表示するステップと、前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報に対応する画像を表示させるステップと、前記描画情報を前記他の通信端末に送信するステップと、を実現させるための通信プログラムである。

また、本発明は、サーバ装置と、前記サーバ装置から送信されたコンテンツデータを他の通信端末と共有する通信端末とを含む通信システムであって、前記通信端末は、前記送信されたコンテンツデータを再生する再生部と、前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付ける入力部と、前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを表示する表示部と、前記編集開始操作を受け付けた時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶する記憶部と、前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報を表示させる表示制御部と、前記描画情報を前記他の通信端末に送信する通信部と、を備える。

この構成によれば、サーバ装置からストリーミングされたコンテンツを複数の端末間においてリアルタイムに共有している場合に、ユーザが編集操作を希望したときのコンテンツの再生時点より過去の時点に対するコンテンツの編集を各々のユーザの好みに合わせて簡易に実現することができる。

本発明によれば、複数の端末間通信において共有されたコンテンツに対する編集操作に追従して、編集操作後のコンテンツを各々の通信端末に対してリアルタイムに反映させることができる。

第１の実施形態における通信システムのシステム構成を示す模式図、（Ａ）ホストと複数のクライアントとが直接通信する場合、（Ｂ）アクセスポイントを介して、ホストと複数のクライアントとが無線ＬＡＮを用いて相互に通信する場合、（Ｃ）サーバ装置と、複数のクライアントとがネットワーク及びアクセスポイントを介して相互に通信する場合 リアルタイムに動画を共有する２つのクライアントの各表示画面を示す図、（Ａ）指のタッチ操作によりバスのオブジェクトが選択される様子、（Ｂ）平仮名「ばす」の手描き画像が追加される編集操作の開始時の様子 リアルタイムに動画を共有する２つのクライアントの各表示画面を示す図、（Ａ）平仮名「ばす」の手描き画像が追加される編集操作の終了時の様子、（Ｂ）２つのクライアントの各表示部に平仮名「ばす」の手描き文字の画像が表示された時の様子 ホスト及びクライアントの各機能的構成を示すブロック図 共有表示領域部に編集操作する場合のクライアントの機能的構成における各部の動作の流れを示す図 共有表示領域部に編集操作する場合の動作手順を示すフローチャート 個別表示領域部に編集操作する場合のクライアントの機能的構成における各部の動作の流れを示す図 個別表示領域部に編集操作する場合の動作手順を示すフローチャート 他の通信端末から直接手描き情報又は間接手描き情報を受信して、他の通信端末のユーザによって手描きされたデータを描画する場合の自通信端末の機能的構成における各部の動作の流れを示す図 他の通信端末から直接手描き情報又は間接手描き情報を受信して、他の通信端末のユーザによって手描きされたデータを描画する場合の自通信端末の動作手順を示すフローチャート （Ａ）共有表示領域部に表示されている再生中の動画を一時停止する様子を示す図、（Ｂ）一時停止操作応じて、個別表示領域部、編集可能区間バー及び動画のサムネイルが表示された様子を示す図 編集区間を指定する様子を示す図 編集区間内において平仮名「でんしゃ？」の編集操作（手描き操作）がなされた後に平仮名「でんしゃ？」のスタンプデータの描画区間が指定された場合の様子を示す図 編集区間内において平仮名「ばす」の編集操作（手描き操作）がなされた後に平仮名「ばす」のスタンプデータの描画区間が指定された場合の様子を示す図 平仮名「でんしゃ？」の手描き操作の軌跡を記録する様子を示す図 （Ａ）編集区間のシフト前の様子を示す図、（Ｂ）編集区間のシフト後の様子を示す図 （Ａ）編集区間の分割前の様子を示す図、（Ｂ）編集区間の分割後の様子を示す図 第２の実施形態の通信端末（例えばクライアント２０Ａａ）の機能的構成を示すブロック図 第２の実施形態の通信端末（例えばクライアント２０Ａａ）の動作手順を説明するフローチャート

以下、本発明の通信端末、通信方法、通信プログラム及び通信システムの各実施形態について、図面を参照して説明する。各実施形態の通信端末は、データを表示画面（ウインドウ）に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、ＰＤＡ（personal digital assistant）又は電子書籍端末である。以下、本実施形態の通信端末はスマートフォンとして説明するが、本実施形態の通信端末は上述した各電子機器に限定されない。

なお、本発明は、装置としての通信端末、通信端末をコンピュータとして動作させるための通信プログラム、通信端末を含む通信システムとして表現することも可能である。更に、本発明は、通信端末により実行される各動作（ステップ）を含む通信方法として表現することも可能である。即ち、本発明は、装置、方法、プログラム及びシステムのうちいずれのカテゴリにおいても表現可能である。

本実施形態の通信端末（後述するホスト１０、クライアント２０Ａ，２０Ｂ，２０Ｃ）は、複数の端末間通信において共有された再生中のコンテンツデータ（例えば動画データ）に対する編集操作（例えばコンテンツに対する手描き操作、以下同様）を受け付けたとする。本実施形態の通信端末は、例えば手描き操作により追加又は修正された画像（例えば手描き文字の画像）が再生に追従して表示されたコンテンツ又は手描き操作により全ての画像（例えば、手描き文字の画像）が削除されたコンテンツを、各々の通信端末の表示部の表示画面にリアルタイムに反映して表示させる。

また、以下の説明では、コンテンツの一例として「動画」を用いて説明し、具体的には、コンテンツを「動画」、コンテンツデータを「動画データ」として説明するが、コンテンツは動画に限定されない。例えばコンテンツは、スライドショー、静止画、テキスト、又はテキストと動画若しくは静止画との組合せでも良い。

（第１の実施形態）
図１は、第１の実施形態における通信システムのシステム構成を示す模式図である。本実施形態における通信システムは、複数の通信端末を含む。本実施形態における通信システムは、例えば図１（Ａ）、図１（Ｂ）及び図１（Ｃ）の３通りの通信形態が想定される。

図１（Ａ）は、ホスト１０と複数のクライアント２０Ａ，２０Ｂ，２０Ｃとが直接通信する場合である。図１（Ｂ）は、アクセスポイント１５を介して、ホスト１０と複数のクライアント２０Ａ，２０Ｂ，２０Ｃとが無線ＬＡＮを用いて相互に通信する場合である。図１（Ｃ）は、サーバ装置５０と、複数のクライアント２０Ａ，２０Ｂ，２０Ｃとがネットワーク４０及びアクセスポイント１５を介して相互に通信する場合である。

（通信システムにおける通信形態）
図１（Ａ）に示す通信システム１では、ホストコンピュータとしての通信端末（以下、単に「ホスト」という）とホストの通信相手としての複数のクライアントコンピュータとしての通信端末（以下、単に「クライアント」という）とが直接的に通信する。具体的には、ホスト１０は、３つのクライアント２０Ａ，２０Ｂ，２０Ｃと直接的に通信する。図１（Ａ）に示す通信方式として、例えばＢｌｕｅｔｏｏｔｈ（登録商標）又はＷｉＦｉ（登録商標） Ｄｉｒｅｃｔが挙げられる。

また、ホスト１０は、複数の端末間通信において共有されるコンテンツデータを、ホスト１０の記憶部２７ａ（後述参照）に保存して管理する。なお、各クライアント２０Ａ，２０Ｂ，２０Ｃが複数の端末間通信において共有される同一のコンテンツデータを、各々の記憶部に保存して管理しても良い。

図１（Ａ）に示す通信システム１では、ホスト１０は、共有対象の動画データを複数のクライアント２０Ａ，２０Ｂ，２０Ｃに送信する。ホスト１０及び複数のクライアント２０Ａ，２０Ｂ，２０Ｃは、共有対象の動画データを同時に再生することで動画データをリアルタイムに共有する。

以下、複数のクライアント２０を特に区別する必要がある場合、それぞれクライアント２０Ａ，２０Ｂ，２０Ｃと符号を分ける。同様に、各クライアント２０Ａ，２０Ｂ，２０Ｃの表示部３０を特に区別する必要がある場合、それぞれ表示部３０Ａ，３０Ｂ，３０Ｃと符号を分ける。

図１（Ｂ）に示す通信システム１Ａでは、アクセスポイント１５を介して、ホスト１０及び複数のクライアント２０Ａ，２０Ｂ，２０Ｃが無線ＬＡＮ（Local Area Network）を用いて相互に通信する。図１（Ｂ）に示す通信方式として、例えばＷｉＦｉ（登録商標）が挙げられる。

図１（Ｂ）に示す通信システム１Ａでは、ホスト１０は、アクセスポイント１５を介して、共有対象の動画データを複数のクライアント２０Ａ，２０Ｂ，２０Ｃに送信する。ホスト１０及び複数のクライアント２０Ａ，２０Ｂ，２０Ｃは、共有対象の動画データを同時に再生することで動画データをリアルタイムに共有する。

図１（Ｃ）に示す通信システム１Ｂでは、サーバ装置５０と、複数のクライアント２０Ａ，２０Ｂ，２０Ｃとが、ネットワーク（例えばインターネット或いはイントラネット）４０及びアクセスポイント１５を介して相互に通信する。図１（Ｃ）に示す通信方式として、例えばＷｉＦｉ（登録商標）、３Ｇ（3rd generation：第３世代移動通信システム）及びＬＴＥ（Long Term Evolution）が挙げられる。

図１（Ｃ）に示す通信システム１Ｂでは、サーバ装置５０は、ホスト１０の役割を有し、複数のクライアント２０Ａ，２０Ｂ，２０Ｃに動画データを送信する。複数のクライアント２０Ａ，２０Ｂ，２０Ｃは、ホスト１０としてのサーバ装置５０から共有対象の動画データを受信して同時に再生することで動画データをリアルタイムに共有する。

従って、図１（Ａ）、図１（Ｂ）及び図１（Ｃ）のうちいずれかに示す通信システムでは、ホスト１０及び複数のクライアント２０Ａ，２０Ｂ，２０Ｃは、動画データを用いたユーザ間のコミュニケーションとして、再生中の動画に対して各々のユーザの編集操作により追加又は修正された手描き画像データが再生に追従して表示された動画又は編集操作により全ての手描き画像データが削除された動画を、自通信端末及び他通信端末間においてリアルタイムに共有する。

編集操作による手描きは、例えば編集操作としての手描き操作によって、動画の中で動いている人の顔にめがね、帽子、かつら又は被りものの飾り付けを追加する手描き、セキュア加工（例えば目、ナンバー、表札、看板を隠すような編集）が施す手描き、動いているオブジェクトを矢印により強調する手描き、動いているオブジェクトに落書き又は飾り付けを追加する手描きが挙げられる。

（第１の実施形態の概要）
次に、ユーザの編集操作後の手描き画像が再生に追従して表示された動画を他の通信端末と共有する場合の通信端末の動作概要を、具体的な表示画面の一例を用いて説明する。図２及び図３は、リアルタイムに動画を共有する２つのクライアント２０Ａ，２０Ｂの各表示画面を示す図である。

図２（Ａ）は、指６５のタッチ操作によりバス６１のオブジェクトが選択される様子を示す。図２（Ｂ）は、平仮名「ばす」の手描き画像が追加される編集操作の開始時の様子である。図３（Ａ）は、平仮名「ばす」の手描き画像が追加される編集操作の終了時の様子である。図３（Ｂ）は、２つのクライアント２０Ａ，２０Ｂの各表示部３０Ａ，３０Ｂに平仮名「ばす」の手描き文字６８の画像が表示された時の様子である。

クライアント２０Ａ，２０Ｂの各表示部３０Ａ，３０Ｂには、バス６１及びサボテン６３の各オブジェクトを含む動画がそれぞれ同時に再生されて表示されている。

図２（Ａ）に示すように、クライアント２０Ａを扱うユーザが、表示部３０Ａの共有表示領域部２３（後述参照）に表示されている動画の再生中に、移動しているバス６１のオブジェクトを、編集操作の対象として選択（例えばタッチ操作）する。指６５のタッチ操作により、編集操作の対象として、バス６１のオブジェクトが選択される。これにより、クライアント２０Ａは、編集操作の対象としてバス６１のオブジェクトの選択により、選択されたオブジェクトに対して編集操作の入力を受け付けることができる。

編集操作では、図２（Ａ）には不図示の描画ツール（後述参照）を用いて、選択されたオブジェクトに対して手描き画像の追加、修正、削除の編集が可能となる。

指６５のタッチ操作によりバス６１のオブジェクトが選択された後、クライアント２０Ａの表示部３０Ａには、図２（Ｂ）に示すように、共有表示領域部２３とは別の表示画面（ウインドウ）としての個別表示領域部２４（後述参照）、及び「とじる」ボタン６７がそれぞれ表示される。個別表示領域部２４に対する指６５の編集操作によって、例えば平仮名「ばす」がバス６１のオブジェクト上に手描きされた場合には、図２（Ｂ）及び図３（Ａ）に示すように、編集操作に追従して、クライアント２０Ａの共有表示領域部２３に、手描き画像としての平仮名「ばす」の手描き文字６８のオブジェクトがバス６１のオブジェクトの移動に追従するように描画される。

クライアント２０Ａの表示部３０Ａに表示された「とじる」ボタン６７が指６５により押下（例えばタッチ操作）されると、図３（Ｂ）に示すように、図３（Ａ）に示す表示部３０Ａに表示されていた個別表示領域部２４の表示画面（ウインドウ）が閉じられる。クライアント２０Ａのユーザ又はクライアントＢのユーザが編集操作としての手描きを開始すると、各々のクライアント２０Ａ，２０Ｂの各表示部３０Ａ，３０Ｂの各共有表示領域部２３には、再生中の動画において、バス６１のオブジェクトの移動に追従して、平仮名「ばす」の手描き文字６８がリアルタイムにそれぞれ表示される。

なお、図２（Ｂ）に示すクライアント２０Ａの編集操作により、平仮名「ばす」の手描き文字６８が表示部３０Ａに表示されている場合に、再生中の動画を共有している他のクライアント２０Ｂの表示部３０Ｂには、平仮名「ばす」の手描き文字６８がリアルタイムに表示されなくても良い。

例えばクライアント２０Ａ，２０Ｂの通信における伝搬遅延が生じている場合又は所定のタイムラグが設けられている場合に、クライアント２０Ｂの表示部３０Ｂには、平仮名「ばす」の手描き文字６８が、クライアント２０Ａの表示部３０Ａに表示されるタイミングに対して所定時間（例えば１秒）遅れて表示されても良い。所定時間は、予め設定された値でも良いし、クライアント２０Ｂが通信における伝搬遅延を勘案して動的に所定時間を設定しても良い。

（第１の実施形態の通信端末の機能的構成）
図４は、ホスト１０及びクライアント２０の各機能的構成を示すブロック図である。ホスト１０は、共有対象の動画データを保存する記憶部２７ａを有し、保存された動画データをクライアント２０に送信する。ホスト１０とクライアント２０とは同様の構成を有するため、以下、クライアント２０を例示して説明する。

クライアント２０は、ＲＡＭ（Random Access Memory）１６、ＲＯＭ（Read Only Memory）１７、操作入力部２１、描画制御部２２、共有表示領域部２３、個別表示領域部２４、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７、通信制御部２８、再生部２９及び表示部３０（例えばＬＣＤ又は有機ＥＬディスプレイ）を含む。

描画制御部２２、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７及び再生部２９は、クライアント２０に内蔵されるプロセッサ（例えばハードウェア資源としてのＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor））を用いて構成されている。

ＲＡＭ１６は、描画制御部２２、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７及び再生部２９のワークメモリとして用いられる。ＲＯＭ１７には、描画制御部２２、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７及び再生部２９の各動作が規定されたプログラムが記憶されている。なお、図４に示すクライアント２０において、図面の複雑化を避けるために、ＲＡＭ１６又はＲＯＭ１７とクライアント２０の他の各部、即ち、描画制御部２２、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７及び再生部２９との間の矢印の図示を省略している。

従って、クライアント２０のプロセッサが、図４に示すＲＯＭ１７から、描画制御部２２、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７及び再生部２９の各動作が規定されたプログラムを読み込むことで、描画制御部２２、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７及び再生部２９はそれぞれ動作可能となる。

入力部としての操作入力部２１は、例えばタッチパネルを用いて構成され、ユーザの入力操作、即ち、再生中の動画に現れるオブジェクトに対するタッチ操作又は編集操作を受け付ける。操作入力部２１は、クライアント２０の表示部（例えば表示部３０）上に搭載されている。なお、操作入力部２１は、入力デバイスとしてのマウスがクライアント２０に接続されている場合には、ユーザの入力操作を、マウスからの入力操作として受け付けても良い。以下の各実施形態では、操作入力部２１は、タッチパネルを介して、ユーザの入力操作を受け付けるとして説明する。

例えば再生中の動画が共有表示領域部２３に表示されている場合において、ユーザの入力操作によって動画に現れているオブジェクトが選択された場合、即ち、オブジェクトがタッチされて一定時間（例えば１秒）静止した場合には、操作入力部２１は、タッチされたオブジェクトを編集操作の対象として受け付け、タッチされたオブジェクトの共有表示領域部２３における位置を示す座標情報を描画制御部２２に出力する。

また、操作入力部２１は、ユーザの入力操作として、編集操作の対象のオブジェクトのタッチ以外に、共有表示領域部２３又は表示部３０の共有表示領域部２３を除く他の表示領域に表示された不図示の描画ツール（例えばペン又はスタンプ）を用いたユーザ指定によりオブジェクトの選択を受け付けても良い。描画ツールを用いたユーザ指定は、例えば、描画ツールとしてペンが選択された場合に共有表示領域部２３にペンが表示され、ユーザの指に対応する描画ツールとしてのペンにより囲まれた範囲の指定である。操作入力部２１は、ペンにより指定された範囲を選択対象のオブジェクトとして受け付けても良い。

また、操作入力部２１は、ユーザの入力操作として、特定のオブジェクトにタッチせずに、ユーザの指により例えば矩形又は円形によって囲まれた範囲を選択対象のオブジェクトとして受け付けても良い。

また、ユーザが共有表示領域部２３又は表示部３０の共有表示領域部２３を除く他の表示領域に表示された不図示のオブジェクト選択モードボタンを押下した場合に、操作入力部２１は、オブジェクト選択モードボタンの表示部３０における表示位置の座標情報を描画制御部２２に出力する。描画制御部２２は、操作入力部２１から出力された座標情報を基に、共有表示領域部２３に表示されているコンテンツの中に選択可能なオブジェクトをオブジェクト検出部２５に検出させ、オブジェクト検出部２５の検出結果を基に、検出されたオブジェクトを共有表示領域部２３においてハイライト表示させる。

これにより、描画制御部２２は、例えば矩形又は円形の枠を用いたハイライト表示により、編集操作の対象の候補となり得るオブジェクトの輪郭を明確にユーザに対して認知させることができる。操作入力部２１は、ハイライト表示されたオブジェクトの候補の中からユーザの指によりタッチされたオブジェクトを、選択対象のオブジェクトとして受け付ける。

また、操作入力部２１は、編集操作の対象として選択されたオブジェクトを含む所定の範囲が個別表示領域部２４に表示された後に編集操作の入力を受け付けた場合には、編集操作により追加された手描きされたデータ（例えば手描き文字）の個別表示領域部２４における位置を示す座標情報を描画制御部２２に出力する。

表示制御部としての描画制御部２２は、オブジェクト検出部２５に再生中の動画に現れるオブジェクトを検出させると共に、クライアント２０の描画に関する総括的な制御を行う。例えば描画制御部２２は、ユーザの入力操作に応じて操作入力部２１から出力された座標情報、編集操作時の描画ツールの種別及びパラメータを含む「手描き情報」に応じた描画制御を行う。

本実施形態では、共有表示領域部２３に表示されている動画データに対しても編集操作が可能であり、個別表示領域部２４に表示されている動画データに対しても編集操作が可能である。描画制御部２２は、共有表示領域部２３に編集操作がなされた場合には、後述する「直接手描き情報」を手描きデータ管理部２７に出力する。描画制御部２２は、個別表示領域部２４に編集操作がなされた場合には、後述する「手描き情報」を間接手描き情報補正部２６に出力する。

（手描き情報）
「手描き情報」は、ユーザの編集操作（手描き操作）に応じて操作入力部２１から出力された共有表示領域部２３又は個別表示領域部２４における手描きされたデータ（例えば手描き文字）の表示範囲を示す「座標情報」と、手描きされたデータ（例えば手描き文字）の編集操作（手描き）時に用いられた「描画ツールの種別及びパラメータ」とを含む。なお、編集操作時に手描きされたデータ（例えば手描き文字）の画像データ（以下、「スタンプデータ」という）は、間接手描き情報補正部２６により生成される。

「描画ツールの種別」は、例えばペン又は図形（例えば円、楕円、矩形）である。「描画ツールのパラメータ」は、例えば編集操作後の手描きされたデータ（例えば手描き文字６８（図３（Ｂ）参照））の色、太さ、透過度である。

また、描画制御部２２は、手描きデータ管理部２７から出力された描画情報としての「直接手描き情報」又は「間接手描き情報」に応じた描画制御も行う。

（直接手描き情報）
「直接手描き情報」は、「手描き情報」と、編集操作によって手描きされ始めた時間が動画再生開始時刻からどれだけ経過しているかを示す「経過時間情報」と「編集操作に要した時間情報」とを更に含む。詳しくは後述するが、描画制御部２２は、手描きデータ管理部２７から「直接手描き情報」を取得した場合には、再生部２９により再生されている動画の「直接手描き情報」の経過時間情報に対応する時刻に、編集操作に要した時間にわたって「直接手描き情報」の各情報に従って、クライアント２０Ａ又は他のクライアント２０Ｂのユーザによって手描きされたデータ（例えば手描き文字）を共有表示領域部２３に描画（表示）する。

（間接手描き情報とオブジェクト情報）
「間接手描き情報」は、「オブジェクト情報」と、「スタンプデータ」と、スタンプデータの表示範囲を示す「座標情報」（後述参照）とを含む。「オブジェクト情報」は、オブジェクト検出部２５により検出されたオブジェクトに関する情報であって、共有表示領域部２３に検出対象となるオブジェクトが存在しているか否かを示すオブジェクト有無情報と、オブジェクトの共有表示領域部２３における座標、大きさ及び傾きに関する情報と、編集操作によって手描きされ始めたときの動画再生開始時刻からの経過時間情報と、編集操作に要した時間情報とを含む。

詳しくは後述するが、描画制御部２２は、手描きデータ管理部２７から「間接手描き情報」を取得した場合には、再生部２９に再生されている動画の「間接手描き情報」の経過時間情報に対応する時刻に、編集操作に要した時間にわたって「間接手描き情報」のスタンプデータを、「間接手描き情報」の各情報に従って共有表示領域部２３に描画（表示）する。

共有表示領域部２３及び個別表示領域部２４は、クライアント２０の表示部（例えば図２（Ａ）の表示部３０Ａ参照）の表示画面（ウインドウ）に対応する。共有表示領域部２３は、クライアント２０が他の通信端末との間で共有しているデータ、即ち、動画データ及び手描きされたデータ（例えば手描き文字）の画像データが表示される領域である。共有表示領域部２３の表示範囲の大きさは、ユーザの編集操作の対象となるオブジェクトが選択される前では、クライアント２０の表示部３０の範囲と同一又はクライアント２０の表示部３０の範囲以下である。

なお、共有表示領域部２３及び個別表示領域部２４の各表示範囲は、描画制御部２２の動作により予め規定されているが、ユーザの入力操作（例えばピンチ操作、拡大ボタン若しくは縮小ボタンの押下操作）により、各表示範囲の大きさは任意の大きさに変更できる。ピンチ操作には、ピンチイン操作とピンチアウト操作とが知られている。ピンチイン操作は、タッチパネルにタッチされた少なくとも２本の指の間隔を狭めることで表示画面、即ち、共有表示領域部２３又は個別表示領域部２４の表示範囲を縮小するための操作である。ピンチアウト操作は、タッチパネルにタッチされた少なくとも２本の指の間隔を広げることで表示画面、即ち、共有表示領域部２３又は個別表示領域部２４の表示範囲を拡大するための操作である。

また、ピンチイン操作によって、共有表示領域部２３又は個別表示領域部２４に表示されている内容（例えば動画）が縮小されても良い。同様に、ピンチアウト操作によって、共有表示領域部２３又は個別表示領域部２４に表示されている内容（例えば動画）が拡大されても良い。

個別表示領域部２４は、共有表示領域部２３において編集操作の対象となるオブジェクトが選択された場合に、選択されたオブジェクトを含む所定の範囲の動画の内容が表示される表示画面であって、共有表示領域部２３とは異なる表示画面である。即ち、個別表示領域部２４には、動画の再生中に編集操作の対象として選択されたオブジェクトを含む所定の範囲の動画の内容が表示される。個別表示領域部２４に表示されたオブジェクトは、ユーザにより編集操作（例えば手描き操作）される。なお、個別表示領域部２４は、自通信端末（例えばクライアント２０Ａ）に表示されている再生中の動作の編集操作に応じて自通信端末において表示されるが、他の通信端末（例えば、クライアント２０Ｂ）の表示部の表示画面としては表示されない。

また、描画制御部２２は、個別表示領域部２４に表示されたオブジェクトの動きを静止させた状態でオブジェクトの表示を継続し、オブジェクトの周囲の動画を再生させるように表示しても良い。これにより、ユーザは、自己が選択した編集操作の対象となるオブジェクトに対する編集操作を簡易化できる。

また、描画制御部２２は、個別表示領域部２４の表示範囲の略中心に、編集操作の対象として選択されたオブジェクトを位置させるように表示させても良い。

また、描画制御部２２は、再生中の動画において編集操作の対象として選択されたオブジェクトが移動して共有表示領域部２３の表示範囲から途切れた場合には、途切れる直前のオブジェクトの動きを一時的に静止させ、個別表示領域部２４内にオブジェクトを表示させても良い。その後、描画制御部２２は、オブジェクトが再び共有表示領域部２３の表示範囲において検出された場合には、動画の再生に追従させるようにオブジェクトを個別表示領域部２４内に表示させても良い。

検出部としてのオブジェクト検出部２５は、描画制御部２２からの指示に応じて、共有表示領域部２３に表示されているオブジェクトを検出する。オブジェクト検出部２５は、検出されたオブジェクトに関するオブジェクト情報を描画制御部２２及び間接手描き情報補正部２６に出力する。なお、共有表示領域部２３に表示されているオブジェクトの検出は公知技術であるため、説明を省略する。

間接手描き情報補正部２６は、描画制御部２２から出力された「手描き情報」を基に、「手描き情報」の座標情報、即ち、個別表示領域部２４における座標情報が共有表示領域部２３のどの位置に対応するかを表す座標情報を特定する。間接手描き情報補正部２６は、「間接手描き情報」におけるスタンプデータの表示範囲を示す座標情報として、個別表示領域部２４における座標情報を共有表示領域部２３における座標情報に補正する。

また、間接手描き情報補正部２６は、オブジェクト検出部２５から出力された「オブジェクト情報」を基に、「オブジェクト情報」の座標情報、即ち、編集操作の対象として選択されたオブジェクトの共有表示領域部２３における表示範囲を示す座標情報を特定する。

間接手描き情報補正部２６は、「オブジェクト情報」と、スタンプデータと、スタンプデータの表示範囲を示す座標位置とを含む「間接手描き情報」を生成して手描きデータ管理部２７に出力する。

手描きデータ管理部２７は、クライアント２０のファイルシステムに対応し、共有表示領域部２３に手描きされたデータ（例えば手描き文字）に関する「直接手描き情報」、及び間接手描き情報補正部２６から出力された「間接手描き情報」を記憶部２７ａに記憶させる。手描きデータ管理部２７は、他の通信端末に「直接手描き情報」又は「間接手描き情報」を送信する場合に、「直接手描き情報」又は「間接手描き情報」を通信制御部２８に出力する。

また、手描きデータ管理部２７は、通信制御部２８が他の通信端末から「直接手描き情報」又は「間接手描き情報」を受信した場合には、「直接手描き情報」又は「間接手描き情報」を描画制御部２２に出力する。なお、手描きデータ管理部２７は、通信制御部２８が他の通信端末から「直接手描き情報」又は「間接手描き情報」を受信した場合には、「直接手描き情報」又は「間接手描き情報」の座標情報（絶対座標情報又は相対座標情報と各通信端末の表示部の大きさの情報）を基に、自通信端末（例えば、クライアント２０）の共有表示領域部２３の大きさに応じた相対座標を算出する。

但し、クライアント２０と他の通信端末とは、通信を開始する前又は通信を継続している間に、各表示部の共有表示領域部の表示画面の大きさの情報を交換しても良い。描画制御部２２は、手描きデータ管理部２７により算出された相対座標及び各通信端末の表示部の大きさの情報を基に、自通信端末（クライアント２０）の共有表示領域部２３の大きさに応じた絶対座標を算出し、算出された絶対座標の位置に、他の通信端末から送信された「直接手描き情報」又は「間接手描き情報」に応じたデータ（例えば手描き文字）を、「直接手描き情報」又は「間接手描き情報」の各情報に従って共有表示領域部２３に描画（表示）させる。

通信部としての通信制御部２８は、例えば、アンテナを含む無線通信回路を用いて構成され、他の通信端末との間における「直接手描き情報」又は「間接手描き情報」の送受信を制御する。

再生部２９は、ユーザの入力操作、即ち、ユーザが再生を希望する動画の選択操作に応じて、操作入力部２１により指示された動画を再生すると共に、共有表示領域部２３に動画の内容を表示させる。

（通信端末の動作）
上述した構成を有する通信端末の動作として、３つのユースケースについて、図５から図１０を参照して説明する。

（第１のユースケース）
始めに、第１のユースケースとして、ユーザが再生中の動画に対し、共有表示領域部２３に直接、編集操作する場合のクライアント２０の動作を説明する。なお、ホスト１０においてユーザが共有表示領域部２３に対して編集操作する場合も同様の動作である。

図５は、共有表示領域部２３に編集操作する場合のクライアント２０の機能的構成における各部の動作の流れを示す図である。先ず、ユーザの指により、共有表示領域部２３に表示されている再生中の動画に対して編集操作がなされると、操作入力部２１は、編集操作（入力操作）の座標情報を描画制御部２２に出力する。

描画制御部２２は、操作入力部２１から出力された座標情報を取得すると、「手描き情報」を生成し、「手描き情報」の各情報に従って、ユーザによって手描きされたデータ（例えば手描き文字）を共有表示領域部２３に描画（表示）する。なお、「手描き情報」の各情報は、描画ツールの種別（例えばペン、ブラシ、多角形）、描画ツールのパラメータ（例えば色、太さ、透過度）及び手描きされたデータ（例えば手描き文字）の表示範囲を示す座標情報を含む。

描画制御部２２は、「手描き情報」と、動画再生開始時刻からの経過時間情報と編集操作に要した時間情報とを更に含む「直接手描き情報」を生成して手描きデータ管理部２７に出力する。手描きデータ管理部２７は、「直接手描き情報」を描画制御部２２から取得すると、「直接手描き情報」を記憶部２７ａに記憶し、更に、「直接手描き情報」を通信制御部２８に出力する。通信制御部２８は、「直接手描き情報」を他の通信端末に送信する。

図６は、共有表示領域部２３に編集操作する場合の動作手順を示すフローチャートである。図６に示す動作手順を実行するためのプログラムは、クライアント２０のＲＯＭ１７に記憶され、クライアント２０に内蔵されるＣＰＵによって実行される。

操作入力部２１は、先ず、ユーザの編集操作が入力されるまで待機する（Ｓ１）。ユーザにより編集操作、即ち、ユーザの指により、共有表示領域部２３に表示されている再生中の動画に対して手描き操作が入力されると（Ｓ１、ＹＥＳ）、操作入力部２１は、編集操作（入力操作）の座標情報を描画制御部２２に出力する。

描画制御部２２は、操作入力部２１から出力された座標情報を取得すると、「手描き情報」を生成し（Ｓ２）、「手描き情報」の各情報に従って、ユーザによって手描きされたデータ（例えば手描き文字）を共有表示領域部２３に描画（表示）する（Ｓ３）。

描画制御部２２は、「直接手描き情報」を、手描きデータ管理部２７に出力する。手描きデータ管理部２７は、描画制御部２２から出力された「直接手描き情報」を記憶部２７ａに保存する（Ｓ４）。手描きデータ管理部２７は、「直接手描き情報」を通信制御部２８に出力する（Ｓ５）。通信制御部２８は、他の通信端末（例えば、ホスト１０、クライアント２０Ｂ，２０Ｃ）に送信する（Ｓ６）。この後、クライアント２０は、動画再生が停止したら（Ｓ７、ＹＥＳ）、動作を終了する。なお、動画再生が停止していない場合には（Ｓ７、ＮＯ）、クライアント２０の動作はステップＳ１に戻る。

（第２のユースケース）
次に、第２のユースケースとして、ユーザが再生中の動画に対し、個別表示領域部２４に編集操作する場合のクライアント２０の動作を説明する。なお、ホスト１０においてユーザが個別表示領域部２４に対して手描き操作する場合も同様の動作である。

図７は、個別表示領域部２４に編集操作する場合のクライアント２０の機能的構成における各部の動作の流れを示す図である。先ず、ユーザの指により、共有表示領域部２３に表示されている再生中の動画に現れるオブジェクトのうち、編集操作の対象となるオブジェクトが選択される。操作入力部２１は、編集操作の対象となるオブジェクトの共有表示領域部２３における座標情報を描画制御部２２に出力する。描画制御部２２は、編集操作の対象となるオブジェクトを含む所定の範囲を個別表示領域部２４に表示させる。

また、操作入力部２１は、個別表示領域部２４に表示されたオブジェクトに対してユーザの指により編集操作された場合に、編集操作（入力操作）の座標情報を描画制御部２２に出力する。

描画制御部２２は、編集操作（入力操作）の座標情報を操作入力部２１から取得すると、「手描き情報」を生成し、個別表示領域部２４に描画（表示）する。描画制御部２２は、「手描き情報」を間接手描き情報補正部２６に出力する。

一方、オブジェクト検出部２５は、共有表示領域部２３に表示されている再生中の動作に現れるオブジェクトを検出し、検出されたオブジェクトに関する「オブジェクト情報」を生成して間接手描き情報補正部２６に出力する。

間接手描き情報補正部２６は、描画制御部２２から出力された「手描き情報」とオブジェクト検出部２５から出力された「オブジェクト情報」から「間接手描き情報」を生成して手描きデータ管理部２７に出力する。なお、間接手描き情報補正部２６は、「間接手描き情報」を生成する際、「手描き情報」の座標情報、描画ツールの種別及びパラメータにより特定される手描きされたデータ（例えば手描き文字）の画像をスタンプ化、即ち、編集操作によって個別表示領域部２４に手描きされたデータ（例えば手描き文字）の画像データをスタンプデータとして生成する。

手描きデータ管理部２７は、間接手描き情報補正部２６から「間接手描き情報」を取得すると、「間接手描き情報」を記憶部２７ａに記憶すると共に、「間接手描き情報」を通信制御部２８及び描画制御部２２に出力する。描画制御部２２は、「間接手描き情報」を基に、再生部２９に再生されているコンテンツの「間接手描き情報」の経過時間情報に対応する時刻に、「間接手描き情報」のスタンプデータを、「間接手描き情報」の各情報に従って共有表示領域部２３に描画する。通信制御部２８は、「間接手描き情報」を他の通信端末に送信する。

図８は、個別表示領域部２４に編集操作する場合の動作手順を示すフローチャートである。図８に示す動作手順を実行するためのプログラムは、クライアント２０のＲＯＭ１７に記憶され、クライアント２０に内蔵されるＣＰＵによって実行される。

操作入力部２１は、先ず、ユーザの編集操作が入力されるまで待機する（Ｓ１１）。ユーザの指により、共有表示領域部２３に表示されている再生中の動画に現れるオブジェクトのうち、編集操作の対象となるオブジェクトが選択された場合には（Ｓ１１、ＹＥＳ）、操作入力部２１は、編集操作の対象となるオブジェクトの共有表示領域部２３における座標情報を描画制御部２２に出力する。描画制御部２２は、編集操作の対象となるオブジェクトを含む所定の範囲を個別表示領域部２４に表示させる（Ｓ１２）。なお、編集操作の対象となるオブジェクトが選択されない場合には（Ｓ１１、ＮＯ）、クライアント２０の動作はオブジェクト選択待ち（待機）する。

操作入力部２１は、個別表示領域部２４に表示されたオブジェクトのうちユーザにより選択されたオブジェクトに対してユーザの指により編集操作された場合に（Ｓ１３、ＹＥＳ）、編集操作（入力操作）の座標情報を描画制御部２２に出力する。描画制御部２２は、編集操作（入力操作）の座標情報を操作入力部２１から取得すると、「手描き情報」を生成し（Ｓ１４）、生成された「手描き情報」に従って、ユーザによって手描きされたデータ（例えば手描き文字）を個別表示領域部２４に描画（表示）する（Ｓ１５）。描画制御部２２は、「手描き情報」を間接手描き情報補正部２６に出力する。

なお、オブジェクト検出部２５は、描画制御部２２からの指示に応じて、共有表示領域部２３に表示されている再生中の動作に現れるオブジェクトを検出し、検出されたオブジェクトに関する「オブジェクト情報」を生成して間接手描き情報補正部２６に出力する。

一方、操作入力部２１は、個別表示領域部２４に表示されたオブジェクトに対してユーザの指により編集操作されない場合（Ｓ１３、ＮＯ）、「とじる」ボタン６７が押下されたか否かを判別する（Ｓ２２）。「とじる」ボタン６７が押下されていない場合には（Ｓ２２、ＮＯ）、クライアント２０の動作はステップＳ１３に戻る。「とじる」ボタン６７が押下された場合には（Ｓ２２、ＹＥＳ）、個別表示領域部２４が閉じられる。

間接手描き情報補正部２６は、描画制御部２２から出力された「手描き情報」とオブジェクト検出部２５から出力された「オブジェクト情報」から「間接手描き情報」を生成して手描きデータ管理部２７に出力する（Ｓ１６）。なお、間接手描き情報補正部２６は、「間接手描き情報」を生成する際、「手描き情報」の座標情報、描画ツールの種別及びパラメータにより特定される手描きされたデータ（例えば手描き文字）の画像をスタンプ化、即ち、編集操作によって個別表示領域部２４に手描きされたデータ（例えば手描き文字）の画像データをスタンプデータとして生成する。

手描きデータ管理部２７は、間接手描き情報補正部２６から「間接手描き情報」を取得すると、「間接手描き情報」を記憶部２７ａに記憶すると共に（Ｓ１７）、「間接手描き情報」を通信制御部２８及び描画制御部２２に出力する（Ｓ１８，Ｓ１９）。通信制御部２８は、「間接手描き情報」を他の通信端末に送信する（Ｓ２０）。描画制御部２２は、「間接手描き情報」を基に、再生部２９に再生されているコンテンツの「間接手描き情報」の経過時間情報に対応する時刻に、「間接手描き情報」のスタンプデータを、「間接手描き情報」の各情報に従って共有表示領域部２３に描画する（Ｓ２１）。

なお、図８では、ステップＳ１７からステップＳ２１までの動作は並列に実行されても良い。

（第３のユースケース）
次に、第３のユースケース３として、自通信端末（例えば、クライアント２０Ａ）が他の通信端末（例えば、ホスト１０又はクライアント２０Ｂ）から「直接手描き情報」又は「間接手描き情報」を受信し、「直接手描き情報」に従って他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）又は「間接手描き情報」に従って他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）のスタンプデータを共有表示領域部２３に描画（表示）する場合を説明する。

図９は、他の通信端末（例えば、クライアント２０Ｂ）から「直接手描き情報」又は「間接手描き情報」を受信して、他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）を描画する場合のクライアント２０Ａの機能的構成における各部の動作の流れを示す図である。

通信制御部２８は、他の通信端末（例えば、クライアント２０Ｂ）から「直接手描き情報」又は「間接手描き情報」を受信すると、「直接手描き情報」又は「間接手描き情報」を手描きデータ管理部２７に出力する。「直接手描き情報」又は「間接手描き情報」は、記憶部２７ａに記憶される。

手描きデータ管理部２７は、通信制御部２８から取得した「直接手描き情報」又は「間接手描き情報」を描画制御部２２に出力する。描画制御部２２は、「直接手描き情報」又は「間接手描き情報」を取得すると、「直接手描き情報」に従って他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）、又は「間接手描き情報」に従って他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）のスタンプデータを共有表示領域部２３に描画（表示）する。

図１０は、他の通信端末（例えば、クライアント２０Ｂ）から「直接手描き情報」又は「間接手描き情報」を受信して、他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）を描画する場合の自通信端末（例えば、クライアント２０Ａ）の動作手順を示すフローチャートである。図１０に示す動作手順を実行するためのプログラムは、クライアント２０ＡのＲＯＭに記憶され、クライアント２０Ａに内蔵されるＣＰＵによって実行される。なお、図１０の説明では、説明の都合上、クライアント２０Ａの各部の符号に、図４に示すクライアント２０の各部の符号と同一の符号を用いる。

通信制御部２８は、他の通信端末（例えば、クライアント２０Ｂ）から「直接手描き情報」又は「間接手描き情報」を受信したか否かを判別する（Ｓ３１）。通信制御部２８が「直接手描き情報」及び「間接手書き情報」のいずれも受信していない場合には（Ｓ３１、ＮＯ）、クライアント２０Ａの動作は終了又は「直接手描き情報」若しくは「間接手描き情報」の受信を待機する。

一方、通信制御部２８は、「直接手描き情報」又は「間接手描き情報」を受信した場合には（Ｓ３１、ＹＥＳ）、「直接手描き情報」又は「間接手描き情報」を手描きデータ管理部２７に出力する。手描きデータ管理部２７は、「直接手描き情報」又は「間接手描き情報」を記憶部２７ａに保存する（Ｓ３２）。

手描きデータ管理部２７は、「直接手描き情報」又は「間接手描き情報」の座標情報（絶対座標情報又は相対座標情報と各通信端末の表示部の大きさの情報）を基に、自通信端末（例えば、クライアント２０Ａ）の共有表示領域部２３の大きさに応じた相対座標を算出する（Ｓ３３）。手描きデータ管理部２７は、「直接手描き情報」又は「間接手描き情報」の座標情報を、ステップＳ３３により算出された相対座標に置き換え、座標情報が置き換えられた「直接手描き情報」又は「間接手描き情報」を描画制御部２２に出力する。

描画制御部２２は、座標情報が置き換えられた「直接手描き情報」又は「間接手描き情報」を基に、他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）又はスタンプデータを表示する共有表示領域部２３の絶対座標を算出する（Ｓ３４）。ステップＳ３４の後、描画制御部２２は、「直接手描き情報」における他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）、又は「間接手描き情報」における他の通信端末のユーザによって手描きされたデータ（例えば手描き文字）のスタンプデータを、「直接手描き情報」又は「間接手描き情報」の各情報に従って、ステップＳ３４により算出された共有表示領域部２３の絶対座標の位置に描画（表示）する（Ｓ３５）。これにより、クライアント２０Ａの動作は終了する。

以上により、本実施形態の通信システム１，１Ａ，１Ｂは、複数の端末間通信において共有された再生中の動画データに対する編集操作（手描き操作）に追従して、編集操作後の手描き画像を含む動画データを各々の通信端末の共有表示領域部にリアルタイムに反映させることができる。

また、通信端末（例えば、クライアント２０）は、再生中のコンテンツが表示される共有表示領域部２３とユーザの編集操作を受け付ける個別表示領域部２４との表示画面（ウインドウ）を別個に表示する。これにより、通信端末（例えば、クライアント２０）は、ユーザの編集操作の操作性を向上させ、編集操作の結果を共有表示領域部２３にて簡易に確認できる。

また、動画の再生中において、通信端末（例えば、クライアント２０）は、共有表示領域部２３に表示されている動画に現れるオブジェクトが移動又は変化する場合に、個別表示領域部において、オブジェクトの位置を略中心に固定して表示させる。これにより、通信端末（例えば、クライアント２０）は、ユーザがオブジェクトに対して編集操作する場合の操作性を向上させることができる。更に、通信端末（例えば、クライアント２０）は、再生中のコンテンツをリアルタイムに共有している他の通信端末（例えば、ホスト１０）に対して、コンテンツの再生を一時停止させる必要が無い。

また、通信端末（例えば、クライアント２０）は、再生中のコンテンツに現れるオブジェクトの移動又は変化と、編集操作により追加、修正又は削除された手描き画像の内容とをリアルタイムに追従させて表示する。これにより、通信端末（例えば、クライアント２０）は、動画の再生中におけるオブジェクトの移動又は変化に対し、手描き画像データが時間的且つ位置的にずれるような違和感を払拭することができる。

また、通信端末（例えば、クライアント２０）は、ユーザが編集操作の対象としてオブジェクトを選択する操作と異なる操作によって編集操作が実行されるので、編集操作の対象となるオブジェクトを、誤選択することなく排他的な操作として選択できる。

また、通信端末（例えば、クライアント２０）では、個別表示領域部２４のサイズが変更可能であるため、例えばサイズを拡大することで、オブジェクトの上に編集操作したい場合又はオブジェクトの周囲に編集操作したい場合に、ユーザの編集操作を簡易化できる。

また、通信端末（例えば、クライアント２０）は、編集操作の対象となるオブジェクトを個別表示領域部２４の略中心に表示し、又は動画の再生に合わせて共有表示領域部２３においてオブジェクトが検出されなくなった場合に検出されなくなる直前のオブジェクトを一時的に固定して表示する。これにより、通信端末（例えば、クライアント２０）は、編集操作の対象となるオブジェクトの位置を固定でき、ユーザの編集操作を効率化できる。

（第２の実施形態）
上述した特許文献１及び非特許文献１では、通信端末（例えばクライアント２０Ａａ）が外部のサーバ装置５０（図１（Ｃ）参照）から動画データをストリーミングして他の通信装置（例えば、クライアント２０Ｂ）とリアルタイムに動画データを共有し、更に、この動画データの過去の時点における動画データの内容をユーザが編集操作する形態は想定されていなかった。

例えば、上述した特許文献１及び非特許文献１において、通信端末を扱うユーザが他の通信端末とリアルタイムに共有している動画データの過去の時点における動画データの内容を編集操作することを想定する。ユーザが編集操作を希望する動画のシーンを見つけた場合、動画データが通信端末にダウンロードされて再生されている場合と異なり、動画データがストリーミングされていると、ユーザの希望した動画のシーンは直ぐに過去のシーンとなってしまう。このため、ユーザは、他の通信端末とリアルタイムに共有している動画データの中にユーザ自身が編集操作を希望した動画のシーンを見つけたとしても、その動画のシーンを簡単に編集することが困難であった。

第２の実施形態では、通信端末（例えば、クライアント２０Ａａ）は、外部のサーバ装置５０からストリーミングされた動画データを複数の通信端末間においてリアルタイムに共有している状態において、例えば既に再生された動画データの中にユーザが編集操作を希望する動画データのシーンを見つけた場合に、現在の再生時点より過去の時点に再生された動画データの編集を簡易に実現する。

（通信システムにおける通信形態）
本実施形態における複数の通信端末間の通信形態は、例えば図１（Ｃ）に示す通信形態である。具体的には、本実施形態の通信システムは、サーバ装置５０と、ネットワーク４０及びアクセスポイント１５を介してサーバ装置５０と通信可能な複数の通信端末としてのクライアント２０Ａａ，２０Ｂ，２０Ｃとを含む。

本実施形態では、サーバ装置５０の具体的な構成例の説明は省略するが、サーバ装置５０は、ネットワーク４０及びアクセスポイント１５を介して、共有対象のコンテンツをサーバ装置５０内に内蔵されるメモリに保持し、コンテンツを各々のクライアント２０Ａａ，２０Ｂ，２０Ｃにストリーミングする。以下、本実施形態の通信端末の一例としてクライアント２０Ａａを用いて説明する。

（第２の実施形態の概要）
第２の実施形態の概要について、図１１から図１７を参照して説明する。図１１から図１７では、図面の複雑化を避けるために、本実施形態の通信端末（例えば、クライアント２０Ａａ）の表示部の枠線の図示を省略している。図１１（Ａ）は、共有表示領域部２３に表示されている再生中の動画を一時停止する様子を示す図である。図１１（Ｂ）は、一時停止操作に応じて、個別表示領域部２４、編集可能区間バー７２及び動画のサムネイルＴＨ１〜ＴＨ８が表示された様子を示す図である。

図１１（Ａ）では、共有表示領域部２３にバス６１及びサボテン６３の各オブジェクトを含む動画のシーンが表示されている。クライアント２０Ａａは、クライアント２０Ａａを扱うユーザの指６５により、動画の編集開始操作としての一時停止操作の入力を受け付ける。即ち、指６５により、一時停止ボタン７１が押下される。

図１１（Ｂ）に示すように、クライアント２０Ａａは、一時停止ボタン７１の押下に応じて、共有表示領域部２３及び一時停止ボタン７１の他に、個別表示領域部２４、とじるボタン６７、編集可能区間を示す編集可能区間バー７２、ポインタ７３及び複数のサムネイルＴＨ１，ＴＨ２，ＴＨ３，ＴＨ４，ＴＨ５，ＴＨ６，ＴＨ７，ＴＨ８を表示部３０Ａに更に表示する。個別表示領域部２４は、第１の実施形態と同様に、クライアント２０Ａａを扱うユーザの編集操作の対象となる動画のシーンを示す画像フレームが表示される表示画面（ウインドウ）である。とじるボタン６７の押下により、個別表示領域部２４は閉じられる。

編集可能区間バー７２は、動画の編集、即ち、動画を構成する各々の画像フレームの編集操作が可能な期間を示すバーである。編集操作が可能な期間は、例えば、一時停止ボタン７１が押下されたときから所定期間（例えば１０秒）ほど過去の時点に遡った時点までであり、後述する映像バッファリング管理部８２が管理するバッファ８２ａのサイズに応じて定まる。

従って、バッファ８２ａのサイズが大きいほど、編集操作が可能な期間は長くなる。ポインタ７３は、一時停止ボタン７１が押下された時点を示すインジケータである。図１１（Ｂ）では、編集可能区間バー７２の右端部にポインタ７３が示されているが、ポインタ７３の表示位置は編集可能区間バー７２の右端部に限定されない。

各々のサムネイルＴＨ１〜ＴＨ８は、サーバ装置５０から動画データと共にストリーミングされても良いし、サーバ装置５０からストリーミングされた動画データを基にクライアント２０Ａａが生成しても良い。また、各々のサムネイルＴＨ１〜ＴＨ８は、編集可能区間バー７２により規定される編集可能区間ｅ（例えば１０秒）の間に再生された動画の各シーンの画像フレームに対応するサムネイルである。各々のサムネイルＴＨ１〜ＴＨ８の横方向の長さはサムネイルに対応する画像フレームの再生時間に対応し、例えば図１１（Ｂ）では、編集可能区間ｅの間に合計８個のサムネイルに対応する画像フレームが再生されていたことになる。

なお、編集可能区間バー７２により規定される編集可能区間ｅの間に再生された動画の各シーンの画像フレームに対応するサムネイルの数は、ユーザの入力操作（例えば、ピンチ操作）によって減少しても良い。例えば、編集可能区間ｅ（例えば１０秒）の間に合計８個のサムネイルが表示された後、ユーザのピンチ操作によって１／２倍に間引かれた４個のサムネイルが表示されても良い。また、表示可能なサムネイル数が固定である場合でも、ユーザ操作により編集可能区間の時間（例えば、サムネイル数が８個と固定された場合、編集可能区間を１０秒間から５秒間に変更する）を調整しても良い。これにより、本実施形態の通信端末（例えば、クライアント２０Ａａ）は、編集可能区間ｅにおいて、ユーザが編集対象としたいサムネイルを主体的に選択させることができ、編集作業における操作性を向上することができる。

図１２は、編集区間７４を指定する様子を示す図である。編集区間７４は、編集可能区間バー７２に対応する編集可能区間ｅを超えない区間であって、編集操作がなされる区間である。従って、編集可能区間ｅのうち編集区間７４において編集操作がなされた動画データの各画像フレームは、編集操作の終了後に動画データが確認用再生（後述参照）された場合に編集区間７４に該当する区間（時間帯）において表示される。

図１２に示す編集可能区間バー７２上において、指６５の入力操作（例えば、数値入力、選択又はスライド）によって編集区間７４（図１２のハッチング部参照）が指定されると、クライアント２０Ａａは、指定された編集区間７４の間に再生された動画の各シーンの画像フレームに対応するサムネイルＴＨ２，ＴＨ３，ＴＨ４，ＴＨ５，ＴＨ６を有効表示し、編集可能区間ｅのうち編集区間７４を除く非編集区間の間に再生された動画の各シーンの画像フレームに対応するサムネイルＴＨ１，ＴＨ７，ＴＨ８を無効表示する。

有効表示は、例えば図１２に示すように、編集区間７４において編集操作の対象となるサムネイルであることをユーザに対して明示的に認知させるためのする表示形態（例えば、ハイライト表示）である。無効表示は、例えば図１２に示すように、非編集区間において編集操作の対象とならないサムネイルであることをユーザに明示的に認知させるための表示形態（例えばフェードアウト表示）である。

なお、図１２では、有効表示の対象となるサムネイルＴＨ２〜ＴＨ６は実線にて示し、無効表示の対象となるサムネイルＴＨ１，ＴＨ７，ＴＨ８は点線にて示してある。有効表示及び無効表示の表示形態は図１２から図１７まで同様である。

図１３は、編集区間７４内において平仮名「でんしゃ？」の編集操作（手描き操作）がなされた後に平仮名「でんしゃ？」のスタンプデータの描画区間７６が指定された場合の様子を示す図である。編集区間７４の範囲に対応するいずれかのサムネイル（例えばサムネイルＴＨ２）が指６５により指定された結果、個別表示領域部２４にサムネイルＴＨ２の内容が表示されている場合に、指６５により、平仮名「でんしゃ？」が編集操作によって手描きされたとする。

クライアント２０Ａａは、編集操作に応じて、例えばポインタ７５をサムネイルＴＨ２の左端部に対応する編集区間７４の左端部に表示し、更に、ポインタ７５を用いた平仮名「でんしゃ？」のスタンプデータの描画区間７６の指定をユーザに促す。この促し方は、ポップアップ画面でも良いし、音声出力でも良いし、ランプの点灯でも良く、以下同様である。ユーザは、指６５の入力操作（例えばスライド操作）によって平仮名「でんしゃ？」のスタンプデータの描画区間７６を指定する。

図１３では、表示区間としての描画区間７６は、編集可能区間バー７２に対応する編集可能区間ｅを超えない区間であって、指６５の入力操作（例えばスライド操作）によって、サムネイルＴＨ２の左端部に対応する編集区間７４の左端部からサムネイルＴＨ５の右端部に対応する編集区間７４の右端部までの範囲（図１３のドットパターン部参照）が指定されたとする。

クライアント２０Ａａは、描画区間７６の指定に応じて、描画区間７６において再生された動画の各シーンの画像フレームに対応する各サムネイルＴＨ２〜ＴＨ５に、平仮名「でんしゃ？」のスタンプデータを表示し、更に、指定された描画区間７６において描画（表示）可能な平仮名「でんしゃ？」のスタンプデータの編集内容が反映された動画データを生成する。

なお、図１３から図１７では、図面の複雑化を避けるために、点線領域内のサムネイルＴＨ１〜ＴＨ８のうちいずれかのサムネイルにおいて平仮名「でんしゃ？」又は「ばす」のスタンプデータの表示を省略している。

図１４は、編集区間７４内において平仮名「ばす」の編集操作（手描き操作）がなされた後に平仮名「ばす」のスタンプデータの描画区間７７が指定された場合の様子を示す図である。編集区間７４の範囲に対応するいずれかのサムネイル（例えばサムネイルＴＨ６）が指６５により指定された結果、個別表示領域部２４にサムネイルＴＨ６の内容が表示されている場合に、指６５により、平仮名「ばす」が編集操作によって手描きされたとする。

クライアント２０Ａａは、編集操作に応じて、例えばポインタ７５をサムネイルＴＨ６の左端部に対応する編集区間７４の左端部に表示し、更に、ポインタ７５を用いたスタンプデータ「ばす」の描画区間７７の指定をユーザに促す。ユーザは、指６５の入力操作（例えばスライド操作）によって平仮名「ばす」のスタンプデータの描画区間７７を指定する。

図１４では、表示区間としての描画区間７７は、編集可能区間バー７２に対応する編集可能区間ｅを超えない区間であって、指６５の入力操作（例えばスライド操作）によって、サムネイルＴＨ６の左端部に対応する編集区間７４の左端部からサムネイルＴＨ６の右端部に対応する編集区間７４の右端部までの範囲（図１４のドットパターン部参照）が指定されたとする。

クライアント２０Ａａは、描画区間７７の指定に応じて、描画区間７７において再生された動画の各シーンの画像フレームに対応する各サムネイルＴＨ６に、平仮名「ばす」のスタンプデータを表示し、更に、指定された描画区間７７において描画（表示）可能な平仮名「ばす」のスタンプデータの編集内容が反映された動画データを生成する。

図１５は、平仮名「でんしゃ？」の編集操作（手描き操作）の軌跡を記録する様子を示す図である。クライアント２０Ａａは、一時停止ボタン７１の押下に応じて、軌跡記録ボタン７８を表示部３０Ａに表示する（図１５参照）。軌跡記録ボタン７８は、一時停止ボタン７１が押下された後にユーザの編集操作の内容を編集操作軌跡として記録するために用いられる。軌跡記録ボタン７８の押下により記録されたユーザの編集操作の軌跡全体又は軌跡全体の指定された一部は、ユーザの所定のボタン押下又は操作により、編集操作の終了後に確認用に描画（再生）が可能である。

編集区間７４の範囲に対応するいずれかのサムネイル（例えばサムネイルＴＨ２）が指６５により指定された結果、個別表示領域部２４にサムネイルＴＨ２の内容が表示されている場合に、指６５により、軌跡記録ボタン７８が押下されたとする。

クライアント２０Ａａは、軌跡記録ボタン７８の押下に応じて、ユーザの編集操作、即ち、平仮名「でんしゃ？」の編集操作（手描き操作）の内容を編集操作軌跡として記録すると共に、例えばポインタ７５をサムネイルＴＨ２の左端部に対応する編集区間７４の左端部に表示し、ポインタ７５を用いた平仮名「でんしゃ？」のスタンプデータの編集操作軌跡の描画区間７６の指定をユーザに促す。ユーザは、指６５の入力操作（例えばスライド操作）によって平仮名「でんしゃ？」のスタンプデータの編集操作軌跡の描画区間７６を指定する。

図１５では、描画区間７６は、指６５の入力操作（例えばスライド操作）によって、サムネイルＴＨ２の左端部に対応する編集区間７４の左端部からサムネイルＴＨ５の右端部に対応する編集区間７４の右端部までの範囲（図１５のドットパターン部参照）が指定されたとする。

クライアント２０Ａａは、図１５において編集操作軌跡の記録区間としての描画区間７６の指定に応じて、描画区間７６において、軌跡記録ボタン７８の押下に応じて記録された平仮名「でんしゃ？」のスタンプデータの編集操作軌跡を表示部３０Ａにおいて確認用に描画させ、更に、描画区間７６において描画可能な平仮名「でんしゃ？」のスタンプデータの編集操作軌跡を含む動画データを生成する。なお、図１５では、図面の複雑化を避けるために、とじるボタン６７の図示は省略している。

図１６（Ａ）は、編集区間７４のシフト前の様子を示す図である。図１６（Ｂ）は、編集区間７４のシフト後の様子を示す図である。クライアント２０Ａａは、図１６（Ａ）に示す平仮名「でんしゃ？」のスタンプデータの描画区間７６及び平仮名「ばす」のスタンプデータの描画区間７７が既に指定されている場合に、編集区間７４の時間的な位置を変更するための操作を受け付けることができる。クライアント２０Ａａは、指６５の編集区間７４の時間的な位置を変更するための操作（以下、単に「シフト操作」という）に応じて、平仮名「でんしゃ？」のスタンプデータの描画区間７６及び平仮名「ばす」のスタンプデータの描画区間７７を変更する。

編集区間７４のシフト操作に応じた描画区間７６及び７７の変更の具体的な一例として、図１６（Ａ）及び図１６（Ｂ）を用いて説明する。図１６（Ａ）に示すシフト操作前の状態では、編集区間７４は、サムネイルＴＨ４〜サムネイルＴＨ８が有効表示される区間であって、サムネイルＴＨ１〜ＴＨ３が無効表示される区間である。

描画区間７６はサムネイルＴＨ４の左端部に対応する編集区間７４の左端部からサムネイルＴＨ６の右端部に対応する編集区間７４の右端部までの範囲であり、編集区間７４の範囲に含まれる。非表示区間としての非描画区間７６ｄはサムネイルＴＨ１の左端部に対応する編集区間７４の左端部からサムネイルＴＨ３の右端部に対応する編集区間７４の右端部までの範囲であり、編集区間７４の範囲に含まれていない。非描画区間７６ｄは、指６５の入力操作（例えばスライド操作）によってユーザが希望した描画区間としてポインタ７５のスライドによって指定された範囲であるが編集区間７４に含まれていないため、非描画区間７６ｄの範囲ではスタンプデータは描画（表示）されない。

従って、図１６（Ａ）では、平仮名「でんしゃ？」のスタンプデータの描画区間として、描画区間７６は有効であるが、非描画区間７６ｄは無効である。なお、図１６（Ａ）では、描画区間７６は実線の枠線内にドットパターンを施した領域にて示され、非描画区間７６ｄは点線の枠線内にドットパターンを施した領域にて示されている。描画区 間７７はサムネイルＴＨ５の左端部に対応する編集区間７４の左端部からサムネイルＴＨ８の右端部に対応する編集区間７４の右端部までの範囲である。

図１６（Ａ）及び図１６（Ｂ）に示す編集区間７４のシフト操作に応じて、描画区間７６，７７及び非描画区間７６ｄの範囲が変更され、クライアント２０Ａａは、変更された描画区間７６，７７及び非描画区間７６ｄを表示部３０Ａに表示する。即ち、シフト操作後の編集区間７４は、サムネイルＴＨ２〜サムネイルＴＨ６が有効表示される区間であって、サムネイルＴＨ１，ＴＨ７，ＴＨ８が無効表示される区間である。なお、描画区間７６，７７及び非描画区間７６ｄの範囲は、編集区間７４の範囲を超えない範囲において、ユーザの入力操作に応じてそれぞれ変更されても良い。

シフト操作後の描画区間７６は、サムネイルＴＨ２の左端部に対応する編集区間７４の左端部からサムネイルＴＨ６の右端部に対応する編集区間７４の右端部までの範囲であり、シフト操作後の編集区間７４の範囲に含まれる。シフト操作後の非描画区間７６ｄは、サムネイルＴＨ１の左端部に対応する編集区間７４の左端部からサムネイルＴＨ２の左端部に対応する編集区間７４の左端部までの範囲であるが、シフト操作後の編集区間７４の範囲に含まれていない。

シフト操作後の非描画区間７６ｄは、シフト操作後においても、以前としてシフト操作後の編集区間７４に含まれていないため、同様に、非描画区間７６ｄの範囲でもスタンプデータは描画（表示）されない。

シフト操作後の描画区間７７は、サムネイルＴＨ５の左端部に対応する編集区間７４の左端部からサムネイルＴＨ６の右端部に対応する編集区間７４の右端部までの範囲であり、シフト操作後の編集区間７４の範囲に含まれる。シフト操作後の非描画区間７７ｄは、サムネイルＴＨ７の左端部に対応する編集区間７４の左端部からサムネイルＴＨ８の右端部に対応する編集区間７４の右端部までの範囲であるが、シフト操作後の編集区間７４の範囲に含まれていない。

シフト操作後の非描画区間７７ｄは、シフト操作後において、指６５の入力操作（例えばスライド操作）によってユーザが希望した描画区間としてポインタ７５のスライドによって指定された範囲であったが、編集区間７４のシフト操作によって編集区間７４が図１６（Ｂ）の左方向にシフトしたことでシフト操作後の編集区間７４に含まれなくなった。このため、シフト操作後の非描画区間７７ｄの範囲では、スタンプデータは描画（表示）されない。

なお、図１６（Ａ）及び図１６（Ｂ）の各個別表示領域部２４の内容はサムネイルＴＨ６に対応する。

図１７（Ａ）は、編集区間７４の分割前の様子を示す図である。図１７（Ｂ）は、編集区間７４の分割後の様子を示す図である。クライアント２０Ａａは、図１７（Ａ）に示す平仮名「でんしゃ？」のスタンプデータの描画区間７６及び平仮名「ばす」のスタンプデータの描画区間７７が既に指定されている場合に、編集区間７４を時間的に分割して例えば２つの編集区間７４１，７４２（図１７（Ｂ）参照）とするための操作を受け付けることができる。クライアント２０Ａａは、指６５の編集区間７４を時間的に分割するための操作（以下、単に「分割操作」という）に応じて、平仮名「でんしゃ？」のスタンプデータの描画区間７６及び平仮名「ばす」のスタンプデータの描画区間７７を変更する。

編集区間７４の分割操作に応じた描画区間７６及び７７の変更の具体的な一例として、図１７（Ａ）及び図１７（Ｂ）を用いて説明する。図１７（Ａ）に示す分割操作前の状態では、編集区間７４は、サムネイルＴＨ４〜サムネイルＴＨ８が有効表示される区間であって、サムネイルＴＨ１〜ＴＨ３が無効表示される区間である。

描画区間７６はサムネイルＴＨ４の左端部に対応する編集区間７４の左端部からサムネイルＴＨ６の右端部に対応する編集区間７４の右端部までの範囲であり、編集区間７４の範囲に含まれる。非表示区間としての非描画区間７６ｄはサムネイルＴＨ１の左端部に対応する編集区間７４の左端部からサムネイルＴＨ３の右端部に対応する編集区間７４の右端部までの範囲であり、編集区間７４の範囲に含まれていない。非描画区間７６ｄは、指６５の入力操作（例えばスライド操作）によってユーザが希望した描画区間としてポインタ７５のスライドによって指定された範囲であるが編集区間７４に含まれていないため、非描画区間７６ｄの範囲ではスタンプデータは描画（表示）されない。

なお、非描画区間７６ｄの範囲ではスタンプデータは表示部３０Ａの個別表示領域部２４に表示されないが、ユーザの入力操作としての編集区間７４のシフト操作によって、描画区間７６，７７におけるサムネイルが有効表示又は無効表示される。これにより、本実施形態の通信端末（例えば、クライアント２０Ａａ）は、編集区間７４における描画区間７６，７７に対応したサムネイルを表示部３０Ａに有効表示し、非描画区間７６ｄに対応したサムネイル無効表示することで、描画区間又は非描画区間におけるサムネイルをユーザに対して明示的に認知させることができる。

従って、図１７（Ａ）では、平仮名「でんしゃ？」のスタンプデータの描画区間としては、描画区間７６は有効であるが、非描画区間７６ｄは無効である。なお、図１７（Ａ）では、描画区間７６は実線の枠線内にドットパターンを施した領域にて示され、非描画区間７６ｄは点線の枠線内にドットパターンを施した領域にて示されている。描画区間７７はサムネイルＴＨ５の左端部に対応する編集区間７４の左端部からサムネイルＴＨ８の右端部に対応する編集区間７４の右端部までの範囲である。

図１７（Ａ）及び図１７（Ｂ）に示す編集区間７４の分割操作に応じて、編集区間７４が２つの編集区間７４１，７４２に分割され、描画区間７６，７７及び非描画区間７６ｄの各範囲が描画区間７６，７７及び非描画区間７６ｄ１，７６ｄ２，７７ｄに変更される。クライアント２０Ａａは、各々の描画区間７６，７７及び非描画区間７６ｄ１，７６ｄ２，７７ｄを表示部３０に表示する。

即ち、分割操作後の編集区間７４１はサムネイルＴＨ２〜サムネイルＴＨ４が有効表示される区間であって、分割操作後の編集区間７４２はサムネイルＴＨ７，ＴＨ８が有効表示される区間であって、分割操作後の編集区間７４１及び７４２の範囲に含まれないサムネイルＴＨ１，ＴＨ５，ＴＨ６が無効表示される区間である。

分割操作後の描画区間７６は、サムネイルＴＨ２の左端部に対応する編集区間７４１の左端部からサムネイルＴＨ４の右端部に対応する編集区間７４１の右端部までの範囲であり、分割操作後の編集区間７４１の範囲に含まれる。

分割操作後の非描画区間７６ｄ１は、サムネイルＴＨ１の左端部に対応する編集可能区間の左端部からサムネイルＴＨ２の左端部に対応する編集可能区間の左端部までの範囲であるが、分割操作後の編集区間７４１及び７４２の範囲に含まれていない。

分割操作後の非描画区間７６ｄ１は、分割操作後においても、以前として分割操作後の編集区間７４１及び７４２に含まれていないため、非描画区間７６ｄ１の範囲ではスタンプデータは描画（表示）されない。

分割操作後の非描画区間７６ｄ２は、サムネイルＴＨ５の左端部に対応する編集可能区間の左端部からサムネイルＴＨ６の右端部に対応する編集可能区間の右端部までの範囲であるが、分割操作後の編集区間７４１及び７４２の範囲に含まれていない。

分割操作後の非描画区間７６ｄ２は、分割操作後においても、以前として分割操作後の編集区間７４１及び７４２に含まれていないため、非描画区間７６ｄ２の範囲ではスタンプデータは描画（表示）されない。

分割操作後の描画区間７７は、サムネイルＴＨ７の左端部に対応する編集区間７４２の左端部からサムネイルＴＨ８の右端部に対応する編集区間７４２の右端部までの範囲であり、分割操作後の編集区間７４２の範囲に含まれる。

分割操作後の非描画区間７７ｄは、サムネイルＴＨ５の左端部に対応する編集可能区間の左端部からサムネイルＴＨ６の左端部に対応する編集可能区間の左端部までの範囲であるが、分割操作後の編集区間７４１及び７４２の範囲に含まれていない。

分割操作後の非描画区間７７ｄは、分割操作後において、指６５の入力操作（例えばスライド操作）によってユーザが希望した描画区間としてポインタ７５のスライドによって指定された範囲であったが、編集区間７４の分割操作によって編集区間７４１及び７４２に含まれなくなった。このため、分割操作後の非描画区間７７ｄの範囲では、スタンプデータは描画（表示）されない。

なお、図１６（Ａ）、図１６（Ｂ）、図１７（Ａ）及び図１７（Ｂ）では、図面の複雑化を避けるために、点線領域内に拡大図としてサムネイルＴＨ１〜ＴＨ８だけを表示し、各々の編集区間及び描画区間の拡大図示を省略している。

なお、図１７（Ａ）の個別表示領域部２４の内容はサムネイルＴＨ６に対応し、図１７（Ｂ）の個別表示領域部２４の内容はサムネイルＴＨ４に対応する。

（第２の実施形態の通信端末の機能的構成）
図１８は、第２の実施形態の通信端末（例えばクライアント２０Ａａ）の機能的構成を示すブロック図である。クライアント２０Ａａは、ＲＡＭ１６、ＲＯＭ１７、操作入力部２１、描画制御部２２、共有表示領域部２３、個別表示領域部２４、オブジェクト検出部２５、間接手描き情報補正部２６、手描きデータ管理部２７、通信制御部２８、再生部２９、描画区間管理部８１、映像バッファリング管理部８２及び軌跡記録管理部８３を含む。

図１８に示すクライアント２０Ａａは、図３に示すクライアント２０Ａの構成に、描画区間管理部８１、映像バッファリング管理部８２及び軌跡記録管理部８３を更に含む。図１８に示すクライアント２０Ａａの説明では、図３に示すクライアント２０Ａの構成及び動作と同様の内容には同一の符号を用いて説明を省略し、異なる内容について説明する。

操作入力部２１は、図１１に示す一時停止ボタン７１の押下操作、図１２に示す編集区間７４の指定操作、図１３、図１４若しくは図１５に示すポインタ７５を用いた描画区間７６若しくは７７の指定操作若しくは編集操作軌跡の記録期間の指定操作、図１５に示す軌跡記録ボタン７８の押下操作、及び、図１６若しくは図１７に示す編集区間７４のシフト操作若しくは分割操作の入力を受け付ける。操作入力部２１は、受け付けられた各操作に対応する表示部３０Ａの位置を示す座標情報を、受け付けられた操作の内容に応じて、描画制御部２２、描画区間管理部８１、映像バッファリング管理部８２及び軌跡記録管理部８３のうちいずれかに出力する。

描画区間管理部８１は、操作入力部２１から出力された座標情報を基に、ユーザの操作によって指定された編集区間７４、及び、編集区間７４内においてユーザの編集操作によって手描きされたスタンプデータ（例えば平仮名「でんしゃ？」のスタンプデータ）の描画区間７６の各情報を、スタンプデータに関連付けて管理する。本実施形態では、第１の実施形態において定義した「間接手描き情報」と、「間接手描き情報」に含まれるスタンプデータの描画区間７６と描画区間７６に対応する編集区間７４と、編集操作の対象となる動画データの識別情報とを含む情報を、「描画オブジェクト情報」と定義する。

描画区間管理部８１は、描画オブジェクト情報を手描きデータ管理部２７に出力して記憶部２７ａに記憶させる。また、描画区間管理部８１は、編集区間７４の範囲に含まれる描画区間７６以外に、編集区間７４の範囲に含まれない非描画区間７６ｄの情報を描画オブジェクト情報に含めて管理しても良い。

なお、「描画オブジェクト情報」の描画区間７６，７７の情報は、ユーザの操作によって指定された当初の編集区間の情報に限らず、図１６又は図１７に示すシフト操作又は分割操作によって変更された後の編集区間の情報でも良い。

映像バッファリング管理部８２は、サーバ装置５０からストリーミングされた動画データを通信制御部２８から入力し、バッファ８２ａのサイズに応じて定められた所定量（例えば１０秒分の動画データのサイズ）のサイズの動画データをバッファ８２ａにおいてバッファリングする。映像バッファリング管理部８２は、ユーザの一時停止ボタン７１の押下操作によって操作入力部２１から出力された座標情報を基に、バッファ８２ａのサイズに応じた所定量に相当する編集可能区間ｅの情報を描画制御部２２に出力する。描画制御部２２は、映像バッファリング管理部８２から出力された情報を基に、編集可能区間バー７２を表示部３０Ａに表示する（図１１（Ｂ）参照）。なお、映像バッファリング管理部８２は、編集可能区間ｅの情報を上述した描画オブジェクト情報に含めても良い。

軌跡記録管理部８３は、ユーザの軌跡記録ボタン７８の押下操作によって操作入力部２１から出力された座標情報を基にしてユーザの編集操作の内容を記録し、ユーザの編集操作軌跡の記録区間としての描画区間７６の指定操作に応じて、描画区間７６においてユーザの編集操作軌跡を描画（再生）可能とする動画データを生成する。軌跡記録管理部８３は、生成された動画データを手描きデータ管理部２７に出力して記憶部２７ａに記憶させる。

（第２の実施形態の通信端末の動作）
図１９は、第２の実施形態の通信端末（例えばクライアント２０Ａａ）の動作手順を説明するフローチャートである。図１９に示す動作手順を実行するためのプログラムは、クライアント２０ＡａのＲＯＭ１７に記憶され、クライアント２０Ａａに内蔵されるＣＰＵによって実行される。図１９の説明では、必要に応じて、図１１から図１７を参照する。

また、図１９の説明の前提として、サーバ装置５０からストリーミングされた動画データは、クライアント２０Ａａの通信制御部２８により受信されている。通信制御部２８により受信された動画データは、描画制御部２２、再生部２９及び映像バッファリング管理部８２に入力され、再生部２９において再生されている。動画データの内容は描画制御部２２により表示部３０Ａに表示されている。なお、図１８では、図面の複雑化を避けるために、通信制御部２８から描画制御部２２及び再生部２９への矢印の図示を省略している。

なお、図１９において図示していない本実施形態の通信端末の動作は、第１の実施形態において説明した図６，８，１０の各フローチャートの動作が適用可能である。

描画制御部２２は、先ず、操作入力部２１が一時停止ボタン７１の押下操作の入力を受け付けたか否かを判定する（Ｓ４１）。ユーザの指６５により、表示部３０Ａに表示されている一時停止ボタン７１が押下されると（Ｓ４１、ＹＥＳ、図１１（Ａ）参照）、操作入力部２１は、一時停止ボタン７１の押下操作の入力を受け付け、一時停止ボタン７１の表示部３０Ａにおける表示位置を示す座標情報を描画制御部２２及び映像バッファリング管理部８２に出力する。

映像バッファリング管理部８２は、ユーザの一時停止ボタン７１の押下操作によって操作入力部２１から出力された座標情報を基に、バッファ８２ａのサイズに応じた所定量に相当する編集可能区間ｅの情報を描画制御部２２に出力する。描画制御部２２は、映像バッファリング管理部８２から出力された情報を基に、編集可能区間ｅを示す編集可能区間バー７２を表示部３０Ａに表示する（Ｓ４２、図１１（Ｂ）参照）。

更に、描画制御部２２は、通信制御部２８から出力されている動画データのうち、映像バッファリング管理部８２から出力された編集可能区間ｅの情報に対応する編集可能区間に応じたサイズのサムネイルデータを生成する。描画制御部２２は、生成された編集可能区間ｅに応じたサイズのサムネイルデータを表示部３０Ａに表示する（図１１（Ｂ）参照）。

また、描画制御部２２は、通信制御部２８から出力されたデータの中に動画データと動画データのサムネイルとが含まれている場合には、映像バッファリング管理部８２から出力された編集可能区間ｅの情報に対応する編集可能区間に応じたサイズのサムネイルデータを表示部３０Ａに表示する（図１１（Ｂ）参照）。なお、表示部３０Ａの個別表示領域部２４に初期的に表示されるサムネイルデータは、ステップＳ４１において一時停止ボタン７１が押下されたときの動画データの画像フレームに対応するサムネイルデータでも良いし、編集可能区間ｅの間に再生された動画の複数のサムネイルデータのうちいずれかのサムネイルデータでも良い。

描画制御部２２は、操作入力部２１が編集区間７４の指定操作の入力を受け付けたか否かを判定する（Ｓ４３）。ユーザの指６５のスライド操作により、表示部３０Ａに表示されている編集可能区間バー７２に対して編集区間７４が指定されると（Ｓ４３、ＹＥＳ）、操作入力部２１は、編集区間７４の指定操作の入力を受け付け、指定された編集区間７４の範囲を示す座標情報を描画制御部２２及び描画区間管理部８１に出力する。描画制御部２２は、指定された編集区間７４の範囲を編集可能区間バー７２の範囲に重ねるように表示する（図１２参照）。描画区間管理部８１は、ユーザの編集操作の編集区間７４の情報を把握する。これにより、ユーザは、自己の編集操作の編集区間７４の範囲を表示部３０Ａにおいて明示的に認知できる。

なお、編集区間７４の指定方法は特に限定されないが、指定方法の一例を説明する。例えば、編集区間７４を指定するための指定ツールのアイコンが表示部３０Ａに表示されている場合（図１２では不図示）、ユーザの指６５によって、指定ツールのアイコンがタッチされて編集可能区間バー７２の押下後に所定範囲にわたってスライド操作される。これにより、編集区間７４の指定が可能となる。

次に、描画制御部２２は、操作入力部２１がユーザの編集操作を開始する旨の入力を受け付けたか否かを判定する（Ｓ４４）。ユーザの編集操作を開始する旨の入力を受け付けたと判定する場合は、例えば、操作入力部２１が、ユーザの指６５の操作の入力を受け付け、即ち、表示部３０Ａのいずれかの位置の座標を検出し、且つ、検出された座標情報が表示部３０Ａに表示されている編集操作開始ボタン（不図示）の範囲内である場合である。

操作入力部２１は、ユーザの編集操作を開始する旨の入力を受け付けた場合に（Ｓ４４、ＹＥＳ）、ユーザの編集操作を開始する旨の入力に応じて検出された座標情報を描画制御部２２に出力する。描画制御部２２は、操作入力部２１から出力された座標情報を基に、既に設定されたグルーピングルールの情報が記憶されているか否かを手描きデータ管理部２７に問い合わせる（Ｓ４５）。手描きデータ管理部２７は、記憶部２７ａを検索してグルーピングルールの情報が記憶されているか否かを判定し、記憶部２７ａに記憶されている場合にはグルーピングルールの情報を描画制御部２２に出力する。

なお、グルーピングルールは、ユーザの編集操作において、編集操作によって手描きされたオブジェクトが複数のオブジェクトにより形成されている場合に、各々のオブジェクトを一つのグループに纏めるか否かを定めるルールである。複数のオブジェクトにより形成されたオブジェクトは、例えば平仮名「でんしゃ？」のオブジェクトであって、「で」、「ん」、「し」、「ゃ」及び「？」の合計５つのオブジェクトにより形成されている。グルーピングルールは、例えば所定期間（例えば１秒又は２秒）内に描画された複数のオブジェクトを一つのオブジェクトにグルーピングすることである。但し、グルーピングルールは、ユーザの編集操作において、ユーザの操作によって指定されても良い。

例えば、グルーピングルールは、自通信端末（例えば、クライアント２０Ａａ）のユーザが他の通信端末（例えば、クライアント２０Ｂ）のユーザが手描きされたデータ（例えば手描き文字）を編集若しくは削除することを許可又は不許可することを定めた内容でも良いし、既に他の通信端末のユーザが編集操作したか否かを事前に通知することを定めた内容でも良い。なお、通知方法は、例えばポップアップ画面を表示したり、自通信端末に所定パターンの振動を与えたり、音声を出力したりすることで良い。

グルーピングルールの情報が予め記憶部２７ａに記憶されている、即ち、グルーピングルールが既に設定済みである場合には（Ｓ４５、ＹＥＳ）、描画制御部２２は、編集操作によって手描きされたデータ（例えば手描き文字）のオブジェクトに対して設定済みのグルーピングルールを用いてグルーピングすると判定し、クライアント２０Ａａの動作はステップＳ４８に進む。

グルーピングルールの情報が予め記憶部２７ａに記憶されていない、即ち、グルーピングルールが設定済みでない場合には（Ｓ４５、ＮＯ）、描画制御部２２は、ユーザの編集操作の開始時において、ユーザの操作によってグルーピングルールの指定があったか否かを、操作入力部２１から出力された座標情報を基にして判定する（Ｓ４６）。描画制御部２２は、ユーザの操作によってグルーピングルールの指定があったと判定した場合には（Ｓ４６、ＹＥＳ）、編集操作によって手描きされたデータ（例えば手描き文字）のオブジェクトに対してステップＳ４６において設定されたグルーピングルールを用いてグルーピングすると判定し、クライアント２０Ａａの動作はステップＳ４８に進む。

一方、描画制御部２２は、ユーザの操作によってグルーピングルールの指定がなかったと判定した場合には（Ｓ４６、ＮＯ）、編集操作によって手描きされたデータ（例えば手描き文字）のオブジェクトに対してグルーピングしないと判定し（Ｓ４７）、クライアント２０Ａａの動作はステップＳ４８に進む。

次に、軌跡記録管理部８３は、操作入力部２１が軌跡記録ボタン７８の押下操作の入力を受け付けたか否かを判定する（Ｓ４８、図１５参照）。ユーザの指６５により、表示部３０Ａに表示されている軌跡記録ボタン７８が押下されると（Ｓ４８、ＹＥＳ）、操作入力部２１は軌跡記録ボタン７８の押下操作の入力を受け付ける。軌跡記録管理部８３は、操作入力部２１から出力された座標情報を基に、ユーザの編集操作の内容を編集操作軌跡として記録を開始する。表示部３０Ａに表示されている軌跡記録ボタン７８が押下されない場合（Ｓ４８、ＮＯ）、軌跡記録管理部８３は、ユーザの編集操作の内容を編集操作軌跡として記録しないと判定し（Ｓ４９）、クライアント２０Ａａの動作はステップＳ５０に進む。

ステップＳ５０では、描画制御部２２は、個別表示領域部２４に表示された編集操作の対象となるサムネイルデータに対応する画像フレームの内容に編集操作によって手描きされた結果としての手描き文字（例えば平仮名「でんしゃ？」のスタンプデータ）を個別表示領域部２４に表示する（Ｓ５０）。また、ステップＳ５０では、平仮名「でんしゃ？」のスタンプデータの描画後に、ユーザの操作により、平仮名「でんしゃ？」のスタンプデータの描画区間７６が指定される（図１３参照）。描画区間管理部８１は、操作入力部２１がユーザの描画区間７６の指定操作の入力を受け付け、指定された描画区間７６の範囲を示す座標情報を基に、描画区間７６の情報を把握する。

ユーザの編集操作に応じて手描きされたデータ（例えば手描き文字）が個別表示領域部２４に表示されると、第１の実施形態と同様に、間接手描き情報補正部２６によって間接手描き情報が生成されると共に、描画制御部２２は、ステップＳ４５において設定済みのグルーピングルール又はステップＳ４６において指定されたグルーピングルールを基に、手描きされたデータ（例えば手描き文字）の各々のオブジェクトをグルーピングする（Ｓ５１）。なお、描画制御部２２がステップＳ４７においてグルーピングしないと判定した場合には、クライアント２０ＡａにおけるステップＳ５１の動作は省略されて次のステップＳ５２に進む。

描画制御部２２は、操作入力部２１が編集操作時において描画方法（例えば、描画ツール）の指定操作の入力を受け付けたか否かを判定する（Ｓ５２）。ユーザの指６５により、表示部３０Ａに表示されている複数の描画ツール（不図示）のうちいずれかの描画ツール（例えば、赤色の太い実線のペン）が指定されると（Ｓ５２、ＹＥＳ）、操作入力部２１は、描画方法としての描画ツールの指定操作の入力を受け付け、指定された描画ツールの表示部３０Ａにおける表示位置を示す座標情報を描画制御部２２に出力する。描画制御部２２は、操作入力部２１から出力された座標情報を基に、指定された描画ツールの情報を含む描画オブジェクト情報を生成する（Ｓ５３）。

なお、上述したように、本実施形態の描画オブジェクト情報は、具体的には、ステップ５２において指定された描画方法の情報、スタンプデータ、スタンプデータの座標、大きさ、傾き、動画再生開始時刻からの経過時間情報、編集操作に要した時間情報、ステップＳ４３において指定された編集区間７４の情報、ステップＳ５０において指定された描画区間７６の情報を少なくとも含み、編集操作軌跡のデータ、ステップＳ４６において指定されたグルーピングルールの情報も更に含んでも良い。

なお、表示部３０Ａに表示されている複数の描画ツール（不図示）のうちいずれの描画ツールも指定されていない場合には（Ｓ５２、ＮＯ）、描画制御部２２は、例えば黒色の細いペンを規定の描画ツールとして初期的に選択し、選択された描画ツールの情報を含む描画オブジェクト情報を生成する（Ｓ５４）。

ステップＳ５５ではユーザの編集操作が継続するか否かが判定され、ユーザの編集操作が継続する限り（Ｓ５５、ＹＥＳ）、クライアント２０Ａａの動作はステップＳ４８からステップＳ５４までの動作を繰り返す。ユーザの編集操作が終了した場合には（Ｓ５５、ＮＯ）、操作入力部２１は、ユーザの編集操作の終了操作の入力を受け付け、ユーザの編集操作の終了操作ボタンの表示部３０Ａにおける表示位置を示す座標情報を描画制御部２２に出力する。

軌跡記録管理部８３は、操作入力部２１から出力された座標情報を基に、ステップＳ４８において指示された編集操作軌跡の記録を終了する（Ｓ５６）。但し、描画制御部２２がステップＳ４９において記録しないと判定した場合には、クライアント２０ＡａにおけるステップＳ５６の動作は省略されて次のステップＳ５７の動作に進む。更に、編集操作軌跡の記録区間としての描画区間７６がユーザの操作によって指定されている場合には、指定された描画区間７６に対応する時間が経過した後に、軌跡記録管理部８３は、編集操作軌跡の記録を終了させても良い。

ステップＳ５６の後又はステップＳ４４において編集操作が開始されなかった場合には、描画制御部２２は、操作入力部２１が編集区間７４の変更操作の入力を受け付けたか否かを判定する（Ｓ５７）。ユーザの指６５により、編集区間７４が変更されると（Ｓ５７、ＹＥＳ）、操作入力部２１は、編集区間７４の変更操作の入力を受け付け、変更された編集区間７４の範囲を示す座標情報を描画制御部２２及び描画区間管理部８１に出力する。描画制御部２２は、変更された編集区間の範囲を編集可能区間バー７２の範囲に重ねるように表示する（Ｓ５８、図１６（Ｂ）又は図１７（Ｂ）参照）。描画区間管理部８１は、変更後の編集区間の情報を把握する。これにより、ユーザは、自己の変更操作後の編集区間の範囲を表示部３０Ａにおいて明示的に認知できる。

ステップＳ５８の後又はステップＳ５７において編集区間が変更されない場合に、描画制御部２２は、操作入力部２１が編集操作の内容を確認するための確認用再生の操作の入力を受け付けたか否かを判定する（Ｓ５９）。なお、編集操作の内容は、ステップＳ４８からステップＳ５６までに記録された編集操作軌跡でも良いし、編集操作軌跡として記録されていない場合の編集操作の内容でも良い。

なお、ステップＳ６０は、自通信端末（例えば、クライアント２０Ａａ）と他の通信端末（例えば、クライアント２０Ｂ）とが編集操作後の動画の各シーンを同時に確認するための確認用再生でも良い。この場合、確認用再生の前に、編集操作を行った自通信端末又は他の通信端末は相手方の通信端末に対し、編集操作後の動画に対する描画オブジェクト情報を送受信して共有する。自通信端末と他の通信端末とがそれぞれ異なる内容の編集操作が行われた場合には、両方の通信端末において編集操作された動画の内容がそれぞれ確認用再生される。

また、自通信端末が編集操作を行った編集区間７４に他の通信端末が編集操作を行っていた場合には、編集区間７４における確認用再生において、両方の通信端末において編集操作の内容が同時に重畳して再生されても良い。

また、自通信端末は、自通信端末が編集操作を行った編集区間７４に他の通信端末が編集操作を行っていた場合には、その旨を確認用再生前にユーザに対して通知し、ユーザの編集操作の内容の重畳可否に対する指示に応じて、編集操作の内容を重畳する又は重畳しないように確認用再生しても良い。なお、通知方法は、例えばポップアップ画面を表示したり、自通信端末に所定パターンの振動を与えたり、音声を出力したりすることで良い。

また、自通信端末は、例えば確認用再生の後に、他の通信端末から受信した描画オブジェクト情報を編集しても良く、例えば他の通信端末が行った編集操作の内容を上書き又は削除しても良い。

ユーザの指６５により、編集操作の内容を確認するための確認用再生の操作がなされると（Ｓ５９、ＹＥＳ）、操作入力部２１は、編集操作の内容を確認するための確認用再生の操作の入力を受け付け、確認用再生の操作ボタンの表示部３０Ａにおける表示位置を示す座標情報を描画制御部２２に出力する。描画制御部２２は、操作入力部２１から出力された座標情報を基に、ステップＳ４４からステップＳ５６までの動作においてなされた編集操作の内容を再生して個別表示領域部２４に描画（再生）する（Ｓ６０）。

ステップＳ６０の後又はステップＳ５９において確認用再生の操作が入力されない場合、描画制御部２２は、生成された描画オブジェクト情報を手描きデータ管理部２７に出力して記憶部２７ａに記憶させる（Ｓ６１）。手描きデータ管理部２７は、描画オブジェクト情報を通信制御部２８に出力して他の通信端末（例えばクライアント２０Ｂ）に送信させる（Ｓ６２）。以上により、図１９に示すクライアント２０Ａａの動作は終了する。

以上により、本実施形態の通信端末、通信端末を含む通信システムは、外部のサーバ装置５０からストリーミングされた動画データを複数の通信端末間においてリアルタイムに共有している状態において、例えば既に再生された動画データの中にユーザが編集操作を希望する動画データのシーンを見つけた場合に、即ち、一時停止ボタン７１の押下時の動画データの再生時点より編集可能区間ほど過去の時点に対する動画データの編集を、ユーザの好みに合わせて簡易に実現できる。

また、通信端末（例えばクライアント２０Ａａ）は、所定期間における動画データのサムネイルデータＴＨ１〜ＴＨ８と映像バッファリング管理部８２により管理されるバッファ８２ａのサイズに応じた編集可能区間ｅを表す編集可能区間バー７２とを表示部３０Ａに表示する。これにより、通信端末（例えばクライアント２０Ａａ）は、ユーザに対して編集可能区間ｅを明示的に認知させることができ、更に、編集操作の対象となる過去の動画のシーンの画像フレームを確認させた上で、簡易に編集操作の対象となるシーンを選択できて編集を開始させることができる。

また、通信端末（例えばクライアント２０Ａａ）は、編集可能区間バー７２に対して指定された手描きされたデータ（例えば手描き文字）の画像データの表示区間としての描画区間７６と、非表示区間としての非描画区間７６ｄとに応じて、表示区間としての描画区間７６におけるサムネイルデータを有効表示し、非表示区間としての非描画区間７６ｄにおけるサムネイルデータを無効表示する。これにより、通信端末（例えばクライアント２０Ａａ）は、編集操作後の手描き手描きされたデータ（例えば手描き文字）の表示対象となるシーンの画像フレームと表示対象とならないシーンの画像フレームとを、サムネイルデータを用いて簡易に識別できる。

また、通信端末（例えばクライアント２０Ａａ）は、編集操作の受け付け時点（編集開始時点）から編集操作の終了時点までの編集区間７４の変更の指定に応じて、手描きされたデータ（例えば手描き文字）の表示区間と非表示区間とを変更し、変更された手描きされたデータ（例えば手描き文字）の表示区間と非表示区間とを表示部３０Ａに反映して表示させる。これにより、通信端末（例えばクライアント２０Ａａ）は、編集区間の変更操作に応じた編集区間の変更結果をユーザに対して明示的に認知させることができる。なお、編集区間の変更には、編集区間の分割も含まれる。

また、通信端末（例えばクライアント２０Ａａ）は、編集開始操作の受け付け時点から編集操作の終了時点までの編集区間における編集操作の内容を編集操作軌跡として記録する。これにより、通信端末（例えばクライアント２０Ａａ）は、編集操作の内容を他の通信端末に送信する前に、編集操作の内容として適切であるか否かをユーザに確認させることができる。

以上、図面を参照して各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、再生中のコンテンツ（動画）内のオブジェクトに対し、文字又は図形を手描きにて加える入力操作を示した。このような入力操作以外に、コンテンツ内に新たなオブジェクトを追加する、オブジェクトを変更する、予め保存されたパーツでオブジェクトを飾るといった編集操作を行うことも可能である。

第２の実施形態において、編集区間７４の変更操作には、編集区間７４をシフト（図１６（Ａ）及び図１６（Ｂ）参照）する操作、編集区間７４を分割（図１７（Ａ）及び図１７（Ｂ）参照）する操作に限定されない。例えば、２つ以上の編集区間に分割された複数の編集区間を結合して例えば１つの編集区間とする操作でも良い。この場合、結合前の状編集区間は図１７（Ｂ）に示す編集区間７４１及び７４２であり、結合後の編集区間は図１７（Ａ）に示す編集区間７４である。

同様に、編集区間７４の変更操作は、例えば編集区間７４の長さが編集可能区間ｅを超えない長さに変更される操作であっても良い。

第２の実施形態において、グルーピングルールに従ってグルーピングされたオブジェクトが例えばステップＳ６０の確認用再生において表示される場合、グルーピングされた一つのオブジェクトが順次描画されても良いし、グルーピングの対象となった各々のオブジェクトが同時に描画され始めても良い。

例えば、前者の場合、即ち、グルーピングされた一つのオブジェクトが順次描画される場合、グルーピングされた一つのオブジェクトが「でんしゃ？」である場合には、ステップＳ６０の確認用再生において、描画制御部２２は、個別表示領域部２４において、「で」、「でん」、「でんし」、「でんしゃ」、「でんしゃ？」のように、グルーピングされたオブジェクト「でんしゃ？」の各オブジェクトを順番に描画（表示）する。

例えば、後者の場合、即ち、グルーピングの対象となった各々のオブジェクトが同時に描画され始める場合には、ステップＳ６０の確認用再生において、描画制御部２２は、個別表示領域部２４において、グルーピングされた一つのオブジェクト「でんしゃ？」を構成する各々のオブジェクト「で」、「ん」、「し」、「ゃ」、「？」をそれぞれ同時に描画（表示）する。これにより、通信端末は、動画データを共有している各々の通信端末のユーザに対して、快適なエンターテインメントを提供できる。

本発明は、再生中のコンテンツを他の端末と共有する際、編集操作に応じたコンテンツを全端末の表示部にリアルタイムに反映させる通信端末、通信方法、通信プログラム及び通信システムとして有用である。

１、１Ａ、１Ｂ 通信システム
１０ ホストコンピュータ
１５ アクセスポイント
２０、２０Ａ，２０Ａａ、２０Ｂ、２０Ｃ クライアント
２１ 操作入力部
２２ 描画制御部
２３ 共有表示領域部
２４ 個別表示領域部
２５ オブジェクト検出処理部
２６ 間接手描き情報補完処理部
２７ 手描きデータ管理部
２７ａ 記憶部
２８ 通信制御部
３０、３０Ａ、３０Ｂ 表示部
４０ インターネット
５０ サーバ装置

Claims (20)

1. コンテンツデータを他の通信端末と共有する通信端末であって、
   前記コンテンツデータを再生する再生部と、
   前記再生されている前記コンテンツデータを表示する表示部と、
   前記コンテンツデータの再生中に、前記コンテンツデータに対する編集操作を受け付ける入力部と、
   前記編集操作に応じた描画情報を、前記コンテンツデータの再生に追従して前記表示部に表示させる表示制御部と、
   前記描画情報を前記他の通信端末に送信する通信部と、を備える通信端末。
2. 請求項１に記載の通信端末であって、
   前記再生されている前記コンテンツデータのオブジェクトを検出する検出部と、を更に備え、
   前記入力部は、
   前記検出された前記オブジェクトに対する前記編集操作を受け付け、
   前記表示制御部は、
   前記描画情報を前記検出された前記オブジェクトの移動又は変化に追従して前記表示部に表示させる通信端末。
3. コンテンツデータを他の通信端末と共有する通信端末であって、
   前記コンテンツデータを再生する再生部と、
   前記コンテンツデータの再生中に、前記コンテンツデータに対する編集操作を受け付ける入力部と、
   前記再生されている前記コンテンツデータを表示する共有表示領域部と、
   前記編集操作の対象となる前記コンテンツデータを表示する個別表示領域部と、
   前記個別表示領域部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報を、前記共有表示領域部に表示されている前記コンテンツデータの再生に追従して前記共有表示領域部に表示させる表示制御部と、
   前記描画情報を前記他の通信端末に送信する通信部と、を備える通信端末。
4. 請求項３に記載の通信端末であって、
   前記入力部は、
   前記共有表示領域部に表示されている前記コンテンツデータから、前記編集操作の対象となるオブジェクトの選択を受け付け、
   前記表示制御部は、
   前記個別表示領域部において、前記選択された前記オブジェクトを固定して表示させる通信端末。
5. 請求項４に記載の通信端末であって、
   前記表示制御部は、
   前記個別表示領域部において、前記オブジェクトの周囲を前記コンテンツデータの再生に応じて表示させる通信端末。
6. 請求項３に記載の通信端末であって、
   前記再生されている前記コンテンツデータのオブジェクトを検出する検出部と、を更に備え、
   前記入力部は、
   前記共有表示領域部に表示されている前記コンテンツデータから、前記編集操作の対象となるオブジェクトの選択を受け付け、
   前記表示制御部は、
   前記個別表示領域部において、前記選択された前記オブジェクトが前記コンテンツデータの再生に応じて前記検出部により検出されなくなる場合に、前記検出されなくなる直前の前記オブジェクトを固定して表示させ、前記選択された前記オブジェクトが前記コンテンツデータの再生に応じて前記検出部により検出される場合に、前記固定して表示された前記オブジェクトを、前記コンテンツデータの再生に追従して表示させる通信端末。
7. 請求項４〜６のうちいずれか一項に記載の通信端末であって
   前記入力部は、
   前記編集操作とは異なる操作により、前記オブジェクトの選択を受け付ける通信端末。
8. 請求項７に記載の通信端末であって、
   前記入力部は、前記個別表示領域部のサイズを変更するための所定の操作を受け付け、
   前記表示制御部は、
   前記受け付けされた前記所定の操作に応じて、前記個別表示領域部のサイズを変更する通信端末。
9. サーバ装置から送信されたコンテンツデータを他の通信端末と共有する通信端末であって、
   前記送信されたコンテンツデータを再生する再生部と、
   前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付ける入力部と、
   前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを表示する表示部と、
   前記編集開始操作を受け付けた時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶する記憶部と、
   前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報に対応する画像を表示させる表示制御部と、
   前記描画情報を前記他の通信端末に送信する通信部と、を備える通信端末。
10. 請求項９に記載の通信端末であって、
    前記記憶部は、
    前記所定期間における前記コンテンツデータのサムネイルデータを更に記憶し、
    前記表示制御部は、
    前記コンテンツデータに対する編集開始操作に応じて、前記所定期間における前記コンテンツデータのサムネイルデータと、前記所定期間に対応する編集可能区間バーとを前記表示部に表示させる通信端末。
11. 請求項１０に記載の通信端末であって、
    前記編集可能区間バーに対して指定された編集区間を、前記編集操作の対象となる前記コンテンツデータ毎に前記記憶部に記憶させる編集区間管理部と、を更に備え、
    前記表示制御部は、
    前記編集区間における前記コンテンツデータのサムネイルデータを有効表示し、前記所定期間のうち前記編集区間を除く非編集区間における前記コンテンツデータのサムネイルデータを無効表示する通信端末。
12. 請求項１１に記載の通信端末であって、
    前記編集区間管理部は、
    前記編集区間の変更の指定に応じて、前記所定期間内における前記画像データの表示区間と非表示区間とを、前記変更後の編集区間を超えない範囲において変更し、
    前記表示制御部は、
    前記変更された前記画像データの表示区間と非表示区間とを前記表示部に表示させる通信端末。
13. 請求項１１に記載の通信端末であって、
    前記編集区間管理部は、
    前記編集区間の分割の指定に応じて、前記所定期間内における前記画像データの表示区間と非表示区間とを、前記変更後の編集区間を超えない範囲において変更し、
    前記表示制御部は、
    前記変更された前記画像データの表示区間と非表示区間とを前記表示部に表示させる通信端末。
14. 請求項９〜１３のうちいずれか一項に記載の通信端末であって、
    前記編集区間における前記編集操作の内容を編集操作軌跡として記録する軌跡記録管理部と、を更に備え、
    前記表示制御部は、
    前記編集区間における前記編集操作軌跡を前記表示部に表示させる通信端末。
15. 通信端末がコンテンツデータを他の通信端末と共有する通信方法であって、
    前記コンテンツデータを再生するステップと、
    前記再生されている前記コンテンツデータを前記通信端末の表示部に表示するステップと、
    前記コンテンツデータの再生中に、前記コンテンツデータに対する編集操作を受け付けるステップと、
    前記編集操作に応じた描画情報を、前記コンテンツデータの再生に追従して前記表示部に表示させるステップと、
    前記描画情報を前記他の通信端末に送信するステップと、を有する通信方法。
16. コンテンツデータを他の通信端末と共有するコンピュータに、
    前記コンテンツデータを再生するステップと、
    前記再生されている前記コンテンツデータを前記通信端末の表示部に表示するステップと、
    前記コンテンツデータの再生中に、前記コンテンツデータに対する編集操作を受け付けるステップと、
    前記編集操作に応じた描画情報を、前記コンテンツデータの再生に追従して前記表示部に表示させるステップと、
    前記描画情報を前記他の通信端末に送信するステップと、を実行させるための通信プログラム。
17. 通信端末がサーバ装置から送信されたコンテンツデータを他の通信端末と共有する通信方法であって、
    前記送信された前記コンテンツデータを受信した時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶するステップと、
    前記送信されたコンテンツデータを再生するステップと、
    前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付けるステップと、
    前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを前記通信端末の表示部に表示するステップと、
    前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報に対応する画像を表示させるステップと、
    前記描画情報を前記他の通信端末に送信するステップと、を備える。
18. サーバ装置から送信されたコンテンツデータを他の通信端末と共有するコンピュータに、
    前記送信された前記コンテンツデータを受信した時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶するステップと、
    前記送信されたコンテンツデータを再生するステップと、
    前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付けるステップと、
    前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを前記通信端末の表示部に表示するステップと、
    前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報に対応する画像を表示させるステップと、
    前記描画情報を前記他の通信端末に送信するステップと、を実現させるための通信プログラム。
19. 複数の通信端末がコンテンツデータを共有する通信システムであって、
    前記通信端末は、
    前記コンテンツデータを再生する再生部と、
    前記再生されている前記コンテンツデータを表示する表示部と、
    前記コンテンツデータの再生中に、前記コンテンツデータに対する編集操作を受け付ける入力部と、
    前記編集操作に応じた描画情報を、前記コンテンツデータの再生に追従して前記表示部に表示させる表示制御部と、
    前記描画情報を前記他の通信端末に送信する通信部と、を備える通信システム。
20. サーバ装置と、前記サーバ装置から送信されたコンテンツデータを他の通信端末と共有する通信端末とを含む通信システムであって、
    前記通信端末は、
    前記送信されたコンテンツデータを再生する再生部と、
    前記コンテンツデータの再生中に、前記コンテンツデータに対する編集開始操作を受け付ける入力部と、
    前記編集開始操作に応じて、編集操作の対象となる前記コンテンツデータを表示する表示部と、
    前記編集開始操作を受け付けた時点から所定期間遡った時点までの前記送信されたコンテンツデータを記憶する記憶部と、
    前記表示部に表示された前記コンテンツデータに対する前記編集操作に応じた描画情報の表示区間の指定に応じて、前記所定期間を超えない前記表示区間の間、前記表示部に前記描画情報に対応する画像を表示させる表示制御部と、
    前記描画情報を前記他の通信端末に送信する通信部と、を備える通信システム。

Images