JP4270117B2 - 視聴者間コミュニケーション方法及び装置及びプログラム - Google Patents

Description

本発明は、視聴者間コミュニケーション方法及び装置及びプログラムに係り、特に、視聴者が付与したコメント情報からコミュニケーションの対象となるシーン区間を生成、または変更するための視聴者間コミュニケーション方法及び装置及びプログラム関する。

従来、映像を視聴中のコミュニケーションの方法として、映像をシーンという小さな区間に分割して、区間毎に掲示板を設置し、区間の切り替わりと連動して掲示板も切り替わって表示されるシステムがある（例えば、非特許文献１参照）。

シーン区間の分割方法としては、映像の画像情報が大きく変わるカット点を検出し、当該カット点を手動で統合することにより映像の中で意味的なまとまりをもつ区間をシーン区間として設定する方法がある。

映像の中で意味的なまとまりをもつ区間をシーン区間として設定し、シーン区間誤とに電子掲示板を設置することにより、映像の途中にある見たいシーンから視聴すること、及び映像に複数のトピックがある場合には書くトピックに応じたコミュニケーションを誘導することができるようになる。
山田一穂、宮川和、森本正志、児島治彦"映像の構造情報を活用した視聴者間コミュニケーション方法の提案"情報処理学会研究報告グループウェアとネットワークサービス、No.43-007,2001

しかしながら、上記従来の技術では、コミュニケーションを活性化させるために、事前に映像を同じ話題のシーンに分割する必要がある。シーン分割を行うときに、映像情報の変わり目や音声や音楽の出現などの自動抽出したイベント情報を参考にするとしても、シーンの区切りを決定するには映像内容を把握して手動で修正や確認作業が必須であり、手間と時間がかかるという問題がある。

時間と手間を省くために、一定時間間隔でシーン分割する方法も考えられるが、この場合には、シーン区間の映像内容がまとまっていないため、シーン単位での電子掲示板に対して視聴者がコメントを付与しにくいという問題がある。

また、事前に設定するシーン区間は、サービス提供者の判断により、まとまった内容を区間として定義することになるが、システムが運用された後、コミュニケーションに参加した視聴者にとってまとまりのある区間が、事前に設定されたシーン区間と異なる場合には、運用中にシーン区間を変更する必要がある。前述の従来の技術では、このようなシーン区間のメンテナンスについても手動で行う必要があり、手間がかかるといいう問題がある。

本発明は、上記の点に鑑みなされたもので、視聴者から寄せられたコメントからシーン区間を自動的に抽出し、既にシーン区間が設定されている場合には、視聴者から寄せられたコメントに基づいて適切に更新することが可能な視聴者間コミュニケーション方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理説明図である。

本発明（請求項１）は、映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与（登録）することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与（登録）したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されている記憶手段からコメント情報を取得するコメント取得ステップ（ステップ１）と、
コメントが付与された時刻に基づいて、コメントを分類するコメント付与時刻グルーピングステップ（ステップ２）と、
コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、記憶手段に格納するシーン区間検出ステップ（ステップ３）と、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップ（ステップ４）と、
を行う。

本発明（請求項２）は、映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間のコメント及び該コメントが付与された時刻を含むコメント情報を取得するコメント取得ステップと、
シーン区間内のコメントに対して、コメントが付与された時刻に基づいて該コメントを分類するコメント付与時刻グルーピングステップと、
コメント付与時刻グルーピングステップでグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
シーン区間検出ステップで定義されたシーン区間に基づいて、記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割ステップと、
シーン区間分割ステップで分割されたシーン区間を用いて記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。

本発明（請求項３）は、映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及びシーン区間内のコメントを取得するコメント取得ステップと、
シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間の統合するシーン区間統合ステップと、
シーン区間統合ステップで統合されたシーン区間で、記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。

本発明（請求項４）は、映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
記憶手段に格納されているシーン区間及び該シーン区間内のコメント及び該コメントが付与された時刻を含むコメント情報を取得するコメント取得ステップと、
シーン区間内のコメントに対して、コメントが付与された時刻に基づいて、該コメントを分類するコメント付与時刻グルーピングステップと、
コメント付与時刻グルーピングステップでグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
シーン区間検出ステップで定義されたシーン区間に基づいて、記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割ステップと、
メモリに格納されているシーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
シーン区間統合ステップで統合されたシーン区間で、記憶手段のシーン区間を更新するシーン区間更新ステップと、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示ステップと、
を行う。

図２は、本発明の原理構成図である。

本発明（請求項５）は、映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与（登録）することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与（登録）したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されているデータ記憶手段２と、
データ記憶手段からコメント情報を取得するコメント取得手段３と、
コメントが付与された時刻に基づいて、コメントを分類するコメント付与時刻グルーピング手段４１と、
コメント付与時刻グルーピング手段４１でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、データ記憶手段に格納するシーン区間検出手段４２と、
シーン区間を単位として、記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置１０に表示する表示手段１と、
を有する。

本発明（請求項６）は、映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメントと該コメントが付与された時刻を含むコメント情報を取得するコメント取得手段と、
シーン区間内のコメントに対して、コメントが付与された時刻に基づいて、該コメントを分類するコメント付与時刻グルーピング手段と、
コメント付与時刻グルーピング手段でグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
シーン区間検出手段で定義されたシーン区間に基づいて、データ記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割手段と、
シーン区間分割手段で分割されたシーン区間を用いてデータ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。

本発明（請求項７）は、映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメントを取得するコメント取得手段と、
シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
シーン区間統合手段で統合されたシーン区間で、データ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。

本発明（請求項８）は、映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント及び該コメントが付与された時刻を含むコメント情報を取得するコメント取得手段と、
シーン区間内のコメントに対して、コメントが付与された時刻に基づいて該コメントを分類するコメント付与時刻グルーピング手段と、
コメント付与時刻グルーピング手段でグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
シーン区間検出手段で定義されたシーン区間に基づいて、データ記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割手段と、
メモリに格納されているシーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
シーン区間統合手段で統合されたシーン区間で、データ記憶手段のシーン区間を更新するシーン区間更新手段と、
シーン区間を単位として、データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて視聴者の端末装置に表示する表示手段と、
を有する。

本発明（請求項９）は、 映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与（登録）することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与（登録）したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、前記請求項１記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させるプログラムである。

本発明（請求項１０）は、映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントを該映像と同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、
請求項２乃至４記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させるプログラムである。

上記のように、本発明によれば、映像視聴と連動したコミュニケーションシステムにおいて、視聴者から寄せられたコメントからシーン区間を自動的に定義することが可能となり、また、既にシーン区間が設定されている場合には、適切に更新することが可能であるため、事前に映像をシーン区間に分割する手間と時間を省くことができる。

また、映像視聴と連動したコミュニケーションシステムを運用する中で、シーン区間の変更に対するメンテナンスをする必要がなくなる。

さらに、視聴者の視点で適切にシーンが区切られるので、視聴者にとって必要なシーンやコメントがよりフォーカスされることとなり、映像視聴しながらコメント内容を把握したり、コメント一覧を見ながら所望のシーンを検索したりすることが容易になる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態におけるコミュニケーション装置の構成を示す。同図に示すコミュニケーション装置は、視聴者間コミュニケーション部１、データ記憶部２、コメント取得部３、コメント分析によるシーン区間検出部４、シーン区間情報更新部５、及び設定ファイル６から構成される。

データ記憶部２は、映像を格納した映像ファイルと、視聴者が付与したコメントに関する情報を格納するコメント情報管理テーブルと、シーン区間に関する情報を管理するシーン区間情報テーブルを有する。本実施の形態では、コメント情報は、図４に示すようにコメント情報の管理テーブルで管理され、コメントの識別番号、コメントが付与された時刻、コメント付与者名、コメント内容、コメント種別（最初に付与したコメントであるか、誰かのコメントに対して返信したコメント（スレッド）であるかを識別するもの）で構成される。シーン区間情報は、図５に示すように、シーン区間情報テーブルで管理され、シーンＩＤ、シーンの開始時刻、シーンの終了時刻及び、当該シーンの開始時刻−シーンの終了時刻内に付与されたコメントのコメント識別番号から構成される。

設定ファイル６は、データ記憶部２にシーン区間情報が存在する場合には、当該シーン区間情報（シーンＩＤ，シーンの開始時刻、シーンの終了時刻）が格納されており、存在しない場合には、「ＮＵＬＬ」が格納されている。

視聴者間コミュニケーション部１は、データ記憶部２から映像と視聴者から寄せられたコメントとを同期させて提示する。ここで、設定ファイル６を参照して、対象とする映像に対するシーン区間情報がある（シーン開始時刻、シーン終了時刻）がある場合には、データ記憶部２にシーン区間情報があると判断し、データ記憶部２からシーン区間の映像の代表画像、例えば、シーン区間の先頭のフレーム画像と共に、当該シーン区間に付与されたコメントを一覧表示させて、どのようなシーン区間があり、また、各シーン区間にどのようなコメントが付与されているかを概観できるようにする。視聴者がシーン区間を選択したときには、その区間に対する映像を、シーン区間に基づいてデータ記憶部２を検索し、再生すると共に、その区間に付与されたコメントを表示する。

また、視聴者が視聴しながらコメント付与の指示を行うことによりコメントを入力したときには、コメント入力の対象となるシーン区間と共に、入力されたコメントを受け付ける。受け付けたコメントはシーンＩＤと共にデータ記憶部２に書き込む。

コメント取得部３は、予め設定したタイミングでデータ記憶部２のコメント情報管理テーブルからコメント情報を読み取り、読み取ったコメント情報をコメント分析し、シーン区間検出部４に出力する。

シーン区間検出部４は、コメント取得部３より取得したコメント情報からシーン区間を検出し、検出したシーン区間をシーン区間情報更新部５に出力する。

シーン区間情報更新部５は、シーン区間検出部４より受け取ったシーン区間に応じてデータ記憶部２に記憶されているシーン区間情報テーブルを更新する。

以上の構成により、コメント分析によるシーン区間検出部４で検出されたシーン区間に従って、映像視聴者のコミュニケーション機能が提供されることになる。

図６は、本発明の一実施の形態におけるコミュニケーション装置の動作の概要を示すフローチャートである。

ステップ１０１） 視聴者間コミュニケーション部１は、設定ファイル６を参照する。

ステップ１０２） 設定ファイル６を参照することにより、データ記憶部２にシーン区間が既に設定されているかを判定する。例えば、設定ファイル６には、設定されている場合には、シーン区間情報（例えば、シーンＩＤ，シーンの開始時刻／終了時刻）または、設定されていることを示すフラグ（例えば「１」）等が設定されているものとする。また、設定されていない場合には、「ＮＵＬＬ」または、設定されていないことを示すフラグ（例えば「０」）等が設定されているものとする。設定されていない場合には、ステップ１０３に移行し、後述する第１の実施の形態の処理を行う。設定されている場合には、ステップ１１０に移行し、後述する第２〜第５の実施の形態の処理を行う。

ステップ１０３） 第１の実施の形態として、データ記憶部２に格納されている映像とコメントを同期させてユーザ端末に表示する。

ステップ１０４） 視聴者からコメントが入力された場合には、当該コメントをデータ記憶部２に格納する。

ステップ１０５） コメント取得部３が、コメント情報をデータ記憶部２から取得して分析し、分析結果をシーン区間検出部４に渡す。

ステップ１０６） シーン区間検出部４は、取得した分析結果に基づいてシーン区間を検出する。詳細な処理は、第１の実施の形態で説明する。

ステップ１０７） シーン区間情報更新部５が、検出されたシーン区間をデータ記憶部２に格納する。

ステップ１０８） シーン区間情報更新部５が、設定ファイル６にシーン区間がデータ記憶部２に設定されたことを示すフラグまたは、シーン区間情報を設定する。

ステップ１０９） 視聴者間コミュニケーション部１がデータ記憶部２からシーン区間に対応する映像及びコメントをユーザ端末に表示する。

ステップ１１０） ステップ１０２において、データ記憶部にシーン区間が存在する場合には、シーン区間の代表映像を一覧表示する。

ステップ１１１） コメントが視聴者から入力された場合には、シーン区間に対応付けてデータ記憶部２に格納する。

ステップ１１２） コメント取得部３が、コメント情報をデータ記憶部２から取得して分析し、分析結果をシーン区間検出部４に渡す。

ステップ１１３） シーン区間検出部４は、取得した分析結果に基づいてシーン区間を検出する。詳細な処理は、第２〜５の実施の形態で説明する。

ステップ１１４） シーン区間情報更新部５が、検出されたシーン区間をデータ記憶部２に格納する。ステップ１０９に移行する。

［第１の実施の形態］
本実施の形態では、シーン区間情報がデータ記憶部２に設定されていない状態であり、新たにシーン区間を検出してデータ記憶部２に設定する処理を説明する。

図７は、本発明の第１の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。

同図に示す動作は、シーン区間が未定義、すなわち、データ記憶部２で管理されているシーン区間情報が、映像の先頭と終了が１つのシーンとなっている状態から、コメント分析により、新たなシーン区間を定義するものである。

ステップ２０１） シーン区間検出部４は、データ記憶部２のコメント情報の管理テーブルより、コメントが付与された時刻を読み出し、コメントを分類する。このとき、コメント種別が「返信」であるものを除いたコメントについて、付与された時刻が予め設定された値よりも短いものを同一のグループとする処理を行う。このときに、返信の数やコメント文字総数が大きいほどコメント間の時間間隔が小さくなるように処理を追加してもよい。また、分類した各グループのコメント数が予め設定された値以下の場合には、そのグループを削除する処理を行うことで、映像全体に対するコメント数が少ない場合に、短い区間に数多く分割されることを防止することができる。

シーン区間検出部４は、メモリ内に、Ｎ個のコメントグループを、付与された時刻が早い順に、ｎ＝１，２，…，Ｎの番号で管理する。

ステップ２０２） ｎ＝１とし、１番目のグループに対応するシーン区間を順次、検出する。

ステップ２０３） グループ番号ｎに属するコメントの中で、最初に付与された時刻ｔｓ（ｎ）を検出する。

ステップ２０４） グループ番号ｎに属するコメントの中で、最後に付与された時刻ｔｅ（ｎ）を検出する。

ステップ２０５） シーン区間を定義するときのマージンとして、区間の開始に対するマージン時間ａと、区間終了に対するマージン時間ｂを事前に設定しておき、時刻ｔｓ（ｎ）−ａと時刻ｔｅ（ｎ）＋ｂをシーン区間時刻として検出する。

ステップ２０６） 全てのコメントグループに対して処理を行ったかを判断する。行っている場合には、ステップ２０５の処理へ移行し、行っていない場合には、ステップ２０７の処理を実行する。

ステップ２０７） 次のコメントグループに対する処理を行う。

ステップ２０８） 全てのコメントグループに対してシーン区間時刻の設定処理を行った場合には、下記の区間をシーン区間として検出する。

映像時刻の先頭から時刻ｔｓ（１）−ａまでの区間；
時刻ｔｅ（ｎ）−ａから時刻ｔｅ（ｎ）＋ｂ （ｎ＝１，２，…，Ｎ−１）
時刻ｔｅ（ｎ）＋ｂから時刻ｔｓ（ｎ＋１）−ａ （ｎ＝１，２，…，Ｎ−１）
時刻ｔｓ（Ｎ）−ａから時刻ｔｅ（Ｎ）＋ｂ
時刻ｔｅ（Ｎ）＋ｂから映像時刻の最後
以上の処理により、シーン区間が定義される様子を図８に示す。同図では、コメントグループが３つに分類され、最終的に７つのシーン区間が定義されたことを示す。

シーンが定義されると、当該シーン区間をシーン区間更新部５に転送し、シーン区間更新部５がデータ記憶部２のシーン区間情報を更新する。シーン区間更新部５は、上記で得られたシーン毎にシーンＩＤを付与し、そのシーン毎の開始時刻（ｔｓ）と終了時刻（ｔｅ）、及び、当該開始時刻・終了時刻内のコメントの識別番号をデータ記憶部２のシーン区間情報テーブルに格納する。

［第２の実施の形態］
本実施の形態におけるコミュニケーション装置の構成は、図３に示す構成と同様である。

以下では、シーン区間が既に定義されている場合に（図６、ステップ１０２、Ｙｅｓ）、コメント分析により、新たなシーン区間が定義される手順を示す。

図９は、本発明の第２の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。なお、以下の処理において、図７に示すフローチャート同様の動作については同一のステップ番号を付し、その説明を省略する。

ステップ３０１） 既存のシーン区間の識別番号であるｓ（ｓ＝１，２，…，Ｓ）に対してｓ＝１に設定する。

ステップ３０２） データ記憶部２から識別番号ｓのシーン区間に対して付与されたコメント情報を読み取る。

ステップ２０１） ステップ３０２で取得したコメント情報を対象に、図７のステップ２０１のコメント分類処理を施す。

ステップ３０３） 分類されたコメントグループの数が１より大きいかを判定し、大きい場合には、ステップ２０２の処理に移行し、大きくない場合には、ステップ３０５に移行する。

以下、図７のステップ２０２，２０３，２０４、２０６，２０７の処理を実行する。

ステップ３０４） シーン区間ｓをコメントグループ数のＮ個の区間に分割する。ｎ個目とｎ＋１個目のシーン区間の区切りは、
ｔｅ（ｎ）＋（ｔｓ（ｎ＋１）−ｔｅ（ｎ））／２
とする。

ステップ３０５） 既存の全てのシーン区間に対して処理を行ったかを判断する。行っている場合には、全体の処理を終了し、行っていない場合には、ステップ３０４の処理を実行する。

ステップ３０６） 既存の次のシーン区間に対する処理を行う。

以上述べた処理により、既存のシーン区間が分割される様子を図１０に示す。同図における既存の「シーン区間２」が２つのコメントグループに分類されたため、処理終了後に定義されたシーン区間に示すように分割される。このように、長いシーン区間がある場合には、適切に分割されるようになる。

［第３の実施の形態］
本実施の形態におけるコミュニケーション装置の構成は、前述の図３に示す構成と同様である。

以下では、同図を用いてシーン区間が既に設定されている場合に（図６、ステップ１０２、Ｙｅｓ）、コメント分析により新たなシーン区間が定義される手順を示す。

本実施の形態では、既存のシーン区間の中に視聴者にとっては同一の話題である区間が複数の区間に分割されていた場合に、シーン区間検出部４において、それらの区間を類似度を用いて統合する処理について説明する。

図１１は、本発明の第３の実施の形態におけるコメント分析によるシーン区間検出部の処理のフローチャートである。

ステップ４０１） 既存のシーン区間の識別番号であるｓ（ｓ＝１，２，…，Ｓ）に対して、ｓ＝１を設定する。

ステップ４０２） データ記憶部２から、識別番号ｓとｓ+１のシーン区間に対して付与されたコメント情報を読み取る。

ステップ４０３） ステップ４０２で取得したコメント情報のコメント分に対して形態素解析を行う。

ステップ４０４） 形態素解析の結果から、識別番号ｓのシーン区間に対する名詞の頻度分布、及び、識別番号、ｓ＋１のシーン区間に対する名詞の頻度分布をそれぞれ求める。頻度分布を求めるときに、意味が類似した名詞の辞書データを用意しておくことで、類似した名詞をまとめてカウントする方法も有効である。

ステップ４０５） 予め設定しておいた以上の頻度の名詞について、識別番号ｓと識別番号ｓ＋１のシーン区間で共通した名詞の数ｎｓ（ｓ，ｓ＋１）を算出する。

ステップ４０６） 共通した名詞の数ｎｓ（ｓ，ｓ＋１）が予め設定しておいた値ＮＳより大きいかを判定する。大きい場合にはステップ４０７の処理に移行し、大きくない場合には、ステップ４０８の処理を実行する。

ステップ４０７） 識別番号ｓと識別番号ｓ＋１のシーン区間を統合して１つの区間とする。

ステップ４０８） データ記憶部２に存在する既存の全てのシーン区間に対して処理を行ったかを判断する。行っている場合には、全体の処理を終了し、行っていない場合にはステップ４０９の処理を実行する。

ステップ４０９）既存の次のシーン区間に対する処理を行う。

上記の処理により既存のシーン区間が統合される例を図１２に示す。同図における既存の「シーン区間２」と「シーン区間３」の類似度が大きいと判定され、これらが統合された例を示す。このように、既存のシーン区間の中に視聴者にとっては同一の話題である区間が複数の区間に分割されていた場合には、それらの区間が統合されるようになる。

［第４の実施の形態］
本実施の形態におけるコミュニケーション装置の構成は、図３に示す構成と同様である。

本実施の形態では、コメント分析によるシーン区間検出処理部４によるシーン区間の分割処理及びシーン区間の統合処理について説明する。つまり、前述の第２の実施の形態のシーン区間の分割と、第３の実施の形態のシーン区間の統合処理を組み合わせた例である。

前述の図９で説明した処理によりシーン区間の分割処理を行い、分割されたシーン区間をメモリに格納しておき、当該分割処理が行われた後のメモリに格納されているシーン区間について、図１１に示すシーン区間の統合処理を行う。

当該処理により、既存シーン区間の中に視聴者にとってシーン区間が長い区間と同一の話題である区間が複数の区間に分割されている区間が混在する場合には、それらの区間が分割・統合されるようになる。

ここで、重要なのは、コメント内容に基づいて、シーン区間を統合する処理を後に行うことにより、話題が同一区間は必ず同一のシーン区間として定義されることにある。

［第５の実施の形態］
本実施の形態におけるコミュニケーション装置の構成を図１３に示す。同図に示す構成は、前述の第１の実施の形態の図３に示す構成に視聴者ビュー区間記憶部７を付加した構成である。

本実施の形態では、コメント分析によるシーン区間検出処理部４によるシーン区間の分割処理及びシーン区間の統合処理について説明する。

上記に示した既にシーン区間が定義されている場合に、既存のシーン区間を分割、または、統合する処理において、シーン区間を分割、または、統合すると判定されたときには、既存のシーン区間はデータ記憶部２にそのまま保持し、分割または、統合されるシーン区間を視聴者ビュー区間として別に視聴者ビュー区間記憶部７に格納する。

これにより、ステップ１５０において、視聴者コミュニケーション部１は、視聴者ビュー区間記憶部７に視聴者ビュー区間が定義されていて、かつ、ユーザ操作の指示により視聴者ビューをシーン区間に置き換えるように設定された場合には、視聴者ビュー区間記憶部７の視聴者ビュー区間をデータ記憶部２のシーン区間に置き換えて、対応する映像とコメントをデータ記憶部２から読み出して提示する。

上記で述べた処理により、サービス提供者は、既存のシーン区間を固定的に使用したく、視聴者の中には、コメントの付与に基づいたシーン区間に変更したい要望があったときに、両者の要望を満足することができる。

また、上記の第１〜第５の実施の形態において、映像における画像情報が大きく変化するカット点から次のカット点までの区間、発話区間、音の発生区間のいずれかをイベント区間として検出しておき、検出したシーン区間がイベント区間と重なる場合には、区間の開始は、イベント区間の直前に、区間の終了はイベント区間の終了直後に変更する。なお、映像におけるイベント区間の検出方法については、既存の技術を用いるものとする。

また、上記の第１〜第５の実施の形態の各動作をプログラムとして構築し、コミュニケーション装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像中のシーンとコメントを表示するシステムに適用可能である。

本発明の原理構成図である。 本発明の原理説明図である。 本発明の一実施の形態におけるコミュニケーション装置の構成図である。 本発明の一実施の形態におけるシーン定義処理のフローチャートである。 本発明の一実施の形態におけるシーン定義処理の詳細なフローチャートである。 本発明の一実施の形態における多重シーン定義の状態を説明するための図である。 本発明の一実施の形態におけるシーン定義ファイルの例である。 本発明の一実施の形態における映像・コメント同期再生処理のフローチャートである。 本発明の一実施の形態における映像コメント同期再生処理のフローチャートである。 本発明の一実施の形態におけるユーザコメント記憶部に格納されるコメントの例である。 本発明の一実施の形態におけるコメント受付処理のフローチャートである。 本発明の一実施の形態におけるユーザからシーンに対するコメントを取得する画面例である。 本発明の一実施の形態におけるコメント取得時のシーンＩＤの判断方法の例である。

符号の説明

１０ ユーザ入力端末
１１ シーン定義部
１２ シーン定義手段、シーン定義登録部
２０ 表示手段、ユーザ表示端末
２１ 映像・コメント同期再生手段、映像・コメント同期配信部
２２ ユーザコメント受け取り部
３１ 映像記憶手段、映像記憶部
３２ シーン定義情報記憶手段、シーン定義情報記憶部
３３ ユーザコメント記憶手段、ユーザコメント記憶部

Claims (10)

1. 映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与（登録）することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与（登録）したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
   映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されている記憶手段からコメント情報を取得するコメント取得ステップと、
   前記コメントが付与された時刻に基づいて、前記コメントを分類するコメント付与時刻グルーピングステップと、
   前記コメント付与時刻グルーピングステップでグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、前記記憶手段に格納するシーン区間検出ステップと、
   前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
   を行うことを特徴とする映像視聴者間コミュニケーション方法。
2. 映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
   前記記憶手段に格納されているシーン区間及び該シーン区間のコメント及び該コメントが付与された時刻を含むコメント情報を取得するコメント取得ステップと、
   前記シーン区間内のコメントに対して、前記コメントが付与された時刻に基づいて該コメントを分類するコメント付与時刻グルーピングステップと、
   前記コメント付与時刻グルーピングステップでグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
   前記シーン区間検出ステップで定義されたシーン区間に基づいて、前記記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割ステップと、
   前記シーン区間分割ステップで分割されたシーン区間を用いて前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
   前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
   を行うことを特徴とする映像視聴者間コミュニケーション方法。
3. 映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
   前記記憶手段に格納されているシーン区間及びシーン区間内のコメントを取得するコメント取得ステップと、
   前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
   前記シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間の統合するシーン区間統合ステップと、
   前記シーン区間統合ステップで統合されたシーン区間で、前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
   前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
   を行うことを特徴とする映像視聴者間コミュニケーション方法。
4. 映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション方法において、
   前記記憶手段に格納されているシーン区間及び該シーン区間内のコメント及び該コメントが付与された時刻を含むコメント情報を取得するコメント取得ステップと、
   前記シーン区間内のコメントに対して、前記コメントが付与された時刻に基づいて、該コメントを分類するコメント付与時刻グルーピングステップと、
   前記コメント付与時刻グルーピングステップでグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出ステップと、
   前記シーン区間検出ステップで定義されたシーン区間に基づいて、前記記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割ステップと、
   前記メモリに格納されている前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出ステップと、
   前記シーン区間類似度算出ステップで求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合ステップと、
   前記シーン区間統合ステップで統合されたシーン区間で、前記記憶手段のシーン区間を更新するシーン区間更新ステップと、
   前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示ステップと、
   を行うことを特徴とする映像視聴者間コミュニケーション方法。
5. 映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与（登録）することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与（登録）したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
   映像、コメント及び少なくとも該コメントが付与された時刻及び該コメントの識別番号を含むコメント情報が格納されているデータ記憶手段と、
   前記データ記憶手段からコメント情報を取得するコメント取得手段と、
   前記コメントが付与された時刻に基づいて、前記コメントを分類するコメント付与時刻グルーピング手段と、
   前記コメント付与時刻グルーピング手段でグルーピングされたコメント群の付与時刻の中で最初と最後の時刻を基準として映像のシーン区間を定義し、前記データ記憶手段に格納するシーン区間検出手段と、
   前記シーン区間を単位として、前記記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
   を有することを特徴とする映像視聴者間コミュニケーション装置。
6. 映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
   シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
   前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメントと該コメントが付与された時刻を含むコメント情報を取得するコメント取得手段と、
   前記シーン区間内のコメントに対して、前記コメントが付与された時刻に基づいて、該コメントを分類するコメント付与時刻グルーピング手段と、
   前記コメント付与時刻グルーピング手段でグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
   前記シーン区間検出手段で定義されたシーン区間に基づいて、前記データ記憶手段に格納されている先に設定されているシーン区間を分割するシーン区間分割手段と、
   前記シーン区間分割手段で分割されたシーン区間を用いて前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
   前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
   を有することを特徴とする映像視聴者間コミュニケーション装置。
7. 映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
   シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
   前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメントを取得するコメント取得手段と、
   前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
   前記シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
   前記シーン区間統合手段で統合されたシーン区間で、前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
   前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
   を有することを特徴とする映像視聴者間コミュニケーション装置。
8. 映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントと該映像を同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーション装置であって、
   シーン毎に分割された映像、シーン区間、該シーン区間に対して入力された視聴者のコメントを格納するデータ記憶手段と、
   前記データ記憶手段に格納されているシーン区間及び該シーン区間内のコメント及び該コメントが付与された時刻を含むコメント情報を取得するコメント取得手段と、
   前記シーン区間内のコメントに対して、前記コメントが付与された時刻に基づいて該コメントを分類するコメント付与時刻グルーピング手段と、
   前記コメント付与時刻グルーピング手段でグルーピングされたコメントが付与された時刻の中で最初と最後の時刻を基準として、映像のシーン区間を定義するシーン区間検出手段と、
   前記シーン区間検出手段で定義されたシーン区間に基づいて、前記データ記憶手段に格納されている先に設定されているシーン区間を分割し、分割されたシーン区間をメモリに格納するシーン区間分割手段と、
   前記メモリに格納されている前記シーン区間内のコメント中の単語の出現傾向に基づいて、隣接するシーン区間の類似度を算出するシーン区間類似度算出手段と、
   前記シーン区間類似度算出手段で求めた類似度が、予め設定された値以上の場合には、隣接するシーン区間を統合するシーン区間統合手段と、
   前記シーン区間統合手段で統合されたシーン区間で、前記データ記憶手段のシーン区間を更新するシーン区間更新手段と、
   前記シーン区間を単位として、前記データ記憶手段から該シーン区間に対応するコメントと映像を読み出して、同期させて前記視聴者の端末装置に表示する表示手段と、
   を有することを特徴とする映像視聴者間コミュニケーション装置。
9. 映像を視聴している視聴者からコメント付与の指示を取得するとコメントを付与（登録）することができ、また、視聴者から映像視聴をする指示を取得すると、映像と視聴者が付与（登録）したコメントとを同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、
   前記請求項１記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させることを特徴とする映像視聴者間コミュニケーションプログラム。
10. 映像をシーンに分割しておき、シーン区間と、該シーン区間に対して視聴者から入力されたコメントとを記憶手段に格納しておき、該コメントを該映像と同期させて視聴者の端末装置に提示する映像視聴者間コミュニケーションプログラムであって、
    前記請求項２乃至４記載の映像視聴者間コミュニケーション方法を実現するための処理をコンピュータに実行させることを特徴とする映像視聴者間コミュニケーションプログラム。

Images