JP2010226630A - コメント処理機能を有した映像処理装置及びそのコメント処理方法 - Google Patents

Abstract

【課題】本発明の実施例では番組のハイライトシーンを判定するための情報量を多くし、ハイライトシーンの判定能力と信頼性を高める。
【解決手段】本発明の実施例は、番組を保存する記憶媒体装置102と、前記番組のシーンに対する視聴者からの複数のコメントを受信するコメント受信部106と、前記複数のコメントを予め設定している判断基準に基づき解析して、前記視聴者の注目度が高い注目シーンを特定する検出部108とを有する。
【選択図】図１

Description

本発明はコメント処理機能を有した映像処理装置及びそのコメント処理方法に関し、例えば視聴者からのコメントを反映してサムネイル映像、ダイジェスト映像などの作成支援を行う装置として有用である。

視聴者の嗜好を反映したインデックス情報を作成する装置が開発されている（例えば特許文献１）。この装置は、インデックス情報を作成する区間を決めるために、多くの視聴者がチャンネル切り替えを行わず１つの配信番組を標準速度で再生している区間があるかどうかを監視している。つまり、ある配信番組に関して、多くの視聴者が標準速度で再生している区間があるとしたら、この区間は多くに視聴者が関心を持っているハイライト区間であると判定するのである。また音声信号の盛り上がりをグラフ化し、盛り上がり区間をサムネイルに対応させるという考えかたもある（例えば特許文献２）。

特開２００２−１６９０３号公報 特開２００５−３１７１６５号公報

しかしながら、従来技術は視聴者の興味を解析するための情報量が少なく、ハイライトシーンの判定に信頼性が低い。

そこで本発明は、番組の中で多くの視聴者が特に注目する注目シーンを判定するための情報として視聴者コメントを用い、その情報量を多くし、注目シーンの判定能力と信頼性を高めることができるコメント処理機能を有した映像処理装置及びそのコメント処理方法を提供することを目的とする。

上記の課題を解決するために、本発明は、番組を保存する記憶媒体装置と、前記番組のシーンに対する視聴者からの複数のコメントを受信するコメント受信部と、前記複数のコメントを予め設定している判断基準に基づき解析して、前記視聴者の注目度が高い注目シーンを特定する検出部）とを有する。

上記の手段により本発明の一実施例は、注目度の高いシーンを特定するための情報量が視聴者からコメントであり、情報量が多くこのコメントを解析することで注目シーンの判定能力が極めて高いという有利性がある。

本発明の一実施例に係るブロック図である。 本発明の一実施例の機能を説明するために示した視聴者コメントデータベースの例を示す図である。 本発明の一実施例の機能を説明するためにハイライトの検出方法を示したフローチャートである。 本発明の一実施例の機能を説明するためにコメント追加速度を表した（所定区間当たりのコメントの入力数の変化を表した）グラフの例を示す図である。 本発明の一実施例の機能を説明するために視聴者コメントデータベースの利用例を示す図である。 本発明の一実施例の機能を説明するためにコメント追加速度を表した（所定区間当たりのコメントの入力数の変化を表した）グラフの他の例を示す図である。 本発明の他の実施例に係るブロック図である。 図７の実施例の機能を説明するために示した視聴者コメントデータベースの例を示す図である。 図７の実施例の機能を説明するために示した視聴者コメントデータベースの他の例を示す図である。 チャンネルWの番組と、チャンネルXの番組の好評シーンのダイジェストの例と、サムネイルの例を説明する図である。

以下、本発明の実施の形態について詳細に説明する。図1に、本発明の一実施例が適用され録画装置100の構成を示すブロック図である。この録画装置100は、インターネットなどのネットワークNTに接続することができる装置である。

前記ネットワークNTを通じて、この録画装置100は視聴者コメント情報を取り込むことができる。この機能については、後でさらに詳しく説明する。

録画装置100は、アンテナを介してチューナ部101が放送データを受信し、番組データを記録媒体装置であるハードディスクドライブ（HDD）102に録画する機能を持つ。また、録画した番組データは、デコーダ部103でMPEG2 (Moving Picture Image Coding Experts Group2)等のデコードを実施され、映像出力部104からテレビジョン装置111等に映像出力される。中央演算処理ユニット（CPU）105は録画装置100の各構成要素を統括的に制御する制御部である。

上記の録画装置の構成に加えて、さらに視聴者コメント受信部106が設けられている。この視聴者コメント受信部106は、視聴者コメント入力装置（後述する）から送信された視聴者コメントをネットワークNTを介して受信する。視聴者コメントの内容は、例えば日付、時間、チャンネル、コメントをもつものとする。受信された視聴者コメントは、視聴者コメント受信部106により格納部として設定された視聴者コメントデータベース107に格納される。

図2は、視聴者コメントデータベース107の内容の一例である。番組が放送された日付と、番組の放送時間と、番組のチャンネルと、視聴者より寄せられたコメントがグループとなっている。そして複数の視聴者からの複数のコメントがテーブル化されている。

視聴者コメント受信部106は、１つの番組の録画が開始されると、視聴者からのコメントの受信を開始する。そして視聴者コメントハイライト検出部108は、１つの番組の録画が終わった時点で、視聴者コメントデータベース107から該当する番組の視聴者コメントを取得し、視聴者コメントからハイライトになるシーンの時間（コメントハイライト時間と呼ぶ）を検出する（検出方法はフローチャートを参照して後述する）。

つまり視聴者コメントハイライト検出部108は、番組のシーンに対する視聴者からの複数のコメントを受信し、前記複数のコメントを予め設定している判断基準に基づき解析して、前記視聴者の注目度が高い注目シーンを特定している。

視聴者コメントハイライト検出部108は、複数のコメントから予め設定された否定的内容の語彙を除いたコメントを解析して、注目シーン（好評シーン）を特定することができる。また、視聴者コメントハイライト検出部108は、複数のコメント中の予め設定された否定的内容の語彙を含むコメントを解析して、注目シーン（ワーストシーン）を特定することができる。したがって、視聴者コメントハイライト検出部108や後述する視聴者コメントハイライト映像処理部109は、その名称が必ずしもハイライト検出或いはハイライト映像処理という名称に特定される必要はない。

視聴者コメントハイライト検出部108は求めたコメントハイライト時間（検出した注目目度の高い注目シーンの時間帯情報）を、視聴者コメントハイライト映像処理部109に送信する。視聴者コメントハイライト映像処理部109は、HDD102にある番組の映像データから、コメントハイライト時間に対応する画像データを取得し、例えばサムネイル或いはダイジェスト用映像を作成する。作成したサムネイル或いはダイジェスト用映像は、サムネイル或いはダイジェスト用ファイルとしてHDD102に格納する。

つまり視聴者コメントハイライト検出部108と視聴者コメントハイライト映像処理部（109）は、同一番組に関して番組のダイジェストを得る場合、注目シーンの複数を特定しそれぞれのシーンの映像を取り出す。また番組の映像のサムネイルを得る場合は、注目シーンの最も注目度が高い１つを特定し該シーンの映像を取り出す。

なお、録画装置100は、次に説明する視聴者コメント表示装置200の機能と視聴者コメント入力装置300の構成要素を有してもよい。また、録画装置100はネットワークに何台接続されてもよい。

ネットワークNTには、テレビ番組などの動画を視聴した複数の視聴者のコメントを共有するために、視聴者コメント表示装置200と視聴者コメント入力装置300が接続されている。

視聴者コメント表示装置200は、例えばパーソナルコンピュータに組み込まれた視聴者コメント受信部201と視聴者コメント表示処理部202をもち、視聴者コメントをモニタ等の表示装置211に表示することができる。

視聴者コメント入力装置300は、視聴者コメント入力部302と視聴者コメント送信部301をもちキーボード等の入力装置312から視聴者コメントを入力することができる。なお、視聴者コメント表示装置200と視聴者コメント入力装置300は、ネットワークNT上に何台接続されてもよい。

録画装置100は１つの番組を録画し終えた後、ハイライト区間における注目シーンのサムネイル、或いはダイジェストを作成する。ハイライトの検出方法を図3を用いて説明する。

ステップS000で、視聴者コメントハイライト検出部108が、視聴者コメントデータベース107から録画した番組に対応する全ての視聴者コメントを取得する。次のステップS001で、番組に対する視聴者コメントハイライト検出部108が、一定時間ごとのコメント量（コメント追加速度とよぶ）を計算する。このステップS001で計算したコメント追加速度は図4のようなグラフで表すことができる。次に、ステップS002で、視聴者コメントハイライト検出部108が、コメント追加速度の最大値を判定する。コメント追加速度の最大値をもつ時間Tmaxをコメントハイライト時間とする。

ステップS003では、視聴者コメントハイライト検出部108が、ステップS002で計算したコメントハイライト時間を、視聴者コメントハイライト映像処理部109に送信する。

次のステップS004では、視聴者コメントハイライト映像処理部109が、コメントハイライト時間に対応する時間の番組映像データを用いてサムネイルを作成する。

上記したように本発明の装置では、
（a）視聴者からのコメントを受信する視聴者コメント受信部106と、（b）少なくとも同一番組に関して、受信した複数の前記コメントを解析して前記コメントの数が所定区間当たり一定値以上となる区間を前記番組のハイライト区間として判定する視聴者コメントハイライト検出部108と、（c）前記ハイライト区間の前記番組の映像をダイジェスト用若しくはサムネイル用として取り出し別ファイルとする視聴者コメントハイライト映像処理部109とを有する。これにより番組のハイライトシーンを判定するための情報量が視聴者コメントであり、情報量が非常に多くその解析手段を有するために、ハイライトシーンの判定の能力が極めて高い。

この発明は上記の実施例に限定されるものではない。上記実施例において視聴者コメントハイライト検出部109が、コメントハイライト時間をコメント追加速度の最大値をもつ時間Tmaxから以下のように一定時間（Tmargin）早めて決定してもよい。これは、視聴者がコメント入力するタイムラグを考慮したものである。

コメントハイライト時間 ＝ Tmax − Tmargin
上記実施例において視聴者コメントハイライト検出部109が、さらに図5に示すように視聴者コメントデータベースにコメントが肯定的であるか否定的であるかを表すレベルをつけて、最も肯定的なコメントが多い時間をコメントハイライト時間に決定するようにしてもよい。基本的にはコメントの予め設定された語彙の否定的内容を除いてハイライト区間として判定する。

上記実施例においてさらに録画装置100が、送信部を介してコメントハイライト時間もしくは作成したサムネイルを他の機器に送信するようにしてもよい。

また、上記実施例において録画装置100への映像の入力手段はチューナからではなく、ネットワーク等その他の手段であってもよい。

上記実施例において、視聴者コメントハイライト検出部108と視聴者コメンハイライト映像処理部109がダイジェストのシーンを作成することができる。例えば、図6のように視聴者コメントハイライト検出部108が閾値を超えたコメント追加速度である複数の時間を検出し、視聴者コメンハイライト映像処理部109が検出した時間群のダイジェストのシーンを作成し、録画装置100がそのダイジェスト映像を出力する。またダイジェスト用映像は、ダイジェスト用ファイルとしてHDD102に格納される。

この発明は上記の実施形態に限定されるものではない。映像がストリーム配信であるシステムであってもよい。以下その実施例を説明する。

図7はこの発明の他の実施例を示す構成図である。本システムは一つ以上の映像・視聴者コメント・サムネイルクライアント装置300（以下クライアント装置）と、一つ以上の映像・視聴者コメントサムネイルサーバ装置400（以下サーバ装置）からなる。

まず、クライアント装置300のMPEG2等の映像データの処理に関する構成要素について説明する。クライアント装置300は、デコーダ301とCPU302を持ち、映像データをリアルタイムにデコードできる機能をもつ。また、デコードした映像データを映像・サムネイル・視聴者コメント表示処理部303（以下表示処理部）からモニタに出力し表示させるｋとができる。加えて、映像・視聴者コメント・サムネイル受信部304（以下クライアント受信部）でサーバ装置400から映像データをストリーム受信する機能をもつ。また、クライアント装置300はHDD305のMPEG2等の映像データを映像・視聴者コメント送信部306（以下クライアント送信部）からサーバ装置400にアップロードすることができる。

次に、クライアント装置300の視聴者コメントの処理に関する構成要素について説明する。ユーザは映像を見ながら視聴者コメントを付加できる。視聴者コメント入力部307で入力された視聴者コメントは、クライアント送信部306からサーバ装置400に送信される。また、クライアント装置300では、映像データに対応する視聴者コメントをクライアント受信部304で受信し表示処理部303からモニタに表示できる。

次に、クライアント装置300のサムネイル又はダイジェスト映像処理に関する構成要素について説明する。ユーザはサーバ400にある映像データをサムネイルで選択できる。クライアント受信部304でサムネイル又はダイジェスト映像を受信し表示処理部303で表示映像を出力することができる。

次にサーバ装置400の映像データ処理に関する構成要素について説明する。サーバ装置400はクライアント装置300からアップロードされた映像データを映像・視聴者コメント受信部401（以下サーバ受信部）から受信し、HDD402に格納することができる。格納された映像データは、例えば映像番号(1,2,3・・・)が割り振られる。また、サーバ装置400は、クライアント装置300へ映像データを映像・視聴者コメント・サムネイル受信部403（以下サーバ送信部）を用いて送信することができる。

次にサーバ装置400の視聴者コメントとサムネイル又はダイジェスト映像処理に関する構成要素について説明する。サーバ装置400は、視聴者コメントをサーバ受信部401で受信する。受信した視聴者コメントは視聴者コメントデータベース404に格納される。図8は、視聴者コメントデータベース404のデータの例を示す。ここでは、録画した番組に映像番号(1,2,3・・・)が割り当てられ、例えば番組の先頭時間を00：00：00として、視聴者コメントが到達した時間は、例えば番組の先頭時間からの相対時間で管理されている。

視聴者コメントハイライト検出部405と視聴者コメントハイライト映像処理部406は、視聴者コメントデータベース404から、該当する映像データに関する視聴者コメントから図1の実施例と同様にハイライトのサムネイル若しくはダイジェスト用映像を作成する。

サーバ装置400は作成したサムネイル或いはダイジェスト用映像をクライアント装置300に送信できる。また、サーバ装置400は映像に関する視聴者コメントをサーバ送信部401から送信できる。CPU407は上記のサーバ装置400の構成要素を統括して制御している。

またこの発明は図1及び図7の構成を組み合わせても実施してもよいことは勿論である。従来の技術では視聴者が最も注目するシーンをサムネイル或いはダイジェスト映像を得ることはできず精度が悪かった。しかし本発明では、視聴者のコメントからサムネイルを作成することで、視聴者が最も注目するシーンをサムネイルにすることができる。そのため、録画装置においてよりユーザにあった録画番組を検索することができるようになる。

図９には、さらに視聴者コメントデータベースの他の例を示し、図１０にはチャンネルWの番組とチャンネルXの番組の好評シーンのダイジェストの例と、サムネイルの例を説明する図である。データベースでは、チャンネルと日付及び時間帯におけるコメントが対応付けられている。したがって電子番組情報を利用して当該番組を特定し、また、管理情報から記録媒体に記録した番組名を特定することが可能である。ここでコメントが解析された結果、肯定的な語彙から肯定レベルが付与され、否定的な語彙から否定レベルが付与されている。数値が大きいほど肯定、或いは否定の視聴者意思が強いものとする。これらのデータベースを参照することで、多くの視聴者が注目した注目シーンを１つの番組について１つあるいは複数特定することができる。１つ特定した場合は、サムネイルとして利用でき、複数特定した場合はダイジェストシーンとして利用することができる。また、好評シーンと不評シーンを分類することも可能である。

図１０（A)は、テレビ装置111において、好評シーン、或いはワーストシーンをどの番組について視聴するかを設定する画面の例である。図１０（A）では、Wチャンネルの番組名「嵐の海」において、好評シーンをダイジェストで見る例を示している。また図１０（B)は別の設定例である。図１０（B)は、Xチャンネルの番組名「橋の上」において、好評であった、サムネイルを視聴するときの例である。

図１０（A)に示すように、設定画面と実行画面が切り替わっても良く、図１０（B)に示すように設定画面と実行画面が同一スクリーン上であってもよい。

本発明は、映像処理装置を有するテレビジョン受信装置、サーバ、記録再生装置、パーソナルコンピュータ、セットトップボックス、及び家庭用或いは業務用の自動編集装置などに適用されて有効である。

100・・・録画装置、101・・・チューナ部、102・・・HDD、103・・・デコーダ部、104・・・映像出力部、105・・・CPU、106・・・視聴者コメント受信部、107・・・視聴者コメントデータベース、108・・・視聴者コメントハイライト検出部、109・・・視聴者コメントハイライト映像処理部、200・・・視聴者コメント表示装置、201・・・視聴者コメント受信部、202・・・視聴者コメント表示処理部、300・・・視聴者コメント入力部、301・・・視聴者コメント送信部、302・・・視聴者コメント入力部。

Claims (10)

1. 番組を保存する記憶媒体装置と、
   前記番組のシーンに対する視聴者からの複数のコメントを受信するコメント受信部と、
   前記複数のコメントを予め設定している判断基準に基づき解析して、前記視聴者の注目度が高い注目シーンを特定する検出部と、
   を有することを特徴とするコメント処理機能を有した映像処理装置。
2. 前記検出部は、前記複数のコメントから予め設定された否定的内容の語彙を除いたコメントを解析して、前記注目シーンを特定することを特徴とする請求項１記載のコメント処理機能を有した映像処理装置。
3. 前記検出部は、前記複数のコメント中の予め設定された否定的内容の語彙を含むコメントを解析して、前記注目シーンを特定することを特徴とする請求項１記載のコメント処理機能を有した映像処理装置。
4. 前記番組の映像を処理する映像処理部を有し、前記検出部と映像処理部は、
   前記同一番組に関して、前記番組のダイジェストを得る場合、前記注目シーンの複数を特定しそれぞれのシーンの映像を取り出し、前記番組の映像のサムネイルを得る場合、前記注目シーンの最も注目度が高い１つを特定し該シーンの映像を取り出すことを特徴とする請求項１記載のコメント処理機能を有した映像処理装置。
5. 前記映像処理部は、前記複数のコメントを受信したときよりも一定時間進んでいる番組映像をダイジェスト用若しくはサムネイル用として取り出すことを特徴とする請求項４記載のコメント処理機能を有した映像処理装置。
6. さらに、前記ダイジェスト用若しくはサムネイル用として取り出した番組映像をモニタに出力する出力部を有することを特徴とする請求項４記載のコメント処理機能を有した映像処理装置。
7. さらに、前記ダイジェスト用若しくはサムネイル用として取り出した映像を保存する記録媒体を有することを特徴とする請求項４記載のコメント処理機能を有した映像処理装置。
8. さらに、前記ダイジェスト用若しくはサムネイル用として取り出した映像を他の機器へ送信する送信部を有することを特徴とする請求項４記載のコメント処理機能を有した映像処理装置。
9. さらに前記コメントを入力するコメント入力部を有したことを特徴とする請求項１記載のコメント処理機能を有した映像処理装置。
10. ネットワークに接続される受信部、受信信号を処理する処理部を有した映像処理装置のコメント処理方法において、
    番組を受信して保存するとともに、前記番組のシーンに対する視聴者からの複数のコメントを受信し、
    前記複数のコメントを予め設定している判断基準に基づき解析して、前記視聴者の注目度が高い注目シーンを特定することを特徴とする映像処理装置のコメント処理方法。

Images