JP5073535B2 - コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体 - Google Patents

コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP5073535B2
JP5073535B2 JP2008054104A JP2008054104A JP5073535B2 JP 5073535 B2 JP5073535 B2 JP 5073535B2 JP 2008054104 A JP2008054104 A JP 2008054104A JP 2008054104 A JP2008054104 A JP 2008054104A JP 5073535 B2 JP5073535 B2 JP 5073535B2
Authority
JP
Japan
Prior art keywords
content
video
content reproduction
additional information
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008054104A
Other languages
English (en)
Other versions
JP2009212860A (ja
Inventor
裕 大坪
哲郎 小林
正義 神原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008054104A priority Critical patent/JP5073535B2/ja
Publication of JP2009212860A publication Critical patent/JP2009212860A/ja
Application granted granted Critical
Publication of JP5073535B2 publication Critical patent/JP5073535B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、互いに異なる2つの動画コンテンツを再生するコンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体に関する。
近年、1画面上に2つの番組を同時に再生する機能を備えたテレビが開発されている。このような機能は、例えば、現在視聴している番組と同一時刻に放送されている番組(裏番組)を確認するために利用されている。具体的には、現在視聴している番組の裏番組としてスポーツ中継がある場合、他の番組を視聴しながら、裏番組であるスポーツ中継の試合結果を確認するなどの利用方法がある。この他にも、家族で視聴したい番組が異なる場合には、それぞれが視聴したい番組を1つのテレビで視聴することができるなどの利点がある。
また、PinP(ピクチャインピクチャ)機能を備えたテレビであれば、視聴したい番組を大きく表示し、裏番組を小さく表示するなど、ユーザーの視聴に合わせた表示方法をとることもできる。
しかし、1画面上に2つの番組を同時に再生する場合、再生されている双方の番組の音声がスピーカーから同時に出力されると、再生されている番組の内容の理解が困難となる問題がある。そのため、1画面上に2つの番組を同時に再生する場合には、スピーカーから出力される音声をどちらか1つにする必要がある。この場合、スピーカーから音声が出力される番組の内容は、映像と音声とからその内容を十分に理解することができるが、音声の出力されない番組では、画面上に映像が表示されるのみであるため、その番組の内容を理解するには限界がある。
他にも、一方の番組の音声をスピーカーから出力し、もう一方の番組の音声をヘッドホンから出力する方法、または、それぞれの番組の音声を左右別々のスピーカーから出力する方法などもある。しかし、いずれの方法であっても、双方の番組の音声を聞いてその内容を理解しなければならないことに変わりはないため、上記した問題を根本的に解決することにはならない。
本発明は、上記の問題に鑑みてなされたものであり、その主たる目的は、互いに異なる2つの動画コンテンツを再生する場合であっても、ユーザー(視聴者)が、再生されている全ての動画コンテンツの内容を理解することができるコンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体を提供することにある。
(コンテンツ再生装置)
本発明に係るコンテンツ再生装置は、上記課題を解決するために、
映像と付加情報とが再生時刻を介して互いに関連付けられている構造をそれぞれ有し、互いに異なる第1および第2のコンテンツを再生するコンテンツ再生装置であって、
上記第1のコンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツ再生制御手段と、
上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御手段とを備えていることを特徴としている。
本発明に係るコンテンツ再生装置において、第1のコンテンツ再生制御手段は、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示し、第2のコンテンツ再生制御手段は、音声出力を伴うことなく、付加情報および映像をいずれも表示装置に表示する。
これによって、ユーザーは、第1のコンテンツの内容を映像および音声から理解することができ、かつ、第2のコンテンツの内容を映像および付加情報から理解することができる。すなわち、コンテンツ再生装置が、互いに異なる2つの動画コンテンツを再生する場合であっても、ユーザーは、再生されている全ての動画コンテンツの内容を理解することができる効果を奏する。
(コンテンツ再生方法)
本発明に係るコンテンツ再生方法は、上記課題を解決するために、
映像と付加情報とが再生時刻を介して互いに関連付けられている構造をそれぞれ有し、互いに異なる第1および第2のコンテンツを再生するコンテンツ再生方法であって、
上記第1のコンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツ再生制御ステップと、
上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御ステップと、を含むことを特徴としている。
上記の構成によれば、本発明に係るコンテンツ再生装置と同様の作用効果を奏する。
(関連コンテンツの取得)
本発明に係るコンテンツ再生装置は、さらに、上記第1のコンテンツに関連する上記第2のコンテンツを取得する関連コンテンツ取得手段をさらに備えていることが好ましい。
上記の構成によれば、第2のコンテンツを、第1のコンテンツと関連性を有する関連コンテンツとして同時に再生することができると共に、ユーザーは、いずれの動画コンテンツの内容も理解することができる。これによって、ユーザーは、第1のコンテンツの内容をより一層掘り下げて知ることができる効果を奏する。
(関連コンテンツの取得方法)
本発明に係るコンテンツ再生装置は、さらに、上記第1のコンテンツおよび上記第2のコンテンツは、上記付加情報に含まれるキーワードに基づいて決定される複数の話題に区切られており、上記コンテンツ取得手段は、上記第1のコンテンツに含まれる各上記話題に関連するコンテンツを上記第2のコンテンツとして取得することが好ましい。
上記の構成によれば、関連コンテンツに含まれている複数の異なる話題を適宜抽出することによって、話題単位での関連コンテンツ(第2のコンテンツ)の視聴を可能にすることができる。
これによって、ユーザーは、第2のコンテンツのうち、第1のコンテンツに関連性の高い部分のみを短時間のうちに理解することができる効果を奏する。
(関連コンテンツの選択)
本発明に係るコンテンツ再生装置は、さらに、上記コンテンツ取得手段は、予め定められた閾値以上の相関度を有する話題を、上記第2のコンテンツとして選択することが好ましい。
上記の構成によれば、第1のコンテンツに対してある程度の関連性を有するコンテンツを第2のコンテンツとして自動的に取得することができる効果を奏する。
(関連コンテンツの選択)
本発明に係るコンテンツ再生装置は、さらに、上記コンテンツ取得手段は、相関度の高い順に、予め定められた数の話題を、上記第2のコンテンツとして選択することが好ましい。
上記の構成によれば、ユーザーは、第1のコンテンツに対して関連性の高いコンテンツを容易に識別することができる効果を奏する。
(関連コンテンツの選択)
本発明に係るコンテンツ再生装置は、さらに、上記コンテンツ取得手段は、相関度の最も高い話題を、上記第2のコンテンツとして選択することが好ましい。
上記の構成によれば、第2のコンテンツは、第1のコンテンツと最も関連性の高い動画コンテンツとなる。したがって、ユーザーは、第1のコンテンツの内容をさらに一層掘り下げて知ることができる効果を奏する。
(動画コンテンツの切り替え)
本発明に係るコンテンツ再生装置は、さらに、上記第1のコンテンツと、上記第2のコンテンツとをユーザーからの指示に基づいて入れ替えるコンテンツ切替手段をさらに備えていることが好ましい。
上記の構成によれば、第2のコンテンツの内容が第1のコンテンツの内容よりもユーザーにとって興味深い内容であった場合、第2のコンテンツと第1のコンテンツとを切り替えることにより、ユーザーにとって最も興味のある動画コンテンツを映像と音声とから楽しむことができる効果を奏する。
(各動画コンテンツの表示領域)
本発明に係るコンテンツ再生装置は、さらに、上記表示装置において、上記第1のコンテンツを再生する領域の大きさは、上記第2のコンテンツを再生する領域の大きさよりも大きいことが好ましい。
ユーザーが、第1のコンテンツをメインとして視聴する場合には、最も内容を理解したい動画コンテンツを最も大きく表示することができる。これによって、ユーザーが最も内容を理解したい動画コンテンツを最も集中しやすい環境において視聴することができる効果を奏する。
(コンテンツ再生システム)
本発明に係るコンテンツ再生システムは、上記課題を解決するために、
いずれもが映像と付加情報とが再生時刻を介して互いに関連付けられている構造を有する付加情報付コンテンツを再生する機能を有する第1のコンテンツ再生装置および第2のコンテンツ再生装置を備えたコンテンツ再生システムであって、
上記第1のコンテンツ再生装置は、
上記付加情報付コンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツとして再生する第1のコンテンツ再生制御手段と、
上記第1のコンテンツの付加情報を抽出する付加情報抽出手段と、
抽出した上記付加情報を、上記第2のコンテンツ再生装置へ送信する送信手段と、を備えており、
上記第2のコンテンツ再生装置は、
上記第1のコンテンツ再生装置から上記付加情報を受信する受信手段と、
上記付加情報に基づいて、上記第1のコンテンツに関連する第2のコンテンツを取得する関連コンテンツ取得手段と、
上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御手段と、を備えていることを特徴としている。
(コンテンツ再生システム)
本発明に係るコンテンツ再生システムは、上記課題を解決するために、
いずれもが映像と付加情報とが再生時刻を介して互いに関連付けられている構造を有する付加情報付コンテンツを再生する機能を有する第1のコンテンツ再生装置および第2のコンテンツ再生装置を備えたコンテンツ再生システムであって、
上記第1のコンテンツ再生装置は、
上記付加情報付コンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツとして再生する第1のコンテンツ再生制御手段と、
上記第1のコンテンツを、上記第2のコンテンツ再生装置へ送信する送信手段と、を備えており、
上記第2のコンテンツ再生装置は、
上記第1のコンテンツを、上記第1のコンテンツ再生装置から受信する受信手段と、
上記第1のコンテンツを再生する上記第1のコンテンツ再生制御手段と、
上記第1のコンテンツの付加情報に基づいて、上記音声出力コンテンツに関連する第2のコンテンツを取得する関連コンテンツ取得手段と、
上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御手段と、を備えていることを特徴としている。
上記の構成によれば、ユーザーは、第1のコンテンツおよび第2のコンテンツのいずれの内容も理解することができる効果を奏する。また、第2のコンテンツの内容から、第1のコンテンツの内容をより一層掘り下げて知ることができる効果も併せて奏する。
なお、本発明に係るコンテンツ再生装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記コンテンツ再生装置をコンピュータにおいて実現するコンテンツ再生プログラム、およびそのコンテンツ再生プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
以上のように、本発明に係るコンテンツ再生装置は、第1のコンテンツ再生制御手段は、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示し、第2のコンテンツ再生制御手段は、音声出力を伴うことなく、付加情報および映像をいずれも表示装置に表示する。
これによって、コンテンツ再生装置が、互いに異なる2つの動画コンテンツを再生する場合であっても、ユーザーは、再生されている全ての動画コンテンツの内容を理解することができる効果を奏する。
〔実施形態1〕
(字幕付コンテンツ)
本実施形態を説明するに先立って、まず、字幕付コンテンツ(付加情報付コンテンツ)の詳細について以下に説明する。字幕付コンテンツは、字幕と映像とが再生時刻を介して互いに関連付けられている構造を有する。すなわち、複数の字幕と、動画を構成する複数の映像とを含んでいる。そして、各映像のうち少なくとも一部には、その再生時刻を介して、字幕が関連付けられている。言い換えれば、全ての映像に字幕が関連付けられていなくでもよく、動画コンテンツ内には字幕のない映像が存在していてもよい。
また、字幕付コンテンツでは、必ずしもすべての映像に字幕が関連付けられているわけではない。通常は、ある特定の映像に対して字幕が関連付けられているのみであり、字幕付コンテンツ内において、字幕がまったく関連付けられていない映像が一定時間連続する箇所も多くある。そのため、字幕付コンテンツ内の字幕を続けて再生する場合、字幕が無い映像は表示しないことになる。これにより、視聴するユーザは、連続的に表示される字幕を読み進めることによって、字幕付コンテンツの内容を把握しつつ、字幕の無い部分の映像は視聴せずに済む。すなわち、ユーザーは、字幕付コンテンツの映像の一部だけを視聴するのみで、字幕付コンテンツの内容を把握することができる。
(コンテンツ再生装置)
本発明に係るコンテンツ再生装置は、互いに異なる2つのコンテンツを再生するコンテンツ再生装置であり、1つのコンテンツを、音声出力を伴い、かつ少なくとも映像を表示装置に表示する形で再生する再生制御手段と、他のコンテンツを、音声出力を伴わず、かつ付加情報の表示タイミングに同期させて映像を表示装置に表示する形で再生する再生制御手段とを備えている。このようなコンテンツ再生装置の詳細について、以下に説明する。
(コンテンツ再生装置1の構成)
本発明に係る一実施形態について、図1〜3を参照して以下に説明する。まず、本実施形態におけるコンテンツ再生装置の要部構成を図1に示す。コンテンツ再生装置1は、図1に示すように、再生制御部2、コンテンツ切替部3、操作入力部4、コンテンツ取得部5、コンテンツデータベース6、表示装置11および音声出力装置12を備えている。上記の各部材の機能については、以下に詳述する。なお、本実施形態では、付加情報が字幕である場合を例に挙げて説明する。
(再生制御部2)
再生制御部2は、例えば、再生する動画コンテンツの選択および再生している動画コンテンツの表示方法など、コンテンツ再生装置1における動画コンテンツの再生全般を制御する。図1に示すように、再生制御部2は、本線コンテンツ再生制御部(第1のコンテンツ再生制御手段)7、および従属コンテンツ再生制御部(第2のコンテンツ再生制御手段)8を備えている。それぞれの機能については、以下に説明する。
なお、本明細書等においては、音声出力を伴って再生される動画コンテンツ(第1のコンテンツ)を「本線コンテンツ」と称し、音声出力を伴うことなく再生される動画コンテンツ(第2のコンテンツ)を「従属コンテンツ」と称する。これらの名称は、本発明の理解を容易とするための便宜上のものであり、実際にいずれを本線コンテンツとして視聴し、いずれを従属コンテンツとして視聴するかは、コンテンツ再生装置1を用いるユーザーにより決定される。
(本線コンテンツ再生制御部7)
本線コンテンツ再生制御部7は、コンテンツ取得部5において取得された動画コンテンツ、またはコンテンツデータベース6に保存(録画、記録)されている動画コンテンツのうちの一つの動画コンテンツを本線コンテンツとして再生する。本線コンテンツ再生制御部7の動作については、下記に説明する。
(従属コンテンツ再生制御部8)
従属コンテンツ再生制御部8は、字幕付コンテンツを、従属コンテンツとして再生する。従属コンテンツ再生制御部8は、図1に示すように、字幕表示部9および映像表示部10を備えている。従属コンテンツ再生制御部8では、字幕表示部9が字幕を表示装置11に表示し、映像表示部10が映像を字幕と共に、表示装置11に表示する。
なお、図1には、字幕表示部9および映像表示部10が1つずつ備えられている場合について図示しているが、これに限定されるものではない。また、従属コンテンツを複数再生する場合には、各従属コンテンツの表示領域の大きさを相対的に小さくしなければならない。したがって、従属コンテンツが複数再生される場合には、ユーザーが従属コンテンツを視聴しやすくするために、従属コンテンツ再生制御部8は、再生するコンテンツの数および、従属コンテンツを表示する領域の大きさに応じて、表示する字幕の文字のフォントサイズを小さくしたり、一度に表示する字幕の数を少なくするなどする。
(コンテンツ切替部3)
コンテンツ切替部3は、操作入力部4からの指示に基づいて、本線コンテンツと、従属コンテンツと入れ替える。コンテンツ切替方法の詳細については下記に詳述する。
(操作入力部4)
操作入力部4は、ユーザーからの再生する動画コンテンツの選択、および再生している動画コンテンツに対する指示などの操作入力を受け付けるものである。操作入力部4は、キー入力などの入力インターフェースを備えている。なお、本実施形態では、操作表示部4が、コンテンツ再生装置1に備えられている場合について図示しているが、これに限定されるものではなく、例えば、リモコンのようにコンテンツ再生装置1から分離しているものであってもよい。
(コンテンツ取得部5、コンテンツデータベース6)
コンテンツデータベース6は、コンテンツ取得部5において取得された動画コンテンツを記録(録画、保存)する記録媒体である。また、コンテンツ取得部5は、動画コンテンツを取得する手段である。コンテンツ取得部5としては、例えば、デジタル放送の受信するためのアンテナ、ネットワーク通信手段、SDカードおよび光ディスクなどの記録媒体から動画コンテンツを取得する読取手段などを挙げることができる。
また、コンテンツ取得部5により取得される動画コンテンツは、ストリーミングにより再生されるものであってもよいし、ダウンロードされた後に再生されるものであってもよい。また、コンテンツ取得部5により取得される動画コンテンツがダウンロードされた後に再生される場合、ダウンロードされた動画コンテンツは、コンテンツデータベース6に保存されるようにしてもよいし、コンテンツデータベース6などの記録媒体に一時的に保存され、再生が終了した後に消去されるようにしてもよい。
(表示装置11および音声出力装置12)
表示装置11は、映像などの画像を表示するものであり、例えばテレビなどのモニターである。音声出力装置12は、音声情報を出力するものであり、例えばスピーカなどである。
(コンテンツ再生装置1の動作)
コンテンツ再生装置1の動作の一例について、以下に説明する。
ユーザーが操作入力部4に2つの動画コンテンツを再生する指示を入力すると、操作入力部4は、コンテンツ再生制御部2に対して、ユーザーにより選択された動画コンテンツを再生するように指示を送る。コンテンツ再生制御部2は、本線コンテンツ再生制御部7および従属コンテンツ再生制御部8に対して、選択された動画コンテンツを再生するように指示する。
本線コンテンツ再生制御部7は、コンテンツ再生制御部2からの指示を受けて、本線コンテンツとして再生するように指示された動画コンテンツの再生を開始する。再生される動画コンテンツは、コンテンツ取得部5から取得されたものであってもよいし、またコンテンツデータベース6に保存されているものであってもよい。
本線コンテンツ再生制御部7は、映像を表示装置11に表示させつつ、その映像と同期させて音声を音声出力装置12から出力する。すなわち、本線コンテンツ再生制御部7は、本線コンテンツを通常の再生方法により再生する。これによって、ユーザーは、従来と同様に、本線コンテンツの内容を、映像および音声から理解することができる。
一方、従属コンテンツ再生制御部8は、コンテンツ再生制御部2からの指示を受けて、従属コンテンツとして再生するように指示された字幕付コンテンツの再生を開始する。再生される字幕付コンテンツは、本線コンテンツと同様に、コンテンツ取得部5から取得されてもよいし、またコンテンツデータベース6に保存されているものであってもよい。
従属コンテンツ再生制御部8による字幕付コンテンツの再生について、具体的に説明する。字幕表示部9は、複数の字幕を動画コンテンツ内の先頭(再生開始時刻)から順次、画面上に並べてスクロール表示する。その一方で、映像表示部10は、表示対象の字幕に関連付けられている映像を、字幕表示部9による字幕の表示タイミングに同期させて表示装置11に表示する。すなわち、表示装置11には、字幕と映像とがいずれも表示される。このとき、従属コンテンツは、音声出力装置12から音声を出力することなく再生される。これによって、ユーザーは、従属コンテンツを字幕ベースで視聴することになる。そのため、ユーザーは、従属コンテンツの内容を、表示装置11に表示される映像および字幕から理解することができる。
したがって、ユーザーは、表示装置11において再生される本線コンテンツおよび従属コンテンツの内容をいずれも理解することができる。
(表示装置11における複数の動画コンテンツの表示)
コンテンツ再生装置1の表示装置11における2つの動画コンテンツの表示について、図2を参照して以下に説明する。図2は、実施形態1に係るコンテンツ再生装置1における表示装置11上での動画コンテンツの表示を概略的に示す図である。
本実施形態では、図2に示すように、表示装置11を仮想的に分割した領域の一つである表示領域20に本線コンテンツを再生し、もう一方の表示領域21に従属コンテンツを再生する場合について説明する。もちろん、ここで説明する表示は一例であり、従属コンテンツを再生する表示領域が2つ以上あってもよい。
また、図2では、表示装置11の動画コンテンツ表示画面を2つに分割する場合を示しているが、コンテンツ再生装置1がPinP機能を有しているような場合には、表示領域20に表示領域21をオーバーラップされるように表示してもよい。もちろん、この逆もまた然りである。
なお、表示領域20および21は、本発明の理解を容易とするために便宜上設けたものであり、表示装置11が実際に分割されているわけではない。各領域の境界線は、本線コンテンツとして表示される映像と、従属コンテンツとして表示される映像との境目である。
各表示領域の大きさ、すなわち本線コンテンツとして表示する映像の大きさと従属コンテンツとして表示する映像の大きさは、それぞれ任意であってよい。しかし、従来と同様に映像と音声とから内容を理解する本線コンテンツをメインに視聴するユーザーが多いと考えられるため、本線コンテンツを再生する表示領域を最も大きくすることが好ましい。これによって、ユーザーは、最も内容を理解したい動画コンテンツを集中しやすい環境において視聴することができる。
表示領域20では、本線コンテンツ再生制御部7により再生される本線コンテンツの映像である映像30が表示されると共に、映像30と同期して出力される音声31が音声出力装置12より出力されている。すなわち、ユーザーは、映像30を視覚的に捉えつつ、音声31を聞くことができるため、現在表示領域20において再生されている本線コンテンツの内容が、「バイオエタノール」に関する内容であることを理解することができる。
一方、表示領域21では、従属コンテンツ再生制御部8により再生される従属コンテンツにおける字幕34と、字幕34に同期させて表示される映像33とが表示されている。このとき、従属コンテンツの音声は、音声出力装置12からは出力されていない。しかし、ユーザーは、映像33および字幕34をいずれも視覚的に捉えることができるため、その内容を理解することができる。これによって、本線コンテンツの内容が、「バイオエタノール」に関することを理解しつつ、表示領域21において再生される従属コンテンツの内容が、「燃料としてバイオエタノール燃料を用いる車の発表」に関することを理解することができる。
表示領域20、21には、映像30、33および字幕32、34だけでなく、出力されている音声がどのコンテンツのものであるのかを示すようにしてもよい。例えば、表示領域20に音声が出力されていることを示すアイコン36を表示し、表示領域21に音声が出力されていないことを示すアイコン37を表示するようにする。もちろん、これに限定されるものではなく、アイコン36のみを表示するようにしてもよいし、アイコン37を表示するようにしてもよい。また、従属コンテンツが複数表示される場合には、アイコン37も複数表示されることが好ましい。
また、字幕34は、予め設定された速度でスクロール表示されることが好ましい。従属コンテンツでは、字幕34の表示と同期するように映像33が表示されるため、字幕34の表示速度が速くなれば、それに合わせて映像の表示速度も速くなる。したがって、字幕の表示速度を速くすることによって、従属コンテンツ自体の再生を速くすることができる。そのため、ユーザーは、実際に視聴するよりも短い時間で従属コンテンツとして再生する動画コンテンツの内容を理解することができる。
なお、本線コンテンツ再生制御部7が、従属コンテンツ再生制御部8と同様に字幕表示部9および映像表示部10を備えており、かつ、本線コンテンツ再生制御部7により再生される動画コンテンツが字幕付コンテンツである場合には、図2に示すように、本線コンテンツにおいても、字幕32を表示することができる。これによって、映像および音声に加えて、字幕からも本線コンテンツの内容を理解することができるため、ユーザーは、より一層容易に本線コンテンツの内容を理解することができる。
(本線コンテンツを従属コンテンツに切り替える切替方法の詳細)
次に、本線コンテンツとして再生している動画コンテンツを、従属コンテンツとして再生している動画コンテンツに切り替える切替方法の詳細について以下に説明する。なお、本明細書等における「本線コンテンツを従属コンテンツに切り替える」とは、本線コンテンツとして再生していた動画コンテンツを従属コンテンツとして再生し、従属コンテンツとして再生していた動画コンテンツを本線コンテンツとして再生するように、各動画コンテンツを入れ替えることを意味している。
ユーザーが操作入力部4に対して、本線コンテンツを従属コンテンツに切り替える操作を入力すると、操作入力部4はコンテンツ切替部3に対して本線コンテンツを従属コンテンツに切り替えて表示するように指示を送る。コンテンツ切替部3は、操作入力部4からの指示を受けると、コンテンツ再生制御部2に対して、これまで本線コンテンツ再生制御部7により再生制御を行っていた動画コンテンツを従属コンテンツ再生制御部8において制御するように指示すると共に、これまで従属コンテンツ再生制御部8により再生制御を行っていた動画コンテンツを本線コンテンツ再生制御部7において制御するように指示する。これによって、本線コンテンツを従属コンテンツに切り替えることができる。すなわち、本線コンテンツとして再生される動画コンテンツが従属コンテンツとして再生され、従属コンテンツとして再生されていた動画コンテンツが本線コンテンツとして再生される。
各動画コンテンツを切り替えた場合の表示について、図3を参照して以下に説明する。図3に示すように、表示領域20には映像33が表示されると共に、音声出力装置12より映像33と同期して出力される音声35が出力されるようになる。そして、表示領域21には、再生時刻を介して関連付けられている映像30と字幕32とが表示される。なお、本線コンテンツ再生制御部7が字幕表示部9と映像表示部10とを備えている場合には、図3に示すように、字幕34を表示するようにしてもよい。
これによって、従属コンテンツの内容が本線コンテンツの内容よりもユーザーにとって興味深い内容であった場合、従属コンテンツと本線コンテンツとを切り替えることにより、より興味のある動画コンテンツをメインとして視聴することができる。
なお、図3では、本線コンテンツを従属コンテンツに切り替える際に、それぞれのコンテンツが表示される領域も入れ替えているが、もちろん入れ替えなくてもよい。また、各コンテンツの再生される位置(図2および3では、本線コンテンツが向かって左であり、従属コンテンツが向かって右である)はそのままで、各表示領域の大きさのみを変更するようにしてもよいし、しなくてもよい。これは、PinP機能を用いて、一方の表示領域をもう一方の表示領域にオーバーラップさせて表示する場合であっても同様である。
操作入力部4からの入力としては、例えばコンテンツ切替ボタンによる入力などを挙げることができる。従属コンテンツとして再生している動画コンテンツが2つ以上ある場合には、いずれの動画コンテンツを本線コンテンツに切り替えるのかを選択する必要があるため、ポインタなどにより切り替える対象となる従属コンテンツを選択できるようにすることが好ましい。また、表示装置11がタッチパネル機能を有している場合には、ユーザーがタッチペンなどを用いて切り替える従属コンテンツを選択するようにしてもよい。
また、本線コンテンツが記録された動画コンテンツである場合には、本線コンテンツを従属コンテンツに切り替える際に、本線コンテンツとして再生していた動画コンテンツを一時停止状態としておいてもよい。すなわち、本線コンテンツとして再生していた動画コンテンツを従属コンテンツに切り替える時点で一時停止しておき、従属コンテンツとして再生されていた動画コンテンツの本線コンテンツとしての視聴が終了した後、切り替えた時点から一時停止していた動画コンテンツを、本線コンテンツとして再度再生するようにしてもよい。
なお、切り替え前に本線コンテンツ再生制御部7により再生されている動画コンテンツが字幕付コンテンツでない場合には、切り替え後には、映像が表示されるだけとなってしまい、その内容を理解することができなくなるおそれがある。そのため、本線コンテンツ再生部7により再生されている動画コンテンツが字幕付コンテンツであるか否かを識別し、字幕付コンテンツではない場合には、切り替え動作を中止する手段を備えていることが好ましい。
(付記事項)
本実施形態では、コンテンツ再生装置1は、表示装置11および音声出力装置12を備えているが、これに限定されるものではなく、表示装置11および音声出力装置12は、コンテンツ再生装置1と別の構成であってもよい。また、コンテンツ再生装置1は、表示装置11および音声出力装置12のいずれか一方のみを備えた構成であってもよい。
〔実施形態2〕
(コンテンツ再生装置1bの構成)
本発明に係るコンテンツ再生装置の一実施形態について、図4〜6を参照して以下に説明する。本実施形態では、従属コンテンツが、本線コンテンツとして再生されている動画コンテンツに関連する関連コンテンツ(第2のコンテンツ)である場合について説明する。なお、本実施形態においても、実施形態1と同様に、付加情報が字幕である場合を例に挙げて説明する。
ここで、本実施形態における動画コンテンツは、少なくとも1種類の所定のキーワードを有する1つ以上の話題に区切られている。本明細書等における「話題」とは、字幕付コンテンツにおける字幕(字幕データ)に含まれる互いに同一のキーワードごとの重なり数が、予め定められた基準数(例えば、1つ)を下回る再生時刻に挟まれた部分を指す。
本実施形態におけるコンテンツ再生装置の要部構成を図4に示す。図4は、コンテンツ再生装置1bの要部構成を示すブロック図である。なお、実施形態1と同様の部材については、同じ参照符号を付し、その詳細な説明を省略する。したがって、本実施形態では、関連コンテンツ取得部50についてのみ以下に説明する。また、実施形態1と同様の用語は、同様の意味で用いている。
(関連コンテンツ取得部50)
関連コンテンツ取得部50は、コンテンツ取得部5により取得され、コンテンツデータベース6に記録(録画、保存)されている動画コンテンツのうち、本線コンテンツ再生制御部7により本線コンテンツとして再生される動画コンテンツと関連のある動画コンテンツを取得する。すなわち、関連コンテンツ取得部50により本線コンテンツと関連性を有していると判定された動画コンテンツは、従属コンテンツ(第2のコンテンツ)として再生されるが、関連性を有していないと判定された動画コンテンツは、従属コンテンツ(第2のコンテンツ)として再生されない。
関連コンテンツ取得部50の構成について、図5を参照しつつ、以下に説明する。図5は、関連コンテンツ取得部50の構成を示すブロック図である。関連コンテンツ取得部50は、図5に示すように、話題相関データベース作成部51、話題相関データベース52、関連コンテンツ選択部53、およびユーザーデータベース54を備えている。これらの各部材の機能については、以下に説明する。
(話題相関データベース作成部51)
話題相関データベース作成部51は、話題に含まれるキーワードの評価値に基づき、当該話題を他のコンテンツに関連付け、話題相関データベース51を作成する。なお、評価値とは、動画コンテンツから抽出した話題ごとに、当該話題に含まれるキーワードの、当該話題における所定の値である。
話題相関データべース作成部51における話題相関データベースの作成方法の詳細は、下記に詳述する。
(話題相関データベース52)
話題相関データベース52は、話題同士の相関度を管理する話題相関テーブルを記録している。話題相関テーブルは、話題各々の相互の相関度を管理したテーブルである。
(関連コンテンツ選択部53)
関連コンテンツ選択部53は、話題相関データベース52に基づいて、従属コンテンツとして再生する関連コンテンツを選択する。
(ユーザーデータベース54)
ユーザーデータベース54は、ユーザに関するユーザキーワードと、評価値とを関連付けた構造のユーザ情報を記憶している。
(コンテンツ再生装置1bの動作)
コンテンツ再生装置1bの動作の一例について、以下に説明する。
ユーザーが操作入力部4に本線コンテンツの再生指示を入力すると、操作入力部4は、コンテンツ再生制御部2に対して本線コンテンツ再生制御部7において、ユーザーにより選択された動画コンテンツを本線コンテンツとして再生するように指示を送る。
本線コンテンツ再生制御部7は、コンテンツ再生制御部2からの指示を受けて、コンテンツ取得部5またはコンテンツデータベース6から本線コンテンツとして再生するように指示された動画コンテンツの再生を開始する。このとき、本線コンテンツ再生制御部7は、映像を表示装置11に表示させつつ、その映像と同期させて音声を音声出力装置12から出力する。すなわち、本線コンテンツ再生制御部7は、本線コンテンツを通常の再生方法により再生する。これによって、ユーザーは、従来と同様に、本線コンテンツの内容を、映像および音声から理解することができる。
本線コンテンツの再生と同時に、関連コンテンツ取得部50は、従属コンテンツとして再生する関連コンテンツの取得を開始する。関連コンテンツ取得部50は、本線コンテンツとして再生している動画コンテンツと関連性を有する動画コンテンツをコンテンツデータベース6から取得する。なお、関連コンテンツの取得の詳細な方法は、下記に詳述する。
従属コンテンツ再生制御部8は、関連コンテンツ取得部50において取得された関連コンテンツの再生を開始する。このとき、関連コンテンツは、音声出力装置12から音声を出力することなく再生される。これによって、ユーザーは、関連コンテンツの内容を、表示装置11に表示される映像および字幕から理解することができる。その他の具体的な再生方法については実施形態1と同様であるため、ここではその説明を省略する。
このように、コンテンツ再生装置1bでは、本線コンテンツと、その本線コンテンツと関連性の高い関連コンテンツとを同時に再生することができ、かつ、ユーザーは、いずれのコンテンツの内容も理解することができる。すなわち、ユーザーは、本線コンテンツの内容だけでなく、関連コンテンツの内容も同時に理解することができるため、本線コンテンツの内容をより一層掘り下げて知ることができる。
なお、上述したコンテンツ再生装置1bの動作では、関連コンテンツをコンテンツデータベース6から取得する場合について説明したが、これに限定されるものではない。例えば、字幕付コンテンツを記録したデータベース(記録媒体)は、コンテンツ再生装置1bの外部に備えられていてもよい。すなわち、有線通信、無線通信、あるいはネットワーク通信などを利用して、コンテンツ再生装置1bの外部に備えられたデータベースから関連コンテンツを取得するようにしてもよい。
また、関連コンテンツの種類は、字幕付コンテンツであれば特に限定されるものではない。例えば、放送コンテンツであってもよいし、ウェブサーバ上に保存されているコンテンツであってもよい。すなわち、本線コンテンツが放送コンテンツであり、従属コンテンツがウェブサーバ上のコンテンツとするなど、本線コンテンツと異なるメディアのコンテンツを関連コンテンツとして取得することもできる。
(表示装置11における本線コンテンツと関連コンテンツとの表示)
コンテンツ再生装置1bによる本線コンテンツと関連コンテンツとの表示について、図6を参照して以下に説明する。図6は、実施形態2に係るコンテンツ再生装置1bにおける表示装置11上での動画コンテンツの表示を概略的に示す図である。
本実施形態では、図6に示すように、表示装置11を仮想的に分割した領域の一つである表示領域20に本線コンテンツを再生し、表示領域21に関連コンテンツを再生する場合について説明する。もちろん、実施形態1と同様に、関連コンテンツを再生する表示領域が2つ以上あってもよい。また、コンテンツ再生装置1bがPinP機能を有しているような場合には、実施形態1と同様に、表示領域20に表示領域21をオーバーラップされるように表示してもよいし、表示領域21を表示領域20にオーバーラップさせるように表示してもよい。
表示領域20では、本線コンテンツ再生制御部7により再生される本線コンテンツの映像である映像30が表示されると共に、映像30と同期して出力される音声31が音声出力装置12より出力される。すなわち、ユーザーは、映像30を視覚的に捉えつつ、音声31を聞くことができるため、表示領域20において現在再生されている本線コンテンツの内容が、「バイオエタノール」に関する内容であることを理解することができる。
一方、表示領域21では、関連コンテンツ取得部50において取得された、本線コンテンツに対して関連性を有する関連コンテンツが、従属コンテンツ再生制御部8により再生される。関連コンテンツは、実施形態1と同様に、字幕34と、字幕34に同期させて表示される映像3とが表示領域21に表示されており、音声出力装置12から音声は出力されない。すなわち、ユーザーは、映像33および字幕34をいずれも視覚的に捉えることにより、関連コンテンツの内容を理解することができる。すなわち、ユーザーは、関連コンテンツの内容が「バイオエタノール燃料に関連する車の発表」に関する内容であることを理解することができる。すなわち、ユーザーは、本線コンテンツの内容である「バイオエタノール」が車の燃料としても使用できることを関連コンテンツを視聴することにより理解することができる。
表示領域21には、再生されているコンテンツが表示領域20において再生されているコンテンツの関連コンテンツであることが容易に理解できるような表示がされていることが好ましい。例えば、図6に示すように、表示領域21に「関連コンテンツ」という表示をする。もちろん、逆に、表示領域20に「本線コンテンツ」という表示をするようにしてもよい。
また、実施形態1と同様に、表示領域20、21には、映像30、33および字幕32、34だけでなく、出力されている音声がどのコンテンツのものであるのかを示すようにしてもよい。例えば、表示領域20に音声が出力されていることを示すアイコン36を表示し、表示領域21に音声が出力されていないことを示すアイコン37を表示するようにする。もちろん、これに限定されるものではなく、アイコン36のみを表示するようにしてもよいし、アイコン37を表示するようにしてもよい。また、従属コンテンツが複数表示される場合には、アイコン37も複数表示されることが好ましい。
コンテンツ再生装置1bは、関連コンテンツを単に字幕ベースで再生するだけではなく、動画コンテンツに含まれている複数の異なる話題(トピック)を適宜抽出することによって、話題単位での関連コンテンツ視聴をも可能にする。これによって、ユーザーは、関連コンテンツのうち、本線コンテンツに関連性の高い部分のみを短時間のうちに理解することができる。
(関連コンテンツの選択)
関連コンテンツ選択部53は、話題相関データベース52に基いて、関連コンテンツとして再生するコンテンツを選択する。関連コンテンツの選択方法は、特に限定されるものではない。例えば、本線コンテンツとして再生されている話題に対して相関度を有する話題を関連コンテンツとして全て選択するようにしてもよいし、相関度が予め設定された閾値以上の話題を関連コンテンツとして選択するようにしてもよい。他にも、予め関連コンテンツとして再生する動画コンテンツの数が決まっている場合には、相関度の高い順に予め決定されている数の話題を関連コンテンツとして選択するようにしてもよいし、本線コンテンツに対して最も相関度の高い話題を関連コンテンツとして選択するようにしてもよい。
なお、閾値および関連コンテンツとして選択する数は、ユーザーが任意に設定できるようにしてもよいし、コンテンツ再生装置1bにおいて予め決定されていてもよい。
(話題相関データベース作成部51の動作の詳細)
本実施形態における話題相関データベース52の作成の詳細な方法について、以下に説明する。ここでは、話題α、βおよびγ間の話題相関データベースの作成を例に挙げて説明する。
まず、話題相関データベース作成部51は、話題αと話題βとの相関度を算出する。話題αは、キーワードとして、例えば「バイオエタノール」、「ガソリン」、および「高騰」を含んでいる。一方、話題βは、キーワードとして、例えば「年金問題」および「社会保険庁」を含んでいる。両者に共通するキーワードは一つもない。そのため話題相関データベース作成部51は、話題αと話題βとの相関度として「0」を算出する。この値は基準を超えていないので、話題αと話題βとは関連付けられない。
話題相関データベース作成部51は、次に話題αと話題γとの相関度を算出する。話題γは、キーワードとして、例えば「高騰」、「ガソリン」、および「原油価格」を含んでいる。話題αと話題γとでは、2つのキーワードすなわち「高騰」および「ガソリン」が共通している。そこで、話題相関データベース作成部51は、「高騰」の評価値および「ガソリン」の評価値をそれぞれ重み付け演算することによって、話題αと話題γとの相関度を算出する。
具体的には次の通りである。話題相関データベース作成部51は共通するキーワードごとの評価値の積を算出する。まず、話題αにおける「ガソリン」の評価値(例えば、0.72)と、話題γにおける「ガソリン」の評価値(例えば、0.73)とを掛け合わせた値を得る。その値は0.5256である。次に、話題αにおける「高騰」の評価値(例えば、0.34)と、話題γにおける「高騰」の評価値(例えば、0.92)とを掛け合わせた値を得る。その値は0.3128である。話題相関データベース作成部51はキーワードごとに算出した積を加算し所定の相関度を得る。その値は0.5256+0.3128=0.8384である。すなわち話題相関データベース作成部51は、話題αと話題γとの相関度として「0.8384」を算出する。この値は基準値を超えているので、話題相関データベース作成部51は話題αと話題γとを関連付ける。
最後に、話題相関データベース作成部51は、話題βと話題γとの相関度を算出する。両者には共通するキーワードは1つもないので、相関度として「0」を算出する。この値は基準値を超えていないので、話題βと話題γとを関連付けない。以上のようにして、話題相関データベース作成部51は、話題α、話題β、および話題γ同士の相関度をそれぞれ算出する。そして、話題相関データベース作成部51は、算出した相関度を管理する話題相関テーブルを作成し、作成した話題相関テーブルを話題相関データベースに登録する。
(ユーザーデータベース54を用いた場合)
ユーザーデータベース54を利用した話題相関データベース52の作成の詳細な方法について、以下に説明する。
話題相関データベース作成部51は、話題αとユーザ情報との相関度を算出する。話題αは、キーワードとして、例えば「バイオエタノール」、「ガソリン」、および「高騰」を含んでいる。一方、ユーザ情報は、キーワードとして、例えば「年金」および「保険」、「郵政」、および「民営化」を含んでいる。両者に共通するキーワードは一つもない。そのため話題相関データベース作成部51は、話題αとユーザ情報との相関度として「0」を算出する。この値は基準値を超えていないので、話題αとユーザ情報とは関連付けられない。
次に、話題相関データベース作成部51は、話題βとユーザ情報との相関度を算出する。話題βは、キーワードとして、例えば「年金問題」および「社会保険庁」を含んでいる。部分的ではあるが、話題βとユーザ情報とでは、「年金」および「保険」が共通している。そこで、話題相関データベース作成部51は、「年金」および「保険」の評価値をそれぞれ重み付け演算することによって、話題βとユーザ情報との相関度を算出する。
具体的には次の通りである。話題相関データベース作成部51はまず、部分的に共通するキーワードごとの、評価値の積を算出する。話題相関データベース作成部51は、話題βにおける「年金問題」の評価値(例えば、0.85)と、ユーザ情報における「年金」の評価値(例えば、0.88)とを掛け合わせた値を得る。その値は0.748である。また、話題βにおける「社会保険庁」の評価値(例えば、0.48)と、話題γにおける「保険」の評価値(例えば、0.77)とを掛け合わせた値を得る。その値は0.3696である。話題相関データベース作成部51は、キーワードごとに算出した積を加算することによって所定の相関度を算出する。その値は0.748+0.3696=1.1176である。すなわち、話題相関データベース作成部51は、話題αとユーザ情報との相関度として「1.1176」を算出する。
最後に、話題相関データベース作成部51は、話題γとユーザ情報との相関度を算出する。両者には共通するキーワードは1つもないので、相関度として「0」を算出する。この値は基準値を超えていないので、話題αとユーザ情報120とは関連付けられない。以上のようにして、話題相関データベース作成部51は、算出した相関度を管理する話題相関テーブルを作成し、作成した話題相関テーブルを話題相関データベースに登録する。
(話題に含まれるキーワードの表示)
図6に示すように、関連コンテンツを判定する際に用いた話題に含まれるキーワード35を表示領域22に表示するようにしてもよい。これによって、ユーザーは、関連コンテンツを導くために用いたキーワードを容易に知ることができる。
また、キーワード35は、ユーザーにより選択可能である形式で表示することが好ましい。これによって、キーワードをウェブなどの検索のための検索用キーワードとして使用することもできるようになる。すなわち、キーワード35においてユーザーが気になるキーワードがある場合、そのキーワードを選択することにより、選択されたキーワードが検索エンジンに与えられる。検索エンジンにより検索され、抽出されたウェウページ(1つ、または複数のいずれであってもよい)は、表示装置11に表示される。これによって、選択したキーワードに関連するウェブ情報を取得することができる。この場合、表示装置11には、関連コンテンツの他にも、関連web情報が同時にされることになる。なお、キーワード35の選択方法は、特に限定されるものではない。
(本線コンテンツを従属コンテンツに切り替える切替方法)
実施形態1において説明したコンテンツ再生装置1と同様に、コンテンツ再生装置1bにおいても、本線コンテンツを従属コンテンツに切り替え可能であることが好ましい。本線コンテンツを従属コンテンツに切り替える方法の詳細については、実施形態1において詳述したため、ここではその説明を省略する。
〔実施形態3〕
(コンテンツ再生システム100の構成)
本発明に係るコンテンツ再生システムについて、実施形態3として図7〜9を参照しつつ、以下に説明する。本実施形態では、コンテンツ再生システムを構成する一方のコンテンツ再生装置が、携帯型情報端末(例えば、携帯電話、PDAなど)である場合を例に挙げて説明する。また、本実施形態では、実施形態1および2と同様に、付加情報が字幕である場合を例に挙げて説明する。
図7は、コンテンツ再生システム100の要部構成を示すブロック図である。コンテンツ再生システム100は、コンテンツ再生装置(第1のコンテンツ再生装置)1cおよび携帯型情報端末(第2のコンテンツ再生装置)60を備えている。
(コンテンツ再生装置1cの構成)
図7に示すように、コンテンツ再生装置1cは、コンテンツ取得部5、本線コンテンツ再生制御部7、表示装置11b、音声出力装置12、字幕データ抽出部(付加情報抽出手段)103、および通信部(送信手段)104を備えている。コンテンツ再生装置1cは、音声出力を伴い、かつ少なくとも映像を表示装置11bに表示する形で字幕付コンテンツを再生する。
(携帯型情報端末60の構成)
図7に示すように、携帯型情報端末60は、コンテンツ取得部5、コンテンツデータベース6b、従属コンテンツ再生制御部8、表示装置11c、関連コンテンツ取得部50、および通信部(受信手段)105を備えている。携帯型情報端末60は、コンテンツ再生装置1cにおいて再生される字幕付コンテンツに関連する関連コンテンツを音声出力を伴うことなく、かつ字幕の表示タイミングに同期させて映像を表示装置11cに表示する形で再生する。
コンテンツ再生装置1cおよび携帯型情報端末60の各部材の機能について、以下に説明する。なお、実施形態1および2と同様の部材については、同じ参照符号を付し、その詳細な説明を省略する。
(表示装置11b、11c)
表示装置11bは、コンテンツ再生装置1cにおける本線コンテンツ再生制御部7により再生される動画コンテンツを表示し、表示装置11cは、携帯型情報端末60における従属コンテンツ再生制御部8により再生される動画コンテンツを表示する。
(字幕データ抽出部103)
字幕データ抽出部103は、本線コンテンツ再生制御部7により再生される再生される本線コンテンツの字幕データを抽出する。字幕付コンテンツからの字幕データの抽出は、従来公知の方法を用いて行う。
本線コンテンツとして再生する動画コンテンツをコンテンツ取得部5から取得しつつ再生する場合には、字幕データ抽出部103は取得した動画コンテンツから字幕データを抽出する。抽出した字幕データは、コンテンツ再生装置1cに備えられたハードディスクドライブなどの記録媒体(図示しない)に、映像データと関連付けて保存しておくことが好ましい。これによって、記録媒体に蓄積された動画コンテンツを本線コンテンツとして再生する場合には、記録媒体に記録されている字幕データを用いることができる。
(通信部104、105)
通信部104は、コンテンツ再生装置1cに備えられている通信手段であり、本線コンテンツとして再生する動画コンテンツの字幕データを携帯型情報端末60に送信する。通信部105は、携帯型情報端末60に備えられている通信手段であり、通信部104から送信された字幕データを受信する。
通信部104および105は、互いが通信可能であれば、その具体的な手段は限定されるものではない。例えば、IrDAおよびBluetooth(登録商標)のような無線通信であってもよく、有線通信であってもよい。また、ネットワーク通信を利用してもよい。
(コンテンツ再生システム100の動作)
コンテンツ再生システム100の動作の一例について以下に説明する。
コンテンツ取得部5は、取得した字幕付コンテンツを本線コンテンツとして再生する指示を受けると、字幕付コンテンツを、本線コンテンツ再生制御部7および字幕データ抽出部103へ送る。
本線コンテンツ再生制御部7は、実施形態1および2と同様に、本線コンテンツ再生制御部7は、映像を表示装置11で表示させつつ、その映像と同期させて音声を音声出力装置12から出力する。すなわち、本線コンテンツ再生制御部7は、本線コンテンツを通常の再生方法により再生する。これによって、ユーザーは、従来と同様に、本線コンテンツの内容を、映像および音声から理解することができる。
字幕データ抽出部103は、本線コンテンツとして再生する字幕付コンテンツから字幕データを抽出する。抽出された字幕データは、通信部104から携帯型情報端末60の通信部105へと送られる。通信部104から字幕データを受信した通信部105は、字幕データを関連コンテンツ取得部50へ送る。
関連コンテンツ取得部50は、字幕データに基づいて、本線コンテンツと関連性を有している字幕付コンテンツを関連コンテンツとして、コンテンツデータベース6から取得する。なお、関連コンテンツ取得部50における関連コンテンツの取得は、実施形態2において詳述したためここではその説明を省略する。また、関連コンテンツは、携帯型情報端末60の外部に備えられたデータベースからコンテンツ取得部5を介して取得してもよい。
次に、従属コンテンツ再生制御部8は、関連コンテンツ取得部50において取得された関連コンテンツの再生を開始する。すなわち、実施形態1および2において説明したように、字幕表示部9による字幕の表示タイミングに同期させて、表示対象の字幕に関連付けられている映像を、映像表示部10が字幕と共に、表示装置11cに表示する。このとき、関連コンテンツは音声を出力することなく再生される。これによって、ユーザーは、関連コンテンツの内容を、表示装置11cに表示される映像および字幕から理解することができる。
したがって、ユーザーは、本線コンテンツおよび従属コンテンツの内容をいずれも理解することができる。
(コンテンツ再生システム100による動画コンテンツの表示)
コンテンツ再生システム100の表示装置11bおよび11cにおける各動画コンテンツの表示について、図8を参照して以下に説明する。図8は、コンテンツ再生システム100における各動画コンテンツの表示を概略的に示す図である。
本実施形態では、図8に示すように、表示装置11bに本線コンテンツを再生し、もう一方の表示装置11cの表示領域21に関連コンテンツ(従属コンテンツ)を再生する場合について説明する。もちろん、実施形態1および2と同様に、従属コンテンツを再生する表示領域が2つ以上あってもよい。
表示装置11bでは、本線コンテンツ再生制御部7により再生される本線コンテンツの映像である映像30が表示されると共に、映像30と同期して出力される音声31が音声出力装置12より出力される。すなわち、ユーザーは、映像30を視覚的に捉えつつ、音声31を聞くことができるため、現在表示装置11bにおいて再生されている本線コンテンツの内容が、バイオエタノールに関する内容であることを理解することができる。
一方、表示装置11cの表示領域21では、従属コンテンツ再生制御部8により再生される従属コンテンツにおける字幕34と、字幕34に同期させて表示される映像3とが表示されている。このとき、従属コンテンツの音声は出力されない。しかし、ユーザーは、映像33および字幕34をいずれも視覚的に捉えることにより、その内容を理解することができる。
これによって、本線コンテンツの内容が、バイオエタノールに関する内容であることを理解しつつ、表示領域21において再生される従属コンテンツの内容が、燃料としてバイオエタノール燃料を用いる車の発表に関する内容であることを理解することができる。すなわち、同時に複数の動画コンテンツを再生する場合であっても、ユーザーは、本線コンテンツの内容と、従属コンテンツの内容とをいずれも理解することができる。また、ユーザーは、本線コンテンツの内容をより一層深く掘り下げて知ることもできる。
なお、本線コンテンツ再生制御部7が、従属コンテンツ再生制御部8と同様に字幕表示部9および映像表示部10を備えており、かつ、本線コンテンツ再生制御部7により再生される動画コンテンツが字幕付コンテンツである場合には、本線コンテンツにおいても、字幕32を表示することができる。これによって、映像および音声に加えて、字幕からも本線コンテンツの内容を理解することができるため、ユーザーは、より一層容易に本線コンテンツの内容を理解することができる。
(話題に含まれるキーワードの表示)
携帯型情報端末60では、実施形態2と同様に、関連コンテンツを取得する際に用いた話題に含まれるキーワード35を表示領域22に表示するようにしてもよい。
(コンテンツ再生システム100の変形例)
コンテンツ再生システム100では、携帯型情報端末60で関連コンテンツのみを再生する場合について説明したが、これに限定されるものではない。例えば、携帯型情報端末が、関連コンテンツだけでなく、本線コンテンツも再生できるようにしてもよい。このような場合であっても、コンテンツ再生システム100と同様の作用効果を得ることができる。
(コンテンツ再生システム100bの構成)
コンテンツ再生システム100の変形例であるコンテンツ再生システム100bの構成について、図9を参照して以下に説明する。図9は、コンテンツ再生システム100bの要部構成を示すブロック図である。
コンテンツ100bは、コンテンツ再生装置1dおよび携帯型情報端末60bを備えている。コンテンツ再生装置1dは、コンテンツ取得部5、本線コンテンツ再生制御部7、表示装置11b、音声出力装置12b、および通信部104を備えている。携帯型情報端末60bは、コンテンツ再生制御部2、コンテンツ取得部5、コンテンツデータベース6b、本線コンテンツ再生制御部7、従属コンテンツ再生制御部8、字幕表示部9、映像表示部10、表示装置11c、音声出力装置12c、および通信部105を備えている。
(コンテンツ再生システム100bの動作)
コンテンツ再生システム100bの動作は、コンテンツ再生システム100とほぼ同様であるため、コンテンツ再生システム100との相違部分のみを説明し、その詳細な説明は省略する。
コンテンツ再生システム100bは、コンテンツ再生装置1dにおいて再生される本線コンテンツを携帯型情報端末60bにおいても再生する。そのため、通信部104は、コンテンツ再生装置1dにおいて再生される本線コンテンツのコンテンツデータを全て携帯型情報端末60bへ送信する。携帯型情報端末60bは、通信部105においてコンテンツ再生装置1dにおいて再生される本線コンテンツのコンテンツデータを受信し、携帯型情報端末60bに備えられた本線コンテンツ再生制御部7により再生する。
なお、コンテンツ再生システム100bにおける表示装置11bにおける表示の概要は、テレビなど従来公知のコンテンツ再生装置による表示と変わらないため、ここではその詳細な説明を省略する。また、表示装置11cにおける表示の概要は、図6において示した図と同様であるため、ここではその詳細な説明を省略する。
(プログラムおよび記録媒体)
最後に、コンテンツ再生装置1、1bに含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
すなわちコンテンツ再生装置1、1bは、各機能を実現するプログラムの命令を実行するCPU、このプログラムを格納したROM(Read Only Memory)、上記プログラムを実行可能な形式に展開するRAM(Random Access Memory)、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)を備えている。この構成により、本発明の目的は、所定の記録媒体によっても、達成できる。
この記録媒体は、上述した機能を実現するソフトウェアであるコンテンツ再生装置1、1bのプログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録していればよい。コンテンツ再生装置1に、この記録媒体を供給する。これにより、コンピュータとしてのコンテンツ再生装置1(またはCPUやMPU)が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
プログラムコードをコンテンツ再生装置1、1bに供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などとすることができる。
また、コンテンツ再生装置1、1bを通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介してコンテンツ再生装置1、1bに供給する。この通信ネットワークはコンテンツ再生装置1にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等であればよい。
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばIEEE1394、USB(Universal Serial Bus)、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明に係るコンテンツ再生装置は、複数の動画コンテンツを同時に再生することができるテレビ(テレビジョン受信機)の他、複数の動画コンテンツを再生する機能を備えた携帯電話、またはPDAなどに幅広く利用することができる。
実施形態1に係るコンテンツ再生装置の要部構成を示すブロック図である。 実施形態1に係るコンテンツ再生装置の表示装置上での動画コンテンツの表示を概略的に示す図である。 本線コンテンツと従属コンテンツとを入れ替えた場合の各動画コンテンツの表示を概略的に示す図である。 実施形態2に係るコンテンツ再生装置の要部構成を示すブロック図である。 実施形態2に係る関連コンテンツ取得部の構成を示すブロック図である。 実施形態2に係るコンテンツ再生装置の表示装置上での動画コンテンツの表示を概略的に示す図である。 実施形態3に係るコンテンツ再生システムの要部構成を示すブロック図である。 実施形態3に係るコンテンツ再生システムにおける各動画コンテンツの表示を概略的に示す図である。 実施形態3に係るコンテンツ再生システムの変形例の要部構成を示すブロック図である。
符号の説明
1、1b、1c、1d コンテンツ再生装置
2 コンテンツ再生制御部
3 コンテンツ切替部
4 操作入力部
5 コンテンツ取得部
6 コンテンツデータベース
7 本線コンテンツ再生制御部(第1のコンテンツ再生制御手段)
8 従属コンテンツ再生制御部(第2のコンテンツ再生制御手段)
9 字幕表示部
10 映像表示部
11、11b、11c 表示装置
12、12b、12c 音声出力装置
50 関連コンテンツ取得部
51 話題相関データベース作成部
52 話題相関データベース
53 関連コンテンツ選択部
54 ユーザーデータベース
60、60b 携帯型情報端末(第2のコンテンツ再生装置)
100、100b コンテンツ再生システム
103 字幕情報抽出部(付加情報抽出手段)
104 通信部(送信手段)
105 通信部(受信手段)

Claims (11)

  1. 映像と付加情報とが再生時刻を介して互いに関連付けられている構造をそれぞれ有し、互いに異なる第1および第2のコンテンツを再生するコンテンツ再生装置であって、
    上記第1のコンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツ再生制御手段と、
    上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御手段と、
    上記第2のコンテンツを、上記第1のコンテンツに関連するコンテンツとして取得する関連コンテンツ取得手段とを備えており、
    上記第1のコンテンツおよび上記第2のコンテンツは、上記付加情報に含まれるキーワードに基づいて決定される複数の話題に区切られており、
    上記関連コンテンツ取得手段は、上記第1のコンテンツに含まれる各上記話題に関連するコンテンツを上記第2のコンテンツとして取得することを特徴とするコンテンツ再生装置。
  2. 上記関連コンテンツ取得手段は、予め定められた閾値以上の相関度を有する話題を、上記第2のコンテンツとして取得することを特徴とする請求項に記載のコンテンツ再生装置。
  3. 上記関連コンテンツ取得手段は、相関度の高い順に、予め定められた数の話題を、上記第2のコンテンツとして取得することを特徴とする請求項1または2に記載のコンテンツ再生装置。
  4. 上記関連コンテンツ取得手段は、相関度の最も高い話題を、上記第2のコンテンツとして取得することを特徴とする請求項1または2に記載のコンテンツ再生装置。
  5. 上記第1のコンテンツと、上記第2のコンテンツとをユーザーからの指示に基づいて入れ替えるコンテンツ切替手段をさらに備えていることを特徴とする請求項1から4のいずれか1項に記載のコンテンツ再生装置。
  6. 上記表示装置において、上記第1のコンテンツを再生する領域の大きさは、上記第2のコンテンツを再生する領域の大きさよりも大きいことを特徴とする請求項1から5のいずれか1項に記載のコンテンツ再生装置。
  7. 映像と付加情報とが再生時刻を介して互いに関連付けられている構造をそれぞれ有し、互いに異なる第1および第2のコンテンツを再生するコンテンツ再生方法であって、
    上記第1のコンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツ再生制御ステップと、
    上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御ステップと
    上記第2のコンテンツを、上記第1のコンテンツに関連するコンテンツとして取得する関連コンテンツ取得ステップとを含み、
    上記第1のコンテンツおよび上記第2のコンテンツは、上記付加情報に含まれるキーワードに基づいて決定される複数の話題に区切られており、
    上記関連コンテンツ取得ステップにおいて、上記第1のコンテンツに含まれる各上記話題に関連するコンテンツを上記第2のコンテンツとして取得することを特徴とするコンテンツ再生方法。
  8. いずれもが映像と付加情報とが再生時刻を介して互いに関連付けられている構造を有する付加情報付コンテンツを再生する機能を有する第1のコンテンツ再生装置および第2のコンテンツ再生装置を備えたコンテンツ再生システムであって、
    上記第1のコンテンツ再生装置は、
    上記付加情報付コンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツとして再生する第1のコンテンツ再生制御手段と、
    上記第1のコンテンツの付加情報を抽出する付加情報抽出手段と、
    抽出した上記付加情報を、上記第2のコンテンツ再生装置へ送信する送信手段と、を備えており、
    上記第2のコンテンツ再生装置は、
    上記第1のコンテンツ再生装置から上記付加情報を受信する受信手段と、
    上記付加情報に基づいて、上記第1のコンテンツに関連する第2のコンテンツを取得する関連コンテンツ取得手段と、
    上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御手段と、を備え、
    上記第1のコンテンツおよび上記第2のコンテンツは、上記付加情報に含まれるキーワードに基づいて決定される複数の話題に区切られており、
    上記関連コンテンツ取得手段は、上記第1のコンテンツに含まれる各上記話題に関連するコンテンツを上記第2のコンテンツとして取得することを特徴とするコンテンツ再生システム。
  9. いずれもが映像と付加情報とが再生時刻を介して互いに関連付けられている構造を有する付加情報付コンテンツを再生する機能を有する第1のコンテンツ再生装置および第2のコンテンツ再生装置を備えたコンテンツ再生システムであって、
    上記第1のコンテンツ再生装置は、
    上記付加情報付コンテンツを、音声出力を伴い、かつ少なくとも上記映像を表示装置に表示する形で再生する第1のコンテンツとして再生する第1のコンテンツ再生制御手段と、
    上記第1のコンテンツを、上記第2のコンテンツ再生装置へ送信する送信手段と、を備えており、
    上記第2のコンテンツ再生装置は、
    上記第1のコンテンツを、上記第1のコンテンツ再生装置から受信する受信手段と、
    上記第1のコンテンツを再生する上記第1のコンテンツ再生制御手段と、
    上記第1のコンテンツの付加情報に基づいて、上記第1のコンテンツに関連する第2のコンテンツを取得する関連コンテンツ取得手段と、
    上記第2のコンテンツを、音声出力を伴わず、かつ上記付加情報の表示タイミングに同期させて上記映像を上記表示装置に表示する形で再生する第2のコンテンツ再生制御手段と、を備え、
    上記第1のコンテンツおよび上記第2のコンテンツは、上記付加情報に含まれるキーワードに基づいて決定される複数の話題に区切られており、
    上記関連コンテンツ取得手段は、上記第1のコンテンツに含まれる各上記話題に関連するコンテンツを上記第2のコンテンツとして取得することを特徴とするコンテンツ再生システム。
  10. 請求項1から6のいずれか1項に記載のコンテンツ再生装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
  11. 請求項10に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

JP2008054104A 2008-03-04 2008-03-04 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体 Expired - Fee Related JP5073535B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008054104A JP5073535B2 (ja) 2008-03-04 2008-03-04 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008054104A JP5073535B2 (ja) 2008-03-04 2008-03-04 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2009212860A JP2009212860A (ja) 2009-09-17
JP5073535B2 true JP5073535B2 (ja) 2012-11-14

Family

ID=41185578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008054104A Expired - Fee Related JP5073535B2 (ja) 2008-03-04 2008-03-04 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP5073535B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5420023B2 (ja) * 2012-06-08 2014-02-19 株式会社Tbsテレビ 映像関連情報送信システム及び方法、これらに用いられる関連情報送信装置
JP2013176105A (ja) * 2013-04-09 2013-09-05 Sharp Corp 表示装置、受信装置、表示方法、テレビジョン受像機、表示システム、プログラムおよび記録媒体
JP6420067B2 (ja) * 2014-06-11 2018-11-07 マクセル株式会社 放送受信装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018491A (ja) * 2001-07-04 2003-01-17 Sony Corp 字幕表示装置および方法
JP2007082074A (ja) * 2005-09-16 2007-03-29 Sony Corp 表示制御装置および表示制御方法、並びにプログラム
JP2007158959A (ja) * 2005-12-07 2007-06-21 Sharp Corp 光ディスク再生装置
JP5290178B2 (ja) * 2007-08-14 2013-09-18 日本放送協会 映像配信装置及び映像配信プログラム

Also Published As

Publication number Publication date
JP2009212860A (ja) 2009-09-17

Similar Documents

Publication Publication Date Title
US10425618B2 (en) Information processing apparatus, tuner, and information processing method
US9787627B2 (en) Viewer interface for broadcast image content
US8615777B2 (en) Method and apparatus for displaying posting site comments with program being viewed
US8725757B2 (en) Information processing apparatus, tuner, and information processing method
JP2007266800A (ja) 情報再生装置
JP2011130279A (ja) コンテンツ提供サーバ、コンテンツ再生装置、コンテンツ提供方法、コンテンツ再生方法、プログラムおよびコンテンツ提供システム
JPWO2009044818A1 (ja) コンテンツ表示制御装置、コンテンツ表示制御方法、プログラム、および記録媒体
US9055342B2 (en) Information processing apparatus and information processing method
US20140050457A1 (en) Information processing system, recording/playback apparatus, playback terminal, information processing method, and program
JP2008312183A (ja) 情報処理装置および方法、並びにプログラム
JP5143592B2 (ja) コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、プログラム、および記録媒体
JP5073535B2 (ja) コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラムおよび該プログラムを記録した記録媒体
JP4030440B2 (ja) メッセージ再生装置、メッセージ記録および再生方法、およびプログラム
US8739217B2 (en) Information processing apparatus, tuner, and information processing method
WO2009110491A1 (ja) コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
JP2010010736A (ja) 映像コンテンツ再生装置
JP2009077166A (ja) 情報処理装置および情報表示方法
JP5683756B1 (ja) 多視点動画配置システム
JP2011170735A (ja) サーバ装置、電子機器、検索システム、検索方法及びプログラム
KR20150048961A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
JP4846674B2 (ja) 静止画抽出装置及び静止画抽出プログラム
JP2022127309A (ja) 電子機器、システム、およびプログラム
JP4082870B2 (ja) 番組案内システム
JP5554195B2 (ja) コンテンツ記録再生装置
KR20160041038A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120822

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees