JP4039873B2 - 映像情報記録再生装置 - Google Patents
映像情報記録再生装置 Download PDFInfo
- Publication number
- JP4039873B2 JP4039873B2 JP2002088452A JP2002088452A JP4039873B2 JP 4039873 B2 JP4039873 B2 JP 4039873B2 JP 2002088452 A JP2002088452 A JP 2002088452A JP 2002088452 A JP2002088452 A JP 2002088452A JP 4039873 B2 JP4039873 B2 JP 4039873B2
- Authority
- JP
- Japan
- Prior art keywords
- video information
- scenario
- data
- scene
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データの再生装置に関するものであり、特に、映像データのダイジェスト版を生成して再生する装置に関するものである。
【０００２】
【従来の技術】
従来より、映像情報のダイジェスト版を作成して再生する装置が存在する。つまり、プロフェッショナル用途と一般の消費者用途とを問わず、大量の映像データの中から視聴したいものを見つけるには、多大な時間と労力を必要とする。例えば、ＶＴＲの早送り再生により見たい番組を見つけることも可能ではあるが、時間と労力を要することになる。これに対処するため、要約映像を作成することにより、該要約映像を通じて大まかに映像の内容を把握する装置や方法が提案されている（特開平１０−３２７７３号、特開平１１−２３９３２２号、特開平１１−１７６０３８号）。
【０００３】
また、特開２０００−３５０１２４号では、テレビジョン番組を録画する際に、番組の映像や音声を解析し、番組の中で特徴的と思われるシーンを抽出し、該シーンを縮小静止画像として生成、保存しておき、映像をブラウジングする際には、該縮小静止画像を再生データに用いている。例えば、特徴シーンを抽出する際には、シーンの変わり目、カメラの動き、色の変化、テロップの有無や内容等の点を抽出している。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来の場合では、１つの基準に基づいて特徴シーンを抽出しているので、番組によっては必ずしも重要なシーンを抜き出しているとはいえない場合がある。例えば、通常、ニュースでは、各ニュース項目が開始される先頭シーンが重要であるのに対して、ドラマや歌番組では、出演者のアップシーン等が重要であるといえ、番組のジャンル（種類としてもよい）によって重要なシーンも異なるにも拘わらず、１つの基準によって特徴シーンを抽出すると、番組によっては、重要でないシーンを抽出してしまうおそれがある。
【０００５】
そこで、本発明は、番組のジャンルが異なっても、特徴シーン、すなわち、その番組にとって重要なシーンを適切に抽出して要約映像を作成してダイジェスト再生することができる映像情報記録再生装置を提供するとともに、ユーザーにとってより適切な要約映像を作成してダイジェスト再生をすることができる映像情報記録再生装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上記問題点を解決するために創作されたものであって、第１には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、映像情報のジャンルごとに定められた基準で、該特徴量を評価するための基準に従い、検出された特徴量を評価する評価手段と、上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が、複数種類のジャンルについてそれぞれ設けられた重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を記憶することにより、該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータに基づいて、該映像情報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、映像情報のジャンルに対応する重み係数群を用いて特徴量を評価することを特徴とする。
【０００７】
この第１の構成の映像情報記録再生装置においては、上記映像情報記憶手段に映像情報が記憶される。また、上記特徴量検出手段は、映像情報における各シーンごとに複数種類の特徴量を検出する。そして、上記評価手段は、映像情報のジャンルごとに定められた基準で、該特徴量を評価するための基準に従い、検出された特徴量を評価する。さらに、シナリオ記憶手段は、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を記憶することにより、該特定情報からなるシナリオデータを記憶する。このようにして、ダイジェスト再生をする際のシナリオが各基準ごとにシナリオ記憶手段に記憶されるので、上記シナリオ再生手段は、映像情報記憶手段に記憶された映像データから、所定の基準に基づくシナリオデータに基づいて、所定のシーン又は該シーンの一部を読み出して再生を行う。よって、映像情報のジャンルごとに定められた基準に従ってシナリオが作成されて、該シナリオに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。
【０００８】
また、第２には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、該特徴量検出手段により検出された特徴量を複数種類の基準に従いそれぞれ評価する評価手段と、上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が優先順位に従い複数設けられた重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、各重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする。
【０００９】
この第２の構成の映像情報記録再生装置においては、上記映像情報記憶手段に映像情報が記憶される。また、上記特徴量検出手段は、映像情報における各シーンごとに複数種類の特徴量を検出する。そして、上記評価手段は、該特徴量検出手段により検出された特徴量を複数種類の基準に従いそれぞれ評価する。さらに、シナリオ記憶手段は、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶する。このようにして、ダイジェスト再生をする際のシナリオが各基準ごとにシナリオ記憶手段に記憶されるので、上記シナリオ再生手段は、映像情報記憶手段に記憶された映像データから、所定の基準に基づくシナリオデータに基づいて、所定のシーン又は該シーンの一部を読み出して再生を行う。よって、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。よって、ユーザーにとってより適切なダイジェスト再生が可能となる。例えば、登場人物を把握したい場合には、顔領域が存在するシーンに重きをおいた基準に従ったシナリオを再生すればよい。
【００１０】
また、第３には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、該特徴量検出手段により検出された複数種類の特徴量を、映像情報のジャンルごとに定められた基準に従いそれぞれ評価する評価手段と、上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が、複数種類のジャンルについてそれぞれ設けられた重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、映像情報のジャンルに対応する重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする。よって、映像情報のジャンルごとに定められた基準に従ってシナリオが作成されて、該シナリオに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。さらに、ある番組について、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。
【００１３】
また、第４には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、該特徴量検出手段により検出された複数種類の特徴量を、映像情報のジャンルごとに定められた基準に従いそれぞれ評価する評価手段と、上記評価手段が、重み係数群集合であって、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が優先順位に従い複数設けられた重み係数群集合を複数のジャンルについてそれぞれ有する重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、映像情報のジャンルに対応する重み係数群集合における複数の重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする。
【００１４】
また、第５には、上記第１あるいは第３の構成において、上記評価手段は、各特徴量と対応する重み係数とを乗算した値を積算した値を、所定のしきい値と比較し、該積算した値が該所定のしきい値よりも大きいか否かを判定することを特徴とする。
【００１５】
また、第６には、上記第２あるいは第４の構成において、上記評価手段は、各特徴量と対応する重み係数とを乗算した値を積算した値を、所定のしきい値と比較し、該積算した値が該所定のしきい値よりも大きいか否かを判定することを特徴とする。このようにして、検出された特徴量を評価する。
【００１６】
また、第７には、上記第５あるいは第６の構成において、上記シナリオ記憶手段は、上記積算した値が上記所定のしきい値よりも大きい場合に、そのシーン又は該シーンの一部を特定する情報である特定情報を記憶していくことを特徴とする。
【００１７】
また、第８には、上記第５から第７までのいずれかの構成において、上記評価手段は、評価に用いる複数種類のしきい値を有し、各しきい値に基づいて評価を行い、また、上記シナリオ記憶手段は、各しきい値に基づく評価結果に基づき、各しきい値ごとにシナリオデータを記憶することを特徴とする。
【００３６】
【発明の実施の形態】
本発明の実施の形態としての実施例を図面を利用して説明する。本発明に基づく映像情報記録再生装置Ａは、データ分離部（分離手段）１０と、Ａ／Ｄ変換部１１と、番組付加情報抽出部１２と、ＥＰＧデータ保持部１４と、Ａ／Ｄ変換部１５と、エンコーダ１６と、インデキシング部１８と、データ保持部１９と、重み係数テーブル（重み係数記憶部）２０と、ＡＶデータ保持部（映像情報記憶手段）２２と、シナリオ保持部（シナリオ記憶手段）２４と、再生データ選択部（シナリオ選択手段）２６と、ナビゲーション制御部２８と、ＡＶデータ読出し部３０と、デコーダ３２と、Ｄ／Ａ変換部３４と、モニタ３６と、を有している。
【００３７】
ここで、上記データ分離部１０は、ＥＰＧ（電子番組ガイド）データとＡＶデータとが含まれたデジタルＡＶデータ（映像情報）が入力されると、これをＥＰＧデータとＡＶデータとに分離する。ここで、図１に示す構成は、映像情報記録再生装置Ａに、現行テレビジョンのアナログ放送波のデータのようなアナログＡＶデータ（映像情報）が入力される場合の例であり、実際には、データ分離部１０の前段に受信部と復調処理部が設けられ、受信部から入力されたアナログＡＶデータが該復調部で復調処理された後にこのデータ分離部１０に入力されることになる。具体的には、このデータ分離部１０は、ＶＢＩ（垂直帰線消去区間）に多重化されたＥＰＧデータを分離する機能を有している。また、データ分離部１０は、ＥＰＧデータを上記番組付加情報抽出部１２に送り、一方、ＡＶデータをエンコーダ１６に送る。
【００３８】
なお、この映像情報記録再生装置Ａに入力されるデータが、デジタルＡＶデータの場合には、図１の構成からＡ／Ｄ変換部１１と、Ａ／Ｄ変換部１５と、エンコーダ１６が省略されることになる。また、上記のような復調部も省略される。つまり、受信されたデジタルＡＶデータが直接データ分離部１０に入力され、このデータ分離部１０においてＥＰＧデータとＡＶデータとに分離され、ＥＰＧデータは番組付加情報抽出部１２に入力され、また、ＡＶデータは、ＡＶデータ保持部２２に入力されるとともに、インデキシング部１８に入力される。なお、デジタルＡＶデータが映像情報記録再生装置Ａに入力される場合には、エンコードされたデータが入力されることになるので、図１のようなエンコーダ１６は必要ない。
【００３９】
次に、Ａ／Ｄ変換部１１は、アナログデータとしてのＥＰＧデータをデジタルデータに変換する。
【００４０】
また、番組付加情報抽出部１２は、ＥＰＧデータから必要なデータを抽出する。例えば、ジャンルや番組タイトルのデータを抽出するものである。番組付加情報抽出部１２は、抽出したデータをＥＰＧデータ保持部１４に送る機能も有している。また、ＥＰＧデータ保持部１４は、抽出されたデータを保持するものである。
【００４１】
また、Ａ／Ｄ変換部１５は、アナログデータとしてのＡＶデータをデジタルデータに変換する。
【００４２】
また、エンコーダ１６は、ＭＰＥＧエンコーダであり、送られたＡＶデータをＭＰＥＧの規格に従い圧縮符号化する。そして、エンコーダ１６は、符号化されたＡＶデータをＭＰＥＧストリームとしてＡＶデータ保持部２２とインデキシング部１８に送る機能を有している。
【００４３】
インデキシング部１８は、エンコーダ１６から送られたＡＶデータを解析処理するものであり、無音検出や、カット点検出や、顔領域の検出等を行うことにより、所定の評価関数を演算するために使用する特徴量の基礎を検出するとともに、各ショットの評価、特に、該特徴量について評価関数を演算してシナリオデータを作成する。
【００４４】
つまり、インデキシング部１８は、ＡＶデータに対して無音検出を行うことにより無音区間の最後のフレーム位置（これが「コーナー先頭フレーム」となる）を検出したり、画像の連続性がない位置のフレーム位置（これが「カット点」となる）を検出したり、該カット点を基準とした代表フレームに顔領域が存在するか否かの検出を行う。コーナー先頭フレームが存在することや、カット点が存在することや、代表フレームに顔領域が存在することが、特徴量の基礎となる。
【００４５】
また、上記評価関数の演算に関しては、インデキシング部１８は、カット点のフレームから次のカット点の前までのフレームで構成されるショットにおいて、特徴量の基礎に基づいて特徴量を算出し、算出された特徴量について所定の評価関数に従い演算を行って、評価値を算出する。評価関数の演算に際しては、ＥＰＧデータ保持部１４からのデータと、重み係数テーブル２０の情報を参照する。ここで、特徴量としては、ショット長（例えば、該ショットのフレームの数）の値や、コーナー先頭フレームの場合に与えられる値や、代表フレームに顔領域が存在する場合に与えられる値が挙げられる。なお、ショットは、特許請求の範囲における「シーン」に当たる。
【００４６】
また、上記シナリオデータの作成に際しては、インデキシング部１８は、算出した評価値を評価し、所定の基準を満たす場合にそのショットを特定するための情報を抽出していく。なお、シナリオデータは、複数種類作成される。
【００４７】
なお、インデキシング部１８における処理の詳しい内容については、追って説明する。
【００４８】
また、データ保持部１９は、インデキシング部１８により検出されたデータ等を保持するものであり、具体的には、インデキシング部１８により検出された検出結果を記憶しておくための検出結果記憶テーブル（図２参照）や、該検出結果記憶テーブルに記憶されたデータに基づいて所定のデータを記憶するための特徴量記憶テーブル（図３参照）が設けられている。
【００４９】
また、重み係数テーブル２０は、上記評価関数を演算する際に使用される重み係数のデータを保持するものであり、具体的には、図４に示すような重み係数テーブルが記憶されている。この重み係数テーブルは、ショット長、コーナー先頭か否か、顔領域があるかについて重み係数が記憶されていて、ジャンルごとに優先度に応じて複数の組み合わせが記憶されている。つまり、優先度が最も高い場合には、そのジャンルにとって最も適切な重み係数の組み合わせとなっている。
【００５０】
ここで、ショット長、コーナー先頭か否か、顔領域についての重み係数の１つの組み合わせが、上記「重み係数群」に当たる。例えば、図４の例で、ニュースにおける優先度１の重み係数０．１、０．７、０．２が重み係数群を構成する。また、あるジャンルにおいて、優先順位に従い設けられた複数の重み係数群が上記重み係数群集合に当たる。つまり、図４の例で、ニュースにおける優先度１〜３の各重み係数の組み合わせが重み係数群集合を構成する。
【００５１】
また、ＡＶデータ保持部２２は、エンコーダ１６から送られたＡＶデータを保持するためのものである。また、シナリオ保持部２４は、上記シナリオデータを保持するものである。シナリオデータは複数種類作成されるので、作成された複数種類のシナリオデータが保持されることになる。つまり、シナリオ保持部２４は、複数のシナリオデータを記憶するシナリオデータテーブル（図５参照）を有している。
【００５２】
また、再生データ選択部２６は、ユーザーが操作を行うための操作部であり、例えば、リモコンにより構成される。この操作部は、特に、ユーザーがダイジェスト再生を行う場合に用いるものである。つまり、見たい番組を選択したり、再生するシナリオを選択したりするのに用いる。
【００５３】
また、ナビゲーション制御部２８は、再生データ選択部２６からのデータに基づき、所定のシナリオデータをシナリオ保持部２４から読み出し、ＡＶデータ読出し部３０に送る。
【００５４】
また、ＡＶデータ読出し部３０は、ナビゲーション制御部２８から送られたデータに基づきＡＶデータ保持部２２に保持されたＡＶデータから所定のデータを読み出して、デコーダ３２に送るものである。
【００５５】
また、デコーダ３２は、ＭＰＥＧデコーダであり、送られたＡＶデータを復号するものである。
【００５６】
なお、上記ナビゲーション制御部２８と、ＡＶデータ読出し部３０と、デコーダ３２と、Ｄ／Ａ変換部３４と、モニタ３６等は、上記シナリオ再生手段として機能する。
【００５７】
なお、映像情報記録再生装置Ａを構成する上記各部については、それぞれを各機能を有する装置として構成してもよいし、一部の構成を所定の処理を実行するためのプログラムと、該プログラムに基づき処理を実行するＣＰＵにより構成してもよい。
【００５８】
つまり、各部を装置により構成する場合には、例えば、上記データ分離部１０は、ＥＰＧデータとＡＶデータとに分離する機能を有する装置として構成し、エンコーダ１６についても、符号化装置により構成する。また、ＥＰＧデータ保持部１４，重み係数テーブル２０、ＡＶデータ保持部２２、シナリオ保持部２４は、記憶装置により構成されることになる。
【００５９】
また、一部の構成を所定の処理を実行するためのプログラムと、該プログラムに基づき動作するＣＰＵにより構成する場合には、各種プログラムが格納された記憶装置と、該プログラムに基づき処理を実行するＣＰＵにより構成し、該各種プログラムとしては、データ分離部１０が行なう処理を実行するためのプログラムや、番組付加情報抽出部１２が行なう処理を実行するためのプログラムや、エンコーダ１６が行なう処理を実行するためのプログラムや、インデキシング部１８が行なう処理を実行するためのプログラムや、ナビゲーション制御部２８が行なう処理を実行するためのプログラムや、ＡＶデータ読出し部３０が行なう処理を実行するためのプログラムや、デコーダ３２が行なう処理を実行するためのプログラム等が挙げられる。
【００６０】
上記構成の映像情報記録再生装置Ａの動作について説明する。まず。ＥＰＧデータとＡＶデータとが含まれたアナログＡＶデータが受信部（図示せず）を介して映像情報記録再生装置Ａに入力されると、図示しない復調部において復調された後に、データ分離部１０に入力される。そして、該ＡＶデータは、データ分離部１０において、該ＥＰＧデータとＡＶデータとに分離される。ＥＰＧデータは、Ａ／Ｄ変換部１１においてＡ／Ｄ変換された後に番組付加情報抽出部１２に送られ、また、ＡＶデータは、Ａ／Ｄ変換部１５においてＡ／Ｄ変換された後にエンコーダ１６に送られる。
【００６１】
番組付加情報抽出部１２は、ＥＰＧデータから必要なデータ、例えば、ジャンルや番組タイトルのデータを抽出し、該抽出したデータをＥＰＧデータ保持部１４に送る。送られたデータは、ＥＰＧデータ保持部１４に保持される。
【００６２】
一方、エンコーダ１６は、送られたＡＶデータをＭＰＥＧの規格に従い圧縮符号化し、符号化されたＡＶデータをＭＰＥＧストリームとしてＡＶデータ保持部２２とインデキシング部１８に送る。ＡＶデータ保持部２２では、ＡＶデータが記憶される。このＡＶデータ保持部２２への記憶が、上記映像情報記憶工程に当たる。
【００６３】
なお、上記デジタルＡＶデータの場合の構成では、デジタルＡＶデータが直接分離部１０に入力され、ＥＰＧデータは番組付加情報抽出部１２に送られ、また、ＡＶデータは、インデキシング部１８とＡＶデータ保持部２２に送られる。
【００６４】
また、インデキシング部１８では、図６に示すフローチャートの処理や図７のフローチャートの処理が行われる。
【００６５】
つまり、エンコーダ１６からＡＶデータが送られているか否かを判定すること等により、録画中の番組が終了したか否かが判定され（Ｓ１０）、番組が終了したら処理は終了する。一方、番組が終了していない場合には、ステップＳ１１に移行して、処理の対象となる対象フレームを特定する（Ｓ１１）。これは最初のフレームから順次対象フレームとして特定されることになる。
【００６６】
次に、そのフレームの位置（時間的な位置）において無音検出を行うか否かが判定される（Ｓ１２）。これは、無音検出はフレーム間隔よりも長い時間間隔ごとに行なうために、このような判定が設けられているもので、このステップＳ１２においては、複数回に１度の割合で無音検出を行う旨の判定がなされる。
【００６７】
そして、無音検出を行う場合には、そのフレームの位置が無音となっているか否かが判定される（Ｓ１３）。つまり、音声レベルが予め設定したしきい値を越えているか否かを判定することにより、無音が否かが判定される。
【００６８】
そして、無音である場合には、対応するフレーム番号を記憶しておく（Ｓ１４、Ｓ１５）。これは、インデキシング部１８自身において保持しておいてもよいし、データ保持部１９に記憶させておいてもよい。一方、無音でない場合には、ステップＳ１６に移行する。
【００６９】
ステップＳ１６では、最後の無音から所定時間が経過したか否かが判定される（Ｓ１６）。つまり、ステップＳ１５において、無音と検出された位置のフレームのフレーム番号が記憶されていくので、この記憶されたデータに従って、最後に無音と判定された位置から所定時間経過しているか否かが判定される。これは、最後に無音になってから所定時間無音が検出されない場合に初めて該最後の無音の位置をコーナー先頭とすることから、このような判定を設けるのである。そして、最後の無音から所定時間が経過している場合には、その最後の無音の位置のフレーム番号をコーナー先頭である旨のデータとともに検出結果記憶テーブル（図２参照）に記憶する。なお、コーナー先頭のデータを記憶した後にも有音区間が続いている場合に、さらに、コーナー先頭のデータを記憶する必要はないので、上記ステップＳ１６では、最後の無音の位置のフレーム番号がコーナー先頭として記憶されていないことも判定され、記憶されていない場合に、ステップＳ１７に移行することになる。つまり、ステップＳ１６では、最後の無音から所定時間が経過したか否かが判定されるとともに、最後の無音の位置のフレーム番号がコーナー先頭として記憶されていないことも判定され、最後の無音から所定時間が経過し、かつ、最後の無音の位置のフレーム番号がコーナー先頭として記憶されていない場合に、ステップＳ１７で、その最後の無音の位置のフレーム番号をコーナー先頭として記憶することになる。
【００７０】
例えば、図２、図９に示す例において、フレーム番号ｌ＋２のフレームの位置において無音と検出され、その後所定時間無音が検出されなかったことにより、該フレーム番号ｌ＋２のデータとコーナー先頭である旨のデータが検出結果記憶テーブルに記憶されたものである。フレーム番号ｎ＋２のフレームについても同様である。
【００７１】
次に、カット検出を行う（Ｓ１８）。これは、前のフレームと連続性があるか否かを判定することにより行われ、ＡＶデータにおいてカメラが切り替わる等物理的にフレーム間で連続性がなくなった場合に、連続性がないものと判定される。前のフレームと連続性がないと判定された場合に、対象フレームがカット点となる。このようなカット検出の方法については、すでに種々の手法が提案されており、例えば、Ｊ．Ｍｅｎｇらによる「“Ｓｃｅｎｅ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ｉｎ ａ ＭＰＥＧ Ｃｏｍｐｒｅｓｓｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ”，ＳＰＩＥ Ｐｒｏｃｅｅｄｉｎｇ Ｖｏｌ．２４１９ Ｆｅｂｒｕａｒｙ １９９５」が提案する方法を用いることでＭＰＥＧ−１やＭＰＥＧ−２の映像ストリームから効率的にカット検出を実行することが可能となる。ステップＳ１８におけるカット検出によりカット点が検出されたら、対象フレームのフレーム番号をカット点である旨のデータとともに検出結果記憶テーブルに記憶する（Ｓ１９、Ｓ２０）。一方、カット点でないと検出された場合には、ステップＳ２１に移行する（Ｓ１９）。
【００７２】
例えば、図２、図９に示す例において、フレーム番号ｍ＋１のフレームにおける判定においては、前フレームであるフレーム番号ｍのフレームとの連続性がないと判定されたことにより、フレーム番号ｍ＋１のデータがカット点である旨のデータとともに検出結果記憶テーブルに記憶されたものである。フレーム番号ｎ＋１のフレームについても同様である。
【００７３】
次に、対象フレームが代表フレームか否かが判定される（Ｓ２１）。この代表フレームとは、カット点に当たるフレームから所定フレーム目のフレームをいい、例えば、カット点に当たるフレームから３番目のフレームを代表フレームと規定した場合には、対象フレームが、カット点に当たるフレームから３番目のフレームであるか否かが判定される。
【００７４】
そして、代表フレームであると判定された場合には、フレーム中に顔領域が存在するか否かが判定される（Ｓ２２）。つまり、フレーム中に顔の画像が存在するか否かを判定する。この顔領域検出もすでに種々の手法が提案されており、例えば、Ｈ．Ｗａｎｇらによる「“Ａ Ｈｉｇｈｌｙ Ｅｆｆｉｃｉｅｎｔ Ｓｙｓｔｅｍ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｉｎ ＭＰＥＧ Ｖｉｄｅｏ”，ＩＥＥＥ ＴＣＳＶＴ」が提案する方法を用いることが可能である。ステップＳ２２における顔領域検出により対象フレームにおいて顔領域が検出された場合には、そのフレームのフレーム番号を顔領域を含むフレームである旨のデータとともに検出結果記憶テーブルに記憶する（Ｓ２３、Ｓ２４）。一方、顔領域を含まない場合には、その対象フレームについての処理を終了し、ステップＳ１０に戻る。
【００７５】
なお、ステップＳ２１の判定において対象フレームが代表フレームでない場合には、その対象フレームについての処理を終了し、ステップＳ１０に戻る。
【００７６】
例えば、図２、図９に示す例において、フレーム番号ｎ＋４のフレームにおける判定においては、該フレームが代表フレームであり、かつ、顔領域が検出されたとして、フレーム番号ｎ＋１のデータが顔領域が存在する旨のデータとともに検出結果記憶テーブルに記憶されたものである。なお、図９において、フレーム番号ｍ＋４のフレームも代表フレームであるが、顔領域が存在しないとして、フレーム番号ｍ＋４についてのデータは検出結果記憶テーブルには記憶されていない。
【００７７】
ある対象フレームについて、ステップＳ１２〜Ｓ２４までの処理が終了したら、ステップＳ２５に移行して、ショットの評価を行う。このショットの評価の詳細については後述する。その後は、ステップＳ１１において、その次のフレームを対象フレームに特定して同じようにステップＳ１２〜Ｓ２４までの処理を繰り返していく。このようにして、最後のフレームまで処理を行っていき、検出結果記憶テーブルに検出結果を記憶していく。
【００７８】
なお、各フレームごとに順次処理を行っていくに従い、検出結果記憶テーブルにデータが記憶されていくわけであるが、インデキシング部１８においては、検出結果記憶テーブルへ順次記憶されるデータに基づいて図３に示す特徴量記憶テーブルにも記憶を行っていく。この特徴量記憶テーブルは、各ショット番号ごとに、先頭フレームと、最終フレームと、ショット長と、ショット長判定値と、コーナー先頭である場合の特徴量と、顔領域が存在する場合の特徴量と、評価の処理が完了しているか否かが記憶されるようになっている。
【００７９】
つまり、１つのショットは、カット点のフレームから次のカット点の手前のフレームにより構成されるので（先頭のショットについては、先頭のフレームから最初のカット点の手前のフレームまで）、各ショットごとに各データを記憶していく。つまり、先頭フレームについては、そのショットの先頭フレームのフレーム番号を記憶し、最終フレームはそのショットの最終フレームのフレーム番号を記憶し、ショット長は、そのショットにおけるフレーム数を記憶する。ショット長判定値は、ショット長があるしきい値よりも大きい場合には１とし、該しきい値以下の場合には０とする。このように、ショット長があるしきい値よりも大きい場合に与えられる値が、上記シーン長さ特徴量に当たる。また、コーナー先頭である場合の特徴量については、そのショット内にコーナー先頭である旨のデータが記憶されているフレームがある場合には１とし、一方、そのショット内にコーナー先頭である旨のデータが記憶されているフレームが１つもない場合には０とする。このように、そのショット内にコーナー先頭である旨のデータが記憶されているフレームがある場合に与えられる値が、上記音声レベル特徴量に当たる。同じように、顔領域が存在する場合の特徴量についても、そのショット内に顔領域が存在する旨のデータが記憶されているフレームがある場合には１とし、一方、そのショット内に顔領域が存在する旨のデータが記憶されているフレームが１つもない場合には０とする。このように、そのショット内に顔領域が存在する旨のデータが記憶されているフレームがある場合に与えられる値が、上記顔領域特徴量に当たる。つまり、ショット長判定値と、コーナー先頭と、顔領域については、２値とする。
【００８０】
なお、上記シーン長さ特徴量や、音声レベル特徴量や、顔領域特徴量は、インデキシング部１８により検出されるわけであるが、この場合のインデキシング部１８は、上記シーン長さ特徴量検出手段や、音声レベル特徴量検出手段や、顔領域特徴量検出手段として機能するといえる。また、上記のように、各特徴量が検出される工程が上記特徴量検出工程に当たる。
【００８１】
なお、評価の処理が完了しているか否かに関しては、そのショットについてステップＳ２５における評価が完了した場合には、その旨のデータ（例えば、１）を記憶する。このようにして、検出結果記憶テーブルにデータを順次記憶していくに伴い、特徴量記憶テーブルにも順次データが記憶されていく。
【００８２】
この特徴量記憶テーブルへの記憶のタイミングは、特徴量記憶テーブルへの記憶が可能になったタイミングで任意に行えばよいが、例えば、上記ステップＳ１７、Ｓ２０、Ｓ２４における検出結果記憶テーブルへの記憶のタイミングにおいて同時に行えばよい。例えば、あるカット点が検出された場合には、そのカット点の手前にあるショットの最終フレームと、次のショットの先頭フレームの番号が分かるので、ステップＳ２０において検出結果記憶テーブルにカット点のデータを書き込むのと同時に、特徴量記憶テーブルにも書込みを行なう。ショット長やショット長判定値についても、最終フレームのデータが分かれば算出可能であるので、書込み可能である。また、顔領域が存在する場合の特徴量についても、あるカット点が検出された場合には、その手前のショット内に顔領域の存在するフレームがある場合には、ステップＳ２０において検出結果記憶テーブルにカット点のデータを書き込むのと同時にその旨のデータを書き込む。なお、コーナー先頭である場合の特徴量については、最後の無音から所定時間経過しないとコーナー先頭であることが分からないので、ステップＳ１７において検出結果記憶テーブルに書き込みを行なうのと同時に行なう。また、評価の処理が完了しているか否かについては、あるショットについてステップＳ２５の処理が完了した場合に、その旨のデータを書き込む。
【００８３】
以上のようにインデキシング部１８が特徴量の検出を行うわけであるが、その際のインデキシング部１８は、上記特徴量検出手段として機能する。
【００８４】
次に、ステップＳ２５におけるショットの評価について、図７等を使用して説明する。
【００８５】
まず、未処理のショットがあるか否かが判定される（Ｓ３０）。つまり、ステップＳ２５における評価を行っていないショットがあるか否かが判定され、ある場合には、ステップＳ３１に移行し、ない場合にはステップＳ２５の処理を一旦終了して、ステップＳ１０（図６参照）に戻る。ここで、ステップＳ２５における評価を行っていないショットがあるか否かについては、特徴量記憶テーブルにおける評価の処理が完了しているか否かのデータに基づいて判定すればよい。
【００８６】
また、ステップＳ３１では、未処理のショットの直後のフレーム、つまり、未処理のショットの直後のカット点から所定時間が経過したか否かが判定される（Ｓ３１）。これは、あるフレームがコーナー先頭であるか否かは、最後の無音から所定時間が経過しないと判明しないので、直後のカット点から所定時間が経過するまでは、該未処理のショットにコーナー先頭のデータが含まれる可能性があるからである。ステップＳ３１において、所定時間が経過している場合には、Ｓ３２に移行し、経過していない場合にはステップＳ２５の処理を一旦終了して、ステップＳ１０に戻る。
【００８７】
ステップＳ３２においては、ＥＰＧデータ保持部１４に保持されているデータから処理対象のＡＶデータのジャンルについてのデータを読み出して取得する（Ｓ３２）。
【００８８】
次に、対象ショットについての特徴量を取得する（Ｓ３３）。つまり、未処理ショットについての特徴量を特徴量記憶テーブルから読み出す。なお、未処理ショットが複数ある場合には、最初の未処理ショットについての特徴量を読み出す。
【００８９】
次に、シナリオ番号を初期値にセットする（Ｓ３４）。例えば、シナリオ番号を１とする。そして、各特徴量についての重み係数を重み係数テーブルから取得する（Ｓ３５）。なお、重み係数はＳ３２で取得したジャンルと、シナリオ番号に応じて選択して取得される。例えば、ステップＳ３２で取得したＡＶデータのジャンルがニュースで、シナリオ番号が１の場合には、図４に示す重み係数テーブルに従い、ショット長については、０．１、コーナー先頭については０．７、顔領域については０．２の各重み係数を取得する。つまり、シナリオ番号１〜３は、重み係数テーブルにおける優先度１〜３に対応している。
【００９０】
そして、所定の評価関数に従い評価値を算出する。つまり、各特徴量に重み付けを行って計算し評価値を算出する（Ｓ３６）。評価関数の具体例としては、以下の評価関数を用いる。
【００９１】
Ｆ＝ｗ１＊ｖ１＋ｗ２＊ｖ２＋ｗ３＊ｖ３
上記の評価関数において、ｗ１、ｗ２、ｗ３は各重み係数を示し、ｖ１、ｖ２、ｖ３は各特徴量を示す。つまり、各特徴量について、対応する重み係数を乗算した値の和を求める。例えば、ジャンルがニュースであるＡＶデータの場合に、図３に示すショット番号１のショットにおいては、Ｆ＝０．１＊１＋０．７＊１＋０．２＊０となり、Ｆの値が評価値となる。
【００９２】
そして、算出された評価値と所定のしきい値とを比較し、評価値が該しきい値よりも大きい場合には、該ショットを特定するためのデータをシナリオデータテーブルに記憶する。具体的には、シナリオデータテーブルにおける所定のシナリオ番号に対応させて該ショットを特定するためのデータを書き込む。なお、該ショットを特定するためのデータとしては、該ショットにおける代表フレームのアドレスデータとする。これは、ダイジェスト再生する際には、該ショット内の所定の範囲のみを再生するものとするためである。なお、該所定の範囲を代表フレームから所定数のフレーム分（又は所定時間分）とし、この範囲を該ショットにおけるセグメントと呼ぶこととする。なお、このセグメントは、特許請求の範囲における「シーンの一部」に当たる。また、シナリオデータテーブルに書き込まれる代表フレームのアドレスデータは、上記「シーン又はシーンの一部を特定する情報である特定情報」に当たる。
【００９３】
次に、全てのシナリオについて評価が完了したか否かが判定されて（Ｓ３９）、完了してない場合には、シナリオ番号をインクリメントして次のシナリオについて評価を行なう。例えば、ニュースの場合に、シナリオ番号２について評価する場合には、図４に示す重み係数テーブルに従い、ショット長については、０．１、コーナー先頭については０．５、顔領域については０．４の各重み係数を取得して（Ｓ３５）、その後同じように評価値を計算し（Ｓ３６）、しきい値との比較を行って（Ｓ３７）、しきい値を越えている場合に、シナリオデータテーブルへの書込みを行う。シナリオ番号３についても同様である。
【００９４】
以上のようにして、全てのシナリオについて評価が完了したら、ステップＳ２５の処理を完了して、ステップＳ１０に戻る。このステップＳ２５の処理も各ショットについて処理が行われて、逐次シナリオデータテーブルにデータが書き込まれていくことになる。このようにして、シナリオデータが記憶されていく。あるＡＶデータの最後まで処理が完了した際には、シナリオデータテーブルには、各シナリオ番号ごとに、評価値がしきい値を越えたショットの代表フレームのアドレスデータが記憶されていることになる。
【００９５】
例えば、図５、図１０の例においては、例えば、ショット番号１１のショットでは、シナリオ番号１〜３の全てのシナリオについて評価値がしきい値を越えたことから、該ショットの代表フレームのアドレスデータが書き込まれている。また、ショット番号１２のショットでは、シナリオ番号３の場合のみ評価値がしきい値を越えたことから、シナリオ番号３についてのみショット番号１２のショットの代表フレームのアドレスデータが書き込まれている。
【００９６】
なお、複数の番組について上記の処理が行われた場合には、各番組ごとにシナリオデータテーブルが記憶されることになる。
【００９７】
なお、上記の説明では、ステップＳ２５の処理は、図６に示す一連の処理の流れの中に存在するものとして説明したが、図６のフローチャートからステップＳ２５を削除するとともに、図７のフローチャートを図６のフローチャートとは別に並行して行うようにしてもよい。
【００９８】
以上のように、上記ステップＳ２５の処理は、インデキシング部１８により行われるが、この場合のインデキシング部１８は上記評価手段として機能する。また、上記ステップＳ２５は、上記評価工程に当たる。また、上記のようなシナリオテーブルへの書込みが、上記シナリオ記憶工程に当たる。
【００９９】
次に、ＡＶデータをダイジェスト再生する場合の動作について説明する。ユーザーが再生データ選択部２６により、ダイジェスト再生したい番組を選択する。例えば、選択可能な番組がモニタ３６に表示されるので、これらから番組を選択する。
【０１００】
そして、ダイジェスト再生の操作を行うと、図８に示す処理に従い再生が行われる。つまり、ユーザーがダイジェスト再生の操作を行うと、その情報がナビゲーション制御部２８に送られる。すると、ナビゲーション制御部２８は、シナリオ保持部２４から最も優先度の高いシナリオデータを読み出す（Ｓ５０）。つまり、シナリオ番号１のシナリオにおけるアドレスデータを読み出してＡＶデータ読出し部３０に送る。そして、ＡＶデータ読出し部３０では、最初のアドレスデータに基づいて、該アドレスデータを先頭フレームとするセグメントをＡＶデータ保持部２２から読み出して、デコーダ３２に転送する（Ｓ５１）。すると、デコーダ３２で該セグメントのデコードが行われて、Ｄ／Ａ変換部３４でＤ／Ａ変換された後にモニタ３６に再生される。そして、再生データ制御部２６によりシナリオ変更の指示がない限り（Ｓ５３）、ＡＶデータ読出し部３０は、順次送られたアドレスデータに基づいて対応するセグメントをＡＶデータ保持部２２から読み出してデコーダ３２に送ることにより、以後同様に再生される。つまり、シナリオ番号１として記憶されたアドレスデータに応じたセグメントのみが順次再生されるのである。
【０１０１】
一方、再生データ選択部２６において、シナリオ変更の指示があった場合（Ｓ５３）、つまり、次に優先度の高いシナリオ、つまり、シナリオ番号２のシナリオのシナリオデータがシナリオ保持部２４から読み出される（Ｓ５４）。つまり、選択されたシナリオについて記憶されたアドレスデータが読み出されて、ＡＶデータ読出し部３０に送られる。ＡＶデータ読出し部３０は、送られたアドレスデータに従って所定のセグメントを読み出し、デコーダ３２に送り、デコーダ３２でデコードされた後に再生されることになる。この場合に、変更されたシナリオに基づき最初から再生が行われる。さらに、シナリオ変更の指示があった場合には、次に優先度の高いシナリオ、つまり、シナリオ番号３のシナリオのシナリオデータが読み出されて再生される。なお、さらに下位の優先度のシナリオがない場合には、最も優先度の高いシナリオに戻って再生を行う。つまり、シナリオ番号が１〜３までの場合には、シナリオ番号３の再生中にシナリオ変更の指示があった場合には、シナリオ番号１に戻る。
【０１０２】
つまり、ダイジェスト再生の操作を行うと、最初は最も優先度の高いシナリオに基づき再生を行うが、途中でシナリオ変更が行われると、順次優先度が下位のシナリオに基づき再生が行われ、最下位のシナリオ再生中にシナリオ変更の指示があった場合には、最上位のシナリオに戻るのである。なお、上記ステップＳ５３においては、シナリオをユーザが選択できるようにして、ステップＳ５４において、選択されたシナリオに基づいて再生するようにしてもよい。
【０１０３】
なお、上記及び以下の説明におけるシナリオデータに従ったダイジェスト再生が上記シナリオ再生工程に当たる。
【０１０４】
なお、以下のように「通常モード」と「シナリオ選択モード」を設けて各モードを選択できるようにしてもよい。
【０１０５】
つまり、「通常モード」と「シナリオ選択モード」を選択する画面が表示されるので、ここで「通常モード」を選択したとする。
【０１０６】
すると、再生データ選択部２６は、番組を特定するためのデータと、通常モードである旨のデータをナビゲーション制御部２８に送る。すると、ナビゲーション制御部２８は、番組を特定するためのデータに従い該番組についてのシナリオデータテーブルを選択する。そして、通常モードである旨のデータに基づいて、シナリオ番号１のシナリオを選択し、記憶されている代表フレームのアドレスデータをＡＶデータ読出し部３０に送る。
【０１０７】
ＡＶデータ読出し部３０は、送られたアドレスデータに従って、ＡＶデータ保持部２２から所定のデータを読み出して、デコーダ３２に送る。つまり、該アドレスデータが示すフレームから１セグメント分のデータを読み出して、デコーダ３２に送る。
【０１０８】
すると、デコーダ３２では、ＡＶデータ読出し部３０から送られたデータがデコードされて、Ｄ／Ａ変換部３４に送られてＤ／Ａ変換された後にモニタ３６に送られて再生される。
【０１０９】
つまり、シナリオ番号１として記憶されたアドレスデータに応じたセグメントのみが順次再生されるのである。例えば、図５の例では、ショット番号１１におけるセグメントの次には、ショット番号１５におけるセグメントが再生される。
【０１１０】
一方、上記シナリオ選択モードを選択した場合には、シナリオ選択画面が表示されるので、このシナリオ選択画面においてシナリオを選択することにより、選択されたシナリオに応じて再生が行われる。例えば、シナリオ番号２を選択した場合には、シナリオ番号２に記憶されたアドレスデータがシナリオ保持部２４からナビゲーション制御部２８を介してＡＶデータ読出し部３０に送られるので、ＡＶデータ読出し部３０は、シナリオ番号２に記憶されたアドレスデータに従ってＡＶデータを読み出して再生されるのである。
【０１１１】
以上のように、本実施例の映像情報記録再生装置によれば、映像情報のジャンルごとに定められた基準に従ってシナリオデータが作成されて、該シナリオデータに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。また、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオデータによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。つまり、ある映像情報について、複数のシナリオデータが作成されるので、ダイジェスト再生に用いるシナリオデータを切り替えていくことにより、種々の基準に基づくダイジェスト再生を見ることができ、映像情報を概観しやすくなる。
【０１１２】
なお、ダイジェスト再生に際して、複数の番組を同時に再生するようにしてもよい。つまり、デコーダ３２に動画サムネイル表示機能を設けることにより、図１１も示すように、複数の番組のダイジェスト再生を同時にサムネイル再生するようにしてもよい。図１１に示す例は、モニタ３６の表示画面において、上段においては、ニュース＊＊＊の番組がダイジェスト再生され、中段においては、ドラマＡＡＡの番組がダイジェスト再生され、下段においては、ドラマ○○○の番組がダイジェスト再生される例である。
【０１１３】
つまり、再生データ選択部２６により、複数の番組の同時ダイジェスト再生を指示することにより、各番組についてのシナリオデータがシナリオ保持部２４から読み出されて、ＡＶデータ読出し部３０に送られて、ＡＶデータ読出し部３０では、ＡＶデータ保持部２２に記憶された各番組のＡＶデータからシナリオデータに従ってセグメントが読み出されて、デコーダ３２に送られることになる。
【０１１４】
また、図１２に示すように、あるシナリオデータに記憶されたアドレスデータに対応するセグメントをそれぞれ一列に表示する表示領域Ｍ１〜Ｍ３等を表示画面Ｍに設け、各表示領域にセグメントを繰り返し表示するようにしてもよい。例えば、図５の例で、ショット番号１１に対応するセグメントを表示領域Ｍ１に繰り返し表示し、ショット番号１５に対応するセグメントを表示領域Ｍ２に繰り返し表示する。また、表示領域Ｍ３には、ショット番号１５の次にシナリオデータに記憶されているショット番号に対応するセグメントが表示されることになる。つまり、各セグメントを時間的に前から後ろに行くに従い、表示画面Ｍの左から右に配置し、そのうちの複数個（例えば、図１２に示すように３つ）のみを表示するようにし、他のセグメントはユーザーが入力装置を左又は右に操作することにより１画面ずつずれて表示できるようにする。
【０１１５】
このようにすることにより、ある番組の重要シーンを一度に見ることができ、その番組の概要を即座に知ることが可能となる。
【０１１６】
なお、同じシナリオに基づきながらもダイジェスト再生時間が異なるシナリオを用意することにより、再生時間の長いシナリオを選択した場合には、より詳細に各シーンを見ることができるようにしてもよい。
【０１１７】
これは、同じ重み係数の組み合わせを用いながらステップＳ３７で用いるしきい値を異ならせることにより可能である。例えば、図４の例で、ニュースにおいて優先度１の重み係数（ショット長については、０．１、コーナー先頭については０．７、顔領域については０．２）を用いて評価値を算出し、しきい値と比較するが、この際、複数のしきい値を用意して判定を行う。例えば、しきい値ａとしきい値ｂ（しきい値ａ＞しきい値ｂ）とを用意し、評価値としきい値ａとの比較結果に基づいたシナリオデータをシナリオ番号１−１とし、評価値としきい値ｂとの比較結果に基づいたシナリオデータをシナリオ番号１−２としてそれぞれをシナリオデータテーブルに書き込む。この場合、しきい値ｂの方がしきい値ａよりも小さいので、シナリオデータとして書き込まれるアドレスデータの数もしきい値ｂの方が多くなる可能性が高くなる。
【０１１８】
そして、ダイジェスト再生に際して、シナリオ番号１−１とシナリオ番号１−２のいずれかを選択できるようにすることにより、同じ重み係数の組み合わせにより作成されたシナリオであるにも拘わらず、再生時間の異なるように構成することが可能となる。
【０１１９】
なお、ダイジェスト再生をする場合に、どのようなシナリオに基づいて再生をしているのかが分かるようにしておくことが好ましい。つまり、シナリオの内容が分かるように、再生画面中に表示を行う。例えば、図４の例では、ニュースにおいて、シナリオ番号１のシナリオ（つまり、優先度１のシナリオ）では、コーナー先頭をかなり評価するので、例えば、「コーナー先頭多いモード」と再生画面の端位置等に表示し、シナリオ番号２のシナリオでは、コーナー先頭を評価するもののシナリオ番号１ほどではないので、例えば、「コーナー先頭やや多いモード」と表示し、シナリオ番号３のシナリオでは、コーナー先頭と顔領域とを等分に評価しているので、例えば、「コーナー先頭、顔領域やや多いモード」等と表示する。
【０１２０】
なお、上記の説明では、特徴量の基礎として、ショット長や、コーナー先頭であることや、顔領域があることを例に挙げたが、これだけには限られず、例えば、テロップがあること等他の特徴量の基礎を併用してもよい。
【０１２１】
【発明の効果】
本発明に基づく映像情報記録再生装置及び映像情報記録再生方法によれば、映像情報のジャンルごとに定められた基準に従ってシナリオが作成されて、該シナリオに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。
【０１２２】
また、本発明に基づく映像情報記録再生装置及び映像情報記録再生方法によれば、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。例えば、登場人物を把握したい場合には、顔領域が存在するシーンに重きをおいた基準に従ったシナリオを再生すればよい。
【図面の簡単な説明】
【図１】本発明の実施例に基づく映像情報記録再生装置の構成を示すブロック図である。
【図２】検出結果記憶テーブルの構成を示す説明図である。
【図３】特徴量記憶テーブルの構成を示す説明図である。
【図４】重み係数テーブルの構成を示す説明図である。
【図５】シナリオデータテーブルの構成を示す説明図である。
【図６】本発明の実施例に基づく映像情報記録再生装置の動作を説明するためのフローチャートである。
【図７】本発明の実施例に基づく映像情報記録再生装置の動作を説明するためのフローチャートである。
【図８】本発明の実施例に基づく映像情報記録再生装置の動作を説明するためのフローチャートである。
【図９】本発明の実施例に基づく映像情報記録再生装置の動作を説明するための説明図である。
【図１０】本発明の実施例に基づく映像情報記録再生装置の動作を説明するための説明図である。
【図１１】再生における表示の一例を示す説明図である。
【図１２】再生における表示の一例を示す説明図である。
【符号の説明】
Ａ 映像情報記録再生装置
１０ データ分離部
１１、１５ Ａ／Ｄ変換部
１２ 番組付加情報抽出部
１４ ＥＰＧデータ保持部
１６ エンコーダ
１８ インデキシング部
１９ データ保持部
２０ 重み係数テーブル
２２ ＡＶデータ保持部
２４ シナリオ保持部
２６ 再生データ選択部
２８ ナビゲーション制御部
３０ ＡＶデータ読出し部
３２ デコーダ
３４ Ｄ／Ａ変換部
３６ モニタ
【発明の属する技術分野】
本発明は、映像データの再生装置に関するものであり、特に、映像データのダイジェスト版を生成して再生する装置に関するものである。
【０００２】
【従来の技術】
従来より、映像情報のダイジェスト版を作成して再生する装置が存在する。つまり、プロフェッショナル用途と一般の消費者用途とを問わず、大量の映像データの中から視聴したいものを見つけるには、多大な時間と労力を必要とする。例えば、ＶＴＲの早送り再生により見たい番組を見つけることも可能ではあるが、時間と労力を要することになる。これに対処するため、要約映像を作成することにより、該要約映像を通じて大まかに映像の内容を把握する装置や方法が提案されている（特開平１０−３２７７３号、特開平１１−２３９３２２号、特開平１１−１７６０３８号）。
【０００３】
また、特開２０００−３５０１２４号では、テレビジョン番組を録画する際に、番組の映像や音声を解析し、番組の中で特徴的と思われるシーンを抽出し、該シーンを縮小静止画像として生成、保存しておき、映像をブラウジングする際には、該縮小静止画像を再生データに用いている。例えば、特徴シーンを抽出する際には、シーンの変わり目、カメラの動き、色の変化、テロップの有無や内容等の点を抽出している。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来の場合では、１つの基準に基づいて特徴シーンを抽出しているので、番組によっては必ずしも重要なシーンを抜き出しているとはいえない場合がある。例えば、通常、ニュースでは、各ニュース項目が開始される先頭シーンが重要であるのに対して、ドラマや歌番組では、出演者のアップシーン等が重要であるといえ、番組のジャンル（種類としてもよい）によって重要なシーンも異なるにも拘わらず、１つの基準によって特徴シーンを抽出すると、番組によっては、重要でないシーンを抽出してしまうおそれがある。
【０００５】
そこで、本発明は、番組のジャンルが異なっても、特徴シーン、すなわち、その番組にとって重要なシーンを適切に抽出して要約映像を作成してダイジェスト再生することができる映像情報記録再生装置を提供するとともに、ユーザーにとってより適切な要約映像を作成してダイジェスト再生をすることができる映像情報記録再生装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上記問題点を解決するために創作されたものであって、第１には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、映像情報のジャンルごとに定められた基準で、該特徴量を評価するための基準に従い、検出された特徴量を評価する評価手段と、上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が、複数種類のジャンルについてそれぞれ設けられた重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を記憶することにより、該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータに基づいて、該映像情報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、映像情報のジャンルに対応する重み係数群を用いて特徴量を評価することを特徴とする。
【０００７】
この第１の構成の映像情報記録再生装置においては、上記映像情報記憶手段に映像情報が記憶される。また、上記特徴量検出手段は、映像情報における各シーンごとに複数種類の特徴量を検出する。そして、上記評価手段は、映像情報のジャンルごとに定められた基準で、該特徴量を評価するための基準に従い、検出された特徴量を評価する。さらに、シナリオ記憶手段は、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を記憶することにより、該特定情報からなるシナリオデータを記憶する。このようにして、ダイジェスト再生をする際のシナリオが各基準ごとにシナリオ記憶手段に記憶されるので、上記シナリオ再生手段は、映像情報記憶手段に記憶された映像データから、所定の基準に基づくシナリオデータに基づいて、所定のシーン又は該シーンの一部を読み出して再生を行う。よって、映像情報のジャンルごとに定められた基準に従ってシナリオが作成されて、該シナリオに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。
【０００８】
また、第２には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、該特徴量検出手段により検出された特徴量を複数種類の基準に従いそれぞれ評価する評価手段と、上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が優先順位に従い複数設けられた重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、各重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする。
【０００９】
この第２の構成の映像情報記録再生装置においては、上記映像情報記憶手段に映像情報が記憶される。また、上記特徴量検出手段は、映像情報における各シーンごとに複数種類の特徴量を検出する。そして、上記評価手段は、該特徴量検出手段により検出された特徴量を複数種類の基準に従いそれぞれ評価する。さらに、シナリオ記憶手段は、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶する。このようにして、ダイジェスト再生をする際のシナリオが各基準ごとにシナリオ記憶手段に記憶されるので、上記シナリオ再生手段は、映像情報記憶手段に記憶された映像データから、所定の基準に基づくシナリオデータに基づいて、所定のシーン又は該シーンの一部を読み出して再生を行う。よって、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。よって、ユーザーにとってより適切なダイジェスト再生が可能となる。例えば、登場人物を把握したい場合には、顔領域が存在するシーンに重きをおいた基準に従ったシナリオを再生すればよい。
【００１０】
また、第３には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、該特徴量検出手段により検出された複数種類の特徴量を、映像情報のジャンルごとに定められた基準に従いそれぞれ評価する評価手段と、上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が、複数種類のジャンルについてそれぞれ設けられた重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、映像情報のジャンルに対応する重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする。よって、映像情報のジャンルごとに定められた基準に従ってシナリオが作成されて、該シナリオに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。さらに、ある番組について、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。
【００１３】
また、第４には、映像情報の記録・再生を行う映像情報記録再生装置であって、映像情報を記憶する映像情報記憶手段と、映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、該特徴量検出手段により検出された複数種類の特徴量を、映像情報のジャンルごとに定められた基準に従いそれぞれ評価する評価手段と、上記評価手段が、重み係数群集合であって、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が優先順位に従い複数設けられた重み係数群集合を複数のジャンルについてそれぞれ有する重み係数記憶部と、該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、上記評価手段は、映像情報のジャンルに対応する重み係数群集合における複数の重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする。
【００１４】
また、第５には、上記第１あるいは第３の構成において、上記評価手段は、各特徴量と対応する重み係数とを乗算した値を積算した値を、所定のしきい値と比較し、該積算した値が該所定のしきい値よりも大きいか否かを判定することを特徴とする。
【００１５】
また、第６には、上記第２あるいは第４の構成において、上記評価手段は、各特徴量と対応する重み係数とを乗算した値を積算した値を、所定のしきい値と比較し、該積算した値が該所定のしきい値よりも大きいか否かを判定することを特徴とする。このようにして、検出された特徴量を評価する。
【００１６】
また、第７には、上記第５あるいは第６の構成において、上記シナリオ記憶手段は、上記積算した値が上記所定のしきい値よりも大きい場合に、そのシーン又は該シーンの一部を特定する情報である特定情報を記憶していくことを特徴とする。
【００１７】
また、第８には、上記第５から第７までのいずれかの構成において、上記評価手段は、評価に用いる複数種類のしきい値を有し、各しきい値に基づいて評価を行い、また、上記シナリオ記憶手段は、各しきい値に基づく評価結果に基づき、各しきい値ごとにシナリオデータを記憶することを特徴とする。
【００３６】
【発明の実施の形態】
本発明の実施の形態としての実施例を図面を利用して説明する。本発明に基づく映像情報記録再生装置Ａは、データ分離部（分離手段）１０と、Ａ／Ｄ変換部１１と、番組付加情報抽出部１２と、ＥＰＧデータ保持部１４と、Ａ／Ｄ変換部１５と、エンコーダ１６と、インデキシング部１８と、データ保持部１９と、重み係数テーブル（重み係数記憶部）２０と、ＡＶデータ保持部（映像情報記憶手段）２２と、シナリオ保持部（シナリオ記憶手段）２４と、再生データ選択部（シナリオ選択手段）２６と、ナビゲーション制御部２８と、ＡＶデータ読出し部３０と、デコーダ３２と、Ｄ／Ａ変換部３４と、モニタ３６と、を有している。
【００３７】
ここで、上記データ分離部１０は、ＥＰＧ（電子番組ガイド）データとＡＶデータとが含まれたデジタルＡＶデータ（映像情報）が入力されると、これをＥＰＧデータとＡＶデータとに分離する。ここで、図１に示す構成は、映像情報記録再生装置Ａに、現行テレビジョンのアナログ放送波のデータのようなアナログＡＶデータ（映像情報）が入力される場合の例であり、実際には、データ分離部１０の前段に受信部と復調処理部が設けられ、受信部から入力されたアナログＡＶデータが該復調部で復調処理された後にこのデータ分離部１０に入力されることになる。具体的には、このデータ分離部１０は、ＶＢＩ（垂直帰線消去区間）に多重化されたＥＰＧデータを分離する機能を有している。また、データ分離部１０は、ＥＰＧデータを上記番組付加情報抽出部１２に送り、一方、ＡＶデータをエンコーダ１６に送る。
【００３８】
なお、この映像情報記録再生装置Ａに入力されるデータが、デジタルＡＶデータの場合には、図１の構成からＡ／Ｄ変換部１１と、Ａ／Ｄ変換部１５と、エンコーダ１６が省略されることになる。また、上記のような復調部も省略される。つまり、受信されたデジタルＡＶデータが直接データ分離部１０に入力され、このデータ分離部１０においてＥＰＧデータとＡＶデータとに分離され、ＥＰＧデータは番組付加情報抽出部１２に入力され、また、ＡＶデータは、ＡＶデータ保持部２２に入力されるとともに、インデキシング部１８に入力される。なお、デジタルＡＶデータが映像情報記録再生装置Ａに入力される場合には、エンコードされたデータが入力されることになるので、図１のようなエンコーダ１６は必要ない。
【００３９】
次に、Ａ／Ｄ変換部１１は、アナログデータとしてのＥＰＧデータをデジタルデータに変換する。
【００４０】
また、番組付加情報抽出部１２は、ＥＰＧデータから必要なデータを抽出する。例えば、ジャンルや番組タイトルのデータを抽出するものである。番組付加情報抽出部１２は、抽出したデータをＥＰＧデータ保持部１４に送る機能も有している。また、ＥＰＧデータ保持部１４は、抽出されたデータを保持するものである。
【００４１】
また、Ａ／Ｄ変換部１５は、アナログデータとしてのＡＶデータをデジタルデータに変換する。
【００４２】
また、エンコーダ１６は、ＭＰＥＧエンコーダであり、送られたＡＶデータをＭＰＥＧの規格に従い圧縮符号化する。そして、エンコーダ１６は、符号化されたＡＶデータをＭＰＥＧストリームとしてＡＶデータ保持部２２とインデキシング部１８に送る機能を有している。
【００４３】
インデキシング部１８は、エンコーダ１６から送られたＡＶデータを解析処理するものであり、無音検出や、カット点検出や、顔領域の検出等を行うことにより、所定の評価関数を演算するために使用する特徴量の基礎を検出するとともに、各ショットの評価、特に、該特徴量について評価関数を演算してシナリオデータを作成する。
【００４４】
つまり、インデキシング部１８は、ＡＶデータに対して無音検出を行うことにより無音区間の最後のフレーム位置（これが「コーナー先頭フレーム」となる）を検出したり、画像の連続性がない位置のフレーム位置（これが「カット点」となる）を検出したり、該カット点を基準とした代表フレームに顔領域が存在するか否かの検出を行う。コーナー先頭フレームが存在することや、カット点が存在することや、代表フレームに顔領域が存在することが、特徴量の基礎となる。
【００４５】
また、上記評価関数の演算に関しては、インデキシング部１８は、カット点のフレームから次のカット点の前までのフレームで構成されるショットにおいて、特徴量の基礎に基づいて特徴量を算出し、算出された特徴量について所定の評価関数に従い演算を行って、評価値を算出する。評価関数の演算に際しては、ＥＰＧデータ保持部１４からのデータと、重み係数テーブル２０の情報を参照する。ここで、特徴量としては、ショット長（例えば、該ショットのフレームの数）の値や、コーナー先頭フレームの場合に与えられる値や、代表フレームに顔領域が存在する場合に与えられる値が挙げられる。なお、ショットは、特許請求の範囲における「シーン」に当たる。
【００４６】
また、上記シナリオデータの作成に際しては、インデキシング部１８は、算出した評価値を評価し、所定の基準を満たす場合にそのショットを特定するための情報を抽出していく。なお、シナリオデータは、複数種類作成される。
【００４７】
なお、インデキシング部１８における処理の詳しい内容については、追って説明する。
【００４８】
また、データ保持部１９は、インデキシング部１８により検出されたデータ等を保持するものであり、具体的には、インデキシング部１８により検出された検出結果を記憶しておくための検出結果記憶テーブル（図２参照）や、該検出結果記憶テーブルに記憶されたデータに基づいて所定のデータを記憶するための特徴量記憶テーブル（図３参照）が設けられている。
【００４９】
また、重み係数テーブル２０は、上記評価関数を演算する際に使用される重み係数のデータを保持するものであり、具体的には、図４に示すような重み係数テーブルが記憶されている。この重み係数テーブルは、ショット長、コーナー先頭か否か、顔領域があるかについて重み係数が記憶されていて、ジャンルごとに優先度に応じて複数の組み合わせが記憶されている。つまり、優先度が最も高い場合には、そのジャンルにとって最も適切な重み係数の組み合わせとなっている。
【００５０】
ここで、ショット長、コーナー先頭か否か、顔領域についての重み係数の１つの組み合わせが、上記「重み係数群」に当たる。例えば、図４の例で、ニュースにおける優先度１の重み係数０．１、０．７、０．２が重み係数群を構成する。また、あるジャンルにおいて、優先順位に従い設けられた複数の重み係数群が上記重み係数群集合に当たる。つまり、図４の例で、ニュースにおける優先度１〜３の各重み係数の組み合わせが重み係数群集合を構成する。
【００５１】
また、ＡＶデータ保持部２２は、エンコーダ１６から送られたＡＶデータを保持するためのものである。また、シナリオ保持部２４は、上記シナリオデータを保持するものである。シナリオデータは複数種類作成されるので、作成された複数種類のシナリオデータが保持されることになる。つまり、シナリオ保持部２４は、複数のシナリオデータを記憶するシナリオデータテーブル（図５参照）を有している。
【００５２】
また、再生データ選択部２６は、ユーザーが操作を行うための操作部であり、例えば、リモコンにより構成される。この操作部は、特に、ユーザーがダイジェスト再生を行う場合に用いるものである。つまり、見たい番組を選択したり、再生するシナリオを選択したりするのに用いる。
【００５３】
また、ナビゲーション制御部２８は、再生データ選択部２６からのデータに基づき、所定のシナリオデータをシナリオ保持部２４から読み出し、ＡＶデータ読出し部３０に送る。
【００５４】
また、ＡＶデータ読出し部３０は、ナビゲーション制御部２８から送られたデータに基づきＡＶデータ保持部２２に保持されたＡＶデータから所定のデータを読み出して、デコーダ３２に送るものである。
【００５５】
また、デコーダ３２は、ＭＰＥＧデコーダであり、送られたＡＶデータを復号するものである。
【００５６】
なお、上記ナビゲーション制御部２８と、ＡＶデータ読出し部３０と、デコーダ３２と、Ｄ／Ａ変換部３４と、モニタ３６等は、上記シナリオ再生手段として機能する。
【００５７】
なお、映像情報記録再生装置Ａを構成する上記各部については、それぞれを各機能を有する装置として構成してもよいし、一部の構成を所定の処理を実行するためのプログラムと、該プログラムに基づき処理を実行するＣＰＵにより構成してもよい。
【００５８】
つまり、各部を装置により構成する場合には、例えば、上記データ分離部１０は、ＥＰＧデータとＡＶデータとに分離する機能を有する装置として構成し、エンコーダ１６についても、符号化装置により構成する。また、ＥＰＧデータ保持部１４，重み係数テーブル２０、ＡＶデータ保持部２２、シナリオ保持部２４は、記憶装置により構成されることになる。
【００５９】
また、一部の構成を所定の処理を実行するためのプログラムと、該プログラムに基づき動作するＣＰＵにより構成する場合には、各種プログラムが格納された記憶装置と、該プログラムに基づき処理を実行するＣＰＵにより構成し、該各種プログラムとしては、データ分離部１０が行なう処理を実行するためのプログラムや、番組付加情報抽出部１２が行なう処理を実行するためのプログラムや、エンコーダ１６が行なう処理を実行するためのプログラムや、インデキシング部１８が行なう処理を実行するためのプログラムや、ナビゲーション制御部２８が行なう処理を実行するためのプログラムや、ＡＶデータ読出し部３０が行なう処理を実行するためのプログラムや、デコーダ３２が行なう処理を実行するためのプログラム等が挙げられる。
【００６０】
上記構成の映像情報記録再生装置Ａの動作について説明する。まず。ＥＰＧデータとＡＶデータとが含まれたアナログＡＶデータが受信部（図示せず）を介して映像情報記録再生装置Ａに入力されると、図示しない復調部において復調された後に、データ分離部１０に入力される。そして、該ＡＶデータは、データ分離部１０において、該ＥＰＧデータとＡＶデータとに分離される。ＥＰＧデータは、Ａ／Ｄ変換部１１においてＡ／Ｄ変換された後に番組付加情報抽出部１２に送られ、また、ＡＶデータは、Ａ／Ｄ変換部１５においてＡ／Ｄ変換された後にエンコーダ１６に送られる。
【００６１】
番組付加情報抽出部１２は、ＥＰＧデータから必要なデータ、例えば、ジャンルや番組タイトルのデータを抽出し、該抽出したデータをＥＰＧデータ保持部１４に送る。送られたデータは、ＥＰＧデータ保持部１４に保持される。
【００６２】
一方、エンコーダ１６は、送られたＡＶデータをＭＰＥＧの規格に従い圧縮符号化し、符号化されたＡＶデータをＭＰＥＧストリームとしてＡＶデータ保持部２２とインデキシング部１８に送る。ＡＶデータ保持部２２では、ＡＶデータが記憶される。このＡＶデータ保持部２２への記憶が、上記映像情報記憶工程に当たる。
【００６３】
なお、上記デジタルＡＶデータの場合の構成では、デジタルＡＶデータが直接分離部１０に入力され、ＥＰＧデータは番組付加情報抽出部１２に送られ、また、ＡＶデータは、インデキシング部１８とＡＶデータ保持部２２に送られる。
【００６４】
また、インデキシング部１８では、図６に示すフローチャートの処理や図７のフローチャートの処理が行われる。
【００６５】
つまり、エンコーダ１６からＡＶデータが送られているか否かを判定すること等により、録画中の番組が終了したか否かが判定され（Ｓ１０）、番組が終了したら処理は終了する。一方、番組が終了していない場合には、ステップＳ１１に移行して、処理の対象となる対象フレームを特定する（Ｓ１１）。これは最初のフレームから順次対象フレームとして特定されることになる。
【００６６】
次に、そのフレームの位置（時間的な位置）において無音検出を行うか否かが判定される（Ｓ１２）。これは、無音検出はフレーム間隔よりも長い時間間隔ごとに行なうために、このような判定が設けられているもので、このステップＳ１２においては、複数回に１度の割合で無音検出を行う旨の判定がなされる。
【００６７】
そして、無音検出を行う場合には、そのフレームの位置が無音となっているか否かが判定される（Ｓ１３）。つまり、音声レベルが予め設定したしきい値を越えているか否かを判定することにより、無音が否かが判定される。
【００６８】
そして、無音である場合には、対応するフレーム番号を記憶しておく（Ｓ１４、Ｓ１５）。これは、インデキシング部１８自身において保持しておいてもよいし、データ保持部１９に記憶させておいてもよい。一方、無音でない場合には、ステップＳ１６に移行する。
【００６９】
ステップＳ１６では、最後の無音から所定時間が経過したか否かが判定される（Ｓ１６）。つまり、ステップＳ１５において、無音と検出された位置のフレームのフレーム番号が記憶されていくので、この記憶されたデータに従って、最後に無音と判定された位置から所定時間経過しているか否かが判定される。これは、最後に無音になってから所定時間無音が検出されない場合に初めて該最後の無音の位置をコーナー先頭とすることから、このような判定を設けるのである。そして、最後の無音から所定時間が経過している場合には、その最後の無音の位置のフレーム番号をコーナー先頭である旨のデータとともに検出結果記憶テーブル（図２参照）に記憶する。なお、コーナー先頭のデータを記憶した後にも有音区間が続いている場合に、さらに、コーナー先頭のデータを記憶する必要はないので、上記ステップＳ１６では、最後の無音の位置のフレーム番号がコーナー先頭として記憶されていないことも判定され、記憶されていない場合に、ステップＳ１７に移行することになる。つまり、ステップＳ１６では、最後の無音から所定時間が経過したか否かが判定されるとともに、最後の無音の位置のフレーム番号がコーナー先頭として記憶されていないことも判定され、最後の無音から所定時間が経過し、かつ、最後の無音の位置のフレーム番号がコーナー先頭として記憶されていない場合に、ステップＳ１７で、その最後の無音の位置のフレーム番号をコーナー先頭として記憶することになる。
【００７０】
例えば、図２、図９に示す例において、フレーム番号ｌ＋２のフレームの位置において無音と検出され、その後所定時間無音が検出されなかったことにより、該フレーム番号ｌ＋２のデータとコーナー先頭である旨のデータが検出結果記憶テーブルに記憶されたものである。フレーム番号ｎ＋２のフレームについても同様である。
【００７１】
次に、カット検出を行う（Ｓ１８）。これは、前のフレームと連続性があるか否かを判定することにより行われ、ＡＶデータにおいてカメラが切り替わる等物理的にフレーム間で連続性がなくなった場合に、連続性がないものと判定される。前のフレームと連続性がないと判定された場合に、対象フレームがカット点となる。このようなカット検出の方法については、すでに種々の手法が提案されており、例えば、Ｊ．Ｍｅｎｇらによる「“Ｓｃｅｎｅ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ｉｎ ａ ＭＰＥＧ Ｃｏｍｐｒｅｓｓｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ”，ＳＰＩＥ Ｐｒｏｃｅｅｄｉｎｇ Ｖｏｌ．２４１９ Ｆｅｂｒｕａｒｙ １９９５」が提案する方法を用いることでＭＰＥＧ−１やＭＰＥＧ−２の映像ストリームから効率的にカット検出を実行することが可能となる。ステップＳ１８におけるカット検出によりカット点が検出されたら、対象フレームのフレーム番号をカット点である旨のデータとともに検出結果記憶テーブルに記憶する（Ｓ１９、Ｓ２０）。一方、カット点でないと検出された場合には、ステップＳ２１に移行する（Ｓ１９）。
【００７２】
例えば、図２、図９に示す例において、フレーム番号ｍ＋１のフレームにおける判定においては、前フレームであるフレーム番号ｍのフレームとの連続性がないと判定されたことにより、フレーム番号ｍ＋１のデータがカット点である旨のデータとともに検出結果記憶テーブルに記憶されたものである。フレーム番号ｎ＋１のフレームについても同様である。
【００７３】
次に、対象フレームが代表フレームか否かが判定される（Ｓ２１）。この代表フレームとは、カット点に当たるフレームから所定フレーム目のフレームをいい、例えば、カット点に当たるフレームから３番目のフレームを代表フレームと規定した場合には、対象フレームが、カット点に当たるフレームから３番目のフレームであるか否かが判定される。
【００７４】
そして、代表フレームであると判定された場合には、フレーム中に顔領域が存在するか否かが判定される（Ｓ２２）。つまり、フレーム中に顔の画像が存在するか否かを判定する。この顔領域検出もすでに種々の手法が提案されており、例えば、Ｈ．Ｗａｎｇらによる「“Ａ Ｈｉｇｈｌｙ Ｅｆｆｉｃｉｅｎｔ Ｓｙｓｔｅｍ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｉｎ ＭＰＥＧ Ｖｉｄｅｏ”，ＩＥＥＥ ＴＣＳＶＴ」が提案する方法を用いることが可能である。ステップＳ２２における顔領域検出により対象フレームにおいて顔領域が検出された場合には、そのフレームのフレーム番号を顔領域を含むフレームである旨のデータとともに検出結果記憶テーブルに記憶する（Ｓ２３、Ｓ２４）。一方、顔領域を含まない場合には、その対象フレームについての処理を終了し、ステップＳ１０に戻る。
【００７５】
なお、ステップＳ２１の判定において対象フレームが代表フレームでない場合には、その対象フレームについての処理を終了し、ステップＳ１０に戻る。
【００７６】
例えば、図２、図９に示す例において、フレーム番号ｎ＋４のフレームにおける判定においては、該フレームが代表フレームであり、かつ、顔領域が検出されたとして、フレーム番号ｎ＋１のデータが顔領域が存在する旨のデータとともに検出結果記憶テーブルに記憶されたものである。なお、図９において、フレーム番号ｍ＋４のフレームも代表フレームであるが、顔領域が存在しないとして、フレーム番号ｍ＋４についてのデータは検出結果記憶テーブルには記憶されていない。
【００７７】
ある対象フレームについて、ステップＳ１２〜Ｓ２４までの処理が終了したら、ステップＳ２５に移行して、ショットの評価を行う。このショットの評価の詳細については後述する。その後は、ステップＳ１１において、その次のフレームを対象フレームに特定して同じようにステップＳ１２〜Ｓ２４までの処理を繰り返していく。このようにして、最後のフレームまで処理を行っていき、検出結果記憶テーブルに検出結果を記憶していく。
【００７８】
なお、各フレームごとに順次処理を行っていくに従い、検出結果記憶テーブルにデータが記憶されていくわけであるが、インデキシング部１８においては、検出結果記憶テーブルへ順次記憶されるデータに基づいて図３に示す特徴量記憶テーブルにも記憶を行っていく。この特徴量記憶テーブルは、各ショット番号ごとに、先頭フレームと、最終フレームと、ショット長と、ショット長判定値と、コーナー先頭である場合の特徴量と、顔領域が存在する場合の特徴量と、評価の処理が完了しているか否かが記憶されるようになっている。
【００７９】
つまり、１つのショットは、カット点のフレームから次のカット点の手前のフレームにより構成されるので（先頭のショットについては、先頭のフレームから最初のカット点の手前のフレームまで）、各ショットごとに各データを記憶していく。つまり、先頭フレームについては、そのショットの先頭フレームのフレーム番号を記憶し、最終フレームはそのショットの最終フレームのフレーム番号を記憶し、ショット長は、そのショットにおけるフレーム数を記憶する。ショット長判定値は、ショット長があるしきい値よりも大きい場合には１とし、該しきい値以下の場合には０とする。このように、ショット長があるしきい値よりも大きい場合に与えられる値が、上記シーン長さ特徴量に当たる。また、コーナー先頭である場合の特徴量については、そのショット内にコーナー先頭である旨のデータが記憶されているフレームがある場合には１とし、一方、そのショット内にコーナー先頭である旨のデータが記憶されているフレームが１つもない場合には０とする。このように、そのショット内にコーナー先頭である旨のデータが記憶されているフレームがある場合に与えられる値が、上記音声レベル特徴量に当たる。同じように、顔領域が存在する場合の特徴量についても、そのショット内に顔領域が存在する旨のデータが記憶されているフレームがある場合には１とし、一方、そのショット内に顔領域が存在する旨のデータが記憶されているフレームが１つもない場合には０とする。このように、そのショット内に顔領域が存在する旨のデータが記憶されているフレームがある場合に与えられる値が、上記顔領域特徴量に当たる。つまり、ショット長判定値と、コーナー先頭と、顔領域については、２値とする。
【００８０】
なお、上記シーン長さ特徴量や、音声レベル特徴量や、顔領域特徴量は、インデキシング部１８により検出されるわけであるが、この場合のインデキシング部１８は、上記シーン長さ特徴量検出手段や、音声レベル特徴量検出手段や、顔領域特徴量検出手段として機能するといえる。また、上記のように、各特徴量が検出される工程が上記特徴量検出工程に当たる。
【００８１】
なお、評価の処理が完了しているか否かに関しては、そのショットについてステップＳ２５における評価が完了した場合には、その旨のデータ（例えば、１）を記憶する。このようにして、検出結果記憶テーブルにデータを順次記憶していくに伴い、特徴量記憶テーブルにも順次データが記憶されていく。
【００８２】
この特徴量記憶テーブルへの記憶のタイミングは、特徴量記憶テーブルへの記憶が可能になったタイミングで任意に行えばよいが、例えば、上記ステップＳ１７、Ｓ２０、Ｓ２４における検出結果記憶テーブルへの記憶のタイミングにおいて同時に行えばよい。例えば、あるカット点が検出された場合には、そのカット点の手前にあるショットの最終フレームと、次のショットの先頭フレームの番号が分かるので、ステップＳ２０において検出結果記憶テーブルにカット点のデータを書き込むのと同時に、特徴量記憶テーブルにも書込みを行なう。ショット長やショット長判定値についても、最終フレームのデータが分かれば算出可能であるので、書込み可能である。また、顔領域が存在する場合の特徴量についても、あるカット点が検出された場合には、その手前のショット内に顔領域の存在するフレームがある場合には、ステップＳ２０において検出結果記憶テーブルにカット点のデータを書き込むのと同時にその旨のデータを書き込む。なお、コーナー先頭である場合の特徴量については、最後の無音から所定時間経過しないとコーナー先頭であることが分からないので、ステップＳ１７において検出結果記憶テーブルに書き込みを行なうのと同時に行なう。また、評価の処理が完了しているか否かについては、あるショットについてステップＳ２５の処理が完了した場合に、その旨のデータを書き込む。
【００８３】
以上のようにインデキシング部１８が特徴量の検出を行うわけであるが、その際のインデキシング部１８は、上記特徴量検出手段として機能する。
【００８４】
次に、ステップＳ２５におけるショットの評価について、図７等を使用して説明する。
【００８５】
まず、未処理のショットがあるか否かが判定される（Ｓ３０）。つまり、ステップＳ２５における評価を行っていないショットがあるか否かが判定され、ある場合には、ステップＳ３１に移行し、ない場合にはステップＳ２５の処理を一旦終了して、ステップＳ１０（図６参照）に戻る。ここで、ステップＳ２５における評価を行っていないショットがあるか否かについては、特徴量記憶テーブルにおける評価の処理が完了しているか否かのデータに基づいて判定すればよい。
【００８６】
また、ステップＳ３１では、未処理のショットの直後のフレーム、つまり、未処理のショットの直後のカット点から所定時間が経過したか否かが判定される（Ｓ３１）。これは、あるフレームがコーナー先頭であるか否かは、最後の無音から所定時間が経過しないと判明しないので、直後のカット点から所定時間が経過するまでは、該未処理のショットにコーナー先頭のデータが含まれる可能性があるからである。ステップＳ３１において、所定時間が経過している場合には、Ｓ３２に移行し、経過していない場合にはステップＳ２５の処理を一旦終了して、ステップＳ１０に戻る。
【００８７】
ステップＳ３２においては、ＥＰＧデータ保持部１４に保持されているデータから処理対象のＡＶデータのジャンルについてのデータを読み出して取得する（Ｓ３２）。
【００８８】
次に、対象ショットについての特徴量を取得する（Ｓ３３）。つまり、未処理ショットについての特徴量を特徴量記憶テーブルから読み出す。なお、未処理ショットが複数ある場合には、最初の未処理ショットについての特徴量を読み出す。
【００８９】
次に、シナリオ番号を初期値にセットする（Ｓ３４）。例えば、シナリオ番号を１とする。そして、各特徴量についての重み係数を重み係数テーブルから取得する（Ｓ３５）。なお、重み係数はＳ３２で取得したジャンルと、シナリオ番号に応じて選択して取得される。例えば、ステップＳ３２で取得したＡＶデータのジャンルがニュースで、シナリオ番号が１の場合には、図４に示す重み係数テーブルに従い、ショット長については、０．１、コーナー先頭については０．７、顔領域については０．２の各重み係数を取得する。つまり、シナリオ番号１〜３は、重み係数テーブルにおける優先度１〜３に対応している。
【００９０】
そして、所定の評価関数に従い評価値を算出する。つまり、各特徴量に重み付けを行って計算し評価値を算出する（Ｓ３６）。評価関数の具体例としては、以下の評価関数を用いる。
【００９１】
Ｆ＝ｗ１＊ｖ１＋ｗ２＊ｖ２＋ｗ３＊ｖ３
上記の評価関数において、ｗ１、ｗ２、ｗ３は各重み係数を示し、ｖ１、ｖ２、ｖ３は各特徴量を示す。つまり、各特徴量について、対応する重み係数を乗算した値の和を求める。例えば、ジャンルがニュースであるＡＶデータの場合に、図３に示すショット番号１のショットにおいては、Ｆ＝０．１＊１＋０．７＊１＋０．２＊０となり、Ｆの値が評価値となる。
【００９２】
そして、算出された評価値と所定のしきい値とを比較し、評価値が該しきい値よりも大きい場合には、該ショットを特定するためのデータをシナリオデータテーブルに記憶する。具体的には、シナリオデータテーブルにおける所定のシナリオ番号に対応させて該ショットを特定するためのデータを書き込む。なお、該ショットを特定するためのデータとしては、該ショットにおける代表フレームのアドレスデータとする。これは、ダイジェスト再生する際には、該ショット内の所定の範囲のみを再生するものとするためである。なお、該所定の範囲を代表フレームから所定数のフレーム分（又は所定時間分）とし、この範囲を該ショットにおけるセグメントと呼ぶこととする。なお、このセグメントは、特許請求の範囲における「シーンの一部」に当たる。また、シナリオデータテーブルに書き込まれる代表フレームのアドレスデータは、上記「シーン又はシーンの一部を特定する情報である特定情報」に当たる。
【００９３】
次に、全てのシナリオについて評価が完了したか否かが判定されて（Ｓ３９）、完了してない場合には、シナリオ番号をインクリメントして次のシナリオについて評価を行なう。例えば、ニュースの場合に、シナリオ番号２について評価する場合には、図４に示す重み係数テーブルに従い、ショット長については、０．１、コーナー先頭については０．５、顔領域については０．４の各重み係数を取得して（Ｓ３５）、その後同じように評価値を計算し（Ｓ３６）、しきい値との比較を行って（Ｓ３７）、しきい値を越えている場合に、シナリオデータテーブルへの書込みを行う。シナリオ番号３についても同様である。
【００９４】
以上のようにして、全てのシナリオについて評価が完了したら、ステップＳ２５の処理を完了して、ステップＳ１０に戻る。このステップＳ２５の処理も各ショットについて処理が行われて、逐次シナリオデータテーブルにデータが書き込まれていくことになる。このようにして、シナリオデータが記憶されていく。あるＡＶデータの最後まで処理が完了した際には、シナリオデータテーブルには、各シナリオ番号ごとに、評価値がしきい値を越えたショットの代表フレームのアドレスデータが記憶されていることになる。
【００９５】
例えば、図５、図１０の例においては、例えば、ショット番号１１のショットでは、シナリオ番号１〜３の全てのシナリオについて評価値がしきい値を越えたことから、該ショットの代表フレームのアドレスデータが書き込まれている。また、ショット番号１２のショットでは、シナリオ番号３の場合のみ評価値がしきい値を越えたことから、シナリオ番号３についてのみショット番号１２のショットの代表フレームのアドレスデータが書き込まれている。
【００９６】
なお、複数の番組について上記の処理が行われた場合には、各番組ごとにシナリオデータテーブルが記憶されることになる。
【００９７】
なお、上記の説明では、ステップＳ２５の処理は、図６に示す一連の処理の流れの中に存在するものとして説明したが、図６のフローチャートからステップＳ２５を削除するとともに、図７のフローチャートを図６のフローチャートとは別に並行して行うようにしてもよい。
【００９８】
以上のように、上記ステップＳ２５の処理は、インデキシング部１８により行われるが、この場合のインデキシング部１８は上記評価手段として機能する。また、上記ステップＳ２５は、上記評価工程に当たる。また、上記のようなシナリオテーブルへの書込みが、上記シナリオ記憶工程に当たる。
【００９９】
次に、ＡＶデータをダイジェスト再生する場合の動作について説明する。ユーザーが再生データ選択部２６により、ダイジェスト再生したい番組を選択する。例えば、選択可能な番組がモニタ３６に表示されるので、これらから番組を選択する。
【０１００】
そして、ダイジェスト再生の操作を行うと、図８に示す処理に従い再生が行われる。つまり、ユーザーがダイジェスト再生の操作を行うと、その情報がナビゲーション制御部２８に送られる。すると、ナビゲーション制御部２８は、シナリオ保持部２４から最も優先度の高いシナリオデータを読み出す（Ｓ５０）。つまり、シナリオ番号１のシナリオにおけるアドレスデータを読み出してＡＶデータ読出し部３０に送る。そして、ＡＶデータ読出し部３０では、最初のアドレスデータに基づいて、該アドレスデータを先頭フレームとするセグメントをＡＶデータ保持部２２から読み出して、デコーダ３２に転送する（Ｓ５１）。すると、デコーダ３２で該セグメントのデコードが行われて、Ｄ／Ａ変換部３４でＤ／Ａ変換された後にモニタ３６に再生される。そして、再生データ制御部２６によりシナリオ変更の指示がない限り（Ｓ５３）、ＡＶデータ読出し部３０は、順次送られたアドレスデータに基づいて対応するセグメントをＡＶデータ保持部２２から読み出してデコーダ３２に送ることにより、以後同様に再生される。つまり、シナリオ番号１として記憶されたアドレスデータに応じたセグメントのみが順次再生されるのである。
【０１０１】
一方、再生データ選択部２６において、シナリオ変更の指示があった場合（Ｓ５３）、つまり、次に優先度の高いシナリオ、つまり、シナリオ番号２のシナリオのシナリオデータがシナリオ保持部２４から読み出される（Ｓ５４）。つまり、選択されたシナリオについて記憶されたアドレスデータが読み出されて、ＡＶデータ読出し部３０に送られる。ＡＶデータ読出し部３０は、送られたアドレスデータに従って所定のセグメントを読み出し、デコーダ３２に送り、デコーダ３２でデコードされた後に再生されることになる。この場合に、変更されたシナリオに基づき最初から再生が行われる。さらに、シナリオ変更の指示があった場合には、次に優先度の高いシナリオ、つまり、シナリオ番号３のシナリオのシナリオデータが読み出されて再生される。なお、さらに下位の優先度のシナリオがない場合には、最も優先度の高いシナリオに戻って再生を行う。つまり、シナリオ番号が１〜３までの場合には、シナリオ番号３の再生中にシナリオ変更の指示があった場合には、シナリオ番号１に戻る。
【０１０２】
つまり、ダイジェスト再生の操作を行うと、最初は最も優先度の高いシナリオに基づき再生を行うが、途中でシナリオ変更が行われると、順次優先度が下位のシナリオに基づき再生が行われ、最下位のシナリオ再生中にシナリオ変更の指示があった場合には、最上位のシナリオに戻るのである。なお、上記ステップＳ５３においては、シナリオをユーザが選択できるようにして、ステップＳ５４において、選択されたシナリオに基づいて再生するようにしてもよい。
【０１０３】
なお、上記及び以下の説明におけるシナリオデータに従ったダイジェスト再生が上記シナリオ再生工程に当たる。
【０１０４】
なお、以下のように「通常モード」と「シナリオ選択モード」を設けて各モードを選択できるようにしてもよい。
【０１０５】
つまり、「通常モード」と「シナリオ選択モード」を選択する画面が表示されるので、ここで「通常モード」を選択したとする。
【０１０６】
すると、再生データ選択部２６は、番組を特定するためのデータと、通常モードである旨のデータをナビゲーション制御部２８に送る。すると、ナビゲーション制御部２８は、番組を特定するためのデータに従い該番組についてのシナリオデータテーブルを選択する。そして、通常モードである旨のデータに基づいて、シナリオ番号１のシナリオを選択し、記憶されている代表フレームのアドレスデータをＡＶデータ読出し部３０に送る。
【０１０７】
ＡＶデータ読出し部３０は、送られたアドレスデータに従って、ＡＶデータ保持部２２から所定のデータを読み出して、デコーダ３２に送る。つまり、該アドレスデータが示すフレームから１セグメント分のデータを読み出して、デコーダ３２に送る。
【０１０８】
すると、デコーダ３２では、ＡＶデータ読出し部３０から送られたデータがデコードされて、Ｄ／Ａ変換部３４に送られてＤ／Ａ変換された後にモニタ３６に送られて再生される。
【０１０９】
つまり、シナリオ番号１として記憶されたアドレスデータに応じたセグメントのみが順次再生されるのである。例えば、図５の例では、ショット番号１１におけるセグメントの次には、ショット番号１５におけるセグメントが再生される。
【０１１０】
一方、上記シナリオ選択モードを選択した場合には、シナリオ選択画面が表示されるので、このシナリオ選択画面においてシナリオを選択することにより、選択されたシナリオに応じて再生が行われる。例えば、シナリオ番号２を選択した場合には、シナリオ番号２に記憶されたアドレスデータがシナリオ保持部２４からナビゲーション制御部２８を介してＡＶデータ読出し部３０に送られるので、ＡＶデータ読出し部３０は、シナリオ番号２に記憶されたアドレスデータに従ってＡＶデータを読み出して再生されるのである。
【０１１１】
以上のように、本実施例の映像情報記録再生装置によれば、映像情報のジャンルごとに定められた基準に従ってシナリオデータが作成されて、該シナリオデータに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。また、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオデータによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。つまり、ある映像情報について、複数のシナリオデータが作成されるので、ダイジェスト再生に用いるシナリオデータを切り替えていくことにより、種々の基準に基づくダイジェスト再生を見ることができ、映像情報を概観しやすくなる。
【０１１２】
なお、ダイジェスト再生に際して、複数の番組を同時に再生するようにしてもよい。つまり、デコーダ３２に動画サムネイル表示機能を設けることにより、図１１も示すように、複数の番組のダイジェスト再生を同時にサムネイル再生するようにしてもよい。図１１に示す例は、モニタ３６の表示画面において、上段においては、ニュース＊＊＊の番組がダイジェスト再生され、中段においては、ドラマＡＡＡの番組がダイジェスト再生され、下段においては、ドラマ○○○の番組がダイジェスト再生される例である。
【０１１３】
つまり、再生データ選択部２６により、複数の番組の同時ダイジェスト再生を指示することにより、各番組についてのシナリオデータがシナリオ保持部２４から読み出されて、ＡＶデータ読出し部３０に送られて、ＡＶデータ読出し部３０では、ＡＶデータ保持部２２に記憶された各番組のＡＶデータからシナリオデータに従ってセグメントが読み出されて、デコーダ３２に送られることになる。
【０１１４】
また、図１２に示すように、あるシナリオデータに記憶されたアドレスデータに対応するセグメントをそれぞれ一列に表示する表示領域Ｍ１〜Ｍ３等を表示画面Ｍに設け、各表示領域にセグメントを繰り返し表示するようにしてもよい。例えば、図５の例で、ショット番号１１に対応するセグメントを表示領域Ｍ１に繰り返し表示し、ショット番号１５に対応するセグメントを表示領域Ｍ２に繰り返し表示する。また、表示領域Ｍ３には、ショット番号１５の次にシナリオデータに記憶されているショット番号に対応するセグメントが表示されることになる。つまり、各セグメントを時間的に前から後ろに行くに従い、表示画面Ｍの左から右に配置し、そのうちの複数個（例えば、図１２に示すように３つ）のみを表示するようにし、他のセグメントはユーザーが入力装置を左又は右に操作することにより１画面ずつずれて表示できるようにする。
【０１１５】
このようにすることにより、ある番組の重要シーンを一度に見ることができ、その番組の概要を即座に知ることが可能となる。
【０１１６】
なお、同じシナリオに基づきながらもダイジェスト再生時間が異なるシナリオを用意することにより、再生時間の長いシナリオを選択した場合には、より詳細に各シーンを見ることができるようにしてもよい。
【０１１７】
これは、同じ重み係数の組み合わせを用いながらステップＳ３７で用いるしきい値を異ならせることにより可能である。例えば、図４の例で、ニュースにおいて優先度１の重み係数（ショット長については、０．１、コーナー先頭については０．７、顔領域については０．２）を用いて評価値を算出し、しきい値と比較するが、この際、複数のしきい値を用意して判定を行う。例えば、しきい値ａとしきい値ｂ（しきい値ａ＞しきい値ｂ）とを用意し、評価値としきい値ａとの比較結果に基づいたシナリオデータをシナリオ番号１−１とし、評価値としきい値ｂとの比較結果に基づいたシナリオデータをシナリオ番号１−２としてそれぞれをシナリオデータテーブルに書き込む。この場合、しきい値ｂの方がしきい値ａよりも小さいので、シナリオデータとして書き込まれるアドレスデータの数もしきい値ｂの方が多くなる可能性が高くなる。
【０１１８】
そして、ダイジェスト再生に際して、シナリオ番号１−１とシナリオ番号１−２のいずれかを選択できるようにすることにより、同じ重み係数の組み合わせにより作成されたシナリオであるにも拘わらず、再生時間の異なるように構成することが可能となる。
【０１１９】
なお、ダイジェスト再生をする場合に、どのようなシナリオに基づいて再生をしているのかが分かるようにしておくことが好ましい。つまり、シナリオの内容が分かるように、再生画面中に表示を行う。例えば、図４の例では、ニュースにおいて、シナリオ番号１のシナリオ（つまり、優先度１のシナリオ）では、コーナー先頭をかなり評価するので、例えば、「コーナー先頭多いモード」と再生画面の端位置等に表示し、シナリオ番号２のシナリオでは、コーナー先頭を評価するもののシナリオ番号１ほどではないので、例えば、「コーナー先頭やや多いモード」と表示し、シナリオ番号３のシナリオでは、コーナー先頭と顔領域とを等分に評価しているので、例えば、「コーナー先頭、顔領域やや多いモード」等と表示する。
【０１２０】
なお、上記の説明では、特徴量の基礎として、ショット長や、コーナー先頭であることや、顔領域があることを例に挙げたが、これだけには限られず、例えば、テロップがあること等他の特徴量の基礎を併用してもよい。
【０１２１】
【発明の効果】
本発明に基づく映像情報記録再生装置及び映像情報記録再生方法によれば、映像情報のジャンルごとに定められた基準に従ってシナリオが作成されて、該シナリオに基づきダイジェスト再生されるので、番組のジャンルが異なっても、番組のジャンルごとに最適なダイジェスト再生を行うことが可能となる。
【０１２２】
また、本発明に基づく映像情報記録再生装置及び映像情報記録再生方法によれば、複数の基準に基づいてダイジェスト再生のシナリオが複数作成されるので、ユーザーは、異なる基準に基づいたシナリオによるダイジェスト再生を見ることができ、映像情報を概観しやすくなるとともに、重要シーンを見つけやすくなる。例えば、登場人物を把握したい場合には、顔領域が存在するシーンに重きをおいた基準に従ったシナリオを再生すればよい。
【図面の簡単な説明】
【図１】本発明の実施例に基づく映像情報記録再生装置の構成を示すブロック図である。
【図２】検出結果記憶テーブルの構成を示す説明図である。
【図３】特徴量記憶テーブルの構成を示す説明図である。
【図４】重み係数テーブルの構成を示す説明図である。
【図５】シナリオデータテーブルの構成を示す説明図である。
【図６】本発明の実施例に基づく映像情報記録再生装置の動作を説明するためのフローチャートである。
【図７】本発明の実施例に基づく映像情報記録再生装置の動作を説明するためのフローチャートである。
【図８】本発明の実施例に基づく映像情報記録再生装置の動作を説明するためのフローチャートである。
【図９】本発明の実施例に基づく映像情報記録再生装置の動作を説明するための説明図である。
【図１０】本発明の実施例に基づく映像情報記録再生装置の動作を説明するための説明図である。
【図１１】再生における表示の一例を示す説明図である。
【図１２】再生における表示の一例を示す説明図である。
【符号の説明】
Ａ 映像情報記録再生装置
１０ データ分離部
１１、１５ Ａ／Ｄ変換部
１２ 番組付加情報抽出部
１４ ＥＰＧデータ保持部
１６ エンコーダ
１８ インデキシング部
１９ データ保持部
２０ 重み係数テーブル
２２ ＡＶデータ保持部
２４ シナリオ保持部
２６ 再生データ選択部
２８ ナビゲーション制御部
３０ ＡＶデータ読出し部
３２ デコーダ
３４ Ｄ／Ａ変換部
３６ モニタ
Claims (8)
- 映像情報の記録・再生を行う映像情報記録再生装置であって、
映像情報を記憶する映像情報記憶手段と、
映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、
映像情報のジャンルごとに定められた基準で、該特徴量を評価するための基準に従い、検出された特徴量を評価する評価手段と、
上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が、複数種類のジャンルについてそれぞれ設けられた重み係数記憶部と、
該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を記憶することにより、該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、
該シナリオ記憶手段に記憶されたシナリオデータに基づいて、該映像情報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、
上記評価手段は、映像情報のジャンルに対応する重み係数群を用いて特徴量を評価することを特徴とする映像情報記録再生装置。 - 映像情報の記録・再生を行う映像情報記録再生装置であって、
映像情報を記憶する映像情報記憶手段と、
映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、
該特徴量検出手段により検出された特徴量を複数種類の基準に従いそれぞれ評価する評価手段と、
上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が優先順位に従い複数設けられた重み係数記憶部と、
該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、
該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、
上記評価手段は、各重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする映像情報記録再生装置。 - 映像情報の記録・再生を行う映像情報記録再生装置であって、
映像情報を記憶する映像情報記憶手段と、
映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、
該特徴量検出手段により検出された複数種類の特徴量を、映像情報のジャンルごとに定められた基準に従いそれぞれ評価する評価手段と、
上記評価手段が、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が、複数種類のジャンルについてそれぞれ設けられた重み係数記憶部と、
該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、
該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、
上記評価手段は、映像情報のジャンルに対応する重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする映像情報記録再生装置。 - 映像情報の記録・再生を行う映像情報記録再生装置であって、
映像情報を記憶する映像情報記憶手段と、
映像情報における各シーンごとに複数種類の特徴量を検出する特徴量検出手段と、
該特徴量検出手段により検出された複数種類の特徴量を、映像情報のジャンルごとに定められた基準に従いそれぞれ評価する評価手段と、
上記評価手段が、重み係数群集合であって、各特徴量について重み付けを行なうための重み係数が各特徴量ごとに設けられた重み係数群が優先順位に従い複数設けられた重み係数群集合を複数のジャンルについてそれぞれ有する重み係数記憶部と、
該評価手段による評価結果に基づき、該シーン又は該シーンの一部を特定する情報である特定情報を各基準ごとに記憶することにより、各基準ごとに該特定情報からなるシナリオデータを記憶するシナリオ記憶手段と、
該シナリオ記憶手段に記憶されたシナリオデータのうちの所定の基準に基づくシナリオデータに基づいて、該映像報記憶手段に記憶された映像データから、所定のシーン又は該シーンの一部を読み出して再生を行うシナリオ再生手段とを有し、
上記評価手段は、映像情報のジャンルに対応する重み係数群集合における複数の重み係数群を用いてそれぞれ特徴量を評価することにより、該特徴量を複数種類の基準に従い評価することを特徴とする映像情報記録再生装置。 - 上記評価手段は、各特徴量と対応する重み係数とを乗算した値を積算した値を、所定のしきい値と比較し、該積算した値が該所定のしきい値よりも大きいか否かを判定することを特徴とする請求項１あるいは３に記載の映像情報記録再生装置。
- 上記評価手段は、各特徴量と対応する重み係数とを乗算した値を積算した値を、所定のしきい値と比較し、該積算した値が該所定のしきい値よりも大きいか否かを判定することを特徴とする請求項２あるいは４に記載の映像情報記録再生装置。
- 上記シナリオ記憶手段は、上記積算した値が上記所定のしきい値よりも大きい場合に、そのシーン又は該シーンの一部を特定する情報である特定情報を記憶していくことを特徴とする請求項５あるいは６に記載の映像情報記録再生装置。
- 上記評価手段は、評価に用いる複数種類のしきい値を有し、各しきい値に基づいて評価を行い、また、上記シナリオ記憶手段は、各しきい値に基づく評価結果に基づき、各しきい値ごとにシナリオデータを記憶することを特徴とする請求項５ないし７の何れかに記載の映像情報記録再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002088452A JP4039873B2 (ja) | 2002-03-27 | 2002-03-27 | 映像情報記録再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002088452A JP4039873B2 (ja) | 2002-03-27 | 2002-03-27 | 映像情報記録再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003283993A JP2003283993A (ja) | 2003-10-03 |
| JP4039873B2 true JP4039873B2 (ja) | 2008-01-30 |
Family
ID=29234310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002088452A Expired - Fee Related JP4039873B2 (ja) | 2002-03-27 | 2002-03-27 | 映像情報記録再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4039873B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8554057B2 (en) | 2004-08-10 | 2013-10-08 | Sony Corporation | Information signal processing method and apparatus, and computer program product |
| CN101053252B (zh) * | 2004-08-10 | 2011-05-25 | 索尼株式会社 | 信息信号处理方法和设备 |
| US8422853B2 (en) | 2004-08-10 | 2013-04-16 | Sony Corporation | Information signal processing method and apparatus, and computer program product |
| JP2006180306A (ja) | 2004-12-24 | 2006-07-06 | Hitachi Ltd | 動画記録再生装置 |
| JP4349277B2 (ja) | 2004-12-24 | 2009-10-21 | 株式会社日立製作所 | 動画再生装置 |
| DE102005019153A1 (de) * | 2005-04-25 | 2007-06-06 | Robert Bosch Gmbh | Verfahren und System zum Verarbeiten von Daten |
| JP4373961B2 (ja) | 2005-05-17 | 2009-11-25 | 株式会社東芝 | 映像録画再生装置及び映像録画再生方法 |
| JP2007049575A (ja) * | 2005-08-11 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | 送信装置、受信装置、及びコンテンツ再構成プログラム |
| EP1942671A4 (en) | 2005-09-30 | 2010-01-27 | Pioneer Corp | DEVICE FOR GENERATING A SUMMARY AND PROGRAM THEREFOR |
| EP1954041A4 (en) | 2005-09-30 | 2010-01-27 | Pioneer Corp | SUMMARY PRODUCTION EQUIPMENT AND PROGRAM THEREFOR |
| WO2007046171A1 (ja) * | 2005-10-21 | 2007-04-26 | Matsushita Electric Industrial Co., Ltd. | 記録再生装置 |
| JP4793929B2 (ja) * | 2006-10-06 | 2011-10-12 | シャープ株式会社 | 特徴情報付プログレスバー構成情報生成機能を有するａｖ装置 |
| BRPI0622048B1 (pt) * | 2006-10-20 | 2018-09-18 | Thomson Licensing | método, aparelho e sistema para gerar regiões de interesse em conteúdo de vídeo |
| JP4775322B2 (ja) | 2007-05-29 | 2011-09-21 | ソニー株式会社 | データ処理装置、データ処理方法およびデータ処理プログラム、ならびに、記録装置、記録方法および記録プログラム |
| JP4360425B2 (ja) | 2007-06-15 | 2009-11-11 | ソニー株式会社 | 画像処理装置、その処理方法およびプログラム |
| JP4992592B2 (ja) | 2007-07-26 | 2012-08-08 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにプログラム |
| JP4433027B2 (ja) | 2007-09-21 | 2010-03-17 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム |
| KR101435834B1 (ko) | 2008-03-20 | 2014-08-29 | 엘지전자 주식회사 | Ｉｐｔｖ 수신기, 상기 ｉｐｔｖ 수신기에서 콘텐츠를재생하는 방법과 ｉｐｔｖ 환경에서 콘텐츠를 전송하는방법 |
| CN103402070B (zh) | 2008-05-19 | 2017-07-07 | 日立麦克赛尔株式会社 | 记录再现装置及方法 |
| JP4760893B2 (ja) * | 2008-11-04 | 2011-08-31 | 株式会社日立製作所 | 動画記録再生装置 |
| JP5393237B2 (ja) * | 2009-04-24 | 2014-01-22 | キヤノン株式会社 | 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体 |
| JP5560744B2 (ja) * | 2010-02-03 | 2014-07-30 | カシオ計算機株式会社 | 撮像装置、動画撮像方法、及び、プログラム |
| JP5600557B2 (ja) * | 2010-11-11 | 2014-10-01 | 日本放送協会 | コンテンツ紹介映像作成装置およびそのプログラム |
| JP2011101393A (ja) * | 2010-12-13 | 2011-05-19 | Hitachi Ltd | 動画記録再生装置 |
| JP7272096B2 (ja) * | 2019-04-25 | 2023-05-12 | 住友電気工業株式会社 | 視聴録画装置、視聴録画方法および視聴録画プログラム |
-
2002
- 2002-03-27 JP JP2002088452A patent/JP4039873B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003283993A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4039873B2 (ja) | 映像情報記録再生装置 | |
| JP4448273B2 (ja) | 放送番組のコンテント制御 | |
| EP1708101B1 (en) | Summarizing reproduction device and summarizing reproduction method | |
| KR101454025B1 (ko) | 영상표시기기에서 녹화정보를 이용한 영상 재생 장치 및 방법 | |
| JP3667262B2 (ja) | ビデオスキミング方法及び装置 | |
| JP3903912B2 (ja) | 記録装置および記録方法 | |
| WO2005074275A1 (ja) | コンテンツ再生装置 | |
| US20070071406A1 (en) | Video recording and reproducing apparatus and video reproducing apparatus | |
| JP4387408B2 (ja) | Ａｖコンテンツ処理装置、ａｖコンテンツ処理方法、ａｖコンテンツ処理プログラムおよびａｖコンテンツ処理装置に用いる集積回路 | |
| US7149365B2 (en) | Image information summary apparatus, image information summary method and image information summary processing program | |
| JP4435130B2 (ja) | 映像再生装置、再生装置 | |
| JP2008306311A (ja) | ダイジェスト生成装置、方法及びプログラム | |
| JP2005065185A (ja) | 情報信号処理装置および情報信号処理方法並びに情報信号処理システムおよび情報信号処理方法並びに情報信号再生装置および情報信号再生方法 | |
| US7764862B2 (en) | Method of and apparatus for setting video signal delimiter information judged from audio and video signals | |
| JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
| US7801420B2 (en) | Video image recording and reproducing apparatus and video image recording and reproducing method | |
| JP4932493B2 (ja) | データ処理装置 | |
| US7200322B2 (en) | Video-signal recording and playback apparatus, video-signal recording and playback method and recording medium | |
| JP4080568B2 (ja) | テレビジョン放送システムおよびテレビジョン放送システム用受信装置 | |
| CN1167263C (zh) | 控制数字视频数据显现的方法和设备 | |
| KR100991619B1 (ko) | 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템 | |
| US20070223880A1 (en) | Video playback apparatus | |
| KR20020023063A (ko) | 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치 | |
| US7756390B2 (en) | Video signal separation information setting method and apparatus using audio modes | |
| KR100370249B1 (ko) | 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |