JP2006054621A - 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 - Google Patents
情報信号処理方法、情報信号処理装置及びプログラム記録媒体 Download PDFInfo
- Publication number
- JP2006054621A JP2006054621A JP2004233947A JP2004233947A JP2006054621A JP 2006054621 A JP2006054621 A JP 2006054621A JP 2004233947 A JP2004233947 A JP 2004233947A JP 2004233947 A JP2004233947 A JP 2004233947A JP 2006054621 A JP2006054621 A JP 2006054621A
- Authority
- JP
- Japan
- Prior art keywords
- predetermined
- data
- processing
- information
- meaning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】 特徴抽出データを効率良く処理し、効果的なダイジェスト再生、チャプターデータを用いる種々の動作を効率良く行う。
【解決手段】 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い(規則1処理(5))、上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い(規則2処理(7))、上記第2の意味付け処理又は評価値処理データに基づいて所定の再生区間の設定又は所定時点の設定を行う。
【選択図】 図3
【解決手段】 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い(規則1処理(5))、上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い(規則2処理(7))、上記第2の意味付け処理又は評価値処理データに基づいて所定の再生区間の設定又は所定時点の設定を行う。
【選択図】 図3
Description
本発明は、例えば放送番組における映像信号、音声信号などの画像音声情報信号をMPEGなど所定の帯域圧縮処理を行い、光磁気ディスク、ハードディスク(HDD:Hard Disk Drive)、半導体メモリーなどの所定記録媒体に記録し再生する記録再生装置において、所定のダイジェスト再生処理などの特殊再生動作を行う場合の情報信号処理方法、情報信号処理装置及びプログラム記録媒体に関する。
従来のVTRやディスク記録再生装置においては、長時間記録した記録内容を短時間で再生してその内容を把握する場合に、音声情報の理解速度を考慮しておおよそ1.5〜2倍速程度で再生処理が行われている。
さらに短時間で再生しその要約再生(ダイジェスト再生)を行おうとすると、高速度の音声出力では内容が理解できにくいため、無音とし画像出力のみの再生処理を行うことが一般的であった。
そこで、記録する放送番組の画像音声データから所定の特徴データを抽出して、その所定の特徴データを用いてキーフレーム(重要フレーム)と思われるキーフレーム区間の検出を行い、あらかじめ決めた所定の規則に従って、所定のキーフレーク区間を順次選択して再生することで、元の記録した放送番組の記録時間よりも短い所定時間内でダイジェスト再生を行うことが考えられている。
また、記録した所定区間において、一定時間間隔、例えば3分、5分、10分などの間隔ごとに再生位置を示す位置情報データを自動で生成するか、又は、ユーザーが手動で所望の位置に位置情報データを生成する、いわゆるチャプターデータ生成を行い、その位置情報データ(チャプターデータ)を利用して、スキップ再生、編集操作、サムネール画像表示を行うことが考えられている。
上記の特徴データは、画像信号と音声信号毎に複数の特徴データを検出することができ、各々の特徴データを例えば、画像音声信号の記録の際に抽出処理を行い、画像音声記録データと共に抽出データを記録媒体に記録することが考えられる。
これら記録された特徴データを読み出して所定のルール処理によりダイジェスト再生区間を決定する信号処理を行うことになるが、複数存在する特徴データを各々別々にファイルとして記録媒体に記録したのでは、ファイルの数が多くなり、信号処理の際におけるファイルの取扱が煩雑になり効率的ではなく、従来ではこれらの問題を解決する効果的な技術はなかった。
そこで、本発明の目的は、上述の如き従来の実情に鑑み、特徴抽出データを用いる効果的なダイジェスト再生動作又はチャプター処理を行うために、特徴抽出データを効率良く処理し、効果的なダイジェスト再生、チャプターデータを用いる種々の動作を効率良く行うための情報信号処理方法、情報信号処理装置及びプログラム記録媒体を提供することにある。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
本発明に係る情報信号処理方法は、所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、上記第2の意味付け処理又は評価値処理データに基づいて所定の再生区間の設定又は所定時点の設定を行うことを特徴とする。
また、本発明に係る情報信号処理方法は、所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、上記第2の意味付け処理又は評価値処理に基づく所定データを所定記録媒体又は所定データメモリーに記録処理を行うことを特徴とする。
本発明に係る情報信号処理装置は、所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録された所定記録媒体からデータを読み込んで、その読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行う第1の情報処理手段と、上記第1の情報処理手段からの信号を用いて上記第1の所定の意味付けされた区間を複数接続処理する所定の第2の情報的意味付け処理と、その第2の情報的意味付け処理に対する第1の評価値処理又は上記第1の情報処理手段からの信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正処理に応じた所定第2の評価値処理を行う第2の情報処理手段と、上記第2の情報処理手段からのデータ又はそのデータが記録された所定記録媒体から所定のデータを読み込んで、その読み込んだデータを用いて上記第1又は第2の評価値と所定時間に応じて上記第1又は第2の意味付けされた所定の区間又はその近傍を再生するように設定するか、又はその各開始時点又はその近傍、又は終了時点又はその近傍の所定時点を設定する情報処理手段とを備えたことを特徴とする。
また、本発明に係る情報信号処理装置は、所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行う第1の情報処理手段と、上記第1の情報処理手段からの信号を用いて上記第1の所定の意味付けされた区間を複数接続処理する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の情報処理手段からの信号に基づく所定区間に対する所定の第1評価値処理を行い、上記所定時間区間に対する所定の補正処理に応じた所定第2の評価値処理を行う第2の情報処理手段と、上記第2の情報処理手段からの所定データを所定の記録媒体に記録する記録手段とを備えたことを特徴とする。
また、本発明に係るプログラム記録媒体は、所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、上記第2の意味付け処理又は評価値処理データに基づいて所定の再生区間の設定又は所定時点の設定を行うことを特徴とする制御プログラムがコンピュータにより読み取り実行可能に記録されてなる。
さらに、本発明に係るプログラム記録媒体は、所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、上記第2の意味付け処理又は評価値処理に基づく所定データを所定記録媒体又は所定データメモリーに記録処理を行うことを特徴とする制御プログラムがコンピュータにより読み取り実行可能に記録されてなる。
本発明による所定の補正処理により、効果的なダイジェスト再生動作やチャプターデータ(所定の記録位置情報データ)設定処理の動作を行うことができる。
また、本発明により、ユーザーがある機能が搭載されていない記録再生装置を購入した後でも、その機能が欲しいと思った場合に購入した装置そのものにその機能を容易に動作可能な状態とすることができる。
基本的な機能だけを装備した記録再生装置を初期段階で販売し、その後、色々な各ユーザーの要望に応じて自分の欲しい機能を購入した装置そのものに容易に後から装備することができるので、ユーザーは効率的にその装置を購入することができる。
本発明によれば、複数種類の異なる画像特徴データと音声特徴データを効率良く各々の特徴データファイル又は1つの特徴データファイルとしてまとめることができる。例えば、画像特徴のカメラ特徴、テロップ特徴、シーン特徴、カラー特徴、音声特徴といった複数ある特徴データを所定の書式により効率良くデータファイルとして処理を行うことができ、画像音声データファイルと共に所定の記録媒体に記録してファイル管理、信号処理の際のファイル処理なども効率的に行うことができる。
また、特徴データ毎にファイルを設けないので、記録媒体において特徴データ毎にファイルを設ける場合に比べてそれだけファイルが占有する記録容量が少なくてすむことになる。
以下、本発明の実施の形態について、図面を参照して以下の順序で詳細に説明する。なお、本発明は、以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
(1)本発明を適用したシステムの概要
1.1 特徴抽出データを用いた要約再生及び所定時点設定処理
ここでは、本発明の動作処理概要について説明する。
(1)本発明を適用したシステムの概要
1.1 特徴抽出データを用いた要約再生及び所定時点設定処理
ここでは、本発明の動作処理概要について説明する。
下記の動作概要に関係する信号処理については、ここでの項目の他に後の項目で詳細に説明する。
また、下記の説明でプレイリスト(プレイリストデータ)生成に関する記述について、特別に記述する他に、特別に記述しない場合でもプレイリストデータ生成と所定チャプターデータ(所定の記録位置情報データ。以下同様)を一緒に生成処理するものとしても良い。
特徴抽出データを用いた要約再生(ダイジェスト再生)及びチャプター処理の説明図を図1の(A)〜(G)に示す。
はじめに特徴抽出データを用いた要約再生動作について説明する。
(特徴抽出データを用いたダイジェスト再生処理)
ここでは、図1の(A)に示すような画像音声データ系列があると想定する。
(特徴抽出データを用いたダイジェスト再生処理)
ここでは、図1の(A)に示すような画像音声データ系列があると想定する。
この画像音声データ系列は、放送番組や映画ソフトその他などが考えられ、ハードディスク(HDD)や光磁気ディスク、大容量半導体メモリーなど所定の記録媒体を用いて、MPEGなど所定の帯域圧縮信号処理を用いて記録及び再生処理を行うものと仮定する。
上記画像音声データ系列において、所定の意味的を設定し、シーンチェンジ、音声セグメントなどに応じて所定のビデオ構造(意味的ビデオ構造)に区切った所定区間の概念図を図1の(B)に示す。
この所定の意味の設定処理、所定区間の設定処理、ビデオ構造などについては後で説明する。
ここで、図1の(C)に示すように、上記意味を設定所定の区間に区切った各々の区間毎に、所定時間内に記録された全区間、所定プログラム区間など、所定の全区間における上記各々の区間の所定評価値を設定する。
ここで、上記所定評価値は上記所定全区間における所定キーフレーム(重要フレーム、重要(画像音声)区間)となる場合ほど、所定の高い評価値(評価データ)を設定すると仮定する。
すなわち、所定の評価データ区間を再生すれば、その区間にはキーフレーム区間が含まれるので、全区間を再生しなくても概要を把握することができることになる。
図1の(C)は上記所定評価値区間の概要を示すもので、図1の(A)に示す画像音声データ系列で、f1〜f2、f4〜f5、f7〜f8の各区間が評価値において設定したしきい値Th以上の区間で、図1の(D)に示すようにA1、A2、A3の各区間を所定の要約再生モード時にスキップ再生することで所定のダイジェスト再生を行うことになる。
(特徴抽出データを用いた自動チャプター処理)
図1の(E)はチャプター点を設定する場合の概念図であり、先に説明したような、所定キーフレーム(重要フレーム、重要評価値区間)の先頭又はその近傍、及び、そのキーフレームの区間の最後に続く(最後に接続する)キーフレーム区間ではない区間の先頭又はその近傍にチャプター点を設定することが考えられる。
(特徴抽出データを用いた自動チャプター処理)
図1の(E)はチャプター点を設定する場合の概念図であり、先に説明したような、所定キーフレーム(重要フレーム、重要評価値区間)の先頭又はその近傍、及び、そのキーフレームの区間の最後に続く(最後に接続する)キーフレーム区間ではない区間の先頭又はその近傍にチャプター点を設定することが考えられる。
ここで、例えば、従来技術のDVD記録再生装置で自動チャプター機能と言われる所定区間の区切り点を設定することで、その時点を編集操作の目安にしたり、早送りフォワード再生(FF再生)、早送り逆再生(リワインド再生、REW再生)などの場合に利用できることが考えられる。
従来技術では、上記の自動チャプター機能として、例えば、5分等間隔、10分等間隔、15分等間隔などのように時間間隔が等間隔の処理が行われるものが知られており、このようなチャプター処理では図1の(G)に示すように、キーフレームと思われる時点の開始点にはチャプター点を設定できない場合が考えられる。
また、従来技術においては、手動チャプター処理という、ユーザー自身が、所望するに任意の時点にチャプター点を設定できる機能もあるが、ユーザー自身が記録した、あるいは記録する番組(プログラム)を実際に見て設定処理を行うことになるので、ユーザーにとっては面倒な操作であり、効率的ではないと考えられる。
しかし、先に説明したように、本発明の特徴抽出データを用いたチャプター点設定処理では、図1の(E)に示すように、適切にキーフレーム区間の先頭又はその近傍と、そのキーフレーム区間の最後に接続される(又は最後に続く)キーフレーム区間ではない区間の先頭又はその近傍にチャプター点を自動的に設定処理することができるので、従来技術によるチャプター処理よりも、より効果的なチャプター点設定を行うことができるとともに、このチャプター処理を用いた効果的な編集操作(編集処理)や、FF再生、REW再生を行うことができる。
ここで、図1の(F)に示す自動設定したチャプター点を所定の大きさのサムネール画像として所定の画像モニターに表示させる場合の概念図を図2に示す。
図1の(F)に示すように、f1、f4、f7が各々、所定キーフレーム区間A1、A2、A3の先頭(又はその近傍)で、f3、f6、f9が各々A1、A2、A3の区間の後のキーフレーム区間ではない区間B1、B2、B3の先頭(又はその近傍)であり、ユーザーは図2のような表示画面を見ることで、例えば、記録再生装置の処理記録媒体であるハードディスクに記録された放送番組で図1の(D)に示すキーフレーム区間A1、A2、A3を切り出し、DVDなどのディスク記録媒体に編集操作で記録することなどの処理や、f1、f4、f7の時点にスキップ再生するなどの操作を想定することが考えられる。
図1(G)に従来技術による所定時点設定点(チャプター点)の一例を示すように、所定の一定間隔、例えば、5分間隔、10分間隔などの一定間隔又は略一定間隔で設定点(チャプター点)が設定処理されるが、図1の(C)、(G)から分かるように、必ずしもキーフレーム(重要フレーム)に設定されるとは限らない。
このように本発明における特徴抽出データを用いて自動的に所定のチャプター点(所定設定点、又は所定区切り点)又はセグメント処理を行うことで、より効果的な編集操作やスキップ再生を行うことができる。
1.2 本発明の処理プロセスの一例
本発明における処理プロセスの一例を図3に示す。
本発明における処理プロセスの一例を図3に示す。
図3に示す処理プロセスの一例では、MPEG画像音声ストリームデータから、画像系及び音声系の各特徴データを抽出する特徴抽出処理(2)を含んでいる。
ここでは、簡単のためMPEGデータ(1)は、所定記録媒体に記録する、又は、所定記録媒体に記録されているデータを想定しているが、例えば、所定の伝送系(有線系又は無線系)において伝送される画像音声データにおいても同様に本発明を適用することができる。
特徴抽出処理(2)は、記録処理と同時に行うことができるが、所定の記録媒体にすでに画像音声データが記録されている場合には、その記録媒体から再生して所定の特徴抽出処理を行うことも考えられる。
ここで、規則処理(ルール処理)について説明する。
ルール処理は、ルールが所定の様式で記述されたファイル、又は、データを用いて所定の処理が行われる。
ルールファイル、ルールデータは、例えば、番組ジャンルに応じた特徴データに基づくルールが記述されており、このルールファイル、ルールデータと所定区間の各特徴データが記述されたPU特徴データファイル(再生ユニット化特徴データ)との演算により、所定プレイユニットファイルが生成されることになる。
ここで、説明を分かりやすくするため、便宜上、所定番組ジャンルnに対するルールファイルをRf(n)、PUファイル(特徴データファイル)をPu、プレイリストファイルをDfとし、所望の要約時間をtとすると、以下の(1)式のような演算で表現できる。
Df=Pu(*)Rf(n)(*)t (1)式
ここで、(*)は所定ファイルのデータを用いた所定の演算子と仮定する。
ここで、(*)は所定ファイルのデータを用いた所定の演算子と仮定する。
ルールファイル、ルールデータRf(n)は、以下で説明するように、例えば、所定の書式で記述され、所定の時間補正関数、意味の記述、意味の重み付け係数(評価値、重要度)その他などの所定パラメータのデータなどにより構成されている。
(再生ユニット処理)
特徴抽出処理(2)の後は、本発明の特徴の一つであるPU(再生ユニット(プレイユニット))処理(3)を行う。
特徴抽出処理(2)の後は、本発明の特徴の一つであるPU(再生ユニット(プレイユニット))処理(3)を行う。
PU処理(3)において、各特徴データは、PUという区切り(セグメント)(4)で所定のデータとして、又は、ファイルとして所定の記録媒体又はバッファーメモリーに記録(記憶)される。
(規則1処理)
PUデータは、所定の規則1処理(5)によりPUの意味付け処理が行われる。後で説明するが、規則1処理(5)の概要は次の通りである。
(規則1処理)
PUデータは、所定の規則1処理(5)によりPUの意味付け処理が行われる。後で説明するが、規則1処理(5)の概要は次の通りである。
(処理1) 各特徴の取り出し
(処理2) 特徴の組合せから第1ルールで表現されている意味の中で最も条件を満たすものを選択
(処理3) 選択された意味をそのPUの意味として採用
この規則1処理(5)では、EPG(電子番組ガイド)その他により、番組ジャンル、又は、過去にユーザーが視聴した番組ジャンル、時間帯、再生回数、再生時刻、再生日時、その他などのパラメータ、サイド情報などが利用できる場合には、これらパラメータを考慮して所定の処理を行うようにしても良い。
(処理2) 特徴の組合せから第1ルールで表現されている意味の中で最も条件を満たすものを選択
(処理3) 選択された意味をそのPUの意味として採用
この規則1処理(5)では、EPG(電子番組ガイド)その他により、番組ジャンル、又は、過去にユーザーが視聴した番組ジャンル、時間帯、再生回数、再生時刻、再生日時、その他などのパラメータ、サイド情報などが利用できる場合には、これらパラメータを考慮して所定の処理を行うようにしても良い。
この処理に関連して行われる時間補正関数の処理については後で説明する。
(規則2処理)
意味付けされたPU(6)は、所定の規則2処理(7)で所定の評価値処理が行われる。
意味付けされたPU(6)は、所定の規則2処理(7)で所定の評価値処理が行われる。
規則2処理(7)では、次の(処理1)及び(処理2)の重要度についての評価値処理を行う。
(処理1) 意味の重要度
(処理2) 意味の出現パターンによる重要度
所定の評価値処理が行われたPU(8)では、PU単体、又は、PUが幾つか連結されたPU群で所定の評価値が付けられている。
(処理2) 意味の出現パターンによる重要度
所定の評価値処理が行われたPU(8)では、PU単体、又は、PUが幾つか連結されたPU群で所定の評価値が付けられている。
ここで、規則1処理(5)、規則2処理(7)では、図4に示すように、ルール切り替え処理系900により、複数の番組ジャンルに応じたルール処理データとして、ジャンルA規則データ、ジャンルB規則データ、ジャンルC規則データ、・・・と幾つかの規則処理用データ(ルール処理データ)を備え、システムコントローラー系20に入力した番組ジャンル情報データに応じて、規則1処理(5)、規則2処理(7)、又は、どちらか一方のルール処理を切り替えることも考えられる。
また、図4に示すように、個人別にルール処理用データを幾つか設けて切り替えることも考えられる。
この場合は、所定動作モードにおいて、システムコントローラーに入力された所定のユーザーによる設定処理により、個人1用規則処理データ、個人2用規則処理データ、個人3用規則処理データ、・・・のいずれかが、システムコントローラー系20を介して選択処理され、その選択された規則処理データに基づいて所定のルール処理が行われる。
図4に示すような個人別の規則処理データを設けることで、例えば個人別に、通常再生又は特殊再生などの所定再生動作を行い、その再生状態、再生位置などの動作情報、動作位置情報などを所定の個人別規則処理に反映できるように所定メモリー手段に記憶して、それら情報データを所定の学習処理により、個人別規則処理データとして、随時、所定のタイミングでデータを更新処理するなどの動作を行うことが考えられ、そのような個人別学習処理には有効な信号処理方法と考えられる。
図4に示すように、ルール切り替え処理系901により各個人別ルール処理(規則処理)を切り替える場合も、規則1処理(5)、規則2処理(7)、又は、どちらか一方のルール処理を切り替えることが考えられる。
(規則処理の書式)
(規則1処理の場合)
ここで、意味付け処理されたPUは、例えば、ある放送番組を想定した場合に、以下のような英文字と意味を設定して、所定、画像音声特徴データと関連させて記述する。
(規則1処理の場合)
ここで、意味付け処理されたPUは、例えば、ある放送番組を想定した場合に、以下のような英文字と意味を設定して、所定、画像音声特徴データと関連させて記述する。
文字に対する意味付けは、その放送番組においてキーフレーム(重要フレーム、重要シーン)と想定されるであろうシーン、又は要約再生、チャプター設定などに有効と想定される所定の記録、再生区間を選択して記述する。
また、場合によっては、ユーザーが所望するシーンを記述することも考えられる。
この場合は、所定の調整モードなどで、ユーザーが所望するルールを記述できるようにすることも考えられる。
ここで、図5の上段に示すように、ニュース番組、相撲番組の場合の一例について示すと次の表1のようになる。
ここで、この例ではaでアナウンサーのシーンを抜き出すルールを記述しているが、一つの規則処理では、すべての想定されるaのシーン(アナウンサーの出現シーン)を抽出することはできないと思われるため、幾つかの複数の規則に分けて記述することも考えられる。
b,c,d,eなど他の場合についても同様に複数の規則に分けて考えることもできる。
相撲番組の場合では、次の表2のようになる。
この場合についても、各文字に対して複数の規則を設定することが考えられる。
場合に応じて、抽出したいシーン(キーフレーム)の想定される規則を分けて記述を行う。
また、放送番組では、一義的に意味付けできないシーンも想定できるので、例えば、設定文字として、@を考え、次の表3のようの設定することも考えられる。
上記のように設定した設定文字(意味文字)に対する規則1処理について、ニュース番組の場合を例に具体的に説明する。
図18に示すように、各所定の特徴データが検出される場合に、上述したニュース番組の場合の定義文字a,b,c,d,eに対する各シーンが対応すると仮定する。
ここで、○の場合は論理積、△の場合は論理和の所定処理と仮定し、例えば、定義文字a のアナウンサーのシーンでは、音声特徴の属性が話者音声、色特徴の検出領域2又は検出領域3で所定の色が検出され、類似画像情報の頻度1位又は2位が検出され、人物特徴の検出領域1又は検出領域2又は検出領域5で検出され、カメラ特徴は静止の場合と想定できる。
他のb,c,d,eなども図5の各○、△印に応じて、上記aの場合と同様に、各所定の特徴データと関係付けて、意味文字と特徴データを関係付けできる。
上述したように各意味文字と各特徴データは、所定の処理すなわち規則1処理、規則2処理を行うために、所定の書式にしたがって記述することが考えられる。
図6の(A)はその一例で、ベクトル成分のように想定して記述するものである。
すなわち、図5に示した各特徴データを、例えば、音声特徴の属性とし、属性が話者音声はA1、属性が音楽はA2、属性がその他はA3とする。
映像特徴の色特徴で領域1はB1、領域2はB2などとする。
以下、同様に、各特徴に対して、B1〜B4、C1〜C2、D1〜D5、E1〜E4、F1〜F4、G1などが設定できる。
図6の(A)において、例えば、意味文字aの場合は次の(2)式のように記述できる。
a=1.0(A1)100*(1.0(B2)100+1.0(B3)100)*(1.0(C1)100+1.0(C2)100)*(1.0(D1)100+1.0(D2)100+1.0(D5)100)*1.0(F1)100 (2)式
他の意味文字に対しても、図6の(A)のように記述できる。
他の意味文字に対しても、図6の(A)のように記述できる。
なお、ここで、「*」は論理積(AND)、「+」は論理和(OR)と同様の所定演算を表現するものと仮定する。
ここで、例えば1.0(A1)100の記述について考える。
上記したように、(A1)は、音声特徴で属性が話者音声の場合を表現している。
(重み付け係数)
1.0(A1)100の1.0は、(A1)に対する重み付け係数で、ここでは、便宜上、0〜1.0の範囲を想定している。
1.0(A1)100の1.0は、(A1)に対する重み付け係数で、ここでは、便宜上、0〜1.0の範囲を想定している。
重み付け係数は、所定演算を行うための、便宜的な係数なので、重み付け係数は、0〜100、又は0〜10の範囲で設定する(記述する)ことも考えられる。
(検出割合係数)
1.0(A1)100の100は、(A1)に対する検出割合係数で、その再生ユニット区間で、100%検出される場合に、1.0(A1)100は、その条件を満たすものとする。
1.0(A1)100の100は、(A1)に対する検出割合係数で、その再生ユニット区間で、100%検出される場合に、1.0(A1)100は、その条件を満たすものとする。
例えば、1.0(A1)50の場合は、その再生ユニット区間で、50%検出される場合に、1.0(A1)100は、その条件を満たすものとする。
この検出割合については、下記の(3)式で説明する。
ここで、検出割合係数は、便宜上、0〜100の範囲を想定している。
検出割合係数は、所定演算を行うための、便宜的な係数なので、0〜1の範囲で設定することや、0〜10の範囲で設定する(記述する)ことも考えられる。
ここで、この検出割合係数は、その特性がその再生ユニット区間で検出できた割合と考えることもできる。
例えば、上記の1.0(A1)100では、話者音声が100%検出しなければ、(A1)の特性を検出したと判定しないと考えることができる。
例えば、1.0(A1)50では、50%検出したらその特性を検出したと判定する。
すなわち、その所定区間において、所定の特性が検出された割合を係数で表現できるとも考えられる。
(特徴(抽出)データの検出割合)
そこで、特性の検出の割合について考える。
そこで、特性の検出の割合について考える。
後に図34〜図35を参照して処理方法について説明するが、本発明では、音声セグメント特徴とシーンチェンジ特徴に応じて設定処理される再生ユニット(又はプレイユニット)(PU)という所定の区間を設定する処理概念を導入している。
そこで、例えば、そのPU区間全体に対する所定の特徴データが検出された割合で、上記で言及した各所定の特性の割合を演算することが考えられる。
例えば、図7において、ある再生ユニットの区間長(フレーム長、時間長など)をfaとし、ある特徴データPの検出区間をf0,f1と仮定すると、この場合の特徴データPの検出割合Fは、次の(3)式にて演算処理することができる。
F=Σfi/fa
=(f0+f1)/fa (3)式
この(3)式による演算値は、後で説明する評価値処理において用いることになる。
=(f0+f1)/fa (3)式
この(3)式による演算値は、後で説明する評価値処理において用いることになる。
(評価値の演算方法の例)(例1)
評価値(重要度)の演算方法の一例を示す。
評価値(重要度)の演算方法の一例を示す。
各特徴データについて、理想値と検出結果を考えて以下のような処理を行う。
例えば、p=m(M)nを考えて次の(処理1)〜(処理5)を行う。
例えば、p=m(M)nを考えて次の(処理1)〜(処理5)を行う。
(処理1) 上記(3)式を用いて、各所定特徴データの検出割合sを演算する。
(処理2) 上記検出割合係数nと比較して、
s<nの場合、p=m×s (4)式
s≧nの場合、p=m×100 (5)式
とする。
s<nの場合、p=m×s (4)式
s≧nの場合、p=m×100 (5)式
とする。
(処理3) 上記処理で、各特徴Mにおいて、M1,M2・・・など同じ属性の特徴の場合で論理和(+)処理の場合は平均処理を考える。
論理積(*)処理の場合は、便宜上、論理積係数rというような処理概念を導入し、その平均処理の結果に掛けた値を考える。
(処理4) 上記の処理を各特徴データM毎に行い、各演算値の加算処理を行ってその処理結果をその評価値とする。
(処理5) 演算した評価値を比較して評価値が最も大きい場合の意味をその再生ユニットaの意味とする。
上記の評価値処理は、処理方法の一例で、検出された特徴データ、又はその再生ユニット区間において検出された割合などと、設定した「意味」との対応が所定の妥当性を持った処理方法であれば、上記以外の処理方法でも良い。
例えば、上記(処理3)の処理で論理積処理の場合は、平均化処理や論理積係数を掛けないで、同じ属性の特徴データを加算する処理だけにするなどの場合も考えられる。
上記(処理3)の処理の場合で、同じ特徴データで論理積処理の場合は、検出条件が論理和処理の場合と比較して厳しくなるので、検出値を論理和処理の場合よりも大きく取るように処理を行うように考えることもできる。
ここで、上記(2)式の場合について考える。
例えば、各特徴の検出割合を以下の表4のようにし、検出割合係数、重み係数を一緒に示す。
ここで、B2、B3や、C1、C2などのように同じ特徴の種類で、検出属性が異なる場合や、あるいは検出領域が異なる場合などで、論理和処理(+)の場合は、便宜上、平均処理を考えて、(2)式から、評価値hは、次の(6)式にて示される。
h=100+(80+80)/2+(100+100)/2+(80+80+80)/3+80
=100+80+100+80+80
=440 (6)式
又は、特徴データの種類で平均化した値を評価値とすることも考えられ、その場合は、特徴データは、A〜Fの5種類なので、次の(7)式に示すような評価値と考えることもできる。
=100+80+100+80+80
=440 (6)式
又は、特徴データの種類で平均化した値を評価値とすることも考えられ、その場合は、特徴データは、A〜Fの5種類なので、次の(7)式に示すような評価値と考えることもできる。
h=440/5
=88 (7)式
=88 (7)式
(属性が同じ特徴データ間の関係が論理積処理の場合)
ここで、(2)式の処理で、同じ属性の特徴データ、例えば、B2、B3が論理積処理の場合、すなわち、(1.0(B2)100*1.0(B3)100)のような場合について考える。
ここで、(2)式の処理で、同じ属性の特徴データ、例えば、B2、B3が論理積処理の場合、すなわち、(1.0(B2)100*1.0(B3)100)のような場合について考える。
上記評価値処理の(処理3)から論理積処理係数rという概念を導入し、r(80+80)/2のような処理を考える。
例えば、r=1.5とすると、
h=100+1.5×(80+80)/2+(100+100)/2+(80+80+80)/3+80
=100+120+100+80+80
=480 (8)式
また、特徴データの種類5で平均化処理して
h=480/5
=96 (9)式
という、評価値を考えることができる。
h=100+1.5×(80+80)/2+(100+100)/2+(80+80+80)/3+80
=100+120+100+80+80
=480 (8)式
また、特徴データの種類5で平均化処理して
h=480/5
=96 (9)式
という、評価値を考えることができる。
これは、論理積処理の場合が論理和処理に比較して条件が厳しいので、検出した「意味」の評価値を大きく設定した方が良いと考える場合である。
また、場合によっては、r=0.8として、
h=100+0.8×(80+80)/2+(100+100)/2+(80+80+80)/3+80
=100+64+100+80+80
=424 (10)式
また、特徴データの種類5で平均化処理して
h=424/5
=84.5 (11)式
という評価値を考えることもできる。
h=100+0.8×(80+80)/2+(100+100)/2+(80+80+80)/3+80
=100+64+100+80+80
=424 (10)式
また、特徴データの種類5で平均化処理して
h=424/5
=84.5 (11)式
という評価値を考えることもできる。
これは、上記の場合と逆の考えかたで、論理積処理の場合が論理和処理に比較して条件が厳しいので、評価値を小さく設定した方が良いと考える場合である。
(属性の異なる特徴データ間の関係が倫理和処理の場合)
(属性の異なる特徴データ間の関係が倫理和処理の場合)
ここで、例えば、(2)式で示したように、属性の異なる特徴データは、論理積演算子(*)で表現しているが、論理和演算子(+)の場合も考えられる。
簡単のため、(2)式で第1項目A1、第2項目B2だけを考え、
a=1.0(A1)100+1.0(B2)100 (12)式
上記評価値演算方法(3)で説明したような、便宜上、論理和係数wというような概念を考えて処理を行うことが考えられる。
この場合、(12)式から、評価値hは、
h=(100+80)w (13)式
となる。ここで、
w=1
の場合は、論理積処理の場合で、
a=1.0(A1)100*1.0(B2)100 (14)式
h=100+80
=180 (15)式
となる。
簡単のため、(2)式で第1項目A1、第2項目B2だけを考え、
a=1.0(A1)100+1.0(B2)100 (12)式
上記評価値演算方法(3)で説明したような、便宜上、論理和係数wというような概念を考えて処理を行うことが考えられる。
この場合、(12)式から、評価値hは、
h=(100+80)w (13)式
となる。ここで、
w=1
の場合は、論理積処理の場合で、
a=1.0(A1)100*1.0(B2)100 (14)式
h=100+80
=180 (15)式
となる。
例えば、(8)式の論理和処理の場合には、
w=1.5 (16)式
として、
h=(100+80)×1.5
=270 (17)式
と、論理積処理の場合よりも高い評価値となるような処理を考えることもできる。
w=1.5 (16)式
として、
h=(100+80)×1.5
=270 (17)式
と、論理積処理の場合よりも高い評価値となるような処理を考えることもできる。
また、
w=0.8 (18)式
として、
h=(100+80)×0.8
=144 (19)式
のように、論理積処理よりも小さい評価値となるような処理も考えられる。
w=0.8 (18)式
として、
h=(100+80)×0.8
=144 (19)式
のように、論理積処理よりも小さい評価値となるような処理も考えられる。
評価値処理は、設定した意味と各特徴データ、各種の係数などを結びつけた式の値の評価のために便宜上、導入した概念なので、上記評価式で考えた各係数の範囲、値などは、上記の説明でのべた場合に限らず、小さく、又は大きく設定することも考えられる。
以下のような評価値の演算により、ルールファイルにより、ルールに記述された再生ユニットの各区間の評価値が決められ、例えば、要約再生モードの場合は、要約再生時間に応じて、評価値の大きいPU区間が選択され、要約時間にできるだけ近くなるように、段々と評価値の小さいPU区間を選択していく。
そして、選択した各PU区間を再生することで、所定の要約再生が実現できる。
(評価値処理の他の処理方法)
上記で述べた各特徴データnの一項と、所定演算子*とから w(M)*kを考え、各所定特徴データの検出割合det、検出割合係数kとして、評価式の各項の特徴データnの重み係数をw(n)として、演算関数Pと演算子*を考える。
上記で述べた各特徴データnの一項と、所定演算子*とから w(M)*kを考え、各所定特徴データの検出割合det、検出割合係数kとして、評価式の各項の特徴データnの重み係数をw(n)として、演算関数Pと演算子*を考える。
P(*k(n),det(n))を考え、
d(n)=P(*k(n),det(n)) (20)式
とする。
d(n)=P(*k(n),det(n)) (20)式
とする。
ここで、演算子*以下の何れかに該当するものとして、
d(n)は、
(1) *=(||>)の場合、すなわち P((||>)k(n),det(n))で、
if(k(n)≦det(n)) then d(n)=0 (21)式
else d(n)=100 (22)式
(2) *=(||<)の場合、すなわち P((||<)k(n),det(n))で、
if(k(n)>det(n)) then d(n)=0 (23)式
else d(n)=100 (24)式
となる。
d(n)は、
(1) *=(||>)の場合、すなわち P((||>)k(n),det(n))で、
if(k(n)≦det(n)) then d(n)=0 (21)式
else d(n)=100 (22)式
(2) *=(||<)の場合、すなわち P((||<)k(n),det(n))で、
if(k(n)>det(n)) then d(n)=0 (23)式
else d(n)=100 (24)式
となる。
上記(1)、(2)のような処理の場合は、検出det(n)と設定検出割合k(n)に応じて、途中処理値d(n)を100又は0に処理するので、下記の(3)又は(4)で説明する途中処理値が差分値になる場合に比較して、特徴データを顕著に特徴付けたい場合には有効であると考えられる。
また、さらに、
(3) *=(|>)の場合、すなわち P((|>)k(n),det(n))で、
if(k(n)<det(n)) then d(n)=0 (25)式
else d(n)=|k(n)−det(n | (26)式
(4) *=(|<)の場合、すなわち P((|<)k(n),det(n))で、
if(k(n)>det(n)) then d(n)=0 (27)式
else d(n)=|k(n)−det(n)| (28)式
であるから、評価値は次の(29)式のようになる。
(3) *=(|>)の場合、すなわち P((|>)k(n),det(n))で、
if(k(n)<det(n)) then d(n)=0 (25)式
else d(n)=|k(n)−det(n | (26)式
(4) *=(|<)の場合、すなわち P((|<)k(n),det(n))で、
if(k(n)>det(n)) then d(n)=0 (27)式
else d(n)=|k(n)−det(n)| (28)式
であるから、評価値は次の(29)式のようになる。
上記の演算子の導入により、例えば、A1、B2の特徴データがあった場合に以下のように記述することができる。
a=1.0(A1)(||<)100+1.0(B2)(|<)100 (30)式
この場合、例えば、A1特徴の検出割合(実際の検出値)を100、B2特徴の検出割合(実際の検出値)を80と仮定すると、上記(1)、(4)から、評価値hは、
h=(1.0×(100−0)+1.0(100−80))/(1.0+1.0)
=(100+20)/2
=60 (31)式
という評価値を考えることができる。
この場合、例えば、A1特徴の検出割合(実際の検出値)を100、B2特徴の検出割合(実際の検出値)を80と仮定すると、上記(1)、(4)から、評価値hは、
h=(1.0×(100−0)+1.0(100−80))/(1.0+1.0)
=(100+20)/2
=60 (31)式
という評価値を考えることができる。
上記のように、評価値処理の方法には、幾つかの方法を考えることができ、ここで説明した方法に限らずとも良い。
ここで、図6の(A)に示した規則1記述においては、記述するデータの出現パターン(意味)の表現方法の一例で、意味として、a,b,c・・・などとしたが、その否定としてA,B,C,・・・、また、ワイルドカードとして、*などを用いることも考えられる。
(規則2処理の場合)
規則2処理では、上記規則1処理で意味付けされた所定区間である再生ユニット同士の意味の接続を考慮して処理を行うようにする。
規則2処理では、上記規則1処理で意味付けされた所定区間である再生ユニット同士の意味の接続を考慮して処理を行うようにする。
また、時間補正関数を用いて時間的な補正、すなわち時間的な重み付け処理を行う。
例えば、上記規則1処理において、意味aの評価値を70、意味bの評価値を80と仮定すると、(ab)の評価値gは、
g=70+80
=150
又は、意味数の平均を考えて、ここでは、abの2つなので、
g=510/2
=75
又は、それぞれの評価値の積を考えて、
g=70×80
=5600
例えば、便宜上、最大値を100と仮定して最大値で正規化することを考え、
g=5600/100
=56
などのようにすることも考えられる。
g=70+80
=150
又は、意味数の平均を考えて、ここでは、abの2つなので、
g=510/2
=75
又は、それぞれの評価値の積を考えて、
g=70×80
=5600
例えば、便宜上、最大値を100と仮定して最大値で正規化することを考え、
g=5600/100
=56
などのようにすることも考えられる。
時間補正関数の重み付けは、例えば、上記(ab)が、ある時点tで検出でき、その評価値がgで、tでの時間補正係数(重み付け係数)をwとすると、gtを最終的な評価値とする。
時間補正関数は、ルールファイルにおいて規則2の所定記述場所に、所定記述規則に従って、その変化点(変化点座標系の情報データ)を記述する。
規則2処理の一例を図6の(B)に示す。
(時間補正関数)
はじめに、時間補正関数について説明する。
(時間補正関数)
はじめに、時間補正関数について説明する。
この時間補正関数は、ルールファイルにおける所定番組ジャンルにおける要約時間補正を行うために利用することができる。
これは、ユーザーによっては、所定の放送番組によっては、放送時間の前半や後半を重点的に再生したいという場合も想定できる。
そこで、記録する番組のジャンル、放送時間、その他などの、その放送番組に応じた種々のパラメータを考慮して、ダイジェスト再生(要約再生)を行う所定の再生区間に対して時間(場合によっては時刻)の重み付けを行うことを考えることができる。
すなわち、この重み付けを行う区間は、時間的にそれ以外の重み付けを行わない区間に比較して、ダイジェスト再生を行う場合の再生の重要度を大きく処理することになる。
図8の(A)〜(I)は、上記で述べた時間の重み付けを行うための時間補正関数の一例を示すものである。
図8の(A)は、フラットな特性で、所定の要約再生区間に対して時間の重み付けを行わない場合である。
図8の(B)所定の区間内において、前半部の方を後半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。
図8の(C)所定の区間内において、後半部の方を前半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。
図8の(D)所定の区間内において、前半部と後半部を中間部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。
図8の(E)所定の区間内において、中間部を前半部及び後半部に比較して、要約再生における重要度としての再生の重みを大きくする重み付けを行っている場合である。
図8の(F)は、図8の(D)の違った形の補正関数を2つ接続したようなもので前半部、前半と中央部の間、中央部、中央部と後半部の間、後半部にそれぞれ重みをつけて、さらに各重み付けを異なったものにしている。
図8の(G)は、図8の(E)の違った形の補正関数を2つ接続したようなもので前半部、前半と中央部の間、中央部、中央部と後半部の間、後半部にそれぞれ重みをつけて、さらに各重み付けを異なったものにしている。
図8の(H)は、図8の(C)と(D)の組合せ関数で、図8の(I)は、図8の(D)と(B)の組合せ関数のかたちである。
図9は一般的な時間補正関数の様子を示したもので、開始点、変化点、終点の座標をそれぞれ、P0(ts,s3),P1(t1,s3),・・・,Pe(te,s0)としている。
ここで、座標のy成分は、重み付けを表しているので、ここでは、便宜上最大値を100最小値を0とし、0〜100の間の値をとるものとし、x座標は、位置情報で、後述する図41〜図43に示す「開始終了位置情報」のデータと同じディメンジョンの値、又は開始終了点間の区間に基づく開始点からの割合で、0〜100の間で設定して位置を示すことも考えられる。
(再生ユニットの意味と接続関係、判定処理)
上記で説明したが、所定の特徴抽出処理による特徴データからその再生ユニット(PU)における意味設定することができる。
上記で説明したが、所定の特徴抽出処理による特徴データからその再生ユニット(PU)における意味設定することができる。
ここで、図10に示すようなビデオデータの構造について検討する。
ある一つのプログラム(番組)kを想定すると、幾つかのシーンm、m+1、・・・に分類することが考えられ、そしてシーンは幾つかのショットに分類することが考えられる。
そしてショットを構成するのは一つ一つのフレームと考えられる。
シーンの切れ目(区切り)はシーンチェンジになる。
セグメント(又はショット、又は画像セグメント。以下同様)は、シーン毎に、そのシーンに応じた類似画像のまとまり、又は、類似した画像(映像)特性のまとまりとも考えられる。
セグメントやシーンなどは、そのプログラム(番組)の中において、固有な意味の概念を持っていると考えられる。
そして、各々の意味を持ったセグメント、シーンが幾つかまとまって、その番組を構成しているというビデオ構造を考えることができる。
例えば、野球の番組を想定した場合に、打者の画面が続いていたとすると、打者の類似画像が検出され、その類似特性セグメントに分類できると考えられる。
そして、そのセグメントは、「打者の画像」という意味(意味の概念)を持つことになる。
また、ピッチャーの投球する画面が続いていたら、ピッチャーの類似画面が検出され、その類似特性に応じてセグメントに分類できると考えられる。
そして、そのセグメントは、「ピッチャーの画像」という意味(意味の概念)を持つことになる。
ここで、例えば、ピッチャーが投球して、打者が打撃し、その打者が走塁するような場合を考えた場合に、「ピッチャーの画像シーン」、「打者の画像シーン」、「打者の走塁の画像シーン」という、各々意味を持った画像シーンのつながりを考えることができる。
所定プログラム(番組)において、上記したPU毎に、画像特徴データ、音声特徴データが処理され、それら特徴データに応じてそのPUの意味を設定することを考える。
例えば、ニュース番組を考えた場合に、キャスター(アナウンサー)が最初にニュースの項目を読み上げるシーン(ニュース番組のヘッドライン)を想定した場合に、そのシーン(画像)の特徴として、人物特徴が1人〜2人、テロップ(Tlp特徴)、音声特徴の属性が話者音声、その他に、ニュース番組を考えた場合に、そのニュース番組の中で、ニュースを読み上げるシーンは幾つか存在すると考えられるので、そのニュース読み上げシーンと類似するシーンは幾つか存在することになり、類似画像特徴すなわち、特定のシーンIDは出現頻度が高くなることが考えられる。
このように、また、規則1処理でも説明したように人物特徴、音声特徴、テロップ特徴、類似画像特徴、その他所定の特徴データに応じて、そのPUの意味を設定することが考えられる。
例えば上記野球の番組を考えたように、所定の意味を持つPUの接続関係を考えることができる。
すなわち、所定の特徴データ又は特性データを持つPU間の所定の接続を考えることができる。
上述した所定の意味を持つすなわち所定の意味が設定されたPUの接続関係を図11に示す。
図11において、今考えているプログラム(番組)で所定の意味a〜意味dが設定されており、ある区間PU(n)〜PU(n+2)で、接続関係を考えた場合、PU(n)の意味a、PU(n+1)の意味b、PU(n+2)の意味cがもっとも自然なつながりと考えられることを示している。
すなわち、この図11に示した例は相撲の場合を想定しており、意味a「取組み紹介シーン」の後は意味b「立会いシーン」が続くことが一番妥当性であり合理的と考え、意味b「立会いシーン」の後は意味c「取り組みシーン」が続くことが一番妥当性であり合理的と考える。
そして接続関係として、abcという意味を定義した文字系列を考えることができ、このabcの系列がキーフレームとすれば、いま考えているプログラム(番組)の中でabcを探して、探した所定区間の最初と最後、又は、その近傍などを所定設定点として設定処理を行うことが考えられる。
他の例として、例えば、番組ジャンルが野球の場合は、ある区間で再生ユニットが、各々、「投球」、「打った」、「意味無し」、「得点」という場合であったとしたら、「意味無し」を除いて、3つの意味、「投球」、「打った」、「得点」を持つと判定されたPUを1つにまとめて、「投球、打った、得点」という所定PUのかたまりを想定することができる。
ここで、「意味無し」のPUは、意味がないと判定されたのだから含めても問題ないと考え、上記4つのPUを1つにまとめて「投球、打った、意味無し、得点」という所定PUのまとまりを考えることもできる。
ここで、「意味なし」を考えたのは、上記の規則1処理で所定の特徴データから所定の評価処理で、設定した幾つかの意味の中から、所定の意味付け処理を行うすなわち、複数の意味から所定の信号処理に基づいて確からしい意味付けが行えない場合も想定できるからである。
「意味なし」の代わりに、「どのような意味でも良い」というものを設定することも考えられる。これは、上記した@と同様の処理である。
あるニュース番組の場合で、aabbという接続、すなわち、「アナウンサーシーン」、「アナウンサーシーン」、「現場シーン」、「現場シーン」という接続が、妥当で合理的であると考えられる場合を図12の(A)に示す。
また、先に説明した相撲番組の場合を図12の(B)に示す。
図13は、上記の番組ジャンルがニュース番組の場合で、図13の(A)に示すように、参照パターン(参照文字系列)を上記で説明した「aabb」として、図13の(B)に示すように、いま考えている所定の番組記録区間の中で「aabb」の区間を探していき、区間A1、区間A2が「aabb」に一致して、検索できたことを示している。
そして、図13の(B)に示すように、例えば、探すことができた「aabb」区間の最初の位置p1、p3、最後の位置p2、p4を所定設定位置として設定し、後で説明するプレイリストの位置情報データとして所定の処理を行う。
例えば、要約再生モードの場合には、上記設定位置p1〜p2、p3〜p4を再生するように再生制御処理を行う。
チャプター設定など、所定時点設定(所定位置設定)処理の場合には、p1、p2、p3、p4の各時点、又は、それら各点の所定の近傍の位置をその設定位置として所定の処理を行ことが考えられる。
このように、所定の特徴データから所定のPUの意味を持つと判定し、その所定の意味を持つとそのPUに設定し、それら意味が判定して設定されたPUから意味の接続関係を想定して、所定の意味に応じた所定数のPUの接続や所定数のPUの集合を想定して処理を行うことができる。
図6の(B)に示した規則2処理の記述方法の一例では、キーフレーム(重要フレーム)と想定し、検索したい文字系列を(aabb)のようにし、その後に、重み付け係数として100を設定している。その後のPs(ts,s4),P1(t1,s4),Pe(te,s3)は、先に説明した時間補正関数であって、この例の場合は、図14に示すように、番組の後半部で徐々に重要度が減少するような関数となっている。
この図14のような時間補正関数の場合には、番組の前半部を重点的に視聴したいような場合に適していると考えられる。
ここで、図6の(B)に示した規則2処理の記述においては、記述するデータの出現パターン(意味)の表現方法の一例で、意味として、a,b,c・・・などとしたが、その否定としてA,B,C,・・・、また、ワイルドカードとして、*などを用いることも考えられる。
この図6の(B)に示した規則2処理の記述において、ニュース番組のジャンルの場合の一として、例えば、(Abb)とした場合、には、Aは、「アナウンサーのシーン」以外、bは、「現場のシーン」ということになり、「アナウンサーのシーン」以外に「現場のシーン」が2つ続く場合を検出することになる。
ここで、評価値の演算方法の一例は、以下のような処理であった。
例えば、いま考えている再生ユニット群を(abc)として、上記(1)式により、a、b、cの各検出割合(value)と重み付け係数が以下の表5に示すような場合について考える。
例えば、いま考えている再生ユニット群を(abc)として、上記(1)式により、a、b、cの各検出割合(value)と重み付け係数が以下の表5に示すような場合について考える。
ここで、100を掛けたのは、便宜上、割合(%)を考慮したためであるが、上記したように、評価値のスケールは、所定の評価処理が行えて、かつ所定の演算処理上問題なければ良いので、オーバーフローなど処理上問題なければ、割合を考慮しなくても良い場合も考えられる。
(規則2処理における再生ユニット群の変形例)
ここで、規則処理2における、ある「意味」の再生ユニットが複数接続した再生ユニット群を1つの意味群ユニットとし、意味群ユニットが複数接続する場合について考える。
(規則2処理における再生ユニット群の変形例)
ここで、規則処理2における、ある「意味」の再生ユニットが複数接続した再生ユニット群を1つの意味群ユニットとし、意味群ユニットが複数接続する場合について考える。
上記規則1処理では、1つの再生ユニットについて考えた。それは、特徴データから、検出する「意味」にもっと確からしいであろう再生ユニットを見つけるためであった。
この考えをさらに発展させて、再生ユニット群、すなわち、この規則2処理で考えた、意味のつながりの再生ユニットを1つのかたまりとして、そのかたまり同士を接続した区間を検出することも考えられる。
例えば、上記(aabb)をGa1とし、(Ga1Ga1)のような接続を考えることができる。この場合に、Ga1の評価値を考えて、上記規則1と類似した処理を行うことが考えられる。
その場合の評価値の演算方法として、例えば、各意味の再生ユニットの評価値の和の平均や、各意味の再生ユニットの評価値の積の平均などを考えることができる。
例えば、aの評価値を80、bの評価値を60とした場合に、Ga1の評価値は、加算の場合は、
(80+80+60+60)/4=70
で、70を評価値として考えることができる。
(80+80+60+60)/4=70
で、70を評価値として考えることができる。
規則3処理の場合
通常は、図15の(A)に示すように、上記規則2処理までで良いと考えられるが、複数の番組対して特徴データを設けた場合に、例えば、番組毎に時間的重み付け処理を行いたい場合は、さらに規則処理として、図15の(B)に示すように、規則3処理を設けることも考えられる。
通常は、図15の(A)に示すように、上記規則2処理までで良いと考えられるが、複数の番組対して特徴データを設けた場合に、例えば、番組毎に時間的重み付け処理を行いたい場合は、さらに規則処理として、図15の(B)に示すように、規則3処理を設けることも考えられる。
その一例として、ニュース番組(news)とスポーツ番組 (sports)に対して重み付けと、時間補正を行う場合の例を図6の(C)に示す。
図6の(C)に示す例では、ニュース番組は、100%の重み付けを行い、時間補正関数として開始点Ps(ts,s4)、変化点P1(t1,s4)、終点Pe(te,s3)とする補正を行い、スポーツ番組に対しては、70%の重み付けを行い、時間補正関数として開始点Ps(ts,s4)、変化点P1(t1,s4)、終点Pe(te,s3)とする補正を行う。
図3で説明した処理内容を図16を参照して更に説明する。
図16の(A)のような、規則1処理により、各種所定の特徴データに基づいて、各シーンは幾つかの意味付け処理が行われる。
ここで、規則2によって意味付けされた各シーンには、図16の(B)のように評価値が所定の処理により設定される。
例えば、要約再生モードの場合では、ユーザーの所望する時間t1で再生する場合に、上記評価値の一番高いシーン(画像)から選択していき、できるだけt1に近くなるように評価値の高いシーンから選択して、その選択した区間を再生するように、その位置情報を設定する。
そして、設定した位置情報は所定のデータメモリーに記憶し、再生制御を行う際に、位置情報を読み出して、所定区間の再生を行っていく。
各区間を順次再生する(スキップ再生)することで、所定の要約再生(ダイジェスト再生)を行う。
図16の(C)に示す例では、全記録時間を例えば60分とし、要約再生を15分で行いたいと仮定して、評価値が70以上のPUを選択して、15分にやや満たない場合に、評価値60のPUn+8 の区間を選択して、所望の再生時間15分にできるだけ近くなるように処理を行っている。
このように評価値の大きい所定PU区間を選択していき、所定の再生時間にできるだけ近くなるように、PU区間を選択していく。
所望の再生時間Tmに対して所定の許容範囲tc内に再生時間Tがあるように、
Tm−tc<T<Tm+tc
となるように、評価値に基づいて所定のPU区間を選択する。
Tm−tc<T<Tm+tc
となるように、評価値に基づいて所定のPU区間を選択する。
また、図16の(D)に示すように、例えば、上記意味付けされた評価値の高い区間の最初(又はその近傍)、評価値の高い区間の最後(又はその近傍)に所定位置(チャプター)を設定することで、その区間の編集処理をしたり、スキップ再生の一時停止処理、繰り返し再生処理など、所定の操作を行うことに利用できる。
(2)ブロック構成例
ここでは、簡単のため、記録する画像音声情報信号は、放送番組のデータとし、MPEG(Moving Picture Export Group)による所定の帯域圧縮処理が行なわれるものとする。なお、その他の帯域圧縮信号処理としてウェーブレット変換、フラクタル解析信号処理その他などを用いた場合も考えられる。例えば、下記の説明で画像データのDCT係数は、ウェーブレット変換の場合には多重解像度解析におけるか解析係数などに相当し同様の信号処理を行うことも考えられる。
ここでは、簡単のため、記録する画像音声情報信号は、放送番組のデータとし、MPEG(Moving Picture Export Group)による所定の帯域圧縮処理が行なわれるものとする。なお、その他の帯域圧縮信号処理としてウェーブレット変換、フラクタル解析信号処理その他などを用いた場合も考えられる。例えば、下記の説明で画像データのDCT係数は、ウェーブレット変換の場合には多重解像度解析におけるか解析係数などに相当し同様の信号処理を行うことも考えられる。
2.1 ブロック構成例1
本発明を適用した記録再生装置30の全体ブロック構成例を図17に示す。
本発明を適用した記録再生装置30の全体ブロック構成例を図17に示す。
ここでは、簡単のためテレビ放送を受信して、受信した放送番組を記録することを考える。
2.1.1 記録信号処理系
この記録再生装置30では、受信アンテナ系1と受信系2により所定の放送番組が受信され、音声信号は音声A/D変換処理系3で所定のサンプリング周波数、所定の量子化ビット数で所定のA/D変換信号処理が行われ、その後音声エンコーダー処理系4に入力される。
この記録再生装置30では、受信アンテナ系1と受信系2により所定の放送番組が受信され、音声信号は音声A/D変換処理系3で所定のサンプリング周波数、所定の量子化ビット数で所定のA/D変換信号処理が行われ、その後音声エンコーダー処理系4に入力される。
音声エンコーダー処理系4では、例えばMPEGオーディオやAC3オーディオ(ドルビーAC3、又はAudio Code number 3)などの所定の帯域圧縮方式で信号処理が行われる。
同様に、映像信号は映像A/D変換処理系8で所定のサンプリング周波数、所定の量子化ビット数で所定のA/D変換信号処理が行われ、その後、画像エンコーダー処理系9に入力される。
画像エンコーダー処理系9は、MPEGビデオやウェーブレット変換などの所定の帯域圧縮方式で信号処理が行われる。
音声エンコーダー処理系4及び画像エンコーダー処理系9で処理された音声データ及び画像データは、多重化処理系5を介して記録処理系6に入力される。
音声信号の特徴抽出を行うため、音声エンコーダー処理系4に入力する信号の一部又は上記所定エンコーダー信号処理における信号処理過程の途中の信号の一部は特徴抽出系10に入力される。
ここで、この図17に示した記録再生装置30では、音声エンコーダー処理系4に入力される信号の一部として、音声エンコーダー処理系4から特徴抽出系10に信号が入力されているが、音声エンコーダー処理系4に入力されると共に特徴抽出系10に入力されるようにしてもよい。
同様に映像(画像)信号の特徴抽出を行うため、映像エンコーダー処理系9に入力される信号の一部又は上記所定エンコーダー信号処理における信号処理過程の途中の信号の一部が特徴抽出系10に入力される。
ここで、この図17に示した記録再生装置30では、映像エンコーダー処理系9に入力される信号の一部として、映像エンコーダー処理系9から特徴抽出系10に信号が入力されているが、映像エンコーダー処理系9に入力される共に特徴抽出系10に入力されるようにしてもよい。
記録モードにおいて所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体7の所定の記録領域に記録される。
上記特徴抽出データから所定の要約再生(ダイジェスト再生)を行うためのプレイリストデータ生成(9)又はチャプターデータ生成(11)をプレイリスト・チャプター生成系19で所定の信号処理を行う。
ここで、プレイリストデータ、チャプターデータ生成は、以下のような信号処理プロセス(処理a又は処理b)で行うことが考えられる。
(処理a) 特徴抽出データを所定メモリー系又はシステムコントローラー系の所定メモリー領域に所定データ量蓄積した後、所定のプレイリストデータの生成処理、所定チャプターデータの生成処理を行う。
(処理b) 画像音声データを記録する記録媒体7に所定の特徴抽出処理を行う毎に逐次特徴データを記録し、所定データ量記録した後、そのデータを再生して、所定プレイリストデータ、所定チャプターデータ生成を行う。
上記(処理a)の場合、例えば、所定時間長tの放送番組を記録することを考えると、その時間長tの記録が終了したら、その放送番組におけるすべての所定特徴抽出データが集積されるので、この時点で、時間長tのなかで所定要約再生時間tdに対応するキーフレームがどこになるかを決めるプレイリストデータ生成処理を行うことができる。すなわち、この時間長tに処理される特徴データを上記メモリー系又は、システムコントローラー系の所定メモリー領域に蓄積(記憶又は記録)しておくことになる。
上記(処理b)の場合は、上記(処理a)の場合と同様で所定時間長t記録した後、所定時間t記録終了したことを検出(検知)して、所定特徴抽出データ再生して所定要約再生時間tdに応じたプレイリストデータ生成処理を開始することになる。
プレイリストデータ生成処理が終了したら、所定の要約再生の動作を行う準備ができたことになり、このプレイリストデータを用いて所定の要約再生(ダイジェスト再生)が行える。
上記所定の特徴抽出データは、プレイリストデータがすでに生成されているので、もうプレイリストデータを生成しないとういう場合には消去するように信号処理を行うことも考えられるが、プレイリストデータを修正するなど、データの生成を再度行う場合も考えられるので、特徴抽出データはそのまま記録して残しても良い。
上記特徴抽出データは、システムコントローラー系20を介して、所定区間の特徴データ蓄積の後、プレイリスト・チャプター生成系19で所定のダイジェスト再生(要約再生)用プレイリストデータを生成する。
上記生成されたプレイリストデータは、記録処理系6において所定の記録処理がなされた後、記録媒体7の所定の記録領域に記録される。
ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、所定再生区間毎の再生開始点情報と再生終了点情報の対となるデータから構成され、例えば、所定区間毎の再生開始フレーム番号と再生終了フレーム番号のデータ対などからなる。
上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生(要約再生)を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやMPEGにおけるPTS(Presentation Time Stamp)、DTS(Decode Time Stamp)などのタイムスタンプデータでも良い。
上記プレイリストデータは、上記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。
図17において、例えば、すでにMPEGなど所定のエンコード処理がなされた画像、音声データを記録することを想定すると、音声エンコード処理系4、画像エンコード処理系9でエンコード処理を行う必要はなく、直接、多重化処理系5に入力し、記録処理系6で記録処理を行い記録媒体に記録することが考えられる。
ここで、直接デジタル画像、音声データが入力して記録されるか、受信系2によりアナログ信号が入力し所定のエンコード処理の後に記録されるかは、システムコントロール系20で検出することができ、このように入力系統違いに応じて、上記所定の画像、音声特徴データ抽出処理を記録モードの時に自動的に行うか、記録終了後に行うかを決めるようにする、又はデジタル画像、音声データが入力する場合には、所定のエンコード処理系をデータが通らないことから所定のデータ構造解析処理が行われないことを考え、記録終了後に行うようにすることも考えられる。
記録モードにおいて、上記アナログ入力系かデジタル入力系は、ユーザー入力I/F系21を介してユーザーの所定操作によって設定することもできる。
また、図17で、音声エンコーダー処理系4又は音声A/D変換処理系3、映像エンコーダー処理系9又は画像A/D変換処理系8からの信号と、所定エンコード処理されたデジタル画像、音声データを直接システムコントローラー系20で検出することで自動的に検出することもできる。
所定エンコードされたデジタルデータが検出され、音声エンコーダー系4又は音声A/D変換処理系3、映像エンコーダー系9又は画像A/D変換処理系8でデータが検出されない場合は、所定エンコード処理されたデジタル画像、音声データが入力していると判定できる。
所定エンコードされたデジタルデータが検出さないで、音声エンコーダー系4又は音声A/D変換処理系3、映像エンコーダー系9又は画像A/D変換処理系8からのデータがシステムコントローラー系20で検出される場合は、アナログ入力と判定できる。
アナログ入力とエンコード処理されたデジタルデータが両方検出される場合は、例えば、受信系2からのアナログ入力信号を初期設定(デフォルト設定)として所定の記録処理を行うことが考えられる。
上記特徴抽出処理は、例えば画像のDCTデータなどを用いるので、所定のエンコード処理がなされる場合には、通常の記録処理のために行うDCT処理を特徴抽出処理として兼用することができる。音声の場合には、所定エンコード処理におけるサブバンド処理データを用いることを考えると、所定のエンコード処理がなされる場合には、通常の記録処理のために行うサブバンド処理を特徴抽出処理として兼用することができる。
しかし、上記のように、エンコード処理されたデジタルデータが直接入力する場合は、エンコード処理を行う必要がないので、このデータを解析してDCTなどデータを取り出すことが必要になり、処理の負荷が生じることになる。
そこで、必要に応じて記録終了後に特徴抽出処理を行うようにすることも考えられる。その他、記録終了後に、特徴抽出処理を行う場合として、上記アナログ入力の場合でも、信号処理系の負荷の具合に応じて、所定の記録が終了したら自動的に行うようにすることも考えられる。
例えば、図20に示すように、特徴抽出処理はソフトウェア処理で行うこともできるので、システムコントローラー系の性能によっては記録モードの各所定信号処理と同時に行えず、所定の記録処理が終了してから行うことも考えられる。また、システムコントローラー系20はCPU、DSP(デジタルシグナルプロセッサ)、その他各種プロセッサなどで構成することが考えられるが、性能が高いほど高価なので上記のように処理能力に応じて、特徴抽出処理を記録処理と同時に行うか、終了後に行うかを決めることも考えられる。
上記特徴抽出処理を行う所定記録モード終了後としては、例えば、所定のタイマー記録動作終了後や、通常、ユーザーがその装置を動作させていないと想定できる夜中に、上記所定の特徴抽出処理を行うなどが考えられる。その場合に、例えば、装置が動作している時刻をシステムコントローラー系20内の所定メモリー手段により記憶して、所定の学習処理により、適宜、特徴抽出処理する時刻を自動設定したりすることも考えられる。
また、記録再生など通常の動作させていない時間がシステムコントローラー系20で検出される場合には、その動作させていない間に上記所定の特徴抽出処理を行うことも考えられる。その場合に所定のデータすべてが処理されない場合も想定されるが、処理途中の場所をシステムコントローラー系20内の所定メモリー手段に記憶しておき、装置が記録再生など通常動作していないことを検出して、処理できる時間があると判定されたら、途中の続きから所定の信号処理を行うことも考えられる。
2.1.2 再生側処理
(通常再生モード動作)
次に図17に示した記録再生装置30における再生信号処理について説明する。
(通常再生モード動作)
次に図17に示した記録再生装置30における再生信号処理について説明する。
先ず、通常再生モードの動作について説明する。
ユーザー入力I/F系21により、通常再生モードになると、記録媒体7から所定の画像音声情報データ、特徴抽出データなどの記録されている所定のデータが再生され再生処理系12において所定の再生処理がなされる。
再生された上記所定のデータは、再生データ分離処理系13において所定のデータに分離処理され、音声データは音声デコード処理系14に入力され、記録時に帯域圧縮信号処理された信号処理方式に対応する所定のデコード処理がなされ、その後、音声D/A処理系15に入力されてD/A変換処理された後、音声信号として出力される。
また、所定の分類処理された画像(映像)データは、映像デコード処理系16において記録時に帯域圧縮信号処理された信号処理方式に対応する所定のデコード処理がなされた後、映像D/A処理系17に入力されてD/A変換処理が行なわれ、映像信号として出力される。
(要約再生(ダイジェスト再生)モード)
要約再生モードを考える場合に、画像音声データと共に特徴抽出データ、プレイリストデータが記録媒体に記録されているかどうかで信号処理方法が異なる。
要約再生モードを考える場合に、画像音声データと共に特徴抽出データ、プレイリストデータが記録媒体に記録されているかどうかで信号処理方法が異なる。
徴抽出データとプレイリストデータが記録媒体に記録されているかどうかは図18のように整理することができる。
まず、図18に示す(a),(b)の場合に相当するプレイリストデータ(プレイリストデータファイル)、チャプターデータが再生できる場合、すなわち、プレイリストデータ、チャプターデータが所定記録媒体(所定データ記録媒体)に記録されており、要約再生モード時に再生、又は、チャプター表示モード時に所定チャプター画像がサムネール表示できる場合について説明する。
すなわち、ユーザーが要約再生モード又は所定チャプターモードを選択した場合について説明する。
ユーザー入力によりユーザー入力I/F系21を介して、システムコントローラー系20に所定の要約再生(ダイジェスト再生)モードの動作を行うコマンドが入力された場合に、再生データ分離処理系13で所定データ分離し特徴抽出データ、また、パラメータデータやプレイリストデータ、チャプターデータなどが記録されている場合には、それぞれ分離された所定の特徴抽出データ、所定のパラメータデータ、所定のプレイリストデータ、チャプターデータなどがシステムコントローラー系20に入力される。
再生データ分離処理系13で上記特徴抽出データ、パラメータデータ、プレイリストデータ、チャプターデータが分離できない場合には、上記のそれぞれのデータはシステムコントローラー系20に入力されないので、再生データ分類処理系13とシステムコントローラー系20とにより上記所定特徴抽出データ、プレイリストデータ、所定チャプターデータ、パラメータデータなどが所定記録媒体7に記録されているかどうかの判定処理機能を有することになる。
プレイリストデータは、所定の要約再生を行うために、所定の幾つかの再生区間の再生開始情報データと再生終了情報データから構成されている。
チャプターデータは所定特徴区間の先頭又はその近傍、又はその所定特徴区間の最後又はその近傍、その特徴区間に接続された特徴区間以外の区間の先頭又はその近傍、又はその特徴区間以外の区間の最後又はその近傍の位置情報から構成される。
システムコントローラー系20では、上記再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じてスキップ再生を行うことでダイジェスト再生の動作を行う。
また、所定チャプターデータによりチャプター点又はその近傍における画像を所定サムネール画像として所定表示処理を表示処理系27で行い、所定の画像表示を行う。
次に、図18に示す(c)(d)の場合に相当するプレイリストデータ(プレイリストデータファイル)、チャプターデータが再生できない場合、すなわち、プレイリストデータ、チャプターデータが記録媒体又は記憶媒体に記録(記憶)されておらず、要約再生モード時に再生できない場合、所定チャプターモード時にサムネール時点を所定サムネール表示、チャプター再生など一連のチャプター関連処理できない場合について説明する。
上記説明した放送番組などを受信した画像音声データでなく、例えば、記録媒体25をDVDソフトとし記録媒体処理系26、再生処理系12により再生する場合など他の記録媒体からの画像音声データを再生する場合や、特徴抽出していない画像音声データを再生する場合などは、ここで説明する処理に該当する。
プレイリストデータ又はチャプターデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータ、チャプターデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメータデータとから要約再生用プレイリストデータ、及び所定チャプター関連モード用チャプターデータを生成することができる。
図26の(c)に示す場合、すなわち、記録時に特徴抽出処理が行われており、特徴データが再生できる場合には、図17に示した記録再生装置30における再生処理系12又は再生データ分離処理系13からプレイリストデータ又は上記所定の特徴抽出データがプレイリスト・チャプター生成処理系19に入力され、所定のプレイリストデータ又は所定のチャプターデータが生成される。
ここで説明する動作の場合に、ユーザーが要約再生モードのコマンドを行った場合に、図19に示すようなプレイリストデータがないことを示す所定の表示を表示系27で行うようにしても良い。
生成されたプレイリストデータはシステムコントローラー系20に入力される。
システムコントローラー系20は、ユーザー入力による所定の要約再生時間に応じて、上記プレイリストデータに基づいた所定の再生区間を順次再生(スキップ再生)するように再生制御系18をコントロールしその制御により記録媒体7を再生制御する。
また、生成されたチャプターデータはシステムコントローラー系20に入力される。
システムコントローラー系20は、ユーザー入力による所定のチャプター関連動作モードに応じて、上記チャプターデータに基づいた所定のチャプター時点の画像サムネール表示、チャプター点のカットや接続などの編集処理、ユーザー選択したチャプター点のスキップ再生など、所定チャプター関連動作が行えるように再生制御系18をコントロールし、その制御により記録媒体7の再生制御を行ったり、システムコントローラー系20を介した表示処理系27の制御などを行う。
上記したように、例えば、DVDなど外部記録媒体を記録媒体25として要約再生する場合にも、上記と同様の信号処理により行うことができ、再生制御系18により記録媒体処理系26を制御し、上記したような所定の要約再生処理を行う。
また、上記チャプターデータを用いた編集処理(編集操作)、所定チャプター点間(又はその近傍)のスキップ再生、チャプター点(又はその近傍)のサムネール画像表示など、一連の所定チャプター関連動作を上記と同様の信号処理により行うことができ、再生制御系18により記録媒体処理系26を制御し、上記したような所定信号処理を行う。
さらに、図16に示す(d)すなわち特徴抽出データが再生できない場合について説明する。
上記の例では特徴抽出データからプレイリストデータ、チャプターデータを生成する場合について説明したが、例えば、他のユーザーが記録した外部記録媒体25を記録媒体A26にコピーしたような場合を考えると、特徴抽出データが再生できない場合も想定できる。
記録媒体7に放送番組などの画像音声データは記録されているが特徴抽出データが記録されておらず、再生できない場合について考える。
ここで説明する動作の場合に、ユーザーが要約再生モード又は上記所定チャプター関連動作モードのコマンドを行った場合に、図19に示すような特徴データがないことを示す所定の表示を表示系27で行うようにしても良い。
この場合の要約再生モードで記録媒体A7から画像音声データを再生する場合は、再生処理系12で再生されたデータは再生データ分離処理系13に入力され、分離された記録時に所定の帯域圧縮方式で処理されている画像データと音声データは特徴抽出処理系10に入力され、画像特性データであるDCT DC係数、AC係数、動きベクトル(モーションベクトル)など、音声特性データである音声パワー検出その他など各種所定の特性データ検出処理などが行われる。
特徴抽出処理系10では、さらに、上記の各種画像音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ(テロップ区間判定データ)、人物特徴データその他の画像特徴データ(画像特徴区間判定データ)、及び話者音声特徴データ(話者音声判定データ)、拍手歓声特徴データ(拍手歓声判定データ)その他の音声特徴データ(音声特徴区間判定データ)の各種特徴抽出処理が行われる。
上記各種の画像特徴抽出データ(画像特徴データ)及び音声特徴抽出データ(音声特徴データ)はシステムコントローラー系20に入力され、所定番組あるいは、所定の画像音声区間のすべてについて上記所定の特徴抽出処理が終了したら特徴抽出処理が終了したと判定される。
ここで、上記特徴抽出処理が終了した場合にはシステムコントローラー系20から所定の信号処理が終了したことを示す信号が表示処理系27に入力され、例えば図19に示すような所定の表示を行うようにしても良い。
次に上記特徴抽出データから所定のプレイリストデータ、チャプターデータを生成する処理について説明する。
上記の各種特徴抽出データは、所定の特徴抽出区間ごとにメモリー系11に蓄えられ、上記すべての所定特徴データの処理が終了したらプレイリスト・チャプター生成処理系19に入力され、所定のプレイリストデータ又はチャプターデータが生成される。
ここで、特徴抽出処理系10から直接プレイリスト・チャプター生成系19に、所定区間の特徴抽出処理データを逐次入力するようにしても良く、上記で述べたように、所定の全ての区間や所定放送番組の特徴抽出処理が終了したら、システムコントローラー系20からの所定の信号により、プレイリスト・チャプター生成系19で上述の如き所定のプレイリストデータ又はチャプターデータ生成処理を行うようにしても良い。
また、特徴抽出処理系からの上記処理された特徴データは、システムコントローラー系20を介してプレイリスト・、チャプター生成処理系19に入力するように信号処理を行うことも考えられる。
プレイリスト・チャプター生成処理系19で、所定のプレイリストデータ又はチャプターデータが生成されると、所定の処理が終了したことを示す信号がシステムコントローラー系20に入力され、所望の要約時間に応じた要約再生又は所定のチャプターデータを用いた所定チャプター関連動作を行うことができる。
この場合に、図19に示すように、プレイリストデータ又はチャプターデータが生成できたことを示す所定の表示を行ったり、要約再生モード、チャプター関連の所定動作モードであることなどの表示を表示系27により行っても良い。
ユーザーが要約再生を行う場合に、例えば記録した放送番組が1時間であったとし、それを30分で再生したいのか、20分で再生したいのかなど、ユーザーの所望する要約再生時間は分からないので、記録した放送番組など画像音声データの特徴抽出した全区間の全時間長に応じて、あらかじめ幾つかの要約時間に対応するプレイリストデータを生成することを考えることができる。
例えば、特徴抽出する放送番組の記録時間が1時間であったら、40分、30分、20分の要約再生を行う、それぞれのプレイリストデータを生成する。このようにプレイリストデータを生成することで、リモコン22などのユーザー入力で要約時間が選択された場合に、すぐに所定の要約時間に対応した要約再生動作を行うことができる。
記録媒体25を再生する場合については、上記記録媒体A7を再生する場合と同様で、記録媒体処理系26により記録媒体25を検出し、再生処理系12により再生信号処理し、再生データ分離処理系13において所定の画像音声データを分離する。その後の信号処理は上記の記録媒体7の場合と同様なので省略する。
ここで、上述した一連の処理を実行する制御プログラムは、専用のハードウェアに組み込まれているコンピュータ又は各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
この記録媒体は、制御プログラムが記録されているハードディスクだけではなく、コンピュータとは別に、ユーザーにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスクもしくは半導体メモリーなどよりなるパッケージメディアにより構成される。
2.2 ブロック構成例2
ここで、上記図17に示した記録再生装置30の変形例について図20を参照して説明する。
ここで、上記図17に示した記録再生装置30の変形例について図20を参照して説明する。
放送番組を記録再生処理する信号処理の過程は上記図17に示した記録再生装置30と同様なので、図17に示した記録再生装置30とは信号処理が異なる部分について説明する。
2.2.1 記録側信号処理
この図20に示す記録再生装置30Aにおいて上述の記録再生装置30と異なるのは、記録モードにおいて特徴抽出処理を行う一連の信号処理をシステムコントローラー20系においてソフトウェア的に行うことである。
この図20に示す記録再生装置30Aにおいて上述の記録再生装置30と異なるのは、記録モードにおいて特徴抽出処理を行う一連の信号処理をシステムコントローラー20系においてソフトウェア的に行うことである。
また、この記録再生装置30Aでは、ネットワーク系24により、所定のソフトウェアをダウンロードして、説明するようなソフトウェア処理による、特徴抽出処理、プレイリスト処理(チャプター生成処理(再生区間、再生時点位置情報生成処理))などを行うことも考えられる。
ソフトウェアによるダウンロードでは、例えば、本発明の処理が搭載されていない装置が、はじめにあった場合に、時間をおいて後からソフト的に本発明を適用できる利点があり、例えば、製造販売などの時間的に間に合わない場合には、設計、製造側においては、本発明を適用しない簡単な構成のシステムと後で、本発明を適用したシステムの両方のシステムをユーザーに提供できる。
ユーザー側では、本発明を適用しない簡単な構成のシステムを購入した後で、ソフト的な処理で、本発明を適用できるので、後から機能を追加できるなどの利点がある。
また、処理系を修正、改良するなどの場合にもソフトをダウンロードしてアップグレードすることで、対応できる利点がある。
本発明をソフトウェアダウンロードで装備する場合は、ユーザーは所定の操作系(リモコン22など)で、所定のインターネットサイトにネットワーク系24を介して接続し、所定の操作系による操作で本発明のソフトウェアをダウンロードする。
ダウンロードされた本発明のソフトウェアは、システムコントローラー系20で、所定の解凍処理、インストール処理などが行われ、後で説明する、特徴抽出処理、プレイリスト処理、チャプター処理ほか、本発明の所定の処理機能が装備される。
システムコントローラー系20として、所定性能を備えたマイクロプロセッサ(MPU、又はCPU)を用いることで上記した所定の特徴抽出処理を所定の記録処理と同時に行うことが考えられる。
上記したメモリー系11もこのシステムコントローラー系20内に備えられた所定のデータ記憶メモリーを用いることが考えられる。
ここで、上記したように所定の記録処理として、所定の画像音声の帯域圧縮を行う場合に、上記のような所定の性能を備えたMPU又はCPU、又はDSP(デジタル・シグナルプロセッサ)を用いることが考えられ、この帯域圧縮処理を行っている同じMPU又はCPU、又はDSPで上記所定の特徴抽出処理、プレイリスト生成処理などを行うことも考えられる。
2.2.2 再生側信号処理
この図20に示す記録再生装置30Aにおいて上述の記録再生装置30と異なるのは、上記の場合のように再生モードにおいて、特徴データが検出できず特徴抽出処理を行う場合に、一連の信号処理をシステムコントローラー20系においてソフトウェア的に行うことである。
この図20に示す記録再生装置30Aにおいて上述の記録再生装置30と異なるのは、上記の場合のように再生モードにおいて、特徴データが検出できず特徴抽出処理を行う場合に、一連の信号処理をシステムコントローラー20系においてソフトウェア的に行うことである。
システムコントローラー系20として、所定性能を備えたマイクロプロセッサ(MPU、又はCPU)を用いることで上記した所定の特徴抽出処理を所定の記録処理と同時に行うことが考えられる。
上記したメモリー系11もこのシステムコントローラー系20内に備えられた所定のデータ記憶メモリーを用いることが考えられる。
(3)特徴抽出処理
次に、音声系特徴抽出処理及び映像(画像)系特徴抽出処理の各信号処理について説明する。
3.1 音声系特徴抽出処理
音声系特徴抽出処理系では、図21に示すように、MPEGの画像音声ストリームデータがストリーム分離系100に入力され、分離された音声データは音声データデコード系101に入力され所定のデコード処理が行われる。
次に、音声系特徴抽出処理及び映像(画像)系特徴抽出処理の各信号処理について説明する。
3.1 音声系特徴抽出処理
音声系特徴抽出処理系では、図21に示すように、MPEGの画像音声ストリームデータがストリーム分離系100に入力され、分離された音声データは音声データデコード系101に入力され所定のデコード処理が行われる。
デコードされた音声データ(音声信号)はレベル処理系102、データカウンタ系103、データバッファ系104に各々入力され、レベル処理系102では、音声データの所定区間の平均パワー(又は平均レベル)Pavを演算するため、データの絶対値化処理を行い、データカウンタ系103で所定サンプルデータ数まで計測されるまで、音声データ積算処理105で積算処理を行う。
ここで、平均パワーPavは、音声データの値(レベル)をAd(n)として以下の(32)式の演算により求めることができる。
平均レベルを演算する所定区間として、例えば、約0.01sec(10msec)〜1secが考えられ、例えば、サンプリング周波数FsをFs=48KHzとすると、480〜48000サンプルの積算演算行い、サンプル数Smで平均処理を行って平均レベル(平均パワー)Pavを求める。
音声データ積算処理系105から出力されたデータPavは、判定処理系106に入力され、しきい値設定系107で設定された所定しきい値Athと比較処理され無音判定処理が行われる。
ここで、しきい値設定系107における所定しきい値Athの設定において、Athは固定値Ath0として設定することが考えられるが、固定値Ath0の他に、所定音声区間の平均レベルに応じた変動しきい値Athmを設定することも考えられる。
変動しきい値Athmとして、例えば、いま処理を考えている区間をnとし、それより前の区間(n−k)の平均レベルPav(n−k)を考え、次の(33)式のようにすることが考えられる。
例えば、t=2として、
Athm=(Pav(n−1)+ Pav(n−2))/m (34)式
例えば、mはおおよそ、2〜20くらいの範囲から設定することが考えられる。
Athm=(Pav(n−1)+ Pav(n−2))/m (34)式
例えば、mはおおよそ、2〜20くらいの範囲から設定することが考えられる。
(その他の音声特徴抽出処理)
データバッファ系104に蓄積された所定音声データは、周波数解析処理系108に入力され、所定の周波数解析処理が行われる。
データバッファ系104に蓄積された所定音声データは、周波数解析処理系108に入力され、所定の周波数解析処理が行われる。
ここで、周波数解析処理としてFFT(高速フーリエ変換)などが考えられ、データバッファ系104からのデータの所定解析サンプルデータ数は、例えば、512、1024、2048、その他、など2のべき乗の所定サンプル数で所定の解析処理を行う。
周波数解析処理系108からの信号(データ)は、判定処理系109に入力され、所定の判定処理が行われる。
音楽(楽音)の判別処理は、所定周波数帯域のスペクトルピークの継続性から行うことができる。
例えば、特開2002−116784号公報などにはそれらの技術が開示されている。
話者音声の判定では、人の会話音声波形で息継ぎの区間があるので、波形に所定の急峻な対上がり、又は立下り区間が見られ、その所定立ち上がり、又は立下り区間を検出することで所定の信号処理を行うことができる。
この場合に、上記音楽(楽音)信号波形の場合は話者音声の場合に比べて、一般的に波形の立ち上がり、又は立下り区間が現れる確率は小さいと考えられるので、この楽音(音楽)波形の特性(特徴)も考慮して、総合的に音声信号の属性判定を行うようにする。
上記のような、話者音声信号の波形特徴(波形特性)、音楽(楽音)信号の波形特徴(波形特性)の相違から音声信号の属性判定を行う場合に、波形における時間的な物理特性を検出することになるので、上記で説明したような周波数解析を行ってから所定の判定信号処理を行う方法(周波数領域での信号解析、判定処理)の他に、ベースバンド領域で所定の判定処理を行う方法(時間領域での信号解析、判定処理)も考えられる。
ここで、音声信号(音声データ)をデコード処理しないで、圧縮帯域のままで信号の属性解析を行う場合の音声系特徴抽出処理系の構成例を図22に示す。
図22に示す音声系特徴抽出処理系では、所定の帯域圧縮信号処理が施されたデータストリーム、例えば、MPEGなどの画像音声データがストリーム分離系100に入力されて画像データと音声データに分離され、音声データはストリームデータ解析系110に入力され、所定のサンプリング周波数、量子化ビット数その他などの信号解析処理が行われ、所定の音声データはサブバンド解析処理系111に入力される。
サブバンド解析処理系111で所定のサブバンド解析処理が行われ所定サブバンド帯域のデータは上記(32)式〜(34)式で説明したのと同様の所定信号処理が行われる。
すなわち、音声データ積算処理系105に入力され、データカウント系103で所定のサンプリングデータ数が検出されるまで所定の積算処理が行われ、その後、しきい値設定系107で設定される所定しきい値に基づいて判定処理系106で所定の無音判定処理が行われる。
この無音判定処理では、音声データのスペクトルを考慮して、エネルギーが多く集まっている帯域で、サブバンド帯域としては大よそ3KHz以下の所定データ帯域を用いることが考えられる。
また、上記周波数解析により楽音(音楽)、話者音声の判定処理が行えることを述べたが、サブバンド解析系111の処理により、この信号処理系で所定の周波数解析が行われたのと同様と考えられるので、上記での述べたような所定スペクトルピークの継続性判定処理を行うことで属性判定の信号処理を行うことが考えられる。
この場合、スペクトルピークは、各所定サブバンド帯域の中の最大データ帯域と考えることができ、FFT解析処理の場合と同様の信号処理が行えると考えられる。
3.2 画像系特徴
次に映像(画像)系特徴(特徴)抽出処理について説明する。
次に映像(画像)系特徴(特徴)抽出処理について説明する。
映像系特徴抽出処理系では、図23に示すように、ストリーム分離系で所定の分離処理が行われた画像データは、ストリームデータ解析系200に入力され、レート検出、画素数検出その他など所定のデータ解析が行われ、DCT係数処理系201でDCTのDC係数検出、AC係数検出など所定のDCT演算処理(逆DCT演算処理)が行われ、このDCT係数処理201の出力に基づいて、シーンチェンジ検出系202、色特徴検出処理系203、類似画像検出処理系204、人物検出処理系205及びテロップ検出判定処理系206における各種処理が行われ、動きベクトル系208では、所定の動きベクトル検出処理が行われる。
3.2.1 シーンチェンジ特徴
シーンチェンジ検出系202では、例えば、所定画面領域に分割しその領域毎にDCTのDC係数データのY(輝度データ)、Cb、Cr(色差データ)の平均値を演算してフレーム間差分演算又は、フィールド間差分演算をその領域毎に行い、所定しきい値と比較して、所定のシーンチェンジ検出を行うことが考えられる。
シーンチェンジ検出系202では、例えば、所定画面領域に分割しその領域毎にDCTのDC係数データのY(輝度データ)、Cb、Cr(色差データ)の平均値を演算してフレーム間差分演算又は、フィールド間差分演算をその領域毎に行い、所定しきい値と比較して、所定のシーンチェンジ検出を行うことが考えられる。
シーンチェンジが無い場合は、各領域のフレーム間(又はフィールド)差分データは所定しきい値より小さく、シーンチェンジがあるとしきい値より差分データが大きくなる場合が検出できる。
ここで、画面分割の領域は、例えば、図24に示すように有効画面を16分割するような領域を考えることができる。
演算する画面分割の方法は図24の場合に限らず、分割数を多くすることも、少なくすることも考えられるが、少なすぎるとシーンチェンジの検出精度が鈍感になり、分割数が多いと精度が鋭すぎることが考えられるので、およそ256(16×16)以下の範囲の間で適当な所定の分割数を設定することが考えられる。
3.2.2 色(カラー)特徴
色特徴検出処理系203では、DCTのDC係数の、所定領域におけるY、Cb、Crデータの平均値から色特徴を検出することができる。
色特徴検出処理系203では、DCTのDC係数の、所定領域におけるY、Cb、Crデータの平均値から色特徴を検出することができる。
所定領域としては、例えば、図25に示すような領域を考えることができる。
この図25では、有効画面を横方向に4分割し検出領域1〜検出領域4、縦方向に4分割して検出領域5〜検出領域8を設けている。
ここで場合に応じて横方向だけの検出領域1〜4、又は縦方向だけの検出領域5〜8を設けることも考えられる。
また、図25のような領域分割以外にも、5×5や、6×6といった碁盤状の分割方法なども考えられる。
例えば、放送番組で番組ジャンルとして「相撲」の場合を想定した場合に、図25の検出領域3領域で茶色が検出できる場合は「土俵のシーン」の確率が高いと想定できる。
この色特徴と例えば、音声の属性特徴と組み合わせると、「土俵のシーン」+「音声属性その他(又は話者音声)」から「取組みが開始するシーン」の確率が高い想定できるので、このようなシーン区間がキーフレーム区間と設定できる。
また、この場合には、取組み開始シーンでは観客の歓声などで音声レベルが大きくなったり、通常の状態とはことなる音声周波数帯域のデータが検出されることが考えられるので、音声レベルや、所定の周波数領域データも特徴データとして考えることもできる。
3.2.3 類似シーン(類似画像)特徴
類似画像検出処理系204では、類似シーン(類似画像、類似映像)毎に、所定のID(識別番号、又は識別記号)をその画像(シーン)に付与(付加)(又は、割り当て)する処理で、類似画像(シーン)には同一IDが付与(割り当て)処理される。例えば、特開2002−344872号公報にその技術が開示されている。
類似画像検出処理系204では、類似シーン(類似画像、類似映像)毎に、所定のID(識別番号、又は識別記号)をその画像(シーン)に付与(付加)(又は、割り当て)する処理で、類似画像(シーン)には同一IDが付与(割り当て)処理される。例えば、特開2002−344872号公報にその技術が開示されている。
この付加(付与)する処理はその画像(シーン)又は画像(シーン)の位置情報(フレーム番号、PTS、記録時刻など)と一対一に対応するメモリー手段(データ記録手段)にそのIDを記録するもので、その画像を表示又はその画像から再生するなどの動作を行う場合に、その画像(シーン)の位置情報とIDは一対一に対応しており、画像(シーン)自体とその位置情報も言うまでもなく一対一に対応しているので、例えば、同一IDの画像を表示するなど類似画像分類や同一IDの画像シーンの時点をスキップ再生するなど、IDを利用する色々な所定動作を行うことができる。
この特徴データとしては、上記のシーンIDについて言及したように、検出頻度の1位、2位などの検出出現順位を考えることができる。
また、図7に示すような、そのPU区間長に対するその出現順位1位、2位など、検出したIDの検出長の割合を考えることができる。
この特徴抽出処理は、例えば、画面を複数分割(例えば、25分割)して、その各分割した画面領域に対応する領域のDCTの平均DC係数を演算して、その演算した平均DC係数をベクトル成分として、所定ベクトル距離が所定しきい値より小さい所に対応する画像(シーン)を類似画像(類似シーン)とし、類似画像(類似シーン)には、同一の所定ID(シーンID)を割り当てる処理である。
例えば、IDとして、初期値を1とし、上記、所定しきい値より小さい画像(シーン)が検出されない場合は、IDの最大値に1を加算したものを新たなIDとして、その画像(シーン)に割り当てる。
本発明における、この特徴データの利用方法として、上記図5を参照して説明したように、所定区間でのIDの出現頻度を演算して、頻度1位〜2位の検出を行うなどの処理方法が考えられる。
これは、例えばニュース番組を想定した場合に、アナウンサーシーンが頻繁に出現する場合や、相撲、野球など、類似シーンの出現が多く見込めるような番組ジャンルでは、有効な処理に用いることができると考えられる。
すなわち、ニュース番組で出現頻度1位や2位では、出現頻度の高いと想定できるアナウンサーシーンが検出できる確率が高いと考えられる。
図26はIDの出現頻度の演算方法を説明するための概要を示すもので、例えば、区間f1〜f2、f3〜f4、f5〜f6、f7〜f8の4区間で同一IDであるID1が検出できている。
すなわちこの区間では、類似したシーンが出現したと考えられる。
図26のように、所定区間同じIDが連続している区間を一つとして数え、そのような区間がいくつあるかを演算する。
類似シーンが出現しなくなると同一IDではなくなるので、IDの連続性、不連続性の数を演算することで所定の頻度を算出することも考えられる。
3.2.4 人物特徴
人物検出処理系205では、図27に示すように画面の領域を分割し、各領域における所定の特定色を検出することで、人物が画面に現れているかを判定することが考えられる。
3.2.4 人物特徴
人物検出処理系205では、図27に示すように画面の領域を分割し、各領域における所定の特定色を検出することで、人物が画面に現れているかを判定することが考えられる。
図27に示した例では、有効画面を2×2に分割した領域1〜4の4つの領域と、画面中央付近の領域5の5つの領域を想定している。
例えば、ニュース番組では、領域5にアナウンサーの顔が出現する場合の確率が高いことが考えられる。
また、フリップ又はテロップとアナウンサーシーンが出現する場合を想定すると、領域1又は領域2にアナウンサーの顔が出現する場合も考えられる。その場合に領域2又は領域1にフリップ又はテロップが出現すると想定できる。
例えば、特定色として白人の肌色を想定すると、以下の条件式により特定色を検出することが実験から分かっている。
0.6<Cb/Cr<0.9〜0.97 (35)式
(0≦Cb≦255、0≦Cr≦255) (36)式
以下に説明するように、図27に示した領域における特定色の検出による方法と別の方法も考えられる。
(0≦Cb≦255、0≦Cr≦255) (36)式
以下に説明するように、図27に示した領域における特定色の検出による方法と別の方法も考えられる。
ここでは、簡単のため画面サイズを720×480として考える。
(処理1)
色信号(Cb,Cr)からの検出条件(白人系肌色条件)DCT係数Cb、CrのDC成分においてマクロブロックは16×16で、x方向は720/16=45で、(0〜44)、y方向は480/16=30で、(0〜29)毎に以下の(3.2.3)式に示す判定条件でデータポイントを検出する。場合によっては、x、y方向各々1/2に圧縮してx方向0〜22、y方向0〜14として処理する。ここで、0≦Cb≦255、0≦Cr≦255である。
色信号(Cb,Cr)からの検出条件(白人系肌色条件)DCT係数Cb、CrのDC成分においてマクロブロックは16×16で、x方向は720/16=45で、(0〜44)、y方向は480/16=30で、(0〜29)毎に以下の(3.2.3)式に示す判定条件でデータポイントを検出する。場合によっては、x、y方向各々1/2に圧縮してx方向0〜22、y方向0〜14として処理する。ここで、0≦Cb≦255、0≦Cr≦255である。
0.6<Cb/Cr<0.9〜0.97 (37)式
ここで、例えば、8ビットシフト(128倍)して以下の(38)式のような判定条件も考えられる。
ここで、例えば、8ビットシフト(128倍)して以下の(38)式のような判定条件も考えられる。
77<(Cb<<8/Cr)<115〜124 (38)式
(処理2)
輝度信号AC係数からの検出条件(人物、顔などの輪郭部検出条件)上述の(37)式や(38)式にして示される判定条件において、所定しきい値Athより大きいデータをx、y方向毎に検出する。
輝度信号AC係数からの検出条件(人物、顔などの輪郭部検出条件)上述の(37)式や(38)式にして示される判定条件において、所定しきい値Athより大きいデータをx、y方向毎に検出する。
xh(x)>Ath (39)式
yh(y)>Ath (40)式
場合によっては検出データから共分散処理を行う。
yh(y)>Ath (40)式
場合によっては検出データから共分散処理を行う。
例えば、図28に示すように、●の部分が検出点で例えば以下のようになる。
xh(0)= 0 yh(0)=0
xh(1)= 2 yh(1)=0
xh(2)= 2 yh(2)=3
・・・ ・・・
・・・ ・・・
・・・ ・・・
xh(1)= 2 yh(1)=0
xh(2)= 2 yh(2)=3
・・・ ・・・
・・・ ・・・
・・・ ・・・
(処理3)
検出物の大きさの正当性の検出条件を考え、xh(x)、yh(y)の検出で、所定しきい値Hthより大きい検出データ点
xh(x)>Hth (41)式
yh(y)>Hth (42)式
で、x方向、y方向毎に所定しきい値数 Lthより大きいデータ
xl(n)>Lth (43)式
yl(m)>Lth (44)式
の継続長を検出する。
検出物の大きさの正当性の検出条件を考え、xh(x)、yh(y)の検出で、所定しきい値Hthより大きい検出データ点
xh(x)>Hth (41)式
yh(y)>Hth (42)式
で、x方向、y方向毎に所定しきい値数 Lthより大きいデータ
xl(n)>Lth (43)式
yl(m)>Lth (44)式
の継続長を検出する。
例えば図28に示す場合では、Hth=2で
xh(x)>2
yh(y)>2
の検出点が継続している部分の継続長は、
xl(0)=6
xl(1)=1
yl(0)=7
yl(1)=2
と検出され、例えば、Lth=3とすると、xl(0)、yl(0)がここの処理での検出データとなる。
xh(x)>2
yh(y)>2
の検出点が継続している部分の継続長は、
xl(0)=6
xl(1)=1
yl(0)=7
yl(1)=2
と検出され、例えば、Lth=3とすると、xl(0)、yl(0)がここの処理での検出データとなる。
(処理4)
人物の顔としての形状の正当性の検出条件を考える。検出された、xl(n)、yl(m)の各々についてその、差分又は比が所定範囲(0〜Dth又はeth1〜eth2)のデータを検出する。
人物の顔としての形状の正当性の検出条件を考える。検出された、xl(n)、yl(m)の各々についてその、差分又は比が所定範囲(0〜Dth又はeth1〜eth2)のデータを検出する。
|xl(n)−yl(m)|<Dth (45)式
又は
eth1<xl(n)/yl(m)<eth2 (46)式
図28の例では、xl(0)、yl(0)について演算を行う。
又は
eth1<xl(n)/yl(m)<eth2 (46)式
図28の例では、xl(0)、yl(0)について演算を行う。
ここで人物の顔の形状を考え、顔を4角形で近似すると仮定し、縦横比を演算する。
例えば、
0.8<xl(n)/yl(m)<1.5 (47)式
を検出条件と仮定すると、
yl(0)/xl(0)=1.2 (48)式
で、図28のxl(0)、yl(0)の領域の物体は人物の顔の確率が高いと判定できる。ここで、上記(3.2.4)のようなビットシフト処理を行うことも考えられる。
0.8<xl(n)/yl(m)<1.5 (47)式
を検出条件と仮定すると、
yl(0)/xl(0)=1.2 (48)式
で、図28のxl(0)、yl(0)の領域の物体は人物の顔の確率が高いと判定できる。ここで、上記(3.2.4)のようなビットシフト処理を行うことも考えられる。
上記(処理1)〜(処理4)の検出条件の他、以下の(処理5)のような検出データの継続性判定を行うことも考えられる。
(処理5)
検出形状の時間継続性の条件を考える。
(継続性判定 方法5.1)
場合によっては、上記(処理1)〜(処理4)の検出の時間継続性(検出の安定性)を判定することも考えられる。
検出形状の時間継続性の条件を考える。
(継続性判定 方法5.1)
場合によっては、上記(処理1)〜(処理4)の検出の時間継続性(検出の安定性)を判定することも考えられる。
例えば、上記(48)式からピクチャーNでの検出値S(N)を
S(N)=yl(0)/xl(0) (49)式
とし、S(N+1)、S(N+2)などを検出して継続性の判定を行うことも考えられる。
S(N)=yl(0)/xl(0) (49)式
とし、S(N+1)、S(N+2)などを検出して継続性の判定を行うことも考えられる。
例えば、
0.8<S(N) <1.5 (50)式
0.8<S(N+1)<1.5 (51)式
0.8<S(N+2)<1.5 (52)式
と3ピクチャー継続した場合に検出したと判定することも考えられる。
0.8<S(N) <1.5 (50)式
0.8<S(N+1)<1.5 (51)式
0.8<S(N+2)<1.5 (52)式
と3ピクチャー継続した場合に検出したと判定することも考えられる。
ここで、検出処理を行うピクチャーは、Iピクチャーが考えられる。
(継続性判定 方法5.2)
また、その他の方法として、上記(処理1)〜(処理3)の検出値の何れか、幾つかをピクチャーNでの検出データとして、N+1、N+2、N+3と継続検出できるかを判定することも考えられる。
また、その他の方法として、上記(処理1)〜(処理3)の検出値の何れか、幾つかをピクチャーNでの検出データとして、N+1、N+2、N+3と継続検出できるかを判定することも考えられる。
例えば、フレームNでの検出値
Col(N)=(Cb<<8)/Cr (53)式
を考え、
77<Col(N) <115 (54)式
77<Col(N+1)<115 (55)式
77<Col(N+2)<115 (56)式
のように、3つのIピクチャーを継続して検出できたかを判定し、次の検出処理に移行することも考えられる。
Col(N)=(Cb<<8)/Cr (53)式
を考え、
77<Col(N) <115 (54)式
77<Col(N+1)<115 (55)式
77<Col(N+2)<115 (56)式
のように、3つのIピクチャーを継続して検出できたかを判定し、次の検出処理に移行することも考えられる。
また、検出されたN〜(N+2)ピクチャーのデータの平均値を演算し、条件判定することも考えられる。
すなわち、検出された3ピクチャーデータの平均値をAvColとし、
AvCol=(Col(N)+Col(N+1)+Col(N+2))/3
(57)式
77<AvCol<115 (58)式
を判定処理することも考えられる。
AvCol=(Col(N)+Col(N+1)+Col(N+2))/3
(57)式
77<AvCol<115 (58)式
を判定処理することも考えられる。
(継続性判定 方法5.3)
上記(39)式、(40)式により、それらをピクチャーNでの検出値 xh(N)(x)、yh(N)(y)として、N+1、N+2などのピクチャーでの検出判定の継続性を見ることも考えられる。
上記(39)式、(40)式により、それらをピクチャーNでの検出値 xh(N)(x)、yh(N)(y)として、N+1、N+2などのピクチャーでの検出判定の継続性を見ることも考えられる。
すなわち、
xh(N)(x) >Ath (59)式
xh(N+1)(x)>Ath (60)式
xh(N+2)(x)>Ath (61)式
yh(N)(y) >Ath (62)式
yh(N+1)(y)>Ath (63)式
yh(N+2)(y)>Ath (64)式
のように、3つのIピクチャーが継続して検出できたかを判定し、次の検出処理に移行することも考えられる。
xh(N)(x) >Ath (59)式
xh(N+1)(x)>Ath (60)式
xh(N+2)(x)>Ath (61)式
yh(N)(y) >Ath (62)式
yh(N+1)(y)>Ath (63)式
yh(N+2)(y)>Ath (64)式
のように、3つのIピクチャーが継続して検出できたかを判定し、次の検出処理に移行することも考えられる。
また、検出されたN〜(N+2)ピクチャーのデータの平均値を演算し、条件判定することも考えられる。
すなわち、検出された3ピクチャーデータの平均値をAvxh及びAvyhとし、
Avxh=(xh(N)(x)+xh(N+1)(x)+xh(N+2)(x))/3
(65)式
Avyh=(yh(N)(y)+yh(N+1)(y)+yh(N+2)(y))/3
(66)式
Avxh>Ath (67)式
Avyh>Ath (68)式
を判定処理することも考えられる。
Avxh=(xh(N)(x)+xh(N+1)(x)+xh(N+2)(x))/3
(65)式
Avyh=(yh(N)(y)+yh(N+1)(y)+yh(N+2)(y))/3
(66)式
Avxh>Ath (67)式
Avyh>Ath (68)式
を判定処理することも考えられる。
(継続性判定 方法5.4)
上記(43)式、(44)式により、それらをピクチャーNでの検出値xl(N)(x)、yl(N)(y)として、N+1、N+2などのピクチャーでの検出判定の継続性を見ることも考えられる。
上記(43)式、(44)式により、それらをピクチャーNでの検出値xl(N)(x)、yl(N)(y)として、N+1、N+2などのピクチャーでの検出判定の継続性を見ることも考えられる。
すなわち、
xl(N)(x) >Lth (69)式
xl(N+1)(x)>Lth (70)式
xl(N+2)(x)>Lth (71)式
yl(N)(y) >Lth (72)式
yl(N+1)(y)>Lth (73)式
yl(N+2)(y)>Lth (74)式
のように、3Iピクチャー継続して検出できたかを判定し、次の検出処理に移行することも考えられる。
xl(N)(x) >Lth (69)式
xl(N+1)(x)>Lth (70)式
xl(N+2)(x)>Lth (71)式
yl(N)(y) >Lth (72)式
yl(N+1)(y)>Lth (73)式
yl(N+2)(y)>Lth (74)式
のように、3Iピクチャー継続して検出できたかを判定し、次の検出処理に移行することも考えられる。
また、検出されたN〜(N+2)ピクチャーのデータの平均値を演算し、条件判定することも考えられる。
すなわち、検出された3ピクチャーデータの平均値をAvxl及びAvylとし、
Avxl=(xl(N)(x)+xl(N+1)(x)+xl(N+2)(x))/3
(75)式
Avyl=(yl(N)(y)+yl(N+1)(y)+yl(N+2)(y))/3
(76)式
Avxl>Lth (77)式
Avyl>Lth (78)式
を判定処理することも考えられる。
Avxl=(xl(N)(x)+xl(N+1)(x)+xl(N+2)(x))/3
(75)式
Avyl=(yl(N)(y)+yl(N+1)(y)+yl(N+2)(y))/3
(76)式
Avxl>Lth (77)式
Avyl>Lth (78)式
を判定処理することも考えられる。
(人物数検出の基本的な処理方法の概要)
ここで、人物数の検出判定について考える。
(人数判定 方法5.1B)
例えば、図29の場合、x方向の所定しきい値以上のデータ xl(0)、xl(1)の2個が検出され、y方向はyl(0)の1個が検出されていると仮定する。
ここで、人物数の検出判定について考える。
(人数判定 方法5.1B)
例えば、図29の場合、x方向の所定しきい値以上のデータ xl(0)、xl(1)の2個が検出され、y方向はyl(0)の1個が検出されていると仮定する。
ここで、xl(0)とyl(0)とで特定される領域1と、xl(1)とyl(0)とで特定される領域2のデータ密度について考える。
領域1について、領域の全データポイントS1は、
S1=xl(0)×yl(0)
=20 (79)式
所定しきい値より大きいデータ数は、
Σxh(x)=17 (80)式
データ密度Δ1、すなわち単位データポイント当たりのデータ数Δ1は、
Δ1=0.85 (81)式
ここで、領域1がすべてしきい値より大きいデータが検出された場合はデータ密度はΔ1=1になる。そこで、所定しきい値Mthを設定し、
Δ1>Mth (82)式
を判定する。
S1=xl(0)×yl(0)
=20 (79)式
所定しきい値より大きいデータ数は、
Σxh(x)=17 (80)式
データ密度Δ1、すなわち単位データポイント当たりのデータ数Δ1は、
Δ1=0.85 (81)式
ここで、領域1がすべてしきい値より大きいデータが検出された場合はデータ密度はΔ1=1になる。そこで、所定しきい値Mthを設定し、
Δ1>Mth (82)式
を判定する。
同様に領域2について、領域の全データポイントS2は、
S2=xl(1)×yl(0)
=25 (83)式
となる。所定しきい値より大きいデータ数は、
Σxh(x)=21 (84)式
となる。データ密度Δ2は、
Δ2=0.84 (85)式
となる。
S2=xl(1)×yl(0)
=25 (83)式
となる。所定しきい値より大きいデータ数は、
Σxh(x)=21 (84)式
となる。データ密度Δ2は、
Δ2=0.84 (85)式
となる。
ここで例えば、しきい値Mthを
Mth=0.80 (86)式
と仮定すると、(81)式、(85)式から領域1及び領域2は条件を満たし、人物が検出されたとする確率が高いと判定される。
Mth=0.80 (86)式
と仮定すると、(81)式、(85)式から領域1及び領域2は条件を満たし、人物が検出されたとする確率が高いと判定される。
ここで、x方向について、xl(0)+Xl(1)とyl(0)で特定される領域Stについて考えると、全データポイント数は、
(xl(0)+xl(1))×yl(0)=45 (87)式
となる。検出データ数は
Σxh(x)=17+21
=38 (88)式
となる。データ密度はΔは
Δ=8.4 (89)式
となる。
(xl(0)+xl(1))×yl(0)=45 (87)式
となる。検出データ数は
Σxh(x)=17+21
=38 (88)式
となる。データ密度はΔは
Δ=8.4 (89)式
となる。
ここで、領域Stについても
Δ>Mth (90)式
であるので、領域1と領域2は、同じy方向の位置に人物が検出されると判定される。
Δ>Mth (90)式
であるので、領域1と領域2は、同じy方向の位置に人物が検出されると判定される。
(その他の人数検出例1 (領域が重なっている場合))
図30について考えると、x方向にxl(0)の1個が検出され、y方向にyl(0)の1個が検出されている。
図30について考えると、x方向にxl(0)の1個が検出され、y方向にyl(0)の1個が検出されている。
xl(0)とyl(0)で特定される領域Rについて全データポイントSrは
Sr=xl(0)×hl(0)
=90 (91)式
となる。検出データ数は、
Σxh(x)=44 (92)式
データ密度Δrは、
Δr=0.49 (93)式
となる。
Sr=xl(0)×hl(0)
=90 (91)式
となる。検出データ数は、
Σxh(x)=44 (92)式
データ密度Δrは、
Δr=0.49 (93)式
となる。
ここで、
Δr<Mth
なので、領域Rには、1つの人物は検出されるとは判定できない。
Δr<Mth
なので、領域Rには、1つの人物は検出されるとは判定できない。
データ密度の逆数を考えると、
1/Δr=2.0
であり、物体が2つある可能性があると考えられるが、図31のようにデータがまばらな状態に存在する場合にもデータ密度は同じになる場合もある。
1/Δr=2.0
であり、物体が2つある可能性があると考えられるが、図31のようにデータがまばらな状態に存在する場合にもデータ密度は同じになる場合もある。
図30について、y方向の分散σを考える。
yh(y)の平均値をyhav、データ数mとして
m =yl(0) (94)式
σy=(Σ(yh(y)−yhav)^2)/m
=2.32 (95)式
となる。x方向については、平均値をxhavデータ数nとして
n =xl(0) (96)式
σx=(Σ(xh(x)−xhav)^2)/n
=1.04 (97)式
となる。
m =yl(0) (94)式
σy=(Σ(yh(y)−yhav)^2)/m
=2.32 (95)式
となる。x方向については、平均値をxhavデータ数nとして
n =xl(0) (96)式
σx=(Σ(xh(x)−xhav)^2)/n
=1.04 (97)式
となる。
次に、図37について、同様にy方向、x方向の分散は、
σy=0.99 (98)式
σx=0.64 (99)式
となる。
σy=0.99 (98)式
σx=0.64 (99)式
となる。
上記の結果から、図36の方がデータの分散値が大きいことが分かる。
そこで、分散値に対して所定しきい値Bth、検出物数に応じたしきい値d1,d2を設定し、以下のような条件を判定し、検出物数を検出することも考えられる。
σy>Bth (100)式
σx>Bth (101)式
d1<1/Δ<d2 (102)式
例えば、図36の例では、
Bth=2.0 (103)式
d1 =1.8 (104)式
d2 =2.3 (105)式
のように、しきい値を設定して判定することも考えられる。
σx>Bth (101)式
d1<1/Δ<d2 (102)式
例えば、図36の例では、
Bth=2.0 (103)式
d1 =1.8 (104)式
d2 =2.3 (105)式
のように、しきい値を設定して判定することも考えられる。
(その他の検出例2 (領域が対角的に離れている場合))
図32について考えると、x方向にxl(0)、xl(1)の2個が検出され、y方向にyl(0)、yl(1)の2個が検出されている。
図32について考えると、x方向にxl(0)、xl(1)の2個が検出され、y方向にyl(0)、yl(1)の2個が検出されている。
xl(0)とyl(0)で特定される領域R00について全データポイントS00は
S00=xl(0)×hl(0)
=20 (106)式
検出データ数は、
Σxh(x)=17 (107)式
データ密度Δrは、
Δ00=0.85 (108)式
ここで、上記(3.2.52)から
Mth=0.80
としたので、
Δ00> Mth (109)式
であり、領域R00には、1つの人物が検出される確率は高いと判定される。
S00=xl(0)×hl(0)
=20 (106)式
検出データ数は、
Σxh(x)=17 (107)式
データ密度Δrは、
Δ00=0.85 (108)式
ここで、上記(3.2.52)から
Mth=0.80
としたので、
Δ00> Mth (109)式
であり、領域R00には、1つの人物が検出される確率は高いと判定される。
次に、xl(0)と(yl(0)+yl(1))で特定される領域Raについて全データポイントSaは
Sa=xl(0)×(yl(0)+yl(1))
=40 (110)式
となる。全検出データ数は、(107)式から
Σxh(x)=17 (111)式
であり、データ密度Δaは、
Δa=17/40
=0.43 (112)式
となる。これは、しきい値条件を満たしていない。
Sa=xl(0)×(yl(0)+yl(1))
=40 (110)式
となる。全検出データ数は、(107)式から
Σxh(x)=17 (111)式
であり、データ密度Δaは、
Δa=17/40
=0.43 (112)式
となる。これは、しきい値条件を満たしていない。
すなわち、今、xl(0)と(yl(0)+yl(1))を考えているので、仮に、Δaが所定しきい値より大きいとすると、2つの人物が検出される確率は高いと判定される。
しかし、(112)式からΔaは、所定しきい値以下なので、xl(0)と(yl(0)+yl(1))で特定される領域には、2つの人物は検出されるとは判定できず、(B3.4???)とから、1つの人物が検出されると判定する方が確からしい。
すなわち、xl(0)とyl(1)と特定される領域には人物が検出される確立は低いと判定される。
同様に、xl(1)と(yl(0)+yl(1))とで特定される領域Rbについて、全データ数は
Σxh(x)=17 (113)式
となる。全データポイント数Sbは、
Sb=xl(1)(yl(0)+yl(1))
= 40 (114)式
となる。データ密度Δbは、
Δb=17/40
=0.43 (115)式
となる。
Σxh(x)=17 (113)式
となる。全データポイント数Sbは、
Sb=xl(1)(yl(0)+yl(1))
= 40 (114)式
となる。データ密度Δbは、
Δb=17/40
=0.43 (115)式
となる。
この(115)式から領域Rbには2つの人物が検出される確率は低いことになる。
ここで、xl(1)とyl(0)で特定される領域のデータ密度Δ10は、検出データ数が
Σxh(x)=17
であり、全データポイント数が
xl(1)×yl(0)=20
なので、
Δ10=17/20
=0.85 (116)式
xl(1)とyl(1)とで特定される領域のデータ密度Δ11についても同様に
Δ11=0.85 (117)式
となる。
Σxh(x)=17
であり、全データポイント数が
xl(1)×yl(0)=20
なので、
Δ10=17/20
=0.85 (116)式
xl(1)とyl(1)とで特定される領域のデータ密度Δ11についても同様に
Δ11=0.85 (117)式
となる。
上記(115)式〜(117)式から、領域10か領域11の何れかは人物が検出される確率は低いことになる。
次に、(xl(0)+xl(1))とyl(0)で特定される領域Rcのデータ密度について考える。検出データ数は、
Σyh(y)=17
全データポイント数は
(xl(0)+xl(1))×yl(0)=40
よって、データ密度Δcは、
Δc=17/40
=0.43 (118)式
これは、上記の所定しきい値Mth以下なので、領域Rcは2つの人物が検出される確率は低く、上記(109)式及び(115)式〜(117)式などから、結局、人物が検出されるのは、xl(0)とyl(0)で特定される領域、xl(1)とyl(1)で特定される領域の2つとなる。
Σyh(y)=17
全データポイント数は
(xl(0)+xl(1))×yl(0)=40
よって、データ密度Δcは、
Δc=17/40
=0.43 (118)式
これは、上記の所定しきい値Mth以下なので、領域Rcは2つの人物が検出される確率は低く、上記(109)式及び(115)式〜(117)式などから、結局、人物が検出されるのは、xl(0)とyl(0)で特定される領域、xl(1)とyl(1)で特定される領域の2つとなる。
以上のような判定処理により、人物数検出の可能性も考えられる。
(その他の人検出処理方法 (方式2))
その他の方法として、x方向(0〜44)及びy方向(0〜29)に対して順次、所定しきい値条件を満たすか判定して行く方法も考えられる。
その他の方法として、x方向(0〜44)及びy方向(0〜29)に対して順次、所定しきい値条件を満たすか判定して行く方法も考えられる。
データ系列をd(x)(y)として、上記(37)式、(41)式及び(42)式の条件を満たすデータ系列を検出して行き、例えば、
d(x1)(y1),d(x2)(y1)
d(x1)(y2),d(x2)(y2)
このように、x方向とy方向で連続して検出されたとすれば、検出物の大きさと、位置も同時に分かることになる。
d(x1)(y1),d(x2)(y1)
d(x1)(y2),d(x2)(y2)
このように、x方向とy方向で連続して検出されたとすれば、検出物の大きさと、位置も同時に分かることになる。
しかし、この方法では全データを1つずつ検出し、系列データの連続性の判定を行うなどのため、演算時間が上記の(方式1)に比較して多くかかると思われる。
この手法を行う場合には、例えば、x方向及び、y方向にデータを1/2に圧縮してデータ処理数を減らしてから行うことも考えられる。
(その他の人検出処理方法(方式3))
上記(方式2)と類似の方法で別の手法として、人物を4角形で近似し、4角形の大きさを順次変えて、その4角形の領域のデータが所定の条件を満たすかを判定することも考えられる。
上記(方式2)と類似の方法で別の手法として、人物を4角形で近似し、4角形の大きさを順次変えて、その4角形の領域のデータが所定の条件を満たすかを判定することも考えられる。
例えば、図33のような(2×2)、(3×3)、(4×4)の4角形を考える。
上記のような大きさの異なる4角形の領域を順次小さい4角形から1データずつ移動させ、その領域内のデータが条件を満たすか判定して行き、すべての領域で判定が終了したら、次の大きさの4角形についても同様に処理を行う。
すべての大きさの4角形について、処理が終了した時点で、検出領域と、検出個数が分かるが、上記(方式2)同様処理時間が多くかかると考えられる。
3.2.5 テロップ特徴
テロップ検出判定処理系206では、図25に示すような画面の領域におけるDCTのAC係数の平均値を検出する。
テロップ検出判定処理系206では、図25に示すような画面の領域におけるDCTのAC係数の平均値を検出する。
所定領域における画面内で、所定の大きさの文字情報を含むテロップは比較的、輪郭がはっきりしており、図25の何れかの領域にテロップ画像が現れた場合に、所定しきい値以上のAC係数が検出でき、これによりテロップ検出が行えると考えられる。
上記のようにDCTのAC係数を検出する方法の他に、ベースバンド領域(時間領域の信号)でエッジ検出する方法も考えられ、例えば、画像の輝度データのフレーム間差分によりエッジを検出することも考えられる。
また、ウェーブレット変換により、多重解像度解析を行い、所定の高周波成分データを含む所定の多重解析度領域におけるデータを用いて、図25に対応する領域の平均値を演算するようにして上記AC係数を用いる場合と同様の信号を行うことも考えられる。
テロップは、フリップの用に淡色領域とは限らず、例えば、ニュース映像の下部に出現する文字情報であり、出現領域は、おおむね、番組ジャンルにもよるが、画面の下部、上部、又は左側際、右側際などの場合の可能性が大きい。
テロップ特徴と、フリップ特徴をまとめて、文字特徴とすることも考えられる。
3.2.6 カメラ特徴
カメラ特徴判定処理系209では、ズーム、パンその他などのカメラ動作に関する特徴で、例えば、特開2003−298981号公報に開示されているように、MPEGの場合には、Pピクチャーのモーションベクトル(動きベクトル)を用いて判定することが考えられる。
カメラ特徴判定処理系209では、ズーム、パンその他などのカメラ動作に関する特徴で、例えば、特開2003−298981号公報に開示されているように、MPEGの場合には、Pピクチャーのモーションベクトル(動きベクトル)を用いて判定することが考えられる。
その他に例えば、特表2002−535894号公報にカメラ特徴に関する技術が開示されている。
(4)再生ユニット(プレイユニット)処理
ここで、ダイジェスト再生(要約再生)は所定の信号処理による音声系特徴データ、映像系特徴データの各特徴データ(特徴抽出データ)を用いて所定の信号処理により、所定区間内において幾つかの重要再生区間(キーフレーム区間)を選定(選択)して、その各区間を逐次、スキップ再生動作することを考える。
ここで、ダイジェスト再生(要約再生)は所定の信号処理による音声系特徴データ、映像系特徴データの各特徴データ(特徴抽出データ)を用いて所定の信号処理により、所定区間内において幾つかの重要再生区間(キーフレーム区間)を選定(選択)して、その各区間を逐次、スキップ再生動作することを考える。
スキップ再生を行う場合に、例えば、話者音声区間の途中で、スキップすると、画面上は見ていてあまり違和感がない場合でも、音声の途中で途切れる場合にユーザーによっては聴感上で違和感を生じる場合が考えられるので、所定音声レベル(音量)以下の区間を無音区間と設定し、その区間内の所定の時点をスキップ時点の候補とすることが考えられる。
また、映像のシーンチェンジは、放送番組、映画その他の映像再生では、話題の区切りの時点として考えられるので、シーンチェンジ点、又はその近傍をスキップ時点の候補とすることも考えられる。
上記のことから、所定音声信号における所定無音区間と所定映像信号のシーンチェンジ時点又はその近傍の所定時点に応じてスキップ再生時点、スキップ再生区間を考えることができる。
ここでは、上記のような観点から、((スキップ再生時点間(又はその区間)を、便宜上、所定の再生単位(以下再生ユニット又はプレイユニットPlay Unit(又はPU))を設定して処理を行うことを考える。
このように設定された再生ユニット(PU)における所定の画像系特徴データ、所定の音声系特徴データが所定処理され、それら映像、音声特徴データと要約再生時間に応じて所定の要約再生(ダイジェスト再生)区間が設定され、所定の要約再生モードでスキップ再生を行うことで所定の要約再生が実行される。
また、上記のような要約再生を行うだけでなく、所定の信号処理により設定されたPUの最初(又はその近傍)又は最後(又はその近傍)の時点にチャプター(又は編集点、又は再生区切り点)を設定することも考えることができる。
すなわち、上記で述べたようなチャプターを設定することで、そのチャプター点を所定の信号処理によりサムネール表示を行うことや、ユーザーがそのサムネール表示を見て編集を行うなどの操作を行うことができる。
次に再生ユニット(プレイユニット)(PU)の処理の一例について、図34〜図35を参照して説明する。
(有音区間の場合(音声信号が所定レベル以上の場合))
図34の(A)に示す処理法1のように、所定平均レベル以上の有音区間で、その音声区間が10秒〜20秒の範囲の場合には、シーンチェンジによらず音声セグメントが15秒に最も近い切れ目(所定の無音検出時点)を再生ユニットの区切りとする。
図34の(A)に示す処理法1のように、所定平均レベル以上の有音区間で、その音声区間が10秒〜20秒の範囲の場合には、シーンチェンジによらず音声セグメントが15秒に最も近い切れ目(所定の無音検出時点)を再生ユニットの区切りとする。
図34の(B)に示す処理法2のように、音声区間が連続して20秒より長く、シーンチェンジ区間が20秒以下の場合には、シーンチェンジの切れ目が15秒に最も近いシーンチェンジ検出点を再生ユニットの区切りとする。
図34の(C)に示す処理法3のように、音声連続して20秒より長く、シーンチェンジ区間が20秒より長い場合には、音声セグメント、シーンチェンジによらず、再生ユニットが20秒になったらその時点で区切りとする。
図34の(D)に示す処理法4のように、音声特徴の属性が10秒〜20秒の範囲で変化する場合には、その属性変化点を再生ユニットの区切り点とする。
図34の(E)に示す処理法5のように、CM(コマーシャル)検出した場合には、CM検出点を再生ユニットの区切り点とする。
ここで、CM検出の方法について図35を参照して説明する。
一般的に放送番組のCMの区間長は所定時間長(通常一般的には、15秒又は30秒又は60秒)であり、CMの区切り点(開始、終了時点)ではシーンチェンジがあるので、上記所定時間長の検出とシーンチェンジ検出をすることで、図36に示すようにCMを検出することが可能である。
(無音区間の場合(音声の平均レベルが所定以下の場合))
図35の(A)に示す処理法6のように、無音区間(音声平均レベルが所定以下の区間)が20秒より長く、シーンチェンジ検出区間長が20秒以下の場合には、15秒に最も近いシーンチェンジ検出点を再生ユニットの区切り点とする。
図35の(A)に示す処理法6のように、無音区間(音声平均レベルが所定以下の区間)が20秒より長く、シーンチェンジ検出区間長が20秒以下の場合には、15秒に最も近いシーンチェンジ検出点を再生ユニットの区切り点とする。
図35の(B)に示す処理法7のように、無音区間が20秒より長く、シーンチェンジ検出区間が20秒より長い場合には、シーンチェンジ検出点によらず、再生ユニットの開始点から20秒の時点で区切り点とする。
上記いずれの再生ユニット処理の説明で、再生ユニットの開始点の初期値は、そのプログラム(放送番組)を記録した開始時点とする。
上記のような再生ユニット処理により、所定の音声特徴、所定の映像特徴(シーンチェンジ特徴)に応じた所定の再生単位を再生することができる。
(再生ユニット生成処理系ブロック構成例)
上記で説明した再生ユニットの生成する処理系と、後で説明する、この再生ユニットに特徴データを入れ込むユニット化特徴データ処理系のブロック構成例を図37に示す。
上記で説明した再生ユニットの生成する処理系と、後で説明する、この再生ユニットに特徴データを入れ込むユニット化特徴データ処理系のブロック構成例を図37に示す。
要約再生、チャプター点設定などの所定時点設定処理は、再生ユニットの開始点、終点に設定するので、上記で説明した再生ユニット毎に特徴抽出データを対応付けて処理を行う。
すなわち、所定区間毎に特徴抽出した所定の各特徴抽出データ、音声系特徴抽出データ、映像系特徴抽出データを再生ユニットの区間に基づいて反映させる処理を行う。
ここで、図37のブロック構成例について説明する。
図37に示すブロック構成例では、無音判定情報データが時間計測系301に入力され、上記で説明した再生ユニット処理に基づく所定の間隔(時間長)が計測され、その処理出力が再生ユニット処理系302に入力される。
再生ユニット処理系302は、シーンチェンジ判定情報データとCM検出判定情報データも入力され、上記再生ユニット処理の各処理方法の説明で行ったような信号処理を行い所定の再生ユニットを生成する。
ここで、CM検出系304は、無音特徴検出情報データとシーンチェンジ特徴情報データ、それにCMが放送されている番組のチャンネルかを判定するチャンネル情報が入力され、図36で説明したような所定の信号処理方法により、CM検出処理を行う。
再生ユニット特徴データ処理系303は、音声属性情報、無音情報などの音声系特徴データと、シーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、人物特徴などの各特徴データが入力され、後で説明するように再生ユニットに各特徴抽出データを入れ込む処理を行っている。
(5)再生ユニット化特徴データ処理
次に特徴データファイル処理について説明する。
次に特徴データファイル処理について説明する。
特徴抽出するデータは、音声系特徴抽出データ及び映像系(画像系)特徴抽出データがある。
この特徴データ処理は、上記で説明した再生ユニットに特徴抽出した各音声系、映像系特徴データを入れ込む処理を行った結果のデータ(データファイル)であり、再生ユニット毎に各種特徴データが所定の記録媒体に記録される。
ここで、再生ユニット毎に特徴データを記録することを考えるが、各特徴データを所定の検出区間通りに検出した各特徴データを所定記録媒体に記録して、その後、上記した再生ユニットの所定区間に応じた特徴データに処理を行うことも考えられる。
特徴抽出データは、音声信号(音声データ)、画像(映像)信号(画像(映像)データ)から、所定の特性信号(特性データ)を取り出して、その取り出した信号(データ)を所定の処理を行うことで、音声、画像の特徴を示す特徴データとして考えることができるが、ここでは、特別な注意書きをする場合を除き、特性データ(特性信号)から所定の処理を行って特徴を示す信号(データ)も特徴データ(特徴信号)又は特徴抽出データ(特徴抽出信号)と記述するものとする。
映像(画像)信号は、MPEGストリームから特性データとしてIピクチャーにおける輝度信号(Y信号)、色信号(色差信号)(Cb、Cr信号)のDCTのDC係数、B又はPピクチャーの動きベクトル(モーションベクトル)データ、また、DCTのAC係数をそれぞれ取り出し、取り出した画面位置情報、所定しきい値、相関演算などから、シーンチェンジ特徴(scn特徴)、カメラ動作特徴(カメラ特徴)(cam特徴)、類似画像特徴(類似シーン特徴又はシーンID特徴)(sid特徴)、テロップ特徴(tlp特徴)、色特徴(カラー特徴)(col特徴)、人物特徴(Person特徴)などをそれぞれ考えることができる。
音声信号は、特性データ処理として、例えば、約20ms毎に平均レベルが演算処理されこの演算データと所定しきい値とから、所定区間における音声信号の属性(種別)、平均パワー(平均レベル)などの音声特徴(seg特徴)を考えることができる。
ここでは、音声属性として、話者音声、音楽(楽音)、その他音声(スポーツ番組などにおける歓声などを想定することができる)を考えることができる。
5.1 特徴抽出データファイルの構成
図38に示す特徴抽出データファイルの構成例1は、上記した音声系特徴データ、scn特徴、cam特徴、sid特徴、tlp特徴、col特徴、Person特徴などの映像系特徴データを各々別々の特徴データファイルとする場合の例である。
図38に示す特徴抽出データファイルの構成例1は、上記した音声系特徴データ、scn特徴、cam特徴、sid特徴、tlp特徴、col特徴、Person特徴などの映像系特徴データを各々別々の特徴データファイルとする場合の例である。
各々の特徴データファイルはテキスト形式のデータ又は、バイナリー形式のデータで書き込まれている。
なお、ここで、これらの特徴データは、所定の記録媒体に記録するファイルデータとしての他に、通常のデータとして所定の記録媒体(半導体メモリーなど)に一時的に記憶(記録)して、後で説明する要約リストデータ生成や所定設定時点生成(チャプター点)などの所定の処理のために読み出して用いることも考えられる。以下に説明する図39、図40の場合も同様である。
図39に示す例2は、上記したすべての音声系特徴データをテキスト形式又は、バイナリー形式の一つのファイルとしてまとめ、上記したすべての映像系特徴データをテキスト形式又は、バイナリー形式の一つのファイルとしてまとめた場合の例である。
図40に示す例3は、上記したすべての音声系特徴データ及び、上記したすべての映像系特徴データをテキスト形式又は、バイナリー形式の一つのファイルとしてまとめた場合の例である。
このように、一つのファイルとしてまとめることにより、図38の例1の場合と比較してファイル数が一つだけなので、ファイルとしての扱いが簡単になり、さらにバイナリー形式とすると、データサイズ(ファイルサイズ、ファイル容量)が小さくなり効率的になる。
ここでは、特徴データファイルを図40の例3に示すような場合で特徴データをバイナリー形式で書き込む場合について説明する。
また、図40の例3は、図39の例2において、すべての音声系特徴データをバイナリー形式で記述したデータと、すべての映像系特徴データをバイナリー形式で記述したデータを一緒にしたものと考えることができる。
上記のことから、特徴データファイルにおける以下の説明における音声系特徴データの処理方法(記述方法)は、図39の例2における音声系特徴データについて適用することができ、映像系特徴データの処理方法(記述方法)は、図39の例2における映像系特徴データについて適用することができる。
5.2 特徴データの階層構造
再生ユニットを単位とする特徴データの階層構造を図41に示す。
再生ユニットを単位とする特徴データの階層構造を図41に示す。
以下の説明では、本発明における所定の所定処理単位(再生ユニット)における所定の特徴データ処理を考えるものとする。
図41に示すように、特徴データヘッダ情報、プログラム1特徴データ、プログラム2特徴データなどで構成される。
特徴データヘッダ情報は、図42に示すように、プログラム1、プログラム2、などプログラム全体の総記録時間、記録開始、記録終了時刻、プログラム数(番組数)、その他情報などの所定データから構成されている。
次にプログラム1特徴データを例に、プログラム(番組)の特徴データについて説明する。
図41に示すように、プログラム1特徴データは、プログラム1情報、再生ユニット1情報、再生ユニット2情報などで構成されている。
図42に示すように、プログラム1情報は、プログラム記録時間、プログラム開始、終了時刻、プログラムジャンル(番組ジャンル)、その他情報などの所定データで構成されている。
次に、再生ユニット1情報を例に、再生ユニットのデータ構造について説明する。
図41に示すように再生ユニット1情報は、音声特徴データ、映像特徴データで構成されている。
(音声系特徴データの構成)
図41に示すように、音声系特徴データは、系列番号情報、開始終了位置情報、音声属性情報、特徴データ、その他情報データなどで構成されている。
図41に示すように、音声系特徴データは、系列番号情報、開始終了位置情報、音声属性情報、特徴データ、その他情報データなどで構成されている。
(映像系特徴データの構成)
図41に示すように、映像系特徴データは、シーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、カメラ特徴などの各所定の特徴情報データから構成されている。
図41に示すように、映像系特徴データは、シーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、カメラ特徴などの各所定の特徴情報データから構成されている。
以下のシーンチェンジ特徴、色特徴、類似画像特徴、人物特徴、テロップ特徴、カメラ特徴など各特徴データの説明で、全ての所定区間でその各項目の特徴データを所定記録媒体に記録(書き込み処理)する処理の他に、例えば、所定しきい値以上の特徴データが検出された場合のみ、そのデータとして所定の記録媒体に記録(書き込み処理)するように所定データ処理を行う方法も考えられる。
このように、所定しきい値以上の特徴データが検出された場合のみ、所定のデータ処理を行う場合には、しいき値より小さい場合には所定の特徴データが書き込まれないので、しきい値以上の特徴データが検出されて所定の記録(書き込み)処理が行われ、最初から何番目の特徴データ検出かを知る場合には、下記で説明する系列番号情報から知ることができる。
(シーンチェンジ特徴)
図43に示すように、系列番号情報、開始終了位置情報、特徴データ、その他データからなる。
図43に示すように、系列番号情報、開始終了位置情報、特徴データ、その他データからなる。
ここで、系列番号情報は、0、1、2、3、・・・とそのプログラム(方法番組)の始めからのシーンチェンジが起きた順番を示す情報である。
開始終了位置情報は、上記各順番のシーンチェンジの開始終了の位置を示す情報データで、フレーム(フィールド)番号、PTS、DTS、時間などの情報データを用いることが考えられる。
(色特徴)
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
ここで、系列番号情報は、0、1、2、3、・・・とそのプログラム(方法番組)の始めからの色特徴検出の順番を示す情報である。
開始終了位置情報は、上記各順番における色特徴検出で、各領域の特徴検出した開始終了の位置を示す情報データで、フレーム(フィールド)番号、PTS、DTS、時間などの情報データを用いることが考えられる。
特徴データは、例えば、RGB、Y、Cb、Crなどのデータが考えられる。
(類似画像特徴)
図43に示すように、系列番号情報、頻度情報開始終了位置情報、特徴データ、その他データなどからなる。
図43に示すように、系列番号情報、頻度情報開始終了位置情報、特徴データ、その他データなどからなる。
ここで、系列番号情報は、0、1、2、3、・・・とそのプログラム(方法番組)の始めからの類似画像特徴検出の順番を示す情報である。
特徴データとしては、上記したような有効画面を所定数の領域に分割(例えば25分割)した各分割領域のDCTの平均DC係数などが考えられる。
(人物特徴)
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
ここで、系列番号情報は、0、1、2、3、・・・とそのプログラム(方法番組)の始めからの類似画像特徴検出の順番を示す情報である。
(テロップ特徴)
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
ここで、系列番号情報は、0、1、2、3、・・・とそのプログラム(方法番組)の始めからのテロップ特徴検出の順番を示す情報である。
(カメラ特徴)
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
図43に示すように、系列番号情報、検出領域を識別する情報データ、開始終了位置情報データ、特徴データ、その他データなどからなる。
ここで、系列番号情報は、0、1、2、3、・・・とそのプログラム(方法番組)の始めからのカメラ特徴検出の順番を示す情報である。
ここで、放送番組を記録する場合に、放送番組の所定の記録処理と同時に、ここで説明する特徴抽出処理、特徴データの書き込み処理(記録処理)を行うことを考えることができるが、すでに、記録済みの放送番組や、そのた映画、ドラマその他画像音声ソフトについて、所定の特徴抽出処理を行い、特徴データファイルを生成することも考えることができる。
プログラム1について上記のようにPUと特徴データを考えることができ、そのほかのプログラム2、プログラム3などを記録する場合にも、上記で説明したプログラム1の場合と同様にPUと特徴データを考えることができる。
(6)プレイリスト処理(要約再生リスト生成処理)
次に、上記した特徴抽出処理が生成したPUファイル(PU特徴データファイル)から、要約再生(ダイジェスト再生)を行うための要約データ処理に関する説明を行う。
次に、上記した特徴抽出処理が生成したPUファイル(PU特徴データファイル)から、要約再生(ダイジェスト再生)を行うための要約データ処理に関する説明を行う。
6.1 要約ルール処理
本願でのべる特徴データを用いる要約再生(ダイジェスト再生)では、上記したPUを単位とする所定再生区間をスキップ再生処理することで所望のダイジェスト再生を行う。
本願でのべる特徴データを用いる要約再生(ダイジェスト再生)では、上記したPUを単位とする所定再生区間をスキップ再生処理することで所望のダイジェスト再生を行う。
6.2 所定時点設定処理(プレイリストファイル)処理
次にプレイリストファイルについて説明する。
次にプレイリストファイルについて説明する。
このファイルは、上記した特徴データに応じて意味付けされたPU、又はPUの接合体(PUの集合体、又はPUの連結体)の内どれを選択して再生処理を行うかの所定データの情報が所定の書式に応じて記述されているデータである。
ここで、このデータは特徴抽出の基となった画像音声データが記録された所定の記録媒体に記録する(書き込み処理)場合の他に、所定のメモリー手段に一時的に記憶する場合も考えられる。
プレイリストファイルの一例を図44の(A)、(B)に示す。
図44の(A)に示す例1における(a)の縦のデータ系列は、再生区間の開始位置情報のデータで、フレーム番号、時間(時刻)、ストリーム(圧縮された画像音声データ)からのPTS(プレゼンテーション・タイム・スタンプ)あるいは、DTS(デコード・タイム・スタンプ)などの所定の情報データなども考えられる。
図44の(A)に示す例1における(b)の縦のデータ系列は再生区間の終了位置情報のデータで、上記例1の(a)のデータと対応して、フレーム番号、時間(時刻)、ストリーム(圧縮された画像音声データ)からのPTS(プレゼンテーション・タイム・スタンプ)あるいは、DTS(デコード・タイム・スタンプ)などの所定の情報データなども考えられる。
図44の(A)に示す例1における(c)の縦のデータ系列は、その再生ユニット(PU)、又は再生ユニット群(PU群)の重要度である。
図44の(A)に示す例1における(d)縦のデータ系列は、要約ルールで規定された、又は設定された意味の文字データである。
図44の(B)に示す例2は、全てのPU区間について意味文字と評価値(重要度)を記述し、再生区間、チャプター設定などの所定時点を示すために「1」、「0」の識別データを設けた場合の例である。
図44の(B)に示す例2の(a)(b)で示される開始点、終了点は、次の段のデータと連続的になっているのが分かる。
例えば、図44の(B)に示す例2において、最初の開始点0終了点229で、次の開始点230に連続的につながっている。
図44の(B)に示す例2における(e)の縦のデータ系列は、要約再生を行うかどうかのフラグ情報データで、「1」の場合は再生を行う場合で、「0」の場合は再生を行わない場合である。
また、「1」の最初の時点、「0」の最初の時点を所定時点設定点(チャプター点)と見ることも考えられる。
(7)動作フローチャート
図45は、本発明の動作フローチャートの一例であり、これについて説明する。
(7)動作フローチャート
図45は、本発明の動作フローチャートの一例であり、これについて説明する。
処理を開始すると、まず、最初のステップS1で記録モードか再生モードか判定され、記録モードの場合は記録処理(R)に、また、再生モードの場合はステップS2の処理に移行する。
7.1 再生処理関係動作フローチャート
(再生処理動作フローチャートの一例)
再生モードの場合は、ステップS2で要約再生(ダイジェスト再生)モードか通常再生モードか判定され、通常再生モードの場合は通常再生処理(P)に移行する。
(再生処理動作フローチャートの一例)
再生モードの場合は、ステップS2で要約再生(ダイジェスト再生)モードか通常再生モードか判定され、通常再生モードの場合は通常再生処理(P)に移行する。
要約再生モードの場合は、ステップS3で所定の特徴抽出データが所定記録媒体に記録されているかの検出処理、又は所定ファイルデータとして記録媒体の所定記録領域に記録されているかの検出処理が判定処理される。
ステップS3で所定の特徴抽出データが検出される場合には、ステップS4で所定のプレイリストデータ(データファイル)が所定記録媒体の所定記録領域に記録されているかが検出され、プレイリストデータ(プレイリストファイル)が検出される場合は、ステップS5で所定プレイリストデータを読出し処理する。
ステップS3で所定の特徴抽出データが検出されないと判定される場合には、ステップS8でいま要約再生しようとする画像音声データ(プログラム、放送番組)を読み込んで所定の特徴抽出処理を行い、ステップS9で処理が終了したかが判定され終了しない場合はステップS8に戻り終了するまで処理を行う。
ステップS9で所定の特徴抽出処理が終了したと判定された場合には、ステップS6に移行して所定のプレイリストデータ生成処理が行われる。
ステップS4で所定のプレイリストデータ(ファイル)が検出されないと判定される場合は、ステップS6において所定の記録媒体の所定記録領域に記録されている(又は記憶されている)所定の特徴抽出データを読み込み処理して所定のプレイリストデータ(ファイル)を生成処理して所定の記録媒体の所定領域に逐次、あるいは、処理が終了後データを書き込み、ステップS7で全てのプレイリスト生成処理が終了したかが判定され、終了しない場合はステップS6に戻り処理を繰り返し、S7で所定のプレイリストデータが全て生成されたと判定された場合は、ステップS5で書き込んだプレイリストデータを読み込み処理する。
ここで、ステップS6において、逐次生成されたプレイリストデータは上記放送番組などの画像音声情報データが記録されている同じ記録媒体上の所定記録領域に、逐次記録するようにしても良いし、又は画像音声データが記録されたのとは別の記録媒体、例えば、装着、着脱可能な所定メモリー手段などに情報を書き込むようにしても良い。
この場合にも、所定プレイリストデータが逐次生成処理されると共に、逐次データを書き込む(記憶処理する)ようにしても良いし、所定プレイリストデータが全て生成処理され、プレイリスト処理が終了してから、生成された全てのプレイリストデータをまとめて記録(記憶)処理するようにしても良い。
また、プレイリストデータは、後に図46、図47を参照して説明するように、記録時間に応じて、ユーザーが複数の要約再生時間を選択できるように、記録時間に応じて、複数のプレイリストデータを生成するようにしても良い。
ここでは、上記したように、所定PU区間、又は複数のPU区間の接合された所定区間毎に、所定評価値も設定処理されるので、評価値に応じて要約再生時間を操作することができる。
ステップS10で再生時間選択モードになり、ステップS11で、ユーザーがすぐ再生時間を選択したか、又は要約再生モード選択した後プレイリストデータの検出処理終了後から所定時間tmod内にユーザーが再生時間を選択処理したかが判定され、選択されない場合は、S12でユーザーにより再生ストップが選択されたかが判定処理される。
ステップS12でユーザーにより再生ストップが選択された場合は処理を終了し、再生ストップでない場合はステップS10に戻り上記所定の処理を繰り返す。
ステップS11で、ユーザーが再生時間をすぐ選択した場合、又は上記所定時間のtmod内で再生時間を選択しない場合はステップS13で要約再生動作処理に移行する。
ここで、ユーザーが再生時間を選択した場合はその要約再生時間で、再生時間を選択しないで上記所定時間tmod経過した場合は、所定のデフォルト設定再生時間(所期設定再生時間)tpb0が設定される。
ここで、ユーザーによりダイジェスト再生時間を任意に選択できるようにしても良いし、記録したプログラム記録時間とプレイリストデータに基づいた、あらかじめ設定された再生時間から選択処理できるようにしても良い。
この場合、例えば、5分、10分、15分、20分、30分など時間が考えられ、デフォルトの要約再生時間は、記録時間に応じて、例えば、図46のように設定することも考えられる。
図46の例では、所定記録時間以上(Trecmin)の場合にのみ要約再生モードが設定できるようにして、この所定記録時間Trecminとして、記録時間Trecが10分未満の場合は、時間が短いので、要約再生は設定されず通常再生のみとしている。
一例として例えば、図46から記録時間Trecが60分の場合は、ユーザーによる選択可能な要約再生時間は、10分、15分、30分、40分となり、デフォルトの設定時間は、30分となる。
図46に示す例では、記録時間Trecが長くなるほど、ユーザーによる選択可能な要約再生時間の選択数が多くなっているが、上記したように、記録時間が短い場合は、スキップ再生処理による要約再生でスキップ処理される総区間が多くなると、それだけ情報が欠落することになり、再生内容が把握できなくなることが考えられるので選択数を少なくし、適切な要約時間の選択が行えるようにし、それに比較して記録時間が長い場合は、情報量が多いので選択数を多くしてユーザーによる効果的、有効な動作が行えるようにしている。
このようなユーザーによる選択可能な要約再生時間の一覧、デフォルトの再生時間などの情報は、本発明を適用した記録再生装置における所定表示手段又は、その装置に接続された所定の表示手段、又は装置のリモコン上における液晶などの所定表示画面などに表示することが考えられる。
ここで、プレイリスト生成処理と同時に、チャプター設定処理を行うこともでき、記録時間に応じて図44に示すように、設定可能なチャプター数に応じて自動的に所定のチャプター設定処理が行われる。
例えば、図44から記録時間が1時間の場合は、5〜40個のチャプターが設定されるように所定の信号処理が行われる。
ステップS13では要約再生動作が行われるが、上記したように、所定PU区間又は複数のPU区間の接合区間毎に所定評価値が設定されているので、設定時間と評価値に応じてスキップ再生処理が行われ、それにより要約再生が行われる。
すなわち、評価値が高いPU区間から最優先して順次選択され、選択した要約再生時間にできるだけ近くなるように、順次、上記最優先評価値に比較して評価値の小さい区間を選択処理していく。
ステップS14では再生動作を終了するか判定され、終了の場合は処理を終了し、終了しない場合はステップS15で再生している所定プログラム(番組)が終了したか判定され、終了の場合は処理を終了し終了しない場合は、ステップS16に移行し再生時間を変更するか判定する。
ステップS16で再生時間を変更する場合はステップS10に戻り、上記処理を繰り返し、変更しない場合はステップS13に戻り、要約再生動作を繰り返す。
7.2 記録処理関係動作フローチャート
(記録処理動作フローチャートの一例)
記録モードの場合における動作フローチャートの例を図48に示す。
(記録処理動作フローチャートの一例)
記録モードの場合における動作フローチャートの例を図48に示す。
図45に示したフローチャートのステップS1で記録モードが選択された場合は、図48に示すフローチャートのステップR1でタイマー記録モードか通常記録モードかが判定され、通常記録モードの場合は、ステップR9に移行し通常記録動作を行う。
ステップR9の通常記録動作で所定の記録信号処理に移行して、ステップR10においてMPEGなどの所定エンコード処理される画像音声データ、又はエンコード処理された画像音声データから所定の特徴抽出処理が行われる。
ここで、記録信号処理と特徴抽出信号処理は、同時に行うことができる。
所定エンコード処理される画像音声データについては、所定エンコード処理される途中の画像音声データを用いて所定の特徴抽出処理を行うもので、例えば、画像のDCT処理系からDCT信号処理のDC係数データ、AC係数データなどを取り出すことができ、それら所定のデータを用いて所定信号処理を行うことでシーンチェンジ(特徴)検出(カット点(特徴)検出)、テロップ(特徴)検出など上記した各所定の特徴抽出信号処理を行う。
音声データは、所定の帯域圧縮信号処理における所定サブバンド信号処理において、所定サブバンド帯域におけるデータを用いることで、話者音声、音楽(楽音)判定検出などの信号処理を行うことが考えられる。
楽音判定信号処理については、例えば、所定サブバンド帯域におけるデータの継続性を判定することで判定処理を行うことが考えられる。
また、ベースバンド帯域の画像音声データを用いることも考えられ、例えば、画像のベースバンド信号を用いて、フレーム(又はフィールド)間差分信号処理によりシーンチェンジ検出処理や、その差分信号によるエッジ検出によりテロップ特徴信号処理など、その他所定の特徴抽出信号処理を行うことが考えられる。
ここで、各画像、音声特徴抽出信号処理された特徴データ(特徴抽出データ)は、画像音声データが記録される同じ所定記録媒体、又は所定のバッファーメモリーなどの所定データ記憶手段(データ記録手段)に記録する。
ステップR11で通常記録モード終了か判定され、終了ではない場合はステップR9に戻り、上記動作を繰り返し、終了の場合は、ステップR12に移行しプレイリストデータ生成処理(又はチャプターデータ生成処理)に移行する。
ステップR1でタイマー記録モードの場合は、ステップR2で記録開始、記録終了時刻設定を行い、ステップR3で所定の動作時刻か判定され、所定時刻ではない場合は、ステップR7で動作待機し、ステップR8でユーザーによりタイマー動作解除の割り込み処理が行われたか判定され、タイマー動作を継続する場合は、ステップR3に戻り上記動作を繰り返す。
ステップR8でタイマー動作が解除された場合は、図45のステップS1に戻り、最初の動作モード選択処理を行う。
ステップR3で所定の記録動作時刻になったと判定されたら、記録動作を開始し、上記したステップR9〜ステップR11と同様の動作をステップR4〜ステップR6で行う。
特徴データは、上記したように、各画像、音声特徴抽出信号処理された特徴データ(特徴抽出データ)は画像音声データが記録される同じ所定記録媒体、又は所定のバッファーメモリーなどの所定データ記憶手段(データ記録手段)に記録する。ステップR6で記録終了時刻と判定された場合は、ステップR12に移行してプレイリストデータ生成処理又はチャプターデータ生成処理を行う。
ステップR12では、上記各種の所定特徴抽出処理された特徴データ(特徴抽出処理された所定特徴データを所定の加工処理、所定の信号処理を施したデータ、それらデータを用いて所定判定処理を行ったデータなども含む)を所定記録媒体から読出し処理を行い、所定のプレイリストデータ(ファイル)生成処理、チャプターデータ生成処理を行う。
生成されたプレイリストデータ、チャプターデータは、所定記録媒体に記録され、ステップR13で生成処理が終了したか判定処理され、終了しない場合は、ステップR12に戻り上記処理動作を繰り返し、ステップR13で終了したと判定された場合は動作を終了する。
ここで、上記プレイリストデータ、チャプターデータは、逐次、データの生成処理と同時に所定記録媒体に記録する場合の他に、上記処理対象にしている所定の放送番組、プログラム、又は所定記録区間に対する所定プレイリストデータ、チャプターデータの全ての生成処理が終了した後に、まとめて所定記録媒体に記録するようにしても良い。
(特徴抽出処理と平行して(同時に)プレイリストデータ(チャプター)処理を行う場合)
(特徴抽出処理と平行して(同時に)プレイリストデータ(チャプター)処理を行う場合)
ここで、上記説明では、所定の放送番組、プログラムなど画像音声情報データの記録処理と同時に所定の特徴抽出処理を行い、特徴抽出処理した各種の特徴データ(特徴抽出データ、又は特徴抽出データを用いて所定の加工、所定の信号処理を施した信号を含む)を所定の記録媒体に記録して、上記所定の放送番組、プログラムが終了した後、記録した特徴データを読み出して、プレイリストデータ(ファイル)、チャプターデータなどを生成処理する場合を述べたが、上記特徴抽出処理と同時に、又は特徴抽出処理と平行してプレイリストデータ(ファイル)、チャプターデータ生成処理を行うことも考えられる。
7.3 再生ユニット処理関係動作フローチャート
(PU処理で所定データ区間毎に音声セグメント処理とシーンチェンジ処理を行う場合の動作フローチャート)
上記したPU信号処理の場合で、音声セグメント検出点とシーンチェンジ検出点から所定信号処理を行う動作フローチャートの一例を図49に示す。
(PU処理で所定データ区間毎に音声セグメント処理とシーンチェンジ処理を行う場合の動作フローチャート)
上記したPU信号処理の場合で、音声セグメント検出点とシーンチェンジ検出点から所定信号処理を行う動作フローチャートの一例を図49に示す。
処理を開始するとステップP1で画像音声情報データが記録されている所定記録媒体から音声データ、及び後で説明するシーンチェンジ検出処理のために画像データの所定サンプルデータ数を読出し処理して、ステップP2で読み出したデータをメモリーなど所定の記録手段であるデータバッファに記憶処理(書き込み処理、記録処理)を行っていく。
ステップP3で所定サンプル数のデータがバッファに記録されたと判定された場合はステップP4に移行し、まだ所定サンプルデータが記録されないと判定された場合はステップP2に戻り動作を繰り返す。
ここで、ステップP2〜ステップP7ではPU処理のために、所定、音声信号の有音、無音判定処理を考えるので、ステップP2の所定サンプルデータ数としては、大よそ0.1秒くらい〜1秒くらいの所定区間の間に相当するデータ数のバッファ処理を行う。
例えば、サンプリング周波数48KHzの場合は、1秒間で48000サンプルデータなので、0.1秒の場合は4800サンプルのデータをバッファに記録する。
ステップP4でバッファから音声データを読出し処理し、ステップステップP5で、上記で述べたような所定区間の音声レベルの演算処理を行い、ステップP6で所定レベルと比較処理を行い、所定レベル以上か所定レベル以下かの判定処理を行って、無音検出(無音判定)処理が行われる。
ステップP6でその区間が無音区間と判定された場合は、ステップP7でその情報を所定メモリー(バッファ)に記憶(記録)し、無音でなく有音と判定された場合はステップP8に移行し、ステップP1で読み込んだバッファのデータの音声バッファ処理が終了したか判定処理され、終了しない場合はステップP2に戻り上記の処理を繰り返し、終了した場合はステップP9に移行する。
ステップP9では、ステップP8で処理された音声セグメント情報データを読出し、ステップP10で上記した短い無音区間、有音区間、長い無音区間、有音区間のセグメント処理を行う。
ステップP11では、所定データサンプル数の画像データのDCT処理データを所定のバッファメモリー(所定データ記録手段)に記録処理を行い、ステップP12で所定データ量の記録が終了したかが判定され、所定データ量ではない場合は、ステップP11に戻り上記バッファーメモリー系への書き込み処理を繰り返し、ステップP12で所定データ量の書き込み処理が終了したと判定された場合は、ステップP13に移行する。
ステップP13では上記所定のバッファーメモリー系から記録した(書き込み処理した)所定のDCTデータを読出し処理し、ステップP14において、フレーム間差分などの所定信号処理を行い、所定のシーンチェンジ検出処理を行う。
ステップP15で所定のシーンチェンジがあったか判定処理され、シーンチェンジがあったと判定される場合は、ステップP16で所定のメモリー手段(データ記録手段、データバッファ手段など)にシーンチェンジがあった時点の位置情報データを記憶(書き込み処理)してステップP17に移行し、ステップP15でシーンチェンジがないと判定された場合はステップP17に移行する。
ステップP17では、所定データバッファ内の所定データ量の上記シーンチェンジ検出処理が終了したか判定処理され、終了しない場合はステップP11に戻り上記信号処理を繰り返し、ステップP17で終了したと判定される場合は、ステップP18に移行する。
ステップP18では所定バッファーメモリー手段に記録された(記憶された)シーンチェンジ位置情報を読出し、ステップP19で所定区間長より短いなど、短過ぎる区間は前後区間と接合するなどの、シーンチェンジ検出区間の補正処理を行う。
ステップP20では上記所定区間における生成処理された音声セグメント位置情報データ及びシーンチェンジ位置情報データを読み出し、ステップP21で音声セグメント位置、音声セグメント区間長、シーンチェンジ位置、シーンチェンジ区間長などの所定情報データから、所定のPUの位置情報、区間情報など所定PU情報データを生成処理する。
ステップP22では、ステップP21で処理されたPU情報から、そのPU区間に対応する特徴データ(又は特徴抽出データ、又は特徴抽出データを所定の信号処理を行った信号など)を所定の記録媒体、又は所定のデータバッファに書き込み処理を行う。
上記したように、これら記録媒体は、いま処理の対象としている放送番組、プログラムなど所定区間の画像音声情報データが記録されているのと同じ所定記録媒体上における所定記録領域の他に、別の所定記録媒体上に記録(記憶、書き込み処理)を行うことも考えられる。
ステップP23では所定データ量の上記音声セグメント処理、シーンチェンジ処理、PU処理など一連の信号処理が終了したか判定処理され、終了したと判定される場合は処理を終了し、終了していないと判定された場合はステップP1に戻り、上記処理を繰り返す。
(PU処理で全ての音声セグメント処理を行った後にシーンチェンジ処理を行う場合の動作フローチャート)
ここで、上記では、今考えている記録した所定放送番組、プログラムなどの、画像音声データの所定区間毎に、逐次、音声データのセグメント処理を行い、その後、画像のシーンチェンジ検出処理を行ったが、上記のように所定区間毎の処理ではなく、今処理の対象としている放送番組、プログラムの所定区間全ての音声セグメント処理が終了した後、全てのシーンチェンジ検出処理を行い、全てのシーンチェンジ検出処理が終了した後、上記所定のPU処理を行うことも考えられる。
ここで、上記では、今考えている記録した所定放送番組、プログラムなどの、画像音声データの所定区間毎に、逐次、音声データのセグメント処理を行い、その後、画像のシーンチェンジ検出処理を行ったが、上記のように所定区間毎の処理ではなく、今処理の対象としている放送番組、プログラムの所定区間全ての音声セグメント処理が終了した後、全てのシーンチェンジ検出処理を行い、全てのシーンチェンジ検出処理が終了した後、上記所定のPU処理を行うことも考えられる。
上記したPU信号処理の場合で、音声セグメント検出点とシーンチェンジ検出点から所定信号処理を行う動作フローチャートの他の一例を図50に示す。
処理を開始すると、先ず最初のステップT1において上記図49のフローチャートにおけるステップP1〜ステップP9で説明したような所定音声セグメント処理を行う。
ここで、音声データは所定バッファーメモリーに逐次所定データサンプル量のデータを読み込んで行う。
ステップT2で音声セグメント処理を行ったセグメント位置情報のデータを所定メモリー手段(データ記憶手段、データ記録手段)に記録していき、ステップT3において、いま処理対象となっている放送番組、プログラムなどの所定区間すべての音声データについて所定セグメント処理が終了したか判定され、終了しないと判定された場合はステップT1に戻り上記の処理を繰り返し、終了したと判定された場合はステップT4に移行する。
ステップT4において上記図49のフローチャートにおけるステップP11〜ステップP18で説明したような所定シーンチェンジ処理を行う。ここで、画像のDCTデータは所定バッファーメモリーに逐次所定データサンプル量のデータを読み込んで行う。
ステップT5で所定シーンチェンジ処理を行ったシーンチェンジ位置情報のデータを所定メモリー手段(データ記憶手段、データ記録手段)に記録していき、ステップT6において、いま処理対象となっている放送番組、プログラムなどの所定区間すべての画像のDCTデータについて所定シーンチェンジ処理が終了したか判定され、終了しないと判定された場合はステップT4に戻り上記の処理を繰り返し、終了したと判定された場合はステップT7に移行する。
ステップT7では上記所定メモリー手段から所定音声セグメント位置情報のデータと、所定シーンチェンジ位置情報のデータを読出し、ステップT8で所定PU処理を行い、ステップT9で、いま処理対象となっている放送番組、プログラムなどの所定区間すべての区間にわたり所定PU処理が終了したか判定され、終了したと判定された場合は処理を終了し、終了しないと判定された場合はT7に戻り上記動作を繰り返す。
1 受信アンテナ系、2 放送受信信号処理系、3 音声A/D変換処理系、4 音声エンコーダー処理系、5 多重化処理系、6 記録処理系、7 記録媒体系、8 映像A/D変換処理系、9 映像エンコーダー処理系、10 特徴抽出処理系、11 メモリー系、12 再生処理系、13 再生データ分離処理系、14 音声デコード処理系、15 音声D/A処理系、16 映像デコード処理系、17 映像D/A処理系、18 再生制御系、19 プレイリストデータ生成処理系、20 システムコントローラー系、21 ユーザー入力I/F系、22 リモコン系、23 ネットワークI/F系、24 ネットワーク系、25 記録媒体系、26 記録媒体処理系、27 表示処理系、30,30A 記録再生装置、100 ストリーム分離系、101 音声データデコード系、102 レベル処理系、103 データカウント系、104 データバッファ系、105 音声データ積算処理系、106 判定処理系、107 しきい値設定系、108 周波数解析処理系、109 判定処理系、110 ストリームデータ解析系、111 サブバンド解析処理系、112 データバッファ系、200 ストリームデータ解析系、201 DCT係数処理系、202 シーンチェンジ検出処理系、203 色特徴検出処理系、204 類似画像検出処理系、205 人物検出判定処理系、206 テロップ検出判定処理系、207 フリップ検出処理系、208 動きベクトル処理系、209 カメラ特徴判定処理系、210 オブジェクト検出処理系、301 区間長計測系、302 再生ユニット処理系、303 再生ユニット特徴データ処理系、900 ルール切り替え処理系、901 ルール切り替え処理系
Claims (10)
- 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、
上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、
上記第2の意味付け処理又は評価値処理データに基づいて所定の再生区間の設定又は所定時点の設定を行う
ことを特徴とする情報信号処理方法。 - 所定のデータ入力系により所定の操作により上記情報信号処理を実行するためのソフトウェアを取り込み、
上記情報信号処理を実行可能な状態に設定し、
所定の操作系により所定の動作モードが設定された場合に上記情報信号処理を実行することを特徴とする請求項1記載の情報信号処理方法。 - 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、
上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、
上記第2の意味付け処理又は評価値処理に基づく所定データを所定記録媒体又は所定データメモリーに記録処理を行う
ことを特徴とする情報信号処理方法。 - 所定のデータ入力系により所定の操作により上記情報信号処理を実行するためのソフトウェアを取り込み、
上記情報信号処理を実行可能な状態に設定し、
所定の操作系により所定の動作モードが設定された場合に上記情報信号処理を実行することを特徴とする請求項3記載の情報信号処理方法。 - 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録された所定記録媒体からデータを読み込んで、その読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行う第1の情報処理手段と、
上記第1の情報処理手段からの信号を用いて上記第1の所定の意味付けされた区間を複数接続処理する所定の第2の情報的意味付け処理と、その第2の情報的意味付け処理に対する第1の評価値処理又は上記第1の情報処理手段からの信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正処理に応じた所定第2の評価値処理を行う第2の情報処理手段と、
上記第2の情報処理手段からのデータ又はそのデータが記録された所定記録媒体から所定のデータを読み込んで、その読み込んだデータを用いて上記第1又は第2の評価値と所定時間に応じて上記第1又は第2の意味付けされた所定の区間又はその近傍を再生するように設定するか、又はその各開始時点又はその近傍、又は終了時点又はその近傍の所定時点を設定する情報処理手段と
を備えたことを特徴とする情報信号処理装置。 - 所定の操作により所定の情報信号処理を実行するためのソフトウェアを取り込むデータ入力系と、
上記データ入力系により取り込まれたソフトウェアにより所定の情報信号処理を実行可能な状態に設定する信号処理設定手段とを備え、
上記情報処理手段により、上記第2の情報処理手段からのデータ又はそのデータが記録された所定記録媒体から所定のデータを読み込んで、その読み込んだデータを用いて上記第1又は第2の評価値と所定時間に応じて上記第1又は第2の意味付けされた所定の区間又はその近傍を再生するように設定するか、又はその各開始時点又はその近傍、又は終了時点又はその近傍の所定時点を設定することを特徴とする請求項5記載の情報信号処理装置。 - 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行う第1の情報処理手段と、
上記第1の情報処理手段からの信号を用いて上記第1の所定の意味付けされた区間を複数接続処理する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の情報処理手段からの信号に基づく所定区間に対する所定の第1評価値処理を行い、上記所定時間区間に対する所定の補正処理に応じた所定第2の評価値処理を行う第2の情報処理手段と、
上記第2の情報処理手段からの所定データを所定の記録媒体に記録する記録手段と
を備えたことを特徴とする情報信号処理装置。 - 所定の操作により所定の情報信号処理を実行するためのソフトウェアを取り込むデータ入力系と、
上記データ入力系により取り込まれたソフトウェアにより所定の情報信号処理を実行可能な状態に設定する信号処理設定手段とを備え、
上記記録手段により上記第2の情報処理手段からの所定データを所定の記録媒体に記録することを特徴とする請求項7記載の情報信号処理装置。 - 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、
上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、
上記第2の意味付け処理又は評価値処理データに基づいて所定の再生区間の設定又は所定時点の設定を行う
ことを特徴とする制御プログラムがコンピュータにより読み取り実行可能に記録されたプログラム記録媒体。 - 所定時間区間における所定の画像音声情報信号の所定区間毎の画像音声特徴データ及びその画像音声情報信号に関連する付加情報データから又はそれらデータが記録されたデータファイルを読み込んでその読み込んだデータから上記画像音声情報信号の所定区間毎の所定の第1の情報的意味付け処理を行い、
上記第1の所定の意味付けされた区間を複数接続する所定の第2の情報的意味付け処理とその第2の情報的意味に対する所定の第1の評価値処理又は上記第1の意味付け処理の信号に基づく所定区間に対する所定の第1の評価値処理を行い上記所定時間区間に対する所定の補正関数に応じた所定第2の評価値処理を行い、
上記第2の意味付け処理又は評価値処理に基づく所定データを所定記録媒体又は所定データメモリーに記録処理を行う
ことを特徴とする制御プログラムがコンピュータにより読み取り実行可能に記録されたプログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004233947A JP2006054621A (ja) | 2004-08-10 | 2004-08-10 | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004233947A JP2006054621A (ja) | 2004-08-10 | 2004-08-10 | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006054621A true JP2006054621A (ja) | 2006-02-23 |
Family
ID=36031812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004233947A Withdrawn JP2006054621A (ja) | 2004-08-10 | 2004-08-10 | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006054621A (ja) |
-
2004
- 2004-08-10 JP JP2004233947A patent/JP2006054621A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4935355B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
JP4882746B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
JP5227382B2 (ja) | 類似のビデオコンテンツへの乗り換えのための方法および装置 | |
US8285114B2 (en) | Electronic apparatus and display method | |
US20030063130A1 (en) | Reproducing apparatus providing a colored slider bar | |
US20080044085A1 (en) | Method and apparatus for playing back video, and computer program product | |
US20060285818A1 (en) | Information processing apparatus, method, and program | |
JP2006279827A (ja) | 要約再生装置及び要約再生装置の制御方法 | |
JP4835439B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
JP4341503B2 (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP2006054622A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP4470638B2 (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP2008153920A (ja) | 動画像一覧表示装置 | |
JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
JP2006054621A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP2005167456A (ja) | Avコンテンツ興趣特徴抽出方法及びavコンテンツ興趣特徴抽出装置 | |
JP2006331592A (ja) | 再生装置および方法、並びにプログラム | |
JP5056687B2 (ja) | 再生装置及びコンテンツ再生プログラム | |
JP2006333279A (ja) | 記録装置および方法、並びにプログラム | |
JP2006303868A (ja) | 信号属性判定装置、信号属性判定方法、情報信号記録装置、情報信号記録方法、情報信号再生装置、情報信号再生方法、情報信号記録再生装置および情報信号記録再生方法並びに記録媒体 | |
JP2006352631A (ja) | 情報処理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071106 |