JP4379666B2 - 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 - Google Patents
情報信号処理装置並びに情報信号処理方法および情報信号再生装置 Download PDFInfo
- Publication number
- JP4379666B2 JP4379666B2 JP2001004932A JP2001004932A JP4379666B2 JP 4379666 B2 JP4379666 B2 JP 4379666B2 JP 2001004932 A JP2001004932 A JP 2001004932A JP 2001004932 A JP2001004932 A JP 2001004932A JP 4379666 B2 JP4379666 B2 JP 4379666B2
- Authority
- JP
- Japan
- Prior art keywords
- predetermined
- signal
- information signal
- display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力された情報信号に対して分類等の処理を行って識別情報信号（以下、識別情報データという）と共に記録し、再生時にはこれ等を使って記録したシーンをすぐに把握することができる情報信号処理装置並びに情報信号処理方法及び情報信号記録装置に関する。
【０００２】
さらに詳しくは、本発明は、記録時には、映像信号、音声信号などの情報信号を光磁気ディスク、ハードディスク、半導体メモリーなどの記録媒体に記録する記録装置において、例えば放送番組を記録する際に記録する映像シーンを自動的に所定の分類またはインデキシング処理を行い、ハードディスク（ＨＤＤ）や光磁気ディスク、磁気テープなど所定の記録媒体にそれら分類またはインデキシング処理の結果の識別情報データを、記録を行う画像、音声信号と共に所定の記録領域に記録を行う。
【０００３】
そして、再生時には、その所定分類またはインデキシング処理の結果に応じて記録したシーンの内容をすぐに把握することができ、ユーザーが効果的、および効率的なダイジェスト再生やスキミング動作を行うことができる情報信号処理装置、情報信号処理方法、及び情報信号記録装置に関するものである。
【０００４】
【従来の技術】
ＭＰＥＧ(moving picture experts group)などの画像圧縮技術が広く民生用記録再生装置に利用され、また比較的長時間記録可能でアクセス性の良いＨＤＤ（ハードディスク）や光磁気ディスクが比較的低価格で普及し、放送番組などが手軽に長時間記録できるようになっている。
【０００５】
このように長時間記録した放送番組などを再生して楽しもうとすると、限られた時間の中で効率良く再生する必要があり、従来技術では例えば、２倍速再生などの通常再生速度よりも高速動作を行い短時間で再生することが考えられる。
【０００６】
より効果的な短時間再生を行なうことを目的として、映像の変化やカメラパン、または音声認識などの技術を用いて、要約を行なっても映像シーンの内容が把握できる意味のあると思われる部分を検出して再生する技術が知られている。
【０００７】
また、記録時に自動的に分類し、識別情報を付加して記録し再生時に検索や頭出しを行なう技術も知られている。
【０００８】
例えば、公知の技術文献としては以下に示すようなものがある。
（ａ）Michael A.Smith and T.Kanade,”Video Skimming and Characterization through the Combination of Image and Language Understanding Techniques”,IEEE CVPR,（ p775-p781）
（ｂ）特表平10−507554「探索できるディジタルビデオライブラリを作成する方法および装置ならびにそのようなライブラリを利用するシステムおよび方法」
（ｃ）特開平７−45050「自動分類記録装置」
（ｄ）特開平７−29007「映像特徴処理方法」
（ｅ）特開平11−328422「画像識別装置」
（ｆ）特開2000−261754「ダイジェスト作成装置、ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体」
【０００９】
また、蓄積記録媒体から画像を検索して表示することに関する公知技術としては、例えば以下のようなものがある。
（ｇ）特開平10−243323「シーン管理装置、シーン管理方法及び記録媒体」
（ｈ）特開平10−340272「類似画像検索装置及び方法」
【００１０】
【発明が解決しようとする課題】
２倍速再生など高速再生を行なう場合は自分が見たいと思う映像シーン以外の区間も再生されることになり、ダイジェスト再生など短時間再生を行なう場合は効率があまり良いとは言えず、また、記録した映像の内容の概要を、効率良く、すぐに知りたいと思っても、ダイジェスト再生などの特殊再生動作を行う必要があり、記録媒体に記録した内容の映像シーンを効率良く、効果的にすぐ把握できるとは言い難い。
【００１１】
上記の文献（ａ）、（ｂ）などは特徴的な映像区間と音声区間を選択し、合成して得られた部分をつなぎ合わせて要約再生する技術が開示されているが、このような技術では、例えば、所定の記録媒体に記録した後に、特徴的な映像区間や音声区間を選択する特別な処理を行なうことが一般的で、そのため記録終了の後に、ダイジェスト再生や要約再生を行なうための信号処理時間を待たなければならない。
【００１２】
上記文献（ｃ）に開示の技術は、記録時にシーンチェンジなどの単位毎に分類コードと名前を付けて記録することが記載されているが、適切な分類が行なわれるか不明であり、また記録方法や記録時間によっては多くのコードと名前情報を持つ必要がある問題が考えられる。
【００１３】
上記文献（ｄ）にはカラー映像信号からヒストグラム処理によりショットを分類する技術が開示されているが、分類した後の分類情報データの設定方法や信号処理技術については詳しい技術的開示がなされていない。
【００１４】
上記文献（ｅ）には、あらかじめ複数の特徴抽出したデータを画像パターンデータとして保持した画像パターンデータベースと入力画像の類似度を算出して分類する技術が開示されているが、あらかじめデータを持つ必要があり、そのため構成がやや複雑になると考えられる。
【００１５】
また上記文献（ｆ）には、あらかじめ事象定義毎に設定された数値を数値情報として記憶した記憶手段を備え、入力映像の事象に基づいて数値映像情報を生成しダイジェスト映像を作成する技術が開示されているが、事象毎に設定された数値情報を記憶した記憶手段を設ける必要があり、そのため構成がやや複雑になることが考えられる。
【００１６】
上記文献（ｇ）には、類似性があると判定された代表フレーム画像のインデックス画像に類似するインデックス画像が存在することを示すマーカーを表示さ、動画編集時などに類似するインデックス画像が存在することを認識できる技術が開示されているが、幾つかある類似検出画像毎の関連を効果的に表示して見たり、効果的にユーザーが見たいと思うシーンを効率良くダイジェスト再生するための表示に関する技術の開示はなされていない。
【００１７】
上記文献（ｈ）には、利用者の指定した複数の画像のそれぞれについて、利用者の指定に応じて検索要素を設定し、画像検索条件に用い、類似画像または関連画像を複数画像で表示する技術が開示されているが、幾つかある類似検出画像毎の関連を効果的に表示して見たり、効果的にユーザーが見たいと思うシーンを効率良くダイジェスト再生するための表示に関する技術の開示はなされていない。
【００１８】
以上のような観点から、本発明は、記録終了後、ダイジェスト再生や要約再生などを行なうための複雑な処理をできるだけ行なわず、処理のための時間をできるだけ待つことなく、ダイジェスト再生や要約再生または記録した内容の映像シーンを効果的に、効率良く把握したいと思った場合に、できるだけ直ぐに、その動作が行なえるようなシステムを、比較的簡単な構成で安価に実現する技術を提案するものである。
【００１９】
以上の点を実現するための本発明の概要について述べれば、先ず、放送番組などの映像信号から、またはその信号を圧縮処理など、所定の加工処理を行った信号から所定の特性信号を逐次検出する。
【００２０】
次に、この特性信号に応じて、例えば、シーンチェンジ毎や所定区間毎に画像を類似検出し、類似検出画像毎に分類処理を行う。
【００２１】
この分類処理した画像を分類頻度に応じて水平方向表示または垂直方向表示の画像系列として表示する。
【００２２】
この分類頻度に応じた表示系列の一つの系列を選択し、その系列における画像シーンを含む所定区間の画像シーンを時間時間系列で表示を行い、効果的に記録する画像や再生を行う画像シーンの内容を把握する。
【００２３】
また、画像の分類識別が行える識別情報データが記録されている所定の記録媒体から信号を再生し、再生した識別情報データに応じて類似画像検出を、例えば、シーンチェンジ毎や所定区間毎に画像を類似検出し、類似検出画像毎に分類処理を行う。
【００２４】
このようにして分類処理した画像を分類頻度に応じて画像系列として再生するように再生制御し、またはその画像系列の所定区間を含む画像シーンを逐次再生するように再生制御を行うことで、効果的で効率的な内容把握やダイジェスト再生を行うことができる。
【００２５】
【課題を解決するための手段】
本発明は、以上の内容を実現する情報信号処理装置の構成として、
（１）所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
（２）上記特性信号検出手段からの信号に応じて上記情報信号を所定の分類または識別を行う分類識別信号処理手段と、
（３）上記分類識別信号処理手段からの信号により、上記分類または識別の所定の頻度に応じた第１の所定表示を行う第１の表示モードと、または第１の表示モードにおける所定部分の情報信号を含み所定の時間系列の第２の所定表示を行う第２の表示モードとを行うための表示信号を生成する表示処理手段と
とを有するようにしたものである。
【００２６】
また、本発明は、以上の内容を実現する情報信号処理方法の構成として、
（１）所定の情報信号から所定の特性信号を検出し、
（２）上記特性信号の検出に応じて上記情報信号を所定の分類または識別を行い、
（３）上記分類または識別の所定の頻度に応じた第１の所定表示を行うか、または第１の所定表示における所定部分を含む情報信号を所定の時間系列により第２の所定表示を行うか、または、上記第１の表示と第２の表示を所定の操作に応じて切り換えて表示するか、または表示を行うための表示信号を生成するようにしたものである。
【００２７】
さらに、本発明は、以上の内容を実現する情報信号再生装置の構成として、
（１）所定の情報信号と、その情報信号における所定時点または所定区間を所定の分類または識別を行うことができる識別情報信号が記録された所定の記録媒体から上記情報信号および識別情報信号を再生する再生手段と、
（２）上記再生手段から上記識別情報信号を検出する識別情報信号検出手段と、
（３）上記識別情報信号検出手段からの信号により、上記分類または識別の所定の頻度に応じた第１の所定表示を行うように第１のモードの再生を行うか、または第１の所定表示における所定部分を含む情報信号を所定の時間系列による第２の所定表示を行うように第２のモードの再生を行うか、または上記第１の表示と第２の表示を所定の操作により切り換えて表示できるように再生する再生制御手段とを有するようにしたものである。
【００２８】
本発明は、以上の構成により、ある所定時点における映像信号や映像信号を圧縮処理した信号から検出する所定の特性信号またはその特性信号から生成する特性ベクトルにより画像シーンを逐次、類似画像検出して類似画像毎の画像系列として、例えば類似画像検出の出現頻度の大きい順に所定の水平方向または垂直方向に第１の再生、表示モードとして表示を行うことができる。
【００２９】
上記第１の表示モードから所望の画像系列を選択し、その画像系列における画像シーンを含む所定区間の画像シーンを時間系列で再生、表示する第２の再生、表示モードの動作を行うように、第１の再生、表示モードから切り換えて動作を行うことができる。
【００３０】
【発明の実施の形態】
以下、本発明に係る情報信号処理装置、情報信号処理方法および情報信号再生装置の実施の形態について図を用いて以下の順序で説明する。
（１）本発明の動作原理
（２）放送番組における識別情報データ値の特性例
（３）画像分類処理系ブロック構成例
（４）記録再生装置ブロック構成例
（５）動作フローチャートの一例
【００３１】
（１）本発明の動作原理
（類似画像の分類整理方法の概念）
図１は本発明の画像シーン分類処理法を説明するための概念図であり、図１（１）は本発明における情報信号の１つである画像信号としての画像系列ａ１、ａ２、ａ３、ａ４、ａ５、………を示したものであり、このうち、例えば画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６は各々類似している画像と仮定する。
【００３２】
例えば、図１（１）の画像系列を簡単のため放送番組におけるニュース映像とすると、一般的にニュース番組ではアナウンサーやニュースキャスターの映像シーンの後にニュース映像が続く確率が高いので、図１（１）で述べた、類似画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６はアナウンサーやニュースキャスターの登場シーンと想定できる。
【００３３】
ここで、図１（１）の画像系列を入力画像として記録媒体に記録すると同時に記録する画像シーンを類似画像毎に分類することを考える。
【００３４】
図１（２）は、記録する画像シーンを類似画像毎に分類したことを示す概念図であり、各々シーンＡ、Ｂ、Ｃ、Ｄ毎に画像が類似画像として分類されていることを示している。
【００３５】
例えば、図１（２）シーンＡの分類ではａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６、………… などの画像が分類されており、これらの画像は上記で述べたアナウンサーやニュースキャスターの登場シーンである。
【００３６】
そして、このＡシーンとして捉えた画像の中で、このＡシーンに類似した画像が続く先頭画像ａ１、ａ７、ａ１５に対して本発明における識別情報信号として使用される識別情報データａを付与して再生の際の画像抽出の識別に用いる。
【００３７】
同様に、シーンＢの分類はニュース番組におけるニュース映像の類似シーンａ３、ａ４、ａ１１、………などが分類され、類似部分の先頭画像に識別情報データｂが付与されていることを示しており、シーンＣの画像分類は類似シーンａ５、ａ６、ａ１３、………などの画像が分類され、類似部分の先頭画像に識別情報データｃが付与されていることを示し、シーンＤの分類は類似画像シーンａ９、ａ１０、ａ１９………などの画像が分類され、類似部分の先頭画像に識別情報データｄが付与されていることを示している。
【００３８】
（画像分類表示法の一例）
図２（１）は、本発明の第１の表示モード、または第１の再生モードを表示する表示信号を生成する本発明における表示処理手段として示す実施態様で、上記で説明した図１（２）の分類をモニターで表示した場合の概念図であり、類似画像のＡ〜Ｈの８画像系列が水平方向に整理されていることが分かる。
【００３９】
図２（１）の例では、表示する垂直方向の画像系列（Ａ〜Ｈ）の数および水平方向の類似検出画像（１〜８）の数は、共に８であるが、この数はこれよりも多くしても少なくしても良く、例えば、動作開始時に初期設定として８で表示するようにし、ユーザーの設定により可変できるようにしても良く、また、分類、類似検出できた画像数が少なく、例えば６の場合は、その分類数に応じて表示するようにしても良し、また、分類、類似検出できた画像数が多く、一画面に表示すると各々の画像が小さくなりすぎて分かり難くなる場合などは、リモコンなどによりユーザーの指定で水平方向または垂直方向にスクロールできるようにして表示しても良い。
【００４０】
このような表示数の設定やスクロールなどの表示動作は、以下で説明する第２の表示モードでも行うことができる。
【００４１】
この図２（１）に示す第１の表示モードは、分類された類似画像の出現頻度の大きい画像シーンを、より上段に表示することができ、ユーザーはより効果的に効率良く画像シーンの内容を把握することができる。
【００４２】
なお、図２（１）の画像系列は右側に行くほど時間的に新しい画像にしても、左側にいくほど時間的に新しい画像にしても良く、どちらの方向が時間的に新しいかをユーザーに知らせるために、画面の最上部や最下部、または各画像に、検出順番を示す番号や、場合によっては、タイムコードや再生開始時間などを表示するようにしても良い。
【００４３】
タイムコードは、記録媒体に記録された信号を再生する場合は所定の信号から容易に検出することが可能で、また再生開始時間は、後の記録再生ブロック構成例で示すシステムコントローラーなど所定の信号処理ブロックにより容易に検出することができる。
【００４４】
図２（２）に示す画像系列の表示例は、本発明の第２の表示モード、または第２の再生モードを表示する表示信号を生成する本発明における表示処理手段として示す実施態様で、例えば、図２（１）の第１の表示モードにおける画像系列Ａの１〜８の各画像シーンを含む所定区間を表示したものである。
【００４５】
図２（２）における１列の垂直方向の系列（Ａ〜Ｈ）は、例えば、図２（１）の最上段の最も分類出現頻度が多いと検出された画像系列で、水平方向１〜８は、この図２（１）の最上段における画像系列Ａの１〜８の各画像を含む所定区間の画像シーンを表示している。
【００４６】
この場合には、シーンチェンジ検出して、この検出毎に水平方向に再生、表示するようにしても良く、また所定時間、例えば１０秒〜１分位の間の時間間隔で再生、表示するようにしても良い。
【００４７】
図３は、上記の再生、表示の動作概念図であり、例えば、図１（２）で示したシーンＡでは、ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６、…で分類検出されており、それらの画像を含む所定区間の画像シーンを表示できるように、図３（１）に示すような所定区間を再生制御する。
【００４８】
同様に、図１（２）に示したシーンＢでは、図３（２）の所定区間を再生するように再生制御の動作を行う。
【００４９】
表示モード２で表示する画像系列は、表示モード１におけるＡ〜Ｈの任意の画像系列を指定することができ、その他のシーンＣ、Ｄに分類された系列も、図３に示すように再生動作を行う。
【００５０】
このような再生動作は、リモコンなどでユーザーが、図１０で説明するように、どの分類系列の画像シーンを再生するか選択して指定することができ、また分類頻度の大きい画像分類系列を装置のデフォルト設定として優先的に再生、表示するようにしても良い。
【００５１】
どの画像系列が、出現分類頻度が大きいかは、ある時間区間を設定しないと、定義できないが、記録あるいは再生過程において累計時間ごとに、時間の途中でも検出することができ、ある時間の基点をユーザーが設定するか、記録または再生動作開始時を基準にしたり、例えば、放送番組のプログラム毎に、そのような時間の基点を設定しても良い。
【００５２】
以上のような分類整理を、放送番組などを記録媒体に記録する際に、ほぼ実時間で処理を行い、その分類処理に応じた識別情報データａ、ｂ、ｃ、ｄなどを、記録媒体に記録し、再生時に放送番組の再生と共にその識別情報データａ、ｂ、ｃ、ｄなどを検出することで、すぐに画像分類の表示を行うことができ、それにより記録した内容が効果的にまた効率良く短時間に把握することができる。
【００５３】
これにより、ユーザーは分類整理された画像を見て、見たいと思う画像シーンの系列を選択し、その系列の画像シーンを含む所定の時間区間を再生することで記録した放送番組を、従来以上に効果的に、効率良く、短時間でダイジェスト再生することができる。
【００５４】
（画像分類信号処理および識別情報データ生成法の概念）
図４は、画像分類信号処理および識別情報データ信号生成の信号処理方法の概念図であり、ここには、画像データから検出されたシーンＡ、Ｂ、Ｃ、Ｄなどに対応した特性信号として用いる特性データを記憶する図４(１)に示すメモリー系と、それに対応した識別情報データａ、ｂ、ｃ、ｄなどを記憶する図４(２)に示すメモリー系の２つがある。
【００５５】
各々のメモリー系は物理的に別々のメモリー系でも良く、また一つのメモリー系の記憶領域を各々の所定データが記憶できるように分割して使用するようにしても良い。
【００５６】
また、これらメモリー系は所定の制御信号に応じて所定の記憶領域に記憶した所定のデータが逐次所定の記憶領域に移動動作を行うメモリー系または、リングバッファーメモリー系と同様の動作を行うメモリー系とする。
【００５７】
ここで、上記特性データは、入力画像データを所定のＡ／Ｄ変換処理したベースバンド画像信号または、その画像信号をＭＰＥＧ２やウェーブレット(wavelet transformation)変換など所定の帯域圧縮処理を施した情報信号から検出することができる。
【００５８】
この帯域圧縮処理は、例えば、図５に示すように１画面をＬＬＬＬ〜ＨＨまでの７分割から、Ａ０〜Ａ６３の６４分割して、それぞれの分割領域における輝度信号や色差信号の平均データ、または圧縮処理された画像データで例えば、ＭＰＥＧ２のデータである場合は各々の分割領域におけるＤＣＴ(Discrete Cosine Transform)係数の平均データを用いることができる。
【００５９】
ここで、図５におけるＬＬＬＬ〜ＨＨなどは、図６に示すウエーブレット変換の概念図のＬＬＬＬ〜ＨＨなどと対応する多重解像度解析を示すものである。例えば、図６におけるＨｈ１は、画像データを水平方向に１回目のウエーブレット変換を行った場合のサブバンドの広域成分を表しており、Ｌｖ１は垂直方向に１回目のウエーブレット変換を行った場合のサブバンドの低域成分を表しており、その他も同様に考える。
【００６０】
ここで、例えば、図６から分かるように、Ｈｈ１−＞Ｈｖ１と処理された部分はＨＨと記述し、Ｌｈ１−＞Ｈｖ１と処理された部分はＬＨと記述し、その他のＬＬＬＬ〜ＨＨの記述もこれに倣って記述してある。
【００６１】
また、ウェーブレット変換データである場合は、各々の分割領域におけるウェーブレット変換係数の平均データや、ウェーブレット変換係数から求めた各々の分割領域における画像の所定しきい値以上のエッジ数を特性データとして考えることもできる。
【００６２】
ここでは、簡単のため、図４に示すように、特性データメモリー系は所定記憶領域dinおよび d1〜d16、識別データメモリー系は、所定記憶領域einおよびe1〜e16を設定するものとして説明するが、各々のメモリー系のメモリー容量はさらに大きく設定して良く、例えば、１分から３０分間における画像シーンの特性データ、識別情報データが記憶できるように設定する。
【００６３】
ここで、記憶する特性データは記録する放送番組に応じた毎フレーム毎の特性データとする必要はなく、例えば、シーンチェンジ検出を行い、シーンチェンジ毎の特性データとしたり、また所定フレーム毎、例えば１０フレーム間隔毎の特性データとすることも考えられる。
【００６４】
画像信号がＭＰＥＧで圧縮処理されている場合は、Ｉピクチャーにおける画像データやＭＰＥＧデータストリームにおける所定データとするなど、所定ピクチャー毎に処理することも考えられる。
【００６５】
このようにＭＰＥＧデータストリームでＩピクチャーなど特定のピクチャー毎に処理を行なう場合は、ＭＰＥＧデータストリームの所定の識別情報データを検出することで、所定の処理を行なうことができる。
【００６６】
識別情報データは記憶する特性データに対応するものを記憶するので、上記の特性データの記憶容量に応じて、識別情報データの記憶容量も変化する。
【００６７】
このように、毎フレーム毎の画像データの特性データを連続して記憶することなく、シーンチェンジ毎や所定フレームの間隔に応じて記憶することで、メモリーの記憶容量を削減することができる。
【００６８】
入力した画像データの特性データは逐次、メモリー系の所定記憶領域 din に記憶され、所定記憶領域dinの特性データはすでに記憶されている記憶領域d0〜d16のデータと所定の演算処理が行われる。
【００６９】
ここで、所定の演算処理として、上記で述べた画面における各々の分割領域におけるデータを成分とする特性ベクトルを考え、ユークリッド距離または、その他のベクトル距離演算を考えることができる。
【００７０】
例えば、所定記憶領域dinに記憶された上記で述べた図５のような分割画面に対応するベクトル成分を、aｉ(ｉ= 0〜63）、特性データメモリー系２１のｎ記憶領域におけるベクトル成分をｂni(i = 0〜63)、とすると、ベクトル距離 L は、
L = (i=0Σ63｜ai - bni｜2 )1/2 (1.1)
または、
L = (i=0Σ63｜ai - bni｜ ) (1.2)
などのように演算することができる。
【００７１】
ここで、図４の例では、記憶領域d7におけるベクトル距離が最小 Lminで、所定のしきい値 Lth 以内であると仮定する。
Lmin ≦ Lth (1.3)
【００７２】
記憶領域d7に対応する記憶領域はe7で、この記憶領域e7に記憶されている識別情報データを所定記憶領域dinの識別情報データに割り当てるものとする。
【００７３】
上記のように特性データの所定演算が終了して、識別情報データの割り当てが決まったら、所定記憶領域dinの特性データは、特性データメモリー系の記憶領域 d0に記憶領域を移動する。
【００７４】
記憶領域d1に記憶されていた特性データは、記憶領域d2の領域に移動し、記憶領域di に記憶されていた特性データは、記憶領域di+1の領域に順次移動する。
【００７５】
同様に、割り当てが決まった識別情報データは所定記憶領域einに記憶されていたが、e0の記憶領域に移動し、e1の記憶領域の識別情報データはe2に移動し、eiの識別情報データは、ei+1に順次移動する。
【００７６】
ここで、上記で説明した特性データの所定演算において、演算値 Lmin が所定しきい値の範囲にない場合、すなわち、
Lmin > Lth (1.4)
の場合は、記憶領域e0〜e16 に記憶されている以外の識別情報データを割り当てるものとする。
【００７７】
通常は、簡単のため、識別情報データメモリー系に記憶されているe0〜e16のデータの中から最大値を検出し、その最大値を１インクリメントし、それが所定最大値を超えない場合は、そのデータ値を新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データ値として割り当てる。
【００７８】
その後の処理で、同じように所定最大値を超える場合は、新しく０を設定した値から順次１インクリメントしたデータ値を新しい識別情報データ値として割り当てる。
【００７９】
このように所定最大値を超えた場合に、新しく０設定したデータ値から１ずつインクリメントすることは、時系列的に考えれば、ここで設けたメモリー系の記憶容量よりも前の、古いデータを上書き、または捨てて新しいデータを順位割り当てることを意味している。
【００８０】
これは、放送番組などを処理対象とする場合に、あまり時間的に前の類似画像を検出して分類しても、見ている人の画像に対する記憶や印象が薄れて、分類処理してダイジェスト再生やスキミング動作、あるいは記録した内容の把握を目的とした動作に対して、あまり優位性が認められないであろうという仮定と、メモリー容量を大きくするより、ある程度の所定メモリー容量でシステムのコストを抑え所定の動作が行える方がユーザーに対して優位性が認められるであろうという仮定に基づいている。
【００８１】
例えば、記憶領域e0〜e16の記憶領域にはすでに、0000H 〜000FH（16進）の識別情報データが記憶されていて、上記（1.3) の条件の場合は、記憶領域d7の特性データには、0010Hの識別情報データを割り当てるものとする。
【００８２】
次の演算処理を行なう映像シーンでの識別情報データを割り当てが、所定しきい値より大きく、(1.4)の条件の場合は、上記で述べたように、e0〜e16における最大値は、000FH と仮定しているので、１インクリメントした、0010H を割り当てるように処理を行う。
【００８３】
ここで、識別情報データの割り当てがFFFFHでいっぱいになった場合は、0000Hに戻るものとする。
【００８４】
そして、前記したように、この0000Hから順次、１インクリメントするように識別情報データ値を割り当てるように動作を行う。
【００８５】
このように割り当てられた einの識別情報データを、記録する画像シーンのデータと共に所定記録媒体に記録し、再生時に検出を行うことで、同じ識別情報データの映像シーンは、複雑な信号処理や長い処理時間を待つことなく、すぐに類似画像であると判定できる。
【００８６】
上記の例では識別情報データを 0000Hのように２バイトで説明したが、これに限ることなく、さらに多くの識別情報データを設定できるようにしても良い。
【００８７】
特性データ記憶領域および識別情報データ記憶領域の容量が少なく、設定する識別情報データのバイト数が小さいと、類似画像でないにもかかわらず、同じ識別情報データが割り当てられる確率が高くなるので、類似画像検出の頻度を考慮してメモリー容量および識別情報データのバイト数を設定する必要がある。
【００８８】
（識別情報データ折り返り処理の説明）
図７は、識別情報データが順次増加し、最大値を超える場合の処理法を説明するための概念図である。
【００８９】
上記で説明したように、上記(1.4)式に示すように所定しきい値の範囲にない場合は、識別情報データメモリー系に記憶されているデータの最大値を検出し、１インクリメントして割り当てることになるが、図７の区間Ａｎに示すｂ点のようにFFFFHと識別情報データがいっぱいになった場合は、区間Ａｎでない区間Ａｎ＋１における最大値のｄ点を検出して１インクリメントする必要がある。
【００９０】
そのため、例えば、図７に示すように区間Ａｎと区間Ａｎ＋１のように区間を識別する区間識別データＰを設定し、識別情報データ値がいっぱいになり、データ値をリセットする毎に区間識別データＰが変化することを考える。
【００９１】
図７の例では、簡単のため、区間識別データＰの設定値として、０、１が交互に変化するようにしてあり、識別情報データ値がいっぱいになりFFFFHを超えて、設定すべき識別情報データ値を折り返す必要がある場合は、その折り返す前の区間の識別情報データの最大値は、動作初期区間Ａ０の場合を除き、FFFFHになるので、前記した条件式（1.4）の場合で類似画像検出が行なえず、識別情報データを新たに設定する場合も問題なく所定の信号処理を行なうことができる。
【００９２】
（メモリー記憶容量の一例）
ここで、識別情報データのメモリー容量を考えてみる。放送番組などの映像シーンを記録することを考えた場合に、特別な場合を除き、頻繁にシーンチェンジが起きる確率はあまり高くないと想定できるので、例えば、３０フレーム毎秒の画像を１０フレーム毎に特性データを記憶し、所定の演算を行うと仮定する。
【００９３】
また、類似画像が出現する時間間隔は、長い時間がたった後に出現する確率はあまり大きくないと仮定し、３０分間位の間で類似画像検出を行うことを考える。
【００９４】
例えば、１０フレーム毎にシーンチェンジが起こり、新しい識別情報データを割り当てると仮定するし、３０分では、
30（分）× 60（秒）× 10（フレーム／秒）= 18000
なので、前記した２バイトの識別情報データでも十分対応できることが分かり、識別情報データメモリー系２４の記憶容量は、高々、
18000 × 2（バイト） = 35（KByte）
となる。
【００９５】
また、特性データの記憶容量は、例えば、前記したように６４次のベクトル成分を考え、１成分１バイトとすると、３０分では、
18000 × １（バイト）× 64（成分）= 1.1（MByte)
となる。
【００９６】
上記で計算したメモリー容量は、画像分類演算の間隔をさらに広げれば、もっと少ないメモリー容量で対応できることが分かる。
【００９７】
（２）放送番組における識別情報データ値の特性例
図８は、ある放送番組を本発明の処理により画像分類した場合の時系列的なフレーム番号に対する割り当てられた識別情報データ値の特性である。
【００９８】
図８において（ａ）または（ｂ）のように同じ識別情報データが太線で水平方向に延びて各フレーム毎に継続する場合は、それに対応するフレーム番号の映像シーンは類似画像として分類される。
【００９９】
そして、類似画像が検出されない場合は、図８に示すように右上がりの太線で示す通り時間が経過すると共に識別情報データ値が増加するようになる。
【０１００】
また、図９は図８の識別情報データに対する出現頻度の特性で、（ｂ）の700が一番出現頻度（割り当て頻度）が大きく、（ａ）の０が２番目に大きいことがわかる。
【０１０１】
（３）画像分類処理系ブロック構成例
図１０は、前記した画像分類処理法による本発明の画像分類処理系でのブロック構成例である。
【０１０２】
本発明における特性信号検出手段として機能する特性データ検出系２０には、Ａ／Ｄ変換された情報信号としての所定の画像データ、または所定の帯域処理が施されたＭＰＥＧ２などの画像データが入力され、所定の特性信号として特性データが検出される。
【０１０３】
特性データ検出系２０からの信号は特性データメモリー系２１に入力され、所定の記憶領域に記憶される。
【０１０４】
演算処理系２２では、図４(１)に示すような特性データメモリー系２１に記憶されているデータと、逐次、特性データ検出系２０で検出される特性データに対してベクトル距離演算など所定の演算処理を行って、その演算結果をシステムコントローラー１７に入力する。
【０１０５】
また、システムコントローラー１７は、特性データメモリー系２１および図４(２)に示すような識別情報データメモリー系２４に記憶されている所定領域の各々のデータを順次、前記で説明したように、所定の記憶領域に移動するように制御する。
【０１０６】
これにより、逐次検出される特性データは、新しく特性データメモリー系２１に記憶されることになる。
【０１０７】
本発明における分類識別信号処理手段としても機能するシステムコントローラー１７では、演算処理系２２からの信号を受け取り、所定しきい値の範囲にあるか判定し、所定しきい値の範囲にある場合は、上記所定演算最小値が得られた特性データメモリー系２１のデータに対応した、識別情報データメモリー系２４に記憶された識別情報データを読み出し、演算処理を行った画像シーンの識別情報データとして割り当てて例えば次に説明する多重化処理系６に出力する。
【０１０８】
また、システムコントローラー１７は、演算処理系２２からの演算値が所定しきい値の範囲にない場合には、識別情報データメモリー系２４に記憶されている識別情報データ値の最大値を検出し、そのデータ値を１インクリメントし、それが所定最大値を超えない場合は、新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データとし、以後の処理で同様にしきい値を超える場合は、この０から順次１ずつインクリメントしたデータを新しい識別情報データとして割り当てて例えば次に説明する多重化処理系６に出力する。
【０１０９】
（４）記録再生装置ブロック構成例
（記録処理系の説明）
図１１は本発明を適用し、映像(画像)／音声データに対してエンコード或いはデコードを施したときの情報信号記録再生装置のブロック構成例である。先ず始めに、記録処理系について説明する。
【０１１０】
入力した音声信号は音声Ａ／Ｄ変換処理系１において所定のＡ／Ｄ変換処理がなされ、音声エンコーダー処理系２でＭＰＥＧオーディオなど所定の帯域圧縮処理が行われ多重化処理系６に入力される。
【０１１１】
映像信号は映像Ａ／Ｄ変換処理系３で所定のＡ／Ｄ変換処理が行われ、映像エンコーダ処理系４ではＭＰＥＧ２など所定の帯域圧縮処理が行われ多重化処理系６に入力される。
【０１１２】
画像／音声分類処理系５は、本発明における分類識別信号処理手段として機能し、前記で説明したようなブロック構成で、映像Ａ／Ｄ変換処理系３からの信号または映像エンコーダー処理系４からの信号と共に音声エンコーダ処理系２からの信号が入力され、記録する放送番組などの映像シーンを、記録時に自動的に所定の分類整理、識別処理を行い、所定の識別情報データを生成して多重化処理系に入力する。
【０１１３】
この識別情報データは、点線で示すように、システムコントローラー１７を介して生成するようにしても良く、この場合はシステムコントローラー１７の制御により、またはシステムコントローラー１７において生成された所定の識別情報データが多重化処理系６に入力される。
【０１１４】
多重化処理系６では、入力した各々の信号に対して所定の多重化処理を行い、記録処理系７において誤り訂正符号付加やインターリーブ処理などの所定の記録処理を施し、所定の記録媒体系８に記録する。
【０１１５】
（再生処理系の説明）
次に再生処理系について説明する。所定の記録媒体系８から再生された情報信号は、再生処理系１０でデインターリーブ処理など所定の処理が行われた後、再生データ分離処理系１１に入力されて、記録時に多重化処理された所定の信号を各々分離処理する。これ等の再生処理系１０と再生データ分離処理系１１などで本発明における再生手段を構成する。
【０１１６】
分離処理された音声信号は音声デコード処理系１２に入力され、記録時に所定の圧縮処理された音声信号がデコード処理される。
【０１１７】
デコード処理された音声信号は、次の音声Ｄ／Ａ処理系１３に入力され所定のＤ／Ａ変換処理が行われた後、音声出力される。
【０１１８】
分離処理された映像信号は映像デコード処理系１４に入力され、記録時に所定の圧縮処理が行われた映像データがデコード処理され、デコード処理された映像データは次の映像Ｄ／Ａ変換処理系１５に入力されて所定のＤ／Ａ変換が行われた後、映像出力されるか、画像表示系３０により所定の画像表示が行なわれる。
【０１１９】
また、分離処理処理された所定の識別情報データは、本発明における識別情報信号検出手段として機能する識別信号検出系１６に入力され、ダイジェスト再生やスキミング再生処理に必要な識別情報データが検出されて、システムコントローラー１７に入力される。
【０１２０】
ダイジェスト再生やスキミング再生など所定の特殊再生動作を行いたい場合は、ユーザーはユーザー入力インターフェース（Ｉ／Ｆ）系１８を介して、システムコントローラー１７にコマンド入力を行う。
【０１２１】
システムコントローラー１７はユーザーからのコマンド情報を受け取り、本発明における再生制御手段として機能する再生制御系９を制御し、分類処理された画像系列の中からユーザーが所望する画像系列の再生が行われるように、記録媒体系８からの再生を制御する。
【０１２２】
縮小画像生成系３１は再生制御系９の制御の基に、所定の検出された再生画像を例えば水平方向と垂直方向に各々１／８に平均化処理や間引き処理など所定の信号処理により縮小画像を生成し、画像メモリー系３２では所定の処理がなされた縮小画像を前記した図２（１）または（２）に示す第１または第２の表示モードであるマルチ画像で表示できるように所定の縮小画像を所定系列分記憶して所定の画像系列分の画像が記憶された後に画像表示系３０に出力する。
そして、これ等の縮小画像生成系３１、画像メモリー系３２、画像表示系３０などで、本発明における表示処理手段を構成するが、ここでは、図２（１）または（２）に示す第１と第２の表示モードの表示を所定の操作に応じて切り替えて表示するか、又は表示を行うための表示信号を生成することも行われる。
【０１２３】
（５）動作フローチャートの一例
図１２は本発明における画像データから記録媒体への記録までの全体の動作を説明する動作フローチャートの一例である。ステップＳ０ からスタートし、ステップＳ１において、前記したように、識別情報データ値がいっぱいのＦＦＦＦＨになって設定データを折り返した場合のメモリー区間識別のために、区間識別データＰを設けておき、その初期設定Ｐ＝０を行い、ステップＳ２で、画像データを入力して、ステップＳ３で特性データ検出系２０により特性データを検出する。
【０１２４】
ステップＳ４において、上記検出した特性データから特性ベクトルを生成して、後のベクトル距離演算のため、ステップＳ５において特性データ用の所定のバッファメモリー領域に一時的に記憶する。
【０１２５】
ステップＳ６は、後に図１３で詳細に示す特性データ演算処理ルーチンで、演算処理系２２により、上記ステップＳ５のバッファメモリーに記憶されている特性ベクトルのデータを読み出し、これを基準ベクトルとして特性データメモリー系２１に記憶されているデータと所定の演算を行う。
【０１２６】
ステップＳ６で演算処理系２２により所定の演算処理が行われ、所定の識別情報データが、ステップＳ７において演算を行った基準ベクトルに対応する画像シーンに割り当てられて、システムコントローラー１７の制御の基に、ステップＳ８でその識別情報データは、識別情報データメモリ系２４の識別情報データ用のバッファメモリー領域に、一時的に記憶される。
【０１２７】
その後、ステップＳ９では、所定の圧縮処理を施された音声データ、画像データに対して多重化処理系６により所定の多重化処理が行われ、記録処理系７により、ステップＳ１０において記録媒体系８における所定の記録媒体に記録されるように、所定の記録処理が施される。
【０１２８】
ステップＳ１１では、動作を停止するかどうかの判定がなされ、停止する場合はステップＳ１３において、動作を終了し、動作を継続する場合は、ステップＳ１２に移行し、特性データ用バッファーメモリー領域に記憶されているデータと特性データメモリー系２１に記憶されている各データは所定のメモリー記憶領域に順次移動する。
【０１２９】
同様に、識別情報データ用バッファーメモリー領域に記憶されていたデータと識別情報データメモリー系２４に記憶されているデータも各データが所定のメモリー記憶領域に移動する。
【０１３０】
ステップＳ１２で特性データおよび識別情報データが所定のメモリー記憶領域に移動を行った後、ステップＳ２に戻り上記で述べた動作を繰り返す。
【０１３１】
（特性データ演算処理のフローチャート）
次に、演算処理系２２によって実行されるステップＳ６における特性データ演算処理のフローチャートについて説明する。図１３は、その動作フローチャートの一例であり、ステップＴ１で特性データメモリー系２１のメモリー領域番号と対応した演算回数の初期設定ｉ＝０を行う。
【０１３２】
ステップＴ２は、識別情報データの識別値の初期設定ｎ＝０を行い、ステップＴ３では特性データメモリー系２１の、すべての領域におけるデータと所定の演算処理が終了したかどうかの判定が行われる。
【０１３３】
ステップＴ３でＮＯの場合はまだ、特性データメモリー系２１すべてのデータと演算処理が終了していないので、これ以降の所定のベクトル距離演算ループに移行する。
【０１３４】
ステップＴ４では、特性データメモリー系２１から、メモリー領域ｉの所定の特性データベクトルを読み出し、ステップＴ５において所定の演算処理を行い、その演算値（ベクトル距離演算値）をＧｉとする。
【０１３５】
ステップＴ６において、演算値の最小値を求める処理を行うための初期値設定値を行うため、一番最初 ｉ＝０の演算値であるかどうかが判定され、ステップＴ７で最小値を求めるための初期設定Gmin= G0を行う。
【０１３６】
ステップＴ６で、一番最初の演算ではないと判定される場合は、ステップＴ９に移行し、演算値Giが、前の演算値Gminより小さいかの判定が行われ、ＹＥＳの場合はステップＴ１０においてGminを今の演算値Giで置き換えると共に、ステップＴ１１で識別情報データ値ｎを置き換えて ｎ＝ｉ として、ステップＴ８に移行する。
【０１３７】
ステップＴ６において、ＮＯの場合には、演算値は置き換えず、次のデータ演算を行うため、ステップＴ８に移行し特性データメモリー系のデータ読み出し領域を移動し、ｉを１インクリメントしてステップＴ３に戻り処理を繰り返す。
【０１３８】
ステップＴ３において、特性データメモリー系すべての所定領域との演算が終了したと判定された場合は、演算の結果の最小演算値が求まっているので、ステップＴ１２でそれが所定の設定しきい値Ｇth以内かどうかの比較処理が行われる。
【０１３９】
ステップＴ１３において、所定しきい値以内と判定される場合は、上記で説明した演算処理ループで求まった識別情報データ値ｎが、演算処理を行った映像シーンに対応する識別情報データ値となり、前記したステップＳ７の処理に移行し、識別情報データ値として割り当てられる。
【０１４０】
ステップＴ１３ においてＮＯの場合は、所定しきい値以内でないので、後の図１４で詳細に説明するステップＴ１４ に移行し、識別情報データメモリー系２４に記憶されているデータ値の最大値nmaxを算出する。そしてステップＴ１５では、ステップ１４で算出された最大値 nmax を１インクリメントした値を新しい識別情報データ値ｎとする。
【０１４１】
ステップＴ１６では、新しく設定された識別情報データ値ｎが、所定値の範囲である、ＦＦＦＦＨに収まっているかの判定がなされ、ＹＥＳの場合は、前記したステップＳ７に移行して、演算処理を行った映像シーンに対応する識別情報データ値となり、識別情報データ値として割り当てられる。
【０１４２】
ステップＴ１６でＮＯの場合は、割り当てようとする識別情報データの値が、許容値を超えるので、ステップＴ１７において一度ゼロクリアして識別情報データ値として割り当てることになり、ステップＴ１８でこのゼロクリアして設定したメモリー区間の識別データＰを、識別情報データ値の最大値がＦＦＦＦＨとなったメモリー区間の区間識別データＰが１の場合は０を、０の場合は１となるように反転して設定する。
【０１４３】
（識別情報データメモリー系記憶データの最大値算出処理Ｔ１４）
次に、上記で述べた、ステップＴ１４の識別情報データメモリー系２４に記憶されているデータの最大値をシステムコントローラー１７により算出する処理フローチャートについて図１４に示すフローチャートにより説明する。
【０１４４】
図１４において、ステップＡ１で、区間識別データＰの処理回数の初期設定ｊｐ＝１ とし、最大値算出の初期値として、ステップＡ２においてｊ＝０における識別情報データ値ｎ０を設定する。
【０１４５】
ステップＡ３で、処理回数が、識別情報データメモリー系２４の記憶領域の個数を超えないかどうかの判定がなされ、ＹＥＳの場合はステップＡ４に移行して、今までの処理における最大値ｎｍａｘと比較し、大きか小さいかの判定処理を行う。
【０１４６】
ステップＡ４でＹＥＳと判定された場合は、ステップＡ５でｎｍａｘをｎｊｐに置き換え、ステップＡ６で処理回数を１インクリメントし、ステップＡ３に戻り、処理を繰り返す。
【０１４７】
ステップＡ３でＮＯと判定された場合は、区間識別データＰでの識別情報データメモリー系２４の記憶領域すべてを比較し最大値が算出されたので、ステップＡ７において検出された最大値ｎｍａｘが、許容されている最大のＦＦＦＦＨと等しいかの判定がなされ、ＮＯの場合は、算出最大値として処理を終了し、前記した、ステップＴ１５に移行する。
【０１４８】
ステップＡ７でＹＥＳの場合は、ステップＡ８に移行し、区間識別データＰを反転し、異なるメモリー区間における最大値検出するため、ステップＡ１に戻り、最大値検出の処理をもう一度行なう。
【０１４９】
（再生表示モード１の動作フローチャート例）
図１５（１）〜（３）は、記録媒体系８からデータを読み出して画像データなどを再生する場合の動作フローチャートであり、前記したような類似画像を検出し、所定の識別分類処理を行い、識別頻度順に表示を行う場合の再生表示モード１における動作フローチャートの一例である。
【０１５０】
再生処理系１０により、図１５（１）のステップＢ０からスタートし、再生データ分離処理系１１を経由する識別信号検出系１６により、ステップＢ１で記録媒体系８からデータを再生する再生動作を行い、再生データを分離し、識別信号検出系１６により、ステップＢ２で所定の識別情報データを検出し、ステップＢ３の識別データ頻度算出処理に移行する。
【０１５１】
ステップＢ３の識別データ頻度算出処理は、システムコントローラー１７により、図１５（２）に示すような動作フローチャートで、ステップＣ０において所定のシーンチェンジ検出が行われ、ステップＣ１で所定のシーンチェンジが検出されるか判定される。
【０１５２】
シーンチェンジ検出は画像データのフレーム差分を検出することで容易に検出することができるが、すでに類似検出分類処理が行われているので、識別情報データの変化を検出することでもシーンチェンジを行うことも考えられる。
【０１５３】
すなわち、類似した画像系列が続きシーンチェンジがない場合は、識別情報データは同じ値が継続し、シーンチェンジが起きて類似画像シーンでないと分類された場合は識別情報データが前のフレームと異なるので、このような識別情報データの変化を検出することで所定のシーンチェンジ検出を行うことも考えられる。
【０１５４】
ステップＣ１で所定のシーンチェンジが検出された場合はステップＣ２に移行し、ステップＣ２で所定の分類毎の識別情報データ値ＩＤｎをカウントし、ステップＣ３に移行する。ここで、ｎは前記した図２（１）で説明したＡ〜Ｈのような画像分類系列を示す。
【０１５５】
ステップＣ１で所定のシーンチェンジが検出されない場合は、ステップＣ３に移行し、所定の再生区間が終了したかが判定され、ＮＯの場合はステップＣ０に戻り、上記の動作を繰り返し、ＹＥＳの場合は、ステップＣ４に移行し、カウント処理したＩＤｎを検出頻度の多い順番にソート処理を行い、その後、図１５（１）の動作フローチャートに示すステップＢ４の再生制御処理のフローに移行する。
【０１５６】
ステップＢ４の再生制御処理は、図１５（３）に示すような動作フローチャートで、ステップＤ０で所定のマルチ画面として表示できるように、表示する画像の数を決める識別情報データを算出する。
【０１５７】
例えば、前記したように所定のカウント処理、ソート処理され、例えば分類系列Ａにおいて、類似画像として分類された画像シーンが１０あり、表示する画像シーンが８の場合は、その１０のシーンからより新しいシーン８を選択するような処理を行う。
【０１５８】
システムコントローラー１７により、ステップＤ１では、上記のステップＤ０で算出された各分類画像系列のＩＤｎｍを検出する処理を行い、ステップＤ２で検出されるかの判定がなされ、ＹＥＳの場合はステップＤ３に移行し縮小画像処理系３１により所定の縮小画像生成処理が行われ、ステップＤ４で画像メモリ系３２の所定の画像メモリーの所定記憶領域に、図２に示したようなマルチ画面表示が行えるように、画像データを記憶する。
【０１５９】
ステップＤ２でＮＯの場合はステップＤ６に移行し、検出区間のスキップ処理を行い、ステップＤ１に戻り所定の処理を繰り返す。
【０１６０】
ステップＤ４の処理の後、システムコントローラー１７と再生制御系９により、ステップＤ５ではステップＤ０で算出された所定の識別情報データの画像シーン時点が所定の数検出できたかの判定がなされ、ＮＯの場合はステップＤ１に戻り、上記の所定の処理を繰り返し、ＹＥＳの場合は、図１５（１）の動作フローチャートのステップＢ５に移行する。
【０１６１】
ステップＢ５では所定の画像メモリー系３２に記憶された画像データをシステムコントローラー１７により制御されて読み出され、ステップＢ６で、システムコントローラー１７の制御により前記した図２（１）に示すような本発明における第１の表示モードで画像表示系３０に表示を行う。
【０１６２】
（再生表示モード２の動作フローチャート例）
図１６は、前記した図２（２）の表示のような、再生表示モード２の動作フローチャートの一例である。
【０１６３】
ステップＥ０からスタートし、ステップＥ１では、図２（１）に示すような分類表示された画面の中から所望の画像系列をユーザ入力により指定する。
【０１６４】
ステップＥ２では、システムコントローラー１７により、指定された画像系列における、図３で説明したような所定区間が再生できるように、所定の識別情報データを算出する処理を行い、Ｅ３の再生制御処理に移行する。
【０１６５】
ステップＥ３の再生制御処理は、前記図１５（３）で説明した動作フローチャートと同様な処理であり、重複するので説明は省略する。
【０１６６】
その後、ステップＥ４に移行し、システムコントローラー１７の制御により画像メモリ系３２から所定の画像読み出し処理を行い、ステップＥ５でシステムコントローラー１７により図２（２）に示すような本発明における第２の表示モードで画像表示系３０に表示を行う。
【０１６７】
なお、この再生表示モード２の動作では、ステップＥ３の再生制御処理の過程における図１５（３）に示すステップＤ２でＹＥＳの場合に逐次、表示を行うことで、ダイジェスト再生動作を行うことができ、このようにダイジェスト再生動作を行うことで、短時間に記録した内容を効果的に、効率良く把握することができる。
【０１６８】
図１７は、そのダイジェスト再生を行う場合の動作フローチャートの一例であり、ステップＦ０〜Ｆ２の動作フローは前記した図１５（３）におけるステップＤ０〜Ｄ２と同様な動作を行い、ステップＦ３では、前記で説明した図３に示すような検出された時点の所定区間を再生し表示する処理を行い、ステップＦ４で停止、または再生区間が終了したかの判定がなされ、ＹＥＳの場合はステップＦ６で動作を終了し、ＮＯの場合は、ステップＦ１に戻り所定のダイジェスト再生動作を繰り返す。
【０１６９】
【発明の効果】
以上、説明したように、本発明に係る情報信号処理装置並びに情報信号処理方法および情報信号再生装置によれば、放送番組などを記録する際に、自動的に画像シーンの分類、インデキシング処理が行われ、記録処理終了後、すぐに再生動作を行う場合でも、画像シーンの分類整理などの処理時間を待つことなく直ちに記録した画像シーンを所定の分類により画像系列として表示、再生することができる。
【０１７０】
表示された画像系列は分類頻度に応じた表示、再生となるので、ユーザーはどのような画像シーンが最も頻繁に現れたかを容易に知ることができ、これにより効果的に効率良く画像シーンの内容を把握することができる。
【０１７１】
また、頻度に応じた画像系列の表示からユーザーが指定する画像系列の各々の画像シーンを含む所定区間の画像シーンを再生表示することができるので、長時間記録した画像シーンの内容を効果的に効率良く、短時間に把握することができる。
【０１７２】
以上のことからユーザーは、記録した放送番組などの内容を、効果的にまた効率的に画像シーンを見て確認することができ、容易に自分の見たいと思う画像シーンを選択して効果的に、効率的にダイジェスト再生を行うことができる。
【図面の簡単な説明】
【図１】本発明の画像シーンの分類処理の動作原理を説明する説明図であり、（１）図は入力画像の画像系列を示す概念図、(２)図は類似画像毎に分類することを示す概念図である。
【図２】本発明による画像分類表示の概念を示す概念図であり、（１）図は第１の表示モードを示す概念図、(２)図は第２の表示モードを示す概念図である。
【図３】本発明の分類処理された画像シーンの再生区間を説明する説明図である。
【図４】本発明の動作原理を説明する説明図であり、（１）図は特性データの演算処理を示す説明図、(２)図は識別データを割り当てる処理を示す説明図である。
【図５】画面分割による特性データ（特性ベクトル）生成の説明図である。
【図６】ウエーブレット変換の概念を説明する概念図である。
【図７】識別情報データ値の折り返り処理方法を説明する説明図である。
【図８】本発明による識別情報データ値の時系列特性の一例を説明する説明図である。
【図９】本発明による識別情報データ値の頻度特性の一例を説明する説明図である。
【図１０】本発明の画像分類処理系の実施態様を示すブロック構成の一例を説明する構成図である。
【図１１】本発明の記録再生装置の実施態様を示すブロック構成の一例を説明する構成図である。
【図１２】本発明における画像データの入力から記録までの全体の動作を示すフローチャートの一例を説明する構成図である。
【図１３】本発明の特性データの算出処理を示すフローチャートの一例を説明する構成図である。
【図１４】本発明の識別情報のデータの最大値を算出処理する動作フローチャートの一例を説明する構成図である。
【図１５】本発明による再生表示モード１の動作フローチャート図の一例を説明する構成図であり、（１）図は表示再生モードの動作を示すフローチャート図、（２）図は識別データの頻度算出処理の動作を示すフローチャート図、（３）図は再生制御処理の動作を示すフローチャート図である。
【図１６】本発明による再生表示モード２の動作を示すフローチャート図である。
【図１７】本発明による再生表示モード２の動作においてダイジェスト再生の動作を示すフローチャート図である。
【符号の説明】
１：音声Ａ／Ｄ変換処理系、 ２：音声エンコーダー処理系、
３：映像Ａ／Ｄ変換処理系、 ４：映像エンコーダー処理系、
５：映像／音声分類処理系、 ６：多重化処理系、 ７：記録処理系、
８：記録媒体系、 ９：再生制御系、 １０：再生処理系、
１１：再生データ分離処理系、 １２：音声デコード処理系、
１３：音声Ｄ／Ａ処理系、 １４：映像デコード処理系、
１５：映像Ｄ／Ａ処理系、 １６：識別信号検出系、
１７：システムコントローラー、 １８：ユーザー入力Ｉ／Ｆ系、
２０：特性データ検出系、 ２１：特性データメモリー系、
２２：演算処理系、 ２３：識別情報データ生成系、
２４：識別情報データメモリー系、 ３０：画像表示系、
３１：縮小画像生成系、 ３２：画像メモリー系
【発明の属する技術分野】
本発明は、入力された情報信号に対して分類等の処理を行って識別情報信号（以下、識別情報データという）と共に記録し、再生時にはこれ等を使って記録したシーンをすぐに把握することができる情報信号処理装置並びに情報信号処理方法及び情報信号記録装置に関する。
【０００２】
さらに詳しくは、本発明は、記録時には、映像信号、音声信号などの情報信号を光磁気ディスク、ハードディスク、半導体メモリーなどの記録媒体に記録する記録装置において、例えば放送番組を記録する際に記録する映像シーンを自動的に所定の分類またはインデキシング処理を行い、ハードディスク（ＨＤＤ）や光磁気ディスク、磁気テープなど所定の記録媒体にそれら分類またはインデキシング処理の結果の識別情報データを、記録を行う画像、音声信号と共に所定の記録領域に記録を行う。
【０００３】
そして、再生時には、その所定分類またはインデキシング処理の結果に応じて記録したシーンの内容をすぐに把握することができ、ユーザーが効果的、および効率的なダイジェスト再生やスキミング動作を行うことができる情報信号処理装置、情報信号処理方法、及び情報信号記録装置に関するものである。
【０００４】
【従来の技術】
ＭＰＥＧ(moving picture experts group)などの画像圧縮技術が広く民生用記録再生装置に利用され、また比較的長時間記録可能でアクセス性の良いＨＤＤ（ハードディスク）や光磁気ディスクが比較的低価格で普及し、放送番組などが手軽に長時間記録できるようになっている。
【０００５】
このように長時間記録した放送番組などを再生して楽しもうとすると、限られた時間の中で効率良く再生する必要があり、従来技術では例えば、２倍速再生などの通常再生速度よりも高速動作を行い短時間で再生することが考えられる。
【０００６】
より効果的な短時間再生を行なうことを目的として、映像の変化やカメラパン、または音声認識などの技術を用いて、要約を行なっても映像シーンの内容が把握できる意味のあると思われる部分を検出して再生する技術が知られている。
【０００７】
また、記録時に自動的に分類し、識別情報を付加して記録し再生時に検索や頭出しを行なう技術も知られている。
【０００８】
例えば、公知の技術文献としては以下に示すようなものがある。
（ａ）Michael A.Smith and T.Kanade,”Video Skimming and Characterization through the Combination of Image and Language Understanding Techniques”,IEEE CVPR,（ p775-p781）
（ｂ）特表平10−507554「探索できるディジタルビデオライブラリを作成する方法および装置ならびにそのようなライブラリを利用するシステムおよび方法」
（ｃ）特開平７−45050「自動分類記録装置」
（ｄ）特開平７−29007「映像特徴処理方法」
（ｅ）特開平11−328422「画像識別装置」
（ｆ）特開2000−261754「ダイジェスト作成装置、ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体」
【０００９】
また、蓄積記録媒体から画像を検索して表示することに関する公知技術としては、例えば以下のようなものがある。
（ｇ）特開平10−243323「シーン管理装置、シーン管理方法及び記録媒体」
（ｈ）特開平10−340272「類似画像検索装置及び方法」
【００１０】
【発明が解決しようとする課題】
２倍速再生など高速再生を行なう場合は自分が見たいと思う映像シーン以外の区間も再生されることになり、ダイジェスト再生など短時間再生を行なう場合は効率があまり良いとは言えず、また、記録した映像の内容の概要を、効率良く、すぐに知りたいと思っても、ダイジェスト再生などの特殊再生動作を行う必要があり、記録媒体に記録した内容の映像シーンを効率良く、効果的にすぐ把握できるとは言い難い。
【００１１】
上記の文献（ａ）、（ｂ）などは特徴的な映像区間と音声区間を選択し、合成して得られた部分をつなぎ合わせて要約再生する技術が開示されているが、このような技術では、例えば、所定の記録媒体に記録した後に、特徴的な映像区間や音声区間を選択する特別な処理を行なうことが一般的で、そのため記録終了の後に、ダイジェスト再生や要約再生を行なうための信号処理時間を待たなければならない。
【００１２】
上記文献（ｃ）に開示の技術は、記録時にシーンチェンジなどの単位毎に分類コードと名前を付けて記録することが記載されているが、適切な分類が行なわれるか不明であり、また記録方法や記録時間によっては多くのコードと名前情報を持つ必要がある問題が考えられる。
【００１３】
上記文献（ｄ）にはカラー映像信号からヒストグラム処理によりショットを分類する技術が開示されているが、分類した後の分類情報データの設定方法や信号処理技術については詳しい技術的開示がなされていない。
【００１４】
上記文献（ｅ）には、あらかじめ複数の特徴抽出したデータを画像パターンデータとして保持した画像パターンデータベースと入力画像の類似度を算出して分類する技術が開示されているが、あらかじめデータを持つ必要があり、そのため構成がやや複雑になると考えられる。
【００１５】
また上記文献（ｆ）には、あらかじめ事象定義毎に設定された数値を数値情報として記憶した記憶手段を備え、入力映像の事象に基づいて数値映像情報を生成しダイジェスト映像を作成する技術が開示されているが、事象毎に設定された数値情報を記憶した記憶手段を設ける必要があり、そのため構成がやや複雑になることが考えられる。
【００１６】
上記文献（ｇ）には、類似性があると判定された代表フレーム画像のインデックス画像に類似するインデックス画像が存在することを示すマーカーを表示さ、動画編集時などに類似するインデックス画像が存在することを認識できる技術が開示されているが、幾つかある類似検出画像毎の関連を効果的に表示して見たり、効果的にユーザーが見たいと思うシーンを効率良くダイジェスト再生するための表示に関する技術の開示はなされていない。
【００１７】
上記文献（ｈ）には、利用者の指定した複数の画像のそれぞれについて、利用者の指定に応じて検索要素を設定し、画像検索条件に用い、類似画像または関連画像を複数画像で表示する技術が開示されているが、幾つかある類似検出画像毎の関連を効果的に表示して見たり、効果的にユーザーが見たいと思うシーンを効率良くダイジェスト再生するための表示に関する技術の開示はなされていない。
【００１８】
以上のような観点から、本発明は、記録終了後、ダイジェスト再生や要約再生などを行なうための複雑な処理をできるだけ行なわず、処理のための時間をできるだけ待つことなく、ダイジェスト再生や要約再生または記録した内容の映像シーンを効果的に、効率良く把握したいと思った場合に、できるだけ直ぐに、その動作が行なえるようなシステムを、比較的簡単な構成で安価に実現する技術を提案するものである。
【００１９】
以上の点を実現するための本発明の概要について述べれば、先ず、放送番組などの映像信号から、またはその信号を圧縮処理など、所定の加工処理を行った信号から所定の特性信号を逐次検出する。
【００２０】
次に、この特性信号に応じて、例えば、シーンチェンジ毎や所定区間毎に画像を類似検出し、類似検出画像毎に分類処理を行う。
【００２１】
この分類処理した画像を分類頻度に応じて水平方向表示または垂直方向表示の画像系列として表示する。
【００２２】
この分類頻度に応じた表示系列の一つの系列を選択し、その系列における画像シーンを含む所定区間の画像シーンを時間時間系列で表示を行い、効果的に記録する画像や再生を行う画像シーンの内容を把握する。
【００２３】
また、画像の分類識別が行える識別情報データが記録されている所定の記録媒体から信号を再生し、再生した識別情報データに応じて類似画像検出を、例えば、シーンチェンジ毎や所定区間毎に画像を類似検出し、類似検出画像毎に分類処理を行う。
【００２４】
このようにして分類処理した画像を分類頻度に応じて画像系列として再生するように再生制御し、またはその画像系列の所定区間を含む画像シーンを逐次再生するように再生制御を行うことで、効果的で効率的な内容把握やダイジェスト再生を行うことができる。
【００２５】
【課題を解決するための手段】
本発明は、以上の内容を実現する情報信号処理装置の構成として、
（１）所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
（２）上記特性信号検出手段からの信号に応じて上記情報信号を所定の分類または識別を行う分類識別信号処理手段と、
（３）上記分類識別信号処理手段からの信号により、上記分類または識別の所定の頻度に応じた第１の所定表示を行う第１の表示モードと、または第１の表示モードにおける所定部分の情報信号を含み所定の時間系列の第２の所定表示を行う第２の表示モードとを行うための表示信号を生成する表示処理手段と
とを有するようにしたものである。
【００２６】
また、本発明は、以上の内容を実現する情報信号処理方法の構成として、
（１）所定の情報信号から所定の特性信号を検出し、
（２）上記特性信号の検出に応じて上記情報信号を所定の分類または識別を行い、
（３）上記分類または識別の所定の頻度に応じた第１の所定表示を行うか、または第１の所定表示における所定部分を含む情報信号を所定の時間系列により第２の所定表示を行うか、または、上記第１の表示と第２の表示を所定の操作に応じて切り換えて表示するか、または表示を行うための表示信号を生成するようにしたものである。
【００２７】
さらに、本発明は、以上の内容を実現する情報信号再生装置の構成として、
（１）所定の情報信号と、その情報信号における所定時点または所定区間を所定の分類または識別を行うことができる識別情報信号が記録された所定の記録媒体から上記情報信号および識別情報信号を再生する再生手段と、
（２）上記再生手段から上記識別情報信号を検出する識別情報信号検出手段と、
（３）上記識別情報信号検出手段からの信号により、上記分類または識別の所定の頻度に応じた第１の所定表示を行うように第１のモードの再生を行うか、または第１の所定表示における所定部分を含む情報信号を所定の時間系列による第２の所定表示を行うように第２のモードの再生を行うか、または上記第１の表示と第２の表示を所定の操作により切り換えて表示できるように再生する再生制御手段とを有するようにしたものである。
【００２８】
本発明は、以上の構成により、ある所定時点における映像信号や映像信号を圧縮処理した信号から検出する所定の特性信号またはその特性信号から生成する特性ベクトルにより画像シーンを逐次、類似画像検出して類似画像毎の画像系列として、例えば類似画像検出の出現頻度の大きい順に所定の水平方向または垂直方向に第１の再生、表示モードとして表示を行うことができる。
【００２９】
上記第１の表示モードから所望の画像系列を選択し、その画像系列における画像シーンを含む所定区間の画像シーンを時間系列で再生、表示する第２の再生、表示モードの動作を行うように、第１の再生、表示モードから切り換えて動作を行うことができる。
【００３０】
【発明の実施の形態】
以下、本発明に係る情報信号処理装置、情報信号処理方法および情報信号再生装置の実施の形態について図を用いて以下の順序で説明する。
（１）本発明の動作原理
（２）放送番組における識別情報データ値の特性例
（３）画像分類処理系ブロック構成例
（４）記録再生装置ブロック構成例
（５）動作フローチャートの一例
【００３１】
（１）本発明の動作原理
（類似画像の分類整理方法の概念）
図１は本発明の画像シーン分類処理法を説明するための概念図であり、図１（１）は本発明における情報信号の１つである画像信号としての画像系列ａ１、ａ２、ａ３、ａ４、ａ５、………を示したものであり、このうち、例えば画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６は各々類似している画像と仮定する。
【００３２】
例えば、図１（１）の画像系列を簡単のため放送番組におけるニュース映像とすると、一般的にニュース番組ではアナウンサーやニュースキャスターの映像シーンの後にニュース映像が続く確率が高いので、図１（１）で述べた、類似画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６はアナウンサーやニュースキャスターの登場シーンと想定できる。
【００３３】
ここで、図１（１）の画像系列を入力画像として記録媒体に記録すると同時に記録する画像シーンを類似画像毎に分類することを考える。
【００３４】
図１（２）は、記録する画像シーンを類似画像毎に分類したことを示す概念図であり、各々シーンＡ、Ｂ、Ｃ、Ｄ毎に画像が類似画像として分類されていることを示している。
【００３５】
例えば、図１（２）シーンＡの分類ではａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６、………… などの画像が分類されており、これらの画像は上記で述べたアナウンサーやニュースキャスターの登場シーンである。
【００３６】
そして、このＡシーンとして捉えた画像の中で、このＡシーンに類似した画像が続く先頭画像ａ１、ａ７、ａ１５に対して本発明における識別情報信号として使用される識別情報データａを付与して再生の際の画像抽出の識別に用いる。
【００３７】
同様に、シーンＢの分類はニュース番組におけるニュース映像の類似シーンａ３、ａ４、ａ１１、………などが分類され、類似部分の先頭画像に識別情報データｂが付与されていることを示しており、シーンＣの画像分類は類似シーンａ５、ａ６、ａ１３、………などの画像が分類され、類似部分の先頭画像に識別情報データｃが付与されていることを示し、シーンＤの分類は類似画像シーンａ９、ａ１０、ａ１９………などの画像が分類され、類似部分の先頭画像に識別情報データｄが付与されていることを示している。
【００３８】
（画像分類表示法の一例）
図２（１）は、本発明の第１の表示モード、または第１の再生モードを表示する表示信号を生成する本発明における表示処理手段として示す実施態様で、上記で説明した図１（２）の分類をモニターで表示した場合の概念図であり、類似画像のＡ〜Ｈの８画像系列が水平方向に整理されていることが分かる。
【００３９】
図２（１）の例では、表示する垂直方向の画像系列（Ａ〜Ｈ）の数および水平方向の類似検出画像（１〜８）の数は、共に８であるが、この数はこれよりも多くしても少なくしても良く、例えば、動作開始時に初期設定として８で表示するようにし、ユーザーの設定により可変できるようにしても良く、また、分類、類似検出できた画像数が少なく、例えば６の場合は、その分類数に応じて表示するようにしても良し、また、分類、類似検出できた画像数が多く、一画面に表示すると各々の画像が小さくなりすぎて分かり難くなる場合などは、リモコンなどによりユーザーの指定で水平方向または垂直方向にスクロールできるようにして表示しても良い。
【００４０】
このような表示数の設定やスクロールなどの表示動作は、以下で説明する第２の表示モードでも行うことができる。
【００４１】
この図２（１）に示す第１の表示モードは、分類された類似画像の出現頻度の大きい画像シーンを、より上段に表示することができ、ユーザーはより効果的に効率良く画像シーンの内容を把握することができる。
【００４２】
なお、図２（１）の画像系列は右側に行くほど時間的に新しい画像にしても、左側にいくほど時間的に新しい画像にしても良く、どちらの方向が時間的に新しいかをユーザーに知らせるために、画面の最上部や最下部、または各画像に、検出順番を示す番号や、場合によっては、タイムコードや再生開始時間などを表示するようにしても良い。
【００４３】
タイムコードは、記録媒体に記録された信号を再生する場合は所定の信号から容易に検出することが可能で、また再生開始時間は、後の記録再生ブロック構成例で示すシステムコントローラーなど所定の信号処理ブロックにより容易に検出することができる。
【００４４】
図２（２）に示す画像系列の表示例は、本発明の第２の表示モード、または第２の再生モードを表示する表示信号を生成する本発明における表示処理手段として示す実施態様で、例えば、図２（１）の第１の表示モードにおける画像系列Ａの１〜８の各画像シーンを含む所定区間を表示したものである。
【００４５】
図２（２）における１列の垂直方向の系列（Ａ〜Ｈ）は、例えば、図２（１）の最上段の最も分類出現頻度が多いと検出された画像系列で、水平方向１〜８は、この図２（１）の最上段における画像系列Ａの１〜８の各画像を含む所定区間の画像シーンを表示している。
【００４６】
この場合には、シーンチェンジ検出して、この検出毎に水平方向に再生、表示するようにしても良く、また所定時間、例えば１０秒〜１分位の間の時間間隔で再生、表示するようにしても良い。
【００４７】
図３は、上記の再生、表示の動作概念図であり、例えば、図１（２）で示したシーンＡでは、ａ１、ａ２、ａ７、ａ８、ａ１５、ａ１６、…で分類検出されており、それらの画像を含む所定区間の画像シーンを表示できるように、図３（１）に示すような所定区間を再生制御する。
【００４８】
同様に、図１（２）に示したシーンＢでは、図３（２）の所定区間を再生するように再生制御の動作を行う。
【００４９】
表示モード２で表示する画像系列は、表示モード１におけるＡ〜Ｈの任意の画像系列を指定することができ、その他のシーンＣ、Ｄに分類された系列も、図３に示すように再生動作を行う。
【００５０】
このような再生動作は、リモコンなどでユーザーが、図１０で説明するように、どの分類系列の画像シーンを再生するか選択して指定することができ、また分類頻度の大きい画像分類系列を装置のデフォルト設定として優先的に再生、表示するようにしても良い。
【００５１】
どの画像系列が、出現分類頻度が大きいかは、ある時間区間を設定しないと、定義できないが、記録あるいは再生過程において累計時間ごとに、時間の途中でも検出することができ、ある時間の基点をユーザーが設定するか、記録または再生動作開始時を基準にしたり、例えば、放送番組のプログラム毎に、そのような時間の基点を設定しても良い。
【００５２】
以上のような分類整理を、放送番組などを記録媒体に記録する際に、ほぼ実時間で処理を行い、その分類処理に応じた識別情報データａ、ｂ、ｃ、ｄなどを、記録媒体に記録し、再生時に放送番組の再生と共にその識別情報データａ、ｂ、ｃ、ｄなどを検出することで、すぐに画像分類の表示を行うことができ、それにより記録した内容が効果的にまた効率良く短時間に把握することができる。
【００５３】
これにより、ユーザーは分類整理された画像を見て、見たいと思う画像シーンの系列を選択し、その系列の画像シーンを含む所定の時間区間を再生することで記録した放送番組を、従来以上に効果的に、効率良く、短時間でダイジェスト再生することができる。
【００５４】
（画像分類信号処理および識別情報データ生成法の概念）
図４は、画像分類信号処理および識別情報データ信号生成の信号処理方法の概念図であり、ここには、画像データから検出されたシーンＡ、Ｂ、Ｃ、Ｄなどに対応した特性信号として用いる特性データを記憶する図４(１)に示すメモリー系と、それに対応した識別情報データａ、ｂ、ｃ、ｄなどを記憶する図４(２)に示すメモリー系の２つがある。
【００５５】
各々のメモリー系は物理的に別々のメモリー系でも良く、また一つのメモリー系の記憶領域を各々の所定データが記憶できるように分割して使用するようにしても良い。
【００５６】
また、これらメモリー系は所定の制御信号に応じて所定の記憶領域に記憶した所定のデータが逐次所定の記憶領域に移動動作を行うメモリー系または、リングバッファーメモリー系と同様の動作を行うメモリー系とする。
【００５７】
ここで、上記特性データは、入力画像データを所定のＡ／Ｄ変換処理したベースバンド画像信号または、その画像信号をＭＰＥＧ２やウェーブレット(wavelet transformation)変換など所定の帯域圧縮処理を施した情報信号から検出することができる。
【００５８】
この帯域圧縮処理は、例えば、図５に示すように１画面をＬＬＬＬ〜ＨＨまでの７分割から、Ａ０〜Ａ６３の６４分割して、それぞれの分割領域における輝度信号や色差信号の平均データ、または圧縮処理された画像データで例えば、ＭＰＥＧ２のデータである場合は各々の分割領域におけるＤＣＴ(Discrete Cosine Transform)係数の平均データを用いることができる。
【００５９】
ここで、図５におけるＬＬＬＬ〜ＨＨなどは、図６に示すウエーブレット変換の概念図のＬＬＬＬ〜ＨＨなどと対応する多重解像度解析を示すものである。例えば、図６におけるＨｈ１は、画像データを水平方向に１回目のウエーブレット変換を行った場合のサブバンドの広域成分を表しており、Ｌｖ１は垂直方向に１回目のウエーブレット変換を行った場合のサブバンドの低域成分を表しており、その他も同様に考える。
【００６０】
ここで、例えば、図６から分かるように、Ｈｈ１−＞Ｈｖ１と処理された部分はＨＨと記述し、Ｌｈ１−＞Ｈｖ１と処理された部分はＬＨと記述し、その他のＬＬＬＬ〜ＨＨの記述もこれに倣って記述してある。
【００６１】
また、ウェーブレット変換データである場合は、各々の分割領域におけるウェーブレット変換係数の平均データや、ウェーブレット変換係数から求めた各々の分割領域における画像の所定しきい値以上のエッジ数を特性データとして考えることもできる。
【００６２】
ここでは、簡単のため、図４に示すように、特性データメモリー系は所定記憶領域dinおよび d1〜d16、識別データメモリー系は、所定記憶領域einおよびe1〜e16を設定するものとして説明するが、各々のメモリー系のメモリー容量はさらに大きく設定して良く、例えば、１分から３０分間における画像シーンの特性データ、識別情報データが記憶できるように設定する。
【００６３】
ここで、記憶する特性データは記録する放送番組に応じた毎フレーム毎の特性データとする必要はなく、例えば、シーンチェンジ検出を行い、シーンチェンジ毎の特性データとしたり、また所定フレーム毎、例えば１０フレーム間隔毎の特性データとすることも考えられる。
【００６４】
画像信号がＭＰＥＧで圧縮処理されている場合は、Ｉピクチャーにおける画像データやＭＰＥＧデータストリームにおける所定データとするなど、所定ピクチャー毎に処理することも考えられる。
【００６５】
このようにＭＰＥＧデータストリームでＩピクチャーなど特定のピクチャー毎に処理を行なう場合は、ＭＰＥＧデータストリームの所定の識別情報データを検出することで、所定の処理を行なうことができる。
【００６６】
識別情報データは記憶する特性データに対応するものを記憶するので、上記の特性データの記憶容量に応じて、識別情報データの記憶容量も変化する。
【００６７】
このように、毎フレーム毎の画像データの特性データを連続して記憶することなく、シーンチェンジ毎や所定フレームの間隔に応じて記憶することで、メモリーの記憶容量を削減することができる。
【００６８】
入力した画像データの特性データは逐次、メモリー系の所定記憶領域 din に記憶され、所定記憶領域dinの特性データはすでに記憶されている記憶領域d0〜d16のデータと所定の演算処理が行われる。
【００６９】
ここで、所定の演算処理として、上記で述べた画面における各々の分割領域におけるデータを成分とする特性ベクトルを考え、ユークリッド距離または、その他のベクトル距離演算を考えることができる。
【００７０】
例えば、所定記憶領域dinに記憶された上記で述べた図５のような分割画面に対応するベクトル成分を、aｉ(ｉ= 0〜63）、特性データメモリー系２１のｎ記憶領域におけるベクトル成分をｂni(i = 0〜63)、とすると、ベクトル距離 L は、
L = (i=0Σ63｜ai - bni｜2 )1/2 (1.1)
または、
L = (i=0Σ63｜ai - bni｜ ) (1.2)
などのように演算することができる。
【００７１】
ここで、図４の例では、記憶領域d7におけるベクトル距離が最小 Lminで、所定のしきい値 Lth 以内であると仮定する。
Lmin ≦ Lth (1.3)
【００７２】
記憶領域d7に対応する記憶領域はe7で、この記憶領域e7に記憶されている識別情報データを所定記憶領域dinの識別情報データに割り当てるものとする。
【００７３】
上記のように特性データの所定演算が終了して、識別情報データの割り当てが決まったら、所定記憶領域dinの特性データは、特性データメモリー系の記憶領域 d0に記憶領域を移動する。
【００７４】
記憶領域d1に記憶されていた特性データは、記憶領域d2の領域に移動し、記憶領域di に記憶されていた特性データは、記憶領域di+1の領域に順次移動する。
【００７５】
同様に、割り当てが決まった識別情報データは所定記憶領域einに記憶されていたが、e0の記憶領域に移動し、e1の記憶領域の識別情報データはe2に移動し、eiの識別情報データは、ei+1に順次移動する。
【００７６】
ここで、上記で説明した特性データの所定演算において、演算値 Lmin が所定しきい値の範囲にない場合、すなわち、
Lmin > Lth (1.4)
の場合は、記憶領域e0〜e16 に記憶されている以外の識別情報データを割り当てるものとする。
【００７７】
通常は、簡単のため、識別情報データメモリー系に記憶されているe0〜e16のデータの中から最大値を検出し、その最大値を１インクリメントし、それが所定最大値を超えない場合は、そのデータ値を新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データ値として割り当てる。
【００７８】
その後の処理で、同じように所定最大値を超える場合は、新しく０を設定した値から順次１インクリメントしたデータ値を新しい識別情報データ値として割り当てる。
【００７９】
このように所定最大値を超えた場合に、新しく０設定したデータ値から１ずつインクリメントすることは、時系列的に考えれば、ここで設けたメモリー系の記憶容量よりも前の、古いデータを上書き、または捨てて新しいデータを順位割り当てることを意味している。
【００８０】
これは、放送番組などを処理対象とする場合に、あまり時間的に前の類似画像を検出して分類しても、見ている人の画像に対する記憶や印象が薄れて、分類処理してダイジェスト再生やスキミング動作、あるいは記録した内容の把握を目的とした動作に対して、あまり優位性が認められないであろうという仮定と、メモリー容量を大きくするより、ある程度の所定メモリー容量でシステムのコストを抑え所定の動作が行える方がユーザーに対して優位性が認められるであろうという仮定に基づいている。
【００８１】
例えば、記憶領域e0〜e16の記憶領域にはすでに、0000H 〜000FH（16進）の識別情報データが記憶されていて、上記（1.3) の条件の場合は、記憶領域d7の特性データには、0010Hの識別情報データを割り当てるものとする。
【００８２】
次の演算処理を行なう映像シーンでの識別情報データを割り当てが、所定しきい値より大きく、(1.4)の条件の場合は、上記で述べたように、e0〜e16における最大値は、000FH と仮定しているので、１インクリメントした、0010H を割り当てるように処理を行う。
【００８３】
ここで、識別情報データの割り当てがFFFFHでいっぱいになった場合は、0000Hに戻るものとする。
【００８４】
そして、前記したように、この0000Hから順次、１インクリメントするように識別情報データ値を割り当てるように動作を行う。
【００８５】
このように割り当てられた einの識別情報データを、記録する画像シーンのデータと共に所定記録媒体に記録し、再生時に検出を行うことで、同じ識別情報データの映像シーンは、複雑な信号処理や長い処理時間を待つことなく、すぐに類似画像であると判定できる。
【００８６】
上記の例では識別情報データを 0000Hのように２バイトで説明したが、これに限ることなく、さらに多くの識別情報データを設定できるようにしても良い。
【００８７】
特性データ記憶領域および識別情報データ記憶領域の容量が少なく、設定する識別情報データのバイト数が小さいと、類似画像でないにもかかわらず、同じ識別情報データが割り当てられる確率が高くなるので、類似画像検出の頻度を考慮してメモリー容量および識別情報データのバイト数を設定する必要がある。
【００８８】
（識別情報データ折り返り処理の説明）
図７は、識別情報データが順次増加し、最大値を超える場合の処理法を説明するための概念図である。
【００８９】
上記で説明したように、上記(1.4)式に示すように所定しきい値の範囲にない場合は、識別情報データメモリー系に記憶されているデータの最大値を検出し、１インクリメントして割り当てることになるが、図７の区間Ａｎに示すｂ点のようにFFFFHと識別情報データがいっぱいになった場合は、区間Ａｎでない区間Ａｎ＋１における最大値のｄ点を検出して１インクリメントする必要がある。
【００９０】
そのため、例えば、図７に示すように区間Ａｎと区間Ａｎ＋１のように区間を識別する区間識別データＰを設定し、識別情報データ値がいっぱいになり、データ値をリセットする毎に区間識別データＰが変化することを考える。
【００９１】
図７の例では、簡単のため、区間識別データＰの設定値として、０、１が交互に変化するようにしてあり、識別情報データ値がいっぱいになりFFFFHを超えて、設定すべき識別情報データ値を折り返す必要がある場合は、その折り返す前の区間の識別情報データの最大値は、動作初期区間Ａ０の場合を除き、FFFFHになるので、前記した条件式（1.4）の場合で類似画像検出が行なえず、識別情報データを新たに設定する場合も問題なく所定の信号処理を行なうことができる。
【００９２】
（メモリー記憶容量の一例）
ここで、識別情報データのメモリー容量を考えてみる。放送番組などの映像シーンを記録することを考えた場合に、特別な場合を除き、頻繁にシーンチェンジが起きる確率はあまり高くないと想定できるので、例えば、３０フレーム毎秒の画像を１０フレーム毎に特性データを記憶し、所定の演算を行うと仮定する。
【００９３】
また、類似画像が出現する時間間隔は、長い時間がたった後に出現する確率はあまり大きくないと仮定し、３０分間位の間で類似画像検出を行うことを考える。
【００９４】
例えば、１０フレーム毎にシーンチェンジが起こり、新しい識別情報データを割り当てると仮定するし、３０分では、
30（分）× 60（秒）× 10（フレーム／秒）= 18000
なので、前記した２バイトの識別情報データでも十分対応できることが分かり、識別情報データメモリー系２４の記憶容量は、高々、
18000 × 2（バイト） = 35（KByte）
となる。
【００９５】
また、特性データの記憶容量は、例えば、前記したように６４次のベクトル成分を考え、１成分１バイトとすると、３０分では、
18000 × １（バイト）× 64（成分）= 1.1（MByte)
となる。
【００９６】
上記で計算したメモリー容量は、画像分類演算の間隔をさらに広げれば、もっと少ないメモリー容量で対応できることが分かる。
【００９７】
（２）放送番組における識別情報データ値の特性例
図８は、ある放送番組を本発明の処理により画像分類した場合の時系列的なフレーム番号に対する割り当てられた識別情報データ値の特性である。
【００９８】
図８において（ａ）または（ｂ）のように同じ識別情報データが太線で水平方向に延びて各フレーム毎に継続する場合は、それに対応するフレーム番号の映像シーンは類似画像として分類される。
【００９９】
そして、類似画像が検出されない場合は、図８に示すように右上がりの太線で示す通り時間が経過すると共に識別情報データ値が増加するようになる。
【０１００】
また、図９は図８の識別情報データに対する出現頻度の特性で、（ｂ）の700が一番出現頻度（割り当て頻度）が大きく、（ａ）の０が２番目に大きいことがわかる。
【０１０１】
（３）画像分類処理系ブロック構成例
図１０は、前記した画像分類処理法による本発明の画像分類処理系でのブロック構成例である。
【０１０２】
本発明における特性信号検出手段として機能する特性データ検出系２０には、Ａ／Ｄ変換された情報信号としての所定の画像データ、または所定の帯域処理が施されたＭＰＥＧ２などの画像データが入力され、所定の特性信号として特性データが検出される。
【０１０３】
特性データ検出系２０からの信号は特性データメモリー系２１に入力され、所定の記憶領域に記憶される。
【０１０４】
演算処理系２２では、図４(１)に示すような特性データメモリー系２１に記憶されているデータと、逐次、特性データ検出系２０で検出される特性データに対してベクトル距離演算など所定の演算処理を行って、その演算結果をシステムコントローラー１７に入力する。
【０１０５】
また、システムコントローラー１７は、特性データメモリー系２１および図４(２)に示すような識別情報データメモリー系２４に記憶されている所定領域の各々のデータを順次、前記で説明したように、所定の記憶領域に移動するように制御する。
【０１０６】
これにより、逐次検出される特性データは、新しく特性データメモリー系２１に記憶されることになる。
【０１０７】
本発明における分類識別信号処理手段としても機能するシステムコントローラー１７では、演算処理系２２からの信号を受け取り、所定しきい値の範囲にあるか判定し、所定しきい値の範囲にある場合は、上記所定演算最小値が得られた特性データメモリー系２１のデータに対応した、識別情報データメモリー系２４に記憶された識別情報データを読み出し、演算処理を行った画像シーンの識別情報データとして割り当てて例えば次に説明する多重化処理系６に出力する。
【０１０８】
また、システムコントローラー１７は、演算処理系２２からの演算値が所定しきい値の範囲にない場合には、識別情報データメモリー系２４に記憶されている識別情報データ値の最大値を検出し、そのデータ値を１インクリメントし、それが所定最大値を超えない場合は、新しい識別情報データ値とし、１インクリメントすることで所定最大値を超える場合は、０を新しい識別情報データとし、以後の処理で同様にしきい値を超える場合は、この０から順次１ずつインクリメントしたデータを新しい識別情報データとして割り当てて例えば次に説明する多重化処理系６に出力する。
【０１０９】
（４）記録再生装置ブロック構成例
（記録処理系の説明）
図１１は本発明を適用し、映像(画像)／音声データに対してエンコード或いはデコードを施したときの情報信号記録再生装置のブロック構成例である。先ず始めに、記録処理系について説明する。
【０１１０】
入力した音声信号は音声Ａ／Ｄ変換処理系１において所定のＡ／Ｄ変換処理がなされ、音声エンコーダー処理系２でＭＰＥＧオーディオなど所定の帯域圧縮処理が行われ多重化処理系６に入力される。
【０１１１】
映像信号は映像Ａ／Ｄ変換処理系３で所定のＡ／Ｄ変換処理が行われ、映像エンコーダ処理系４ではＭＰＥＧ２など所定の帯域圧縮処理が行われ多重化処理系６に入力される。
【０１１２】
画像／音声分類処理系５は、本発明における分類識別信号処理手段として機能し、前記で説明したようなブロック構成で、映像Ａ／Ｄ変換処理系３からの信号または映像エンコーダー処理系４からの信号と共に音声エンコーダ処理系２からの信号が入力され、記録する放送番組などの映像シーンを、記録時に自動的に所定の分類整理、識別処理を行い、所定の識別情報データを生成して多重化処理系に入力する。
【０１１３】
この識別情報データは、点線で示すように、システムコントローラー１７を介して生成するようにしても良く、この場合はシステムコントローラー１７の制御により、またはシステムコントローラー１７において生成された所定の識別情報データが多重化処理系６に入力される。
【０１１４】
多重化処理系６では、入力した各々の信号に対して所定の多重化処理を行い、記録処理系７において誤り訂正符号付加やインターリーブ処理などの所定の記録処理を施し、所定の記録媒体系８に記録する。
【０１１５】
（再生処理系の説明）
次に再生処理系について説明する。所定の記録媒体系８から再生された情報信号は、再生処理系１０でデインターリーブ処理など所定の処理が行われた後、再生データ分離処理系１１に入力されて、記録時に多重化処理された所定の信号を各々分離処理する。これ等の再生処理系１０と再生データ分離処理系１１などで本発明における再生手段を構成する。
【０１１６】
分離処理された音声信号は音声デコード処理系１２に入力され、記録時に所定の圧縮処理された音声信号がデコード処理される。
【０１１７】
デコード処理された音声信号は、次の音声Ｄ／Ａ処理系１３に入力され所定のＤ／Ａ変換処理が行われた後、音声出力される。
【０１１８】
分離処理された映像信号は映像デコード処理系１４に入力され、記録時に所定の圧縮処理が行われた映像データがデコード処理され、デコード処理された映像データは次の映像Ｄ／Ａ変換処理系１５に入力されて所定のＤ／Ａ変換が行われた後、映像出力されるか、画像表示系３０により所定の画像表示が行なわれる。
【０１１９】
また、分離処理処理された所定の識別情報データは、本発明における識別情報信号検出手段として機能する識別信号検出系１６に入力され、ダイジェスト再生やスキミング再生処理に必要な識別情報データが検出されて、システムコントローラー１７に入力される。
【０１２０】
ダイジェスト再生やスキミング再生など所定の特殊再生動作を行いたい場合は、ユーザーはユーザー入力インターフェース（Ｉ／Ｆ）系１８を介して、システムコントローラー１７にコマンド入力を行う。
【０１２１】
システムコントローラー１７はユーザーからのコマンド情報を受け取り、本発明における再生制御手段として機能する再生制御系９を制御し、分類処理された画像系列の中からユーザーが所望する画像系列の再生が行われるように、記録媒体系８からの再生を制御する。
【０１２２】
縮小画像生成系３１は再生制御系９の制御の基に、所定の検出された再生画像を例えば水平方向と垂直方向に各々１／８に平均化処理や間引き処理など所定の信号処理により縮小画像を生成し、画像メモリー系３２では所定の処理がなされた縮小画像を前記した図２（１）または（２）に示す第１または第２の表示モードであるマルチ画像で表示できるように所定の縮小画像を所定系列分記憶して所定の画像系列分の画像が記憶された後に画像表示系３０に出力する。
そして、これ等の縮小画像生成系３１、画像メモリー系３２、画像表示系３０などで、本発明における表示処理手段を構成するが、ここでは、図２（１）または（２）に示す第１と第２の表示モードの表示を所定の操作に応じて切り替えて表示するか、又は表示を行うための表示信号を生成することも行われる。
【０１２３】
（５）動作フローチャートの一例
図１２は本発明における画像データから記録媒体への記録までの全体の動作を説明する動作フローチャートの一例である。ステップＳ０ からスタートし、ステップＳ１において、前記したように、識別情報データ値がいっぱいのＦＦＦＦＨになって設定データを折り返した場合のメモリー区間識別のために、区間識別データＰを設けておき、その初期設定Ｐ＝０を行い、ステップＳ２で、画像データを入力して、ステップＳ３で特性データ検出系２０により特性データを検出する。
【０１２４】
ステップＳ４において、上記検出した特性データから特性ベクトルを生成して、後のベクトル距離演算のため、ステップＳ５において特性データ用の所定のバッファメモリー領域に一時的に記憶する。
【０１２５】
ステップＳ６は、後に図１３で詳細に示す特性データ演算処理ルーチンで、演算処理系２２により、上記ステップＳ５のバッファメモリーに記憶されている特性ベクトルのデータを読み出し、これを基準ベクトルとして特性データメモリー系２１に記憶されているデータと所定の演算を行う。
【０１２６】
ステップＳ６で演算処理系２２により所定の演算処理が行われ、所定の識別情報データが、ステップＳ７において演算を行った基準ベクトルに対応する画像シーンに割り当てられて、システムコントローラー１７の制御の基に、ステップＳ８でその識別情報データは、識別情報データメモリ系２４の識別情報データ用のバッファメモリー領域に、一時的に記憶される。
【０１２７】
その後、ステップＳ９では、所定の圧縮処理を施された音声データ、画像データに対して多重化処理系６により所定の多重化処理が行われ、記録処理系７により、ステップＳ１０において記録媒体系８における所定の記録媒体に記録されるように、所定の記録処理が施される。
【０１２８】
ステップＳ１１では、動作を停止するかどうかの判定がなされ、停止する場合はステップＳ１３において、動作を終了し、動作を継続する場合は、ステップＳ１２に移行し、特性データ用バッファーメモリー領域に記憶されているデータと特性データメモリー系２１に記憶されている各データは所定のメモリー記憶領域に順次移動する。
【０１２９】
同様に、識別情報データ用バッファーメモリー領域に記憶されていたデータと識別情報データメモリー系２４に記憶されているデータも各データが所定のメモリー記憶領域に移動する。
【０１３０】
ステップＳ１２で特性データおよび識別情報データが所定のメモリー記憶領域に移動を行った後、ステップＳ２に戻り上記で述べた動作を繰り返す。
【０１３１】
（特性データ演算処理のフローチャート）
次に、演算処理系２２によって実行されるステップＳ６における特性データ演算処理のフローチャートについて説明する。図１３は、その動作フローチャートの一例であり、ステップＴ１で特性データメモリー系２１のメモリー領域番号と対応した演算回数の初期設定ｉ＝０を行う。
【０１３２】
ステップＴ２は、識別情報データの識別値の初期設定ｎ＝０を行い、ステップＴ３では特性データメモリー系２１の、すべての領域におけるデータと所定の演算処理が終了したかどうかの判定が行われる。
【０１３３】
ステップＴ３でＮＯの場合はまだ、特性データメモリー系２１すべてのデータと演算処理が終了していないので、これ以降の所定のベクトル距離演算ループに移行する。
【０１３４】
ステップＴ４では、特性データメモリー系２１から、メモリー領域ｉの所定の特性データベクトルを読み出し、ステップＴ５において所定の演算処理を行い、その演算値（ベクトル距離演算値）をＧｉとする。
【０１３５】
ステップＴ６において、演算値の最小値を求める処理を行うための初期値設定値を行うため、一番最初 ｉ＝０の演算値であるかどうかが判定され、ステップＴ７で最小値を求めるための初期設定Gmin= G0を行う。
【０１３６】
ステップＴ６で、一番最初の演算ではないと判定される場合は、ステップＴ９に移行し、演算値Giが、前の演算値Gminより小さいかの判定が行われ、ＹＥＳの場合はステップＴ１０においてGminを今の演算値Giで置き換えると共に、ステップＴ１１で識別情報データ値ｎを置き換えて ｎ＝ｉ として、ステップＴ８に移行する。
【０１３７】
ステップＴ６において、ＮＯの場合には、演算値は置き換えず、次のデータ演算を行うため、ステップＴ８に移行し特性データメモリー系のデータ読み出し領域を移動し、ｉを１インクリメントしてステップＴ３に戻り処理を繰り返す。
【０１３８】
ステップＴ３において、特性データメモリー系すべての所定領域との演算が終了したと判定された場合は、演算の結果の最小演算値が求まっているので、ステップＴ１２でそれが所定の設定しきい値Ｇth以内かどうかの比較処理が行われる。
【０１３９】
ステップＴ１３において、所定しきい値以内と判定される場合は、上記で説明した演算処理ループで求まった識別情報データ値ｎが、演算処理を行った映像シーンに対応する識別情報データ値となり、前記したステップＳ７の処理に移行し、識別情報データ値として割り当てられる。
【０１４０】
ステップＴ１３ においてＮＯの場合は、所定しきい値以内でないので、後の図１４で詳細に説明するステップＴ１４ に移行し、識別情報データメモリー系２４に記憶されているデータ値の最大値nmaxを算出する。そしてステップＴ１５では、ステップ１４で算出された最大値 nmax を１インクリメントした値を新しい識別情報データ値ｎとする。
【０１４１】
ステップＴ１６では、新しく設定された識別情報データ値ｎが、所定値の範囲である、ＦＦＦＦＨに収まっているかの判定がなされ、ＹＥＳの場合は、前記したステップＳ７に移行して、演算処理を行った映像シーンに対応する識別情報データ値となり、識別情報データ値として割り当てられる。
【０１４２】
ステップＴ１６でＮＯの場合は、割り当てようとする識別情報データの値が、許容値を超えるので、ステップＴ１７において一度ゼロクリアして識別情報データ値として割り当てることになり、ステップＴ１８でこのゼロクリアして設定したメモリー区間の識別データＰを、識別情報データ値の最大値がＦＦＦＦＨとなったメモリー区間の区間識別データＰが１の場合は０を、０の場合は１となるように反転して設定する。
【０１４３】
（識別情報データメモリー系記憶データの最大値算出処理Ｔ１４）
次に、上記で述べた、ステップＴ１４の識別情報データメモリー系２４に記憶されているデータの最大値をシステムコントローラー１７により算出する処理フローチャートについて図１４に示すフローチャートにより説明する。
【０１４４】
図１４において、ステップＡ１で、区間識別データＰの処理回数の初期設定ｊｐ＝１ とし、最大値算出の初期値として、ステップＡ２においてｊ＝０における識別情報データ値ｎ０を設定する。
【０１４５】
ステップＡ３で、処理回数が、識別情報データメモリー系２４の記憶領域の個数を超えないかどうかの判定がなされ、ＹＥＳの場合はステップＡ４に移行して、今までの処理における最大値ｎｍａｘと比較し、大きか小さいかの判定処理を行う。
【０１４６】
ステップＡ４でＹＥＳと判定された場合は、ステップＡ５でｎｍａｘをｎｊｐに置き換え、ステップＡ６で処理回数を１インクリメントし、ステップＡ３に戻り、処理を繰り返す。
【０１４７】
ステップＡ３でＮＯと判定された場合は、区間識別データＰでの識別情報データメモリー系２４の記憶領域すべてを比較し最大値が算出されたので、ステップＡ７において検出された最大値ｎｍａｘが、許容されている最大のＦＦＦＦＨと等しいかの判定がなされ、ＮＯの場合は、算出最大値として処理を終了し、前記した、ステップＴ１５に移行する。
【０１４８】
ステップＡ７でＹＥＳの場合は、ステップＡ８に移行し、区間識別データＰを反転し、異なるメモリー区間における最大値検出するため、ステップＡ１に戻り、最大値検出の処理をもう一度行なう。
【０１４９】
（再生表示モード１の動作フローチャート例）
図１５（１）〜（３）は、記録媒体系８からデータを読み出して画像データなどを再生する場合の動作フローチャートであり、前記したような類似画像を検出し、所定の識別分類処理を行い、識別頻度順に表示を行う場合の再生表示モード１における動作フローチャートの一例である。
【０１５０】
再生処理系１０により、図１５（１）のステップＢ０からスタートし、再生データ分離処理系１１を経由する識別信号検出系１６により、ステップＢ１で記録媒体系８からデータを再生する再生動作を行い、再生データを分離し、識別信号検出系１６により、ステップＢ２で所定の識別情報データを検出し、ステップＢ３の識別データ頻度算出処理に移行する。
【０１５１】
ステップＢ３の識別データ頻度算出処理は、システムコントローラー１７により、図１５（２）に示すような動作フローチャートで、ステップＣ０において所定のシーンチェンジ検出が行われ、ステップＣ１で所定のシーンチェンジが検出されるか判定される。
【０１５２】
シーンチェンジ検出は画像データのフレーム差分を検出することで容易に検出することができるが、すでに類似検出分類処理が行われているので、識別情報データの変化を検出することでもシーンチェンジを行うことも考えられる。
【０１５３】
すなわち、類似した画像系列が続きシーンチェンジがない場合は、識別情報データは同じ値が継続し、シーンチェンジが起きて類似画像シーンでないと分類された場合は識別情報データが前のフレームと異なるので、このような識別情報データの変化を検出することで所定のシーンチェンジ検出を行うことも考えられる。
【０１５４】
ステップＣ１で所定のシーンチェンジが検出された場合はステップＣ２に移行し、ステップＣ２で所定の分類毎の識別情報データ値ＩＤｎをカウントし、ステップＣ３に移行する。ここで、ｎは前記した図２（１）で説明したＡ〜Ｈのような画像分類系列を示す。
【０１５５】
ステップＣ１で所定のシーンチェンジが検出されない場合は、ステップＣ３に移行し、所定の再生区間が終了したかが判定され、ＮＯの場合はステップＣ０に戻り、上記の動作を繰り返し、ＹＥＳの場合は、ステップＣ４に移行し、カウント処理したＩＤｎを検出頻度の多い順番にソート処理を行い、その後、図１５（１）の動作フローチャートに示すステップＢ４の再生制御処理のフローに移行する。
【０１５６】
ステップＢ４の再生制御処理は、図１５（３）に示すような動作フローチャートで、ステップＤ０で所定のマルチ画面として表示できるように、表示する画像の数を決める識別情報データを算出する。
【０１５７】
例えば、前記したように所定のカウント処理、ソート処理され、例えば分類系列Ａにおいて、類似画像として分類された画像シーンが１０あり、表示する画像シーンが８の場合は、その１０のシーンからより新しいシーン８を選択するような処理を行う。
【０１５８】
システムコントローラー１７により、ステップＤ１では、上記のステップＤ０で算出された各分類画像系列のＩＤｎｍを検出する処理を行い、ステップＤ２で検出されるかの判定がなされ、ＹＥＳの場合はステップＤ３に移行し縮小画像処理系３１により所定の縮小画像生成処理が行われ、ステップＤ４で画像メモリ系３２の所定の画像メモリーの所定記憶領域に、図２に示したようなマルチ画面表示が行えるように、画像データを記憶する。
【０１５９】
ステップＤ２でＮＯの場合はステップＤ６に移行し、検出区間のスキップ処理を行い、ステップＤ１に戻り所定の処理を繰り返す。
【０１６０】
ステップＤ４の処理の後、システムコントローラー１７と再生制御系９により、ステップＤ５ではステップＤ０で算出された所定の識別情報データの画像シーン時点が所定の数検出できたかの判定がなされ、ＮＯの場合はステップＤ１に戻り、上記の所定の処理を繰り返し、ＹＥＳの場合は、図１５（１）の動作フローチャートのステップＢ５に移行する。
【０１６１】
ステップＢ５では所定の画像メモリー系３２に記憶された画像データをシステムコントローラー１７により制御されて読み出され、ステップＢ６で、システムコントローラー１７の制御により前記した図２（１）に示すような本発明における第１の表示モードで画像表示系３０に表示を行う。
【０１６２】
（再生表示モード２の動作フローチャート例）
図１６は、前記した図２（２）の表示のような、再生表示モード２の動作フローチャートの一例である。
【０１６３】
ステップＥ０からスタートし、ステップＥ１では、図２（１）に示すような分類表示された画面の中から所望の画像系列をユーザ入力により指定する。
【０１６４】
ステップＥ２では、システムコントローラー１７により、指定された画像系列における、図３で説明したような所定区間が再生できるように、所定の識別情報データを算出する処理を行い、Ｅ３の再生制御処理に移行する。
【０１６５】
ステップＥ３の再生制御処理は、前記図１５（３）で説明した動作フローチャートと同様な処理であり、重複するので説明は省略する。
【０１６６】
その後、ステップＥ４に移行し、システムコントローラー１７の制御により画像メモリ系３２から所定の画像読み出し処理を行い、ステップＥ５でシステムコントローラー１７により図２（２）に示すような本発明における第２の表示モードで画像表示系３０に表示を行う。
【０１６７】
なお、この再生表示モード２の動作では、ステップＥ３の再生制御処理の過程における図１５（３）に示すステップＤ２でＹＥＳの場合に逐次、表示を行うことで、ダイジェスト再生動作を行うことができ、このようにダイジェスト再生動作を行うことで、短時間に記録した内容を効果的に、効率良く把握することができる。
【０１６８】
図１７は、そのダイジェスト再生を行う場合の動作フローチャートの一例であり、ステップＦ０〜Ｆ２の動作フローは前記した図１５（３）におけるステップＤ０〜Ｄ２と同様な動作を行い、ステップＦ３では、前記で説明した図３に示すような検出された時点の所定区間を再生し表示する処理を行い、ステップＦ４で停止、または再生区間が終了したかの判定がなされ、ＹＥＳの場合はステップＦ６で動作を終了し、ＮＯの場合は、ステップＦ１に戻り所定のダイジェスト再生動作を繰り返す。
【０１６９】
【発明の効果】
以上、説明したように、本発明に係る情報信号処理装置並びに情報信号処理方法および情報信号再生装置によれば、放送番組などを記録する際に、自動的に画像シーンの分類、インデキシング処理が行われ、記録処理終了後、すぐに再生動作を行う場合でも、画像シーンの分類整理などの処理時間を待つことなく直ちに記録した画像シーンを所定の分類により画像系列として表示、再生することができる。
【０１７０】
表示された画像系列は分類頻度に応じた表示、再生となるので、ユーザーはどのような画像シーンが最も頻繁に現れたかを容易に知ることができ、これにより効果的に効率良く画像シーンの内容を把握することができる。
【０１７１】
また、頻度に応じた画像系列の表示からユーザーが指定する画像系列の各々の画像シーンを含む所定区間の画像シーンを再生表示することができるので、長時間記録した画像シーンの内容を効果的に効率良く、短時間に把握することができる。
【０１７２】
以上のことからユーザーは、記録した放送番組などの内容を、効果的にまた効率的に画像シーンを見て確認することができ、容易に自分の見たいと思う画像シーンを選択して効果的に、効率的にダイジェスト再生を行うことができる。
【図面の簡単な説明】
【図１】本発明の画像シーンの分類処理の動作原理を説明する説明図であり、（１）図は入力画像の画像系列を示す概念図、(２)図は類似画像毎に分類することを示す概念図である。
【図２】本発明による画像分類表示の概念を示す概念図であり、（１）図は第１の表示モードを示す概念図、(２)図は第２の表示モードを示す概念図である。
【図３】本発明の分類処理された画像シーンの再生区間を説明する説明図である。
【図４】本発明の動作原理を説明する説明図であり、（１）図は特性データの演算処理を示す説明図、(２)図は識別データを割り当てる処理を示す説明図である。
【図５】画面分割による特性データ（特性ベクトル）生成の説明図である。
【図６】ウエーブレット変換の概念を説明する概念図である。
【図７】識別情報データ値の折り返り処理方法を説明する説明図である。
【図８】本発明による識別情報データ値の時系列特性の一例を説明する説明図である。
【図９】本発明による識別情報データ値の頻度特性の一例を説明する説明図である。
【図１０】本発明の画像分類処理系の実施態様を示すブロック構成の一例を説明する構成図である。
【図１１】本発明の記録再生装置の実施態様を示すブロック構成の一例を説明する構成図である。
【図１２】本発明における画像データの入力から記録までの全体の動作を示すフローチャートの一例を説明する構成図である。
【図１３】本発明の特性データの算出処理を示すフローチャートの一例を説明する構成図である。
【図１４】本発明の識別情報のデータの最大値を算出処理する動作フローチャートの一例を説明する構成図である。
【図１５】本発明による再生表示モード１の動作フローチャート図の一例を説明する構成図であり、（１）図は表示再生モードの動作を示すフローチャート図、（２）図は識別データの頻度算出処理の動作を示すフローチャート図、（３）図は再生制御処理の動作を示すフローチャート図である。
【図１６】本発明による再生表示モード２の動作を示すフローチャート図である。
【図１７】本発明による再生表示モード２の動作においてダイジェスト再生の動作を示すフローチャート図である。
【符号の説明】
１：音声Ａ／Ｄ変換処理系、 ２：音声エンコーダー処理系、
３：映像Ａ／Ｄ変換処理系、 ４：映像エンコーダー処理系、
５：映像／音声分類処理系、 ６：多重化処理系、 ７：記録処理系、
８：記録媒体系、 ９：再生制御系、 １０：再生処理系、
１１：再生データ分離処理系、 １２：音声デコード処理系、
１３：音声Ｄ／Ａ処理系、 １４：映像デコード処理系、
１５：映像Ｄ／Ａ処理系、 １６：識別信号検出系、
１７：システムコントローラー、 １８：ユーザー入力Ｉ／Ｆ系、
２０：特性データ検出系、 ２１：特性データメモリー系、
２２：演算処理系、 ２３：識別情報データ生成系、
２４：識別情報データメモリー系、 ３０：画像表示系、
３１：縮小画像生成系、 ３２：画像メモリー系
Claims (12)
- 所定の情報信号から所定の特性信号を検出する特性信号検出手段と、
上記特性信号検出手段からの特性信号に応じて上記情報信号を記録すると同時に所定の分類または識別を行う分類識別信号処理手段と、
上記分類識別信号処理手段からの信号により、上記分類または識別の所定の頻度に応じた第１の所定表示を行う第１の表示モードと、または第１の表示モードにおける所定部分の情報信号を含み所定の時間系列の第２の所定表示を行う第２の表示モードとを行うための表示信号を生成する表示処理手段と
を備えたことを特徴とする情報信号処理装置。 - 上記情報信号は画像信号または画像信号を所定の圧縮処理を施した信号とする請求項１に記載の情報信号処理装置。
- 上記分類または識別は上記情報信号の所定類似性の所定許容範囲とする請求項１に記載の情報信号処理装置。
- 上記第１の所定表示は水平方向または垂直方向の系列に上記情報信号を所定類似性の所定許容範囲毎の表示とし、上記第２の所定表示はその水平方向または垂直方向の１系列における所定信号を含み、所定信号変化時またはその近傍または所定時間間隔の信号を水平方向または垂直方向の系列に表示する請求項１に記載の情報信号処理装置。
- 所定の情報信号から所定の特性信号を検出し、
上記特性信号の検出に応じて上記情報信号を記録すると同時に所定の分類または識別を行い、上記分類または識別の所定の頻度に応じた第１の所定表示を行うか、または第１の所定表示における所定部分を含む情報信号を所定の時間系列により第２の所定表示を行うか、または、上記第１の表示と第２の表示を所定の操作に応じて切り換えて表示するか、または表示を行うための表示信号を生成する
ことを特徴とする情報信号処理方法。 - 上記情報信号は画像信号または画像信号を所定の圧縮処理を施した信号とする請求項５に記載の情報信号処理方法。
- 上記分類または識別は上記情報信号の所定類似性の所定許容範囲とする請求項５に記載の情報信号処理方法。
- 上記第１の所定表示は水平方向または垂直方向の系列に上記情報信号を所定類似性の所定許容範囲毎の表示とし、上記第２の所定表示はその水平方向または垂直方向の１系列における所定信号を含み、所定信号変化時またはその近傍または所定時間間隔の信号を水平方向または垂直方向の系列に表示する請求項５に記載の情報信号処理方法。
- 所定の情報信号と、その情報信号における所定時点または所定区間を所定の分類または識別を行うことができる識別情報信号が記録された所定の記録媒体から上記情報信号および識別情報信号を再生する再生手段と、
上記再生手段から上記識別情報信号を検出する識別情報信号検出手段と、
上記識別情報信号検出手段からの信号により、上記分類または識別の所定の頻度に応じた第１の所定表示を行うように第１のモードの再生を行うか、または第１の所定表示における所定部分を含む情報信号を所定の時間系列による第２の所定表示を行うように第２のモードの再生を行うか、または上記第１の表示と第２の表示を所定の操作により切り換えて表示できるように再生する再生制御手段と
を備えたことを特徴とする情報信号再生装置。 - 上記情報信号は画像信号または画像信号を所定の圧縮処理を施した信号とする請求項９に記載の情報信号再生装置。
- 上記分類または識別は上記情報信号の所定類似性の所定許容範囲とする請求項９に記載の情報信号再生装置。
- 上記第１のモードの再生は上記情報信号を所定類似性の所定許容範囲毎に再生する再生動作とし、
上記第２のモードの再生は上記第１のモード再生における所定の１系列における所定信号を含み、
所定信号変化時またはその近傍または所定時間間隔の信号を再生する再生動作とした請求項９に記載の情報信号再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001004932A JP4379666B2 (ja) | 2001-01-12 | 2001-01-12 | 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001004932A JP4379666B2 (ja) | 2001-01-12 | 2001-01-12 | 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002209181A JP2002209181A (ja) | 2002-07-26 |
| JP4379666B2 true JP4379666B2 (ja) | 2009-12-09 |
Family
ID=18873049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001004932A Expired - Fee Related JP4379666B2 (ja) | 2001-01-12 | 2001-01-12 | 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4379666B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009089065A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | 電子機器および顔画像表示装置 |
| WO2009136507A1 (ja) * | 2008-05-09 | 2009-11-12 | パナソニック株式会社 | リンク情報生成装置、画像記録装置、画像再生装置、記録媒体、リンク情報生成方法、画像記録方法、画像再生方法、プログラム、及び集積回路 |
-
2001
- 2001-01-12 JP JP2001004932A patent/JP4379666B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002209181A (ja) | 2002-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3667262B2 (ja) | ビデオスキミング方法及び装置 | |
| US6025886A (en) | Scene-change-point detecting method and moving-picture editing/displaying method | |
| JP4256940B2 (ja) | 可視索引付けシステムのための重要情景検出及びフレームフィルタリング | |
| JP4749518B2 (ja) | 可視索引付けシステム | |
| US7529466B2 (en) | Signal processing method and signal processing apparatus | |
| TW383532B (en) | Recording/playback apparatus, recording/playback method and recording medium | |
| US7362950B2 (en) | Method and apparatus for controlling reproduction of video contents | |
| US20050180580A1 (en) | Information-signal process apparatus and information-signal processing method | |
| US20030090505A1 (en) | Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds | |
| JP4039873B2 (ja) | 映像情報記録再生装置 | |
| JP4253139B2 (ja) | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 | |
| WO2002021529A1 (en) | An apparatus for reproducing an information signal stored on a storage medium | |
| JPWO2006016605A1 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| JP4830379B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP4913288B2 (ja) | 情報信号処理装置及び情報信号処理方法 | |
| US20040223739A1 (en) | Disc apparatus, disc recording method, disc playback method, recording medium, and program | |
| JP2002344852A (ja) | 情報信号処理装置および情報信号処理方法 | |
| JP4667356B2 (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| JP4379666B2 (ja) | 情報信号処理装置並びに情報信号処理方法および情報信号再生装置 | |
| JP4453204B2 (ja) | 情報信号処理装置、情報信号処理方法並びに情報信号記録装置および情報信号記録媒体 | |
| US6408030B1 (en) | Scene-change-point detecting method and moving-picture editing/displaying method | |
| JP4198331B2 (ja) | 録画装置 | |
| KR100821023B1 (ko) | 영상 신호 기록 재생 장치, 영상 신호 기록 재생 방법, 및기록 매체 | |
| JP2008153920A (ja) | 動画像一覧表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090827 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090909 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |