JP4066454B2 - オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法に関し、特にオーディオビデオデータを記憶媒体に記録する際に用いるオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法に関する。
【０００２】
【従来の技術】
デジタルビデオ（ＤＶ）テープやアナログビデオテープレコーダ（ＶＴＲ）からのオーディオビデオデータ（音声データ、画像（動画を含む）データ及び記録日時を示す日時データを含む、本明細書中で同じ）を、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅ Ｄｉｓｃ）のような容量の大きい記憶媒体に記録する場合、複数のビデオ映像を含むオーディオビデオデータを一枚のＤＶＤにまとめて記録する場合がある。その場合、一枚のＤＶＤの中にどのような内容のオーディオビデオデータが記録されているかは、別途記録していないときには、内容を一通り見なければならなくなる。
【０００３】
そのような面倒を避けるための技術が知られている。例えば、以下のような技術である。
まず、例えば、特徴のあるシーンごと、又は、まとめて見たいシーンごとなどで頭出しを行えるように、一枚のＤＶＤに格納されたオーディオビデオデータを複数のチャプタに区切る。次に、各チャプタごとの先頭画面のサムネイル（静止画）を、そのチャプタの代表画像として抽出する。そして、ディスプレイの表示画面中に、抽出した全てのサムネイルを同時に表示する（又は一部のサムネイルを表示し、残りはスクロールで表示可能とする）。このようにすると、一つの表示画面で、複数のビデオ映像の代表画像一覧を見られるので、ＤＶＤ中のオーディオビデオデータの内容を短時間で把握することができる。そして、各サムネイルごとの頭出しを容易に行うことが出来る。
【０００４】
ここで、オーディオビデオデータを複数のチャプタに自動的に区切る方法としては、所定の条件を満たすオーディオビデオデータ（画像データ及び音声データ）の変化を検出し、その場所で区切る方法や、オーディオビデオデータ上に記録されたマーカを検出してその場所で区切る方法などが知られている。自動的に代表画像を抽出してサムネイル（静止画）とする方法としては、区切られたチャプタの先頭画面を代表画像とする方法などが知られている。
【０００５】
ただし、オーディオビデオデータの変化やオーディオビデオデータ上のマーカだけでは、適切な位置でオーディオビデオデータを区切れず、所望のチャプタを構成できない場合がある。また、サムネイルが静止画の場合、代表画像を適切に選択しないと、そのチャプタの内容を的確に把握することが困難となる場合がある。
複数のビデオ映像を有するオーディオビデオデータの区切りを自動的に、より適切に見出し、所望のチャプタを構成可能な技術が望まれている。的確にチャプタの内容を把握可能なサムネイルを生成することが可能な技術が望まれている。
【０００６】
関連する技術として、特開２００２−１５２６３６号公報（特許文献１）に自動チャプタ作成機能付き記録再生装置の技術が開示されている（関連：特開２００２−１５２６６５（特許文献２）、特開２００２−１５２６６６（特許文献３））。
この技術の自動チャプタ作成機能付き記録再生装置は、記録再生用媒体と、記録処理・再生処理手段と、表示信号導出手段と、システム制御手段と、一時停止手段とを有する装置である。ここで、記録再生用媒体は、プログラムを含むビデオ情報が記録されるビデオ情報記録領域と、ビデオ情報を記録・再生するための管理情報が記録されるビデオ管理情報記録領域と、プログラムの各チャプタを管理するためのチャプタ管理情報の記録領域とを少なくとも有する。記録処理・再生処理手段は、記録再生用媒体に、情報を記録・また記録情報を再生する。表示信号導出手段は、再生処理手段からの再生信号をディスプレイに供給する。システム制御手段は、記録処理・再生処理手段および表示信号導出手段を制御する。一時停止手段は、システム制御手段を介して全気記録処理手段に対して記録処理の一時停止を行わせる。そして、この装置は、一時停止手段が一時停止を実行したときと、録画が再開されたときの録画情報の切れ目をチャプタの境界として、チャプタ管理情報に登録する手段を有したことを特徴とする。
この技術の目的は、多数のプログラム（オーディオビデオデータ）が連続して記録されるような記憶媒体に対してチャプタ及びサムネイルを自動的に作成する自動チャプタ作成機能付き記録再生装置を提供することにある。
【０００７】
この技術では、オーディオビデオデータを記録中にオーディオビデオデータが一時停止した場合、それをチャプタの区切りとして複数のチャプタを決定する。そして、各チャプタの先頭画面をサムネイル（静止画）として取り出し、代表画面一覧を生成する。チャプタの編集は、手動で行うことも可能である。
【０００８】
【特許文献１】
特開２００２−１５２６３６号公報
【特許文献２】
特開２００２−１５２６６５号公報
【特許文献３】
特開２００２−１５２６６６号公報
【０００９】
【発明が解決しようとする課題】
従って、本発明の目的は、複数の映像を有するオーディオビデオデータを一つの記憶媒体に格納する場合に、格納されたオーディオビデオデータの内容を迅速且つ的確に把握できるように格納可能なオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法を提供することにある。
【００１０】
また、本発明の他の目的は、複数の映像を有するオーディオビデオデータを一つの記憶媒体に格納する場合に、オーディオビデオデータの区切りを自動的に、より適切に見出し、的確にチャプタを構成可能なオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法を提供することにある。
【００１１】
本発明の更に他の目的は、複数の映像を有するオーディオビデオデータを一つの記憶媒体に格納する場合に、区切られたチャプタごとの内容を的確に把握できるサムネイルを自動的に生成することが可能なオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法を提供することにある。
【００１２】
本発明の別の目的は、複数の映像を有するオーディオビデオデータを一つの記憶媒体に格納する場合に、その内容を容易に把握できるメニュー画面を自動的に作成可能なオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法を提供することにある。
【００１３】
【課題を解決するための手段】
以下に、［発明の実施の形態]で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明の実施の形態］との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１４】
従って、上記課題を解決するために、本発明のオーサリング機能付き信号処理装置は、データ処理部（２−１）と、書き込み制御部（１６）とを具備する。
データ処理部（２−１）は、オーディオビデオデータ（Ａ）をチャプタごとに分割して生成される複数のチャプタの各々ごとに動画サムネイル（Ｆ１、Ｊ）を作成し、前記動画サムネイル（Ｆ１、Ｊ）を含むメニュー画面データ（Ｈ１、Ｈ２）を作成する。書き込み制御部（１６）は、メニュー画面データ（Ｈ１、Ｈ２）を記憶媒体に記録する制御を行う。
ここで、オーディオビデオデータ（Ａ）は、複数の画像データと、その画像データの記録日時を示す日時データ（Ｔ０）と、オーディオビデオデータ（Ａ）におけるその画像データの位置を示す位置データ（ｔ０）とを含む。メニュー画面データ（Ｈ１、Ｈ２）は、その複数のチャプタのうちの一部又は全部の動画サムネイル（Ｆ１、Ｊ）を同時に表示するメニュー画面（５０）を示す。
本発明により、記憶媒体に格納されたオーディオビデオデータの内容は、チャプタごとの動画サムネイルが纏まって表示されるメニュー画面で把握される。すなわち、記憶媒体に格納されたオーディオビデオデータの内容を迅速且つ的確に把握できるように格納可能となる。
ここで、記録媒体としては、ＤＶＤやＲＯＭ、ＲＡＭ、ＨＤ、ＣＤ、ＦＤが例示される。データ処理部（２−１）は、メニュー画面を作成するための条件（Ｂ、Ｃ）を参照して、上記処理を行っても良い。その場合、ユーザの考えを反映できる。
【００１５】
上記のオーサリング機能付き信号処理装置において、データ処理部（２−１）は、データ作成部（２−２）と、メニュー画面作成部（１５）とを備える。
データ作成部（２−２）は、オーディオビデオデータ（Ａ）を分割してその複数のチャプタを生成し、その複数のチャプタの各々ごとに動画サムネイル（Ｆ１）を作成し、動画サムネイル（Ｆ１）に関するデータを示す動画サムネイルデータ（Ｌ）と、その複数のチャプタに関する制御情報を示す制御情報データ（Ｇ１）とを作成する。メニュー画面作成部（１５）は、動画サムネイルデータ（Ｌ）と制御情報データ（Ｇ１）とに基づいて、メニュー画面データ（Ｈ１）を作成する。
ここで、動画サムネイルデータ（Ｌ）としては、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）が例示される。また、オーディオビデオデータ（Ａ）をチャプタに分割する方法は、オーディオビデオデータ（Ａ）に含まれる日時データ（Ｔ０）や画像データ、音声データを用いて行う方法に例示される。
【００１６】
上記のオーサリング機能付き信号処理装置において、データ処理部（２−１）は、日時データ（Ｔ０）に基づいて、オーディオビデオデータ（Ａ）を分割してその複数のチャプタを生成する。
日時データ（Ｔ０：画像データの記録日時を示す）を用いてチャプタの分割を行うので、オーディオビデオデータ（Ａ）における内容の関連するシーンを集めることが出来、自動でチャプタを適切に区切ることができる。すなわち、オーディオビデオデータの区切りを自動的に、より適切に見出し、的確にチャプタを構成可能となる。
【００１７】
上記のオーサリング機能付き信号処理装置において、データ作成部（２−２）は、データ前処理部（２−３）と、動画サムネイル作成部（１３）と、制御情報データ作成部（１４）とを備える。
データ前処理部（２−３）は、オーディオビデオデータ（Ａ）を分割してその複数のチャプタを生成し、その複数のチャプタに関するデータを示すチャプタデータ（Ｅ）と、オーディオビデオデータ（Ａ）を符号化した映像符号化データ（Ｄ）とを作成する。動画サムネイル作成部（１３）は、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、動画サムネイルデータ（Ｌ）を作成する。制御情報データ作成部（１４）は、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、制御情報データ（Ｇ１）を作成する。
ここで、チャプタデータ（Ｅ）としては、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）が例示される。ただし、チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。また、チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。
【００１８】
上記のオーサリング機能付き信号処理装置において、データ前処理部（２−３）は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に基づいて、映像符号化データ（Ｄ）を作成する。
【００１９】
上記のオーサリング機能付き信号処理装置において、動画サムネイル作成部（１３）は、ハイライトシーン検出部（２６）と、作成手法選択部（２７）と、作成手法選択部（２８）と、テーブル作成部（２９）とを備える。
ハイライトシーン検出部（２６）は、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、ハイライトシーンの有無を判定する。ここで、そのハイライトシーンは、画素差分値（Δ）が基準値以上となる映像符号化データ（Ｄ）である。その基準値は、可変である。作成手法選択部（２７）は、そのハイライトシーンの有無に基づいて、そのチャプタごとに、動画サムネイル（Ｆ１）の作成方法を、予め設定された作成方法から選択する。作成手法実行部（２８）は、その選択された作成方法に基づいて、そのチャプタごとに、動画サムネイル（Ｆ１）を作成する。テーブル作成部（２９）は、作成された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を生成する。
ただし、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
ここで、その作成方法としては、そのハイライトシーンが無い場合、映像符号化データ（Ｄ）からフレームを間引いて動画サムネイル（Ｆ１）とし、そのハイライトシーンが有る場合、そのハイライトシーンを動画サムネイル（Ｆ１）とする方法が例示される。
本発明により、ハイライトシーンを用いることで、区切られたチャプタごとの内容を的確に把握できるサムネイルを自動的に作成することが可能となる。
【００２０】
上記のオーサリング機能付き信号処理装置において、動画サムネイル作成部（１３ａ）は、データ検出部（５６）と、データ解析部（５７）と、データ抽出部（５８）と、テーブル作成部（５９）とを備える。
データ検出部（５６）は、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の位置を検出する。データ解析部（５７）は、検出されたそのＧＯＰに基づいて、そのチャプタごとに、そのＧＯＰ単位の符号量（Ｒ）と位置データ（ｔ０）とを関連付けた符号量テーブルを作成する。データ抽出部（５８）は、その符号量テーブルに基づいて、そのチャプタごとに、符号量（Ｒ）が最大となるそのＧＯＰを含む連続した所定の時間（２×Δｔ１）の映像符号化データ（Ｄ）を動画サムネイル（Ｆ１）として抽出する。テーブル作成部（５９）は、抽出された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を生成する。
ただし、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
本発明により、符号量（Ｒ）が最大となるそのＧＯＰを含むシーンを用いることで、区切られたチャプタごとの内容を的確に把握できるサムネイルを自動的に作成することが可能となる。
【００２１】
上記のオーサリング機能付き信号処理装置において、動画サムネイル作成部（１３ｂ）は、データ検出部（７６）と、データ解析部（７７）と、データ抽出部（７８）と、テーブル作成部（７９）とを備える。
データ検出部（７６）は、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、ＧＯＰの位置を検出し、検出されたそのＧＯＰごとに、所定の色を示す画素データに対して、所定のポイントを付加する。データ解析部（７７）は、そのポイントに基づいて、そのチャプタごとに、そのＧＯＰごとのポイントの合計（Ｓ）と位置データ（ｔ０）とを関連付けたポイントテーブルを作成する。データ抽出部（７８）は、そのポイントテーブルに基づいて、そのチャプタごとに、ポイントの合計（Ｓ）が最大となるそのＧＯＰを含む連続した所定の時間（２×Δｔ２）の映像符号化データ（Ｄ）を動画サムネイル（Ｆ１）として抽出する。テーブル作成部（７９）は、抽出された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を生成する。
ただし、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
本発明により、所定の色を示す画素データを多く含むシーンを用いるので、区切られたチャプタごとの内容を的確に把握できるサムネイルを自動的に生成することが可能となる。例えば、所定の色を人間の肌の色にすれば、人間が多く出てくる画面を取り出すことが出来る。
【００２２】
上記のオーサリング機能付き信号処理装置において、データ処理部（２ａ−１）は、データ前処理部（２ａ−２）と、メニュー画面作成部（１５ａ）とを備える。
データ前処理部（２ａ−２）は、オーディオビデオデータ（Ａ）を分割してその複数のチャプタを生成し、その複数のチャプタに関するデータを示すチャプタデータ（Ｅ）を作成し、オーディオビデオデータ（Ａ）を圧縮した動画データ（Ｊ）を作成して動画データ（Ｊ）に関するデータを示す動画サムネイルデータ（Ｋ）を作成する。メニュー画面作成部（１５ａ）は、動画サムネイルデータ（Ｋ）とチャプタデータ（Ｅ）とに基づいて、メニュー画面データ（Ｈ２）を作成する。
ここで、チャプタデータ（Ｅ）としては、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）が例示される。ただし、チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。また、チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。
また、動画サムネイルデータ（Ｋ）としては、オーディオビデオデータ（Ａ）を圧縮した動画データ（Ｊ）と映像符号化データ（Ｄ）とを関連付けた動画データテーブル（Ｋ）に例示される。動画データ（Ｊ）は、オーディオビデオデータ（Ａ）を符号化する過程で算出される符号化データに基づいて生成される。
【００２３】
上記のオーサリング機能付き信号処理装置において、データ前処理部（２ａ−２）は、オーディオビデオデータ（Ａ）を符号化した映像符号化データ（Ｄ）を更に作成し、その符号化の際にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）演算で算出されるＤＣ係数に基づいて、動画データ（Ｊ）を作成する。
【００２４】
上記のオーサリング機能付き信号処理装置において、データ前処理部（２ａ−２）は、エンコード部（１１、１１ａ）と、記録日時解析部（１２）とを含む。
エンコード部（１１、１１ａ）は、オーディオビデオデータ（Ａ）に基づいて、映像符号化データ（Ｄ）を作成する。記録日時解析部（１２）は、日時データ（Ｔ０）に基づいて、オーディオビデオデータ（Ａ）を複数のチャプタに分割し、チャプタデータ（Ｅ）を作成する。
【００２５】
上記のオーサリング機能付き信号処理装置において、記録日時解析部（１２）は、チャプタ分割部（２１）と、テーブル生成部（２３）とを備える。
チャプタ分割部（２１）は、日時データ（Ｔ０）の連続性が無い箇所をディオビデオデータ（Ａ）の区切りとして、その複数のチャプタに分割する。テーブル生成部（２３）は、チャプタテーブル（Ｅ）を含むチャプタデータ（Ｅ）を作成する。
ここで、チャプタテーブル（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けている。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。
【００２６】
上記のオーサリング機能付き信号処理装置において、記録日時解析部（１２）は、その複数のチャプタの数を予め設定された最大チャプタ数（Ｎ）に制限するチャプタ制限部（２２）を更に備える。
【００２７】
上記課題を解決するために、本発明のＤＶＤ装置は、オーディオビデオデータ（Ａ）の入力に基づいて、メニュー画面データ（Ｈ１、Ｈ２）を出力する上記の各項のいずれか一項に記載のオーサリング機能付き信号処理装置と、その記憶媒体にメニュー画面データ（Ｈ１、Ｈ２）を書き込む駆動部（３）とを具備する。
ここで、記録媒体としては、ＤＶＤやＲＯＭ、ＲＡＭ、ＨＤ、ＣＤ、ＦＤが例示される。
【００２８】
従って、上記課題を解決するために、本発明のオーサリングを含む信号処理方法は、（ａ）〜（ｂ）ステップを具備する。
（ａ）ステップは、オーディオビデオデータ（Ａ）をチャプタごとに分割して生成される複数のチャプタの各々ごとに動画サムネイル（Ｆ１、Ｊ）を作成し、動画サムネイル（Ｆ１、Ｊ）を含むメニュー画面データ（Ｈ１、Ｈ２）を作成する。ここで、オーディオビデオデータ（Ａ）は、複数の画像データと、その画像データの記録日時を示す日時データ（Ｔ０）と、オーディオビデオデータ（Ａ）におけるその画像データの位置を示す位置データ（ｔ０）を含む。メニュー画面データ（Ｈ１、Ｈ２）は、その複数のチャプタのうちの一部又は全部の動画サムネイル（Ｆ１、Ｊ）を同時に表示するメニュー画面（５０）を示す。（ｂ）ステップは、メニュー画面データ（Ｈ１、Ｈ２）を記憶媒体に記録する。
ここで、記録媒体としては、ＤＶＤやＲＯＭ、ＲＡＭ、ＨＤ、ＣＤ、ＦＤが例示される。
【００２９】
上記のオーサリングを含む信号処理方法において、（ａ）ステップは、（ａ１）から（ａ５）ステップを備える。
（ａ１）ステップは、オーディオビデオデータ（Ａ）に基づいて、オーディオビデオデータ（Ａ）を符号化した映像符号化データ（Ｄ）を作成する。（ａ２）ステップは、日時データ（Ｔ０）に基づいて、オーディオビデオデータ（Ａ）を分割して複数のチャプタを生成し、そのチャプタに関するデータを示すチャプタデータ（Ｅ）を作成する。（ａ３）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、その複数のチャプタの各々ごとに動画サムネイル（Ｆ１）を作成し、複数の動画サムネイル（Ｆ１）に関するデータを示す動画サムネイルデータ（Ｌ）を作成する。（ａ４）ステップは、映像符号化データ（Ｄ）とチャプタテーブル（Ｅ）とに基づいて、その複数のチャプタに関する制御情報を示す制御情報データ（Ｇ１）を作成する。（ａ５）ステップは、動画サムネイルデータ（Ｌ）と制御情報データ（Ｇ１）とに基づいて、メニュー画面データ（Ｈ１）を作成する。
【００３０】
上記のオーサリングを含む信号処理方法において、（ａ３）ステップは、（ａａ１）から（ａａ５）ステップを備える。
（ａａ１）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、映像符号化データ（Ｄ）のうちの画素差分値（Δ）が基準値以上となるハイライトシーンを検出する。ここで、チャプタデータ（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ａａ２）ステップは、そのハイライトシーンの長さが指定の再生時間と等しくなるようにその基準値を変化させ、等しくできればそのハイライトシーン有りと判定してそのハイライトシーンと位置データ（ｔ０）とを関連付けた差分値テーブルを生成する。等しくできなければそのハイライトシーン無しと判定する。（ａａ３）ステップは、そのハイライトシーンの有無、及び、そのハイライトシーンの状況に基づいて、そのチャプタごとに、動画サムネイル（Ｆ１）の作成方法を、予め設定された作成方法から選択する。（ａａ４）ステップは、その選択された作成方法に基づいて、そのチャプタごとに、動画サムネイル（Ｆ１）を作成する。（ａａ５）ステップは、作成された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を作成する。ここで、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
ただし、その作成方法は、そのハイライトシーンが無い場合、映像符号化データ（Ｄ）からフレームを間引いて動画サムネイル（Ｆ１）とする。そのハイライトシーンが複数有る場合、複数のそのハイライトシーンを連結させて動画サムネイル（Ｆ１）とする。そのハイライトシーンが一つしかない場合、そのハイライトシーンをそのまま動画サムネイル（Ｆ１）とする。
【００３１】
上記のオーサリングを含む信号処理方法において、（ａ３）ステップは、（ａａ６）から（ａａ９）ステップを備える。
（ａ３）ステップは、
（ａａ６）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、ＧＯＰの位置を検出する。ここで、チャプタデータ（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ａａ７）ステップは、検出されたそのＧＯＰに基づいて、そのチャプタごとに、そのＧＯＰ単位の符号量（Ｒ）と位置データ（ｔ０）とを関連付けた符号量テーブルを作成する。（ａａ８）ステップは、その符号量テーブルに基づいて、そのチャプタごとに、符号量（Ｒ）が最大となるそのＧＯＰを含む連続した所定の時間（２×Δｔ１）の映像符号化データ（Ｄ）を動画サムネイル（Ｆ１）として抽出する。（ａａ９）ステップは、抽出された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を作成する。ここで、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
【００３２】
上記のオーサリングを含む信号処理方法において、（ａ３）ステップは、（ａａ１０）から（ａａ１４）ステップを備える。
（ａａ１０）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、ＧＯＰの位置を検出する。ここで、チャプタデータ（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ａａ１１）ステップは、検出されたそのＧＯＰごとに、所定の色を示す画素データに対して、所定のポイントを付加する。（ａａ１２）ステップは、そのポイントに基づいて、そのチャプタごとに、そのＧＯＰごとのポイントの合計（Ｓ）と位置データ（ｔ０）とを関連付けたポイントテーブルを作成する。（ａａ１３）ステップは、そのポイントテーブルに基づいて、そのチャプタごとに、ポイントの合計（Ｓ）が最大となるそのＧＯＰを含む連続した所定の時間（２×Δｔ２）の映像符号化データ（Ｄ）を動画サムネイル（Ｆ１）として抽出する。（ａａ１４）ステップは、抽出された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を作成する。ここで、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
【００３３】
上記のオーサリングを含む信号処理方法において、（ａ）ステップは、（ａ６）〜（ａ８）ステップを具備する。
（ａ６）ステップは、オーディオビデオデータ（Ａ）に基づいて、オーディオビデオデータ（Ａ）を符号化した映像符号化データ（Ｄ）と、オーディオビデオデータ（Ａ）を圧縮した動画データ（Ｊ）を作成して動画データ（Ｊ）に関するデータを示す動画サムネイルデータ（Ｋ）とを作成する。ここで、動画サムネイルデータ（Ｋ）は、動画データ（Ｊ）と映像符号化データ（Ｄ）とを関連付けた動画データテーブル（Ｋ）を含む。動画データ（Ｊ）は、その符号化の過程で算出される符号化データに基づいて作成される。（ａ７）ステップは、日時データ（Ｔ０）に基づいて、オーディオビデオデータ（Ａ）を分割して複数のチャプタを生成し、チャプタに関するデータを示すチャプタデータ（Ｅ）を作成する。ここで、チャプタデータ（Ｅ）は、複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ａ８）ステップは、動画サムネイルデータ（Ｋ）とチャプタデータ（Ｅ）とに基づいて、メニュー画面データ（Ｈ２）を作成する。
【００３４】
上記のオーサリングを含む信号処理方法において、（ａ６）ステップは、（ａｂ１）〜（ａｂ３）ステップを具備する。
（ａｂ１）ステップは、オーディオビデオデータ（Ａ）に対してＤＣＴ演算を行う。（ａｂ２）ステップは、そのＤＣＴ演算に伴い生成するＤＣ係数に基づいて、動画データ（Ｊ）を作成する。（ａｂ３）ステップは、動画データ（Ｊ）と映像符号化データ（Ｄ）とに基づいて、動画サムネイルデータ（Ｋ）を作成する。
【００３５】
従って、上記課題を解決するために、本発明に関するコンピュータプログラムは、（ｃ）〜（ｄ）ステップを備える方法をコンピュータに実行させる。
（ｃ）ステップは、オーディオビデオデータ（Ａ）をチャプタごとに分割して生成される複数のチャプタの各々ごとに動画サムネイル（Ｆ１、Ｊ）を作成し、動画サムネイル（Ｆ１、Ｊ）を含むメニュー画面データ（Ｈ１、Ｈ２）を作成する。ここで、オーディオビデオデータ（Ａ）は、複数の画像データと、その画像データの記録日時を示す日時データ（Ｔ０）と、オーディオビデオデータ（Ａ）におけるその画像データの位置を示す位置データ（ｔ０）を含む。メニュー画面データ（Ｈ１、Ｈ２）は、その複数のチャプタのうちの一部又は全部の動画サムネイル（Ｆ１、Ｊ）を同時に表示するメニュー画面（５０）を示す。（ｄ）ステップは、メニュー画面データ（Ｈ１、Ｈ２）を記憶媒体に記録する。
ここで、記録媒体としては、ＤＶＤやＲＯＭ、ＲＡＭ、ＨＤ、ＣＤ、ＦＤが例示される。
【００３６】
また、上記のコンピュータプログラムにおいて、（ｃ）ステップは、（ｃ１）から（ｃ５）ステップを備える。
（ｃ１）ステップは、オーディオビデオデータ（Ａ）を符号化した映像符号化データ（Ｄ）を作成する。（ｃ２）ステップは、オーディオビデオデータ（Ａ）を分割して複数のチャプタを生成し、そのチャプタに関するデータを示すチャプタデータ（Ｅ）を作成する。（ｃ３）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、その複数のチャプタの各々ごとに動画サムネイル（Ｆ１）を作成し、複数の動画サムネイル（Ｆ１）に関するデータを示す動画サムネイルデータ（Ｌ）を作成する。（ｃ４）ステップは、映像符号化データ（Ｄ）とチャプタテーブル（Ｅ）とに基づいて、その複数のチャプタに関する制御情報を示す制御情報データ（Ｇ１）を作成する。（ｃ５）ステップは、動画サムネイルデータ（Ｌ）と制御情報データ（Ｇ１）とに基づいて、メニュー画面データ（Ｈ１）を作成する。
【００３７】
上記のプログラムにおいて、（ｃ２）ステップは、日時データ（Ｔ０）に基づいて、オーディオビデオデータ（Ａ）を分割して複数のチャプタを生成する。
【００３８】
また、上記のコンピュータプログラムにおいて、（ｃ３）ステップは、（ｃａ１）から（ｃａ５）ステップを備える。
（ｃａ１）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、映像符号化データ（Ｄ）のうちの画素差分値（Δ）が基準値以上となるハイライトシーンを検出する。ここで、チャプタデータ（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ｃａ２）ステップは、そのハイライトシーンの長さが指定の再生時間と等しくなるようにその基準値を変化させ、等しくできればそのハイライトシーン有りと判定してそのハイライトシーンと位置データ（ｔ０）とを関連付けた差分値テーブルを生成する。等しくできなければそのハイライトシーン無しと判定する。（ｃａ３）ステップは、そのハイライトシーンの有無、及び、そのハイライトシーンの状況に基づいて、そのチャプタごとに、動画サムネイル（Ｆ１）の作成方法を、予め設定された作成方法から選択する。（ｃａ４）ステップは、その選択された作成方法に基づいて、そのチャプタごとに、動画サムネイル（Ｆ１）を作成する。（ｃａ５）ステップは、作成された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を作成する。ここで、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
ただし、その作成方法は、そのハイライトシーンが無い場合、映像符号化データ（Ｄ）からフレームを間引いて動画サムネイル（Ｆ１）とする。そのハイライトシーンが複数有る場合、複数のそのハイライトシーンを連結させて動画サムネイル（Ｆ１）とする。そのハイライトシーンが一つしかない場合、そのハイライトシーンをそのまま動画サムネイル（Ｆ１）とする。
【００３９】
また、上記のコンピュータプログラムにおいて、（ｃ３）ステップは、（ｃａ６）から（ｃａ９）ステップを備える。
（ｃａ６）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、ＧＯＰの位置を検出する。ここで、チャプタデータ（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ｃａ７）ステップは、検出されたそのＧＯＰに基づいて、そのチャプタごとに、そのＧＯＰ単位の符号量（Ｒ）と位置データ（ｔ０）とを関連付けた符号量テーブルを作成する。（ｃａ８）ステップは、その符号量テーブルに基づいて、そのチャプタごとに、符号量（Ｒ）が最大となるそのＧＯＰを含む連続した所定の時間（２×Δｔ１）の映像符号化データ（Ｄ）を動画サムネイル（Ｆ１）として抽出する。（ｃａ９）ステップは、抽出された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を作成する。ここで、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
【００４０】
更に、上記のコンピュータプログラムにおいて、（ｃ３）ステップは、（ｃａ１０）から（ｃａ１４）ステップを備える。
（ｃａ１０）ステップは、映像符号化データ（Ｄ）とチャプタデータ（Ｅ）とに基づいて、そのチャプタごとに、ＧＯＰの位置を検出する。ここで、チャプタデータ（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ｃａ１１）ステップは、検出されたそのＧＯＰごとに、所定の色を示す画素データに対して、所定のポイントを付加する。（ｃａ１２）ステップは、そのポイントに基づいて、そのチャプタごとに、そのＧＯＰごとのそのポイントの合計（Ｓ）と位置データ（ｔ０）とを関連付けたポイントテーブルを作成する。（ｃａ１３）ステップは、そのポイントテーブルに基づいて、そのチャプタごとに、そのポイントの合計（Ｓ）が最大となるそのＧＯＰを含む連続した所定の時間（２×Δｔ２）の映像符号化データ（Ｄ）を動画サムネイル（Ｆ１）として抽出する。（ｃａ１４）ステップは、抽出された動画サムネイル（Ｆ１）に基づいて、動画サムネイルデータ（Ｌ）を作成する。ここで、動画サムネイルデータ（Ｌ）は、複数の動画サムネイル（Ｆ１）と、位置データ（ｔ０）とを関連付けた動画サムネイルテーブル（Ｌ）を含む。
【００４１】
更に、上記のコンピュータプログラムにおいて、（ｃ）ステップは、（ｃ６）〜（ｃ８）ステップを具備する。
（ｃ６）ステップは、オーディオビデオデータ（Ａ）を符号化した映像符号化データ（Ｄ）と、オーディオビデオデータ（Ａ）を圧縮した動画データ（Ｊ）を作成して動画データ（Ｊ）に関するデータを示す動画サムネイルデータ（Ｋ）とを作成する。ここで、動画サムネイルデータ（Ｋ）は、動画データ（Ｊ）と映像符号化データ（Ｄ）とを関連付けた動画データテーブル（Ｋ）を含む。動画データ（Ｊ）は、その符号化の過程で算出される符号化データに基づいて作成される。（ｃ７）ステップは、オーディオビデオデータ（Ａ）を分割して複数のチャプタを生成し、そのチャプタに関するデータを示すチャプタデータ（Ｅ）を作成する。ここで、チャプタデータ（Ｅ）は、その複数のチャプタの各々に対応したチャプタ日時データ（３３）とチャプタ位置データ（３２）とを関連付けているチャプタテーブル（Ｅ）を含む。チャプタ日時データ（３３）は、その複数のチャプタの各々における日時データ（Ｔ０）に基づくデータである。チャプタ位置データ（３２）は、その複数のチャプタの各々における位置データ（ｔ０）に基づくデータである。（ｃ８）ステップは、動画サムネイルデータ（Ｋ）とチャプタデータ（Ｅ）とに基づいて、メニュー画面データ（Ｈ２）を作成する。
【００４２】
上記のプログラムにおいて、（ｃ７）ステップは、日時データ（Ｔ０）に基づいて、オーディオビデオデータ（Ａ）を分割して複数のチャプタを生成する。
【００４３】
更に、上記のコンピュータプログラムにおいて、（ｃ６）ステップは、（ｃｂ１）〜（ｃｂ３）ステップを具備する。
（ｃｂ１）ステップは、オーディオビデオデータ（Ａ）に対してＤＣＴ演算を行う。（ｃｂ２）ステップは、そのＤＣＴ演算に伴い生成するＤＣ係数に基づいて、動画データ（Ｊ）を作成する。（ｃｂ３）ステップは、動画データ（Ｊ）と映像符号化データ（Ｄ）とに基づいて、動画サムネイルデータ（Ｋ）を作成する。
【００４４】
【発明の実施の形態】
以下、本発明であるオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法の実施の形態に関して、添付図面を参照して説明する。本実施の形態では、本発明であるオーサリング機能付き信号処理装置をＤＶＤ装置（ＭＰＥＧ装置）に適用した例について説明しているが、その他の映像記録装置に対しても適用が可能である。
【００４５】
（第１の実施の形態）
本発明であるオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法の第１の実施の形態について、添付図面を参照して説明する。
【００４６】
まず、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第１の実施の形態の構成について説明する。
図１は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第１の実施の形態の構成を示すブロック図である。ＤＶＤ装置１は、オーディオビデオデータＡ及び諸条件（Ｂ及びＣ、後述）の入力に基づいて、ＤＶＤに、オーディオビデオデータを符号化した映像符号化データＤ及びその他のデータを記録、格納する。ＤＶＤ装置１は、オーサリング機能付き信号処理装置２、ＤＶＤ駆動部３及びシステムマイコン４を具備する。ここでは、ＤＶＤのデータを読み出す構成を省略している。
【００４７】
オーサリング機能付き信号処理装置２は、システムマイコン４の制御により、オーディオビデオデータＡの入力に基づいて、映像符号化データＤ（後述）とメニュー画面データＨ１（後述）と制御情報データＧ１（後述）とを生成する。そして、それらを所定の記憶媒体に記録する制御を行う。記憶媒体は、ＤＶＤに例示される。
ＤＶＤ駆動部３は、システムマイコン４の制御により、オーサリング機能付き信号処理装置２から出力される映像符号化データＤとメニュー画面データＨ１と制御情報データＧ１とを、内部にセットされた記憶媒体に記録（格納）する。ここでは、記録媒体として、ＤＶＤを用いる。ただし、他の記録媒体（例示：ＲＯＭ、ＲＡＭ、ＣＤ、ＨＤ、ＦＤ）を用いることも可能である。
システムマイコン４は、オーサリング機能付き信号処理装置２及びＤＶＤ駆動部３を具備するＤＶＤ装置１を制御する。システムマイコン４は、ＭＰＵ（マイクロプロセッサユニット）に例示される。
【００４８】
オーサリング機能付き信号処理装置２は、エンコード部１１と、記録日時解析部１２と、動画サムネイル作成部１３と、制御情報データ作成部１４と、メニュー画面作成部１５と、書き込み制御部１６とを具備する。ここで、エンコード部１１と記録日時解析部１２とをデータ前処理部２−３ともいう。データ前処理部２−３と動画サムネイル作成部１３と制御情報データ作成部１４とをデータ作成部２−２ともいう。データ作成部２−２とメニュー画面作成部１５とをデータ処理部２−１ともいう。
【００４９】
エンコード部１１は、外部から入力されるオーディオビデオデータＡに基づいて、オーディオビデオデータを符号化した映像符号化データＤを生成する。
【００５０】
ここで、オーディオビデオデータＡは、デジタルビデオテープレコーダやアナログビデオテープレコーダのような機器から出力された複数のビデオ映像を有するデータであり、音声データと画像（動画を含む、本明細書中で同じ）データとを含む。画像データは、オーディオビデオデータＡにおけるその画像データを記録した日時（例示：西暦年：月：日：時：分：秒）としての日時データと、テープ（オーディオビデオデータＡ）の先頭からの位置（例示：時間 時：分：秒）を示す位置データとを含む。オーディオビデオデータＡの符号化は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、本明細書中で同じ）の規格に基づいて行うエンコードを含む。映像符号化データＤは、ＭＰＥＧ２データ（ＶＯＢ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ）データ）に例示される。
【００５１】
図３は、日時データ及び位置データを示す図である。オーディオビデオデータＡには、図中、一つの四角の枠で示される一つのフレームごとに、日時データとしてのオーディオビデオデータＡを記録した記録日時Ｔ０（図中、各フレームの下部に記載）と、位置データとしてのオーディオビデオデータＡを記録したテープの先頭からの時間ｔ０（図中、各フレームの上部に記載）とが共に記録されている。
【００５２】
図１を参照して、記録日時解析部１２は、外部から入力されるオーディオビデオデータＡの日時データに基づいて、オーディオビデオデータＡを複数のチャプタに分割する。すなわち、日時データが不連続な箇所を検出し、そこをチャプタの区切りとしてオーディオビデオデータＡを分割する。そして、複数のチャプタの各々に対応したチャプタ日時データとチャプタ位置データとを関連付けるチャプタテーブルＥ（後述）を生成する。ただし、オーディオビデオデータＡを分割するチャプタの最大数を示す最大チャプタ数データＢ（Ｎ）を外部から入力された場合、その最大数を越えないように、チャプタを調整する。
【００５３】
ここで、チャプタは、オーディオビデオデータＡを分割して得られるオーディオビデオデータＡの一部分のデータである。一つのチャプタは、オーディオビデオデータＡの内の連続した部分（連続したシーンを含む）でも良いし、連続していない部分を併せたもの（連続したシーンを複数含む）でも良い。
【００５４】
ここで、チャプタ日時データは、複数のチャプタの各々における日時データに基づくデータであり、チャプタの最初及び最後を示す日時データや、前のチャプタの最後を示す日時データと次のチャプタの最初を示す日時データの差に例示される。チャプタ位置データは、複数のチャプタの各々における位置データに基づくデータであり、チャプタの最初又は最後を示す位置データに例示される。
【００５５】
図２は、記録日時解析部１２の構成を示すブロック図である。記録日時解析部１２は、チャプタ分割部２１と、チャプタ制限部２２と、テーブル生成部２３とを備える。
【００５６】
チャプタ分割部２１は、日時データの連続性が無い箇所をディオビデオデータＡの区切りと判断する。そして、その区切り基づいて、オーディオビデオデータＡを複数のチャプタに分割する。
チャプタ制限部２２は、複数のチャプタの数が最大チャプタ数データＢで示される最大数Ｎを越える場合、複数のチャプタのうち、予め設定された条件を満たす隣り合う２つのチャプタを結合することにより、チャプタの数を最大数Ｎ以下に抑える。ただし、予め設定された条件は、前のチャプタの最後を示す日時データと次のチャプタの最初を示す日時データの差が最小となる２つのチャプタに例示される。
テーブル生成部２３は、複数のチャプタの各々に対応したチャプタ日時データとチャプタ位置データとの関係を示すチャプタテーブルＥを生成する。
【００５７】
図４は、チャプタテーブルＥを示す表である。チャプタテーブルＥは、複数のチャプタの各々に対応したチャプタ日時データとチャプタ位置データとを関連付けている。
ここで、チャプタ番号３１は、チャプタの通し番号である。チャプタ位置データとしてのチャプタ終了位置３２は、チャプタの最後を示す位置データである。時：分：秒で表示される。チャプタ日時データとしてのチャプタ記録日時間隔３３は、前のチャプタの最後を示す日時データと次のチャプタの最初を示す日時データの差を示す時間間隔である。日：時：分：秒で表示される。そして、チャプタは、チャプタ終了位置３２の小さい順位に並べられる。
【００５８】
図１を参照して、動画サムネイル作成部１３は、映像符号化データＤとチャプタテーブルＥとに基づいて、複数のチャプタの各々に対応する複数の動画サムネイルＦ１を作成する。このとき、動画サムネイルＦ１の作成条件を示す動画条件データＣ（外部から入力、デフォルト値を有していても良い）を参照し、その条件に適合するように各動画サムネイルＦ１を生成する。ここで、動画条件データＣは、動画サムネイルの画像サイズや動画サムネイルの再生時間に例示される。
ここで、動画サムネイルは、動画形式のサムネイル（プレビュー）である。基となるデータを圧縮（符号化などの画像処理）して生成される。
【００５９】
動画サムネイル作成部１３は、更に、動画サムネイルＦ１の各フレームと、映像符号化データＤとを関連付けた動画サムネイルテーブルＬを作成する。すなわち、動画サムネイルＦ１の各フレームを示す動画用画像データと、映像符号化データＤの位置データとを関連付けた動画サムネイルテーブルＬを作成する。
【００６０】
図５は、動画サムネイルテーブルＬを示す表である。フレームの通し番号であるフレーム番号４１、映像符号化データＤの位置データ（オーディオビデオデータの先頭からの時間）としての時刻４２及び動画用画像データとしてのフレーム画像データ４４がフレームごとに関連付けられている。動画サムネイルテーブルＬは、動画サムネイルＦ１ごとに設けても良いし、一つの動画サムネイルテーブルＬを適当に区切り、複数の動画サムネイルＦ１を含ませても良い。
【００６１】
図６は、動画サムネイル作成部１３の構成を示すブロック図である。動画サムネイル作成部１３は、ハイライトシーン検出部２６、作成手法選択部２７、作成手法実行部２８及びテーブル作成部２９を備える。
【００６２】
ハイライトシーン検出部２６は、映像符号化データＤとチャプタテーブルＥとに基づいて、各チャプタごとに、フレーム間の画素の差分としての画素差分値Δを検出する。フレーム単位の画素差分値Δは、チャプタごとに、映像符号化データＤの位置データ（オーディオビデオデータの先頭からの時間）ｔ０と関連付けられて、差分値テーブルとして記憶部（図示されず）に格納される。
【００６３】
ここで、差分値テーブルについて説明する。
図７は、差分値テーブルをグラフの形で表現した図である。縦軸は画素差分値Δ、横軸は位置データｔ０（ここでは「時間」）である。グラフ中の曲線Ｗは、画素差分値Δを示す。半直線α０及びα２は、それぞれ画素差分値Δ０及びΔ２を示す。時間ｔ１から時間ｔ２までが１チャプタとする。
ハイライトシーン検出部２６は、差分値テーブル（図７）からハイライトシーンを抽出する。ここで、ハイライトシーンは、画素差分値Δが所定の閾値よりも大きくなる状態が、予め設定された時間以上続く箇所である。図７において、閾値をΔ０とすれば、ハイライトシーンは曲線ＷのＰ１の箇所に相当する。この場合、閾値を所定の最大値Δ０から小さくしていくことで、ハイライトシーンを長くしていくことが出来る。例えば、図７において、閾値をΔ０からΔ１（半直線α１で表示）に小さくすることで、ハイライトシーンは、Ｐ１からＰ２＋Ｐ３に長くすることが出来る。この操作により、ハイライトシーンの時間（ハイライトシーンが複数ある場合には、その合計時間）を、指定された再生時間に合わせることが出来る。ここで、閾値が所定の最小値Δ２まで下げても、ハイライトシーンが指定された再生時間に達しない場合には、ハイライトシーンは無いとする。
ただし、瞬間的に画素差分値Δが、所定の閾値よりも大きくなるような箇所Ｑ（例示：カメラがパンするような場面）は、そのＰｘの時間が予め設定された時間未満なので、ハイライトと検出しない。
【００６４】
図６を参照して、作成手法選択部２７は、検出されたハイライトシーンの状況に応じて、下記の３種類の方法から動画サムネイルの作成方法を選択する。
（Ａ）ハイライトシーンが複数箇所あるチャプタは、ハイライトシーンを連結させ、動画サムネイルとする。
（Ｂ）ハイライトシーンが一箇所しかないチャプタは、その部分をそのまま動画サムネイルとする。
（Ｃ）ハイライトシーンが無いチャプタは、チャプタからフレームを間引いて圧縮し、動画サムネイルとする。例えば、１０分間のチャプタを短縮して再生時間１分間の動画サムネイルにするには、１フレーム表示−９フレームスキップ、又は、１秒表示−９秒スキップを繰り返すことで実現できる。
【００６５】
作成手法実行部２８は、作成手法選択部２７で選択された方法を用いて、動画サムネイルを作成する。
テーブル作成部２９は、作成された動画サムネイルを動画サムネイルテーブルＬに格納する。
を備える。
【００６６】
図１を参照して、制御情報データ作成部１４は、映像符号化データＤとチャプタテーブルＥとに基づいて、複数のチャプタに関するデータを含む制御情報データＧ１を作成する。すなわち、映像符号化データＤとチャプタテーブルＥとに基づいて、ＤＶＤの制御情報データＧ１（ビデオタイトルセット６７のＶＴＳＩ、後述）を作成し、その制御情報データＧ１のＰＴＴ（Ｐａｒｔ ｏｆ Ｔｉｔｌｅ、後述）に、各プログラム（ＰＧ、後述）がどのチャプタに含まれるかを示すチャプタデータ（例示：チャプタ番号３１）を格納する。
なお、ＤＶＤ以外の記憶媒体を用いる場合には、その記憶媒体に対応した制御情報データＧ１を作成する。
【００６７】
図８は、ＤＶＤに格納されるデータの構造を示す図である。ＤＶＤに格納されるデータ６１は、ビデオマネージャ（ＶＭＧ）６３と、ビデオタイトルセット（ＶＴＳ）６７とを備える。
ビデオマネージャ（ＶＭＧ）６３は、制御情報としてのＶＭＧＩと、メニュー画面データＨ１（後述）としてのＶＭＧＭ＿ＶＯＢＳと、ＶＭＧＩのバックアップとしてのＶＭＧＩ（ＢＵＰ）とを備える。
ビデオタイトルセット６７は、ビデオタイトルセット（ムービー（ビデオ映像）の集合）の制御情報としてのＶＴＳＩと、動画ファイルとしてのＶＴＳＭ＿ＶＯＢＳ〜ＶＴＳＴＴ＿ＶＯＢＳと、ＶＴＳＩのバックアップとしてのＶＴＳＩ（ＢＵＰ）とを備える。
ＶＴＳＩには、ビデオタイトルセットの内部構造が記述されている。ビデオタイトルセットの内部構造は、タイトル（個々のムービー）−プログラムチェーン（ＰＧＣ：プログラムの集合）−ＰＴＴ（チャプタ：ビデオストリーム内のセル境界線上に設定されるアクセスポイント）−プログラム（ＰＧ：セルの集合）−セル（ビデオオブジェクトユニットの集合）−ビデオオブジェクトユニット（ＶＯＢＵ：ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｕｔｕｒｅｓに対応）の階層構造を有する。そして、ＶＴＳＩには、各階層がＶＴＳＭ＿ＶＯＢＳ〜ＶＴＳＴＴ＿ＶＯＢＳのどの部分に相当するかを記述している。
【００６８】
図１を参照して、メニュー画面作成部１５は、動画サムネイルテーブルＬと制御情報データＧ１とに基づいて、動画のメニュー画面を示すメニュー画面データＨ１を作成する。ただし、メニュー画面データＨ１は、制御情報データＧ１で示される各チャプタに対応させて、動画サムネイルテーブルＬから動画画像データ（フレーム画像データ４４）の該当部分を取り出して生成される。
ここで、動画のメニュー画面は、複数のチャプタに対応した複数の動画サムネイルＦ１を、一つの画面で一度に表示したものである。例えば、４つのチャプタが有る場合のメニュー画面では、一つの画面で４つの動画サムネイルＦ１を観ることが出来る。
そして、ポインティングデバイス（例示：マウス）により、画面上で動画サムネイルＦ１を選択できる。その場合、メニュー画面データＨ１において、各動画サムネイルＦ１は、制御情報データＧ１のＰＴＴと関連付けられているので、画面上で選択された動画サムネイルＦ１に対応するチャプタを再生することが出来る。
【００６９】
書き込み制御部１６は、映像符号化データＤとメニュー画面データＨ１と制御情報データＧ１とを受信し、それぞれのデータをＤＶＤの所定の領域に記録するように、ＤＶＤ駆動部３へのデータの出力の制御を行う。
このとき、メニュー画面データＨ１は、ＶＭＧ６３のＶＭＧＭ＿ＶＯＢＳに、制御情報データＧ１は、ＶＴＳ６７のＶＴＳＩに、映像符号化データＤは、ＶＴＳＭ＿ＶＯＢＳ〜ＶＴＳＴＴ＿ＶＯＢＳにそれぞれ格納される。
なお、ＤＶＤ以外の記憶媒体を用いる場合には、書き込み制御部１６は、その記憶媒体に対応したフォーマットに基づいて記録媒体に対する書き込みを制御する。
【００７０】
次に、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第１の実施の形態の動作（オーサリングを含む信号処理方法）について説明する。
図９は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第１の実施の形態の動作（オーサリングを含む信号処理方法）を示すフロー図である。
【００７１】
（１）ステップＳ０１
エンコード部１１は、外部から入力されたオーディオビデオデータＡに基づいて、オーディオビデオデータＡを符号化した映像符号化データＤを生成する。
（２）ステップＳ０２
記録日時解析部１２は、外部から入力されたオーディオビデオデータＡの日時データに基づいて、オーディオビデオデータＡを複数のチャプタに分割する。ただし、オーディオビデオデータＡを分割するチャプタの数を、外部から入力される最大チャプタ数データＢで示される最大チャプタ数Ｎを越えないようにチャプタを調整する。そして、チャプタテーブルＥを生成する。
（３）ステップＳ０３
動画サムネイル作成部１３は、映像符号化データＤとチャプタテーブルＥとに基づいて、複数のチャプタの各々に対応する複数の動画サムネイルＦ１を作成する。このとき、各動画サムネイルＦ１の画像サイズ及び再生時間を、外部から入力される動画条件データＣで示される画像サイズ及び再生時間となるように各動画サムネイルＦ１を生成する。そして、動画サムネイル作成部１３は、動画サムネイルＦ１の各フレームと、映像符号化データＤとを関連付けた動画サムネイルテーブルＬを作成する。
（４）ステップＳ０４
制御情報データ作成部１４は、映像符号化データＤとチャプタテーブルＥとに基づいて、複数のチャプタに関するデータを含む制御情報データＧ１を作成する。このとき、その制御情報データＧ１に、各プログラム３８がどのチャプタに含まれるかを示すチャプタデータが格納される。
（５）ステップＳ０５
メニュー画面作成部１５は、動画サムネイルテーブルＬと制御情報データＧ１とに基づいて、メニュー画面データＨ１を作成する。
（６）ステップＳ０６
書き込み制御部１６は、メニュー画面データＨ１と映像符号化データＤと制御情報データＧ１とをＤＶＤの所定の領域に記録するように、ＤＶＤ駆動部３へのデータの出力の制御を行う。ＤＶＤ駆動部３は、それらのデータをＤＶＤに書き込む。
【００７２】
ここで、ステップＳ０２のチャプタテーブルを作成する動作について更に説明する。
図１０は、ステップＳ０２のチャプタテーブルを作成する動作を示すフロー図である。
【００７３】
（１）ステップＳ２１
記録日時解析部１２のチャプタ分割部２１は、外部から入力されるオーディオビデオデータＡの日時データを検出している。
（２）ステップＳ２２
チャプタ分割部２１は、日時データに連続性があるか否かを判断する。連続性がある場合には、ステップＳ２１へ戻る。連続性が無い場合には、ステップＳ２３へ進む。ここで、日時データの連続性は、オーディオビデオデータＡに記録された映像に基づいて、秒単位、分単位、時間単位など予め設定しておく。ここでは、秒単位とする。
（３）ステップＳ２３
チャプタ分割部２１は、日時データの連続性無い箇所をディオビデオデータＡの区切りと判断する。そして、その区切りの位置の位置データ（先頭からの時間）を取得する。また、その区切りの位置における手前側のチャプタでの最後の日時データと、その次のチャプタでの最初の日時データとを取得する。ただし、この区切りの位置は、チャプタ候補の位置であり、確定ではない。
（４）ステップＳ２４
チャプタ制限部２２は、チャプタの数が一つ増えた場合、チャプタテーブルＥのチャプタの数（総チャプタ数）が、最大チャプタ数データＢで示される最大チャプタ数Ｎを越えるか否かを判断する。越える場合には、ステップＳ２６へ進む。越えない場合には、ステップＳ２５へ進む。
（５）ステップＳ２５
テーブル生成部２３は、チャプタテーブルＥを生成（更新）する。すなわち、チャプタ候補の位置における位置データを、チャプタテーブルＥのチャプタ終了位置３２とする。また、チャプタ候補の位置における手前側のチャプタでの最後の日時データと、その次のチャプタでの最初の日時データとの差を算出し、チャプタテーブルＥのチャプタ記録日時間隔３３とする。
（６）ステップＳ２６
チャプタ制限部２２は、チャプタテーブルＥの総チャプタ数が最大チャプタ数Ｎを越えるので、チャプタテーブルＥのチャプタを一つ削減する。削減する方法としては、チャプタテーブルＥ内の複数のチャプタのうち、チャプタ記録日時間隔３３（前のチャプタの最後を示す日時データと次のチャプタの最初を示す日時データとの差）が最小となる隣り合う２つのチャプタを選択し、結合することにより行う。
それと共に、チャプタテーブルＥを生成（更新）する。すなわち、チャプタ候補の位置における位置データをチャプタ終了位置３２とし、チャプタ候補の位置における手前側のチャプタでの最後の日時データと、その次のチャプタでの最初の日時データとの差をチャプタ記録日時間隔３３とする。
（７）ステップＳ２７
オーディオビデオデータＡが継続している場合には、ステップＳ２１に戻り、ステップＳ２１〜ステップＳ２６を繰り返す。
【００７４】
図１１は、ステップＳ０２における図４のチャプタテーブルＥを生成する過程を示す図である。ここでは、最大チャプタ数データＢの値が“５”（最大チャプタ数Ｎ＝５）の場合を例として説明する。
【００７５】
図１１（ａ）は、ステップＳ０２において生成されつつある図４のチャプタテーブルＥを示している。ここでは、５つのチャプタが見出された状態を示している。
この状態において、ステップＳ２３で、図１１（ｂ）に示すように、新たなチャプタが検出された場合を考える。この場合、ステップＳ２４で、最大チャプタ数Ｎ（＝５）＜総チャプタ数（＝６）と判断される。ここで、図１１（ａ）のチャプタ番号３１＝３のチャプタ（「チャプタ３」とする、他のチャプタも同様）が、チャプタテーブルＥの中でチャプタ記録日時間隔３３が最小（５分）となっている。従って、ステップＳ２６で、チャプタ３をチャプタ２へ結合することにより、チャプタ３を削除する。それと共に、チャプタ４及びチャプタ５は、繰り上がってチャプタ３及びチャプタ４となる。しかる後、新たに見出されたチャプタをチャプタ６として、チャプタテーブルＥを更新する。図１１（ｃ）が更新されたチャプタテーブルＥである。
【００７６】
このようにすることで、複数のビデオ映像を有するオーディオビデオデータを、自動的に複数のチャプタに区切り、且つ、チャプタの数を最大チャプタ数Ｎ以下に抑えることが出来る。
【００７７】
ここで、ステップＳ０３の動画サムネイルを作成する動作について更に説明する。
図１２は、ステップＳ０３の動画サムネイルを作成する動作を示すフロー図である。
【００７８】
（１）ステップＳ３１
動画サムネイル作成部１３のハイライトシーン検出部２６は、映像符号化データＤとチャプタテーブルＥとに基づいて、一つのチャプタを選択し、そのチャプタの映像符号化データＤを取得する。
（２）ステップＳ３２
ハイライトシーン検出部２６は、チャプタ全体の映像符号化データＤから、フレーム間の画素差分値Δを検出する。そして、画素差分値Δと位置データｔ０とを関連付けた差分値テーブル（図７）に格納する。
（３）ステップＳ３３
ハイライトシーン検出部２６は、差分値テーブル（図７）と動画条件データＣの再生時間とに基づいて、ハイライトシーンの時間が指定された再生時間と等しくなるように、閾値をΔ０から変化させる。そして、閾値がΔ２に達するまでに、ハイライトシーンの時間が指定された再生時間と等しくなる場合、ハイライトシーンがあると判定する（Ｙｅｓ）。閾値がΔ２に達しても、ハイライトシーンの時間が指定された再生時間未満である場合、ハイライトシーンが無いと判定する（Ｎｏ）。無い場合、ステップＳ３７へ進む。
（４）ステップＳ３４
作成手法選択部２７は、ハイライトシーンのある箇所を数える。そして、それが複数箇所ある場合（Ｎｏ）、ステップ３５へ進み、それが一箇所のみの場合（Ｙｅｓ）、ステップＳ３６へ進む。
（５）ステップＳ３５
作成方法実行部３８は、既述の（Ａ）の方法で、動画サムネイルを作成する。すなわち、ハイライトシーンが複数箇所あるので、ハイライトシーンを連結させ、動画サムネイルＦ１とする。ステップＳ３８へ進む。
（６）ステップＳ３６
作成方法実行部３８は、既述の（Ｂ）の方法で、動画サムネイルを作成する。すなわち、ハイライトシーンが一箇所しかないので、その部分をそのまま動画サムネイルＦ１とする。ステップＳ３８へ進む。
（７）ステップＳ３７
作成方法実行部３８は、既述の（Ｃ）の方法で、動画サムネイルを作成する。すなわち、ハイライトシーンが無いので、チャプタからフレームを間引いて圧縮し、動画サムネイルＦ１とする。ステップＳ３８へ進む。
（８）ステップＳ３８
テーブル作成部２９は、動画サムネイルＦ１の各フレームと、映像符号化データＤとを関連付けた動画サムネイルテーブルＬを作成する。
（１１）ステップＳ３９
テーブル作成部２９は、全てのチャプタについて動画サムネイルを作成している場合（Ｙｅｓ）、プロセスを終了する。動画サムネイルを作成していないチャプタが有る場合（Ｎｏ）、ステップＳ３１へもどる。
【００７９】
このようなプロセスにより、全てのチャプタについて、再生時間の揃った動画サムネイルを自動的に最適な方法で作成することが可能となる。
【００８０】
ここで、ステップＳ０５のメニュー画面データを作成する動作について更に説明する。
図１３は、ステップＳ０５のメニュー画面データを作成する動作を示すフロー図である。ここでは、チャプタの数が４個の場合について説明する。
【００８１】
（１）ステップＳ４１
メニュー画面作成部１５は、動画のメニュー画面（メニュー画面データＨ１）の第１フレームを作成するために、フレーム番号ｍ＝１を設定する。
（２）ステップＳ４２
メニュー画面作成部１５は、第１フレームのチャプタ１について処理を行うために、チャプタ番号ｋ＝１を設定する。
（３）ステップＳ４３
メニュー画面作成部１５は、動画サムネイルテーブルＬと制御情報データＧ１とに基づいて、チャプタ番号ｋ＝１のチャプタにおけるｍ＝１番目のフレームに相当するフレーム画像データ４４を動画サムネイルテーブルＬから取得する。そして、メニュー画面のｍ＝１番目のフレームの右上に貼り付ける。
（４）ステップＳ４４、ステップＳ４５
メニュー画面作成部１５は、チャプタ番号ｋが、最大チャプタ数Ｎ（ここでは、Ｎ＝４）以上となるまで、ステップＳ４３〜ステップＳ４５を繰り返す。
これにより、メニュー画面データＨ１のｍ＝１番目の１フレーム分が完成する。ただし、ｋ＝２の場合、フレームの左上、ｋ＝３の場合、フレームの右下、ｋ＝４の場合、フレームの左下に、フレーム画像データ４４をそれぞれ貼り付ける。
（５）ステップＳ４６、ステップＳ４７
メニュー画面作成部１５は、フレーム番号ｍが、指定フレーム数Ｍ（指定された再生時間に相当）以上となるまで、ステップＳ４２〜ステップＳ４７を繰り返す。
これにより、指定フレーム数Ｍ（指定された再生時間分）のメニュー画面（静止画）が生成される。
（６）ステップＳ４８
メニュー画面作成部１５は、得られた複数のメニュー画面（静止画）をＭＰＥＧ２規格により圧縮して、ＶＯＢファイルとし、メニュー画面データＨ１を完成させる。それには、上記プロセスにより４つのチャプタの動画サムネイルが含まれている。
【００８２】
図１４は、上記（１）ステップＳ４１〜（６）ステップＳ４８で作成されたメニュー画面データＨ１を用いた動画のメニュー画面を示す図である。メニュー画面５０は、チャプタ１の動画サムネイル５１−１、チャプタ２の動画サムネイル５１−２、チャプタ３の動画サムネイル５１−３、チャプタ４の動画サムネイル５１−４、メニューボタン５２を備える。
動画のメニュー画面５０の再生時、このメニュー画面全体が一つの動画として表示される。そして、ユーザーがチャプタ１〜チャプタ４の部分を選択すると、それぞれのチャプタのところへジャンプし、通常の映像が再生される。チャプタ数が多く、チャプタ５〜が存在する場合、メニューボタン５２を選択すると、チャプタ５〜チャプタ８のメニュー画面に切り替わる。動画メニューの選択や画面切り替えについては、従来知られた方法を使用することが出来る。
【００８３】
このようにして、各チャプタの動画サムネイルを含むメニュー画面データを、自動的に作成することが出来る。
【００８４】
本発明は、複数のビデオ映像を有するオーディオビデオデータをＤＶＤのような一つの記憶媒体に格納する場合に、日時データに基づいて、オーディオビデオデータの区切りを自動的に、より適切に見出し、所望のチャプタを構成することが出来る。
【００８５】
また、本発明は、区切られたチャプタごとに動画サムネイルを生成することができるので、各チャプタの内容を的確に把握することが可能となる。そして、それらの動画サムネイルを全て含んだメニュー画面を自動的に作成できるので、ＤＶＤに含まれる全てのオーディオビデオデータの内容を容易に把握することができる。
【００８６】
（第２の実施の形態）
本発明であるオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法の第２の実施の形態について、添付図面を参照して説明する。
【００８７】
まず、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第２の実施の形態の構成について説明する。
図１は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第２の実施の形態の構成を示すブロック図である。ＤＶＤ装置１は、オーディオビデオデータＡ及び諸条件（Ｂ及びＣ）の入力に基づいて、ＤＶＤに、オーディオビデオデータを符号化した映像符号化データＤ及びその他のデータを記録、格納する。ＤＶＤ装置１は、オーサリング機能付き信号処理装置２、ＤＶＤ駆動部３及びシステムマイコン４を具備する。ここでは、ＤＶＤのデータを読み出す構成を省略している。
【００８８】
第２の実施の形態では、動画サムネイル作成部１３ａによる動画サムネイルの作成方法が異なる。
通常、ＭＰＥＧで圧縮されたビデオデータ（ここでは、映像符号化データＤに対応）において、色の変化の激しい部分や動きの速い部分のような複雑な映像では、多くの符号が発生する。そのため、符号量が多くなる。逆に、映像の変化の少ない平坦な部分や動きの遅い部分では、符号があまり発生しない。そのため、符号量が少なくなる。第２の実施の形態では、この符号量に基づいて、ハイライトシーンを検出する。
【００８９】
図１を参照して、オーサリング機能付き信号処理装置２は、システムマイコン４の制御により、オーディオビデオデータＡの入力に基づいて、映像符号化データＤとメニュー画面データＨ１と制御情報データＧ１とを生成する。そして、それらを所定の記憶媒体に記録する制御を行う。記憶媒体は、ＤＶＤに例示される。
ＤＶＤ駆動部３及びシステムマイコン４は、第１の実施の形態と同様であるのでその説明を省略する。
【００９０】
オーサリング機能付き信号処理装置２は、エンコード部１１と、記録日時解析部１２と、動画サムネイル作成部１３ａと、制御情報データ作成部１４と、メニュー画面作成部１５と、書き込み制御部１６とを具備する。
【００９１】
動画サムネイル作成部１３ａは、映像符号化データＤとチャプタテーブルＥとに基づいて、複数のチャプタの各々に対応する複数の動画サムネイルＦ１を作成する。このとき、動画サムネイルＦ１の作成条件を示す動画条件データＣを参照し、その条件に適合するように各動画サムネイルＦ１を生成する。動画条件データＣは、動画サムネイルの画像サイズや動画サムネイルの再生時間に例示される。
【００９２】
動画サムネイル作成部１３ａは、更に、動画サムネイルＦ１の各フレームと、映像符号化データＤとを関連付けた動画サムネイルテーブルＬを作成する。すなわち、動画サムネイルＦ１の各フレームを示す動画用画像データと、映像符号化データＤの位置データとを関連付けた動画サムネイルテーブルＬを作成する。図５に示す動画サムネイルテーブルＬについては、第１の実施の形態での説明の通りである。
【００９３】
図１５は、動画サムネイル作成部１３ａの構成を示すブロック図である。動画サムネイル作成部１３ａは、データ検出部５６、データ解析部５７、データ抽出部５８及びテーブル作成部５９を備える。
【００９４】
データ検出部５６は、映像符号化データＤとチャプタテーブルＥとに基づいて、各チャプタごとに、映像符号化データＤの符号を解析し、ＧＯＰ（ＧｒｏｕｐＯｆ Ｐｉｃｔｕｒｅ）の位置を検出する。
【００９５】
データ解析部５７は、検出されたＧＯＰごとに、その符号量（Ｂｙｔｅ数）を検出する。そして、ＧＯＰ単位の符号量は、チャプタごとに、映像符号化データＤの位置データ（オーディオビデオデータの先頭からの時間）ｔ０と関連付けられて、符号量テーブルとして記憶部（図示されず）に格納される。
【００９６】
ここで、符号量テーブルについて説明する。
図１６は、符号量テーブルをグラフの形で表現した図である。縦軸はＧＯＰごとの符号量Ｒ、横軸は位置データｔ０（ここでは「時間」）である。グラフ中の曲線Ｖは、符号量を示す。時間ｔ１から時間ｔ２までが１チャプタとする。点Ａ１は、チャプタにおける符号量が最大の点である。そのときの時間はｔＡ１である。
【００９７】
データ抽出部５８は、符号量テーブル（図１６）を解析して、符号量Ｒ最大の点Ａ１を検出する。そして、時間ｔＡ１を中心にして、前後の映像符号化データＤを指定された再生時間になるように、ハイライトシーンとして抽出する。すなわち、図１６において、ハイライトシーンは、時間ｔＣ１から時間ｔＢ１までの映像符号化データＤとなる。このとき、時間ｔＣ１−ｔＢ１＝再生時間、ただし、ｔＣ１−ｔＡ１＝Δｔ１＝ｔＡ１−ｔＢ１である。このハイライトシーンを動画サムネイルとする。
【００９８】
テーブル作成部５９は、作成された動画サムネイルを動画サムネイルテーブルＬに格納する。
【００９９】
エンコード部１１、記録日時解析部１２、制御情報データ作成部１４、メニュー画面作成部１５書き込み制御部１６（本実施の形態に関わる図２〜図４、図８の説明を含む）は、第１の実施の形態と同様であるので、その説明を省略する。
【０１００】
次に、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第２の実施の形態の動作（オーサリングを含む信号処理方法）について説明する。
本実施の形態に関わる図９〜図１１、図１３、図１４については、第１の実施の形態と同様であるのでその説明を省略する。
【０１０１】
次に、ステップＳ０３の動画サムネイルを作成する動作について更に説明する。
図１７は、ステップＳ０３の動画サムネイルを作成する動作を示すフロー図である。
【０１０２】
（１）ステップＳ５１
動画サムネイル作成部１３ａのデータ検出部５６は、映像符号化データＤとチャプタテーブルＥとに基づいて、一つのチャプタを選択し、そのチャプタの映像符号化データＤを取得する。
（２）ステップＳ５２
データ検出部５６は、チャプタ全体の映像符号化データＤの符号を解析し、ＧＯＰの位置を検出する。
（３）ステップＳ５３
データ解析部５７は、検出されたＧＯＰごとに、その符号量を検出する。そして、データ解析部５７は、ＧＯＰ単位の符号量と、映像符号化データＤの位置データｔ０とを関連付けて、符号量テーブル（図１６）として記憶部（図示されず）に格納される。
（４）ステップＳ５４
データ抽出部５８は、符号量テーブル（図１６）を解析して、符号量最大の点Ａ１を検出する。そして、時間ｔＡ１を中心にして、前後の映像符号化データＤを指定された再生時間になるように、ハイライトシーンとして抽出する。そして、それを動画サムネイルＦ１とする。
（５）ステップＳ５５
テーブル作成部５９は、動画サムネイルＦ１の各フレームと、映像符号化データＤとを関連付けた動画サムネイルテーブルＬを作成する。
（６）ステップＳ５６
テーブル作成部５９は、全てのチャプタについて動画サムネイルを作成している場合（Ｙｅｓ）、プロセスを終了する。動画サムネイルを作成していないチャプタが有る場合（Ｎｏ）、ステップＳ５１へもどる。
【０１０３】
このようなプロセスにより、全てのチャプタについて、再生時間の揃った動画サムネイルを自動的に最適な方法で作成することが可能となる。
この方法の場合、圧縮された映像符号化データＤをそのまま利用し、画像解析をせずにハイライトシーンを検出することが出来る。したがって、動画サムネイルを作成する際の処理にかかる資源を削減できるので、コストを軽減することが出来る。そして、短時間で実行することが出来る。
【０１０４】
本実施の形態においても、第１の実施の形態と同様の効果を得ることが出来る。
【０１０５】
（第３の実施の形態）
本発明であるオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法の第３の実施の形態について、添付図面を参照して説明する。
【０１０６】
まず、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第３の実施の形態の構成について説明する。
図１は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第３の実施の形態の構成を示すブロック図である。ＤＶＤ装置１は、オーディオビデオデータＡ及び諸条件（Ｂ及びＣ）の入力に基づいて、ＤＶＤに、オーディオビデオデータを符号化した映像符号化データＤ及びその他のデータを記録、格納する。ＤＶＤ装置１は、オーサリング機能付き信号処理装置２、ＤＶＤ駆動部３及びシステムマイコン４を具備する。ここでは、ＤＶＤのデータを読み出す構成を省略している。
【０１０７】
第３の実施の形態では、動画サムネイル作成部１３ｂによる動画サムネイルの作成方法が異なる。
第３の実施の形態では、映像内のデータの内、特に人の顔を検出し、ハイライトシーンとして抽出する。
【０１０８】
図１を参照して、オーサリング機能付き信号処理装置２は、システムマイコン４の制御により、オーディオビデオデータＡの入力に基づいて、映像符号化データＤとメニュー画面データＨ１と制御情報データＧ１とを生成する。そして、それらを所定の記憶媒体に記録する制御を行う。記憶媒体は、ＤＶＤに例示される。
ＤＶＤ駆動部３及びシステムマイコン４は、第１の実施の形態と同様であるのでその説明を省略する。
【０１０９】
オーサリング機能付き信号処理装置２は、エンコード部１１と、記録日時解析部１２と、動画サムネイル作成部１３ｂと、制御情報データ作成部１４と、メニュー画面作成部１５と、書き込み制御部１６とを具備する。
【０１１０】
動画サムネイル作成部１３ｂは、映像符号化データＤとチャプタテーブルＥとに基づいて、複数のチャプタの各々に対応する複数の動画サムネイルＦ１を作成する。このとき、動画サムネイルＦ１の作成条件を示す動画条件データＣを参照し、その条件に適合するように各動画サムネイルＦ１を生成する。動画条件データＣは、動画サムネイルの画像サイズや動画サムネイルの再生時間に例示される。
【０１１１】
動画サムネイル作成部１３ａは、更に、動画サムネイルＦ１の各フレームと、映像符号化データＤとを関連付けた動画サムネイルテーブルＬを作成する。すなわち、動画サムネイルＦ１の各フレームを示す動画用画像データと、映像符号化データＤの位置データとを関連付けた動画サムネイルテーブルＬを作成する。図５に示す動画サムネイルテーブルＬについては、第１の実施の形態での説明の通りである。
【０１１２】
図１８は、動画サムネイル作成部１３ｂの構成を示すブロック図である。動画サムネイル作成部１３ｂは、データ検出部７６、データ解析部７７、データ抽出部７８及びテーブル作成部７９を備える。
【０１１３】
データ検出部７６は、映像符号化データＤとチャプタテーブルＥとに基づいて、各チャプタごとに、映像符号化データＤの符号を解析し、ＧＯＰ（ＧｒｏｕｐＯｆ Ｐｉｃｔｕｒｅ）の位置を検出する。次に、各ＧＯＰごとに、映像符号化データＤの符号を１フレームづつ解析する。そして、人の顔を検出し、ポイント化する。
【０１１４】
ポイント化により人の顔を検出するには、以下のようにして行う。
図１９は、人の顔を検出する方法を説明する図である。図１９（ａ）は、解析する画像（１フレーム）を示す。図１９（ｂ）は、マスク画像を示す。人の顔を検出するには、まず、解析する画像（ａ）で、肌色（所定の色の範囲）を示す画素を検出する。次に、マスク画像（ｂ）と解析する画像（ａ）とを比較して、マスク画像（ｂ）の白部分に肌色画素が検出されたときは、その画素をポイント＋１とし、黒部分に肌色画素が検出されたときは、その画素をポイント−１とする。
【０１１５】
データ解析部７７は、画像解析で得られたポイント数をＧＯＰごとに加える。そして、ポイントのＧＯＰ単位（ごと）の合計は、チャプタごとに、映像符号化データＤの位置データ（オーディオビデオデータの先頭からの時間）ｔ０と関連付けられて、ポイントテーブルとして記憶部（図示されず）に格納される。
【０１１６】
ここで、ポイントテーブルについて説明する。
図２０は、ポイントテーブルをグラフの形で表現した図である。縦軸はＧＯＰごとのポイントの合計Ｓ、横軸は位置データｔ０（ここでは「時間」）である。グラフ中の曲線Ｕは、ＧＯＰごとのポイントの合計を示す。時間ｔ１から時間ｔ２までが１チャプタとする。点Ａ２は、チャプタにおけるポイントの合計が最大の点である。そのときの時間はｔＡ２である。
【０１１７】
データ抽出部７８は、ポイントテーブル（図２０）を解析して、ＧＯＰごとのポイントの合計Ｓの最大の点Ａ２を検出する。そして、時間ｔＡ２を中心にして、前後の映像符号化データＤを指定された再生時間になるように、ハイライトシーンとして抽出する。すなわち、図２０において、ハイライトシーンは、時間ｔＣ２から時間ｔＢ２までの映像符号化データＤとなる。このとき、時間ｔＣ２−ｔＢ２＝再生時間、ただし、ｔＣ２−ｔＡ２＝Δｔ２＝ｔＡ２−ｔＢ２である。このハイライトシーンを動画サムネイルとする。
【０１１８】
テーブル作成部７９は、作成された動画サムネイルを動画サムネイルテーブルＬに格納する。
【０１１９】
エンコード部１１、記録日時解析部１２、制御情報データ作成部１４、メニュー画面作成部１５書き込み制御部１６（本実施の形態に関わる図２〜図４、図８の説明を含む）は、第１の実施の形態と同様であるので、その説明を省略する。
【０１２０】
次に、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第３の実施の形態の動作（オーサリングを含む信号処理方法）について説明する。
本実施の形態に関わる図９〜図１１、図１３、図１４については、第１の実施の形態と同様であるのでその説明を省略する。
【０１２１】
次に、ステップＳ０３の動画サムネイルを作成する動作について更に説明する。
図２１は、ステップＳ０３の動画サムネイルを作成する動作を示すフロー図である。
【０１２２】
（１）ステップＳ６１
動画サムネイル作成部１３ｂのデータ検出部７６は、映像符号化データＤとチャプタテーブルＥとに基づいて、一つのチャプタを選択し、そのチャプタの映像符号化データＤを取得する。
（２）ステップＳ６２
データ検出部７６は、チャプタ全体の映像符号化データＤの符号を１フレームづつ解析する。そして、所定の領域（マスク画像で指定）の肌色（所定の色の範囲）を示す画素を顔として検出し、ポイント化する。
（３）ステップＳ６３
データ解析部７７は、画像解析で得られたポイント数をＧＯＰごとに加える。そして、ＧＯＰ単位のポイントと、映像符号化データＤの位置データｔ０とを関連付けて、ポイントテーブル（図２０）として記憶部（図示されず）に格納される。
（４）ステップＳ６４
データ抽出部７８は、ポイントテーブル（図２０）を解析して、ポイント最大の点Ａ２を検出する。そして、時間ｔＡ２を中心にして、前後の映像符号化データＤを指定された再生時間になるように、ハイライトシーンとして抽出する。そして、それを動画サムネイルＦ１とする。
（５）ステップＳ６５
テーブル作成部７９は、動画サムネイルＦ１の各フレームと、映像符号化データＤとを関連付けた動画サムネイルテーブルＬを作成する。
（６）ステップＳ６６
テーブル作成部７９は、全てのチャプタについて動画サムネイルを作成している場合（Ｙｅｓ）、プロセスを終了する。動画サムネイルを作成していないチャプタが有る場合（Ｎｏ）、ステップＳ６１へもどる。
【０１２３】
このようなプロセスにより、全てのチャプタについて、再生時間の揃った動画サムネイルを自動的に最適な方法で作成することが可能となる。
この方法の場合、一般的な顔検出に比較して、色の比較を行うだけなので、処理を高速で行うことが出来る。
【０１２４】
本実施の形態では、人の顔を検出しているが、例えば、特定の動物の色を設定すれば、その特定の動物を検出して動画サムネイルを生成することが出来る。同様に、例えば、植物の緑、空のスカイブルーのような色を設定すれば、自然の風景を検出して動画サムネイルを作成することが出来る。色の設定は、例えば、動画条件データＣから入力するようにする。
【０１２５】
本実施の形態においても、第１の実施の形態と同様の効果を得ることが出来る。
【０１２６】
（第４の実施の形態）
本発明であるオーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法の第４の実施の形態について、添付図面を参照して説明する。
【０１２７】
まず、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第４の実施の形態の構成について説明する。
図２２は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第４の実施の形態の構成を示すブロック図である。ＤＶＤ装置１ａは、オーディオビデオデータＡ、及び諸条件（Ｂ及びＣ、後述）の入力に基づいて、ＤＶＤに、オーディオビデオデータを符号化した映像符号化データ及びその他のデータを記録、格納する。ＤＶＤ装置１ａは、オーサリング機能付き信号処理装置２ａ、ＤＶＤ駆動部３及びシステムマイコン４を具備する。ここでは、ＤＶＤのデータを読み出す構成を省略している。
【０１２８】
オーサリング機能付き信号処理装置２ａは、システムマイコン４の制御により、オーディオビデオデータＡの入力に基づいて、映像符号化データＤ（後述）とメニュー画面データＨ２（後述）と制御情報データＧ２（後述）とを生成する。そして、それらを所定の記憶媒体に記録する制御を行う。記憶媒体は、ＤＶＤに例示される。
ＤＶＤ駆動部３は、システムマイコン４の制御により、オーサリング機能付き信号処理装置２ａから出力される映像符号化データＤとメニュー画面データＨ２と制御情報データＧ２とを、内部にセットされた記憶媒体に記録（格納）する。
システムマイコン４は、オーサリング機能付き信号処理装置２ａ及びＤＶＤ駆動部３を具備するＤＶＤ装置１を制御する。システムマイコン４は、ＭＰＵ（マイクロプロセッサユニット）に例示される。
【０１２９】
オーサリング機能付き信号処理装置２ａは、エンコード部１１ａと、記録日時解析部１２と、制御情報データ作成部１４ａと、メニュー画面作成部１５ａと、書き込み制御部１６ａとを具備する。ここで、エンコード部１１ａと記録日時解析部１２とをデータ前処理部２ａ−２ともいう。データ前処理部２ａ−２と制御情報データ作成部１４ａとメニュー画面作成部１５ａとをデータ処理部２ａ−１ともいう。
【０１３０】
エンコード部１１ａは、外部から入力されるオーディオビデオデータＡに基づいて、オーディオビデオデータを符号化した映像符号化データＤを生成する。それと共に、オーディオビデオデータＡを符号化する過程で算出される符号化データに基づいて、動画データＪを生成する。
【０１３１】
ここで、符号化データは、オーディオビデオデータの符号化の際に用いられる離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、本明細書中「ＤＣＴ」とも記す）の演算の結果として得られるＤＣ係数（直流成分）のみを抽出したデータである。そして、動画データＪは、オーディオビデオデータＡのＤＣ係数で構成される画像（サイズ＝元のフレームの縦１／８×横１／８）を連続的に並べて生成される。オーディオビデオデータＡ、画像データ、オーディオビデオデータＡの符号化及び映像符号化データＤは、第１の実施の形態と同様である。
【０１３２】
動画データＪは、オーディオビデオデータＡを圧縮したものである。これを、各チャプタごとに分割することで、チャプタごとの動画サムネイルＦ２となる。すなわち、動画データＪは、動画サムネイルＦ２の集合である。
【０１３３】
エンコード部１１ａは、更に、動画データＪの各フレームと、映像符号化データＤとを関連付けた動画データテーブルＫを作成する。すなわち、動画データＪの各フレームを示す動画用画像データと、映像符号化データＤの位置データ及びＶＯＢファイルのアドレスとを関連付けた動画データテーブルＫを作成する。ＶＯＢアドレスは、各フレームに対する圧縮（ＭＰＥＧ）後のデータ位置（先頭からのアドレス）である。
【０１３４】
映像符号化データＤを生成する際に、同時に僅かな処理の追加だけで、動画サムネイルＦ２（後述）用の動画データＪを得ることが出来る。この動画データＪは、ＤＣＴ演算を行う１ブロック（８画素×８画素）のデータを一つのＤＣ係数で代表させるので、縦１／８×横１／８＝１／６４にデータを圧縮することが出来る。この場合、データが大胆に省略されているが、メニュー画面の動画サムネイルの用途としては、充分な解像度を得られる。
【０１３５】
図２３は、動画データテーブルＫを示す表である。フレームの通し番号であるフレーム番号４１、映像符号化データＤの位置データ（オーディオビデオデータの先頭からの時間）としての時刻４２、及び映像符号化データＤ内のフレームに対するアドレスとしてのＶＯＢファイルのアドレス４３、動画用画像データとしてのフレーム画像データ４４がフレームごとに関連付けられている。
【０１３６】
記録日時解析部１２及びチャプタテーブルＥは、第１の実施の形態と同様であるので、その説明を省略する。
【０１３７】
図２２を参照して、メニュー画面作成部１５ａは、動画データテーブルＫとチャプタテーブルＥとに基づいて、動画のメニュー画面を示すメニュー画面データＨ２を作成する。ただし、動画サムネイルＦ２は、チャプタテーブルＥで定義されるチャプタに対応させて、動画データテーブルＫから動画データＪの該当部分を取り出して生成する。
ここで、動画のメニュー画面は、複数のチャプタに対応した複数の動画サムネイルＦ２（図示されず）を、一つの画面で一度に表示したものである。例えば、４つのチャプタが有る場合のメニュー画面では、一つの画面で４つの動画サムネイルＦ２を観ることが出来る。このとき、動画サムネイルＦ２の条件を示す動画条件データＣ（例示：画面サイズ、再生時間）を参照し、条件に適合するように各動画サムネイルＦ２を生成する。
【０１３８】
そして、ポインティングデバイス（例示：マウス）により、画面上で動画サムネイルＦ２を選択できる。その場合、メニュー画面データＨ２において、各動画サムネイルＦ２は、動画データテーブルＫのＶＯＢファイルのアドレス４３と関連付けられているので、画面上で選択された動画サムネイルＦ２に対応するチャプタを再生することが出来る。
【０１３９】
制御情報データ作成部１４ａは、動画データテーブルＫとチャプタテーブルＥとに基づいて、複数のチャプタに関するデータを含む制御情報データＧ２（後述）を作成する。すなわち、動画データテーブルＫ（の動画データＪ）に基づいてＤＶＤの制御情報データＧ２を作成し、その制御情報データＧ２のＰＴＴ３７に、各プログラムがどのチャプタに含まれるかを示すチャプタデータ（例示：チャプタ番号３１）を格納する。ただし、制御情報データＧ２は、第１の実施の形態と同様である。
【０１４０】
書き込み制御部１６ａは、映像符号化データＤとメニュー画面データＨ２と制御情報データＧ２とを受信し、それぞれのデータをＤＶＤの所定の領域に記録するように、ＤＶＤ駆動部３へのデータの出力の制御を行う。
このとき、メニュー画面データＨ２は、ＶＭＧ６３のＶＭＧＭ＿ＶＯＢＳに、制御情報データＧ２は、ＶＴＳ６７のＶＴＳＩに、映像符号化データＤは、ＶＴＳＭ＿ＶＯＢＳ〜ＶＴＳＴＴ＿ＶＯＢＳにそれぞれ格納される。
【０１４１】
次に、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第４の実施の形態の動作（オーサリングを含む信号処理方法）について説明する。
図２４は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置（ＭＰＥＧ装置）の第４の実施の形態の動作（オーサリングを含む信号処理方法）を示すフロー図である。
【０１４２】
（１）ステップＳ１１
エンコード部１１ａは、外部から入力されたオーディオビデオデータＡに基づいて、オーディオビデオデータＡを符号化した映像符号化データＤを生成する。それと共に、オーディオビデオデータＡを符号化する過程で算出される符号化データに基づいて、動画データＪを生成し、動画データＪの各フレームと、映像符号化データＤとを関連付けた動画データテーブルＫを作成する。
【０１４３】
（２）ステップＳ１２
記録日時解析部１２は、外部から入力されたオーディオビデオデータＡの日時データに基づいて、オーディオビデオデータＡを複数のチャプタに分割する。ただし、オーディオビデオデータＡを分割するチャプタの数を、外部から入力される最大チャプタ数データＢで示される最大チャプタ数Ｎを越えないようにチャプタを調整する。そして、チャプタテーブルＥを生成する。
【０１４４】
（３）ステップＳ１３
メニュー画面作成部１５ａは、動画データテーブルＫとチャプタテーブルＥとに基づいて、動画のメニュー画面を示すメニュー画面データＨ２を作成する。
【０１４５】
（４）ステップＳ１４
制御情報データ作成部１４ａは、動画データテーブルＫとチャプタテーブルＥとに基づいて、複数のチャプタに関するデータを含む制御情報データＧ２を作成する。このとき、その制御情報データＧ２のＰＴＴに、各プログラムがどのチャプタに含まれるかを示すチャプタデータ（例示：チャプタ番号３１）が格納される。
【０１４６】
（５）ステップＳ１５
書き込み制御部１６は、メニュー画面データＨ２と映像符号化データＤと制御情報データＧ２とをＤＶＤの所定の領域に記録するように、ＤＶＤ駆動部３へのデータの出力の制御を行う。ＤＶＤ駆動部３は、それらのデータをＤＶＤに書き込む。
【０１４７】
ここで、ステップＳ１１の動作の内、における動画データテーブルＫを作成する動作について更に説明する。
図２５は、ステップＳ１１における動画データテーブルＫを作成する動作を示すフロー図である。これらのステップは、Ｉピクチャのみに対して行う。
【０１４８】
（１）ステップＳ７１
ＭＰＥＧの符号化の際に行うＤＣＴ演算で得られるＤＣ係数を抽出する。
（２）ステップＳ７２
オーディオビデオデータＡの１フレーム分のＤＣ係数を再配置して、１フレーム分の動画用の画像（サイズ＝元のフレームの縦１／８×横１／８）を生成する。
（３）ステップＳ７３
生成された動画用の画像を連続的に並べることにより動画データＪを生成する。
（４）ステップＳ７４
動画用の画像の各フレームごとに、動画データＪと、映像符号化データＤとを関連付けた動画データテーブルＫを作成する。すなわち、動画用の画像の各フレームを示す動画用画像データと、映像符号化データＤの位置データ及びＶＯＢファイルのアドレスとを関連付けた動画データテーブルＫを作成する。
【０１４９】
動画データＪは、オーディオビデオデータＡの１ＧＯＰ（１ＶＯＢＵ＝通常０．５秒）分を、１枚の画像で表すことになる。すなわち、大幅に短縮された動画データを得ることが出来る。
【０１５０】
ただし、ステップＳ１２のチャプタテーブルを作成する動作については、図８に示すステップＳ０２と同様であるのでその説明を省略する。
【０１５１】
ここで、ステップＳ１３のメニュー画面データを作成する動作について更に説明する。
図２６は、ステップＳ１３のメニュー画面データを作成する動作を示すフロー図である。ここでは、チャプタの数が４個の場合について説明する。
【０１５２】
（１）ステップＳ８１
メニュー画面作成部１５ａは、各チャプタの開始時刻（位置データ：オーディオビデオデータでの時刻）を特定するために、チャプタ番号ｋ＝１を設定する。
（２）ステップＳ８２
メニュー画面作成部１５ａは、チャプタ番号ｋの開始時刻について、チャプタテーブルＥのチャプタ番号４１＝ｋの欄の１つ前の欄の時刻４２（前のチャプタの終了時刻）から、チャプタ番号ｋの開始時刻を求める。（開始時刻）＝（１つ前の欄の時刻４２）＋（１フレーム分の時間）、で求める。
例えば、チャプタ番号ｋ＝２の場合、チャプタ番号４１＝ｋ＝２の欄の１つ前の欄は、チャプタ番号４１＝１の欄である。したがって、（チャプタ番号ｋ＝２の開始時刻）＝（チャプタ番号ｋ＝１の欄の時刻４２（チャプタ１の終了時刻））＋（１フレーム分の時間）、で求まる。ただし、チャプタ番号ｋ＝１は、最初のチャプタであり、１つ前の欄は存在しないので、その場合、開始時刻＝０とする。
（３）ステップＳ８３、ステップＳ８４
メニュー画面作成部１５ａは、チャプタ番号ｋが、最大チャプタ数Ｎ（ここでは、Ｎ＝４）以上となるまで、ステップＳ８２〜ステップＳ８４を繰り返す。
これにより、各チャプタの開始時刻を特定することが出来る。
（４）ステップＳ８５
メニュー画面作成部１５ａは、動画のメニュー画面（メニュー画面データＨ２）の第１フレームを作成するために、フレーム番号ｍ＝１を設定する。
（５）ステップＳ８６
メニュー画面作成部１５ａは、第１フレームのチャプタ１について処理を行うために、チャプタ番号ｋ＝１を設定する。
（６）ステップＳ８７
メニュー画面作成部１５ａは、動画データテーブルＫに基づいて、チャプタ番号ｋ＝１のチャプタにおけるｍ＝１番目のフレームに相当するフレーム画像データ４４を動画データテーブルＫから取得する。そして、メニュー画面のｍ＝１番目のフレームの右上に貼り付ける。
（７）ステップＳ８８、ステップＳ８９
メニュー画面作成部１５ａは、チャプタ番号ｋが、最大チャプタ数Ｎ（ここでは、Ｎ＝４）以上となるまで、ステップＳ８７〜ステップＳ８９を繰り返す。
これにより、メニュー画面データＨ２のｍ＝１番目の１フレーム分が完成する。ただし、ｋ＝２の場合、フレームの左上、ｋ＝３の場合、フレームの右下、ｋ＝４の場合、フレームの左下に、フレーム画像データ４４をそれぞれ貼り付ける。
（８）ステップＳ９０、ステップＳ９１
メニュー画面作成部１５ａは、フレーム番号ｍが、指定フレーム数Ｍ（指定された再生時間に相当）以上となるまで、ステップＳ８６〜ステップＳ９１を繰り返す。
これにより、指定フレーム数Ｍ（指定された再生時間分）のメニュー画面（静止画）が生成される。
（９）ステップＳ９２
メニュー画面作成部１５ａは、得られた複数のメニュー画面（静止画）をＭＰＥＧ２規格により圧縮して、ＶＯＢファイルとし、メニュー画面データＨ２を完成させる。それには、上記プロセスにより４つのチャプタの動画サムネイルが含まれている。
【０１５３】
上記（１）ステップＳ８１〜（９）ステップＳ９２で作成されたメニュー画面データＨ２は、図１４と同様であるので、その説明を省略する。
【０１５４】
このようにして、各チャプタの動画サムネイルを含むメニュー画面データを、自動的に作成することが出来る。
【０１５５】
以上のように本発明は、第１の実施の形態と同様の効果を得ることが出来る。
【０１５６】
【発明の効果】
本発明により、複数のオーディオビデオデータを一つの記憶媒体に格納する場合に、オーディオビデオデータを自動的に区切り、チャプタを自動生成し、動画サムネイルを用いたメニュー画面を自動的に生成することが可能になる。そして、記憶媒体内の内容を迅速且つ的確に把握することが可能になる。
【図面の簡単な説明】
【図１】図１は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置の第１〜３の実施の形態の構成を示すブロック図である。
【図２】図２は、記録日時解析部の構成を示す図である。
【図３】図３は、日時データ及び位置データを示す図である。
【図４】図４は、チャプタテーブルを示す表である。
【図５】図５は、動画サムネイルテーブルを示す表である。
【図６】図６は、動画サムネイル作成部１３の構成を示すブロック図である。
【図７】図７は、差分値テーブルをグラフの形で表現した図である。
【図８】図８は、ＤＶＤに格納されるデータの構造を示す図である。
【図９】図９は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置の第１〜３の実施の形態の動作を示すフロー図である。
【図１０】図１０は、ステップＳ０２のチャプタテーブルを作成する動作を示すフロー図である。
【図１１】図１１（ａ）〜（ｃ）は、図４のチャプタテーブルを生成する過程を示す図である。
【図１２】図１２は、ステップＳ０３の動画サムネイルを作成する動作を示すフロー図である。
【図１３】図１３は、ステップＳ０５のメニュー画面データを作成する動作を示すフロー図である。
【図１４】図１４は、動画のメニュー画面を示す図である。
【図１５】図１５は、動画サムネイル作成部１３ａの構成を示すブロック図である。
【図１６】図１６は、符号量テーブルをグラフの形で表現した図である。
【図１７】図１７は、ステップＳ０３の動画サムネイルを作成する動作を示すフロー図である。
【図１８】図１８は、動画サムネイル作成部１３ｂの構成を示すブロック図である。
【図１９】図１９（ａ）（ｂ）は、人の顔を検出する方法を説明する図である。
【図２０】図２０は、ポイントテーブルをグラフの形で表現した図である。
【図２１】図２１は、ステップＳ０３の動画サムネイルを作成する動作を示すフロー図である。
【図２２】図２２は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置の第４の実施の形態の構成を示すブロック図である。
【図２３】図２３は、動画データテーブルを示す表である。
【図２４】図２４は、本発明であるオーサリング機能付き信号処理装置を適用したＤＶＤ装置の第４の実施の形態の動作を示すフロー図である。
【図２５】図２５は、ステップＳ１１における動画データテーブルを作成する動作を示すフロー図である。
【図２６】図２６は、ステップＳ１３のメニュー画面データを作成する動作を示すフロー図である。
【符号の説明】
１（ａ） ＤＶＤ装置
２（ａ） オーサリング機能付き信号処理装置
２−１、２ａ−１ データ処理部
２−２ データ作成部
２ａ−２ データ前処理部
２−３ データ前処理部
３ ＤＶＤ駆動部
４ システムマイコン
１１（ａ） エンコード部
１２ 記録日時解析部
１３（ａ、ｂ） 動画サムネイル作成部
１４（ａ） 制御情報データ作成部
１５（ａ） メニュー画面作成部
１６（ａ） 書き込み制御部
２１ チャプタ分割部
２２ チャプタ制限部
２３ テーブル生成部
２５、５５、７５ 動画サムネイル作成実行部
２６ ハイライトシーン検出部
２７ 作成手法選択部
２８ 作成手法実行部
２９ テーブル作成部
３１ チャプタ番号
３２ チャプタ終了位置
３３ チャプタ記録日時間隔
３４ ビデオタイトルセット
３５ タイトル
３６ プログラムチェーン（ＰＧＣ）
３７ ＰＴＴ（チャプタ）
３８ プログラム（ＰＧ）
３８−１ セル
３８−２ ビデオオブジェクトユニット（ＶＯＢＵ）
３８−３ パック
５０ メニュー画面
５１−１ チャプタ１の動画サムネイル
５１−２ チャプタ２の動画サムネイル
５１−３ チャプタ３の動画サムネイル
５１−４ チャプタ４の動画サムネイル
５２ メニューボタン
５６、７６ データ検出部
５７、７７ データ解析部
５８、７８ データ抽出部
５９、７９ テーブル作成部
６１ ＤＶＤに格納されるデータ
６３ ビデオマネージャ（ＶＭＧ）
６７ ビデオタイトルセット（ＶＴＳ）
Ａ オーディオビデオデータ
Ｂ 最大チャプタ数データ
Ｃ 動画条件データ
Ｄ 映像符号化データ
Ｅ チャプタテーブル
Ｆ（１、２） 動画サムネイル
Ｇ（１、２） 制御情報データ
Ｈ（１、２） メニュー画面データ
Ｉ（１、２） 動画サムネイル＋制御情報データ＋メニュー画面データ
Ｊ 動画データ
Ｋ 動画データテーブル
Ｌ 動画サムネイルテーブル

Claims (6)

1. オーディオビデオデータをチャプタごとに分割して生成される複数のチャプタの各々ごとに動画サムネイルを作成し、前記動画サムネイルを含むメニュー画面データを作成するデータ処理部と、
   前記メニュー画面データを記憶媒体に記録する制御を行う書き込み制御部と、
   を具備し、
   前記オーディオビデオデータは、複数の画像データと、前記画像データの記録日時を示す日時データと、前記オーディオビデオデータにおける前記画像データの位置を示す位置データとを含み、
   前記メニュー画面データは、前記複数のチャプタのうちの一部又は全部の前記動画サムネイルを同時に表示するメニュー画面を示し、
   前記データ処理部は、
   前記オーディオビデオデータを分割して前記複数のチャプタを生成し、前記複数のチャプタの各々ごとに前記動画サムネイルを作成し、前記動画サムネイルに関するデータを示す動画サムネイルデータと、前記複数のチャプタに関する制御情報を示す制御情報データとを作成するデータ作成部と、
   前記動画サムネイルデータと前記制御情報データとに基づいて、メニュー画面データを作成するメニュー画面作成部と
   を備え、
   前記データ作成部は、
   前記オーディオビデオデータを分割して前記複数のチャプタを生成し、前記複数のチャプタに関するデータを示すチャプタデータと、前記オーディオビデオデータを符号化した映像符号化データとを作成するデータ前処理部と、
   前記映像符号化データと前記チャプタデータとに基づいて、前記動画サムネイルデータを作成する動画サムネイル作成部と、
   前記映像符号化データと前記チャプタデータとに基づいて、前記制御情報データを作成する制御情報データ作成部と
   を含み、
   前記動画サムネイル作成部は、
   前記映像符号化データと前記チャプタデータとに基づいて、前記チャプタごとに、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の位置を検出するデータ検出部と、
   検出された前記ＧＯＰに基づいて、前記チャプタごとに、前記ＧＯＰにおけるＧＯＰ単位の符号量と前記位置データとを関連付けた符号量テーブルを作成するデータ解析部と、
   前記符号量テーブルに基づいて、前記チャプタごとに、前記符号量が最大となる前記ＧＯＰを含む連続した所定の時間の前記映像符号化データを前記動画サムネイルとして抽出するデータ抽出部と、
   抽出された前記動画サムネイルに基づいて、前記動画サムネイルデータを生成するテーブル作成部と
   を備え、
   前記動画サムネイルデータは、前記チャプタごとの前記動画サムネイルと、前記位置データとを関連付けた動画サムネイルテーブルを含む
   オーサリング機能付き信号処理装置。
2. チャプタに分割されたオーディオビデオデータから、前記チャプタごとにＧＯＰの位置を検出するデータ検出部と、
   前記データ検出部で検出された前記ＧＯＰに基づいて、前記チャプタごとに、前記ＧＯＰにおけるＧＯＰ単位の符号量と前記ＧＯＰの位置データとを関連づけた符号量テーブルを作成するデータ解析部と、
   前記データ解析部で作成された前記符号量テーブルに基づいて、前記チャプタごとに、前記符号量が最大となる前記ＧＯＰを含む連続した所定の時間の前記オーディオビデオデータを前記動画サムネイルとして抽出するデータ抽出部と
   を備えることを特徴とする信号処理装置。
3. （ａ）オーディオビデオデータをチャプタごとに分割して生成される複数のチャプタの各々ごとに動画サムネイルを作成し、前記動画サムネイルを含むメニュー画面データを作成するステップと、
   ここで、
   前記オーディオビデオデータは、複数の画像データと、前記画像データの記録日時を示す日時データと、前記オーディオビデオデータにおける前記画像データの位置を示す位置データを含み、
   前記メニュー画面データは、前記複数のチャプタのうちの一部又は全部の前記動画サムネイルを同時に表示するメニュー画面を示し、
   （ｂ）前記メニュー画面データを記憶媒体に記録するステップと、
   を具備し、
   前記（ａ）ステップは、
   （ａ１）前記オーディオビデオデータに基づいて、前記オーディオビデオデータを符号化した映像符号化データを作成するステップと、
   （ａ２）前記日時データに基づいて、前記オーディオビデオデータを分割して前記複数のチャプタを生成し、前記チャプタに関するデータを示すチャプタデータを作成するステップと、
   （ａ３）前記映像符号化データと前記チャプタデータとに基づいて、前記複数のチャプタの各々ごとに動画サムネイルを作成し、前記動画サムネイルに関するデータを示す動画サムネイルデータを作成するステップと、
   （ａ４）前記映像符号化データと前記チャプタデータとに基づいて、前記複数のチャプタに関する制御情報を示す制御情報データを作成するステップと、
   （ａ５）前記動画サムネイルデータと前記制御情報データとに基づいて、メニュー画面データを作成するステップと
   を備え、
   前記（ａ３）ステップは、
   （ａａ６）前記映像符号化データと前記チャプタデータとに基づいて、前記チャプタごとに、ＧＯＰの位置を検出するステップと、
   ここで、
   前記チャプタデータは、前記複数のチャプタの各々に対応したチャプタ日時データとチャプタ位置データとを関連付けているチャプタテーブルを含み、
   前記チャプタ日時データは、前記複数のチャプタの各々における前記日時データに基づくデータであり、
   前記チャプタ位置データは、前記複数のチャプタの各々における前記位置データに基づくデータであり、
   （ａａ７）検出された前記ＧＯＰに基づいて、前記チャプタごとに、前記ＧＯＰにおけるＧＯＰ単位の符号量と前記位置データとを関連付けた符号量テーブルを作成するステップと、
   （ａａ８）前記符号量テーブルに基づいて、前記チャプタごとに、前記符号量が最大となる前記ＧＯＰを含む連続した所定の時間の前記映像符号化データを前記動画サムネイルとして抽出するステップと、
   （ａａ９）抽出された前記動画サムネイルに基づいて、動画サムネイルデータを作成するステップと
   ここで、
   前記動画サムネイルデータは、前記チャプタごとの前記動画サムネイルと、前記位置データとを関連付けた動画サムネイルテーブルを含み
   を備える
   オーサリングを含む信号処理方法。
4. チャプタに分割されたオーディオビデオデータから、前記チャプタごとにＧＯＰの位置を検出する第１のステップと、
   前記第１ステップで検出された前記ＧＯＰに基づいて、前記チャプタごとに、前記ＧＯＰにおけるＧＯＰ単位の符号量と前記ＧＯＰの位置データとを関連づけた符号量テーブルを作成する第２のステップと、
   前記第２のステップで作成された前記符号量テーブルに基づいて、前記チャプタごとに、前記符号量が最大となる前記ＧＯＰを含む連続した所定の時間の前記オーディオビデオデータを前記動画サムネイルとして抽出する第３のステップと
   を備える動画サムネイル作成実行方法。
5. （ｃ）オーディオビデオデータをチャプタごとに分割して生成される複数のチャプタの各々ごとに動画サムネイルを作成し、前記動画サムネイルを含むメニュー画面データを作成するステップと、
   ここで、
   前記オーディオビデオデータは、複数の画像データと、前記画像データの記録日時を示す日時データと、前記オーディオビデオデータにおける前記画像データの位置を示す位置データを含み、
   前記メニュー画面データは、前記複数のチャプタのうちの一部又は全部の前記動画サムネイルを同時に表示するメニュー画面を示し、
   （ｄ）前記メニュー画面データを記憶媒体に記録するステップと、
   を具備し、
   前記（ｃ）ステップは、
   （ｃ１）前記オーディオビデオデータを符号化した映像符号化データを作成するステップと、
   （ｃ２）前記オーディオビデオデータを分割して前記複数のチャプタを生成し、前記チャプタに関するデータを示すチャプタデータを作成するステップと、
   （ｃ３）前記映像符号化データと前記チャプタデータとに基づいて、前記複数のチャプタの各々ごとに動画サムネイルを作成し、前記複数の動画サムネイルに関するデータを示す動画サムネイルデータを作成するステップと、
   （ｃ４）前記映像符号化データと前記チャプタデータとに基づいて、前記複数のチャプタに関する制御情報を示す制御情報データを作成するステップと、
   （ｃ５）前記動画サムネイルデータと前記制御情報データとに基づいて、メニュー画面データを作成するステップと
   を備え、
   前記（ｃ３）ステップは、
   （ｃａ６）前記映像符号化データと前記チャプタデータとに基づいて、前記チャプタごとに、ＧＯＰの位置を検出するステップと、
   ここで、
   前記チャプタデータは、前記複数のチャプタの各々に対応したチャプタ日時データとチャプタ位置データとを関連付けているチャプタテーブルを含み、
   前記チャプタ日時データは、前記複数のチャプタの各々における前記日時データに基づくデータであり、
   前記チャプタ位置データは、前記複数のチャプタの各々における前記位置データに基づくデータであり、
   （ｃａ７）検出された前記ＧＯＰに基づいて、前記チャプタごとに、前記ＧＯＰにおけるＧＯＰ単位の符号量と前記位置データとを関連付けた符号量テーブルを作成するステップと、
   （ｃａ８）前記符号量テーブルに基づいて、前記チャプタごとに、前記符号量が最大となる前記ＧＯＰを含む連続した所定の時間の前記映像符号化データを前記動画サムネイルとして抽出するステップと、
   （ｃａ９）抽出された前記動画サムネイルに基づいて、動画サムネイルデータを作成するステップと
   ここで、
   前記動画サムネイルデータは、前記チャプタごとの前記動画サムネイルと、前記位置データとを関連付けた動画サムネイルテーブルを含み
   を備える方法をコンピュータに実行させるためのプログラム。
6. チャプタに分割されたオーディオビデオデータから、前記チャプタごとにＧＯＰの位置を検出する第１のステップと、
   前記第１ステップで検出された前記ＧＯＰに基づいて、前記チャプタごとに、前記ＧＯＰにおけるＧＯＰ単位の符号量と前記ＧＯＰの位置データとを関連づけた符号量テーブルを作成する第２のステップと、
   前記第２のステップで作成された前記符号量テーブルに基づいて、前記チャプタごとに、前記符号量が最大となる前記ＧＯＰを含む連続した所定の時間の前記オーディオビデオデータを前記動画サムネイルとして抽出する第３のステップと
   を具備する方法をコンピュータに実行させるプログラム。

Images