JP3918772B2 - 映像編集装置、映像編集方法、および映像編集プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像データを映像のシーンごとに分割する映像編集装置、映像編集方法および映像編集プログラムに関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ等で動画像を扱うようになり、動画像の検索や、編集等の作業をいかに効率よく行うかが重要になってきている。動画像の検索や編集等を行う場合、動画像を構成しているシーンに動画像を分解し、動画像内の各シーンの配置や、構成等を把握することが必要である。ここで、シーンとは、動画像においてカメラが切り替わる単位、または音声（例えば、話者。）が切り替わる単位等を意味する。
【０００３】
動画像である映像を編集する際に、映像を符号化した信号である映像データを用いて映像を編集する映像編集システムの一例として、特許文献１に記載されている従来の映像編集システムの一構成例を図１２のブロック図に示す。図１２に示す構成の従来の映像編集システムは、符号化パラメータ抽出部１２１が、符号化された映像データから符号化パラメータを抽出し、シーンチェンジフレーム検出部１２２が、符号化パラメータに基づいて映像のシーンの切り替わりのフレームであるシーンチェンジフレームを検出する。そして、シーン群決定部１２３が、シーンチェンジフレームの位置に基づいてシーンを区切ってシーンの集まりであるシーン群を特定し、シーン群における先頭フレームの位置の情報であるシーン群情報を生成する。シーン情報階層化部１２４は、映像全体にわたってシーンチェンジフレームの位置の情報とシーン群情報とを、階層化して蓄積部１２５に蓄積させる。
【０００４】
ここで、シーン群決定部１２３は、隣り合うシーンのシーンチェンジフレームの位置の差分であるシーンチェンジフレーム間の時間差を算出する。そして、算出したフレーム間の時間差と所定のしきい値とを比較してシーンチェンジフレーム間の時間差が所定のしきい値以上であれば隣り合うシーンはそれぞれ異なるシーン群に属すると決定して、隣り合うシーンのうち時間的に後にあるシーンを新たなシーン群の先頭シーンとする。また、シーンチェンジフレーム間の時間差が所定のしきい値以下であれば隣り合うシーンは同一のシーン群に属すると決定する。このようにシーン群決定部１２３は、隣り合う全てのシーンについてシーンチェンジフレーム間の時間差を所定のしきい値と比較して、映像全体をシーン群に区分する。
【０００５】
また、例えば特許文献２に記載されている従来の映像構造化装置の一構成例を、図１３のブロック図に示す。図１３に示す構成の映像構造化装置は、特徴量抽出部１３１が、入力された映像の時間的に分割された区間の特徴量ベクトルを抽出し、量子化部１３２が、特徴量ベクトルを番号に変換し映像を番号列で表現する。そして、計数部１３３が、番号列の出現回数を数え、出現頻度の高い部分列を抽出する。このように、入力された映像の時間的に分割された区間のうち、特定のパターンで高い頻度で出現する区間の並びを抽出する。
【０００６】
【特許文献１】
特開２００１−３２６９０１号公報 （第４−７頁、第１図）
【特許文献２】
特開平１１−２４２６８５号公報 （第４−１０頁、第１図）
【０００７】
【発明が解決しようとする課題】
特許文献１に記載された映像編集システムは、シーン群の判定をシーンチェンジフレーム間の時間差で判定している。そのため、類似したシーンが繰り返し同じ順番で出現するという繰り返し構造が所定の時間内に含まれる場合、シーン群決定部１２３は、繰り返し構造を構成する各シーンをシーン群として特定しない。
【０００８】
また、特許文献２に記載された映像構造化装置は、入力された映像の時間的に分割された区間のうち、特定のパターンで高い頻度で出現する区間の並びを抽出するが、高い頻度で出現する区間の並びとして抽出されなかった区間に対する処理を行わない。そのため、入力された映像の中で高い頻度で出現する区間の並びとして抽出されなかった区間に対する編集作業を、特許文献２に記載された映像構造化装置以外の手段を用いて行わなくてはならない。
【０００９】
そこで、本発明は、入力された映像に含まれるシーンの出現順と出現回数とを利用して、入力された映像全体を自動的にシーン群に区分する映像編集装置、映像編集方法、および映像編集プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による映像編集装置は、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割するシーン検出手段と、各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付けるシーン分類手段と、時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出するシーン群抽出手段と、シーン群抽出手段の抽出の対象とならなかったシーングループの並びと、シーン群抽出手段が抽出したシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含めるシーン群決定手段と、映像データをシーン群に分類した結果の情報を蓄積する蓄積手段とを備えたことを特徴とする。
【００１１】
シーン群決定手段は、シーン群の最初のシーンのシーングループと、シーングループの並びのうち最初のシーンのシーングループとが一致するか否か判定し、シーン群の最後のシーンのシーングループと、シーングループの並びのうち最後のシーンのシーングループとが一致するか否か判定し、ともに一致すると判定されたシーングループの並びをシーン群に含めてもよい。そのような構成によれば、シーン群の構成に類似するシーングループの並びを、シーン群と特定することができる。
【００１２】
シーン群決定手段は、映像データ中に登場する回数の多い順にシーン群を選択してマッチングを行ってもよく、映像データ中に登場する回数が同じシーン群が複数存在する場合は、時間軸上で登場する順にシーン群を選択してマッチングを行ってもよい。そのような構成によれば、類似したシーンが繰り返し同じ順番で出現するという繰り返し構造を構成する各シーンをシーン群として特定することができる。
【００１３】
シーン群決定手段は、マッチングの結果、シーン群と特定されなかったシーンの並びを、シーン群と特定してもよい。そのような構成によれば、すべてのシーンの並びを、シーン群に特定することができる。
【００１４】
本発明による映像編集装置は、入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された複数のシーンを出力するシーン検出手段と、
シーン検出手段で作成された複数のシーンの特徴量を抽出してシーン間の類似度を算出し、シーンの間の類似度に基づいて複数のシーンを複数のグループに分類し、分類した複数のグループにシーングループＩＤを付与して複数のシーングループを作成し、複数のシーンのそれぞれにシーングループを特定するシーングループＩＤを付与するシーン分類手段と、シーングループＩＤが繰り返し同じ順番で出現するシーングループＩＤの組を抽出し、抽出された複数のシーングループＩＤの組にシーン群グループＩＤを付与して複数のシーン群グループを作成し、複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、シーン群グループごとにシーン群グループＩＤとシーングループＩＤの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、シーングループＩＤの出現順がシーン群グループのシーングループＩＤの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、シーン群ＩＤとシーングループＩＤの出現順が抽出されたシーン群でのシーングループＩＤの出現順に一致するシーン群グループのシーン群グループＩＤと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力するシーン群抽出手段と、シーン群グループを映像データ中の出現回数が多い順から１つずつ選択し、シーン群抽出手段でシーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを１つずつ選択し、選択したシーンの並びの中に選択したシーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在する場合に、選択したシーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンで始まり、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンで終わる複数のシーンの組をシーン群として抽出し、抽出した複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、抽出されたシーン群のシーン群ＩＤと選択したシーン群グループのシーン群グループＩＤと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、シーン群の抽出を選択した全てのシーンの並びと選択した全てのシーン群グループとについて繰り返しおこない、シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った１つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された複数のシーン群にシーン群ＩＤを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成するシーン決定手段と、シーン群情報をシーン群情報データベースに蓄積する蓄積手段とを備えたことを特徴とする。
【００１５】
本発明による映像編集方法は、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データをシーンに分割し、シーンの特徴量を抽出し、抽出した特徴量に応じてシーンをグループに分類したシーングループを生成し、映像データの時間軸上に複数回同じ並びで出現するシーングループの並びをシーンの集まりであるシーン群と特定して抽出し、抽出の対象とならなかったシーングループの並びとシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群と特定し、映像データをシーン群に分類した結果の情報を蓄積することを特徴とする。
【００１６】
本発明による映像編集方法は、入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された複数のシーンを出力し、作成された複数のシーンの特徴量を抽出してシーン間の類似度を算出し、シーンの間の類似度に基づいて複数のシーンを複数のグループに分類し、分類した複数のグループを構成するフレームにシーングループＩＤを付与して複数のシーングループを作成し、複数のシーンのそれぞれにシーングループを特定するシーングループＩＤを付与し、シーングループＩＤが繰り返し同じ順番で出現するシーングループＩＤの組を抽出し、抽出された複数のシーングループＩＤの組にシーン群グループＩＤを付与して複数のシーン群グループを作成し、複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、シーン群グループごとにシーン群グループＩＤとシーングループＩＤの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、シーングループＩＤの出現順がシーン群グループのシーングループＩＤの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、シーン群ＩＤとシーングループＩＤの出現順が抽出されたシーン群でのシーングループＩＤの出現順に一致するシーン群グループのシーン群グループＩＤと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力し、シーン群グループを映像データ中の出現回数が多い順から１つずつ選択し、シーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを１つずつ選択し、選択したシーンの並びの中に選択したシーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在する場合に、選択したシーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンで始まり、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンで終わる複数のシーンの組をシーン群として抽出し、抽出した複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、抽出されたシーン群のシーン群ＩＤと選択したシーン群グループのシーン群グループＩＤと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、シーン群の抽出を選択した全てのシーンの並びと選択した全てのシーン群グループとについて繰り返しおこない、シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った１つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された複数のシーン群にシーン群ＩＤを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、シーン群情報をシーン群情報データベースに蓄積することを特徴とする。
【００１７】
本発明による映像編集プログラムは、映像データを編集して、シーンの集まりであるシーン群を生成する映像編集装置に搭載される映像編集プログラムであって、コンピュータに、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データをシーンに分割する処理と、シーンの特徴量を抽出し、抽出した特徴量に応じてシーンをグループに分類したシーングループを生成する処理と、映像データの時間軸上に複数回同じ並びで出現するシーングループの並びをシーンの集まりであるシーン群と特定して抽出する処理と、抽出の対象とならなかったシーングループの並びと抽出されたシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含める処理と、映像データをシーン群に分類した結果の情報を記憶装置に記憶させる処理とを備えることを特徴とする。
【００１８】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。図１は、本発明の実施の形態の一構成例を示すブロック図である。本発明による映像編集装置は、入力された映像データ１０１に含まれるカメラが切り替わる場面あるいは音声（例えば、話者。）が切り替わるタイミングであるシーンチェンジを検出して、映像データ１０１をシーンに分割するシーン検出手段１０２と、シーンの特徴量を算出し、算出した特徴量に応じてシーンをグループに分類したシーングループを生成するシーン分類手段１０３と、繰り返し同じ順番で出現するシーングループが構成するシーングループの集合であるシーン群を抽出するシーン群抽出手段１０４と、シーン群の抽出の対象とならなかったシーングループを分類してシーン群を生成するシーン群決定手段１０５と、映像データをシーン群に分類した結果の情報をシーン群情報データベース１０７に蓄積する蓄積手段１０６とを含む。本発明による映像編集装置は、コンピュータ等により実現され、各手段はプログラム等により実現される。
【００１９】
シーン検出手段１０２は、動画像のデータである映像データ１０１が入力されると、映像データ１０１の映像において、カメラが切り替わるタイミングあるいは音声が切り替わるタイミングであるシーンチェンジを検出する。シーンチェンジの検出方法は、例えば映像データ１０１による映像の、連続するフレーム間の画素の色情報のレイアウトの差分を算出し、算出した差分が所定のしきい値以上となった場合、シーンチェンジであると判定することにより行う。シーン検出手段１０２は、映像データ１０１をシーンチェンジを検出したタイミングで区切る。そして、区切られた映像データ１０１の各区間である各シーンに対応する情報のファイルであるシーン情報ファイルを生成する。
【００２０】
シーン検出手段１０２は、区切られた各シーンに時間順に先頭から番号を付与し、付与した番号を各シーンに対応付けてシーン情報ファイルに記録する。そして、シーン検出手段１０２は、シーンに区切られた映像データ１０１と、シーン情報ファイルとをシーン分類手段１０３に出力する。また、シーン検出手段１０２は、シーンチェンジのしたフレームであるシーンチェンジフレームを特定する情報であるシーンチェンジ位置情報を生成してシーン群決定手段１０５に出力する。ここで、映像データ１０１は、シーン検出手段１０２がシーンチェンジを検出できる信号形式であればよく、例えば、アナログＶＴＲやＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）等の記録媒体に記録されているデータや、ＭＰＥＧ等のデータである。
【００２１】
シーン分類手段１０３は、シーンに区切られた映像データ１０１が入力されると各シーンの特徴量を抽出し、抽出した各シーンの特徴量を互いに比較して類似度を算出する。ここで、シーンの特徴量は、映像データ１０１による映像のフレームにおける各画素の色情報のレイアウトである。また、映像データに含まれる音声信号がステレオ音声であるか、モノラル音声であるか、または多重音声であるか等の音声信号の種類や、音声信号の波形を特徴量に用いてもよい。さらに、字幕の有無、字幕の表示位置や、表示言語等の情報を特徴量に用いてもよい。また、類似度は、例えば、シーン間の特徴量の差分絶対値和である。そして、シーンの類似度が、所定のしきい値よりも小さいシーンのグループであるシーングループに分類し、シーングループを特定する記号である対応情報（例えば、シーングループＩＤ。）を各シーンに付与する。つまり、シーン分類手段１０３は、各シーングループを特定するシーングループＩＤを各シーンに対応付ける。
【００２２】
シーン分類手段１０３は、特異値分解（ＳＶＤ）法等の既存の方法を用い、シーンを特徴量の類似度に基づいてグループに分類する。具体的には、各シーンの特徴量を抽出し、特徴量空間にマッピングすると、特徴量空間に特徴量の類似するシーンの固まりができる。特徴量空間において、特徴量間の距離があらかじめ決められているしきい値よりも小さい場合に、それらは１つの固まりに属するとする。それぞれの固まりを各々のグループとする。シーン分類手段１０３は、各シーンに付与されたシーングループＩＤを各シーンに対応付けてシーン情報ファイルに記録する。シーン分類手段１０３は、映像データ１０１とシーン情報ファイルとをシーン群抽出手段１０４に出力する。
【００２３】
シーン群抽出手段１０４は、映像データ１０１が入力されると、シーン情報ファイルに記録されているシーングループＩＤに基づいて、同じシーングループＩＤが繰り返し同じ順番で出現するシーングループＩＤの組であるシーン群グループを抽出する。シーン群グループの抽出は、テキストデータマイニングの手法である動的計画法等の既存の手法を用いてよい。そして、シーン群グループを特定する記号であるシーン群グループＩＤを各シーンに付与する。シーン群抽出手段１０４は、各シーンに付与されたシーン群グループＩＤを、各シーンに対応付けてシーン情報ファイルに記録する。そして、シーン群抽出手段１０４は、各シーン群グループが映像データ１０１に存在する数と、各シーン群グループの映像データ１０１における時間軸上の順序とを特定する。
【００２４】
シーン群抽出手段１０４は、シーン群グループＩＤと、シーン群グループが映像データ１０１に存在する数の情報と、シーン群グループの映像データ１０１における時間軸上の順序の情報とによって構成されるシーン群グループ情報を生成する。このとき、シーン群グループ情報におけるシーン群グループＩＤの順序を、映像データ１０１に存在するシーン群グループの数が多い順序にしてもよい。
【００２５】
シーン群抽出手段１０４は、シーン群グループを抽出し、抽出した各シーン群グループをシーン群とする。そして、各シーン群に、シーン群を特定する記号であるシーン群ＩＤをシーン群を構成する各シーンに付与する。シーン群抽出手段１０４は、シーン群ＩＤを各シーンに対応付けてシーン情報ファイルに記録する。そして、シーン群抽出手段１０４は、シーン群のシーン群ＩＤと、シーン群を構成する各シーンのシーン群グループＩＤの情報と、各シーン群の先頭のシーンチェンジフレームを特定する情報とによって構成されるシーン群情報を生成する。シーン群抽出手段１０４は、シーン群と、シーン群として抽出されなかった部分の映像データ１０１と、シーン群グループ情報と、シーン群情報とをシーン群決定手段１０５に出力する。シーン群抽出手段１０４は、シーン群情報を蓄積手段１０６に出力して、シーン群情報データベースに蓄積させてもよい。
【００２６】
シーン群決定手段１０５は、シーン検出手段１０２が出力したシーンチェンジ位置情報に基づいて、シーン群として抽出されなかった部分の映像データ１０１をシーンに区切る。そして、シーン群決定手段１０５は、シーン群グループを１つ選択する。選択したシーン群グループの最初のシーンのシーングループＩＤと、選択したシーン群グループの最後のシーンのシーングループＩＤとを抽出する。また、シーン群抽出手段１０４がシーン群として抽出しなかった残りのシーンのうち、時間軸上で連続したシーンの並びを特定する。そして、シーン群抽出手段１０４がシーン群として抽出しなかった残りのシーンのうち、選択したシーン群の最初のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンを特定する。
【００２７】
そして、特定したシーンと連続したシーンであって、時間軸上における後方に、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンが存在していた場合、選択したシーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンと、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンとの間のシーンを、シーン群として抽出し、シーン群を特定するシーン群ＩＤをシーン群を構成する各シーンに付与する。シーン群決定手段１０５は、シーン群ＩＤを各シーンに対応付けてシーン情報ファイルに記録する。
【００２８】
シーン群決定手段１０５は、入力された全てのシーン群について、出現回数の多い順序でシーン群を選択して上記の処理を行い、出現回数が同じシーン群が複数存在する場合は、時間軸上で登場する順にシーン群を選択して上記の処理を行い、シーン群を抽出する。そして、入力された全てのシーン群について上記の処理に行う。上記の処理を行っても抽出されなかったシーンをシーン群として抽出し、シーン群を特定するシーン群ＩＤをシーン群を構成する各シーンに付与する。シーン群決定手段１０５は、シーン群ＩＤを各シーンに対応付けてシーン情報ファイルに記録する。
【００２９】
シーン群決定手段１０５は、シーン群決定手段１０５が抽出したシーン群のシーン群ＩＤと、シーン群を構成する各シーンのシーン群グループＩＤと、各シーン群の先頭のシーンチェンジフレームを特定する情報とを新たに含む、シーン群情報を生成する。そして、シーン群決定手段１０５は、シーン情報ファイルと、シーン群グループ情報と、シーン群情報とを蓄積手段１０６に出力する。
【００３０】
蓄積手段１０６は、シーン群情報データベース１０７を備え、入力されたシーン情報ファイルと、シーン群グループ情報と、シーン群情報とをシーン群情報データベース１０７に蓄積する。
【００３１】
本発明による映像編集プログラムは、映像データを編集して、シーンの集まりであるシーン群を生成する映像編集装置に搭載されて各手段を実現する映像編集プログラムであって、コンピュータに、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データをシーンに分割する処理と、シーンの特徴量を抽出し、抽出した特徴量に応じてシーンをグループに分類したシーングループを生成する処理と、映像データの時間軸上に複数回同じ並びで出現するシーングループの並びをシーンの集まりであるシーン群と特定して抽出する処理と、抽出の対象とならなかったシーングループの並びとシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群と特定する処理と、映像データをシーン群に分類した結果の情報を記憶装置に記憶させる処理とを備える。
【００３２】
次に、図面を参照して本発明の実施の形態の動作について説明する。図２は、本発明の実施の形態の映像編集装置の動作を示すフローチャートである。図２において、ステップＳ２０１はシーン検出手段１０２の動作を表し、ステップＳ２０２は、シーン分類手段１０３の動作を表し、ステップＳ２０３はシーン群抽出手段１０４の動作を表し、ステップＳ２０４はシーン群決定手段１０５の動作を表し、ステップＳ２０５は蓄積手段１０６の動作を表す。
【００３３】
各手段の動作について説明する。まず、シーン検出手段１０２の動作について説明する。図３は、本発明におけるシーン検出手段１０２の動作を示すフローチャートである。図４は、本発明における映像編集装置による映像編集の対象となる映像データを模式的に表した図である。シーン検出手段１０２は、編集対象となる映像データ１０１が入力されると（ステップＳ３０１）、入力された映像データ１０１による映像のシーンチェンジを検出する（ステップＳ３０２）。すなわち、図４の例に示すように、シーンチェンジのフレーム７０１〜７２４を検出する。そして、シーンチェンジフレームを特定するシーンチェンジ位置情報を生成してシーン群決定手段１０５に出力する。
【００３４】
シーン検出手段１０２は、検出したシーンチェンジのタイミングで、映像データ１０１を分割し（ステップＳ３０３）、分割した各区間である各シーンのフレームに時間順に先頭からシーン番号を付与してシーンを作成し（ステップＳ３０４）、シーン番号をシーン情報ファイルに記録する。図５のシーン番号の欄に、各シーンに付与したシーン番号の一例を示す。ここで、シーン番号「Ｓ１」が付与されたフレームによって構成されるシーンは、シーンチェンジフレーム７０１以降であって、シーンチェンジフレーム７０２の前のフレームまでを含む。以下、同様に、シーン番号「Ｓ２」が付与されたフレームによって構成されるシーンは、シーンチェンジフレーム７０２以降であって、シーンチェンジフレーム７０３の前のフレームまでを含む。そして、作成した各シーンを、シーン分類手段１０３に出力する（ステップＳ３０５）。
【００３５】
つぎに、シーン分類手段１０３の動作について説明する。図６は、本発明におけるシーン検出手段１０３の動作を示すフローチャートである。シーン分類手段１０３は、シーン検出手段１０２が映像データ１０１を区分したシーンが入力されると（ステップＳ４０１）、各シーンの特徴量を抽出し（ステップＳ４０２）、複数のシーンの特徴量の類似度に基づいて複数のシーンを複数のグループに分類する（ステップＳ４０３）。そして、分類した各グループのＩＤであるシーングループＩＤを各グループに付与してシーングループを作成し（ステップＳ４０４）、各シーンに各シーングループＩＤを付与する（ステップＳ４０５）。シーン分類手段１０３は、各シーンに付与されたシーングループＩＤを各シーンに対応付けてシーン情報ファイルに記録する。図５のシーングループＩＤの欄に、各シーンに付与されたシーングループＩＤの一例を示す。シーン分類手段１０３は、シーン番号「Ｓ１」が付与されている各フレームに、シーングループＩＤ「ａ」を付与し、以下、図５に示すように、シーングループＩＤ「ｂ」から「ｆ」までを付与したものとする。シーン分類手段１０３は、映像データ１０１とシーン情報ファイルとをシーン群抽出手段１０４に出力する。
【００３６】
つぎに、シーン分類手段１０４の動作について説明する。図７は、本発明におけるシーン検出手段１０４の動作を示すフローチャートである。シーン群抽出手段１０４は、映像データ１０１とシーン情報ファイルが入力されると（ステップＳ５０１）、シーン情報ファイルに記録されているシーングループＩＤに基づいて、映像データ１０１の中にシーングループＩＤが繰り返し同じ順番で出現するシーングループＩＤの組を抽出する（ステップ５０２）。図５を参照すると、シーングループＩＤが、「ａｂｃ」の順序で連続する組が存在することと、「ｄｂｅ」の順序で連続する組が存在することとが分かる。そして、抽出したシーングループＩＤの組にシーン群グループＩＤを付与して複数のシーン群グループを作成する（ステップ５０３）。
【００３７】
シーン群抽出手段１０４は、各シーンに付与されたシーン群グループＩＤを、各シーンに対応付けてシーン情報ファイルに記録する。図８に示すように、「ａｂｃ」の順序で連続するシーングループＩＤの組を構成する各フレームに、シーン群グループＩＤ「ｓｇ１」を付与してシーン群グループを作成し、「ｄｂｅ」の順序で連続するシーングループＩＤの組を構成する各フレームに、シーン群グループＩＤ「ｓｇ２」を付与してシーン群グループを作成したものとする。
【００３８】
シーン分類手段１０４は、シーン情報ファイルを参照して、各シーン群グループが映像データ１０１に存在する数を特定する（ステップＳ５０４）。図５を参照すると、図８の出現回数の欄に示すように、シーン群グループ「ｓｇ１」が３回出現し、シーン群グループ「ｓｇ１」が２回出現している。そして、シーン群グループを出現回数の多い順序に並べ、シーン群グループＩＤと、シーン群グループが映像データ１０１に存在する数の情報と、シーン群グループの映像データ１０１における時間軸上の順序の情報とによって構成されるシーン群グループ情報を生成する。すなわち、シーン群グループ情報は、図８に示すような構成となる。シーン分類手段１０４は、シーン群グループ情報をシーン群決定手段１０５に出力する（ステップＳ５０６）。
【００３９】
シーン群抽出手段１０４は、シーン群グループを抽出し、抽出した各シーン群グループをシーン群とする（ステップＳ５０７）。そして、抽出した各シーン群にシーン群ＩＤを付与する（ステップＳ５０８）。シーン群抽出手段１０４は、各シーンに付与されたシーン群グループＩＤを、各シーンに対応付けてシーン情報ファイルに記録する。シーン番号「Ｓ１、Ｓ２、Ｓ３」にシーン群ＩＤ「ＳＧ１」を付与し、以下、図９に示すように、シーン群ＩＤ「ＳＧ２」から「ＳＧ５」までを付与したものとする。そして、シーン群のシーン群ＩＤと、シーン群を構成する各シーンのシーン群グループＩＤの情報と、各シーン群の先頭のシーンチェンジフレームを特定する情報とによって構成されるシーン群情報を生成し、シーン群決定手段１０５に出力する（ステップＳ５０９）。また、シーン群抽出手段１０４は、シーン情報ファイルと、シーン群と、シーン群として抽出されなかった各シーンとをシーン群決定手段１０５に出力する。
【００４０】
つぎに、シーン群決定手段１０５の動作について説明する。図７は、本発明におけるシーン群決定手段１０５の動作を示すフローチャートである。シーン群決定手段１０５は、シーン群グループ情報と、シーン群抽出手段１０４がシーン群として抽出しなかった残りのシーンが入力されると（ステップＳ６０１）、シーンチェンジ位置情報に基づいて、シーンを区切る。そして、シーン群グループを出現回数の多い順から１つ選択する（ステップＳ６０２）。図８を参照すると、シーン群グループ「ｓｇ０１」の出現回数が最も多いので、シーン群グループ「ｓｇ０１」を選択する。そして、シーン群抽出手段１０４がシーン群として抽出しなかった残りのシーンの並びのうち、時間軸に沿った連続したシーンの並びを１つ特定する（ステップＳ６０３）。例えば、図９におけるシーン番号「Ｓ１０」から「Ｓ１２」までを特定する。
【００４１】
そして、特定したシーンの並びと、シーン群グループとのマッチングをおこなう。すなわち、シーン群抽出手段１０４がシーン群として抽出しなかった残りのシーンのうち、選択したシーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンを特定する。そして、特定したシーンと連続したシーンであって、時間軸上における後方に、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンが存在していた場合、選択したシーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンから、選択したシーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを有するシーンまでのシーンをシーン群として抽出し、シーン群ＩＤを付与する（ステップＳ６０４、６０５）。シーン群決定手段１０５は、シーン群ＩＤを各シーンに対応付けてシーン情報ファイルに記録する。シーン群決定手段１０５は、このとき抽出したシーン群の情報を新たに含むシーン群情報を生成して、蓄積手段１０６に出力してもよい。
【００４２】
図８を参照すると、シーン群グループ「ｓｇ０１」の最初のシーンのシーングループＩＤは「ａ」である。そこで、シーン情報ファイルを用いて、図９におけるシーン「Ｓ１０」から「Ｓ１２」のうちシーングループＩＤが「ａ」であるシーンを検索すると、シーン「Ｓ１０」のシーングループＩＤが「ａ」であることが分かる。また、シーン群グループ「ｓｇ０１」の最後のシーンのシーングループＩＤは「ｃ」である。そこで、シーン「Ｓ１０」から「Ｓ１２」までのうち、シーン「Ｓ１０」から時間軸上における後方に、シーングループＩＤが「ｃ」であるシーンを検索する。すると、シーン「Ｓ１２」のシーングループＩＤが「ｃ」であることが分かる。そこで、シーン「Ｓ１０」から「Ｓ１２」までを、シーン群として抽出し、シーン群ＩＤ「ＳＧ０６」を付与する。
【００４３】
シーン群決定手段１０５は、特定したシーンの並びのうち、シーン群グループとマッチングを行わなかったシーンが存在するか否かを判断し（ステップＳ６０４）、存在していた場合、ステップＳ６０５の動作を行う。特定したシーンの並び「Ｓ１０」から「Ｓ１２」までのうち、シーン群グループとマッチングをしなかったシーンの並びは存在しないため、ステップＳ６０５の動作は行わない。そして、シーン群として抽出しなかった他のシーンにおける時間軸に沿った連続したシーンの並びについて、ステップＳ６０５およびステップＳ６０６の動作を行ったか否かを判断し（ステップＳ６０７）、動作を行っていない並びを選択して（ステップＳ６０３）、同様の動作を行う。
【００４４】
図９を参照すると、シーン「Ｓ１６」から「Ｓ２０」までについて同様の動作を行う。すなわち、シーン「Ｓ１６」から「Ｓ２０」までのうちシーングループＩＤが「ａ」であるシーンを検索すると、シーン「Ｓ１６」のシーングループＩＤが「ａ」であることが分かる。また、シーン群グループ「ｓｇ０１」の最後のシーンのシーングループＩＤは「ｃ」である。そこで、シーン「Ｓ１６」から「Ｓ２０」までのうち、シーン「Ｓ１６」から時間軸上における後方に、シーングループＩＤが「ｃ」であるシーンを検索する。すると、シーン「Ｓ１７」のシーングループＩＤが「ｃ」であることが分かる。そこで、シーン「Ｓ１６」から「Ｓ１７」までを、シーン群として抽出し、シーン群ＩＤ「ＳＧ０７」を付与する。
【００４５】
次に、シーン「Ｓ１８」から「Ｓ２０」までのうちシーングループＩＤが「ａ」であるシーンを検索すると、シーングループＩＤが「ａ」であるシーンは存在しない。シーン群決定手段１０５は、全てのシーンの並びについて、シーン群グループ「ｓｇ０１」とのマッチングが終了すると、全てのシーン群グループによるマッチングが終了したか否かを判断する（ステップＳ６０７）。図８を参照すると、シーン群グループ「ｓｇ０２」についてマッチングを行っていないので、シーン群決定手段１０５は、シーン群グループ「ｓｇ０２」を選択して（ステップＳ６０２）、マッチングを行う。そして、シーン群として抽出しなかった残りのシーンの並びのうち、時間軸に沿った連続したシーンの並びを特定する（ステップＳ６０３）。すると、図９におけるシーン番号「Ｓ１８」から「Ｓ２０」までを特定される。
【００４６】
図８を参照すると、シーン群グループ「ｓｇ０２」の最初のシーンのシーングループＩＤは「ｄ」である。そこで、図９におけるシーン「Ｓ１８」から「Ｓ２０」のうちシーングループＩＤが「ｄ」であるシーンを検索すると、シーン「Ｓ１８」のシーングループＩＤが「ｄ」であることが分かる。また、シーン群グループ「ｓｇ０２」の最後のシーンのシーングループＩＤは「ｅ」である。そこで、シーン「Ｓ１８」から「Ｓ２０」までのうち、シーン「Ｓ１８」から時間軸上における後方に、シーングループＩＤが「ｅ」であるシーンを検索する。すると、シーン「Ｓ１９」のシーングループＩＤが「ｅ」であることが分かる。そこで、シーン「Ｓ１８」から「Ｓ１９」までを、シーン群として抽出し、シーン群ＩＤ「ＳＧ０８」を付与する。
【００４７】
残ったシーンは、シーン「Ｓ２０」のみである。シーンがただ一つだけの場合は、シーン群決定手段１０５は、シーン群の抽出を行わない。シーン群決定手段１０５は、全てのシーンの並びと、全てのシーン群グループによるマッチングが終了したと判断する。
【００４８】
シーン群決定手段１０５は、全てのシーンの並びと、全てのシーン群グループによるマッチングを行ってもシーン群として抽出されなかった時間軸に沿った１つ以上のシーンの並びを、シーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し（ステップＳ６０８）、決定された複数のシーン群にシーン群ＩＤを付与する（ステップＳ６０９）。シーン「Ｓ２０」に、シーン群ＩＤ「ＳＧ０９」を付与する。図１１に、映像データ１０１の全てのシーンにシーン群ＩＤを付与した結果を示す。
【００４９】
シーン群決定手段１０５は、シーン群決定手段１０５が抽出したシーン群の、シーン群ＩＤと、シーン群を構成する各シーンのシーン群グループＩＤの情報と、各シーン群の先頭のシーンチェンジフレームを特定する情報とを新たに含む、シーン群情報を生成する。そして、シーン群決定手段１０５は、シーン群グループ情報と、シーン群情報とを蓄積手段１０６に出力する（ステップＳ６０９）。
【００５０】
蓄積手段１０６は、シーン群決定手段１０５が出力したシーン群グループ情報と、シーン群情報とをシーン群情報データベース１０７に蓄積する（ステップＳ２０５）。
【００５１】
【発明の効果】
以上のように、本発明によれば、入力された映像をシーンの特徴量で分類してシーンの集まりであるシーン群に区分する編集を自動的に行うことができる。また、シーンが繰り返し同じ順番で出現する構造である繰り返し構造が入力した映像に含まれる場合に、繰り返し構造をシーン群として抽出できる。すると、本発明による映像編集装置による映像の編集後、一の繰り返し構造に含まれる一のシーンを検索する際に、シーン群を検索することにより、所望のシーンの映像を発見することができる効果がある。
【図面の簡単な説明】
【図１】 本発明の実施の形態の一構成例を示すブロック図である。
【図２】 本発明の実施の形態の動作を示すフローチャートである。
【図３】 本発明によるシーン検出手段の動作を示すフローチャートである。
【図４】 本発明の実施の形態が編集の対象とする映像データのフレーム構成例を示した図である。
【図５】 映像データの各シーンのシーン番号と各シーンに付与されたシーングループＩＤとを示した図である。
【図６】 本発明によるシーン分類手段の動作を示すフローチャートである。
【図７】 本発明によるシーン抽出手段の動作を示すフローチャートである。
【図８】 シーン群グループＩＤと、シーングループＩＤの出現順と、シーン群グループの出現回数とを示した図である。
【図９】 シーン番号と、シーングループＩＤと、シーン抽出手段が抽出したシーン群のシーン群ＩＤとを示した図である。
【図１０】 本発明によるシーン決定手段の動作を示す流れ図である。
【図１１】 シーン番号と、シーングループＩＤと、シーン抽出手段が抽出したシーン群のシーン群ＩＤとシーン決定手段が決定したシーン群のシーン群ＩＤとを示した図である。
【図１２】 特許文献１に記載の、従来の映像編集システムの実施の形態の構成を示すブロック図である。
【図１３】 特許文献２に記載の、従来の映像編集システム実施の形態の構成を示すブロック図である。
【符号の説明】
１０１ 映像データ
１０２ シーン検出手段
１０３ シーン分類手段
１０４ シーン群抽出手段
１０５ シーン群決定手段
１０６ 蓄積手段
１０７ シーン群情報データベース
１２１ 符号パラメータ抽出部
１２２ シーンチェンジフレーム検出部
１２３ シーン群決定部
１２４ シーン情報階層化部
１２５ 蓄積部
１３１ 特徴量抽出部
１３２ 量子化部
１３３ 計数部
７０１ 第１のシーンチェンジの先頭フレーム
７０２ 第２のシーンチェンジの先頭フレーム
７０３ 第３のシーンチェンジの先頭フレーム
７０４ 第４のシーンチェンジの先頭フレーム
７０５ 第５のシーンチェンジの先頭フレーム
７０６ 第６のシーンチェンジの先頭フレーム
７０７ 第７のシーンチェンジの先頭フレーム
７０８ 第８のシーンチェンジの先頭フレーム
７０９ 第９のシーンチェンジの先頭フレーム
７１０ 第１０のシーンチェンジの先頭フレーム
７１１ 第１１のシーンチェンジの先頭フレーム
７１２ 第１２のシーンチェンジの先頭フレーム
７１３ 第１３のシーンチェンジの先頭フレーム
７１４ 第１４のシーンチェンジの先頭フレーム
７１５ 第１５のシーンチェンジの先頭フレーム
７１６ 第１６のシーンチェンジの先頭フレーム
７１７ 第１７のシーンチェンジの先頭フレーム
７１８ 第１８のシーンチェンジの先頭フレーム
７１９ 第１９のシーンチェンジの先頭フレーム
７２０ 第２０のシーンチェンジの先頭フレーム
７２１ 第２１のシーンチェンジの先頭フレーム
７２２ 第２２のシーンチェンジの先頭フレーム
７２３ 第２３のシーンチェンジの先頭フレーム
７２４ 第２４のシーンチェンジの先頭フレーム

Claims (8)

1. 入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割するシーン検出手段と、
   各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付けるシーン分類手段と、
   時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出するシーン群抽出手段と、
   前記シーン群抽出手段の抽出の対象とならなかったシーングループの並びと、前記シーン群抽出手段が抽出したシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含めるシーン群決定手段と、
   映像データをシーン群に分類した結果の情報を蓄積する蓄積手段と
   を備えたことを特徴とする映像編集装置。
2. シーン群決定手段は、
   シーン群の最初のシーンのシーングループと、シーングループの並びのうち最初のシーンのシーングループとが一致するか否か判定し、
   シーン群の最後のシーンのシーングループと、シーングループの並びのうち最後のシーンのシーングループとが一致するか否か判定し、
   ともに一致すると判定されたシーングループの並びをシーン群に含める
   請求項１に記載の映像編集装置。
3. シーン群決定手段は、映像データ中に登場する回数の多い順にシーン群を選択してマッチングを行い、映像データ中に登場する回数が同じシーン群が複数存在する場合は、時間軸上で登場する順にシーン群を選択してマッチングを行う
   請求項２に記載の映像編集装置。
4. シーン群決定手段は、マッチングの結果、シーン群と特定されなかったシーンの並びを、シーン群と特定する
   請求項２または請求項３に記載の映像編集装置。
5. 入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された前記複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された前記複数のシーンを出力するシーン検出手段と、
   前記シーン検出手段で作成された前記複数のシーンの特徴量を抽出してシーン間の類似度を算出し、前記シーンの間の類似度に基づいて前記複数のシーンを複数のグループに分類し、分類した前記複数のグループにシーングループＩＤを付与して複数のシーングループを作成し、前記複数のシーンのそれぞれにシーングループを特定する前記シーングループＩＤを付与するシーン分類手段と、
   前記シーングループＩＤが繰り返し同じ順番で出現する前記シーングループＩＤの組を抽出し、抽出された前記複数のシーングループＩＤの組にシーン群グループＩＤを付与して複数のシーン群グループを作成し、前記複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、前記シーン群グループごとにシーン群グループＩＤとシーングループＩＤの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、前記シーングループＩＤの出現順が前記シーン群グループのシーングループＩＤの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された前記複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、前記シーン群ＩＤとシーングループＩＤの出現順が前記抽出されたシーン群でのシーングループＩＤの出現順に一致するシーン群グループのシーン群グループＩＤと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力するシーン群抽出手段と、
   前記シーン群グループを映像データ中の出現回数が多い順から１つずつ選択し、前記シーン群抽出手段でシーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを１つずつ選択し、選択した前記シーンの並びの中に選択した前記シーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択した前記シーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在する場合に、選択した前記シーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つ前記シーンで始まり、選択した前記シーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つ前記シーンで終わる複数のシーンの組をシーン群として抽出し、抽出した前記複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、抽出された前記シーン群のシーン群ＩＤと選択した前記シーン群グループのシーン群グループＩＤと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、前記シーン群の抽出を選択した全ての前記シーンの並びと選択した全ての前記シーン群グループとについて繰り返しおこない、前記シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った１つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された前記複数のシーン群にシーン群ＩＤを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成するシーン決定手段と、
   前記シーン群情報をシーン群情報データベースに蓄積する蓄積手段と
   を備えたことを特徴とする映像編集装置。
6. 入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割し、
   各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付け、
   時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出し、
   抽出の対象とならなかったシーングループの並びとシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群と特定し、
   映像データをシーン群に分類した結果の情報を蓄積する
   を備えたことを特徴とする映像編集方法。
7. 入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された前記複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された前記複数のシーンを出力し、
   作成された前記複数のシーンの特徴量を抽出してシーン間の類似度を算出し、前記シーンの間の類似度に基づいて前記複数のシーンを複数のグループに分類し、分類した前記複数のグループを構成するフレームにシーングループＩＤを付与して複数のシーングループを作成し、前記複数のシーンのそれぞれにシーングループを特定する前記シーングループＩＤを付与し、
   前記シーングループＩＤが繰り返し同じ順番で出現する前記シーングループＩＤの組を抽出し、抽出された前記複数のシーングループＩＤの組にシーン群グループＩＤを付与して複数のシーン群グループを作成し、前記複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、前記シーン群グループごとにシーン群グループＩＤとシーングループＩＤの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、前記シーングループＩＤの出現順が前記シーン群グループのシーングループＩＤの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された前記複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、前記シーン群ＩＤとシーングループＩＤの出現順が前記抽出されたシーン群でのシーングループＩＤの出現順に一致するシーン群グループのシーン群グループＩＤと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力し、
   前記シーン群グループを映像データ中の出現回数が多い順から１つずつ選択し、シーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを１つずつ選択し、選択した前記シーンの並びの中に選択した前記シーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択した前記シーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つシーンが存在する場合に、選択した前記シーン群グループの最初のシーンのシーングループＩＤと同じシーングループＩＤを持つ前記シーンで始まり、選択した前記シーン群グループの最後のシーンのシーングループＩＤと同じシーングループＩＤを持つ前記シーンで終わる複数のシーンの組をシーン群として抽出し、抽出した前記複数のシーン群にシーン群を特定するシーン群ＩＤを付与し、抽出された前記シーン群のシーン群ＩＤと選択した前記シーン群グループのシーン群グループＩＤと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、前記シーン群の抽出を選択した全ての前記シーンの並びと選択した全ての前記シーン群グループとについて繰り返しおこない、前記シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った１つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された前記複数のシーン群にシーン群ＩＤを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、
   前記シーン群情報をシーン群情報データベースに蓄積する
   ことを特徴とする映像編集方法。
8. 映像データを編集して、シーンの集まりであるシーン群を生成する映像編集装置に搭載される映像編集プログラムであって、
   コンピュータに、
   入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割する処理と、
   各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付ける処理と、
   時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出する処理と、
   抽出の対象とならなかったシーングループの並びと抽出されたシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含める処理と、
   映像データをシーン群に分類した結果の情報を記憶装置に記憶させる処理と
   を備えたことを特徴とする映像編集プログラム。

Images