JP3918772B2 - 映像編集装置、映像編集方法、および映像編集プログラム - Google Patents
映像編集装置、映像編集方法、および映像編集プログラム Download PDFInfo
- Publication number
- JP3918772B2 JP3918772B2 JP2003132040A JP2003132040A JP3918772B2 JP 3918772 B2 JP3918772 B2 JP 3918772B2 JP 2003132040 A JP2003132040 A JP 2003132040A JP 2003132040 A JP2003132040 A JP 2003132040A JP 3918772 B2 JP3918772 B2 JP 3918772B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- group
- scene group
- scenes
- groups
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、映像データを映像のシーンごとに分割する映像編集装置、映像編集方法および映像編集プログラムに関する。
【0002】
【従来の技術】
近年、パーソナルコンピュータ等で動画像を扱うようになり、動画像の検索や、編集等の作業をいかに効率よく行うかが重要になってきている。動画像の検索や編集等を行う場合、動画像を構成しているシーンに動画像を分解し、動画像内の各シーンの配置や、構成等を把握することが必要である。ここで、シーンとは、動画像においてカメラが切り替わる単位、または音声(例えば、話者。)が切り替わる単位等を意味する。
【0003】
動画像である映像を編集する際に、映像を符号化した信号である映像データを用いて映像を編集する映像編集システムの一例として、特許文献1に記載されている従来の映像編集システムの一構成例を図12のブロック図に示す。図12に示す構成の従来の映像編集システムは、符号化パラメータ抽出部121が、符号化された映像データから符号化パラメータを抽出し、シーンチェンジフレーム検出部122が、符号化パラメータに基づいて映像のシーンの切り替わりのフレームであるシーンチェンジフレームを検出する。そして、シーン群決定部123が、シーンチェンジフレームの位置に基づいてシーンを区切ってシーンの集まりであるシーン群を特定し、シーン群における先頭フレームの位置の情報であるシーン群情報を生成する。シーン情報階層化部124は、映像全体にわたってシーンチェンジフレームの位置の情報とシーン群情報とを、階層化して蓄積部125に蓄積させる。
【0004】
ここで、シーン群決定部123は、隣り合うシーンのシーンチェンジフレームの位置の差分であるシーンチェンジフレーム間の時間差を算出する。そして、算出したフレーム間の時間差と所定のしきい値とを比較してシーンチェンジフレーム間の時間差が所定のしきい値以上であれば隣り合うシーンはそれぞれ異なるシーン群に属すると決定して、隣り合うシーンのうち時間的に後にあるシーンを新たなシーン群の先頭シーンとする。また、シーンチェンジフレーム間の時間差が所定のしきい値以下であれば隣り合うシーンは同一のシーン群に属すると決定する。このようにシーン群決定部123は、隣り合う全てのシーンについてシーンチェンジフレーム間の時間差を所定のしきい値と比較して、映像全体をシーン群に区分する。
【0005】
また、例えば特許文献2に記載されている従来の映像構造化装置の一構成例を、図13のブロック図に示す。図13に示す構成の映像構造化装置は、特徴量抽出部131が、入力された映像の時間的に分割された区間の特徴量ベクトルを抽出し、量子化部132が、特徴量ベクトルを番号に変換し映像を番号列で表現する。そして、計数部133が、番号列の出現回数を数え、出現頻度の高い部分列を抽出する。このように、入力された映像の時間的に分割された区間のうち、特定のパターンで高い頻度で出現する区間の並びを抽出する。
【0006】
【特許文献1】
特開2001−326901号公報 (第4−7頁、第1図)
【特許文献2】
特開平11−242685号公報 (第4−10頁、第1図)
【0007】
【発明が解決しようとする課題】
特許文献1に記載された映像編集システムは、シーン群の判定をシーンチェンジフレーム間の時間差で判定している。そのため、類似したシーンが繰り返し同じ順番で出現するという繰り返し構造が所定の時間内に含まれる場合、シーン群決定部123は、繰り返し構造を構成する各シーンをシーン群として特定しない。
【0008】
また、特許文献2に記載された映像構造化装置は、入力された映像の時間的に分割された区間のうち、特定のパターンで高い頻度で出現する区間の並びを抽出するが、高い頻度で出現する区間の並びとして抽出されなかった区間に対する処理を行わない。そのため、入力された映像の中で高い頻度で出現する区間の並びとして抽出されなかった区間に対する編集作業を、特許文献2に記載された映像構造化装置以外の手段を用いて行わなくてはならない。
【0009】
そこで、本発明は、入力された映像に含まれるシーンの出現順と出現回数とを利用して、入力された映像全体を自動的にシーン群に区分する映像編集装置、映像編集方法、および映像編集プログラムを提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明による映像編集装置は、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割するシーン検出手段と、各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付けるシーン分類手段と、時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出するシーン群抽出手段と、シーン群抽出手段の抽出の対象とならなかったシーングループの並びと、シーン群抽出手段が抽出したシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含めるシーン群決定手段と、映像データをシーン群に分類した結果の情報を蓄積する蓄積手段とを備えたことを特徴とする。
【0011】
シーン群決定手段は、シーン群の最初のシーンのシーングループと、シーングループの並びのうち最初のシーンのシーングループとが一致するか否か判定し、シーン群の最後のシーンのシーングループと、シーングループの並びのうち最後のシーンのシーングループとが一致するか否か判定し、ともに一致すると判定されたシーングループの並びをシーン群に含めてもよい。そのような構成によれば、シーン群の構成に類似するシーングループの並びを、シーン群と特定することができる。
【0012】
シーン群決定手段は、映像データ中に登場する回数の多い順にシーン群を選択してマッチングを行ってもよく、映像データ中に登場する回数が同じシーン群が複数存在する場合は、時間軸上で登場する順にシーン群を選択してマッチングを行ってもよい。そのような構成によれば、類似したシーンが繰り返し同じ順番で出現するという繰り返し構造を構成する各シーンをシーン群として特定することができる。
【0013】
シーン群決定手段は、マッチングの結果、シーン群と特定されなかったシーンの並びを、シーン群と特定してもよい。そのような構成によれば、すべてのシーンの並びを、シーン群に特定することができる。
【0014】
本発明による映像編集装置は、入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された複数のシーンを出力するシーン検出手段と、
シーン検出手段で作成された複数のシーンの特徴量を抽出してシーン間の類似度を算出し、シーンの間の類似度に基づいて複数のシーンを複数のグループに分類し、分類した複数のグループにシーングループIDを付与して複数のシーングループを作成し、複数のシーンのそれぞれにシーングループを特定するシーングループIDを付与するシーン分類手段と、シーングループIDが繰り返し同じ順番で出現するシーングループIDの組を抽出し、抽出された複数のシーングループIDの組にシーン群グループIDを付与して複数のシーン群グループを作成し、複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、シーン群グループごとにシーン群グループIDとシーングループIDの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、シーングループIDの出現順がシーン群グループのシーングループIDの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された複数のシーン群にシーン群を特定するシーン群IDを付与し、シーン群IDとシーングループIDの出現順が抽出されたシーン群でのシーングループIDの出現順に一致するシーン群グループのシーン群グループIDと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力するシーン群抽出手段と、シーン群グループを映像データ中の出現回数が多い順から1つずつ選択し、シーン群抽出手段でシーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを1つずつ選択し、選択したシーンの並びの中に選択したシーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つシーンが存在する場合に、選択したシーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つシーンで始まり、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つシーンで終わる複数のシーンの組をシーン群として抽出し、抽出した複数のシーン群にシーン群を特定するシーン群IDを付与し、抽出されたシーン群のシーン群IDと選択したシーン群グループのシーン群グループIDと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、シーン群の抽出を選択した全てのシーンの並びと選択した全てのシーン群グループとについて繰り返しおこない、シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った1つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された複数のシーン群にシーン群IDを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成するシーン決定手段と、シーン群情報をシーン群情報データベースに蓄積する蓄積手段とを備えたことを特徴とする。
【0015】
本発明による映像編集方法は、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データをシーンに分割し、シーンの特徴量を抽出し、抽出した特徴量に応じてシーンをグループに分類したシーングループを生成し、映像データの時間軸上に複数回同じ並びで出現するシーングループの並びをシーンの集まりであるシーン群と特定して抽出し、抽出の対象とならなかったシーングループの並びとシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群と特定し、映像データをシーン群に分類した結果の情報を蓄積することを特徴とする。
【0016】
本発明による映像編集方法は、入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された複数のシーンを出力し、作成された複数のシーンの特徴量を抽出してシーン間の類似度を算出し、シーンの間の類似度に基づいて複数のシーンを複数のグループに分類し、分類した複数のグループを構成するフレームにシーングループIDを付与して複数のシーングループを作成し、複数のシーンのそれぞれにシーングループを特定するシーングループIDを付与し、シーングループIDが繰り返し同じ順番で出現するシーングループIDの組を抽出し、抽出された複数のシーングループIDの組にシーン群グループIDを付与して複数のシーン群グループを作成し、複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、シーン群グループごとにシーン群グループIDとシーングループIDの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、シーングループIDの出現順がシーン群グループのシーングループIDの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された複数のシーン群にシーン群を特定するシーン群IDを付与し、シーン群IDとシーングループIDの出現順が抽出されたシーン群でのシーングループIDの出現順に一致するシーン群グループのシーン群グループIDと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力し、シーン群グループを映像データ中の出現回数が多い順から1つずつ選択し、シーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを1つずつ選択し、選択したシーンの並びの中に選択したシーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つシーンが存在する場合に、選択したシーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つシーンで始まり、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つシーンで終わる複数のシーンの組をシーン群として抽出し、抽出した複数のシーン群にシーン群を特定するシーン群IDを付与し、抽出されたシーン群のシーン群IDと選択したシーン群グループのシーン群グループIDと抽出されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、シーン群の抽出を選択した全てのシーンの並びと選択した全てのシーン群グループとについて繰り返しおこない、シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った1つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された複数のシーン群にシーン群IDを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定されたシーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、シーン群情報をシーン群情報データベースに蓄積することを特徴とする。
【0017】
本発明による映像編集プログラムは、映像データを編集して、シーンの集まりであるシーン群を生成する映像編集装置に搭載される映像編集プログラムであって、コンピュータに、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データをシーンに分割する処理と、シーンの特徴量を抽出し、抽出した特徴量に応じてシーンをグループに分類したシーングループを生成する処理と、映像データの時間軸上に複数回同じ並びで出現するシーングループの並びをシーンの集まりであるシーン群と特定して抽出する処理と、抽出の対象とならなかったシーングループの並びと抽出されたシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含める処理と、映像データをシーン群に分類した結果の情報を記憶装置に記憶させる処理とを備えることを特徴とする。
【0018】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。図1は、本発明の実施の形態の一構成例を示すブロック図である。本発明による映像編集装置は、入力された映像データ101に含まれるカメラが切り替わる場面あるいは音声(例えば、話者。)が切り替わるタイミングであるシーンチェンジを検出して、映像データ101をシーンに分割するシーン検出手段102と、シーンの特徴量を算出し、算出した特徴量に応じてシーンをグループに分類したシーングループを生成するシーン分類手段103と、繰り返し同じ順番で出現するシーングループが構成するシーングループの集合であるシーン群を抽出するシーン群抽出手段104と、シーン群の抽出の対象とならなかったシーングループを分類してシーン群を生成するシーン群決定手段105と、映像データをシーン群に分類した結果の情報をシーン群情報データベース107に蓄積する蓄積手段106とを含む。本発明による映像編集装置は、コンピュータ等により実現され、各手段はプログラム等により実現される。
【0019】
シーン検出手段102は、動画像のデータである映像データ101が入力されると、映像データ101の映像において、カメラが切り替わるタイミングあるいは音声が切り替わるタイミングであるシーンチェンジを検出する。シーンチェンジの検出方法は、例えば映像データ101による映像の、連続するフレーム間の画素の色情報のレイアウトの差分を算出し、算出した差分が所定のしきい値以上となった場合、シーンチェンジであると判定することにより行う。シーン検出手段102は、映像データ101をシーンチェンジを検出したタイミングで区切る。そして、区切られた映像データ101の各区間である各シーンに対応する情報のファイルであるシーン情報ファイルを生成する。
【0020】
シーン検出手段102は、区切られた各シーンに時間順に先頭から番号を付与し、付与した番号を各シーンに対応付けてシーン情報ファイルに記録する。そして、シーン検出手段102は、シーンに区切られた映像データ101と、シーン情報ファイルとをシーン分類手段103に出力する。また、シーン検出手段102は、シーンチェンジのしたフレームであるシーンチェンジフレームを特定する情報であるシーンチェンジ位置情報を生成してシーン群決定手段105に出力する。ここで、映像データ101は、シーン検出手段102がシーンチェンジを検出できる信号形式であればよく、例えば、アナログVTRやDV(Digital Video)等の記録媒体に記録されているデータや、MPEG等のデータである。
【0021】
シーン分類手段103は、シーンに区切られた映像データ101が入力されると各シーンの特徴量を抽出し、抽出した各シーンの特徴量を互いに比較して類似度を算出する。ここで、シーンの特徴量は、映像データ101による映像のフレームにおける各画素の色情報のレイアウトである。また、映像データに含まれる音声信号がステレオ音声であるか、モノラル音声であるか、または多重音声であるか等の音声信号の種類や、音声信号の波形を特徴量に用いてもよい。さらに、字幕の有無、字幕の表示位置や、表示言語等の情報を特徴量に用いてもよい。また、類似度は、例えば、シーン間の特徴量の差分絶対値和である。そして、シーンの類似度が、所定のしきい値よりも小さいシーンのグループであるシーングループに分類し、シーングループを特定する記号である対応情報(例えば、シーングループID。)を各シーンに付与する。つまり、シーン分類手段103は、各シーングループを特定するシーングループIDを各シーンに対応付ける。
【0022】
シーン分類手段103は、特異値分解(SVD)法等の既存の方法を用い、シーンを特徴量の類似度に基づいてグループに分類する。具体的には、各シーンの特徴量を抽出し、特徴量空間にマッピングすると、特徴量空間に特徴量の類似するシーンの固まりができる。特徴量空間において、特徴量間の距離があらかじめ決められているしきい値よりも小さい場合に、それらは1つの固まりに属するとする。それぞれの固まりを各々のグループとする。シーン分類手段103は、各シーンに付与されたシーングループIDを各シーンに対応付けてシーン情報ファイルに記録する。シーン分類手段103は、映像データ101とシーン情報ファイルとをシーン群抽出手段104に出力する。
【0023】
シーン群抽出手段104は、映像データ101が入力されると、シーン情報ファイルに記録されているシーングループIDに基づいて、同じシーングループIDが繰り返し同じ順番で出現するシーングループIDの組であるシーン群グループを抽出する。シーン群グループの抽出は、テキストデータマイニングの手法である動的計画法等の既存の手法を用いてよい。そして、シーン群グループを特定する記号であるシーン群グループIDを各シーンに付与する。シーン群抽出手段104は、各シーンに付与されたシーン群グループIDを、各シーンに対応付けてシーン情報ファイルに記録する。そして、シーン群抽出手段104は、各シーン群グループが映像データ101に存在する数と、各シーン群グループの映像データ101における時間軸上の順序とを特定する。
【0024】
シーン群抽出手段104は、シーン群グループIDと、シーン群グループが映像データ101に存在する数の情報と、シーン群グループの映像データ101における時間軸上の順序の情報とによって構成されるシーン群グループ情報を生成する。このとき、シーン群グループ情報におけるシーン群グループIDの順序を、映像データ101に存在するシーン群グループの数が多い順序にしてもよい。
【0025】
シーン群抽出手段104は、シーン群グループを抽出し、抽出した各シーン群グループをシーン群とする。そして、各シーン群に、シーン群を特定する記号であるシーン群IDをシーン群を構成する各シーンに付与する。シーン群抽出手段104は、シーン群IDを各シーンに対応付けてシーン情報ファイルに記録する。そして、シーン群抽出手段104は、シーン群のシーン群IDと、シーン群を構成する各シーンのシーン群グループIDの情報と、各シーン群の先頭のシーンチェンジフレームを特定する情報とによって構成されるシーン群情報を生成する。シーン群抽出手段104は、シーン群と、シーン群として抽出されなかった部分の映像データ101と、シーン群グループ情報と、シーン群情報とをシーン群決定手段105に出力する。シーン群抽出手段104は、シーン群情報を蓄積手段106に出力して、シーン群情報データベースに蓄積させてもよい。
【0026】
シーン群決定手段105は、シーン検出手段102が出力したシーンチェンジ位置情報に基づいて、シーン群として抽出されなかった部分の映像データ101をシーンに区切る。そして、シーン群決定手段105は、シーン群グループを1つ選択する。選択したシーン群グループの最初のシーンのシーングループIDと、選択したシーン群グループの最後のシーンのシーングループIDとを抽出する。また、シーン群抽出手段104がシーン群として抽出しなかった残りのシーンのうち、時間軸上で連続したシーンの並びを特定する。そして、シーン群抽出手段104がシーン群として抽出しなかった残りのシーンのうち、選択したシーン群の最初のシーンのシーングループIDと同じシーングループIDを有するシーンを特定する。
【0027】
そして、特定したシーンと連続したシーンであって、時間軸上における後方に、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを有するシーンが存在していた場合、選択したシーン群グループの最初のシーンのシーングループIDと同じシーングループIDを有するシーンと、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを有するシーンとの間のシーンを、シーン群として抽出し、シーン群を特定するシーン群IDをシーン群を構成する各シーンに付与する。シーン群決定手段105は、シーン群IDを各シーンに対応付けてシーン情報ファイルに記録する。
【0028】
シーン群決定手段105は、入力された全てのシーン群について、出現回数の多い順序でシーン群を選択して上記の処理を行い、出現回数が同じシーン群が複数存在する場合は、時間軸上で登場する順にシーン群を選択して上記の処理を行い、シーン群を抽出する。そして、入力された全てのシーン群について上記の処理に行う。上記の処理を行っても抽出されなかったシーンをシーン群として抽出し、シーン群を特定するシーン群IDをシーン群を構成する各シーンに付与する。シーン群決定手段105は、シーン群IDを各シーンに対応付けてシーン情報ファイルに記録する。
【0029】
シーン群決定手段105は、シーン群決定手段105が抽出したシーン群のシーン群IDと、シーン群を構成する各シーンのシーン群グループIDと、各シーン群の先頭のシーンチェンジフレームを特定する情報とを新たに含む、シーン群情報を生成する。そして、シーン群決定手段105は、シーン情報ファイルと、シーン群グループ情報と、シーン群情報とを蓄積手段106に出力する。
【0030】
蓄積手段106は、シーン群情報データベース107を備え、入力されたシーン情報ファイルと、シーン群グループ情報と、シーン群情報とをシーン群情報データベース107に蓄積する。
【0031】
本発明による映像編集プログラムは、映像データを編集して、シーンの集まりであるシーン群を生成する映像編集装置に搭載されて各手段を実現する映像編集プログラムであって、コンピュータに、入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データをシーンに分割する処理と、シーンの特徴量を抽出し、抽出した特徴量に応じてシーンをグループに分類したシーングループを生成する処理と、映像データの時間軸上に複数回同じ並びで出現するシーングループの並びをシーンの集まりであるシーン群と特定して抽出する処理と、抽出の対象とならなかったシーングループの並びとシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群と特定する処理と、映像データをシーン群に分類した結果の情報を記憶装置に記憶させる処理とを備える。
【0032】
次に、図面を参照して本発明の実施の形態の動作について説明する。図2は、本発明の実施の形態の映像編集装置の動作を示すフローチャートである。図2において、ステップS201はシーン検出手段102の動作を表し、ステップS202は、シーン分類手段103の動作を表し、ステップS203はシーン群抽出手段104の動作を表し、ステップS204はシーン群決定手段105の動作を表し、ステップS205は蓄積手段106の動作を表す。
【0033】
各手段の動作について説明する。まず、シーン検出手段102の動作について説明する。図3は、本発明におけるシーン検出手段102の動作を示すフローチャートである。図4は、本発明における映像編集装置による映像編集の対象となる映像データを模式的に表した図である。シーン検出手段102は、編集対象となる映像データ101が入力されると(ステップS301)、入力された映像データ101による映像のシーンチェンジを検出する(ステップS302)。すなわち、図4の例に示すように、シーンチェンジのフレーム701〜724を検出する。そして、シーンチェンジフレームを特定するシーンチェンジ位置情報を生成してシーン群決定手段105に出力する。
【0034】
シーン検出手段102は、検出したシーンチェンジのタイミングで、映像データ101を分割し(ステップS303)、分割した各区間である各シーンのフレームに時間順に先頭からシーン番号を付与してシーンを作成し(ステップS304)、シーン番号をシーン情報ファイルに記録する。図5のシーン番号の欄に、各シーンに付与したシーン番号の一例を示す。ここで、シーン番号「S1」が付与されたフレームによって構成されるシーンは、シーンチェンジフレーム701以降であって、シーンチェンジフレーム702の前のフレームまでを含む。以下、同様に、シーン番号「S2」が付与されたフレームによって構成されるシーンは、シーンチェンジフレーム702以降であって、シーンチェンジフレーム703の前のフレームまでを含む。そして、作成した各シーンを、シーン分類手段103に出力する(ステップS305)。
【0035】
つぎに、シーン分類手段103の動作について説明する。図6は、本発明におけるシーン検出手段103の動作を示すフローチャートである。シーン分類手段103は、シーン検出手段102が映像データ101を区分したシーンが入力されると(ステップS401)、各シーンの特徴量を抽出し(ステップS402)、複数のシーンの特徴量の類似度に基づいて複数のシーンを複数のグループに分類する(ステップS403)。そして、分類した各グループのIDであるシーングループIDを各グループに付与してシーングループを作成し(ステップS404)、各シーンに各シーングループIDを付与する(ステップS405)。シーン分類手段103は、各シーンに付与されたシーングループIDを各シーンに対応付けてシーン情報ファイルに記録する。図5のシーングループIDの欄に、各シーンに付与されたシーングループIDの一例を示す。シーン分類手段103は、シーン番号「S1」が付与されている各フレームに、シーングループID「a」を付与し、以下、図5に示すように、シーングループID「b」から「f」までを付与したものとする。シーン分類手段103は、映像データ101とシーン情報ファイルとをシーン群抽出手段104に出力する。
【0036】
つぎに、シーン分類手段104の動作について説明する。図7は、本発明におけるシーン検出手段104の動作を示すフローチャートである。シーン群抽出手段104は、映像データ101とシーン情報ファイルが入力されると(ステップS501)、シーン情報ファイルに記録されているシーングループIDに基づいて、映像データ101の中にシーングループIDが繰り返し同じ順番で出現するシーングループIDの組を抽出する(ステップ502)。図5を参照すると、シーングループIDが、「abc」の順序で連続する組が存在することと、「dbe」の順序で連続する組が存在することとが分かる。そして、抽出したシーングループIDの組にシーン群グループIDを付与して複数のシーン群グループを作成する(ステップ503)。
【0037】
シーン群抽出手段104は、各シーンに付与されたシーン群グループIDを、各シーンに対応付けてシーン情報ファイルに記録する。図8に示すように、「abc」の順序で連続するシーングループIDの組を構成する各フレームに、シーン群グループID「sg1」を付与してシーン群グループを作成し、「dbe」の順序で連続するシーングループIDの組を構成する各フレームに、シーン群グループID「sg2」を付与してシーン群グループを作成したものとする。
【0038】
シーン分類手段104は、シーン情報ファイルを参照して、各シーン群グループが映像データ101に存在する数を特定する(ステップS504)。図5を参照すると、図8の出現回数の欄に示すように、シーン群グループ「sg1」が3回出現し、シーン群グループ「sg1」が2回出現している。そして、シーン群グループを出現回数の多い順序に並べ、シーン群グループIDと、シーン群グループが映像データ101に存在する数の情報と、シーン群グループの映像データ101における時間軸上の順序の情報とによって構成されるシーン群グループ情報を生成する。すなわち、シーン群グループ情報は、図8に示すような構成となる。シーン分類手段104は、シーン群グループ情報をシーン群決定手段105に出力する(ステップS506)。
【0039】
シーン群抽出手段104は、シーン群グループを抽出し、抽出した各シーン群グループをシーン群とする(ステップS507)。そして、抽出した各シーン群にシーン群IDを付与する(ステップS508)。シーン群抽出手段104は、各シーンに付与されたシーン群グループIDを、各シーンに対応付けてシーン情報ファイルに記録する。シーン番号「S1、S2、S3」にシーン群ID「SG1」を付与し、以下、図9に示すように、シーン群ID「SG2」から「SG5」までを付与したものとする。そして、シーン群のシーン群IDと、シーン群を構成する各シーンのシーン群グループIDの情報と、各シーン群の先頭のシーンチェンジフレームを特定する情報とによって構成されるシーン群情報を生成し、シーン群決定手段105に出力する(ステップS509)。また、シーン群抽出手段104は、シーン情報ファイルと、シーン群と、シーン群として抽出されなかった各シーンとをシーン群決定手段105に出力する。
【0040】
つぎに、シーン群決定手段105の動作について説明する。図7は、本発明におけるシーン群決定手段105の動作を示すフローチャートである。シーン群決定手段105は、シーン群グループ情報と、シーン群抽出手段104がシーン群として抽出しなかった残りのシーンが入力されると(ステップS601)、シーンチェンジ位置情報に基づいて、シーンを区切る。そして、シーン群グループを出現回数の多い順から1つ選択する(ステップS602)。図8を参照すると、シーン群グループ「sg01」の出現回数が最も多いので、シーン群グループ「sg01」を選択する。そして、シーン群抽出手段104がシーン群として抽出しなかった残りのシーンの並びのうち、時間軸に沿った連続したシーンの並びを1つ特定する(ステップS603)。例えば、図9におけるシーン番号「S10」から「S12」までを特定する。
【0041】
そして、特定したシーンの並びと、シーン群グループとのマッチングをおこなう。すなわち、シーン群抽出手段104がシーン群として抽出しなかった残りのシーンのうち、選択したシーン群グループの最初のシーンのシーングループIDと同じシーングループIDを有するシーンを特定する。そして、特定したシーンと連続したシーンであって、時間軸上における後方に、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを有するシーンが存在していた場合、選択したシーン群グループの最初のシーンのシーングループIDと同じシーングループIDを有するシーンから、選択したシーン群グループの最後のシーンのシーングループIDと同じシーングループIDを有するシーンまでのシーンをシーン群として抽出し、シーン群IDを付与する(ステップS604、605)。シーン群決定手段105は、シーン群IDを各シーンに対応付けてシーン情報ファイルに記録する。シーン群決定手段105は、このとき抽出したシーン群の情報を新たに含むシーン群情報を生成して、蓄積手段106に出力してもよい。
【0042】
図8を参照すると、シーン群グループ「sg01」の最初のシーンのシーングループIDは「a」である。そこで、シーン情報ファイルを用いて、図9におけるシーン「S10」から「S12」のうちシーングループIDが「a」であるシーンを検索すると、シーン「S10」のシーングループIDが「a」であることが分かる。また、シーン群グループ「sg01」の最後のシーンのシーングループIDは「c」である。そこで、シーン「S10」から「S12」までのうち、シーン「S10」から時間軸上における後方に、シーングループIDが「c」であるシーンを検索する。すると、シーン「S12」のシーングループIDが「c」であることが分かる。そこで、シーン「S10」から「S12」までを、シーン群として抽出し、シーン群ID「SG06」を付与する。
【0043】
シーン群決定手段105は、特定したシーンの並びのうち、シーン群グループとマッチングを行わなかったシーンが存在するか否かを判断し(ステップS604)、存在していた場合、ステップS605の動作を行う。特定したシーンの並び「S10」から「S12」までのうち、シーン群グループとマッチングをしなかったシーンの並びは存在しないため、ステップS605の動作は行わない。そして、シーン群として抽出しなかった他のシーンにおける時間軸に沿った連続したシーンの並びについて、ステップS605およびステップS606の動作を行ったか否かを判断し(ステップS607)、動作を行っていない並びを選択して(ステップS603)、同様の動作を行う。
【0044】
図9を参照すると、シーン「S16」から「S20」までについて同様の動作を行う。すなわち、シーン「S16」から「S20」までのうちシーングループIDが「a」であるシーンを検索すると、シーン「S16」のシーングループIDが「a」であることが分かる。また、シーン群グループ「sg01」の最後のシーンのシーングループIDは「c」である。そこで、シーン「S16」から「S20」までのうち、シーン「S16」から時間軸上における後方に、シーングループIDが「c」であるシーンを検索する。すると、シーン「S17」のシーングループIDが「c」であることが分かる。そこで、シーン「S16」から「S17」までを、シーン群として抽出し、シーン群ID「SG07」を付与する。
【0045】
次に、シーン「S18」から「S20」までのうちシーングループIDが「a」であるシーンを検索すると、シーングループIDが「a」であるシーンは存在しない。シーン群決定手段105は、全てのシーンの並びについて、シーン群グループ「sg01」とのマッチングが終了すると、全てのシーン群グループによるマッチングが終了したか否かを判断する(ステップS607)。図8を参照すると、シーン群グループ「sg02」についてマッチングを行っていないので、シーン群決定手段105は、シーン群グループ「sg02」を選択して(ステップS602)、マッチングを行う。そして、シーン群として抽出しなかった残りのシーンの並びのうち、時間軸に沿った連続したシーンの並びを特定する(ステップS603)。すると、図9におけるシーン番号「S18」から「S20」までを特定される。
【0046】
図8を参照すると、シーン群グループ「sg02」の最初のシーンのシーングループIDは「d」である。そこで、図9におけるシーン「S18」から「S20」のうちシーングループIDが「d」であるシーンを検索すると、シーン「S18」のシーングループIDが「d」であることが分かる。また、シーン群グループ「sg02」の最後のシーンのシーングループIDは「e」である。そこで、シーン「S18」から「S20」までのうち、シーン「S18」から時間軸上における後方に、シーングループIDが「e」であるシーンを検索する。すると、シーン「S19」のシーングループIDが「e」であることが分かる。そこで、シーン「S18」から「S19」までを、シーン群として抽出し、シーン群ID「SG08」を付与する。
【0047】
残ったシーンは、シーン「S20」のみである。シーンがただ一つだけの場合は、シーン群決定手段105は、シーン群の抽出を行わない。シーン群決定手段105は、全てのシーンの並びと、全てのシーン群グループによるマッチングが終了したと判断する。
【0048】
シーン群決定手段105は、全てのシーンの並びと、全てのシーン群グループによるマッチングを行ってもシーン群として抽出されなかった時間軸に沿った1つ以上のシーンの並びを、シーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し(ステップS608)、決定された複数のシーン群にシーン群IDを付与する(ステップS609)。シーン「S20」に、シーン群ID「SG09」を付与する。図11に、映像データ101の全てのシーンにシーン群IDを付与した結果を示す。
【0049】
シーン群決定手段105は、シーン群決定手段105が抽出したシーン群の、シーン群IDと、シーン群を構成する各シーンのシーン群グループIDの情報と、各シーン群の先頭のシーンチェンジフレームを特定する情報とを新たに含む、シーン群情報を生成する。そして、シーン群決定手段105は、シーン群グループ情報と、シーン群情報とを蓄積手段106に出力する(ステップS609)。
【0050】
蓄積手段106は、シーン群決定手段105が出力したシーン群グループ情報と、シーン群情報とをシーン群情報データベース107に蓄積する(ステップS205)。
【0051】
【発明の効果】
以上のように、本発明によれば、入力された映像をシーンの特徴量で分類してシーンの集まりであるシーン群に区分する編集を自動的に行うことができる。また、シーンが繰り返し同じ順番で出現する構造である繰り返し構造が入力した映像に含まれる場合に、繰り返し構造をシーン群として抽出できる。すると、本発明による映像編集装置による映像の編集後、一の繰り返し構造に含まれる一のシーンを検索する際に、シーン群を検索することにより、所望のシーンの映像を発見することができる効果がある。
【図面の簡単な説明】
【図1】 本発明の実施の形態の一構成例を示すブロック図である。
【図2】 本発明の実施の形態の動作を示すフローチャートである。
【図3】 本発明によるシーン検出手段の動作を示すフローチャートである。
【図4】 本発明の実施の形態が編集の対象とする映像データのフレーム構成例を示した図である。
【図5】 映像データの各シーンのシーン番号と各シーンに付与されたシーングループIDとを示した図である。
【図6】 本発明によるシーン分類手段の動作を示すフローチャートである。
【図7】 本発明によるシーン抽出手段の動作を示すフローチャートである。
【図8】 シーン群グループIDと、シーングループIDの出現順と、シーン群グループの出現回数とを示した図である。
【図9】 シーン番号と、シーングループIDと、シーン抽出手段が抽出したシーン群のシーン群IDとを示した図である。
【図10】 本発明によるシーン決定手段の動作を示す流れ図である。
【図11】 シーン番号と、シーングループIDと、シーン抽出手段が抽出したシーン群のシーン群IDとシーン決定手段が決定したシーン群のシーン群IDとを示した図である。
【図12】 特許文献1に記載の、従来の映像編集システムの実施の形態の構成を示すブロック図である。
【図13】 特許文献2に記載の、従来の映像編集システム実施の形態の構成を示すブロック図である。
【符号の説明】
101 映像データ
102 シーン検出手段
103 シーン分類手段
104 シーン群抽出手段
105 シーン群決定手段
106 蓄積手段
107 シーン群情報データベース
121 符号パラメータ抽出部
122 シーンチェンジフレーム検出部
123 シーン群決定部
124 シーン情報階層化部
125 蓄積部
131 特徴量抽出部
132 量子化部
133 計数部
701 第1のシーンチェンジの先頭フレーム
702 第2のシーンチェンジの先頭フレーム
703 第3のシーンチェンジの先頭フレーム
704 第4のシーンチェンジの先頭フレーム
705 第5のシーンチェンジの先頭フレーム
706 第6のシーンチェンジの先頭フレーム
707 第7のシーンチェンジの先頭フレーム
708 第8のシーンチェンジの先頭フレーム
709 第9のシーンチェンジの先頭フレーム
710 第10のシーンチェンジの先頭フレーム
711 第11のシーンチェンジの先頭フレーム
712 第12のシーンチェンジの先頭フレーム
713 第13のシーンチェンジの先頭フレーム
714 第14のシーンチェンジの先頭フレーム
715 第15のシーンチェンジの先頭フレーム
716 第16のシーンチェンジの先頭フレーム
717 第17のシーンチェンジの先頭フレーム
718 第18のシーンチェンジの先頭フレーム
719 第19のシーンチェンジの先頭フレーム
720 第20のシーンチェンジの先頭フレーム
721 第21のシーンチェンジの先頭フレーム
722 第22のシーンチェンジの先頭フレーム
723 第23のシーンチェンジの先頭フレーム
724 第24のシーンチェンジの先頭フレーム
Claims (8)
- 入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割するシーン検出手段と、
各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付けるシーン分類手段と、
時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出するシーン群抽出手段と、
前記シーン群抽出手段の抽出の対象とならなかったシーングループの並びと、前記シーン群抽出手段が抽出したシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含めるシーン群決定手段と、
映像データをシーン群に分類した結果の情報を蓄積する蓄積手段と
を備えたことを特徴とする映像編集装置。 - シーン群決定手段は、
シーン群の最初のシーンのシーングループと、シーングループの並びのうち最初のシーンのシーングループとが一致するか否か判定し、
シーン群の最後のシーンのシーングループと、シーングループの並びのうち最後のシーンのシーングループとが一致するか否か判定し、
ともに一致すると判定されたシーングループの並びをシーン群に含める
請求項1に記載の映像編集装置。 - シーン群決定手段は、映像データ中に登場する回数の多い順にシーン群を選択してマッチングを行い、映像データ中に登場する回数が同じシーン群が複数存在する場合は、時間軸上で登場する順にシーン群を選択してマッチングを行う
請求項2に記載の映像編集装置。 - シーン群決定手段は、マッチングの結果、シーン群と特定されなかったシーンの並びを、シーン群と特定する
請求項2または請求項3に記載の映像編集装置。 - 入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された前記複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された前記複数のシーンを出力するシーン検出手段と、
前記シーン検出手段で作成された前記複数のシーンの特徴量を抽出してシーン間の類似度を算出し、前記シーンの間の類似度に基づいて前記複数のシーンを複数のグループに分類し、分類した前記複数のグループにシーングループIDを付与して複数のシーングループを作成し、前記複数のシーンのそれぞれにシーングループを特定する前記シーングループIDを付与するシーン分類手段と、
前記シーングループIDが繰り返し同じ順番で出現する前記シーングループIDの組を抽出し、抽出された前記複数のシーングループIDの組にシーン群グループIDを付与して複数のシーン群グループを作成し、前記複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、前記シーン群グループごとにシーン群グループIDとシーングループIDの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、前記シーングループIDの出現順が前記シーン群グループのシーングループIDの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された前記複数のシーン群にシーン群を特定するシーン群IDを付与し、前記シーン群IDとシーングループIDの出現順が前記抽出されたシーン群でのシーングループIDの出現順に一致するシーン群グループのシーン群グループIDと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力するシーン群抽出手段と、
前記シーン群グループを映像データ中の出現回数が多い順から1つずつ選択し、前記シーン群抽出手段でシーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを1つずつ選択し、選択した前記シーンの並びの中に選択した前記シーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択した前記シーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つシーンが存在する場合に、選択した前記シーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つ前記シーンで始まり、選択した前記シーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つ前記シーンで終わる複数のシーンの組をシーン群として抽出し、抽出した前記複数のシーン群にシーン群を特定するシーン群IDを付与し、抽出された前記シーン群のシーン群IDと選択した前記シーン群グループのシーン群グループIDと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、前記シーン群の抽出を選択した全ての前記シーンの並びと選択した全ての前記シーン群グループとについて繰り返しおこない、前記シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った1つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された前記複数のシーン群にシーン群IDを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成するシーン決定手段と、
前記シーン群情報をシーン群情報データベースに蓄積する蓄積手段と
を備えたことを特徴とする映像編集装置。 - 入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割し、
各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付け、
時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出し、
抽出の対象とならなかったシーングループの並びとシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群と特定し、
映像データをシーン群に分類した結果の情報を蓄積する
を備えたことを特徴とする映像編集方法。 - 入力された映像データによる映像の場面が切り替わるタイミングまたは音声が切り替わるタイミングであるシーンチェンジを検出してシーンチェンジの位置を特定する位置情報を生成し、時間軸上でシーンチェンジに挟まれた複数の区間に映像データを区分し、区分された前記複数の区間に時間順にシーン番号を付与してシーンを作成し、作成された前記複数のシーンを出力し、
作成された前記複数のシーンの特徴量を抽出してシーン間の類似度を算出し、前記シーンの間の類似度に基づいて前記複数のシーンを複数のグループに分類し、分類した前記複数のグループを構成するフレームにシーングループIDを付与して複数のシーングループを作成し、前記複数のシーンのそれぞれにシーングループを特定する前記シーングループIDを付与し、
前記シーングループIDが繰り返し同じ順番で出現する前記シーングループIDの組を抽出し、抽出された前記複数のシーングループIDの組にシーン群グループIDを付与して複数のシーン群グループを作成し、前記複数のシーン群グループが映像データに出現する回数を数えて出現回数の多い順に並べ、前記シーン群グループごとにシーン群グループIDとシーングループIDの出現順と入力された映像データ中の出現回数とで構成されるシーン群グループ情報を出力し、前記シーングループIDの出現順が前記シーン群グループのシーングループIDの出現順に一致する時間軸に沿った複数のシーンの組をシーン群として抽出し、抽出された前記複数のシーン群にシーン群を特定するシーン群IDを付与し、前記シーン群IDとシーングループIDの出現順が前記抽出されたシーン群でのシーングループIDの出現順に一致するシーン群グループのシーン群グループIDと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を出力し、
前記シーン群グループを映像データ中の出現回数が多い順から1つずつ選択し、シーン群として抽出されなかった残りのシーンから時間軸上で連続したシーンの並びを1つずつ選択し、選択した前記シーンの並びの中に選択した前記シーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つシーンが存在し、そのシーンより時間軸上で後ろに、選択した前記シーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つシーンが存在する場合に、選択した前記シーン群グループの最初のシーンのシーングループIDと同じシーングループIDを持つ前記シーンで始まり、選択した前記シーン群グループの最後のシーンのシーングループIDと同じシーングループIDを持つ前記シーンで終わる複数のシーンの組をシーン群として抽出し、抽出した前記複数のシーン群にシーン群を特定するシーン群IDを付与し、抽出された前記シーン群のシーン群IDと選択した前記シーン群グループのシーン群グループIDと抽出された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、前記シーン群の抽出を選択した全ての前記シーンの並びと選択した全ての前記シーン群グループとについて繰り返しおこない、前記シーン群グループ情報を利用してもシーン群として抽出されなかった時間軸に沿った1つ以上のシーンの並びをシーングループの出現順が一致するシーン群グループが存在しないシーン群と決定し、決定された前記複数のシーン群にシーン群IDを付与し、シーン群とシーングループの出現順が一致するシーン群グループが存在しないことを意味する値と決定された前記シーン群の先頭のシーンチェンジの位置情報とで構成されるシーン群情報を生成し、
前記シーン群情報をシーン群情報データベースに蓄積する
ことを特徴とする映像編集方法。 - 映像データを編集して、シーンの集まりであるシーン群を生成する映像編集装置に搭載される映像編集プログラムであって、
コンピュータに、
入力された映像データによる映像のシーンが変わるタイミングであるシーンチェンジを検出して、映像データを複数のシーンに分割する処理と、
各シーンの特徴量を抽出し、抽出した特徴量に応じて、映像データにおける各シーンを複数のグループに分類したシーングループを生成し、各シーングループを特定する対応情報を各シーンに対応付ける処理と、
時間軸上で複数回同じ並びで出現する対応情報の並びに応じたシーンの集まりをシーン群と特定して抽出する処理と、
抽出の対象とならなかったシーングループの並びと抽出されたシーン群とのマッチングを行い、マッチングの結果に応じてシーングループの並びをシーン群に含める処理と、
映像データをシーン群に分類した結果の情報を記憶装置に記憶させる処理と
を備えたことを特徴とする映像編集プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003132040A JP3918772B2 (ja) | 2003-05-09 | 2003-05-09 | 映像編集装置、映像編集方法、および映像編集プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003132040A JP3918772B2 (ja) | 2003-05-09 | 2003-05-09 | 映像編集装置、映像編集方法、および映像編集プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004336556A JP2004336556A (ja) | 2004-11-25 |
JP3918772B2 true JP3918772B2 (ja) | 2007-05-23 |
Family
ID=33507057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003132040A Expired - Fee Related JP3918772B2 (ja) | 2003-05-09 | 2003-05-09 | 映像編集装置、映像編集方法、および映像編集プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3918772B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5010292B2 (ja) | 2007-01-18 | 2012-08-29 | 株式会社東芝 | 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法 |
JP5209593B2 (ja) * | 2009-12-09 | 2013-06-12 | 日本電信電話株式会社 | 映像編集装置,映像編集方法および映像編集プログラム |
CN113851138A (zh) * | 2014-06-30 | 2021-12-28 | 索尼公司 | 信息处理装置和信息处理方法 |
KR101776910B1 (ko) * | 2016-07-26 | 2017-09-19 | 주식회사 핀텔 | 화면 생략에 의해 영상 인식속도를 향상시키는 영상 데이터 처리 시스템 |
-
2003
- 2003-05-09 JP JP2003132040A patent/JP3918772B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004336556A (ja) | 2004-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3780623B2 (ja) | 動画像の記述方法 | |
JP4905103B2 (ja) | 動画再生装置 | |
JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
JP4559935B2 (ja) | 画像記憶装置及び方法 | |
EP1081960B1 (en) | Signal processing method and video/voice processing device | |
KR100912984B1 (ko) | 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법 | |
US7941031B2 (en) | Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program | |
JP4778231B2 (ja) | ビデオシーケンスに対してインデックス付けするシステムおよび方法 | |
US20050264703A1 (en) | Moving image processing apparatus and method | |
US20050257151A1 (en) | Method and apparatus for identifying selected portions of a video stream | |
JP2011223325A (ja) | コンテンツ検索装置および方法、並びにプログラム | |
US20110052086A1 (en) | Electronic Apparatus and Image Processing Method | |
JP2002117037A (ja) | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 | |
US8634708B2 (en) | Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method | |
JP4197014B2 (ja) | 映像の検索方法および装置 | |
JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
JP3918772B2 (ja) | 映像編集装置、映像編集方法、および映像編集プログラム | |
JP2009022018A (ja) | 映像の検索方法および装置 | |
KR20160060803A (ko) | 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법 | |
JPH11265396A (ja) | 音楽映像分類方法、装置および音楽映像分類プログラムを記録した記録媒体 | |
JP2003069946A (ja) | 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体 | |
Volkmer et al. | Gradual transition detection using average frame similarity | |
JP2003224791A (ja) | 映像の検索方法および装置 | |
CN101325679B (zh) | 信息处理设备、信息处理方法 | |
JP3931890B2 (ja) | 映像の検索方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051117 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |