JP2006014084A - 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 - Google Patents
映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 Download PDFInfo
- Publication number
- JP2006014084A JP2006014084A JP2004190280A JP2004190280A JP2006014084A JP 2006014084 A JP2006014084 A JP 2006014084A JP 2004190280 A JP2004190280 A JP 2004190280A JP 2004190280 A JP2004190280 A JP 2004190280A JP 2006014084 A JP2006014084 A JP 2006014084A
- Authority
- JP
- Japan
- Prior art keywords
- video
- shot
- section
- recognition
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
【解決手段】 映像データ51に基づき、映像の各部についてショットの継続時間の長さに応じた特徴を認識するショット分析部12と、映像データ51に基づき、映像の各部について映像の動きの激しさに応じた特徴を認識する映像分析部13と、上記認識結果に基づき、映像データ51のうち強調区間(アクション区間、緊迫した区間、落ち着いた区間)に該当する区間を特定する区間抽出部17と、上記認識結果に基づき、各強調区間の間の従属度63を検出する従属度検出部18と、上記認識結果と、上記検出結果とに基づき、強調区間から要約映像に採用すべき部分を決定する要約映像生成部19とを要約映像作成装置1に備える。
【選択図】 図5
Description
1.1 映画の文法
映画には、撮影や編集の際に制作者によって特定の意味や意図を強調する目的で使用される技法がある。それを「映画の文法」という(非特許文献6:ダニエル・アリホン著, 岩本憲児, 出口丈人訳, “映画の文法”, 紀伊國屋書店, 1980.参照)。
映画の文法に基づき、話の内容を視聴者に効果的に伝えるために、編集上強調された区間として、アクション区間、緊迫した区間、落ち着いた区間を抽出する。その際、各ショットにおいて、ショットの長さ、画像の動きの激しさや緩やかさに基づき、ショットの性質として、アクション性、緊迫性、落ち着き性を定義する。そして性質を表す値が連続して高い値をとるショット群をそれぞれアクション区間、緊迫した区間、落ち着いた区間とする。これら3つの区間を抽出し、各性質を表す値の高い順に要約映像を作成する際の候補とすることにより、映画の中で編集上強調された区間を要約映像に加えることが可能となり、その要約映像は映画の内容が分かりやすいものとなる。
2.1 アクション性
2.1.1 ショットの長さによるアクション性
アクション区間では、短いショットが連続するという特徴があるため、それを以下の条件で抽出し、アクション性を表す値を求める。
図1に示す時空間投影画像(非特許文献7:阿久津明人, 外村佳伸, “投影法を用いた映像の解析手法と映像ハンドリングへの応用”, 電子情報通信学会論文誌, Vol. J79-D-II, No. 5, pp. 675-686, May 1996.参照)は、映像中のオブジェクトやカメラワークによって生じる動きを可視化した画像であるため、非特許文献7ではカメラワークを検出する際に用いられている。
図3に示すようにサウンドスペクトログラム上に現れる時間軸(横軸)に沿った周波数ピークを示す楽器音成分を検出することにより、ある時間間隔における楽器音成分の数により音楽が流れていることを判定することができる(非特許文献8:川崎智広, 吉高淳夫, 平川正人, 市川忠男, “映画における音楽、効果音の抽出及び印象評価手法の提案”, 信学技報, MVE97-96, pp. 23-29, 1998.参照)。
以上で求めた各特徴によるアクション性を表す値に基づき、ショットskでのアクション性度合Action(sk)を数式(4)のように表す。以上で求めた3つの値に基づき、ショットskでのアクション性度合を求めるが、ある要素のみが必ずアクション区間に表れるのではなく、各要素が満たされる可能性があるため、各要素の平均を求めアクション性度合としている。
緊迫した区間ではショットの長さが徐々に短くなるという特徴がある。その特徴に基づいて緊迫した区間を抽出する。また、緊迫した区間内でショットの平均時間が短いほど、緊迫性が高く感じられるため、それを緊迫性度合として、Tension(sk)を数式(5)のように定義する。ただし、SLTensionは緊迫した区間内でのショットの長さの平均値、nは緊迫した区間内のショットの数、miはk番目のショットからの変位を表す。なお、緊迫性度合は、緊迫した区間、つまりショットの長さが徐々に短くなるという条件を満たす区間においてのみ定義する。
2.3.1 ショットの長さによる落ち着き性
落ち着いた区間では、長いショットが連続するという特徴があるため、それを以下の条件で抽出し、落ち着き性を表す値を求める。
落ち着いた区間では、映像内でオブジェクトやカメラワークによる動きがあまり見られないため、時空間投影画像上には時間軸方向に沿ってエッジが存在する。そのエッジの平らさを検出することによって落ち着き性を定義する。この場合、平らさの尺度が落ち着き性を表す値とする。
楽器音成分の継続時間により、落ち着き性を判定する。実験により、落ち着いた区間で流れている音楽は、楽器音成分の継続時間が長い傾向があることを確認している。
以上で求めた各特徴による落ち着き性を表す値に基づき、ショットskでの落ち着き性度合Calm(sk)を数式(9)のように定義する。以上で求めた3つの値に基づき、ショットskでの落ち着き性度合を求めるが、ある要素のみが必ず落ち着いた区間に表れるのではなく、各要素が満たされる可能性があるため、各要素の平均を求め落ち着き性度合としている。
3.1 装置構成
図5のブロック図は、本実施形態における要約映像作成装置1の構成を示している。要約映像作成装置1は、制御部2、記憶部3、データ入力部4、操作部5、データ出力部6を備えて構成されている。
図6のフローチャートに基づいて、要約映像作成装置1における全体的な処理の流れについて説明する。
図7のフローチャートに基づいて、ショット分析部12によるショット長さの検出処理について説明する。
図8のフローチャートに基づいて、映像分析部13による時空間投影画像の作成処理について説明する。
図9のフローチャートに基づいて、映像分析部13による映像の動きの検出処理について説明する。
図10のフローチャートに基づいて、音声分析部14による音楽の性質の検出処理について説明する。
画像内に輝度の変化が周囲と異なっており強調されたオブジェクトが存在する場合、そのショットは内容を伝える上で強調されているため重要である。そのため、以下のようにして各ショットにおいて主体を検出する。
また、主体検出部15は、160ピクセル×120ピクセルの先頭フレームを8ピクセル×6ピクセルのブロックに分割し(ステップS403)、ブロック内の主要色により各ブロックの色を統一し(ステップS404)、HSV表色系で領域分割を行う(ステップS405)。
図12のフローチャートに基づいて、強調された区間の抽出処理について説明する。
性質の異なる区間が連続している場合、それらは原因と結果との従属関係となる。よって、それらの関係を検出することにより、話の文脈を考慮することが可能となる。
図14のフローチャートに基づいて、要約映像の生成処理について説明する。
以上のように、要約映像作成装置(映像編集装置)1では、ショット分析部(ショット認識手段)12により、映像データ51に基づき、映像の各部についてショットの継続時間の長さに応じた特徴を認識する。また、映像分析部(映像認識手段)13により、映像データ51に基づき、映像の各部について映像の動きの激しさに応じた特徴を認識する。
大学生6名の被験者に、要約映像作成装置1により作成した要約映像(実施例)と、内容、文脈ともに考慮せずに作成した要約映像(比較例)とを見比べてもらい、どちらの方が、映画の内容、話の流れが理解しやすい要約映像となっているかを評価した。
2 制御部
3 記憶部
4 データ入力部
5 操作部
6 データ出力部
11 カット検出部
12 ショット分析部(ショット認識手段)
13 映像分析部(映像認識手段)
14 音声分析部(音声認識手段)
15 主体検出部(主体検出手段)
16 指標生成部
17 区間抽出部(強調区間特定手段)
18 従属度検出部(従属度検出手段)
19 要約映像生成部(要約作成手段)
Claims (8)
- 映像を構成する各ショットの長さと、映像における動きの激しさとに基づいて特定可能な強調区間を含んだ映像から、要約映像を作成する映像編集装置において、
映像データに基づき、映像の各部についてショットの継続時間の長さに応じた特徴を認識するショット認識手段と、
映像データに基づき、映像の各部について映像の動きの激しさに応じた特徴を認識する映像認識手段と、
前記ショット認識手段および映像認識手段による認識結果に基づき、映像データのうち強調区間に該当する区間を特定する強調区間特定手段と、
前記ショット認識手段および映像認識手段による認識結果に基づき、各強調区間の間の従属度合を検出する従属度検出手段と、
前記ショット認識手段および映像認識手段による認識結果と、前記従属度検出手段による検出結果とに基づき、強調区間から要約映像に採用すべき部分を決定する要約作成手段とを備えることを特徴とする映像編集装置。 - 前記ショット認識手段は、認識結果として、ショットの継続時間を示す特徴量と、ショットの継続時間の長さ度合を示す特徴量とを生成し、
前記映像認識手段は、認識結果として、映像の動きの激しさ度合を示す特徴量を生成することを特徴とする請求項1に記載の映像編集装置。 - 映像データに付加された音声データに基づき、映像の各部について音声に含まれる楽器音成分の継続時間の長さに応じた特徴を認識する音声認識手段をさらに備え、
前記強調区間特定手段は、さらに前記音声認識手段による認識結果に基づき、映像データのうち強調区間に該当する区間を特定し、
前記従属度検出手段は、さらに前記音声認識手段による認識結果に基づき、各強調区間の間の従属度合を検出し、
前記要約作成手段は、さらに前記音声認識手段による認識結果に基づき、強調区間から要約映像に採用すべき部分を決定することを特徴とする請求項1または2に記載の映像編集装置。 - 前記音声認識手段は、認識結果として、楽器音成分の継続時間の長さ度合を示す特徴量を生成することと特徴とする請求項3に記載の映像編集装置。
- 映像データに基づき、映像の各部について映像主体の存在を検出する主体検出手段をさらに備え、
前記要約作成手段は、さらに前記主体検出手段による検出結果に基づき、強調区間から要約映像に採用すべき部分を決定することを特徴とする請求項1または2に記載の映像編集装置。 - 請求項1から5の何れか1項に記載の映像編集装置を動作させる映像編集プログラムであって、コンピュータを前記各手段として機能させるための映像編集プログラム。
- 請求項6に記載の映像編集プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 映像を構成する各ショットの長さと、映像における動きの激しさとに基づいて特定可能な強調区間を含んだ映像から、要約映像を作成する映像編集方法において、
映像データに基づき、映像の各部についてショットの継続時間の長さに応じた特徴を認識するショット認識処理と、
映像データに基づき、映像の各部について映像の動きの激しさに応じた特徴を認識する映像認識処理と、
前記ショット認識処理および映像認識処理による認識結果に基づき、映像データのうち強調区間に該当する区間を特定する強調区間特定処理と、
前記ショット認識処理および映像認識処理による認識結果に基づき、各強調区間の間の従属度合を検出する従属度検出処理と、
前記ショット認識処理および映像認識処理による認識結果と、前記従属度検出処理による検出結果とに基づき、強調区間から要約映像に採用すべき部分を決定する要約作成処理とを含むことを特徴とする映像編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004190280A JP4032122B2 (ja) | 2004-06-28 | 2004-06-28 | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004190280A JP4032122B2 (ja) | 2004-06-28 | 2004-06-28 | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006014084A true JP2006014084A (ja) | 2006-01-12 |
JP4032122B2 JP4032122B2 (ja) | 2008-01-16 |
Family
ID=35780744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004190280A Expired - Lifetime JP4032122B2 (ja) | 2004-06-28 | 2004-06-28 | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4032122B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009116582A1 (ja) * | 2008-03-19 | 2009-09-24 | 国立大学法人 北海道大学 | 動画検索装置および動画検索プログラム |
JP2011066546A (ja) * | 2009-09-15 | 2011-03-31 | Tokyo Kogei Univ | コマ割り画像生成装置及びプログラム |
JP2011215766A (ja) * | 2010-03-31 | 2011-10-27 | Mitsubishi Electric Corp | オーサリング装置 |
US8392183B2 (en) | 2006-04-25 | 2013-03-05 | Frank Elmo Weber | Character-based automated media summarization |
WO2018155351A1 (ja) * | 2017-02-21 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 再生方法、再生システム、および、再生装置 |
WO2018155352A1 (ja) * | 2017-02-21 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 電子機器の制御方法、電子機器、電子機器の制御システム、及び、プログラム |
JP2019003585A (ja) * | 2017-06-20 | 2019-01-10 | 日本放送協会 | 要約映像生成装置およびそのプログラム |
US10984248B2 (en) | 2014-12-15 | 2021-04-20 | Sony Corporation | Setting of input images based on input music |
-
2004
- 2004-06-28 JP JP2004190280A patent/JP4032122B2/ja not_active Expired - Lifetime
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8392183B2 (en) | 2006-04-25 | 2013-03-05 | Frank Elmo Weber | Character-based automated media summarization |
WO2009116582A1 (ja) * | 2008-03-19 | 2009-09-24 | 国立大学法人 北海道大学 | 動画検索装置および動画検索プログラム |
JP5339303B2 (ja) * | 2008-03-19 | 2013-11-13 | 国立大学法人北海道大学 | 動画検索装置および動画検索プログラム |
JP2011066546A (ja) * | 2009-09-15 | 2011-03-31 | Tokyo Kogei Univ | コマ割り画像生成装置及びプログラム |
JP2011215766A (ja) * | 2010-03-31 | 2011-10-27 | Mitsubishi Electric Corp | オーサリング装置 |
US10984248B2 (en) | 2014-12-15 | 2021-04-20 | Sony Corporation | Setting of input images based on input music |
WO2018155351A1 (ja) * | 2017-02-21 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 再生方法、再生システム、および、再生装置 |
WO2018155352A1 (ja) * | 2017-02-21 | 2018-08-30 | パナソニックIpマネジメント株式会社 | 電子機器の制御方法、電子機器、電子機器の制御システム、及び、プログラム |
JP2019003585A (ja) * | 2017-06-20 | 2019-01-10 | 日本放送協会 | 要約映像生成装置およびそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4032122B2 (ja) | 2008-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8818803B2 (en) | Character-based automated text summarization | |
US8392183B2 (en) | Character-based automated media summarization | |
US7796860B2 (en) | Method and system for playing back videos at speeds adapted to content | |
Sundaram et al. | Determining computable scenes in films and their structures using audio-visual memory models | |
EP1081960B1 (en) | Signal processing method and video/voice processing device | |
JP4778231B2 (ja) | ビデオシーケンスに対してインデックス付けするシステムおよび方法 | |
JP4935355B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
US20090025039A1 (en) | Method and apparatus for video digest generation | |
JP4882746B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
US20110150428A1 (en) | Image/video data editing apparatus and method for editing image/video data | |
JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
JP2008022103A (ja) | テレビ番組動画像ハイライト抽出装置及び方法 | |
US20050182503A1 (en) | System and method for the automatic and semi-automatic media editing | |
JP4032122B2 (ja) | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 | |
JP2011124681A (ja) | 映像編集装置,映像編集方法および映像編集プログラム | |
JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
JP2019003585A (ja) | 要約映像生成装置およびそのプログラム | |
JP2002281457A (ja) | ビデオ情報再生 | |
JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
JP2008084021A (ja) | 動画シナリオ生成方法、プログラムおよび装置 | |
JP4835439B2 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
Srinivasan et al. | A survey of MPEG-1 audio, video and semantic analysis techniques | |
JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
JP2006054622A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
JP4341503B2 (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |