JP2000175149A - 映像検出装置、及び要約映像生成装置 - Google Patents

Abstract

(57)【要約】 【課題】 自動カット検出方式を用いて要約映像を生成
する際に、パン、ズーム、チルト等のゆっくりした動き
があるカットに対してはインデックス情報が十分抽出で
きないのでそれができる、また、動きが少ないカットに
対しては、無駄な要約映像が生成されるのを抑制するこ
とができる要約映像生成システムを提供する。 【解決手段】 フレーム単位で映像を入力する映像入力
手段101と、入力された映像フレームを一時的に格納す
る映像一時格納手段102と、カット点と判定されたフレ
ーム映像を一時的に保持するカット点映像格納手段103
と、連続するフレームの特徴量を抽出し映像のカット点
を検出し、一定の間隔でカット点フレームと入力された
最新フレームから特徴量を抽出し間引きカット検出を行
なうカット点検出手段104と、カット点と判定されたフ
レーム映像から一定の割合でカットを要約し映像を格納
する要約映像生成手段105からなる要約映像生成装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、緩行な映像を検出
する緩行映像検出、及び、映像の詳細な要約を高速に実
現する要約映像生成装置に関するものである。

【０００２】

【従来の技術】近年、映像検索を行なうのに必要なイン
デックス情報を生成する研究が盛んに行なわれている。
IEEE1394等のリアルタイム伝送機能を備えるデジタル高
速インターフェイスの実現により、映像をデジタルのま
ま計算機に取り込むことが可能となり、高画質な映像を
扱う放送局においても、計算機上にデジタル映像を蓄積
し編集や放送に使用する用途が広がっている。放送局等
においては、多数の映像ライブラリを保有しているた
め、数万巻オーダーの多数の映像を高速に効率よく検索
できる映像検索技術が重要だと考えられている。

【０００３】インデックス情報としては、場面の切れ目
（以下、カット点という）を自動検出するカット検出手
法を用いたカット毎の代表静止画像を用いる方法、同方
式を用いて各シーンから短時間の映像を抜き出して要約
映像を作る方法などが知られている。その他、インデッ
クス情報として、映像データに重畳化されている文字
（クローズドキャプションなど）、映っている物体の
色、テクスチャ（物体の模様）、形、カメラワーク、音
声等、数多く提案されている。

【０００４】カット点は、フレーム間の特徴量の変化を
調べることにより検出可能で、特徴量として、輝度、色
差、動きベクトル、DCT係数等様々なものが提案されて
いるが、圧縮映像のまま検出する方法が近年よく用いら
れている。ソフトウェアで高速な処理が可能なためであ
る。一方、圧縮映像を伸張（復号化）して物体の色、テ
クスチャ、形、カメラワークの特徴量を検出する方法
は、検出精度と高速処理が問題となっている。以下、
「カット」という用語はカット点によって区切られた映
像フレームの集合という定義で用いることとする。

【０００５】インデックス情報を用いて映像を検索する
方法として、カット毎の代表静止画像を一覧表示する方
法、該当映像をざっと閲覧できるようにカット毎に映像
を間引いた要約映像を再生する方法などが提案されてい
る。要約映像を生成する方法は、例えば、特開平6-2332
27号公報にも開示されている。その方法は、図１７（特
開平6-233227号公報の図1と同図）に示すように、カッ
ト点の情報から各カットを決定し、速見時間長を各カッ
トに対し定められた率で割り当て、割り当てたカット速
見時間に対応するフレーム数の速見フレームを各カット
から等間隔で抽出することを特徴とするものである。

【０００６】従来技術では、代表静止画像一覧表示方法
や要約映像再生方法において多数の映像に対して代表静
止画や要約映像を高速な速度で生成するためには圧縮映
像のままでカット点を検出する。復号化したのちに画像
処理を行ってカット検出する方法では、処理時間が非常
に多くかかる上、デジタルビデオ（DV）などの圧縮され
たデジタル映像を計算機に取り込む処理なども同時に行
われる必要があるからである。

【０００７】

【発明が解決しようとする課題】しかし、従来の技術で
は、圧縮映像のままでカット点を検出する方法を用いる
ため、カメラのパン（横方向のカメラ移動）、ズーム、
チルト（縦方向のカメラ移動）等の比較的ゆっくりとし
た動きがあるカット点を検出しにくく、必要なインデッ
クス情報が十分抽出できないという問題がある。

【０００８】また、要約映像再生方法においては、ほと
んど動きがないカットに対して要約映像を生成すること
は、冗長なインデックス情報を生成することになり、蓄
積容量の無駄になる。本発明は、圧縮映像を対象とした
高速なカット点自動検出手法を有効利用して高速処理を
維持しながら、カットの映像情報の不足および冗長を避
けわかりやすいインデックス情報を得ることを目的とす
る。

【０００９】また、ニュース番組におけるアナウンサー
のような似たカットが多く含まれる映像に対しては、カ
ット点がそのたびに検出され同じようなインデックス情
報が多数生成されるため、蓄積容量が増大するといった
問題がある。本発明は、カットの代表静止画像を用いて
類似カットを検出し、類似カットを削除することにより
蓄積容量を削減することを目的とする。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、第一に、カット検出によって検出したカ
ットに対して、カット点フレームとカット点から一定時
間後のフレームとの特徴量の差分を計算することにより
間引きカット検出を行ない（隣接したフレーム間の特徴
量の差分によりカット検出するのではなく、離れたフレ
ーム間の特徴量の差分を計算することから「間引きカッ
ト検出」と呼ぶことにする）、特徴量の差分が大きい場
合は、後者のフレームをカット点とするように構成した
ものである。これにより、カットがパン・ズーム・チル
ト等の動きがある場合あるいは映像が徐々に変化する場
合に、カットを複数のカットに分割することができ、よ
り詳細な要約映像を生成できる効果を奏するものであ
る。

【００１１】また、第二に、各カットごとにカット内映
像の動き量を算出し、動きが少ないと判定したカットに
対してはカット点のフレーム映像とカット幅情報のみで
該当のカットの要約映像とするよう構成したものであ
る。これにより、ほぼ動きがないカットに対しては、そ
のカットの映像インデックス（要約映像）を時間的に短
くでき、蓄積容量を削減できる効果を奏するものであ
る。

【００１２】また、第三に、カット検出と間引きカット
検出を組み合わせ、カットを複数の間引きカット（間引
きカットにより検出されたカット点により分割されたフ
レームの集合）に分割し、それぞれの間引きカットに対
してカットの動き量を算出し、動きが少ないと判定した
カットに対してはカット点のフレーム映像とカット幅情
報のみで該当カットの要約映像情報とすることを目的と
したものである。これにより、動き少と判定できるカッ
ト数を多く検出し、さらに蓄積容量を削減することが可
能となる。

【００１３】また、第四に、各カットに対して、（カッ
ト、間引きカット）・（動きあり、動きなし）の情報を
格納するよう構成したものである。これにより、ユーザ
が要約映像を再生する場合に、（カット、間引きカッ
ト）・（動きあり、動きなし）の情報をもとに必要なカ
ットのみを再生できる効果を奏するものである。

【００１４】また、第五に、カットの代表静止画の類似
度を判定することにより全カットをグループに分類し、
各グループの代表カットについて要約映像を生成してグ
ループ内の各カットの要約映像として利用すること、さ
らに映像の先頭カットから順番に属するグループ番号を
情報ファイルとして格納するよう構成したものである。
これにより、ニュース番組のアナウンサー等の類似カッ
トが多い番組では要約映像の蓄積容量を削減でき、ま
た、代表カットの要約映像と情報ファイルを用いて先頭
カットから順番に要約映像を再生できる効果を奏するも
のである。

【００１５】

【発明の実施の形態】以下、本発明の各実施の形態につ
いて、図１から図１６を用いて説明する。なお、本発明
はこれら実施の形態に何等限定されるものではなく、そ
の要旨を逸脱しない範囲において、種々なる態様で実施
し得る。

【００１６】（実施の形態１）図1は、本願発明の要約
映像生成装置を示した構成図の一例であり、図1におい
て、101はもとの映像を入力する映像入力手段、102は映
像入力手段101により入力された映像フレームを一時的
に格納する映像一時格納手段、103はカット点検出手段1
04によりカット点と判定されたフレーム映像を一時的に
保持するカット点映像格納手段、104は映像一時格納
手段102により格納した連続するフレームの特徴量を抽
出し映像のカット点を検出し、また、一定の間隔で映
像一時格納手段102の最新フレームとカット点映像格納
手段103で保持するフレームから特徴量を抽出すること
により間引きカット検出を行なうカット点検出手段、10
5はカット点検出手段104によりカット点と検出されフレ
ーム映像から一定の割合でカットを要約した映像を格納
する要約映像生成手段を示す。

【００１７】図2は、本願発明におけるカット検出手段1
04の間引きカット分割方法の一例であり、カット検出に
より検出したカットをさらに間引きカット検出を用いて
複数のカットに分割している。間引きカット検出は、パ
ン・ズーム・チルト・物体が動いているカットに対して
は動き量に比例して複数のカットに分割し、ほぼ動きが
ないカットに対してはカット分割を行なわないような機
能を提供する。

【００１８】図2において、カットの全般にわたりパン
動作を行なっているカット1は3カットに、カット1より
動き量が少ないカット3は2カットに、前半はほぼ動きが
なく後半にパンを行なっているカット4は後半部分をカ
ット点とし2カットに、前半にパンを行ない後半はほぼ
動きがないカット5は前半部分をカット点とし3カットに
分割している例が示されている。ほぼ動きがないカット
2はカット分割を行なわない。図2において、カットの要
約映像は、カットの先頭n（n:正の整数）フレーム分の
映像からなるものとされている。

【００１９】図3は、間引きカット検出を用いた要約映
像生成の処理の流れを示したフローチャートである。図
1、図2とあわせて、以下その動作を説明する。

【００２０】図3において、まず、映像入力手段101によ
りもとの映像が入力される（301）。映像一時格納手段1
02によりフレーム映像が一時的に格納され（302）、カ
ット検出手段104によりフレームの特徴量が抽出されて
映像のカット点が検出される（303）。一時的に格納さ
れる映像のフレーム数は、カット検出手段104でカット
点の判定に必要なフレーム数以上である。カット点は、
フレーム間の特徴量の変化を調べることにより検出可能
で、圧縮映像のまま高速にカット点を検出するDCT係数
を用いたカット検出方法以外に、輝度、色差、動きベク
トル等の特徴量を用いても同様の効果が得られる。

【００２１】カット検出手段104によりカット点が検出
された場合（304）、カット点映像格納手段103によりカ
ット開始フレーム映像を一時的に保持し（305）、カッ
トに対するフレーム番号（i）を0とし（306）、カット
に対するフレーム番号（i）を1増やす（310）。フレー
ム番号（i）がカット点からの一定の距離を表すn（n:正
の整数）より小さいか判定し（311）、フレーム番号
（i）がnより小さい場合、要約映像生成手段105により
当該フレームを要約映像として生成する（312）。

【００２２】また、その要約の手法としては、主に、分
割された各カット内に含まれる複数のフレームを抽出を
行う。例えば、カットの先頭フレームから３０フレーム
を抽出（３０フレーム未満の場合はそのカットの全フレ
ームを抽出）したり、ｋの倍数フレーム目を抽出したり
等様々である。

【００２３】なお、要約映像のフォーマットとしては、
映像入力手段101により入力された映像のフォーマット
や当フォーマットから変換された別フォーマットでも良
い。フォーマット変換の一例として、DV（Digital Vide
o）からDCT（Discrete Cosine Transform）の直流成分
のみを抜き出し1/64のサイズに縮小した輝度・色差のYU
Vフォーマットに変換する方法やさらにYUVフォーマット
をMPEG（Moving Picture Coding Experts Group）フォ
ーマットに変換する方法が挙げられる。ステップ311でi
がｎ以上の場合あるいはステップ312の処理後、全体の
処理を終了するか判定し、終了しない場合ステップ301
に戻る（313）。

【００２４】カット検出手段104によりカット点と検出
されなかったフレーム映像に対しては（304）、当フレ
ーム映像のカットに対するフレーム番号（i）がカット
点からの一定の距離を表すM（M:正の整数）より大きい
か判定し（307）、フレーム番号（i）がMより大きい場
合、カット検出手段104によりフレーム番号（i）が示す
フレームとカット点映像格納手段103で保持されている
カット点フレームから特徴量を抽出し間引きカット検出
を行なう（308）。

【００２５】ここで間引きカット点と判定された場合
（309）、ステップ305に戻る。当フレーム映像のフレー
ム番号（i）がM以下の場合（307）あるいは当フレーム
映像が間引きカット点でない場合（309）、ステップ310
に戻る。上記ステップ301からステップ313を、処理終了
の合図があるまで繰り返す。処理終了の合図があれば処
理を終了するものとする。

【００２６】以上のように、本実施の形態では、カット
検出により検出したカットを間引きカット検出により複
数のカットに分割できるため、カットがパン・ズーム・
チルト等の動きがある場合（、具体的には、旅行案内や
美術品紹介などによくあるようなカメラ移動や、人の出
入りを監視するもの等）、あるいは、カットが徐々に変
化する場合にカットを複数のカットに分割し、より詳細
な要約映像（それを見るだけで元映像の内容が非常によ
く分かる映像、元映像のポイント(特徴的な箇所＝パ
ン、ズーム、カット切替え等)を含んでいる映像）を生
成でき、その実用的効果は大きい。

【００２７】（実施の形態２）図4は、本願発明の要約
映像生成装置を示した構成図の一例であり、図4におい
て、401は映像を入力する映像入力手段、402は映像入力
手段401により入力されたフレームを一時的に格納する
映像一時格納手段、403は映像一時格納手段402により格
納した連続するフレームの特徴量を抽出し映像のカット
点を検出するカット点検出手段である。

【００２８】404はカット点検出手段403により抽出した
特徴量からカットの動き量を算出するカット動き量算出
手段、405はカット動き量算出手段404により生成したカ
ット動き量をある閾値を用いて比較し動きの有無を判定
するカット動き有無判定手段、406はカット動き有無判
定手段405により動きありと判定したカットに対しては
カット点のフレーム映像から一定の割合でカットを要約
し、動きなしと判定したカットに対してはカット点のフ
レーム映像とカット幅情報のみでカットを要約する要約
映像生成手段を示す。

【００２９】図5は、本願発明のカット有無判定手段に
よりカットの要約映像を時間軸方向に圧縮する方法の一
例であり、動きなしと判定されたカットの要約映像は、
カット点のフレーム映像とカット幅情報で表現するよう
にしている。図5において、カットの要約映像は、カッ
トの先頭n（n:正の整数）フレームとする。

【００３０】図6は、時間軸方向に圧縮できる要約映像
生成の処理の流れを示したフローチャートである。図
4、図5とあわせて、以下その動作を説明する．図6にお
いて、まず、映像入力手段401により映像を入力する（6
01）。映像一時格納手段402によりフレーム映像を一時
的に格納し（602）、カット検出手段403によりフレーム
の特徴量を抽出し映像のカット点を検出する（603）。
一時的に格納するフレーム数は、カット検出手段403で
カット点を判定するために必要なフレーム数以上であ
る。カット点は、フレーム間の特徴量の変化を調べるこ
とにより検出可能で、圧縮映像のまま高速にカット点を
検出するDCT係数を用いたカット検出方法以外に、輝
度、色差、動きベクトル等の特徴量を用いても同様の効
果が得られる。

【００３１】カット検出手段403によりカット点を検出
した場合（604）、前カットの動き量をpmotionに代入
し、これから算出するカット動き量motionを0（605）、
カットに対するフレーム番号（i）を0とし（606）、カ
ットに対するフレーム番号（i）を1増やす（607）。カ
ット検出手段403によりカット点と検出されなかった場
合（604）、ステップ607に戻る。

【００３２】フレーム番号（i）がカット点からの一定
の距離を表すn（n:正の整数）より小さいか判定し（60
8）、フレーム番号（i）がnより小さい場合、カット動
き量算出手段404によりカット検出時に生成したフレー
ム間の特徴量の変化を用いて動き量を算出しmotionに加
算する（609）。カット動き有無判定手段405により当フ
レームがカット開始フレームの場合（i=1）、前カット
の動き量pmotionが閾値Mより小さいか判定する（61
0）。

【００３３】当フレームがカット開始フレームで、前カ
ットの動き量pmotionが閾値Mより小さい場合（610）、
要約映像生成手段406により前カットの要約映像をカッ
ト点のフレーム映像とカット幅情報でカットを再要約す
る（611）。そして、要約映像生成手段406により当フレ
ームを要約映像として生成する（612）。

【００３４】当フレームがカット開始フレームでない、
あるいは前カットの動き量pmotionが閾値Mより大きい場
合（610）、ステップ612に戻る。

【００３５】なお、要約映像のフォーマットとしては、
映像入力手段401により入力されたフレーム映像のフォ
ーマットや当フォーマットから変換された別フォーマッ
トでも良い。フォーマット変換の一例として、DVからDC
Tの直流成分のみを抜き出し1/64のサイズに縮小した輝
度・色差のYUVフォーマットに変換する方法やさらにYUV
フォーマットをMPEGフォーマットに変換する方法が挙げ
られる。

【００３６】また、要約映像を再要約する方法として
は、カット点のフレーム映像のユーザデータ領域にカッ
ト幅情報を格納し、要約映像再生時にユーザデータ領域
のカット幅情報を参照して当フレーム映像の再生時間を
求めるようにする方法や要約映像にMPEGを採用し、カッ
ト幅に相当する長さだけ動きがないP（Predictive）フ
レームを生成する方法が挙げられる。

【００３７】本願発明の再要約の方法は、カット全体の
動き量を算出しカット全体を時間軸方向に圧縮している
ため、MPEGのフレーム単位の時間軸方向圧縮とは異な
る。ステップ608でiがｎ以上の場合あるいはステップ61
2の処理後、全体の処理を終了するか判定し、終了しな
い場合ステップ601に戻る（613）。上記ステップ601か
らステップ613を、処理終了の合図があるまで繰り返
す。処理終了の合図があれば最終カットに対して再要約
の判定を行ない、再要約する場合はカット点のフレーム
映像１枚とカット幅情報で最終カットの時間軸方向の圧
縮を行ない、処理を終了するものとする。

【００３８】以上のように、本実施の形態では、カット
の動き量を算出し、動きなしと判定したカットに対して
はカット点のフレーム映像とカット幅情報のみでカット
を再要約するため、ほぼ動きがないカットに対しては、
蓄積容量を削減でき、その実用的効果は大きい。

【００３９】（実施の形態３）図7は、本願発明の要約
映像生成装置を示した構成図の一例であり、図7におい
て、701は映像を入力する映像入力手段、702は映像入力
手段701により入力されたフレームを一時的に格納する
映像一時格納手段、703はカット点検出手段704によりカ
ット点と検出されたフレーム映像を一時的に保持するカ
ット点映像格納手段、704は映像一時格納手段702により
格納された連続するフレームの特徴量を抽出し映像のカ
ット点を検出し、一定の間隔で映像一時格納手段702の
最新フレームとカット点映像格納手段703で保持するフ
レームから特徴量を抽出し間引きカット検出を行なうカ
ット点検出手段、705はカット点検出手段704により抽出
した特徴量からカットの動き量を算出するカット動き量
算出手段、706はカット動き量算出手段705により生成し
たカット動き量をある閾値を用いて比較し動きの有無を
判定するカット動き有無判定手段、707はカット動き有
無判定手段706により動きありと判定されたカットに対
してはカット点のフレーム映像から一定の割合でカット
を要約し、動き少と判定したカットに対してはカット点
のフレーム映像とカット幅情報のみでカットを要約する
要約映像生成手段を示す。

【００４０】図8は、カット検出手段704により検出され
たカットを間引きカット検出により複数のカットに分割
し、各カットの要約映像を生成する上で、ほぼ動きのな
いカットに対しては時間軸方向の圧縮を行なうようにす
る一例を示している。間引きカット検出は、パン・ズー
ム・チルト・物体が動いているカットに対しては動き量
に比例して複数のカットに分割し、ほぼ動きがないカッ
トに対してはカット分割を行なわないような機能を提供
する。要約映像の時間軸方向の圧縮は、カット点のフレ
ーム映像とカット幅情報で行なう。図8において、カッ
トの要約映像は、カットの先頭n（n:正の整数）フレー
ムとする。

【００４１】図9は、間引きカット検出と要約映像の時
間軸方向の圧縮を行なう要約映像生成の処理の流れを示
したフローチャートである。図7、図8とあわせて、以下
その動作を説明する．図9において、まず、映像入力手
段701により映像を入力する（901）。映像一時格納手段
702によりフレーム映像を一時的に格納し（902）、カッ
ト検出手段704によりフレームの特徴量を抽出し映像の
カット点を検出する（903）。一時的に格納するフレー
ム数は、カット検出手段704でカット点検出に必要なフ
レーム数以上である。カット点は、フレーム間の特徴量
の変化を調べることにより検出可能で、圧縮映像のまま
高速にカット点を検出するDCT係数を用いたカット検出
方法以外に、輝度、色差、動きベクトル等の特徴量を用
いても同様の効果が得られる。カット検出手段704によ
りカット点が検出された場合（904）、カット点映像格
納手段703によりカット開始フレーム映像を一時的に保
持し（905）、前カットの動き量をpmotionに代入し、こ
れから算出するカット動き量motionを0、カットに対す
るフレーム番号（i）を0とし（906）、カットに対する
フレーム番号（i）を1増やす（910）。

【００４２】カット検出手段704によりカット点と検出
されなかった場合（904）、当フレーム映像のカットに
対するフレーム番号（i）がカット点からの一定の距離
を表すM（M:正の整数）より大きいか判定し（907）、フ
レーム番号（i）がMより大きい場合、カット検出手段70
4によりフレーム番号（i）とカット点映像格納手段703
で保持しているカット点フレームから特徴量を抽出し間
引きカット検出を行なう（908）。もし間引きカット点
と判定した場合（909）、ステップ905に戻る。当フレー
ム映像のフレーム番号（i）がM以下の場合（907）ある
いは当フレーム映像が間引きカット点でない場合（90
9）、ステップ910に戻る。

【００４３】ステップ910の処理後、フレーム番号（i）
がカット点からの一定の距離を表すn（n:正の整数）よ
り小さいか判定し（911）、フレーム番号（i）がnより
小さい場合、カット動き量算出手段705によりカット検
出時に生成したフレーム間の特徴量の変化を用いて動き
量を算出しmotionに加算する（912）。カット動き有無
判定手段706により当フレームがカット開始フレームの
場合（i=1）、前カットの動き量pmotionが閾値Mより小
さいか判定する（913）。

【００４４】当フレームがカット開始フレームで、前カ
ットの動き量pmotionが閾値Mより小さい場合（913）、
要約映像生成手段707により前カットの要約映像をカッ
ト点のフレーム映像とカット幅情報でカットを再要約す
る（914）。そして、要約映像生成手段707により当フレ
ームを要約映像として生成する（915）。当フレームが
カット開始フレームでない、あるいは前カットの動き量
pmotionが閾値Mより大きい場合（913）、ステップ915に
戻る。

【００４５】なお、要約映像のフォーマットとしては、
映像入力手段701により入力されたフレーム映像のフォ
ーマットや当フォーマットから変換された別フーマット
でも良い。フォーマット変換の一例として、DVからDCT
の直流成分のみを抜き出し1/64のサイズに縮小した輝度
・色差のYUVフォーマットに変換する方法やさらにYUVフ
ォーマットをMPEGフォーマットに変換する方法が挙げら
れる。

【００４６】また、要約映像を再要約する方法として
は、カット点のフレーム映像のユーザデータ領域にカッ
ト幅情報を格納し、要約映像再生時にユーザデータ領域
のカット幅情報を参照して当フレーム映像の再生時間を
求めるようにする方法や要約映像にMPEGを採用し、カッ
ト幅に相当する長さだけ動きがないPフレームを生成す
る方法が挙げられる。

【００４７】本願発明の再要約の方法は、カット全体の
動き量を算出しカット全体を時間軸方向に圧縮している
ため、MPEGのフレーム単位の時間軸方向圧縮とは異な
る。ステップ911でiがｎ以上の場合あるいはステップ91
5の処理後、要約映像生成処理を終了するか判定し、終
了しない場合ステップ901に戻る（916）。上記ステップ
901からステップ916を、処理終了の合図があるまで繰り
返す。処理終了の合図があれば最終カットに対して再要
約の判定を行ない、再要約する場合はカット点のフレー
ム映像とカット幅情報で最終カットの時間軸方向の圧縮
を行ない、処理を終了するものとする。

【００４８】以上のように、本実施の形態では、間引き
カット検出を用いてカットを複数の間引きカットに分割
してから、各カットに対してカットの動き量を算出し、
動きが少ないと判定したカットに対してはカット点のフ
レーム映像とカット幅情報のみでカットを再要約するた
め、動き少と判定できるカット数を増大し、さらに蓄積
容量を削減でき、その実用的効果は大きい。

【００４９】（実施の形態４）図10は、本願発明の要約
映像生成装置を示した構成図の一例である．図10におい
て、1001は映像を入力する映像入力手段、1002は映像入
力手段1001により入力されたフレームを一時的に格納す
る映像一時格納手段、1003はカット点検出手段1004によ
りカット点と検出されたフレーム映像を一時的に保持す
るカット点映像格納手段、1004は映像一時格納手段1002
により格納された連続するフレームの特徴量を抽出し映
像のカット点を検出し、一定の間隔で映像一時格納手段
1002の最新フレームとカット点映像格納手段1003で保持
するフレームから特徴量を抽出し間引きカット検出を行
なうカット点検出手段、1005はカット点検出手段1004に
より抽出した特徴量からカットの動き量を算出するカッ
ト動き量算出手段、1006はカット動き量算出手段1005に
より算出されたカット動き量をある閾値と比較し動きの
有無を判定するカット動き有無判定手段、1007はカット
動き有無判定手段1006により動きありと判定されたカッ
トに対してはカット点のフレーム映像から一定の割合で
カットを要約し、動きが少ないと判定されたカットに対
してはカット点のフレーム映像とカット幅情報のみでカ
ットを要約する要約映像生成手段、1008はカット点検出
手段1004およびカット動き有無判定手段1006により生成
される各カットの （カット、間引きカット）・（動きあ
り、動きなし）の情報を抽出し格納するカット情報格納
手段を示す。

【００５０】図11は、本願発明の要約映像とカット情報
の生成方法の一例であり、カット検出と間引きカット検
出を用いて分割したカットに対して、時間軸方向の圧縮
を行なう判定を行ないながら要約映像とカットの種類
（通常のカット検出により判定された本カット・間引き
カット検出による間引きカット）・（動きあり、動きな
し）のカット情報を生成する。カット情報としては、各
カットの開始位置情報も生成される。

【００５１】間引きカット検出は、パン・ズーム・チル
ト・物体が動いているカットに対しては動き量に比例し
て複数のカットに分割し、ほぼ動きがないカットに対し
てはカット分割を行なわないような機能を提供する。要
約映像の時間軸方向の圧縮は、カット点のフレーム映像
とカット幅情報で行なう。図11において、カットの要約
映像は、カットの先頭n（n:正の整数）フレームとす
る。

【００５２】図12は、本願発明の要約映像とカット情報
を用いた要約映像再生方法の一例であり、システムはユ
ーザの要求に応じて、カット情報から必要なカットを抽
出して再生することができる。再生に必要なカットは、
カット情報に含まれるカット開始位置情報を用いて要約
映像から抽出される。

【００５３】図13は、カット検出と間引きカット検出お
よび時間軸方向の圧縮の方法を用いて要約映像とカット
情報を生成する処理の流れを示したフローチャートで、
図10、図11、図12とあわせて、以下その動作を説明す
る。

【００５４】図13において、まず、映像入力手段1001に
より映像を入力する（1301）。映像一時格納手段1002に
よりフレーム映像を一時的に格納し（1302）、カット検
出手段1004によりフレームの特徴量を抽出し映像のカッ
ト点を検出する（1303）。一時的に格納するフレーム数
は、カット検出手段1004でカット点の判定に必要なフレ
ーム数以上である。カット点は、フレーム間の特徴量の
変化を調べることにより検出可能で、圧縮映像のまま高
速にカット点を検出するDCT係数を用いたカット検出方
法以外にも、輝度、色差、動きベクトル等の特徴量を用
いても同様の効果が得られる。

【００５５】カット検出手段1004によりカット点が検出
された場合（1304）、カット点映像格納手段1003により
カット開始フレーム映像を一時的に保持し（1305）、前
カットの動き量をpmotionに代入し、これから算出する
カット動き量motionを0、そして、カットに対するフレ
ーム番号（i）を0とし、カット番号（CutNo（正の整
数））を1増やす（1306）。カット情報格納手段1008に
よりカット検出の種類（本カット・間引きカット）がカ
ット番号とともに格納される（1307）。次に、カットに
対するフレーム番号（i）を1増やす（1311）。

【００５６】カット検出手段1004によりカット点と検出
されなかった場合（1304）、当フレーム映像のカットに
対するフレーム番号（i）がカット点からの一定の距離
を表すM（M:正の整数）より大きいか判定し（1308）、
フレーム番号（i）がMより大きい場合、カット検出手段
1004によりフレーム番号（i）とカット点映像格納手段1
003で保持しているカット点フレームから特徴量を抽出
し間引きカット検出を行なう（1309）。間引きカット点
と判定された場合（1310）、ステップ1305に戻る。当フ
レーム映像のフレーム番号（i）がM以下の場合（1308）
あるいは当フレーム映像が間引きカット点でない場合
（1310）、ステップ1311に戻る。ステップ1311の処理
後、フレーム番号（i）がカット点からの一定の距離を
表すn（n:正の整数）より小さいか判定し（1312）、フ
レーム番号（i）がnより小さい場合、カット動き量算出
手段1005によりカット検出時に生成されたフレーム間の
特徴量の変化を用いて動き量を算出しmotionに加算する
（1313）。カット動き有無判定手段1006により当フレー
ムがカット開始フレームの場合（i=1）、前カットの動
き量pmotionが閾値Mより小さいか判定する（1314）。

【００５７】当フレームがカット開始フレームで、前カ
ットの動き量pmotionが閾値Mより小さい場合（1314）、
要約映像生成手段1007により前カットの要約映像をカッ
ト点のフレーム映像とカット幅情報によりカットを再要
約する（1315）。カット情報格納手段1008により前カッ
トの動きなし情報をカット番号を用いて格納する（131
6）。要約映像生成手段1007により当フレームを要約映
像として生成する（1317）。当フレームがカット開始フ
レームでない、あるいは前カットの動き量pmotionが閾
値Mより大きい場合（1314）、ステップ1317に戻る。

【００５８】なお、要約映像のフォーマットとしては、
映像入力手段1001により入力されたフレーム映像のフォ
ーマットや当フォーマットから変換された別フォーマッ
トでも良い。フォーマット変換の一例として、DVからDC
Tの直流成分のみを抜き出し1/64のサイズに縮小した輝
度・色差のYUVフォーマットに変換する方法やさらにYUV
フォーマットをMPEGフォーマットに変換する方法が挙げ
られる。

【００５９】また、要約映像を再要約する方法として
は、カット点のフレーム映像のユーザデータ領域にカッ
ト幅情報を格納し、要約映像再生時にユーザデータ領域
のカット幅情報を参照して当フレーム映像の再生時間を
求めるようにする方法や、要約映像にMPEGを採用し、カ
ット幅に相当する長さだけ動きがないPフレームを生成
する方法が挙げられる。

【００６０】本願発明の再要約の方法は、カット全体の
動き量を算出しカット全体を時間軸方向に圧縮している
ため、MPEGのフレーム単位の時間軸方向圧縮とは異な
る。ステップ1312でiがｎ以上の場合あるいはステップ1
317の処理後、処理を終了するか判定し、終了しない場
合ステップ1301に戻る（1318）。上記ステップ1301から
ステップ1318を、処理終了の合図があるまで繰り返す。
処理終了の合図があれば最終カットに対して再要約の判
定を行ない、再要約する場合はカット点のフレーム映像
とカット幅情報で最終カットの時間軸方向の圧縮と動き
なし情報の生成を行ない、処理を終了するものとする。

【００６１】以上のように、本実施の形態では、要約映
像生成と同時に、各カットの情報（カット検出の種類・
動きなし）も生成するため、ユーザが要約映像を再生す
る場合に、必要なカットのみを抽出して再生することが
でき、その実用的効果は大きい。

【００６２】（実施の形態５）図14は、本願発明の要約
映像生成装置を示した構成図の一例であり、図14におい
て、1401は映像を入力する映像入力手段、1402は映像入
力手段1401により入力されたフレームを一時的に格納す
る映像一時格納手段、1403は映像一時格納手段1402によ
り格納された連続するフレームの特徴量を抽出し映像の
カット点を検出するカット点検出手段、1404はカット点
検出手段1403によりカット点と検出されたフレーム映像
から一定の割合でカットを要約し映像を格納する要約映
像生成手段である。

【００６３】1405はカット点検出手段1403により検出さ
れたカット点から一定間隔にあるフレーム映像をカット
の代表静止画として格納する代表静止画格納手段、1406
は代表静止画格納手段1405により格納された各カットの
代表静止画の類似度を算出し各カットを類似グループに
分類する類似画像分類手段、1408は類似画像分類手段14
06により分類された各グループに属するカット群の代表
カットを決定し要約映像生成手段1404により生成された
要約映像から代表カット以外のカットは削除する映像ソ
ーティング手段、1407は類似画像分類手段1406により生
成された類似グループ番号を用いて映像の先頭カットか
ら順番に属するグループ番号をカット時間軸情報として
生成するカット時間軸情報格納手段を示す。

【００６４】図15は、本願発明の映像ソーティングを用
いた要約映像生成方法の一例であり、カット検出により
検出されたカットの要約映像と代表静止画像を用いて類
似カットの算出およびカット映像のソーティングを行な
っている。

【００６５】図15において、カット1とカット3の代表静
止画像が類似しているため、カット1〜5をグループa〜d
（カット1、3はグループa、カット2はグループｂ、カッ
ト4はグループc、カット5はグループd）に分類し、映像
ソーティングによりカット3を削除し、カット1、2、4、
5（グループa、b、c、d）をもとに要約映像を生成す
る。カット時間軸情報は、削除したカット3がカット1で
近似されたことを表すために、カットの時間軸に沿っ
て、（a、b、a、c、d）というデータが生成される。ユ
ーザが要約映像を内容重視で再生する場合は、要約映像
を用いてカットを（a b c d）と再生し、映像の流れ重
視で再生する場合は、要約映像とカット時間軸情報を用
いて（a b a c d）と再生する。

【００６６】図16は、時間軸方向に圧縮できる要約映像
生成の処理の流れを示したフローチャートである。図1
4、図15とあわせて、以下その動作を説明する．図16に
おいて、まず、映像入力手段1401により映像を入力する
（1601）。映像一時格納手段1402によりフレーム映像を
一時的に格納し（1602）、カット検出手段1403によりフ
レームの特徴量を抽出し映像のカット点を検出する（16
03）。一時的に格納するフレーム数は、カット検出手段
1403でカット点の判定に必要なフレーム数以上である。
カット点は、フレーム間の特徴量の変化を調べることに
より検出可能で、圧縮映像のまま高速にカット点を検出
するDCT係数を用いたカット検出方法以外にも、輝度、
色差、動きベクトル等の特徴量を用いても同様の効果が
得られる。

【００６７】カット検出手段1403によりカット点が検出
された場合（1604）、カット番号（CutNo（正の整
数））を1増やし（1605）、カットに対するフレーム番
号（i）を0とし（1606）、カットに対するフレーム番号
（i）を1増やす（1607）。カット検出手段1403によりカ
ット点と検出されなかった場合（1604）、ステップ1607
に戻る。

【００６８】フレーム番号（i）がカット点からの一定
の距離を表すn（n:正の整数）より小さいか判定し（160
8）、フレーム番号（i）がnより小さい場合、当フレー
ム映像がカット点フレーム（i=1）か判定する（160
9）。当フレーム映像がカット点フレームの場合、代表
静止画格納手段1405によりカット点フレームをカットの
代表静止画像としてカット番号（CutNo）と共に格納す
る（1610）。なお、カットの代表静止画像はカット点フ
レームとしているが、カット内の任意のフレームを代表
静止画像としてもよい。

【００６９】当フレーム映像がカット点フレームでない
場合（1609）あるいはステップ1610処理終了後、要約映
像生成手段1404により当フレームを要約映像として生成
する（1611）。

【００７０】なお、要約映像のフォーマットとしては、
映像入力手段1401により入力されたフレーム映像のフォ
ーマットや当フォーマットから変換された別フォーマッ
トでも良い。フォーマット変換の一例として、DVからDC
Tの直流成分のみを抜き出し1/64のサイズに縮小した輝
度・色差のYUVフォーマットに変換する方法やさらにYUV
フォーマットをMPEGフォーマットに変換する方法が挙げ
られる。

【００７１】ステップ1608でiがｎ以上の場合あるいは
ステップ1611の処理後、代表静止画像と要約映像生成処
理を終了するか判定し、終了しない場合ステップ1601に
戻る（1612）。上記ステップ1601からステップ1612を、
処理終了の合図があるまで繰り返す。処理終了の合図が
あれば、類似画像分類手段1406により各カットの代表静
止画像の類似度を算出し、類似するカット群をカット番
号（CutNo）を用いてグループ化する（1613）。

【００７２】類似画像算出方法の一例として、DV等の圧
縮映像に含まれるDCT係数あるいはDCTの直流成分を比較
して代表静止画像の類似度を高速に算出する方法が挙げ
られる。次に、映像ソーティング手段（1408）により各
グループに対して、最小のカット番号以外のカットを要
約映像から削除する（1614）。カット時間軸情報格納手
段1407により映像の先頭カットから順番に属するグルー
プ番号をカット時間軸情報として生成する（1615）。そ
して、ステップ1615処理後、処理を終了するものとす
る。

【００７３】以上のように、本実施の形態では、カット
の代表静止画を用いて任意のカットを類似するグループ
に分類し、各グループの代表カット以外は要約映像から
削除する。また、さらに映像の先頭カットから順番に属
するグループ番号を情報ファイルとして格納するため、
ニュース番組等の類似するカットが多い番組では要約映
像の蓄積容量を削減でき、また、代表カットの要約映像
と情報ファイルを用いて先頭カットから順番にカットを
再生でき、その実用的効果は大きい。

【００７４】

【発明の効果】以上のように、第１の発明では、カット
検出によって検出されたカットに対して、カット点フレ
ームとカット点から一定時間後のフレームとの間で間引
きカット検出を行ない、その一定時間後のフレームがカ
ットの切れ目と判定された場合は、該当フレームをカッ
ト点とすることにより、カットがパン・ズーム・チルト
等の動きがある場合、あるいはカットが徐々に変化する
場合にも、カットを複数のカットに分割することがで
き、より詳細な要約映像を生成できるという有利な効果
が得られる。

【００７５】また、第２の発明では、カットの動き量を
算出し、動きが少ないと判定されたカットに対してはカ
ット点のフレーム映像とカット幅情報のみでカットを要
約することにより、ほぼ動きがないカットに対しては、
要約映像の時間軸方向の圧縮が可能となり、蓄積容量を
削減できるという有利な効果が得られる。

【００７６】また、第３の発明では、カット検出と間引
きカット検出を組み合わせ、カットを複数の間引きカッ
トに分割し、間引きカットに対して、カットの動き量を
算出し、動きなしと判定したカットに対してはカット点
のフレーム映像とカット幅情報のみでカットを要約する
ことにより、動きが少ないと判定できるカット数を増大
し、さらに蓄積容量を削減できるという有利な効果が得
られる。

【００７７】また、第４の発明では、各カットに対し
て、（カット、間引きカット）・（動きあり、動きな
し）の情報を格納することにより、ユーザが要約映像を
再生する場合に、（カット、間引きカット）・（動きあ
り、動きなし）の情報を組み合わせて必要なカットのみ
を再生できるという有利な効果が得られる。

【００７８】また、第５の発明では、カットの代表静止
画を用いて全てのカットを類似するグループに分類し、
各グループの代表カット以外は要約映像から削除し、さ
らに映像の先頭カットから順番に属するグループ番号を
情報ファイルとして格納することにより、ニュース番組
等の類似するカットが多い番組では要約映像の蓄積容量
を削減でき、また、代表カットの要約映像と情報ファイ
ルを用いて先頭カットから順番にカットを再生できると
いう有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の第1の実施の形態における要約映像生
成装置を示す構成図

【図２】間引きカット検出によるカット分割方法の概要
の例図

【図３】第1の実施の形態における要約映像生成の処理
をあらわした流れ図

【図４】本発明の第2の実施の形態における要約映像生
成装置を示す構成図

【図５】カットの要約映像を時間軸方向に圧縮する方法
の概要の例図

【図６】第2の実施の形態における要約映像生成の処理
をあらわした流れ図

【図７】本発明の第3の実施の形態における要約映像生
成装置を示す構成図

【図８】間引きカット検出とカット時間軸方向圧縮を用
いた要約映像生成方法の概要の例図

【図９】第3の実施の形態における要約映像生成の処理
をあらわした流れ図

【図１０】本発明の第4の実施の形態における要約映像
生成装置を示す構成図

【図１１】間引きカット検出とカット時間軸方向圧縮を
用いた要約映像とカット情報生成方法の概要の例図

【図１２】要約映像とカット情報を用いた要約映像再生
方法の概要の例図

【図１３】第4の実施の形態における要約映像生成の処
理をあらわした流れ図

【図１４】本発明の第5の実施の形態における要約映像
生成装置を示す構成図

【図１５】映像ソーティングを用いた要約映像生成方法
の概要の例図

【図１６】第5の実施の形態における要約映像生成の処
理をあらわした流れ図

【図１７】従来のおける映像検出装置の構成図

【符号の説明】

１０１ 映像入力手段 １０２ 映像一時格納手段 １０３ カット点映像格納手段 １０４ カット点検出手段 １０５ 要約映像生成手段 ４０４ カット動き量算出手段 ４０５ カット動き有無判定手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅井 香葉子 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B085 BE07 5C023 AA31 AA40 BA01 CA01 DA04 5C053 FA07 FA30 GA20 JA30 KA01 LA06

Claims (6)

【特許請求の範囲】
1. 【請求項１】 映像を入力する映像入力手段と、前記映
   像入力手段により入力された映像フレームを一時的に格
   納する映像一時格納手段と、前記映像一時格納手段によ
   り格納された連続するフレームの特徴量を抽出し映像の
   カット点を検出するカット点検出手段と、前記カット点
   検出手段によりカット点と判定されたフレーム映像を一
   時的に保持するカット点映像格納手段と、を備え、 前記カット点検出手段が、前記映像一時格納手段に保持
   されている最新フレームと、前記カット点映像格納手段
   のフレームと、から特徴量を抽出し、その特徴量をもと
   に第二のカット点である間引きカット点の検出を行なう
   ことを特徴とする、映像検出装置。
2. 【請求項２】 請求項１記載の構成に加えて、カット点
   検出手段によって検出される、間引きカット点からその
   次の間引きカット点までの映像フレームの集合である間
   引きカットから、一定の割合で又は任意にフレームを抽
   出し、それを要約映像とする要約映像生成手段を備えた
   ことを特徴とする要約映像生成装置。
3. 【請求項３】 映像を入力する映像入力手段と、前記映
   像入力手段により入力された映像フレームを一時的に格
   納する映像一時格納手段と、前記映像一時格納手段によ
   り格納された連続するフレームの特徴量を抽出し映像の
   カット点を検出するカット点検出手段と、前記カット点
   検出手段により抽出された特徴量からカットの動き量を
   算出するカット動き量算出手段と、前記カット動き量算
   出手段により生成されたカット動き量をある閾値と比較
   し動きの有無を判定するカット動き有無判定手段と、前
   記カット動き有無判定手段より送出される情報に基づい
   て要約映像を生成する要約映像生成手段とを備え 前記要約映像生成手段が、前記カット動き有無判定手段
   により動きありと判定されたカットに対しては、カット
   点のフレーム映像から一定の割合で又は任意にフレーム
   を抽出し、それを要約映像とし、動きが少ないと判定さ
   れたカットに対してはカット点のフレーム映像とカット
   幅情報とをもって要約映像とすることを特徴とする要約
   映像生成装置。
4. 【請求項４】 請求項１記載の構成に加えて、カット点
   検出手段によって検出・抽出される、間引きカット点か
   らその次の間引きカット点までの映像フレームの集合で
   ある間引きカットにおける特徴量から、その間引きカッ
   トの動き量を算出するカット動き量算出手段と、前記カ
   ット動き量算出手段により生成されたカット動き量をあ
   る閾値と比較し動きの有無を判定するカット動き有無判
   定手段と、前記カット動き有無判定手段より送出される
   情報に基づいて要約映像を生成する要約映像生成手段と
   を備え前記要約映像生成手段が、前記カット動き有無判
   定手段により動きありと判定されたカットに対しては、
   カット点のフレーム映像から一定の割合で又は任意にフ
   レームを抽出し、それを要約映像とし、動きが少ないと
   判定されたカットに対してはカット点のフレーム映像と
   カット幅情報とをもって要約映像とすることを特徴とす
   る要約映像生成装置。
5. 【請求項５】 カット点検出手段およびカット動き有無
   判定手段から送出される情報をもとに、カットか間引き
   カットかに関する情報、及び/又は、動きありと判定さ
   れたか、動き少と判定されたか等に関する情報であるカ
   ット情報を抽出し、前記カット情報を格納するカット情
   報格納手段を備え、 要約映像生成手段が前記カット情報のうち指定されたも
   のを要約の対象とし、その対象となった要約映像を再生
   する、又は、すでに要約済みの要約映像の内、指定され
   たカット情報に関するものに対応する要約映像を再生す
   ることを特徴とする請求項４記載の要約映像生成装置。
6. 【請求項６】 映像を入力する映像入力手段と、前記映
   像入力手段により入力された映像フレームを一時的に格
   納する映像一時格納手段と、前記映像一時格納手段によ
   り格納された連続するフレームの特徴量を抽出し映像の
   カット点を検出するカット点検出手段と、前記カット点
   検出手段によりカット点と検出されたフレーム映像を起
   点とし、そこから一定の割合で又は任意に抽出された１
   つ以上のフレームを要約映像とする要約映像生成手段
   と、前記カット点検出手段により検出されたカット点か
   ら一定間隔にあるフレーム映像をカットの代表静止画と
   して格納する代表静止画格納手段と、前記代表静止画格
   納手段により格納された各カットの代表静止画の類似度
   を算出し各カットを類似グループに分類する類似画像分
   類手段と、前記類似画像分類手段により分類された各グ
   ループに属するカット群の代表カットを決定し前記要約
   映像生成手段により生成された要約映像から代表カット
   以外のカットは削除する映像ソーティング手段と、前記
   類似画像分類手段により生成された類似グループに関す
   る情報を用いて映像の先頭カットからその情報に属する
   グループ情報をカット時間軸情報として生成するカット
   時間軸情報格納手段と、を備えた要約映像生成装置。