JP3534592B2 - 代表画像生成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ランダムアクセス
が可能な記憶装置を備えた動画編集装置、マルチメディ
ア編集装置、動画データベース、動画ファイル管理装置
などにおける代表画像生成装置に関し、特に、編集のた
めの一覧用表示に供するフレームを自動的に決めるに当
たり、これを機械的に一律に決めるのではなく、動画デ
ータの中身を的確に表す画像フレームに決めて表示する
よう構成したものである。

【０００２】

【従来の技術】従来の代表画像生成装置としては、たと
えば、対象となる動画素材の先頭フレームや先頭から一
定時間を経過した時点のフレーム（例えば、先頭から５
フレーム目）の内容をインデクス静止画とする方法（特
開平6-89549）や、映像カットの切替りを検出して検出
されたフレーム（またはその前後のフレーム）画像をイ
ンデクス静止画とする方法（特開平5-183862、特開平9-
200687）などが知られている。

【０００３】しかしながら、上記従来の代表画像生成装
置は、動画の中身（どのような映像であるか）を的確に
示していないという問題があった。

【０００４】そこで本発明は、前記従来の問題を解決す
るものであり、動画の中身を的確に表すインデクスとな
る画像を提示できる代表画像生成装置を提供することを
目的にするものである。

【０００５】

【課題を解決するための手段】前記問題を解決するため
に本発明は、あらかじめ撮影し蓄積しておいた動画を読
み出して提供できるようにした動画入力手段と、提供さ
れた動画をフレーム単位で格納するフレームメモリと、
該フレームメモリに格納されたフレーム単位の画像デー
タを読み出してカットを検出するカット検出手段と、各
カットのカット長を計算するカット長計算手段と、計算
されたカット長を記憶するカット長記憶手段と、カット
間で似ている絵などのカットを纏めて映像シーンを構成
するシーン構成手段と、構成したシーンの長さを計算す
るシーン長計算手段と、計算したシーン長を記憶するシ
ーン長記憶手段と、記憶されたシーン長から最も長いシ
ーン長を有するシーンを最長シーンとして決定する最長
シーン決定手段と、前記最長シーンから代表フレーム画
像をインデクス静止画として決定するインデクス静止画
決定手段と、決定されたインデクス静止画を出力するイ
ンデクス静止画出力手段とから構成されることを特徴と
するものである。

【０００６】以上により、動画の中身を的確に表すイン
デクスとなる画像を提示できる代表画像生成装置を提供
することができる。

【０００７】

【発明の実施の形態】本発明の請求項１に記載の発明
は、あらかじめ撮影し蓄積しておいた動画を読み出して
提供できるようにした動画入力手段と、提供された動画
をフレーム単位で格納するフレームメモリと、該フレー
ムメモリに格納されたフレーム単位の画像データを読み
出してカットを検出するカット検出手段と、各カットの
カット長を計算するカット長計算手段と、計算されたカ
ット長を記憶するカット長記憶手段と、カット間で似て
いる絵（色、ものの配置）などのカットを纏めて映像シ
ーンを構成するシーン構成手段と、構成したシーンの長
さを計算するシーン長計算手段と、計算したシーン長を
記憶するシーン長記憶手段と、記憶されたシーン長から
最も長いシーン長を有するシーンを最長シーンとして決
定する最長シーン決定手段と、前記最長シーンから代表
フレーム画像をインデクス静止画として決定するインデ
クス静止画決定手段と、決定されたインデクス静止画を
出力するインデクス静止画出力手段とから構成されるこ
とを特徴とする代表画像生成装置としたものであり、映
像の撮影および編集時に、制作者の意図を反映する映像
時間配分の面で最も重点が置かれたシーンの絵をインデ
クス静止画とすることができるという作用を有する。

【０００８】

【０００９】本発明の請求項２に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを一定間隔区間毎
に１フレームずつ読み出す一定間隔区間フレーム抽出手
段と、抽出した複数のフレーム間で似ている映像の区間
を纏めることによりシーンを構成するシーン構成手段
と、構成したシーンの長さを計算するシーン長計算手段
と、計算したシーン長を記憶するシーン長記憶手段と、
記憶された各シーン長から最も長いシーン長を有するシ
ーンを最長シーンとして決定する最長シーン決定手段
と、前記最長シーンから代表フレーム画像をインデクス
静止画として決定するインデクス静止画決定手段と、決
定されたインデクス静止画を出力するインデクス静止画
出力手段とから構成されることを特徴とする代表画像生
成装置としたものであり、映像の撮影および編集時に、
制作者の意図を反映する映像時間配分の面で最も重点が
置かれたシーンの絵をインデクス静止画とすることがで
きるという作用を有する。

【００１０】

【００１１】

【００１２】

【００１３】

【００１４】

【００１５】本発明の請求項３に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを読み出してカッ
トを検出するカット検出手段と、各カットのカット長を
計算するカット長計算手段と、計算されたカット長を記
憶するカット長記憶手段と、記憶された各カット長から
カット長の短いカットが連続する短カット区間をそれぞ
れ一つのシーンとし、前記シーンの中から最長の短カッ
ト区間を最も長いシーン長を有する最長シーンとして決
定する最長シーン決定手段と、前記最長シーンから代表
フレーム画像をインデクス静止画として決定するインデ
クス静止画決定手段と、決定されたインデクス静止画を
出力するインデクス静止画出力手段とから構成されるこ
とを特徴とする代表画像生成装置としたものであり、映
像の撮影および編集時に、カット数量の面で最も重点が
置かれたシーンの絵をインデクス静止画すなわち代表画
像とすることができるという作用を有する。

【００１６】本発明の請求項４に記載の発明は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段と、提供された動画をフレーム
単位で格納するフレームメモリと、該フレームメモリに
格納されたフレーム単位の画像データを一定間隔区間毎
に１フレームずつ読み出す一定間隔区間フレーム抽出手
段と、抽出した複数のフレーム間で似ている映像の区間
を纏めることによりシーンを構成するシーン構成手段
と、構成したシーンの長さを計算するシーン長計算手段
と、計算したシーン長を記憶するシーン長記憶手段と、
記憶された各シーン長からシーン長の短いシーンが連続
する短シーン区間の中から最長の短シーン区間を最長短
シーン区間として決定する短シーン区間決定手段と、前
記最長短シーン区間から代表フレーム画像をインデクス
静止画として決定するインデクス静止画決定手段と、決
定されたインデクス静止画を出力するインデクス静止画
出力手段とから構成されることを特徴とする代表画像生
成装置としたものであり、映像の撮影および編集時に、
シーン数量の面で最も重点が置かれた短シーン区間の絵
をインデクス静止画すなわち代表画像とすることができ
るという作用を有する。

【００１７】以下、本発明の実施の形態について、図面
を用いて説明する。

【００１８】（第１の実施の形態）図１は、本発明の第
１の実施の形態に係る代表画像生成装置の構成を示すも
のである。図１において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納されたフレーム単位の画像データを読み出してカ
ット（１纏まりの映像データ）を検出するカット検出手
段３と、各カットのカット長を計算するカット長計算手
段４と、計算されたカット長を記憶するカット長記憶手
段５と、記憶されたカット長の中から最も長いカット長
を有するカットを決定する最長カット決定手段６と、最
も長いカット長を有するカットからインデクスとして相
応しいフレーム画像を決定するインデクス静止画決定手
段７と、決定されたインデクス静止画を出力するインデ
クス静止画出力手段８とから構成されている。上記構成
において、動画入力手段１から取り出された動画は、フ
レームメモリ２と、インデクス静止画決定手段７にそれ
ぞれ入力される。

【００１９】図２を用いて代表画像が決定される過程を
上記動画入力手段１から取り出される動画のフレーム画
像開始点から始まる複数のカットから構成される動画の
例で説明する。すなわち、上記カット検出手段３は、カ
ット変化点に着目してカットの開始点を把握する。上記
最長カット決定手段６は、把握されたカットの中で最も
長いカット長を有するカットを特定する。上記インデク
ス静止画決定手段７は、そのカットの先頭から一定割合
にあるフレーム画像、たとえばカット長の先頭から30％
近傍の位置（最長カットの３分の１弱）にあるフレーム
画像を代表画像と決定する。そのように決定する理由
は、上記のような動画例においてその動画の中で最も長
いカット長を有するカットの先頭から一定割合にあるフ
レーム画像、たとえば最も長いカット長を有するカット
の先頭から30％近傍の位置にあるフレーム画像がその動
画の中身を代表するに相応しいフレーム画像であること
が多いという映像制作上の経験則に基づいている。な
お、カット検出の方法としては、隣り合うフレーム画像
間の特徴量の相関係数変化率によりカットの変化点を検
出する技術が公知なので、その技術を利用すればよい。

【００２０】このように本発明の第１の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
制作者の意図を反映する映像時間配分の面で最も重点が
置かれたシーンの絵をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。

【００２１】（第２の実施の形態） 図３は、本発明の第２の実施の形態に係る代表画像生成
装置の構成を示すものである。図３において代表画像生
成装置は、あらかじめ撮影し蓄積しておいた動画を読み
出して提供できるようにした動画入力手段１と、提供さ
れた動画をフレーム単位で格納するフレームメモリ２
と、フレームメモリ２に格納されたフレーム単位の画像
データを読み出してカット（１纏まりの映像データ）を
検出するカット検出手段３と、各カットのカット長を計
算するカット長計算手段４と、計算されたカット長を記
憶するカット長記憶手段５と、カット間で似ている絵
（色、ものの配置）などのカットを纏めて映像シーンを
構成するシーン構成手段９と、構成したシーンの長さを
計算するシーン長計算手段10と、計算したシーン長を記
憶するシーン長記憶手段11と、記憶されたシーン長から
最も長いシーン長を有するシーンを最長シーンとして決
定する最長シーン決定手段12と、前記最長シーンから代
表フレーム画像をインデクス静止画として決定するイン
デクス静止画決定手段７と、決定されたインデクス静止
画を出力するインデクス静止画出力手段８とから構成さ
れている。上記構成において、動画入力手段１から取り
出される動画は、フレームメモリ２と、シーン構成手段
９と、インデクス静止画決定手段７にそれぞれ入力され
る。

【００２２】図４を用いて代表画像が決定される過程を
上記動画入力手段１から取り出される動画のフレーム画
像開始点から始まる複数のカットで構成される動画の例
で説明する。すなわち、上記カット検出手段３は、カッ
ト変化点に着目してカットの開始点を把握する。上記シ
ーン構成手段９は、複数のカットの間で似ている絵
（色、ものの配置など）のカットを纏めて映像シーンを
構成する。上記インデクス静止画決定手段７は、構成し
たシーンの中から最も長いシーン長を有するシーンの先
頭から一定割合にあるフレーム画像、たとえば最も長い
シーン長を有するシーンの先頭から30％近傍の位置（最
長シーンの３分の１弱）にあるフレーム画像を代表画像
と決定する。そのように決定する理由は、上記のような
動画例においてその動画の中で最も長いシーン長のシー
ンの先頭から一定割合にあるフレーム画像、たとえば最
も長いシーン長のシーンの先頭から30％近傍の位置にあ
るフレーム画像がその動画の中身を代表するに相応しい
フレーム画像であることが多いという映像制作上の経験
則に基づいている。なお、複数のカット間で似ているカ
ットを判定することは、結局は、フレーム画像間の類似
を判定することであり、一方フレーム画像間の類似を判
定する技術は公知なので、その技術を利用する。

【００２３】このように本発明の第２の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
制作者の意図を反映する映像時間配分の面で最も重点が
置かれたシーンの絵をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。

【００２４】（第３の実施の形態） 図５は、本発明の第３の実施の形態の代表画像生成装置
の構成を示すものである。図５において代表画像生成装
置は、あらかじめ撮影し蓄積しておいた動画を読み出し
て提供できるようにした動画入力手段１と、提供された
動画をフレーム単位で格納するフレームメモリ２と、フ
レームメモリ２に格納されたフレーム単位の画像データ
を一定間隔区間毎に１フレームずつ読み出す一定間隔区
間フレーム抽出手段13と、抽出した複数のフレーム間で
似ている映像の区間を纏めることによりシーンを構成す
るシーン構成手段９と、構成したシーンの長さを計算す
るシーン長計算手段10と、計算したシーン長を記憶する
シーン長記憶手段11と、記憶されたシーン長から最も長
いシーン長を有するシーンを最長シーンとして決定する
最長シーン決定手段12と、前記最長シーンから代表フレ
ーム画像をインデクス静止画として決定するインデクス
静止画決定手段７と、決定されたインデクス静止画を出
力するインデクス静止画出力手段８とから構成されてい
る。上記構成において、動画入力手段１から取り出され
る動画は、フレームメモリ２と、シーン構成手段９と、
インデクス静止画決定手段７にそれぞれ入力される。

【００２５】代表画像が決定される過程を上記動画入力
手段１から取り出される動画のフレーム画像開始点から
一定間隔区間毎に１つずつ取り出されるフレーム画像に
ついて説明する。すなわち、上記一定間隔区間フレーム
抽出手段13は、一定間隔区間毎に１フレーム画像ずつフ
レーム画像を取り出す。上記シーン構成手段９は、取り
出された複数のフレーム画像間で似ている画像の区間を
纏めることによりシーンを構成する。上記インデクス静
止画決定手段７は、構成したシーンの中から最も長いシ
ーン長を有するシーンの先頭から一定割合にあるフレー
ム画像、たとえば最も長いシーン長を有するシーンの先
頭から30％近傍の位置（最長シーンの３分の１弱）にあ
るフレーム画像を代表画像と決定する。そのように決定
する理由は、上記のような動画例においてその動画の中
で最も長いシーン長を有するシーンの先頭から一定割合
にあるフレーム画像、たとえば最も長いシーン長を有す
るシーンの先頭から30％近傍の位置にあるフレーム画像
がその動画の中身を代表するに相応しいフレーム画像で
あることが多いという映像制作上の経験則に基づいてい
る。なお、前記したようにフレーム間の類似を判定する
技術は公知なので、その技術を利用すればよい。

【００２６】このように本発明の第３の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
制作者の意図を反映する映像時間配分の面で最も重点が
置かれたシーンの絵をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。

【００２７】（第４の実施の形態）図６は、本発明の第
４の実施の形態に係る代表画像生成装置の構成を示すも
のである。図６において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納された対象動画の全フレーム、または一部のフレ
ームを読み出し、そのうちフレーム特徴量（何らかのパ
ラメータ値）を抽出する特徴量パラメータ抽出手段14
と、抽出した特徴量パラメータから特徴量の大きさを計
算する特徴量計算手段15と、計算した特徴量の大きさの
うち最大のものを記憶する最大特徴量記憶手段16と、最
大の特徴量を有するフレーム画像をインデクスすべきフ
レーム画像であると決定するインデクス静止画決定手段
７と、決定されたインデクス静止画を出力するインデク
ス静止画出力手段８とから構成されている。上記構成に
おいて、動画入力手段１から取り出された動画は、フレ
ームメモリ２と、インデクス静止画決定手段７にそれぞ
れ入力される。

【００２８】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記特徴量パラメータ抽出手段14
は、読み出された対象動画の全フレーム、または一部の
フレームのうち、フレーム特徴量（何らかのパラメータ
値）を抽出する。つぎに、上記特徴量計算手段15は、抽
出した特徴量パラメータからその特徴量の大きさを計算
する。そして、上記最大特徴量記憶手段16は、計算され
た特徴量の大きさのうち最大のものを記憶する。上記イ
ンデクス静止画決定手段７は、最大の特徴量を呈するフ
レーム画像をインデクスすべきフレーム画像であるとし
て代表画像を決定する。

【００２９】このように本発明の第４の実施の形態の代
表画像生成装置によれば、例えば、音量が最大のフレー
ム、動き量が大きいフレーム、最も絵柄が複雑なフレー
ム、赤色が極端に多いフレームなど、最大の特徴量を有
するフレーム画像をインデクス静止画とすることがで
き、動画の中身を的確に表すインデクス画像を提示でき
る代表画像生成装置を提供することができる。なお、上
記例では、最大の特徴量を有するフレーム画像に着目し
てインデクス画像を決定したが、これとは反対に、最小
の特徴量を有するフレーム画像に着目してインデクス画
像を決定してもよい。また、ＭＰＥＧなどの圧縮動画の
場合、圧縮動画データに含まれる特徴量パラメータによ
り、フレームの動き量、複雑度など、これらの特徴量を
得ることができることが多いため、その場合は、処理時
間を大きく削減できる。

【００３０】（第５の実施の形態）図７は、本発明の第
５の実施の形態に係る代表画像生成装置の構成を示すも
のである。図７において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納された対象動画の全フレーム、または一部のフレ
ームを読み出し、そのうち、フレーム特徴量（何らかの
パラメータ値）を抽出する特徴量パラメータ抽出手段14
と、抽出した特徴量パラメータから特徴量の大きさを計
算する特徴量計算手段15と、計算された特徴量の大きさ
が規定の値以上になった時点を判定する特徴量判定手段
17と、規定の値を越えたフレーム画像をインデクスすべ
きフレーム画像であると決定するインデクス静止画決定
手段７と、決定されたインデクス静止画を出力するイン
デクス静止画出力手段８とから構成されている。上記構
成において、動画入力手段１から取り出された動画は、
フレームメモリ２と、インデクス静止画決定手段７にそ
れぞれ入力される。

【００３１】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記特徴量パラメータ抽出手段14
は、対象動画のフレーム（例えば先頭フレーム）から順
に走査していき、フレーム特徴量（何らかのパラメータ
値、例えば輝度情報）について抽出する。つぎに、上記
特徴量計算手段15は、抽出した特徴量パラメータからそ
の特徴量、例えば輝度情報の大きさを計算する。そし
て、上記特徴量判定手段17は、計算された特徴量例えば
輝度情報の大きさがあらかじめ設定されている規定の値
を越えた時点を判定する。上記インデクス静止画決定手
段７は、規定の値（閾値）を越えた時点のフレーム画像
をインデクスとして相応しいフレーム画像であるとして
代表画像を決定する。そしてそれを出力するようにす
る。

【００３２】このように本発明の第５の実施の形態の代
表画像生成装置によれば、通常、動画の先頭画像や動画
途中のシーン変化点の先頭画像は、黒く内容がないフレ
ーム画像であることが多いけれども、フレーム特徴量、
例えば輝度情報がある閾値を越えた時点のフレーム画像
を代表画像としているので、真っ黒なインデクス静止画
を生成してしまうことを避けることができ、動画の中身
を的確に表すインデクス画像を提示できる代表画像生成
装置を提供することができる。

【００３３】（第６の実施の形態）図８は、本発明の第
６の実施の形態に係る代表画像生成装置の構成を示すも
のである。図８において代表画像生成装置は、あらかじ
め撮影し蓄積しておいた動画を読み出して提供できるよ
うにした動画入力手段１と、提供された動画をフレーム
単位で格納するフレームメモリ２と、フレームメモリ２
に格納されたフレーム単位の画像データを順に（或いは
飛び飛びに）走査しながら物体を検出する物体検出手段
18と、物体が検出された時点でその物体がフレーム画像
の特定領域（例えば中心付近）で検出されたかどうかを
判定する検出物体判定手段19と、検出物体判定手段19で
物体が検出された時点のフレーム画像をインデクスすべ
きフレーム画像であると決定するインデクス静止画決定
手段７と、決定されたインデクス静止画を出力するイン
デクス静止画出力手段８とから構成されている。上記構
成において、動画入力手段１から取り出された動画は、
フレームメモリ２と、インデクス静止画決定手段７にそ
れぞれ入力される。

【００３４】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記物体検出手段18は、対象動画
のフレーム（例えば先頭フレーム）から順に（或いは飛
び飛びに）走査しながら、例えば明るさの濃度データの
積算値の変化に基づいて物体を検出する。上記検出物体
判定手段19は、物体が検出された領域が画像の特定領域
（例えば、中心付近）にあるかどうかを判定する。そし
て上記インデクス静止画決定手段７は、上記検出物体判
定手段19の判定結果に基づいてその時点のフレーム画像
をインデクスとして相応しいフレーム画像であるとして
代表画像を決定する。上記インデクス静止画出力手段８
は、決定されたフレーム画像を出力する。

【００３５】このように本発明の第６の実施の形態の代
表画像生成装置によれば、通常、動画の先頭画像や動画
途中のシーン変化点の先頭画像は、動画の対象目的とな
る人物や物体が表示されていないフレームであることが
多いけれども、画像の特定領域（例えば、中心付近）に
物体があると判定された時点では動画の対象目的となる
人物や物体の画像が検出されたことになることから、特
定領域に人物や物体の画像を判定する検出物体判定手段
を備えることにより、人物や物体がフレーム領域の特定
位置に表示された時点のフレーム画像を代表画像とする
ことができ、動画の中身を的確に表すインデクス画像を
提示できる代表画像生成装置を提供することができる。

【００３６】（第７の実施の形態）図９は、本発明の第
７の実施の形態に係る代表画像生成装置の構成を示すも
のである。図９において本発明の第７の実施の形態に係
る代表画像生成装置は、あらかじめ撮影し蓄積しておい
た動画を読み出して提供できるようにした動画入力手段
１と、提供された動画をフレーム単位で格納するフレー
ムメモリ２と、フレームメモリ２に格納されたフレーム
単位の画像データを順に（或いは飛び飛びに）走査しな
がら字幕スーパーやテロップを検出するテロップ検出手
段20と、検出した字幕スーパーやテロップを記憶するテ
ロップ情報記憶手段21と、テロップが検出された時点の
字幕スーパーやテロップが挿入されたフレーム画像をイ
ンデクスすべき画像であると決定するインデクス静止画
決定手段７と、決定されたインデクス静止画に対してテ
ロップ情報記憶手段21に記憶されたテロップ情報をもと
に、例えばインデクス静止画でもテロップが確実に読み
取れるようにテロップを拡大して表示できるようインデ
クス静止画を加工するインデクス静止画加工手段22と、
加工されたインデクス静止画を出力するインデクス静止
画出力手段８とから構成されている。上記構成におい
て、動画入力手段１から取り出された動画は、フレーム
メモリ２と、インデクス静止画決定手段７にそれぞれ入
力される。

【００３７】代表画像が決定される過程を上記動画入力
手段１から取り出されるフレーム画像について説明す
る。すなわち、上記テロップ検出手段20が対象動画のあ
るフレーム（先頭フレーム）から順に（或いは飛び飛び
に）走査しながら字幕スーパーやテロップを検出する。
テロップの検出技術それ自体は公知なので、ここでは詳
述しない。次に、上記テロップ情報記憶手段21は、検出
した字幕スーパーやテロップを記憶する。テロップが記
憶されたことを受けて、上記インデクス静止画決定手段
７は、テロップが検出された時点のフレーム画像をイン
デクスすべき画像であると決定する。決定されたインデ
クス静止画は上記インデクス静止画加工手段22に与えら
れ、上記テロップ情報記憶手段21に記憶されたテロップ
情報をもとにテロップ情報の加工、すなわちインデクス
静止画でもテロップが確実に読み取れるように例えばテ
ロップを拡大して表示できるよう加工する。そして上記
インデクス静止画出力手段８よりインデクス静止画を出
力する。

【００３８】このように本発明の第７の実施の形態の代
表画像生成装置によれば、映像編集者により説明用キャ
プションが入れられたフレーム画像がインデクス静止画
となるので、動画がニュース素材、ニュース番組、教育
用動画素材であるような場合には、代表画像として相応
しいものを代表画像に簡単に生成できるので、動画の中
身を的確に表すインデクス画像を提示できる代表画像生
成装置を提供することができる。

【００３９】（第８の実施の形態）図１０は、本発明の
第８の実施の形態に係る代表画像生成装置の構成を示す
ものである。図１０において本発明の第８の実施の形態
に係る代表画像生成装置は、あらかじめ撮影し蓄積して
おいた動画を読み出して提供できるようにした動画入力
手段１と、提供された動画をフレーム単位で格納するフ
レームメモリ２と、フレームメモリ２に格納されたフレ
ーム単位の画像データを読み出してカット（１纏まりの
映像データ）を検出するカット検出手段３と、各カット
のカット長を計算するカット長計算手段４と、計算され
たカット長を記憶するカット長記憶手段５と、記憶され
たカット長の中から最も長いカット長を有するカットを
決定する最長カット決定手段６と、最も長いカット長を
有するカットにおいてズーム、パン、チルトなどのカメ
ラ操作を抽出するカメラ操作抽出手段23と、カメラ操作
が施されたフレーム画像の前後のフレームを記憶するカ
メラ操作情報記憶手段24と、記憶された前後フレーム画
像の中から１フレームを選択してインデクスすべき画像
を決定するインデクス静止画決定手段７と、決定された
インデクス静止画を出力するインデクス静止画出力手段
８とから構成されている。上記構成において、動画入力
手段１から取り出された動画は、フレームメモリ２と、
カメラ操作抽出手段23にそれぞれ入力される。

【００４０】代表画像が決定される過程を上記動画入力
手段１から取り出される連続するフレーム画像について
説明する。すなわち、上記カメラ操作抽出手段23は最も
長いカット長を有するカットにおいてズーム、パン、チ
ルトなどのカメラ操作を抽出する。上記カメラ操作情報
記憶手段24は、カメラ操作が施されたフレーム画像の前
後のフレーム画像を記憶する。ズーム、パン、チルトな
どのカメラ操作の検出技術それ自体は公知なので、ここ
では詳述しない。次に、上記インデクス静止画決定手段
７は、記憶された前後フレームの中から１フレーム、例
えばズームアップ直後のフレーム画像を選択しインデク
スとして相応しいフレーム画像を決定する。そして上記
インデクス静止画出力手段８よりインデクス静止画を出
力する。

【００４１】このように本発明の第８の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
カット時間やカット数量の面で最も重点が置かれたシー
ンで、かつカメラ操作による効果の面で最も重点が置か
れたシーンの絵がインデクス静止画となるので、動画の
中身を的確に表すインデクス画像を提示できる代表画像
生成装置を提供することができる。

【００４２】（第９の実施の形態） 図１１は、本発明の第９の実施の形態に係る代表画像生
成装置の構成を示すものである。図１１において本発明
の第９の実施の形態に係る代表画像生成装置は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段１と、提供された動画をフレー
ム単位で格納するフレームメモリ２と、フレームメモリ
２に格納されたフレーム単位の画像データを読み出して
カット（１纏まりの映像データ）を検出するカット検出
手段３と、各カットのカット長を計算するカット長計算
手段４と、計算されたカット長を記憶するカット長記憶
手段５と、記憶された各カット長からカット長の短いカ
ットが連続する短カット区間をそれぞれ一つのシーンと
し、前記シーンの中から最長の短カット区間を最も長い
シーン長を有する最長シーンとして決定する最長シーン
決定手段25と、前記最長シーンから代表フレーム画像を
インデクス静止画として決定するインデクス静止画決定
手段7と、決定されたインデクス静止画を出力するイン
デクス静止画出力手段８とから構成されている。上記構
成において、動画入力手段１から取り出された動画は、
フレームメモリ２と、インデクス静止画決定手段７にそ
れぞれ入力される。

【００４３】図１２を用いて代表画像が決定される過程
を上記動画入力手段１から取り出される動画のフレーム
画像開始点から始まる複数のカットの例で説明する。す
なわち、上記カット検出手段３は、カット変化点に着目
してカットの開始点を把握する。さらに、上記カット長
計算手段４は、各カットの長さを計算する。そして、上
記最長シーン決定手段25は、記憶された各カット長から
カット長の短いカットが連続する短カット区間をそれぞ
れ一つのシーンとし、前記シーンの中から最長の短カッ
ト区間を最も長いシーン長を有する最長シーンとして決
定する。そして、上記インデクス静止画決定手段７は、
最長シーンの先頭から一定割合にあるフレーム画像、例
えば最長シーンの先頭から30％近傍の位置にあるフレー
ム画像を代表画像と決定する。そのように決定する理由
は、上記のような動画例においてその動画の中で最長の
短カット区間、すなわち最長シーンは、映像の撮影およ
び編集時に、カット数量の面で最も重点が置かれたシー
ンの絵であってこれを視聴覚者に印象付けるために制作
者が多用するという経験則に基づくものである。

【００４４】このように本発明の第９の実施の形態の代
表画像生成装置によれば、映像の撮影および編集時に、
カット数量の面で最も重点が置かれたシーンの絵をイン
デクス静止画すなわち代表画像とすることができ、動画
が映画やドラマ映像のような場合に動画の中身を的確に
表すインデクス画像を提示できる代表画像生成装置を提
供することができる。

【００４５】（第１０の実施の形態） 図１３は、本発明の第１０の実施の形態に係る代表画像
生成装置の構成を示すものである。図１３において本発
明の第１０の実施の形態の代表画像生成装置は、あらか
じめ撮影し蓄積しておいた動画を読み出して提供できる
ようにした動画入力手段１と、提供された動画をフレー
ム単位で格納するフレームメモリ２と、フレームメモリ
２に格納されたフレーム単位の画像データを一定間隔区
間毎に１フレームずつ読み出す一定間隔区間フレーム抽
出手段13と、抽出した複数のフレーム間で似ている映像
の区間を纏めることによりシーンを構成するシーン構成
手段９と、構成したシーンの長さを計算するシーン長計
算手段10と、計算したシーン長を記憶するシーン長記憶
手段11と、記憶された各シーン長からシーン長の短いシ
ーンが連続する短シーン区間の中から最長の短シーン区
間を最長短シーン区間として決定する短シーン区間決定
手段26と、前記最長短シーン区間から代表フレーム画像
をインデクス静止画として決定するインデクス静止画決
定手段7と、決定されたインデクス静止画を出力するイ
ンデクス静止画出力手段８とから構成されている。上記
構成において、動画入力手段１から取り出される動画
は、フレームメモリ２と、シーン構成手段９と、インデ
クス静止画決定手段７にそれぞれ入力される。

【００４６】代表画像が決定される過程を上記動画入力
手段１から取り出される動画のフレーム画像開始点から
一定間隔区間毎に１フレーム画像ずつ取り出されるフレ
ーム画像について説明する。すなわち、上記一定間隔区
間フレーム抽出手段13は、一定間隔区間毎に１フレーム
画像ずつフレーム画像を取り出す。上記シーン構成手段
９は、取り出された複数のフレーム画像間で似ている画
像の区間を纏めることによりシーンを構成する。上記シ
ーン長計算手段10は、各シーンの長さを計算する。そし
て、上記短シーン区間決定手26は、シーン長の短いシー
ンが連続する短シーン区間の中から最長の短シーン区間
を決定する。そして、上記インデクス静止画決定手段７
は、最長の短シーン区間の先頭から一定割合にあるフレ
ーム画像、例えば決定された短シーン区間の先頭から30
％近傍の位置にあるフレーム画像を代表画像と決定す
る。そのように決定する理由は、上記のような動画例に
おいてその動画の中で最長の短シーン区間は、映像の撮
影および編集時に、シーン数量の面で最も重点が置かれ
た短シーン区間の絵であってこれを視聴覚者に印象付け
るために制作者が多用するという経験則に基づくもので
ある。なお、上記したようにフレーム間の類似を判定す
る技術は公知なので、その技術を利用すればよい。

【００４７】このように本発明の第１０の実施の形態の
代表画像生成装置によれば、映像の撮影および編集時
に、シーン数量の面で最も重点が置かれた短シーンの絵
をインデクス静止画すなわち代表画像とすることがで
き、動画が映画やドラマ映像のような場合に動画の中身
を的確に表すインデクス画像を提示できる代表画像生成
装置を提供することができる。

【００４８】なお、以上の実施の形態では、静止画が代
表画像となる例について説明したが、代表画像を静止画
に限定する必要はなく、動画像を代表画像とすることも
できることを付け加えておく。

【００４９】

【発明の効果】以上のように本発明によれば、動画の中
身を的確に表すインデクスとなる画像を提示できる代表
画像生成装置を提供することができるという優れた効果
が得られる。

【００５０】さらに念のため、本発明の請求項毎にその
効果を記載すると、請求項１乃至請求項２に記載の発明
によれば、映像の撮影および編集時に、制作者の意図を
反映する映像時間配分の面で最も重点が置かれたシーン
の絵をインデクス静止画とすることができ、動画の中身
を的確に表すインデクス画像を提示できる代表画像生成
装置を提供することができる。

【００５１】

【００５２】

【００５３】

【００５４】

【００５５】

【００５６】請求項３に記載の発明によれば、映像の撮
影および編集時に、カット数量の面で最も重点が置かれ
たシーンの絵をインデクス静止画すなわち代表画像とす
ることができ、動画が映画やドラマ映像のような場合に
動画の中身を的確に表すインデクス画像を提示できる代
表画像生成装置を提供することができる。

【００５７】請求項４に記載の発明によれば、映像の撮
影および編集時に、シーン数量の面で最も重点が置かれ
た短シーン区間の絵をインデクス静止画すなわち代表画
像とすることができ、動画が映画やドラマ映像のような
場合に動画の中身を的確に表すインデクス画像を提示で
きる代表画像生成装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る代表画像生成
装置の構成を示す図、

【図２】本発明の第１の実施の形態に係る代表画像生成
装置の動作を説明するための図、

【図３】本発明の第２の実施の形態に係る代表画像生成
装置の構成を示す図、

【図４】本発明の第２の実施の形態に係る代表画像生成
装置の動作を説明するための図、

【図５】本発明の第３の実施の形態に係る代表画像生成
装置の構成を示す図、

【図６】本発明の第４の実施の形態に係る代表画像生成
装置の構成を示す図、

【図７】本発明の第５の実施の形態に係る代表画像生成
装置の構成を示す図、

【図８】本発明の第６の実施の形態に係る代表画像生成
装置の構成を示す図、

【図９】本発明の第７の実施の形態に係る代表画像生成
装置の構成を示す図、

【図１０】本発明の第８の実施の形態に係る代表画像生
成装置の構成を示す図、

【図１１】本発明の第９の実施の形態に係る代表画像生
成装置の構成を示す図、

【図１２】本発明の第９の実施の形態に係る代表画像生
成装置の動作を説明するための図、

【図１３】本発明の第１０の実施の形態に係る代表画像
生成装置の構成を示す図である。

【符号の説明】

１ 動画入力手段 ２ フレームメモリ ３ カット検出手段 ４ カット長計算手段 ５ カット長記憶手段 ６ 最長カット決定手段 ７ インデクス静止画決定手段 ８ インデクス出力手段 ９ シーン構成手段 10 シーン長計算手段 11 シーン長記憶手段 12 最長シーン決定手段 13 一定間隔区間フレーム抽出手段 14 特徴量パラメータ抽出手段 15 特徴量計算手段 16 最大特徴量記憶手段 17 特徴量判定手段 18 物体検出手段 19 検出物体判定手段 20 テロップ抽出手段 21 テロップ情報記憶手段 22 インデクス静止画加工手段 23 カメラ操作抽出手段 24 カメラ操作情報記憶手段 25 最長シーン決定手段 26 短シーン区間決定手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−191411（ＪＰ，Ａ) 特開 平８−32924（ＪＰ，Ａ) 特開 平９−233422（ＪＰ，Ａ) 特開 平７−111630（ＪＰ，Ａ) 特開 平６−149902（ＪＰ，Ａ) 特開 平６−89549（ＪＰ，Ａ) 特開 平６−113253（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 あらかじめ撮影し蓄積しておいた動画を
   読み出して提供できるようにした動画入力手段と、提供
   された動画をフレーム単位で格納するフレームメモリ
   と、該フレームメモリに格納されたフレーム単位の画像
   データを読み出してカットを検出するカット検出手段
   と、各カットのカット長を計算するカット長計算手段
   と、計算されたカット長を記憶するカット長記憶手段
   と、カット間で似ている絵などのカットを纏めて映像シ
   ーンを構成するシーン構成手段と、構成したシーンの長
   さを計算するシーン長計算手段と、計算したシーン長を
   記憶するシーン長記憶手段と、記憶されたシーン長から
   最も長いシーン長を有するシーンを最長シーンとして決
   定する最長シーン決定手段と、前記最長シーンから代表
   フレーム画像をインデクス静止画として決定するインデ
   クス静止画決定手段と、決定されたインデクス静止画を
   出力するインデクス静止画出力手段とから構成されるこ
   とを特徴とする代表画像生成装置。
2. 【請求項２】 あらかじめ撮影し蓄積しておいた動画を
   読み出して提供できるようにした動画入力手段と、提供
   された動画をフレーム単位で格納するフレームメモリ
   と、該フレームメモリに格納されたフレーム単位の画像
   データを一定間隔区間毎に１フレームずつ読み出す一定
   間隔区間フレーム抽出手段と、抽出した複数のフレーム
   間で似ている映像の区間を纏めることによりシーンを構
   成するシーン構成手段と、構成したシーンの長さを計算
   するシーン長計算手段と、計算したシーン長を記憶する
   シーン長記憶手段と、記憶された各シーン長から最も長
   いシーン長を有するシーンを最長シーンとして決定する
   最長シーン決定手段と、前記最長シーンから代表フレー
   ム画像をインデクス静止画として決定するインデクス静
   止画決定手段と、決定されたインデクス静止画を出力す
   るインデクス静止画出力手段とから構成されることを特
   徴とする代表画像生成装置。
3. 【請求項３】 あらかじめ撮影し蓄積しておいた動画を
   読み出して提供できるようにした動画入力手段と、提供
   された動画をフレーム単位で格納するフレームメモリ
   と、該フレームメモリに格納されたフレーム単位の画像
   データを読み出してカットを検出するカット検出手段
   と、各カットのカット長を計算するカット長計算手段
   と、計算されたカット長を記憶するカット長記憶手段
   と、記憶された各カット長からカット長の短いカットが
   連続する短カット区間をそれぞれ一つのシーンとし、前
   記シーンの中から最長の短カット区間を最も長いシーン
   長を有する最長シーンとして決定する最長シーン決定手
   段と、前記最長シーンから代表フレーム画像をインデク
   ス静止画として決定するインデクス静止画決定手段と、
   決定されたインデクス静止画を出力するインデクス静止
   画出力手段とから構成されることを特徴とする代表画像
   生成装置。
4. 【請求項４】 あらかじめ撮影し蓄積しておいた動画を
   読み出して提供できるようにした動画入力手段と、提供
   された動画をフレーム単位で格納するフレームメモリ
   と、該フレームメモリに格納されたフレーム単位の画像
   データを一定間隔区間毎に１フレームずつ読み出す一定
   間隔区間フレーム抽出手段と、抽出した複数のフレーム
   間で似ている映像の区間を纏めることによりシーンを構
   成するシーン構成手段と、構成したシーンの長さを計算
   するシーン長計算手段と、計算したシーン長を記憶する
   シーン長記憶手段と、記憶された各シーン長からシーン
   長の短いシーンが連続する短シーン区間の中から最長の
   短シーン区間を最長短シーン区間として決定する短シー
   ン区間決定手段と、前記最長短シーン区間から代表フレ
   ーム画像をインデクス静止画として決定するインデクス
   静止画決定手段と、決定されたインデクス静止画を出力
   するインデクス静止画出力手段とから構成されることを
   特徴とする代表画像生成装置。