JPH04207878A - 動画像管理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明は、動画像の入力、表示、蓄積、編集等を電子
的に実行する動画像管理装置に関する。

（従来の技術） 近年、ＶＴＲやビデオムービーの普及により動画像が身
近なメディアの一つになっている。このような動画像は
ビデオカセット等により保存されるようになっているが
、保存する動画像が増大するにつれ、その管理方法が問
題になっている。

現状では、ビデオカセットを積み上げ、その各ビデオカ
セットのラベルをたよりに検索するといった非効率的な
方法をとらざるを得ないようになっている。

さらに、ビデオカセットが本質的にシーケンシャルなア
クセスメディアであることから、検索、編集などの際に
、−本のビデオカセットの中から希望するシーンを探し
出すには、テープカウンタを頼りに行うか、早送り、巻
戻しをくり返さなければならない。

したかって、必要なシーン、カットを容易に探し出すこ
とができす、しかもシーン、カットを単位とした編集を
容易に行うことができす、さらにカット単位の分割がユ
ーザに過度の負担を強いているという欠点がある。

（発明が解決しようとする課題） この発明は、上記したように、必要なシーン、カットを
容易に探し出すことかできず、しかもシーン、カットを
単位とした編集を容易に行うことができず、さらにカッ
ト単位の分割かユーザに過度の負担を強いているという
欠点を除去するもので、動画像をシーン、カットの階層
構造で記憶して管理することができ、必要なシーン、カ
ットを容易に探し出すことができ、しかもシーン、カッ
トを単位とした編集にも容易に対応でき、さらにカット
単位の分割が自動的にてき、ユーザの負担を無くすこと
ができる動画像管理装置を提供することを目的とする。

［発明の構成］ （課題を解決するための手段） この発明の動画像管理装置では、入力された動画像をフ
レーム間の変化量の大きさからカットとカットの境界を
検出する検出手段、この検圧手段の検出結果に応して複
数のフレームからなるカットを単位としたファイルに分
割する分割手段、この分割手段により分割されたカット
を単位としたファイルを記憶する記憶手段、この記憶手
段に記憶したカットを単位としたファイルごとの画像を
上記記憶手段から読出して出力する出力手段、この出力
手段により８カされた画像によりカットを１まとめとし
たシーンの区切りを指示する指示手段、およびこの指示
手段の指示に応じて１つの動画像をシーン、カットの階
層構造で上記記憶手段に記憶する処理手段から構成され
ている。

（作　用） この発明は、入力された動画像をフレーム間の変化量の
大きさからカットとカットの境界を検出し、この検出結
果に応じて複数のフレームからなるカットを単位とした
ファイルに分割し、この分割されたカットを単位とした
ファイルを記憶手段で記憶し、この記憶したカットを単
位としたファイルごとの画像を上記記憶手段から読出し
て出力し、この出力された画像によりカットを１まとめ
としたシーンの区切りを指示し、この指示に応じて１つ
の動画像をシーン、カットの階層構造で上記記憶手段に
記憶するようにしたものである。

（実施例） 以下、この発明の一実施例について図面を参照しながら
詳細に説明する。第１図はこの発明の動画像管理装置の
ブロック構成図である。すなわち、各種制御を行うＣＰ
Ｕ１、動画像および動画像を管理するための情報などを
表示するＣＲＴデイスプレィ装！２、ＣＰＵＩの制御プ
ログラムおよびＣＲＴデイスプレィ装置２に表示する画
像などを記憶するメモリ３、複数のカットからなる一連
の動画像を入力し、各１カツトの境界を検出する境界検
出部４、一連の動画像または境界検出部４で切り出した
複数のフレームからなる１つのカットを単位としたファ
イルを格納する磁気ディスク（ＨＤＤ）５を扱う磁気デ
ィスク装置１１、ビデオカメラ７、ＶＴＲ８などからの
ＮＴＳＣ（ナショナル　テレビジョン　ンステム　コミ
ッティ）信号を入力し、この装置で動画を扱うフォーマ
ットに変換するビデオインターフェース６、ビデオイン
ターフェース６に接続されるビデオカメラ７、またはＶ
ＴＲ８、および入力手段としてのマウス１０（あるいは
キーボード）から構成されている。

上記ＣＰＵＩ、メモリ３、境界検出部４、ビデオインタ
ーフェース６、マウス１０、磁気ディスク装置１１はバ
ス９に接続されており、ＣＰＵＩからのアクセスにより
制御される。

磁気ディスク５の代りに、他の記憶媒体たとえば光ディ
スク（ＯＤＤ）を用いても、あるいはネットワークを介
したリモートファイルを用いても良い。

この実施例における動画像のフォーマットの例を第２図
に示す。毎秒３０フレーム、１フレームは６４０Ｘ５１
２画素、１画素は濃度（Ｙ）８ビツト、色度（１、Ｑ）
各４ビツトで表される。また、境界検出部４おける処理
は６４０Ｘ５１２画素を８×８のブロックに分割し、ブ
ロックを単位として行われる。

上記境界検出部４は、第３図のように、入力画像に対し
てフレーム内のブロック単位に前フレームと比較して動
きの有無を検出し、動き補償フレーム間予測とフレーム
内予測のうち誤差の少ない方法で符号化する符号化器４
１、符号化器４１の出力するフレーム内／フレーム間フ
ラグを用いて連続するフレームの間のカット境界を検出
する境界検出器４２、符号化した動画像を復元する復号
化器４３から構成されている。

上記符号化器４１か出力する符号化された動画像情報は
境界検出器４２の検出する境界によって切り分けられ、
１カツトが１フアイルとして磁気ディスク５に格納され
る。

上記復号化器４３は磁気ディスク５に格納されたファイ
ルを表示するときに復号化を行う。

上記符号化器４１は、第４図のように、フレーム内／フ
レーム間判定器４１１、直交変換器４１２、量子化器４
１３、逆量子化器４１４、逆直交変換器４１５、フレー
ムメモリ４１６、ループフィルタ４１７、符号器４１８
、減算器４１０、切換スイッチ４０８．４０９、および
加算器４０７から構成されている。

フレーム内／フレーム間判定器４１１は、探索した動き
ベクトルを用いて動き補償を行った後のブロックと入力
ブロックとの間でフレーム間予測が行われ、予測誤差が
大きいときは入力ブロックでフレ、−ム内予側か行われ
るものである。予測誤差が大きいとき、切換スイッチ４
０９．４０８が上側に切換わり、入力ブロックの画像が
切換スイッチ４０９を介してそのまま直交変換器４１２
へ出力される。予測誤差が小さいとき、切換スイッチ４
０９．４０８が下側に切換わり、動画像の入力ブロック
が減算器４１０によりループフィルタ４１７からの１つ
前の画像で減算された画像が直交変換器４１２へ出力さ
れる。

直交変換器４１２は、切換スイッチ４０９から供給され
る画像に対して２次元の直交変換（Ｄ　ＣＴ）を行うも
のである。量子化器４１３は、直交変換器４１２の直交
変換内容を量子化するものである。逆量子化器４１４は
、量子化器４１３の量子化後の８×８の係数を動き補償
を行うために逆量子化するものである。逆直交変換器４
１５は、逆量子化器４１４からの内容を逆直交変換して
復元するものである。フレームメモリ４１６は、逆直交
変換器４１５からの逆直交変換して復元した内容とフレ
ームメモリ４１６からループフィルタ４１７および切換
スイッチ４０８を介して供給される画像とを加算器４０
７で加算した画像（１つ前の画像）を記憶して保持する
ものである。

ループフィルタ４１７は量子化誤差を軽減するために用
いられるものである。符号器４１８は、フレーム内／フ
レーム間判定器４１１からのフレーム内／フレーム間ブ
ロック指示、量子化器４１３からの変換係数に対する量
子化インデック・スと量子化器指示、フレームメモリ４
１６からの動きベクトル、およびループフィルタ４１７
からのループフィルタオン／オフ指示によって割り合て
られる符号語を符号として出力するものである。

このような構成により、フレーム内／フレーム間判定器
４１１は、探索した動きベクトルを用いて動き補償を行
った後のブロックと入力ブロックとの間でフレーム間予
測が行われ、予測誤差が大きいとき、切換スイッチ４０
９．４０８が上側に切換わり、予測誤差が小さいとき、
切換スイッチ４０９．４０８が下側に切換わる。これに
より、予測誤差が大きいとき、入力ブロックの画像が切
換スイッチ４０９を介してそのまま直交変換器４１２へ
出力され、直交変換器４１２で２次元の直交変換（Ｄ　
ＣＴ）が行われ、量子化器４１３で直交変換内容が量子
化され、符号器４１８へ出力される。

また、量子化器４１３の量子化内容は逆量子化器４１４
と逆直交変換器４１５により復元されて加算器４０７に
供給される。この加算器４０７で逆直交変換器４１５か
らの復元画像とフレームメモリ４１６からの１つ前の画
像とか加算され、この画像によりフレームメモリ４１６
の内容が更新される。これにより、符号器４１８はフレ
ーム内／フレーム間判定器４１１からのフレーム内／フ
レーム間ブロック指示と量子化器４１３からの変換係数
に対する量子化インデックスと量子化器指示、フレーム
メモリ４１６からの動きベクトル、およびループフィル
タ４１７からのループフィルタオン／オフ指示によって
割り合てられる符号語を符号として出力する。

次に、連続する一連のフレームからなる動画像をいくつ
かのカットに分解する方法について説明する。

１カツト内の連続するフレーム間では類似度が高いので
フレーム間符号化の方が誤差が少なく、したがってフレ
ーム内符号化を行うブロックは少なくなる。逆にあるカ
ットの最後のフレームと次のカットの最初のフレームと
の間では、フレーム間相関か低く、フレーム内符号化が
有利になり、フレーム内符号化を行うブロックは局所的
に増加する。したかってこのような判定を行うことで一
連の動画像を１つ１つのカットに切り出すことかできる
。

上記境界検出器４２は、第５図に示すように、加算器４
２１、比較器４２２、ＦＦ回路４２′３〜４２６、およ
び論理ゲート４２７〜４３３から構成されている。加算
器４２１は、ＣＰＵ１からのフレーム終了信号（あるい
はフレーム開始信号）で「０」に初期化され、各ブロッ
ク毎に符号化器４１からのフレーム間／フレーム内フラ
グを見てフレーム内であれば「１」加算し、フレーム間
であれば変化しないように動作する加算器である。

比較器４２２は、１フレーム内で符号化を行ったブロッ
ク数とあらかじめＣＰＵＩにより与えられたしきい値と
を比較して、ブロック数の方が多ければ変化ありのフラ
グを出力する比較器である。

ＦＦ回路４２３〜４２６はＣＰＵＩからのフレーム終了
信号により比較器４２２からの変化ありのフラグをラッ
チし、過去４フレームでの変化の有無の情報を保持する
４段の回路である。論理ケート４２７〜４３３は、連続
する５フレームの変化の有無か［無有無＊＊Ｊ　　（＊
は有無のどちらでもよい）、「無有有無＊」、「無有有
有無」のいずれかであったときカット境界であると判定
して境界検出フラグを出力する論理回路である。

このような構成により、各フレームごとに、ＣＰ　Ｕ　
、１からのフレーム終了信号により、加算器４２１が「
０」に初期化され、各ブロック毎に符号化器４１からの
フレーム間／フレーム内フラグがフレーム内である場合
に加算器４２１が「１」加算され、加算器４２１の加算
内容が比較器４２２に出力される。比較器４２２により
加算器４２１の加算内容つまり１フレーム内で符号化を
行ったブロック数が所定のしきい値より多い場合、変化
ありのフラグかＦＦ回路４２３に出力される。

これにより、ＦＦ回路４２３〜４２６にはＣＰＵＩから
のフレーム終了信号により比較器４２２からの変化あり
のフラグが順次ラッチされ、過去４フレームでの変化の
有無の情報が保持される。ＦＦ回路４２３〜４２６のラ
ッチ内容か［無有無＊＊」、「無有有無＊」、「無有有
有無」のいずれかであったとき、論理ゲート４２７〜４
３３による論理演算によりカット境界であると判定して
論理ゲート４２８がら境界検出フラグが出力される。

すなわち、この回路により変化ありの状態が３フレーム
以下連続し、前後が変化なしであるような場合をカット
境界とみなしている。

判定の例を第６図で示す。横軸にフレーム数、たて軸に
各フレームにおいてクレーム内符号化を行ったブロック
数がこのように変化したとする。

ピーク１はしきい値より高い状態か１フレームだけで前
後は変化なしのフレームなので第５図に示す、境界検出
器４２により境界と判定される。したがって、第１フレ
ームからピーク１の直前のフレームまでをカット１とし
て切り出し、ファイルとして格納する。同様にピーク２
も境界判定されるので、ピーク１からピーク２の直前ま
でがカット２として切り出される。一方ビーク３は変化
ありのフレームが「４」以上連続するので境界と判定さ
れへい。

このような判定により、ビデオカメラ７のレンズの前を
移動する物体かあったり、急激なパン操作を行ったりし
た場合を、カット境界と誤判定する二となく良好な切り
分けか得られる。

この実施例では変化なしか「１」以上、変化ありか「３
」以下、変化なしが「１」以上の順に連続する箇所を境
界と判定しているか第５図ＯＦＦ回路と論理ゲートを変
更することて変化なしかＴｆ回以上、変化ありかＴｗ回
以上、変化なしかＴａ回以上の順で連続する場合を判定
することか可能である。

復号化器４３は符号化器４２と同様の構成となっている
。また、符号化器４２を符号化、復号化器として動作す
るような構成とし、特に復号化器４３を設けないシステ
ムでも良い。

ビデオインターフェース６は、第７図に示すように、Ａ
／Ｄ変換器６１とフォーマット変換器６２から構成され
ている。Ａ／Ｄ変換器６１はビデオカメラ７、ＶＴＲ８
などからのＮＴＳＣ信号をデンタル（バー号に変換して
出力するものである。

フォーマット変換器６２はＡ　、／　Ｄ変換器６］がら
のデジタル化されたＮＴＳＣ信号を第２図に示すフォー
マットに変換するものである。

入力信号はＮＴＳＣの代わりに７１イビシヨシナど他の
方式でも良い。二の場合は方式の解像度に合わせてフォ
ーマットを変換すれば良い。あるいは、あらかしめ他の
システムでこの実施例のフォーマットに変換し、ネット
ワークやＦＤＤ（フロッピーディスク）などを用いて入
力してもよい。

次に、このような構成において、動作を説明する。まず
、マウス１０あるいはキーボードの指示によりビデオカ
メラ７あるいはＶＴＲ８に設定されたビデオカセットか
らの磁気ディスク５への登録か指示される。すると、ビ
デオカメラ７あるいはＶＴＲ８からの１フレ一ム単位の
動画像がビデオインターフェース６、バス９を介して境
界検出部４に供給される。境界検出部４は入力された動
画像を符号化するとともに、カント境界の検出が行われ
る。これにより、複数のフレームからなる１つのカット
が一つのファイルとして磁気ディスク１１によって磁気
ディスク５に格納される。この際、磁気ディスク５には
、第９図に示すように、動画像基、カット番号、カット
の長さ（秒）、１力ツト分の複数のフレームからなる符
号化された動画像情報か記憶される。この際、カット番
号はカットの順にシリアルに付与されている。

また、オペレータは上記磁気ディスク５に登録した画像
の読出しをマウス１０あるいはキーボードにより指示す
る。すると、ＣＰＵＩは対応する動画像基の各カットの
１フレーム目のみを順に読出し、ＣＲＴデイスプレィ装
置２で表示する。この表示に対応して、オペレータはマ
ウス１ｏあるいはキーボードにより、カットの区切りが
正しいか否か、およびシーン（意味的、時間的なまとま
りとしての連続したいくつかのカット）の区切りを指示
する。ＣＰＵＩは磁気ディスク５の各カットごとにシー
ン番号を付与するとともに、シーン単位のシリアル番号
にカット番号を変更する。また、カットの区切りが正し
くないと指示された場合、ＣＰＵＩは磁気ディスク５の
その区切りの前後のカットを１つのカットとして、再登
録し直す。

したがって、磁気ディスク５上では１つの連続する動画
像に対する各シーンと各カットの関係は、第８図（ａ）
（ｂ）に示すように構成され、複数のカットからなるシ
ーンが複数有り、その複数のシーンにより１つの連続す
る動画像が形成されているツリー構造（階層構造）で登
録される。

また、各カットごとに、親となるカットや、子となるカ
ットや、リンクするカットを、オペレータかマウス１０
あるいはキーボードにより指示することにより、親とな
るカットのアドレスや、子となるカットのアドレスや、
リンクするカットのアドレスか第９図に示すように、磁
気ディスク５の上記カット単位の記憶エリア内に登録さ
れる。

たとえば、シーン１のカット２とシーン２のカット５．
６がリンクする関係にある場合、磁気ディスク５のシー
ン１のカット２に対応するデータにはシーン２のカット
５．６の磁気ディスク５におけるアドレスか付加され、
磁気ディスク５のシ−ン２のカット５．６に対応するデ
ータにはシーン］のカット２の磁気ディスク５における
アドレスか付加されている。また、シーン１のカット３
とシーン２のカット３かリンクする関係にある場合、磁
気ディスク５のシーン１のカット３に対応するデータに
はシーン２のカット３の磁気ディスク５におけるアドレ
スが付加され、磁気ディスク５のシーン２のカット３に
対応するデータにはシーン１のカット３の磁気ディスク
５におけるアドレスが付加されている。

また、磁気ディスク５におけるカット単位の記憶エリア
には、代表フレームの符号化された動画像として、１フ
レーム目の画像や途中のフレームの画像が登録される。

この代表フレームの画像は早送りをする際に用いられる
ようになっている。

また、ＣＰＵＩは上記１つの連続する動画像に対するツ
リー構造（階層構造）を示す画像（第８図（ｂ）参照）
を作成し、磁気ディスク５に登録するようにしても良い
。この場合、その動画像に対するカットと関連づけて磁
気ディスク５上に登録されるようになっている。

また、オペレータによりマウス１０あるいはキーホード
で画像編集等が指示されるとともに動画像基が指示され
ると、その動画像基に対応するツリー構造（階層構造）
を示す画像か磁気ディスク５から読出されて、第１０図
に示すように、ＣＲＴデイスプレィ装置２のウィンドウ
２１で表示される。このウィンドウ２１には１つの動画
を処理してシーン−カットに分類した構造が表示されて
おり、各シーン、カットかアイコンで表示されている。

ついで、オペレータによりマウス］０あるいはキーボー
ドで所定のアイコンの再生を指示すると、別のウィンド
ウ２２がオーブンし、そのアイコンの示すシーンあるい
はカットが磁気ディスク５から読出されて、ウィンドウ
２２で表示される。

上記したように、入力された動画像をフレーム間の変化
量の大きさからカットとカットの境界を検出し、この検
出結果に応して複数のフレームからなるカットを単位と
したファイルに分割し、この分割されたカットを単位と
したファイルを磁気ディスクで記憶し、この記憶したカ
ットを単位としたファイルごとの画像を上記磁気ディス
クから読出して出力し、この出力された画像によりカッ
トを１まとめとしたシーンの区切りをマウスあるいはキ
ーボードにより指示し、この指示に応じて１つの動画像
をシーン、カットの階層構造で上記磁気ディスクに記憶
するようにしたものである。

これにより、動画像をシーン、カットの階層構造で磁気
ディスクに記憶して管理することができ、必要なシーン
、カットを容易に探し出すことができ、しかもシーン、
カットを単位とした編集にも容易に対応でき、さらにカ
ット単位の分割が自動的にてき、ユーザの負担を無くす
ことができる。

［発明の効果］ 以上詳述したようにこの発明によれば、動画像をシーン
、カットの階層構造で記憶して管理することができ、必
要なシーン、カットを容易に探し出すことかでき、しか
もシーン、カットを単位とした編集にも容易に対応でき
、さらにカット単位の分割か自動的にでき、ユーザの負
担を無くすことかできる動画像管理装置を提供できる。

【図面の簡単な説明】

図面はこの発明の一実施例を示すもので、第１図は全体
の構成を示す概略ブロック図、第２図は動画像フォーマ
ットの一例を示す図、第３図は境界検出部の構成を示す
ブロック図、第４図は符号化器の構造を示す図、第５図
は境界検出器の構成を示す図、第６図は境界検出器の動
作を説明するための図、第７図はビデオインターフェー
スの構成を示すブロック図、第８図は動画像の管理構造
を説明するための図、第９図はカットを単位としたファ
イルの構成例を示す図、第１０図は表示画面の例を示す
図である。 １・・・ＣＰＵ、２・・・ＣＲＴ、３・・・メモリ、４
・・・境界検出部、５・・・磁気ディスク、６・・・ビ
デオインターフェース、７・・・ビデオカメラ、８・・
ＶＴＲ，９・・・バス、１０・・・マウス、１１・・・
磁気ディスク装置、４１・・・符号化器、４２・・・境
界検出器、４３・・・復号化器、４１１・・・フレーム
内／フシーム間判定器、４２１　加算器、４２２・比較
器、４２３〜４２６・　ＦＦ回路、４２７〜４３３　　
論理ケート。 出願人代理人　弁理士　鈴江武彦 動画Ａ □畦間 （ａ）７１色像 童、昧１つよるソング 第８図 第９図

Claims (1)

1. 【特許請求の範囲】 入力された動画像をフレーム間の変化量の大きさからカ
   ットとカットの境界を検出する検出手段と、 この検出手段の検出結果に応じて複数のフレームからな
   るカットを単位としたファイルに分割する分割手段と、 この分割手段により分割されたカットを単位としたファ
   イルを記憶する記憶手段と、 この記憶手段に記憶したカットを単位としたファイルご
   との画像を上記記憶手段から読出して出力する出力手段
   と、 この出力手段により出力された画像によりカットを１ま
   とめとしたシーンの区切りを指示する指示手段と、 この指示手段の指示に応じて１つの動画像をシーン、カ
   ットの階層構造で上記記憶手段に記憶する処理手段と、 を具備したことを特徴とする動画像管理装置。