JPH11266449A

JPH11266449A - 映像構造化装置及び映像化のためのプログラムを記録した記録媒体

Info

Publication number: JPH11266449A
Application number: JP10067225A
Authority: JP
Inventors: Susumu Kubota; 田進窪; Osamu Hori; 修堀; Toshimitsu Kaneko; 子敏充金; Hisashi Aoki; 木恒青
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-03-17
Filing date: 1998-03-17
Publication date: 1999-09-28

Abstract

(57)【要約】【課題】映像の構造化を行う上で必要とされる基本的
な処理群により、これらの持っている基本的な処理系を
組み合わせることにより、映像の構造化を実現するよう
な一連の処理系を構築し、処理の組み合わせの手続きの
みを入れ替えることにより、種々の映像の構造化を同じ
処理系で行うことを可能とする。【解決手段】映像の種類を指定する映像種別判定部７
と、映像の種類ごとに対応する映像の構造化手続を蓄積
する映像構造化手続き蓄積部３と、映像種別判定部７に
より指定された映像の種類に対応する構造化手続を、映
像構造化手続き蓄積部３より呼びだし、映像構造化を実
施する映像構造化処理９と、映像構造化処理９からの情
報を蓄積する映像構造化情報蓄積部４とを備え、映像の
種類ごとに最適な構造化手続を映像構造化手続き蓄積部
３から呼びだし、映像構造化処理９においてこれを実施
することにより、最適な構造化情報を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像構造化装置及
びそのためのプログラム記録媒体に係り、特に、衛星放
送やＣＡＴＶなどの放送において、視聴者が、大量の映
像の中から所望の映像を選択的に視聴したり、または全
体の内容を短時間に把握したりすることを可能にする、
映像の構造化を行うための装置の構成に関する。

【０００２】

【従来の技術】近年、衛星放送や、ＣＡＴＶなどによ
り、家庭に配信される放送のチャンネル数は、増加の一
途をたどっている。また、今後、マルチメディアの基盤
が整備されて来るのに伴い、今後は、様々な場所に蓄積
される大量の映像情報に容易にアクセスできるような環
境が整ってくることが期待されている。

【０００３】さて、大量の映像情報が、視聴できるよう
な環境が整ってきた場合、これらの映像情報の内容を、
短時間に把握し、所望の映像を選択的に視聴することに
対する要求の高まりが予想される。

【０００４】以上のような要求に応えるためには、映像
情報へのアクセスを簡略化する必要があるが、この場
合、映像を何らかの形で、構造化し、これをもとにし
て、映像を縮約化して提示したり、または映像の一部を
選択的に提示するような機構が必要になってくる。

【０００５】映像を縮約化し、表示するための技術とし
ては、特開平０３−２１４３６４号公報や特開平０４−
２１９８７８号公報などに開示されるような、カット検
出手法が提案されている。カット検出は、映像の変わり
目を自動的に検出する技術である。

【０００６】しかしながら、映像を縮約化するための、
カット検出では、映像をショットに分割することはでき
るが、ショットとショットを関連付けて、映像を構造化
することができないという問題点がある。

【０００７】したがって、大量の映像情報のアクセスの
ためには、映像の種類や、番組ごとに、ユーザの目的に
沿った構造化の手続きを作る必要がある。

【０００８】しかし、映像の構造化は、映像の種類や、
ユーザの目的によって大きく異なり、あらゆる映像に一
律的に適用できる構造化のルールを構築するには、非常
な困難が予想される。そして、種類も目的も異なる、ま
た様々なユーザニーズにも適合した構造化を行うための
決定的な手法は今のところ確立されていないというのが
現実である。

【０００９】これまでにも、例えば、ニュース番組や、
スポーツ番組など、対象を限定した個別の事例研究はな
されているが、これらを統合しても、対象ごとにまった
く異なる処理系を必要とするので、これを更に幅広く展
開しようとすると、膨大な設備や、処理手順が必要にな
ってくる。

【００１０】

【発明が解決しようとする課題】以上述べたように、従
来の映像構造化装置では、異なる映像ごとに、異なる構
造化を必要とするため、膨大な設備や処理を考えると、
現実的な解決手法とは言えない。特に、それぞれの構造
化が、まったく異なる処理系で行われるというのでは、
簡単にユーザニーズに適合させるという観点から見ても
現実的でなく、現在、種々の映像の構造化を扱えるよう
な、より汎用性の高い処理系を構築することが強く望ま
れている。

【００１１】したがって、本発明は、上記のような従来
技術の問題点を解消し、映像の構造化を行う上で必要と
される基本的な処理群を備え、これらの基本的な処理を
組み合わせにより、映像の構造化を実現するような処理
系を構築し、処理の組み合わせの手続きのみを入れ替え
るだけで、種々の映像の構造化を同じ処理系で行うこと
を可能とした映像構造化装置を提供することを目的とす
る。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、映像の種類を指定する指定手段と、映像
の種類ごとに対応する映像の構造化手続を蓄積する手続
蓄積手段と、前記指定手段により指定された映像の種類
に対応する構造化手続を、前記手続蓄積手段より呼びだ
し、映像構造化を実施する構造化手段と、前記構造化手
段からの情報を蓄積する構造化情報蓄積手段と、を備え
る映像構造化装置を提供するものである。

【００１３】さらに、映像の構造化を行うプログラムを
コンピュータで実行可能なように記録した記録媒体であ
って、前記プログラムは、指定された映像の種類に対応
する予め記憶された構造化手続を呼び出し、呼び出した
構造化手続きのものに映像の構造化も行い、この構造化
した情報を蓄積させる手順を含むことを特徴とする記録
媒体を提供するものである。

【００１４】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施形を説明する。

【００１５】図１は、本発明の実施系の映像構造化装置
のブロック図である。

【００１６】図において、各構成要素の働きは以下の通
りである。

【００１７】映像データ蓄積部１は、各種の映像データ
が蓄積される。

【００１８】入力装置５と、表示装置１１は、対話的に
情報を入出力するための端末を構成している。

【００１９】映像モデルスクリプト蓄積部２は、映像デ
ータ蓄積部１に蓄積されている映像の種別ごとに対応す
るような映像モデルスクリプトを蓄積する。

【００２０】映像モデルスクリプト加工編集部６は、表
示装置１１と入力装置５を介して、対話的に映像モデル
スクリプトの加工編集を行い、これを映像モデルスクリ
プト蓄積部２に蓄積しておく。

【００２１】映像種別判定部７は、映像データ蓄積部１
に蓄積されている映像データの種別を判定し、映像デー
タに対応する映像構造化手続きを特定する。

【００２２】映像構造化手続き生成部８は、映像の種別
ごとに、映像モデルスクリプト蓄積部２に蓄積された映
像モデルスクリプトに基づいて、映像構造化手続きを生
成し、映像構造化手続き蓄積部３に蓄積しておく。

【００２３】映像構造化処理部９は、映像種別判定部７
により特定された映像構造化手続きを、映像構造化手続
き蓄積部３から呼びだし、映像を構造化し、獲得された
映像構造化情報を、映像構造化情報蓄積部４に蓄積す
る。なお、映像構造化情報は、表示装置１１に表示する
ことができる。

【００２４】なお、映像構造化情報加工編集部１０は、
映像構造化情報蓄積部４に蓄積された映像構造化情報に
基づいて、映像を表示装置１１に表示させながら、入力
装置５を介して、対話的に映像構造化情報の加工編集を
行う。

【００２５】なお、上記の、映像データ蓄積部１、映像
モデルスクリプト蓄積部２、映像構造化手続き蓄積部
３、映像構造化情報蓄積部４、入力装置５、映像モデル
スクリプト加工編集部６、映像種別判定部７、映像構造
化手続き生成部８、映像構造化処理部９、映像構造化情
報加工編集部１０、表示装置１１は、これらのすべてを
統合するバス１２に接続される。

【００２６】さて、上記のような構成における動作を説
明する。

【００２７】なお、本実施形においては、以下のような
定義を適用する。

【００２８】映像の変わり目をカットと呼び、カットと
カットの間に挟まれた区間の映像をショットと呼ぶこと
とする。

【００２９】映像構造は、ノードにより表される。そし
て、ノードは、構成要素と属性情報を持つ。

【００３０】ノードの構成要素は、ノードと一連の映像
区間からなる。

【００３１】ノードの属性情報は、ノードの名称、代表
フレームまたは代表フレーム群から構成される。

【００３２】なお、本実施形では、構造化は、必ずしも
厳密なツリー構造を採るものではなく、下位のノードが
構成要素として、より上位のノードを含むことも許容す
るが、表示の便宜上、ひとつの構造化された映像は、ひ
とつ上位のノードを持つものとする。

【００３３】また、映像モデルスクリプトは、映像構造
モデルを記述するものである。そして、映像モデルスク
リプトから映像構造化手続きが生成される。また、映像
モデルスクリプトは、インデックスの記述と、ノードの
記述からなる。

【００３４】インデックスは、映像をノードに文節化す
るための手がかりとなるフレームまたはショットであ
る。インデックスの記述は、例えば、画像の全体または
一部を、そのまま用いたり、ショットの繰り返しパター
ンにより記述するなど、抽象度の異なる様々な表現が用
いられる。本実施形では、画像の全体または一部と、情
報や画像に現れる文字情報などを用いることも可能にし
ている。

【００３５】ノードは、映像に付与されたインデックス
を基に特定される一連の映像区間や、ノードの組み合わ
せにより記述される。

【００３６】さて、映像の構造化は、図２のフローチャ
ートに示すような手順により実施される。

【００３７】前処理ルーティン１３においては、映像デ
ータ蓄積部１に蓄積された映像データに対する、カット
検出処理Ｓ１とショットクラスタリング処理Ｓ２が行わ
れる。これらの処理は、映像モデルスクリプト加工編集
部６において実施される。

【００３８】まず、カット検出処理Ｓ１により、映像の
変わり目を検出することにより、映像をショットに分割
する。

【００３９】続いて、画像の類似度にしたがって、ショ
ットクラスタリング処理Ｓ２を行う。この処理は、例え
ば、本件出願人が、特開平９−２７０００６号公報にお
いて説明した方法を適用する。ショットのクラスタリン
グにより、類似ショットには同一のラベルが付与され
る。

【００４０】前処理ルーティン１３の処理に続いて、映
像構造化処理ルーティン１４の処理に入るが、ここで
は、映像構造化手続き生成処理Ｓ３、インデックス付与
処理Ｓ４、ノード作成処理Ｓ５、構造化情報記録処理Ｓ
６の処理が行われる。

【００４１】まず、映像構造化手続き生成処理Ｓ３にお
いては、自動または手動により、映像種別判定部７での
処理を通じて、映像の種別を決定し、その映像用の映像
モデルスクリプトを映像モデルスクリプト蓄積部２から
読み出し、この映像モデルスクリプトから、映像構造化
手続き生成部８を通じて、映像構造化手続きを生成す
る。ここで生成した映像構造化手続きは、映像構造化手
続き蓄積部３に蓄積される。

【００４２】続くインデックス付与処理Ｓ４において、
映像構造化手続きにより指定される画像やショットの繰
り返しパターンに合致するフレームまたはショットに、
インデックスを付与する。

【００４３】そして、ノード作成処理Ｓ５において、イ
ンデックスの付与に続いて、映像構造化手続きに従い、
映像からノードを抽出し、ノードごとに代表フレームま
たは代表フレーム群を選択する。

【００４４】以上の、インデックス付与処理Ｓ４および
ノード作成処理Ｓ５は、映像構造化処理９における処理
を通じて実行される。

【００４５】最後に、構造化情報記録処理Ｓ６におい
て、以上のようにして獲得された構造化情報を、映像構
造化情報蓄積部４に蓄積記録する。

【００４６】表示装置１１は、映像を、その構造化情報
に基づき、構造化表示し、入力装置５と共に対話的に、
順次ユーザの所望の映像を提示する。

【００４７】続いて、表示装置１１における処理の流れ
を説明する。

【００４８】表示は、最上位ノードから始められ、画面
には、最上位ノードの名称と、代表フレーム（群）が表
示される。ユーザは、代表フレームを選択し、そのノー
ドの映像の再生を行ったり、そのノードを展開したり、
展開されたノードを元に戻したりすることができる。ノ
ードが展開されると、そのノードに含まれる全てのノー
ドが名前と代表フレーム、または代表フレーム群により
一覧表示される。

【００４９】以下、同様の手続を繰り返すことにより、
ユーザは、映像内容を短時間に把握し、所望の映像のみ
を選択的に視聴することが可能となる。

【００５０】なお、映像構造化処理部９による構造化処
理だけでは、映像の構造化結果が、ユーザの希望する形
になっていないような場合も発生し得る。そこで、本実
施形では、ユーザが入力装置を介して、画面上で対話的
に、ノードの変更、追加、削除などの処理を行うための
映像構造化情報加工編集部１０を備えており、学習的
に、ユーザの要望を反映できるような構造となってい
る。

【００５１】以下、ニュース番組の映像を例にとって、
具体的な構造化手順について説明する。

【００５２】一連の映像に対しては、まず、カット検出
処理と、ショットのクラスタリングが施される。

【００５３】図３は、ニュースの映像にカット検出処理
を施し、ショットごとに１こまのフレームを並べたもの
である。フレームの左上の記号は、ショットのクラスタ
リングの結果を表すものであり、アルファベットａ、
ｂ、ｃ・・・はショットのクラス、数字１、２、３・・
・は出現順序を表す。

【００５４】ニュース映像において、最も出現頻度の高
いショットは、キャスターのショットであると考えられ
る。そこで、最も多く繰り返されているショットをキャ
スターのショットとしてインデックシング（ｂ１、ｂ
２、ｂ３・・・）する。

【００５５】キャスターのショットから、次のキャスタ
ーのショットの直前のショットまでをノード（ｂ１、ｃ
１、ｄ１、ｅ１の群、他）にまとめる。こうしてできた
ノードのなかで、他のノード内のショットと類似するシ
ョットを最も多く含むノードをヘッドラインとして、そ
の他のノードをトピックとする。

【００５６】トピックスのノードの中で、ヘッドライン
のノード内のショットと類似のショットを持つノード
を、ヘッドラインのノードにつけ加える。

【００５７】次に、最初に出現するキャスターのショッ
トまでをオープンニング、最後に出現するキャスターの
ショット以降をエンディングとする。

【００５８】続いて、以上の処理でできたノードを全て
まとめて、ひとつのノードにし、これを最上位ノードと
する。

【００５９】最後に、各ノードに含まれるショットまた
は、ショット群から、代表フレームを、一枚または複数
枚、選び、ノードの代表フレームまたは代表フレーム群
とする。

【００６０】図４は、以上で説明したニュース映像の構
造を表す映像モデルスクリプトの例である。図１の映像
構造化手続き生成部８は、図４の記述にしたがって、以
下のような処理を行う。

【００６１】インデクシング処理Ｓ４１において、ま
ず、インデックス定義Ｓ４２の記述において、最も頻繁
に現れるショットとして、キャスターの映像をインデッ
クス定義する。

【００６２】続くノード処理Ｓ４３において、まず、ノ
ード定義Ｓ４４の記述で、最初のショットから最初のキ
ャスターのショットまでを代表フレームとして、オープ
ンニングとして定義する。

【００６３】続いて、ノード定義Ｓ４５の記述で、各キ
ャスターのショットから、次のキャスターのショットま
でのノードを、各ショットの第１フレームを代表フレー
ムとして、トピックスとして定義する。

【００６４】次に、ノード定義Ｓ４６の記述で、最後の
キャスターのショットから、最後のショットまでのノー
ドを、最後のショットの最後のフレームを代表フレーム
として、エンディングとして定義する。

【００６５】続いて、ノード名称変更Ｓ４７の記述で、
他のショットへのリンクを有するショットの数が最大で
あるトピックスを、ヘッドラインとする。

【００６６】次に、追加処理Ｓ４８の記述で、ヘッドラ
インとされたノードを、ヘッドラインに追加する。

【００６７】最後に、ノード定義Ｓ４９で、トップノー
ドをニュースとして定義するが、これはオープンニング
を代表フレームとし、ヘッドライン、トピックス、エン
ディングとして定義されることになる。

【００６８】以上のような記述にしたがって、図５に示
すような映像構造化手続を実施し、映像構造化処理９に
より映像の構造化情報が獲得される。ちなみに、図５の
情報は、キャスターのインデクシングＳ５１、オープン
ニングのノード定義Ｓ５２、トピックスのノード定義Ｓ
５３、エンディングのノード定義Ｓ５４、ヘッドライン
のノード定義Ｓ５５で構成される。

【００６９】以上のような処理の結果、例えば、最上位
ノードは、図６の説明図に示すように展開される。図６
では、オープンニングに続き、ヘッドライン、５個のト
ピックス、エンディングと展開される例を示している。

【００７０】以上の処理は、ショットのインデクシング
に繰り返しパターンを用いた場合を例示したが、画像の
全体または一部を用いてインデクシングを行う場合を、
天気予報の映像を例にとって、以下に説明する。

【００７１】天気予報の場合は、同一の番組において、
例えば、「明日の天気」や「週間天気予報」など、トピ
ックスごとに、毎回同じ構図の画像が使われる。したが
って、トピックスごとに、そのトピックスを同定できる
ような画像の全体または一部を格納し、これを用いて、
インデクシングを行うことにより、容易に構造化を行う
ことができる。

【００７２】図７は、天気予報の映像の構造を表す映像
モデルスクリプトの例である。図１の映像構造化手続き
生成部８は、図７の記述にしたがって、以下のような処
理を行う。

【００７３】まず、インデクシング処理Ｓ７１におい
て、まず、インデックス定義Ｓ７２の記述において、今
日の天気予報のイメージを含むショットを、今日の天気
としてインデックス定義する。

【００７４】続いて、同様に、例えば、週間天気のイメ
ージや、明日の天気のイメージや、などを続けてインデ
ックス定義し、インデックス定義Ｓ７３の記述におい
て、世界の天気予報のイメージを含むショットを、世界
の天気としてインデックス定義するまで、同様の処理を
繰り返す。

【００７５】次のノード処理Ｓ７４において、ノード定
義Ｓ７５の記述で、インデックスを有するあらゆるショ
ットから、インデックスを有する次のショットまでを、
無題として定義する。

【００７６】続いて、ノード定義Ｓ７６の記述で、各キ
ャスターのショットから、次のキャスターのショットま
でのノードを、各ショットの第１フレームを代表フレー
ムとして、トピックスとして定義する。

【００７７】次に、ノード名称変更Ｓ７７の記述で、最
初のショットのインデックスを、あらゆるノードのノー
ド名とする。

【００７８】以上のような記述にしたがって、図８に示
すような映像構造化手続を実施し、映像構造化処理９に
より映像の構造化情報が獲得される。ちなみに、図８の
情報は、インデクシング処理Ｓ８１、ノード処理Ｓ８２
で構成される。

【００７９】以上のような映像構造化においては、映像
ごとに、その映像モデルスクリプトを適切に作成するこ
とが必要である。しかしながら、映像を希望する形に構
造化するような映像モデルスクリプトを作るのは、そう
容易なことではない。

【００８０】これに対して、本実施形では、映像構造化
情報加工編集部１０を用いることにより、まず、ひな形
となる映像モデルスクリプトを作成し、これに基づい
て、映像を構造化し、その結果を参考にして、映像モデ
ルスクリプトの修正を行うという手順を繰り返すことに
より、比較的容易に、所望の構造化を実現するために必
要な構造モデルスクリプトを作ることを可能としてい
る。

【００８１】以上の述べたうちの各手順は、コンピュー
タが実行可能なプログラムとして各種の記録媒体、例え
ばＣＤＲＯＭのような光ディスク、フロッピーディスク
のような磁気ディスク／媒体、あるいはＭＤのような光
磁気ディスク等に記録することもできる。

【００８２】

【発明の効果】以上述べたように、本発明の映像構造化
装置は、映像の種別ごとに、映像構造化手続を準備する
ことにより、種々の映像の構造化を同じ処理系で実現で
き、ユーザが映像の内容を短時間で把握し、所望の映像
のみを選択的に視聴するような環境を容易に構築できる
という効果がある。

【図面の簡単な説明】

【図１】本発明の実施系の映像構造化装置のブロック図
である。

【図２】図１の構成の動作を説明するためのフローチャ
ートである。

【図３】ニュースの映像にカット検出処理を施し、ショ
ットごとに１こまのフレームを並べた説明図である。

【図４】ニュース映像の構造を表す映像モデルスクリプ
トの例を示す説明図である。

【図５】図４の記述に基づく映像構造化手続の情報の例
を示す説明図である。

【図６】図４、図５のような処理の結果得られる最上位
ノードの展開例を示す説明図である。

【図７】天気予報映像の構造を表す映像モデルスクリプ
トの例を示す説明図である。

【図８】図７の記述に基づく映像構造化手続の情報の例
を示す説明図である。

【符号の説明】

１映像データ蓄積部２映像モデルスクリプト蓄積部３映像構造化手続き蓄積部４映像構造化情報蓄積部５入力装置６映像モデルスクリプト加工編集部７映像種別判定部８映像構造化手続き生成部９映像構造化処理１０映像構造化情報加工編集部１１表示装置１２バス

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 5/91 Ｎ (72)発明者青木恒神奈川県川崎市幸区小向東芝町１株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】映像の種類を指定する指定手段と、映像の種類ごとに対応する映像の構造化手続を蓄積する
手続蓄積手段と、前記指定手段により指定された映像の種類に対応する構
造化手続を、前記手続蓄積手段より呼びだし、映像構造
化を実施する構造化手段と、前記構造化手段からの情報を蓄積する構造化情報蓄積手
段と、を備えることを特徴とする映像構造化装置。
【請求項２】前記構造化情報蓄積手段により蓄積された
映像構造化情報に基づき、映像を表示させる表示手段、
を備える請求項１の映像構造化装置。
【請求項３】映像の構造モデルを記述する映像モデルス
クリプトを蓄積する手段と、前記映像モデルスクリプト
に基づいて映像構造化手段を生成する手続生成部とを備
える、請求項２の映像構造化装置。
【請求項４】前記映像モデルスクリプトの加工編集を行
う映像モデルスクリプト加工編集手段、を備える請求項
３の映像構造化装置。
【請求項５】前記構造化手段により得られた構造化情報
を、前記表示手段に表示させながら、対話的にこれを加
工編集する映像構造化情報加工編集手段、を備える請求
項２の映像構造化装置。
【請求項６】映像の構造化を行うプログラムをコンピュ
ータで実行可能なように記録した記録媒体であって、前記プログラムは、指定された映像の種類に対応する予め記憶された構造化
手続を呼び出し、呼び出した構造化手続きのものに映像の構造化も行い、この構造化した情報を蓄積させる手順を含むことを特徴
とする記録媒体。