JP3439034B2 - 要約映像ブラウジング方法および装置 - Google Patents

要約映像ブラウジング方法および装置

Info

Publication number
JP3439034B2
JP3439034B2 JP18622196A JP18622196A JP3439034B2 JP 3439034 B2 JP3439034 B2 JP 3439034B2 JP 18622196 A JP18622196 A JP 18622196A JP 18622196 A JP18622196 A JP 18622196A JP 3439034 B2 JP3439034 B2 JP 3439034B2
Authority
JP
Japan
Prior art keywords
video
representative
input
representative screen
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18622196A
Other languages
English (en)
Other versions
JPH1032773A (ja
Inventor
憲一 南
明人 阿久津
洋 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP18622196A priority Critical patent/JP3439034B2/ja
Publication of JPH1032773A publication Critical patent/JPH1032773A/ja
Application granted granted Critical
Publication of JP3439034B2 publication Critical patent/JP3439034B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、構造化された映像
をブラウジングする方法および装置に関する。
【0002】
【従来の技術】映像制作分野から一般家庭までにおい
て、大量の映像情報から特定のものを探し出すには多大
な労力を要するため、大まかに映像の内容を把握する方
法および装置が必要である。映像の内容を大まかに把握
するための手段は2つに大別できる。1つは、映像の時
間情報(時間的に変化するもの)を空間に展開し、時間
的に等間隔あるいは顕著な特徴がある箇所の静止画像を
並べて一覧表示するものである(大場:“動画像一覧表
示技術:ビデオブラウザ”、1991テレビジョン学会
全国大会、pp.219−220,1991)。静止画
像の選択には映像の場面の変わり目であるカット点がよ
く使われる。静止画像は、一覧性が向上するだけではな
く紙に印刷できるという利点もある(外村ら:“Paper
Video:映像情報の紙への定着”、1994信学会春季全
国大会、A−315,1994)。
【0003】もう1つの方法は、映像の時間情報を空間
に展開せずにそのまま保存し、時系列に表示するもので
ある。最も一般的なものは早送り再生であるが、映像の
一部あるいは一部の集合のみを再生する方法が提案され
ている(大辻ら:“輝度情報を使った動画ブラウジン
グ”、信学技報、IE90−103,pp.55−6
1,1992)。また、市販の商品では、早送りしなが
ら音情報が再生されるビデオデッキ(SANYO,時短
ビデオ)がある。
【0004】時間情報を空間に展開し、画像の一覧から
所望のものを選択することで時間情報が保存された通常
の映像を再生できるシステムが提案されている(谷口
ら:“映像ショット切り換え検出法とその映像アクセス
インタフェースへの応用”、信学論、Vol. J79-D-2, N
o.4, pp.538-546, 1996) 。
【0005】
【発明が解決しようとする課題】時間情報を空間に展開
する方法では、一覧性が向上したことで映像の中に何が
入っているかを一目で把握することはできるが、ストー
リーや会話の内容を把握することは困難である。ストー
リーを把握するためには、時間情報を保存したまま映像
の一部あるいは一部の集合を音情報と共に再生する方法
が適しているが、逆に一覧性が悪いため任意の箇所にア
クセスするといったことが困難である。従来、これら2
つの方法は目的によって使い分けられており、両者を統
合した要約映像のブラウジング方法および装置はなかっ
た。
【0006】本発明の目的は、時間情報を空間に展開す
る方法と、そのまま保存する方法を統合し、より柔軟な
要約映像ブラウジング方法および装置を提供することに
ある。
【0007】
【課題を解決するための手段】本発明の要約映像ブラウ
ジング方法は、映像情報に含まれる画像、音、文字、キ
ーワード、シーンを記述した情報のうち少なくとも1つ
の情報を用いて映像セグメントに分割され、各々の映像
セグメントに優先順位が付加されている前記映像情報で
ある構造化映像を要約映像として入力する要約映像入力
段階と、入力された要約映像を要約映像蓄積手段に蓄積
する要約映像蓄積段階と、該要約映像から表示する代表
画面を選択、表示する代表画面制御段階と、再生時間が
指定された場合には1つの代表画面に対応する映像シー
ケンスを、代表画面の数が指定された場合には選択され
た代表画面に対応する映像シーケンスを該要約映像蓄積
手段から読み出し、再生する映像再生段階とを有する。
【0008】また、本発明の要約映像ブラウジング装置
は、映像情報に含まれる画像、音、文字、キーワード、
シーンを記述した情報のうち少なくとも1つの情報を用
いて映像セグメントに分割され、各々の映像セグメント
に優先順位が付加されている前記映像情報である構造化
映像を要約映像として入力する要約映像入力部と、入力
された要約映像を蓄積する要約映像蓄積部と、該要約映
像から表示する代表画面を選択、表示する代表画面制御
部と、再生時間が指定された場合には1つの代表画面に
対応する映像シーケンスを、代表画面の数が指定された
場合には選択された代表画面に対応する映像シーケンス
を該要約映像蓄積部から読み出し、再生する映像再生部
とを有する。
【0009】
【0010】映像情報に含まれる画像、音、文字、キー
ワード、シーンを記述した情報のうち少なくとも1つの
情報を用いて映像セグメントに分割され、各々の映像セ
グメント(ある時間長を持った映像の断片で、要約映像
の一部)に優先順位が付加されている構造化映像を用い
ることで、利用者の要求に応じて再生時間あるいは代表
画面の数を変化させることが可能となる。
【0011】指定された再生時間あるいは代表画面の数
によって、構造化映像の優先順位の高い順から映像セグ
メントを入力することで、再生時間あるいは代表画面の
数の変化に対応することが可能となる。
【0012】代表画面が選択された後に構造化映像の再
入力が要求された場合には、代表画面に対応する映像シ
ーケンスの中から新しい再生時間あるいは代表画面の数
に見合った映像セグメントのうち、前回との差分を追加
入力することで、冗長な入力を避けることができ、入力
に要する時間を低減することが可能となる。
【0013】蓄積された要約映像の中から、指定された
代表画面の数の映像セグメントを優先順位の高い順に選
択し、映像セグメントの先頭画像を代表画面として表示
することで、要約映像の中の何がどの辺に入っているか
を一覧することが可能となる。また、ある部分を詳しく
見たいときにはその位置を指定することで、着目してい
る映像シーケンス以外の不要な追加データにアクセスす
る必要がなくなる。
【0014】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0015】図1は本発明の一実施形態の要約映像ブラ
ウジング装置の概略構成を示すブロック図である。
【0016】本実施形態の要約映像ブラウジング装置
は、指定された再生時間あるいは代表画面の数(2以
上)によって映像情報の一部、あるいは一部の集まりを
要約映像として入力する要約映像入力部101と、入力
された要約映像を蓄積する要約映像蓄積部102と、要
約映像から表示する代表画面を選択、表示する代表画面
制御部103と、再生時間が指定された場合には1つの
代表画面に対応する映像シーケンスを、代表画面の数が
指定された場合には、選択された代表画面に対応する映
像シーケンスを要約映像蓄積部102から読み出し、再
生する映像再生部104から構成されている。代表画面
の選択は、マウス等のポンティングデバイスを用いて利
用者が制御情報106として行うことが可能である。さ
らに、要約映像の再生時間あるいは代表画面の数につい
ても利用者が制御情報106として与え、代表画面制御
部103がこれを受け取る。また、要約映像蓄積部10
2は、映像再生部104と読み出し専用の高速なバス1
05で接続されており、フレームレートが高く、サイズ
の大きい映像もなめらかに再生することが可能である。
【0017】本実施形態の要約映像ブラウジング装置
は、図1に示すように、ネットワークに接続することも
可能であり、ネットワーク上に存在する構造化映像を入
力源とする場合と、要約映像蓄積部102に予め蓄えら
れた構造化映像を入力源とする場合がある。
【0018】本実施形態の要約映像ブラウジング装置を
用いる構造化映像の一例を図2に示す。202〜204
はそれぞれ映像情報に含まれる異なった特徴量を用いて
映像情報を映像セグメント201に分割した様子を示し
ている。特徴量としては、映像の編集時の情報を用いる
ことが考えられる。例えば、場面の変わり目、被写体や
カメラの動き、色の変化といった画像情報から得られる
ものや、人の喋り声、BGM、雑踏等の音情報から得ら
れるもの、テロップや内容そのものを記述したテキスト
から得られるものが考えられる。
【0019】ところが、図2の202が場面の変わり目
毎に分割された映像であったとすると、各々の映像セグ
メントに優先順位を付ける必要がある。例えば、20
3,204が各々人の喋り声、BGMの存在毎に分割さ
れた映像であったとすれば、これらの特徴の存在の有無
を利用して優先順位を付けることが可能である。すなわ
ち、人の喋り声とBGMの両方が存在する映像セグメン
トを優先順位が最も高いものし、どちらも存在しない映
像セグメントを優先順位が最も低いものとする。その様
子を図2の202では色の濃さで表しており、色が濃い
セグメントほど優先順位が高くなっている。
【0020】本実施形態の要約映像ブラウジング装置
は、ネットワーク上のサーバが管理している構造化映像
を用いる場合には、まず、ネットワーク上のサーバにア
クセスし、制御情報106によって示された再生時間あ
るいは代表画面の数に見合った映像セグメントを優先順
位の高い順に要約映像入力部101から入力する。入力
された要約映像は、要約映像蓄積部102に書き込まれ
る。書き込まれた要約映像の代表画面は、制御情報10
6に基づき、代表画面制御部103によって表示され
る。代表画面が表示されている様子を図3の301〜3
04に示す。制御情報106が再生時間を与えた場合に
は301のように1つの代表画面で表示し、代表画面数
を与えた場合にはその数に応じて302〜304のよう
に空間に展開した形で表示する。図3の例では、代表画
面毎に映像シーケンスの長さを立体的に表しているが、
代表画面の数が多いほど対応する映像シーケンスが短く
なることは自明であるので、これは必ずしも必要ではな
い。
【0021】利用者がマウス等のポインティングデバス
を用いて代表画面を選択すると、代表画面制御部103
が要求を受け取り、対応する映像シーケンスを要約映像
蓄積装置102から読み出し、映像再生部104で再生
する。
【0022】要約映像の再生時間が短すぎる等、十分な
情報が得られなかった場合には、利用者は再生時間を指
定し直して、追加の要約映像を見ることができる。その
際、要約映像入力部101は、前回読み込んだ要約映像
と今回指定された再生時間分の要約映像との差分のみを
ネットワークから入力する。さらに、複数表示されてい
る代表画面の1つを選択した後に再入力すれば、選択さ
れた代表画面から次の代表画面までの区間のみに限定し
て差分を入力することができる。
【0023】構造化映像がネットワーク上ではなく、予
め要約映像蓄積部102に蓄積されている場合には、構
造化映像に容易にアクセスすることが可能なので、要約
映像を蓄積せずに逐次構造化映像から入力することも可
能である。
【0024】図4は、本実施例の要約映像ブラウジング
装置を計算機等でソフトウェア的に実現した場合の処理
の流れを示すフローチャートである。
【0025】制御情報入力段階400によって与えられ
た再生時間あるいは代表画面の数によって構造化映像の
優先順位の高いセグメントから要約映像入力段階401
において入力し、映像情報がネットワークから得られた
場合には、要約映像蓄積段階402で蓄積する。次に、
代表画面制御段階403において、図3に示す表示を行
い、選択された代表画面に対応する映像シーケンスの再
生を映像再生段階404で行う。要約映像の再入力が要
求された場合には、差分情報取得段階405を経て、要
約映像入力段階401に戻る。
【0026】本実施形態の要約映像ブラウジング装置を
ネットワーク上で使用することを前提としてソフトウェ
ア的に実現する際には、プラグ・インファイルとしてW
WWプラウザに組み込んだり、Java言語を用いてア
プレットとすることも可能である。
【0027】
【発明の効果】以上説明したように、本発明は、下記の
ような効果がある。
【0028】(1)請求項1およびの発明は、映像情
報に含まれる画像、音、文字、キーワード、シーンを記
述した情報のうち少なくとも1つの情報を用いて映像セ
グメントに分割され、各々の映像セグメントに優先順位
が付加されている構造化映像を用いることで、利用者の
要求に応じて再生時間あるいは代表画面の数を変化させ
ることができる。
【0029】
【0030】()請求項およびの発明は、指定さ
れた再生時間あるいは代表画面の数に応じて、構造化映
像の優先順位の高い順から映像セグメントを入力するこ
とで、再生時間あるいは代表画面の数の変化に対応する
ことができる。
【0031】()請求項およびの発明は、代表画
面が選択された後に構造化映像の再入力が要求された場
合には、該代表画面に対応する映像シーケンスの中から
新しい再生時間あるいは代表画面の数に見合った映像セ
グメントのうち、前回との差分を追加入力することで、
冗長な入力を避けることができ、入力に要する時間を低
減することができる。
【0032】()請求項およびの発明は、蓄積さ
れた要約映像の中から、指定された代表画面の数の映像
セグメントを優先順位の高い順に選択し、映像セグメン
トの先頭画像を代表画面として表示することで、要約映
像の中の何がどの辺に入っているかを一覧することが可
能となり、また、ある部分を詳しく見たいときにはその
位置を指定することで、着目している映像シーケンス以
外の不要な追加データにアクセスする必要がない。
【図面の簡単な説明】
【図1】本発明の一実施形態の要約映像ブラウジング装
置の概略構成を示すブロック図である。
【図2】上記実施形態の要約映像ブラウジング装置で用
いる構造化映像の一例を示す概念図である。
【図3】上記実施形態の要約映像ブラウジング装置で表
示される代表画面のパターンを示す概念図である。
【図4】本発明の一実施形態の要約映像ブラウジング装
置を計算機等でソフトウェア的に実現した場合の処理の
流れを示すフローチャートである。
【符号の説明】
101 要約映像入力部 102 要約映像蓄積部 103 代表画面制御部 104 映像再生部 105 読み出し専用高速バス 106 制御情報 201 映像セグメント 202 優先順位が付加された構造化映像 203,204 分割された映像情報 301〜304 代表画面 400 制御情報入力段階 401 要約映像入力段階 402 要約映像蓄積段階 403 代表画面制御段階 404 映像再生段階 405 差分情報取得段階
フロントページの続き (56)参考文献 特開 平6−233227(JP,A) 特開 平6−68163(JP,A) 特開 平9−247612(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 H04N 5/262 - 5/278

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 映像情報を入力し、該入力された映像情
    報の代表画面を空間的に表示し、該代表画面に対応する
    映像情報を再生する要約映像ブラウジング方法であっ
    て、前記映像情報に含まれる画像、音、文字、キーワード、
    シーンを記述した情報のうち少なくとも1つの情報を用
    いて映像セグメントに分割され、各々の映像セグメント
    に優先順位が付加されている前記映像情報である構造化
    映像 を要約映像として入力する要約映像入力段階と、 入力された要約映像を要約映像蓄積手段に蓄積する要約
    映像蓄積段階と、 該要約映像から表示する代表画面を選択、表示する代表
    画面制御段階と、 再生時間が指定された場合には1つの代表画面に対応す
    る映像シーケンスを、代表画面の数が指定された場合に
    は選択された代表画面に対応する映像シーケンスを該要
    約映像蓄積手段から読み出し、再生する映像再生段階と
    を有する要約映像ブラウジング方法。
  2. 【請求項2】 前記要約映像入力段階は、指定された再
    生時間あるいは代表画面の数に応じて、前記構造化映像
    の優先順位の高い順から映像セグメントを入力する、請
    求項1記載の要約映像ブラウジング方法。
  3. 【請求項3】 前記要約映像入力段階は、前記代表画面
    が選択された後に構造化映像の再入力が要求された場合
    には、該代表画面に対応する映像シーケンスの中から新
    しい再生時間あるいは代表画面の数に見合った映像セグ
    メントのうち、前回との差分を追加入力する、請求項
    または2に記載の要約映像ブラウジング方法。
  4. 【請求項4】 前記代表画面制御段階は、蓄積された要
    約映像の中から、指定された代表画面の数の映像セグメ
    ントを優先順位の高い順に選択し、該映像セグメントの
    先頭画像を代表画面として表示する、請求項1から3の
    いずれか1項に記載の要約映像ブラウジング方法。
  5. 【請求項5】 映像情報を入力し、該入力された映像情
    報の代表画面を空間的に表示し、該代表画面に対応する
    映像情報を再生する要約映像ブラウジング装置であっ
    て、前記映像情報に含まれる映像、音、文字、キーワード、
    シーンを記述した情報のうち少なくとも1つの情報を用
    いて映像セグメントに分割され、各々の映像セグメント
    に優先順位が付加されている前記映像情報である構造化
    映像 を要約映像として入力する要約映像入力部と、 入力された要約映像を蓄積する要約映像蓄積部と、 該要約映像から表示する代表画面を選択、表示する代表
    画面制御部と、 再生時間が指定された場合には1つの代表場面に対応す
    る映像シーケンスを、代表画面の数が指定された場合に
    は選択された代表画面に対応する映像シーケンスを該要
    約映像蓄積部から読み出し、再生する映像再生部とを有
    する要約映像ブラウジング装置。
  6. 【請求項6】 前記要約映像入力部は、指定された再生
    時間あるいは代表画面の数によって、前記構造化映像の
    優先順位の高い順から映像セグメントを入力する、請求
    に記載の要約映像ブラウジング装置。
  7. 【請求項7】 前記要約映像入力部は、前記代表画面が
    選択された後に構造化映像の再入力が要求された場合に
    は、該代表画面に対応する映像シーケンスの中から新し
    い再生時間あるいは代表画面の数に見合った映像セグメ
    ントのうち、前回との差分を追加入力する、請求項5ま
    たは6に項記載の要約映像ブラウジング装置。
  8. 【請求項8】 前記代表画面制御部は、蓄積された要約
    映像の中から、指定された代表画面の数の映像セグメン
    トを優先順位の高い順に選択し、該映像セグメントの先
    頭画像を代表画面として表示する、請求項5から7のい
    ずれか1項に記載の要約映像ブラウジング装置。
JP18622196A 1996-07-16 1996-07-16 要約映像ブラウジング方法および装置 Expired - Fee Related JP3439034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18622196A JP3439034B2 (ja) 1996-07-16 1996-07-16 要約映像ブラウジング方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18622196A JP3439034B2 (ja) 1996-07-16 1996-07-16 要約映像ブラウジング方法および装置

Publications (2)

Publication Number Publication Date
JPH1032773A JPH1032773A (ja) 1998-02-03
JP3439034B2 true JP3439034B2 (ja) 2003-08-25

Family

ID=16184493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18622196A Expired - Fee Related JP3439034B2 (ja) 1996-07-16 1996-07-16 要約映像ブラウジング方法および装置

Country Status (1)

Country Link
JP (1) JP3439034B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2800958A1 (fr) 1999-11-10 2001-05-11 Thomson Multimedia Sa Procede de transmission et de traitement d'informations de service dans un systeme de television, recepteur et emetteur dans un tel systeme
JP2002281432A (ja) * 2001-03-15 2002-09-27 Kddi Corp 動画像検索閲覧装置および記録媒体
JP2002330414A (ja) * 2001-05-02 2002-11-15 Fkd Lab:Kk インターネット広告方法及び装置
KR20040020185A (ko) * 2002-08-30 2004-03-09 학교법인 한국정보통신학원 엑스엠엘 문서를 이용한 골프 비디오 브라우징 서비스 방법
JP2009076982A (ja) 2007-09-18 2009-04-09 Toshiba Corp 電子機器および顔画像表示方法
KR101258139B1 (ko) * 2013-01-14 2013-04-25 (주)지란지교소프트 Cctv에 의한 비디오 파일의 정보 표시 방법 및 그 방법이 기록된 기록매체
JP6063971B2 (ja) 2015-01-29 2017-01-18 京セラドキュメントソリューションズ株式会社 画像処理装置

Also Published As

Publication number Publication date
JPH1032773A (ja) 1998-02-03

Similar Documents

Publication Publication Date Title
JP3268545B2 (ja) 映画をその基礎にあるソース情報とリンクし表示するシステムおよび方法
JP3897774B2 (ja) マルチメディア再生装置およびメニュー画面表示方法
JP3449671B2 (ja) 個人用映画プレゼンテーションおよび個人用映画コレクションの作成を可能にするシステムおよび方法
JP3472215B2 (ja) 映像検索システム及び映像検索方法
JP2793047B2 (ja) 静止画記録再生装置
KR100323556B1 (ko) 정보 재생 장치 및 정보 기록 재생 장치
US20030084460A1 (en) Method and apparatus reproducing contents from information storage medium in interactive mode
US20040146275A1 (en) Information processing method, information processor, and control program
JP2001005838A (ja) 電子映像文書作成方法及び電子映像文書作成プログラムが格納された記録媒体
JP2001028722A (ja) 動画像管理装置及び動画像管理システム
KR20070090751A (ko) 화상 표시방법 및 동영상 재생장치
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
US20070223037A1 (en) Content list display method, content list display apparatus, content selecting and processing method, and content selecting and processing apparatus
JPH1175150A (ja) 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体
JP2001184842A (ja) 情報再生装置
JP3934274B2 (ja) 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4437381B2 (ja) 記録再生装置及び記録媒体
JP3439034B2 (ja) 要約映像ブラウジング方法および装置
JP2005033619A (ja) コンテンツ管理装置およびコンテンツ管理方法
JP3096280B2 (ja) 電子映像文書作成利用方法及びプログラム格納媒体
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
JPH11266422A (ja) 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
KR20050022072A (ko) 인터렉티브 데이터 처리방법 및 장치
JP2002281432A (ja) 動画像検索閲覧装置および記録媒体
JP2001119661A (ja) 動画編集システムおよび記録媒体

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090613

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees