JP2000217058A - 映像検索システム及びデ―タ構造、そしてそれによる検索方法 - Google Patents

映像検索システム及びデ―タ構造、そしてそれによる検索方法

Info

Publication number
JP2000217058A
JP2000217058A JP11345702A JP34570299A JP2000217058A JP 2000217058 A JP2000217058 A JP 2000217058A JP 11345702 A JP11345702 A JP 11345702A JP 34570299 A JP34570299 A JP 34570299A JP 2000217058 A JP2000217058 A JP 2000217058A
Authority
JP
Japan
Prior art keywords
character
scene
relationship
story
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11345702A
Other languages
English (en)
Other versions
JP3472215B2 (ja
Inventor
Jung Min Song
ジュン・ミン・ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2000217058A publication Critical patent/JP2000217058A/ja
Application granted granted Critical
Publication of JP3472215B2 publication Critical patent/JP3472215B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 映画やビデオの一部分を簡単に探してみるこ
とができるようにする。 【解決手段】 ストーリーの少なくとも一人の登場人物
を表示する登場人物画面部と、登場人物画面部から選択
された登場人物が現れるストーリーの場面の少なくとも
一つの主要場面を表示する主要場面画面部と、プレイコ
ントロールボタンでのユーザの入力によって選択された
場面に対応するストーリーの一つの区間と選択された場
面の主要場面を表示する主画面部とを含むことを特徴と
する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は映像検索システムに
係り、特に映像（本明細書において映像とはテレビ、ビ
デオ、映画などの動く映像を意味する）の内容に基づい
て登場人物（登場人物には実際の人間だけでなく、アニ
メのキャラクタなどをも含む）と登場人物との関係を、
固定された関係はもちろんのこと、出来事の展開によっ
て変化する関係まで考慮して一目瞭然に設定して示し、
このような登場人物間の関係からその関係に置かれた登
場人物の登場する映像の内容を検索できるようにした映
像検索システム及びそのためのデータ構造、そしてそれ
による検索方法に関する。
【０００２】
【従来の技術】従来は、映画やドラマなどの視聴方法
は、放送局から放送する映像信号をそのまま受信して実
時間で表示するか、映画館で上映する映画を鑑賞する方
式で視聴した。しかし、ユーザは映像全体の内容の中で
も、特に自分の希望する特定の部分のみを抜粋して見た
いと思う場合が多く、各種の映像媒体と技術の発達によ
ってユーザの希望する映画やドラマ或いはその一部だけ
を見ることができるようにする映像検索システムが提案
されている。
【０００３】ゴールドバーグなどは米国特許第５，６５
５，１１７号で各種の映像資料を形態群、索引群、媒体
群、分節群、対象群、表現群の単位でグループ化して表
現し、対象群と表現群で各種の登場人物や事物に対する
情報（対象の名称、画面上における位置、映像資料上で
その対象が現れる部分に対する数値的な情報など）を示
して、ユーザが希望する時、その対象群の表を通して対
象を選択すると、その対象が現れる再生技術を発表し
た。
【０００４】一方、レイマなどは米国特許第５，６９
６，９０５号では、映像資料の製作以前や制作中または
制作後に映像資料に対する各種の付加的な情報を獲得し
て、その付加情報に対する表を構成するようにする技術
が示されている。しかし、この表には俳優が出る位置、
その俳優の相手役が出る位置、小道具が出る位置などを
記録し、ユーザがその対象を付加情報表から選択する
と、希望の場面を再生し、希望の対象が小道具であれ
ば、その小道具に対する情報（制作社、価格など）を表
示し、ひいてはその小道具の制作／販売社へのネットワ
ーク連結を可能にする技術を発表した。
【０００５】また、アベカイスは米国特許第５，６６
４，０４６号及び５，６９６，８９６号で映像資料の各
部分に対する情報をこめた映像部分マップを発表した。
その映像部分マップには映像の各部分に対する情報、即
ち暴力性の程度、扇情性の程度、内容上の重要度、登場
人物、位置、理解の難易度に対する情報が表示され、ユ
ーザがプログラムの内容マップの部分マップの該当する
項目に対する好み度を書き込んで映像資料の希望する部
分を再生させるか、確認されていないユーザに特定の内
容を伝送させないようにする方法を提示した。
【０００６】このような従来の技術は主に映画やドラマ
に登場する対象に対して単純に並べられた項目を示し、
ユーザの選択を受け入れる方法を使用している。しか
し、映画やドラマの展開は、登場人物と登場人物との間
で行われ、登場人物と登場人物との関係は出来事の展開
によって始終変化しない場合はもちろんのこと、出来事
の展開によって登場人物間の関係が変化する場合もあ
り、また特定の登場人物を中心としてその登場人物に係
わった他の登場人物が少なくとも一人以上存在するた
め、従来の登場人物単純羅列式検索方法では映画やドラ
マの実質的なストーリーの展開を分かることができなか
った。
【０００７】従って、映画やドラマの内容をその映画や
ドラマの出来事の展開をリードする登場人物間の関係か
ら容易に検索して希望の部分を再生するためには登場人
物の単純な羅列からの選択でなく、主要登場人物と登場
人物の関係による内容から検索する方法が必要である。
【０００８】
【発明が解決しようとする課題】本発明の目的は、映像
の内容を登場人物と登場人物との関係として表現するこ
とにより、映像のストーリー展開を実質的にリードして
いる登場人物の関係を中心に検索できるようにした映像
検索システム及びデータ構造、そしてそれによる検索方
法を提供することにある。
【０００９】本発明の他の目的は、登場人物と登場人物
との関係を示し、それらの関係を選択することにより、
登場人物の関係に関連して現れる映画やドラマなどの映
像部分をユーザが容易に検索できるようにした映像検索
システム及びデータ構造、そしてそれによる検索方法を
提供することにある。
【００１０】本発明のまた他の目的は、特定の登場人物
を中心としてその登場人物と関係を結ぶ登場人物間の関
係を示し、この関係から特定の登場人物を中心としてそ
の登場人物に係わる複数の登場人物間の関係を一目瞭然
に把握し、この関係を選択することにより登場人物の関
係に関連して現れる映画やドラマなどの映像部分をユー
ザが容易に検索できるようにした映像検索システム及び
データの構造、そしてそれによる検索方法を提供するこ
とにある。
【００１１】本発明の別の目的は、登場人物と登場人物
との固定された関係のみならず、特定の登場人物と係わ
った他の登場人物との間での内容の展開によって変化す
る関係まで示し、この関係から特定の登場人物を中心と
してその登場人物に係わる他の登場人物との関係変化を
一目瞭然に把握し、この関係を選択することによりその
関係の変化による映画やドラマなどの映像部分をユーザ
が容易に検索できるようにした映像検索システム及びデ
ータ構造、そしてそれによる検索方法を提供することに
ある。
【００１２】
【課題を解決するための手段】本発明による映像検索シ
ステムは、ストーリーの少なくとも一人の登場人物を表
示する登場人物画面部と、登場人物画面部から選択され
た登場人物が現れるストーリーの場面の少なくとも一つ
の主要場面を表示する主要場面画面部と、プレイコント
ロールボタンによるユーザの入力によって選択された主
要場面に対応するストーリーの一つの区間とその選択さ
れた主要場面を表示する主画面部とを含むことを特徴と
する。
【００１３】登場人物画面部は、表示された登場人物が
現れるストーリーの主要場面の数と表示された登場人物
の代表場面を全て或いはいずれか一つをさらに表示する
ことを特徴とする。
【００１４】登場人物画面部はストーリーの登場人物間
の関係を表示し、主要場面画面部はストーリーから選択
された関係における他の登場人物が一緒に現れる場面の
少なくとも一つの主要場面を表示することを特徴とす
る。
【００１５】選択された関係において登場人物間の関係
変化を表示する登場人物関係変化画面部と、関係の選択
された変化で他の登場人物が一緒に現れるストーリーの
少なくとも一つの主要場面を表示する主要場面画面部と
をさらに含むことを特徴とする。
【００１６】登場人物画面部は、ストーリーの特定の登
場人物と他の登場人物との関係を表示し、主要場面画面
部は選択された関係の特定の登場人物と他の登場人物が
一緒に現れるストーリーの場面の少なくとも一つの主要
場面をさらに表示することを特徴とする。
【００１７】本発明による映像検索方法の特徴は、
（ａ）ストーリーの少なくとも一人の登場人物を表示す
る段階と、（ｂ）選択された登場人物が現れるストーリ
ーの場面の少なくとも一つの主要場面を表示する段階
と、（ｃ）プレイコントロールボタンによるユーザの入
力によって選択された場面に対応するストーリーの一つ
の区間を表示する段階とを含んでいる。
【００１８】前記（ａ）段階は表示された登場人物が現
れるストーリーの主要フレームの数と表示された代表フ
レームを全て或いはいずれか一つを表示する段階をさら
に含んでいることを特徴とする。
【００１９】前記（ａ）段階はストーリーの登場人物間
の関係を表示する段階を、前記（ｂ）段階は選択された
登場人物と関係する他の登場人物が一緒に現れるストー
リーの場面の少なくとも一つの主要場面を表示する段階
を含んでいることを特徴とする。
【００２０】前記（ａ）段階は前記ストーリーの特定の
登場人物と他の登場人物との関係を表示する段階を、前
記（ｂ）段階は選択された登場人物と他の登場人物が一
緒に現れるストーリーの場面の少なくとも一つの主要場
面を表示する段階をさらに含んでいることを特徴とす
る。
【００２１】本発明による映像検索システムのデータ構
造は、ストーリーの登場人物間の少なくとも一つの関係
と、その関係で連結されている登場人物が一緒に現れる
ストーリーの少なくとも一つの場面と、少なくとも一つ
の区間のそれぞれに連結された少なくとも一つの主要場
面とを含んでいることを特徴とする。
【００２２】前記少なくとも一つの関係は、同じ２名の
登場人物間の複数回の異なる関係またはストーリーの特
定登場人物及び他の登場人物間の関係のうちいずれか一
つであることを特徴とする。
【００２３】
【発明の実施の形態】以下、本発明による内容ベース映
像検索システム及びデータ構造、そしてそれによる検索
方法の好適な実施形態を添付図に基づいて説明する。図
１は本発明の映像検索システムの全体的なブロック図の
一実施形態を示す。ここに図示されたものによって本発
明が制限されることはない。図１では説明の便宜上、ビ
デオ供給者と使用者の立場に分離し、ビデオ供給者は本
発明の登場人物関係中心映像検索データの構成過程を通
して図２ないし図６のような検索情報を提供し、ユーザ
は図２ないし図６のような検索情報を用いて検索ブラウ
ザによる登場人物関係中心の映像検索を行うことができ
る。
【００２４】まず、ディジタルビデオデータ１０１は入
力ビデオバッファ１０２に格納される。ビデオバッファ
１０２に格納されたディジタルビデオデータ１０１はビ
デオ処理ユニット１０３によってマルチメディアストー
リームのファイルとされ、処理制御ユニット１０４は必
要なそれぞれの情報を制作するか、存在する情報を読み
取って処理する。
【００２５】そして、ユーザインタフェースと表示部１
０５は、ビデオ処理ユニット１０３及び処理制御ユニッ
ト１０４によって処理されるビデオデータの表示はもち
ろんのこと、図２のデータ制作のためのユーザ情報を入
力するためのインタフェースである。
【００２６】処理制御ユニット１０４で処理された図２
に示されたような構造の登場人物間の関係情報は、ビデ
オ情報メモリ１０６に格納され、ここに格納された登場
人物間の関係情報はビデオバッファ１０２に収納された
ビデオデータと共に適切なフォーマットで格納空間１０
７に蓄積される。
【００２７】格納空間１０７に格納されたビデオデータ
及び図２に示された検索関連情報は、記録媒体の形態ま
たは有線または無線放送通信網を通してユーザに提供さ
れる。ユーザ側では格納空間１０７から提供されるビデ
オデータと登場人物間の関係データを検出した後、判読
してユーザの要求に応答する。
【００２８】即ち、ビデオバッファ１０８に格納される
ビデオデータは、ビデオ処理ユニット１０９と処理制御
ユニット１１０でデータ処理が行われ、この時に登場人
物間の関係データをビデオ情報メモリ１１２を用いてユ
ーザインタフェースと表示部１１１に応答する。
【００２９】図１に示された登場人物関係中心の映像検
索システムによれば、供給者側ではユーザインタフェー
スと表示部１０５を介して図２ないし図６に示されたデ
ータ構造を完成し、その完成された情報を適切な格納空
間１０７にビデオデータと一緒に収録し、ユーザ側では
ユーザインタフェースと表示部１１１を通して図３ない
し図６に示した映像検索を行う。
【００３０】上述したような映像検索システムで実施さ
れる本発明の映像検索システムによるビデオブラウザ
は、映画やドラマなどの映像内容で登場する登場人物を
示す登場人物画面部と、映画やドラマなどの映像内容を
示す主画面部と、映画やドラマなどの映像のうち、任意
の長さをもつ主要場面を示す主要場面画面部とを備えて
いる。
【００３１】登場人物画面部は、設定によって主要登場
人物画面、主要登場人物関係画面、全体の登場人物の関
係画面、特定の登場人物を中心とした登場人物関係画
面、特定の登場人物の関係変化画面など、登場人物との
関係を持つ任意の検索に便利な画面を作成して用意して
おくことができる。
【００３２】主要登場人物は映像全体の内容を通して登
場する場面の数で決定し、主要登場人物画面は登場する
場面数が多い順で登場人物を配列する。登場人物と登場
人物との関係は登場人物間の意味的関係の名称とその登
場人物が同時に現れる場面の数で表現する。特定登場人
物の関係変化は該当する登場人物と関係される登場人物
との意味的な関係が変わるか、登場人物の間に生じる事
件が変わることに該当する。
【００３３】上述したような登場人物関係中心の映像検
索データは次のような手順で制作される。まず、ドラマ
や映画などの映像全体に対して登場する登場人物を選定
し、また選定された登場人物に対してその登場する場面
の数によって主要登場人物を決定し、各登場人物が登場
する区間に対する主要場面を設定してその登場区間及び
主要場面に対する位置情報を設定する。位置情報は区間
及び場面に対するフレーム番号である。次に、登場人物
間の関係を、１：１の関係、または特定登場人物を中心
としてその登場人物に係わった複数の登場人物との関
係、または特定登場人物に係わった登場人物間の出来事
の展開による関係変化で関係付けられ、それら間の関係
に対する意味的な関係の名称（例：夫婦、恋人、職場同
僚など）を付加し、その登場人物が同時に現れる場面の
数を付加する。このような情報は一例としてマルチメデ
ィアストリームのヘッダに記録することもできる。そう
すると、映像検索システムではマルチメディアストリー
ムのヘッダに記録された前記の情報を検出した後判読し
て、その映像に対する登場人物関係中心の内容検索を行
うことができる。
【００３４】図２は前記段階を経て実現された登場人物
関係中心の検索ブラウザの一例を示す。このブラウザに
は登場人物画面部２０１、主画面部２０２、及び主要場
面画面部２０４の３つの画面部を備えている。登場人物
画面部２０１には登場人物、主要登場人物、登場人物関
係、特定登場人物中心の複数の他の登場人物関係、特定
登場人物中心の登場人物関係の変化などを提示する。そ
して、主画面部２０２には映画やドラマなどを示し、こ
こには再生操作部２０３を備えてこの再生操作部を通し
てユーザが選択する場面を再生する。さらに主要場面画
面部２０４には任意の長さ（区間）を有する場面に対す
る主要場面を代表場面として示す。
【００３５】図３は登場人物画面部に主要登場人物を表
示する場合を示す。即ち、主要登場人物画面３０１には
登場人物のうち登場する場面の数が多いほど上方に配列
し、登場する場面の数が少ないほど下方に配列し、それ
ぞれの登場人物に対する代表場面Ｈ１〜Ｈ４とその登場
人物が登場する場面の数（括弧内の数字で表現）を提示
した。
【００３６】そして、ユーザがある登場人物を主要登場
人物画面３０１で選択すると、主要場面画面部３０４に
その選択された登場人物が登場する主要場面を代表場面
として提示し（フレーム番号を併記した）、そのなかか
ら例えば場面３を選択したなら、主画面３０２に場面３
を表示し、再生操作部３０３の再生操作に応答してその
場面３で代表される区間を上映する。
【００３７】図４は主要登場人物間の関係を示し、その
登場人物関係から該当映像区間を検索する場合を示す。
図示したように、登場人物画面４０１に主要登場人物関
係画面Ｈ１〜Ｈ２、Ｈ３〜Ｈ４、Ｈ１〜Ｈ３、Ｈ２〜Ｈ
５として登場人物：登場人物の関係を１：１で対応させ
て示し、またその登場人物に対する主要場面と登場回数
を併記して提示する。この時、主要登場人物関係画面に
は登場人物間の関係頻度順でその関係を羅列して示す。
即ち、ある登場人物とその登場人物に係わった登場人物
が同時に現れる場面の数でその頻度数を表示する。従っ
て、ある登場人物とその登場人物に係わった登場人物が
同時に現れる場面の数が多ければ、その関係を主要登場
人物関係画面の上方に表示し、同時に現れる場面の数が
少なければ、下方に表示する。
【００３８】図４では登場人物１（主要場面Ｈ１）と登
場人物２（主要場面Ｈ２）が同時に現れる場面の数が最
も多い「５６回」の場合であり、登場人物２（主要場面
Ｈ２）と登場人物５（主要場面Ｈ５）が同時に現れる場
面の数が最も少ない「１５回」の場合を例示したもので
あり、それぞれの登場人物間の関係に対する意味的名称
（関係１，２，３，４）を一緒に表示した。
【００３９】そして、ユーザがある登場人物と他の登場
人物が互いに関わった場面を探す時には、主要登場人物
関係画面である関係を選択すると、主要場面画面部４０
４にその選択された登場人物が登場する主要場面を代表
場面として提示し（フレーム番号を併記した）、主要場
面画面部４０４内で例えば場面５を選択したなら、主画
面４０２に場面５を表示し、再生操作部４０３の再生操
作に応答してその場面５で代表される区間を上映する。
【００４０】図５は主要登場人物間の関係を特定の登場
人物を中心としてその登場人物と関係を結んでいる複数
の登場人物との関係を示し、その登場人物関係から該当
映像区間を検索する場合を示す。図示したように、登場
人物画面５０１の登場人物画面５０１ａには登場人物を
その登場回数と共に示し、ここで特定の登場人物２（主
要場面Ｈ２）を選択したなら、登場人物２と関連登場人
物の関係を対応させて特定人物中心登場人物関係画面５
０１ｂとして示し、また特定人物と関係している登場人
物に対する主要場面と登場回数、関係の意味的名称及び
一緒に登場する頻度数を併記して提示する。
【００４１】そして、ユーザが特定人物中心登場人物関
係画面５０１ｂである関係を選択すると、主要場面画面
部５０４にその選択された登場人物が登場する主要場面
を代表場面として提示し（フレーム番号を併記した）、
主要場面画面部５０４で例えば場面１０を選択したな
ら、主画面５０２に場面１０を表示し、再生操作部５０
３の再生操作に応答してその場面１０で代表される区間
を上映する。
【００４２】図６は主要登場人物間の関係を特定の登場
人物を中心としてその登場人物と関係を結んでいる他の
登場人物との関係の変化を示し、その登場人物関係の変
化から該当映像区間を検索する場合を示す。図示された
ように、登場人物画面６０１の主要登場人物関係画面に
は、図４に示したように主要登場人物関係画面４０１の
ように主要場面として代表される登場人物とその登場人
物との関係に対する意味的名称、そしてその関係によっ
て一緒に登場する場面の頻度数などを表示する。ここで
特定の登場人物関係を選択すると、登場人物関係変化画
面６０２で出来事の展開によるその登場人物間の関係変
化を表示する。
【００４３】そして、ユーザが登場人物関係変化画面６
０２で任意の関係を選択すると、主要場面画面部６０５
にその選択された関係の登場人物が登場する主要場面を
代表場面として提示し（フレーム番号を併記した）、主
要場面画面部６０５内で例えば場面１１を選択すると、
主画面６０４に場面１１を表示し、再生操作部６０４の
再生操作に応答してその場面１１で代表される区間を上
映する。
【００４４】以上説明したように、本発明による映像検
索システム及びデータ構造は、映画やドラマなどの映像
内容を検索するに際して、実質的にその映像の内容展開
をリードする登場人物と他の登場人物との関係から映像
検索を行う。
【００４５】
【発明の効果】従って、本発明による映像検索システム
及び本発明のデータ構造を利用することにより、映画や
ドラマの登場人物だけでなく、その登場人物間の関係を
中心として映像の内容を検索することができ、ユーザが
容易に映画やドラマのストーリーに関係した希望の部分
を再生してみることができる。
【００４６】また、本発明による映像検索方法は、放送
分野でビデオオンデマンド（ＶＯＤ）システムに適用し
てユーザの希望する部分を見ることができるので、速い
時間で関心のある部分を再生して見ることができ、ネッ
トワーク資源の活用面でも効率的であり、家庭用、放送
用の映像再生機器に適用しており、蓄積された映画やド
ラマの希望する部分を登場人物関係を中心として容易に
検索して見ることができる。
【００４７】以上説明した内容によって当業者なら本発
明の技術思想を外れない範囲で多様な変更及び修正が可
能なのは明らかである。従って、本発明の技術的範囲は
実施形態に記載された内容で限定されるものではなく、
特許請求の範囲によって定められなければならない。
【図面の簡単な説明】
【図１】本発明実施形態による映像制作とビデオブラウ
ザの一実施形態を示すブロック図である。
【図２】本発明実施形態の登場人物の関係から映像の内
容を検索する方法及び検索システムによるビデオブラウ
ザの画面構成を示す図である。
【図３】前記図２によるビデオブラウザの画面の一例を
示す図である。
【図４】前記図２によるビデオブラウザの画面で主要登
場人物間の関係を中心とするビデオブラウザ画面の一例
を示す図である。
【図５】前記図２によるビデオブラウザの画面で特定の
登場人物を中心とする登場人物関係ビデオブラウザの画
面の一例を示す図である。
【図６】前記図２によるビデオブラウザの画面で登場人
物関係の変化を中心とするビデオブラウザの画面の一例
を示す図である。
【符号の説明】
１０１ デジタルビデオデータ、１０２、１０８ ビデ
オバッファ、１０３，１０９ ビデオ処理ユニット、１
０４，１１０ 処理制御ユニット、１０５、１１１ ユ
ーザインタフェースと表示部、１０６，１１２ ビデオ
情報メモリ。

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 ストーリーの少なくとも一人の登場人物
    を表示する登場人物画面部と、 ストーリー中の前記登場人物画面部から選択された登場
    人物が現れる場面の少なくとも一つの主要場面を表示す
    る主要場面画面部と、 選択された場面の主要場面を表示し、プレイコントロー
    ルボタンによるユーザの入力で選択された場面に対応す
    るストーリーの一つの区間を表示する主画面部とを含む
    ことを特徴とする映像検索システム。
  2. 【請求項２】 前記登場人物画面部は、 前記表示された登場人物が現れるストーリーの主要場面
    の数と表示された登場人物の代表場面を全て或いはいず
    れか一つを表示することを特徴とする請求項１記載の映
    像検索システム。
  3. 【請求項３】 前記登場人物画面部は、ストーリーの登
    場人物間の関係を表示し、 前記主要場面画面部は、前記ストーリーで選択された関
    係における登場人物が一緒に現れる場面の少なくとも一
    つの主要場面を表示することを特徴とする請求項１記載
    の映像検索システム。
  4. 【請求項４】 前記登場人物画面部は、前記選択された
    関係における登場人物間の関係変化を表示する登場人物
    関係変化を表示し、 前記主要場面画面部は、関係の選択された変化で登場人
    物が一緒に現れるストーリーの少なくとも一つの区間を
    表示することを特徴とする請求項３記載の映像検索シス
    テム。
  5. 【請求項５】 前記登場人物画面部は前記ストーリーの
    特定の登場人物と登場人物との関係を表示し、 前記主要場面画面部は選択された関係の特定の登場人物
    と登場人物が一緒に現れるストーリーの場面の少なくと
    も一つの主要場面を表示することを特徴とする請求項１
    記載の映像検索システム。
  6. 【請求項６】 （ａ）ストーリーの少なくとも一人の登
    場人物を表示する段階と、 （ｂ）選択された登場人物が現れるストーリーの場面の
    少なくとも一つの主要場面を表示する段階と、 （ｃ）プレイコントロールボタンによるユーザの入力に
    よって選択された場面に対応する前記ストーリーの一つ
    の区間を表示する段階とを含んでいることを特徴とする
    映像検索方法。
  7. 【請求項７】 前記（ａ）段階は、 前記表示された登場人物が現れるストーリーの主要フレ
    ームの数と表示された代表フレームを全て或いはいずれ
    か一つを表示する段階をさらに含んでいることを特徴と
    する請求項６記載の映像検索方法。
  8. 【請求項８】 前記（ａ）段階は前記ストーリーの登場
    人物間の関係を表示する段階を含み、 前記（ｂ）段階は 前記選択された関係の登場人物が一
    緒に現れるストーリーの場面の少なくとも一つの主要場
    面を表示する段階を含んでいることを特徴とする請求項
    ６記載の映像検索方法。
  9. 【請求項９】 前記（ａ）段階は前記ストーリーの特定
    の登場人物と登場人物間の関係を表示する段階を含み、 前記（ｂ）段階は前記選択された関係の登場人物と登場
    人物が一緒に現れるストーリーの場面の少なくとも一つ
    の主要場面を表示する段階をさらに含んでいることを特
    徴とする請求項６記載の映像検索方法。
  10. 【請求項１０】 ストーリーの登場人物間の少なくとも
    一つの関係と、 その関係で連結されている登場人物が一緒に現れるスト
    ーリーの少なくとも一つの場面と、 少なくとも一つの区間のそれぞれに連結された少なくと
    も一つの主要場面とを含んでいることを特徴とする映像
    検索システムのデータ構造。
  11. 【請求項１１】 前記少なくとも一つの関係は、 ２名の同じ登場人物間の複数の異なる関係またはストー
    リーの特定登場人物及び他の登場人物間の関係のいずれ
    か一つであることを特徴とする請求項１０記載の映像検
    索システムのデータ構造。
JP34570299A 1998-12-05 1999-12-06 映像検索システム及び映像検索方法 Expired - Fee Related JP3472215B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019980053239A KR100347710B1 (ko) 1998-12-05 1998-12-05 등장인물들의관계중심동영상검색데이터구성방법및검색방법
KR98-53239 1998-12-05

Publications (2)

Publication Number Publication Date
JP2000217058A true JP2000217058A (ja) 2000-08-04
JP3472215B2 JP3472215B2 (ja) 2003-12-02

Family

ID=19561492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34570299A Expired - Fee Related JP3472215B2 (ja) 1998-12-05 1999-12-06 映像検索システム及び映像検索方法

Country Status (5)

Country Link
US (1) US6602297B1 (ja)
EP (1) EP1006461A2 (ja)
JP (1) JP3472215B2 (ja)
KR (1) KR100347710B1 (ja)
CN (1) CN1279474C (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075591B1 (en) 1999-09-22 2006-07-11 Lg Electronics Inc. Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
JP2010251841A (ja) * 2009-04-10 2010-11-04 Nikon Corp 画像抽出プログラムおよび画像抽出装置
JP2012010405A (ja) * 2011-09-28 2012-01-12 Toshiba Corp 電子機器、画像データの表示方法およびプログラム
JP2012060646A (ja) * 2011-10-14 2012-03-22 Toshiba Corp 電子機器および画像表示方法
JP2014507699A (ja) * 2010-12-17 2014-03-27 オーディブル・インコーポレイテッド 参照対象とストーリーとの間の関連性の図式的表示
US9436741B2 (en) 2010-12-17 2016-09-06 Audible, Inc. Graphically representing associations between referents and stories

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100518846B1 (ko) * 1999-08-26 2005-09-30 엘지전자 주식회사 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
KR100370247B1 (ko) 1999-08-26 2003-01-29 엘지전자 주식회사 등장인물 관계 기반 동영상 검색 방법
US7996878B1 (en) 1999-08-31 2011-08-09 At&T Intellectual Property Ii, L.P. System and method for generating coded video sequences from still media
KR20000054561A (ko) * 2000-06-12 2000-09-05 박성환 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법
EP1382041A1 (en) * 2001-04-17 2004-01-21 Koninklijke Philips Electronics N.V. Method and system for selecting a position in an image sequence
EP1251515A1 (en) * 2001-04-19 2002-10-23 Koninklijke Philips Electronics N.V. Method and system for selecting a position in an image sequence
KR20030067133A (ko) * 2002-02-07 2003-08-14 (주)지토 동영상의 자동분할 기술을 응용한 지능형 디지털 영상녹화기 시스템
US7617228B2 (en) * 2003-07-22 2009-11-10 Autodesk, Inc. Displaying image data
AU2004306754B2 (en) * 2003-10-06 2009-09-17 Disney Enterprises, Inc. System and method of playback and feature control for video players
US7797328B2 (en) * 2004-12-21 2010-09-14 Thomas Lane Styles System and method of searching for story-based media
US8316301B2 (en) * 2005-08-04 2012-11-20 Samsung Electronics Co., Ltd. Apparatus, medium, and method segmenting video sequences based on topic
US7810021B2 (en) * 2006-02-24 2010-10-05 Paxson Dana W Apparatus and method for creating literary macramés
CN101872346B (zh) * 2009-04-22 2012-07-04 中国科学院自动化研究所 一种自动生成视频导航***的方法
JP2011035837A (ja) * 2009-08-05 2011-02-17 Toshiba Corp 電子機器および画像データの表示方法
US8719277B2 (en) 2011-08-08 2014-05-06 Google Inc. Sentimental information associated with an object within a media
CN103186916B (zh) * 2011-12-29 2018-01-26 腾讯科技（深圳）有限公司 一种播放动画的方法和装置
JP2014068290A (ja) * 2012-09-27 2014-04-17 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9374411B1 (en) * 2013-03-21 2016-06-21 Amazon Technologies, Inc. Content recommendations using deep data
KR102161230B1 (ko) * 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
EP3121734A1 (en) * 2015-07-24 2017-01-25 Thomson Licensing A method and device for performing story analysis
KR102008759B1 (ko) * 2018-01-05 2019-08-08 인하대학교 산학협력단 대본 내의 등장인물 분류 시스템 및 그 방법
US11366989B2 (en) 2019-08-20 2022-06-21 Microsoft Technology Licensing, Llc Negative sampling algorithm for enhanced image classification
KR102173858B1 (ko) * 2019-08-23 2020-11-05 한국항공대학교산학협력단 사용자 선호도 입력 기반 인물 중심 장면 생성 및 비디오 요약 장치 및 방법
US11450107B1 (en) * 2021-03-10 2022-09-20 Microsoft Technology Licensing, Llc Dynamic detection and recognition of media subjects
CN116781971A (zh) * 2022-03-09 2023-09-19 腾讯科技（深圳）有限公司 视频播放方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434678A (en) 1993-01-11 1995-07-18 Abecassis; Max Seamless transmission of non-sequential video segments
JP3340532B2 (ja) * 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
US5532773A (en) * 1993-10-27 1996-07-02 Ronald Shaw Method and apparatus for indexing and retrieval of a continuous visual image medium
WO1996017313A1 (en) 1994-11-18 1996-06-06 Oracle Corporation Method and apparatus for indexing multimedia information streams
US5485611A (en) * 1994-12-30 1996-01-16 Intel Corporation Video database indexing and method of presenting video database index to a user
US5696905A (en) 1995-03-20 1997-12-09 International Business Machines Corporation System and method for providing merchant information and establishing links to merchants while presenting a movie
US5734893A (en) * 1995-09-28 1998-03-31 Ibm Corporation Progressive content-based retrieval of image and video with adaptive and iterative refinement
US5819286A (en) * 1995-12-11 1998-10-06 Industrial Technology Research Institute Video database indexing and query method and system
US5696896A (en) 1996-04-30 1997-12-09 International Business Machines Corporation Program product for group leader recovery in a distributed computing environment
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
JP3315888B2 (ja) 1997-02-18 2002-08-19 株式会社東芝 動画像表示装置および表示方法
US5930783A (en) * 1997-02-21 1999-07-27 Nec Usa, Inc. Semantic and cognition based image retrieval
US6052492A (en) * 1997-12-09 2000-04-18 Sun Microsystems, Inc. System and method for automatically generating an image to represent a video sequence
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
US6154771A (en) * 1998-06-01 2000-11-28 Mediastra, Inc. Real-time receipt, decompression and play of compressed streaming video/hypervideo; with thumbnail display of past scenes and with replay, hyperlinking and/or recording permissively intiated retrospectively
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075591B1 (en) 1999-09-22 2006-07-11 Lg Electronics Inc. Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US8006267B2 (en) 1999-09-22 2011-08-23 Lg Electronics Inc. Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US8234675B2 (en) 1999-09-22 2012-07-31 Lg Electronics Inc. Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US8234674B2 (en) 1999-09-22 2012-07-31 Lg Electronics Inc. Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
JP2010251841A (ja) * 2009-04-10 2010-11-04 Nikon Corp 画像抽出プログラムおよび画像抽出装置
JP2014507699A (ja) * 2010-12-17 2014-03-27 オーディブル・インコーポレイテッド 参照対象とストーリーとの間の関連性の図式的表示
US9436741B2 (en) 2010-12-17 2016-09-06 Audible, Inc. Graphically representing associations between referents and stories
JP2012010405A (ja) * 2011-09-28 2012-01-12 Toshiba Corp 電子機器、画像データの表示方法およびプログラム
JP2012060646A (ja) * 2011-10-14 2012-03-22 Toshiba Corp 電子機器および画像表示方法

Also Published As

Publication number Publication date
US6602297B1 (en) 2003-08-05
JP3472215B2 (ja) 2003-12-02
KR100347710B1 (ko) 2002-10-25
CN1279474C (zh) 2006-10-11
EP1006461A2 (en) 2000-06-07
CN1256464A (zh) 2000-06-14
KR20000038291A (ko) 2000-07-05

Similar Documents

Publication Publication Date Title
JP2000217058A (ja) 映像検索システム及びデ―タ構造、そしてそれによる検索方法
US8234675B2 (en) Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
KR100350787B1 (ko) 멀티미디어 객체의 사용자 프로파일 생성방법과 사용자 프로파일을 이용한 멀티미디어 검색 및 브라우징 방법
US7461082B2 (en) Data structure of metadata and reproduction method of the same
US20020012526A1 (en) Digital video reproduction method, digital video reproducing apparatus and digital video recording and reproducing apparatus
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
JP2005332274A (ja) 動画像中のオブジェクトに関するメタデータストリームのデータ構造、検索方法及び再生方法
US20060117352A1 (en) Search table for metadata of moving picture
KR20010050596A (ko) 효율적인 비디오 개관 및 브라우징을 위한 비디오 요약기술구조와, 그 기술 구조에 따른 요약 비디오 기술데이터 생성방법 및 시스템
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
JPH1051733A (ja) 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体
US7555494B2 (en) Reproducing a moving image in a media stream
JPH02113790A (ja) 動画像検索方法
JP3439034B2 (ja) 要約映像ブラウジング方法および装置
US20060080337A1 (en) Data structure of metadata, reproduction apparatus of the metadata and reproduction method of the same
US20060050055A1 (en) Structure of metadata and processing method of the metadata
JP4882687B2 (ja) 録画番組管理装置
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
JP2010113434A (ja) コンテンツ表示装置、方法、プログラム及び記録媒体
KR100361499B1 (ko) 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법
JPH0950360A (ja) メニュー自動構築システム
JP2002044540A (ja) 放送情報管理装置および放送情報管理方法
JP2000224548A (ja) 映像情報再生装置及び映像情報再生方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030826

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080912

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees