JP2014157607A - メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置 - Google Patents

メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置 Download PDF

Info

Publication number
JP2014157607A
JP2014157607A JP2014030734A JP2014030734A JP2014157607A JP 2014157607 A JP2014157607 A JP 2014157607A JP 2014030734 A JP2014030734 A JP 2014030734A JP 2014030734 A JP2014030734 A JP 2014030734A JP 2014157607 A JP2014157607 A JP 2014157607A
Authority
JP
Japan
Prior art keywords
metadata
scene
search target
information
multimedia data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014030734A
Other languages
English (en)
Other versions
JP5834102B2 (ja
Inventor
Mi-Hwa Park
パク,ミ−ファ
Ju-Hee Seo
ソ,ジュ−ヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014157607A publication Critical patent/JP2014157607A/ja
Application granted granted Critical
Publication of JP5834102B2 publication Critical patent/JP5834102B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Studio Devices (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

【課題】 本発明のマルチメディア・データの記録方法は、メタデータを新たに生成したり、既存のメタデータを更新することによって、多様な再生機能を具現できるマルチメディア・データを記録すること。
【解決手段】 検索対象になるメディアデータの場面を分類するための少なくとも1つの検索対象項目が入力され、メディアデータの入力途中で、それぞれの検索対象項目に対応する少なくとも1つの場面を選択し、選択された場面のインデックスまたは再生時点のうち、少なくとも1つの場面情報を含むメタデータを生成し、メタデータをヘッダ領域に記録してメディアデータをペイロード領域に記録するマルチメディア・データの記録方法。
【選択図】 図1A

Description

本発明は、マルチメディア・データの記録方法及び装置に係り、さらに詳細には、多様な再生機能を具現できるマルチメディア・データを記録する方法及び装置に関する。
最近、商業的なコンテンツ提供者(contents provider)だけではなく、一般的な個人ユーザも、デジタル・カムコーダまたはデジタルカメラのようなデジタル映像撮像装置を利用して、多様なマルチメディア・コンテンツを制作する。特に、UCC(user created content)が個人用ブログだけではなく、商業的にも利用されており、日々表現する情報の範囲が広くなっている。
UCCのユーザ層が広くなって、制作レベルが高まるにつれ、UCCを撮影するためのマルチメディア撮影装置及びマルチメディア・データ記録装置は、さらに多くの機能を具現できることを期待されている。
DVD(digital versatile disc)のように、コンテンツ提供者から提供される保存型メディア(packaged media)は、マルチメディア再生機を介して多様な方法で再生され、メディアファイル内にメタデータを有している。既存のメディアファイルは、単純に再生できるデータだけが記録されており、付加的な機能のための細部検索対象項目のためのメタデータが記録されていない。
本発明のマルチメディア・データの記録方法は、メタデータを新たに生成したり、既存のメタデータを更新することによって、多様な再生機能を具現できるマルチメディア・データを記録する方法を提案する。
また、多様な再生機能を具現するために、あらかじめ登録された検索対象項目を介して、自動的に検索対象項目と関連した場面についての情報を収集してメタデータに記録する方法を提案する。
また、ユーザの決定によって、検索対象項目と関連した場面情報を収集してメタデータに記録する方法を提案する。
前記解決しようとする課題を達成するために、本発明の一実施形態によるマルチメディア・データの記録方法は、メディアデータから同種情報を含んでいる場面をそれぞれ検索するための少なくとも1つの検索対象項目を入力される段階、メディアデータの入力途中で、それぞれの検索対象項目に対応する少なくとも1つの場面を選択する段階、選択された場面のインデックスまたは再生時点のうち、少なくとも1つの場面情報を含むメタデータを生成する段階、及びメタデータをヘッダ領域に記録してメディアデータをペイロード領域に記録する段階を含む。
一実施形態の検索対象項目の入力段階は、検索対象項目がデータベースまたは既生成のメタデータから入力される。
一実施形態のメタデータ生成段階は、場面情報が記録されたメタデータをマルチメディア・データに合うフォーマットに変換する段階をさらに含む。
一実施形態のメタデータ生成段階は、検索対象項目を含むメタデータを生成する段階、及び検索対象項目が含まれたメタデータが場面情報を含むように更新する段階を含む。
一実施形態のメタデータ生成段階は、選択された場面の場面情報、及び検索対象項目との連繋情報を含むメタデータを生成する。
一実施形態の記録段階は、メディアデータをペイロード領域に記録する同時に、メタデータをヘッダ領域に記録する。
他の実施形態の記録段階は、メディアデータをペイロード領域にいずれも記録した後、メタデータをヘッダ領域に記録する。
一実施形態の検索対象項目の入力段階は、それぞれの検索対象項目を表現できる少なくとも1つの代表特徴情報を入力される段階をさらに含み、場面選択段階は、入力されるメディアデータの現在場面を分析し、代表特徴情報と比較される対比情報を抽出する段階、抽出された対比情報と代表特徴情報との類似度を測定する段階、及び類似度が大きければ、現在場面を検索対象項目に対応する場面として決定する段階をさらに含む。
一実施形態の場面選択段階は、検索対象項目及び現在場面を対応させるためのユーザインターフェースを介して入力されたユーザ要請によって、入力されている現在場面を、検索対象項目のうち、いずれか一つに対応させることによって、メディアデータの場面を選択する。
一実施形態のユーザインターフェースは、検索対象項目が選択されるためにそれぞれの検索対象項目を示す映像アイコンを含み、映像アイコンは、現在場面を利用して新しい映像アイコンに更新される。
前記解決しようとする課題を達成するために、本発明の一実施形態によるマルチメディア・データ再生方法は、検索する場面の検索対象項目が選択される段階、検索対象項目に係わるメタデータを決定する段階、及び決定されたメタデータから抽出された場面情報を利用し、マルチメディア・データを再生する段階を含む。
一実施形態は、メタデータまたはデータベースのうち、少なくともいずれか一つから、検索対象項目の細部情報及び代表特徴情報を抽出して再生する段階をさらに含む。
前記解決しようとする課題を達成するために、本発明の一実施形態によるマルチメディア・データ記録装置は、メディアデータから同種情報を含んでいる場面をそれぞれ検索するための少なくとも1つの検索対象項目を入力される検索対象項目入力部、メディアデータの入力途中で、それぞれの検索対象項目に対応する少なくとも1つの場面を選択する場面選択部、選択された場面のインデックスまたは再生時点のうち、少なくとも1つの場面情報を含むメタデータを生成するメタデータ生成部、及びメタデータをヘッダ領域に記録し、メディアデータをペイロードに領域に記録する記録部を含む。
本発明は、本発明の一実施形態によるマルチメディア・データの記録方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
また本発明は、本発明の一実施形態によるマルチメディア・データ再生方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
従って、本発明のマルチメディア・データの記録方法及び装置は、検索対象項目に関連した場面情報を記録したメタデータを新たに生成したり、既存のメタデータを更新することによって、ユーザが所望の検索対象項目を再生したり、検索対象項目に関する場面を再生する効果がある。
また、本発明を介して記録されたマルチメディア・データによって、マルチメディア再生機が、マルチメディア・コンテンツの再生及び検索のような多様な機能を容易に具現できる。
一般ユーザが作ったマルチメディア・コンテンツにも、自動的に新しいメタデータの挿入及び既存のメタデータの更新が可能なので、ユーザが容易にマルチメディア・コンテンツを制作できる。
本発明についてその望ましい実施形態を中心に述べるが、本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
本発明の一実施形態によるマルチメディア・データ記録装置のブロック図である。 本発明の一実施形態によるマルチメディア・データ記録装置の場面選択部のブロック図である。 本発明の一実施形態によるマルチメディア・データ記録装置の概要を図示する図である。 本発明の一実施形態によるマルチメディア・データ記録装置のメタデータ及びマルチメディア・データの生成または記録方法について説明する図である。 本発明の一実施形態によって更新されるメタデータを図示する図である。 本発明の他の実施形態によって生成されるメタデータを図示する図である。 本発明の一実施形態によってマルチメディア・データが生成される方法に係わるフローチャートである。 本発明の他の実施形態によってマルチメディア・データが生成される方法に係わるフローチャートである。 本発明の一実施形態によって人物情報を検索する方法を図示する図である。 本発明の一実施形態によるマルチメディア・データ記録装置のユーザインターフェースによる場合について説明する図である。 本発明の一実施形態によるマルチメディア・データの記録方法のフローチャートである。 本発明の一実施形態によるマルチメディア・データ再生装置のブロック図である。 本発明の一実施形態によるマルチメディア・データ再生方法のフローチャートである。
以下、本発明の一実施形態によるマルチメディア・データの記録方法及び装置について説明する。
図1Aは、本発明の一実施形態によるマルチメディア・データ記録装置のブロック図を図示している。
本発明の一実施形態によるマルチメディア・データ記録装置100は、検索対象項目入力部110、場面選択部120、メタデータ生成部130及び記録部140を含む。
検索対象項目入力部110は、ユーザの入力によって、検索対象になるメディアデータの場面を分類するための少なくとも1つの検索対象項目を入力され、検索対象項目を場面選択部120に出力する。
検索対象項目入力部110は、検索対象項目を、データベースまたは既生成のメタデータのうち、少なくともいずれか一つから入力されうる。また、検索対象項目入力部110は、ユーザの入力によって、それぞれの検索対象項目を表現できる少なくとも1つの代表特徴情報をさらに入力されうる。
検索対象項目入力部110は、以下の図2を参照して詳述する。
場面選択部120は、メディアデータと、検索対象項目入力部110からの検索対象項目とを入力され、メディアデータの入力途中で、メディアデータの場面のうち、登録されたそれぞれの検索対象項目に対応する少なくとも1つの場面を選択し、メタデータ生成部130に出力する。
本発明の一実施形態で、メディアデータは、撮影または録画されることによって入力されうる。
図1Bによれば、場面選択部120は、入力されるメディアデータの現在場面を分析し、代表特徴情報と比較される対比情報を抽出する対比情報抽出部121、抽出された対比情報と代表特徴情報との類似度を測定する類似度測定部122、及び類似度が大きければ、現在場面を検索対象項目に対応する場面として選択する場面決定部123を含む。
メタデータ生成部130は、場面選択部120から入力された選択された場面のインデックスまたは再生時点のうち、少なくとも1つである場面情報を含むメタデータを生成し、記録部140に出力する。
メタデータ生成部130の一実施形態は、図面には図示されていないが、場面情報が記録されたメタデータをマルチメディア・データに合うフォーマットに変換するフォーマット変換部をさらに含む。
メタデータ生成部130の一実施形態は、検索対象項目を含むメタデータに生成し、検索対象項目が含まれたメタデータが場面情報を含むように更新する。
また、メタデータ生成部130の他の実施形態は、選択された場面の場面情報、及び検索対象項目との連繋情報を含むメタデータを生成する。
場面選択部120、メタデータ生成部130は、以下の図3を参照しつつ詳述する。
記録部140は、メタデータ生成部130からメタデータを入力されてメディアデータを入力され、メタデータをヘッダ領域に記録して、メディアデータをペイロード領域に記録することによって、マルチメディア・データを生成する。
記録部140の一実施形態は、メディアデータをペイロード領域に記録する同時に、メタデータをヘッダ領域に記録する。
記録部140の他の実施形態は、メディアデータをペイロード領域にいずれも記録した後、メタデータをヘッダ領域に記録する。
記録部140は以下の図3、図4A、図4B及び図6を参照しつつ詳述する。
図面には図示されていないが、マルチメディア・データ記録装置100は、ユーザ要請によって、前記検索対象項目及び前記現在場面を対応させるためのユーザインターフェースをさらに含む。マルチメディア・データ記録装置100が、ユーザインターフェースを有する場合、場面選択部120の一実施形態は、入力されている現在場面を、ユーザがユーザインターフェースを利用して検索対象項目のうち、いずれか一つに対応させることによって、メディアデータの場面を選択する。
また、本発明の一実施形態は、現在記録されているコンテンツが、リアルタイムで再生されたり、所望のマルチメディア・データから検索対象項目を検索して再生できる再生部を含むことができる。
図2は、本発明の一実施形態によるマルチメディア・データ記録装置100の概要を図示している。図2では、マルチメディア・データ記録装置100の一実施形態として、デジタル・カムコーダ200を利用し、検索対象項目入力部110を中心に、マルチメディア・データ記録装置100の機能について詳述する。
デジタル・カムコーダ200は、獲得された画像及び音響情報を含むメディアデータを、マルチメディア・データに記録することによって、マルチメディア・データを生成する。
検索対象項目入力部110の一実施形態は、メディアデータが入力される前、ユーザがあらかじめ検索対象項目をマルチメディア・データ記録装置100の臨時データベースに保存しておく。一実施形態は、メディアデータを登場人物によって処理するために、ユーザが、人物情報210を設定してあらかじめ入力され、デジタル・カムコーダ200のデータベースに保存しておく。人物情報210は、登場人物「父」、「母」、「末っ子」、「長女」を含み、それぞれの人物は、氏名、生年月日、結婚記念日、兄弟関係、職業のような基本細部情報が設定される。
検索対象項目入力部110の一実施形態で、基本細部情報は更新が可能であり、細部情報のヒストリ(history)情報が保存されうる。また、基本細部情報は、XML(extensible markup language)形態で保存されうる。
検索対象項目入力部110の一実施形態は、それぞれの検索対象項目を表現できる少なくとも1つの代表特徴情報をさらに入力される。例えば、人物情報においては、当該人物の声、写真などが代表特徴情報として登録され、類似度測定時に使われる。
デジタル・カムコーダ200が利用する検索対象項目がすでに保存されているデータベースに保存されていたり、現在メタデータにすでに保存されている場合には、データベースまたはメタデータから、検索対象項目を入力されうる。
デジタル・カムコーダ200は、人物情報210を利用して生成された場面情報をメタデータ220に記録し、獲得されたメディアデータ及びメタデータ220を、マルチメディア・データ230に記録する。
再生機器240は、マルチメディア・データ230を再生する。再生機器240は、マルチメディア・データ記録装置200それ自体でもあり、他の再生機器240が、マルチメディア・データ記録装置200によって生成されたマルチメディア・データ230を再生することもできる。
図3は、本発明の一実施形態によるマルチメディア・データ記録装置のメタデータ及びマルチメディア・データの生成または記録方法について説明している。図3を参考にして、場面選択部120、メタデータ生成部130及び記録部140について詳述する。場面選択部120の対比情報抽出部121、類似度測定部122及び場面決定部123の機能も共に説明する。
あらかじめ検索対象項目入力部110が、ユーザによって入力された人物情報を入力され(段階310)、マルチメディア・データ記録装置は100は、臨時保存部またはデータベースに人物情報を保存しておくことができる。
マルチメディア・データ記録装置100にメディアデータが入力されれば(段階310)、メタデータ生成部130は、臨時保存部またはデータベースから人物情報を入力され、メディアデータから人物情報に対応する場面情報を抽出し、検索対象項目に対する場面情報を含むメタデータを生成する(段階330)。
場面情報を含むメタデータを生成する過程(段階330)について順に述べれば、検索対象になる人物が当該場面に含まれているか否かを分析し(段階332)、メタデータ・フォーマットを変換し(段階334)、メタデータを生成したり更新する(段階336)。
さらに詳細に述べれば、場面分析過程(段階332)で、場面選択部120の場面情報抽出部121は、入力されるメディアデータの現在場面を分析し、前記検索対象項目の関連情報を抽出する。また、場面選択部120の類似度測定部122は、抽出された関連情報及び前記メタデータの検索対象項目の代表特徴情報との類似度を測定する。場面選択部120の場面決定部123は、類似度が大きければ、現在場面を検索対象項目に対応する場面として選択する。
場面選択部120の一実施形態は、検索対象項目についての登録された代表特徴情報として人物の写真を具備し、入力されたメディアデータが圧縮された映像である場合、顔認識技法などを介して、メディアデータのIフレーム(in frame)の登場人物と、登録された写真との類似度を測定することによって、分析及び比較する。
また他の実施形態は、入力されるメディアデータの特定シーケンスを指定し、当該シーケンス内の映像での人物だけを分析して類似度を測定する。
入力されるメディアデータが音響である場合、登録された特徴情報である人物の音声と入力された音響との類似度が測定されて判読されうる。
また、人物が頻繁に使用する単語が、人物情報の代表特徴情報として登録された場合、入力されたメディアデータの音響のうち、当該単語が言及されているか否か音響分析を介して分析されうる。
フォーマット変換段階(段階334)で、メタデータ生成部130のフォーマット変換部は、場面情報が記録されたメタデータを、マルチメディア・データに合うフォーマットに変換する。また、メタデータ生成部130の一実施形態は、検索対象項目に対応する場面情報を記録するためのメタデータを、マルチメディア・データフォーマットに合うように新たに生成する。メタデータ生成部130の一実施形態は、メタデータに当該人物が登場した場面の時点を場面情報として記録する。
メタデータ生成または更新過程(段階336)で、メタデータ生成部130の一実施形態は、メタデータの既存情報に場面情報を追加して記録する。メタデータ生成部130の他の実施形態は、既存のメタデータと別個に、場面情報を記録した新しいメタデータを生成する。
記録部140は、メタデータをヘッダ領域に記録し、かつメディアデータをペイロード領域に記録してマルチメディア・データを生成する(段階340)。ペイロード領域にメディアデータが記録され(段階342)、ヘッダ領域にメタデータ領域が記録される(段階344)。
記録部140の一実施形態は、メディアデータ記録(段階342)及びメタデータ記録(段階344)を同時に遂行する。すなわち、メディアデータがペイロード領域に記録されると同時に、メタデータがヘッダ領域に記録される。記録部140の他の実施形態は、メディアデータを記録(段階342)した後に、メタデータを記録(段階344)する。すなわち、メディアデータが、ペイロード領域にいずれも記録された後、メタデータがヘッダ領域に記録される。
以下、図4A及び図4Bを参考にして、マルチメディア・データ記録装置100によって生成されるマルチメディア・データの実施形態について説明する。
図4Aは、本発明の一実施形態によって更新されるメタデータを図示する。
メタデータ生成部130は、場面選択部120で選択された場面の場面情報をメタデータに記録する。
一実施形態は、更新される前のメタデータ402は、検索対象項目(図面での人物情報412及び414)だけ記録されている。一実施形態は、検索対象項目412及び414だけではなく、それぞれの検索対象項目についての細部情報422及び424を含むこともできる。
メタデータ生成部130は、場面選択部120でそれぞれの検索対象項目412及び414について選択された場面情報432及び434を、メタデータ402にさらに記録し、メタデータ404を生成する。従って、本実施形態は、既存のメタデータを更新させる。
図4Bは、本発明の他の実施形態によって生成されるメタデータを図示する。
メタデータ生成部130の一実施形態は、既存検索対象項目(図面での人物情報)が記録されているメタデータ452とは別個に、それぞれの検索対象項目462及び464について選択された場面情報482及び484を記録したメタデータ454を新たに生成する。
従って、検索対象項目462及び464、及びそれぞれの検索対象項目についての細部情報472及び474を含むメタデータ452と別個に、それぞれの検索対象項目についての場面情報482及び484だけを検索対象項目別に分類しておいたメタデータ454が新たに生成されもする。この場合には、新たに生成されたメタデータ454が、既存のメタデータ452の検索対象項目462及び464との連繋情報を含むことができる。
図5は、本発明の一実施形態によってマルチメディア・データが生成される方法に係わるフローチャートを図示している。
段階510で、検索対象項目入力部110は、マルチメディア・データ記録装置100に検索対象項目を入力する。段階520で、マルチメディア・データ記録装置100は、メディアデータを入力される。
段階530で、場面分析部120の対比情報抽出部121は、段階520で入力されたメディアデータを分析し、検索対象項目と比較される対比情報を抽出し、類似度測定部122は、段階510で入力された検索対象項目と抽出された対比情報とを比較する。
段階540で、場面分析部120の場面決定部123は、現在場面の場面情報が新たにメタデータとして追加されるか否かを判断する。
段階550で、メタデータ生成部130の一実施形態は、場面情報を記録するメタデータを新たに生成する。または、メタデータ生成部130の変換部は、場面情報を保存するメタデータをマルチメディア・データフォーマットに変換する。
段階560で、メタデータ生成部130は、既存のメタデータ情報と、新たに追加されたメタデータ情報とを合成する。一実施形態は、検索対象項目についての場面情報が既存の検索対象項目が記録されたメタデータに追加する。他の実施形態は、検索対象項目についての場面情報が記録されたメタデータと別個に、場面情報だけ記録されたメタデータを生成できる。
段階570で、記録部140は、ペイロード領域にメディアデータを記録し、ヘッダ領域にメタデータを記録し、マルチメディア・データを生成する。
段階580で、再生部の一実施形態は、登録された検索対象項目の細部情報を再生する。再生部の他の実施形態は、メタデータに記録された検索対象項目による場面情報を検索し、所望の検索対象項目についての場面だけを再生する。
図6は、本発明の他の実施形態によってマルチメディア・データが生成される方法に係わるフローチャートを図示している。
図6を参照して、記録部140の動作過程について詳述する。図6で、メディアデータは、入力されつつマルチメディア・データに続けて記録されるので、メタデータがメディアデータの記録と同時に記録されるか否かが判断される。
段階610は、段階510と遂行動作が同一である。
段階620は、段階540と遂行動作は同一であり、現在場面情報をメタデータに新たに追加するならば、段階630に進む。現在場面情報がメタデータに追加されないならば、段階625が進められる。
段階625で、現在場面情報をメタデータに追加しないものであるので、メディアデータだけ保存される。
段階630で、メタデータとメディアデータとがマルチメディア・データに同時に記録されるか否かが判断される。もし2つのデータが同時に記録されるならば、段階640に進み、同時に記録されるものではなければ、段階650に進む。
段階640で、マルチメディア・データにメディアデータ及びメタデータが同時に記録される。
段階660で、メディアデータの入力が完了したか否かを判断する。すなわち、メディアデータの記録が完了したか否かを判断する。もしメディアデータの入力が完了したとすれば、段階690に進み、マルチメディア・データの記録が完了する。
メディアデータの入力が完了していないならば、段階640に戻って進められる。
段階650で、メディアデータは、マルチメディア・データに記録され、メタデータは、バッファに臨時保存される。
段階670で、メディアデータの入力が完了、すなわち、メディアデータの記録が完了しているか否かを判断する。
もしメディアデータの入力が完了したとすれば、段階680に進み、メディアデータの入力が完了していないならば、段階660に戻って進められる。
段階680で、バッファに臨時保存されていたメタデータがマルチメディア・データに別途に一度に記録された後、段階690に進み、マルチメディア・データの記録が完了する。
図7は、本発明の一実施形態によって人物情報を検索する方法を図示する。図7を参考にして、再生部の一実施形態の検索対象項目及び基本細部情報の再生機能及び検索機能について説明する。図7は、検索対象項目として、ブックマーク、人物、チャプタを有する場合を例にとる。
アイコン712,714及び716は、検索単位になる検索対象項目を図示している。
アイコン722,724及び726は、人物情報として登録されたそれぞれの人物を示す映像を図示している。
情報734は、選択された人物の基本細部情報であり、映像742,744及び746は、選択された人物の出演場面を図示する。
再生部の一実施形態は、ユーザが特定人物の出演場面を検索したい場合、検索メニュー710の人物アイコン714を選択すれば、下位フレーム720で登録された人物722,724及び726を確認することができる。
ユーザがどの人物726かを選択すれば、再生部は、選択された人物726についての細部情報及び場面情報を表示する情報メニュー730を再生する。選択された人物726についての情報メニュー730は、マルチメディア・データ記録装置100に入力された基本細部情報734を画面に表示し、メタデータに記録された場面時点の場面を表示する映像742,744及び746を画面に表示する。従って、ユーザが出演場面のうち一つを選択すれば、再生部は、その出演時点の場面を検索して再生できる。
図8は、本発明の一実施形態によるマルチメディア・データ記録装置のユーザインターフェースによる場合について説明している。
マルチメディア・データ記録装置100の一実施形態であるデジタル・カムコーダ810は、自主的にマルチメディア・データを再生させることができる再生画面820を有することができる。再生画面820は、検索対象項目のアイコンが羅列された検索メニュー830、及び現在のマルチメディア・データが再生される再生窓840を具備する。
マルチメディア・データ記録装置100の一実施形態は、ユーザ要請によって、検索対象項目及び現在場面を対応させるためのユーザインターフェースを含む。場面選択部120の一実施形態は、入力されている現在場面を、ユーザがユーザインターフェースを利用して、検索対象項目のうち、いずれか一つに対応させることによって、メディアデータの場面を選択する。ユーザインターフェースは、html形態でありうる。
すなわち、説明の便宜のために、デジタル・カムコーダ810を例にとれば、ユーザが現在撮影している映像を再生窓820の1フレーム840を介して確認することができ、再生窓820には、ユーザがあらかじめ登録しておいたそれぞれの検索対象項目が配列されているフレーム830が配されたユーザインターフェースが備わっている。検索対象項目は、人物情報、チャプタ情報などを含む。
ユーザがフレーム840を介して現在撮影されている場面を見ていて、現在場面を特定検索対象項目に対応させたいとき、フレーム830の当該検索対象項目のアイコンを選択すれば、現在場面の場面情報が、当該検索対象項目の場面情報として決定されうる。
ユーザインターフェースの一実施形態は、検索対象項目が選択されるために、それぞれの検索対象項目を示す映像アイコンを含む。映像アイコンは、現在場面を利用して、新しい映像アイコンに更新されうる。
図9は、本発明の一実施形態によるマルチメディア・データの記録方法のフローチャートを図示している。
段階910で、検索対象になるメディアデータの場面を分類するための少なくとも1つの分類基準項目が入力される。
段階920で、メディアデータの入力途中で、それぞれの分類基準項目に対応する少なくとも1つの場面が選択される。
段階930で、選択された場面のインデックスまたは再生時点のうち、少なくとも1つである場面情報がメタデータに記録される。
段階940で、メタデータがヘッダ領域に記録され、メディアデータがペイロード領域に記録され、マルチメディア・データが生成される。
図10は、本発明の一実施形態によるマルチメディア・データ再生装置のブロック図を示している。
一実施形態によるマルチメディア・データ再生装置150は、検索対象項目選択部160、メタデータ決定部170、情報再生部180及び場面再生部190を含む。
図11は、本発明の一実施形態によるマルチメディア・データ再生方法のフローチャートを図示している。
段階1010で、検索対象項目選択部160は、検索する場面の検索対象項目を選択する。
段階1020で、メタデータ決定部170は、検索対象項目に係わるメタデータを決定する。
段階1030で、情報再生部180は、メタデータまたはデータベースのうち、少なくともいずれか一つから、検索対象項目の細部情報または代表特徴情報を抽出して再生する。
段階1040で、場面再生部190は、決定されたメタデータから抽出された場面情報を利用し、マルチメディア・データが再生される。
一方、前述の本発明の実施形態は、コンピュータで実行されうるプログラムとして作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されうる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD−ROM、DVDなど)を含む。

Claims (2)

  1. デジタル撮像装置を用いてマルチメディア・データを記録する方法において、
    デジタル撮像装置を用いて現在撮影されるビデオデータを記録する段階と、
    前記デジタル撮像装置が前記ビデオデータを記録しつつ、現在場面を保存するためのユーザ入力に対応して、前記現在場面のスチルイメージデータを生成する段階と、
    前記スチルイメージデータのインデックスまたは再生時点のうち、少なくとも一つの場面情報を含み、前記ユーザ入力と前記場面情報との間の連繋情報を含む前記スチルイメージデータに対するメタデータを生成する段階と、
    前記デジタル撮像装置が前記ビデオデータを記録しつつ、前記スチルイメージデータ及び前記メタデータを保存する段階とを含むことを特徴とするマルチメディア・データの記録方法。
  2. 前記ユーザ入力は、前記デジタル撮像装置上のユーザインターフェースを介して入力されることを特徴とする請求項1に記載のマルチメディア・データの記録方法。
JP2014030734A 2007-09-11 2014-02-20 メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置 Expired - Fee Related JP5834102B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070092046A KR101268987B1 (ko) 2007-09-11 2007-09-11 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
KR10-2007-0092046 2007-09-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010524769A Division JP5524842B2 (ja) 2007-09-11 2008-03-05 メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置

Publications (2)

Publication Number Publication Date
JP2014157607A true JP2014157607A (ja) 2014-08-28
JP5834102B2 JP5834102B2 (ja) 2015-12-16

Family

ID=40433007

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010524769A Active JP5524842B2 (ja) 2007-09-11 2008-03-05 メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置
JP2014030734A Expired - Fee Related JP5834102B2 (ja) 2007-09-11 2014-02-20 メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010524769A Active JP5524842B2 (ja) 2007-09-11 2008-03-05 メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置

Country Status (8)

Country Link
US (2) US8255395B2 (ja)
EP (2) EP2620882A3 (ja)
JP (2) JP5524842B2 (ja)
KR (1) KR101268987B1 (ja)
CN (2) CN101855628B (ja)
MX (1) MX2010002768A (ja)
MY (1) MY154710A (ja)
WO (1) WO2009035193A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100145971A1 (en) * 2008-12-08 2010-06-10 Motorola, Inc. Method and apparatus for generating a multimedia-based query
KR101333064B1 (ko) * 2009-08-14 2013-11-27 한국과학기술원 멀티미디어 콘텐츠 기술자 추출시스템 및 그 방법
KR20110047768A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치 및 방법
KR101677622B1 (ko) * 2010-03-12 2016-11-18 엘지전자 주식회사 영상 표시 방법 및 그 장치
KR101007645B1 (ko) * 2010-06-01 2011-01-13 주식회사 넥스토디아이 인덱싱 기능을 갖는 데이터 저장 장치 및 인덱싱 방법
SE537206C2 (sv) * 2012-04-11 2015-03-03 Vidispine Ab Metod och system för sökningar i digitalt innehåll
KR101997224B1 (ko) * 2012-11-01 2019-07-05 주식회사 케이티 장면 기반의 메타데이터를 생성하는 장치 및 방법
KR20210039394A (ko) * 2018-07-31 2021-04-09 마벨 아시아 피티이 엘티디. 스토리지 에지에서의 메타데이터 생성
US11200196B1 (en) 2018-10-10 2021-12-14 Cigna Intellectual Property, Inc. Data archival system and method
CN110636330B (zh) * 2019-09-20 2021-10-26 深圳市梦网视讯有限公司 基于压缩信息的片源场景复杂度分析方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167110A (ja) * 1999-12-08 2001-06-22 Matsushita Electric Ind Co Ltd 画像検索方法及びその装置
JP2005293339A (ja) * 2004-04-01 2005-10-20 Sony Corp 情報処理装置および情報処理方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
TW303569B (ja) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
JP3780623B2 (ja) * 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
KR100636910B1 (ko) 1998-07-28 2007-01-31 엘지전자 주식회사 동영상검색시스템
KR100326337B1 (ko) * 1998-09-05 2002-09-12 엘지전자주식회사 재기록가능기록매체의데이터재생순서정보의생성기록방법
WO2000016243A1 (en) 1998-09-10 2000-03-23 Mate - Media Access Technologies Ltd. Method of face indexing for efficient browsing and searching ofp eople in video
US6580683B1 (en) * 1999-06-23 2003-06-17 Dataplay, Inc. Optical recording medium having a master data area and a writeable data area
EP1962511A3 (en) * 2000-04-05 2010-10-27 Sony United Kingdom Limited Audio and/or video generation apparatus and method using a list of content items
GB0029880D0 (en) 2000-12-07 2001-01-24 Sony Uk Ltd Video and audio information processing
EP1973294A1 (en) * 2001-01-30 2008-09-24 Electronics and Telecommunications Research Institute Method and apparatus for delivery of metadata synchronized to multimedia contents
KR100919340B1 (ko) * 2001-09-07 2009-09-25 인터그래프 소프트웨어 테크놀로지스 캄파니 비디오 이미지의 역다중화 방법, 장치 및 컴퓨터 프로그램제품
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
KR100512275B1 (ko) 2002-01-17 2005-09-02 엘지전자 주식회사 멀티미디어 객체의 특징 기술정보 생성방법
JP4335492B2 (ja) 2002-03-05 2009-09-30 キヤノン株式会社 動画像管理方法及び装置
JP2003281163A (ja) 2002-03-26 2003-10-03 Canon Inc 画像処理装置及び画像処理方法、記憶媒体
US7284188B2 (en) * 2002-03-29 2007-10-16 Sony Corporation Method and system for embedding MPEG-7 header data to improve digital content queries
JPWO2003088665A1 (ja) * 2002-04-12 2005-08-25 三菱電機株式会社 メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法
JP4065142B2 (ja) * 2002-05-31 2008-03-19 松下電器産業株式会社 オーサリング装置およびオーサリング方法
US7362919B2 (en) 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
JP2004282114A (ja) 2003-03-12 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> コンテンツ配信方法、コンテンツ配信装置及びコンテンツ配信プログラム
JP4332364B2 (ja) * 2003-04-04 2009-09-16 ソニー株式会社 映像記録システム,映像記録方法
US20050207658A1 (en) * 2004-03-05 2005-09-22 Nortel Networks Limited Method and apparatus for extracting information from a medical image
JP2005332376A (ja) * 2004-04-22 2005-12-02 Fuji Xerox Co Ltd 情報処理装置、システム、情報処理方法およびプログラム
JP2006054002A (ja) 2004-08-12 2006-02-23 Konica Minolta Photo Imaging Inc 記録プログラム及び記録装置
JP2006072835A (ja) 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd マルチメディアファイル生成・記録装置とその生成・記録方法
JP2006171891A (ja) 2004-12-13 2006-06-29 Konica Minolta Holdings Inc 画像管理装置、画像管理方法、および画像管理プログラム
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
KR101029073B1 (ko) 2005-11-14 2011-04-18 삼성전자주식회사 확장 검색 기능을 제공하기 위한 메타데이터가 기록된 저장매체 및 재생 장치
KR100782810B1 (ko) * 2005-01-07 2007-12-06 삼성전자주식회사 확장 검색 기능을 제공하기 위한 메타데이터가 기록된 저장매체를 재생하는 방법 및 장치
JP4561453B2 (ja) * 2005-04-19 2010-10-13 株式会社日立製作所 記録再生装置、記録再生方法
JP2007049332A (ja) 2005-08-09 2007-02-22 Sony Corp 記録再生装置および記録再生方法、並びに、記録装置および記録方法
JP2007052575A (ja) 2005-08-17 2007-03-01 Konica Minolta Holdings Inc メタデータ付与装置およびメタデータ付与方法
US7873356B2 (en) * 2005-09-16 2011-01-18 Microsoft Corporation Search interface for mobile devices
KR100686521B1 (ko) 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
KR100701163B1 (ko) 2006-08-17 2007-03-29 (주)올라웍스 디시젼 퓨전을 이용하여 디지털 데이터 내의 인물 식별을통해 태그를 부여 하고 부가 태그를 추천하는 방법
KR20080044638A (ko) * 2006-11-17 2008-05-21 삼성전자주식회사 촬영장치 및 그 모드 자동설정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167110A (ja) * 1999-12-08 2001-06-22 Matsushita Electric Ind Co Ltd 画像検索方法及びその装置
JP2005293339A (ja) * 2004-04-01 2005-10-20 Sony Corp 情報処理装置および情報処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200100469001; 中村 一二: 'GPS装置を利用した映像情報収集システム' 第56回(平成10年前期)全国大会講演論文集(3) 平成10年3月17日〜19日 , 19980319, 3-31〜3-32ページ, 社団法人情報処理学会 *
JPN6015003222; 中村 一二: 'GPS装置を利用した映像情報収集システム' 第56回(平成10年前期)全国大会講演論文集(3) 平成10年3月17日〜19日 , 19980319, 3-31〜3-32ページ, 社団法人情報処理学会 *

Also Published As

Publication number Publication date
US20090070364A1 (en) 2009-03-12
EP2620882A3 (en) 2013-10-09
KR101268987B1 (ko) 2013-05-29
KR20090026942A (ko) 2009-03-16
CN103207909A (zh) 2013-07-17
EP2188738A4 (en) 2011-03-23
US20120257869A1 (en) 2012-10-11
CN101855628B (zh) 2014-08-20
MX2010002768A (es) 2010-03-31
WO2009035193A1 (en) 2009-03-19
MY154710A (en) 2015-07-15
EP2620882A2 (en) 2013-07-31
CN101855628A (zh) 2010-10-06
JP5834102B2 (ja) 2015-12-16
US8255395B2 (en) 2012-08-28
EP2188738A1 (en) 2010-05-26
JP5524842B2 (ja) 2014-06-18
JP2010539628A (ja) 2010-12-16

Similar Documents

Publication Publication Date Title
JP5834102B2 (ja) メタデータを自動的に生成/更新するマルチメディア・データの記録方法及び装置
JP5087867B2 (ja) 情報処理装置および方法、並びにプログラム
TWI259719B (en) Apparatus and method for reproducing summary
RU2440606C2 (ru) Способ и устройство автоматического генерирования сводки множества изображений
KR101382954B1 (ko) 정보 처리 장치와 방법 및 프로그램이 기록된 기록 매체
US7917020B2 (en) Information processing device and method, photographing device, and program
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
JP2011170690A (ja) 情報処理装置、情報処理方法、およびプログラム。
JP2006244002A (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2011239141A (ja) 情報処理方法、情報処理装置、情景メタデータ抽出装置、欠損補完情報生成装置及びプログラム
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
JP2005525608A (ja) 高音質のサウンドを用いたビデオ・インデキシング方法
JP2004153764A (ja) メタデータ制作装置及び検索装置
TWI301268B (en) Storage medium including meta information for search and device and method of playing back the storage medium
RU2345428C2 (ru) Устройство и способ для отображения фотоданных и видеоданных
KR20120137376A (ko) 카테고리 생성 프로그램, 카테고리 생성 장치 및 카테고리 생성 방법
JP4968249B2 (ja) 情報処理装置及び方法、並びにプログラム
JP4561877B2 (ja) 画像再生装置及び方法、並びにプログラム
TWI497959B (zh) Scene extraction and playback system, method and its recording media
JP5392584B2 (ja) 情報処理装置および方法、並びにプログラム
JP2011193386A (ja) 電子機器及び画像処理方法
JP2014179943A (ja) 再生装置、再生方法、再生制御方法
JP2017211995A (ja) 再生装置、再生方法、再生プログラム、音声要約装置、音声要約方法および音声要約プログラム
JP2008048054A (ja) 動画生成方法、プログラムおよび装置
JP2022076078A (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151030

R150 Certificate of patent or registration of utility model

Ref document number: 5834102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees