JP6811811B1 - メタデータ生成システム、映像コンテンツ管理システム及びプログラム - Google Patents
メタデータ生成システム、映像コンテンツ管理システム及びプログラム Download PDFInfo
- Publication number
- JP6811811B1 JP6811811B1 JP2019125237A JP2019125237A JP6811811B1 JP 6811811 B1 JP6811811 B1 JP 6811811B1 JP 2019125237 A JP2019125237 A JP 2019125237A JP 2019125237 A JP2019125237 A JP 2019125237A JP 6811811 B1 JP6811811 B1 JP 6811811B1
- Authority
- JP
- Japan
- Prior art keywords
- character
- video content
- recognition
- unit
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims abstract description 67
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 241001465754 Metazoa Species 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
即ち、従来の、メタデータを利用した映像コンテンツ検索システムにあっては、テレビ等の全放送番組を、放送局コード及び秒を基準とするタイムコードを付して映像と対応させた状態で録画し、録画された放送番組情報からメタデータ化し、メタデータにより使用者が指定した映像情報を、映像に付された放送局コード及び秒単位のタイムコードを基に抽出するように構成されていた。
利用者の端末から視聴要求を受け付けた場合、その視聴要求に応じたメタデータを特定し、当該メタデータを検索キーにして、保存されている大量の映像コンテンツの中から一又は所定の複数の映像コンテンツを検索し、検索によりヒットした一又は所定の複数の映像コンテンツを利用者の端末で視聴可能とする。
その結果、放送映像に存在する、急峻な「シーンチェンジ」等の場合や、「サブリミナル映像」に関しても、映像の抽出、検索、分析が可能となり、また、災害等の映像を事後的に検証分析するような場合、災害原因の究明において、映像の秒単位の分析では充分な分析が不可能な場合であっても有効に対応することが可能となる。
[構成]
[映像コンテンツ管理システム]
図1に示す一実施形態の映像コンテンツ管理システム100は、受信部110と、映像コンテンツ保存部120と、一実施形態のメタデータ生成システム130と、映像コンテンツ管理部140と、要求受付部150と、を有する。
メタデータ生成システム130は、認識部131と、テキスト化部138と、メタデータ作成部139、とを有する。
また、物体認識専用機械学習部137は、そのニュース番組の画面レイアウトを考慮して用意された学習用データD3を用いて、そのニュース番組内で表示される人物(キャスターやコメンテータ)又は映像構成要素(建物、車両、飛行機、等)及びその背景情報をより高精度に認識できるように機械学習する。
また、音声認識専用機械学習部135は、そのニュース番組に登場する人物(キャスターやコメンテータ)の音声に基づいて用意された学習用データD2を用いて、そのニュース番組内でのその人物の音声をより高精度に認識できるように機械学習する。
この場合、学習用データD1、D3は、ニュース番組単位或いは番組中のコーナー単位又は記事単位ごとの画面レイアウトを考慮して用意される。学習用データD2は、ニュース番組単位或いは番組中のコーナー単位ごとの登場人物の音声に基づいて用意される。
つぎに、上記のように構成された映像コンテンツ管理システム100における処理の流れを、図2から図6のフローチャートに従って説明する。
映像コンテンツ保存処理S2は、映像コンテンツ受信処理S1により受信した映像コンテンツを保存する処理である。
映像コンテンツ管理処理S4は、映像コンテンツ保存部120に保存されている全ての映像コンテンツを、メタデータ生成処理S3により生成されたメタデータと関連付けて検索可能に管理する処理である。
要求受付処理S5は、利用者の端末400から視聴要求を受け付ける処理である。
映像コンテンツ受信処理S1、映像コンテンツ保存処理S2、メタデータ生成処理S3及び映像コンテンツ管理処理S4が繰り返し実行されることにより、映像コンテンツ保存部120に大量の映像コンテンツが保存されていくとともに、映像コンテンツ保存部120に保存されている大量の全ての映像コンテンツがメタデータと関連付けて検索可能に管理されるようになる。
認識ステップS31は、映像コンテンツ保存部120に保存されている各映像コンテンツに含まれる認識対象を認識するステップである。認識ステップS31では、文字認識処理(図4)と、音声認識処理(図5)と、物体認識処理(図6)と、が実行される。
テキスト化ステップS32では、認識ステップS31により認識した認識対象(文字又は文字列、音声、物体)に基づいてテキスト情報が生成される。
メタデータ作成ステップS33では、テキスト化ステップS32により生成されたテキスト情報に基づいて各映像コンテンツのメタデータが作成される。
上記のように、本実施形態のメタデータ生成システム130は、テレビ放送またはインターネット配信により提供され、映像コンテンツ保存部120に保存された各映像コンテンツに画像として含まれる文字又は文字列を文字認識部132で認識し、各映像コンテンツに含まれる音声を音声認識部134で認識し、各映像コンテンツに画像として含まれる物体を物体認識部136で認識する。そして、認識した文字又は文字列、音声及び物体に基づいてテキスト情報を生成し、そのテキスト情報に基づいて各映像コンテンツのメタデータを生成する。
120 映像コンテンツ保存部
130 メタデータ生成システム
132 文字認識部
133 文字認識専用機械学習部
134 音声認識部
135 音声認識専用機械学習部
136 物体認識部
137 物体認識専用機械学習部
138 テキスト化部
139 メタデータ作成部
140 映像コンテンツ管理部
150 要求受付部
D1 学習用データ
D3 学習用データ
D2 学習用データ
S31 認識ステップ
S311a 文字認識ステップ
S311b 文字認識専用機械学習ステップ
S312a 音声認識ステップ
S312b 音声認識専用機械学習ステップ
S313a 物体認識ステップ
S313b 物体認識専用機械学習ステップ
S32 テキスト化ステップ
S33 メタデータ作成ステップ
Claims (6)
- テレビ放送またはインターネット配信により提供された映像コンテンツに関するメタデータを生成するメタデータ生成システムであって、
前記映像コンテンツに画像として含まれる文字又は文字列を認識する文字認識部と、
前記映像コンテンツに含まれる音声を認識する音声認識部と、
前記映像コンテンツに画像として含まれる前記文字又は文字列以外の映像構成要素としての物体を認識する物体認識部と、
前記文字認識部により認識した文字又は文字列及び前記音声認識部により認識した音声に基づいてテキスト情報を生成するテキスト化部と、
前記テキスト化部により生成されたテキスト情報に基づいて前記映像コンテンツのメタデータを作成するメタデータ作成部と、を有し、
前記文字認識部は、前記文字又は文字列の認識処理を繰り返す毎に、認識対象とされるべき文字又は文字列とその認識結果とに基づいて、文字又は文字列の認識精度がより高くなるように機械学習する文字認識専用機械学習部を有し、
前記音声認識部は、前記音声の認識処理を繰り返す毎に、認識対象とされるべき音声とその認識結果とに基づいて、音声の認識精度がより高くなるように機械学習する音声認識専用機械学習部と、
前記物体認識部は、前記物体の認識処理を繰り返す毎に、認識対象とされるべき物体とその認識結果とに基づいて、物体の認識精度がより高くなるように機械学習する物体認識専用機械学習部を有し、
前記テキスト化部は、前記文字認識部により認識した文字又は文字列、前記音声認識部により認識した音声及び前記物体認識部により認識した物体に基づいてテキスト情報を生成し、
前記映像コンテンツは、ニュース番組であり、
前記文字又は文字列は、前記ニュース番組内で表示されるヘッドライン又はテロップに含まれる文字又は文字列であり、
前記音声は、前記ニュース番組内での人物の音声であり、
前記物体は、前記ニュース番組内で表示される前記文字又は文字列以外の映像構成要素であり、
前記文字認識専用機械学習部及び物体認識専用機械学習部は、前記映像コンテンツの画面レイアウトを考慮して用意された学習用データを用いて機械学習し、
前記音声認識専用機械学習部は、前記人物の音声に基づいて用意された学習用データを用いて機械学習することを特徴とするメタデータ生成システム。 - 前記文字認識部、前記音声認識部及び物体認識部は、映像コンテンツを構成するフレーム単位で文字又は文字列、音声及び物体を認識することを特徴とする請求項1記載のメタデータ生成システム。
- 前記映像構成要素は背景映像を含み、前記背景映像は、風景、建築物、自然、商標、ロゴ、通行人、動物又は交通手段を含むことを特徴とする請求項2記載のメタデータ生成システム。
- 請求項1から3のいずれか一項に記載のメタデータ生成システムにより生成されたメタデータを用いて、大量の映像コンテンツを検索可能に管理する映像コンテンツ管理システムであって、
テレビ放送またはインターネット配信により提供された大量の映像コンテンツを保存する映像コンテンツ保存部と、
前記映像コンテンツ保存部に保存されている全ての映像コンテンツを前記メタデータと関連付けて管理する映像コンテンツ管理部と、
利用者の端末から視聴要求を受け付ける要求受付部と、を有し、
前記映像コンテンツ管理部は、前記要求受付部が受け付けた利用者からの視聴要求に応じた前記メタデータを特定し、当該メタデータを検索キーにして前記映像コンテンツ保存部に保存されている大量の映像コンテンツの中から一又は所定の複数の映像コンテンツを検索し、検索によりヒットした一又は所定の複数の映像コンテンツを前記利用者の端末で視聴可能とする映像コンテンツ管理システム。 - 請求項1から3のいずれか一項に記載のメタデータ生成システムをコンピュータを用いて実現するためのプログラム。
- 請求項4に記載の映像コンテンツ管理システムをコンピュータを用いて実現するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019125237A JP6811811B1 (ja) | 2019-07-04 | 2019-07-04 | メタデータ生成システム、映像コンテンツ管理システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019125237A JP6811811B1 (ja) | 2019-07-04 | 2019-07-04 | メタデータ生成システム、映像コンテンツ管理システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6811811B1 true JP6811811B1 (ja) | 2021-01-13 |
JP2021012466A JP2021012466A (ja) | 2021-02-04 |
Family
ID=74096239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019125237A Active JP6811811B1 (ja) | 2019-07-04 | 2019-07-04 | メタデータ生成システム、映像コンテンツ管理システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6811811B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022164421A (ja) * | 2021-04-16 | 2022-10-27 | Jcc株式会社 | 放送録画装置及び放送録画装置用プログラム |
KR20240085754A (ko) * | 2022-12-08 | 2024-06-17 | 삼성전자주식회사 | 디스플레이 장치 및 그 동작 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07322184A (ja) * | 1994-05-20 | 1995-12-08 | Olympus Optical Co Ltd | 登録装置及び登録装置を用いた画像ファイリング装置 |
JP5276610B2 (ja) * | 2010-02-05 | 2013-08-28 | 日本放送協会 | 言語モデル生成装置、そのプログラムおよび音声認識システム |
JP2011239141A (ja) * | 2010-05-10 | 2011-11-24 | Sony Corp | 情報処理方法、情報処理装置、情景メタデータ抽出装置、欠損補完情報生成装置及びプログラム |
JP5777178B2 (ja) * | 2013-11-27 | 2015-09-09 | 国立研究開発法人情報通信研究機構 | 統計的音響モデルの適応方法、統計的音響モデルの適応に適した音響モデルの学習方法、ディープ・ニューラル・ネットワークを構築するためのパラメータを記憶した記憶媒体、及び統計的音響モデルの適応を行なうためのコンピュータプログラム |
JP6344849B2 (ja) * | 2014-06-26 | 2018-06-20 | 日本放送協会 | 映像識別器学習装置、及びプログラム |
JP6609181B2 (ja) * | 2015-12-25 | 2019-11-20 | 日本放送協会 | 文字属性推定装置、及び文字属性推定プログラム |
JP6779641B2 (ja) * | 2016-03-18 | 2020-11-04 | 株式会社Spectee | 画像分類装置、画像分類システム及び画像分類方法 |
JP6857983B2 (ja) * | 2016-08-25 | 2021-04-14 | Jcc株式会社 | メタデータ生成システム |
JP7121378B2 (ja) * | 2017-09-26 | 2022-08-18 | Jcc株式会社 | 映像管理方法、映像管理装置、及び映像管理システム |
-
2019
- 2019-07-04 JP JP2019125237A patent/JP6811811B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021012466A (ja) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101994592B1 (ko) | 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템 | |
US10631063B2 (en) | Systems and method for using closed captions to initiate display of related content on a second display device | |
US10567834B2 (en) | Using an audio stream to identify metadata associated with a currently playing television program | |
US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
JP4920395B2 (ja) | 動画要約自動作成装置、方法、及びコンピュータ・プログラム | |
US20070136755A1 (en) | Video content viewing support system and method | |
US8930308B1 (en) | Methods and systems of associating metadata with media | |
JP2003157288A (ja) | 情報関連付け方法、端末装置、サーバ装置、プログラム | |
JP2003504952A (ja) | ビデオセグメントを別のビデオセグメント又は情報源にリンキングさせる方法及び装置 | |
KR101916874B1 (ko) | 자동으로 동영상 하이라이트 영상의 제목을 생성하는 방법, 장치 및 컴퓨터 판독가능 기록 매체 | |
CN102867042A (zh) | 多媒体文件搜索方法及装置 | |
CN109408672B (zh) | 一种文章生成方法、装置、服务器及存储介质 | |
JP6811811B1 (ja) | メタデータ生成システム、映像コンテンツ管理システム及びプログラム | |
JP2017538328A (ja) | プロモーション情報の処理方法、装置、デバイス及びコンピュータ記憶媒体 | |
US20030193518A1 (en) | System and method for creating interactive content at multiple points in the television prodction process | |
CN113438492B (zh) | 直播中的题目生成方法、***、计算机设备及存储介质 | |
CN107180058B (zh) | 一种用于基于字幕信息进行查询的方法和装置 | |
US10296533B2 (en) | Method and system for generation of a table of content by processing multimedia content | |
WO2015094311A1 (en) | Quote and media search method and apparatus | |
CN115209211A (zh) | 字幕显示方法、装置、电子设备、存储介质及程序产品 | |
Ronfard | Reading movies: an integrated DVD player for browsing movies and their scripts | |
JP2022088788A (ja) | メタデータ生成システム、映像コンテンツ管理システム及びプログラム | |
CN106815288A (zh) | 一种视频相关信息生成方法及其装置 | |
CN116781971A (zh) | 视频播放方法及装置 | |
CN116932816A (zh) | 视频处理方法、装置、计算机可读介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6811811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |