JP2019061428A - 映像管理方法、映像管理装置、及び映像管理システム - Google Patents

Abstract

【課題】人の手によることなく映像のメタデータを生成でき、映像の蓄積量と映像利用の利便性の両立的向上を図ることができる映像管理技術を提供することこと。
【解決手段】本発明では、映像データを再利用可能に管理する映像管理方法において、前記映像データに含まれる映像要素を認識する認識ステップと、前記映像要素のテキストデータを生成するテキスト化ステップと、前記映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する文章化ステップと、前記映像データと前記メタデータとを対応付けて記憶部に記憶させる記憶ステップと、前記記憶部のメタデータの中から利用者の要求に応じたメタデータを特定するメタデータ特定ステップと、前記特定したメタデータと対応する映像データを前記記憶部から抽出し特定映像データとして出力する映像出力ステップと、を備えるようにした。
【選択図】 図２

Description

本発明は、映像を再利用可能に記録する映像管理技術に関し、特に、映像に関わるテキストデータを用いて映像を特定して出力する映像管理方法、映像管理装置、及び映像管理システムに関する。

従来、録画装置やその他の映像管理装置の限りある記憶媒体資源を出来る限り効率的に利用するようにして、複数の放送局で放送された映像を継続的に蓄積し、また、映像の利用に際して、利用者が所望する映像を適切に抽出できるようにした映像管理装置が提案されている（特許文献１）。

特許文献１の映像管理装置にあっては、蓄積した映像を特定可能な情報をメタデータとして生成し、利用者が指定したキーワードと関連するメタデータを特定することにより、そのメタデータにより特定される映像を抽出するようになっている。

特開２００８−７９２６３号公報

映像管理装置は、映像の蓄積量のほか、映像利用の利便性及び汎用性も重要である。メタデータを用いると、蓄積された映像の中から所望の映像を抽出することが容易となり、映像利用の利便性が高められる。しかし、メタデータは、映像の蓄積量に比例して作成すべき量が多くなる。

従来、メタデータは、人の手によって映像の内容が要約されテキスト化されることで作成されており、映像の蓄積量と映像利用の利便性の両立的向上は容易ではなかった。

本発明は上記事情に鑑みてなされたもので、人の手によることなく映像のメタデータを生成でき、映像の蓄積量と映像利用の利便性の両立的向上を図ることができる映像管理方法、映像管理装置、及び映像管理システムを提供することを課題とする。

上述した課題を解決するため、請求項１に記載の発明は、映像データを再利用可能に管理する映像管理方法において、前記映像データに含まれる映像要素を認識する認識ステップと、前記映像要素のテキストデータを生成するテキスト化ステップと、前記映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する文章化ステップと、前記映像データと前記メタデータとを対応付けて記憶部に記憶させる記憶ステップと、前記記憶部のメタデータの中から利用者の要求に応じたメタデータを特定するメタデータ特定ステップと、前記特定したメタデータと対応する映像データを前記記憶部から抽出し特定映像データとして出力する映像出力ステップと、を備えることを特徴としている。

「映像要素」は、例えば、映像データに含まれる番組の放送局や動画コンテンツの配信元、映像のタイトルやコーナー、タイムコード、映像に含まれる人物、音声、音楽、解説や字幕などの文字、動物やロゴマークやキャラクターなどの形状、建物や乗り物などの構造物等、予め映像に含まれている映像の構成要素である。
なお、タイムコードは、放送局等により予め映像に付加され映像の時間軸上の位置を特定可能な情報である。

「認識」は、例えば、顔認識、音声認識、音認識、文字認識、形状認識、構造認識などである。なお、音声認識は、周波数の違いによって人物等の声とそれ以外の環境音の区別が可能となっており、また、音認識も同様に声と環境音の区別が可能となっている。

「メタデータ」は、番組やその中のコーナーごと、映画の１作品ごと、或いは映像の所定数のフレームごとに生成され、１つのメタデータの長さは適宜選択される。

「テキスト化ステップ」では、映像要素を正確に文字に置き換えるために、映像要素を特定可能な文字を生成し、これを「映像要素のテキストデータ」としている。テキストデータの生成に際し、上記の認識の技術や形態素解析が用いられている。

「文章化ステップ」では、文章化アルゴリズムにより、映像要素のテキストデータを取捨選択して映像の内容を文章化している。文章化アルゴリズム並びに上記の認識及び形態素解析は、深層学習（deep learning）等のAI（artificial intelligence）的な機能を利用している。

上述した課題を解決するため、請求項２に記載の発明は、映像データを再利用可能に管理する映像管理装置において、前記映像データに含まれる映像要素を認識し、映像要素のテキストデータを生成するテキスト化処理部と、前記映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する文章化処理部と、前記映像データと前記メタデータとを対応付けて記憶する記憶部と、前記記憶部のメタデータの中から利用者の要求に応じたメタデータを特定し、特定したメタデータと対応する映像データを前記記憶部から抽出し特定映像データとして出力する映像特定部と、を備えることを特徴としている。

「映像要素」、「タイムコード」、「認識」、及び「メタデータ」については、請求項１の場合と同様である。

「テキスト化処理部」は、映像要素を正確に文字に置き換えるために、映像要素を特定可能な文字を生成し、これを「映像要素のテキストデータ」としている。テキストデータの生成に際し、上記の認識の技術や形態素解析が用いられている。

「文章化処理部」は、文章化アルゴリズムにより、映像要素のテキストデータを取捨選択して映像の内容を文章化している。文章化アルゴリズム並びに上記の認識及び形態素解析は、深層学習（deep learning）等のAI（artificial intelligence）的な機能を有している。

請求項３に記載の発明は、請求項２に記載の映像要素として、少なくとも映像に含まれる人物の顔、音声、及び形状を用いることを特徴としている。

請求項４に記載の発明は、請求項２又は請求項３に記載の構成に加えて、前記文章化処理部は、前記メタデータを指定された文字数に要約することを特徴としている。

「要約」は、例えば、文字数の指定に基づいて行われる。例えば、要約の文字数として４００文字が指定されると、４００文字を超えない範囲で映像の要約が行われる。

番組や映画などの映像データに予め映像の概要が含まれている場合は、その概要を要約の対象とし、また、その映像の概要が指定された文字数を超えている場合は、その概要を指定された文字数に編集したりすることも可能となっている。映像データに映像の概要が含まれていない場合は、例えば、所定の条件に基づいて要約を作成している。

請求項５に記載の発明は、請求項２乃至請求項４の何れか１項に記載の構成に加えて、第一に、前記文章化処理部は、前記メタデータの所定の位置に、前記メタデータと対応する映像データの開始から終了までの時間情報及び開始からカウントした時間情報を付加することを特徴としている。

文章化処理部は、メタデータが１つの番組ごとに生成されている場合は、例えば、番組のメタデータに含まれる各々のコーナーの開始位置に、番組の開始からカウントした経過時間を付加する。
なお、この時間情報の付与に際し、映像の配信元である放送局などにより付されたタイムコードを活用できるようになっている。

請求項６に記載の発明は、請求項２乃至請求項５の何れか１項に記載の構成に加えて、前記映像特定部は、前記メタデータの特定部分の指定を受け付け、指定を受けたメタデータの特定部分に対応する部分的な映像データを特定し、特定した部分的な映像データを前記特定映像データとすることを特徴としている。

前記映像特定部は、利用者により、例えば番組のメタデータに含まれる特定のコーナーやコーナー内の特定の部分の指定を受けると、メタデータの指定された部分と対応する映像データの部分を特定して出力する。このメタデータの特定部分の指定は、映像管理装置に接続された利用端末を用いて行えるようになっている。

請求項７に記載の発明は、請求項２乃至請求項６の何れか１項に記載の構成に加えて、前記映像特定部は、前記メタデータの特定部分の指定を受け付け、指定を受けたメタデータの特定部分に対応する部分的な映像データを特定し、特定した部分的な映像データを互いに結合し又は除去して編集映像データを生成し、生成した編集映像データを前記特定映像データとすることを特徴としている。

映像データとメタデータの互いの関連付けは、時間、テーマ、コーナーなどの所定のまとまりごとに行われており、そのまとまりごとに結合又は除去できるようになっている。

請求項８に記載の発明は、請求項７に記載の構成に加えて、前記テキスト化処理部は、前記編集映像データに含まれる映像要素を認識することにより、映像要素の二次テキストデータを生成し、前記文章化処理部は、前記映像要素の二次テキストデータを用いて文章を構成することにより、映像内容の二次メタデータを生成し、前記記憶部は、前記編集映像データと前記二次メタデータとを対応付けて記憶し、前記映像特定部は、前記記憶部のメタデータの中から利用者の要求に応じた二次メタデータを特定し、特定した二次メタデータと対応する編集映像データを特定映像データとして出力することを特徴としている。

「二次メタデータ」は、映像の編集後の内容に関するメタデータであり、この二次メタデータも要約の対象となる。

請求項９に記載の発明は、請求項２乃至請求項８の何れか１項に記載の構成に加えて、前記映像特定部は、前記メタデータのうち予め設定された条件を満たす部分を要部メタデータとし、前記映像データの中から前記要部メタデータと対応する部分的な映像データを特定し、特定した部分的な映像データを前記特定映像データとすることを特徴としている。

「条件」は、利用者により設定され、また、映像のジャンルやその他の特徴ごとに内部的に設定される。

請求項１０に記載の発明は、請求項２乃至請求項９の何れか１項に記載の構成に加えて、前記メタデータを指定された他言語に翻訳する翻訳部を備えることを特徴としている。

翻訳元の言語は、例えば、音声に関しては映画やニュースなどの映像に含まれている言語とされ、翻訳先の言語は利用者等により指定されるもので「日本語」、「英語」、「中国語」など適宜選択できるようになっている。
また、人物や建築物などの文字以外の映像要素のメタデータについては、映像要素のテキスト化やこれを用いた文章化精度が高くなる言語で作成しておき、メタデータの作成後に任意の指定された言語にメタデータを翻訳することも可能となっている。
なお、手作業で翻訳されたメタデータを映像と関連付けて記憶させることもできるようになっている。

請求項１１に記載の発明は、請求項２乃至請求項１０の何れか１項に記載の構成に加えて、前記記憶部は、前記映像データに含まれない追加データを記憶可能に構成され、前記映像データ、メタデータ、及び追加データを互いに関連付けた包括データを記憶することを特徴としている。

追加データは、例えば、映像の利用契約の内容や映像の提供先の情報など、提供を受けた際に映像データに含まれていなかったデータである。包括データに、様々な映像要素の認識結果や映像要素のテキストデータを含めるようにしてもよい。

請求項１２に記載の発明は、映像管理システムにおいて、請求項２乃至請求項１１の何れか１項に記載の映像管理装置と、前記映像データを受信する受信装置と、前記利用者の要求を前記映像特定部に送り、前記映像特定部により出力された映像データを受け取り、受け取った映像データに基づいて映像を再生可能に又は受け取った映像データを記憶媒体に保存可能に構成された利用端末と、を備えることを特徴としている。

「受信装置」は、地上放送番組、衛星放送番組、及びインターネットを介して配信される映像のうち少なくとも何れか１つを受信可能に構成され、好ましくは、これら全ての映像を受信可能に構成されることが映像の利用価値を高める観点から好ましい。

「利用端末」は、映像管理装置に検索ワードやメタデータの範囲指定を伝達するために使用されるキーボードやマウスなどの操作デバイス、映像管理装置から受け取った映像データを記憶するハードディスク、映像データに基づいて映像を再生する映像処理部、映像を表示するディスプレイ、映像の記録媒体の接続ポートなどを有するパーソナルコンピューターを適用できる。

請求項１に記載の映像管理方法又は請求項２に記載の映像管理装置によれば、先ず、映像を構成する音声や人物などの映像要素が認識され、映像要素のテキストデータが生成される。

次いで、映像要素のテキストデータを用いて映像の内容が文章化され、これがメタデータとなる。このため、メタデータは、映像要素のテキストデータと違い映像内容に沿った正確なものとなり、また、精度を高めることにより、人の手によって総合的に判断され文章化されたメタデータと同様のメタデータとすることもできる。メタデータは、利用者の要求に応じた映像の抽出に用いられる。

従って、請求項１に記載の映像管理方法又は請求項２に記載の映像管理装置によれば、映像の蓄積量に比例して作成すべき量が多くなるメタデータを人の手によることなく生成でき、映像の蓄積量と映像利用の利便性の両立的向上を図ることができる。その結果、大量の映像をメタデータを介して容易に利用することが可能になる。

また、メタデータは、映像の内容が文章化されたものであるため、映像の抽出の用途のみならずメタデータ自体に商品価値がある。例えば、車両の不具合に関するニュースやその他の番組のメタデータは、車両関連の開発会社にとって改善案の検討資料となるため、メタデータ自体が価値ある商品として流通の対象となる。

請求項３に記載の映像管理装置によれば、映像要素として、少なくとも映像に含まれる人物の顔、音声、及び形状が用いられるため、請求項２に記載のメタデータと比較して映像内容に沿った正確なメタデータをより確実に生成することができ、映像利用の利便性がより向上する。

請求項４に記載の映像管理装置によれば、指定された文字数にメタデータが要約されるため、映像の内容を把握しやすく映像の選択が容易となり、映像利用の利便性がより向上する。

請求項５に記載の映像管理装置によれば、メタデータの所定の位置にメタデータと対応する映像データの開始から終了までの時間情報が付加されるため、メタデータのみでは把握できない映像の全体の時間を把握でき、余裕時間内で見ることのできる映像を選択することができるなど、映像利用の利便性がより向上する。

また、請求項５に記載の映像管理装置によれば、メタデータの所定の位置にメタデータと対応する映像データの開始からカウントした経過時間情報が付加されるため、メタデータの経過時間情報を参照して、関心のある映像の位置に早送り又はスキップすることが容易となり、映像利用の利便性がより向上する。

請求項６に記載の映像管理装置によれば、利用者等が指定したメタデータの特定部分に対応する部分的な映像データが特定映像データとされ出力されるため、関心のある映像部分を早送りや巻き戻しを行うことなくメタデータの部分指定のみによって見ることができ、映像利用の利便性がより向上する。

請求項７に記載の映像管理装置によれば、利用者等が指定したメタデータの特定部分に対応する部分的な映像データが互いに結合され又は除去されて編集映像データが生成される。例えば、映像のメタデータのうち関心のあるシーンのみを指定すると、指定された映像の関心部分のみが集められたオリジナルの映像データが編集映像データとして生成される。

従って、請求項７に記載の映像管理装置によれば、メタデータのうち関心のあるシーンを指定するのみで映像を簡単に編集でき、映像利用の利便性がより向上する。即ち、映像そのものを編集する場合には非常に煩雑であり時間を要するが、本発明にあってはメタデータと対応する映像が特定されていることから映像の編集作業が非常に容易になる。

請求項８に記載の映像管理装置によれば、請求項７の映像管理装置により生成された編集映像データについても請求項２と同様に文章化され編集された二次メタデータが生成されるため、編集映像に関しても、請求項２の映像管理装置と同様にメタデータによって容易に特定して見ることができる。

請求項９に記載の映像管理装置によれば、メタデータのうち予め設定された条件を満たす部分が要部メタデータとされ、要部メタデータにより特定された部分的な映像データが特定映像データとされ出力される。

例えば、楽曲シーンや特定人物を中心とした映像部分や、あらかじめ映像データに含まれているあらすじ又はこれに関連の深い部分が前記条件とされ、この条件を満たすようなメタデータが要部メタデータとされる。なお、要部メタデータによって特定される映像データは、ダイジェストとして用いられることも想定される。

従って、請求項９に記載の映像管理装置によれば、利用者の要求や映像の要旨を反映して映像の一部を表示でき、単に映像の先頭フレームのみを機械的に取り出したいわゆるサムネイルと比較して映像の選択が容易となり、映像利用の利便性がより向上する。

請求項１０に記載の映像管理装置によれば、メタデータは指定された他言語に翻訳されるため、メタデータを参照できる利用者の範囲が拡大し、映像利用の利便性がより向上する。

請求項１１に記載の映像管理装置によれば、映像データ、メタデータ、及び追加データが互いに関連付けられ包括データとして記憶される。追加データは、利用者等が事後登録するものであり、例えば、映像の利用契約の内容や映像の提供先など、映像の検索・抽出の際に役立ちうるものとして登録されることが想定される。包括データに様々な映像要素の認識結果や映像要素のテキストデータを含め場合には、包括データが様々な目的に利用できる情報資源となる。

請求項１１に記載の映像管理装置によれば、利用者等が必要と考える追加データが映像データ及びメタデータと関連付けられて記憶されるため、映像の内容と無関係な情報である映像の提供先などを指定して映像を抽出することができるようになり、映像利用の利便性がより向上する。

請求項１２に記載の映像管理装置によれば、請求項２乃至請求項１１の何れか１項に記載の効果を容易に得ることができ、また、抽出した映像データを再生し又は記憶媒体に保存できるようになる。

図１は本発明に係る映像管理システムの一実施形態を示すブロック図である。 図２は本実施形態の映像管理システムにおける処理の流れを示すフロチャートである。

添付図面を参照して、本発明に係る映像管理方法、映像管理装置、及び映像管理システムを実施形態に基づき詳細に説明する。

図１に示す映像管理システム１０は、大容量の映像を管理するもので、放送局１１やインターネットを介して映像を提供する映像配信元１２から長期間に亘って継続して映像データを受信する受信装置１３、映像データを蓄積し再利用可能に管理する映像管理装置１４、映像管理装置１４に蓄積された映像データを利用可能とする利用端末１５を備えている。

＜受信装置＞
受信装置１３は、地上放送番組、衛星放送番組、及びインターネットを介して提供される映像データのいずれも受信可能に構成されている。なお、映像の提供元である放送局１１として複数を指定できる。

＜利用端末＞
利用端末１５は、利用者の要求としての検索ワードやメタデータの部分指定などを映像管理装置１４に伝達するために使用されるキーボードやマウスなどの操作デバイス、映像管理装置１４から受け取った映像データを記憶するハードディスク、映像データに基づいて映像を再生する映像処理部、映像を表示するディスプレイ、映像の記録媒体の接続ポートなどを有するコンピューターなどを用いて構成されている。

＜映像管理装置＞
映像管理装置１４は、インタフェース部１６、記憶部１７、登録処理部１８、テキスト化処理部１９、文章化処理部２０、映像特定部２１、及び翻訳部２２を有している。

インタフェース部１６は、映像管理装置１４と利用端末１５の双方向の通信を可能とするもので、映像に含まれる画像データ、音声データ、テキストデータなどを相互に利用可能なデータ形式に変換している。

記憶部１７は、大容量のハードディスクを用いて構成されており、記憶可能な容量が不足した場合は、ハードディスクを累積的に増設していくことが可能となっている。また、記憶部１７は、ＤＶＤ（Digital Versatile Disk）などの記録媒体２３に収められた映像データや映像管理装置１４にローカルエリアネットワークなどで接続されている各種の接続機器２４のハードディスクに保存されている映像データを記憶することもできる。

この記憶部１７は、受信装置１３で受信した映像データ、記録媒体２３に収められている映像データ、接続機器２４のハードディスクに保存されている映像データ、各映像データに関連するテキストデータ、メタデータ、追加データなどの多様なデータを互いに関連付けて記憶可能となっている。各データの内容については後述する。

登録処理部１８は、各映像の利用契約や提供先などの情報を追加データとして利用端末１５から受け取り、受け取った各種の情報を記憶部１７に送る。

テキスト化処理部１９は、映像データに含まれる映像要素を認識し、映像要素のテキストデータを生成する。

テキストデータとなる映像要素は、映像データに含まれる番組の放送局や動画コンテンツの配信元、映像のタイトルやコーナー、映像のタイムコード、映像に含まれる人物、音声、音楽、解説や字幕などの文字、動物やロゴマークやキャラクターなどの形状、建物や乗り物などの構造物等、多様かつ任意に指定される。

テキスト化処理部１９により生成された映像要素のテキストデータは、記憶部１７に映像データと対応付けられて随時記憶されていく。

文章化処理部２０は、テキスト化処理部１９により生成され記憶部１７に記憶された映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する。

文章化処理部２０により生成されたメタデータは、記憶部１７に映像データと対応付けられて随時記憶されていく。即ち、記憶部１７には、映像データ、映像要素のテキストデータ、及びメタデータが互いに対応付けられて随時記憶され、長期間に亘って蓄積されていく。

この文章化処理部２０は、メタデータを指定された文字数、例えば、４００文字程度に要約する機能を有している。要約にあっては、映像データに含まれている番組の概要や映画のあらすじなどの情報が優先的に参照されるようになっている。
番組の概要等の情報が含まれていない場合、文章化処理部２０は、記憶部１７に記憶されているテキストデータを総合的に判断し、映像の内容を端的に表す文章を構成するようになっている

また、文章化処理部２０は、メタデータを生成したとき、メタデータの所定の位置に当該メタデータと対応する映像データの開始から終了までの時間、及び開始からカウントした経過時間を付加する。これらの時間は秒単位で付される。

映像特定部２１は、記憶部１７内のメタデータの中から利用者の要求に応じたメタデータを特定し、特定したメタデータと対応する映像データを記憶部１７から抽出し特定映像データとして利用端末１５などへ出力するものである。

映像特定部２１は、利用端末１５の操作デバイスを用いて入力された文字列や、利用端末１５のディスプレイに表示されたメタデータの全体又はその一部の指定等を利用者の要求として受け付けるようになっている。

映像特定部２１は、映像部分抽出、映像編集、及びダイジェスト映像作成の各種の機能を有している。
＜映像部分抽出＞
映像特定部２１は、映像部分抽出に際し、先ず利用端末１５を介してメタデータの特定部分、例えば番組中の特定のコーナー部分やニュース部分などの指定を受け付ける。

次いで、映像特定部２１は、記憶部１７内の映像データの中から指定されたメタデータの特定部分に対応する部分的な映像データを特定する。
そして、映像特定部２１は、特定した部分的な映像データを特定映像データとして利用端末１５へ出力可能とする。

＜映像編集＞
映像特定部２１は、映像編集に際し、先ずメタデータの特定部分、例えば映画の関心のあるシーンの指定を受け付ける。

次いで、映像特定部２１は、記憶部１７内の映像データの中から指定されたメタデータの特定部分に対応する部分的な映像データを特定する。

そして、映像特定部２１は、特定した部分的な映像データを互いに結合し又は除去して編集映像データを生成し、生成した編集映像データを特定映像データとして利用端末１５へ出力可能とする。

映像特定部２１により編集映像データが生成されると、テキスト化処理部１９は、編集映像データに含まれる映像要素を認識し、映像要素の二次テキストデータを生成する。また、文章化処理部２０は、映像要素の二次テキストデータを用いて文章を構成し、映像内容の二次メタデータを生成する。

一方、記憶部１７は、編集映像データと二次メタデータとを対応付けて記憶し、映像特定部２１は、記憶部１７のメタデータの中から利用者の要求に応じた二次メタデータを特定し、特定した二次メタデータと対応する編集映像データを特定映像データとして利用端末１５へ出力可能となっている。

＜ダイジェスト映像作成＞
映像特定部２１は、映像の要約とされるダイジェスト映像を作成するため、記憶部１７内のメタデータのうち利用者等によって設定され又は映像のジャンル別に内部的に設定された所定の条件を満たす部分を要部メタデータとして保有している。

そして、映像特定部２１は、ダイジェスト映像作成に際し、記憶部１７内の映像データの中から上記の要部メタデータと対応する部分的な映像データを特定し、特定した部分的な映像データを特定映像データとして利用端末１５へ出力可能とする。

映像管理システム１０の映像管理装置１４は、翻訳部２２を備えている。翻訳部２２は、メタデータの言語を映像データにおける言語（例えば日本語）から指定された他言語（例えば英語）に翻訳するものであり、メタデータの生成時に又はメタデータの生成後であって利用者の指定を受けた際に翻訳を実行する。

翻訳されたメタデータは、映像データ、映像要素のテキストデータ、及び翻訳前のメタデータと関連付けられて記憶部１７に記憶される。映像特定部２１は、翻訳された言語に基づいてメタデータを特定し、また、特定したメタデータに対応付けられた映像データを利用端末１５へ出力可能となっている。

図２は映像管理システム１０における処理の流れを示すフロチャートであり、映像管理装置１４で実行されるメタデータの生成から映像データの特定及び出力の流れを示したものである。

図２のステップＳ１０１は、受信装置１３により実行され、放送局１１や映像配信元１２から映像データを受信する受信ステップである。

ステップＳ１０２は、記憶部１７により実行され、ステップＳ１０１で受信した映像データのほか、記録媒体２３に収められた映像データや接続機器２４に保存されている映像データを要求に応じて記憶する記憶ステップである。この記憶ステップでは、映像データ、続くステップＳ１０４で生成された映像要素のテキストデータ、続くステップＳ１０５で生成されたメタデータを互いに関連付けて記憶する。

ステップＳ１０３は、テキスト化処理部１９により実行され、記憶部１７内の映像データに含まれる映像要素を認識する認識ステップである。

ステップＳ１０４は、Ｓ１０３と同様にテキスト化処理部１９により実行され、ステップＳ１０３の認識結果に基づいて映像要素のテキストデータを生成するテキスト化ステップである。生成された映像要素のテキスト化データは、映像データと対応付けられて記憶部１７に記憶される。

ステップＳ１０５は、文章化処理部２０により実行され、ステップＳ１０４で生成された映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する文章化ステップである。

ステップＳ１０５で生成されたメタデータは、指定された文字数以下となるように要約され、また、メタデータの所定の位置に当該メタデータと対応する映像データの開始から終了までの時間、及び開始からカウントした経過時間が付加される。生成されたメタデータは、映像データと対応付けられて記憶部１７に記憶される。

ステップＳ１０６は、映像管理システム１０の利用者による映像抽出のためのメタデータの指定（利用者の要求）、例えば、検索ワードやメタデータの全部又は一部の指定があったか否か（ＹＥＳ／ＮＯ）を判定するステップである。

ステップＳ１０７は、利用者の要求があったと判断した場合（ステップＳ１０６でＹｅｓの場合）に映像特定部２１により実行され、ステップＳ１０２で映像データと対応付けられて記憶されたメタデータの中から利用者の要求に応じたメタデータを特定するメタデータ特定ステップである。

ステップＳ１０８は、映像特定部２１によりステップＳ１０７に続いて実行され、ステップＳ１０７で特定したメタデータと対応する映像データを記憶部１７から抽出し特定映像データとして出力可能な状態とする映像出力ステップである。

次に映像管理システム１０の効果を説明する。
映像管理システム１０にあっては、テキスト化ステップＳ１０４により、映像を構成する音声や人物などの映像要素のテキストデータが生成され、文章化ステップＳ１０５により、映像要素のテキストデータが総合的に用いられて映像の内容が文章化され、これがメタデータとなる。

このため、メタデータは、単なる映像要素のテキストデータと違い映像内容に沿った正確なものとなり、また、例えば深層学習（deep learning）等のAI的な機能を用いて精度を高めることにより、人の手によって総合的に判断され文章化されたメタデータと同様のメタデータとすることもできる。

そして、記憶ステップＳ１０２により、メタデータと映像データが互いに関連付けられて記憶され、メタデータ特定ステップＳ１０７及び映像データ出力ステップＳ１０８により、メタデータを手掛かりに映像データが抽出され利用端末１５に出力される。

従って、映像管理システム１０によれば、映像の蓄積量に比例して作成すべき量が多くなるメタデータを人の手によることなく生成し利用でき、映像の蓄積量と映像利用の利便性の両立的向上を図ることができる。その結果、大量の映像をメタデータを介して容易に利用することが可能になる。

以上、本発明に係る映像管理方法、映像管理装置、及び映像管理システムを１つの実施形態に基づき説明してきたが、これらの具体的な構成は、本実施形態に限られるものではなく、映像データを再利用可能に管理する映像管理方法、映像管理装置、映像管理システムにおいて、前記映像データに含まれる映像要素を認識する認識ステップと、前記映像要素のテキストデータを生成するテキスト化ステップと、前記映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する文章化ステップと、前記映像データと前記メタデータとを対応付けて記憶部に記憶させる記憶ステップと、前記記憶部のメタデータの中から利用者の要求に応じたメタデータを特定するメタデータ特定ステップと、前記特定したメタデータと対応する映像データを前記記憶部から抽出し特定映像データとして出力する映像出力ステップとを備えるものであればよい。

１０…映像管理システム
１１…放送局
１２…映像配信元
１３…受信装置
１４…映像管理装置
１５…利用端末
１６…インタフェース部
１７…記憶部
１８…登録処理部
１９…テキスト化処理部
２０…文章化処理部
２１…映像特定部
２２…翻訳部
２３…記録媒体
２４…接続機器

Claims (12)

1. 映像データを再利用可能に管理する映像管理方法において、
   前記映像データに含まれる映像要素を認識する認識ステップと、
   前記映像要素のテキストデータを生成するテキスト化ステップと、
   前記映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する文章化ステップと、
   前記映像データと前記メタデータとを対応付けて記憶部に記憶させる記憶ステップと、
   前記記憶部のメタデータの中から利用者の要求に応じたメタデータを特定するメタデータ特定ステップと、
   前記特定したメタデータと対応する映像データを前記記憶部から抽出し特定映像データとして出力する映像出力ステップと、
   を備えることを特徴とする映像管理方法。
2. 映像データを再利用可能に管理する映像管理装置において、
   前記映像データに含まれる映像要素を認識し、映像要素のテキストデータを生成するテキスト化処理部と、
   前記映像要素のテキストデータを用いて文章を構成し、映像内容のメタデータを生成する文章化処理部と、
   前記映像データと前記メタデータとを対応付けて記憶する記憶部と、
   前記記憶部のメタデータの中から利用者の要求に応じたメタデータを特定し、特定したメタデータと対応する映像データを前記記憶部から抽出し特定映像データとして出力する映像特定部と、
   を備えることを特徴とする映像管理装置。
3. 前記映像要素として、少なくとも映像に含まれる人物の顔、音声、及び形状を用いることを特徴とする請求項２に記載の映像管理装置。
4. 前記文章化処理部は、前記メタデータを指定された文字数に要約することを特徴とする請求項２又は請求項３に記載の映像管理装置。
5. 前記文章化処理部は、前記メタデータの所定の位置に、前記メタデータと対応する映像データの開始から終了までの時間情報及び開始からカウントした経過時間情報を付加することを特徴とする請求項２乃至請求項４の何れか１項に記載の映像管理装置。
6. 前記映像特定部は、前記メタデータの特定部分の指定を受け付け、指定を受けたメタデータの特定部分に対応する部分的な映像データを特定し、特定した部分的な映像データを前記特定映像データとすることを特徴とする請求項２乃至請求項５の何れか１項に記載の映像管理装置。
7. 前記映像特定部は、前記メタデータの特定部分の指定を受け付け、指定を受けたメタデータの特定部分に対応する部分的な映像データを特定し、特定した部分的な映像データを互いに結合し又は除去して編集映像データを生成し、生成した編集映像データを前記特定映像データとすることを特徴とする請求項２乃至請求項６の何れか１項に記載の映像管理装置。
8. 前記テキスト化処理部は、前記編集映像データに含まれる映像要素を認識することにより、映像要素の二次テキストデータを生成し、
   前記文章化処理部は、前記映像要素の二次テキストデータを用いて文章を構成することにより、映像内容の二次メタデータを生成し、
   前記記憶部は、前記編集映像データと前記二次メタデータとを対応付けて記憶し、
   前記映像特定部は、前記記憶部のメタデータの中から利用者の要求に応じた二次メタデータを特定し、特定した二次メタデータと対応する編集映像データを特定映像データとして出力する請求項７に記載の映像管理装置。
9. 前記映像特定部は、前記メタデータのうち予め設定された条件を満たす部分を要部メタデータとし、前記映像データの中から前記要部メタデータと対応する部分的な映像データを特定し、特定した部分的な映像データを前記特定映像データとすることを特徴とする請求項２乃至請求項８の何れか１項に記載の映像管理装置。
10. 前記メタデータを指定された他言語に翻訳する翻訳部を備えることを特徴とする請求項２乃至請求項９の何れか１項に記載の映像管理装置。
11. 前記記憶部は、前記映像データに含まれない追加データを記憶可能に構成され、前記映像データ、メタデータ、及び追加データを互いに関連付けた包括データを記憶することを特徴とする請求項２乃至請求項１０の何れか１項に記載の映像管理装置。
12. 請求項２乃至請求項１１の何れか１項に記載の映像管理装置と、
    前記映像データを受信する受信装置と、
    前記利用者の要求を前記映像特定部に送り、前記映像特定部により出力された映像データを受け取り、受け取った映像データに基づいて映像を再生可能に又は受け取った映像データを記憶媒体に保存可能に構成された利用端末と、
    を備えることを特徴とする映像管理システム。