JP2006246008A - 映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法 - Google Patents

映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法 Download PDF

Info

Publication number
JP2006246008A
JP2006246008A JP2005058787A JP2005058787A JP2006246008A JP 2006246008 A JP2006246008 A JP 2006246008A JP 2005058787 A JP2005058787 A JP 2005058787A JP 2005058787 A JP2005058787 A JP 2005058787A JP 2006246008 A JP2006246008 A JP 2006246008A
Authority
JP
Japan
Prior art keywords
video
transcoding
metadata
video content
policy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005058787A
Other languages
English (en)
Inventor
Ryohei Ogushi
亮平 大串
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2005058787A priority Critical patent/JP2006246008A/ja
Publication of JP2006246008A publication Critical patent/JP2006246008A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 映像コンテンツ配信時の処理負荷をかけることなく、映像コンテンツのシーンに応じたトランスコーディングを行うことを可能とする映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法を提供する。
【解決手段】 映像取得装置10は、映像コンテンツとカメラの操作信号を取得し、映像コンテンツの所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成する。映像データベース装置20は映像データベース21に記憶された映像コンテンツの特徴を解析してメタデータを生成する。映像情報配信サーバ装置30は映像取得装置10又は映像データベース装置20から取得したメタデータ及び映像コンテンツを配信する。トランスコーダ装置40は配信されたメタデータに記述されたポリシーを解析し、映像コンテンツをトランスコーディングする。
【選択図】 図1

Description

本発明は、通信ネットワークを介して配信するための映像コンテンツをトランスコーディングする映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法に関する。
近年、インターネットの普及により、FTTH(Fiber To The Home)、ADSL(Asymmetric Digital Subscriber Line)など一般家庭にも高速通信環境が整ってきた。また、固定通信分野のみでなく、移動体通信の分野でも第三世代携帯電話が普及し、高速で通信を行うことが可能になってきた。このような高速通信インフラ環境の整備に加え、JPEG(Joint Photographic Experts Group)に代表される画像圧縮技術、MPEG(Moving Picture Experts Group)に代表される映像圧縮技術など、ディジタル信号圧縮技術の進化により、テキストデータばかりでなく、画像・音声・映像などデータ容量の大きいコンテンツも通信ネットワークを通して流通させることが可能になった。
このような背景の中、IP(Internet Protocol)技術でリアルタイム性を重視した映像ストリーミングサービスの需要も高まってきている。しかしながら、映像をIPネットワークへ配信するためには以下の2つの課題がある。
1.インターネットには多様な帯域を持ったネットワークが存在し、最適な映像ビットレートはそのネットワークによって変化すること
2.IPネットワークはBesteffort型のネットワークであり、ネットワークをユーザ間で共有して利用する性質上、ネットワークの輻輳が起きる可能性があり、それに伴いパケット落ち、パケット遅延などが生じ、映像をストリーミング配信するためのネットワークQoS(Quality of Service)を維持できないことがあること
上記2点の課題を解決するために、映像のビットレートをネットワークの状況によって柔軟に変換して情報量を削減(トランスコーディング)する技術が研究されている。映像のビットレートをトランスコーディングする方法として、大きく下記の2つの方法がある。
1.動きに関する情報量削減
2.画質に関する情報量削減
しかし、従来の技術では、映像の特徴(動きが激しいシーン、動きがないシーン、映像全体が暗いシーン、映像全体が明るいシーン等)を考慮せず、一定の方式で映像ビットレートをネットワーク状況によってトランスコードしている手法がほとんどである。また、映像の特徴を考慮して映像ビットレートをトランスコードする手法も提案されてはいるが、動きベクトル等映像特徴量の解析をリアルタイムに行う必要があり、一定の方式で映像ビットレートをトランスコードする方式に比べ、トランスコード処理が重くなってしまうという問題がある。
トランスコード処理が重くなるのを防ぐために、予め画像データに付与したメタデータを利用する技術も提案されている(例えば、特許文献1参照)。特許文献1では、取得した画像データのうち被写体を強調するためのメタデータを生成している。
特開2003−250132号公報(段落0017、0022)
しかしながら、特許文献1に記載の技術を用いたとしても、ネットワークを介してリアルタイムに画像データを配信する場合には、取得した画像データをリアルタイムに解析してメタデータを生成する必要がある。従って、メタデータを用いてトランスコード処理の負荷を軽減できても、映像コンテンツの配信処理全体としてはやはり処理負荷がかかってしまう。
また、画像解析による方法では、映像のビットレートをトランスコードするにあたり、映像コンテンツ作成者の意図や方針(このシーンは画質重視、このシーンは動き重視等)を反映することが困難である。
本発明は、以上の問題点に鑑みてなされたものであり、映像コンテンツ配信時の処理負荷をかけることなく、映像コンテンツのシーンに応じたトランスコーディングを行うことを可能とする映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法を提供する。
上記課題を解決するために、請求項1に記載の発明は、映像取得装置と、映像データベース装置と、映像情報配信サーバ装置と、トランスコーダ装置と、を含む映像トランスコードシステムにおいて、前記映像データベース装置は、映像コンテンツを記憶するデータベースと、前記データベースに記憶された映像コンテンツの特徴を解析する映像解析手段と、前記映像解析手段による解析結果に基づいて、前記映像コンテンツの所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成するアーカイブ映像メタデータ記述手段とを備え、前記映像取得装置は、撮影されている映像コンテンツを取得する映像取得手段と、ユーザにより入力された、前記映像コンテンツの所定シーンに対するポリシーを取得する入力情報取得手段と、前記入力情報取得手段により取得されたポリシーが記述されたメタデータを生成するライブ映像メタデータ記述手段とを備え、前記映像情報配信サーバ装置は、前記映像撮影装置又は前記映像データベース装置から取得したメタデータ及び映像コンテンツを配信する配信手段を備え、前記トランスコーダ装置は、前記映像情報配信サーバ装置から配信されたメタデータを解析するメタデータ解析手段と、前記メタデータ解析手段による解析結果に基づいて、前記映像情報配信サーバ装置から配信された映像コンテンツをトランスコーディングするトランスコーディング手段とを備えたことを特徴とする映像トランスコードシステムを提供する。
この構成によれば、映像取得手段により取得された映像コンテンツに対してはユーザが入力したポリシーによりメタデータを生成し、データベースに記憶された映像コンテンツに対しては映像コンテンツを解析してメタデータを生成するため、映像コンテンツ配信時の処理負荷をかけることなく、メタデータを用いて映像コンテンツのシーンに応じたトランスコーディングを行うことが可能となる。
請求項2に記載の発明は、通信ネットワークを介して配信すべき映像コンテンツをトランスコーディングする映像トランスコードシステムにおいて、データベースに記憶された映像コンテンツの所定シーンの特徴と、ユーザにより入力された情報と、の少なくとも一方に基づいて、前記所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成するアーカイブ映像メタデータ記述手段と、映像コンテンツ取得時に、該映像コンテンツの所定シーンに関連付けて、ユーザにより入力されたポリシーが記述されたメタデータを生成するライブ映像メタデータ記述手段と、前記ライブ映像メタデータ記述手段又は前記アーカイブ映像メタデータ記述手段により生成されたメタデータに基づいて映像コンテンツをトランスコーディングするトランスコーディング手段とを備えたことを特徴とする映像トランスコードシステムを提供する。
この構成によれば、映像トランスコードシステムは、映像取得手段により取得した映像コンテンツに対してはユーザが入力したポリシーによりメタデータを生成し、データベースに記憶された映像コンテンツに対しては所定シーンの特徴とユーザにより入力された情報との少なくとも一方に基づいてメタデータを生成するため、映像コンテンツ配信時の処理負荷をかけることなく、メタデータを用いて映像コンテンツのシーンに応じたトランスコーディングを行うことが可能となる。
請求項3に記載の発明は、通信ネットワークを介して配信すべき映像コンテンツを取得する映像取得装置において、撮影装置により撮影された映像コンテンツを取得する映像取得手段と、前記撮影装置から送信されてくる、ユーザの操作による操作信号を取得する入力情報取得手段と、前記入力情報取得手段により取得された操作信号に基づいて、前記映像コンテンツの所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成するライブ映像メタデータ記述手段とを備えたことを特徴とする映像取得装置を提供する。
この構成によれば、映像取得装置は、ユーザの操作による操作信号を取得することで映像コンテンツの所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成することができるため、映像コンテンツ配信時にリアルタイムに映像コンテンツを解析してトランスコーディングする必要がなくなり、処理負荷をかけずにメタデータを用いて映像コンテンツのシーンに応じたトランスコーディングを行うことが可能となる。
請求項4に記載の発明は、通信ネットワークを介して配信すべき映像コンテンツをトランスコーディングするトランスコーダ装置において、映像コンテンツの所定シーンに関連付けられているメタデータに記述されたポリシーを解析するメタデータ解析手段と、前記メタデータ解析手段による解析結果に基づいて前記映像コンテンツの所定シーンをトランスコーディングするトランスコーディング手段とを備えたことを特徴とするトランスコーダ装置を提供する。
この構成によれば、トランスコーダ装置は、メタデータに記述されたポリシーに基づいて映像コンテンツをトランスコーディングするため、映像コンテンツをリアルタイムに解析してトランスコーディングする必要がなくなり、映像コンテンツ配信時の処理負荷を軽減することができる。
請求項5に記載の発明は、通信ネットワークを介して配信すべき映像コンテンツをトランスコーディングする映像トランスコーディング方法において、映像取得装置が、映像コンテンツを取得する映像コンテンツ取得ステップと、前記映像取得装置が、ユーザにより入力された、前記映像コンテンツの所定シーンに対するポリシーを取得する入力情報取得ステップと、前記映像取得装置が、前記入力情報取得ステップにおいて取得されたポリシーが記述されたメタデータを生成する映像メタデータ記述ステップと、トランスコーダ装置が、前記メタデータ記述ステップにおいて生成されたメタデータに記述されたポリシーに基づいて前記映像コンテンツをトランスコーディングするトランスコーディングステップとを備えたことを特徴とする映像トランスコーディング方法を提供する。
この方法によれば、ユーザにより入力されたポリシーが記述されたメタデータを生成し、生成されたメタデータに基づいて映像コンテンツをトランスコーディングする手順としたため、映像コンテンツ配信時において処理負荷をかけることなく、映像コンテンツのシーンに応じてユーザの意図を反映したトランスコーディングを行うことができる。
本発明によれば、映像トランスコードシステムは、映像取得手段により取得した映像コンテンツに対してはユーザが入力したポリシーによりメタデータを生成し、データベースに記憶された映像コンテンツに対しては所定シーンの特徴とユーザにより入力された情報との少なくとも一方に基づいてメタデータを生成するため、映像コンテンツ配信時の処理負荷をかけることなく、メタデータを用いて映像コンテンツのシーンに応じたトランスコーディングを行うことが可能となる。
次に、図面を参照しながら、本発明を実施するための実施の形態について説明する。
図1は、本発明の実施の形態に係る映像トランスコードシステム1の構成を示すブロック図である。同図に示すように、映像トランスコードシステム1は、映像コンテンツを取得する映像取得装置10と、映像コンテンツを記憶する映像データベース装置20と、映像コンテンツ及びメタデータを配信する映像情報配信サーバ装置30と、受信装置50に対して配信する映像コンテンツをトランスコーディングするトランスコーダ装置40とを含んで構成される。これらの装置は、ネットワーク等で通信可能に接続されている。以下、映像トランスコードシステム1を構成する各装置の構成について説明する。
[映像取得装置]
映像取得装置10は、映像取得装置10全体を制御するCPU(Central Processing Unit)と、映像情報配信サーバ装置30との通信を制御する通信インターフェースと、映像取得装置10に接続されている撮影装置としてのカメラから、映像コンテンツ及び撮影者の操作による操作信号を受信するカメラインターフェースと、ソフトウェアを記憶する記憶装置と、を備えている。
なお、映像取得装置10にカメラを接続する構成に限らず、映像取得装置10自体にカメラ機能が搭載されていてもよい。例えば、映像取得装置10がカメラ付携帯電話機であってもよい。
映像取得装置10の記憶装置には、各種データ及びプログラムが記憶されている。各種プログラムの中には、映像コンテンツのエンコードを行うためのプログラムと、メタデータを生成するためのプログラムとが含まれている。
映像取得装置10が備えるソフトウェア資源とハードウェア資源とが協働して動作することにより、映像取得装置10は、図1に示す映像取得手段11、入力情報取得手段12、ライブ映像メタデータ記述手段13、及び、エンコード手段14として機能する。
映像取得手段11は、カメラにより撮影された映像コンテンツを取得する。
入力情報取得手段12は、映像取得手段11により映像コンテンツが取得されている時に、ユーザにより入力されたポリシー等の入力情報を取得する。具体的には、入力情報取得手段12は、カメラから送信されてくる操作信号や、映像作成に関わる人が映像取得装置10に入力するポリシー等の情報を取得する。
例えば、映像撮影者は、カメラで映像を撮りながら、現在撮影しているシーンは動きを重視、画像重視などのポリシー(方針)を、カメラに搭載された所定のボタンを押すことにより、ボタンの操作信号として入力する。また、映像作成に関わる人は、カメラで撮影された映像コンテンツのシーンの特徴を把握し、シーンの特徴に応じた情報を映像取得装置10に入力する。このように、画質重視、動き重視など、映像コンテンツ作成者の意図や方針をメタデータに記述することで、映像コンテンツ作成者の意図に沿った映像コンテンツのトランスコーディングが可能となる。
ライブ映像メタデータ記述手段13は、入力情報取得手段12により取得されたポリシーを記述したメタデータを生成する。図2には、メタデータに記述されるポリシーの例を示す。図2に示す例では、映像コンテンツのうち、550秒から1000秒までのシーンは動きが激しいため動き重視のシーンであり、5150秒から12000秒までのシーンは動きが少ないため画質重視のシーンであることを示している。
エンコード手段14は、映像取得手段11が取得した映像コンテンツをエンコードする。
[映像データベース装置]
次に、映像データベース装置20の構成について説明する。映像データベース装置20はデータベースサーバであり、映像データベース装置20全体を制御するCPUと、ソフトウェアを記憶する記憶装置と、通信ネットワークを介してデータの授受を制御する通信インターフェースとを備えている。
映像データベース装置20の記憶装置には、各種データ及びプログラムが記憶されている。各種プログラムの中には、映像コンテンツを解析するためのプログラムや、メタデータを生成するためのプログラムが含まれている。映像データベース装置20が備えるソフトウェア資源とハードウェア資源とが協働して動作することにより、映像データベース装置20は、図1に示す映像データベース21、映像解析手段22、及び、アーカイブ映像メタデータ記述手段23として機能する。
映像データベース21は、ハードディスク等の記憶装置を含んで構成されており、映像コンテンツをアーカイブ映像として蓄積記憶するためのデータベースである。
映像解析手段22は、映像データベース21に記憶されている映像コンテンツの動きベクトル等の特徴量を解析する。
アーカイブ映像メタデータ記述手段23は、映像解析手段22による解析結果に基づいて、映像コンテンツをトランスコーディングする際に用いられるポリシーを記述したメタデータを生成する。例えば、動きの激しいシーンでは画質よりフレームレートが重要となることが多いので画質を落としたり、また、動きのないシーンではフレームレートよりも画質が重要視されるのでフレームレートを落としたりするといったポリシーが考えられる。このように、アーカイブ映像メタデータ記述手段23によって、映像コンテンツの特徴を踏まえたトランスコーディングを行うことが可能となる。
アーカイブ映像メタデータ記述手段23は、オフラインで映像解析を行うため、解析に時間を要する処理も行うことができ、精度の高い効果的なポリシーを記述したメタデータを生成することが可能である。具体的には、動きが激しいとか画質重視等のみでなく、映像の画質、フレームレート、Inra符号化率等、どの項目で情報削減(シェーピング)を行うか、どの項目を組み合わせて情報削減を行うか等についての詳細なポリシーを記述することが可能である。
また、アーカイブ映像メタデータ記述手段23は、映像取得装置10と同様に、映像コンテンツ作成者が入力した情報に基づいてメタデータを生成することも可能である、これにより、アーカイブ映像についても、映像コンテンツ作成者の意図を反映したトランスコーディングを行うことが可能となる。
[映像情報配信サーバ装置]
次に、映像情報配信サーバ装置30の構成について説明する。映像情報配信サーバ装置30は、映像コンテンツ及びメタデータを配信する配信手段を備えている。当該配信手段はストリーミングサーバ31とメタデータ配信サーバ32とから構成される。
ストリーミングサーバ31はストリーミング配信手段311を備えている。ストリーミング配信手段311は、映像取得装置10又は映像データベース装置20から取得した映像コンテンツをストリーミング形式に変換してトランスコーダ装置40に配信する。
メタデータ配信サーバ32はメタデータ配信手段321を備えている。メタデータ配信手段321は、映像取得装置10又は映像データベース装置20から取得したメタデータをトランスコーダ装置40に配信する。
[トランスコーダ装置]
次に、トランスコーダ装置40の構成について説明する。トランスコーダ装置40は、ストリーミングサーバ31から受信するストリーミング形式の映像コンテンツと、メタデータ配信サーバ32から受信するメタデータとに基づいて、映像コンテンツのトランスコーディングを実施する装置である。
トランスコーダ装置40は、CPU、記憶装置及び通信インターフェースを備えており、一般的なコンピュータのハードウェア構成を備えている。トランスコーダ装置40の記憶装置には、メタデータを解析するためのプログラム、映像コンテンツをトランスコーディングするためのプログラム、及び、トランスコーディングを行う際のポリシーを示す情報が記憶されている。
メタデータ解析手段41は、メタデータ配信サーバ32から受信したメタデータに記述されているポリシーを解析する。
トランスコーディング手段42は、メタデータ解析手段41による解析結果に基づいて、ストリーミングサーバ31から配信された映像コンテンツの所定シーンをトランスコーディングする。この時に、トランスコーディング手段42は、所定シーンについて、映像の画質、フレームレート、Inra符号化、Inter符号化等の、どの項目で情報削減を行うかや、どの項目を組み合わせて情報削減を行うか等は、メタデータに記述されている通りに実施する。
なお、メタデータに、例えば、「動き重視」、「画質重視」と記述されているのみであって詳細なトランスコーディングに関する情報が記述されていない場合には、トランスコーディング手段42は、自装置40の記憶装置に予め記憶されているポリシーに従って映像コンテンツをトランスコーディングする。トランスコーディングを行う際のポリシーの例として以下のものがある。
A)動き重視の場合
・画質に関する情報量削減
・画像の解像度を削減
・画像の高周波成分を削除(MPEGであれば、逆DCT(離散コサイン変換)後、量子化ステップを大きくし、再度DCTを行う)
・Inter符号化を多く適用
B)画質重視の場合
・フレームレート削減
・Intra符号化を多く適用
[映像取得装置の処理]
次に、図3に示すフローチャートを参照して、映像取得装置10が行う処理の流れについて説明する。
まず、映像撮影者はカメラを操作して撮影指示を行う。カメラは、映像の撮影を開始し、映像取得装置10に映像コンテンツを送信する。
映像取得装置10は、映像取得手段11により、カメラから送信されてくる映像コンテンツを取得し(ステップS101)、エンコード手段14により取得した映像コンテンツをエンコードする。
撮影者は、現在撮影している映像シーンが画質を重視するシーンか、または、動きを重視するシーンか、を選択するために、画質又は動きを重視したい時間だけカメラに搭載されている所定のボタンを押す。カメラは、ボタン押下によるカメラの操作信号を映像取得装置10に送信する。
映像取得装置10は、入力情報取得手段12により、カメラから送信されてくる操作信号を受信する(ステップS102)。
次に、映像取得装置10は、受信したカメラの操作信号によって示されているポリシーと、カメラ操作信号の受信開始時間及び受信終了時間と、に基づいて、ポリシーと、映像開始時間及び終了時間とが記述されたメタデータを生成する(ステップS103)。
[トランスコーダ装置の処理]
次に、図4に示すフローチャートを参照して、トランスコーダ装置40が行う処理の流れについて説明する。
トランスコーダ装置40は、映像コンテンツ及び当該映像コンテンツに関連付けられているメタデータを受信する(ステップS201)。
トランスコーダ装置40は、メタデータ解析手段41により、ステップS201で受信したメタデータを解析する(ステップS202)。
トランスコーダ装置40は、メタデータの解析結果に基づいて、ステップS201で受信したメタデータをトランスコーディングする(ステップS203)。
[映像トランスコードシステムの処理]
次に、図1を参照して、映像トランスコードシステム1全体における映像コンテンツのトランスコーディング処理の流れについて説明する。
ステップ1においては、映像コンテンツのトランスコーディングを行う際のポリシーが記述されたメタデータを映像コンテンツに付与する。
ライブ映像の場合は、カメラで映像を撮影する際、映像撮影者あるいは映像作成に関わる人がリアルタイムにポリシーを入力する。例えば、映像撮影者は映像を撮りながら、現在のシーンは動きを重視、画像重視などをカメラの操作信号として入力する。カメラは操作信号と映像コンテンツの各シーンとを映像取得装置10に送信する。映像取得装置10は、入力情報取得手段12によってカメラの操作信号を取得し、映像取得手段11によって映像コンテンツを取得する。映像取得装置10は、ライブ映像メタデータ記述手段13により、操作信号が示すポリシーが記述されたメタデータを生成し、当該メタデータとエンコード手段14でエンコードした映像コンテンツとを映像情報配信サーバ装置30に送信する。
一方、アーカイブ映像の場合は、映像データベース21に保存されている映像をオフラインで画像解析技術を用いて映像の特徴を抽出し、その特徴量から最適なトランスコーディングと推定される方針を決定し、当該方針を記述したメタデータを生成する。例えば、映像コンテンツのフォーマットがMPEGフォーマットであれば、動きベクトルの量から動きが激しいシーンであることを推定し、ポリシーとして“active”と記述されたメタデータを生成する。
また、映画などのリッチコンテンツでは、映像コンテンツ作成者が自らこのシーンは画質を重視、このシーンは動き重視等、トランスコーディングする際のポリシーを映像データベース装置820に入力する。
映像データベース装置20は、生成したメタデータと映像コンテンツとを関連付けて映像データベース21に保存する。映像データベース装置20は、受信装置50から配信要求を受ける等、所定の契機が発生した場合に、メタデータ及び映像コンテンツを映像情報配信サーバ装置30に送信する。
ステップ2においては、映像情報配信サーバ装置30を構成するストリーミングサーバ31は、ステップ1で取得した映像コンテンツをストリーミング形式に変換し、変換後の映像コンテンツをトランスコーダ装置40へ配信する。また、映像情報配信サーバ装置30を構成するメタデータ配信サーバ32は、ステップ1で映像コンテンツに付与した(関連付けた)メタデータをトランスコーダ装置40へ配信する。
ステップ3においては、トランスコーダ装置40は、メタデータ解析手段41により、メタデータに記述されたポリシーを解析する。トランスコーダ装置40は、トランスコーディング手段42により、解析結果に基づいて映像コンテンツのビットレート(映像符号化量)のトランスコーディングを行う。トランスコーダ装置40は、トランスコーディングした後の映像コンテンツを受信装置50に配信する。受信装置50は、配信された映像コンテンツをデコーダでデコードする。
以上のように、トランスコーダ装置40がメタデータを参照し、映像コンテンツをトランスコーディングすることで、下記2点のメリットがある。
第1に、映像コンテンツ配信時に処理負荷をかけることなく、映像コンテンツのシーンに応じてトランスコーディングを行うことが可能となる。
例えば、動きのあるシーンでは、動きの情報量は削減せず画質の情報量を削減したり、動きのないシーンでは、画質の情報量を削減せず動きの情報量を削減したりすることが可能となる。本処理を、メタデータを利用せず画像処理技術を応用してリアルタイムにシーンに応じたビットレートの削減を行うことも可能であるが、トランスコーディング処理が非常に重くなってしまう。メタデータを利用する方法では、アーカイブ映像であれば事前にオフラインで画像処理技術を応用してメタデータを作成する、又は、映像コンテンツ作成者がメタデータに記述するポリシーを入力することが可能である。また、リアルタイム映像(ライブ映像)については、撮影者が随時カメラの操作信号を用いて、その場でビットレート削減のためのポリシーを入力することで、トランスコーダ装置40の処理を軽減することが可能である。
第2に、映像コンテンツ作成者や映像作成者の意図を反映したトランスコーディングが可能となる。映像コンテンツのシーンの特徴に基づいて自動で情報削減項目等のポリシーを決定するのではなく、映像コンテンツ作成者や映像作成者が予め、このシーンは画質重視、このシーンは動きを重視したいといったポリシーを入力することで、映像コンテンツ作成者や映像作成者の意図を反映することが可能となる。
このように、映像コンテンツ配信時の処理負荷をかけずにシーンに応じたトランスコーディングが可能となり、加えて、映像コンテンツ作成者や映像撮影者の意図を反映したトランスコーディングが可能となる。
[変形例]
以上、本発明の実施の形態について説明したが、本発明は係る実施形態に限定されるものではなく、その技術思想の範囲内で様々な変形が可能である。変形例としては、例えば、以下のようなものが考えられる。
(1)上述した実施形態における映像トランスコードシステム1の装置構成は一例に過ぎない。映像トランスコードシステム1が、ライブ映像に対しては操作信号等の入力情報に基づいてメタデータを記述する機能と、アーカイブ映像に対しては映像解析結果又は入力情報に基づいてメタデータを記述する機能と、メタデータに基づいて映像コンテンツをトランスコーディングする機能と、を備えていれば、映像トランスコードシステム1が2つの装置で構成されていても、3つの装置で構成されていてもよい。例えば、映像情報配信サーバ装置30を映像トランスコードシステム1の構成要素とせずに、トランスコーダ装置40が映像取得装置10又は映像データベース装置20から直接映像コンテンツ及びメタデータを取得してもよい。
また、上述した実施形態における映像トランスコードシステム1は、ライブ映像とアーカイブ映像との両方を配信する装置として説明したが、ライブ映像とアーカイブ映像との何れか一方のみを配信するシステムであってもよい。
(2)上述した実施形態においては、トランスコーダ装置40は、常に映像コンテンツをトランスコーディングしてから受信装置50に配信するとして説明したが、これに限定されることはなく、ネットワーク状況によって映像コンテンツをストリーミング配信するためのネットワークQoSを維持することができないと判断された場合にのみ、映像コンテンツをトランスコーディングするようにしてもよい。
これにより、映像ストリーミング配信サービスにおいて、ネットワークの状況の変化によって映像コンテンツのビットレートを下げる必要が発生した時に、映像コンテンツ作成者又は映像撮影者の意図もしくは映像コンテンツの特徴量の観点に基づいた最適なポリシーにより、映像コンテンツをトランスコーディングすることが可能となる。
(3)上述した実施形態において説明したポリシーの例は一例に過ぎず、例えば、映像コンテンツに含まれる音声データを削減するためのポリシーがあってもよい。また、映像全体が明るいシーンは、映像全体が暗いシーンに比較して画質を重視するというポリシーがあってもよい。
本発明の実施の形態に係る映像トランスコードシステムの全体構成を示すブロック図である。 同実施の形態に係るメタデータの記述例を示す図である。 同実施の形態に係る映像取得装置が行う処理の流れを示す。 同実施の形態に係るトランスコーダ装置が行う処理の流れを示すフローチャートである。
符号の説明
1 映像トランスコードシステム
10 映像取得装置
11 映像取得手段
12 入力情報取得手段
13 ライブ映像メタデータ記述手段
14 エンコード手段
20 映像データベース装置
21 映像データベース
22 映像解析手段
23 アーカイブ映像メタデータ記述手段
30 映像情報配信サーバ装置
31 ストリーミングサーバ
311 ストリーミング配信手段
32 メタデータ配信サーバ
321 メタデータ配信手段
40 トランスコーダ装置
41 メタデータ解析手段
42 トランスコーディング手段
50 受信装置

Claims (5)

  1. 映像取得装置と、映像データベース装置と、映像情報配信サーバ装置と、トランスコーダ装置と、を含む映像トランスコードシステムにおいて、
    前記映像データベース装置は、
    映像コンテンツを記憶するデータベースと、
    前記データベースに記憶された映像コンテンツの特徴を解析する映像解析手段と、
    前記映像解析手段による解析結果に基づいて、前記映像コンテンツの所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成するアーカイブ映像メタデータ記述手段と
    を備え、
    前記映像取得装置は、
    撮影されている映像コンテンツを取得する映像取得手段と、
    ユーザにより入力された、前記映像コンテンツの所定シーンに対するポリシーを取得する入力情報取得手段と、
    前記入力情報取得手段により取得されたポリシーが記述されたメタデータを生成するライブ映像メタデータ記述手段と
    を備え、
    前記映像情報配信サーバ装置は、
    前記映像撮影装置又は前記映像データベース装置から取得したメタデータ及び映像コンテンツを配信する配信手段を備え、
    前記トランスコーダ装置は、
    前記映像情報配信サーバ装置から配信されたメタデータを解析するメタデータ解析手段と、
    前記メタデータ解析手段による解析結果に基づいて、前記映像情報配信サーバ装置から配信された映像コンテンツをトランスコーディングするトランスコーディング手段と
    を備えたことを特徴とする映像トランスコードシステム。
  2. 通信ネットワークを介して配信すべき映像コンテンツをトランスコーディングする映像トランスコードシステムにおいて、
    データベースに記憶された映像コンテンツの所定シーンの特徴と、ユーザにより入力された情報と、の少なくとも一方に基づいて、前記所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成するアーカイブ映像メタデータ記述手段と、
    映像コンテンツ取得時に、該映像コンテンツの所定シーンに関連付けて、ユーザにより入力されたポリシーが記述されたメタデータを生成するライブ映像メタデータ記述手段と、
    前記ライブ映像メタデータ記述手段又は前記アーカイブ映像メタデータ記述手段により生成されたメタデータに基づいて映像コンテンツをトランスコーディングするトランスコーディング手段と
    を備えたことを特徴とする映像トランスコードシステム。
  3. 通信ネットワークを介して配信すべき映像コンテンツを取得する映像取得装置において、
    撮影装置により撮影された映像コンテンツを取得する映像取得手段と、
    前記撮影装置から送信されてくる、ユーザの操作による操作信号を取得する入力情報取得手段と、
    前記入力情報取得手段により取得された操作信号に基づいて、前記映像コンテンツの所定シーンをトランスコーディングする際のポリシーが記述されたメタデータを生成するライブ映像メタデータ記述手段と
    を備えたことを特徴とする映像取得装置。
  4. 通信ネットワークを介して配信すべき映像コンテンツをトランスコーディングするトランスコーダ装置において、
    映像コンテンツの所定シーンに関連付けられているメタデータに記述されたポリシーを解析するメタデータ解析手段と、
    前記メタデータ解析手段による解析結果に基づいて前記映像コンテンツの所定シーンをトランスコーディングするトランスコーディング手段と
    を備えたことを特徴とするトランスコーダ装置。
  5. 通信ネットワークを介して配信すべき映像コンテンツをトランスコーディングする映像トランスコーディング方法において、
    映像取得装置が、映像コンテンツを取得する映像コンテンツ取得ステップと、
    前記映像取得装置が、ユーザにより入力された、前記映像コンテンツの所定シーンに対するポリシーを取得する入力情報取得ステップと、
    前記映像取得装置が、前記入力情報取得ステップにおいて取得されたポリシーが記述されたメタデータを生成する映像メタデータ記述ステップと、
    トランスコーダ装置が、前記メタデータ記述ステップにおいて生成されたメタデータに記述されたポリシーに基づいて前記映像コンテンツをトランスコーディングするトランスコーディングステップと
    を備えたことを特徴とする映像トランスコーディング方法。
JP2005058787A 2005-03-03 2005-03-03 映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法 Pending JP2006246008A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005058787A JP2006246008A (ja) 2005-03-03 2005-03-03 映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005058787A JP2006246008A (ja) 2005-03-03 2005-03-03 映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法

Publications (1)

Publication Number Publication Date
JP2006246008A true JP2006246008A (ja) 2006-09-14

Family

ID=37051939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005058787A Pending JP2006246008A (ja) 2005-03-03 2005-03-03 映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法

Country Status (1)

Country Link
JP (1) JP2006246008A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211568A (ja) * 2007-02-27 2008-09-11 Hitachi Ltd ストリーミングデータ伝送システム、コグニティブ制御ノード、ビデオサーバ、トランスコーディング方法、及び帯域予約方法
WO2008117892A1 (ja) 2007-03-28 2008-10-02 Nec Corporation コンテンツ配信システム、変換装置及びそれらに用いるコンテンツ配信方法
WO2008123568A1 (ja) 2007-04-04 2008-10-16 Nec Corporation コンテンツ配信システム、コンテンツ配信方法及びそれらに用いる変換装置
JP2010130394A (ja) * 2008-11-28 2010-06-10 Hitachi Ltd 記録装置及び記録方法
JP2010233220A (ja) * 2009-03-29 2010-10-14 Mitsubishi Electric Research Laboratories Inc 第1の符号化フォーマットの入力ビデオを第2の符号化フォーマットの出力ビデオにトランスコードする方法、適応ビデオトランスコーダ、及び第1の符号化フォーマットの入力ビデオを第2の符号化フォーマットの出力ビデオに適応ビデオトランスコードする方法
JP2011502406A (ja) * 2007-11-02 2011-01-20 エコール・ドゥ・テクノロジー・スュペリュール デジタル画像のトランスコードにおけるパラメータの画質を認識した選択のためのシステムおよび方法
JP5295236B2 (ja) * 2008-06-18 2013-09-18 三菱電機株式会社 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
JP2017192142A (ja) * 2011-01-21 2017-10-19 トムソン ライセンシングThomson Licensing コンテンツプロファイルを用いる高度化された遠隔トランスコーディングのためのシステム及び方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001078399A1 (en) * 2000-04-11 2001-10-18 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for transcoding of compressed image
JP2003527005A (ja) * 2000-03-13 2003-09-09 ソニー株式会社 縮小されたトランスコードヒントメタデータを生成する装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003527005A (ja) * 2000-03-13 2003-09-09 ソニー株式会社 縮小されたトランスコードヒントメタデータを生成する装置及び方法
WO2001078399A1 (en) * 2000-04-11 2001-10-18 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for transcoding of compressed image

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008211568A (ja) * 2007-02-27 2008-09-11 Hitachi Ltd ストリーミングデータ伝送システム、コグニティブ制御ノード、ビデオサーバ、トランスコーディング方法、及び帯域予約方法
JP4620696B2 (ja) * 2007-02-27 2011-01-26 株式会社日立製作所 ストリーミングデータ伝送システム、コグニティブ制御ノード、ビデオサーバ、トランスコーディング方法、及び帯域予約方法
WO2008117892A1 (ja) 2007-03-28 2008-10-02 Nec Corporation コンテンツ配信システム、変換装置及びそれらに用いるコンテンツ配信方法
US8281350B2 (en) 2007-03-28 2012-10-02 Nec Corporation Content distribution system, conversion device, and content distribution method for use therein
WO2008123568A1 (ja) 2007-04-04 2008-10-16 Nec Corporation コンテンツ配信システム、コンテンツ配信方法及びそれらに用いる変換装置
JP2011502406A (ja) * 2007-11-02 2011-01-20 エコール・ドゥ・テクノロジー・スュペリュール デジタル画像のトランスコードにおけるパラメータの画質を認識した選択のためのシステムおよび方法
JP2012199939A (ja) * 2007-11-02 2012-10-18 Ecole De Technologie Superieure デジタル画像の画質認識トランスコードシステムにおける画質予測テーブルを生成するためのシステム及び方法。
JP5295236B2 (ja) * 2008-06-18 2013-09-18 三菱電機株式会社 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
JP2010130394A (ja) * 2008-11-28 2010-06-10 Hitachi Ltd 記録装置及び記録方法
JP2010233220A (ja) * 2009-03-29 2010-10-14 Mitsubishi Electric Research Laboratories Inc 第1の符号化フォーマットの入力ビデオを第2の符号化フォーマットの出力ビデオにトランスコードする方法、適応ビデオトランスコーダ、及び第1の符号化フォーマットの入力ビデオを第2の符号化フォーマットの出力ビデオに適応ビデオトランスコードする方法
JP2017192142A (ja) * 2011-01-21 2017-10-19 トムソン ライセンシングThomson Licensing コンテンツプロファイルを用いる高度化された遠隔トランスコーディングのためのシステム及び方法

Similar Documents

Publication Publication Date Title
US10368075B2 (en) Clip generation based on multiple encodings of a media stream
US9351020B2 (en) On the fly transcoding of video on demand content for adaptive streaming
US9112938B2 (en) Adaptive playback with look-ahead
JP6134650B2 (ja) シーンに基づく適用性のあるビットレート制御
EP2700241B1 (en) Method and system for load balancing between a video server and client
JP2006246008A (ja) 映像トランスコードシステム、映像取得装置、トランスコーダ装置、及び、映像トランスコーディング方法
US20060167987A1 (en) Content delivery system, communicating apparatus, communicating method, and program
US11218663B2 (en) Video chunk combination optimization
CA2841377A1 (en) Video transcoding services provided by searching for currently transcoded versions of a requested file before performing transcoding
US11128897B2 (en) Method for initiating a transmission of a streaming content delivered to a client device and access point for implementing this method
JPWO2011004886A1 (ja) 配信システムと方法とゲートウェイ装置とプログラム
Mongay Batalla Advanced multimedia service provisioning based on efficient interoperability of adaptive streaming protocol and high efficient video coding
US9665646B1 (en) Method and system for providing bit rate adaptaion to video files having metadata
US11405445B2 (en) Content delivery control including selecting type of upscaling scheme, apparatus, method, program, and system therefor
US11425433B2 (en) Content delivery control apparatus, content delivery control method, program, and content delivery control system
US9942582B2 (en) Dynamic seeking in video delivery systems
Suchomski et al. RETAVIC: using meta-data for real-time video encoding in multimedia servers
Cho et al. 360-degree video traffic reduction using cloud streaming in mobile
JP7006387B2 (ja) 画像配信装置、方法及びプログラム
Böszörmenyi et al. Metadata-driven optimal transcoding in a multimedia proxy
JP2024076957A (ja) タイミング要件に基づく最適化されたビデオトランスコーディング
Goyal et al. Comparative analysis of performance of WMV & MPEG formats video streaming in a cloud
CN118101989A (zh) 基于定时要求的优化视频转码
Li et al. Portrait video phone
Moscoso et al. Internet TV architecture based on scalable video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101102