JP6231046B2 - Video data distribution management device, video data distribution management method, and program - Google Patents

Video data distribution management device, video data distribution management method, and program Download PDF

Info

Publication number
JP6231046B2
JP6231046B2 JP2015126756A JP2015126756A JP6231046B2 JP 6231046 B2 JP6231046 B2 JP 6231046B2 JP 2015126756 A JP2015126756 A JP 2015126756A JP 2015126756 A JP2015126756 A JP 2015126756A JP 6231046 B2 JP6231046 B2 JP 6231046B2
Authority
JP
Japan
Prior art keywords
moving image
image data
feature information
data
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015126756A
Other languages
Japanese (ja)
Other versions
JP2017011574A (en
Inventor
二郎 岩井
二郎 岩井
尚 小嶋
尚 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2015126756A priority Critical patent/JP6231046B2/en
Publication of JP2017011574A publication Critical patent/JP2017011574A/en
Application granted granted Critical
Publication of JP6231046B2 publication Critical patent/JP6231046B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動画データ配信管理装置、動画データ配信管理方法、プログラムに関する。   The present invention relates to a moving image data distribution management device, a moving image data distribution management method, and a program.

動画をストリーミング配信する技術がある(例えば、特許文献1)。このようなストリーミング配信技術を応用したストリーミング配信サービスにおいて、動画提供者からアップロードされた動画を受信側の端末装置の表示画面の大きさや回線状態などの状況に応じて、画像サイズや配信ビットレートの変換を行って配信するサービスもある。このような配信サービスにおいて、個々のビットストリームに、予め決められたビットレートで圧縮される。例えば、ビットストリームAがスタジオで撮影が行われているニュース画像であり、ビットストリームBが動きの激しいアクション映画である場合について考える。この場合、ニュース画像は、時間方向におけるフレームどうしで非常に高い相関があり、MPEG等nの時間方向の相関を用いる圧縮方式の場合、圧縮がしやすいシーケンスであり、比較的低ビットレートで圧縮しても画質の低下が少ない。一方、動きの激しいアクション映画では、動きが大きいため時間方向におけるフレームどうしで相関が高くない。そのため、MPEGの圧縮方式では圧縮がしにくいシーケンスであり、満足な画質を得るためには比較的高いビットレートが必要になる。   There is a technique for streaming a moving image (for example, Patent Document 1). In a streaming distribution service that applies such streaming distribution technology, the video size uploaded by a video provider and the bit size of the distribution bit rate depends on the display screen size and line status of the terminal device on the receiving side. There are also services that perform conversion and deliver. In such a distribution service, each bit stream is compressed at a predetermined bit rate. For example, consider the case where bitstream A is a news image being shot in a studio, and bitstream B is an action movie with intense motion. In this case, the news image has a very high correlation between frames in the time direction, and in the case of a compression method using the time direction correlation such as MPEG, the sequence is easy to compress and is compressed at a relatively low bit rate. Even so, there is little degradation in image quality. On the other hand, in an action movie with intense movement, since the movement is large, the correlation between frames in the time direction is not high. Therefore, the sequence is difficult to compress with the MPEG compression method, and a relatively high bit rate is required to obtain satisfactory image quality.

特開2007−215069号公報JP 2007-215069 A

しかしながら、上述の配信システムにおいては、ビットストリーム毎に均一に帯域が割当てられており、そのため、ビットストリームAとビットストリームBについて同じ帯域で配信すると、ストリームAでは必要以上の帯域が確保される一方、ビットストリームBで帯域が不足してしまう問題が生じる。   However, in the above-described distribution system, a band is uniformly allocated for each bit stream. Therefore, when the bit stream A and the bit stream B are distributed in the same band, the stream A can secure a band more than necessary. Therefore, there is a problem that the band is insufficient in the bit stream B.

本発明は、このような事情に鑑みてなされたもので、その目的は、動画を配信する帯域の使用効率を向上させることができる動画データ配信管理装置、動画データ配信管理方法、プログラムを提供することにある。   The present invention has been made in view of such circumstances, and an object thereof is to provide a moving image data distribution management device, a moving image data distribution management method, and a program capable of improving the use efficiency of a band for distributing moving images. There is.

上述した課題を解決するために、本発明は、複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得記憶する特徴情報記憶部と、前記動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定するトランスコード制御部と、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶するトランスコード部と、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる帯域管理部とを有する。
また、上述の動画データ配信管理装置において、前記特徴情報記憶部は、前記動画データを異なるエンコード条件に従ってエンコードされた際に得られるそれぞれの特徴情報を記憶する。
To solve the problems described above, the present invention is, for each of the plurality of moving image data is obtained by storing the feature information indicative of a relation between the strain occurs code quantity and the coding in the moving picture data is encoded When distributing moving image data according to the viewing environment of the requesting terminal device when receiving the distribution request of the moving image data with the characteristic information storage unit, the characteristic information of the moving image data is referred to the characteristic information storage unit When the feature information of the moving image data is not stored, the transcoding control unit that determines whether or not is stored, the moving image data is encoded so as to be in a data format according to the viewing environment, a transcoding unit for storing characteristic information obtained at that time in the feature information storage unit, respectively corresponding to a plurality of distribution target video data of the video data And a band management unit for assigning a band for distributing the moving image data in accordance with a serial feature information.
Further, in the above-described moving image data distribution management device, the feature information storage section stores the respective characteristic information obtained when encoded according to different encoding conditions the video data.

また、上述の動画データ配信管理装置において、前記特徴情報は、前記動画データが複数の区間に分割された当該動画データの各区間のそれぞれをエンコードした際に得られる各特徴情報を基に生成される。
また、上述の動画データ配信管理装置において、前記帯域管理部は、配信対象である複数の動画データのそれぞれについて当該動画データの区間毎に対応する特徴情報を参照し、前記動画データを配信する区間が到来する毎に当該区間に対応する特徴情報の組み合わせに応じて前記帯域を割当てる。
また、上述の動画データ配信管理装置において、前記動画データ配信管理装置は、さらに、動画投稿装置から送信される動画データを送信された際のデータ形式のまま記憶する映像信号記憶部を有し、前記トランスコード部は、前記映像信号記憶部に記憶された動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する。
In the above-described moving image data distribution management device, the feature information is generated based on each feature information obtained when each section of the moving image data divided into a plurality of sections is encoded. The
In the above-described moving image data distribution management device, the bandwidth management unit refers to feature information corresponding to each moving image data section for each of a plurality of moving image data to be distributed, and distributes the moving image data. Each time arrives, the bandwidth is allocated according to the combination of feature information corresponding to the section.
Further, in the above-described moving image data distribution management device, the moving image data distribution management device further includes a video signal storage unit that stores the moving image data transmitted from the moving image posting device as it is in the data format. The transcoding unit encodes the moving image data stored in the video signal storage unit so as to have a data format corresponding to the viewing environment, and stores the feature information obtained at that time in the feature information storage unit .

また、本発明は、複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得記憶する特徴情報記憶部を有する動画データ配信管理装置における動画データ配信管理方法であり、トランスコード制御部が、動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定し、トランスコード部が、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶し、帯域管理部が、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる動画データ配信管理方法である。
また、本発明は、複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部を有するコンピュータを、動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定する手段、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する手段、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる手段として機能させるためのプログラムである。
Further, the present invention, for each of the plurality of moving image data, moving image having a feature information storage section for storing obtains characteristic information expressing the relationship between the strain occurs code quantity and the coding in the moving picture data is encoded A moving image data distribution management method in a data distribution management device, wherein the transcode control unit distributes moving image data according to the viewing environment of a requesting terminal device when receiving a distribution request for moving image data. The storage unit is referred to determine whether or not the feature information of the moving image data is stored. When the transcoding unit does not store the feature information of the moving image data, the moving image data is stored in the viewing environment. performs encoding so that the corresponding data format, and stores the feature information obtained at that time in the feature information storage section, the band management unit, of the video data A moving image data distribution management method for allocating bandwidth for distributing the moving image data in accordance with each of the feature information corresponding to a plurality of distribution target moving image data Chi.
In addition, the present invention provides a computer having a feature information storage unit that obtains and stores characteristic information representing a relationship between a generated code amount and encoding distortion for each of a plurality of moving image data when the moving image data is encoded. When the moving image data corresponding to the viewing environment of the requesting terminal device when receiving the moving image data distribution request is distributed, the feature information storage unit is referred to and whether the moving image data feature information is stored. Means for determining whether or not the feature information of the moving image data is stored, the moving image data is encoded in a data format corresponding to the viewing environment, and the feature information obtained at that time is encoded with the feature information It means for storing in the information storage unit, distributing the moving image data in accordance with each of the feature information corresponding to a plurality of distribution target video data of the video data Is a program for functioning as means for allocating a bandwidth that.

以上説明したように、この発明によれば、動画データをエンコードした際に得られる特徴情報に基づいて、複数の動画データを配信する際の帯域を割り当てるようにした。これにより、動画データの特徴に応じた帯域を割り当てることができるため、データを配信する帯域の使用効率を向上させることができる。 As described above, according to the present invention, a band for distributing a plurality of moving image data is allocated based on the feature information obtained when the moving image data is encoded . Thereby, since the band according to the characteristic of moving image data can be allocated, the use efficiency of the band which distributes data can be improved.

本発明の一実施形態による画像配信システム1の構成を示すブロック図である。It is a block diagram which shows the structure of the image delivery system 1 by one Embodiment of this invention. 動画配信装置5の構成を表す概略ブロック図である。3 is a schematic block diagram illustrating a configuration of a moving image distribution device 5. FIG. 発生符号量と符号化ひずみとの関係を表す図である。It is a figure showing the relationship between the amount of generated codes and encoding distortion. R−D曲線の生成について説明する図である。It is a figure explaining the production | generation of an RD curve. 動画配信装置5の動作を説明するフローチャートである。4 is a flowchart for explaining the operation of the moving image distribution device 5. 2つの動画データを配信する場合における使用帯域と配信する経過時間との関係を説明する図である。It is a figure explaining the relationship between the use band in the case of distributing two moving image data, and the elapsed time to distribute.

以下、本発明の一実施形態について図面を参照して説明する。図1は、本発明の一実施形態による画像配信システム1の構成を示すブロック図である。図1に示すように、画像配信システム1は、動画投稿装置3、動画配信装置5、及び端末装置7を備えて構成される。動画配信装置5と複数の端末装置7とは、インターネットなどのネットワーク9により接続される。なお、動画配信装置5と複数の動画投稿装置3の一部または全部が、ネットワーク9により接続されてもよい。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an image distribution system 1 according to an embodiment of the present invention. As shown in FIG. 1, the image distribution system 1 includes a moving image posting device 3, a moving image distribution device 5, and a terminal device 7. The moving image distribution device 5 and the plurality of terminal devices 7 are connected by a network 9 such as the Internet. Part or all of the moving image distribution device 5 and the plurality of moving image posting devices 3 may be connected by the network 9.

動画投稿装置3は、パーソナルコンピュータ、タブレット端末、スマートフォン、通信機能を有する他の機器(例えば、ゲーム機等)などにより実現される。動画投稿装置3は、カメラを内部に備える又は外部に接続することが可能となっており、撮像対象を撮像し、撮像結果に基づく動画データを生成し、動画配信装置5に送信(投稿)する。また、動画投稿装置3は、内部に設けられた記憶領域に記憶された動画データを動画配信装置5に送信(投稿)することもできる。   The moving image posting device 3 is realized by a personal computer, a tablet terminal, a smartphone, another device (for example, a game machine) having a communication function, or the like. The video posting device 3 can have a camera inside or can be connected to the outside, captures an imaging target, generates video data based on the imaging result, and transmits (posts) the video to the video distribution device 5. . In addition, the moving image posting device 3 can transmit (post) moving image data stored in a storage area provided therein to the moving image distribution device 5.

動画配信装置5は、1台以上のサーバコンピュータなどにより実現される。動画配信装置5は、動画投稿装置3から送信された動画データを受信する。動画配信装置5は、動画投稿装置3から受信した動画データを記憶する。また、動画配信装置5は、動画配信要求を端末装置7から受信する。動画配信装置5は、端末装置7から動画配信要求を受信したときは、要求元の端末装置7に要求された動画のビットストリーム(後述)を送信(配信)する。なお、動画配信要求には、要求元の端末装置7を識別する情報(要求元識別情報ともいう)や、要求された動画を識別する情報(動画識別情報ともいう)などが含まれていればよい。   The moving image distribution device 5 is realized by one or more server computers. The moving image distribution device 5 receives the moving image data transmitted from the moving image posting device 3. The moving image distribution device 5 stores the moving image data received from the moving image posting device 3. The moving image distribution device 5 receives a moving image distribution request from the terminal device 7. When receiving the moving image distribution request from the terminal device 7, the moving image distribution device 5 transmits (distributes) the requested moving image bit stream (described later) to the requesting terminal device 7. Note that the video distribution request includes information for identifying the requesting terminal device 7 (also referred to as request source identification information), information for identifying the requested video (also referred to as video identification information), and the like. Good.

端末装置7は、パーソナルコンピュータ、タブレット端末、スマートフォン、通信機能を有する他の機器(例えば、ゲーム機等)などにより実現される。端末装置7は、動画配信要求を動画配信装置5に送信し、動画配信装置5から送信されたビットストリーム(後述)を受信して再生する。なお、動画投稿装置3と端末装置7とは同一の装置であってもよい。即ち、ある装置が、動画投稿装置3、且つ、端末装置7であってもよい。   The terminal device 7 is realized by a personal computer, a tablet terminal, a smartphone, another device (for example, a game machine) having a communication function, or the like. The terminal device 7 transmits a moving image distribution request to the moving image distribution device 5, and receives and reproduces a bit stream (described later) transmitted from the moving image distribution device 5. The moving image posting device 3 and the terminal device 7 may be the same device. That is, a certain device may be the moving image posting device 3 and the terminal device 7.

図2は、動画配信装置5の構成を表す概略ブロック図である。
動画データ受信部501は、動画投稿装置3から送信された動画データを受信する。動画データ受信部501は、動画投稿装置3から受信した動画データを、動画データを識別する動画識別情報とともに映像信号記憶部502に記憶する。この動画識別情報は、動画投稿装置3において所定のルールに従って付与されてもよいし、動画配信装置5が、動画投稿装置3の端末を識別する識別情報や受信時刻等を用いて所定のルールに従って付与してもよい。
FIG. 2 is a schematic block diagram illustrating the configuration of the moving image distribution device 5.
The moving image data receiving unit 501 receives moving image data transmitted from the moving image posting device 3. The moving image data receiving unit 501 stores the moving image data received from the moving image posting device 3 in the video signal storage unit 502 together with moving image identification information for identifying moving image data. This moving image identification information may be given according to a predetermined rule in the moving image posting device 3, or the moving image distribution device 5 uses the identification information for identifying the terminal of the moving image posting device 3, the reception time, and the like according to the predetermined rule. It may be given.

映像信号記憶部502は、動画投稿装置3から送信された動画データを動画識別情報とともに記憶する。ここで記憶される動画データは、動画投稿装置3から送信された動画データのデータ形式(画像サイズ等)のまま記憶される。
配信要求受信部503は、端末装置7から送信される端末装置7を識別する要求元情報と動画識別情報と動画配信要求とを受信する。配信要求受信部503は、端末装置7から動画配信要求を受信したときは、要求元情報と動画識別情報と動画配信要求をトランスコード制御部507に通知する。
The video signal storage unit 502 stores the moving image data transmitted from the moving image posting device 3 together with the moving image identification information. The moving image data stored here is stored in the data format (image size or the like) of the moving image data transmitted from the moving image posting device 3.
The distribution request receiving unit 503 receives request source information for identifying the terminal device 7, moving image identification information, and a moving image distribution request transmitted from the terminal device 7. When receiving the moving image distribution request from the terminal device 7, the distribution request receiving unit 503 notifies the transcode control unit 507 of the request source information, the moving image identification information, and the moving image distribution request.

トランスコード部504は、映像信号記憶部502に記憶された動画データを読み出し、配信要求元の端末装置7が視聴環境に応じたデータ形式にしたビットストリームをビットストリーム配信部505に、要求元情報とともに出力する。トランスコード部504は、配信対象の動画データが最初の配信である場合には、動画投稿装置3から得られた動画データからビットストリームを得るためにエンコードした際に得られる符号化ひずみ(PSNR;Peak signal−to−noise ratio、ピーク信号対雑音比ともいう)と発生符号量との関係を表す情報(以下、RD(Rate−Distorsion)カーブともいう)を特徴情報として取得し、取得した特徴情報を特徴情報記憶部506に記憶する。ここで、最初の配信とは、例えば、動画投稿装置3からライブ配信される場合や、映像信号記憶部502に動画データが記憶された後、端末装置7から配信要求を最初に受信したことに伴う配信である。トランスコード部504は、2回目以降の配信については、特徴情報が既に記憶されている場合、同じ特徴情報について特徴情報記憶部506に記憶しなくてもよい。トランスコード部504は、ライブ配信である場合、ビットストリーム信部505によってビットストリームを配信することができれば、動画データ受信部501が受信した動画データを映像信号記憶部502に記憶した後にエンコードしてもよいし、映像信号記憶部502に記憶することなくエンコードしてもよい。 The transcoding unit 504 reads out the moving image data stored in the video signal storage unit 502, and sends the bit stream that has been converted into a data format according to the viewing environment by the distribution request source terminal device 7 to the bit stream distribution unit 505. Output together. When the distribution target moving image data is the first distribution, the transcoding unit 504 encodes encoding distortion (PSNR) obtained when encoding to obtain a bit stream from the moving image data obtained from the moving image posting device 3. Information indicating the relationship between the peak signal-to-noise ratio (also referred to as peak signal-to-noise ratio) and the amount of generated code (hereinafter also referred to as an RD (Rate-Distortion) curve) is acquired as feature information, and the acquired feature information Is stored in the feature information storage unit 506. Here, the first distribution is, for example, a case where live distribution is performed from the moving image posting device 3 or that a distribution request is first received from the terminal device 7 after moving image data is stored in the video signal storage unit 502. It is an accompanying delivery. The transcoding unit 504 may not store the same feature information in the feature information storage unit 506 when the feature information is already stored for the second and subsequent distributions. Transcoding unit 504, when a live distribution, if it is possible to deliver a bit stream by the bit stream delivery unit 505 encodes the moving image data moving picture data receiving unit 501 has received and stored into the video signal storage unit 502 Alternatively, encoding may be performed without being stored in the video signal storage unit 502.

ここで、R−D曲線は、例えば、以下の演算のうち少なくともいずれか1つの演算を行うことで得ることができる。
(1)1つの動画データを異なるビットレートでエンコードした際に、そのビットレートでエンコードされた際における符号化ひずみの平均値と発生符号量の平均値を、エンコードするビットレート毎に得る。この得られた各符号化ひずみの平均値と発生符号量の平均値を、例えばプロットすることで、1つのR−D曲線を得る。ここでは、例えば、1つの動画データを配信サイズHDで異なる3つのビットレートで各端末装置に配信する場合、ビットレートが3種類であるため、3つのサンプルポイントにおいて、符号化ひずみの平均値と発生符号量の平均値とが得られる。この得られた3つのサンプルポイントに対応するようにカーブ(例えば、Logのカーブ)をフィッティングすることで、R−D曲線を得ることができる。
Here, the RD curve can be obtained, for example, by performing at least one of the following operations.
(1) When one moving image data is encoded at different bit rates, an average value of encoding distortion and an average value of generated code amounts when encoded at the bit rates are obtained for each encoding bit rate. One RD curve is obtained by plotting, for example, the average value of the obtained coding distortion and the average value of the generated code amount. Here, for example, when one moving image data is distributed to each terminal device at three different bit rates in the distribution size HD, since there are three types of bit rates, the average value of the coding distortion at three sample points An average value of the generated code amount is obtained. An RD curve can be obtained by fitting a curve (for example, a log curve) so as to correspond to the obtained three sample points.

(2)1つの動画データには、アクションシーン、出演者の顔のアップ、風景、スポーツを行っているシーン等、複数のシーンが含まれる場合がある。このように、複数のシーンから構成される動画データについては、そのシーン毎に、符号化ひずみの平均値と発生符号量の平均値を求める。これにより、シーンの数の分だけサンプルポイントが得られる。
そして、得られたサンプルポイントに対応するようにカーブをフィッティングすることで、R−D曲線を得る。例えば、動画データが映画等のある程度の長さを持ったシーケンスである場合、一般に多くのシーンチェンジが含まれる。ここでは、シーンチェンジとシーンチェンジの間のシーンは、ある特徴が連続した短いシーケンスとしてとらえることが出来る。このような動画データは、1回目の配信では可変レートでエンコードされるため、シーンごとの量子化値が異なり、多くのサンプルポイントを得ることが出来る。このようにして得られたサンプルポイントに対応するようにカーブをフィッティングすることで、R−D曲線を得ることができる。さらに、得られるサンプルポイントを前記したようなカテゴリー毎のR−D曲線とすることにより、後述するビットレートの決定を柔軟に行える。
(2) One moving image data may include a plurality of scenes such as an action scene, a performer's face-up, a landscape, and a scene in which sports are performed. As described above, for moving image data composed of a plurality of scenes, an average value of coding distortion and an average value of generated code amounts are obtained for each scene. As a result, as many sample points as the number of scenes are obtained.
Then, an RD curve is obtained by fitting the curve so as to correspond to the obtained sample points. For example, when the moving image data is a sequence having a certain length, such as a movie, generally, many scene changes are included. Here, a scene between scene changes can be regarded as a short sequence in which certain features are continuous. Since such moving image data is encoded at a variable rate in the first delivery, the quantized value for each scene is different, and many sample points can be obtained. An RD curve can be obtained by fitting the curve so as to correspond to the sample points thus obtained. Furthermore, the bit rate to be described later can be determined flexibly by using the obtained sample points as the RD curves for each category as described above.

(3)1つの動画データを異なる画像サイズに変換して配信する場合、例えば、ある動画データについて、第1回目の動画配信をHDで2つのビットレート、SD(Standard definition television)で2つのビットレート、SIF(Source Input Format)で2つのビットレートで行った場合、2つのサンプルポイントを基に生成されるR−D曲線が3つ得られる。この3つのR−D曲線は、サンプルポイントがそれぞれ2つであり、それぞれ1つでは正確さはあまり高くはないが、基本的に同じ動画データから生成されたR−D曲線であるため、同じ傾向を有するR−D曲線となる。そのため、この3つのR−D曲線に、例えば、係数をかける等の処理を行うことで、6つのサンプルポイントに基づく1つのR−D曲線を生成することができる。このように、1つの動画データから異なる画像サイズでのエンコードを行うことで、サンプル数を増やすことができ、R−D曲線の正確さを向上させることができる。   (3) When one movie data is converted into different image sizes and distributed, for example, for a certain movie data, the first movie distribution is performed with two bit rates in HD and two bits in SD (Standard definition television). When the rate and SIF (Source Input Format) are used at two bit rates, three RD curves generated based on two sample points are obtained. These three RD curves each have two sample points, and each one is not very accurate, but is basically the same as the RD curves generated from the same moving image data. It becomes the RD curve which has a tendency. Therefore, one RD curve based on six sample points can be generated by performing a process such as multiplying the three RD curves by a coefficient, for example. In this way, by performing encoding with different image sizes from one moving image data, the number of samples can be increased and the accuracy of the RD curve can be improved.

上述した(1)〜(3)の演算については、いずれか1つ、あるいは複数を任意に組み合わせることで、R−D曲線を得ることができる。また、このようなR−D曲線を得ることで、符号化ひずみと生符号量との対応関係を把握することができる。
R−D曲線は正確であるほど、量子化値と発生符号量と、画像の歪み(エンコード後の画像がエンコード前の画像に比べてどの程度劣化するか)の関係をより正確に把握することが可能となる。これらの関係は、動画データの内容(動画全体がアニメである、動きの多いスポーツである、全体的に風景が多い等)によって傾向が異なる。
For the operations (1) to (3) described above, an RD curve can be obtained by arbitrarily combining any one or a plurality. Further, by obtaining such an RD curve, it is possible to grasp the correspondence between the coding distortion and the raw code amount.
The more accurate the RD curve, the more accurately the relationship between the quantized value, the generated code amount, and the distortion of the image (how much the image after encoding deteriorates compared to the image before encoding) Is possible. These relationships have different tendencies depending on the content of the moving image data (the entire moving image is an animation, a sport with a lot of movement, an overall landscape is large, etc.)

図3は、R−D曲線の一例を表す図である。この図において、縦軸は符号化ひずみDであり、横軸は発生符号量Rである。符号化ひずみと発生符号量との関係は、発生符号量が増えると符号化ひずみの値は減る関係にある。また、発生符号量がある程度増大すると、符号化ひずみの減少は緩やかになる。ここで、曲線100、200、300は、1つの動画データを異なるである条件C1、C2、C3でエンコードした場合における関係を表す。条件としては、例えば、変換後の画像サイズである。   FIG. 3 is a diagram illustrating an example of an RD curve. In this figure, the vertical axis represents the coding distortion D, and the horizontal axis represents the generated code amount R. The relationship between the coding distortion and the generated code amount is such that the value of the coding distortion decreases as the generated code amount increases. Further, when the generated code amount increases to some extent, the decrease in coding distortion becomes moderate. Here, the curves 100, 200, and 300 represent relationships when one moving image data is encoded under different conditions C1, C2, and C3. The condition is, for example, the image size after conversion.

例えば、条件C1(曲線100)と条件C2(曲線200)とを比較すると、発生符号量が同じ(例えばA1)である場合には、条件C1における符号化ひずみがB1であり、条件C2における符号化ひずみがB2(B1>B2)であり、条件C2の方が、画質の低下が少ない。また、例えば、条件C1の代わりに条件C2を用いる場合、発生符号量をA1からA2まで減らしたとしても、符号化ひずみはB1のままであるため、符号発生量を抑えつつ、画質の低下を抑えることができる。   For example, when the condition C1 (curve 100) and the condition C2 (curve 200) are compared, if the generated code amount is the same (for example, A1), the coding distortion in the condition C1 is B1, and the code in the condition C2 The deformation strain is B2 (B1> B2), and the condition C2 has less deterioration in image quality. Further, for example, when the condition C2 is used instead of the condition C1, even if the generated code amount is reduced from A1 to A2, the encoding distortion remains B1, so that the image quality is reduced while suppressing the code generation amount. Can be suppressed.

図4は、R−D曲線の生成について説明する図である。図4(a)は、複数のシーンを有する動画データについて発生符号量と時間(経過フレーム)との関係を表す図、図4(b)は、発生符号量と符号化ひずみとの関係を表す図である。1つの動画データについて、発生符号量と符号化ひずみについて、その動画データ全体を対象として平均値を得ることで、R−D曲線を生成することができるが、そうすると、サンプルポイント数が十分でない場合がある。
このような場合には、例えば、動画データが映画等のある程度の長さを持ったシーケンスである場合、一般に、多くのシーンチェンジが含まれる。そして、シーンチェンジとシーンチェンジの間のシーンは、1つの短いシーケンスとしてとらえることが出来る。このような動画データは、1回目の配信では可変レートでエンコードされるため、シーンごとの量子化値が異なり、多くのサンプルポイントを得ることが出来る。また、動画データを5秒毎など、一定時間単位で時間を区切ることによって、多くのサンプル数を得るようにすることも可能である。このようにすることで、図4(b)に示すように、R−D曲線を得るようにしてもよい。
FIG. 4 is a diagram for explaining generation of an RD curve. FIG. 4A shows a relationship between the generated code amount and time (elapsed frame) for moving image data having a plurality of scenes, and FIG. 4B shows a relationship between the generated code amount and encoding distortion. FIG. For one moving image data, an RD curve can be generated by obtaining an average value of the generated code amount and coding distortion for the entire moving image data. However, if the number of sample points is not sufficient There is.
In such a case, for example, when the moving image data is a sequence having a certain length such as a movie, generally, many scene changes are included. A scene between scene changes can be regarded as one short sequence. Since such moving image data is encoded at a variable rate in the first delivery, the quantized value for each scene is different, and many sample points can be obtained. It is also possible to obtain a large number of samples by dividing the time of the moving image data by a fixed time unit such as every 5 seconds. By doing so, an RD curve may be obtained as shown in FIG.

ビットストリーム配信部505は、トランスコード部504から供給されたビットストリームを要求元情報に対応する端末装置7に送信する。   The bit stream distribution unit 505 transmits the bit stream supplied from the transcoding unit 504 to the terminal device 7 corresponding to the request source information.

特徴情報記憶部506は、複数の動画データのそれぞれについて、トランスコード部504によってエンコードされた際に得られるR−D曲線を表す特徴情報を動画識別情報とともに記憶する。特徴情報記憶部506は、動画データを異なるエンコード条件に従ってエンコードされた際に得られるそれぞれの特徴情報を記憶する。エンコード条件としては、例えば、動画の解像度を用いる場合、SD、HD、SIF等の、異なる解像度である。また、エンコード条件としては、例えば、画像サイズを用いることができる。このような特徴情報は、前記動画データが複数の区間に分割された当該動画データの各区間のそれぞれをエンコードした際に得られる各特徴情報を基に生成される。また、特徴情報としては、特徴情報(R−D曲線)を生成した際に得られる量子化値と発生符号量との関係についても記憶する。また、特徴情報としては、動画データがエンコードされる際のシーケンスのフレームと、ピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)も対応づけて記憶することもできる。なお、マクロブロックレイヤー以下の情報(ベクター情報、マクロブロックモードを表すモード情報)については、2回目以降の配信の際には計算し直すため、必ずしも特徴情報として記憶しなくてもよいが、記憶した場合には、2回目以降の配信の際に参照してエンコードすることもできる。 The feature information storage unit 506 stores feature information representing an RD curve obtained when the transcoding unit 504 encodes each of the plurality of moving image data together with the moving image identification information. Characteristic information storage unit 506 stores each of the characteristic information obtained when encoded according to different encoding conditions the video data. As the encoding condition, for example, when using the resolution of a moving image, different resolutions such as SD, HD, and SIF are used. As the encoding condition, for example, an image size can be used. Such feature information is generated based on each feature information obtained when each section of the moving image data obtained by dividing the moving image data into a plurality of sections is encoded . As the feature information, the relationship between the quantization value obtained when the feature information (RD curve) is generated and the generated code amount is also stored. Further, as the feature information, a frame of a sequence when moving image data is encoded and a picture type (I picture, P picture, B picture) can also be stored in association with each other. Note that information below the macroblock layer (vector information, mode information indicating the macroblock mode) is not necessarily stored as feature information because it is recalculated during the second and subsequent distributions. In such a case, it is possible to encode by referring to the second and subsequent distributions.

トランスコード制御部507は、動画データのうち複数の配信対象の動画データに対応するそれぞれの特徴情報に応じて動画データを配信する帯域を割当てる。   The transcode control unit 507 allocates a band for distributing moving image data according to each feature information corresponding to a plurality of distribution target moving image data among the moving image data.

次に、動画配信装置5の動作について、図5のフローチャートを用いて説明する。ここでは、動画投稿装置3から動画データが送信されると、その都度、動画データ受信部501が動画データを受信して映像信号記憶部502に記憶に記憶する。
動画配信装置5の配信要求受信部503が端末装置7から動画識別情報、要求元情報、配信要求を受信すると(ステップS101)、トランスコード制御部507は、特徴情報記憶部506を参照し、配信要求された動画の動画識別情報に対応する特徴情報が記憶されているか否かを判定する(ステップS102)。特徴情報が特徴情報記憶部506に記憶されていない場合、トランスコード制御部507は、トランスコード部504に、動画識別情報と要求元情報を出力するとともに動画データのエンコードを指示する。トランスコード部504は、エンコードの指示に基づいて、動画識別情報に対応する動画データをエンコードしてビットストリームを生成する(ステップS103)。このビットストリームを生成する際、例えば、複数種類の画像サイズについてエンコードしたり、異なる画質についてエンコードする等、複数の条件でそれぞれエンコードを行う。このとき、トランスコード部504は、ビットストリームを生成する際に動画の解析をすることによって得られる、R−D曲線を特徴情報として動画識別情報とともに特徴情報記憶部506に記憶する(ステップS104)。ここでは、各種条件に従ったエンコードを行う場合、目的の画像サイズであり目的の画質となるようにエンコードすることもできる。そして、各種条件において、動画データ全体のPSNRの平均値、発生符号量の平均値を算出することで、R−D曲線を生成する。ここでは、例えば、上述の(1)〜(3)のうち少なくともいずれか1つの算出方法を用いてR−D曲線を得る。なお、目的の画像サイズの動画データを生成するためのエンコードを行う際、目的の画像サイズよりも小さな画像サイズである縮小画像も得ることもできるため、この縮小画像に基づくベクター情報とモード情報とを得ることで、互いに異なる画像サイズのそれぞれの特徴情報を得ることができる。
Next, the operation of the moving image distribution device 5 will be described using the flowchart of FIG. Here, whenever moving image data is transmitted from the moving image posting device 3, the moving image data receiving unit 501 receives the moving image data and stores it in the video signal storage unit 502.
When the distribution request receiving unit 503 of the moving image distribution device 5 receives the moving image identification information, the request source information, and the distribution request from the terminal device 7 (step S101), the transcode control unit 507 refers to the feature information storage unit 506 and distributes the distribution request. It is determined whether or not feature information corresponding to the moving image identification information of the requested moving image is stored (step S102). When the feature information is not stored in the feature information storage unit 506, the transcode control unit 507 outputs the moving image identification information and the request source information to the transcode unit 504 and instructs the encoding of the moving image data. Based on the encoding instruction, the transcoding unit 504 encodes the moving image data corresponding to the moving image identification information to generate a bitstream (step S103). When this bit stream is generated, encoding is performed under a plurality of conditions, for example, encoding for a plurality of types of image sizes or encoding for different image quality. At this time, the transcoding unit 504 stores the RD curve obtained by analyzing the moving image when generating the bitstream in the feature information storage unit 506 as the feature information together with the moving image identification information (step S104). . Here, when encoding is performed according to various conditions, the encoding can be performed so that the target image size and the target image quality are obtained. Then, under various conditions, an RD curve is generated by calculating the average value of PSNR and the average value of the generated code amount of the entire moving image data. Here, for example, the RD curve is obtained by using at least one of the calculation methods (1) to (3) described above. Note that when encoding to generate moving image data of a target image size, a reduced image having an image size smaller than the target image size can also be obtained. Therefore, vector information and mode information based on the reduced image are obtained. By obtaining the above, it is possible to obtain feature information of different image sizes.

そして、トランスコード部504は、トランスコード制御部507は、ステップS103において得られる動画の解析結果に基づいてエンコードし、エンコードされた動画データを所定のビットレートで配信するようにビットストリーム配信部505に指示する。ビットストリーム配信部505は、所定のビットレートで送信する(ステップS105)。
ここでの所定のビットレートは、ビットストリーム信部から他の動画データの配信がされていないため、ビットストリーム信部505が配信可能な全帯域のうち、任意の帯域を割り当てることで、この帯域内で配信可能なビットレートが所定のビットレートとして割り当てられる。例えば、最も高いビットレートを割り当てることもできる。ビットストリーム配信部505は、割り当てられたビットレートに従い、動画データを端末装置7に配信する。
Then, the transcoding unit 504, the transcoding control unit 507 encodes based on the analysis result of the moving image obtained in step S103, and the bit stream distribution unit 505 so as to distribute the encoded moving image data at a predetermined bit rate. To instruct. The bit stream distribution unit 505 transmits at a predetermined bit rate (step S105).
Here the predetermined bit rate, the order is not the delivery of other video data from the bit stream delivery section, of the total bandwidth that can be delivered bitstream delivery section 505, by assigning an arbitrary band, A bit rate that can be distributed within this band is assigned as a predetermined bit rate. For example, the highest bit rate can be assigned. The bit stream distribution unit 505 distributes moving image data to the terminal device 7 in accordance with the assigned bit rate.

一方、ステップS102において、特徴情報が格納されている場合、トランスコード制御部507は、受信している動画の配信要求が複数であるかを判定し(ステップS106)、受信している動画の配信要求が複数である場合には、配信要求されている他の動画データの特徴情報を取得する(ステップS107)。そして、トランスコード制御部507は、配信要求されているそれぞれの動画の特徴情報に基づいて、ビットストリーム配信部505が配信可能な帯域幅に収まるように、動画データ配信の進行に合ったビットレートをそれぞれの動画データに対して決定する(ステップS108)。このビットレートを決定する場合、数理計画法に従って決定することもできる。ここで数理計画法を適用する場合、制約条件を画質向上優先(PSNRが所定値以上となる制約)や、帯域削減優先(トータルのビットレートを削減する)といった制約条件で最適化問題を解くことにより、再エンコードに使う量子化値など具体的なエンコードパラメータを決定することができる。   On the other hand, if the feature information is stored in step S102, the transcode control unit 507 determines whether there are a plurality of received moving image distribution requests (step S106), and distributes the received moving image. If there are a plurality of requests, the feature information of other moving image data requested for distribution is acquired (step S107). Based on the feature information of each moving image requested for distribution, the transcode control unit 507 sets a bit rate that matches the progress of moving image data distribution so that the bit stream distributing unit 505 fits in the distributable bandwidth. Is determined for each moving image data (step S108). When determining this bit rate, it can also be determined according to mathematical programming. Here, when applying mathematical programming, solve the optimization problem with constraints such as image quality improvement priority (a constraint that PSNR is greater than or equal to a predetermined value) and bandwidth reduction priority (reducing the total bit rate). Thus, specific encoding parameters such as a quantization value used for re-encoding can be determined.

そして、トランスコード制御部507は、それぞれの動画データに対し、決定されたビットレートに応じた量子化値を決定し(ステップS109)、決定された量子化値に従って、映像信号記憶部502に記憶されたそれぞれの動画データを読み出してエンコードし、要求元情報に対応するそれぞれの端末装置7に配信する(ステップS110)。 Then, the transcode control unit 507 determines a quantization value corresponding to the determined bit rate for each moving image data (step S109), and stores it in the video signal storage unit 502 according to the determined quantization value. Each moving image data read out is encoded and distributed to each terminal device 7 corresponding to the request source information (step S110).

一方、トランスコード制御部507は、ステップS106において、動画の配信要求が一つである場合には、その配信要求されている動画の特徴情報に基づいて、ビットストリーム配信部505が配信可能な帯域幅に収まるように、動画データ配信の進行に合ったビットレートを動画データに対して決定し(ステップS111)、ステップS109に移行する。   On the other hand, if there is only one moving image distribution request in step S106, the transcode control unit 507 determines the bandwidth that the bit stream distribution unit 505 can distribute based on the feature information of the moving image requested to be distributed. A bit rate suitable for the moving image data distribution is determined for the moving image data so as to be within the width (step S111), and the process proceeds to step S109.

なお、上述したフローチャートにおいて、配信対象の動画データが複数であって、そのうち少なくとも1つの動画データについて特徴情報が記憶されていない場合には、配信対象である動画データのそれぞれに対し、ビットレートを均等に割り当てて配信しておき、各動画データの特徴情報が記憶されている場合に、ステップS107以降のように、各特徴情報に基づいてビットレートを割り当てるようにしてもよい。   In the above-described flowchart, when there are a plurality of moving image data to be distributed and feature information is not stored for at least one of the moving image data, a bit rate is set for each moving image data to be distributed. When the feature information of each moving image data is stored evenly allocated and distributed, the bit rate may be assigned based on each feature information as in step S107 and subsequent steps.

例えば、第1回目の動画データの配信において、第1シーケンスから第3シーケンスまでの3つの動画データをそれぞれ目標ビットレート200Kbpsで配信する場合において、画質向上を優先する制約条件に基づいて帯域幅を割り当てる場合について説明する。また、ここでは、第1シーケンスは、比較的動きが少なくコンコードの負荷が比較的軽い内容であり、第2シーケンスは、第1シーケンスに比べて動きが多くエンコードも多少重い内容であり、第3シーケンスは、この3つのシーケンスの中で最も動きが多くエンコードも重い内容であるものとして説明する。そして、第1シーケンスの時刻Tでの情報が量子化値Q=Q1、PSNR=PSNR1、ビットレート=200Kbpsであり、シーケンス2の時刻Tでの情報が量子化値Q=Q2(Q1<Q2)、PSNR=PSNR2(PSNR1>PSNR2)、ビットレート=210Kbpsであり、シーケンス3の時刻Tでの情報が量子化値Q=Q3(Q2<Q3)、PSNR=PSNR3(PSNR2>PSNR3)、ビットレート=230Kbpsであるとする。   For example, in the first distribution of moving image data, when three moving image data from the first sequence to the third sequence are distributed at a target bit rate of 200 Kbps, the bandwidth is set based on the constraint that prioritizes image quality improvement. The case of assigning will be described. In addition, here, the first sequence has a relatively small motion and a relatively light concord content, and the second sequence has a relatively large motion and a slightly heavy encoding compared to the first sequence. The sequence will be described on the assumption that the contents are the most moving and the encoding is heavy among the three sequences. The information at the time T of the first sequence is the quantized value Q = Q1, PSNR = PSNR1, and the bit rate = 200 Kbps, and the information at the time T of the sequence 2 is the quantized value Q = Q2 (Q1 <Q2). , PSNR = PSNR2 (PSNR1> PSNR2), bit rate = 210 Kbps, information at time T of sequence 3 is quantized value Q = Q3 (Q2 <Q3), PSNR = PSNR3 (PSNR2> PSNR3), bit rate = Suppose that it is 230 Kbps.

この場合、第1シーケンスは、エンコードが簡単なわりに配信帯域を200Kbps分利用しており、必要以上に画質を確保するような条件(PSNR=PSNR1であり、第2シーケンス、第3シーケンスのPSNRよりも大きい)にて配信してしまうと、第2シーケンス、第3シーケンスは、第1シーケンスよりもエンコードが難しいので、目標ビットレートの200Kbpsに近づけるためには、量子化値を上げて画質を低減(第2シーケンス及び第3シーケンスのPSNRはいずれも第1シーケンスより小さい)させて配信しなければならない。   In this case, the first sequence uses a distribution band of 200 Kbps in spite of simple encoding, and a condition that ensures image quality more than necessary (PSNR = PSNR1, and from the PSNR of the second sequence and the third sequence) The second sequence and the third sequence are more difficult to encode than the first sequence, so in order to approach the target bit rate of 200 Kbps, the quantization value is increased to reduce the image quality. (The PSNR of the second sequence and the third sequence are both smaller than the first sequence) and must be distributed.

このような動画データの配信を、上述の特徴情報を用いて使用帯域を割り当てる場合、第1シーケンスを量子化値Q=Q4、PSNR=PSNR4、ビットレート=100Kbps、第2シーケンスを量子化値Q=Q5(例えばQ5≒Q4)、PSNR=PSNR5(PSNR4≒PSNR5)、ビットレート=238Kbps、第3シーケンスを量子化値Q=Q6(例えばQ6≒Q4)、PSNR=PSNR6(PSNR6≒PSNR4)、ビットレート=258Kbpsという結果を、ビットレートの総和が帯域の制限を超えないという制約条件の下でPSNRのばらつきを最小化する問題として定式化し、解を数理計画法に従って導き出し、この条件に従って配信することにより、トータルの発生符号量を抑えつつ、ある程度の画質を保った配信を行うことができる。例えば、ある一定以上の画質である場合、一般に、視聴者は、それ以上画質を高くしたとしても、その画質の差異は認識しにくい。そこで、ある程度の画質を確保できる場合には、それ以上に画質を向上させず、その分、他の画質が低いシーケンスの画質を向上されるように帯域を割り当てることで、動画配信の品質を向上させることができる。
また、制約条件として、「ビットレートの総和が帯域の制限を超えない」という内容を適用したが、これ以外を適用することもできる。また、「PSNRのばらつきを最小化する問題」として定式化したが、制約条件に対応した他の内容であってもよい。
また、この例では第1シーケンス、第2シーケンス、第3シーケンスを配信する場合について説明したが、一度特徴情報が得られたシーケンスであれば、第1回目の送信とは別の組み合わせ(例えば、第1シーケンス1、第4シーケンス、第7シーケンス)であっても、その状況に応じた最適な配信条件を導き出すことができる。
In the distribution of such moving image data, when the use band is allocated using the above-described feature information, the first sequence has a quantized value Q = Q4, PSNR = PSNR4, the bit rate = 100 Kbps, and the second sequence has a quantized value Q. = Q5 (eg Q5≈Q4), PSNR = PSNR5 (PSNR4≈PSNR5), bit rate = 238 Kbps, third sequence quantized value Q = Q6 (eg Q6≈Q4), PSNR = PSNR6 (PSNR6≈PSNR4), bit Formulate the result that rate = 258 Kbps as a problem that minimizes PSNR variation under the constraint that the sum of bit rates does not exceed the bandwidth limit, derive the solution according to mathematical programming, and deliver according to this condition This reduces the total amount of generated code while maintaining a certain level of image quality. Delivery by Tsu can be carried out. For example, when the image quality exceeds a certain level, generally, even if the viewer further increases the image quality, it is difficult to recognize the difference in image quality. Therefore, if a certain level of image quality can be secured, the quality of video distribution is improved by allocating bandwidth so that the image quality of sequences with lower image quality can be improved by that amount without improving the image quality further. Can be made.
In addition, although the content that “the sum of the bit rates does not exceed the limit of the band” is applied as the constraint condition, other than this can be applied. Further, although formulated as “problem to minimize PSNR variation”, other contents corresponding to the constraint condition may be used.
In this example, the case where the first sequence, the second sequence, and the third sequence are distributed has been described. However, if the feature information is obtained once, a combination different from the first transmission (for example, Even in the first sequence 1, the fourth sequence, and the seventh sequence), it is possible to derive the optimum delivery condition according to the situation.

なお、制約条件を帯域削減優先として求める場合、例えば、上述した第1シーケンス、第2シーケンス、第3シーケンスのうち、第1シーケンスについては、動画データの内容に対して配信帯域が必要以上に高いため、ビットレートを下げ、第2シーケンス、第3シーケンスについては、例えばビットレートを維持する。第1シーケンスのビットレートをどの程度下げればよいかについては、R−D曲線を用いることで算出することができる。これにより、第2シーケンス、第3シーケンスの画質を維持しつつ、帯域削減をすることができる。   Note that, when the constraint condition is obtained as bandwidth reduction priority, for example, among the first sequence, the second sequence, and the third sequence described above, for the first sequence, the distribution bandwidth is higher than necessary for the content of the moving image data. Therefore, the bit rate is lowered, and for example, the bit rate is maintained for the second sequence and the third sequence. How much the bit rate of the first sequence should be reduced can be calculated by using an RD curve. Thereby, it is possible to reduce the bandwidth while maintaining the image quality of the second sequence and the third sequence.

図6は、2つの動画データを配信する場合における使用帯域と配信する経過時間との関係を説明する図である。図6(a)は、上述の実施形態における動画配信装置5を用いない場合における、使用帯域と経過時間との関係を表す。この図6(a)では、動画データA1と動画データB1について、経過時間が経過したとしても、使用する帯域は、継続的に均等に割り当てられている。このため、動画データA1と動画データB1については、それぞれ、割り当てられた帯域に収まるようなビットレートで配信される。このため、動画データA1が、例えばニュース番組等の動きが少ない内容の動画データであり、ビットレートがある程度低くても問題ない場合であっても、このビットレートに対して余裕のある帯域幅が割り当てられる。一方、動画データB1がアクション映画等の動きが多い内容の動画データであり、ビットレートがある程度高い方が好ましい場合であっても、このビットレートに対して帯域が不足してしまう。   FIG. 6 is a diagram for explaining the relationship between the used bandwidth and the elapsed time for distribution when two moving image data are distributed. FIG. 6A shows the relationship between the bandwidth used and the elapsed time when the moving image distribution device 5 in the above embodiment is not used. In FIG. 6A, even if the elapsed time has elapsed for the moving image data A1 and the moving image data B1, the bands to be used are continuously allocated equally. For this reason, the moving image data A1 and the moving image data B1 are each distributed at a bit rate that fits within the allocated bandwidth. For this reason, even if the moving image data A1 is moving image data with a small amount of motion such as a news program and there is no problem even if the bit rate is low to some extent, there is a sufficient bandwidth for this bit rate. Assigned. On the other hand, even if the moving image data B1 is moving image data having a lot of motion such as an action movie and it is preferable that the bit rate is somewhat high, the band is insufficient for the bit rate.

これに対し、上述した動画配信装置5を用いる場合、図6(b)に示すように、動画データA2と動画データB2について、経過時間に応じた使用帯域が割り当てられる。これにより、例えば、経過時間t1において、動画データA2が動きの少ないシーンであり、動画データB2が動きの多いシーンである場合には、動画データA2よりも動画データB2に対して広い帯域が割り当てられる。これにより、動画データB2については、動画データA2よりも広い帯域を利用することで、高いビットレートでの配信を行うことができる。また、経過時間t2において、動画データA2が動きの多いシーンであり、動画データB2が動きの少ないシーンである場合には、動画データB2よりも動画データA2に対して広い帯域が割り当てられる。これにより、動画データA2については、動画データB2よりも広い帯域を利用することで、高いビットレートでの配信を行うことができる。
以上説明した実施形態においては、ビットストリームが2つである場合について説明したが、3つ以上を配信する際に用いることもできる。
On the other hand, when the above-described moving image distribution device 5 is used, as shown in FIG. 6B, the use band corresponding to the elapsed time is allocated to the moving image data A2 and the moving image data B2. Thereby, for example, when the moving image data A2 is a scene with little movement and the moving image data B2 is a scene with much movement at the elapsed time t1, a wider band is allocated to the moving image data B2 than the moving image data A2. It is done. As a result, the moving image data B2 can be distributed at a high bit rate by using a wider band than the moving image data A2. Further, when the moving image data A2 is a scene with a lot of movement and the moving image data B2 is a scene with a little movement at the elapsed time t2, a wider band is allocated to the moving image data A2 than the moving image data B2. As a result, the moving image data A2 can be distributed at a high bit rate by using a wider band than the moving image data B2.
In the embodiment described above, the case where there are two bit streams has been described, but it can also be used when three or more bit streams are distributed.

なお、以上説明した実施形態によれば、ある幅の配信帯域で複数の動画像ビットストリームを配信する場合、ビットストリーム毎に同じ帯域を割り当てたとき、同時刻に配信される動画像ビットストリームは、画像の圧縮難易度が異なることによるビットレートが無駄に使用されてしまうこと防ぐことができ、同時に配信される複数のビットストリーム間で帯域を画像の難易度によって都合することにより、画質や帯域の削減を行うことができる。   According to the embodiment described above, when a plurality of moving image bitstreams are distributed in a certain distribution band, when the same band is allocated for each bitstream, the moving image bitstream distributed at the same time is Therefore, it is possible to prevent the bit rate from being used unnecessarily due to different image compression difficulty levels, and by adjusting the bandwidth between multiple bitstreams that are simultaneously distributed depending on the image difficulty level, Can be reduced.

なお、上述した実施形態において、発生符号量のコントロールを正確に行うためには、量子化値と発生ビット量とを対応付けた情報も特徴情報として記憶するようにしてもよい。この量子化値と発生符号量とを対応づけた情報は、例えば、動画データをエンコードした際に、R−D曲線が得られるが、そのエンコードを行った際に得られる発生符号量に対応した量子化値を用いることで生成することができる。そして得られた量子化値を用いて、量子化値を増加あるいは減少させた場合における符号化ひずみと発生符号量とを得ることで、目的の符号発生量に近づけた符号発生量を決めることができる。   In the above-described embodiment, in order to accurately control the generated code amount, information in which the quantization value and the generated bit amount are associated may be stored as feature information. The information in which the quantized value and the generated code amount are associated is, for example, an RD curve is obtained when the moving image data is encoded, and corresponds to the generated code amount obtained when the encoding is performed. It can be generated by using a quantized value. Then, by using the obtained quantized value, obtaining the coding distortion and the generated code amount when the quantized value is increased or decreased, it is possible to determine the code generated amount close to the target code generated amount. it can.

上述した実施形態における動画配信装置5をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。   You may make it implement | achieve the moving image delivery apparatus 5 in embodiment mentioned above with a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. You may implement | achieve using programmable logic devices, such as FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

1…画像配信システム、3…動画投稿装置、5…動画配信装置、7…端末装置、9…ネットワーク、501…動画データ受信部、502…映像信号記憶部、503…配信要求受信部、504…トランスコード部、505…ビットストリーム配信部、506…特徴情報記憶部、トランスコード制御部 DESCRIPTION OF SYMBOLS 1 ... Image delivery system, 3 ... Movie posting apparatus, 5 ... Movie delivery apparatus, 7 ... Terminal device, 9 ... Network, 501 ... Movie data receiving part, 502 ... Video signal storage part, 503 ... Delivery request receiving part, 504 ... Transcode unit, 505... Bit stream distribution unit, 506... Feature information storage unit, transcode control unit

Claims (7)

複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得記憶する特徴情報記憶部と、
前記動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定するトランスコード制御部と、
前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶するトランスコード部と、
前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる帯域管理部と
を有する動画データ配信管理装置。
For each of a plurality of moving image data, the feature information storage section for storing obtains characteristic information expressing the relationship between the strain occurs code quantity and the coding in the moving picture data have been encoded,
Whether the feature information of the moving image data is stored with reference to the feature information storage unit when distributing the moving image data according to the viewing environment of the requesting terminal device when receiving the distribution request of the moving image data A transcode control unit for determining whether or not
When the feature information of the moving image data is not stored, the moving image data is encoded so as to have a data format corresponding to the viewing environment, and the feature information obtained at that time is stored in the feature information storage unit. A transcoding section;
A video data distribution management device comprising: a band management unit that allocates a band for distributing the video data according to the feature information corresponding to a plurality of video data to be distributed among the video data.
前記特徴情報記憶部は、前記動画データを異なるエンコード条件に従ってエンコードされた際に得られるそれぞれの特徴情報を記憶する
請求項1記載の動画データ配信管理装置。
The feature information storage unit, moving image data distribution management device according to claim 1, wherein storing the respective characteristic information obtained when encoded according to different encoding conditions the video data.
前記特徴情報は、前記動画データが複数の区間に分割された当該動画データの各区間のそれぞれをエンコードした際に得られる各特徴情報を基に生成される
請求項1記載の動画データ配信管理装置。
The moving image data distribution management device according to claim 1, wherein the feature information is generated based on feature information obtained when each of the sections of the moving image data obtained by dividing the moving image data into a plurality of sections is encoded. .
前記帯域管理部は、配信対象である複数の動画データのそれぞれについて当該動画データの区間毎に対応する特徴情報を参照し、前記動画データを配信する区間が到来する毎に当該区間に対応する特徴情報の組み合わせに応じて前記帯域を割当てる
請求項1記載の動画データ配信管理装置。
The band management unit refers to feature information corresponding to each section of the moving image data for each of the plurality of moving image data to be distributed, and features corresponding to the section every time a section for distributing the moving image data arrives The moving image data distribution management device according to claim 1, wherein the bandwidth is allocated according to a combination of information.
前記動画データ配信管理装置は、さらに、  The video data distribution management device further includes:
動画投稿装置から送信される動画データを送信された際のデータ形式のまま記憶する映像信号記憶部を有し、  It has a video signal storage unit that stores the video data transmitted from the video posting device as it is in the data format when transmitted,
前記トランスコード部は、前記映像信号記憶部に記憶された動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する  The transcoding unit encodes the moving image data stored in the video signal storage unit so as to have a data format corresponding to the viewing environment, and stores the feature information obtained at that time in the feature information storage unit
請求項1から請求項4のうちいずれか1項に記載の動画データ配信管理装置。  The moving image data distribution management device according to any one of claims 1 to 4.
複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得記憶する特徴情報記憶部を有する動画データ配信管理装置における動画データ配信管理方法であり、
トランスコード制御部が、動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定し、
トランスコード部が、前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶し、
帯域管理部が、前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる
動画データ配信管理方法。
For each of a plurality of moving picture data, moving picture in the moving image data distribution management device having the characteristic information storage unit that stores obtains characteristic information expressing the relationship between the strain occurs code quantity and the coding in the moving picture data is encoded Data distribution management method,
When the transcode control unit distributes the video data according to the viewing environment of the requesting terminal device when receiving the video data distribution request, the transcode control unit refers to the feature information storage unit, and the feature information of the video data is Determine whether it is remembered,
When the feature information of the moving image data is not stored, the transcoding unit encodes the moving image data so as to have a data format corresponding to the viewing environment, and the feature information obtained at that time is encoded with the feature information. Memorize in the memory,
A video data distribution management method in which a bandwidth management unit allocates a bandwidth for distributing the video data according to each feature information corresponding to a plurality of video data to be distributed among the video data.
複数の動画データのそれぞれについて、発生符号量と符号化ひずみとの関係を表す特徴情報を前記動画データがエンコードされた際に得て記憶する特徴情報記憶部を有するコンピュータを、
動画データの配信要求を受けた際の要求元の端末装置の視聴環境に応じた動画データを配信するにあたり、前記特徴情報記憶部を参照し、前記動画データの特徴情報が記憶されているか否かを判定する手段、
前記動画データの特徴情報が記憶されていない場合に、前記動画データを前記視聴環境に応じたデータ形式となるようにエンコードを行ない、その際に得られる特徴情報を前記特徴情報記憶部に記憶する手段、
前記動画データのうち複数の配信対象の動画データに対応するそれぞれの前記特徴情報に応じて前記動画データを配信する帯域を割当てる手段
として機能させるためのプログラム。
For each of a plurality of moving image data, a computer having a feature information storage unit that obtains and stores characteristic information representing a relationship between a generated code amount and encoding distortion when the moving image data is encoded ,
Whether or not the feature information of the moving image data is stored with reference to the feature information storage unit when distributing the moving image data according to the viewing environment of the requesting terminal device when receiving the distribution request of the moving image data Means for determining,
When the feature information of the moving image data is not stored, the moving image data is encoded so as to have a data format corresponding to the viewing environment, and the feature information obtained at that time is stored in the feature information storage unit. means,
The program for functioning as a means to allocate the band which distributes the said moving image data according to each said characteristic information corresponding to several moving image data of the distribution object among the said moving image data.
JP2015126756A 2015-06-24 2015-06-24 Video data distribution management device, video data distribution management method, and program Active JP6231046B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015126756A JP6231046B2 (en) 2015-06-24 2015-06-24 Video data distribution management device, video data distribution management method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015126756A JP6231046B2 (en) 2015-06-24 2015-06-24 Video data distribution management device, video data distribution management method, and program

Publications (2)

Publication Number Publication Date
JP2017011574A JP2017011574A (en) 2017-01-12
JP6231046B2 true JP6231046B2 (en) 2017-11-15

Family

ID=57761939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015126756A Active JP6231046B2 (en) 2015-06-24 2015-06-24 Video data distribution management device, video data distribution management method, and program

Country Status (1)

Country Link
JP (1) JP6231046B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352809B2 (en) * 2003-02-21 2008-04-01 Polycom, Inc. System and method for optimal transmission of a multitude of video pictures to one or more destinations
FR2880743A1 (en) * 2005-01-12 2006-07-14 France Telecom DEVICE AND METHODS FOR SCALING AND DECODING IMAGE DATA STREAMS, SIGNAL, COMPUTER PROGRAM AND CORRESPONDING IMAGE QUALITY ADAPTATION MODULE
AR052601A1 (en) * 2005-03-10 2007-03-21 Qualcomm Inc CLASSIFICATION OF CONTENTS FOR MULTIMEDIA PROCESSING
US7974193B2 (en) * 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
KR101757994B1 (en) * 2012-07-10 2017-07-13 브이아이디 스케일, 인크. Quality-driven streaming

Also Published As

Publication number Publication date
JP2017011574A (en) 2017-01-12

Similar Documents

Publication Publication Date Title
US11363322B2 (en) Optimization of encoding profiles for media streaming
US9351020B2 (en) On the fly transcoding of video on demand content for adaptive streaming
US20080025413A1 (en) Selecting bit rates for encoding multiple data streams
US8290036B2 (en) Method, apparatus and system for concurrent processing of multiple video streams
EP2759111B1 (en) Statistical multiplexing of streaming media
US20140181266A1 (en) System, streaming media optimizer and methods for use therewith
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
KR101014451B1 (en) Video on demand server system and method
US20130163667A1 (en) Video streaming
US10567825B2 (en) Cloud DVR storage
US10148990B2 (en) Video streaming resource optimization
CN113170086B (en) Video block combinatorial optimization
US11159799B2 (en) Encoding a plurality of signals
JP2004509582A (en) Processor assignment for channels in a video multiprocessor system
Yao et al. Video streaming adaptation strategy for multiview navigation over DASH
US9001701B1 (en) Priority assignment and signaling of scalable video in a switch based system
KR101583896B1 (en) Video coding
JP6231046B2 (en) Video data distribution management device, video data distribution management method, and program
Moon et al. An Uniformalized Quality Encoding in Cloud Transcoding System
Ozcinar et al. Dynamic bitrate allocation of interactive real-time streamed multi-view video with view-switch prediction
JP7310212B2 (en) Data relay device, data relay method and program
US20230308719A1 (en) A method of controlling energy consumed by a mulitmedia streaming application
JP5592913B2 (en) Video encoding apparatus, video encoding method, and video encoding program
Jamali et al. A Parametric Rate-Distortion Model for Video Transcoding
Shamaya Investigation of resource usage and video quality with different formats in video broadcasting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170413

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171018

R150 Certificate of patent or registration of utility model

Ref document number: 6231046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250