JP2017028622A

JP2017028622A - Image quality control device, image quality control method, image quality control system, and image quality controlling program

Info

Publication number: JP2017028622A
Application number: JP2015147860A
Authority: JP
Inventors: 紘介和泉; Kosuke Izumi; 知彦高橋; Tomohiko Takahashi
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2015-07-27
Filing date: 2015-07-27
Publication date: 2017-02-02

Abstract

PROBLEM TO BE SOLVED: To improve sensor quality of a user when an image quality of a received video content is changed.SOLUTION: An image quality control device 100 comprises: a receiving section 10 for receiving video data composed of a plurality of image frames; an estimation section 41 for estimating a first image quality of first image data based on one image frame out of a plurality of image frames and a second image quality of second image data which is reproduced after the first image data; an image quality change section 44 for changing the image quality of the first image data or second image data, on the basis of an image quality difference between the first image quality and second image quality; and an output section 45 for outputting the image data which is changed by the image quality change section 44.SELECTED DRAWING: Figure 2

Description

本発明は、映像データの画質を制御する画質制御装置、画質制御方法、画質制御システム及び画質制御用プログラムに関する。 The present invention relates to an image quality control apparatus, an image quality control method, an image quality control system, and an image quality control program for controlling the image quality of video data.

近年、ネットワーク技術の進歩に伴って、固定通信網及び携帯通信網を介して映像コンテンツが伝送されるようになってきている。例えば、通信網を経由して映像コンテンツが端末に配信されるＶＯＤ（Video On Demand）サービスが普及している。通信網では、さまざまな種類のデータが伝送されており、伝送帯域が変動する。伝送帯域が変動しても、映像コンテンツが途切れることなく伝送されるように、通信品質に応じてビットレートが異なるストリームを適応的に切り替えるアダプティブストリーミングと呼ばれる技術が知られている（例えば、非特許文献１を参照）。 In recent years, with the advancement of network technology, video content has been transmitted via a fixed communication network and a mobile communication network. For example, a VOD (Video On Demand) service in which video content is distributed to terminals via a communication network has become widespread. In the communication network, various types of data are transmitted, and the transmission band varies. A technique called adaptive streaming is known that adaptively switches streams with different bit rates according to communication quality so that video content can be transmitted without interruption even if the transmission band fluctuates (for example, non-patented). Reference 1).

ISO/IEC 23009-1,“Dynamic Adaptive Streaming over HTTP(DASH) Part 1: Media presentation description and segment formats”April. 2012.ISO / IEC 23009-1, “Dynamic Adaptive Streaming over HTTP (DASH) Part 1: Media presentation description and segment formats” April. 2012.

しかし、アダプティブストリーミング技術等の方法が用いられることにより、映像コンテンツの配信中に画像のビットレート又は解像度等の画質に影響するパラメータが切り替えると、画質が急激に変化するので、ユーザが違和感を抱いてしまうという問題があった。特に、パラメータの切り替えが頻繁に発生すると、ユーザは映像コンテンツに没入できず、体感品質が低下するという問題があった。 However, by using a method such as adaptive streaming technology, when parameters that affect image quality such as the bit rate or resolution of an image are switched during distribution of video content, the image quality changes abruptly, and the user feels uncomfortable. There was a problem that. In particular, if parameter switching occurs frequently, there is a problem that the user cannot be immersed in the video content and the quality of experience is lowered.

そこで、本発明はこれらの点に鑑みてなされたものであり、受信した映像コンテンツの画質が変化した際のユーザの体感品質を向上させることができる画質制御装置、画質制御方法及び画質制御用プログラムを提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an image quality control apparatus, an image quality control method, and an image quality control program capable of improving the quality of experience of a user when the image quality of received video content changes. The purpose is to provide.

本発明の第１の態様においては、複数の画像フレームから構成される映像データを受信する受信部と、前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定する推定部と、前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更する画質変更部と、前記画質変更部が変更した後の画像データを出力する出力部と、を有する画質制御装置を提供する。 In the first aspect of the present invention, a receiving unit that receives video data composed of a plurality of image frames, a first image quality of the first image data based on one image frame of the plurality of image frames, And an estimation unit for estimating a second image quality of second image data reproduced after the first image data, and based on a difference in image quality between the first image quality and the second image quality, the first image data or the Provided is an image quality control device having an image quality changing unit for changing the image quality of second image data, and an output unit for outputting image data after the image quality changing unit has changed.

前記画質変更部は、前記第１画質が前記第２画質よりも良い場合に、前記第１画像データの画質を、前記第１画質と前記第２画質との間の画質に変更してもよい。この場合、前記画質変更部は、前記第１画像データの前記第１画質を、前記第２画像データが再生されるまでの時間に基づいて定められる画質に変更してもよい。 The image quality changing unit may change the image quality of the first image data to an image quality between the first image quality and the second image quality when the first image quality is better than the second image quality. . In this case, the image quality changing unit may change the first image quality of the first image data to an image quality determined based on a time until the second image data is reproduced.

また、前記画質変更部は、前記第１画像データより前に受信された前記第１画質の複数の画像データの画質を、前記第１画質から前記第２画質に段階的に近づくように変更してもよい。 The image quality changing unit changes the image quality of the plurality of first image data received before the first image data so as to gradually approach the second image quality from the first image quality. May be.

前記画質変更部は、前記第２画質が前記第１画質よりも良い場合に、前記第２画像データの画質を、前記第１画質と前記第２画質との間の画質に変更してもよい。この場合、前記画質変更部は、前記第２画像データより後に受信された前記第２画質の複数の画像データの画質を、前記第２画質から前記第１画質に段階的に近づくように変更してもよい。 The image quality changing unit may change the image quality of the second image data to an image quality between the first image quality and the second image quality when the second image quality is better than the first image quality. . In this case, the image quality changing unit changes the image quality of the plurality of second image data received after the second image data so as to gradually approach the first image quality from the second image quality. May be.

前記画質変更部は、前記画質差が所定の値よりも大きい場合に、前記第１画像データ又は前記第２画像データの画質を変更してもよい。 The image quality changing unit may change the image quality of the first image data or the second image data when the image quality difference is larger than a predetermined value.

また、前記画質変更部は、前記第１画像データにおける直交変換係数の存在割合と、前記第２画像データにおける直交変換係数の存在割合との差に基づく画質に、前記第１画像データ又は前記第２画像データの画質を変更してもよい。 In addition, the image quality changing unit may adjust the image quality based on a difference between the existence ratio of the orthogonal transform coefficient in the first image data and the existence ratio of the orthogonal transform coefficient in the second image data to the first image data or the first image data. The image quality of the two-image data may be changed.

前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく強度のフィルタを用いて前記第１画像データ又は前記第２画像データをフィルタリングすることにより、前記第１画像データ又は前記第２画像データの画質を変更してもよい。 The image quality changing unit filters the first image data or the second image data by filtering the first image data or the second image data from the first image data or the second image data using a filter having an intensity based on the image quality difference. The image quality of the data or the second image data may be changed.

前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく割合の交流成分を除去することにより、前記第１画像データ又は前記第２画像データの画質を変更してもよい。 The image quality changing unit changes the image quality of the first image data or the second image data by removing an AC component based on the image quality difference from the first image data or the second image data. Also good.

本発明の第２の態様においては、複数の画像フレームから構成される映像データを受信するステップと、前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定するステップと、前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更するステップと、変更した後の画像データを出力するステップと、を有する画質制御方法を提供する。 In a second aspect of the present invention, a step of receiving video data composed of a plurality of image frames, a first image quality of first image data based on one image frame of the plurality of image frames, and Estimating a second image quality of second image data reproduced after the first image data, and based on a difference in image quality between the first image quality and the second image quality, the first image data or the second image data There is provided an image quality control method comprising a step of changing the image quality of image data and a step of outputting the changed image data.

本発明の第３の態様においては、映像データを配信する映像配信装置と、前記映像配信装置から受信した映像データに含まれる画像データの画質を制御する上記の画質制御装置とを備える画質制御システムを提供する。 In a third aspect of the present invention, an image quality control system comprising: a video distribution device that distributes video data; and the image quality control device that controls the image quality of image data included in the video data received from the video distribution device. I will provide a.

本発明の第４の態様においては、コンピュータを、上記の画質制御装置の各部として機能させる、前記コンピュータが実行可能な画質制御用プログラムを提供する。 According to a fourth aspect of the present invention, there is provided an image quality control program executable by the computer that causes the computer to function as each unit of the image quality control device.

本発明によれば、受信した映像コンテンツの画質が変化した際のユーザの体感品質を向上させることができるという効果を奏する。 According to the present invention, it is possible to improve the quality of experience of the user when the image quality of received video content changes.

第１の実施形態に係る映像再生システムの構成を示す図である。It is a figure which shows the structure of the video reproduction | regeneration system concerning 1st Embodiment. 画質制御装置の構成を示す図である。It is a figure which shows the structure of an image quality control apparatus. 画像データが劣化した場合の画質変更部の動作について説明するための図である。It is a figure for demonstrating operation | movement of the image quality change part when image data deteriorates. 画質変更データベースが格納している画質変更テーブルの一例を示す図である。It is a figure which shows an example of the image quality change table which the image quality change database has stored. 画像データが劣化した場合の画質変更部の動作について説明するための図である。It is a figure for demonstrating operation | movement of the image quality change part when image data deteriorates. 画像データが改善した場合の画質変更部の動作について説明するための図である。It is a figure for demonstrating operation | movement of the image quality change part when image data is improved. 画質制御装置における画質変更処理のフローチャートである。It is a flowchart of an image quality change process in the image quality control apparatus. 第２の実施形態に係る画質制御装置の構成を示す図である。It is a figure which shows the structure of the image quality control apparatus which concerns on 2nd Embodiment.

＜第１の実施形態＞
［本実施形態の概要］
図１は、第１の実施形態に係る映像再生システムＳの構成を示す図である。映像再生システムＳは、画質制御装置１００と、映像再生装置２００と、映像配信装置３００とを備える。画質制御装置１００は、例えばゲートウェイ又はルーターであり、ネットワークＮに接続されている。ネットワークＮは、インターネット、有線通信回線又は無線通信回線等により構成されている。 <First Embodiment>
[Overview of this embodiment]
FIG. 1 is a diagram showing a configuration of a video reproduction system S according to the first embodiment. The video playback system S includes an image quality control device 100, a video playback device 200, and a video distribution device 300. The image quality control apparatus 100 is a gateway or a router, for example, and is connected to the network N. The network N is configured by the Internet, a wired communication line, a wireless communication line, or the like.

画質制御装置１００は、映像配信装置３００から配信される映像を受信する。画質制御装置１００は、受信した映像の画質が大きく変化したことを検出すると、画質が変化したことをユーザが気付きにくいように画質を変更し、画質を変更した後の映像を映像再生装置２００に出力する。 The image quality control apparatus 100 receives the video distributed from the video distribution apparatus 300. When the image quality control device 100 detects that the image quality of the received video has changed significantly, the image quality control device 100 changes the image quality so that the user cannot easily notice the change in the image quality, and the video after the image quality change is sent to the video playback device 200. Output.

映像再生装置２００は、スマートフォン等の通信端末又はコンピュータである。映像再生装置２００は、画質制御装置１００から入力された映像データに基づいて、映像を再生してディスプレイに表示する。なお、図１においては、画質制御装置１００と映像再生装置２００とを異なる装置として示しているが、映像再生装置２００が画質制御装置１００を含んでいてもよい。 The video reproduction device 200 is a communication terminal such as a smartphone or a computer. The video playback device 200 plays back video on the display based on the video data input from the image quality control device 100. In FIG. 1, the image quality control apparatus 100 and the video reproduction apparatus 200 are shown as different apparatuses, but the video reproduction apparatus 200 may include the image quality control apparatus 100.

映像配信装置３００は、例えばＶＯＤ用サーバである。映像配信装置３００は、映像再生装置２００からの要求に応じて、映像のビットストリームを配信する。映像のビットストリームは、例えばＨ．２６５／ＨＥＶＣ等のように、ＭＣ（Motion Compensation）＋ＤＣＴ（Discrete Cosine Transform）形式の圧縮符号化形式で符号化されたビットストリームである。 The video distribution device 300 is, for example, a VOD server. The video distribution device 300 distributes a video bitstream in response to a request from the video reproduction device 200. The video bit stream is, for example, H.264. It is a bit stream encoded in a compression encoding format of MC (Motion Compensation) + DCT (Discrete Cosine Transform) format, such as H.265 / HEVC.

画質制御装置１００は、映像配信装置３００から受信する映像のビットストリームの伝送速度が、３０Ｍｂｐｓから１５Ｍｂｐｓに変化する場合、例えば、３０Ｍｂｐｓの画質→２７Ｍｂｐｓ相当の画質→２４Ｍｂｐｓ相当の画質→２１Ｍｂｐｓ相当の画質→１８Ｍｂｐｓ相当の画質→１５Ｍｂｐｓ相当の画質と段階的に劣化するように、画質を制御する。また、画質制御装置１００は、映像配信装置３００から受信する映像のビットストリームの伝送速度が、１５Ｍｂｐｓから３０Ｍｂｐｓに変化する場合、例えば、１５Ｍｂｐｓの画質→１８Ｍｂｐｓ相当の画質→２１Ｍｂｐｓ相当の画質→２４Ｍｂｐｓ相当の画質→２７Ｍｂｐｓ相当の画質→３０Ｍｂｐｓ相当の画質と段階的に改善するように、画質を制御する。このようにすることで、ユーザが画質の変化に気付きにくくなるので、ユーザの体感品質を向上させることができる。 When the transmission speed of the video bitstream received from the video distribution device 300 changes from 30 Mbps to 15 Mbps, the image quality control device 100, for example, 30 Mbps image quality → 27 Mbps image quality → 24 Mbps image quality → 21 Mbps image quality → Image quality equivalent to 18 Mbps → Image quality is controlled so as to gradually deteriorate with an image quality equivalent to 15 Mbps. Also, when the transmission speed of the video bitstream received from the video distribution device 300 changes from 15 Mbps to 30 Mbps, the image quality control device 100, for example, 15 Mbps image quality → 18 Mbps image quality → 21 Mbps image quality → 24 Mbps image The image quality is controlled so that the image quality is improved step by step from the image quality corresponding to 27 Mbps to the image quality equivalent to 30 Mbps. By doing in this way, since it becomes difficult for a user to notice the change of an image quality, a user's bodily sensation quality can be improved.

［画質制御装置１００の構成及び動作］
以下、画質制御装置１００の構成及び動作について詳細に説明する。
図２は、画質制御装置１００の構成を示す図である。画質制御装置１００は、受信部１０と、記憶部２０と、画質変更データベース３０と、制御部４０とを有する。受信部１０は、映像配信装置３００から配信される映像データを受信する。映像データは、画像データを含む複数の画像フレームから構成されている。映像データは、例えば、Ｉフレーム、Ｂフレーム及びＰフレームから構成されている。 [Configuration and Operation of Image Quality Control Device 100]
Hereinafter, the configuration and operation of the image quality control apparatus 100 will be described in detail.
FIG. 2 is a diagram illustrating a configuration of the image quality control apparatus 100. The image quality control apparatus 100 includes a receiving unit 10, a storage unit 20, an image quality change database 30, and a control unit 40. The receiving unit 10 receives video data distributed from the video distribution device 300. The video data is composed of a plurality of image frames including image data. The video data is composed of, for example, an I frame, a B frame, and a P frame.

記憶部２０は、ＲＯＭ、ＲＡＭ又はハードディスク等の記憶媒体である。記憶部２０は、制御部４０が実行するプログラムを記憶している。また、記憶部２０は、制御部４０の動作中に発生したデータを一時的に記憶する。 The storage unit 20 is a storage medium such as a ROM, a RAM, or a hard disk. The storage unit 20 stores a program executed by the control unit 40. The storage unit 20 temporarily stores data generated during the operation of the control unit 40.

画質変更データベース３０は、制御部４０が画質の制御に用いるデータを保持している。具体的には、画質変更データベース３０は、受信部１０が受信した映像データにおいて、画質が変化する前の画質及び画質が変化した後の画質に関連付けて、制御部４０がどのように画質を変更する必要があるかを示すデータを保持している。画質変更データベース３０の詳細については後述する。 The image quality change database 30 holds data used by the control unit 40 to control image quality. Specifically, the image quality change database 30 indicates how the control unit 40 changes the image quality in the video data received by the receiving unit 10 in association with the image quality before the image quality change and the image quality after the image quality change. Holds data indicating what needs to be done. Details of the image quality change database 30 will be described later.

制御部４０は、例えばＣＰＵである。制御部４０は、デジタル信号処理機能を有してもよい。制御部４０は、記憶部２０に記憶されたプログラムを実行することにより、推定部４１、デコード部４２、バッファ部４３、画質変更部４４及び出力部４５として機能する。 The control unit 40 is, for example, a CPU. The control unit 40 may have a digital signal processing function. The control unit 40 functions as an estimation unit 41, a decoding unit 42, a buffer unit 43, an image quality changing unit 44, and an output unit 45 by executing a program stored in the storage unit 20.

推定部４１は、受信部１０が受信したビットストリームに含まれる複数の画像フレームそれぞれに対応する画像データの主観画質を推定し、主観画質推定値を算出する。主観画質とは、画像又は映像を視認する人が感じる画像又は映像の品質である。 The estimation unit 41 estimates the subjective image quality of image data corresponding to each of a plurality of image frames included in the bit stream received by the reception unit 10 and calculates a subjective image quality estimation value. Subjective image quality is the quality of an image or video that is felt by a person viewing the image or video.

本明細書においては、複数の画像フレームをデコードして得られる複数の画像データのうち、主観画質が変化する直前の画像データを第１画像データと称し、第１画像データの後に再生される画像データを第２画像データと称する。また、第１画像データの主観画質を第１主観画質と称し、第２画像データの主観画質を第２主観画質と称する。推定部４１は、画像データの識別情報（例えば、画像データＩＤ）に関連付けて、主観画質の推定値をデコード部４２に通知する。推定部４１は、主観画質の推定値をデコード部４２に通知する代わりに、画像データＩＤに関連付けてバッファ部４３に格納してもよい。 In the present specification, of a plurality of image data obtained by decoding a plurality of image frames, image data immediately before the subjective image quality changes is referred to as first image data, and an image reproduced after the first image data. The data is referred to as second image data. The subjective image quality of the first image data is referred to as the first subjective image quality, and the subjective image quality of the second image data is referred to as the second subjective image quality. The estimation unit 41 notifies the decoding unit 42 of the estimated value of subjective image quality in association with the identification information (for example, image data ID) of the image data. The estimation unit 41 may store the estimated value of the subjective image quality in the buffer unit 43 in association with the image data ID instead of notifying the decoding unit 42 of the estimated value.

ここで、推定部４１が主観画質を推定する方法について説明する。推定部４１は、ＱＰ特徴量算出部４１１と、複雑度特徴量算出部４１２と、重み係数算出部４１３とを有しており、映像フレームをデコードする前に主観画質を推定できる。 Here, a method in which the estimation unit 41 estimates the subjective image quality will be described. The estimation unit 41 includes a QP feature quantity calculation unit 411, a complexity feature quantity calculation unit 412, and a weight coefficient calculation unit 413, and can estimate subjective image quality before decoding a video frame.

（ＱＰ特徴量算出部４１１）
ＱＰ特徴量算出部４１１は、量子化雑音と画像データを構成するブロックごとの量子化パラメータとの間の相関性を利用して、ＱＰ（Quantized Parameter：量子化パラメータ）と呼ばれる量子化の粗さを調節するパラメータを利用して、量子化雑音の強度をＱＰ特徴量として算出する。ＱＰ特徴量算出部４１１は、ＱＰ特徴量を算出する際に、まず、ＣＵ（Coding Unit）単位で、量子化パラメータを量子化ステップ幅に戻し、指定された時間幅（例えば、チャンクの時間幅）の積分値をＱＰ特徴量Ｑ_ｎとする。ＱＰ特徴量Ｑ_ｎは、以下の式により算出することができる。

(QP feature amount calculation unit 411)
The QP feature quantity calculation unit 411 uses the correlation between the quantization noise and the quantization parameter for each block constituting the image data, and the quantization roughness called QP (Quantized Parameter). The intensity of quantization noise is calculated as a QP feature amount by using a parameter for adjusting. When calculating the QP feature value, the QP feature value calculation unit 411 first returns the quantization parameter to the quantization step width in units of CU (Coding Unit), and designates a specified time width (for example, chunk time width). the integral value of) the QP characteristic quantity _{Q n.} The QP feature amount Q _n can be calculated by the following equation.

ここで、pow(x,y)は、ｘのｙ乗、ＱＰ_ｎ（ｆ、Ｂ_ｎ）は、ｆ番目のフレーム内のdepthがｎ（ｎ＝０〜３）におけるＣＵのＱＰ値、ＮＢ_ｎは、フレーム内のdepthがｎの総ブロック数である。ここで、depthは、ＨＥＶＣ（High Efficiency Video Coding）におけるＣＵの大きさに対応しており、６４×６４がdepth＝０に対応し、３２×３２がdepth＝１に対応し、１６×１６がdepth＝２に対応し、８×８がdepth＝３に対応する。
ＱＰ特徴量算出部４１１は、ブロックサイズに応じて画質劣化の知覚のしやすさが異なるという点に基づいて、各depthに応じた面積比でＱＰ特徴量Ｑ_ｎを加重平均することにより、ＱＰ特徴量Ｑを算出する。 Here, pow (x, y) is x to the power of y, QP _n (f, B _n ) is the QP value of the CU when the depth in the f-th frame is n (n = 0 to 3), NB _n Is the total number of blocks whose depth is n in the frame. Here, depth corresponds to the size of CU in HEVC (High Efficiency Video Coding), 64 × 64 corresponds to depth = 0, 32 × 32 corresponds to depth = 1, and 16 × 16 Corresponding to depth = 2, 8 × 8 corresponds to depth = 3.
QP feature quantity calculation unit 411, by on the basis of the obvious to perception of image quality degradation in accordance with the block size is different, weighted averaging the QP characteristic quantity Q _n the area ratio corresponding to each depth, QP The feature amount Q is calculated.

（複雑度特徴量算出部４１２）
上記のようにして算出したＱＰ特徴量Ｑの値が同一であっても、画像のテクスチャの複雑さによって、画像劣化の度合いが異なる。人間は、高周波成分を多く含む複雑なテクスチャであればあるほど、画質の劣化を知覚しにくいという特性を有している。また、階層ブロック構造の符号化方式では、複雑なテクスチャの領域はブロック分割サイズが小さく、平坦なテクスチャの領域は、ブロック分割サイズが大きい傾向にある。 (Complexity feature amount calculation unit 412)
Even if the value of the QP feature amount Q calculated as described above is the same, the degree of image deterioration differs depending on the complexity of the texture of the image. Humans have the characteristic that the more complex texture that contains more high-frequency components, the less likely it is to perceive image quality degradation. Also, in the hierarchical block structure coding method, a complex texture region tends to have a small block division size, and a flat texture region tends to have a large block division size.

そこで、複雑度特徴量算出部４１２は、テクスチャの複雑さとブロック分割サイズとの間の相関性に基づいて、フレーム内のＣＵのdepthの分布に基づいて複雑度特徴量Ｃを算出する。なお、Ｐフレーム及びＢフレームにおける画面内のブロック分割サイズは、Ｉフレームの内容と動き予測の性能に依存するので、複雑度特徴量算出部４１２は、複雑度特徴量Ｃの算出にＩフレームを使用する。 Therefore, the complexity feature amount calculation unit 412 calculates the complexity feature amount C based on the distribution of the CU depth in the frame based on the correlation between the texture complexity and the block division size. In addition, since the block division size in the screen in the P frame and the B frame depends on the content of the I frame and the performance of motion prediction, the complexity feature amount calculation unit 412 uses the I frame for calculation of the complexity feature amount C. use.

複雑度特徴量算出部４１２は、以下の手順により複雑度特徴量Ｃを算出する。まず、複雑度特徴量算出部４１２は、フレームごとにＣＵのdepthを加算し、指定された時間幅（例えば、チャンクの時間幅）における加算値の中央値を求める。中央値を用いることにより、シーンチェンジによって映像が切り替わることにより画面の複雑度が変動することによる影響を抑制することができる。複雑度特徴量Ｃは、以下の式により算出することができる。

ここで、med( )は、中央値を求めるための関数である。また、ｄ_ｆ，Ｂは、あるフレームのＢ番目のブロックのdepthの値である。 The complexity feature amount calculation unit 412 calculates the complexity feature amount C according to the following procedure. First, the complexity feature amount calculation unit 412 adds the depth of the CU for each frame, and obtains the median value of the addition values in the specified time width (for example, the time width of the chunk). By using the median value, it is possible to suppress the influence caused by the change in the complexity of the screen due to the switching of the video by the scene change. The complexity feature amount C can be calculated by the following equation.

Here, med () is a function for obtaining the median. Further, df _{, B} is the depth value of the Bth block of a certain frame.

（重み係数算出部４１３）
重み係数算出部４１３は、主観画質の推定値を算出するために、ＱＰ特徴量Ｑと複雑度特徴量Ｃとを用いて、以下の式により重み付け加算する。

ここで、Ｓ_ｏｂｊは、主観画質推定値、ω_ｎ（ｎ＝１、２）は、主観画質の推定値を算出するための重み係数である。主観画質は、画像の解像度の影響も受けるので、重み係数ω_ｎは、解像度に対応して定められている。
なお、複雑度特徴量Ｃの算出にはＩフレームが用いられるので、Ｉフレーム以外のＰ／Ｂフレームに対応するＱＰ特徴量Ｑに対する複雑度特徴量Ｃとしては、Ｐ／Ｂフレームに対応するＩフレームの複雑度特徴量Ｃが用いられる。 (Weighting coefficient calculation unit 413)
The weighting coefficient calculation unit 413 performs weighted addition according to the following expression using the QP feature quantity Q and the complexity feature quantity C in order to calculate an estimated value of subjective image quality.

Here, S _obj is a subjective image quality estimated value, and ω _n (n = 1, 2) is a weighting factor for calculating an estimated value of subjective image quality. Since the subjective image quality is also affected by the resolution of the image, the weighting coefficient ω _n is determined according to the resolution.
Since the I frame is used for calculating the complexity feature amount C, the complexity feature amount C corresponding to the QP feature amount Q corresponding to the P / B frame other than the I frame is I corresponding to the P / B frame. The frame complexity feature amount C is used.

重み係数算出部４１３が重み係数を導出するにあたっては、予め主観画質の推定値が既知である複数のシーケンスを学習セットとして、主観画質推定値Ｓ_ｏｂｊとの二乗誤差平均が最小になるように回帰分析を行う。なお、主観画質推定値は、通常は負の値とならないので、次の式のように値域を設定してもよい。

ここで、Ｓ’_ｏｂｊは、値域を設定した主観画質推定値、clip(x, 0, 100)は、ｘを［０、１００］の範囲でクリップする関数である。 When the weighting coefficient calculation unit 413 derives the weighting coefficient, a plurality of sequences whose subjective image quality estimation values are known in advance are used as a learning set, and regression is performed so that the square error average with the subjective image quality estimation value S _obj is minimized. Perform analysis. Since the subjective image quality estimated value is not normally a negative value, a value range may be set as in the following equation.

Here, S ′ _obj is a subjective image quality estimation value with a range set, and clip (x, 0, 100) is a function that clips x in the range of [0, 100].

続いて、図２を参照して、制御部４０の他の構成について説明をする。
デコード部４２は、受信部１０が受信した画像フレームをデコードして、画像データを生成する。デコード部４２は、デコードして生成した画像データを順次バッファ部４３に格納する。 Next, another configuration of the control unit 40 will be described with reference to FIG.
The decoding unit 42 decodes the image frame received by the receiving unit 10 to generate image data. The decoding unit 42 sequentially stores the image data generated by decoding in the buffer unit 43.

バッファ部４３は、映像再生装置２００に表示する画像データを格納する。バッファ部４３は、所定の数の画像データを格納することが可能であり、画質変更部４４での処理が終了した画面データはバッファ部４３から削除され、デコード部４２から新たな画像データが格納される。 The buffer unit 43 stores image data to be displayed on the video reproduction device 200. The buffer unit 43 can store a predetermined number of image data. The screen data that has been processed by the image quality changing unit 44 is deleted from the buffer unit 43, and new image data is stored from the decoding unit 42. Is done.

画質変更部４４は、バッファ部４３に格納された複数の画像データの主観画質推定値に基づいて、画質を変更する。具体的には、画質変更部４４は、第１画像データの第１主観画質と第２画像データの第２主観画質との画質差に基づいて、第１画像データ又は第２画像データの画質を変更する。画質変更部４４は、例えば、画質差が所定値よりも大きい場合に、第１画像データ又は第２画像データの画質を変更する。画質変更部４４は、例えば、第１主観画質が第２主観画質よりも良い場合に、第１画像データの画質を、第１主観画質と第２主観画質との間の画質に変更する。このようにすることで、画質変更部４４は、画質が急激に変化した場合に、ユーザが画質の変化に気付きにくいように画質を変更することができる。 The image quality changing unit 44 changes the image quality based on the subjective image quality estimated values of the plurality of image data stored in the buffer unit 43. Specifically, the image quality changing unit 44 changes the image quality of the first image data or the second image data based on the image quality difference between the first subjective image quality of the first image data and the second subjective image quality of the second image data. change. For example, when the image quality difference is larger than a predetermined value, the image quality changing unit 44 changes the image quality of the first image data or the second image data. For example, when the first subjective image quality is better than the second subjective image quality, the image quality changing unit 44 changes the image quality of the first image data to an image quality between the first subjective image quality and the second subjective image quality. In this way, the image quality changing unit 44 can change the image quality so that the user is less likely to notice the change in the image quality when the image quality changes abruptly.

出力部４５は、画質変更部４４が画質を変更した後の画像データを映像再生装置２００へと出力する。出力部４５は、例えば、映像再生装置２００に画像データを送信するための無線通信インターフェイスを有している。 The output unit 45 outputs the image data after the image quality changing unit 44 has changed the image quality to the video reproduction device 200. The output unit 45 has a wireless communication interface for transmitting image data to the video reproduction device 200, for example.

［画質の変更方法］
以下、画質変更部４４により実行される画質の変更方法の詳細について説明する。
図３は、画像データが劣化した場合の画質変更部４４の動作について説明するための図である。図３（ａ）は、画像データ１から画像データ１１までがバッファ部４３に格納されていることを示している。画像データ１が最初にバッファ部４３に格納され、画像データ１１が最後にバッファ部４３に格納されており、画像データ１は出力部４５が出力する直前の状態になっている。 [How to change image quality]
Details of the image quality changing method executed by the image quality changing unit 44 will be described below.
FIG. 3 is a diagram for explaining the operation of the image quality changing unit 44 when the image data is deteriorated. FIG. 3A shows that image data 1 to image data 11 are stored in the buffer unit 43. The image data 1 is first stored in the buffer unit 43, the image data 11 is finally stored in the buffer unit 43, and the image data 1 is in a state immediately before the output unit 45 outputs.

推定部４１により算出された画像データ１〜画像データ１０の主観画質推定値は１００であり、画像データ１１の主観画質推定値は５０である。図３においては、主観画質推定値が大きいほど画質が良く、図３（ｂ）に示すように、画像データ１０と画像データ１１との間で、画質が急激に変化している。ユーザが、主観画質推定値が１００の画像データ１０と、主観画質推定値が５０の画像データ１１とを連続して視認すると、画質が急激に劣化したことを知覚してしまう。そこで、画質変更部４４は、画像データの画質が所定の画質差よりも大きく劣化した場合、図３（ｃ）に示すように、画像データ１から画像データ１１までの間に緩やかに画質が劣化するように、映像再生装置２００において再生される画像データの画質を制御する。 The subjective image quality estimation value of the image data 1 to the image data 10 calculated by the estimation unit 41 is 100, and the subjective image quality estimation value of the image data 11 is 50. In FIG. 3, the larger the subjective image quality estimation value, the better the image quality. As shown in FIG. 3B, the image quality changes abruptly between the image data 10 and the image data 11. If the user visually recognizes the image data 10 having a subjective image quality estimation value of 100 and the image data 11 having a subjective image quality estimation value of 50, the user perceives that the image quality has deteriorated rapidly. Therefore, when the image quality of the image data deteriorates more than a predetermined image quality difference, the image quality changing unit 44 gradually degrades the image quality between the image data 1 and the image data 11 as shown in FIG. Thus, the image quality of the image data reproduced in the video reproduction apparatus 200 is controlled.

具体的には、画質変更部４４は、以下の手順により画質を制御する。
まず、画質変更部４４は、画像データ１０の主観画質推定値と画像データ１１の主観画質推定値との差が所定値（例えば２０）よりも大きい５０であることを検出すると、画質が変化する直前の第１画像データとして画像データ１０を特定し、画質が変化した直後の第２画像データとして画像データ１１を特定する。そして、画質変更部４４は、画像データ１１が再生されるまでの時間に基づいて定められる画質に、バッファ部４３に格納されている画像データの画質を変更する。画質変更部４４は、画像データ１１が再生されるまでの時間が長ければ長いほど、緩やかに画質が変化するように画像データの画質を変更する。なお、画質変更部４４は、画像データ１１が再生されるまでの時間を用いる代わりに、バッファ部４３に格納されている画像データの数に基づいて画像データの画質を変更してもよい。 Specifically, the image quality changing unit 44 controls the image quality according to the following procedure.
First, when the image quality changing unit 44 detects that the difference between the subjective image quality estimation value of the image data 10 and the subjective image quality estimation value of the image data 11 is 50 which is larger than a predetermined value (for example, 20), the image quality changes. The image data 10 is specified as the immediately preceding first image data, and the image data 11 is specified as the second image data immediately after the image quality has changed. Then, the image quality changing unit 44 changes the image quality of the image data stored in the buffer unit 43 to an image quality determined based on the time until the image data 11 is reproduced. The image quality changing unit 44 changes the image quality of the image data so that the image quality gradually changes as the time until the image data 11 is reproduced is longer. Note that the image quality changing unit 44 may change the image quality of the image data based on the number of image data stored in the buffer unit 43 instead of using the time until the image data 11 is reproduced.

画質変更部４４は、画質変更データベース３０を参照することにより、バッファ部４３に格納されている各画像データの変更後の画質を決定する。
図４は、画質変更データベース３０が格納している画質変更テーブルの一例を示す図である。画質変更データベース３０においては、第１画像データの主観画質推定値と、第２画像データの主観画質推定値と、第２画像データが再生されるまでの時間と、変更後の主観画質推定値とが関連付けられている。第２画像データが再生されるまでの時間は、本例においては、第２画像データがバッファ部４３に格納された時点でバッファ部４３に格納されている画像データの数により表している。 The image quality changing unit 44 refers to the image quality changing database 30 to determine the changed image quality of each image data stored in the buffer unit 43.
FIG. 4 is a diagram illustrating an example of the image quality change table stored in the image quality change database 30. In the image quality change database 30, the subjective image quality estimated value of the first image data, the subjective image quality estimated value of the second image data, the time until the second image data is reproduced, the changed subjective image quality estimated value, Is associated. In this example, the time until the second image data is reproduced is represented by the number of image data stored in the buffer unit 43 when the second image data is stored in the buffer unit 43.

画質変更部４４は、画質変更データベース３０を参照し、第１画像データ（画像データ１０）の主観画質推定値と、第２画像データ（画像データ１１）の主観画質推定値と、第２画像データが再生されるまでの時間と、に基づいて、第２画像データよりも前にバッファ部４３に格納された画像データの変更後の主観画質推定値を特定する。画質変更部４４は、各画像データの主観画質が、特定した主観画質推定値になるように画質を変更する。 The image quality changing unit 44 refers to the image quality changing database 30 and determines the subjective image quality estimated value of the first image data (image data 10), the subjective image quality estimated value of the second image data (image data 11), and the second image data. The subjective image quality estimated value after the change of the image data stored in the buffer unit 43 before the second image data is specified based on the time until the image is reproduced. The image quality changing unit 44 changes the image quality so that the subjective image quality of each image data becomes the specified subjective image quality estimated value.

図３に示す例の場合、画質変更部４４は、第１画像データの第１主観画質推定値が１００、第２画像データの第２主観画質推定値が５０、再生までの時間が１０であるので、画質変更データベース３０を参照することにより、画像データ１から画像データ１０までの主観画質推定値を、それぞれ１００、９５、９０、８５、８０、７５、７０、６５、６０、５５にすればよいことを特定する。画質変更部４４は、画像データ１から画像データ１０までの主観画質推定値を、１００、９５、９０、８５、８０、７５、７０、６５、６０、５５にした後に、それぞれの画像データを順次出力部４５へと出力する。このように、画質変更部４４が、第１画像データより前に取得された第１主観画質の複数の画像データの画質を、第１主観画質から第２主観画質に段階的に近づくように変更することで、映像再生装置２００は、図３（ｃ）に示されるように緩やかに画質が変化する映像を再生することができる。 In the example illustrated in FIG. 3, the image quality changing unit 44 has a first subjective image quality estimation value of 100 for the first image data, a second subjective image quality estimation value of the second image data of 50, and a time until reproduction of 10. Therefore, by referring to the image quality change database 30, the subjective image quality estimated values from the image data 1 to the image data 10 are set to 100, 95, 90, 85, 80, 75, 70, 65, 60, 55, respectively. Identify good things. The image quality changing unit 44 sets the subjective image quality estimated values from the image data 1 to the image data 10 to 100, 95, 90, 85, 80, 75, 70, 65, 60, 55, and then sequentially converts each image data. Output to the output unit 45. Thus, the image quality changing unit 44 changes the image quality of the plurality of first subjective image quality data acquired before the first image data so as to gradually approach the second subjective image quality from the first subjective image quality. As a result, the video reproduction device 200 can reproduce a video whose image quality changes gradually as shown in FIG.

上記の説明においては、画質変更部４４が、隣接する画像データ間の画質の差が一定値になるように画質を変更する例について説明したが、これに限らない。図５に示すように、画質変更部４４は、図３に示した例よりも緩やかに画質が変化するように、画質の変化が開始してから所定の期間、及び画質の変化が終了する前の所定の期間における画質の変化量を、その他の期間における画質の変化量よりも小さくしてもよい。 In the above description, the example in which the image quality changing unit 44 changes the image quality so that the difference in image quality between adjacent image data becomes a constant value has been described, but the present invention is not limited to this. As shown in FIG. 5, the image quality changing unit 44 starts the change in image quality for a predetermined period and before the end of the change in image quality so that the image quality changes more slowly than in the example shown in FIG. The amount of change in image quality during a predetermined period may be smaller than the amount of change in image quality during other periods.

図６は、画像データが改善した場合の画質変更部４４の動作について説明するための図である。画質変更部４４は、画質が変化した後の第２画像データの第２主観画質が、画質が変化する前の第１画像データの第１主観画質よりも良い場合に、第２画像データの画質を、第１主観画質と第２主観画質との間の画質に変更する。画質変更部４４は、例えば、第２画像データより後に受信された第２主観画質の複数の画像データの画質を、第２主観画質から第１主観画質に段階的に近づくように変更する。 FIG. 6 is a diagram for explaining the operation of the image quality changing unit 44 when the image data is improved. The image quality changing unit 44 determines the image quality of the second image data when the second subjective image quality of the second image data after the image quality change is better than the first subjective image quality of the first image data before the image quality change. Is changed to an image quality between the first subjective image quality and the second subjective image quality. For example, the image quality changing unit 44 changes the image quality of a plurality of second subjective image quality image data received after the second image data so as to gradually approach the first subjective image quality from the second subjective image quality.

図６に示す例においては、第１画像データに対応する画像データ１の主観画質推定値が５０であり、第２画像データに対応する画像データ２の主観画質推定値が１００である。画質変更部４４は、このように、画像データの画質が所定の画質差よりも大きく改善した場合、画像データ１から画像データ１１までの間に緩やかに画質が改善するように、映像再生装置２００において再生される画像データの画質を制御する。 In the example shown in FIG. 6, the subjective image quality estimation value of the image data 1 corresponding to the first image data is 50, and the subjective image quality estimation value of the image data 2 corresponding to the second image data is 100. In this way, the image quality changing unit 44, when the image quality of the image data is greatly improved over a predetermined image quality difference, the video reproduction device 200 so that the image quality gradually improves between the image data 1 and the image data 11. The image quality of the image data to be reproduced is controlled.

図６に示す例の場合、画質変更部４４は、画像データ２から所定の数の画像データの画質を、主観画質推定値が直前の画像データの画質よりも５ずつ良くなるように劣化させている。画質変更部４４は、例えば、第１主観画質と第２主観画質との画質差に基づいて定められた変化量だけ、隣接する画像データ間の画質が変化するように、各画像データの画質を変更する。この場合、画質変更部４４は、画質差が大きければ大きいほど、長い時間にわたって、画像データの画質を変更する。画質変更部４４は、画質を変更する期間を予め定めておき、画質差を当該期間で除算することにより、隣接する画像データ間の画質の変化量を決定してもよい。 In the example shown in FIG. 6, the image quality changing unit 44 deteriorates the image quality of a predetermined number of image data from the image data 2 so that the subjective image quality estimated value is 5 higher than the image quality of the immediately preceding image data. Yes. For example, the image quality changing unit 44 adjusts the image quality of each image data so that the image quality between adjacent image data changes by an amount of change determined based on the image quality difference between the first subjective image quality and the second subjective image quality. change. In this case, the image quality changing unit 44 changes the image quality of the image data over a longer time as the image quality difference is larger. The image quality changing unit 44 may determine a period for changing the image quality in advance, and determine the amount of change in image quality between adjacent image data by dividing the image quality difference by the period.

画質変更部４４が画質を変更する方法は任意であるが、例えば、主観画質推定値が高い画像データをフィルタリングすることにより、画質を劣化させることができる。この場合、画質変更部４４は、画質変更データベース３０を参照して特定した主観画質推定値に対応する強度のフィルタを用いて画像データをフィルタリングする。なお、画質変更データベース３０が、主観画質推定値を記憶する代わりに、画質変更部４４が使用するフィルタの強度を記憶しておき、画質変更部４４は、画質変更データベース３０から読み出した強度にフィルタの強度を設定してもよい。 The method of changing the image quality by the image quality changing unit 44 is arbitrary. For example, the image quality can be degraded by filtering image data having a high subjective image quality estimation value. In this case, the image quality changing unit 44 filters the image data using a filter having an intensity corresponding to the subjective image quality estimated value specified with reference to the image quality changing database 30. Note that the image quality change database 30 stores the strength of the filter used by the image quality change unit 44 instead of storing the subjective image quality estimated value, and the image quality change unit 44 filters the intensity read from the image quality change database 30. You may set the intensity.

画質変更部４４は、画質を劣化させるフィルタとして、例えば、フィルタサイズ及び標準偏差を用いてフィルタの強度を調整可能なガウシアンフィルタを使用する。ガウシアンフィルタは、以下の式により表される。

ここで、hg( )は、処理対象の画像データに対して畳み込む関数、σは、フィルタの特性を定める標準偏差である。ただし、標準偏差を調整するだけでは、畳み込みフィルタ内の総和が１未満となり、画質を変更する前の画像よりも彩度が低下する場合があるので、画質変更部４４は、ガウス分布の総和が１になるようにしてもよい。 The image quality changing unit 44 uses, for example, a Gaussian filter capable of adjusting the filter strength using the filter size and the standard deviation as a filter that degrades the image quality. The Gaussian filter is expressed by the following equation.

Here, hg () is a function to be convoluted with the image data to be processed, and σ is a standard deviation that determines the characteristics of the filter. However, only by adjusting the standard deviation, the sum in the convolution filter becomes less than 1, and the saturation may be lower than the image before the image quality is changed. Therefore, the image quality changing unit 44 determines that the sum of the Gaussian distribution is It may be set to 1.

画質変更部４４がガウシアンフィルタを用いる場合、画質変更データベース３０は、第１主観画質推定値、第２主観画質推定値、及び再生までの時間に関連付けて、フィルタサイズ及び標準偏差を記憶していてもよい。画質変更部４４は、画質変更データベース３０から読み出したフィルタサイズ及び標準偏差に対応するガウシアンフィルタを用いて画質を変更することができる。 When the image quality changing unit 44 uses a Gaussian filter, the image quality changing database 30 stores the filter size and the standard deviation in association with the first subjective image quality estimated value, the second subjective image quality estimated value, and the time until reproduction. Also good. The image quality changing unit 44 can change the image quality using a Gaussian filter corresponding to the filter size and standard deviation read from the image quality change database 30.

ガウシアンフィルタは、フィルタリングを複数回繰り返して平滑化の度合いを調整する方法に比べて処理時間を短縮することができる。ただし、画質変更部４４は、フィルタとして移動平均フィルタを用いてもよい。この場合、画質変更データベース３０が、第１主観画質推定値、第２主観画質推定値、及び再生までの時間に関連付けて、フィルタリング回数を保持していてもよい。 The Gaussian filter can shorten the processing time compared to a method of adjusting the degree of smoothing by repeating filtering a plurality of times. However, the image quality changing unit 44 may use a moving average filter as a filter. In this case, the image quality change database 30 may hold the number of times of filtering in association with the first subjective image quality estimated value, the second subjective image quality estimated value, and the time until reproduction.

なお、上記の説明において、画質変更部４４は、バッファ部４３に格納されている画像データの画質を変更するものとして説明したが、画質を変更する対象となる画像データが再生されるまでの時間が短い場合には、そのような画像データの画質を変更しなくてもよい。例えば、画質変更部４４は、画質が変化した直後の第２画像データが再生されるまでの時間が所定の時間よりも短い場合に、画質の変更をしないでもよい。また、画質変更部４４は、バッファ部４３に格納されている複数の画像データのうち、再生されるまでの時間が所定の時間よりも短い画像データの画質の変更をせず、再生されるまでの時間が所定の時間以上の画像データに限定して画質の変更をしてもよい。 In the above description, the image quality changing unit 44 has been described as changing the image quality of the image data stored in the buffer unit 43. However, the time until the image data whose image quality is to be changed is reproduced. Is short, it is not necessary to change the image quality of such image data. For example, the image quality changing unit 44 may not change the image quality when the time until the second image data immediately after the image quality changes is shorter than a predetermined time. Also, the image quality changing unit 44 does not change the image quality of the image data whose time until playback is shorter than a predetermined time among the plurality of image data stored in the buffer unit 43 until the image data is played back. The image quality may be changed by limiting the image data to image data having a predetermined time or more.

また、上記の説明において、画質変更部４４は、画質変更データベース３０を参照して画質を変更するものとしたが、画質変更部４４は、画質変更データベース３０を参照することなく画質を変更してもよい。例えば、画質変更部４４は、第１主観画質推定値と第２主観画質推定値との差分値を、再生されるまでの時間で除算して、隣接する画像データ間で劣化させる度合いを決定することもできる。図３に示した例の場合、差分値が５０であり、再生するまでの時間が１０であるので、画質変更部４４は、隣接する画像データ間の主観画質推定値の差が５になるように決定することができる。 In the above description, the image quality changing unit 44 changes the image quality with reference to the image quality changing database 30, but the image quality changing unit 44 changes the image quality without referring to the image quality changing database 30. Also good. For example, the image quality changing unit 44 divides the difference value between the first subjective image quality estimated value and the second subjective image quality estimated value by the time until reproduction, and determines the degree of deterioration between adjacent image data. You can also In the case of the example shown in FIG. 3, since the difference value is 50 and the time until reproduction is 10, the image quality changing unit 44 makes the difference in subjective image quality estimated value between adjacent image data be 5. Can be determined.

なお、図１におけるネットワークＮの帯域に十分な余裕がある場合、推定部４１は、第２画像データを取得するビットレートの種類を選択するタイミングより前に、異なるビットレートそれぞれの第２画像データの第２主観画質推定値を求めておいてもよい。そして、画質変更部４４は、急激な通信品質の変動が発生した際には、予め求めていた第２主観画質推定値を利用して速やかに画質を変更してもよい。 When there is a sufficient margin in the bandwidth of the network N in FIG. 1, the estimation unit 41 sets the second image data for each of the different bit rates before the timing for selecting the type of the bit rate for acquiring the second image data. The second subjective image quality estimated value may be obtained. Then, the image quality changing unit 44 may change the image quality promptly using the second subjective image quality estimated value obtained in advance when a sudden change in communication quality occurs.

［画質変更処理のフローチャート］
図７は、画質制御装置１００における画質変更処理のフローチャートである。
まず、受信部１０が画像フレームを取得すると（Ｓ１１）、推定部４１は、画像フレームに基づく画像データの主観画質を推定して、推定した結果を記憶部２０に格納する（Ｓ１２）。Ｓ１２の処理と並行して、デコード部４２は、画像データをデコードして、デコード後の画像データをバッファ部４３に格納する（Ｓ１３）。 [Image quality change processing flowchart]
FIG. 7 is a flowchart of image quality change processing in the image quality control apparatus 100.
First, when the receiving unit 10 acquires an image frame (S11), the estimating unit 41 estimates the subjective image quality of the image data based on the image frame, and stores the estimated result in the storage unit 20 (S12). In parallel with the processing of S12, the decoding unit 42 decodes the image data and stores the decoded image data in the buffer unit 43 (S13).

続いて、画質変更部４４は、隣接する画像データ間の画質差を算出し（Ｓ１４）、画質差を所定の閾値と比較する（Ｓ１５）。画質変更部４４は、画質差が閾値よりも大きい場合（Ｓ１５においてＹＥＳ）、Ｓ１６に進んで画質の変更処理を行い、画質差が所定の閾値以下である場合に、画質の変更処理をすることなくＳ１９に進む。 Subsequently, the image quality changing unit 44 calculates an image quality difference between adjacent image data (S14), and compares the image quality difference with a predetermined threshold (S15). When the image quality difference is larger than the threshold value (YES in S15), the image quality changing unit 44 proceeds to S16 to perform the image quality changing process, and when the image quality difference is equal to or smaller than the predetermined threshold value, the image quality changing process is performed. If no, go to S19.

画質変更部４４は、画質差が所定の閾値よりも大きい場合（Ｓ１５においてＮＯ）、画質差が所定の閾値よりも大きいことを検出した画像データが再生されるまでの時間を特定する（Ｓ１６）。画質変更部４４は、例えばバッファ部４３に格納されている画像データの数を参照することにより、画像データが再生されるまでの時間を特定できるが、予め記憶部２０に記憶された固定の時間を、画像データが再生されるまでの時間として特定してもよい。 When the image quality difference is larger than the predetermined threshold (NO in S15), the image quality changing unit 44 specifies the time until image data that has been detected that the image quality difference is larger than the predetermined threshold is reproduced (S16). . The image quality changing unit 44 can specify the time until the image data is reproduced by referring to, for example, the number of image data stored in the buffer unit 43, but the fixed time stored in the storage unit 20 in advance. May be specified as the time until image data is reproduced.

続いて、画質変更部４４は、画質変更データベース３０を参照して、バッファ部４３に格納されている画像データの画質をどのように変更するかを特定する（Ｓ１７）。そして、バッファ部４３に格納されている画質データの画質が、特定した画質になるように画像処理を施して、画質を変更する（Ｓ１８）。その後、出力部４５は、画質変更部４４が画質を変更した画像データ、又は画質変更部４４が画質を変更する前の画像データを出力することにより、映像が再生される（Ｓ１９）。 Subsequently, the image quality changing unit 44 refers to the image quality changing database 30 and specifies how to change the image quality of the image data stored in the buffer unit 43 (S17). Then, image processing is performed so that the image quality of the image quality data stored in the buffer unit 43 becomes the specified image quality, and the image quality is changed (S18). Thereafter, the output unit 45 reproduces the video by outputting the image data whose image quality has been changed by the image quality changing unit 44 or the image data before the image quality changing unit 44 has changed the image quality (S19).

以上説明したように、第１の実施形態に係る画質制御装置１００においては、推定部４１が、画質が劣化する直前の第１画像データの第１主観画質、及び画質が劣化した直後の第２画像データの第２主観画質を推定し、画質変更部４４が、第１主観画質と第２主観画質との画質差に基づいて、第１画像データを含む、画質が劣化する直前の画像データの画質を、第１主観画質と第２主観画質との間の画質になるように劣化させる。このようにすることで、画質制御装置１００は、画質を緩やかに劣化させることができるので、ユーザが、画質が劣化したことに気付きにくくすることができる。 As described above, in the image quality control apparatus 100 according to the first embodiment, the estimation unit 41 performs the first subjective image quality of the first image data immediately before the image quality is degraded and the second subjective image quality immediately after the image quality is degraded. The second subjective image quality of the image data is estimated, and the image quality changing unit 44 includes the first image data including the first image data immediately before the image quality is deteriorated based on the image quality difference between the first subjective image quality and the second subjective image quality. The image quality is deteriorated so as to be an image quality between the first subjective image quality and the second subjective image quality. In this way, the image quality control apparatus 100 can gradually degrade the image quality, and thus can make it difficult for the user to notice that the image quality has deteriorated.

また、本実施形態のように、受信した映像データがデコードされた後に画質変更部４４が画質を変更する場合、既存のデコーダを用いつつ、画質を緩やかに変化させることができるので、実装を容易にするという点で好適である。 Further, when the image quality changing unit 44 changes the image quality after the received video data is decoded as in the present embodiment, the image quality can be gradually changed while using an existing decoder, so that the implementation is easy. It is preferable in that

＜第２の実施形態＞
図８は、第２の実施形態に係る画質制御装置１００の構成を示す図である。本実施形態に係る画質制御装置１００は、デコード部４２が画質変更部４４を含んでいる点で、第１の実施形態に係る画質制御装置１００と異なる。 <Second Embodiment>
FIG. 8 is a diagram illustrating a configuration of the image quality control apparatus 100 according to the second embodiment. The image quality control apparatus 100 according to the present embodiment is different from the image quality control apparatus 100 according to the first embodiment in that the decoding unit 42 includes an image quality changing unit 44.

本実施形態における画質変更部４４は、第１の実施形態における画質変更部４４と同様に、推定部４１が算出した主観画質推定値に基づいて、画質を変更する対象となる画像フレームを特定する。そして、画質変更部４４は、画像フレームに含まれる画像データの交流成分（ＡＣ成分）を除去することにより、画質を変更する。具体的には、画質変更部４４は、受信部１０が受信した映像データに含まれる画像フレームにおける直交変換係数の交流成分を、高周波成分から順に、画質を劣化させる度合いに対応する量だけ除去することにより、画質を変更する。画質変更部４４は、画質変更データベース３０を参照して変更後の主観画質推定値を特定し、特定した主観画質推定値に対応する割合の高周波成分を除去する。画質変更データベース３０が、第１主観画質推定値及び第２主観画質推定値に関連付けて、高周波成分を除去する割合を示す値を保持していてもよい。 Similar to the image quality changing unit 44 in the first embodiment, the image quality changing unit 44 in this embodiment specifies an image frame whose image quality is to be changed based on the subjective image quality estimated value calculated by the estimating unit 41. . Then, the image quality changing unit 44 changes the image quality by removing the AC component (AC component) of the image data included in the image frame. Specifically, the image quality changing unit 44 removes the AC component of the orthogonal transform coefficient in the image frame included in the video data received by the receiving unit 10 in order from the high frequency component by an amount corresponding to the degree of degradation of the image quality. As a result, the image quality is changed. The image quality changing unit 44 refers to the image quality changing database 30 to specify the changed subjective image quality estimated value, and removes a high frequency component of a ratio corresponding to the specified subjective image quality estimated value. The image quality change database 30 may store a value indicating a ratio of removing a high frequency component in association with the first subjective image quality estimated value and the second subjective image quality estimated value.

なお、画質変更部４４は、画質を変更する対象となる画像フレームのうち、Ｉフレームに限定して画質を変更してもよい。また、画質変更部４４は、画質を変更したＩフレームの後続のＰフレーム及びＢフレームに対して、画質を変更したＩフレームにおいて除去した高周波成分と同じ高周波成分の直交変換係数を除去してもよい。 Note that the image quality changing unit 44 may change the image quality only for the I frame among the image frames whose image quality is to be changed. Further, the image quality changing unit 44 may remove the orthogonal transform coefficient of the same high frequency component as the high frequency component removed in the I frame whose image quality has been changed from the P frame and the B frame following the I frame whose image quality has been changed. Good.

また、画質変更部４４は、画質変更データベース３０を用いることなく、高画質側の画像フレームにおける全直交変換係数の数に対する０以外の直交変換係数の数（以下、「直交変換係数の第１存在割合」という）から、低画質側の画像フレームにおける全直交変換係数の数に対する０以外の直交変換係数の数（以下、「直交変換係数の第２存在割合」という）との差分に基づいて、直交変換係数を除去する数を決定してもよい。 Further, the image quality changing unit 44 does not use the image quality changing database 30, and the number of orthogonal transform coefficients other than 0 with respect to the number of all orthogonal transform coefficients in the image frame on the high image quality side (hereinafter referred to as “first existence of orthogonal transform coefficients”). Based on the difference from the number of orthogonal transform coefficients other than 0 to the number of all orthogonal transform coefficients in the image frame on the low image quality side (hereinafter referred to as “second existence ratio of orthogonal transform coefficients”), You may determine the number which removes an orthogonal transformation coefficient.

例えば、画質変更部４４は、第１存在割合と第２存在割合との差分値を算出し、画質が劣化した後の画像フレームが再生されるまでの時間において、直交変換係数の存在割合が第１存在割合から第２存在割合に変化するように、画質が劣化する前の画像データの高周波成分を除去する。また、画質変更部４４は、画像が改善した場合、画像が改善してから所定の期間にわたって、画像フレームごとに所定の数ずつ直交変換係数の存在割合が増加するように、高周波成分を除去する割合を決定する。 For example, the image quality changing unit 44 calculates a difference value between the first existence ratio and the second existence ratio, and the existence ratio of the orthogonal transform coefficient is the first time until the image frame after the image quality is deteriorated is reproduced. The high frequency component of the image data before the image quality is deteriorated is removed so as to change from the 1 existence ratio to the second existence ratio. In addition, when the image is improved, the image quality changing unit 44 removes the high-frequency component so that the existence ratio of the orthogonal transform coefficient is increased by a predetermined number for each image frame over a predetermined period after the image is improved. Determine the percentage.

以上説明したように、第２の実施形態に係る画質制御装置１００においては、デコード部４２が画質変更部４４を含んでおり、デコード処理と同じタイミングで逐次的に画質を制御する。このようにすることで、デコードが終了した後に画質を変更する場合に比べて、処理速度が向上する。 As described above, in the image quality control apparatus 100 according to the second embodiment, the decoding unit 42 includes the image quality changing unit 44 and sequentially controls the image quality at the same timing as the decoding process. In this way, the processing speed is improved as compared with the case where the image quality is changed after decoding is completed.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. In particular, the specific embodiments of the distribution / integration of the devices are not limited to those illustrated above, and all or a part thereof may be added in arbitrary units according to various additions or according to functional loads. It can be configured functionally or physically distributed and integrated.

例えば、上記の説明においては、画質変更データベース３０が、画質が変化した後の画像データが再生されるまでの時間に関連付けて、変更後の主観画質推定値を保持し、画質変更部４４が、画質が変化した後の画像データが再生されるまでの時間に基づいて、画質を変更したが、これに限らない。画質変更部４４は、画質が変化した後の画像データが再生されるまでの時間によらず、同じ条件で画質を変更してもよい。 For example, in the above description, the image quality change database 30 holds the changed subjective image quality estimation value in association with the time until the image data after the image quality change is reproduced, and the image quality change unit 44 Although the image quality is changed based on the time until the image data is reproduced after the image quality is changed, the present invention is not limited to this. The image quality changing unit 44 may change the image quality under the same conditions regardless of the time until the image data after the image quality changes is reproduced.

また、上記の説明においては、本発明が適用されるケースとしてＶＯＤで配信される映像のビットレートが変化する場合を例示したが、本発明の適用範囲はＶＯＤの場合に限定されない。例えば、ハイブリッドキャストのサービスにおいて、放送用のストリームから通信用のストリームに切り替わる場合、高解像度のストリームが低解像度のストリームに切り替わる場合、残差係数が大きいストリームが残差係数の小さいストリームに切り替わる場合等、さまざまな場合に適用可能である。 In the above description, the case where the bit rate of the video distributed by VOD changes is illustrated as a case where the present invention is applied, but the scope of the present invention is not limited to the case of VOD. For example, in a hybrid cast service, when a broadcast stream is switched to a communication stream, a high-resolution stream is switched to a low-resolution stream, a stream with a large residual coefficient is switched to a stream with a small residual coefficient It is applicable to various cases.

１０受信部
２０記憶部
３０画質変更データベース
４０制御部
４１推定部
４２デコード部
４３バッファ部
４４画質変更部
４５出力部
１００画質制御装置
２００映像再生装置
３００映像配信装置 DESCRIPTION OF SYMBOLS 10 Reception part 20 Storage part 30 Image quality change database 40 Control part 41 Estimation part 42 Decoding part 43 Buffer part 44 Image quality change part 45 Output part 100 Image quality control apparatus 200 Video reproduction apparatus 300 Video distribution apparatus

Claims

複数の画像フレームから構成される映像データを受信する受信部と、
前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定する推定部と、
前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更する画質変更部と、
前記画質変更部が変更した後の画像データを出力する出力部と、
を有する画質制御装置。 A receiving unit for receiving video data composed of a plurality of image frames;
An estimation unit for estimating a first image quality of first image data based on one image frame of the plurality of image frames and a second image quality of second image data reproduced after the first image data;
An image quality changing unit that changes an image quality of the first image data or the second image data based on a difference in image quality between the first image quality and the second image quality;
An output unit for outputting the image data after the image quality changing unit has changed,
An image quality control apparatus.

前記画質変更部は、前記第１画質が前記第２画質よりも良い場合に、前記第１画像データの画質を、前記第１画質と前記第２画質との間の画質に変更する、
請求項１に記載の画質制御装置。 The image quality changing unit changes the image quality of the first image data to an image quality between the first image quality and the second image quality when the first image quality is better than the second image quality;
The image quality control apparatus according to claim 1.

前記画質変更部は、前記第１画像データの前記第１画質を、前記第２画像データが再生されるまでの時間に基づいて定められる画質に変更する、
請求項２に記載の画質制御装置。 The image quality changing unit changes the first image quality of the first image data to an image quality determined based on a time until the second image data is reproduced.
The image quality control apparatus according to claim 2.

前記画質変更部は、前記第１画像データより前に受信された前記第１画質の複数の画像データの画質を、前記第１画質から前記第２画質に段階的に近づくように変更する、
請求項２又は３に記載の画質制御装置。 The image quality changing unit changes the image quality of the plurality of first image data received before the first image data so as to gradually approach the second image quality from the first image quality;
The image quality control device according to claim 2.

前記画質変更部は、前記第２画質が前記第１画質よりも良い場合に、前記第２画像データの画質を、前記第１画質と前記第２画質との間の画質に変更する、
請求項１に記載の画質制御装置。 The image quality changing unit changes the image quality of the second image data to an image quality between the first image quality and the second image quality when the second image quality is better than the first image quality.
The image quality control apparatus according to claim 1.

前記画質変更部は、前記第２画像データより後に受信された前記第２画質の複数の画像データの画質を、前記第２画質から前記第１画質に段階的に近づくように変更する、
請求項５に記載の画質制御装置。 The image quality changing unit changes the image quality of the plurality of second image quality image data received after the second image data so as to gradually approach the first image quality from the second image quality.
The image quality control device according to claim 5.

前記画質変更部は、前記画質差が所定の値よりも大きい場合に、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から６のいずれか１項に記載の画質制御装置。 The image quality changing unit changes the image quality of the first image data or the second image data when the image quality difference is larger than a predetermined value.
The image quality control apparatus according to claim 1.

前記画質変更部は、前記第１画像データにおける直交変換係数の存在割合と、前記第２画像データにおける直交変換係数の存在割合との差に基づく画質に、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から７のいずれか１項に記載の画質制御装置。 The image quality changing unit has the image quality based on the difference between the existence ratio of the orthogonal transform coefficients in the first image data and the existence ratio of the orthogonal transform coefficients in the second image data, and the first image data or the second image. Change the data quality,
The image quality control apparatus according to claim 1.

前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく強度のフィルタを用いて前記第１画像データ又は前記第２画像データをフィルタリングすることにより、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から８のいずれか１項に記載の画質制御装置。 The image quality changing unit filters the first image data or the second image data by filtering the first image data or the second image data from the first image data or the second image data using a filter having an intensity based on the image quality difference. Changing the image quality of the data or the second image data;
The image quality control apparatus according to claim 1.

前記画質変更部は、前記第１画像データ又は前記第２画像データから前記画質差に基づく割合の交流成分を除去することにより、前記第１画像データ又は前記第２画像データの画質を変更する、
請求項１から８のいずれか１項に記載の画質制御装置。 The image quality changing unit changes the image quality of the first image data or the second image data by removing an alternating current component based on the image quality difference from the first image data or the second image data.
The image quality control apparatus according to claim 1.

複数の画像フレームから構成される映像データを受信するステップと、
前記複数の画像フレームのうちの１つの画像フレームに基づく第１画像データの第１画質、及び前記第１画像データの後に再生される第２画像データの第２画質を推定するステップと、
前記第１画質と前記第２画質との画質差に基づいて、前記第１画像データ又は前記第２画像データの画質を変更するステップと、
変更した後の画像データを出力するステップと、
を有する画質制御方法。 Receiving video data composed of a plurality of image frames;
Estimating a first image quality of first image data based on one image frame of the plurality of image frames and a second image quality of second image data reproduced after the first image data;
Changing the image quality of the first image data or the second image data based on an image quality difference between the first image quality and the second image quality;
Outputting the changed image data; and
An image quality control method.

映像データを配信する映像配信装置と、
前記映像配信装置から受信した映像データに含まれる画像データの画質を制御する請求項１から１０のいずれか１項に記載の画質制御装置と、
を備える画質制御システム。 A video distribution device for distributing video data;
The image quality control device according to any one of claims 1 to 10, wherein the image quality of image data included in the video data received from the video distribution device is controlled.
An image quality control system.

コンピュータを、請求項１から１０のいずれか１項に記載の画質制御装置の各部として機能させる、前記コンピュータが実行可能な画質制御用プログラム。 An image quality control program executable by the computer, causing the computer to function as each unit of the image quality control device according to any one of claims 1 to 10.