JP2017028622A - Image quality control device, image quality control method, image quality control system, and image quality controlling program - Google Patents
Image quality control device, image quality control method, image quality control system, and image quality controlling program Download PDFInfo
- Publication number
- JP2017028622A JP2017028622A JP2015147860A JP2015147860A JP2017028622A JP 2017028622 A JP2017028622 A JP 2017028622A JP 2015147860 A JP2015147860 A JP 2015147860A JP 2015147860 A JP2015147860 A JP 2015147860A JP 2017028622 A JP2017028622 A JP 2017028622A
- Authority
- JP
- Japan
- Prior art keywords
- image quality
- image
- image data
- data
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像データの画質を制御する画質制御装置、画質制御方法、画質制御システム及び画質制御用プログラムに関する。 The present invention relates to an image quality control apparatus, an image quality control method, an image quality control system, and an image quality control program for controlling the image quality of video data.
近年、ネットワーク技術の進歩に伴って、固定通信網及び携帯通信網を介して映像コンテンツが伝送されるようになってきている。例えば、通信網を経由して映像コンテンツが端末に配信されるVOD(Video On Demand)サービスが普及している。通信網では、さまざまな種類のデータが伝送されており、伝送帯域が変動する。伝送帯域が変動しても、映像コンテンツが途切れることなく伝送されるように、通信品質に応じてビットレートが異なるストリームを適応的に切り替えるアダプティブストリーミングと呼ばれる技術が知られている(例えば、非特許文献1を参照)。 In recent years, with the advancement of network technology, video content has been transmitted via a fixed communication network and a mobile communication network. For example, a VOD (Video On Demand) service in which video content is distributed to terminals via a communication network has become widespread. In the communication network, various types of data are transmitted, and the transmission band varies. A technique called adaptive streaming is known that adaptively switches streams with different bit rates according to communication quality so that video content can be transmitted without interruption even if the transmission band fluctuates (for example, non-patented). Reference 1).
しかし、アダプティブストリーミング技術等の方法が用いられることにより、映像コンテンツの配信中に画像のビットレート又は解像度等の画質に影響するパラメータが切り替えると、画質が急激に変化するので、ユーザが違和感を抱いてしまうという問題があった。特に、パラメータの切り替えが頻繁に発生すると、ユーザは映像コンテンツに没入できず、体感品質が低下するという問題があった。 However, by using a method such as adaptive streaming technology, when parameters that affect image quality such as the bit rate or resolution of an image are switched during distribution of video content, the image quality changes abruptly, and the user feels uncomfortable. There was a problem that. In particular, if parameter switching occurs frequently, there is a problem that the user cannot be immersed in the video content and the quality of experience is lowered.
そこで、本発明はこれらの点に鑑みてなされたものであり、受信した映像コンテンツの画質が変化した際のユーザの体感品質を向上させることができる画質制御装置、画質制御方法及び画質制御用プログラムを提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an image quality control apparatus, an image quality control method, and an image quality control program capable of improving the quality of experience of a user when the image quality of received video content changes. The purpose is to provide.
本発明の第1の態様においては、複数の画像フレームから構成される映像データを受信する受信部と、前記複数の画像フレームのうちの1つの画像フレームに基づく第1画像データの第1画質、及び前記第1画像データの後に再生される第2画像データの第2画質を推定する推定部と、前記第1画質と前記第2画質との画質差に基づいて、前記第1画像データ又は前記第2画像データの画質を変更する画質変更部と、前記画質変更部が変更した後の画像データを出力する出力部と、を有する画質制御装置を提供する。 In the first aspect of the present invention, a receiving unit that receives video data composed of a plurality of image frames, a first image quality of the first image data based on one image frame of the plurality of image frames, And an estimation unit for estimating a second image quality of second image data reproduced after the first image data, and based on a difference in image quality between the first image quality and the second image quality, the first image data or the Provided is an image quality control device having an image quality changing unit for changing the image quality of second image data, and an output unit for outputting image data after the image quality changing unit has changed.
前記画質変更部は、前記第1画質が前記第2画質よりも良い場合に、前記第1画像データの画質を、前記第1画質と前記第2画質との間の画質に変更してもよい。この場合、前記画質変更部は、前記第1画像データの前記第1画質を、前記第2画像データが再生されるまでの時間に基づいて定められる画質に変更してもよい。 The image quality changing unit may change the image quality of the first image data to an image quality between the first image quality and the second image quality when the first image quality is better than the second image quality. . In this case, the image quality changing unit may change the first image quality of the first image data to an image quality determined based on a time until the second image data is reproduced.
また、前記画質変更部は、前記第1画像データより前に受信された前記第1画質の複数の画像データの画質を、前記第1画質から前記第2画質に段階的に近づくように変更してもよい。 The image quality changing unit changes the image quality of the plurality of first image data received before the first image data so as to gradually approach the second image quality from the first image quality. May be.
前記画質変更部は、前記第2画質が前記第1画質よりも良い場合に、前記第2画像データの画質を、前記第1画質と前記第2画質との間の画質に変更してもよい。この場合、前記画質変更部は、前記第2画像データより後に受信された前記第2画質の複数の画像データの画質を、前記第2画質から前記第1画質に段階的に近づくように変更してもよい。 The image quality changing unit may change the image quality of the second image data to an image quality between the first image quality and the second image quality when the second image quality is better than the first image quality. . In this case, the image quality changing unit changes the image quality of the plurality of second image data received after the second image data so as to gradually approach the first image quality from the second image quality. May be.
前記画質変更部は、前記画質差が所定の値よりも大きい場合に、前記第1画像データ又は前記第2画像データの画質を変更してもよい。 The image quality changing unit may change the image quality of the first image data or the second image data when the image quality difference is larger than a predetermined value.
また、前記画質変更部は、前記第1画像データにおける直交変換係数の存在割合と、前記第2画像データにおける直交変換係数の存在割合との差に基づく画質に、前記第1画像データ又は前記第2画像データの画質を変更してもよい。 In addition, the image quality changing unit may adjust the image quality based on a difference between the existence ratio of the orthogonal transform coefficient in the first image data and the existence ratio of the orthogonal transform coefficient in the second image data to the first image data or the first image data. The image quality of the two-image data may be changed.
前記画質変更部は、前記第1画像データ又は前記第2画像データから前記画質差に基づく強度のフィルタを用いて前記第1画像データ又は前記第2画像データをフィルタリングすることにより、前記第1画像データ又は前記第2画像データの画質を変更してもよい。 The image quality changing unit filters the first image data or the second image data by filtering the first image data or the second image data from the first image data or the second image data using a filter having an intensity based on the image quality difference. The image quality of the data or the second image data may be changed.
前記画質変更部は、前記第1画像データ又は前記第2画像データから前記画質差に基づく割合の交流成分を除去することにより、前記第1画像データ又は前記第2画像データの画質を変更してもよい。 The image quality changing unit changes the image quality of the first image data or the second image data by removing an AC component based on the image quality difference from the first image data or the second image data. Also good.
本発明の第2の態様においては、複数の画像フレームから構成される映像データを受信するステップと、前記複数の画像フレームのうちの1つの画像フレームに基づく第1画像データの第1画質、及び前記第1画像データの後に再生される第2画像データの第2画質を推定するステップと、前記第1画質と前記第2画質との画質差に基づいて、前記第1画像データ又は前記第2画像データの画質を変更するステップと、変更した後の画像データを出力するステップと、を有する画質制御方法を提供する。 In a second aspect of the present invention, a step of receiving video data composed of a plurality of image frames, a first image quality of first image data based on one image frame of the plurality of image frames, and Estimating a second image quality of second image data reproduced after the first image data, and based on a difference in image quality between the first image quality and the second image quality, the first image data or the second image data There is provided an image quality control method comprising a step of changing the image quality of image data and a step of outputting the changed image data.
本発明の第3の態様においては、映像データを配信する映像配信装置と、前記映像配信装置から受信した映像データに含まれる画像データの画質を制御する上記の画質制御装置とを備える画質制御システムを提供する。 In a third aspect of the present invention, an image quality control system comprising: a video distribution device that distributes video data; and the image quality control device that controls the image quality of image data included in the video data received from the video distribution device. I will provide a.
本発明の第4の態様においては、コンピュータを、上記の画質制御装置の各部として機能させる、前記コンピュータが実行可能な画質制御用プログラムを提供する。 According to a fourth aspect of the present invention, there is provided an image quality control program executable by the computer that causes the computer to function as each unit of the image quality control device.
本発明によれば、受信した映像コンテンツの画質が変化した際のユーザの体感品質を向上させることができるという効果を奏する。 According to the present invention, it is possible to improve the quality of experience of the user when the image quality of received video content changes.
<第1の実施形態>
[本実施形態の概要]
図1は、第1の実施形態に係る映像再生システムSの構成を示す図である。映像再生システムSは、画質制御装置100と、映像再生装置200と、映像配信装置300とを備える。画質制御装置100は、例えばゲートウェイ又はルーターであり、ネットワークNに接続されている。ネットワークNは、インターネット、有線通信回線又は無線通信回線等により構成されている。
<First Embodiment>
[Overview of this embodiment]
FIG. 1 is a diagram showing a configuration of a video reproduction system S according to the first embodiment. The video playback system S includes an image
画質制御装置100は、映像配信装置300から配信される映像を受信する。画質制御装置100は、受信した映像の画質が大きく変化したことを検出すると、画質が変化したことをユーザが気付きにくいように画質を変更し、画質を変更した後の映像を映像再生装置200に出力する。
The image
映像再生装置200は、スマートフォン等の通信端末又はコンピュータである。映像再生装置200は、画質制御装置100から入力された映像データに基づいて、映像を再生してディスプレイに表示する。なお、図1においては、画質制御装置100と映像再生装置200とを異なる装置として示しているが、映像再生装置200が画質制御装置100を含んでいてもよい。
The
映像配信装置300は、例えばVOD用サーバである。映像配信装置300は、映像再生装置200からの要求に応じて、映像のビットストリームを配信する。映像のビットストリームは、例えばH.265/HEVC等のように、MC(Motion Compensation)+DCT(Discrete Cosine Transform)形式の圧縮符号化形式で符号化されたビットストリームである。
The
画質制御装置100は、映像配信装置300から受信する映像のビットストリームの伝送速度が、30Mbpsから15Mbpsに変化する場合、例えば、30Mbpsの画質→27Mbps相当の画質→24Mbps相当の画質→21Mbps相当の画質→18Mbps相当の画質→15Mbps相当の画質と段階的に劣化するように、画質を制御する。また、画質制御装置100は、映像配信装置300から受信する映像のビットストリームの伝送速度が、15Mbpsから30Mbpsに変化する場合、例えば、15Mbpsの画質→18Mbps相当の画質→21Mbps相当の画質→24Mbps相当の画質→27Mbps相当の画質→30Mbps相当の画質と段階的に改善するように、画質を制御する。このようにすることで、ユーザが画質の変化に気付きにくくなるので、ユーザの体感品質を向上させることができる。
When the transmission speed of the video bitstream received from the
[画質制御装置100の構成及び動作]
以下、画質制御装置100の構成及び動作について詳細に説明する。
図2は、画質制御装置100の構成を示す図である。画質制御装置100は、受信部10と、記憶部20と、画質変更データベース30と、制御部40とを有する。受信部10は、映像配信装置300から配信される映像データを受信する。映像データは、画像データを含む複数の画像フレームから構成されている。映像データは、例えば、Iフレーム、Bフレーム及びPフレームから構成されている。
[Configuration and Operation of Image Quality Control Device 100]
Hereinafter, the configuration and operation of the image
FIG. 2 is a diagram illustrating a configuration of the image
記憶部20は、ROM、RAM又はハードディスク等の記憶媒体である。記憶部20は、制御部40が実行するプログラムを記憶している。また、記憶部20は、制御部40の動作中に発生したデータを一時的に記憶する。
The
画質変更データベース30は、制御部40が画質の制御に用いるデータを保持している。具体的には、画質変更データベース30は、受信部10が受信した映像データにおいて、画質が変化する前の画質及び画質が変化した後の画質に関連付けて、制御部40がどのように画質を変更する必要があるかを示すデータを保持している。画質変更データベース30の詳細については後述する。
The image
制御部40は、例えばCPUである。制御部40は、デジタル信号処理機能を有してもよい。制御部40は、記憶部20に記憶されたプログラムを実行することにより、推定部41、デコード部42、バッファ部43、画質変更部44及び出力部45として機能する。
The
推定部41は、受信部10が受信したビットストリームに含まれる複数の画像フレームそれぞれに対応する画像データの主観画質を推定し、主観画質推定値を算出する。主観画質とは、画像又は映像を視認する人が感じる画像又は映像の品質である。
The
本明細書においては、複数の画像フレームをデコードして得られる複数の画像データのうち、主観画質が変化する直前の画像データを第1画像データと称し、第1画像データの後に再生される画像データを第2画像データと称する。また、第1画像データの主観画質を第1主観画質と称し、第2画像データの主観画質を第2主観画質と称する。推定部41は、画像データの識別情報(例えば、画像データID)に関連付けて、主観画質の推定値をデコード部42に通知する。推定部41は、主観画質の推定値をデコード部42に通知する代わりに、画像データIDに関連付けてバッファ部43に格納してもよい。
In the present specification, of a plurality of image data obtained by decoding a plurality of image frames, image data immediately before the subjective image quality changes is referred to as first image data, and an image reproduced after the first image data. The data is referred to as second image data. The subjective image quality of the first image data is referred to as the first subjective image quality, and the subjective image quality of the second image data is referred to as the second subjective image quality. The
ここで、推定部41が主観画質を推定する方法について説明する。推定部41は、QP特徴量算出部411と、複雑度特徴量算出部412と、重み係数算出部413とを有しており、映像フレームをデコードする前に主観画質を推定できる。
Here, a method in which the
(QP特徴量算出部411)
QP特徴量算出部411は、量子化雑音と画像データを構成するブロックごとの量子化パラメータとの間の相関性を利用して、QP(Quantized Parameter:量子化パラメータ)と呼ばれる量子化の粗さを調節するパラメータを利用して、量子化雑音の強度をQP特徴量として算出する。QP特徴量算出部411は、QP特徴量を算出する際に、まず、CU(Coding Unit)単位で、量子化パラメータを量子化ステップ幅に戻し、指定された時間幅(例えば、チャンクの時間幅)の積分値をQP特徴量Qnとする。QP特徴量Qnは、以下の式により算出することができる。
The QP feature
ここで、pow(x,y)は、xのy乗、QPn(f、Bn)は、f番目のフレーム内のdepthがn(n=0〜3)におけるCUのQP値、NBnは、フレーム内のdepthがnの総ブロック数である。ここで、depthは、HEVC(High Efficiency Video Coding)におけるCUの大きさに対応しており、64×64がdepth=0に対応し、32×32がdepth=1に対応し、16×16がdepth=2に対応し、8×8がdepth=3に対応する。
QP特徴量算出部411は、ブロックサイズに応じて画質劣化の知覚のしやすさが異なるという点に基づいて、各depthに応じた面積比でQP特徴量Qnを加重平均することにより、QP特徴量Qを算出する。
Here, pow (x, y) is x to the power of y, QP n (f, B n ) is the QP value of the CU when the depth in the f-th frame is n (n = 0 to 3), NB n Is the total number of blocks whose depth is n in the frame. Here, depth corresponds to the size of CU in HEVC (High Efficiency Video Coding), 64 × 64 corresponds to depth = 0, 32 × 32 corresponds to depth = 1, and 16 × 16 Corresponding to depth = 2, 8 × 8 corresponds to depth = 3.
QP feature
(複雑度特徴量算出部412)
上記のようにして算出したQP特徴量Qの値が同一であっても、画像のテクスチャの複雑さによって、画像劣化の度合いが異なる。人間は、高周波成分を多く含む複雑なテクスチャであればあるほど、画質の劣化を知覚しにくいという特性を有している。また、階層ブロック構造の符号化方式では、複雑なテクスチャの領域はブロック分割サイズが小さく、平坦なテクスチャの領域は、ブロック分割サイズが大きい傾向にある。
(Complexity feature amount calculation unit 412)
Even if the value of the QP feature amount Q calculated as described above is the same, the degree of image deterioration differs depending on the complexity of the texture of the image. Humans have the characteristic that the more complex texture that contains more high-frequency components, the less likely it is to perceive image quality degradation. Also, in the hierarchical block structure coding method, a complex texture region tends to have a small block division size, and a flat texture region tends to have a large block division size.
そこで、複雑度特徴量算出部412は、テクスチャの複雑さとブロック分割サイズとの間の相関性に基づいて、フレーム内のCUのdepthの分布に基づいて複雑度特徴量Cを算出する。なお、Pフレーム及びBフレームにおける画面内のブロック分割サイズは、Iフレームの内容と動き予測の性能に依存するので、複雑度特徴量算出部412は、複雑度特徴量Cの算出にIフレームを使用する。
Therefore, the complexity feature
複雑度特徴量算出部412は、以下の手順により複雑度特徴量Cを算出する。まず、複雑度特徴量算出部412は、フレームごとにCUのdepthを加算し、指定された時間幅(例えば、チャンクの時間幅)における加算値の中央値を求める。中央値を用いることにより、シーンチェンジによって映像が切り替わることにより画面の複雑度が変動することによる影響を抑制することができる。複雑度特徴量Cは、以下の式により算出することができる。
(重み係数算出部413)
重み係数算出部413は、主観画質の推定値を算出するために、QP特徴量Qと複雑度特徴量Cとを用いて、以下の式により重み付け加算する。
なお、複雑度特徴量Cの算出にはIフレームが用いられるので、Iフレーム以外のP/Bフレームに対応するQP特徴量Qに対する複雑度特徴量Cとしては、P/Bフレームに対応するIフレームの複雑度特徴量Cが用いられる。
(Weighting coefficient calculation unit 413)
The weighting
Since the I frame is used for calculating the complexity feature amount C, the complexity feature amount C corresponding to the QP feature amount Q corresponding to the P / B frame other than the I frame is I corresponding to the P / B frame. The frame complexity feature amount C is used.
重み係数算出部413が重み係数を導出するにあたっては、予め主観画質の推定値が既知である複数のシーケンスを学習セットとして、主観画質推定値Sobjとの二乗誤差平均が最小になるように回帰分析を行う。なお、主観画質推定値は、通常は負の値とならないので、次の式のように値域を設定してもよい。
続いて、図2を参照して、制御部40の他の構成について説明をする。
デコード部42は、受信部10が受信した画像フレームをデコードして、画像データを生成する。デコード部42は、デコードして生成した画像データを順次バッファ部43に格納する。
Next, another configuration of the
The
バッファ部43は、映像再生装置200に表示する画像データを格納する。バッファ部43は、所定の数の画像データを格納することが可能であり、画質変更部44での処理が終了した画面データはバッファ部43から削除され、デコード部42から新たな画像データが格納される。
The
画質変更部44は、バッファ部43に格納された複数の画像データの主観画質推定値に基づいて、画質を変更する。具体的には、画質変更部44は、第1画像データの第1主観画質と第2画像データの第2主観画質との画質差に基づいて、第1画像データ又は第2画像データの画質を変更する。画質変更部44は、例えば、画質差が所定値よりも大きい場合に、第1画像データ又は第2画像データの画質を変更する。画質変更部44は、例えば、第1主観画質が第2主観画質よりも良い場合に、第1画像データの画質を、第1主観画質と第2主観画質との間の画質に変更する。このようにすることで、画質変更部44は、画質が急激に変化した場合に、ユーザが画質の変化に気付きにくいように画質を変更することができる。
The image
出力部45は、画質変更部44が画質を変更した後の画像データを映像再生装置200へと出力する。出力部45は、例えば、映像再生装置200に画像データを送信するための無線通信インターフェイスを有している。
The
[画質の変更方法]
以下、画質変更部44により実行される画質の変更方法の詳細について説明する。
図3は、画像データが劣化した場合の画質変更部44の動作について説明するための図である。図3(a)は、画像データ1から画像データ11までがバッファ部43に格納されていることを示している。画像データ1が最初にバッファ部43に格納され、画像データ11が最後にバッファ部43に格納されており、画像データ1は出力部45が出力する直前の状態になっている。
[How to change image quality]
Details of the image quality changing method executed by the image
FIG. 3 is a diagram for explaining the operation of the image
推定部41により算出された画像データ1〜画像データ10の主観画質推定値は100であり、画像データ11の主観画質推定値は50である。図3においては、主観画質推定値が大きいほど画質が良く、図3(b)に示すように、画像データ10と画像データ11との間で、画質が急激に変化している。ユーザが、主観画質推定値が100の画像データ10と、主観画質推定値が50の画像データ11とを連続して視認すると、画質が急激に劣化したことを知覚してしまう。そこで、画質変更部44は、画像データの画質が所定の画質差よりも大きく劣化した場合、図3(c)に示すように、画像データ1から画像データ11までの間に緩やかに画質が劣化するように、映像再生装置200において再生される画像データの画質を制御する。
The subjective image quality estimation value of the
具体的には、画質変更部44は、以下の手順により画質を制御する。
まず、画質変更部44は、画像データ10の主観画質推定値と画像データ11の主観画質推定値との差が所定値(例えば20)よりも大きい50であることを検出すると、画質が変化する直前の第1画像データとして画像データ10を特定し、画質が変化した直後の第2画像データとして画像データ11を特定する。そして、画質変更部44は、画像データ11が再生されるまでの時間に基づいて定められる画質に、バッファ部43に格納されている画像データの画質を変更する。画質変更部44は、画像データ11が再生されるまでの時間が長ければ長いほど、緩やかに画質が変化するように画像データの画質を変更する。なお、画質変更部44は、画像データ11が再生されるまでの時間を用いる代わりに、バッファ部43に格納されている画像データの数に基づいて画像データの画質を変更してもよい。
Specifically, the image
First, when the image
画質変更部44は、画質変更データベース30を参照することにより、バッファ部43に格納されている各画像データの変更後の画質を決定する。
図4は、画質変更データベース30が格納している画質変更テーブルの一例を示す図である。画質変更データベース30においては、第1画像データの主観画質推定値と、第2画像データの主観画質推定値と、第2画像データが再生されるまでの時間と、変更後の主観画質推定値とが関連付けられている。第2画像データが再生されるまでの時間は、本例においては、第2画像データがバッファ部43に格納された時点でバッファ部43に格納されている画像データの数により表している。
The image
FIG. 4 is a diagram illustrating an example of the image quality change table stored in the image
画質変更部44は、画質変更データベース30を参照し、第1画像データ(画像データ10)の主観画質推定値と、第2画像データ(画像データ11)の主観画質推定値と、第2画像データが再生されるまでの時間と、に基づいて、第2画像データよりも前にバッファ部43に格納された画像データの変更後の主観画質推定値を特定する。画質変更部44は、各画像データの主観画質が、特定した主観画質推定値になるように画質を変更する。
The image
図3に示す例の場合、画質変更部44は、第1画像データの第1主観画質推定値が100、第2画像データの第2主観画質推定値が50、再生までの時間が10であるので、画質変更データベース30を参照することにより、画像データ1から画像データ10までの主観画質推定値を、それぞれ100、95、90、85、80、75、70、65、60、55にすればよいことを特定する。画質変更部44は、画像データ1から画像データ10までの主観画質推定値を、100、95、90、85、80、75、70、65、60、55にした後に、それぞれの画像データを順次出力部45へと出力する。このように、画質変更部44が、第1画像データより前に取得された第1主観画質の複数の画像データの画質を、第1主観画質から第2主観画質に段階的に近づくように変更することで、映像再生装置200は、図3(c)に示されるように緩やかに画質が変化する映像を再生することができる。
In the example illustrated in FIG. 3, the image
上記の説明においては、画質変更部44が、隣接する画像データ間の画質の差が一定値になるように画質を変更する例について説明したが、これに限らない。図5に示すように、画質変更部44は、図3に示した例よりも緩やかに画質が変化するように、画質の変化が開始してから所定の期間、及び画質の変化が終了する前の所定の期間における画質の変化量を、その他の期間における画質の変化量よりも小さくしてもよい。
In the above description, the example in which the image
図6は、画像データが改善した場合の画質変更部44の動作について説明するための図である。画質変更部44は、画質が変化した後の第2画像データの第2主観画質が、画質が変化する前の第1画像データの第1主観画質よりも良い場合に、第2画像データの画質を、第1主観画質と第2主観画質との間の画質に変更する。画質変更部44は、例えば、第2画像データより後に受信された第2主観画質の複数の画像データの画質を、第2主観画質から第1主観画質に段階的に近づくように変更する。
FIG. 6 is a diagram for explaining the operation of the image
図6に示す例においては、第1画像データに対応する画像データ1の主観画質推定値が50であり、第2画像データに対応する画像データ2の主観画質推定値が100である。画質変更部44は、このように、画像データの画質が所定の画質差よりも大きく改善した場合、画像データ1から画像データ11までの間に緩やかに画質が改善するように、映像再生装置200において再生される画像データの画質を制御する。
In the example shown in FIG. 6, the subjective image quality estimation value of the
図6に示す例の場合、画質変更部44は、画像データ2から所定の数の画像データの画質を、主観画質推定値が直前の画像データの画質よりも5ずつ良くなるように劣化させている。画質変更部44は、例えば、第1主観画質と第2主観画質との画質差に基づいて定められた変化量だけ、隣接する画像データ間の画質が変化するように、各画像データの画質を変更する。この場合、画質変更部44は、画質差が大きければ大きいほど、長い時間にわたって、画像データの画質を変更する。画質変更部44は、画質を変更する期間を予め定めておき、画質差を当該期間で除算することにより、隣接する画像データ間の画質の変化量を決定してもよい。
In the example shown in FIG. 6, the image
画質変更部44が画質を変更する方法は任意であるが、例えば、主観画質推定値が高い画像データをフィルタリングすることにより、画質を劣化させることができる。この場合、画質変更部44は、画質変更データベース30を参照して特定した主観画質推定値に対応する強度のフィルタを用いて画像データをフィルタリングする。なお、画質変更データベース30が、主観画質推定値を記憶する代わりに、画質変更部44が使用するフィルタの強度を記憶しておき、画質変更部44は、画質変更データベース30から読み出した強度にフィルタの強度を設定してもよい。
The method of changing the image quality by the image
画質変更部44は、画質を劣化させるフィルタとして、例えば、フィルタサイズ及び標準偏差を用いてフィルタの強度を調整可能なガウシアンフィルタを使用する。ガウシアンフィルタは、以下の式により表される。
画質変更部44がガウシアンフィルタを用いる場合、画質変更データベース30は、第1主観画質推定値、第2主観画質推定値、及び再生までの時間に関連付けて、フィルタサイズ及び標準偏差を記憶していてもよい。画質変更部44は、画質変更データベース30から読み出したフィルタサイズ及び標準偏差に対応するガウシアンフィルタを用いて画質を変更することができる。
When the image
ガウシアンフィルタは、フィルタリングを複数回繰り返して平滑化の度合いを調整する方法に比べて処理時間を短縮することができる。ただし、画質変更部44は、フィルタとして移動平均フィルタを用いてもよい。この場合、画質変更データベース30が、第1主観画質推定値、第2主観画質推定値、及び再生までの時間に関連付けて、フィルタリング回数を保持していてもよい。
The Gaussian filter can shorten the processing time compared to a method of adjusting the degree of smoothing by repeating filtering a plurality of times. However, the image
なお、上記の説明において、画質変更部44は、バッファ部43に格納されている画像データの画質を変更するものとして説明したが、画質を変更する対象となる画像データが再生されるまでの時間が短い場合には、そのような画像データの画質を変更しなくてもよい。例えば、画質変更部44は、画質が変化した直後の第2画像データが再生されるまでの時間が所定の時間よりも短い場合に、画質の変更をしないでもよい。また、画質変更部44は、バッファ部43に格納されている複数の画像データのうち、再生されるまでの時間が所定の時間よりも短い画像データの画質の変更をせず、再生されるまでの時間が所定の時間以上の画像データに限定して画質の変更をしてもよい。
In the above description, the image
また、上記の説明において、画質変更部44は、画質変更データベース30を参照して画質を変更するものとしたが、画質変更部44は、画質変更データベース30を参照することなく画質を変更してもよい。例えば、画質変更部44は、第1主観画質推定値と第2主観画質推定値との差分値を、再生されるまでの時間で除算して、隣接する画像データ間で劣化させる度合いを決定することもできる。図3に示した例の場合、差分値が50であり、再生するまでの時間が10であるので、画質変更部44は、隣接する画像データ間の主観画質推定値の差が5になるように決定することができる。
In the above description, the image
なお、図1におけるネットワークNの帯域に十分な余裕がある場合、推定部41は、第2画像データを取得するビットレートの種類を選択するタイミングより前に、異なるビットレートそれぞれの第2画像データの第2主観画質推定値を求めておいてもよい。そして、画質変更部44は、急激な通信品質の変動が発生した際には、予め求めていた第2主観画質推定値を利用して速やかに画質を変更してもよい。
When there is a sufficient margin in the bandwidth of the network N in FIG. 1, the
[画質変更処理のフローチャート]
図7は、画質制御装置100における画質変更処理のフローチャートである。
まず、受信部10が画像フレームを取得すると(S11)、推定部41は、画像フレームに基づく画像データの主観画質を推定して、推定した結果を記憶部20に格納する(S12)。S12の処理と並行して、デコード部42は、画像データをデコードして、デコード後の画像データをバッファ部43に格納する(S13)。
[Image quality change processing flowchart]
FIG. 7 is a flowchart of image quality change processing in the image
First, when the receiving
続いて、画質変更部44は、隣接する画像データ間の画質差を算出し(S14)、画質差を所定の閾値と比較する(S15)。画質変更部44は、画質差が閾値よりも大きい場合(S15においてYES)、S16に進んで画質の変更処理を行い、画質差が所定の閾値以下である場合に、画質の変更処理をすることなくS19に進む。
Subsequently, the image
画質変更部44は、画質差が所定の閾値よりも大きい場合(S15においてNO)、画質差が所定の閾値よりも大きいことを検出した画像データが再生されるまでの時間を特定する(S16)。画質変更部44は、例えばバッファ部43に格納されている画像データの数を参照することにより、画像データが再生されるまでの時間を特定できるが、予め記憶部20に記憶された固定の時間を、画像データが再生されるまでの時間として特定してもよい。
When the image quality difference is larger than the predetermined threshold (NO in S15), the image
続いて、画質変更部44は、画質変更データベース30を参照して、バッファ部43に格納されている画像データの画質をどのように変更するかを特定する(S17)。そして、バッファ部43に格納されている画質データの画質が、特定した画質になるように画像処理を施して、画質を変更する(S18)。その後、出力部45は、画質変更部44が画質を変更した画像データ、又は画質変更部44が画質を変更する前の画像データを出力することにより、映像が再生される(S19)。
Subsequently, the image
以上説明したように、第1の実施形態に係る画質制御装置100においては、推定部41が、画質が劣化する直前の第1画像データの第1主観画質、及び画質が劣化した直後の第2画像データの第2主観画質を推定し、画質変更部44が、第1主観画質と第2主観画質との画質差に基づいて、第1画像データを含む、画質が劣化する直前の画像データの画質を、第1主観画質と第2主観画質との間の画質になるように劣化させる。このようにすることで、画質制御装置100は、画質を緩やかに劣化させることができるので、ユーザが、画質が劣化したことに気付きにくくすることができる。
As described above, in the image
また、本実施形態のように、受信した映像データがデコードされた後に画質変更部44が画質を変更する場合、既存のデコーダを用いつつ、画質を緩やかに変化させることができるので、実装を容易にするという点で好適である。
Further, when the image
<第2の実施形態>
図8は、第2の実施形態に係る画質制御装置100の構成を示す図である。本実施形態に係る画質制御装置100は、デコード部42が画質変更部44を含んでいる点で、第1の実施形態に係る画質制御装置100と異なる。
<Second Embodiment>
FIG. 8 is a diagram illustrating a configuration of the image
本実施形態における画質変更部44は、第1の実施形態における画質変更部44と同様に、推定部41が算出した主観画質推定値に基づいて、画質を変更する対象となる画像フレームを特定する。そして、画質変更部44は、画像フレームに含まれる画像データの交流成分(AC成分)を除去することにより、画質を変更する。具体的には、画質変更部44は、受信部10が受信した映像データに含まれる画像フレームにおける直交変換係数の交流成分を、高周波成分から順に、画質を劣化させる度合いに対応する量だけ除去することにより、画質を変更する。画質変更部44は、画質変更データベース30を参照して変更後の主観画質推定値を特定し、特定した主観画質推定値に対応する割合の高周波成分を除去する。画質変更データベース30が、第1主観画質推定値及び第2主観画質推定値に関連付けて、高周波成分を除去する割合を示す値を保持していてもよい。
Similar to the image
なお、画質変更部44は、画質を変更する対象となる画像フレームのうち、Iフレームに限定して画質を変更してもよい。また、画質変更部44は、画質を変更したIフレームの後続のPフレーム及びBフレームに対して、画質を変更したIフレームにおいて除去した高周波成分と同じ高周波成分の直交変換係数を除去してもよい。
Note that the image
また、画質変更部44は、画質変更データベース30を用いることなく、高画質側の画像フレームにおける全直交変換係数の数に対する0以外の直交変換係数の数(以下、「直交変換係数の第1存在割合」という)から、低画質側の画像フレームにおける全直交変換係数の数に対する0以外の直交変換係数の数(以下、「直交変換係数の第2存在割合」という)との差分に基づいて、直交変換係数を除去する数を決定してもよい。
Further, the image
例えば、画質変更部44は、第1存在割合と第2存在割合との差分値を算出し、画質が劣化した後の画像フレームが再生されるまでの時間において、直交変換係数の存在割合が第1存在割合から第2存在割合に変化するように、画質が劣化する前の画像データの高周波成分を除去する。また、画質変更部44は、画像が改善した場合、画像が改善してから所定の期間にわたって、画像フレームごとに所定の数ずつ直交変換係数の存在割合が増加するように、高周波成分を除去する割合を決定する。
For example, the image
以上説明したように、第2の実施形態に係る画質制御装置100においては、デコード部42が画質変更部44を含んでおり、デコード処理と同じタイミングで逐次的に画質を制御する。このようにすることで、デコードが終了した後に画質を変更する場合に比べて、処理速度が向上する。
As described above, in the image
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. In particular, the specific embodiments of the distribution / integration of the devices are not limited to those illustrated above, and all or a part thereof may be added in arbitrary units according to various additions or according to functional loads. It can be configured functionally or physically distributed and integrated.
例えば、上記の説明においては、画質変更データベース30が、画質が変化した後の画像データが再生されるまでの時間に関連付けて、変更後の主観画質推定値を保持し、画質変更部44が、画質が変化した後の画像データが再生されるまでの時間に基づいて、画質を変更したが、これに限らない。画質変更部44は、画質が変化した後の画像データが再生されるまでの時間によらず、同じ条件で画質を変更してもよい。
For example, in the above description, the image
また、上記の説明においては、本発明が適用されるケースとしてVODで配信される映像のビットレートが変化する場合を例示したが、本発明の適用範囲はVODの場合に限定されない。例えば、ハイブリッドキャストのサービスにおいて、放送用のストリームから通信用のストリームに切り替わる場合、高解像度のストリームが低解像度のストリームに切り替わる場合、残差係数が大きいストリームが残差係数の小さいストリームに切り替わる場合等、さまざまな場合に適用可能である。 In the above description, the case where the bit rate of the video distributed by VOD changes is illustrated as a case where the present invention is applied, but the scope of the present invention is not limited to the case of VOD. For example, in a hybrid cast service, when a broadcast stream is switched to a communication stream, a high-resolution stream is switched to a low-resolution stream, a stream with a large residual coefficient is switched to a stream with a small residual coefficient It is applicable to various cases.
10 受信部
20 記憶部
30 画質変更データベース
40 制御部
41 推定部
42 デコード部
43 バッファ部
44 画質変更部
45 出力部
100 画質制御装置
200 映像再生装置
300 映像配信装置
DESCRIPTION OF
Claims (13)
前記複数の画像フレームのうちの1つの画像フレームに基づく第1画像データの第1画質、及び前記第1画像データの後に再生される第2画像データの第2画質を推定する推定部と、
前記第1画質と前記第2画質との画質差に基づいて、前記第1画像データ又は前記第2画像データの画質を変更する画質変更部と、
前記画質変更部が変更した後の画像データを出力する出力部と、
を有する画質制御装置。 A receiving unit for receiving video data composed of a plurality of image frames;
An estimation unit for estimating a first image quality of first image data based on one image frame of the plurality of image frames and a second image quality of second image data reproduced after the first image data;
An image quality changing unit that changes an image quality of the first image data or the second image data based on a difference in image quality between the first image quality and the second image quality;
An output unit for outputting the image data after the image quality changing unit has changed,
An image quality control apparatus.
請求項1に記載の画質制御装置。 The image quality changing unit changes the image quality of the first image data to an image quality between the first image quality and the second image quality when the first image quality is better than the second image quality;
The image quality control apparatus according to claim 1.
請求項2に記載の画質制御装置。 The image quality changing unit changes the first image quality of the first image data to an image quality determined based on a time until the second image data is reproduced.
The image quality control apparatus according to claim 2.
請求項2又は3に記載の画質制御装置。 The image quality changing unit changes the image quality of the plurality of first image data received before the first image data so as to gradually approach the second image quality from the first image quality;
The image quality control device according to claim 2.
請求項1に記載の画質制御装置。 The image quality changing unit changes the image quality of the second image data to an image quality between the first image quality and the second image quality when the second image quality is better than the first image quality.
The image quality control apparatus according to claim 1.
請求項5に記載の画質制御装置。 The image quality changing unit changes the image quality of the plurality of second image quality image data received after the second image data so as to gradually approach the first image quality from the second image quality.
The image quality control device according to claim 5.
請求項1から6のいずれか1項に記載の画質制御装置。 The image quality changing unit changes the image quality of the first image data or the second image data when the image quality difference is larger than a predetermined value.
The image quality control apparatus according to claim 1.
請求項1から7のいずれか1項に記載の画質制御装置。 The image quality changing unit has the image quality based on the difference between the existence ratio of the orthogonal transform coefficients in the first image data and the existence ratio of the orthogonal transform coefficients in the second image data, and the first image data or the second image. Change the data quality,
The image quality control apparatus according to claim 1.
請求項1から8のいずれか1項に記載の画質制御装置。 The image quality changing unit filters the first image data or the second image data by filtering the first image data or the second image data from the first image data or the second image data using a filter having an intensity based on the image quality difference. Changing the image quality of the data or the second image data;
The image quality control apparatus according to claim 1.
請求項1から8のいずれか1項に記載の画質制御装置。 The image quality changing unit changes the image quality of the first image data or the second image data by removing an alternating current component based on the image quality difference from the first image data or the second image data.
The image quality control apparatus according to claim 1.
前記複数の画像フレームのうちの1つの画像フレームに基づく第1画像データの第1画質、及び前記第1画像データの後に再生される第2画像データの第2画質を推定するステップと、
前記第1画質と前記第2画質との画質差に基づいて、前記第1画像データ又は前記第2画像データの画質を変更するステップと、
変更した後の画像データを出力するステップと、
を有する画質制御方法。 Receiving video data composed of a plurality of image frames;
Estimating a first image quality of first image data based on one image frame of the plurality of image frames and a second image quality of second image data reproduced after the first image data;
Changing the image quality of the first image data or the second image data based on an image quality difference between the first image quality and the second image quality;
Outputting the changed image data; and
An image quality control method.
前記映像配信装置から受信した映像データに含まれる画像データの画質を制御する請求項1から10のいずれか1項に記載の画質制御装置と、
を備える画質制御システム。 A video distribution device for distributing video data;
The image quality control device according to any one of claims 1 to 10, wherein the image quality of image data included in the video data received from the video distribution device is controlled.
An image quality control system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015147860A JP2017028622A (en) | 2015-07-27 | 2015-07-27 | Image quality control device, image quality control method, image quality control system, and image quality controlling program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015147860A JP2017028622A (en) | 2015-07-27 | 2015-07-27 | Image quality control device, image quality control method, image quality control system, and image quality controlling program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017028622A true JP2017028622A (en) | 2017-02-02 |
Family
ID=57950044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015147860A Pending JP2017028622A (en) | 2015-07-27 | 2015-07-27 | Image quality control device, image quality control method, image quality control system, and image quality controlling program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017028622A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017080622A (en) * | 2017-02-20 | 2017-05-18 | 株式会社三共 | Game machine |
JP2017080624A (en) * | 2017-02-20 | 2017-05-18 | 株式会社三共 | Game machine |
-
2015
- 2015-07-27 JP JP2015147860A patent/JP2017028622A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017080622A (en) * | 2017-02-20 | 2017-05-18 | 株式会社三共 | Game machine |
JP2017080624A (en) * | 2017-02-20 | 2017-05-18 | 株式会社三共 | Game machine |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11218682B2 (en) | Methods and apparatus for processing and or encoding images with negative parallax | |
CN106688239B (en) | Method for downloading video, apparatus and system | |
US10462464B2 (en) | Method and apparatus for encoding and decoding video signal using adaptive sampling | |
JP4796019B2 (en) | Video quality estimation apparatus, method, and program | |
JP5766877B2 (en) | Frame coding selection based on similarity, visual quality, and interest | |
JP2008541569A (en) | Macro block level rate control | |
US20140247890A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
US9787987B2 (en) | Adaptive pre-filtering based on video complexity and output bit rate | |
JP2012034352A (en) | Stereo moving image encoding apparatus and stereo moving image encoding method | |
JP5137687B2 (en) | Decoding device, decoding method, and program | |
US9955160B1 (en) | Video encoding using adaptive pre-filtering | |
KR101017915B1 (en) | Image processing method and device, image processing program, and recording medium containing the program | |
JP4592562B2 (en) | Image decoding device | |
JP2017028622A (en) | Image quality control device, image quality control method, image quality control system, and image quality controlling program | |
JP2007221318A (en) | Quality management, quality management method, quality control method, quality management control system, quality management apparatus, and quality control apparatus for bidirectional video communication service | |
JP2010011112A (en) | Image quality estimation device, method, and program | |
JP6796435B2 (en) | Rate control device, video decoding device, and program | |
US20190007685A1 (en) | Devices and method for video encoding and reconstruction | |
JP2016510568A (en) | Method and apparatus for context-based video quality assessment | |
KR101703330B1 (en) | Method and apparatus for re-encoding an image | |
EP2954677B1 (en) | Method and apparatus for context-based video quality assessment | |
JP4266227B2 (en) | Video signal processing device | |
JP3800435B2 (en) | Video signal processing device | |
JP4956527B2 (en) | Method and apparatus for reducing quantization error | |
JP2005341347A (en) | Multipoint connection device and method |