KR20100126397A - Method, device, and program for objectively evaluating video quality - Google Patents
Method, device, and program for objectively evaluating video quality Download PDFInfo
- Publication number
- KR20100126397A KR20100126397A KR20107020736A KR20107020736A KR20100126397A KR 20100126397 A KR20100126397 A KR 20100126397A KR 20107020736 A KR20107020736 A KR 20107020736A KR 20107020736 A KR20107020736 A KR 20107020736A KR 20100126397 A KR20100126397 A KR 20100126397A
- Authority
- KR
- South Korea
- Prior art keywords
- slice
- information
- amount
- video
- frame
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
움직임 보상 프레임간 예측 및 DCT 및 더 구체적으로는 H.264를 사용하여 인코딩된 비디오의 비트 스트링을 수신한다. 수신된 비트 스트링에 포함된 양자화 파라미터를 추출하며, 이의 통계량을 계산한다. 비디오의 주관적 품질은 양자화 파라미터의 최소값에 기초하여 추정된다. Receive motion compensated interframe prediction and a bit string of video encoded using DCT and more specifically H.264. The quantization parameter included in the received bit string is extracted and its statistics are calculated. The subjective quality of the video is estimated based on the minimum value of the quantization parameter.
Description
본 발명은 비디오를 보는 사람에 의해 경험된 품질(주관적 품질)을 평가하는 경우, 주관적 품질 평가 실험을 하지 않고 인코딩된 비트스트림의 정보로부터 주관적 품질을 객관적으로 유도하여, 인코딩에 의해 야기된 비디오 품질 저하를 검출하는, 비디오 품질 객관적 평가 방법, 비디오 품질 객관적 평가 장치, 및 프로그램에 관한 것이다. When evaluating the quality (subjective quality) experienced by the viewer of the video, the present invention objectively derives the subjective quality from the information of the encoded bitstream without subjective quality evaluation experiments, thereby causing the video quality caused by the encoding. A video quality objective evaluation method, a video quality objective evaluation apparatus, and a program for detecting degradation.
통상적으로, IP 패킷의 헤더 정보 및 비트 레이트 또는 프레임 레이트와 같은 인코딩 파라미터 정보를 사용하는 객관적 평가 비디오 품질의 기술은 비디오 전달 및 통신 서비스의 사용자가 본 비디오의 주관적 품질을 정확하고 효율적으로 평가하기 위해 검토되어 왔다(카주히사 야마기시(Kazuhisa Yamagushi), 타카노리 하야시(Takanori Hayashi), "IPTV 서비스에 대한 비디오 품질 추정 모델(Video Quality Estimation model for IPTV Services)", Technical Report of IEICE, CQ2007-35, pp. 123-126, July. 2007(참고문헌 1)). 인코딩된 비트스트림 정보 및 픽셀 신호 정보를 결합하는 것에 의한 객관적 평가 비디오 품질에 관한 기술이 검토되어 왔다(D. Hands, "Quality Assurance for IPTV", ITU-T Workshop on "End-to-end QoE/QoS", June. 2006(참고문헌 2)). Typically, a technique of objective evaluation video quality using header information of IP packets and encoding parameter information such as bit rate or frame rate is used to accurately and efficiently evaluate the subjective quality of video viewed by users of video delivery and communication services. (Kazuhisa Yamagushi, Takanori Hayashi, "Video Quality Estimation model for IPTV Services", Technical Report of IEICE, CQ2007-35, pp 123-126, July 2007 (Ref. 1)). Techniques for objective evaluation video quality by combining encoded bitstream information and pixel signal information have been reviewed (D. Hands, "Quality Assurance for IPTV", ITU-T Workshop on "End-to-end QoE / QoS ", June. 2006 (Ref. 2)).
종래 기술은 계산량을 정확하게 억제하는 동안 객관적 평가 비디오 품질의 기술을 구성하는 것을 목표로 한다. 그러나, 참고문헌 1에 설명된 기술은 평균 장면(scene)을 가정하는 주관적 품질을 추정하고, 장면들에 따라 주관적 품질 변화를 고려할 수 없다. 그러므로 정확한 주관적 품질 추정을 이행하는 것은 불가능하다. The prior art aims to construct a technique of objective evaluation video quality while accurately suppressing the amount of computation. However, the technique described in Ref. 1 estimates subjective quality assuming an average scene, and cannot take into account subjective quality changes depending on the scenes. Therefore, it is impossible to make accurate subjective quality estimates.
참고문헌 2에 설명된 기술은 서브 정보로서, 디코딩된 픽셀 정보에 인코딩된 비트 스트링을 추가함으로써 얻어진 정보 및 인코딩된 비트스트림을 사용하여 주관적 품질을 추정하는 것을 시도하였다. 특히, H.264는 픽셀 정보로의 디코딩을 위한 거대한 계산량을 요구하며 그러므로 실제 수행하기 어렵다. The technique described in
상기 문제점을 해결하기 위해, 본 발명은 움직임 보상 프레임간 예측 및 DCT를 사용하여 인코딩된 비디오의 비트 스트링을 수신하는 단계, 수신된 비트 스트링에 포함된 정보를 입력함으로써 기결정된 연산을 수행하는 단계, 및 기결정된 연산을 수행하는 단계의 연산 결과에 기초하여 비디오의 주관적 품질을 추정하는 연산을 수행하는 단계를 포함한다. In order to solve the above problems, the present invention provides a method for receiving a bit string of video encoded using DCT using motion compensation interframe prediction, performing a predetermined operation by inputting information included in the received bit string, And performing an operation of estimating the subjective quality of the video based on the operation result of the step of performing the predetermined operation.
더 구체적으로는, 본 발명은 움직임 보상 프레임간 예측 및 현재 유행되고 있는 DCT, 더 구체적으로는 H.264를 사용하는 인코딩 방법에 의해 인코딩된 비트스트림으로부터 프레임/슬라이스/움직임 벡터의 I/P/B 속성을 검출하는 단계, 움직임 벡터 및 이의 데이터량을 추출하는 단계, DCT 계수 및 이의 데이터량을 추출하는 단계, 인코딩 제어 정보 및 이의 데이터량을 추출하는 단계, 양자화 계수/양자화 파라미터를 추출하는 단계, 및 정보의 이들 조각들을 통합하여 비디오의 주관적 품질을 객관적으로 추정하는 단계를 포함한다. More specifically, the present invention relates to I / P / I of a frame / slice / motion vector from a bitstream encoded by motion compensation interframe prediction and an encoding method using DCT, more specifically H.264, which is currently in vogue. Detecting a B attribute, extracting a motion vector and its amount of data, extracting a DCT coefficient and its amount of data, extracting encoding control information and its amount of data, extracting a quantization coefficient / quantization parameter And integrating these pieces of information to objectively estimate the subjective quality of the video.
본 발명에서 비트스트림이 디코딩되지 않기 때문에, 비디오 품질은 적은 양의 계산에 의해 추정될 수 있다. 추가로, 비트스트림에서의 장면에서의 차를 고려할 수 있는 파라미터들인, DCT 계수 및 움직임 벡터들의 데이터 량 및 콘텐츠가 주관적 품질을 추정하는데 사용되기 때문에, 비디오의 주관적 품질은 정확하게 추정될 수 있다. Since the bitstream is not decoded in the present invention, the video quality can be estimated by a small amount of calculation. In addition, since the data amount and content of DCT coefficients and motion vectors, which are parameters that may take into account the difference in the scene in the bitstream, are used to estimate the subjective quality, the subjective quality of the video can be estimated accurately.
본 발명에 따르면, 기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 양자화 정보가 추출되고, 양자화 정보의 통계량(예를 들어, H.264의 양자화 파라미터들의 최소값)이 계산된다. 주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 양자화 정보의 통계량(예를 들어, H.264의 양자화 파라미터들의 최소값)에 기초하여 수행된다.According to the present invention, in the step of performing a predetermined operation, the quantization information included in the bit string is extracted, and the statistics of the quantization information (for example, the minimum value of the quantization parameters of H.264) are calculated. In the step of estimating the subjective quality, the operation of estimating the subjective quality of the video is performed based on the statistics of the quantization information (eg, the minimum value of the quantization parameters of H.264).
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 움직임 벡터의 정보가 추출되고, 움직임 벡터의 통계량(예를 들어, 벡터 크기의 첨도(kurtosis))은 움직임 벡터의 추출된 정보로부터 계산된다. 주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 움직임 벡터의 통계량(예를 들어, 벡터 크기의 첨도) 및 양자화 정보의 통계량(H.264의 양자화 파라미터들의 최소값)에 기초하여 수행된다. In the step of performing a predetermined operation, the information of the motion vector included in the bit string is extracted, and the statistics of the motion vector (eg, kurtosis of the vector size) are calculated from the extracted information of the motion vector. In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video includes the statistics of the motion vector (e.g., kurtosis of the vector size) and the statistics of the quantization information (minimum value of the quantization parameters of H.264). Is performed on the basis of
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된, I 슬라이스, P 슬라이스 및 B 슬라이스의 정보가 추출되며, I 슬라이스, P 슬라이스 및 B 슬라이스의 통계 정보는 I 슬라이스, P 슬라이스 및 B 슬라이스의 추출된 정보에 기초하여 계산된다. 주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 I 슬라이스, P 슬라이스 및 B 슬라이스의 통계 정보 및 양자화 정보의 통계량(예를 들어, H.264의 양자화 파라미터들의 최소값)에 기초하여 수행된다. In performing the predetermined operation, information of the I slice, the P slice, and the B slice, included in the bit string, is extracted, and statistical information of the I slice, the P slice, and the B slice is extracted from the I slice, the P slice, and the B slice. It is calculated based on the extracted information. In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video may include statistical information of I slices, P slices and B slices, and statistics of quantization information (e.g., minimum values of quantization parameters of H.264). Is performed on the basis of
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함되어 있는, 예측가능한 인코딩에 사용된 정보, 변환 인코딩에 사용된 정보, 및 인코딩 제어에 사용된 정보가 추출될 수 있고, 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 인코딩 제어에 사용된 비트량이 추출된 정보의 조각들로부터 계산될 수 있음을 유의한다. 이 경우에, 주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 인코딩 제어에 사용된 비트량에 기초하여 수행되고, 이는 기결정된 연산을 수행하는 단계의 연산 결과를 나타낸다. In the step of performing a predetermined operation, information used in the predictive encoding, information used in the transform encoding, and information used in the encoding control, which are included in the bit string, may be extracted and used in the predictable encoding. Note that the bit amount, the bit amount used for transform encoding, and the bit amount used for encoding control can be calculated from pieces of extracted information. In this case, in the step of performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video includes the amount of bits used for predictable encoding, the amount of bits used for transform encoding, and the amount of bits used for encoding control. Based on the result of the calculation of the step of performing the predetermined operation.
이 경우에, 기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 움직임 벡터의 정보가 추출되고, 움직임 벡터의 통계량(예를 들어, 벡터 크기의 첨도)은 움직임 벡터의 추출된 정보로부터 계산된다. 주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 인코딩 제어에 사용된 비트량, 및 움직임 벡터의 통계량(예를 들어, 벡터 크기의 첨도)에 기초하여 수행된다. In this case, in the step of performing a predetermined operation, the information of the motion vector included in the bit string is extracted, and the statistics of the motion vector (e.g. kurtosis of the vector size) are calculated from the extracted information of the motion vector. . In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video includes the amount of bits used for predictable encoding, the amount of bits used for transform encoding, the amount of bits used for encoding control, and the motion vector. It is performed based on statistics (eg kurtosis of vector size).
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된, I 슬라이스, P 슬라이스 및 B 슬라이스의 정보가 추출되며, I 슬라이스, P 슬라이스 및 B 슬라이스의 통계 정보는 I 슬라이스, P 슬라이스 및 B 슬라이스의 추출된 정보에 기초하여 계산된다. 주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 인코딩 제어에 사용된 비트량, 및 움직임 벡터의 통계량(예를 들어, 벡터 크기의 첨도)에 기초하여 수행된다. In performing the predetermined operation, information of the I slice, the P slice, and the B slice, included in the bit string, is extracted, and statistical information of the I slice, the P slice, and the B slice is extracted from the I slice, the P slice, and the B slice. It is calculated based on the extracted information. In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video includes the amount of bits used for predictable encoding, the amount of bits used for transform encoding, the amount of bits used for encoding control, and the motion vector. It is performed based on statistics (eg kurtosis of vector size).
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 I 슬라이스, P 슬라이스 및 B 슬라이스의 정보가 추출되고, I 슬라이스, P 슬라이스 및 B 슬라이스의 양자화 정보가 I 슬라이스, P 슬라이스 및 B 슬라이스의 추출된 정보에 기초하여 계산된다. 주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 인코딩 제어에 사용된 또다른 비트량, 및 I 슬라이스, P 슬라이스 및 B 슬라이스의 통계 정보에 기초하여 수행된다. In the step of performing a predetermined operation, information of I slice, P slice, and B slice included in the bit string is extracted, and quantization information of I slice, P slice, and B slice is extracted of I slice, P slice, and B slice. Is calculated based on the information obtained. In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video includes the amount of bits used for predictable encoding, the amount of bits used for transform encoding, another amount of bits used for encoding control, and I It is performed based on statistical information of the slice, the P slice, and the B slice.
전술한 바와 같이, 본 발명에 따르면, 움직임 보상 및 DCT를 사용하는 인코딩 방법, 더 구체적으로는 H.264에 의해 인코딩된 비트 스트링들(비트스트림들)의 정보가 사용된다. 이는 계산량을 억제하는 동안 높은 정확도로 주관적 품질을 객관적으로 추정하는 것을 가능하게 한다. 통상적 객관적 품질 평가 방법 또는 주관적 품질 평가 방법을 본 발명으로 교체하는 것은 많은 노력과 시간에 대한 요구를 없앤다. 그러므로, 비디오 전송 서비스에서의 사용자에 의해 감지된 주관적 품질은 실시간으로 그리고 큰 규모로 관리될 수 있다. As mentioned above, according to the present invention, the encoding method using motion compensation and DCT, more specifically the information of bit strings (bitstreams) encoded by H.264 is used. This makes it possible to objectively estimate the subjective quality with high accuracy while suppressing the calculation amount. Replacing conventional objective or subjective quality assessment methods with the present invention eliminates the need for much effort and time. Therefore, the subjective quality sensed by the user in the video transmission service can be managed in real time and on a large scale.
도 1은 선택된 프레임에 양자화 파라미터의 최소값을 유도하는 방법을 설명하는 도면이다;
도 2는 움직임 벡터 유도 타겟 프레임의 위치를 설명하는 도면이다;
도 3은 기준 프레임과 움직임 벡터 유도 타겟 프레임 사이의 위치 관계를 나타내는 도면이다;
도 4는 움직임 벡터 유도 타겟 프레임과 기준 프레임 사이의 위치 관계를 나타내는 도면이다;
도 5는 비디오 품질 객관적 평가 장치의 배열을 나타내는 블록도이다;
도 6은 본 발명의 제 1 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 7은 본 발명의 제 2 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 8은 본 발명의 제 3 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 9는 본 발명의 제 4 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 10은 본 발명의 제 5 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 11은 본 발명의 제 6 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 12는 본 발명의 제 7 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 13은 본 발명의 제 8 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 14는 본 발명의 제 9 실시예에 따른 배열을 나타내는 기능적 블록도이다;
도 15는 본 발명의 제 1 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 16은 본 발명의 제 2 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 17은 본 발명의 제 3 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 18은 본 발명의 제 4 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 19는 본 발명의 제 5 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 20은 본 발명의 제 6 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 21은 본 발명의 제 7 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 22는 본 발명의 제 8 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 23은 본 발명의 제 9 실시예에 따른 처리 동작을 설명하는 흐름도이다;
도 24a는 양자화 계수/파라미터의 특성을 나타내는 그래프이다;
도 24b는 양자화 계수/파라미터의 특성을 나타내는 그래프이다;
도 25a는 일반적 품질 추정 모델과의 정확성 비교의 결과를 나타내는 그래프이다; 그리고
도 25b는 일반적 품질 추정 모델과의 정확성 비교의 결과를 나타내는 그래프이다.1 is a diagram illustrating a method of deriving a minimum value of a quantization parameter in a selected frame;
2 is a diagram for explaining a position of a motion vector derived target frame;
3 is a diagram showing a positional relationship between a reference frame and a motion vector derived target frame;
4 is a diagram showing a positional relationship between a motion vector derived target frame and a reference frame;
5 is a block diagram showing an arrangement of a video quality objective evaluation apparatus;
6 is a functional block diagram showing an arrangement according to the first embodiment of the present invention;
7 is a functional block diagram showing an arrangement according to the second embodiment of the present invention;
8 is a functional block diagram showing an arrangement according to a third embodiment of the present invention;
9 is a functional block diagram showing an arrangement according to the fourth embodiment of the present invention;
10 is a functional block diagram showing an arrangement according to the fifth embodiment of the present invention;
11 is a functional block diagram showing an arrangement according to the sixth embodiment of the present invention;
12 is a functional block diagram showing an arrangement according to the seventh embodiment of the present invention;
13 is a functional block diagram illustrating an arrangement according to an eighth embodiment of the present invention;
14 is a functional block diagram showing an arrangement according to the ninth embodiment of the present invention;
15 is a flowchart for explaining a processing operation according to the first embodiment of the present invention;
16 is a flowchart for explaining a processing operation according to the second embodiment of the present invention;
17 is a flowchart for explaining a processing operation according to the third embodiment of the present invention;
18 is a flowchart for explaining a processing operation according to the fourth embodiment of the present invention;
19 is a flowchart for explaining a processing operation according to the fifth embodiment of the present invention;
20 is a flowchart for explaining a processing operation according to the sixth embodiment of the present invention;
21 is a flowchart for explaining a processing operation according to the seventh embodiment of the present invention;
22 is a flowchart for explaining a processing operation according to the eighth embodiment of the present invention;
23 is a flowchart for explaining a processing operation according to the ninth embodiment of the present invention;
24A is a graph showing the characteristics of quantization coefficients / parameters;
24B is a graph showing the characteristics of quantization coefficients / parameters;
25A is a graph showing the result of an accuracy comparison with a general quality estimation model; And
25B is a graph showing the result of accuracy comparison with a general quality estimation model.
본 발명의 실시예는 첨부한 도면을 참고로 하여 설명될 것이다. Embodiments of the present invention will be described with reference to the accompanying drawings.
도 5는 본 발명의 실시예에 따른 비디오 품질 객관적 평가 장치의 배열을 나타내는 블록도이다. 도 5에 도시된 바와 같이, 비디오 품질 객관적 평가 장치(1)는 수신 유닛(2), 산술 유닛(3), 저장 매체(4) 및 출력 유닛(5)을 포함한다. 도 5에 도시된 H.264 인코더(6)는 이하 설명되는 H.264에 의해 입력 비디오를 인코딩한다. 인코딩된 비디오 비트 스트링은 전송 패킷으로서 전송 네트워크를 통해 전달되고 비디오 품질 객관적 평가 장치(1)로 전송된다. 5 is a block diagram illustrating an arrangement of a video quality objective evaluation apparatus according to an embodiment of the present invention. As shown in FIG. 5, the video quality
비디오 품질 객관적 평가 장치(1)의 수신 유닛(2)은 전송 패킷, 즉 인코딩된 비트 스트링을 수신한다. CPU는 저장 매체(4)에 저장된 프로그램을 판독하고 수행하여, 산술 유닛(3)의 기능을 이행한다. 더 구체적으로는, 산술 유닛(3)은 수신 유닛(2)에 의해 수신된 비트 스트링의 정보를 사용하여 제 1 실시예부터 제 8 실시예에서 이하 설명되는 다양한 종류의 산술 처리를 수행하고, 디스플레이 유닛과 같은 출력 유닛(5)으로 산술 처리 결과를 출력하여, 비디오의 주관적 품질을 추정한다. The receiving
(제 1 실시예)(First embodiment)
제 1 실시예에서, 도 6에 도시된 바와 같이, 양자화 파라미터 통계 계산 유닛(11) 및 통합 유닛(integration unit)(20)이 제공되어 있다. 주관적 품질(EV)은 양자화 파라미터들의 정보를 사용하여 추정되고, 이는 H.264에 의해 인코딩된 평가 비디오(V)의 비트스트림에 존재하는 양자화 정보이다. 이 방법은 DCT 계수들 및 움직임 보상을 사용하여 인코딩 방법에 이론적으로 적용가능하다. In the first embodiment, as shown in Fig. 6, a quantization parameter
이 실시예의 절차는 다음에 간단하게 설명될 것이다. 도 6을 참고하면, 인코딩된 비트스트림은 처음에 양자화 파라미터 통계 계산 유닛(11)으로 입력된다. 양자화 파라미터 통계 계산 유닛(11)은 비트스트림으로부터 양자화 파라미터들을 추출하고, 다음 알고리즘에 따라 양자화 파라미터들의 대표값 QPmin을 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 양자화 파라미터들의 대표값 QPmin으로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다.The procedure of this embodiment will be described briefly next. Referring to FIG. 6, the encoded bitstream is initially input to the quantization parameter
이 절차는 도 15의 흐름도로 설명된다. H.264 비트 스트링의 사양은 참고문헌 1에 설명된다(ITU-T H.264, "Advanced video coding for generic audiovisual services", Feb. 2000). H.264의 사양에 따라 매크로블록들에 설정된 양자화 파라미터들의 정보의 조각들은 추출된다. This procedure is illustrated by the flowchart of FIG. The specification of H.264 bit strings is described in Ref. 1 (ITU-T H.264, "Advanced video coding for generic audiovisual services", Feb. 2000). Pieces of information of quantization parameters set in macroblocks according to the specification of H.264 are extracted.
도 1에 도시된 바와 같이, 먼저, 각각의 프레임에서의 양자화 파라미터들의 대표값 QPmin(i)은 평가 비디오(V)의 각각의 프레임에 존재하는 모든 매크로블록(전체로서 m 개의 매크로블록)의 양자화 파라미터 값을 사용하여 유도되고, 여기서 i는 프레임 번호이다(비디오 재생(playback)은 i=1에서 시작하고 i=n에서 끝난다). QPmin(i)은 As shown in FIG. 1, firstly, the representative value QP min (i) of the quantization parameters in each frame is a value of all macroblocks (m macroblocks in total) present in each frame of the evaluation video V. FIG. Derived using the quantization parameter value, where i is the frame number (video playback starts at i = 1 and ends at i = n). QP min (i) is
에 의해 유도된다. Induced by
여기서 QPij는 i 번째 프레임에서 j 번째 매크로블록의 양자화 파라미터이다(도 1). 연산자(operator)Where QP ij is the quantization parameter of the j-th macroblock in the i-th frame (FIG. 1). Operator
는 자연수 A1에서 Am을 참고하여 최소값을 출력한다. 대신에, 이 최소값과 다른 임의 통계량(예를 들어, 최대값 또는 평균값)이 유도될 수 있다.Outputs the minimum value by referring to A m from the natural number A 1 . Instead, any statistics other than this minimum may be derived (e.g. maximum or average).
상기 처리로, i 번째 프레임에서의 최소값을 가지는 양자화 파라미터가 유도된다. 양자화 파라미터가 작아질수록, 더 미세한 양자화가 매크로블록에 적용된다. 그러므로, 가장 미세한 양자화를 겪는 매크로블록은 이 처리에 의해 유도된다. 비디오 이미지가 더 복잡할수록, 양자화가 더 미세할 필요가 있다. 즉, 전술한 처리는 i 번째 프레임에서의 가장 복잡한 이미지를 가지는 매크로블록을 설명하는 것을 목적으로 한다. With the above process, a quantization parameter having a minimum value in the i th frame is derived. The smaller the quantization parameter, the finer the quantization is applied to the macroblock. Therefore, the macroblock that undergoes the finest quantization is derived by this process. The more complex the video image is, the finer the quantization needs to be. In other words, the above-described processing aims at explaining a macroblock having the most complicated image in the i-th frame.
각각의 프레임의 양자화 파라미터들의 유도된 대표값 QPmin(i)을 사용하여, 평가 비디오의 모든 양자화 파라미터의 대표값 QPmin은 다음에 유도된다. Using the derived representative value QP min (i) of quantization parameters in each frame, the representative value QP min of all quantization parameters of the assessment video is derived next.
QPmin은 QP min is
에 의해 유도된다. Induced by
연산자는 Operator is
자연수 A1에서 Am을 참고하여 평균값을 출력한다. Output the average value referring to A m from the natural number A 1 .
유도된 QPmin을 사용하여, 평가 비디오(V)의 주관적 품질(EV)을 추정한다. H.264에서의 양자화 파라미터들의 대표값 QPmin과 주관적 품질(EV) 사이에 존재하는 비선형성을 고려하면, 주관적 품질(EV)은 Derived QP min is used to estimate the subjective quality (EV) of the evaluation video (V). Considering the nonlinearity that exists between the representative value QP min and the subjective quality (EV) of the quantization parameters in H.264, the subjective quality (EV) is
에 의해 유도된다. Induced by
여기서 a, b, c, 및 d는 주관적 평가 실험을 하고 미리 회귀 분석(regression analysis)을 수행함으로써 최적화된 계수들이다. 주관적 품질(EV)의 스케일로서, 참고문헌 2(ITU-T P.910, "TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS", Sep. 1999)에 설명된 ACR, 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS(ITU-R BT.500, "Methodology for the subjective assessment of the quality of television pictures", 2002)가 사용가능함을 유의한다. 각각의 프레임의 양자화 파라미터 QPmin(i)을 사용하여, QPmin(i)의 평균값 QPave 또는 최대값 QPmax와 같은 QPmin(i)의 통계량은 QPmin을 대신에 사용될 수 있다. Where a, b, c, and d are coefficients optimized by subjective evaluation experiments and prior regression analysis. As a scale of subjective quality (EV), see ACR described in Ref. 2 (ITU-T P.910, "TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS", Sep. 1999), or DSIS described in Ref. Or DSCQS (ITU-R BT.500, "Methodology for the subjective assessment of the quality of television pictures", 2002). Using the quantization parameter QP min (i) of each frame, the statistics QP min (i), such as an average value QP ave or maximum value QP max of QP min (i) may be used in place of QP min.
(제 2 실시예)(Second embodiment)
도 7에 도시된 바와 같이, 제 2 실시예에서, 양자화 파리미터 통계 계산 유닛(11), 움직임 벡터 통계 계산 유닛(12), 및 통합 유닛(20)이 제공되어 있다. H.264에 의해 인코딩된 평가 비디오(V)의 주관적 품질(EV)은 H.264 인코딩에 사용된 양자화 파라미터들뿐만 아니라 움직임 벡터들의 정보를 사용하여 객관적으로 추정된다. 이 방법은 움직임 보상 및 DCT 계수들을 사용하여 인코딩 방법에 이론적으로 적용가능하다. As shown in FIG. 7, in the second embodiment, a quantization parameter
이 실시예의 절차는 다음에 간략하게 설명될 것이다. 도 7을 참고하면, 인코딩된 비트스트림은 처음에 양자화 파라미터 통계 계산 유닛(11) 및 움직임 벡터 통계 계산 유닛(12)으로 입력된다. 양자화 파라미터 통계 계산 유닛(11)은 비트스트림으로부터 양자화 파리미터들을 추출하고, 다음 알고리즘에 따라 양자화 파라미터의 대표값 QPmin을 유도한다. 움직임 벡터 통계 계산 유닛(12)은 비트스트림으로부터 움직임 벡터를 추출하여, 다음 알고리즘에 따라 움직임 벡터의 대표값 MVkurt를 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 움직임 벡터들의 대표값 MVkurt와 양자화 파라미터들의 대표값 QPmin으로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다.The procedure of this embodiment will be briefly described next. Referring to FIG. 7, the encoded bitstream is initially input to the quantization parameter
이 절차는 도 16의 흐름도로 설명된다. H.264 비트 스트링의 사양은 참고문헌 1에 설명되어 있다. H.264의 사양에 따라 매크로블록/서브 매크로블록에 설정된 움직임 벡터 및 매크로블록에 설정된 양자화 파라미터의 정보의 조각들이 추출된다. This procedure is illustrated by the flowchart in FIG. The specification of H.264 bit strings is described in Ref. According to the specification of H.264, pieces of information of the motion vector set in the macroblock / sub macroblock and the quantization parameter set in the macroblock are extracted.
양자화 파리미터들에 대하여, 제 1 실시예에 설명된 QPmin(대신에, 제 1 실시예에 설명된 양자화 파라미터들의 통계량을 사용할 수 있다)은 EV를 유도하는데 사용된다. For quantization parameters, QP min described in the first embodiment (instead, can use the statistics of the quantization parameters described in the first embodiment) is used to derive the EV.
움직임 벡터들의 대표값은 도 2, 3, 및 4를 참고로 하여 설명될 것이다. 도 2에 도시된 바와 같이, H.264에서, 항상 전방 및 후방 프레임이 필요 없는 2 개의 임의 기준 프레임은 움직임 벡터를 유도하기 위해 사용되도록 각각의 매크로블록/서브 매크로블록을 위해 선택될 수 있다. 각각의 매크로블록/서브 매크로블록에 대해 설정된 움직임 벡터의 크기를 표준화하기 위해, 매크로블록/서브 매크로블록은 움직임 벡터 유도 타겟 프레임의 하나의 전방 프레임 또는 하나의 후방 프레임에 투영된다. 상세한 처리는 도 3 및 4를 참고로 하여 설명될 것이다. Representative values of the motion vectors will be described with reference to FIGS. 2, 3, and 4. As shown in FIG. 2, in H.264, two arbitrary reference frames that do not always need forward and backward frames may be selected for each macroblock / sub macroblock to be used to derive the motion vector. In order to standardize the magnitude of the motion vector set for each macroblock / sub macroblock, the macroblock / sub macroblock is projected onto one front frame or one rear frame of the motion vector derived target frame. Detailed processing will be described with reference to FIGS. 3 and 4.
도 3은 움직임 벡터 유도 타겟 프레임(i)에서 j번째 블록 MBij의 기준 프레임이 프레임 i 뒤의 (p+1) 번째 프레임인 경우를 설명한다. 도 3에 도시된 바와 같이, 움직임 벡터 MVij는 움직임 벡터 유도 타겟 프레임 i로부터 기준 프레임에 존재한다. MVij는 3 illustrates a case in which the reference frame of the j-th block MB ij in the motion vector derived target frame i is the (p + 1) th frame after the frame i. As shown in FIG. 3, the motion vector MV ij is present in the reference frame from the motion vector derived target frame i. MV ij is
에 의해 움직임 벡터 유도 타겟 프레임 i 뒤의 제 1 프레임의 벡터 MV'ij 상으로 투영된다. Is projected onto the vector MV ' ij of the first frame after the motion vector derivation target frame i.
도 4는 움직임 벡터 유도 타겟 프레임 i에서 j번째 블록 MBij의 기준 프레임이 프레임 i의 앞에 (q+1) 번째 프레임인 경우를 설명한다. 도 4에 도시된 바와 같이, 움직임 벡터 MVij는 움직임 벡터 유도 타겟 프레임 i에서 기준 프레임까지 존재한다. MVij는 4 illustrates a case in which the reference frame of the j-th block MB ij in the motion vector derived target frame i is the (q + 1) th frame before the frame i. As shown in FIG. 4, the motion vector MV ij exists from the motion vector derived target frame i to the reference frame. MV ij is
에 의해 움직임 벡터 유도 타겟 프레임 i 앞의 제 1 프레임의 벡터 MV'ij 상으로 투영된다. Is projected onto the vector MV ' ij of the first frame before the motion vector derivation target frame i.
위의 처리로, 움직임 벡터 유도 타겟 프레임 i의 각각의 매크로블록/서브 매크로블록 j(1≤j≤x)에 대해 설정된 움직임 벡터는 (i±1) 번째 프레임 상의 벡터 상으로 투영될 수 있으며, 여기서 x는 프레임 i에서 매크로블록의 개수이다. With the above processing, the motion vector set for each macroblock / sub macroblock j (1 ≦ j ≦ x) of the motion vector derivation target frame i can be projected onto the vector on the (i ± 1) th frame, Where x is the number of macroblocks in frame i.
움직임 벡터 유도 타겟 프레임 i 상의 유도된 벡터 MV'ij를 사용하여, 첨도(kurtosis) Kurt(i)는 다음 식에 의해 움직임 벡터 유도 타겟 프레임(i)의 통계량으로서 유도된다. 평균값, 최대값, 최소값 및 분산과 같은 다양한 종류의 통계량은 첨도 Kurt(i) 대신에 사용가능하다. Using the derived vector MV ' ij on the motion vector derived target frame i, kurtosis Kurt (i) is derived as a statistic of the motion vector derived target frame i by the following equation. Various kinds of statistics such as mean, maximum, minimum and variance are available instead of kurtosis Kurt (i).
다음 식에서, In the following equation,
은 벡터의 크기를 나타낸다. Represents the magnitude of the vector.
각각의 프레임에서 움직임 벡터의 유도된 벡터값 MVkurt(i)를 사용하여, 평가 비디오의 모든 움직임 벡터들의 대표값 MVkurt을 유도한다. MVkurt는 Using the derived vector value MV kurt (i) of the motion vector in each frame, a representative value MV kurt of all motion vectors of the evaluation video is derived. MV kurt is
에 의해 유도된다. Induced by
연산자Operator
은 자연수 A1에서 Am을 참고로 하여 평균값을 출력하며, 여기서 n은 평가 비디오(V)의 프레임의 전체 개수이다. Outputs an average value with reference to A m from the natural number A 1 , where n is the total number of frames of the evaluation video (V).
움직임 벡터의 첨도는 움직임 벡터 분포를 표현하기 위해 사용되며 따라서 비디오의 특정 대상물의 움직임 또는 일정한 움직임을 수량화한다. 유사한 물리적 의미를 가지는 특징 양(feature amount)(예를 들어, 분산 또는 비대칭도(skewness))를 사용할 수 있다. The kurtosis of a motion vector is used to represent the motion vector distribution and thus quantifies the motion or constant motion of a particular object in the video. Feature amounts with similar physical meanings (eg, dispersion or skewness) can be used.
유도된 MVkurt 및 QPmin을 사용하여, 평가 비디오(V)의 주관적 품질(EV)을 추정한다. EV는 벡터의 크기를 나타낸다. 이하 방정식에서의 MVkurt는 벡터의 크기를 나타낸다. Derived MV kurt and QP min are used to estimate the subjective quality (EV) of the evaluation video (V). EV represents the magnitude of the vector. In the following equation, MV kurt represents the magnitude of the vector.
여기서, a, b, c, d, e, f, g, h, i, j, k, l 및 m은 주관적 평가 실험을 하고 미리 회귀 분석을 수행함으로써 최적화된 계수들이다. EV의 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS가 사용가능함을 유의한다. Here, a, b, c, d, e, f, g, h, i, j, k, l and m are coefficients optimized by performing a subjective evaluation experiment and performing a regression analysis in advance. Note that as the scale of EV, ACR described in Ref. 2 or DSIS or DSCQS described in Ref. 3 can be used.
(제 3 실시예)(Third embodiment)
제 3 실시예에서, 도 8에 도시된 바와 같이, 양자화 파라미터 통계 계산 유닛(11), 프레임 유형 통계 계산 유닛(13), 및 통합 유닛(20)을 제공한다. H.264에 의해 인코딩된 평가 비디오(V)의 주관적 품질(EV)은 H.264 인코딩에 사용된 양자화 파라미터뿐만 아니라 I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 통계 정보를 사용하여 객관적으로 추정된다. 전환 I 슬라이스가 I 슬라이스로 간주되고, 전환 P 슬라이스가 P 슬라이스로 간주됨을 유의한다. 이러한 방법은 움직임 보상 및 DCT 계수를 사용하여 인코딩 방법에 이론적으로 적용가능하다. In the third embodiment, as shown in FIG. 8, a quantization parameter
이 실시예의 절차는 다음에 간략하게 설명될 것이다. 도 8을 참고하면, 인코딩된 비트스트림은 처음에 양자화 파라미터 통계 계산 유닛(11) 및 프레임 유형 통계 계산 유닛(13)으로 입력된다. 양자화 파라미터 통계 계산 유닛(11)은 비트스트림으로부터 양자화 파리미터를 추출하고, 다음 알고리즘에 따라 양자화 파라미터의 대표값 QPmin을 유도한다. 프레임 유형 통계 계산 유닛(12)은 비트스트림으로부터 프레임 유형을 추출하여, 다음 알고리즘에 따라 프레임 유형 통계량 R를 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 프레임 유형 통계량 R 및 양자화 파라미터의 대표값 QPmin으로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다.The procedure of this embodiment will be briefly described next. Referring to FIG. 8, the encoded bitstream is initially input to the quantization parameter
이 절차는 도 17의 흐름도로 설명된다. H.264 비트 스트링의 사양은 참고문헌 1에 설명되어 있다. H.264의 사양에 따라 슬라이스들에 대해 설정된 I/P/B 속성 및 매크로블록들에 설정된 양자화 파라미터의 정보의 조각들이 추출된다. This procedure is illustrated by the flowchart in FIG. The specification of H.264 bit strings is described in Ref. Pieces of information of the quantization parameter set in the macroblocks and the I / P / B attribute set for the slices are extracted according to the specification of H.264.
양자화 파라미터에 대하여, 제 1 실시예에 설명된 QPmin(대신에, 제 1 실시예에 설명된 양자화 파라미터의 통계를 사용할 수 있다)은 EV를 유도하는데 사용된다. For the quantization parameter, QP min described in the first embodiment (instead, the statistics of the quantization parameter described in the first embodiment can be used) is used to derive the EV.
각각의 슬라이스에 대해 설정된 I/P/B 속성에 대하여, SI는 평가 비디오에서의 I 슬라이스를 카운트하기 위해 유도되며, SP는 P 슬라이스를 카운트하기 위해 유도되며, SB는 B 슬라이스를 카운트하기 위해 유도된다. 슬라이스의 전체 계수에 대한 슬라이스 카운트의 슬라이스의 비 RSI, RSP, RSB 및 RSPB는 다음 방정식에 의해 유도된다. 기본적으로, 다른 슬라이스들로부터 P 슬라이스들 또는 B 슬라이스들과 같은 다른 슬라이스들의 개수가 증가하는 경우, 슬라이스 당 품질은 이론적으로 개선한다. 반면에, I 슬라이스들의 개수가 증가하는 경우, 슬라이스 당 품질은 저하된다. 즉, 슬라이스의 전체 개수에 대하여 각각의 유형의 슬라이스들의 비는 품질과 밀접하게 관련되며 그러므로 파라미터들이 도입된다. 상기 처리는 슬라이스들이 아니라 I/P/B 속성들의 블록 또는 프레임을 사용하여 수행될 수 있다. For the I / P / B attribute set for each slice, S I is derived to count I slices in the evaluation video, S P is derived to count P slices, and S B counts B slices. To be derived. The ratios R SI , R SP , R SB and R SPB of the slice count to the total coefficient of the slice are derived by the following equation. Basically, if the number of other slices, such as P slices or B slices, increases from other slices, the quality per slice improves theoretically. On the other hand, when the number of I slices increases, the quality per slice decreases. That is, the ratio of slices of each type to the total number of slices is closely related to quality and therefore parameters are introduced. The process may be performed using a block or frame of I / P / B attributes rather than slices.
주관적 평가 실험을 하고 이들 파리미터를 사용하여 회귀 분석을 수행함으로써 미리 유도된 주관적 품질에 대한 상관관계가 비교되고, 가장 높은 주관적 품질 푸정 정확도에 대응하는 파라미터는 R로서 정의된다. By conducting subjective evaluation experiments and performing regression analysis using these parameters, the correlation for pre-derived subjective quality is compared, and the parameter corresponding to the highest subjective quality estimation accuracy is defined as R.
유도된 R 및 QPmin을 사용하여, 평가 비디오(V)의 주관적 품질 EV를 추정한다. EV는 Derived R and QP min are used to estimate the subjective quality EV of the evaluation video (V). EV
에 의해 유도된다. Induced by
여기서, a, b, c, d, e, f, g, h, i, j, k, l 및 m은 주관적 평가 실험을 하며 미리 회귀 분석을 수행함으로써 최적화된 계수들이다. EV의 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS가 사용가능함을 유의한다. Here, a, b, c, d, e, f, g, h, i, j, k, l and m are coefficients optimized by subjective evaluation experiments and regression analysis in advance. Note that as the scale of EV, ACR described in Ref. 2 or DSIS or DSCQS described in Ref. 3 can be used.
(제 4 실시예)(Example 4)
제 4 실시예에서, 도 9에 도시된 바와 같이, 양자화 파라미터 통계 계산 유닛(11), 움직임 벡터 통계 계산 유닛(12), 프레임 유형 통계 계산 유닛(13) 및 통합 유닛(20)을 제공한다. H.264에 의해 인코딩된 평가 비디오(V)의 주관적 품질(EV)은 H.264 인코딩에 사용된 양자화 파라미터뿐만 아니라 움직임 벡터 및 I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 정보를 사용하여 객관적으로 추정된다. 전환 I 슬라이스가 I 슬라이스로 간주되고, 전환 P 슬라이스가 P 슬라이스로 간주됨을 유의한다. In the fourth embodiment, as shown in FIG. 9, a quantization parameter
이 실시예의 절차는 다음으로 간략하게 설명될 것이다. 도 9를 참고로 하면, 인코딩된 비트스트림은 양자화 파리미터 통계 계산 유닛(11), 움직임 벡터 통계 계산 유닛(12) 및 프레임 유형 통계 계산 유닛(13)에 처음으로 입력된다. 양자화 파라미터 통계 계산 유닛(11)은 비트스트림으로부터 양자화 파리미터를 추출하고, 다음 알고리즘에 따라 양자화 파라미터의 대표값 QPmin을 유도한다. 움직임 벡터 통계 계산 유닛(12)은 비트스트림으로부터 움직임 벡터를 추출하여, 다음 알고리즘에 따라 움직임 벡터의 대표값 MVkurt를 유도한다. 프레임 유형 통계 계산 유닛(13)은 비트스트림으로부터 프레임 유형을 추출하여, 다음 알고리즘에 따라 프레임 유형 통계 R를 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 프레임 유형 통계 R, 움직임 벡터의 대표값 MVkurt 및 양자화 파라미터의 대표값 QPmin으로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다. The procedure of this embodiment will be briefly described next. Referring to FIG. 9, the encoded bitstream is first input to the quantization parameter
이 절차는 도 18의 흐름도로 설명된다. H.264 비트 스트링의 사양은 참고문헌 1에 설명되어 있다. H.264의 사양에 따라 매크로블록에 설정된 양자화 파리미터, 슬라이스들에 대해 설정된 I/P/B 속성 및 매크로블록들/서브 매크로블록들에 설정된 양자화 파라미터의 정보의 조각들이 추출된다. This procedure is illustrated by the flowchart in FIG. The specification of H.264 bit strings is described in Ref. According to the specification of H.264, pieces of information of the quantization parameter set for the macroblock, the I / P / B attribute set for the slices and the quantization parameter set for the macroblocks / sub macroblocks are extracted.
양자화 파라미터에 대하여, 제 1 실시예에 설명된 QPmin(대신에, 제 1 실시예에 설명된 양자화 파라미터의 통계를 사용할 수 있다)은 EV를 유도하는데 사용된다. For the quantization parameter, QP min described in the first embodiment (instead, the statistics of the quantization parameter described in the first embodiment can be used) is used to derive the EV.
움직임 벡터에 대하여, 제 2 실시예에 설명된 MVkurt는 EV를 유도하는데 사용된다. For the motion vector, the MV kurt described in the second embodiment is used to derive the EV.
I 슬라이스들, P 슬라이스들 및 B 슬라이스들에 대하여, 제 3 실시예에 설명된 R이 사용된다. For I slices, P slices and B slices, R described in the third embodiment is used.
유도된 MVkurt, R 및 QPmin을 사용하여, 평가 비디오(V)의 주관적 품질(EV)을 추정한다. EV는 다음 방정식에 의해 유도된다. 아래 방정식에서의 MVkurt는 벡터의 크기를 나타낸다. Derived MV kurt , R and QP min are used to estimate the subjective quality (EV) of the evaluation video (V). EV is derived by the following equation. MV kurt in the equation below represents the magnitude of the vector.
여기서, a, b, c, d, e, f, g, h, i, j, k, l, m, o, p, q, r, s, t, u, v, w, x, 및 y는 주관적 평가 실험을 하며 미리 회귀 분석을 수행함으로써 최적화된 계수들이다. EV의 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS가 사용가능함을 유의한다. Where a, b, c, d, e, f, g, h, i, j, k, l, m, o, p, q, r, s, t, u, v, w, x, and y Are optimized coefficients by subjective evaluation experiment and regression analysis in advance. Note that as the scale of EV, ACR described in Ref. 2 or DSIS or DSCQS described in Ref. 3 can be used.
(제 5 실시예)(Fifth Embodiment)
제 5 실시예에서, 도 10에 도시된 바와 같이, 비트량 합계 통계 유닛(14) 및 통합 유닛(20)을 제공한다. 주관적 품질(EV)은 H.264에 의해 인코딩된 평가 비디오(V)의 비트스트림의 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 인코딩 제어에 사용된 비트량을 사용하여 추정된다. 이 방법은 이론적으로 움직임 보상 및 DCT 계수들을 사용하여 인코딩 방법에 적용가능하다. In the fifth embodiment, as shown in Fig. 10, the bit amount
이 실시예의 절차는 다음에 간략히 설명될 것이다. 도 10을 참고로 하면, 인코딩된 비트스트림은 비트량 합계 통계 계산 유닛(14)으로 처음으로 입력된다. 비트량 합계 통계 계산 유닛(14)은 비트스트림으로부터 비트량 합계들을 추출하고, 다음 알고리즘에 따라 비트량 합계들의 대표값 Bitmax을 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 비트량 합계의 대표값 Bitmax로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다. The procedure of this embodiment will be briefly described next. Referring to FIG. 10, the encoded bitstream is first input into the bit amount sum
이 절차는 도 19의 흐름도로 설명된다. H.264 비트 스트링의 사양은 위에서 설명된 참고문헌 1에 설명되어 있다. H.264의 사양에 따라 매크로블록에 설정된 인코딩 제어에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 예측가능한 인코딩에 사용된 비트량의 정보의 조각들이 유도된다.This procedure is illustrated by the flowchart in FIG. The specification of an H.264 bit string is described in Ref. 1 described above. According to the specification of H.264, pieces of information of a bit amount used for encoding control set in a macroblock, a bit amount used for transform encoding, and a bit amount used for predictable encoding are derived.
도 19에 도시된 바와 같이, 먼저, 평가 비디오(V)의 모든 프레임에 대해, 각각의 프레임에서의 비트량 합계의 대표값 Bitmax(i)는, 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 각각의 프레임에 존재하는 모든 매크로블록들(전체로서 m 개의 매크로블록)의 인코딩 제어에 사용된 비트량의 합계를 사용하여 유도되며, 여기서 i는 프레임 번호이다(비디오 재생은 i=1에서 시작하고 i=n에서 끝난다). Bitmax(i)는As shown in Fig. 19, first, for all frames of the evaluation video V, the representative value Bit max (i) of the sum of the bit amounts in each frame is the bit amount used for the predictable encoding, the transform encoding. Derived using the sum of the amount of bits used for and the amount of bits used for encoding control of all macroblocks (m macroblocks in total) present in each frame, where i is the frame number (video playback is starts at i = 1 and ends at i = n). Bit max (i) is
에 의해 유도되고,Induced by
여기서 Bitij는 i번째 프레임에서의 j 번째 매크로블록의 비트량의 합계를 나타낸다. 연산자는 Here, Bit ij represents the sum of the bit amounts of the j-th macroblock in the i-th frame. Operator is
자연수 A1에서 Am을 참고로 하여 최대값을 출력한다. 대신에, 최대 값과 다른 임의 통계량(예를 들어, 최소값 또는 평균값)을 유도할 수 있다. The maximum value is output by referring to A m from the natural number A 1 . Instead, one can derive a random statistic that differs from the maximum value (eg, the minimum or average value).
상기 처리로, i번째 프레임에서의 최대값을 가지는 비트량 합계를 유도한다. 비트량 합계가 더 커질수록, 더 큰 비트량을 할당하는 인코딩 처리는 매크로블록에 적용된다. 그러므로, 효율적으로 처리하기 어려운 매크로블록의 비트량 합계는 이 처리에 의해 유도된다. With this processing, the sum of the bit amounts having the maximum value in the i-th frame is derived. The larger the bit amount sum is, the more encoding processing that allocates the larger bit amount is applied to the macroblock. Therefore, the sum of bit amounts of macroblocks that are difficult to process efficiently is derived by this processing.
각각의 프레임의 비트량 합계들의 유도된 대표값 Bitmax(i)을 사용하여, 평가 비디오의 모든 비트량 합계의 대표값 Bitmax는 다음에 유도된다. Bitmax는 Using the derived representative value Bit max (i) of the total bit rate of each frame, the representative value of every bit amount sum of the assessment video is derived next Bit max. Bit max is
에 의해 유도된다. Induced by
연산자는Operator is
자연수 A1에서 Am을 참고로 하여 최대값을 출력한다. The maximum value is output by referring to A m from the natural number A 1 .
유도된 Bitmax를 사용하여, 평가 비디오(V)의 주관적 품질(EV)을 추정한다. H.264에서의 비트량 합계의 대표값 Bitmax와 주관적 품질(EV) 사이에 존재하는 비선형성을 고려하여, 주관적 품질(EV)은 Derived Bit max is used to estimate the subjective quality (EV) of the evaluation video (V). In consideration of the nonlinearity that exists between the representative value Bit max and the subjective quality (EV) of the sum of the bit amounts in H.264, the subjective quality (EV) is
여기서, a, b, c 및 d는 주관적 평가 실험을 하고 미리 회귀 분석을 수행하여 최적화된 계수들이다. EV 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 사용된 DSIS 또는 DSCQS가 사용가능함을 유의한다. 각각의 프레임의 비트량 합의 대표 값 Bitmax(i)을 사용하여, Bitmax(i)의 평균값 Bitave 또는 최소값 Bitmin와 같은 Bitmax(i)의 통계량이 Bitmax 대신에 사용될 수 있다. Here, a, b, c and d are coefficients optimized by performing a subjective evaluation experiment and performing a regression analysis in advance. Note that as the EV scale, the ACR described in
(제 6 실시예)(Sixth Embodiment)
제 6 실시예에서, 도 11에 도시된 바와 같이, 비트량 합계 통계 유닛(14), 움직임 벡터 통계 계산 유닛(12), 및 통합 유닛(20)을 제공한다. H.264에 의해 인코딩된 평가 비디오(V)의 주관적 품질(EV)은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트 양, 및 H.264 인코딩에서 사용된 비트스트림의 인코딩 제어에 사용된 비트 양을 사용하여 객관적으로 추정된다. 이 방법은 이론적으로 움직임 보상 및 DCT 계수를 사용하여 인코딩 방법에 적용가능하다. In the sixth embodiment, as shown in FIG. 11, the bit amount
이 실시예의 절차는 다음에 간략히 설명될 것이다. 도 11을 참고로 하면, 인코딩된 비트스트림은 비트 양 합계 통계 계산 유닛(14) 및 움직임 벡터 통계 계산 유닛(12)으로 처음으로 입력된다. 비트 량 합계 통계 계산 유닛(14)은 비트스트림으로부터 비트량 합계를 추출하고, 다음 알고리즘에 따라 비트량 합계의 대표값 Bitmax을 유도한다. 움직임 벡터 통계 계산 유닛(12)은 비트스트림으로부터 움직임 벡터를 추출하고, 이하 알고리즘에 따라 움직임 벡터의 대표값 MVkurt를 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 비트량 합계의 대표값 Bitmax 및 움직임 벡터의 대표값 MVkurt으로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다. The procedure of this embodiment will be briefly described next. Referring to FIG. 11, the encoded bitstream is first input into the bit amount sum
이 절차는 도 20의 흐름도로 설명된다. H.264 비트 스트링의 사양은 참고문헌 1에 설명되어 있다. 매크로블록들/서브 매크로블록들에 설정된 양자화 파라미터; 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 매크로블록들/서브 매크로블록들에 설정된 비트스트림의 인코딩 제어에 사용된 비트량; 및 H.264의 사양에 따라, 매크로블록들/서브매크로블록들에 설정된 움직임 벡터들의 정보의 조각들이 유도된다.This procedure is illustrated by the flowchart in FIG. The specification of H.264 bit strings is described in Ref. A quantization parameter set to macroblocks / sub macroblocks; The amount of bits used for predictable encoding, the amount of bits used for transform encoding, and the amount of bits used for encoding control of the bitstream set in the macroblocks / sub macroblocks; And pieces of information of motion vectors set in macroblocks / submacroblocks, according to the specification of H.264.
예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 비트스트림의 인코딩 제어에 사용된 비트량에 대하여, 제 5 실시예에서 설명된 Bitmax는 EV를 유도하는데 사용된다. For the bit amount used for predictable encoding, the bit amount used for transform encoding, and the bit amount used for encoding control of the bitstream, Bit max described in the fifth embodiment is used to derive the EV.
움직임 벡터의 대표값을 유도하는 것은 도 2, 3, 및 4를 참고로 하여 제 2 실시예에 이미 설명된 것과 동일하며 이에 대한 설명을 반복하지 않는다.Deriving a representative value of the motion vector is the same as that already described in the second embodiment with reference to FIGS. 2, 3, and 4, and the description thereof will not be repeated.
평가 비디오의 모든 비트량 합계의 대표값 Bitmax 및 평가 비디오의 모든 움직임 벡터의 유도된 대표값 MVkurt를 사용하여, 평가 비디오(V)의 주관적 품질(EV)은 추정된다. EV는 다음 방정식에 의해 유도된다. 다음 방정식에서의 MVkurt는 벡터의 크기를 나타낸다. Using the representative value Bit max of the sum of all the bit amounts of the evaluation video and the derived representative value MV kurt of all the motion vectors of the evaluation video, the subjective quality EV of the evaluation video V is estimated. EV is derived by the following equation. In the following equation, MV kurt represents the magnitude of the vector.
여기서, a, b, c, d, e, f, g, h, l, j, k, l 및 m은 주관적 평가 실험을 하여 미리 회귀 분석을 수행하여 최적화된 계수들이다. EV 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS를 사용가능함을 유의한다. Here, a, b, c, d, e, f, g, h, l, j, k, l and m are coefficients optimized by performing a regression analysis in advance by performing a subjective evaluation experiment. Note that as the EV scale, the ACR described in
(제 7 실시예)(Example 7)
제 7 실시예에서, 도 12에 도시된 바와 같이, 비트량 합계 통계 계산 유닛(14), 프레임 유형 통계 계산 유닛(13), 및 통합 유닛(20)을 제공한다. H.264에 의해 인코딩된 평가 비디오(V)의 주관적 품질(EV)은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 H.264 인코딩에 사용된 비트스트림의 인코딩 제어에 사용된 비트량뿐만 아니라, I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 통계 정보를 사용하여 객관적으로 추정된다. 전환 I 슬라이스가 I 슬라이스로 간주되고, 전환 P 슬라이스가 P 슬라이스로 간주됨을 유의한다. 이러한 방법은 움직임 보상 및 DCT 계수를 사용하여 인코딩 방법에 이론적으로 적용가능하다.In the seventh embodiment, as shown in Fig. 12, a bit amount sum
이 실시예의 절차는 다음에 간략하게 설명될 것이다. 도 12를 참고하면, 인코딩된 비트스트림은 처음에 비트량 합계 통계 계산 유닛(14) 및 프레임 유형 통계 계산 유닛(13)으로 입력된다. 비트량 합계 통계 계산 유닛(14)은 비트스트림으로부터 비트량 합계를 추출하고, 다음 알고리즘에 따라 비트량 합계의 대표값 Bitmax을 유도한다. 프레임 유형 통계 계산 유닛(13)은 비트스트림으로부터 프레임 유형을 추출하여, 다음 알고리즘에 따라 프레임 유형 통계량 R를 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 프레임 유형 통계량 R 및 비트량 합계의 대표값 Bitmax으로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다. The procedure of this embodiment will be briefly described next. Referring to FIG. 12, the encoded bitstream is initially input to the bit amount sum
이 절차는 도 21의 흐름도로 설명된다. H.264 비트 스트링의 사양은 참고문헌 1에 설명되어 있다. H.264의 사양에 따라, 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 매크로블록들에 설정된 인코딩 제어에 사용된 비트량, 및 슬라이스들에 설정된 I/P/B 속성들을 추출한다. This procedure is illustrated by the flowchart in FIG. The specification of H.264 bit strings is described in Ref. According to the specification of H.264, the amount of bits used for predictive encoding, the amount of bits used for transform encoding and the amount of bits used for encoding control set in macroblocks, and the I / P / B attributes set in slices Extract.
예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 비트스크림의 인코딩 제어에 사용된 비트량에 대하여, 제 5 실시예에서 설명된 Bitmax는 EV를 유도하는데 사용된다. For the amount of bits used for predictable encoding, the amount of bits used for transform encoding, and the amount of bits used for encoding control of the bitstream, Bit max described in the fifth embodiment is used to derive the EV.
각각의 슬라이스에 대해 설정된 I/P/B 속성에 대하여, 제 3 실시예에서 설명된 바와 같이, SI는 평가 비디오에서의 I 슬라이스를 카운트하기 위해 유도되며, SP는 P 슬라이스를 카운트하기 위해 유도되며, SB는 B 슬라이스를 카운트하기 위해 유도된다. 슬라이스의 전체 개수에 대한 슬라이스 카운트의 비 RSI, RSP, RSB 및 RSPB는 파라미터들로서 유도된다. 주관적 평가 실험을 하고 이들 파리미터를 사용하여 회귀 분석을 수행함으로써 미리 유도된 주관적 품질에 대한 상관관계가 비교되고, 가장 높은 주관적 품질 추정 정확도에 대응하는 파라미터는 R로서 정의된다. For the I / P / B attribute set for each slice, as described in the third embodiment, S I is derived to count I slices in the evaluation video, and S P is used to count P slices. Is derived, S B is derived to count B slices. The ratios R SI , R SP , R SB and R SPB of the slice count to the total number of slices are derived as parameters. By conducting subjective evaluation experiments and performing regression analysis using these parameters, correlations for pre-derived subjective quality are compared, and the parameter corresponding to the highest subjective quality estimation accuracy is defined as R.
유도된 파라미터 R 및 Bitmax를 사용하여, 추정 비디오(V)의 주관적 품질(EV)을 추정한다. EV는 Using the derived parameters R and Bit max , the subjective quality EV of the estimated video V is estimated. EV
여기서, a, b, c, d, e, f, g, h, i, j, k, l 및 m은 주관적 평가 실험을 하고 미리 회귀 분석을 수행함으로써 최적화된 계수이다. EV의 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS가 사용가능함을 유의한다. Here, a, b, c, d, e, f, g, h, i, j, k, l and m are coefficients optimized by performing a subjective evaluation experiment and performing a regression analysis in advance. Note that as the scale of EV, ACR described in Ref. 2 or DSIS or DSCQS described in Ref. 3 can be used.
(제 8 실시예)(Example 8)
제 8 실시예에서, 도 13에 도시된 바와 같이, 비트량 합계 통계 계산 유닛(14), 움직임 벡터 통계 계산 유닛(12), 프레임 유형 통계 계산 유닛(13), 및 통합 유닛(20)을 제공한다. H.264에 의해 인코딩된 평가 비디오(V)의 주관적 품질(EV)은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 H.264 인코딩에 사용된 비트스트림의 인코딩 제어에 사용된 비트량뿐만 아니라, 움직임 벡터 및 I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 통계 정보를 사용하여 객관적으로 추정된다. 전환 I 슬라이스가 I 슬라이스로 간주되고, 전환 P 슬라이스가 P 슬라이스로 간주됨을 유의한다. 이러한 방법은 움직임 보상 및 DCT 계수를 사용하여 인코딩 방법에 이론적으로 적용가능하다.In the eighth embodiment, as shown in Fig. 13, a bit amount sum
이 실시예의 절차는 다음에 간략하게 설명될 것이다. 도 13을 참고하면, 인코딩된 비트스트림은 처음에 비트량 합계 통계 계산 유닛(14), 움직임 벡터 통계 계산 유닛(12) 및 프레임 유형 통계 계산 유닛(13)으로 입력된다. 비트량 합계 통계 계산 유닛(14)은 비트스트림으로부터 비트량 합계를 추출하고, 다음 알고리즘에 따라 비트량 합계의 대표값 Bitmax을 유도한다. 움직임 벡터 통계 계산 유닛(12)은 비트스트림으로부터 움직임 벡터를 추출하고, 다음 알고리즘에 따라 움직임 벡터의 대표값 MVkurt를 유도한다. 프레임 유형 통계 계산 유닛(13)은 비트스트림으로부터 프레임 유형을 추출하여, 다음 알고리즘에 따라 프레임 유형 통계량 R를 유도한다. 다음으로, 통합 유닛(20)은 다음 알고리즘에 따라 프레임 유형 통계량 R, 움직임 벡터의 대표값 MVkurt, 및 비트량 합계의 대표값 Bitmax으로부터 평가 비디오(V)의 주관적 품질(EV)을 추정한다. The procedure of this embodiment will be briefly described next. Referring to FIG. 13, the encoded bitstream is initially input to the bit amount sum
이 절차는 도 22의 흐름도로 설명된다. H.264 비트 스트링의 사양은 참고문헌 1에 설명되어 있다. H.264의 사양에 따라, 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 매크로블록들에 설정된 인코딩 제어에 사용된 비트량; 슬라이스들에 설정된 I/P/B 속성들; 및 매크로블록들/서브 매크로블록들에 설정된 움직임 벡터를 추출한다. This procedure is illustrated by the flowchart in FIG. The specification of H.264 bit strings is described in Ref. According to the specification of H.264, the amount of bits used for predictable encoding, the amount of bits used for transform encoding, and the amount of bits used for encoding control set in macroblocks; I / P / B attributes set on slices; And extract the motion vector set in the macroblocks / sub macroblocks.
예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 비트스트림의 인코딩 제어에 사용된 비트량에 대하여, 제 5 실시예에서 설명된 Bitmax는 EV를 유도하는데 사용된다. For the bit amount used for predictable encoding, the bit amount used for transform encoding, and the bit amount used for encoding control of the bitstream, Bit max described in the fifth embodiment is used to derive the EV.
움직임 벡터들에 대해, 제 2 실시예에 설명된 MVkurt는 EV를 유도하는데 사용된다. For motion vectors, the MV kurt described in the second embodiment is used to derive the EV.
I 슬라이스들, P 슬라이스들 및 B 슬라이스들에 대해, 제 3 실시예에 설명된 R을 사용한다. For I slices, P slices and B slices, R described in the third embodiment is used.
유도된 MVkurt, R 및 Bitmax를 사용하여, 평가 비디오(V)의 주관적 품질(EV)을 추정한다. EV는 다음 식에 의해 유도된다. 아래의 식에서의 MVkurt는 벡터의 크기를 나타낸다. The derived MV kurt , R and Bit max are used to estimate the subjective quality (EV) of the evaluation video (V). EV is derived by the following equation. MV kurt in the equation below represents the magnitude of the vector.
여기서, a, b, c, d, e, f, g, h, i, j, k, l, m, o, p, q, r, s, t, u, v, w, x, 및 y는 주관적 평가 실험을 하며 미리 회귀 분석을 수행함으로써 최적화된 계수들이다. EV의 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS가 사용가능함을 유의한다. Where a, b, c, d, e, f, g, h, i, j, k, l, m, o, p, q, r, s, t, u, v, w, x, and y Are optimized coefficients by subjective evaluation experiment and regression analysis in advance. Note that as the scale of EV, ACR described in Ref. 2 or DSIS or DSCQS described in Ref. 3 can be used.
(제 9 실시예)(Example 9)
제 9 실시예에서, 도 14에 도시된 바와 같이, I 슬라이스/P 슬라이스/B 슬라이스 비트량 합계 통계 계산 유닛(15), I 슬라이스/P 슬라이스/B 슬라이스 양자화 정보 통계 계산 유닛(16), 및 주관적 품질 추정 유닛(17)을 제공한다. H.264에 의해 인코딩된 평가 비디오(V)의 주관적 품질(EV)은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 H.264 인코딩에 사용된 비트스트림의 I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 인코딩 제어에 사용된 비트량 뿐만 아니라, I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 양자화 파리미터(양자화 정보)를 사용하여 객관적으로 추정된다. 전환 I 슬라이스가 I 슬라이스로 간주되고, 전환 P 슬라이스가 P 슬라이스로 간주됨을 유의한다. In the ninth embodiment, as shown in Fig. 14, the I slice / P slice / B slice bit amount sum statistical calculation unit 15, the I slice / P slice / B slice quantization information statistical calculation unit 16, and A subjective quality estimation unit 17 is provided. The subjective quality (EV) of the evaluation video (V) encoded by H.264 is the amount of bits used for predictable encoding, the amount of bits used for transform encoding, and the I slices of the bitstream used for H.264 encoding. Is estimated objectively using the quantization parameter (quantization information) of I slices, P slices, and B slices, as well as the bit amount used for encoding control of P slices and B slices. Note that the conversion I slice is considered an I slice and the conversion P slice is considered a P slice.
이 실시예의 절차는 다음에 간략히 설명될 것이다. 도 14를 참고로 하면, 인코딩된 비트스트림은 I 슬라이스/P 슬라이스/B 슬라이스 비트량 합계 통계 계산 유닛(15)으로 먼저 입력된다. 계산 유닛(15)은 움직임 벡터, 양자화 계수 또는 인코딩 제어 정보에 따라 개별적으로, I 슬라이스, P 슬라이스 및 B 슬라이스의 비트량을 유도한다. 다음으로, I 슬라이스/P 슬라이스/B 슬라이스 양자화 정보 통계 계산 유닛(16)은 I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 양자화 정보를 추출하고, 다음 알고리즘에 따라, I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 양자화 정보의 통계량 QPmin(I), QPmin(P), 및 QPmin(B)를 유도한다. The procedure of this embodiment will be briefly described next. Referring to FIG. 14, the encoded bitstream is first input to the I slice / P slice / B slice bit amount sum statistical calculation unit 15. The calculating unit 15 derives the bit amounts of the I slice, the P slice and the B slice separately according to the motion vector, the quantization coefficient or the encoding control information. Next, the I slice / P slice / B slice quantization information statistical calculation unit 16 extracts quantization information of the I slices, the P slices, and the B slices, and according to the following algorithm, I slices, P slices, and the like. The statistics QP min (I), QP min (P), and QP min (B) of the quantization information of the B slices are derived.
이후, 주관적 품질 평가 유닛(17)은 통계 QPmin(I), QPmin(P), 및 QPmin(B) 등을 사용하여 다음 알고리즘에 따라 평가 비디오(V)의 주관적 품질(EV)을 추정한다. 이 절차는 도 23의 흐름도에 의해 설명된다. H.264 비트 스트링의 사양은 위에서 설명된 참고문헌 1에 설명되어 있다. 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 매크로블록들에 설정된 비트스트림의 인코딩 제어에 사용된 비트량; 및 H.264의 사양에 따라, 슬라이스에 설정된 I/P/B 속성들의 정보의 조각들이 추출된다. Then, the subjective quality evaluation unit 17 estimates the subjective quality EV of the evaluation video V according to the following algorithm using the statistics QP min (I), QP min (P), QP min (B) and the like. do. This procedure is illustrated by the flowchart in FIG. The specification of an H.264 bit string is described in Ref. 1 described above. The amount of bits used for predictable encoding, the amount of bits used for transform encoding, and the amount of bits used for encoding control of the bitstream set in the macroblocks; And pieces of information of I / P / B attributes set in the slice, according to the specification of H.264.
예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 I 슬라이스들, P 슬라이스들 및 B 슬라이스들의 인코딩 제어에 사용된 비트량에 대하여, 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 I 슬라이스들의 인코딩 제어에 사용된 비트량은 Bitpred(I), Bitres(I), 및 Bitother(I)로 각각 정의된다. P 슬라이스들의 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 인코딩 제어에 사용된 비트량은 Bitpred(P), Bitres(P), 및 Bitother(P)로 각각 정의된다. B 슬라이스들의 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량 및 인코딩 제어에 사용된 비트량은 Bitpred(B), Bitres(B), 및 Bitother(B)로 각각 정의된다. 각각의 비트량은 특정 시간 내에 존재하는 슬라이스들의 비트량 또는 평가 비디오의 모든 슬라이스의 비트량일 수 있다. 또한, Bitpred(BP), Bitres(BP), 및 Bitother(BP) 값이 정의되며, For the amount of bits used for predictive encoding, the amount of bits used for transform encoding and the amount of bits used for encoding control of I slices, P slices and B slices, the amount of bits used for predictive encoding, The bit amount used and the bit amount used for encoding control of the I slices are defined as Bit pred (I), Bit res (I), and Bit other (I), respectively. The amount of bits used for predictive encoding of P slices, the amount of bits used for transform encoding, and the amount of bits used for encoding control are defined as Bit pred (P), Bit res (P), and Bit other (P), respectively. . The amount of bits used for predictive encoding of B slices, the amount of bits used for transform encoding, and the amount of bits used for encoding control are defined as Bit pred (B), Bit res (B), and Bit other (B), respectively. . Each bit amount may be a bit amount of slices existing within a specific time or a bit amount of all slices of the evaluation video. In addition, Bit pred (BP), Bit res (BP), and Bit other (BP) values are defined,
Bitpred(BP)=Bitpred(B)+Bitpred(P)Bit pred (BP) = Bit pred (B) + Bit pred (P)
Bitres(BP)=Bitres(B)+Bitres(P)Bit res (BP) = Bit res (B) + Bit res (P)
Bitother(BP)=Bitother(B)+Bitother(P)Bit other (BP) = Bit other (B) + Bit other (P)
에 의해 유도된다. Induced by
양자화 정보로서, I 슬라이스들만에 제 1 실시예에서 설명된 각각의 슬라이스의 QPmin 유도하는 과정을 적용함으로써 얻어진 QPmin(I), P 슬라이스들만에 상기 과정을 적용함으로써 얻어진 QPmin(P) 및 B 슬라이스들만에 상기 과정을 적용함으로써 얻어진 QPmin(B)이 사용된다. As quantization information, QP min (I) obtained by applying the QP min derivation process of each slice described in the first embodiment to only I slices, QP min (P) obtained by applying the process to only P slices, and QP min (B) obtained by applying the above procedure to only B slices is used.
더 구체적으로는, I/P/B 속성들은 평가 비디오(V)의 모든 슬라이스를 위해 결정된다. 각각의 슬라이스에 존재하는 모든 매크로블록(전체로서 m 개의 매크로블록)의 양자화 정보의 값을 사용하여, 각각의 슬라이스의 양자화 정보의 대표값 QPmin(i)은 다음 식에 의해 유도되며, i는 슬라이스 번호이다(비디오 재생은 i=1에서 시작하며 i=n에서 끝난다).More specifically, I / P / B attributes are determined for every slice of the evaluation video V. Using the values of the quantization information of all macroblocks (m macroblocks in total) present in each slice, the representative value QP min (i) of the quantization information of each slice is derived by the equation Slice number (video playback starts at i = 1 and ends at i = n).
여기서 QPij는 i 번째 슬라이스에서의 j 번째 매크로블록의 양자화 정보이다(도 1). 연산자는QP ij is quantization information of the j-th macroblock in the i-th slice (Fig. 1). Operator is
자연수 A1에서 Am을 참고로 하여 최소값을 출력한다. The minimum value is output by referring to A m from the natural number A 1 .
위의 처리로, i 번째 슬라이스에서의 최소값을 가지는 양자화 정보가 유도된다. 양자화 정보가 작을수록, 더 미세한 양자화가 매크로블록에 적용된다. 그러므로, 가장 미세한 양자화를 겪는 매크로블록은 이 처리에 의해 유도된다. 비디오 이미지가 더 복잡할수록, 양자화는 더 미세할 필요가 있다. 즉, 전술한 처리는 i 번째 슬라이스에서 가장 복잡한 이미지를 가지는 매크로블록을 특정하는데 목적이 있다. With the above processing, quantization information having the minimum value in the i th slice is derived. The smaller the quantization information, the finer the quantization is applied to the macroblock. Therefore, the macroblock that undergoes the finest quantization is derived by this process. The more complex the video image, the finer the quantization needs to be. In other words, the above process is aimed at specifying a macroblock having the most complex image in the i th slice.
QPmin(i) 대신에, 평균값 QPave(i), 최소값 또는 최대값과 같은 또다른 파라미터가 다음 처리에 사용될 수 있다. QPave(i)는 Instead of QP min (i), another parameter such as the average value QP ave (i), the minimum value or the maximum value can be used for the next processing. QP ave (i)
에 의해 유도된다. Induced by
연산자는Operator is
자연수 A1에서 Am을 참고로 하여 평균값을 출력한다. The average value is output by referring to A m from the natural number A 1 .
각각의 슬라이스의 양자화 정보의 유도된 대표값 QPmin(i)을 사용하여, 평가 비디오의 모든 양자화 정보의 대표값 QPmin은 다음에 유도된다. QPmin은Using the derived representative value QP min (i) of the quantization information of each slice, the representative value QP min of all quantization information of the assessment video is derived next. QP min is
에 의해 유도된다. Induced by
I/P/B 속성들에 기준 프레임 유도 처리를 적용하여 얻어진 값들은 각각, QPmin(I), QPmin(P), QPmin(B)로 정의된다. 또한, QPmin(BP)는 The values obtained by applying the reference frame derivation process to the I / P / B attributes are defined as QP min (I), QP min (P) and QP min (B), respectively. In addition, QP min (BP) is
QPmin(BP)=(QPmin(B)+QPmin(P))/2로 정의되고 유도된다. QP min (BP) = (QP min (B) + QP min (P)) / 2 is defined and derived.
다음으로, 평가 비디오(V)의 주관적 품질(EV)이 추정된다. I, P 및 B 슬라이스들의 비트량 사이에 존재하는 비선형성, 양자화 정보의 대표값, 및 H.264에서의 주관적 품질(EV)을 고려하여, 주관적 품질(EV)은Next, the subjective quality EV of the evaluation video V is estimated. Taking into account the nonlinearity present between the bit amounts of the I, P and B slices, the representative value of the quantization information, and the subjective quality (EV) in H.264, the subjective quality (EV) is
여기서, a, b, c, d, e, f, g, h, i, k, l, m, n 및 o는 주관적 평가 실험을 하여 미리 회귀 분석을 수행함으로써 최적화된 계수들이다. EV의 스케일로서, 참고문헌 2에 설명된 ACR 또는 참고문헌 3에 설명된 DSIS 또는 DSCQS가 사용가능함을 유의한다. Here, a, b, c, d, e, f, g, h, i, k, l, m, n and o are coefficients optimized by performing a regression analysis in advance by performing a subjective evaluation experiment. Note that as the scale of EV, ACR described in Ref. 2 or DSIS or DSCQS described in Ref. 3 can be used.
Bitres(I) 및 BITres(BP) 대신에, 이하 정의된 Bitpred(I) 및 Bitpred(BP), 비트량비 Rres(I) 및 Rres(BP), 또는 Bitother(I) 및 Bitother(BP)가 사용가능하다. 합, 평균 및 분산과 같은 다양한 통계 연산이 적용될 수 있고, 경우들의 조합에 따라 중첩될 수 있으며, 이에 의해 주관적 품질을 유도한다. 전술한 식에서, 비선형성은 지수 함수가 아니라 로그 함수, 다항 함수, 이들의 역함수에 기초하여 고려될 수 있다. Instead of Bit res (I) and BIT res (BP), Bit pred (I) and Bit pred (BP), bit rate ratio R res (I) and R res (BP), or Bit other (I) and Bit other (BP) is available. Various statistical operations such as sum, mean, and variance can be applied, overlapping according to a combination of cases, leading to subjective quality. In the above equations, nonlinearity can be considered based on logarithmic functions, polynomial functions, and their inverse functions, not exponential functions.
이 실시예에서, 연산은 각각의 슬라이스에 대해 수행된다. 그러나, 연산들의 유닛은 매크로블록, 프레임, GoP, 또는 전체 비디오 등에 변경될 수 있다. In this embodiment, the operation is performed for each slice. However, the unit of operations can be changed to a macroblock, a frame, a GoP, or an entire video.
비선형 관계가 전술된 바와 같이, 양자화 파라미터들의 대표값과 주관적 품질(EV) 사이에서 유지됨을 유의한다. 도 24a 및 24b는 이 관계를 도시한다. 도 24a는 주관적 품질이 QPmin이 작은 영역에서 포화되고, QPmin이 중간인 영역에서 갑자기 변하며, QPmin이 큰 영역에서 포화되는 상태를 나타낸다. 도 24b는 인코딩의 난이도 레벨에 따라 주관적 품질이 변함을 나타내는, 주관적 품질과 상기로부터 순차적으로 장면(1, 2, 3, 4)의 비트 레이트 사이의 관계를 나타낸다. 더 정확한 품질 추정은 양자화 파라미터의 대표값과 주관적 품질(EV) 사이에 존재하는 특성을 고려하여 수행될 수 있다. 참고 목적으로, 도 25a 및 25b는 일반적 통계량인 평균 및 표준 편차를 적용함으로써 주관적 품질을 추정하여 얻어진 추정 결과, 및 본 발명의 모델을 사용하는 주관적 품질을 추정함으로써 얻어진 추정 결과를 각각 나타낸다. 도 25a 및 25b에서, 가로축은 주관적 품질 평가 실험에 의해 획득한 주관적 품질을 나타내며, 세로축은 주관적 품질을 추정함으로써 얻어진 객관적 품질을 나타낸다. Note that the nonlinear relationship is maintained between the representative value of the quantization parameters and the subjective quality (EV), as described above. 24A and 24B illustrate this relationship. FIG. 24A shows a state where the subjective quality saturates in a region where QP min is small, suddenly changes in a region where QP min is intermediate, and saturates in a region where QP min is large. FIG. 24B shows the relationship between subjective quality and bit rates of
평균 및 표준 편차를 사용하는 일반적인 모델에서, 도 24a 및 24b에 도시된 포화 특성이 도 25a 및 25b에 도시된 바와 같이, 충분히 고려될 수 없기 때문에, 추정 정확도는 저하된다. 그러나 본 발명에서, 특성들은 추정 정확성을 개선하여 정확히 고려될 수 있다. In the general model using the mean and standard deviation, the estimation accuracy is lowered because the saturation characteristics shown in FIGS. 24A and 24B cannot be sufficiently considered, as shown in FIGS. 25A and 25B. However, in the present invention, the characteristics can be accurately considered by improving the estimation accuracy.
본 발명의 내용에 포함되어 있음.Included in the context of the present invention.
Claims (15)
움직임 보상 프레임간 예측 및 DCT 또는 웨이브릿 변환(wavelet transformation)과 같은 또다른 직교 변환을 사용하여 인코딩된 비디오의 비트 스트링을 수신하는 단계;
수신된 비트 스트링에 포함된 정보를 입력함으로써 기결정된 연산을 수행하는 단계; 및
기결정된 연산을 수행하는 단계의 연산 결과에 기초하여 비디오의 주관적 품질을 추정하는 연산을 수행하는 단계를 포함하는 비디오 품질 객관적 평가 방법. In the video quality objective evaluation method for evaluating the subjective quality of the video,
Receiving a bit string of video encoded using another orthogonal transform, such as motion compensated interframe prediction and DCT or wavelet transformation;
Performing a predetermined operation by inputting information included in the received bit string; And
And performing an operation of estimating the subjective quality of the video based on the operation result of the step of performing a predetermined operation.
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 양자화 정보가 추출되고, 양자화 정보의 통계량이 계산되며, 그리고
주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 양자화 정보의 통계량에 기초하여 수행되는 비디오 품질 객관적 평가 방법.The method of claim 1,
In the step of performing a predetermined operation, the quantization information included in the bit string is extracted, the statistics of the quantization information are calculated, and
And in the step of estimating the subjective quality, the operation of estimating the subjective quality of the video is performed based on the statistics of the quantization information.
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 움직임 벡터의 정보가 추출되고, 움직임 벡터의 통계량은 움직임 벡터의 추출된 정보로부터 계산되며, 그리고
주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 움직임 벡터의 통계량 및 양자화 정보의 통계량에 기초하여 수행되는 비디오 품질 객관적 평가 방법.The method of claim 2,
In the step of performing a predetermined operation, the information of the motion vector included in the bit string is extracted, the statistics of the motion vector are calculated from the extracted information of the motion vector, and
And in the step of estimating the subjective quality, the operation of estimating the subjective quality of the video is performed based on the statistics of the motion vector and the statistics of the quantization information.
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된, 움직임-보상된 프레임간 예측의 I (인트라-코딩된(intra-coded)) 프레임, 슬라이스, 또는 블록, P(순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B(양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 정보가 추출되며, I (인트라-코딩된) 프레임, 슬라이스, 또는 블록, P (순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B (양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 통계 정보는 I (인트라-코딩된) 프레임, 슬라이스, 또는 블록, P (순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B (양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 추출된 정보에 기초하여 계산되고, 그리고
주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 I (인트라-코딩된) 프레임, 슬라이스, 또는 블록, P (순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B (양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 통계량 정보 및 양자화 정보의 통계량에 기초하여 수행되는 비디오 품질 객관적 평가 방법.The method of claim 2,
In performing the predetermined operation, an I (intra-coded) frame, slice, or block, P (forward predictable) frame of motion-compensated interframe prediction, included in the bit string, The information of a slice, or block, and B (bidirectionally predictable) frame, slice, or block is extracted, and an I (intra-coded) frame, slice, or block, P (forward predictable) frame, slice, or block , And statistical information of B (bi-predictable) frames, slices, or blocks may include I (intra-coded) frames, slices, or blocks, P (forward predictable) frames, slices, or blocks, and B (bi-directional prediction). Available) is calculated based on the extracted information of the frame, slice, or block, and
In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video may comprise I (intra-coded) frame, slice, or block, P (forward predictable) frame, slice, or block, and B A video quality objective evaluation method performed based on statistics information of a frame, slice, or block (bidirectionally predictable) and statistics of quantization information.
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함되어 있는, 예측가능한 인코딩에 사용된 정보, 변환 인코딩에 사용된 정보, 및 인코딩 제어에 사용된 정보가 추출되고, 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 인코딩 제어에 사용된 비트량은 추출된 정보의 조각들로부터 계산되며, 그리고
주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 인코딩 제어에 사용된 비트량에 기초하여 수행되고, 이는 기결정된 연산을 수행하는 단계의 연산 결과를 나타내는 비디오 품질 객관적 평가 방법.The method of claim 1,
In the step of performing a predetermined operation, the information used for the predictive encoding, the information used for the transform encoding, and the information used for the encoding control contained in the bit string are extracted, and the amount of bits used for the predictable encoding. The amount of bits used for transform encoding, and the amount of bits used for encoding control are calculated from the pieces of extracted information, and
In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video is performed based on the amount of bits used for predictable encoding, the amount of bits used for transform encoding, and the amount of bits used for encoding control. Which indicates the result of the operation of the step of performing the predetermined operation.
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 움직임 벡터의 정보가 추출되고, 움직임 벡터의 통계량은 움직임 벡터의 추출된 정보로부터 계산되며, 그리고
주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 인코딩 제어에 사용된 비트량, 및 움직임 벡터의 통계량에 기초하여 수행되는 비디오 품질 객관적 평가 방법. The method of claim 5, wherein
In the step of performing a predetermined operation, the information of the motion vector included in the bit string is extracted, the statistics of the motion vector are calculated from the extracted information of the motion vector, and
In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video includes the amount of bits used for predictable encoding, the amount of bits used for transform encoding, the amount of bits used for encoding control, and the motion vector. Video quality objective assessment method performed on the basis of statistics.
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된, I (인트라-코딩된) 프레임, 슬라이스, 또는 블록, P (순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B (양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 정보가 추출되고, I (인트라-코딩된) 프레임, 슬라이스, 또는 블록, P (순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B (양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 통계 정보는 I (인트라-코딩된) 프레임, 슬라이스, 또는 블록, P (순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B (양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 추출된 정보에 기초하여 계산되며, 그리고
주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 인코딩 제어에 사용된 비트량, 및 I (인트라-코딩된) 프레임, 슬라이스, 또는 블록, P (순방향 예측가능한) 프레임, 슬라이스, 또는 블록, 및 B (양방향 예측가능한) 프레임, 슬라이스, 또는 블록의 통계 정보에 기초하여 수행되는 비디오 품질 객관적 평가 방법.The method of claim 5, wherein
In performing the predetermined operation, an I (intra-coded) frame, slice, or block, P (forward predictable) frame, slice, or block, and B (bidirectional predictable) frame included in the bit string. Information of a slice, or block is extracted, an I (intra-coded) frame, slice, or block, P (forward predictable) frame, slice, or block, and B (bidirectional predictable) frame, slice, or Statistical information of a block is derived from extracted information of an I (intra-coded) frame, slice, or block, a P (forward predictable) frame, slice, or block, and a B (bidirectional predictable) frame, slice, or block. Calculated on the basis of, and
In performing the operation of estimating the subjective quality, the operation of estimating the subjective quality of the video includes the amount of bits used for predictable encoding, the amount of bits used for transform encoding, the amount of bits used for encoding control, and I (intra A video quality objective evaluation method performed based on statistical information of a coded frame, slice, or block, P (forward predictable) frame, slice, or block, and B (bidirectional predictable) frame, slice, or block .
기결정된 연산을 수행하는 단계에서, 비트 스트링에 포함된 I 슬라이스, P 슬라이스 및 B 슬라이스의 양자화 정보 및 I 슬라이스, P 슬라이스 및 B 슬라이스의 비트량의 통계량이 추출되며, 그리고
주관적 품질을 추정하는 연산을 수행하는 단계에서, 비디오의 주관적 품질을 추정하는 연산은 양자화 정보 및 비트량에 기초하여 수행되는 비디오 품질 객관적 평가 방법.The method of claim 1,
In a step of performing a predetermined operation, quantization information of I slices, P slices, and B slices included in the bit string, and statistics of bits of I slices, P slices, and B slices are extracted, and
And in the step of estimating the subjective quality, the operation of estimating the subjective quality of the video is performed based on the quantization information and the bit amount.
비트량은 예측가능한 인코딩에 사용된 비트량, 변환 인코딩에 사용된 비트량, 및 인코딩 제어에 사용된 또다른 비트량을 포함하고, 이들은 예측가능한 인코딩에 사용된 정보, 변환 인코딩에 사용된 정보, 및 비트 스트링에 포함된 인코딩 제어에 사용된 정보를 추출함으로써 얻어진 정보로부터 계산되는 비디오 품질 객관적 평가 방법.The method of claim 8,
The amount of bits includes the amount of bits used for predictive encoding, the amount of bits used for transform encoding, and another amount of bits used for encoding control, which includes information used for predictive encoding, information used for transform encoding, And a video quality objective evaluation method calculated from the information obtained by extracting information used for encoding control included in the bit string.
비트량은 P 슬라이스 및 B 슬라이스의 예측가능한 인코딩에 사용된 비트량의 합계, 변환 인코딩에 사용된 비트량의 합계, 및 인코딩 제어에 사용된 다른 비트량의 합계를 포함하는 비디오 품질 객관적 평가 방법.The method of claim 8,
Bit amount comprises the sum of the amount of bits used for predictive encoding of P slices and B slices, the sum of the amount of bits used for transform encoding, and the sum of the amount of other bits used for encoding control.
양자화 정보는 P 슬라이스 및 B 슬라이스의 비트 스트링에 포함된 양자화 정보의 평균값 및 덧셈, 곱셈 또는 지수/로그 연산에 의해 얻어진 통계량 중 하나인 비디오 품질 객관적 평가 방법.The method of claim 8,
Quantization information is a video quality objective evaluation method, which is one of average values of quantization information included in bit strings of P slices and B slices, and statistics obtained by addition, multiplication, or exponential / log operations.
비디오의 주관적 품질은 I 슬라이스 대신에 I 프레임 및 I 매크로블록, P 슬라이스 대신에 P 프레임 및 P 매크로블록, 및 B 슬라이스 대신에 B 프레임 및 B 매크로블록을 사용하여 추정되는 비디오 품질 객관적 평가 방법. The method according to any one of claims 1 to 11,
The subjective quality of video is estimated using I frames and I macroblocks instead of I slices, P frames and P macroblocks instead of P slices, and B frames and B macroblocks instead of B slices.
I 모드는 움직임 보상을 사용하지 않고, P 모드는 하나의 기준 프레임으로부터 움직임 보상을 수행하며, B 모드는 적어도 2 개의 기준 프레임으로부터 움직임 보상을 수행하는 비디오 품질 객관적 평가 방법.The method according to any one of claims 1 to 11,
I mode does not use motion compensation, P mode performs motion compensation from one reference frame, and B mode performs motion compensation from at least two reference frames.
수신된 비트 스트링에 포함된 정보를 입력함으로써 기결정된 연산을 수행하는 제 1 연산 유닛; 및
상기 제 1 연산 유닛의 연산 결과에 기초하여 비디오의 주관적 품질을 추정하는 연산을 수행하는 제 2 연산 유닛을 포함하는, 비디오의 주관적 품질을 추정하는 비디오 품질 객관적 평가 장치.A receiving unit for receiving a bit string of video encoded using another orthogonal transform and motion-compensated interframe prediction such as DCT or wavelet transform;
A first calculation unit for performing a predetermined operation by inputting information included in the received bit string; And
And a second calculating unit for performing an operation of estimating the subjective quality of the video based on the calculation result of the first calculating unit.
수신 처리에 기초하여 수신된 비트 스트링에 포함된 정보를 입력함으로써 기결정된 연산을 수행하는 산술 처리; 및
산술 처리의 연산 결과에 기초하여 비디오의 주관적 품질을 추정하는 연산을 수행하는 주관적 품질 추정 처리를 컴퓨터가 실행하도록 하는 프로그램. Receiving processing to receive a bit string of video encoded using another orthogonal transform and motion-compensated interframe prediction such as DCT or wavelet transform;
An arithmetic process of performing a predetermined operation by inputting information included in the received bit string based on the reception process; And
A program for causing a computer to execute a subjective quality estimation process of performing an operation of estimating the subjective quality of a video based on the result of the operation of the arithmetic process.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2008-074547 | 2008-03-21 | ||
JP2008074547 | 2008-03-21 | ||
JP2009041457A JP2009260940A (en) | 2008-03-21 | 2009-02-24 | Method, device, and program for objectively evaluating video quality |
JPJP-P-2009-041457 | 2009-02-24 | ||
PCT/JP2009/055679 WO2009116666A1 (en) | 2008-03-21 | 2009-03-23 | Method, device, and program for objectively evaluating video quality |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100126397A true KR20100126397A (en) | 2010-12-01 |
KR101188833B1 KR101188833B1 (en) | 2012-10-08 |
Family
ID=41091062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20107020736A KR101188833B1 (en) | 2008-03-21 | 2009-03-23 | Video Quality Objective Assessment Method, Video Quality Objective Assessment Apparatus, and Program |
Country Status (7)
Country | Link |
---|---|
US (1) | US20110013694A1 (en) |
EP (1) | EP2252073A4 (en) |
JP (1) | JP2009260940A (en) |
KR (1) | KR101188833B1 (en) |
CN (1) | CN101978700A (en) |
BR (1) | BRPI0909331A2 (en) |
WO (1) | WO2009116666A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101279705B1 (en) * | 2011-12-22 | 2013-06-27 | 연세대학교 산학협력단 | Method for measuring blur in image frame, apparatus and method for estimating image quality of image frame using the same |
US9686515B2 (en) | 2011-12-09 | 2017-06-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for detecting quality defects in a video bitstream |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2776402C (en) * | 2009-10-22 | 2016-05-24 | Nippon Telegraph And Telephone Corporation | Video quality estimation device, video quality estimation method, and video quality estimation program |
KR101092650B1 (en) | 2010-01-12 | 2011-12-13 | 서강대학교산학협력단 | Method and apparatus of assessing of image quality using quantization encoding |
JP5484140B2 (en) * | 2010-03-17 | 2014-05-07 | Kddi株式会社 | Objective image quality evaluation device for video quality |
JP5670551B2 (en) * | 2010-04-30 | 2015-02-18 | トムソン ライセンシングThomson Licensing | Method and apparatus for evaluating the quality of a video stream |
CN101895788B (en) * | 2010-07-21 | 2013-07-03 | 深圳市融创天下科技股份有限公司 | Method and system for objectively evaluating video coding performance |
JP2012182785A (en) * | 2011-02-07 | 2012-09-20 | Panasonic Corp | Video reproducing apparatus and video reproducing method |
EP2745518B1 (en) * | 2011-09-26 | 2017-06-14 | Telefonaktiebolaget LM Ericsson (publ) | Estimating user-perceived quality of an encoded video stream |
US9203708B2 (en) | 2011-09-26 | 2015-12-01 | Telefonaktiebolaget L M Ericsson (Publ) | Estimating user-perceived quality of an encoded stream |
JP2015505196A (en) * | 2011-12-15 | 2015-02-16 | トムソン ライセンシングThomson Licensing | Method and apparatus for video quality measurement |
US8826314B2 (en) | 2012-01-30 | 2014-09-02 | At&T Intellectual Property I, Lp | Method and apparatus for managing quality of service |
CN103428523B (en) * | 2012-05-22 | 2015-07-08 | 华为技术有限公司 | Method and device for estimating video quality |
JP5981803B2 (en) * | 2012-08-07 | 2016-08-31 | 日本電信電話株式会社 | Image quality evaluation apparatus, image quality evaluation method, and image quality evaluation program |
JP5956316B2 (en) * | 2012-11-26 | 2016-07-27 | 日本電信電話株式会社 | Subjective image quality estimation apparatus, subjective image quality estimation method, and program |
US20150304709A1 (en) * | 2012-11-30 | 2015-10-22 | Qian Zhang | Method and apparatus for estimating video quality |
CN103747237B (en) | 2013-02-06 | 2015-04-29 | 华为技术有限公司 | Video coding quality assessment method and video coding quality assessment device |
JP5992866B2 (en) * | 2013-05-23 | 2016-09-14 | 日本電信電話株式会社 | Subjective image quality estimation device and subjective image quality estimation program |
CN104202594B (en) * | 2014-07-25 | 2016-04-13 | 宁波大学 | A kind of method for evaluating video quality based on 3 D wavelet transformation |
CN106713901B (en) * | 2015-11-18 | 2018-10-19 | 华为技术有限公司 | A kind of method for evaluating video quality and device |
CN105611283B (en) * | 2015-12-24 | 2017-12-29 | 深圳市凯木金科技有限公司 | A kind of subjective image effect evaluation method |
CN108476318A (en) * | 2016-01-14 | 2018-08-31 | 三菱电机株式会社 | Coding efficiency evaluates auxiliary device, coding efficiency evaluation householder method and coding efficiency and evaluates auxiliary program |
EP3291556A1 (en) | 2016-08-30 | 2018-03-07 | Deutsche Telekom AG | Method and apparatus for determining the perceptual video quality of a chunk of multimedia content |
JP7215229B2 (en) * | 2019-03-01 | 2023-01-31 | 日本電信電話株式会社 | Video quality estimation device, video quality estimation method and program |
WO2022091326A1 (en) * | 2020-10-30 | 2022-05-05 | 富士通株式会社 | Server, control method, and control program |
CN115442589A (en) * | 2022-08-03 | 2022-12-06 | 珠海全志科技股份有限公司 | Video source compression quality analysis method and device based on video frame information |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5907372A (en) * | 1996-06-28 | 1999-05-25 | Hitachi, Ltd. | Decoding/displaying device for decoding/displaying coded picture data generated by high efficiency coding for interlace scanning picture format |
GB0228556D0 (en) * | 2002-12-06 | 2003-01-15 | British Telecomm | Video quality measurement |
CN1723711A (en) * | 2002-12-10 | 2006-01-18 | 皇家飞利浦电子股份有限公司 | A unified metric for digital video processing (UMDVP) |
KR100858999B1 (en) * | 2004-10-18 | 2008-09-18 | 니폰덴신뎅와 가부시키가이샤 | Video Quality Objective Assessment Device, Assessment Method, And Program |
CA2632403C (en) * | 2005-12-05 | 2015-05-26 | British Telecommunications Public Limited Company | Video quality measurement |
CA2668003C (en) * | 2007-08-22 | 2013-04-02 | Nippon Telegraph And Telephone Corporation | Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium |
-
2009
- 2009-02-24 JP JP2009041457A patent/JP2009260940A/en not_active Withdrawn
- 2009-03-23 KR KR20107020736A patent/KR101188833B1/en not_active IP Right Cessation
- 2009-03-23 CN CN2009801092135A patent/CN101978700A/en active Pending
- 2009-03-23 EP EP09722268A patent/EP2252073A4/en not_active Withdrawn
- 2009-03-23 BR BRPI0909331A patent/BRPI0909331A2/en not_active IP Right Cessation
- 2009-03-23 US US12/922,846 patent/US20110013694A1/en not_active Abandoned
- 2009-03-23 WO PCT/JP2009/055679 patent/WO2009116666A1/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9686515B2 (en) | 2011-12-09 | 2017-06-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for detecting quality defects in a video bitstream |
US10356441B2 (en) | 2011-12-09 | 2019-07-16 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for detecting quality defects in a video bitstream |
KR101279705B1 (en) * | 2011-12-22 | 2013-06-27 | 연세대학교 산학협력단 | Method for measuring blur in image frame, apparatus and method for estimating image quality of image frame using the same |
Also Published As
Publication number | Publication date |
---|---|
US20110013694A1 (en) | 2011-01-20 |
EP2252073A4 (en) | 2011-06-08 |
WO2009116666A1 (en) | 2009-09-24 |
CN101978700A (en) | 2011-02-16 |
JP2009260940A (en) | 2009-11-05 |
KR101188833B1 (en) | 2012-10-08 |
EP2252073A1 (en) | 2010-11-17 |
BRPI0909331A2 (en) | 2015-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101188833B1 (en) | Video Quality Objective Assessment Method, Video Quality Objective Assessment Apparatus, and Program | |
JP5302342B2 (en) | Method, apparatus and system for evaluating the quality of a video code stream | |
US20100061446A1 (en) | Video signal encoding | |
WO2013173909A1 (en) | Methods and apparatus for providing a presentation quality signal | |
JP6328637B2 (en) | Content-dependent video quality model for video streaming services | |
KR20130019435A (en) | Method and apparatus for assessing quality of video stream | |
KR101783071B1 (en) | Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal | |
KR20140008508A (en) | Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility | |
Joskowicz et al. | A parametric model for perceptual video quality estimation | |
JP4861371B2 (en) | Video quality estimation apparatus, method, and program | |
Garcia et al. | Towards content-related features for parametric video quality prediction of IPTV services | |
JP2015530807A (en) | Method and apparatus for estimating content complexity for video quality assessment | |
JP4787303B2 (en) | Video quality estimation apparatus, method, and program | |
US9723266B1 (en) | Lightweight content aware bit stream video quality monitoring service | |
JP4309703B2 (en) | Coding error estimation device | |
Liu et al. | Real-time video quality monitoring | |
KR100601846B1 (en) | Apparatus and Method for Distortion Optimization of Moving Picture Compaction Encoder | |
Goudarzi | A no-reference low-complexity QoE measurement algorithm for H. 264 video transmission systems | |
Zhang et al. | Compressed-domain-based no-reference video quality assessment model considering fast motion and scene change | |
Garcia et al. | Video streaming | |
JP4740967B2 (en) | Video quality estimation apparatus, method, and program | |
Karthikeyan et al. | Perceptual video quality assessment in H. 264 video coding standard using objective modeling | |
Su et al. | Packet-layer quality assessment for networked video | |
Liao et al. | A packet-layer video quality assessment model based on spatiotemporal complexity estimation | |
Su et al. | Content-adaptive bitstream-layer model for coding distortion assessment of H. 264/AVC networked video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |