KR100525467B1 - 동영상 화질 평가장치 및 방법 - Google Patents

동영상 화질 평가장치 및 방법 Download PDF

Info

Publication number
KR100525467B1
KR100525467B1 KR10-2003-0013188A KR20030013188A KR100525467B1 KR 100525467 B1 KR100525467 B1 KR 100525467B1 KR 20030013188 A KR20030013188 A KR 20030013188A KR 100525467 B1 KR100525467 B1 KR 100525467B1
Authority
KR
South Korea
Prior art keywords
image
outline
video sequence
video
source
Prior art date
Application number
KR10-2003-0013188A
Other languages
English (en)
Other versions
KR20040078311A (ko
Inventor
이철희
이상우
나동원
박현중
Original Assignee
에스케이 텔레콤주식회사
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사, 학교법인연세대학교 filed Critical 에스케이 텔레콤주식회사
Priority to KR10-2003-0013188A priority Critical patent/KR100525467B1/ko
Publication of KR20040078311A publication Critical patent/KR20040078311A/ko
Application granted granted Critical
Publication of KR100525467B1 publication Critical patent/KR100525467B1/ko

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D25/00—Charging, supporting, and discharging the articles to be cooled
    • F25D25/02—Charging, supporting, and discharging the articles to be cooled by shelves
    • F25D25/024—Slidable shelves
    • F25D25/025—Drawers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B88/00—Drawers for tables, cabinets or like furniture; Guides for drawers
    • A47B88/40—Sliding drawers; Slides or guides therefor
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D17/00—Arrangements for circulating cooling fluids; Arrangements for circulating gas, e.g. air, within refrigerated spaces
    • F25D17/04—Arrangements for circulating cooling fluids; Arrangements for circulating gas, e.g. air, within refrigerated spaces for circulating air, e.g. by convection
    • F25D17/042—Air treating means within refrigerated spaces
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2317/00—Details or arrangements for circulating cooling fluids; Details or arrangements for circulating gas, e.g. air, within refrigerated spaces, not provided for in other groups of this subclass
    • F25D2317/04—Treating air flowing to refrigeration compartments

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 동영상 화질평가 장치 및 방법에 관한 것으로, 원래의 동영상인 소스(source) 영상을 입력하기 위한 소스영상입력부; 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부; 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부; 외곽선추출부의 출력영상으로부터 마스크 이미지(image)를 생성하기 위한 마스크 이미지 생성부; 소스영상입력부로 입력되는 영상 중 마스크 이미지에 대응하는 영상 및 평가대상 입력부로 입력되는 영상을 입력으로 하여 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부; 및 신호대잡음비산출부의 출력 데이터로부터 화질을 평가하는 화질 평가부를 포함하고, 원래 동영상인 소스 동영상 시퀀스의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하고, 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 화소에 대한 자승평균오차를 산출하며, 자승평균오차에 대한 최대신호대잡음비를 산출하고, 최대신호대잡음비에 따라 평가를 산출함으로써, 평가시간을 단축할 수 있음은 물론 실시간으로 정해진 기준에 따라 객관적 동영상 화질평가를 수행할 수 있다.

Description

동영상 화질 평가장치 및 방법{Apparatus and Methods for Objective Measurement of Video Quality}
본 발명은 동영상 품질을 객관적으로 평가할 수 있는 동영상 화질 평가 장치 및 방법에 관한 것이다.
일반적으로 동영상(Video)에 대한 품질의 평가는 동영상의 품질을 평가하는 평가자들에 의해 주관적으로 이루어지는데, 이러한 평가들의 대부분은 기준이 되는 동영상을 이용하여 이루어지고 있다.
기준 평가에 있어서, 평가자는 기준이 되는 동영상과 이와 비교하여 평가를 할 동영상을 비교하고 평가를 할 동영상에 평가자 나름대로의 주관적인 점수를 부여하기 때문에 이러한 평가들은 비디오 품질의 주관적인 테스트라고 일컬어진다.
즉, 이러한 종래의 평가 방법은 인간의 지각력을 반영하는 것으로서, 평가를 하는데 있어 다수의 평가자가 요구되기 때문에 시간이 많이 소요되고 그에 따른 평가 비용이 상승하며 실시간으로 평가를 수행할 수 없는 문제점이 있었다.
본 발명은 이와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 평가시간을 단축할 수 있음은 물론 실시간으로 평가를 수행하고 정해진 기준에 따라 객관적인 평가를 수행할 수 있는 동영상 화질평가 장치 및 방법을 제공하는데 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 동영상 화질평가 장치는, 원래의 동영상인 소스 영상을 입력하기 위한 소스영상입력부; 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부; 상기 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부; 상기 외곽선추출부의 출력영상으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부; 상기 소스영상입력부로 입력되는 영상 중 상기 마스크 이미지에 대응하는 영상 및 상기 평가대상 입력부로 입력되는 영상을 입력으로 하여 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부; 및 상기 신호대잡음비산출부의 출력 데이터로부터 화질을 평가하는 화질 평가부를 포함하는 것을 특징으로 한다. 또한 본 발명에 따른 동영상 화질 평가 방법은, 원래 동영상인 소스 동영상 시퀀스(sequence)의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하는 단계; 상기 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 화소에 대한 자승평균오차를 산출하는 단계; 상기 자승평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및 상기 최대신호대잡음비에 따라 평가를 산출하는 단계를 포함하는 것을 특징으로 한다.
이하에서는 첨부된 도면을 참조하면 본 발명의 실시 예를 상세하게 설명하도록 한다.
동영상의 품질을 평가하기 위한 방법 중의 하나는 소스 동영상과 평가대상 동영상의 자승평균오차(Mean Squared Error; 이하 'MSE'라 칭함)를 산출하는 것인데, 다음의 [수학식 1]에 의해 산출할 수 있다.
S : 소스 비디오
P : 평가 대상 동영상
m : 행(row)에 대한 화소의 번호
n : 열(column)에 대한 화소의 번호
l : 프레임의 번호
M: 전체 행(row)의 개수
N : 전체 열(column)의 개수
L : 전체 프레임의 개수
이에 따라 최대 신호대잡음비(Peak Signal-to-Noise Ratio, 이하 'PSNR'이라 칭함)는 다음의 수학식 2와 같이 산출하고 이를 이용하여 동영상을 평가할 수 있다.
, 이때 P는 최대 화소(pixel) 값이다.
그러나, 전술한 방법에 따라 자승평균오차를 산출하고 최대 신호대잡음비를 산출하는 방법은 동영상의 전체 프레임의 전체 화소에 대하여 연산을 수행하기 때문에 연산량이 과다하여 따라 상기 연산을 수행하는 장치의 부하가 가중되는 단점이 있었다.
한편, 인간의 시각 시스템은 주로 영상에 포함된 이미지의 외곽선의 상태에 따라 영상의 화질이 좋고 나쁨을 인지한다. 따라서 본 발명은 동영상의 외곽선 부근의 화질의 저하를 측정하고 이로부터 얻어진 데이터를 이용하여 동영상의 품질을 평가할 수 있는 시스템 및 방법을 제공한다.
도 1은 본 발명에 따른 동영상 화질 평가 시스템의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명에 따른 동영상 화질 평가 시스템은, 원래의 동영상인 소스 영상을 입력하기 위한 소스영상입력부(10)와, 상기 소스영상입력부(10)로 입력되는 소스영상의 외곽선을 추출하기 위한 외곽선 추출부(30)와, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부(20)와, 상기 외곽선추출부(30)의 출력으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부(40)와, 상기 마스크 이미지 생성부(40)의 출력을 입력으로 하여 외곽선 최대 신호대 잡음비(이하 'E-PSNR'라 칭함)을 산출하는 신호대잡음비산출부(이하 'E-PSNR산출부'라 칭함)(50)와, 상기 E- PSNR산출부(50)의 출력에 따라 화질을 평가하는 화질 평가부(60)를 포함하여 이루어진다.
상기 소스영상입력부(10) 및 평가대상 영상 입력부(20)는 외부 장치로부터 영상을 입력받는 입력장치 혹은 영상이 미리 저장된 소정의 저장장치일 수 있다.
도 2는 본 발명에 따른 방법을 설명하기 위한 흐름도이다.
도 2를 참조하여, 본 발명에 따른 동영상 화질 평가 방법을 개략적으로 살펴보면, 먼저 소스영상으로부터 외곽선을 추출한다(S10). 이를 위해 소스영상입력부(10)를 통해 입력된 소스영상을 외곽선추출부(30)를 이용하여 외곽선을 추출한다.
상기 단계 S10에서 추출된 외곽선이미지로부터 마스크이미지를 생성한다(S20). 상기 마스크이미지는 마스크 이미지 생성부(40)로부터 생성한다.
그리고 마스크 이미지를 이용하여 E-PSNR산출부(50)를 이용하여 E-PSNR을 산출(S30)하고, 그 결과를 이용하여 화질평가부(60)를 이용하여 화질평가를 수행한다(S40).
이하에서는 도 2의 본 발명에 따른 동영상 화질 평가방법에서 마스크 이미지의 생성과 E-PSNR 산출방법을 상세히 설명하도록 한다.
먼저, 도 3 및 도 4를 참조하여 마스크 이미지의 생성에 대하여 설명하도록 한다. 도 3은 본 발명에 따른 소스 영상을 이용한 마스크 이미지를 생성하는 방법을 설명하기 위한 설명도이다.
도 3을 참조하면, 본 발명에서는 외곽선의 영역을 찾기 위해 소스 동영상에 외곽선 추출 알고리즘을 적용한다. 그리고 문턱 값을 이용하는 연산을 적용하여 구한 외곽선 영역의 MSE를 산출함으로써 외곽선 영역의 저하, 즉 외곽선의 디그라데이션(Degradation) 정도를 측정한다. 그리고 상기 MSE로부터 E-PSNR을 산출하고 그 결과를 동영상의 품질평가를 위한 데이터로 이용한다.
외곽선 검출 알고리즘은 먼저 외곽선 영역을 찾는데 적용된다. 이때 외곽선 검출 알고리즘에 따라 다소의 차이가 있지만, 기존에 제안된 알고리즘의 하나를 사용할 수 있다. 예를 들면, 외곽선 영역을 찾기 위해 구배 연산자(Gradient Operator)를 이용할 수 있다.
외곽선 추출부(30)는 수직 구배 연산자를 이용한 외곽선 추출 알고리즘을 도 4에 도시된 소스 이미지에 적용하여 수직 구배 이미지(gvertical(i,j))를 생성한다(S110). 이때 gvertical(i,j)는 소스 이미지의 화소(i,j)에 대하여 수직구배연산자(gvertical)를 적용하여 수직 구배 이미지를 생성하는 것을 의미한다.
상기 수직 구배 이미지는 도 6에 도시된 바와 같다.
외곽선 추출부(30)는 단계 S110에서 상기 수직 구배 이미지를 생성함과 동시(혹은 생성한 후)에 소스 이미지에 수평 구배 연산을 적용하여 수평 구배 이미지(ghorizontal(i,j))를 생성한다(S120). 이때 ghorizontal(i,j)는 소스 이미지의 화소(i,j)에 대하여 수평구배연산자(ghorizontal)를 적용하여 수평구배 이미지를 생성하는 것을 의미한다. 상기 수평구배 이미지(ghorizontal(i,j))는 도 5에 도시된 바와 같다.
그리고 상기 생성된 수직 및 수평 구배 이미지에 절대값 연산을 수행하여 수직 및 수평 구배 이미지(g(i,j))를 생성한다(S130). 상기 절대값 연산에 의한 수직 및 수평 구배 이미지(g(i,j))는 다음의 [수학식 3]과 나타낼 수 있으며 그 이미지는 도 7에 도시된 바와 같다.
그리고 최종적으로, 마스크 이미지 생성부(40)는 상기 수직 및 수평 구배이미지(g(i,j))에 문턱값 연산을 적용하여 수직 및 수평 구배 이미지(g(i,j))에서 화소 값의 크기가 소정치 이상인 것을 추출함으로써 MSE 산출을 위한 외곽선 영역을 찾는다(S140).
즉, 상기 단계 S140에서는 수직 및 수평 구배 이미지(g(i,j))의 각 화소의 값이 미리 설정된 문턱값(te) 이상인 화소(pixel)만 추출하고 추출된 화소들이 외곽선 영역이 된다. 이에 따라 도 8에 도시된 바와 같이 마스크 이미지를 얻을 수 있다.
전술한 본 실시예에서는 소스 이미지에 수평 구배 연산자와 수직 구배 연산자를 각각 개별로 적용하였으나 도 9에 나타낸 바와 같이 변형된 방법을 적용할 수 있다.
도 9는 본 발명에 따른 소스 영상을 사용하는 마스크 이미지를 생성하는 다른 방법을 설명하기 위한 설명도이다.
도 9를 참조하면, 외곽선 추출부(30)는 소스 이미지에 수직 구배 연산자를 먼저 적용하여 수직 구배 이미지를 생성한다(S210). 수직구배 이미지는 도 10에 도시하였다.
그리고 상기 외곽선 추출부(30)는 상기 단계 S210에서 생성된 수직 구배 이미지에 수평 구배 연산자를 적용하여 연속적인 수직 및 수평 구배 이미지를 생성한다(S220). 상기 수직 및 수평 구배 이미지는 도 11에 도시하였다.
본 실시예에서는 단계 S210에서 수직 구배 이미지를 먼저 생성하고, 단계 S220에서 상기 수직 구배 이미지에 수평 구배 연산을 적용하여 수직 및 수평 구배 이미지를 생성하였으나, 그 순서는 바뀌어도 무방하다.
외곽선 추출부(30)에서 생성된 상기 수직 및 수평 구배 이미지는 마스크 이미지 생성부(40)로 전달되고, 마스크 이미지 생성부(40)는 상기 수직 및 수평 구배 이미지로부터 마스크 이미지를 생성한다.
마스크 이미지를 생성하기 위해 마스크 이미지 생성부(40)는 상기 수직 및 수평 구배 이미지에 문턱 값 연산을 적용한다(S230). 이에 따라서 외곽선 영역인 마스크 이미지를 추출할 수 있다.
즉, 단계 S230에서는 상기 연속적 구배 이미지의 화소들 중 화소 값이 미리 설정된 문턱 값 이상인 화소들만을 추출하며, 그 화소들이 외곽선 영역을 나타내는 마스크 이미지가 된다. 상기 마스크 이미지는 도 12에 도시하였다.
상기한 본 발명에 따른 두 가지 방법은 외곽선 추출 알고리즘이 될 수 있으며, 동영상 압축 알고리즘의 특성에 선택적으로 사용될 수 있다. 또한 유사한 외곽선 추출방법을 사용하여도 무방하다.
전술한 바와 같이, 상기한 본 발명에 따른 두 가지 방법에 의해 생성된 외곽선 이미지는 도 7 및 도 11에 나타낸 바와 같다. 그리고 상기 도 7 및 도 11에 문턱 값 연산을 적용함으로써 화소 값이 문턱값 이상인 화소들을 추출하면 도 8 및 도 12에 도시한 마스크 이미지를 생성된다.
즉, 수직 및 수평 구배이미지의 화소 값이 문턱 값보다 작으면 해당 화소의 값을 영(zero)으로 설정하고, 화소 값이 문턱 값 이상이면 해당 화소 값을 영(zero)이 아닌 값으로 설정함으로써, 도 8과 도 12에 도시한 마스크 이미지를 얻을 수 있다.
본 발명에 따른 상기 마스크 이미지는 소스 이미지에 외곽선 추출 알고리즘을 적함으로써 얻어지는 것이나, 소정의 알고리즘에 의해 처리를 한 이미지에 대해서도 적용할 수 있으며, 어플리케이션에 따라서 선택적으로 적용할 수 있다.
동영상은 프레임(frame) 또는 필드(field)들로 구성되므로 상기한 방법은 각 프레임 혹은 필드에 적용할 수 있다. 그리고 소스 동영상의 시퀀스와 평가대상이 되는 동영상의 시퀀스 간의 차이점은 마스크 이미지의 영(zero)이 아닌 화소에서 계산되며 그에 따라 품질을 평가한다.
이하에서는 전술한 과정에서 생성된 소스 동영상 시퀀스의 각 이미지와 평가대상 동영상 시퀀스의 각 이미지의 외곽선 영역간의 자승평균오차를 산출하는 과정을 설명하도록 한다.
도 13은 본 발명에 따른 방법의 적용을 설명하기 위한 설명도이다.
도 13을 참조하면, 소스 동영상(S) 및 평가대상 동영상(P)은 이미지가 다수의 프레임(l,l+1,l+2)으로 구성된다. 각 프레임의 이미지는 다수의 화소(P)가 M개의 행(row)과 N개의 열(column)로 구성되며 각 화소(P)는 P(i,j)로 나타낼 수 있다.
따라서 E-PSNR 산출부(50)는 다음의 [수학식 4]에 의해 l번째 프레임의 외곽선 영역의 오차를 산출한다.
: 소스 동영상 시퀀스의 l번째 이미지
: 평가 대상 동영상 시퀀스의 l번째 이미지
: 마스크 동영상 시퀀스의 l번째 이미지
M : 행(row)의 수
N : 열(column)의 수
상기 방법은 마스크 동영상 시퀀스를 생성하고, 생성된 마스크 동영상 시퀀스의 이미지의 화소들 중 그 값이 영이 아닌 값을 가지는 화소들을 대상으로 MSE를 산출한다.
한편, 본 발명에 따르면, 마스크 동영상 시퀀스를 생성하지 않을 수 있다. 이때 마스크 동영상 시퀀스를 생성하지 않고 l번째 프레임의 외곽선 영역의 오차를 산출하기 위해서 다음의 [수학식 5]를 이용한다.
: 소스 동영상 시퀀스의 l번째 이미지의 (i,j)번째 화소
: 평가 대상 동영상 시퀀스의 l번째 이미지의 (i,j)번째 화소
: 외곽선 동영상 시퀀스의 l번째 이미지의 (i,j)번째 화소
: 문턱값
M: 행(row)의 수
N: 열(column)의 수
[수학식 4] 또는 [수학식 5]에 의해 산출되는 소스 동영상의 시퀀스와 평가대상 동영상 시퀀스의 자승평균오차(MSE)를 산출하기 위해 후술하는 [수학식 6]이 이용되며, 절대치를 이용한 형태도 이용될 수 있다.
전술한 방법은 동영상의 전체 프레임에 대하여 수행하며 본 발명의 외곽선 자승평균오차(MSE)는 다음의 [수학식 6]에 의해 산출된다.
, 이때, K는 외곽선 영역의 전체 화소수이다.
그리고, 외곽선 영역의 E-PSNR은 다음의 [수학식 7]에 의해 산출된다.
, 이때 P는 최대 화소 값이다.
E-PSNR 생성부(50)에서 생성된 데이터는 화질평가부(60)로 전달되고, 화질평가부(60)는 상기 데이터를 객관적인 동영상 품질을 평가하기 위한 측정 기준으로 이용한다,
이하에서는 컬러 동영상에 대한 본 발명의 적용 예를 설명하도록 한다.
도 14는 본 발명에 따른 동영상 화질평가 방법을 컬러 동영상에 적용한 예를 설명하기 위한 설명도이다.
대부분의 컬러 동영상은 3가지의 성분으로 표현할 수 있는데, RGB, YUV 및 YCrCb의 포맷형태로 나타낼 수 있다. 그리고 YUV 포맷은 스케일링 및 오프셋을 적용함으로써 YCrCb 형태로 변환된다. 이때 Y는 회색 성분을 나타내며, U 와 V (혹은 Cr 와 Cb) 는 색 정보를 나타낸다.
상기한 컬러 동영상의 각 성분에 대하여 전술한 본 발명의 실시예의 방법을 적용함으로써 각 성분과 그 평균은 객관적 품질을 평가하기 위한 기준으로 사용할 수 있다. 또한 상기 컬러 동영상의 모든 요소에 대하여 본 발명을 적용하지 않고 그 요소 중 가장 비중이 있는 요소(Dominant)인 Y에 대하여 전술한 실시예의 방법을 적용하여도 본 발명의 목적을 달성할 수 있다.
예를 들면, 컬러 동영상의 여러 요소 중 가장 비중이 있는 요소에 대하여 우선적으로 본 발명의 방법을 적용하여 E-PSNR을 산출하고, 그 후 나머지 요소들의 E-PSNR을 이용하여 상기 가장 비중이 있는 요소(Dominant)의 E-PSNR을 보정할 수 있으며, 다음과 같이 최종 VQM(video quality metric)을 계산할 수 있다.
VQM=EPSNRdominant+f(EPSNRcomp2,EPSNRcomp3)
이때 EPSNRcomp2 와 EPSNRcomp3은 나머지 요소들의 E-PSNR이며, f(x,y)의 함수이다.
상기 함수는 f(x,y)는 선형함수를 사용하고, 이 경우 f(EPSNRcomp2, EPSNRcomp3)는 상수 α 및 β를 이용하여 αEPSNRcomp2+βEPSNRcomp3로 표현할 수 있다. 이에 따라, VQM=EPSNRdominant+αEPSNRcomp2+βEPSNRcomp3으로 표현할 수 있으며, 상기 상수 α 및 β는 학습 비디오로부터 구할 수 있다.
대부분의 동영상 압축 표준인 MPEG 1, MPEG 2, MPEG 4, H.26x 등은 YCrCb의 포맷으로 나타내며, Y 요소가 E-PSNR을 산출하는데 가장 중요한 요소이다.
본 발명에 따른 바람직한 실시예는 상기 EPSNRdominant는 Y요소에 대하여 수행하고, 상기 EPSNRcomp2 와 ESPNRcomp3는 나머지 요소인 U 및 V 또는 Cr 및 Cb에 대해 실시한다. RGB 포맷일 경우 동일한 가중치를 부여하여 VQM을 계산할 수 있다.
도 15는 본 발명에 따른 객관적 동영상 화질평가 방법의 결과와 주관적 화질평가방법의 상관성을 설명하기 위한 그래프이다.
도 15를 참조하면, (a)는 일반적인 PSNR을 산출하는 방법에 따른 상관성을 나타낸 것이며, (b)는 본 발명에 따른 E-PSNR을 산출하고 그에 따른 상관성을 나타낸 그래프이다. 상기 본 발명에 따른 방법(E-PSNR)에 의한 결과에 대한 그래프(b)를 살펴보면 각 데이터들은 일반적인 PSNR을 산출하는 방법에 따른 결과의 데이터들보다 각 데이터간의 거리가 더 가까우며 상관성(correlation)이 더 높은 것을 알 수 있다.
이상에서 상세히 설명한 바와 같이, 본 발명에 따른 동영상 화질 평가장치 및 방법에 의하면, 평가시간을 단축할 수 있음은 물론 실시간으로 정해진 기준에 따라 객관적인 평가를 수행할 수 있다.
도 1은 본 발명에 따른 동영상 화질평가 장치의 구성을 설명하기 위한 블록도,
도 2는 본 발명에 따른 동영상 화질평가 방법을 설명하기 위한 전체흐름도,
도 3은 본 발명에 따른 마스크 이미지 생성의 실시예를 설명하기 위한 설명도,
도 4는 본 발명에 적용되는 소스 이미지의 예,
도 5는 본 발명에 따른 도 4의 소스 이미지의 수평 구배 이미지의 예,
도 6은 본 발명에 따른 도 4의 소스 이미지의 수직 구배 이미지의 예,
도 7은 본 발명에 따른 수직 및 수평 구배 이미지를 나타내는 도면,
도 8은 본 발명에 따른 도 7의 이미지에 대한 마스크 이미지,
도 9는 본 발명에 따른 마스크 이미지 생성의 다른 실시예를 설명하기 위한 설명도,
도 10은 본 발명에 따른 도 4의 소스 이미지의 수직 구배 이미지,
도 11은 본 발명에 따른 도 10의 이미지를 수평 구배연산 처리한 수직/수평 구배 이미지,
도 12는 본 발명에 따른 도 11의 마스크 이미지,
도 13은 본 발명에 따른 동영상 화질평가 방법의 적용을 설명하기 위한 설명도,
도 14는 본 발명에 따른 동영상 화질평가 방법의 컬러 동영상 적용을 설명하기 위한 설명도,
도 15는 본 발명에 따른 동영상 화질평가 방법의 결과에 대한 상관성을 설명하기 위한 그래프이다.
< 도면의 주요 부분에 대한 부호의 설명 >
10:소스영상입력부 20:평가대상 영상 입력부
30:외곽선추출부 40:마스크이미지 생성부
50:E-PSNR산출부 60:화질평가부

Claims (22)

  1. 원래의 동영상인 소스 영상을 입력하기 위한 소스영상입력부, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부, 상기 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부, 상기 외곽선 추출부의 출력영상으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부, 상기 소스영상입력부로 입력되는 영상과 상기 평가대상 입력부로 입력되는 영상을 입력으로 하여 상기 마스크 이미지의 외곽선 영역에 해당하는 화소들로부터 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부 및 상기 신호대잡음비산출부의 출력 데이터로부터 화질을 평가하는 화질 평가부를 포함하는 동영상 화질 평가장치로서,
    상기 외곽선 추출부는, 외곽선 추출 알고리즘을 적용하여 소스영상의 외곽선 영역을 추출하고 그 이미지를 상기 신호대잡음비산출부로 전달하며,
    상기 신호대잡음비산출부는, 상기 소스 동영상의 외곽선 영역과 이에 대응하는 평가대상 동영상의 외곽선 영역의 각 화소 사이의 값의 차를 계산하고, 그 전체 값을 상기 마스크 이미지 중 외곽선 영역에 해당하는 전체 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 것을 특징으로 하는 동영상 화질 평가장치.
  2. 제 1 항에 있어서,
    상기 소스영상입력부 및 평가대상 영상 입력부는 외부 장치로부터 영상을 입력받는 입력장치 또는 영상이 미리 저장된 저장장치 중 어느 하나인 것을 특징으로 하는 동영상 화질 평가장치.
  3. 제 1 항에 있어서,
    상기 외곽선추출부는, 입력되는 동영상의 이미지에 수평 구배 연산과 수직 구배 연산에 의한 외곽선 추출알고리즘을 적용하여 외곽선 영역을 추출하고 그 이미지를 상기 신호대잡음비산출부로 전달하는 것을 특징으로 하는 동영상 화질 평가장치.
  4. 제 1 항에 있어서,
    상기 마스크 이미지 생성부는 외곽선 추출부 출력영상의 화소 값이 미리 설정된 문턱 값 이하인 화소는 영으로 설정하고 문턱 값 이상인 화소는 영이 아닌 값으로 설정하는 것을 특징으로 하는 동영상 화질 평가 장치.
  5. 제 1 항에 있어서,
    상기 외곽선 영역의 각 화소 사이의 값의 차는 화소 값의 차이의 자승이고,
    상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질 평가장치.
  6. 동영상 화질평가방법에 있어서,
    원래 동영상인 소스 동영상 시퀀스의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하는 단계;
    상기 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소 사이의 값의 차를 계산하고, 그 결과에 대한 전체 프레임의 합을 산출하여 상기 전체 합을 외곽선 영역의 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;
    상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및
    상기 최대신호대잡음비에 따라 평가를 산출하는 단계;
    를 포함하는 것을 특징으로 하는 동영상 화질평가방법.
  7. 제 6 항에 있어서,
    상기 외곽선 추출을 위한 알고리즘은 수직 구배 연산과 수평 구배 연산에 의한 구배 연산자를 사용하는 것을 특징으로 하는 동영상 화질 평가 방법.
  8. 제 6항에 있어서,
    상기 외곽선 영역의 각 화소 사이의 값의 차는 화소 값의 차이의 자승이고,
    상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.
  9. 제 6 항에 있어서,
    상기 평균오차는 상기 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 전체 화소들 중 상기 외곽선 동영상 시퀀스의 대응되는 화소 값이 미리 설정된 문턱값 이상인 화소들을 대상으로 하는 것을 특징으로 하는 동영상 화질 평가방법.
  10. 소스 동영상 시퀀스의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하는 단계;
    상기 외곽선 동영상 시퀀스의 각 이미지에 문턱값 연산을 수행하여 마스크 동영상 이미지를 생성하는 단계;
    상기 마스크 동영상 이미지 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스의 차를 산출하고, 그 결과에 대한 전체 프레임의 합을 산출하며, 상기 전체 합을 마스크 동영상 시퀀스의 영이 아닌 값을 갖는 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;
    상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및
    상기 최대신호대잡음비에 따라 평가를 산출하는 단계;
    를 포함하는 것을 특징으로 하는 동영상 화질평가방법.
  11. 제 10 항에 있어서,
    상기 외곽선 추출 알고리즘은 수직 구배 연산과 수평 구배 연산에 의한 구배 연산인 것을 특징으로 하는 동영상 화질평가 방법.
  12. 제 10 항에 있어서,
    상기 문턱 값 연산은 화소 값이 미리 설정된 문턱 값 이하인 화소는 영으로 설정하고 문턱 값 이상인 화소는 영이 아닌 값으로 설정하는 것을 특징으로 하는 동영상 화질 평가 방법.
  13. 제 10 항에 있어서,
    상기 마스크 동영상 이미지 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스의 차는 마스크 동영상 이미지 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스의 차이의 자승이고,
    상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.
  14. 소스 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘 및 수평 외곽선 추출 알고리즘을 순차적으로 수행하여 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계;
    상기 수직/수평 외곽선 동영상 시퀀스의 각 이미지에 미리 설정된 문턱값을 이용하는 문턱값 연산을 수행하여 마스크 동영상 시퀀스를 생성하는 단계;
    상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차를 산출하고, 그 결과에 대한 전체 프레임의 합을 산출하며, 상기 전체 합을 외곽선 영역의 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;
    상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및
    상기 최대신호대잡음비에 따라 평가를 산출하는 단계;
    를 포함하는 것을 특징으로 하는 동영상 화질평가방법.
  15. 제 14 항에 있어서,
    상기 수직 외곽선 추출 알고리즘 및 수평 외곽선 추출 알고리즘은 구배 연산자를 이용한 것임을 특징으로 하는 동영상 화질 평가 방법.
  16. 제 14 항에 있어서,
    상기 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계는, 상기 소스 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘을 수행하여 수직 외곽선 동영상 시퀀스를 생성하는 단계; 및
    상기 수직 외곽선 동영상 시퀀스의 각 이미지에 수평 외곽선 추출 알고리즘을 수행하여 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.
  17. 제 14 항에 있어서,
    상기 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계는, 상기 소스 동영상 시퀀스의 각 이미지에 수평 외곽선 추출 알고리즘을 수행하여 수평 외곽선 동영상 시퀀스를 생성하는 단계; 및
    상기 수평 외곽선 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘을 수행하여 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.
  18. 제 16 항 또는 제 17 항에 있어서,
    상기 동영상 화질평가방법은, 상기 수직/수평 외곽선 동영상 시퀀스의 각 이미지의 화소들 중 그 값이 미리 설정된 문턱값 이하인 화소는 화소 값을 영으로 설정하고, 상기 문턱값 이상인 화소는 화소 값을 영이 아닌 값으로 설정하여 마스크 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 동영상 화질 평가방법.
  19. 제 14 항에 있어서,
    상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차는 상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차이의 자승이고,
    상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.
  20. 소스 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘을 수행하여 수직 외곽선 동영상 시퀀스를 생성하는 단계;
    상기 소스 동영상 시퀀스의 각 이미지에 수평 외곽선 추출 알고리즘을 수행하여 수평 외곽선 동영상 시퀀스를 생성하는 단계;
    상기 수직/수평 동영상 시퀀스의 각 이미지에 미리 설정된 문턱값을 이용하는 문턱값 연산을 수행하여 마스크 동영상 시퀀스를 생성하는 단계;
    상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 화소에 대한 차를 산출하고, 그 결과에 대한 전체 프레임의 합을 산출하며, 상기 전체 합을 외곽선 영역의 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;
    상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및
    상기 최대신호대잡음비에 따라 평가를 산출하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가방법.
  21. 제 20 항에 있어서,
    상기 수직 외곽선 추출 알고리즘은 수직 구배 연산에 의한 구배 연산자를 이용한 것임을 특징으로 하는 동영상 화질 평가방법.
  22. 제 20 항에 있어서,
    상기 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차이는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차이의 자승이고,
    상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.
KR10-2003-0013188A 2003-03-03 2003-03-03 동영상 화질 평가장치 및 방법 KR100525467B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0013188A KR100525467B1 (ko) 2003-03-03 2003-03-03 동영상 화질 평가장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0013188A KR100525467B1 (ko) 2003-03-03 2003-03-03 동영상 화질 평가장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040078311A KR20040078311A (ko) 2004-09-10
KR100525467B1 true KR100525467B1 (ko) 2005-11-02

Family

ID=37363627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0013188A KR100525467B1 (ko) 2003-03-03 2003-03-03 동영상 화질 평가장치 및 방법

Country Status (1)

Country Link
KR (1) KR100525467B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933284B1 (ko) * 2008-04-14 2009-12-22 연세대학교 산학협력단 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
KR101316699B1 (ko) * 2009-11-24 2013-10-10 연세대학교 산학협력단 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법

Also Published As

Publication number Publication date
KR20040078311A (ko) 2004-09-10

Similar Documents

Publication Publication Date Title
Liu et al. A no-reference metric for perceived ringing artifacts in images
Ong et al. A no-reference quality metric for measuring image blur
EP0940996B1 (en) A method, an arrangement, an ASIC and their use for objective assessment of video quality
Li et al. Full-reference video quality assessment by decoupling detail losses and additive impairments
Martini et al. Image quality assessment based on edge preservation
JP2006505853A (ja) 画像又は映像の品質を評価する品質志向重要度マップの生成方法
US20110007968A1 (en) Image evaluation method, image evaluation system and program
Feng et al. Saliency inspired full-reference quality metrics for packet-loss-impaired video
Attar et al. Image quality assessment using edge based features
Bong et al. Blind image blur assessment by using valid reblur range and histogram shape difference
Freitas et al. Using multiple spatio-temporal features to estimate video quality
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
Narasimhan et al. A comparison of contrast enhancement techniques in poor illuminated gray level and color images
Wang et al. Screen content image quality assessment with edge features in gradient domain
Ong et al. No-reference JPEG-2000 image quality metric
US20040175056A1 (en) Methods and systems for objective measurement of video quality
US6707943B2 (en) Method of monitoring the quality of distributed digital images by detecting false contours
JP2010124104A (ja) 映像の客観画質評価装置
Shoham et al. A novel perceptual image quality measure for block based image compression
KR100525467B1 (ko) 동영상 화질 평가장치 및 방법
CN109587474B (zh) 基于失真恢复度的无参考视频质量评价方法及装置
US7102667B2 (en) Picture quality diagnostics for revealing cause of perceptible impairments
Joy et al. RECENT DEVELOPMENTS IN IMAGE QUALITY ASSESSMENT ALGORITHMS: A REVIEW.
Guo et al. Gabor difference analysis of digital video quality
Rohaly et al. Comparison of temporal pooling methods for estimating the quality of complex video sequences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120919

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190916

Year of fee payment: 15