KR20220140669A - Method and apparatus for measuring image quality base on perceptual sensitivity - Google Patents
Method and apparatus for measuring image quality base on perceptual sensitivity Download PDFInfo
- Publication number
- KR20220140669A KR20220140669A KR1020220126225A KR20220126225A KR20220140669A KR 20220140669 A KR20220140669 A KR 20220140669A KR 1020220126225 A KR1020220126225 A KR 1020220126225A KR 20220126225 A KR20220126225 A KR 20220126225A KR 20220140669 A KR20220140669 A KR 20220140669A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- distortion
- image
- original image
- temporal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008825 perceptual sensitivity Effects 0.000 title abstract description 9
- 230000002123 temporal effect Effects 0.000 claims abstract description 117
- 230000035945 sensitivity Effects 0.000 claims abstract description 57
- 230000008447 perception Effects 0.000 claims abstract description 27
- 238000009795 derivation Methods 0.000 claims 4
- 238000004364 calculation method Methods 0.000 abstract description 23
- 238000004458 analytical method Methods 0.000 abstract description 18
- 230000001149 cognitive effect Effects 0.000 description 39
- 238000012545 processing Methods 0.000 description 37
- 230000006870 function Effects 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
아래의 실시예들은 영상 처리를 위한 방법 및 장치에 관한 것으로 보다 상세히는 인지 민감도를 고려하는 영상의 화질을 측정하기 위한 방법 및 장치가 개시된다.The following embodiments relate to a method and apparatus for image processing, and in more detail, a method and apparatus for measuring image quality in consideration of cognitive sensitivity are disclosed.
정보 통신 산업의 지속적인 발달을 통해 HD(High Definition) 해상도를 가지는 방송 서비스가 세계적으로 확산되었다. 이러한 확산을 통해, 많은 사용자들이 고해상도이며 고화질인 영상(image) 및/또는 비디오(video)에 익숙해지게 되었다.With the continuous development of the information and communication industry, a broadcasting service having a high definition (HD) resolution has spread worldwide. Through this proliferation, many users have become accustomed to high-resolution and high-definition images and/or videos.
높은 화질에 대한 사용자들의 수요를 만족시키기 위하여, 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다. 에이치디티브이(High Definition TV; HDTV) 및 풀에이치디(Full HD; FHD) TV뿐만 아니라, FHD TV에 비해 4배 이상의 해상도를 갖는 울트라에이치디(Ultra High Definition; UHD) TV에 대한 사용자들의 관심이 증대하였고, 이러한 관심의 증대에 따라, 더 높은 해상도 및 화질을 갖는 영상에 대한 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다. 또한, 영상 서비스에 있어서, 영상의 "화질"이 매우 중요한 경쟁력이 되고 있다.In order to satisfy users' demand for high image quality, many organizations are spurring the development of next-generation imaging devices. User interest in High Definition TV (HDTV) and Full HD (FHD) TV, as well as Ultra High Definition (UHD) TV, which has a resolution four times higher than that of FHD TV has increased, and with this increase in interest, image encoding/decoding technology for an image having higher resolution and image quality is required. In addition, in the video service, the "quality" of the video is becoming a very important competitive edge.
영상의 화질과 관련된 연구분야로서, 제한된 용량 하에서 최적의 화질을 제공해야 하는 영상 압축 분야나, 영상의 화질을 향상시키는 초해상도 영상 처리 분야 등이 있다.As research fields related to image quality, there are image compression fields that must provide optimal image quality under limited capacity, and super-resolution image processing fields that improve image quality.
영상 압축 및 영상 처리 분야에서는, 개발된 기술의 성능 여부를 검증하기 위해, 또는 개발된 기술 내에서의 모드 선택 등을 위해 화질을 나타내는 지표가 요구된다. 또한, 이러한 지표가 주관적 화질 성능을 잘 반영할수록 개발된 기술이 우수한 주관적 화질 성능을 제공할 수 있다.In the field of image compression and image processing, an index indicating image quality is required to verify the performance of the developed technology or to select a mode within the developed technology. In addition, as these indicators better reflect subjective image quality performance, the developed technology can provide superior subjective image quality performance.
기존의 평균 제곱 오차(Mean Squared Error; MSE), 최대 신호 대 잡음 비(Peak Signal to Noise Ratio; PSNR) 및 구조적 유사성(Structural SIMilarity; SSIM) 등과 같은 전체 참조(full reference) 화질 지표들은 원본 영상 및 타겟 영상 간의 차이를 측정하는 방법으로, 직관적이라는 장점을 갖지만 지표에 따라 측정된 값 및 인지 화질 간에 큰 차이가 있는 경우가 발생하며, 서로 다른 특성을 갖는 영상들 간의 비교에 있어서 상대적으로 낮은 정확성을 보인다는 단점을 갖는다.Full reference quality indicators such as the conventional Mean Squared Error (MSE), Peak Signal to Noise Ratio (PSNR) and Structural SIMilarity (SSIM) As a method of measuring the difference between target images, although it has the advantage of being intuitive, there is a case where there is a large difference between the measured value and the perceived image quality according to the index, and relatively low accuracy in comparison between images with different characteristics It has the disadvantage of being visible.
일 실시예는 영상 내의 다양한 시간적 특징 정보 및 공간적 특징 정보를 추출하고, 추출된 특징 정보에 적합한 인지 민감도 기반 가중치를 적용하여 영상의 화질을 예측하는 장치 및 방법을 제공할 수 있다.An embodiment may provide an apparatus and method for extracting various temporal feature information and spatial feature information from an image, and predicting image quality by applying a weight based on cognitive sensitivity suitable to the extracted feature information.
일 실시예는 영상 내에서 인지적 관점에서 민감한 영역을 판별하고, 판별된 영역에서의 시간적 왜곡 및 공간적 왜곡을 고려하는 지표를 생성하는 장치 및 방법을 제공할 수 있다.An embodiment may provide an apparatus and method for discriminating a sensitive region from a perceptual point of view within an image and generating an index in consideration of temporal distortion and spatial distortion in the determined region.
일 실시예는 영상의 실제의 인지 화질과 유사한 성향을 갖고, 서로 상이한 특성들의 영상들 간의 비교에 있어서도 신뢰성을 지표를 계산하는 장치 및 방법을 제공할 수 있다.An embodiment may provide an apparatus and method for calculating a reliability index even in comparison between images having similar characteristics to the actual perceived quality of an image and having different characteristics.
일 측면에 있어서, 원본 영상의 공간적 특징 정보, 비교 영상의 공간적 특징 정보 및 상기 원본 영상의 공간적 인지 민감도 기반 정보에 기반하여 공간적 왜곡 정보를 생성하는 공간적 왜곡 분석부; 상기 원본 영상의 시간적 특징 정보, 상기 비교 영상의 시간적 특징 정보 및 상기 원본 영상의 시간적 인지 민감도 기반 정보에 기반하여 공간적 왜곡 정보를 생성하는 시간적 왜곡 분석부; 및 상기 시간적 왜곡 정보 및 상기 공간적 왜곡 정보에 기반하여 주관적 화질에 대한 화질 지표를 생성하는 지표 계산부를 포함하는, 전자 장치가 제공된다.In one aspect, there is provided a spatial distortion analyzer for generating spatial distortion information based on spatial characteristic information of the original image, spatial characteristic information of the comparison image, and spatial perception sensitivity-based information of the original image; a temporal distortion analyzer for generating spatial distortion information based on temporal characteristic information of the original image, temporal characteristic information of the comparison image, and temporal recognition sensitivity-based information of the original image; and an index calculator configured to generate a picture quality index for subjective picture quality based on the temporal distortion information and the spatial distortion information.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 장치, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition to this, another method, apparatus, system for implementing the present invention, and a computer readable recording medium for recording a computer program for executing the method are further provided.
영상 내의 다양한 시간적 특징 정보 및 공간적 특징 정보를 추출하고, 추출된 특징 정보에 적합한 인지 민감도 기반 가중치를 적용하여 영상의 화질을 예측하는 장치 및 방법이 제공된다.An apparatus and method are provided for extracting various temporal and spatial characteristic information from an image, and predicting image quality by applying a weight based on cognitive sensitivity suitable to the extracted feature information.
영상 내에서 인지적 관점에서 민감한 영역을 판별하고, 판별된 영역에서의 시간적 왜곡 및 공간적 왜곡을 고려하는 지표를 생성하는 장치 및 방법이 제공된다.An apparatus and method are provided for discriminating a sensitive region from a cognitive point of view within an image and generating an index that considers temporal distortion and spatial distortion in the discriminated region.
영상의 실제의 인지 화질과 유사한 성향을 갖고, 서로 상이한 특성들의 영상들 간의 비교에 있어서도 신뢰성을 지표를 계산하는 장치 및 방법이 제공된다.An apparatus and method for calculating an index of reliability even in comparison between images having different characteristics and having a similar tendency to the actual perceived image quality of an image are provided.
도 1은 일 실시예에 따른 전자 장치의 구조를 나타낸다.
도 2는 일 예에 따른 처리부의 구조를 나타낸다.
도 3은 일 실시예에 따른 화질에 대한 지표를 도출하는 방법의 흐름도이다.
도 4는 일 예에 따른 픽셀의 우세한 각도에 의해 픽셀이 강한 HV 픽셀로 판단되지 않음을 나타낸다.
도 5는 일 예에 따른 픽셀의 우세한 각도에 의해 픽셀이 강한 HV 픽셀로 판단됨을 나타낸다.
도 6은 일 예에 따른 HV 평면에 대한 왜곡의 정도 및 실제의 인지 화질 간의 비교를 나타낸다.
도 7은 일 예에 따른 인지적 관점에 따라 블록 아티팩트로 인한 왜곡의 정도를 판별하는 방법을 나타낸다.
도 8은 일 예에 따른 영상의 공간적 프레임 및 시간적 프레임을 나타낸다.
도 9는 일 예에 따른 시간적 프레임들 중 행 평면을 나타낸다.
도 10는 일 예에 따른 시간적 프레임들의 열 평면에 대한 왜곡의 정도에 인지 민감도 기반 가중치를 적용하는 것을 나타낸다.1 illustrates a structure of an electronic device according to an exemplary embodiment.
2 illustrates a structure of a processing unit according to an example.
3 is a flowchart of a method of deriving an index for image quality according to an embodiment.
4 illustrates that a pixel is not determined as a strong HV pixel by a dominant angle of the pixel according to an example.
5 illustrates that a pixel is determined to be a strong HV pixel by a dominant angle of the pixel according to an example.
6 illustrates a comparison between the degree of distortion on the HV plane and actual perceived image quality according to an example.
7 illustrates a method of determining a degree of distortion due to block artifacts according to a cognitive viewpoint according to an example.
8 illustrates a spatial frame and a temporal frame of an image according to an example.
9 illustrates a row plane among temporal frames according to an example.
10 illustrates applying a cognitive sensitivity-based weight to a degree of distortion with respect to a column plane of temporal frames according to an example.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. It should be understood that embodiments are different but need not be mutually exclusive.
실시예들에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석될 수 있다.Terms used in the embodiments may be interpreted based on the actual meaning of the terms and the contents of the present specification rather than the simple names of terms.
실시예들에서, 특정 부분과 다른 부분에 대한 연결관계는, 양자의 직접적인 연결관계 이외에, 그 사이에 또 다른 부분을 거쳐 연결되는 간접적인 연결관계를 포함할 수 있다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낼 수 있다.In embodiments, the connection relationship between the specific part and the other part may include an indirect connection relationship between the specific part and the other part via another part in addition to the direct connection relationship between the two parts. The same reference numerals provided in each figure may refer to the same member.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0014] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0016] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects. The shapes and sizes of elements in the drawings may be exaggerated for clearer description.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.
후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0014] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which illustrate specific embodiments by way of example. These embodiments are described in sufficient detail to enable those skilled in the art to practice the embodiments. It should be understood that various embodiments are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be implemented in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the embodiment. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of exemplary embodiments, if properly described, is limited only by the appended claims, along with all scope equivalents to those as claimed.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects. The shapes and sizes of elements in the drawings may be exaggerated for clearer description.
실시예에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 실시예에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않으며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다. 어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.Terms used in the examples are for describing the examples and are not intended to limit the present invention. In embodiments, the singular also includes the plural unless the phrase specifically dictates otherwise. As used herein, “comprises” and/or “comprising” refers to the presence of one or more other components, steps, operations and/or elements mentioned. Or addition is not excluded, and it means that an additional configuration may be included in the scope of the technical spirit of the exemplary embodiments or the practice of the exemplary embodiments. When a component is referred to as being “connected” or “connected” to another component, the two components may be directly connected or connected to each other, but in the above 2 It should be understood that other components may exist in the middle of the components.
제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기의 구성요소들은 상기의 용어들에 의해 한정되어서는 안 된다. 상기의 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하여 지칭하기 위해서 사용된다. 예를 들어, 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the above components should not be limited by the above terms. The above terms are used to refer to one component as distinct from another component. For example, without departing from the scope of rights, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
또한, 실시예들에 나타나는 구성요소들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성요소가 분리된 하드웨어나 하나의 소프트웨어 구성 단위로만 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열된 것이다. 예를 들면, 구성요소들 중 적어도 두 개의 구성요소들이 하나의 구성요소로 합쳐질 수 있다. 또한, 하나의 구성요소가 복수의 구성요소들로 나뉠 수 있다. 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예 또한 본질에서 벗어나지 않는 한 권리범위에 포함된다.In addition, components shown in the embodiments are shown independently to represent different characteristic functions, and it does not mean that each component is made of separate hardware or only one software component unit. That is, each component is listed as each component for convenience of description. For example, at least two components among the components may be combined into one component. Also, one component may be divided into a plurality of components. Integrated embodiments and separate embodiments of each of these components are also included in the scope of rights without departing from the essence.
또한, 일부의 구성요소는 본질적인 기능을 수행하는 필수적인 구성요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성요소일 수 있다. 실시예들은 실시예의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 예를 들면, 단지 성능 향상을 위해 사용되는 구성요소와 같은, 선택적 구성요소가 제외된 구조 또한 권리 범위에 포함된다.In addition, some of the components are not essential components to perform essential functions, but may be optional components only to improve performance. Embodiments may be implemented including only components essential for implementing the essence of the embodiment, and for example, structures in which optional components are excluded, such as components used only to improve performance, are also included in the scope of rights.
이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시예들을 상세히 설명하기로 한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, the embodiments will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily implement the embodiments. In describing the embodiments, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present specification, the detailed description thereof will be omitted.
실시예는 비디오에 대한 인지 화질을 측정하는 지표에 관한 것으로, 영상 내 다양한 시간적 특징 정보 및 공간적 특징 정보를 추출하고, 추출된 특징 정보들에 적합한 인지 민감도 기반 가중치를 적용함으로써 영상의 화질을 예측할 수 있다.The embodiment relates to an index for measuring the perceived quality of a video, and it is possible to predict the quality of an image by extracting various temporal characteristic information and spatial characteristic information from an image, and applying a weighting based on cognitive sensitivity appropriate to the extracted characteristic information. have.
이러한 제안된 지표는 영상 내에서 인지적 관점에서 민감한 영역을 판별하고, 판별된 영역에서의 시간적 왜곡 및 공간적 왜곡을 고려하기 때문에, 영상에 대해 계산된 지표가 영상의 실제의 인지 화질과 유사한 성향을 가질 수 있다. 따라서, 제안된 지표는 서로 상이한 특성들의 영상들 간의 비교에 있어서도 신뢰성을 가질 수 있다.Since these proposed indexes discriminate sensitive areas from a cognitive point of view within the image, and consider temporal and spatial distortions in the identified areas, the index calculated for the image shows a tendency similar to the actual perceived quality of the image. can have Therefore, the proposed index can have reliability even in comparison between images of different characteristics.
도 1은 일 실시예에 따른 전자 장치의 구조를 나타낸다.1 illustrates a structure of an electronic device according to an exemplary embodiment.
전자 장치(100)는 처리부(110), 통신부(120) 및 저장부(130)의 적어도 일부를 구성요소들로서 포함할 수 있다. 구성요소들은 하나 이상의 통신 버스 또는 신호 선을 통해 서로 간에 통신할 수 있다.The
전자 장치(100)는 영상의 화질에 대한 지표를 도출하는 영상 처리 장치일 수 있다.The
도 1에서 전자 장치(100)에 대하여 도시된 구성요소들은 단지 일 예일 수 있다. 도시된 구성요소들의 모두가 전자 장치(100)에 대하여 필수적인 것은 아닐 수 있다. 전자 장치(100)는 도 1에서 도시된 것에 비해 더 많거나 더 적은 구성요소들을 가질 수 있다. 또한, 도 1에서 도시된 2 개 이상의 구성요소들은 결합될 수 있다. 또한, 구성요소들은 도 1에서 도시된 것에 비해 다르게 구성(configure)되거나 배치될 수 있다. 각 구성요소는 하나 이상의 신호 프로세싱 및/또는 주문형 반도체(Application Specific Integrated Circuit; ASIC) 등을 비롯한 하드웨어로 구현되거나, 소프트웨어로 구현되거나, 하드웨어 및 소프트웨어의 조합으로 구현될 수 있다.Components illustrated for the
처리부(110)는 전자 장치(100)의 동작을 위해 요구되는 작업을 처리할 수 있다. 처리부(110)는 실시예들에서 설명되는 처리부(110)의 동작 또는 단계의 코드를 실행(execute)할 수 있다.The
처리부(110)는 전자 장치(100)로 입력되거나, 전자 장치(100)에서 출력되거나, 전자 장치(100)에서 발생한 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(110)에 의해 수행될 수 있다.The
예를 들면, 처리부(110)는 적어도 하나의 프로세서(processor)일 수 있다.For example, the
프로세서는 하드웨어 프로세서일 수 있고, 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서는 복수일 수 있다. 또는, 프로세서는 복수의 코어(core)들을 포함할 수 있으며, 복수의 프로세스들 및/또는 복수의 쓰레드들을 동시에 실행하는 멀티-테스킹(multi-tasking)을 제공할 수 있다. 복수의 프로세서들, 복수의 코어들, 복수의 프로세스들 및/또는 복수의 쓰레드들을 통해 실시예들의 단계들 중 적어도 일부는 복수의 대상들에 대해 병렬로 수행될 수 있다.The processor may be a hardware processor, or a central processing unit (CPU). There may be a plurality of processors. Alternatively, the processor may include a plurality of cores, and may provide multi-tasking for simultaneously executing a plurality of processes and/or a plurality of threads. At least some of the steps of the embodiments may be performed in parallel for a plurality of objects via a plurality of processors, a plurality of cores, a plurality of processes and/or a plurality of threads.
예를 들면, 처리부(110)는 실시예들에서 설명되는 전자 장치(100)의 동작 또는 단계의 코드를 실행할 수 있다.For example, the
예를 들면, 처리부(110)는 프로그램(program)을 구동(run)할 수 있다. 처리부(110)는 프로그램을 구성하는 코드(code)를 실행할 수 있다. 프로그램은 전자 장치(100)의 운영 체제(Operating System; OS), 시스템 프로그램(system program), 어플리케이션(application) 및 앱(app)을 포함할 수 있다.For example, the
또한, 처리부(110)는 앞서 설명된 처리부(110)의 기능을 위해 전자 장치(100)의 다른 구성요소들을 제어할 수 있다.Also, the
통신부(120)는 전자 장치(100)의 동작을 위해 사용되는 데이터 또는 정보를 수신할 수 있으며, 전자 장치(100)의 동작을 위해 사용되는 데이터 또는 정보를 전송할 수 있다. The
통신부(120)는 전자 장치(100)가 연결된 네트워크 내의 다른 장치로 데이터 또는 정보를 전송할 수 있고, 다른 장치로부터 데이터 또는 정보를 수신할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 전송 또는 수신은 통신부(120)에 의해 수행될 수 있다.The
예를 들면, 통신부(120)는 네트워킹 칩(chip), 네트워킹 인터페이스(interface) 또는 통신 포트(port)일 수 있다.For example, the
저장부(130)는 전자 장치(100)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 전자 장치(100)가 갖는 데이터 또는 정보는 저장부(130) 내에 저장될 수 있다.The
예를 들면, 저장부(130)는 메모리(memory)일 수 있다. 저장부(130)는 램(RAM) 및 플레시(flash) 메모리 등과 같은 내장형의 저장 매체를 포함할 수 있고, 메모리 카드 등과 같은 탈착가능한 저장 매체를 포함할 수 있다.For example, the
저장부(130)는 적어도 하나의 프로그램을 저장할 수 있다. 처리부(110)는 적어도 하나의 프로그램을 실행할 수 있다. 처리부(110)는 저장부(130)로부터 적어도 하나의 프로그램의 코드를 독출(read)할 수 있고, 독출된 코드를 실행할 수 있다.The
전자 장치(100)의 처리부(110), 통신부(120) 및 저장부(130)의 동작, 기능 및 특징에 대해서 실시예들을 참조하여 아래에서 상세하게 설명된다.Operations, functions, and features of the
도 2는 일 예에 따른 처리부의 구조를 나타낸다.2 illustrates a structure of a processing unit according to an example.
처리부(110)는 영상 특징 정보 추출부(210), 공간적 인지 민감도 계산부(220), 시간적 인지 민감도 계산부(230), 공간적 왜곡 분석부(240), 시간적 왜곡 분석부(250) 및 지표 계산부(260)를 포함할 수 있다.The
또는, 영상 특징 정보 추출부(210), 공간적 인지 민감도 계산부(220), 시간적 인지 민감도 계산부(230), 공간적 왜곡 분석부(240), 시간적 왜곡 분석부(250) 및 지표 계산부(260)는 처리부(210)에 의해 수행되는 적어도 하나의 프로그램, 적어도 하나의 프로그램의 일부 또는 적어도 하나의 모듈들일 수 있다.Alternatively, the image feature
영상 특징 정보 추출부(210), 공간적 인지 민감도 계산부(220) 및 시간적 인지 민감도 계산부(230)로는 원본 영상이 입력될 수 있다.An original image may be input to the image feature
영상 특징 정보 추출부(210)로는 비교 영상이 입력될 수 있다.A comparison image may be input to the image feature
영상 특징 정보 추출부(210)로부터 출력된 원본 영상의 공간적 특징 정보 및 비교 영상의 공간적 특징 정보는 공간적 왜곡 분석부(240)로 입력될 수 있다.The spatial characteristic information of the original image and spatial characteristic information of the comparison image output from the image characteristic
영상 특징 정보 추출부(210)로부터 출력된 원본 영상의 시간적 특징 정보 및 비교 영상의 시간적 특징 정보는 시간적 왜곡 분석부(250)로 입력될 수 있다.The temporal characteristic information of the original image and temporal characteristic information of the comparison image output from the image characteristic
지표 계산부(260)로부터는 화질 지표가 출력될 수 있다.An image quality index may be output from the
영상 특징 정보 추출부(210), 공간적 인지 민감도 계산부(220), 시간적 인지 민감도 계산부(230), 공간적 왜곡 분석부(240), 시간적 왜곡 분석부(250) 및 지표 계산부(260)의 구체적인 동작 및 기능에 대해서 아래에서 더 상세하게 설명된다.of the image feature
도 3은 일 실시예에 따른 화질에 대한 지표를 도출하는 방법의 흐름도이다.3 is a flowchart of a method of deriving an index for image quality according to an embodiment.
통신부(120)는 원본 영상 및 비교 영상을 수신할 수 있다.The
비교 영상은 부호화된 영상일 수 있다. 또는, 비교 영상은 네트워크를 통해 전송된 영상이나, 특정된 영상 처리가 적용된 영상일 수 있다. 또는, 비교 영상은 손상된 영상일 수 있다.The comparison image may be an encoded image. Alternatively, the comparison image may be an image transmitted through a network or an image to which a specified image processing is applied. Alternatively, the comparison image may be a damaged image.
단계(310)에서, 영상 특징 정보 추출부(210)는 원본 영상의 공간적 특징 정보, 비교 영상의 공간적 특징 정보, 원본 영상의 시간적 특징 정보 및 비교 영상의 시간적 특징 정보를 생성할 수 있다.In
원본 영상의 공간적 특징 정보는 원본 영상의 SI 평면 및 HV 평면을 포함할 수 있다.The spatial feature information of the original image may include an SI plane and an HV plane of the original image.
비교 영상의 공간적 특징 정보는 비교 영상의 SI 평면 및 HV 평면을 포함할 수 있다.The spatial feature information of the comparison image may include an SI plane and an HV plane of the comparison image.
영상 특징 정보 추출부(210)는 아래의 수식 1과 같이 정의된 공간적 정보(spatial information) 필터를 사용하여 영상의 공간적 특징 정보를 생성할 수 있다.The image
[수식 1][Formula 1]
h(x)는 영상의 x 번째 픽셀에 대한 필터 계수 값일 수 있다. 필터의 크기(size)가 L인 경우 x의 값의 범위는 -L/2부터 L/2까지 일 수 있다.h(x) may be a filter coefficient value for the x-th pixel of the image. When the size of the filter is L, the value of x may range from -L/2 to L/2.
또는, 영상 특징 정보 추출부(210)는 영상의 구조(structure) 정보를 알 수 있는 다양한 엣지 추출 필터를 사용하여 영상의 공간적 특징 정보를 생성할 수 있다.Alternatively, the image
이러한 필터를 영상의 가로 방향 및 세로 방향으로 적용함으로써 획득된 평면(plane)을 각각 I H 및 I V 라고 칭할 수 있다.A plane obtained by applying such a filter in the horizontal and vertical directions of the image may be referred to as I H and I V , respectively.
또한, SI 평면은 아래의 수식 2와 같이 정의될 수 있다.Also, the SI plane may be defined as in Equation 2 below.
[수식 2][Equation 2]
SI 평면은 영상 내의 우세한 구조에 대한 정보를 포함할 수 있다. 따라서, SI 평면은 영상의 인지 화질의 예측에 있어서 유의미하게 활용될 수 있는 공간적 특징 정보일 수 있다.The SI plane may include information about the dominant structure in the image. Accordingly, the SI plane may be spatial feature information that can be significantly utilized in predicting the perceived quality of an image.
영상 특징 정보 추출부(210)는 SI 평면과 더불어 영상 내의 수직 성분 및 수평 성분이 유독 강한 엣지들을 판별하는 수평-수직(Horizontal-Vertical; HV) 평면을 구할 수 있다. 영상 특징 정보 추출부(210)는 HV 평면을 영상의 압축 시 발생하는 블록 아티팩트(block artifact)로 인한 왜곡의 정도를 예측하는데 활용할 수 있다.The image
HV 평면의 구축에 대해서 아래에서 도 4 및 도 5를 참조하여 상세하게 설명된다.The construction of the HV plane will be described in detail below with reference to FIGS. 4 and 5 .
원본 영상의 시간적 특징 정보는 원본 영상의 시간적 프레임 정보를 포함할 수 있다. 대상 영상의 시간적 특징 정보는 대상 영상의 시간적 프레임 정보를 포함할 수 있다.The temporal characteristic information of the original image may include temporal frame information of the original image. The temporal characteristic information of the target image may include temporal frame information of the target image.
단계(320)에서, 공간적 인지 민감도 계산부(220)는 원본 영상을 사용하여 원본 영상에 대한 공간적 인지 민감도 기반 정보를 생성할 수 있다.In
원본 영상에 대한 공간적 인지 민감도 기반 정보는 원본 영상에 대한 공간적 인지 민감도 기반 가중치 맵(map)을 포함할 수 있다.The spatial perception sensitivity-based information on the original image may include a spatial perception sensitivity-based weight map for the original image.
단계(330)에서, 시간적 인지 민감도 계산부(230)는 원본 영상을 사용하여 원본 영상에 대한 시간적 인지 민감도 기반 정보를 생성할 수 있다.In
시간적 인지 민감도 기반 정보는 원본 영상에 대한 시간적 인지 민감도 기반 가중치 맵을 포함할 수 있다.The temporal perceptual sensitivity-based information may include a temporal perceptual sensitivity-based weight map for the original image.
시간적 인지 민감도 계산부(230)는 원본 영상의 인지 특성을 고려하여 원본 영상의 중심부의 움직임이 큰 영역을 판별할 수 있다. 시간적 인지 민감도 계산부(230)는 판별된 움직임이 큰 영역에 대한 정보를 생성할 수 있다.The temporal
시간적 인지 민감도 기반 정보는 움직임이 큰 영역에 대한 정보를 포함할 수 있다.The temporal recognition sensitivity-based information may include information on a region with a large movement.
시간적 인지 민감도 계산부(230)는 원본 영상의 중심부의 움직임이 큰 영역을 판별하기 위해서 원본 영상의 인접한 프레임들 간의 잔차(residual)(또는, 차이(difference)) 영상을 생성할 수 있다.The temporal
원본 영상의 중심부에 가중치를 주기 위해서, 시간적 인지 민감도 계산부(230)는 수식 3과 같은 가우시안 분포의 가중치 함수를 인접한 프레임들 간의 잔차 영상에 곱할 수 있다.In order to give a weight to the center of the original image, the temporal
[수식 3][Equation 3]
N은 행들의 총 개수 또는 열들의 총 개수일 수 있다. n은 현재의 대상인 행 또는 열일 수 있다.N may be the total number of rows or the total number of columns. n may be the row or column that is the current object.
시간적 인지 민감도 계산부(230)는 잔차 영상을 사용하여 원본 영상의 중심부의 움직임이 큰 영역을 판별할 수 있다.The temporal
단계(340)에서, 공간적 왜곡 분석부(240)는 영상 특징 정보 추출부(210)로부터 원본 영상의 공간적 특징 정보 및 비교 영상의 공간적 특징 정보를 수신할 수 있다.In
원본 영상의 공간적 특징 정보는 원본 영상의 SI 평면 및 HV 평면을 포함할 수 있다.The spatial feature information of the original image may include an SI plane and an HV plane of the original image.
비교 영상의 공간적 특징 정보는 비교 영상의 SI 평면 및 HV 평면을 포함할 수 있다.The spatial feature information of the comparison image may include an SI plane and an HV plane of the comparison image.
또한, 공간적 왜곡 분석부(240)는 공간적 인지 민감도 계산부(220)로부터 원본 영상에 대한 인지 민감도 기반 정보를 수신할 수 있다.Also, the
원본 영상에 대한 인지 민감도 기반 정보는 원본 영상에 대한 공간적 인지 민감도 기반 가중치 맵 등을 포함할 수 있다.The perceptual sensitivity-based information on the original image may include a spatial perceptual sensitivity-based weight map with respect to the original image.
공간적 왜곡 분석부(240)는 원본 영상의 공간적 특징 정보, 비교 영상의 공간적 특징 정보 및 원본 영상에 대한 인지 민감도 기반 정보에 기반하여 공간적 왜곡 정보를 생성할 수 있다.The
공간적 왜곡 분석부(240)는 원본 영상의 공간적 특징 정보, 비교 영상의 공간적 특징 정보 및 원본 영상에 대한 인지 민감도 기반 정보에 기반하여 공간적 왜곡의 정도를 분석할 수 있고, 공간적 왜곡의 정도에 관련된 수치들을 생성할 수 있다.The
공간적 왜곡 정보는 공간적 왜곡의 정도에 대한 분석의 결과를 포함할 수 있고, 공간적 왜곡의 정도에 관련된 수치들을 포함할 수 있다.The spatial distortion information may include a result of analysis on the degree of spatial distortion, and may include numerical values related to the degree of spatial distortion.
공간적 왜곡 분석부(240)는 원본 영상의 SI 평면 및 비교 영상의 SI 평면 간의 비교를 수행하여 원본 영상의 SI 평면 및 비교 영상의 SI 평면 간의 차이의 정도를 도출할 수 있다.The
원본 영상의 SI 평면 및 비교 영상의 SI 평면 간의 차이의 정도는 영상들에서의 전반적인 선명도의 하락 또는 향상의 정도를 나타낼 수 있다.The degree of difference between the SI plane of the original image and the SI plane of the comparison image may indicate a degree of decrease or improvement of overall sharpness in the images.
공간적 왜곡 분석부(240)는 원본 영상의 HV 평면 및 비교 영상의 HV 평면 간의 비교를 수행하여 원본 영상의 HV 평면 및 비교 영상의 HV 평면 간의 차이의 정도를 도출할 수 있다.The
원본 영상의 HV 평면 및 비교 영상의 HV 평면 간의 차이의 정도는 영상들에서의 블록 아티팩트의 발생의 정도를 나타낼 수 있다.A degree of a difference between the HV plane of the original image and the HV plane of the comparison image may indicate a degree of occurrence of block artifacts in the images.
영상들의 평면들을 비교함에 있어서, 영상들 간의 차이의 정도는 영상들 간의 차이 값일 수 있다. 말하자면, 영상들의 평면들을 비교하여 영상들 간의 차이의 정도를 도출하는 것은 영상들 간의 차이 값을 계산하는 것일 수 있다.In comparing the planes of the images, the degree of difference between the images may be a difference value between the images. In other words, deriving the degree of difference between the images by comparing the planes of the images may be calculating a difference value between the images.
또한, 영상들 간의 차이의 정도는 아래의 수식 4와 같은 비율 비교 함수를 이용하여 도출될 수 있다.Also, the degree of difference between the images may be derived using a ratio comparison function as in Equation 4 below.
[수식 4][Equation 4]
또한, 영상들 간의 차이의 정도는 아래의 수식 5와 같은 로그(log) 비교 함수를 이용하여 도출될 수 있다.Also, the degree of difference between the images may be derived using a log comparison function as in Equation 5 below.
[수식 5][Equation 5]
fo는 원본 영상의 SI 평면 값 또는 HV 평면 값일 수 있다.f o may be an SI plane value or an HV plane value of the original image.
fp는 비교 영상의 SI 평면 값 또는 HV 평면 값일 수 있다.f p may be an SI plane value or an HV plane value of a comparison image.
상기의 비율 비교 함수 및 로그 비교 함수는 영상에서 나타나는 시각적 마스킹(visual masking) 효과를 일정한 수준에서 반영할 수 있다. 이러한 시각적 마스킹은 원본 영상 내에서 특정된 영역의 복잡도가 큰 경우, SI 평면 또는 HV 평면에서 나타나는 특정된 영역에서의 차이의 정도가 인지적으로 덜 드러남을 의미할 수 있다.The ratio comparison function and log comparison function may reflect a visual masking effect appearing in an image at a certain level. Such visual masking may mean that when the complexity of the specified region in the original image is high, the degree of difference in the specified region appearing in the SI plane or the HV plane is less perceptually revealed.
HV 평면에 대한 왜곡의 정도 및 실제의 인지 화질 간의 비교에 대해서 아래에서 도 6 및 도 7을 참조하여 더 상세하게 설명된다.A comparison between the degree of distortion on the HV plane and the actual perceived picture quality will be described in more detail below with reference to FIGS. 6 and 7 .
공간적 왜곡 정보는 HV 평면 왜곡 정보 및 SI 평면 왜곡 정보를 포함할 수 있다. 공간적 왜곡 분석부(240)는 HV 평면 왜곡 정보 및 SI 평면 왜곡 정보를 지표 계산부(260)로 전달할 수 있다.The spatial distortion information may include HV plane distortion information and SI plane distortion information. The
HV 평면 왜곡 정보는 HV 평면에 대한 왜곡의 정도를 나타내는 정보일 수 있다. HV 평면 왜곡 정보는 HV 평면에 대한 왜곡의 정도가 가중치 평균(weighted average) 또는 백분위수(percentile) 등을 통해 하나의 대표 숫자로 변환된 것일 수 있다. 또는, HV 평면에 대한 왜곡의 정도가 평면 형태 그대로 HV 평면 왜곡 정보로서 사용 및 전달될 수 있다.The HV plane distortion information may be information indicating a degree of distortion with respect to the HV plane. In the HV plane distortion information, the degree of distortion on the HV plane may be converted into one representative number through a weighted average or a percentile. Alternatively, the degree of distortion with respect to the HV plane may be used and transmitted as HV plane distortion information as it is in a planar form.
SI 평면 왜곡 정보는 SI 평면에 대한 왜곡의 정도를 나타내는 정보일 수 있다. SI 평면 왜곡 정보는 SI 평면에 대한 왜곡의 정도가 가중치 평균 또는 백분위수 등을 통해 하나의 대표 숫자로 변환된 것일 수 있다. 또는, SI 평면에 대한 왜곡의 정도가 평면 형태 그대로 SI 평면 왜곡 정보로서 사용 및 전달될 수 있다.The SI plane distortion information may be information indicating a degree of distortion with respect to the SI plane. The SI plane distortion information may be one in which the degree of distortion on the SI plane is converted into one representative number through a weighted average or percentile. Alternatively, the degree of distortion with respect to the SI plane may be used and transmitted as SI plane distortion information as it is in a planar form.
단계(350)에서, 시간적 왜곡 분석부(250)는 영상 특징 정보 추출부(210)로부터 원본 영상의 시간적 특징 정보 및 비교 영상의 시간적 특징 정보를 수신할 수 있다.In
원본 영상의 시간적 특징 정보는 원본 영상의 시간적 프레임들을 포함할 수 있다. 비교 영상의 시간적 특징 정보는 비교 영상의 시간적 프레임들을 포함할 수 있다.The temporal characteristic information of the original image may include temporal frames of the original image. The temporal characteristic information of the comparison image may include temporal frames of the comparison image.
시간적 왜곡 분석부(250)는 시간적 인지 민감도 계산부(230)로부터 원본 영상에 대한 시간적 인지 민감도 기반 정보를 수신할 수 있다.The
원본 영상에 대한 시간적 인지 민감도 기반 정보는 원본 영상에 대한 시간적 인지 민감도 기반 가중치 맵을 포함할 수 있다.The temporal perceptual sensitivity-based information on the original image may include a temporal perceptual sensitivity-based weight map for the original image.
시간적 왜곡 분석부(250)는 원본 영상의 시간적 프레임들, 비교 영상의 시간적 프레임들 및 원본 영상에 대한 시간적 인지 민감도 기반 가중치 맵에 기반하여 시간적 왜곡 정보를 생성할 수 있다.The
시간적 왜곡 분석부(250)는 원본 영상의 시간적 프레임들, 비교 영상의 시간적 프레임들 및 원본 영상에 대한 시간적 인지 민감도 기반 가중치 맵에 기반하여 시간적 왜곡의 정도를 분석할 수 있고, 시간적 왜곡의 정도와 관련된 수치들을 지표 계산부(260)로 출력할 수 있다.The
시간적 왜곡 정보는 시간적 왜곡의 정도에 대한 분석의 결과를 포함할 수 있고, 시간적 왜곡의 정도와 관련된 수치들을 포함할 수 있다.The temporal distortion information may include a result of analysis on the degree of temporal distortion, and may include numerical values related to the temporal distortion.
시간적 왜곡 분석부(250)는 원본 영상의 시간적 프레임들 및 비교 영상의 시간적 프레임들을 비교함에 있어서 원본 영상의 시간적 프레임들 및 비교 영상의 시간적 프레임들 간의 차이 값을 계산할 수 있으며, 공간적 왜곡 분석부(250)에서 사용되는 비교 함수들을 포함하는 다양한 기타 지표들을 활용하여 원본 영상의 시간적 프레임들 및 비교 영상의 시간적 프레임들을 비교할 수 있다.In comparing the temporal frames of the original image and the temporal frames of the comparison image, the
시간적 왜곡 분석부(250)는 시간적 인지 민감도 계산부(230)로부터 원본 영상의 중심부의 움직임이 큰 영역에 대한 정보를 수신할 수 있다.The
시간적 왜곡 정보는 움직임이 큰 영역에 대한 정보를 포함할 수 있다.The temporal distortion information may include information on a region in which motion is large.
시간적 왜곡 분석부(250)는 시간적 프레임들의 행 평면에 대한 왜곡의 정도를 계산할 수 있다.The
또한, 시간적 왜곡 분석부(250)는 시간적 프레임들의 열 평면에 대한 왜곡의 정도를 계산할 수 있다.Also, the
프레임들의 행 평면 및 열 평면에 대해서 아래에서 도 8 및 도 9를 참조하여 더 상세하게 설명된다.The row plane and column plane of the frames are described in more detail below with reference to FIGS. 8 and 9 .
시간적 왜곡 분석부(250)는 원본 영상의 중심부의 움직임이 큰 영역에 대한 정보를 사용하여 계산된 행 평면에 대한 왜곡의 정도 및 열 평면에 대한 왜곡의 정도에 대하여 영상의 중심부의 움직임이 많은 영역에 큰 가중치를 부여할 수 있다.The
가중치의 부여에 대해서 아래에서 도 10을 참조하여 더 상세하게 설명된다.The weighting will be described in more detail below with reference to FIG. 10 .
이러한 가중치의 부여에 의해 인지적 관점에서 시간적 특정 정보의 왜곡의 정도가 보다 정확하게 측정될 수 있다.By assigning such weights, the degree of distortion of temporal specific information can be measured more accurately from a cognitive viewpoint.
시간적 왜곡 정보는 계산된 시간적 프레임들의 행 평면 왜곡 정보 및 열 평면 왜곡 정보를 포함할 수 있다.The temporal distortion information may include row plane distortion information and column plane distortion information of the calculated temporal frames.
시간적 왜곡 분석부(250)는 계산된 시간적 프레임들의 행 평면 왜곡 정보 및 열 평면 왜곡 정보를 지표 계산부(160)로 전송할 수 있다.The
행 평면 왜곡 정보는 행 평면에 대한 왜곡의 정도를 나타내는 정보일 수 있다. 행 평면 왜곡 정도는 행 평면에 대한 왜곡의 정도가 가중치 평균(weighted average) 또는 백분위수(percentile) 등을 통해 하나의 대표 숫자로 변환된 것일 수 있다. 또는, 행 평면에 대한 왜곡의 정도가 평면 형태 그대로 행 평면 왜곡 정보로서 사용 및 전달될 수 있다.The row plane distortion information may be information indicating a degree of distortion with respect to the row plane. The row plane distortion degree may be one in which the row plane distortion degree is converted into one representative number through a weighted average or a percentile. Alternatively, the degree of distortion with respect to the row plane may be used and transmitted as row plane distortion information in a planar form.
열 평면 왜곡 정보는 열 평면에 대한 왜곡의 정도를 나타내는 정보일 수 있다. 열 평면 왜곡 정도는 열 평면에 대한 왜곡의 정도가 가중치 평균 또는 백분위수 등을 통해 하나의 대표 숫자로 변환된 것일 수 있다. 또는, 열 평면에 대한 왜곡의 정도가 평면 형태 그대로 열 평면 왜곡 정보로서 사용 및 전달될 수 있다.The column plane distortion information may be information indicating the degree of distortion with respect to the column plane. The degree of column plane distortion may be one in which the degree of distortion with respect to the column plane is converted into one representative number through a weighted average or percentile. Alternatively, the degree of distortion with respect to the column plane may be used and transmitted as column plane distortion information as it is in a planar form.
단계(360)에서, 지표 계산부(260)는 시간적 왜곡 정보 및 공간적 왜곡 정보에 기반하여 주관적 화질에 대한 화질 지표를 생성할 수 있다.In
화질 지표는 주관적 화질을 예측하는 하나의 숫자일 수 있다.The quality index may be a single number predicting subjective image quality.
지표 계산부(260)는 기존의 인지 시각 모델 등에 기반한 가중치를 시간적 왜곡 정보 및/또는 공간적 왜곡 정보에 적용하여 최종의 화질 지표를 계산할 수 있다.The
또는, 지표 계산부(260)는 실제의 주관적 화질 평가 데이터를 기반으로 기계 학습을 적용함으로써 시간적 왜곡 정보 및 공간적 왜곡 정보를 조합하는 방법에 대해 학습할 수 있다.Alternatively, the
예를 들어, 공간적 왜곡 분석부(240)에 의해 전송된 공간적 왜곡 정보 및 시간적 왜곡 분석부(250)에 의해 전송된 시간적 왜곡 정보가 특징 정보에 대한 왜곡의 정도를 숫자 벡터(vector)의 형태를 갖는 경우, 지표 계산부(260)는 완전 연결된(Fully Connected; FC) 레이어 형태의 신경망을 사용하여 화질 지표를 출력하도록 학습될 수 있다.For example, the spatial distortion information transmitted by the spatial
예를 들어, 공간적 왜곡 분석부(240)에 의해 전송된 공간적 왜곡 정보 및 시간적 왜곡 분석부(250)에 의해 전송된 시간적 왜곡 정보가 특징 정보에 대한 왜곡의 정도를 평면의 통째로 갖는 경우, 지표 계산부(260)는 콘볼루션 신경망(Convolutional Neural Network; CNN) 형태의 신경망을 사용하여 화질 지표를 출력하도록 학습될 수 있다.For example, when the spatial distortion information transmitted by the spatial
도 4는 일 예에 따른 픽셀의 우세한 각도에 의해 픽셀이 강한 HV 픽셀로 판단되지 않음을 나타낸다.4 illustrates that a pixel is not determined as a strong HV pixel by a dominant angle of the pixel according to an example.
도 5는 일 예에 따른 픽셀의 우세한 각도에 의해 픽셀이 강한 HV 픽셀로 판단됨을 나타낸다.5 illustrates that a pixel is determined to be a strong HV pixel by a dominant angle of the pixel according to an example.
도 4 및 도 5에서는, 픽셀의 우세한 각도에 따라서 픽셀이 강한(strong) HV 픽셀로 판단되는지 여부가 도시되었다.4 and 5, it is shown whether a pixel is judged to be a strong HV pixel depending on the dominant angle of the pixel.
HV 평면 계산을 위해서, 우선 영상 특징 정보 추출부(210)는 영상의 픽셀들의 각 픽셀에 대해서, 픽셀의 수직 방향 성분의 크기 및 수평 방향 성분의 크기를 도출할 수 있다.For HV plane calculation, first, the image
영상 특징 정보 추출부(210)는 픽셀의 수직 방향 성분의 크기 및 수평 방향 성분의 크기를 사용하는 아크탄젠트(arctangent) 연산을 통해 픽셀의 우세한 각도(dominant angle)를 획득할 수 있다.The image
영상 특징 정보 추출부(210)는 획득된 우세한 각도 θ가 수직 방향 또는 수평 방향과 가까운지를 판단함으로써 HV 평면을 구축할 수 있다.The image feature
영상 특징 정보 추출부(210)는 획득된 우세한 각도 θ가 수직 방향 또는 수평 방향과 가까운지를 판단함으로써 픽셀이 강한 HV 픽셀인지 여부를 판단할 수 있다.The image
영상 특징 정보 추출부(210)는 픽셀의 우세한 각도 θ가 수직 방향 또는 수평 방향과 가까운 경우 픽셀을 강한 HV 픽셀로 분류할 수 있다. 예를 들면, 영상 특징 정보 추출부(210)는 픽셀의 우세한 각도 θ가 임계치 θ threshold 보다 더 작은 경우 픽셀을 강한 HV 픽셀로 분류할 수 있다. 예를 들면, 영상 특징 정보 추출부(210)는 픽셀의 우세한 각도 θ가 임계치 θ threshold 의 이상인 경우 픽셀을 강한 HV 픽셀이 아닌 것으로 분류할 수 있다.The image
픽셀의 우세한 각도를 획득하고, 픽셀이 강한 HV 픽셀인지 여부를 판단함에 있어서, 연산의 복잡도가 높은 아크탄젠트 연산 대신 아래의 수식 6과 같은 방식이 사용될 수 있다.In obtaining the dominant angle of the pixel and determining whether the pixel is a strong HV pixel, the method shown in Equation 6 below may be used instead of the arc tangent operation, which has high computational complexity.
[수식 6][Equation 6]
수식 6에 따르면, I H 및 I V 중 더 큰 값이 분모일 수 있고, 더 작은 값이 분자일 수 있다. 말하자면, 수직 방향 및 수평 방향에 무관하게, 픽셀에 대한 판단의 기준이 되는 값은 I H 및 I V 중 더 큰 값이 분모이고, 더 작은 값이 분자인 값일 수 있다.According to Equation 6, a larger value among I H and I V may be a denominator, and a smaller value may be a numerator. That is, irrespective of the vertical direction and the horizontal direction, a value serving as a criterion for judging a pixel may be a value in which a larger value among I H and I V is a denominator and a smaller value is a numerator.
이러한 픽셀에 대한 판단의 기준이 되는 값을 임계치의 기준인 tan(θ threshold )과 비교함으로써 픽셀의 수평 성분 또는 수직 성분이 강한지 여부가 판단될 수 있다.Whether the horizontal component or the vertical component of the pixel is strong may be determined by comparing a value serving as a criterion for determining the pixel with tan(θ threshold ) serving as a threshold value.
도 6은 일 예에 따른 HV 평면에 대한 왜곡의 정도 및 실제의 인지 화질 간의 비교를 나타낸다.6 illustrates a comparison between the degree of distortion on the HV plane and actual perceived image quality according to an example.
영상 내에서의 전반적인 선명도의 향상 또는 하락의 정도를 계산하는 SI 평면의 경우, 도 8의 단계(340)을 참조하여 전술된 비교 함수들을 이용하여 계산된 수치가 인지 화질과 유사한 성향을 보일 수 있다.In the case of an SI plane that calculates the degree of improvement or decrease in overall sharpness in an image, a numerical value calculated using the comparison functions described above with reference to step 340 of FIG. 8 may show a tendency similar to the perceived image quality. .
반면, 적어도 특정된 사례들에 따르면, 블록 아티팩트 왜곡을 측정하기 위한 HV 평면의 경우, 전술된 비교 함수들을 이용하여 계산된 수치가 실제의 인지적 왜곡과는 상이할 수 있다.On the other hand, according to at least specific cases, in the case of the HV plane for measuring block artifact distortion, the numerical value calculated using the above-described comparison functions may be different from the actual cognitive distortion.
도 6은 HV 평면에 대한 왜곡의 정도 및 실제의 인지 화질 간의 비교의 일 예일 수 있다.6 may be an example of a comparison between the degree of distortion on the HV plane and actual perceived image quality.
도 6에서 나타나는 바와 같이, 수치적인 관점에서는, 노란색 동그라미로 표시된 영역 내에서 블록 아티팩트로 인한 왜곡이 높게 나타남을 알 수 있다. 하지만 인지적 관점에서는 노란색 동그라미로 표현된 평탄한 영역보다는 초록색 동그라미로 표현된 평탄한 배경 내의 엣지 및 텍스쳐 영역에서 왜곡이 더 두드러지게 나타날 수 있다.As shown in FIG. 6 , from a numerical point of view, it can be seen that distortion due to block artifacts is high in the area indicated by a yellow circle. However, from a perceptual point of view, distortion may be more prominent in the edges and texture areas within the flat background represented by the green circles than in the flat areas represented by the yellow circles.
말하자면, 노란색 동그라미로 표현된 평탄한 영역에서는 왜곡의 정도가 높게 나타나더라도 인지 화질이 크게 저하되지 않을 수 있다. 초록색 동그라미로 나타난 엣지 및 텍스쳐 영역에서는 왜곡의 정도가 낮게 나타나더라도 인지 화질이 크게 저하될 수 있다.In other words, in a flat area represented by a yellow circle, even if the degree of distortion is high, the perceived image quality may not be significantly deteriorated. In the edge and texture areas indicated by green circles, even if the degree of distortion is low, the perceived image quality may be greatly deteriorated.
이러한 예시들에 대한 해결의 일환으로서, 부호화 왜곡이 눈에 잘 띌만한 영역이 판별될 수 있다.As part of a solution to these examples, a region in which encoding distortion is conspicuous may be determined.
전술된 단계(320)를 참조하면 공간적 인지 민감도 기반 정보는 부호화 왜곡이 눈에 잘 띌만한 영역의 정보를 포함할 수 있다.Referring to the above-described
공간적 인지 민감도 계산부(220)는 원본 영상에서 인지적 관점에 따라 블록 아티팩트 등 부호화 왜곡이 눈에 잘 띌만한 영역을 판별할 수 있고, 판별된 영역의 정보를 공간적 왜곡 분석부(240)로 전송할 수 있다.The spatial cognitive
공간적(spatial) 관점에서 고려하였을 때, 왜곡이 눈에 잘 띌만한 영역은 엣지 혹은 텍스쳐가 랜덤(random) 하지 않은, 평탄(flat) 하거나 규칙적(regular)인 영역일 수 있다. 이러한 영역에서 영상의 엣지 또는 텍스쳐 같은 구조가 부호화 왜곡 등으로 인해 변형될 경우, 구조가 인지적 관점에서 기대되는 패턴에서 벗어나게 되기 때문에 구조의 변형이 눈에 쉽게 띌 수 있다.When considered from a spatial point of view, a region where distortion is conspicuous may be a region in which edges or textures are not random, and are flat or regular. When a structure such as an edge or a texture of an image is deformed due to encoding distortion in such an area, the structure deviates from a pattern expected from a perceptual point of view, so that the deformation of the structure is easily noticeable.
이에 영상 안에서 공간적으로 랜덤하지 않은 영역들을 판별하고, 해당 영역 안에 존재하는 엣지 혹은 텍스쳐 영역을 판별하여 높은 가중치를 줌으로써, 인지적으로 중요한 영역에 대한 정보 손실을 더욱 고려하도록 할 수 있다.Accordingly, by discriminating regions that are not spatially random in an image, determining an edge or a texture region existing in the region, and giving a high weight, it is possible to further consider information loss on a cognitively important region.
공간적 랜덤의 정도(spatial randomness)는 아래의 수식 7과 같이 픽셀에 대하여 계산할 수 있다.The spatial randomness can be calculated for a pixel as in Equation 7 below.
[수식 7][Equation 7]
여기서, SR(u)는 픽셀 X(u)에서의 공간적 랜덤의 정도를 나타낼 수 있다.Here, SR(u) may represent the degree of spatial randomness in the pixel X(u).
Y(u)는 픽셀 X(u)를 둘러싸고 있는 인근의 픽셀들의 집합을 의미할 수 있다. Y(u) may mean a set of neighboring pixels surrounding the pixel X(u).
R xy 는 X(u) 및 Y(u) 간의 상호 상관 행렬(Cross-correlation matrix)를 의미할 수 있다. R xy may mean a cross-correlation matrix between X(u) and Y(u).
R x -1는 X(u)의 상관 행렬(correlation matrix)을 가역(inverse)한 것일 수 있다. R x -1 may be an inverse of a correlation matrix of X(u).
수식 7 등을 통해, 공간적 인지 민감도 계산부(220)는 입력 영상 내의 공간적 랜덤의 정도를 픽셀 단위로 수치적으로 파악할 수 있다. 또한, 공간적 인지 민감도 계산부(220)는 임계치의 적용 등을 통해 영상 내에서 랜덤 정도가 낮은 평탄하고 규칙적인 영역을 판별할 수 있다.Through Equation 7 or the like, the spatial
공간적 인지 민감도 계산부(220)는 판별된 랜덤 정도가 낮은 영역을 기준으로 상기의 영역에 존재하는 엣지 및 텍스쳐의 영역을 찾음으로써 인지 민감도 기반 맵을 완성할 수 있다.The spatial cognitive
공간적 인지 민감도 계산부(220)는 영상의 엣지 및 텍스쳐의 영역 판별을 위해 아래의 수식 8 및 수식 9과 같이 곡률 차이(difference curvature)를 이용할 수 있다.The spatial
[수식 8][Equation 8]
[수식 9][Equation 9]
여기서, Gx,i는 영상 내의 i 번째 픽셀의 x축 방향의 1차 그라디언트 값을 의미할 수 있다.Here, G x,i may mean a first gradient value in the x-axis direction of the i-th pixel in the image.
Gy,i는 영상 내 i 번째 픽셀의 y축 방향의 1차 그라디언트 값을 의미할 수 있다.G y,i may mean a primary gradient value in the y-axis direction of the i-th pixel in the image.
여기서, Gxx,i는 영상 내의 i 번째 픽셀의 x축 방향의 2차 그라디언트 값을 의미할 수 있다.Here, G xx,i may mean a secondary gradient value in the x-axis direction of the i-th pixel in the image.
Gyy,i는 영상 내 i 번째 픽셀의 y축 방향의 2차 그라디언트 값을 의미할 수 있다.G yy,i may mean a secondary gradient value in the y-axis direction of the i-th pixel in the image.
Gxy,i는 영상 내의 i 번째 픽셀의 x축 방향의 1차 그라디언트 값에 y 축 방향의 1차 그라이언트를 적용한 것을 의미할 수 있다.G xy,i may mean that the primary gradient in the y-axis direction is applied to the primary gradient value in the x-axis direction of the i-th pixel in the image.
N 및 E는 영상의 영역의 정의를 위해 실험적으로 도출된 한계점(threshold)의 값을 의미할 수 있다.N and E may mean values of thresholds experimentally derived for defining an image region.
IND는 함수 내의 부등식이 충족되는 경우에 대해서 1의 값을 부여하는 임펄스 함수(impulse function)을 의미할 수 있다.IND may mean an impulse function that assigns a value of 1 to a case in which an inequality within the function is satisfied.
수식 8에 의해 i 번째 픽셀에 대한 ri의 값이 결정되면, 수식 9에 의해 결정된 값에 따라 i 번째 픽셀의 영역의 타입이 평탄(flat), 엣지(edge) 및 텍스쳐(texture) 중의 하나로 판별될 수 있다.When the value of r i for the i-th pixel is determined by
수식 8을 통해 판별된 엣지 또는 텍스쳐 영역(즉, r1의 값이 1 또는 2인 픽셀들의 영역)은 평탄하고 규칙적인 배경 상에 존재하는 엣지 및 텍스쳐 등의 구조로서, 영역 내에서 부호화 왜곡이 발생한 경우 인지적 관점에서 눈에 쉽게 띌만한 영역을 의미할 수 있다.The edge or texture region determined through Equation 8 (that is, the region of pixels in which the value of r 1 is 1 or 2) is a structure such as an edge and a texture that exists on a flat and regular background, and encoding distortion occurs within the region. When it occurs, it can mean an easily visible area from a cognitive point of view.
전술된 것과 같이, 공간적 인지 민감도 계산부(220)는 원본 영상에서 인지적 관점에 따라 블록 아티팩트 등 부호화 왜곡이 눈에 잘 띌만한 영역을 판별할 수 있고, 판별된 영역의 정보를 공간적 왜곡 분석부(240)로 전송할 수 있다.As described above, the spatial cognitive
부호화 왜곡이 눈에 잘 띌만한 영역은 엣지 또는 텍스쳐 영역은 포함할 수 있다. 앞서 서술된 바와 같이 부호화 왜곡이 눈에 잘 띌만한 영역은 공간적 인지 민감도 계산부(220)로부터 공간적 왜곡 분석부(240)에 전달되며, 공간적 왜곡으로 인한 화질 저하를 예측하기 위해 사용된다.An area where encoding distortion is conspicuous may include an edge or a texture area. As described above, the region where encoding distortion is conspicuous is transmitted from the spatial
도 7은 일 예에 따른 인지적 관점에 따라 블록 아티팩트로 인한 왜곡의 정도를 판별하는 방법을 나타낸다.7 illustrates a method of determining a degree of distortion due to block artifacts according to a cognitive viewpoint according to an example.
도 7에서는 HV 평면에 대한 왜곡의 정도에 인지 민감도 기반 가중치를 적용하여 HV 평면에 대한 왜곡의 정도를 도출하는 방법이 예시되었다.7 exemplifies a method of deriving the degree of distortion on the HV plane by applying a weight based on cognitive sensitivity to the degree of distortion on the HV plane.
공간적 왜곡 분석부(240)는 HV 평면에 대한 왜곡의 정도를 계산하고, 공간적 인지 민감도 계산부(220)로부터 제공된 정보를 활용하여 평탄한 배경 상의 엣지 및 텍스쳐 영역에서의 왜곡에 더 큰 가중치를 줄 수 있다. 이러한 과정을 통해 인지적 관점에서의 블록 아티팩트로 인한 왜곡의 정도가 보다 정확히 측정될 수 있다. The
도 8은 일 예에 따른 영상의 공간적 프레임 및 시간적 프레임을 나타낸다.8 illustrates a spatial frame and a temporal frame of an image according to an example.
도 9는 일 예에 따른 시간적 프레임들 중 행 평면을 나타낸다.9 illustrates a row plane among temporal frames according to an example.
도 9에서 도시된 것과 같이 영상의 시간적 프레임에는 크게 행 평면(row plane) 및 열 평면(column plane)이 존재할 수 있다.As shown in FIG. 9 , a row plane and a column plane may largely exist in a temporal frame of an image.
제1 행 평면은 도 9에서 도시된 것과 같이 프레임들의 제1 행들을 모은 평면일 수 있다.The first row plane may be a plane in which first rows of frames are gathered as illustrated in FIG. 9 .
제1 열 평면은 도 9에서 도시된 것과 같이 프레임들의 제1 열들을 모은 평면일 수 있다.The first row plane may be a plane in which the first rows of frames are gathered as shown in FIG. 9 .
연산량의 감축을 위해, 평면은 특정된 간격으로 띄여서 추출될 수 있다. R/8은 특정된 간격을 나타낼 수 있다. 예를 들면, R은 프레임들의 개수일 수 있다.In order to reduce the amount of computation, the plane may be extracted by being spaced apart at a specified interval. R/8 may represent a specified interval. For example, R may be the number of frames.
도 10는 일 예에 따른 시간적 프레임들의 열 평면에 대한 왜곡의 정도에 인지 민감도 기반 가중치를 적용하는 것을 나타낸다.10 illustrates applying a cognitive sensitivity-based weight to a degree of distortion with respect to a column plane of temporal frames according to an example.
도 10에서, 좌측에는 열 평면이 도시되었고, 우측에는 움직임 가중치의 볼륨이 도시되었다.In Fig. 10, the column plane is shown on the left, and the volume of motion weights is shown on the right.
움직임 가중치 볼륨은 프레임-바이-프레임(frame-by-frame) 및 중심부에 바이어스된(center-biased) 가우시안 가중치의 곱일 수 있다. 말하자면, 움직임 가중치 볼륨은 단계(330)에서 설명된 인접된 프레임들 간의 잔차 영상에 가우시안 분포의 가중치 함수가 곱해진 것일 수 있다.The motion weight volume may be the product of frame-by-frame and center-biased Gaussian weights. In other words, the motion weight volume may be obtained by multiplying the residual image between adjacent frames described in
열 평면 및 움직임 가중치의 볼륨이 플레인 별(plane-wise)로 곱해질 수 있다. 말하자면, 열 평면 중 Differencerow1과 Differencerow1에 대한 움직임 가중치 맵이 곱해질 수 있다. Differencerow1는 제1 행에서의 차이일 수 있다.The volume of column planes and motion weights can be multiplied plane-wise. That is, the motion weight map for Difference row1 and Difference row1 among the column planes may be multiplied. Difference row1 may be a difference in the first row.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
컴퓨터 판독 가능한 기록 매체는 본 발명에 따른 실시예들에서 사용되는 정보를 포함할 수 있다. 예를 들면, 컴퓨터 판독 가능한 기록 매체는 비트스트림을 포함할 수 있고, 비트스트림은 본 발명에 따른 실시예들에서 설명된 정보를 포함할 수 있다.The computer-readable recording medium may contain information used in the embodiments according to the present invention. For example, the computer-readable recording medium may include a bitstream, and the bitstream may include the information described in the embodiments according to the present invention.
컴퓨터 판독 가능한 기록 매체는 비-일시적 컴퓨터 판독 가능한 매체(non-transitory computer-readable medium)를 포함할 수 있다.The computer-readable recording medium may include a non-transitory computer-readable medium.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
100: 전자 장치
110: 처리부
120: 통신부
130: 저장부
210: 영상 특징 정보 추출부
220: 공간적 인지 민감도 계산부
230: 시간적 인지 민감도 계산부
240: 공간적 왜곡 분석부
250: 시간적 왜곡 분석부
260: 지표 계산부100: electronic device
110: processing unit
120: communication department
130: storage
210: image feature information extraction unit
220: spatial perception sensitivity calculation unit
230: temporal cognitive sensitivity calculation unit
240: spatial distortion analysis unit
250: temporal distortion analysis unit
260: indicator calculation unit
Claims (20)
상기 왜곡 정보에 기반하여 상기 원본 영상 및 상기 비교 영상 중 적어도 하나에 대한 지표를 생성하는 지표 계산부를 포함하는 전자 장치.a distortion analyzer for generating distortion information by using the information on the original image and the information on the comparison image; and
and an index calculator configured to generate an index for at least one of the original image and the comparison image based on the distortion information.
상기 원본 영상에 대한 정보는 상기 원본 영상의 공간적 특징 정보를 포함하고,
상기 비교 영상에 대한 정보는 상기 비교 영상의 공간적 특징 정보를 포함하는 전자 장치.According to claim 1,
The information on the original image includes spatial feature information of the original image,
The information on the comparison image includes spatial feature information of the comparison image.
상기 왜곡 정보는 상기 원본 영상의 공간적 인지 민감도 기반 정보를 사용하여 생성되는 전자 장치.3. The method of claim 2,
The distortion information is generated using spatial perception sensitivity-based information of the original image.
상기 원본 영상에 대한 정보는 상기 원본 영상의 시간적 특징 정보를 포함하고,
상기 비교 영상에 대한 정보는 상기 비교 영상의 시간적 특징 정보를 포함하는 전자 장치.According to claim 1,
The information on the original image includes temporal characteristic information of the original image,
The information on the comparison image includes temporal characteristic information of the comparison image.
상기 왜곡 정보는 상기 원본 영상의 시간적 인지 민감도 기반 정보를 사용하여 생성되는 전자 장치.5. The method of claim 4,
The distortion information is generated using information based on temporal perception sensitivity of the original image.
상기 왜곡 정보는 시간적 왜곡 정보 및 공간적 왜곡 정보를 포함하는 전자 장치.According to claim 1,
The distortion information includes temporal distortion information and spatial distortion information.
상기 지표는 상기 시간적 왜곡 정보 및 상기 공간적 왜곡 정보에 기반하여 생성된 화질 지표인 전자 장치.7. The method of claim 6,
The indicator is an image quality indicator generated based on the temporal distortion information and the spatial distortion information.
상기 왜곡 정보에 기반하여 상기 원본 영상 및 상기 비교 영상 중 적어도 하나 에 대한 지표를 생성하는 단계
를 포함하는 지표 도출 방법.generating distortion information by using the information on the original image and the information on the comparison image; and
generating an index for at least one of the original image and the comparison image based on the distortion information
A method of deriving an indicator including
상기 원본 영상에 대한 정보는 상기 원본 영상의 공간적 특징 정보를 포함하고,
상기 비교 영상에 대한 정보는 상기 비교 영상의 공간적 특징 정보를 포함하는 전자 장치.9. The method of claim 8,
The information on the original image includes spatial feature information of the original image,
The information on the comparison image includes spatial feature information of the comparison image.
상기 왜곡 정보는 상기 원본 영상의 공간적 인지 민감도 기반 정보를 사용하여 생성되는 지표 도출 방법.10. The method of claim 9,
The distortion information is an index derivation method that is generated using spatial perception sensitivity-based information of the original image.
상기 원본 영상에 대한 정보는 상기 원본 영상의 시간적 특징 정보를 포함하고,
상기 비교 영상에 대한 정보는 상기 비교 영상의 시간적 특징 정보를 포함하는 지표 도출 방법.9. The method of claim 8,
The information on the original image includes temporal characteristic information of the original image,
The information on the comparison image is an indicator deriving method including temporal characteristic information of the comparison image.
상기 왜곡 정보는 상기 원본 영상의 시간적 인지 민감도 기반 정보를 사용하여 생성되는 지표 도출 방법.12. The method of claim 11,
The distortion information is an indicator derivation method that is generated using information based on temporal perception sensitivity of the original image.
상기 왜곡 정보는 시간적 왜곡 정보 및 공간적 왜곡 정보를 포함하는 지표 도출 방법.9. The method of claim 8,
The distortion information is an indicator derivation method including temporal distortion information and spatial distortion information.
상기 지표는 상기 시간적 왜곡 정보 및 상기 공간적 왜곡 정보에 기반하여 생성된 화질 지표인 지표 도출 방법.14. The method of claim 13,
The index is an index derivation method that is a quality index generated based on the temporal distortion information and the spatial distortion information.
원본 영상에 대한 정보 및;
비교 영상에 대한 정보
를 포함하고,
상기 원본 영상에 대한 정보 및 상기 비교 영상에 대한 정보를 사용하여 왜곡 정보가 생성되고,
상기 왜곡 정보에 기반하여 상기 원본 영상 및 상기 비교 영상 중 적어도 하나에 대한 지표가 생성되는 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium for storing a bitstream for image decoding, the bitstream comprising:
information about the original video;
Information about comparison images
including,
Distortion information is generated using the information on the original image and the information on the comparison image,
A computer-readable recording medium generating an index for at least one of the original image and the comparison image based on the distortion information.
상기 원본 영상에 대한 정보는 상기 원본 영상의 공간적 특징 정보를 포함하고,
상기 비교 영상에 대한 정보는 상기 비교 영상의 공간적 특징 정보를 포함하는 컴퓨터 판독 가능한 기록매체.17. The method of claim 16,
The information on the original image includes spatial feature information of the original image,
The information on the comparison image is a computer-readable recording medium including spatial characteristic information of the comparison image.
상기 왜곡 정보는 상기 원본 영상의 공간적 인지 민감도 기반 정보를 사용하여 생성되는 컴퓨터 판독 가능한 기록매체.17. The method of claim 16,
The distortion information is a computer-readable recording medium that is generated using spatial perception sensitivity-based information of the original image.
상기 원본 영상에 대한 정보는 상기 원본 영상의 시간적 특징 정보를 포함하고,
상기 비교 영상에 대한 정보는 상기 비교 영상의 시간적 특징 정보를 포함하는 컴퓨터 판독 가능한 기록매체.17. The method of claim 16,
The information on the original image includes temporal characteristic information of the original image,
The information on the comparison image is a computer-readable recording medium including temporal characteristic information of the comparison image.
상기 왜곡 정보는 상기 원본 영상의 시간적 인지 민감도 기반 정보를 사용하여 생성되는 컴퓨터 판독 가능한 기록매체.19. The method of claim 18,
The distortion information is a computer-readable recording medium that is generated using information based on temporal perception sensitivity of the original image.
상기 왜곡 정보는 시간적 왜곡 정보 및 공간적 왜곡 정보를 포함하는 컴퓨터 판독 가능한 기록매체.17. The method of claim 16,
The distortion information is a computer-readable recording medium including temporal distortion information and spatial distortion information.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20170161294 | 2017-11-29 | ||
KR1020170161294 | 2017-11-29 | ||
KR1020180151322A KR102452313B1 (en) | 2017-11-29 | 2018-11-29 | Method and apparatus for measuring image quality base on perceptual sensitivity |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180151322A Division KR102452313B1 (en) | 2017-11-29 | 2018-11-29 | Method and apparatus for measuring image quality base on perceptual sensitivity |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220140669A true KR20220140669A (en) | 2022-10-18 |
KR102522098B1 KR102522098B1 (en) | 2023-04-17 |
Family
ID=66850319
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180151322A KR102452313B1 (en) | 2017-11-29 | 2018-11-29 | Method and apparatus for measuring image quality base on perceptual sensitivity |
KR1020220126225A KR102522098B1 (en) | 2017-11-29 | 2022-10-04 | Method and apparatus for measuring image quality base on perceptual sensitivity |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180151322A KR102452313B1 (en) | 2017-11-29 | 2018-11-29 | Method and apparatus for measuring image quality base on perceptual sensitivity |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102452313B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102192017B1 (en) * | 2019-07-16 | 2020-12-16 | 연세대학교 산학협력단 | Method and Apparatus for Assessing Visual Quality of Video Based on Human Visual System |
KR102395038B1 (en) * | 2019-11-20 | 2022-05-09 | 한국전자통신연구원 | Method for measuring video quality using machine learning based features and knowledge based features and apparatus using the same |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035357A (en) * | 2006-07-31 | 2008-02-14 | Kddi Corp | Video quality objective evaluation device |
KR20150114959A (en) * | 2013-02-07 | 2015-10-13 | 톰슨 라이센싱 | Method and apparatus for context-based video quality assessment |
KR20150115771A (en) * | 2013-02-07 | 2015-10-14 | 톰슨 라이센싱 | Method and apparatus for context-based video quality assessment |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2018068B1 (en) * | 2006-05-09 | 2016-06-22 | Nippon Telegraph And Telephone Corporation | Video quality estimating device, method, and program |
-
2018
- 2018-11-29 KR KR1020180151322A patent/KR102452313B1/en active IP Right Grant
-
2022
- 2022-10-04 KR KR1020220126225A patent/KR102522098B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035357A (en) * | 2006-07-31 | 2008-02-14 | Kddi Corp | Video quality objective evaluation device |
KR20150114959A (en) * | 2013-02-07 | 2015-10-13 | 톰슨 라이센싱 | Method and apparatus for context-based video quality assessment |
KR20150115771A (en) * | 2013-02-07 | 2015-10-14 | 톰슨 라이센싱 | Method and apparatus for context-based video quality assessment |
Also Published As
Publication number | Publication date |
---|---|
KR20190063451A (en) | 2019-06-07 |
KR102452313B1 (en) | 2022-10-07 |
KR102522098B1 (en) | 2023-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102522098B1 (en) | Method and apparatus for measuring image quality base on perceptual sensitivity | |
CN109791695B (en) | Determining a variance of an image block based on a motion vector of the block | |
US20190332883A1 (en) | Perceptual importance maps for image processing | |
US8908989B2 (en) | Recursive conditional means image denoising | |
US9798951B2 (en) | Apparatus, method, and processor for measuring change in distance between a camera and an object | |
US20130322760A1 (en) | System and method for rapid cluster analysis of hyperspectral images | |
KR102476022B1 (en) | Face detection method and apparatus thereof | |
US9280811B2 (en) | Multi-scale large radius edge-preserving low-pass filtering | |
Zheng et al. | UIF: An objective quality assessment for underwater image enhancement | |
US11310475B2 (en) | Video quality determination system and method | |
JP7328096B2 (en) | Image processing device, image processing method, and program | |
EP2724316B1 (en) | Method and device for processing of an image | |
US11205257B2 (en) | Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region | |
US8126275B2 (en) | Interest point detection | |
US10136156B2 (en) | Directional motion vector filtering | |
KR101968406B1 (en) | Method and Apparatus for Robust Depth Image Estimation of Light Fields | |
KR20200110255A (en) | Method and apparatus for assessing feature of image | |
Liu et al. | Blind omnidirectional image quality assessment with representative features and viewport oriented statistical features | |
US20150104112A1 (en) | Large Radius Edge-Preserving Low-Pass Filtering | |
KR102401340B1 (en) | Method and apparatus for measuring video quality based on detection of difference of perceptual sensitivity regions | |
KR101992527B1 (en) | Method and Apparatus for Depth Image Estimation of Light Fields | |
Anitha et al. | Quality assessment of resultant images after processing | |
Zhao et al. | Saliency guided gradient similarity for fast perceptual blur assessment | |
Gu et al. | Quality Assessment of Visual Content | |
US20220239953A1 (en) | Banding artifact detection in images and videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |