KR100574595B1 - 두개의 신호 시퀀스들 사이의 가시성 차이들을 평가하기 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 두개의 입력 신호 시퀀스들 예컨데, 영상 시퀀스들 사이의 가시성 차이들을 평가하기 위한 방법 및 장치(110)에 관한 것이다. 상기 장치는 입력 신호 처리부(210), 휘도 처리부(220), 색차 처리부(230), 및 지각 매트릭 발생부(240, 250, 260)을 구비하는 지각 매트릭 발생기(112)를 포함한다.

Description

두개의 신호 시퀀스들 사이의 가시성 차이들을 평가하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ASSESSING THE VISIBILITY OF DIFFERENCES BETWEEN TWO SIGNAL SEQUENCES}

본 출원은 1997년 4월 4일자로 제출된 No. 60/043,050 및 1998년 2월 2일 자로 제출된 No. 60/073,435의 미국 임시 출원의 권리를 주장하며, 여기서 참조 문헌으로써 제시한다.

본 발명은 신호 처리 시스템의 성능을 평가 및 개선하기 위한 장치 및 부수적 방법에 관한 것이다. 특히, 본 발명은 두 신호의 시퀀스들 사이의 가시성 차이를 평가하는 방법 및 장치에 관한 것이다.

신호 처리 시스템 예컨데, 영상 시스템 설계자는 종종 콘트라스트, 해상도 및/또는 압축/압축 해제 (코덱) 프로세스에서의 비트-레이트 효율과 같은 물리적인 파라미터들로 그 고안품의 성능을 평가한다. 이러한 파라미터들은 쉽게 측정할 수는 있지만, 성능을 평가하기 위한 정확한 척도는 될 수 없다. 그 이유는, 영상 시스템의 최종 사용자가 아티팩트(artifacts) 또는 왜곡의 가시화와 같은 주관적인 시각적 성능 및 어떤 경우에는 예컨데, MRI(Magnetic Resonance Imaging) 영상 또는 CAT(Computer-Assisted Tomography) 스캔 영상과 같은 영상에서 종양의 존재와 같은 정보를 노출시킬 수 있는 영상 특징들의 개선에 일반적으로 보다 많은 관심을 갖기 때문이다.

예컨데, 두개의 서로다른 코덱 영상들을 발생시키기 위해 두개의 서로다른 코덱 알고리즘들을 사용하여 입력된 영상을 처리할 수 있다. 만일 코덱 영상 충실도의 측정이 순전히 인간 시각의 정신 물리학적 특성의 고려없이 양 코덱 영상들에 대한 제곱 평균 에러(MSE) 연산의 수행과 같은 파라미터들만을 기초로 한다면, 낮은 MSE 값을 갖는 코덱 영상은 높은 MSE 값을 갖는 코덱 영상보다 큰 시각적 왜곡을 실질적으로 갖게 된다.

따라서, 당업계에서는, 신호 처리 시스템 예컨데, 영상 시스템의 주관적 성능에 대한 물리적 파라미터들의 영향을 평가하기 위한 방법 및 장치에 대한 필요성이 존재하고 있다.

본 발명은 두개의 입력 신호 시퀀스들 예컨데, 영상 신호들 사이의 가시성 차이를 평가하기 위한 방법 및 장치이다. 상기 장치는 입력 신호 처리부, 휘도 처리부, 색차 처리부, 및 지각(perceptual) 매트릭(metric) 발생부로 구성되는 지각 매트릭 발생기를 포함한다.

상기 입력 신호 처리부는 입력 신호들을 정신 물리학적으로 정의된 양들 예컨데, 휘도 성분들 및 색차 성분들로 변환시킨다. 상기 휘도 처리부는 상기 휘도 성분들을 처리하여 휘도 지각 매트릭을 발생하는 한편, 상기 색차 처리부는 상기 색차 성분들을 처리하여 색차 지각 매트릭을 발생시킨다. 최종적으로, 상기 지각 매트릭 발생부는 상기 휘도 지각 매트릭을 상기 색차 지각 매트릭과 상관하여 단일화된 지각 영상 매트릭 예컨데 JND 맵(just-noticeable-difference map)을 발생시킨다.

도 1은 본 발명의 신호 처리 시스템을 도시한 도면이다;

도 2는 지각 매트릭 발생기의 블록 구성도를 도시한 도면이다;

도 3은 입력 신호 처리부의 블록 구성도를 도시한 도면이다;

도 4는 휘도 처리부의 블록 구성도를 도시한 도면이다;

도 5는 색차 처리부의 블록 구성도를 도시한 도면이다;

도 6은 휘도 처리부의 상세한 블록 구성도를 도시한 도면이다;

도 7은 휘도 매트릭 발생부의 블록 구성도를 도시한 도면이다;

도 8은 색차 처리부의 상세한 블록 구성도를 도시한 도면이다;

도 9는 색차 매트릭 발생부의 블록 구성도를 도시한 도면이다;

도 10은 휘도 공간 감도 데이터를 도시한 그래프이다;

도 11은 휘도 시간 감도 데이터를 도시한 그래프이다;

도 12는 휘도 콘트라스트 판별 데이터를 도시한 그래프이다;

도 13은 디스크 검출 데이터를 도시한 그래프이다;

도 14는 체크보드 검출 데이터를 도시한 그래프이다;

도 15는 에지 선예도(edge sharpness) 판별 데이터를 도시한 그래프이다;

도 16은 색차 공간 감도 데이터를 도시한 그래프이다;

도 17은 색차 콘트라스트 판별 데이터를 도시한 그래프이다;

도 18은 등급 예측 데이터를 도시한 그래프이다;

도 19는 휘도 처리부의 선택적 실시예의 블록 구성도를 도시한 도면이다;

도 20은 도 19의 휘도 처리부의 선택적인 실시예의 상세한 블록 구성도를 도시한 도면이다;

도 21은 휘도 매트릭 발생부의 선택적인 실시예의 상세한 블록 구성도를 도시한 도면이다;

도 22는 1/2-높이 영상들을 처리하기 위한 휘도 처리부의 블록 구성도를 도시한 도면이다;

도 23은 1/2-높이 영상들을 처리하기 위한 휘도 매트릭 발생부의 블록 구성도를 도시한 도면이다;

도 24는 색차 처리부의 선택적인 실시예의 상세한 블록 구성도를 도시한 도면이다;

도 25는 색차 매트릭 발생부의 선택적인 실시예의 상세한 블록 구성도를 도시한 도면이다;

도 26은 1/2-높이 영상들을 처리하기 위한 색차 처리부의 블록 구성도를 도시한 도면이다; 및

도 27은 1/2-높이 영상들을 처리하기 위한 색차 매트릭 발생부의 블록 구성도를 도시한 도면이다.

도 1은 본 발명을 활용하는 신호 처리 시스템(100)을 도시한 도면이다. 상기 신호 처리 시스템은 신호 수신부(130), 신호 처리부(110), 입력/출력 디바이스들(120), 및 검사 대상 시스템(140)로 구성된다.

신호 수신부(130)는 영상 디바이스들로부터의 영상 시퀀스들과 같은 입력 데이터 신호, 또는 마이크로폰 또는 기록 매체로부터의 오디오 신호들과 같은 다른 시간-가변 신호들을 수신하기 위해 제공된다. 따라서, 비록 본 발명이 영상과 관련하여 아래에 설명되겠지만, 본 발명은 위에서 언급한 바와 같이 서로 다른 입력 신호들에 적용할 수 있다는 점을 이해해야 한다.

상기 신호 수신부(130)는 데이터 수신부(132) 및 데이터 저장부(134)를 포함한다. 상기 데이터 수신부(132)는 모뎀 및 아날로그-디지털 변환기와 같은 다수의 디바이스들을 포함할 수 있다. 아날로그-디지털 변환기가 아날로그 신호를 디지털 신호로 변환하지만, 모뎀이 전화선 또는 다른 통신 채널을 통해 이진 데이터를 전송 및 수신하기 위한 변조 및 복조기를 포함하고 있다는 것은 공지되어 있다. 이에 따라, 상기 신호 수신부(130)는 "온-라인" 또는 실시간으로 입력 신호들을 수신할 수 있으며, 필요하다면, 그들을 디지털 형태로 변환시킬 수 있다. 이와 같이, 상기 신호 수신부(130) 그 자체는 컴퓨터, 카메라, 비디오 레코더, 또는 다양한 의료 영상 디바이스들과 같은 하나 이상의 디바이스들로부터의 신호들을 수신할 수 있다.

상기 데이터 저장부(134)는 상기 데이터 수신부(132)에 의해 수신된 입력 신호들을 저장하기 위해 제공된다. 상기 데이터 저장부(134)는 디스크 드라이브, 반도체 메모리 또는 다른 저장 매체와 같은 하나 이상의 디바이스를 포함한다. 이러한 저장 디바이스들은 상기 입력 신호들을 지연시키거나 단순히 다음 프로세스를 위해 입력 신호를 저장하기 위한 방법을 제공한다.

바람직한 실시예에서, 신호 처리부(110)는 지각(perceptual) 매트릭(metric) 발생기(또는 공지된 시각적 판단 측정장치(VDM);112), 중앙 처리 장치(114; CPU), 및 영상 처리를 돕기 위한 메모리(116)를 구비하는 일반 용도 컴퓨터를 포함한다. 지각 매트릭 발생기(112)는 다양한 필터들로 구성된 물리적 장치 또는 통신 채널을 통해 상기 CPU에 연결된 프로세서일 수 있다. 선택적으로, 지각 매트릭 발생기(112)는 소프트웨어 응용으로 구현될 수 있는데, 상기 소프트웨어의 응용은 입력/출력 디바이스(120) 또는 메모리(116)로부터 호출되어 신호 처리부의 CPU에 의해 실행된다. 따라서, 본 발명의 지각 매트릭 발생기(112)는 컴퓨터가 판독할 수 있는 매체에 저장될 수 있다.

상기 신호 처리부(110)는 또한 키보드, 마우스, 비디오 모니터, 또는 마그네틱 및 광학 디바이스에 제한되지 않고 디스켓 또는 테이프 예컨데, 하드 디스크 드라이브 또는 콤팩트 디스크 드라이브를 포함하는 저장 디바이스들과 같은 다수의 입력/출력 디바이스들(120)과 결합된다. 상기 입력 디바이스들은 입력들(제어 신호들 및 데이터)을 입력 영상을 처리하기 위한 상기 신호 처리부에 제공하며, 상기 출력 디바이스들은 그 결과들을 디스플레이 또는 기록 예컨데, 디스플레이 장치에 지각 매트릭을 디스플레이시킨다.

지각 매트릭 발생기(112)를 사용하는 상기 신호 처리 시스템(100)은 인간 주체가 두개의 신호 시퀀스들 예컨데, 품질이 떨어진 색-영상 시퀀스 및 이와 관련하여 품질이 떨어지지 않은 부본(counterpart)에 할당하게 될 지각 등급들(perceptual ratings)을 예측할 수 있다. 상기 지각 매트릭 발생기(112)는 입력된 영상의 두 시퀀스 또는 스트림 사이의 가시성 차이를 평가하며, 상기 시퀀스들 사이의 지각 차이들의 단일 매트릭을 포함하는, 여러 개의 차이 추정치들을 발생시킨다. 이러한 차이들은 모델링된 인간의 JND 매트릭을 단위로 양자화된다. 이러한 매트릭은 JND 값, JND 맵, 또는 확률 예측으로서 표현될 수 있다. CPU는 차례로 디지털 영상 압축, 영상 품질 측정 및 타겟 검출을 포함하지만 이에 제한되지 않는 다양한 프로세스들을 최적화하기 위해 JND 영상 매트릭을 활용할 수 있다.
설명하자면, 입력된 영상 시퀀스는 두개의 다른 경로들 또는 채널들을 통과하여 신호 처리부(110)에 도달한다. 상기 입력된 영상 시퀀스는 일 경로(기준 채널 또는 기준 영상 시퀀스)를 통해 처리없이 직접적으로 신호 처리부에 도달하는 반면, 동일한 입력된 영상 시퀀스는 영상 시퀀스가 임의의 형태로 처리되는 검사 대상 시스템(140)을 통한 다른 경로(검사 대상 채널 또는 검사 영상 시퀀스)를 통과한다. 상기 신호 처리 시스템(100)은 두 영상 시퀀스들 사이의 차이를 측정하는 지각 매트릭을 발생시킨다. 상기 검사 대상 시스템(140)에 의해 발생된 왜곡은 경제적인 이유, 예컨데 검사 대상 시스템(140)이 오디오 또는 비디오 인코더가 될 수 있기 때문에 발생된다. 상기 검사 대상 시스템(140)은 많은 디바이스들 또는 시스템들 예컨데, 디코더, 전송 채널 자체, 오디오 또는 비디오 레코더, 스캐너, 디스플레이 장치, 또는 송신기일 수 있다. 따라서, 신호 처리 시스템(100)은 기준 영상 시퀀스에 대한 검사 영상 시퀀스의 주관적인 품질을 평가하는 데에 채0용할 수 있고, 따라서, 인코딩 프로세스, 디코딩 프로세스, 전송 채널 왜곡, 또는 임의의 "검사 대상 시스템"의 성능과 같은 정보를 제공한다. 상기 지각 매트릭 발생기(112)의 사용을 통해, 기준 시퀀스와 관련된 검사 영상 시퀀스의 주관적 품질의 평가를 인간 관찰자없이 수행할 수 있다.

최종적으로, 상기 지각 매트릭은 경로(150)를 경유하여 검사 대상 시스템의 파라미터들을 변환 또는 제어하는 데에 사용될 수 있다. 예컨데, 인코더의 파라미터들은 개선된 지각 등급 예컨데, 인코딩된 영상이 디코딩될 때의 보다 작은 시각적 왜곡을 갖는 인코딩된 영상을 발생시키기 위해 변환될 수 있다. 또한, 검사 대상 시스템(140)을 분리된 디바이스로서 설명하지만, 검사 대상 시스템을 상기 신호 처리부의 메모리(116)에 상주하는 소프트웨어 구현 예컨데, 비디오 인코딩 방법으로 구현할 수 있다는 것을 당업자라면 이해할 수 있을 것이다.

도 2는 상기 지각 매트릭 발생기(112)의 단순화된 블록 구성도를 도시한 도면이다. 바람직한 실시예에서, 상기 지각 매트릭 발생기는 입력 신호 처리부(210), 휘도 처리부(220), 색차 처리부(230), 휘도 매트릭 발생부(240), 색차 매트릭 발생부(250), 및 지각 매트릭 발생부(260)로 구성된다.

상기 입력 신호 처리부는 입력 신호(205)들을 정신 물리학적으로 정의된 양들 예컨데, 영상 신호에 대한 휘도 성분들 및 색차 성분들로 변환시킨다. 상기 입력 신호들은 임의의 길이의 두개의 영상 시퀀스들이다. 비록 단지 하나의 신호만이 도 2에 도시되어 있지만, 상기 입력 신호 처리부는 하나 이상의 입력 신호들을 동시에 처리할 수 있다는 것을 이해할 수 있을 것이다. 상기 입력 신호 처리부(210)의 목적은 입력된 영상 신호들을 빛 출력들로 변환하고, 이러한 빛 출력들을 휘도 및 색차으로 구분하여 특정하는 정신 물리학적으로 정의된 양들로 변환시키는 것이다.

특히, 각각의 입력 시퀀스들의 각각의 필드에 대해, D1 테이프로부터 도출된 Y', C'_b, 및 C'_r로 표시된 3개의 데이터 세트들이 도 2의 상부에 제공된다. 차례로, Y', C'_b, 및 C'_r 데이터들은 디스플레이 화소 값들을 발생하는 R', G', B' 전자-총(electron-gun) 전압들로 변환된다. 상기 입력 신호 처리부에서, R', G', B' 전압들은 또한 하나의 휘도 영상 및 두개의 색차 영상들로 변환되기 위한 추가의 프로세스를 거치게 되며, 상기 하나의 휘도 영상 및 두개의 색차 영상들은 다음 처리 단계 또는 처리부들로 통과된다.

휘도 처리부(220)는 디스플레이 장치의 최대 휘도에 대한 분수들로 표현된 두개의 휘도(Y) 영상들(검사 및 기준)을 받아들인다. 상기 휘도 처리부(220)로부터의 출력들은 아래의 설명에서와 같은 다양한 시간적 및 공간적 처리로 인해 발생된 공간 및/또는 시간 응답들로서 광범위하게 정의할 수 있다. 이러한 출력들은 휘도 JND 맵을 발생하는 휘도 매트릭 발생부(240)에 제공된다. 상기 JND 맵은 그 회색(gray) 레벨이 대응하는 화소 위치에서의 검사 및 기준 영상들 사이의 JND들의 수에 비례하는 영상이다.

유사하게, 색차 처리부(230)는 입력 신호들의 색차 성분들을 처리하여 색차 지각 매트릭을 발생시킨다. 즉, 상기 색차 처리부(230)는 CIE L*u*v* 균등 색공간(색차 영상들 u* 및 v* 각각에 대해 발생되는)을 기초로 하며 디스플레이 장치의 최대 색차에 대한 분수들로 표현된 두개의 색차 영상들(검사 및 기준)을 받아들인다. 다시, 상기 색차 처리부(230)로부터의 출력들은 아래의 설명에서와 같이, 다양한 시간적 및 공간적 처리로 인해 발생된 공간 및/또는 시간 응답들로서 광범위하게 정의할 수 있다. 차례로, u* 및 v* 처리의 출력들은 색차 JND 맵을 발생시키기 위한 상기 색차 매트릭 발생부(250)에 의해 수신되어 조합된다.

또한, 색차 및 휘도 프로세스들 모두는 휘도 영상의 구조에 따라 지각적인 차이가 더욱 또는 덜 가시화되도록 하는 소위 "마스킹(masking)"이라는 경로(225)를 통한 휘도 채널로부터의 입력들에 의해 영향을 받는다. 마스킹(셀프 또는 크로스)은 일반적으로 채널 또는 이웃 채널에서의 현재의 정보에서의 감도의 감소를 언급하는 것이다.

상기 색차, 휘도, 및 조합 휘도-색차 JND 맵은 이러한 맵들로부터 도출된 작은 수의 요약 측정치들과 함께, 상기 지각 매트릭 발생부(260)으로의 출력으로서 각각 이용가능하다. 단일의 JND 값 (JND 요약들) 출력은 검사 시퀀스에서 목격자의 전체적인 왜곡 등급을 모델링하는데에 유용하지만, 상기 JND 맵들은 아티팩트들의 위치와 심도(severity)에 대한 보다 세밀한 관점을 부여하게 된다. 차례로, 상기 지각 매트릭 발생부(260; 영상 매트릭 발생기)는 상기 휘도 지각 매트릭을 상기 색차 지각 매트릭과 상관하여 단일의 지각 영상 매트릭(270) 예컨데, 전체 JND(just-noticeable-difference) 맵을 발생시킨다.

두개의 기본 가정들이 본 발명의 기초라는 것을 주목해야 한다. 첫째, 각 화소는 "정사각형"이며, 0.03도 범위의 시계 각도(viewing angle)를 갖는다. 이러한 수는 480 화소들의 스크린 높이 및 4개의 스크린-높이들의 시계 거리 ("Rec 500" 표준안에서 규정한 가장 가까운 시계 거리)로부터 도출된다. 상기 지각 매트릭 발생기를 4개의 스크린 높이보다 먼 시계 거리들에서 인간의 지각과 비교할 때, 상기 지각 매트릭 발생기는 공간적 측면에서 인간의 감각을 과대 평가할 수 있다. 시계 거리의 엄격한 제한의 부재시에, 상기 지각 매트릭 발생기는 "Rec 500"의 권고내에서 가장 민감하도록 조절된다. 그러나, 지각 매트릭 발생기의 감도는 특정 응용을 위해 조절할 수 있다.

두번째, 상기 지각 매트릭 발생기는 약 20 ft-L(모든 시공간 주파수들이 측정된)에서 가장 큰 정확도를 갖고 0.01-100 ft-L의 스크린 휘도(그 전체 감도가 측정된)에 적용된다. 변화되는 휘도는 모든 시공간 주파수들에서 감도에 비례하여 발생되는 것으로 또한 가정하며, 이러한 가정은 부가적인 측정이 발생된 20 ft-L 근처에서는 덜 중요하다. 측정 및 경험적인 데이터를 아래에 제시하였다.

이하, 도 2에 도시된 상기 처리부를 도 3 내지 7을 참조하여 보다 상세히 설명한다.

도 3은 입력 신호 처리부(210)의 블록 구성도를 도시한 도면이다. 바람직한 실시예에서, 각 입력 신호는 4개의 필드들(305)의 세트로 처리된다. 따라서, 도 3 상부에 Y', C'_b, C'_r로 표시된 4개의 필드들의 적층은 검사 또는 기준 영상 시퀀스로부터 4개의 연속된 필드들의 세트를 나타낸다. 그러나, 본 발명은 상기 구현에 제한되지 않으며, 다른 필드 그룹화 방법들을 사용할 수 있다.

다중 변환들이 상기 입력 신호 처리부(210)에 포함된다. 간략히, 상기 입력 신호 처리부(210)는 Y', C'_b, C'_r 비디오 입력 신호들을 먼저 전자-총 전압들로 변환한 다음, 3개의 휘도체(phosphors)의 휘도 값들로 변환하고, 최종적으로 휘도 성분과 색차 성분들로 구분되는 정신 물리학적 변수들로 변환한다. 아래에서 연산할 트리스티뮬러스(tristimulus) 값 Y은 색차 처리 이전에 사용된 "모델 세기 값(model intensity value)"을 대체한다. 또한, 화소마다 색차 성분(u* 및 v*)이 CIE 균등 색 규정들에 따라 발생된다.

만일 입력 신호가 수용가능한 균등 색공간에 항시 존재한다면, 상기 입력 신호 처리부(210)를 최적으로 구현할 수 있다는 것을 주목해야 한다. 예컨데, 상기 입력 신호가 이전에 적절한 포멧으로 처리되고 저장 디바이스 예컨데, 마그네틱 또는 광 드라이브 및 디스크에 저장될 수 있다. 또한, 비록 본 발명이 CIELUV, 국제 표준 균등 색공간으로 맵핑된 화소들로 구현되었지만, 본 발명은 다른 공간들로 맵핑된 입력 신호들을 처리하기 위해 채용 및 구현될 수 있다.

제1 처리 단계(310)는 Y', C'_b, C'_r 데이터를 R', G', B' 총(gun) 전압들로 변환시킨다. 특히, 아래에 개설한 단계들은 Y', C'_b, C'_r 영상 프레임으로부터 CRT 디스플레이 장치를 구동하는 R', G', B' 전압 신호들로의 변환을 설명한다. 여기서, 콤마는 입력 신호들이 인코더에서 감마-우선수정된(gamma-precorrected) 것을 지적한다. 즉, 이러한 신호들은 변환 후, 그 전압-전류 변환 기능이 감마 비선형성에 의해 거의 근사화될 수 있는 CRT 디스플레이 디바이스를 구동할 수 있다.

상기 입력 디지털 영상들은 4:2:2 포맷인 것으로 가정한다: 휘도 상관 Y'에서 최대 해상도, 그리고 색차 상관 C'_b 및 C'_r에서 수평으로 1/2-해상도이며, 여기서, Y', C'_b, C'_r 데이터들은 ANSI/SMPTE 표준안 125M-1992에 명시된 순서로 저장되는 것으로 가정되고, 즉,

C'_b0, Y'₀, C'_r0, Y'₁, C'_b1, Y'₂, C'_r1, Y'₃, …, C'_bn/2-1, Y'_n-1, C'_rn/2-1, Y'_n-2, ….

아래의 열거된 단계들에서, 색차 업샘플링(upsampling)을 위한 두개의 실시예들 또는 대안들, 및 Y'C'_b C'_r로부터의 R'G'B'로의 매트릭스 변환(matrix convesion)을 위한 세개의 실시예들 또는 대안들이 있다. 이러한 대안들은 다양한 공통 요건들 예컨데, 다양한 응용들에서 고려될 수 있는 디코딩 요건들을 커버한다.

특히, 상기 제1 색차 업샘플링 실시예에서, 단일 프레임으로부터의 Y' C'_b C'_r 어레이들은 Y' 영상의 최대 해상도까지 확장된다. C'_b 및 C'_r 어레이들은 초기에 수평으로 1/2 해상도이며, 이어 최대 해상도 필드들을 생성하기 위해 업샘플링된다. 즉, 열방향으로 교번하는 C'_b, C'_r 화소들은 데이터 스트림내의 짝수의 Y'_i에 할당된다. 이어, 짝수의 Y'_i와 관련된 C'_b, C'_r 쌍은 (i) 복제 및 (ⅱ) 그 이웃값과의 평균 중 하나에 의해 연산된다.

제2 색차 업샘플링 실시예에서, 최대 해상도 Y' C'_b C'_r 어레이들은 두개의 필드들로 분배된다. Y'의 경우에, 제1 필드는 Y' 어레이의 홀수 라인들을 포함하며, 제2 필드는 Y' 어레이의 짝수 라인들을 포함한다. 제1 및 제2의 C'_b 및 C'_r 필드들을 발생시키기 위해 동일한 프로세스가 C'_b 및 C'_r 어레이들에 수행된다.

Y' C'_b C'_r로부터 R'G'B'로의 매트릭스 변환에서, 대응하는 Y' C'_b C'_r 값들은 상기 두 필드들 각각의 각 화소들에 대한 총(gun) 입력 값들 R'G'B'로 변환된다. 상기 Y' C'_b C'_r 값들은 다음 3개의 선택적 방정식들중 하나에 의해 R'G'B' 값들과 관련되도록 선택된다. 처음 두개의 방정식들은 1996년 샌디에고 하이텍스트에서, Keith Jack에 의한 Video Demystified Ch. 3, p. 40-42에서 발견할 수 있다. 방정식(3)은 1996년 와일리에서, C. A. Poynton에 의한 A Technical Introduction to Digital Video에서 방정식 9.9 에 대응(C_b가 U로 C_r가 V로 대체)한다. 바람직한 실시예에서, 방정식(2)가 디폴트로서 선택되며, 이는 그 밖에 관심있는 디스플레이의 측정치가 지적되지 않는한 사용되어야 한다.

상기 R', G', 및 B' 어레이들은 상기 입력 신호 처리부(210)에서의 제2 처리 단계(320)에 의해 수신된다. 제2 처리 단계(320)는 포인트-비선형성을 각 R', G', B' 영상에 적용한다. 본 제2 처리 단계는 R', G', B' 총 전압들의 디스플레이 장치의 세기들(R, G, 및 B)로의(최대 휘도의 분수들) 변환을 모델링한다. 상기 비선형성은 또한 디스플레이 장치에 의한 각 평면에서 낮은 휘도들에서의 클리핑(clipping)을 수행한다.

특히, (R', G', B') 및 (R, G, B) 사이의 변환은 두개의 부분들을 포함하며, 그중 하나는 각 화소 값을 독립적으로 변환시키는 것이고 다른 하나는 변환된 화소 값들에 공간적 필터링을 수행하는 것이다. 아래에 상기 두 부분들이 설명되어 있다.

화소-값 변환((Pixel-Value Transformation)

먼저, 입력 R'에 대응하는 최대 휘도의 분수 R가 각각의 화소에 대해 연산된다. 유사하게, 휘도의 분수들 G 및 B이 입력들 G', B'로부터 연산된다. 각 총(gun)으로부터 최대 휘도가 상기 입력 값 255에 대응하는 것으로 가정한다. 다음의 방정식들은 (R', G', B')로부터 (R, G, B)로의 변환을 나타낸다.

디폴트 임계 값 t_d을 디스플레이 장치의 블랙 레벨에 대응하도록 16으로 선택하고, γ를 2.5로 디폴트한다.

상기 디스플레이 장치에 거의 1000:1인 (255/16)^2.5의 동범 범위를 제공할 수 있도록 t_d에 대해 값 16이 선택된다. 이러한 동적 범위는 비교적 넓으며, 주변 조도가 최대 디스플레이 백색광(white)의 약 1%인 곳에서는 필요없을 수 있다. 따라서, 상기 지각 발생기가 상기 값 16 대신에 블랙 레벨로서 100:1의 동적 범위를 제공하는 값 40을 채택할 때 조차 그 물리적 충실도를 유지할 수 있다. 사실, 보다 작은 동적 범위는 연산 사이클에서의 절약, 예컨데, 프로세스중 1 또는 2 비트를 절약할 수 있게 한다.

디스플레이 장치에 대한 두개의 관측들을 아래에 설명한다. 제1 관측은 절대 스크린 휘도에 대한 의존성을 포함한다. 상기 지각 매트릭 발생기의 예측들은 함축적으로 상기 지각 매트릭 발생기를 측정하여 발생되는 휘도 레벨들에만 단지 적용된다.

전형적인 측정 데이터를 위해 J. J. Koenderink 및 A. J. van Doorn의 "시공간적 콘트라스트 검출 임계 표면은 바이모들(bimodal)이다," 광학 문자들 4, 32-34(1979)), 직경 2mm의 디폴트 동공을 사용하여 망막의 조도가 200 트로랜드(trolands)였다. 이것은 63.66 cd/㎡, 또는 18.58 ft-L의 스크린 휘도를 의미한다. 측정 휘도는 주관적 등급 검사에 사용된 디스플레이 장치들의 휘도들과 비교할 수 있다. 예컨데, 비록 두 실험들의 최대-백색광 휘도들이 71 및 97 ft-L이지만, 화소 값 128에서의 휘도들은 각각 15 및 21 ft-L이다. 이러한 값들 및 지각 매트릭 발생기의 전체 감도가 0.01로부터 100 ft-L까지 측정되었다는 사실을 고려하면(F. L. van Nes, J. J. Koenderink H. Nas 및 M. A. Bouman, "Spatiotemporal modulation transfer in the human eye", J.Opt. Soc. Am. 57, 1082-1088(1067)), 지각 매트릭 발생기가 약 20부터 100 ft-L까지의 스크린 휘도들에 적용되었다라는 결론을 내릴 수 있다.

제2 관측은 다른 모델들에서의 방정식 (4)의 관계식을 포함한다. 오프셋 전압 t_d (예컨데, 캐소드 및 TV 스크린 사이의 그리드 설정으로부터의)는 푠튼(Poynton)에 의해 제시된 모델(C. A. Poynton, "Gamma" and its disguises: The nonlinear mappings of intensity in perception, CRTs, Film, and Video, SMPTE Journal, 1993, 12, pp.1099-1108), 상기 R=k[R'+b]^γ(그리고, G 및 B에 대해서도 유사함)로 방정식 (4)를 변환시키기는 데에 사용될 수 있다. 새로운 전압 R"=R' - t_d를 정의함으로써 Poynton의 모델을 얻을 수 있다. 따라서, R=k[R"+t_d]^γ 이며 G 및 B에 대해서도 유사하다. Poynton의 방정식보다는 오히려 방정식(4)를 기입함으로써, 오프셋 전압은 -t_d라고 가정한다. 또한, 주변 조도가 없다라고 가정한다.

주변 조도 c가 있는 경우, 상기 전압 오프셋은 무시할 수 있으며, 방정식 (4)는 Meyer가 제시한 모델("The importance of gun balancing in monitor calibration," in Perceiving, Measuring, and Using Color (M. Brill, ed.), Proc. SPIE, Vol. 1250, pp. 69-79(1990)), 즉 R=kR'^γ+c와 거의 동일하다. G 및 B에 대해서도 유사하게 표현된다. 만일 주변 조도가 제시되면, 방정식(4)는 k=(1/255)^γ+c 및 c=.01을 갖는 Meyer 모델로 대체된다.

본 지각 매트릭 발생기는 각 프레임(순차적인 영상들에서) 및 홀수와 짝수 필드들(인터레이싱된 영상들에서)에 대해 (R, G, B) 영상들의 수직적 표현을 규정하기 위해 3개의 선택 사항들을 제공한다.

선택 사항 1. 프레임(Frame)

영상은 최대-높이이고 하나의 순차적으로 스캔된 영상을 포함한다.

선택 사항 2. 최대-높이 인터레이스( Full-height Interlace)

1/2-높이 영상들이 인터레이싱된 스크린내에 있으므로, 블랭크 라인들로 점철되어 최대-높이가 된다. 블랭크 라인들은 아래의 설명처럼 보간에 의해 순차적으로 채워진다.

선택 사항 3. 1/2-높이 인터레이스(Half-height Interlace)

1/2-높이 영상들을 직접적으로 처리한다.

처음 두개의 선택 사항들은 비디오 영상 구조에 더욱 충실하며, 이에 반해, 제3 선택 사항은 50% 만큼 처리 시간 및 메모리 요건들을 감소시키는 이점을 갖는다. 선택 사항 1 및 2는 최대-높이 영상에서 동작하므로, 선택 사항 1 및 2에 대한 휘도 및 색차 프로세스는 동일하다. 이하, 이러한 세 선택 사항들에 대해 상세히 설명한다.

공간적 사전-필터링(Spatial Pre-Filtering)

위의 선택 사항 1 및 3은 공간적인 사전-프로세스를 요하지는 않는다. 그러나, 최대-높이 인터레이스 선택 사항 2와 관련하여 공간 사전-필터링이 제공된다.

필드에서 라인으로부터 인터-라인 화소로의 빛의 확산을 수용하기 위해서는, 상기 R, G, 및 B 필드 영상들이 라인 보간 프로세스를 거쳐야 한다. 4개의 보간 방법들을 이하에서 설명하나, 본 발명은 이러한 보간 방법들에 의해 제한되지는 않는다. 각각의 방법에서, 전체 프레임을 판독한 다음, 비활성 필드에 속하는 라인들의 각 화소를 바로 위아래의 화소들로부터 연산된 값들로 대체한다. 방법 (3) 및 (4)에 대해, 상기 연산은 비활성 필드로부터의 화소 값들을 또한 사용한다.

보간해야될 비활성 라인 화소를 P_inactive 및 상기 P_inactive의 위아래 활성 라인 화소들을 P_above 및 P_below로 각각 표시한다. 4개의 방법은 다음과 같다:

방법 (1) 평균은 디폴트이다.

도 3으로 돌아가서, 비선형성 프로세스 다음의, 제3 처리 단계(330)은 위아래로 보간된 값들로 R, G, B 필드들의 보간 값들을 대체함으로써, 보간 위치에 확산되는 수직 전자-빔 스폿(spot)을 모델링한다. 이어, 필드내의 각 화소에서의 백터 (R, G, B)는 CIE 1931 트리스티뮬러스(tristimulus) 좌표(X, Y, Z)로의 선형 변환(디스플레이 형광체들에 의존하는)된다. 상기 벡터의 휘도 성분 Y는 앞서 언급한 바와 같이, 휘도 처리부(220)에 제공된다.

특히, CIE 1931 트리스티뮬러스 좌표 X, Y, 및 Z는 분수의 휘도 값들 R, G, B이 제공될 때, 각각의 화소들에 대해 연산된다. 이러한 프로세스는 디스플레이 디바이스에 의존하는 다음의 입력들을 요구한다: 3개 형광체의 색채 좌표들 (x_r, y_r), (x_g, y_g), (x_b, y_b) 및 모니터 백색광 포인트(x_w, y_w)의 색도.

(x_w, y_w)=(0.3128, 0.3292)가 되도록, 조도 D65에 대응하는 것으로서 백색광 포인트를 선택한다(G. Wyszecki 및 W. S. Stile, Color Science, 2nd ed., Wiley, 1982, p.761을 참조). 적색, 녹색, 및 청색 형광체들에 대한 (x_r, y_r)=(.6245, .3581), (x_g, y_g)=(.2032, .716), 및 (x_b, y_b)=(.1465, .0549)은 NTSC 형광체들에 아주 근사한 현재의 이용가능한 형광체들에 대응한다. 그러나, 아래의 표 1에 다른 디스플레이 형광체 좌표(형광체 1차 색채) 선택 사항들을 나타내었다. ITU-R BT.709(Rec. 709)는 디폴트이다.

표 1. 디스플레이 형광체 좌표 선택 사항

위의 파라미터 값들을 사용하여, 화소의 X, Y, Z 값들은 다음의 방정식들에 의해 주어진다:

여기서, z_r=(1-x_r-y_r), z_g=(1-x_g-y_g), z_b=(1-x_b-y_b)이고, Y_0r, Y_0g, Y_0b 은 다음의 방정식에 의해 주어진다:

여기서, z_W=(1-x_W-y)이다(D.Post, Colorimetric measurement, calibration, and characterization of self-luminous displays, in Color in Electronic Displays, H. Widdel and D.L.Post(eds), Plenum Press, 1992, p.306을 참조).

상기 디바이스의 백색광 포인트의 트리스티뮬러스 값들(X_n, Y_n, Z_n)이 또한 필요하다. 이러한 값들은 색채(x_W, y_W)에 대응하고, 최대 형광체 활성 (R'=G'=B'=255)에서 Y=1 이다. 따라서, 상기 백색광 포인트에 대한 트리스티뮬러스 값들은 (X_n, Y_n, Z_n)=(x_W/y_W, 1, z_W/y_W)이다.

X, Y, Z 값들을 도출할 때 선택적인 최종 단계로서, 디스플레이 스크린으로부터의 베일링(veiling) 반사에 기인하여 가정된 주변 빛을 수용할 수 있도록 조절이 수행 될 수 있다. 이러한 조절은 다음의 형태를 갖는다:

여기서, 두개의 사용자-명시가능 파라미터들, L_max 및 L_n이 도입되고, 디폴트 값들이 할당된다. 디스플레이 장치의 최대 휘도, L_max는 상업적인 디스플레이 장치들에 대응하도록 100 cd/㎡로 설정한다. 상기 베일링(veiling) 휘도 L_n은 Rec 500 조건들하에서 측정된 스크린 값들과 일관되게, 5 cd/㎡로 설정한다.

주변 빛의 색채가 디스플레이 백색광 포인트의 색채와 동일한 것으로 가정한다. 중립 포인트 (X_n, Y_n, Z_n)를 연산하지 않는 휘도-전용 구현 선택 사항에서, 상기 조절은 방정식 (6a) 대신에:

로 수행된다는 점을 주지해야 한다. Y_n이 늘 1이기 때문에, 이것은 방정식(6a)의 Y 성분과 동일하다. 또한, 양 L_max*Y은 cd/㎡의 디스플레이의 휘도라는 점을 주지해야 한다.

도 3으로 다시 돌아가서, (각각의 화소에서) 색차 공간의 아이소루미넌트 (isoluminant) 색 차이들에 대한 색 공간의 근사적인 지각 균일성을 확인하기 위해, 개별적인 화소들을 제4 처리 단계(340)에서 CIELUV, 국제 표준 균일-색 공간으로 맵한다. 이 공간의 색차 성분들 u*, v*을 상기 색차 처리부(230)에 제공한다.

특히, 화소마다 X,Y,Z, 값들을 1976 CIELUV 균등-색 시스템(Wyszecki and Stiles, 1982, p.165)으로 변환시킨다:

여기서,

좌표 L*는 상기 휘도 처리부(220)에 보내지지 않는다는 점에 주지해야 한다. L*은 색차 좌표 u* 및 v*를 연산할 때에만 사용된다. 따라서, 단지 u* 및 v* 영상들만이 다른 프로세스를 위해 저장된다.

도 4는 상기 휘도 처리부(220)의 블록 구성도를 도시한 도면이다. 도 4를 휘도 처리 단계들의 흐름도 또는 상기 휘도 처리 단계들을 수행하기 위한 다수의 하드웨어 성분들 예컨데, 필터들, 다양한 회로 성분들 및/또는 주문형 집적 회로(ASIC)의 블록 구성도로서 이해할 수 있다.

도 4를 참조하면, 각 휘도 필드는 필터링되고,상이한 공간적-주파수 대역들 (412-418)로 입력되는 시각적 신호의 정신 물리학적 및 생리학적으로 관측된 분해를 모델화하기 위해, 4-레벨 가우시안(Gaussian) 피라미드(410; 피라미드 발생기)에서 다운-샘플링된다. 상기 분해 이후에, 연이은 선택적 프로세스, 예컨데 각 피라미드 레벨(해상도 레벨)에 적용되는 지향 필터링을 수행할 수 있다.

이어, 비선형 동작(430)이 상기 피라미드 분해 바로 다음에 수행된다. 이 단계는 가장 조밀한 피라미드 레벨내에서의 최대 휘도의 시간-의존 윈도우 평균(필드를 통한)을 기초로하는 이득-세팅(gain-setting) 동작(정규화)이다. 상기 정규화는 지각 매트릭 발생기의 전체 이득을 설정하고 밝은 화면에서 어두운 화면으로의 변환 이후에 시각적 감도의 손실과 같은 효과를 모델화한다.

중간 값 I_norm을 도출하기 위해 중간 정규화 프로세스(420)가 수행된다는 점을 주목해야 한다. 이하에서 설명한 바와 같이, 상기 4개의 피라미드 레벨들 각각을 스케일링하기 위해 I_norm 값이 채용된다.

정규화 다음, 가장 낮은 해상도의 피라미드 영상(418)은 시간 필터링(시간 필터) 및 콘트라스트 연산(450)을 거치며, 다른 3개의 레벨들(412-416)은 공간 필터링 및 콘트라스트 연산(440)을 거친다. 각각의 경우에, 콘트라스트는 적절히 스케일링된, 로컬 합산에 의해 나눠진 화소 값들의 로컬 차이다. 상기 지각 매트릭 발생기의 공식에서, 상기 로컬 차이는 "1 JND"로 정의되고, 상기 지각 매트릭 발생기의 다음 단계들로 진행한다. (이하에서 설명한 바와 같이 측정은 지각 매트릭 발생기의 중간 단계에서 상기 1-JND 해석을 반복적으로 교정한다). 각각의 경우, 상기 콘트라스트는 제곱되어, 알려진 바와 같이 콘트라스트 에너지를 산출한다. 상기 콘트라스트의 대수적 부호는 영상 비교(JND 맵 연산) 이전에 바로 다시 부가하기 위해 보전된다.

다음 단계들(460 및 470; 콘트라스트-에너지 마스킹)은 각각의 지향 응답 (콘트라스트 에너지)을 모든 콘트라스트 에너지들의 함수로써 나누는 추가의 이득-세팅 연산을 형성한다. 다른 로컬 응답들에 의한 각 응답의 이러한 조합된 감쇄는 "비지(busy)" 영상 영역들에서의 왜곡들에 대한 감도의 감소와 같은 시각적 "마스킹" 효과들을 모델화하기 위해 포함된다. 지각 매트릭 발생기의 이러한 단계에서, 시간적 구조(플리커(flicker))가 공간적 차이를 마스킹하기 위해 또한 형성되고, 공간적 구조는 시간적 차이를 마스킹하기 위해 형성된다. 이하에서 설명하는 바와 같이, 휘도 마스킹이 또한 색차 측면에 적용된다.

마스킹된 콘트라스트 에너지들(콘트라스트 부호들과 함께)이 상기 휘도 JND 맵(480)을 발생시키기 위해 사용된다. 간략히 설명하면, 상기 휘도 JND 맵은: 1) 각 영상을 양 및 음의 성분들(반파 정류)로 분류; 2) 로컬 풀링을 수행 (정신 물리학적 경험에서 관찰된 로컬 공간적 합산을 모델화하기 위해 평균 및 다운샘플링); 3) 채널에 의한 절대 영상 차이 채널을 평가; 4) 임계화(coring); 5) 파워에 대해 코어된(cored) 영상차들을 발생; 및 6) 동일한 해상도로 업-샘플링(풀링 단계에 의해 본래의 영상의 1/2 해상도가 되는)함으로써 발생된다.

도 19는 휘도 처리부(220)의 선택적 실시예의 블록 구성도를 도시한 도면이다. 특히, 도 4의 정규화 단계들(420 및 430)이 휘도 압축 단계(1900)으로 대체된다. 요컨데, 입력 신호의 각 휘도 값은 먼저 이하에서 상세히 설명하게 될, 압축의 비선형성을 거친다. 도 19의 다른 단계들은 도 4와 유사하다. 이러한 유사한 단계들은 위에서 설명하였다. 유사하지 않은 단계들에 대하여, 도 19의 휘도 처리부의 상세한 설명이 도 20을 참조하여 아래에서 제시한다.

일반적으로, 도 19의 휘도 처리부는 바람직한 실시예이다. 그러나, 두 실시예들은 다른 특징들을 가지고 있기 때문에, 그들의 성능은 다른 적용하에서 차이가 있을 수 있다. 예컨데, 도 4의 휘도 처리부는 보다 낮은 동적 범위에 비해 보다 높은 동적 범위 예컨데, 10-비트 입력 영상에서 잘 동작된다.

도 5는 색차 처리부(230)의 블록 구성도를 도시한 도면이다. 도 5는 색차 처리 단계들 또는 상기 색차 처리 단계들을 수행하기 위한 다수의 하드웨어 성분들 예컨데, 필터, 다양한 회로 성분들 및/또는 주문형 집적 회로(ASIC)의 블록 구성도로서 고려할 수 있다. 색차 프로세스는 여러면에서 휘도 프로세스와 유사하다. CIELV 공간의 색차(u* 502 및 v* 504)의 내부-영상 차이들은 미켈슨 콘트라스트(Michelson contrasts)(및 Weber 법칙)이 휘도 처리부에서 검출 임계치를 정의하는데 사용되는 것을 유추하여 색차 동작에 대한 검출 임계치를 정의하는 데에 사용된다. 또한, 휘도 동작의 유추에서, u* 및 v* 차이에 의해 정의된 색채의 "콘트라스트들"은 마스킹 동작을 거치게 된다. 변환기 비선형성은 한 영상 및 또 다른 영상 사이에서 콘트라스트 증분의 판별이 두 영상에 공통인 콘트라스트 에너지에 따라 결정되도록 한다.

특히, 도 5는 휘도 처리부에서와 같이, 각각의 색차 성분(u* 502 및 v* 504)이 피라미드 분해 프로세스(510)를 거치는 것을 보여주고 있다. 그러나, 휘도 프로세스가 바람직한 실시예에서 4개의 피라미드 레벨 분해를 수행하는 데에 반해, 색차 프로세스는 7개의 레벨들로 구현된다. 이러한 구현은 색차 채널들이 휘도 채널들보다 훨씬 낮은 공간적 주파수들에 민감하다는 경험적 사실을 지적하고 있다(K. T. Mullen, "The contrast sensitivity of human color vision to red-green and blue-yellow chromatic gratings," J. Physiol. 359, 381-400, 1985). 또한, 상기 분해는 색의 차이를 넓고 균일한 영역에서 관찰할 수 있다는 직관적인 사실을 고려한다.

이어, 플리커에 대한 색차 채널들의 본연의 둔감성을 반영하기 위해, 시간 프로세스(520)는 4개의 영상 필드들을 평균하여 실행된다.

이어, 라플라스 커널(Laplacian kernel)에 의한 공간 필터링(530)을 u* 및 v*에 대해 수행한다. 이러한 연산은 JND에 계측적으로(metrically) 연결된(균일 색차 공간의 정의에 의해) u*, v*에서의 색의 차이를 발생시킨다. 이러한 단계에서 1의 값은 휘도 채널에서의 웨버-법칙에 기초한(Weber's-law-based) 콘트라스트에 대한 유추에서, 단일의 JND를 얻었다는 것을 의미한다. (휘도 프로세스에서와 같이, 1-JND 색차 유니트는 측정하는 동안 재해석 프로세스를 거쳐야 한다.)

이러한 색차 값은 가중치가 부여되고, 제곱되어, 콘트라스트-에너지 마스킹 단계(540)로(콘트라스트 대수 부호를 가지고) 진행하게 된다. 상기 마스킹 단계는 휘도 처리부에서와 동일한 함수를 수행한다. 그 차이가 평가되는 휘도 채널들 및 색차 채널로부터의 입력만을 수신하기 때문에, 상기 연산은 다소 간단하다. 최종적으로, 단계(550)에서 색차 JND 맵을 발생시키기 위해 마스킹된 콘트라스트 에너지들이 상기 휘도 처리부에서와 같이 정확히 처리된다.

상기 비디오-시퀀스 비교에서 각 필드에 대해, 휘도 및 색차 JND 맵들은 단일-수치 요약들(single-number summaries), 즉 휘도 및 색차 JND 값들로 먼저 환산되어야 된다. 각각의 경우, 맵으로부터 수치로의 환산은 민코스키(Minkowski) 덧셈을 통해 모든 화소 값들을 합산함으로써 수행된다. 이어, 상기 휘도 및 색차 JND 수치들은 상기 지각 매트릭 발생부(260)에 의해 처리되는 필드에 대한 JND 평가치를 발생시키기 위해 다시 민코스키 덧셈을 통해 합산된다. 비디오 시퀀스의 다수의 필드들을 위한 단일 수행 측정(270)은 민코스키 개념에서, 각 필드에 대한 JND 평가치를 합산함으로써 결정된다.

도 6은 도 4의 휘도 처리부(220)의 상세한 블록 구성도를 도시한 도면이다. 입력 검사 및 기준 필드 영상들을 I_k 및 I^refk(k = 0, 1, 2, 3)로 각각 표시한다. I_k 및 I^refk에서의 화소 값들을 I_k(i,j) 및 I^refk(i,j)로 각각 표시한다. 이러한 값들은 입력 신호 처리부(210)에서 연산된 Y 트리스티뮬러스(tristimulus) 값들(605)이다. 이하에서는, I^refk 연산 프로세스는 I_k와 동일하기 때문에, 단지 I_k 필드들만을 설명한다. k=3은 4-필드 시퀀스에서 가장 최근 필드를 지적한다는 것을 주목해야 한다.

4개의 해상도 레벨들로의 공간 분해는 피라미드 처리 또는 피라미드 분해라 불리는 계산적으로 효율적인 방법을 통해 수행되며, 상기 피라미드 처리 또는 피라미드 분해는 각각 연속적으로 더 조밀한 해상도 레벨로 2의 인자만큼 영상을 다운샘플링하여 영상이 흐려지게 한다. 상기 본래의 최대 해상도 영상을 피라미드의 0번째 레벨(레벨 0)라 할 때, G₀ = I₃(i,j)이다. 보다 낮은 해상도들에서, 연이은 레벨들을 소위 리듀스(REDUCE)라는 연산으로 구할 수 있다. 즉, 가중치 (1,2,1)/4를 갖는 세개-탭 저역 통과 필터(610)가 흐릿한 영상을 발생시키기 위해 영상의 각 방향으로 연속으로 G₀에 적용된다. 결과적인 영상은 다음 레벨 G₁을 생성하기 위해 인자 2에 (모든 그 밖의 화소가 제거된다) 의해 서브샘플링된다.

fds1()를 하나의 피라미드 레벨에 의한 필터링 및 다운샘플링의 연산자로 표시하면, 리듀스(REDUCE) 프로세스를 다음 식(13a)과 같이 표현할 수 있다.

리듀스 프로세스는 순환적으로 각각의 새로운 레벨에 적용된다. (P. J. Burt and E. H. Adelson, "The Laplacian pyramid as a compact image code," IEEE Transactions on Communication, COM-31, 532-540 (1983)).

역으로, 동일한 3×3 커널(kernel)에 의해 업샘플링 및 필터링하는 연산자 엑스펜드(EXPAND)가 정의된다. 이 연산자를 usf1()으로 표시하며, 아래에 나타내었다.

각 방향(수평 및 수직)으로의 상기 fds1() 및 usf1() 필터 커널들은 각각 k_d [1,2,1] 및 k_u [1,2,1]이며, 여기서 균일-필드 값들을 보존할 수 있도록 상기 k_d 및 k_u가 선택된다. fds1()에 대해, 상수 k_d = 0.25이고, usf1()에 대해, k_u = 0.5(업샘플링된 영상에서 제로들 때문에)이다. 적절한 연산으로서 usf1()을 수행하기 위해, 제로 값들을 대체하기 위해 커널이 등가의 선형 보간법으로 대체된다. 그러나, 개념적 단순화를 위해, 이는 "업샘플-필터"로서 참조될 수 있다.

이어, 정규화가 적용되며, 여기서 중간값(

으로 표시되는)은 4개의 값들, 즉, 각 필드(k=0,1,2,3)에 대한 레벨 3의 영상들에서의 최대 화소 값들을 평균함으로써 연산된다. 상기 단계는 피라미드 분해 프로세스 본연의 스무딩(smoothing)에 의해 최대 해상도(레벨 0) 영상에서의 아웃라이어들(outliers)의 영향을 약화시킨다. 이어,

을 이전의 단계(k=2)에 사용된 정규화 인자, I_norm의 감쇄된 값과 비교한다. 현재 단계(k=3)에 대한 I_norm은 이러한 두 값들중 보다 큰 값과 동일하게 설정된다. 가장 나중 필드의 4 피라미드 레벨들 모두에 대한 영상들은 새로운 I_norm 값을 사용하여 스케일링되고, 포화 비선형화를 거치게 된다.

다음의 방정식들은 이러한 프로세스를 나타낸 것이다. 만일 위로부터의 피라미드 레벨들이 I_3,l(i,j)이고, 3 및 l이 각각 가장 나중의 필드 및 피라미드 레벨이라면,

여기서, I_norm = max[αＩ^(') _norm,

](615), Ｉ^(') _norm은 필드-3 피라미드 레벨들을 정규화하기 위해 이전 단계에서 사용된 I_norm의 값이고, m은 2로 디폴트되고, 및

Δt는 필드 주파수의 역수이고, t_half = 1/2인 경우에 α는 인간의 시각 시스템이 광 스티뮬러스(bright stimulus)를 제거한 이후의 상태에 적응하는 적응 레이트와 관련된다. 50 및 60 Hz 에 대한 값들은 0.9727 및 0.9772이다. 상수 L_D는 빛의 부재시 존재하는 잉여의 시각 응답(노이즈) 및 0.01 값으로의 디폴트들을 나타낸다. 방정식(14)에서의 포화 비선형성은 생물학적인 기본 모델들로부터 도출된다(참조, Shapley 및 Enroth-Cugell, 1984).

지향성 공간 필터들(중심 및 주변)을 필드 3을 위한 레벨 0,1, 및 2 영상들에 적용한다. 이와 대조적으로, 시간 필터가 가장 낮은 해상도 레벨(레벨 3)에 적용된다. 즉, 첫번째 및 마지막 필드들의 쌍들은 각각 초기(Early) 및 나중(Late) 영상들로 선형 조합된다.

중심 및 주변 필터들(625 및 627)은 분리가능한 3×3 필터들로서, 모든 방향들의 조합들을 제공한다: 중심 수직(CV), 중심 수평(CH), 주변 수직(SV), 및 주변 수평(SH). 필터 커널들은 다음과 같다:

삭제

레벨 3 초기(630) 및 나중(632) 영상들은 각각,

이다.

60Hz에 대한 상수들 t_e 및 t₁은 각각 0.5161 및 0.4848이고, 50Hz에 대해서는 각각 0.70 및 0.30이다.
콘트라스트 연산을 위한 입력들은 상기 중심 및 주변 영상들(CV_i, CH_i, SV_i, 및 SH_i; 피라미드 레벨들 0, 1, 및 2에 대해 i=0,1,2), 및 상기 초기 및 나중 영상들 (E₃ 및 L₃; 피라미드 레벨 3에 대해)이다. 콘트라스트 비율을 연산하기 위해 사용된 방정식은 미켈슨 콘트라스트(Michelson contrasts)와 유사하다. 수평 및 수직 방향들에 대해, 일 화소씩, 각각의 콘트라스트들은

이다.

유사하게, 상기 시간 성분에 대한 콘트라스트 비율은

이다.

정신 물리학적 검사 데이터에 의한 측정에 의해 결정된 바와 같이, i = 0,1,2,3 에 대한 w_i값들은 각각 0.015, 0.0022, 0.0015, 및 0.003이다.

수평 및 수직 콘트라스트-에너지 영상들(640 및 642)은 두개의 앞선 방정식들에 의해 정의된 화소 값들을 제곱하여 연산되며, 그에 따라 아래의 식(21)에서와 같은 값들이 획득된다:

유사하게, 시간 콘트라스트-에너지 영상(650)은 상기 화소 값들을 제곱함으로써 연산된다:

제곱하기 이전에 각 콘트라스트 비율 화소 값의 대수적 부호는 나중에 사용하기 위해 보존된다.

콘트라스트-에너지 마스킹은 방정식들(21 및 22)에 의해 연산된 콘트라스트-에너지들 또는 영상들 각각에 적용되는 비선형 함수이다. 상기 마스킹 연산은 검사 영상 시퀀스의 왜곡 판별시 기준 영상 시퀀스에서의 시공간적 구조의 영향을 모델링한다.

예컨데, 검사 영상 및 기준 영상은 낮은-진폭의 공간적 사인파만큼의 차이가 있다. 이러한 차이는 두 영상들이 균일한 필드를 포함하는 경우보다는, 두 영상들이 공통적으로 동일한 공간 주파수의 중간-콘트라스트 사인파를 갖는 경우에, 더욱 가시적인 것으로 알려졌다(Nachmias 및 Sansbury, 1974). 그러나, 공통 사인파의 콘트라스트가 너무 큰 경우, 영상의 차이는 덜 가시적이다. 다른 공간 주파수들의 사인파들은 콘트라스트 차이의 가시성에 영향을 미칠 수 있다는 것도 또한 상기 경우이다. 이러한 작용을 낮은 콘트라스트 에너지에서의 만곡(sigmoid)인 비선형성의 높은 콘트라스트 에너지들에 대해 증가하는 파워 함수에 의해 모델링할 수 있다. 또한, 다음의 특징은 인간의 시력으로 대략적으로 목격할 수 있다. 각 채널은 그 자체를 마스킹하며, 높은 공간 주파수들은 낮은 주파수들을 마스킹하며(그러나 그 역은 아니다), 시간적 플리커는 공간적 콘트라스트 감도를 마스킹한다 (그리고 또한, 그 역도 그러하다).

이러한 인간 시각의 특성들에 응답하여, 다음의 비선형성 형식(660; 일 화소씩 적용된)이 적용된다:

여기서, y는 마스킹될 콘트라스트 에너지: 공간적, Hi 또는 Vi(방정식(21)) 또는 시간적(T₃)(방정식(22))이다. 양 D_i는 y가 속한 피라미드 레벨 i에 의존하는 영상에 관련된(일 화소씩) 것이다. 지각 매트릭 발생기 측정으로 양들 β, σ, a, 및 c이 각각 1.17, 1.00, 0.0757, 및 0.4753인 것을 발견했으며, d_y는 제곱하기 이전의 콘트라스트 y 본래의 대수적 부호이다.

D_i의 연산은 피라미드 구성(필터링 및 다운샘플링) 및 피라미드 분해(필터링 및 업샘플링)을 요한다. 이러한 D_i 연산이 도 6에 도시되어 있다. 먼저, E₀가 H₀ 및 V₀의 합산으로서 연산된다. 상기 합산은 단계(652)에 의해 필터링되고 다운샘플링되어, H₁+V₁에 합산되어 E₁이 된다. 다음으로, E₁은 또한 필터링, 다운샘플링되고, H₂+V₂에 합산되어 E₂가 된다. 차례로, E₂는 또한 필터링, 다운샘플링되어 E₃가 된다. 그러는 동안, 시간 콘트라스트들의 영상 T₃에 m_t를 곱하고, m_ftE₃를 합산하여 피라미드 레벨 3의 영상들을 나타내는 합산값 D₃을 발생한다.

차례로, D₃는 반복적으로 단계(654)에 의해 업샘플링 및 필터링되어 T₂, T₁, 및 T₀를 발생시킨다. 최종적으로, 영상 D_i는 D_i = m_fE_i + T_i, i = 0, 1, 2로서 정의된다. 여기서 m_f는 0.01과 동일하도록 연산하여 결정되며, m_ft는 0.0005, 및 m_t는 0.05로 설정한다. 상기 필터링, 다운샘플링, 및 업샘플링 단계들은 앞의 설명과 동일하다.

위의 프로세스는 보다 높은 공간 주파수들이 보다 낮은 주파수들을 마스킹하며(D_i가 i보다 작거나 같은 피라미드 레벨에 의해 영향받으므로), 시간 채널은 모든 공간 채널들에 의해 마스킹되는 것을 설명하고 있다. 이러한 마스킹 동작은 일반적으로 생물학적 관찰과 조화되어 있다. 양들 D_i, i=0,1,2는 또한 아래에서 설명하는 바와 같이 색차 콘트라스트들을 마스킹한다(그러나, 그 역은 아니다).

도 20은 도 19의 휘도 처리부(220)의 선택적인 실시예의 상세한 블록 구성도를 도시한 도면이다. 도 19의 휘도 처리부는 도 6의 휘도 처리부와 많은 유사 단계들을 포함하고 있으므로, 이하에서는 상이한 단계들에 대해서만 설명한다.

하나의 중요한 차이점은 도 20에서 도 6의 정규화 단계들을 휘도 압축(압축의 비선형성)단계(2000)로 대체하는 것이다. 즉, 비선형성은 콘트라스트에 의해 오프셋되는 감속 파워 함수를 포함한다. 가장 나중 필드로부터의 상대적-휘도 어레이를 Y₃(i,j)라 하자, 여기서 3은 가장 늦은 필드를 가리킨다.

디스플레이의 최대 휘도 L_max를 100 cd/㎡으로 설정한다. 상기 함수는 8c/deg 에서 콘트라스트-감도 데이터로 측정된다. 조절가능한 파라미터들 m 및 L_D가 각각 0.65 및 7.5라는 것을 알 수 있다. 즉, L_d 및 m 값들이 0.001 내지 100ft-L(van Des and Bouman, 1967)의 휘도 레벨들로 콘트라스 검출 데이터를 매칭하기 위해 선택된다. 달리 말하면, 방정식(23a)은 절대 휘도에 반하여 측정된다. 예컨데, 디스플레이의 최대 휘도 변화는 총 휘도 출력에 영향을 주게 될 것이다. 방정식(23a)을 보는 또 다른 방식은 상기 지각 매트릭 발생기가 휘도-의존 콘트라스트-감도 함수와 통합하게 한다는 것이다.

선택적으로, 부가적인 휘도 압축 단계(2000; 도 20에서 점선의 박스로 나타낸)는 본 지각 매트릭 발생기가 휘도 및 공간 주파수의 함수로서 콘트라스트 감도를 모델링할 수 있게 하기 위해 각 피라미드 레벨에 삽입될 수 있다. 그렇지 않다면, 단지 두개의 파라미터들로의 하나의 휘도 압축 단계(2000)를 수행하는 것은 다른 공간 주파수들을 모델링하기에 불충분하게 될 것이다.

특히, 각 휘도 영상의 피라미드 분해 후, 비선형성을 각 피라미드 레벨 k에 적용한다. 그 때, 피라미드 레벨 k에 대한 압축 비선형성은,

로 주어지며, 여기서 다시 0.01부터 100ft-L(van Nes et al. 1967)까지의 휘도 레벨들로 콘트라스트 검출을 매칭하기 위해 m(k) 및 L_D(k)가 선택된다. 값 L_a는 주변 스크린 휘도(스크린 측정치들에 기초하여 5 cd/㎡으로 설정된)에 대한 오프셋이며, L_max는 디스플레이의 최대 휘도(일반적으로 약 100 cd/㎡이다)이다.

방정식(23b)을 측정하기 위한 데이터를 아래에 표로 작성하였다.

위의 테이블에서 각 콘트라스트 변조 C_m는 공간 주파수 f_s 사인파 및 망막의 휘도 I₀의 즉시-판별가능한(just-discriminable) 콘트라스트를 발생하는 경험적인 값이다. 2mm 인공 눈동자가 측정에 사용되므로, 휘도 값들(L cd/㎡)을 검색하기 위해 망막의 휘도 값들(트로랜드(trolands)에서 I₀)에

를 곱한다. 모든 m(k) 및 L_D(k)에 대한 측정을 위한 좋은 시작 점은 8c/deg 사인파 검출을 위한 디폴트값들을 사용하는 것이며, 여기서 적절한 지수 m은 0.65이며 L_D의 적절한 값은 7.5 cd/㎡이다.

도 6 및 도 20의 두 지각 매트릭 발생기를 위한 휘도의 공간 및 시간 필터링은 동일하다. 그러나, 도 20의 지각 매트릭 발생기의 휘도 콘트라스트 연산은 제곱 연산없이 수행된다. 단계들(640, 642, 및 650)이 도 20에서는 단계들(2040, 2042, 및 2050)로 대체된다.

특히, 콘트라스-응답 영상들은 위의 방정식 (19) 및 (20)에 의해 정의된 양의 절대 값들의 클리핑된 버젼들(clipped versions)로서 연산된다. 이러한 양들은 식(23c) 및 (23d)로서 연산된다.

절대-값 연산 이전의 각 콘트라스트 비율 화소 값의 대수적 부호는 이 후의 사용을 위해 또한 보존되어야 한다.

도 6 및 도 20의 상기 지각 매트릭 발생기들 사이의 또 다른 중요한 차이점은 콘트라스트 에너지 마스킹에 있다. 도 6과는 다르게, 도 20의 지각 매트릭 발생기들은 두 개의 분리된 단계에서 콘트라스트 에너지 마스킹(2060)을 수행한다: 수평 및 수직 채널들 각각을 위한 크로스 마스킹 단계 및 셀프 마스킹 단계(도 20을 참조). 셀프 마스킹은 현 채널내의 정보의 출현시 감도를 감소시킨다. 이와 달리, 크로스 마스킹은 이웃 채널에 정보가 출현할 때 감도를 감소시킨다. 사실, 이러한 두 분리된 마스킹 단계들의 순서는 반대로 될 수 있다. 이러한 콘트라스트 에너지 마스킹 단계들은 다음과 같은 형식을 취한다:

여기서, y는 마스크될 콘트라스트이다: 공간적, Hi 또는 Vi(방정식(23c)) 또는 시간적 (T₃)(방정식(24d)). 양 D_i는 y가 속하는 피라미드 레벨 i에 의존하는 영상과 관련된다(일 화소씩). 양들 b, a, c, m_f, 및 m_t은 각각 1.4, 3/32, 5/32, 10/1024, 및 50이 되도록 모델 측정으로 구했다. d_y는 절대값을 취하기 이전의 보존된 콘트라스트의 대수 부호이다.

D_i 연산은 앞서 설명한 도 6과 유사하다. 즉, fds1()는 일 피라미드마다의 다운샘플링이 후속되는 3×3 필터링을 표시하며, usf1()는 3×3 필터링이 후속되는 일 피라미드 레벨 만큼의 업샘플링을 나타낸다. 먼저, 어레이 E₀는 다음과 같이 연산된다:

이어, i = 1,2에 대해, 어레이들 E_i는 반복적으로 연산된다:

상기 어레이들 E_i는 이어 콘트라스트 분모(denominator) 어레이들 D_i을 제공하기 위해 시간 콘트라스트 영상 T₃ 및 영상들 T_i와 다음과 같이 조합된다:

여기서, 파라미터가 m_ft =3/64 이면, 모든 공간적-휘도 채널들과 함께 시간적(플리커) 휘도-채널을 마스킹시키는 강도를 변조시킨다; 그리고, 파라미터 m_t =50 이면, 상기 시간적(플리커) 휘도-채널과 함께 공간적-휘도 채널들 각각을 마스킹시키는 강도를 변조시킨다.

도 7은 휘도 매트릭 발생부(240)의 상세한 블록 구성도를 도시한 도면이다. 다시, 도 7은 휘도 매트릭 발생 단계들의 흐름도 또는 상기 휘도 매트릭 발생 단계들을 수행하는 다수의 하드웨어 성분들, 예컨데, 필터들, 다양한 회로 성분들 및/또는 주문형 집적 회로(ASIC)를 갖는 휘도 매트릭 발생부의 블록 구성도로서 생각할 수 있다. 아래에 설명된 구조는 위의 도 6에서 발생된 모든 마스킹된-콘트라스트 영상들에 적용된다:

피라미드 H 및 V에서의 영상들 (예컨데, 영상들 H₀, V₀, H₁, V₁, H₂, 및 V₂), 영상 T₃ (레벨 3에서의 해상도를 갖는), 및 기준 시퀀스들로부터 도출된 대응하는 영상들 (도 6 및 도 7에서 위첨자 ref로 나타낸).

다음의 프로세스에서 처음 4개의 단계들은 개별적으로 위의 영상들에 적용된다. 다음의 설명에서 X는 검사 시퀀스로부터 도출된 이들 영상들중 어느 한 영상을 나타내며, X^ref는 기준 시퀀스로부터 도출된 대응하는 영상을 나타낸다. 이러한 표시법을 부여할 때, 단계들은 다음과 같다:

단계 710에서, 상기 영상 X는 두개의 반파 정류된 영상들로 분리되며, 그 하나는 양의 콘트라스트들(712)에 대한 것이고, 다른 하나는 음의 콘트라스트들(714)이다. 상기 양의-콘트라스트 영상(소위 X₊)에서, 상기 X 콘트라스트(전술된 것과 같이 개별 저장된)로부터의 부호들은 음의 콘트라스트들을 갖는 X₊내의 모든 화소들에 제로를 할당하기 위해 사용된다. 반대의 프로세스가 음의-콘트라스트 영상 X_- 에서 발생된다.

단계 720에서, 각 영상 X₊ 및 X_- 에 대하여, 로컬 폴링(pooling) 연산은 수평 및 수직으로 0.25(1,2,1)의 필터 커널로 영상을 감기(convolve) 위해 3×3 필터를 적용시킴으로써 수행된다.

또한, 단계 720에서, 결과 영상들은 상기 폴링 연산으로부터의 잉여 결과를 제거하기 위해 각각의 방향으로 인자 2 만큼 다운샘플링된다. X에 적용된 프로세스와 동일한 프로세스가 상기 대응하는 기준 영상 X^ref에 대해 수행된다.

단계 730에서, 절대-차이 영상들 ｜X₊ - X₊ ^ref｜ 및 ｜X_- - X_- ^ref｜이 화소마다 연산된다. 상기 결과 영상들은 JND 맵들이다.

단계 740에서, 코링 연산(coring operation)이 상기 JND 맵들에 수행된다. 즉, 임계치 t_c 미만의 모든 값들이 제로로 설정된다. 바람직한 실시예에서, t_c는 0.5 값으로 디폴트된다.

단계 750에서, 이러한 영상들의 Q번째 파워가 결정된다. 바람직한 실시예에서, Q는 값 2에 디폴트된 양의 정수이다.

이러한 프로세스가 모든 X, X^ref 쌍에 대해 수행된 이 후, 요약 측정치들은 모든 영상들을 요구되는 레벨까지 반복적으로 업샘플링, 필터링 및 합산함으로써 결정된다. 이것은 다음과 같이 수행된다:

단계 760에서, 업샘플링 및 필터링 프로세스는 레벨-2 영상을 도출시키기 위해 T₃, T₃ ^ref로부터 도출된 레벨-3 영상들에 적용된다.

단계 761에서, 업샘플링 및 필터링 프로세스는 단계 760으로부터의 레벨-2 영상 및 H₂, H₂ ^ref, V₂, 및 V₂ ^ref로부터 도출된 레벨-2 영상들의 합산에 적용된다.

단계 762에서, 업샘플링 및 필터링 프로세스는 단계 761로부터의 레벨-2 영상 및 H₁, H₁ ^ref, V₁, 및 V₁ ^ref로부터 도출된 레벨-2 영상들의 합산에 적용된다.

단계 763에서, 업샘플링 및 필터링 프로세스는 단계 762으로부터의 레벨-2 영상 및 H₀, H₀ ^ref, V₀, 및 V₀ ^ref로부터 도출된 레벨-2 영상들의 합산에 적용된다. 단계 763으로부터 경로 765상의 출력은 휘도 JND 맵이다.

최종 처리 단계 763 이전에, 그 결과 영상은 본래의 영상 해상도의 1/2임을 주지해야 한다. 유사하게, 본 처리부에서의 각 피라미드-레벨 인덱스(index)는 원래 그것이 도출되는 피라미드 레벨에 관한 것이며, 필터링/다운샘플링 이후의 레벨과 관련된 영상의 해상도의 두배이다.

상기 위의 반복된 업샘플링, 필터링, 및 합산 프로세스에 의해 발생된 모든 영상들은 Q-번째 파워-JND 영상들이다. 상기 레벨-0 영상은 두가지 방식으로 사용되며, 경로 764 상의 요약 프로세스에 직접적으로 전송되거나, 또는 디스플레이 용도를 위해 단계 763에서 본래의 영상 해상도로 업샘플링 및 필터링된다.

도 21은 휘도 매트릭 발생부(240)의 선택적인 실시예의 상세한 블록 구성도를 도시한 도면이다. 도 21의 휘도 매트릭 발생 프로세스는 도 7의 휘도 매트릭 발생 프로세스와 많은 유사 단계들을 포함하므로, 이하에서는 단지 상이한 단계들에 대해서만 설명한다.

특히, "코링(coring)" 단계 740 및 "Q번째 파워로의 상승" 단계 750는 채널 출력들의 실행 합산치(running sum) 및 실행 최대치(running maximum)를 유지하는 다수의 최대 및 합산 단계들에 의해 대체된다. 도 21에 도시된 프로세스는 단계 730까지는 동일하기 때문에, 도 21의 프로세스는 절대값-차이 영상들 ｜X₊ - X₊ ^ref｜ 및 ｜X_- - X_- ^ref｜를 결정하는 포인트에서부터 설명한다.

이어, X, X^ref의 모든 쌍들에 대한 프로세스가 완료된 후, 실행-합산치 영상은 T₃, T₃ ^ref로부터 도출된 레벨-3 영상의 합산치를 포함하도록 단계 2140에서 초기화된다. 유사하게, 실행-최대치 영상은 ｜T₃₊ - X₃₊ ^ref｜ 및 ｜T_3- - X_3- ^ref｜의 포인트마다의 최대로서의 실행-최대치 영상을 포함하도록 단계 2142에서 초기화된다.

이어, 실행-합산치 및 실행-최대치 영상들은 두개의 레벨-2 영상들을 포함하도록 단계들 2140a 및 2142a에 의해 각각 업샘플링 및 필터링된다. 이어, 상기 실행-합 영상은 H₂, H₂ ^ref, V₂, 및 V₂ ^ref로부터 도출된 상기 레벨-2 영상들을 합산하여 단계 2144에 의해 갱신된다. 유사하게, 상기 실행-최대치 영상은 H₂, H₂ ^ref, V₂, 및 V₂ ^ref로부터 도출된 상기 레벨-2 영상들과 비교하여 단계 2146에 의해 갱신된다.

다음, 상기 실행-합 및 실행-최대 영상들은 두개의 레벨-1 영상들을 포함하도록 단계들 2144a 및 2146a에 의해 각각 업샘플링 및 필터링된다. 상기 실행-합 영상은 H₁, H₁ ^ref, V₁, 및 V₁ ^ref로부터 도출된 레벨-1 영상들을 합산하여 단계 2148에 의해 갱신된다. 유사하게, 상기 실행-최대 영상은 H₁, H₁ ^ref, V₁, 및 V₁ ^ref로부터 도출된 레벨-1 영상들과 비교하여 단계 2150에 의해 갱신된다.

다음, 상기 실행-합 및 실행-최대 영상들은 두개의 레벨-0 영상들을 포함하도록 단계들 2148a 및 2150a에 의해 각각 업샘플링 및 필터링된다. 상기 실행-합 영상은 H₀, H₀ ^ref, V₀, 및 V₀ ^ref로부터 도출된 레벨-0 영상들을 합산하여 단계 2152에 의해 갱신된다. 유사하게, 상기 실행-최대 영상은 H₀, H₀ ^ref, V₀, 및 V₀ ^ref로부터 도출된 레벨-0 영상들과 비교하여 단계 2154에 의해 갱신된다.

최종적으로, 상기 실행-합 및 실행-최대 영상들의 포인트단위의 선형 조합이 단계 2160에서 수행되어 아래의 식(23k)에 의해 휘도 JND 맵을 발생시킨다:

여기서, k_L = 0.783. k_L 값은 민코스키 Q-정규값 근사에 의해 결정된다. Q의 값 및 함께 제공될 영상들의 수 N가 주어지면, 모든 비교된 엔트리들(한 화소에서)이 동일하거나 또는 제로가 아닌 엔트리가 단지 하나만 존재할 때, 근사 측정이 정확히 상기 Q-정규값과 일치한다는 것을 값 k_L = [N - N^1/Q]/[N-1] 으로 확인한다. 이러한 경우, N = 14(채널들의 수), 및 Q =2 이다.

이러한 프로세스 후, 결과 영상이 본래의 영상 해상도의 1/2이라는 점을 주지해야 한다. 유사하게, 이러한 프로세스에서 각 피라미드-레벨 인덱스는 인덱스가 도출되며, 필터링/다운샘플링 이후의 그 레벨과 관련된 해상도의 2배가 되는 본래의 피라미드 레벨에 대한 것이다.

최종적으로, 반복된 필터링/다운샘플링 및 합산/최대화 프로세스에 의해 발생된 모든 영상들에는 JND 영상들을 발생시키기 위해 가중치들 k_L 및 1-k_L이 합산될 수 있다는 점을 주지해야 한다. 상기 레벨-0 영상은 두가지 방식으로 처리될 수 있으며, 상기 레벨-0 영상은 경로 2161을 통해 JND 합산 프로세스에 직접적으로 전송되거나, 또는 단계 2170에 의해 디스플레이 용도를 위한 본래의 영상 해상도로 업샘플링 및 필터링된다.

일반적으로, 도 21의 휘도 매트릭 발생부는 바람직한 실시예이며, 이에 반해, 도 7의 휘도 매트릭 발생부는 선택적인 실시예이다. 최대-합산 방법이 연산적으로는 보다 저렴하다는 것이 한 이유이다. 따라서, 만일 정수 구현의 동적 범위를 원한다면, 도 21의 휘도 매트릭 발생부가 바람직하다. 이와는 다르게, 만일 플로팅(floating) 포인트 프로세서를 채용한다면, 도 7의 휘도 매트릭 발생부가 또한 사용될 수 있다.

1/2-높이 휘도 프로세스(Half-Height Luminance Processing)

저장 요건 및 연산 사이클들은 프로세스의 중요 과제이므로, 본 발명은 1/2-높이 영상들 예컨데, 인터레이스 영상의 상부 및 하부를 처리할 수 있는 지각 매트릭 발생기의 선택적인 실시예를 제공한다. 본 실시예는 최대-높이 영상들을 저장하는데 필요한 저장 공간의 양을 감소시키며, 이와 동시에, 연산 사이클들의 수를 감소시킨다.

만일, 상기 1/2 높이 영상들이 제로-충진(filling)없이 실질 영상 높이로 직접 전송되면, 상기 휘도 처리부(220)는 본래의 수직 해상도가 본래의 수평 해상도의 단지 1/2인 것을 반영하도록 변형되어야 한다. 도 22 및 도 23은 1/2-높이 영상을 처리하기 위한 휘도 처리부 및 휘도 매트릭 발생부의 블록 구성도이다.

이들 구성도들(도 22 및 도 23) 및 최대-높이 인터레이스 영상들을 위한 대응하는 구성도(도 20 및 도 21)들을 비교하면, 많은 단계들이 동일함을 알 수 있다. 그것으로서, 도 22 및 도 23에 대한 아래의 설명에서는 두 개의 구현들 사이의 차이들에 한정한다.

먼저, 가장 높은-해상도 수평 채널 H0가 제거된다. 둘째로, 상기 가장 높은-해상도 영상은 가중치(5/8, 3/4, 1/8)를 가진 3×1 "켈" 필터(수직 필터;2210)로 수직으로(즉, 종열을 따라) 저역통과-필터링된다. 상기 필터는 라인들이 공간 주파수의 1/2으로 샘플링된다는 사실에 기인한 영향을 제거하기 위한 수직 차원의 안티-에일리어싱(anti-aliasing) 필터이다. 즉, 수직으로 흐려지는(blur) 저역 통과 필터이다. 이어, 결과인 수직으로 필터링된 영상 L₀은 1×3 필터(2220; 커널 0.25[1,21])에 의해 수평으로 필터링된다. 그 결과 영상 LP₀는 L₀의 수평으로 저역-통과된 버전이다.

이어, L₀ 및 LP₀는 다른 방향성 채널들의 (S-C)/(S+C) 응답들과 유사한 저역통과(LP₀) 방향성 응답에 의해 분리된 대역 통과(LP₀-L₀)를 발생시키기 위해 조합된다.

차례로, 영상 LP₀(720×240 화소들의 1/2-높이 영상)은 단계 2200에서 최대 높이 1/2-해상도 영상(360×240)으로 수평 방향으로 다운샘플링된다. 이점에서, 화면비는 이 영상 및 나머지 세개의 피라미드 레벨들을 모두의 처리가 최대-높이 선택 사항들에서와 같이 연속될 수 있게 할 수 있다.

이어, 레벨 0으로부터의 1/2-높이 영상들 및 레벨 1의 최대 높이 영상들 사이의 다운샘플링 및 업샘플링이 단계 2232(1×3 필터 & d.s.로 레벨링된)에 의해 1×3 필터링/수평 다운샘플링 및 단계 2234에 의해 수평 업샘플링(h.u.s.)/1×3 필터링으로 각각 수행된다. 수평 다운샘플링은 수평 차원으로 두 개의 인자만큼 데시매이션(deciamtion)을 적용하고, 즉, 영상의 모든 다른 종열을 차단한다. 수평 업샘플링은 존재하는 각 두 개의 종열들 사이에 제로들의 종열을 삽입한다. 업샘플링 이 후의 상기 필터 커널은 위에서 주지한 이유로 0.5[1,2,1]에 의해 정의된다.

도 23은 1/2-높이 영상들을 처리하기 위한 휘도 매트릭 발생부를 도시한 도면이다. 먼저, 가장 높은-해상도 수평 채널 H0는 제시되지 않는다. V0 채널에 대하여, 1×3 필터링 및 수평 다운샘플링 단계(2300)가 다른 채널들에서 사용한 바와 같은, 3×3 필터링 및 다운샘플링 단계를 대체하기 위해 제공된다.

H0 채널이 빠지므로, 다양한 파라미터들 및 실행-최대(running-maximum) 및 실행-합산(running-sum)의 경로(pathway)가 변환된다. 예컨데, k를 결정하는 N의 값은 14부터 12까지 변한다. 동일한 값 k=0.783은 두 최대-높이 및 1/2-높이 처리를 위해 사용되며, 위에서 주어진 방정식으로부터 연산된 최대-높이 및 1/2-높이 상수들의 평균이다.

최종적으로, 상기 최대-높이 실시예에서와 같이, 요약 측정들을 위한 휘도 맵은 디스플레이되기 전에 최대 영상 해상도로 제공되어야 한다. 디스플레이 바로 이전에, 최종 JND 맵은 단계 2310에서 업샘플링되고 1×3 필터링(커널 0.5[1,2,1])함으로써 수평 방향으로 최대 해상도가 주어진다. 수직 방향에서는, 라인-더블링(line-doubling)이 단계 2320에서 수행된다.

각각의 공간 필터는 수평 및 수직의 공간 의존성을 가지므로, 그것의 최대-높이 부본과의 비교에서와 같이, 1/2-높이 실시예에는 몇몇 상이점들이 있다. 그러나, 1/2-높이 실시예는 주관적 등급과의 상관 관계에서 단지 약간의 혼란을 표출할 것이다. 따라서, 비인터레이스 선택 사항이 인터레이스 선택 사항에 선택적인 실행 가능 및 시간-절약적인 대안으로서 채용될 수 있다.

도 8은 색차 처리부(230)의 상세한 블록 구성도를 도시한 도면이다. 다시, 도 8은 색차 처리 단계들의 흐름도 또는 색차 처리 단계들을 수행하기 위한 다수의 하드웨어 성분들 예컨데, 필터, 다양한 회로 성분들 및/또는 주문형 집적 회로(ASIC)를 갖는 블록 구성도로서 이해할 수 있다. 레벨들 0, 1, 2를 갖는 피라미드와는 별개로, 상기 색차 처리부(230)는 u*(802) 및 v*(804) 모두에 대한 레벨들 0, 1,,,,6을 가지는 피라미드들을 연산한다.

해상도는 수신자 사이의 간격에 의해서가 아닌 화소 사이의 간격에 의해 도출되기 때문에, 색차 채널들의 공간적 해상도는 휘도의 해상도(즉, 최대 높이의 피라미드 레벨의 해상도)와 동일하도록 선택된다. 수신자 사이의 간격은 가시각 0.0007 도이며, 화소 사이의 간격은 그 높이 4배에서 볼 때, 그 높이에서 480 화소들을 갖는 스크린으로부터 돌출된 0.03 도이다. 한편, 1985년 모건(Morgan) 및 애바(Aiba)는 빨강색-녹색 버니어 어큐어티(vernier acuity)가 아이서루미넌스(isoluminacne)에서 3의 인자에 의해 감소된다는 것을 발견했는데, 상기 인자는 다른 종류의 어큐어티에 대한 3개의 수신자 사이의 간격들과 등식화된다. 또한, 파랑색-노란색 색차 채널의 해상도는 약 2'(또는 0.033 도)의 가시 각도보다 작은 빛 서브탠딩(subtending)에 대한 3색 색맹(파랑색 블라인드)이라는 사실에 의해 제한된다(Wyszecki and Stiles, 1982, p.571 참조). 가시각 0.03도의 화소 해상도는 이러한 값들중 가장 큰 값에 매우 접근하므로, 상기 휘도 및 색차 채널들의 화소 해상도들을 등식화하기 위해 사용된다.

색차 피라미드는 레벨 6까지 확장된다. 이것은 관찰자가 색차의 넓고 공간적으로 균일한 필드들 사이의 차이를 목격한다는 증거를 지지한다. 이러한 효과는 공간적으로 연장된 JND 맵을 사용함으로써 처리될 수 있다. 상기 낮은 공간 주파수들에 의한 JND로의 영향(contribution)에 대한 양적인 증거가 뮬렌(Mullen; 1985)에 의해 제시되었다.

다시 도 8로 되돌아가, 휘도 처리와 유사하게, 7개의 해상도 레벨들에서의 공간적인 분해는 각각 연속적으로 더 조밀한 해상도 레벨로 2의 인자만큼 영상을 다운샘플링하여 영상이 흐려지게 하는 피라미드 분해를 통해 수행된다. 본래의 최대 해상도 영상을 소위 피라미드의 0번째 레벨(레벨 0)이라 한다.

보다 낮은 해상도에서의 뒤이은 레벨들은 리듀스(REDUCE)라는 연산으로써 얻게 된다. 즉, 가중치 (1,2,1)/4를 갖는 3-탭 저역통과 필터(805)가 흐린 영상을 발생시키기 위해 영상의 각 방향에서 연속적으로 레벨 0에 적용된다. 그 결과 영상은 다음 레벨, 레벨 1을 생성하기 위해 인자 2만큼 서브샘플링된다(모든 다른 화소들은 제거된다).

단계 810에서, 4-필드 평균이 탭 가중치들(0.25, 0.25, 0.25, 0.25)을 가지고 각 해상도 레벨을 위한 u* 영상들 및 v* 영상들에서 수행된다. 즉:

여기서, j는 필드 인덱스이다. 이러한 평균 연산은 색 채널들의 본연의 저역 통과 시간 필터링을 반영하며, 시간 휘도 채널의 "이전-이후(early-late)" 처리를 대체한다.

단계 820에서, 비방향성 라플라시안 공간 필터(820)가 u* 및 v* 영상들 각각에 적용된다. 상기 필터는 다음과 같은 3×3 커널을 갖는다:

식(24)는 제로의 총 가중치를 가지며 단위 값 차이를 가지는 두 균일 영역 사이에서 일직선의 에지에 최대 강도 1로 응답하도록 선택된다.(최대 응답은 수평 및 수직 에지에 의해 얻게된다.) 이것은 u* 및 v* 영상들을 JND 유니트들에서의 평가로 색차 차이의 맵들로 변경시킨다.

단계 830에서, 콘트라스트 연산은 상기 휘도 처리부에서 연산된 미켈슨 콘트라스트(Michelson contrasts)로 연속적으로 해석되도록, 색차 콘트라스트 피라미드로서의 단계 820에 의해 발생되는 상기 u* 및 v* 영상들에 직접 수행된다. 휘도 콘트라스트들과 유사하게, 색차 콘트라스트들은 라플라시안(laplacian) 피라미드들에 의해 영향받는 내부-영상 비교를 통해 연산된다. 공간 평균에 의해 나눠진 라플라시안 차이가 웨버의 법칙을 통해 1-JND 레벨(검출 임계치)에서 일정 값을 가정하는 미켈슨 콘트라스트(Michelson contrasts)를 표현하는 바와 같이, u* 및 v* 영상들상에서 동작하는 라플라시안 피라미드는 1-JND 해석을 갖는다. 유사하게, 이러한 해석은 측정 프로세스에 따라 변형된다. 상기 변형은 본 발명의 모든 부분들의 내부동작 및 1-JND 응답을 도출하는 자극들이 지각 매트릭 발생기와 관련하여 단순하지 않다는 사실을 반영한다.

또한, 단계 830에서, 일 레벨마다 콘트라스트 피라미드 영상들은 7개의 상수들 q_i(i=0,...,6)로 나누어지며, 그 값들은 측정에 의해 각각 1000, 125, 40, 12.5, 10, 10, 10인 것으로 결정된다. 이러한 상수들은 휘도 처리부에서의 양들 w_i(i=0,..,3)과 유사하다.

단계 840에서, 모든 u* 및 v* 콘트라스트들의 제곱들이 결정되지만, 그 대수 부호는 다시 이후의 사용을 위해 보존된다. 상기 부호의 보존은 제곱 연산에서 부호의 손실의 혼란성으로 인한 두 상이한 영상 사이에 0 JND들의 기록 가능성을 방지한다. 그 결과는 두개의 색차 제곱-콘트라스트 피라미드들 C_u, C_v이다.

단계 850에서, 콘트라스트 에너지 마스킹이 수행된다. 먼저, 분모(denomintor)의 피라미드 레벨 D_m(m=0, 1, 2)이 추가적인 변경없이 휘도 처리부(220)으로부터 직접적으로 채용된다. 그러나, 레벨들 3,..., 6 에 대해, D₂의 시퀀스 필터링 및 다운샘플링이 새로운 항의 추가없이 휘도 처리 방법에서와 같은 동일한 방법을 사용하여 수행된다. 휘도가 JND들의 보다 중요한 인자이므로, 색차로의 휘도 영향이 휘도로의 색차 영향보다 더 중요하다는 가정하에 섭동 원리(perturbation theory)에 입각하여 단계 840에서 이러한 D_m 값들이 사용된다. 즉, 대부분의 경우 색차 영향 이상으로 휘도 영향이 우세한 것으로 예견되므로 색차 처리부는 휘도 처리부상의 제1-차수 섭동으로서 볼 수 있다. 따라서, 휘도의 영향들(D_m)은 색차의 마스킹으로서 모델링되나 그 역은 아니다.

휘도-채널 분모 피라미드 D_m 및 모든 피라미드 레벨들 m=0, 1, 2에 대해 색차 제곱-콘트라스트 피라미드를 마스킹하기 위한 휘도 변환기에 사용된 동일한 함수적 형태를 사용함으로써 상기 마스킹된 색차 콘트라스트 피라미드가 발생된다:

단계 830에서 제거된 대수 부호는 s_um 및 s_vm 인자들을 통해 다시 부가된다는 점을 주지해야 한다. 이러한 연산은 u* 및 v* 에 대한 마스킹된 콘트라스트 피라미드들을 발생시킨다. 측정은 a_c=0.15, c_c=0.3, k=0.7, σ_c=1.0, 및 β_c=1.17 값들을 결정한다. 또한, m_c의 값 1로의 설정은 모든 측정들 및 예상들에서 충분한 성능을 제공한다.

도 24는 색차 처리부(230)의 선택적인 실시예의 상세한 블록 구성도를 도시한 도면이다. 도 24의 색차 처리부는 도 8의 색차 처리부의 단계들과 많은 유사한 단계들을 포함하고 있으므로, 이하에서는 상이한 단계들만을 설명한다.
색차 공간 및 시간 필터링은 도 8 및 도 24의 지각 매트릭 발생기 모두에 대하여 동일하다. 그러나, 도 24의 지각 매트릭 발생기에 대한 색차 콘트라스트 연산은 제곱 연산 없이 수행된다. 즉, 단계 830는 도 24의 단계 2400에 의해 대체된다.

특히, 단계 830에서, 각 레벨마다의 콘트라스트 피라미드 영상들은 7개의 상수들 q_i(i=0,...,6)으로 나누어지며, 그 값들은 측정에 의해 각각 384, 60, 24, 6, 4, 3, 3인 것으로 결정된다. 이러한 상수들은 도 8의 상수들과는 상이하다는 점을 주지해야 한다. 이러한 상수들은 휘도 처리부에서의 양들 w_i(i=0,..,3)과 유사하다.

이어, 모든 u* 및 v* 콘트라스트들의 클리핑된 절대 값들[여기서, clip(x)=max(0,x-e)]가 연산되며, 여기서 e=0.75이다. 다시, 대수 부호는 보존되고, 이후의 사용을 위해 다시 부가된다. 이것은 제곱값 연산에서 부호의 상실의 혼란성으로 인한 두 상이한 영상 사이에서 0 JND들의 기록 가능성을 방지한다. 그 결과는 두개의 색차 콘트라스트 피라미드들 C_u, C_v이다.

도 8 및 도 24의 지각 매트릭 발생기들 사이의 또 다른 중요한 차이점은 상기 콘트라스트 에너지 마스킹의 구현에 있다. 도 8과는 다르게, 도 24의 지각 매트릭 발생기들은 두개의 분리된 단계들에서 콘트라스트 에너지 마스킹(2410)을 수행한다: 수평 및 수직 채널들 각각에 대한 크로스 마스킹 단계 및 셀프 마스킹 단계(도 24 참조). 셀프 마스킹은 현 채널내에서의 정보 출현시의 감도를 감소시키는 반면, 크로스 마스킹은 이웃 채널에서의 정보 출현시의 감도를 감소시킨다. 사실, 이러한 두 분리된 마스킹 단계들의 순서는 바뀔 수 있다.

휘도-채널 분모 피라미드 D_m 및 모든 피라미드 레벨들 m=0, 1, 2에 대해, 색차 콘트라스트 피라미드들을 마스킹하기 위한 휘도 변환기에 사용된 동일한 함수적 형태를 사용하면:

여기서, D_i는 i>2인 경우 D₂의 필터링 및 다운샘플링된 버전이다. 비슷하게,

위에서 제거된 대수 부호는 s_um 및 s_vm인자를 통해 다시 부가된다는 점을 주지하라.이러한 연산은 u_i 및 v_i에 대한 마스킹된 콘트라스트 피라미드들을 발생시킨다. 측정은 a_c=1/2, c_c=1/2, β_c=1.4, 및 m_c=m_f=10/1024 값들을 결정한다. 일반적으로, 도 24의 상기 색차 처리부는 바람직한 실시예이며, 이에 반해 도 8의 색차 처리부는 선택적인 실시예이다.

도 9는 색차 매트릭 발생부(250)의 블록 구성도를 도시한 도면이다. 다시, 도 9는 색차 매트릭 발생 단계들의 흐름도 또는 휘도 매트릭 발생 단계들을 수행하기 위한 다수의 하드웨어 성분들 예컨데, 필터, 다양한 회로 성분들 및/또는 주문형 집적 회로(ASIC)를 갖는 블록 구성도로서 이해할 수 있다. 색차 JND 맵의 구조는 도 7에 대한 위에서 설명한 바와 같이 휘도 JND 맵의 구조와 유사하다. 색차의 경우에 있어서, 그 프로세스는 위의 단계 840에 의해 발생된 모든 마스킹된-콘트라스트 색차 영상들에 적용된다: 즉, C_u0, C_v0,..., C_u6, C_v6 영상들 및 기준 시퀀스로부터 도출된 대응하는 영상들(도 8 및 도 9에서 위 첨자 ref로 표시된).

다음 프로세스에서의 처음 4개의 단계들은 개별적으로 위의 영상들에 적용된다. 다음의 언급에서, X는 검사 시퀀스로부터 도출된 영상들 중 하나를 의미하며 X^ref는 기준 시퀀스로부터 도출된 대응하는 영상 중 하나를 가리킨다. 이러한 표시법이 주어질 때, 단계들은 다음과 같다:

단계 910에서, 영상 X는 두개의 반파 정류 영상들로 분리된다. 그 하나는 양의 콘트라스트(912)에 대한 것이고, 다른 하나는 음의 콘트라스트(914)에 대한 것이다. 양의-콘트라스트 영상(소위 X₊)에서, X 콘트라스트로부터의 부호들(위에서 언급한 바와 같이 분리되어 저장된)은 음의 콘트라스트들를 갖는 X₊의 모든 화소들에 제로를 할당하기 위해 사용된다. 반대의 프로세스가 음의-콘트라스트 영상 X_-에서 발생된다.

단계 920에서, 각각의 영상 X₊ 및 X_-에 대해, 로컬 풀링 연산이 수직 및 수평으로 0.5(1,2,1)의 필터 커널을 갖는 영상을 감는(convolve) 3×3 필터를 적용함으로써 수행된다.

또한, 단계 920에서, 결과 영상은 상기 풀링 연산으로부터 잉여 결과를 제거하기 위해 각 방향으로 인자 2 만큼 다운샘플링된다. X에 적용된 바와 동일한 프로세스가 대응하는 기준 영상 X^ref에 적용된다.

단계 930에서, 절대-차이 영상들 ｜X₊ -X₊ ^ref｜ 및 ｜X_- -X_- ^ref｜이 화소마다 연산된다. 결과 영상들은 JND 맵들이다.

단계 940에서, 코링 연산이 JND 맵상에 수행된다. 즉, 임계치 t_c미만의 모든 값들은 제로로 설정된다. 바람직한 실시예에서, t_c는 0.5 값으로 디폴트된다.

단계 950에서, 이러한 영상들의 Q-번째 파워가 결정된다. 바람직한 실시예에서, Q는 값 2로 디폴트하는 양의 정수이다.

이러한 프로세스가 모든 X, X^ref 쌍들에 대해 수행된 후, 요구되는 레벨까지 모든 영상들을 반복적으로 업샘플링, 필터링, 및 합산함으로써, 합산 측정이 결정된다. 이것은 다음과 같이 수행된다:

단계 960에서, 레벨-5 영상을 도출하기 위해 C_u6, C_u6 ^ref, C_v6, C_v6 ^ref로부터 도출된 레벨-6 영상들에 업샘플링 및 필터링이 적용된다.

다음 단계에서, C_u5, C_u5 ^ref, C_v5, C_v5 ^ref로부터 도출된 레벨-5 영상들과 단계 960으로부터 도출된 레벨-5 영상의 합산에 업샘플링 및 필터링이 적용된다. 이러한 프로세스는 레벨 0까지 계속된다.

휘도 프로세스와 비슷하게, 최종 처리 단계 963 이전에, 그 결과 영상은 본래 영상의 해상도에 1/2이라는 점에 주지해야 한다. 비슷하게, 본 처리부에서의 각 피라미드-레벨 인덱스는 필터링/다운샘플링 이후의 레벨과 관련된 영상의 해상도의 두배이고, 방향성으로 도출되는 피라미드 레벨에 관한 것이라는 점에 주지해야 한다.

상기 반복된 업샘플링, 필터링, 및 합산 프로세스에 의해 발생된 모든 영상들은 Q번째-파워-JND 영상들이다라는 점을 또한 주지해야 한다. 상기 레벨-0 영상은 경로 964상의 합산 프로세스로 직접적으로 전송되거나 단계 930에서 디스플레이 목적으로 원래의 영상 해상도로 업샘플링 및 필터링되는 두개의 방식으로 사용된다.

전술한 바와 같이, 출력 요약 단계로 전달되는 휘도 및 색차 JND 맵은 Q번째 파워 JND 영상이며, 최초 영상의 해상도의 1/2을 나타낸다. 이것은 각각의 마스킹된 콘트라스트 단계에서 풀링을 수행함에 있어서 고유 잉여를 이용한다. 이들 1/2 해상도 영상 각각은 민코스키(Minkowski) 합산법을 통해 모든 화소들을 평균함으로써 단일 JND 성능 측정치로 감소될 수 있다.

N_P는 각 JND 맵의 화소 수이며, JND_luma 및 JND_chroma는 요약 측정치이며, L_JND ^Q는 및 C_JND ^Q는 각각 휘도 및 색차 맵 구성으로부터의 1/2 해상도 맵이다. 각각의 경우에 있어서, 합산은 상기 영상의 모든 화소에서 이루어진다. 전술한 바와 같이, 민코스키 지수 Q의 값은 2로 디폴트된다.

휘도 및 색차 요약 측정으로부터, 필드에 대한 단일 성능 측정치가 민코스키 합산에 의해 연산된다. 즉,

여기서, Q는 다시 2로 디폴트된다.

다시 민코스키 Q의 의미에서, 각 필드에 대한 JND값을 합산함으로써 비디오 시퀀스의 N 필드에 대한 단일 성능 측정치 JND_field는 2로 디폴트된다.

도 25는 색차 매트릭 발생부(250)의 다른 실시예의 상세 블록도를 도시한다. 도 25의 색차 매트릭 발생은 도 9의 색차 매트릭 발생과 많이 유사한 단계들을 포함하기 때문에, 유사하지 않은 단계들에 대해서만 상세한 설명을 한다.

좀 더 상술하면, "코어링(coring)" 단계 940 및 "Q차 파워로의 상승" 단계 950는 채널 출력의 실행 합산치와 실행 최대치를 유지하는 다수의 최대 및 합산 단계에 의해 대체된다. 도 25에 도시된 프로세스가 단계 930까지 도 9와 동일하기 때문에, 도 25의 프로세스는 절대값-차이 영상

및

가 결정되는 시점으로부터 시작하는 것을 기술한다.

이어서, 프로세스가 모든 X, X^ref 쌍에 대하여 완료된 후에, 실행 합산치 영상은 C_u6, C_u6 ^ref, C_v6, 및 C_v6 ^ref로부터 유도된 레벨-6 영상의 합산치를 포함하기 위하여 단계 2540에서 초기화된다. 이와 유사하게, 실행 최대치 영상은 동일 영상의 포인트마다 최대치로서 단계 2542에서 초기화된다.

이어서, 실행 합산치 및 실행 최대치 영상은 두개의 레벨-5 영상을 구성하기 위하여 각각 단계 2540a 및 2542a에 의해 업샘플링되고 필터링된다. 실행 합산치 영상은 C_u5, C_u5 ^ref, C_v5, 및 C_v5 ^ref로부터 유도된 레벨-5를 그것에 합산함으로써 단계 2544에 의해 갱신된다. 이와 유사하게, 실행 최대치 영상은 C_u5, C_u5 ^ref, C_v5, 및 C_v5 ^ref로부터 유도된 레벨-5 영상과 비교함으로써 단계 2546에 의해 갱신된다. 이 프로세스는 피라미드-레벨 0으로 하향 반복된다.

최종적으로, 상기 단계들을 수행하여, 실행 합산치와 실행 최대치 영상의 포인트 단위로 선형 조합이 수행되어 색차 JND 맵을 생성한다:

여기서 k_c는 0.836 이다. k_c에 대한 값은 민코프스키 Q-정규값을 근사시킴으로써 결정된다. Q값과 영상들의 수가 함께 주어지면, 모든 상기 비교된 엔트리들(화소에서)이 동일하고 또한 제로가 아닌 엔트리가 단지 하나만 존재할 때, k_c=[N-N^1/Q]/[N-1] 값은 상기 근사적인 측정이 Q-정규(norm)값과 정확히 매칭된다는 것을 확인한다. 이 경우, N=28(채널 수)이고 Q=2 이다.

휘도 처리시에, 이들 연산 후, 상기 결과 영상은 본래 해상도의 1/2이다. 이 프로세스에서 피라미드 레벨 인덱스는 최초로 유도된 피라미드 레벨을 인용하며, 그것은 필터링/다운샘플링 후의 레벨과 연관된 해상도의 2배라는 것을 주지하여야 한다.

또한, 상기 반복된 업샘플링/필터링 및 합산/최대화에 의해 발생된 모든 영상들은 JND 영상을 생성하기 위하여 가중치 k_c 및 1-k_c 로 합산될 수 있다는 것을 주지하여야 한다. 레벨-0 영상은 2가지 방식으로 사용되며, 상기 레벨-0 영상은 요약 프로세싱으로 직접 보내지거나 디스플레이 목적을 위해 본래 영상 해상도로 업샘플링되고 필터링된다.

일반적으로, 도 25의 색차 매트릭 발생부는 바람직한 실시예인 반면, 도 9의 휘도 매트릭 발생부는 선택적인 실시예이다. 한가지 이유는 최대 합산 방법이 연산적으로 저렴하기 때문이다. 그러므로, 도 25의 발생부의 동적 범위가 적정할 경우, 도 25의 색차 매트릭 발생부가 바람직하다. 그와는 달리, 플로팅 포인트 프로세서가 사용될 경우, 도 9의 휘도 매트릭 발생부가 사용될 수도 있다.

1/2-높이 색차 처리(Half-Height Chrominance Processing)

1/2-높이 영상이 제로 필터링없이 원래 영상 높이로 직접 전송되면, 색차 처리부(230)는 고유 수직 해상도가 고유 수평 해상도의 1/2이라는 것을 반영하기 위하여 수정되어야 한다. 도26과 도27은 1/2 높이 영상들을 처리하기 위한 색차 처리부와 색차 매트릭 발생부의 블록도이다.
이러한 구성도들(도26과 도27)과 최대-높이 인터레이스를 위한 상응하는 구성도들(도24와 도25)을 비교하면 많은 단계들이 동일하다는 것을 알 수 있다. 따라서, 도26과 도27에 대한 이하의 설명은 상기 두 개의 구현에서 서로 다른 점에 한정한다.
처음으로, 상기 최고의 해상도 색차 채널들(u₀*과 v₀*)이 삭제된다. 색차 감도는 일반적으로 높은 공간 주파수들에서 낮기 때문에, 이러한 채널들의 상실은 중요하지 않다.
둘째로, 다음으로 가장 높은 해상도 색차 영상들(u1*과 v1*)을 생성하기 위해, 커널(kernel) 가중치(1/8, 3/4, 1/8)와 함께 저역통과 "켈(kell)"필터(2600)가 수직적으로 적용된다(즉, 열을 따라). 상기 연산은 상기 최대-높이 실시예의 3×3 수직 구성요소에 의해 수행되는 필터링과 함께 가정된 디-인터레이스 필터의 조인트 필터링에 상응한다. 그결과 수직 필터링된 영상들은 커널 가중치 0.25(1, 2, 1)와 함께 1×3필터(2610)에 의해 수평적으로 필터링 된다. 영상들(u*와 v*)의 상기 필터링은 1/2 높이 영상들을 등방성의 해상도로 만든다. 상기 해상도는 최대-높이 피라미드-레벨1의 해상도이다.
도27은 1/2높이 영상들을 처리하기 위한 색차 매트릭 발생부를 도시하고 있다. 먼저, 상기 0-레벨은 제시되어 있지 않다. 따라서, 실행-최대 및 실행-합산의 여러 파라미터들과 "경로(pathway)"는 수정된다. 예를 들어, k를 결정하는 N의 값은 28에서 24로 변화된다. 상기 동일한 값(k=0.836)이 최대 높이 및 1/2 높이 모두를 처리하기 위해 사용되며, 최대 높이 및 1/2 높이 상수들의 평균은 상기 주어진 식으로부터 연산된다.
상기 최대 및 합산 스트림은 상기 색차 실시예의 피라미드 레벨 1에서 완전히 축척되므로, 요약 측정을 위한 상기 색차 JND 맵은 상기 완전히 누산된 휘도 맵의 1/2 크기이다(수직 및 수평적으로). 따라서, 상기 색차와 휘도 맵을 조합하여 전체 JND 맵을 생성하기 전에, 상기 색차 맵은 상기 휘도 맵과 동일한 해상도로 먼저 제공되어야 한다. 상기 목적을 달성하기 위해, 3×3 필터(2705) 이후의 업샘플링은 요약 측정에 대한 상기 색차 JND 맵을 생산하기 위해 수행된다.
상기 최대-높이 실시예에서와 같이, 요약 측정에 대한 상기 색차 맵은 최대 영상 해상도가 디스플레이되기 전에 상기 최대 해상도로 제공되어야 한다. 휘도 맵의 유사한 연산에 상응하여, 상기 색차 맵은 단계(2710)에서 업샘플링에 의해 수평 방향으로 최대 해상도로 제공되며 이후에 1×3 필터링(커널 0.5 [1,2,1])된다. 수직 방향에서, 라인-더블링은 단계(2720)에서 수행된다.
JND 출력 요약들(JND Output Summaries)
상기 설명한 것과 같이, 상기 출력 요약 단계로 전달되는 상기 휘도 및 색차 JND 맵들은 JND 영상들이며, 원래 영상 해상도의 1/2이다. 이것은 각 마스킹된 콘트라스트 상태에서 풀링을 수행할 때 상기 고유 잉여를 이용한다.
다음으로, 상기 휘도 및 색차 JND 맵들(JND_L과 JND_C)은 전체-필드 JND 맵(JND_T)에 조합된다. 상기 조합은 상기 맵들(JND_L과 JND_C)을 생성하기 위한 채널들의 조합과 유사하게 근사 민코스키 합산에 의해 달성된다.

여기서 k_T=0.586이다. k_T의 선택은 민코스키 Q-정규값의 근사에 의해 결정된다. 이 경우에, 최대/최소의 2개의 항이 있으며, Q=2이다.
차례로, 상기 1/2 해상도 JND 영상들 각각은(휘도, 색차 및 전체 필드 각각의 필드에 대한 3개) 다음의 히스토그램 프로세스에 의해 JAM이라고 불리는 단일 JND 성능 측정으로 감소된다:
먼저, JND 값들의 히스토그램(빈-크기 1/8 JND을 가지고 있음)은 생성되지만, 임계 레벨(t_C=1/2)보다 적은 값들은 포함되지 않는다. 100 JND 보다 더 큰 모든 값들은 100 JND로 기록된다.
둘째로, 상기 JAM은 상기 생략된 히스토그램으로부터의 상기 JND 값들의 90번째 퍼센타일(percentile)로 채용된다. 이러한 방식에서, 3개의 값들(JAM_luma, JAM_chroma 및 JAM_total)은 상응하는 JND_L, JND_C 및 JND_T 요약 측정들에 대해 연산된다. 이것은 비디오 시퀀스에서 각 필드에 대해서 달성된다.
비디오 시퀀스로에서의 N 단일-필드 JAM_field 값으로부터, 단일 성능 측정 JAM_N은 상기 시퀀스의 길이에 의존하여 2개의 방식 중 하나로 연산된다.
N>10에 대해
JAM_N은 JAM_field 값들의 히스토그램의 90번째 퍼센타일과 동일하다.
N≤10에 대해
JAM_N은 N이 증가할 때 연속성을 제공하는 다음의 프로세스에 의해 결정된다. 보다 구체적으로, JAM_field의 히스토그램 값들은 초기에 생성된다. 둘째로, 상기 히스토그램은 실제 히스토그램과 동일한 최소, 최대, 평균을 가지고 있는 "모조 히스토그램(faux histogram)"에 의해 근사화되지만, 최대 또는 최소 값 중에서 단일 빈 피크를 가지고 있는 상수로 구성된다.
세째로, 상기 N-필드 JAM은 상기 모조 히스토그램으로부터 JAM_field 스코어의 90번째 퍼센타일로 채용된다.
주관적인 평가 데이터는 잡음이며 짧은 비디오 시퀀스들(예를 들어, 1/2초 또는 15프레임보다 적은)에 대해서는 신뢰할 수 없다는 것을 주지하여야 한다. 따라서 JAM 추정치는 짧은 시퀀스들에 대한 주관적인 평가와 약하게 상관한다.
이미지 경계 처ㄹ리(Image Border Processing)

본 발명의 지각 매트릭 발생기에서, 각 단계에서의 경계 반사가 아티팩트를 휘도 및 색차 JND 맵으로 전파시킬 수 있다는 것이 관찰되었으며, 이에 따라 JND 맵이 이들 아티팩트로부터 오염되는 것을 막기 위해서 절단하는 것이 필요하게 된다. 이 임계값을 표현하기 위해서, 무한 범위의 회색 배젤(bezel)로 스크린 경계를 대체하는 방법이 개발되었으나, 이는 실제 영상 크기를 한 사이드 당 6개 이상의 화소들까지 향상시키지는 못한다. 상기 "가상 배젤(virtual besel)"을 사용하면, 경계 아티팩트를 회피하기 위해서 JND 맵을 절단할 필요가 없어진다. 무한 회색 배젤은 관찰 조건을 모델화하고, 따라서 비-아티팩트적인 것으로 간주된다. 이러한 해석에 의해, 전체 JND 맵은 아티팩트에 의해 오염되지 않으며, 사진 품질 분석기에 의해 표시될 수 있다.

이하의 상세한 설명에서, 모든 사이드에 6개의 화소가 패딩된(padded) 영상은 "패드 영상"으로 불릴 것이며, 패딩되지 않은 영상 또는 패딩된 영상 내의 괘적은 "영상 프로퍼(proper)"로 불릴 것이다.

영상 연산이 국부적이기 때문에, 가상적인 무한 배젤이 효과적으로 사용될 수 있다. 영상 프로퍼가 충분히 멀리 떨어진 경우에 무한 배젤이 소정의 단계에서 이상적이고 일정한 값의 세트로 야기된다. 영상 연산의 효과, 예를들어 이러한 일정 영역에서 행해지는 필터링은, 우선순위(priori)를 갖는 것으로 연산될 수 있다. 이와같이, 좁은 경계(현재 구성에서 6 화소)는 영상 프로퍼로부터 무한 배젤로의 적절한 변환을 제공할 수 있다.

입력에서, 배젤은 Y'= 90, U'= V= 0 로 주어진다. (Y'= 90 은 최대 스크린 휘도의 15%의 Rec 500 배경 값의 1/2에 대응된다.) 그러나, 영상 경계를 넘어 연장된 공간적인 상호작용은 이 단계 이후까지는 발생되지 않기 때문에, 배젤이 프런트 엔드 처리 후까지 필요한 것은 아니다. 휘도 채널에서, 어떠한 경계(및 배젤 값)도 휘도 압축 후까지는 부가되지 않는다. 색차 채널에서, 경계는 프런트 엔드 프로세싱 후에 부가된다.

휘도 채널에서, 휘도 압축후의 첫번째 배젤 값은 아래와 같다.

(30c)

u* 및 v* 채널에서, 첫번째 배젤 값들은 모두 0이다.

이들 값들은 프로세싱의 차후 단계를 통해 이하의 세가지 경우로 전파된다.

1) 화소 대 화소(pixel-by-pixel) 함수는 예전 배젤 값으로부터 새로운 배젤 값을 생성하도록 작동한다. 예를들어, 1.4 파워 함수로부터 발생되는 배젤 값은 다음과 같다.

(30d)

2) 행과 열의 합이 P인 3×3 공간 필터는 출력 배젤 값을 입력 배젤 곱하기 P로 설정한다.

3) 콘트라스트 함수 연산자와 4-필드 시간 필터(제로의 탭 합계를 가짐)는 출력 배젤 값을 0으로 설정한다.

콘트라스트 단계와 차후 단계에서, 휘도 및 색차 채널의 값 0, 즉 공간적으로 일정한 어레이상의 제로썸(zero-sum) 선형 커널(kernel)로 연산된 논리 결과가 배젤에 주어진다.

가상 배젤을 생성하기 위한 본 발명은 1997년 12월 23일 출원된 미국 특허 출원 08/997,267호, "영상 피라미드 경계를 생성하기 위한 방법"에 개시되어 있다. 이 미국 출원 08/997,267은 참고자료로 통합된다.

영상과 배젤 일체화(Integrating image and bezel)

상기 모델의 피라미드 단계가 시작될 때, 경계가 제공될 필요가 있다. N×M 입력 영상으로의 첫번째 경계 연산은 적절한 배젤 값(압축 휘도 영상에 대해서는 제1_휘도_배젤과 u* 및 v* 영상에 대해서는 0)을 갖는 6 화소(모든 면의)으로 영상을 패딩하는 것이다. 패딩된 영상은 (N + 12)×(M + 12) 차원을 갖는다. k^th 피라미드 레벨(여기서 k는 0에서 7일 수 있음)에 대해서, 패딩된 영상은

의 차원을 가지며, 여기서 "[x]"는 x의 최대 정수를 나타낸다.

모든 피라미드 레벨의 영상은 영상 프로퍼의 상위 왼쪽 코너에 각각 등록된다. 영상 프로퍼의 인덱스들은 0≤y≤높이, 0≤x≤폭의 범위에서 작동한다. 영상 프로퍼의 상위 왼쪽 코너는 항상 인덱스 (0,0)을 갖는다. 배젤 화소의 인덱스는 높이와 폭에서 0 이하의 값을 취한다. 예를들어, 상위 왼쪽 배젤 화소는 (-6, -6)이다. 폭 w의 영상에 대한 왼쪽 코너(배젤 폭 w+12와 영상의 합)에 시작하여 x 차원을 따라 보는 경우에, 배젤 화소는 (x=-6, -5,...,-1)로 인덱싱되고, 실제 영상은 (0.1,...,w-1)로 인덱싱되며, 오른쪽 배젤 인덱스는 (w, w+1,...,w+5)의 값이 된다.

패딩된 영상이 주어지면, 차후 프로세싱 단계에 따라 4가지 경우가 발생될 수 있다. 이하에서 이들 연산을 설명하면, 공간 프로세싱을 요약하기 위해 단일 영상 라인을 이용하는 것이 가능하다(유사한 경우가 수직 방향에서 발생할 수 있다는 것이 이해되어야 한다).

(a) 화소 대 화소의 연산에 대하여. 다음 연산이 화소 대 화소 연산(예를들어, 비선형성을 갖는)인 경우에, 패딩된 영상은 간단히 상기 연산을 거치게 되며, 출력 영상 차원은 입력 영상 차원과 동일하다. 연산이 서로 다른 필드 또는 서로다른 색차 밴드의 대응 화소 사이에서 이루어지는 경우 동일한 결과가 발생한다.

(b) 3×3 공간 필터에 대하여. (1차원에서) 패딩되지 않은 입력 영상이 N_k 차원을 갖는 것으로 가정하자. 그러면, 패딩된 입력 영상은 N_k +12 차원을 갖고, 패딩된 출력 영상도 N_k +12 차원을 갖는다. 출력 배젤 값이 먼저 연산되고, 차후 영상 연산에 의해 채워지지 않은 최소한의 배젤 화소에 쓰여진다. 따라서, 패딩된 입력 영상의 왼쪽 에지에서 1 화소 떨어져서 시작하여, 3×3 커널이 입력 영상에서 연산되기 시작하고 출력 영상의 배젤 값을 덮어쓰며, 영상의 오른쪽(또는 하부) 에지로부터 1 화소 떨어져서 종단된다(여기서 최초 배젤 값은 남아 있다). 미리 쓰여진 배젤 값은 커널 연산이 이들 값을 연산하기 위해서 최초 (패딩된) 영상 외부로 벗어나는 것을 불필요하게 만든다.

(c) 리듀스(REDUCE)에서의 필터링 및 다운 샘플링에 대하여. 입력 패딩 영상에 N_k +12 차원이 주어지면, 출력 어레이에 [N_k/2] +12 차원이 할당된다. 배젤 값은 차후의 필터 및 다운샘플 연산에 의해 채워지지 않은 최소한의 배젤에 쓰여진다. 다음으로, 입력 영상은 (b)에 따라 필터링되지만, 상기 필터는 입력 영상이 배출될 때까지 화소(-4, -2, 0, 2, 4)에 적용되고, 출력값은 이들이 출력 영상에 추가로 배치되지않을 때까지 연속적 화소(-2, -1, 0, 1, 2,...)로 기록된다. 새로운 영상(7)내의 화소(0)의 위치는 새로운 영상의 왼쪽 끝으로부터 7개 화소라는 점에 주의하라. 상기 필터의 최종 화소 응용은 N_k가 홀수라면 입력 화소(N_k+3) 대 출력 화소([N_k/2]+2)를 취하고, N_k가 짝수라면 입력 화소(N_k+4) 대 출력 화소([N_k/2]+2)를 취한다(여기에서, 필터의 입력 화소를 3-화소 커널의 중심에 대응하는 화소로서 참조한다).

휘도 측정 및 예측(Luminance Calibration and Prediction)

정신 물리학적 데이터가 2가지 목적: 1) 휘도 처리부를 조정하기 위해(즉, 특정 프로세싱 파라미터에 대한 값을 결정하기 위해), 그리고 2) 상기 섹션이 측정될 때 휘도 처리부의 예측값을 형성하기 위해 사용된다. 모든 경우에, 스티뮬리(stimuli)가 휘도 처리 이전에 즉시 Y값 영상으로서 지각에 의한 매트릭 발생기로 주입된다.

측정(Calibration)

상기 휘도 처리부(220)는 2개의 데이터 세트를 사용하여 반복적으로 측정될 수 있다. 하나의 데이터 세트는 휘도 처리부의 단계(640, 642 및 650)에서 프리마스킹 상수(w_i, t_e 및 tl)를 조절하는데 사용된다. 다른 데이터 세트는 휘도 처리부의 단계 660에서 마스킹 단계 상수(σ,β, a 및 c)를 조절하는데 사용된다. JND 값이 항상 단계(660)이후 평가되기 때문에, 제2 데이터 세트를 갖는 단계(660)의 상수 조절은 제1 데이터 세트를 갖는 단계 640, 642 및 650 상수의 재조절을 필요로 한다. 이런 상수의 재조절은 어떤 반복에서 다른 반복까지 추가 변화가 관찰되지않을 때까지 지속된다. 상기 반복 프로세스가 하나의 가상 출력의 JND로서 마스킹되지않은 콘트라스트(단계 640, 642 및 650)의 단위값을 해석함으로써 수행되더라도, 마스킹 프로세스는 이런 해석을 혼란시킨다. 상기 조절의 상세한 설명은 아래의 서브섹션에 기술되어 있다.

콘트라스트-정규화 상수의 조절(Adjustment of contrast-normalization contrasts, 단계; 640, 642 및 650)

지각 매트릭 발생기는 코엔드링크와 반 도른(Koenderink and Van Doorn, 1979)에 의해 제시된 사인파에 대한 콘트라스트-감도 데이터에 매칭되는 마스킹 이전에 공간 및 시간 콘트라스트 감도를 예측한다. 지각 매트릭 발생기에 기초한 곡선상의 포인트를 발생시키기 위해, 저진폭 사인파가 지각 매트릭 발생기(공간 또는 시간으로)에 테스트 영상으로서 제공되며, 1 JND출력에 대한 콘트라스트 임계값이 평가된다. 각각의 경우에 기준 영상은 함축적으로 테스트 필드로서 동일한 평균 휘도를 갖는 균일한 필드를 가지게 된다.

데이터에 대한 공간 콘트라스트 감도의 피트(최종 피트에 대해 도 10 참조)가 지각 매트릭 발생기의 단계(640, 642 및 650)에서 콘트라스트-피라미드 감도 파라미터(w₀, w₁ 및 w₂)를 조절하는데 사용되었다. 도 10의 점선은 전체 감도(실선)를 포함하는 개별 피라미드 채널의 감도를 표현한다. 도 10의 공간적 모델 피트(fit)는 15 cysles/deg를 초과하지 않으며, 이미 개시된 가시-거리 제약, 즉 4개의 스크린 높이의 가시 거리와 호환가능하다. w₀, w₁ 및 w₂의 유사한 조절이 약간 다른 가시 거리를 수용하기 위해 수행될 수 있는데, 훨씬 더 큰 가시 거리는 아마 더 낮은 해상도 피라미드 레벨을 요구할 것이며, 이것은 낮은 연산적 비용으로 쉽게 구현될 수 있다.

상기 데이터에 대한 시간 콘트라스트 감도의 피트(최종 피트에 대해 도 11 참조)가 시간 필터-탭 파라미터(t_e과 tl) 뿐만 아니라 콘트라스트 피라미드 감도 파라미터(w₃)를 조절하는데 사용되었다. 상기 파라미터들을 피팅하는데 사용되는 방법은 공간-콘트라스트 조정과 유사하다. 여러가지 시간 주파수에서 반 도른과 코엔드링크의 최저 공간 주파수 데이터는 공간적으로 균일한 시간 사인파에 대해 연산된 감도에 대해 매칭되었다. 각각의 경우에, 비전-모델 필드 비율은 시간 사인파를 50 내지 60 ㎐로 샘플링하고, 이것은 이미 언급한 별개의 파라미터 값으로 주어진다.

마스킹 상수의 조절(Adjustment of masking contrasts,단계 660)

마스킹 파라미터값(σ,β, a 및 c;지각 매트릭 발생기의 단계 660에서)은 마스킹된 콘트라스트 판별에 대한 예측을 칼슨과 코헨(1978)에 의해 획득된 데이터와 비교함으로써 피팅되었다. 최종 피트 비교의 결과는 도 12에 도시되어 있다. 칼슨-코헨 연구로부터, 단일 관찰자의 데이터는 대표가 되는 기준에 종속되고 또한 충분한 데이터 포인트를 가지도록 선택된다. 이런 경우에, 지각 매트릭 발생기 스티뮬리는 테스트와 기준 필드의 소정 페데스탈 콘트라스트의 공간 사인파, 및 부가적으로 테스트 필드 사인파의 콘트라스트 증분으로 구성된다. 콘트라스트 증분은 각각의 콘트라스트 페데스탈(pedestal) 값에 대해 지각 매트릭 발생기로부터 결정되어지는 1 JND를 얻는데 필요하며, 도 12로 도식화된다.

예측(Predictions)

지각 매트릭 발생기 조정후, 지각 매트릭 발생기 예측이 사인파가 아닌 스티뮬리로부터의 데이터를 검출 및 판별로 비교된다. 이것은 더욱 일반적인 스티뮬리에 대한 사인파 결과의 전송능력을 체킹하기 위해 수행된다. 도 13, 14 및 15에서, 상기 예측은 10 cycles/deg 이상의 공칭 공간 주파수를 갖는 패턴에 적용되지않는다는 것을 알 수 있다. 이런 패턴은 15 cycles/deg 이상의 공간 주파수에서 상당한 에너지를 가지게 될 것이며, 화소 샘플링 비율(30 샘플/도-상기 논의 참조)로 에일리어싱될 것이다.

제1 연구(도 13 참조)에서, 테스트 필드의 낮은 콘트라스트 디스크가 균일한 기준 필드에 대해 검출된다. 경험적 데이터는 블랙웰(Blackwell;1971)로부터 제공된다. 이런 특별한 연구를 위한 지각 매트릭 발생기의 실행에서, 상기 데이터는 공간 Q-정규 요약 측정치를 최대값으로 대체하는데 필요하다. 그렇지 않으면 JND 결과는 상기 디스크의 백그라운드의 크기(예를 들어, 영상 크기)에 민감해진다.

작은 크기의 체커보드(checkerboard) 검출에 대한 제 2 연구(도 14)에서, 데이터는 Sarnoff의 미발표된 논문에서 획득된다.

제 3 연구(칼슨 및 코헨으로부터의 데이터, 1980)는 앞서 두 개의 연구와는 다소 다르다. erf(ax)에 의해 제공된 흐릿한 에지가 기준 영상에 존재하고, 검사 영상에서 erf(a'x)에 의해 제공된 에지에 콘트라스트 식별이 시도되었다. x는 가시 각에서의 망막 거리이고(a=πf/[ln(2)]^0.5, a'=π(f+Δf/[ln(2)]^0.5), f는 사이클/각이다. 여기서 Δf는 하나의 JND에 대하여 요구된 f의 변화이다. 도 15의 도면은 Δf/f 대 f이다.

지각 매트릭 발생기 예측은 4개의 스크린 높이 관찰 거리에서 디스플레이의 공간 주파수 특성 범위에 대하여 데이터에 잘 일치되는 것을 알 수 있다.

색차 측정(Chrominance Calibration)

휘도 파라미터 측정에서와 같이, 정신 물리학적 데이터는 휘도 파라미터를 측정하기 위하여(즉, 최적 모델 피트를 위해 그 값을 조절하기 위하여) 사용된다. 모든 경우, 스티뮬리(stimuli)는 CIELUV로 변환되기 전에 CIE X, Y 및 Z로서 지각 매트릭 발생기에 입력된 4개의 동일한 필드이다.

콘트라스트 정규화 상수의 조절(Adjustment of contrast-normalization contrasts,단계 830)

마스킹전에 색차 콘트라스트 감도에 대한 지각 매트릭 발생기 예측은 뮬렌(Mullen)(1985)에 의해 제공된 콘트라스트 감도 데이터와 매칭된다. 사용된 검사 시퀀스는 4개의 동일한 필드이고, 각각의 필드는 (X,Y,Z) 값으로서 입력된 수평 가변 공간 사인파 격자를 가진다. 측정을 위하여 사용된 데이터는 뮬렌의 도 6에서, 각각의 검사 영상이 적-녹색 이소루미너스(isoluminious) 사인파와 대응한다. 화소(i)에서, 가사 영상 사인파는 다음 식에 의해 제공된 트리스티뮬러스(tristimulus) 값을 가진다 :

X(i) = (Y₀/2){x_r/y_r + x_g/y_g) + cos(2πfai)Δm(x_r/y_r - x_g/y_g)}

Y(i) = Y₀ (31)

Z(i) = (Y₀/2){z_r/y_r + z_g/y_g) + cos(2πfai)Δm(z_r/y_r - z_g/y_g)}

여기서 Δm은 임계 증가 판별 콘트라스트값이고, (x_r, y_r) = (0.636, 0.364)는 적색 간섭 필터(602 nm에서)의 색도이고, (x_g,y_g) = (0.122, 0.823)은 녹색 간섭 필터(526 nm에서)의 색도이고, z_r=1-x_r-y_r, z_g=1-x_g-y_g, 및 a=0.03 도/화소이다. 기준 영상은 방정식(28)에 의해 표현된 균일한 필드이지만 Δm=0을 가진다. 지각 매트릭 발생기를 위하여, Y₀=1을 설정하는 것은 충분하다.

모델 기준 곡선상에서 포인트를 생성하기 위하여, 상기 스티뮬러스는 여러 f 값으로 나타나고, 1 JND 출력에 대하여 일정한 임계값(Δm)이 평가된다. 모델링된 색차 콘트라스트 감도를 데이터에 설치하는 것은(최종 피트에 대하여 도 16 참조) 지각 매트릭 발생기에서 파라미터 q_i(i=0,...,6)를 조절하기 위하여 사용된다.

마스킹 상수의 조절(Adjustment of masking contrasts; 단계 840)

색차 마스킹을 위한 지각 매트릭 발생기 예측은 스위크(Switkes) 등(1988)에 의해 제공된 데이터와 매칭된다. 사용된 검사 시퀀스는 4개의 동일한 필드이고, 각각은 (X,Y,Z) 값으로서 도입된 수평 가변 공간 사인파 격자를 가진다. 상기 작업(색차의 색차 마스킹)의 도 4와 대응하기 위하여, 화소(i)에서, 검사 영상 사인파는 다음 식에 의해 제공된 트리스티뮬러스 값을 가진다 :

X(i) = (Y₀/2){(x_r/y_r+x_g/y_g)+cos(2πfai)[(m+Δm)(x_r/y_r-x_g/y_g)]}

Y(i) = Y₀ (32)

Z(i) = (Y₀/2){(z_r/y_r+z_g/y_g)+cos(2πfai)[(m+Δm)(z_r/y_r-z_g/y_g)]}

여기서, Δm은 임계 증가 판별 콘트라스트이고, (x_r,y_r)=(0.580, 0.362)는 적색 형광 물질의 색차이고, (x_g, y_g)=(0.301, 0.589)는 적색 형광 물질의 색차이고, z_r=1-x_r-y_r, z_g=1-x_g-y_g 및 f_a=2c/deg 0.03 deg/pixel=0.06이다. 기준 영상 사인파는 검사 영상 사인파와 같지만 Δm=0를 가진다. 지각 매트릭 발생기를 위하여, Y₀=1을 설정하는 것은 충분하다.

평가 데이터와 비교(Comparisons with Rating Data)

4개의 영상 시퀀스에 대하여, 다양한 각도의 왜곡을 가지는 영상 시퀀스는 DSCQS 평가 데이터와 현재의 지각 매트릭 발생기를 비교하기 위하여 사용된다. 그 결과는 도 18에 도시되고, 지각 매트릭 발생기 및 데이터 사이에 상관치 0.9474를 나타낸다. 각각의 시퀀스에 대하여, 지각 매트릭 발생기는 30 필드(이전 릴리스를 검사하기 위하여 사용된 4개의 필드에 반대되는 필드)를 처리한다.

몇몇 데이터 포인트는 이전 릴리스에 나타난 도면으로부터 제거된다. 이들 포인트는 두 개의 이유 때문에 삭제된다:

(1) 5개의 포인트는 모든 서브젝트에 "워밍업" 검사에 대응되도록 삭제된다. Rec 500은 시퀀스의 처음 5개 검사가 서브젝트의 판단 안정화를 나타내기 때문에 삭제되어야 하는 것을 제안한다.

(2) "그웬(Gwen)" 시퀀스중 하나에 대하여, 전경이 검사 및 기준 사이에 정확하게 정렬될 때조차 배경에서 나무의 영상 사이에 발생하는 기준 시퀀스에 관련하여 검사 시퀀스의 약간의 시프트가 있다. 청색 스크린 비디오는 이런 특정 경우에 시간적인 정렬 에러를 가지는 검사 및 기준을 위하여 각각 도입된다.

JND 맵 해석(JND Map Interpretation)

JND 맵은 임의의 공간 또는 시간 윈도우내에 JND를 결정하기 위한 추후 처리에 적당한 형태이다. 상기된 바와 같이 맵의 값은 간단한 JND 유니트보다 Q 번째 전력으로 상승된 JND 유니트이다. 비디오 스트림의 소정 공간 시간 영역에 대한 단일 JND 값을 얻기 위하여, 상기 영역내의 JND 맵으로부터의 값을 합산하고 Q번째 근을 얻어야 한다.

몇 개의 예가 이러한 처리를 명확히 한다. 각각의 화소에 대한 1JND값(가장 적절한 출력)을 검색하기 위하여, JND 맵의 각각의 화소의 Q번째 근을 얻는다.

그러나, 전형적인 MPEG-2 인코더 분석 응용에서, 각각의 화소가 아닌 각각의 16×16화소 매크로 블록에 대한 단일 JND을 가지는 것이 유용하다. 매크로 블록당 1 JND를 얻기 위하여, 각각의 매크로 블록내의 모든 JND 맵 출력을 먼저 합산하고, 다음에 Q번째 근을 얻는다. 그 결과는 JND값의 매크로 블록-해상도 맵이 된다.

피라미드 구조: 영상 사이즈&경계 조건(Pyramid Construction:Image size & border requirements)

현재 피라미드 방법의 구현은 더 큰 영상 차원 N 및 더 작은 영상 차원 M이 다음의 조건을 만족한다면 영상-차원 문제가 발생하지 않는다:

1) M은 적어도 128이어야 함

2) 64미만의 계수를 검색하는 것과 같은 횟수(P)로 M을 2로 나누어야 함

3) N 또한 2로 P번 나누어야 함.

지각 매트릭 발생기는 상기 조건들을 만족하지 않는 영상을 비정상으로 판별한다. 이들 규칙이 적용되는 방법의 예로서, 영상 차원 N=720, M=480을 생각해본다. M>128이기 때문에, 조건(a)은 만족된다. M이 2로 3번 나누어지고 3번의 나누기에 의하여 64 기준 미만이 되기 때문에 조건(b)이 만족된다(여기서 P=3). 마지막으로, N은 정수를 얻기 위하여 2로 3번 나누어질 수 있기 때문에 조건(c)이 만족된다.

인터레이스 고려(Interlace Considerations)

다음 설명의 목적은 본 발명의 지각 매트릭 발생기에서 필드 인터레이스(특히, 라인 사이의 공간)의 처리를 명확히 하기 위한 것이다. 라인 사이의 공간은 인간 시각 디스플레이에 의하여 보이지 않지만, 이들이 블랙(black)값으로 모델링될 경우 지각 매트릭 발생기에서 뚜렷한 효과를 발생시킨다. 지각 매트릭 발생기에 의한 라인의 가시 결과로서, 임의의 공간 주파수에서 수직 영상 왜곡은 고주파수 라인 구조에 의하여 마스킹된다. 또한, 라인 구조의 가시화는 인터레이스된 시퀀스가 인터레이스되지 않은 시퀀스와 비교될 때의 JND 아티팩트가 일차 원인이다.

이러한 문제의 해결책은 공간에서 기지의 평균치와 디스플레이 자체에 발생하는 시간을 결합하는 디스플레이 모델을 변경하는 것이다. 상기와 같은 평균은 라인 사이의 공간이 덜 보이도록 한다. 제 1단계는 적당한 모델을 결정하기 위하여 이들 효과의 크기를 한정하는 것이다.

형광물질이 한정된 지연 시간을 가지기 때문에 시간적인 평균치가 디스플레이에 발생한다. 따라서 예를 들어 필드 N의 짝수 라인으로부터 일차 방출 시간에 필드 N-1의 홀수 라인의 나머지가 감소할 수 있다. 그러나, 필드 사이의 구간(16500 마이크로초)과 비교하여, 형광물질 소거 시간은 예를 들어 청색 형광체의 경우 70마이크로초로, 녹색 형광체의 경우 100마이크로초 그리고 적색 형광체의 경우 700마이크로초로 일반적으로 상당히 짧다. 따라서, 디스플레이 모델에서 시간적인 평균은 라인 사이의 평활에 기여하지 못한다.

화소로부터의 방출은 정규 화소 경계이상으로 확산되기 때문에 공간 평균이 디스플레이에서 발생한다. 인터레이스된 디스플레이에서, 전자빔 스폿 구조는 인터레이스 아키텍쳐와 결합하도록 설계된다. 그 결과, 화소 확산은 수직 방향으로 더욱 명확하도록 되어, 라인 사이의 공간을 채워 이들이 잘 보이지 않도록 한다. 확산은 특히 높은 빔 전류에서 심한데, 이는 높은 휘도값에 상응하며 따라서 영상에서 가장 눈에 띈다. 따라서, 디스플레이 관측으로부터, 공간적인 평균은 라인 사이의 평활을 위한 양호한 물리적 모델이다.

선택적으로, 일부 시간적인 평균이 라인 사이의 평활에 사용될 수 있다. 비쥬얼 시스템 자체는 라인 사이의 공간이 보이지 않도록 충분한 시간적 평균을 수행한다. 그러나, 다음 설명에서 알 수 있는 바와 같이, 본 발명의 지각 매트릭 발생기에서 눈의 이동 부족은 지각 매트릭 발생기가 시간적인 평균 동작으로부터 이탈되도록 한다.

인간 시야는 두 개의 구별되는 공간-시간 응답 형태를 가진 메카니즘의 도움을 받는다: 즉 높은 공간 해상도와 낮은 시간적 해상도로 "유지되고" 높은 시간적 해상도와 낮은 공간적 해상도로 "전달"된다.

이러한 지각 매트릭 발생기의 하나의 구현은 두 개의 채널의 응답을 형성하도록 분리가능한 공간/시간 필터를 이용하는 것이다. 이러한 모델링 선택의 직접적인 중요성은 디스플레이에 일반적인 60Hz 시간 샘플링 속도와 시간적으로 비교하여 유지되는 채널을 통해 저역 통과되는 시간 필터이다. 전달 응답은 60Hz 샘플링 속도에서도 민감하지 않다. 그러나, 유지/전달 모델에 들어가지 않는 하나의 엘리먼트는 눈의 이동 효과이며, 특히 영상에서 이동하는 물체를 추적하는 눈의 능력이다. 이러한 스티뮬리는 나타난 물체의 세부상에 대한 시각적 감도를 향상시키는데, 이는 제한된 자극에 대한 정신물리학적 경험에 충실한 지각 매트릭 발생기에 의하여 포착되지 않도록 한다.

영상 시퀀스에서 왜곡 측정치에 대하여 이동 효과가 고려될 수 있다. 눈이 영상에서 이동하는 물체를 추적하지 않는다면 유지되는 시간 응답으로부터 발생하는 영상에서의 흐림(blurring)은 하나의 채널에서 많은 시간적 평균에 의하여 지각 매트릭 발생기에서 정확하게 반영된다. 그러나, 눈은 이동하는 물체를 추적하지 않으며, 따라서 영상은 흐려지지 않는다. 이동 물체를 추적하는 능력이 없으면, 시간적 시야 응답을 향상시키기 위한 지각 매트릭 발생기는 이동 흐림을 디스플레이해야한다. 그러나, 상기와 같은 흐림은 정확한 JND 맵의 발생을 방해한다.

추적 모델없이 이러한 곤란성을 해결하기 위하여, 필드의 시간 평균이 아닌 마지막 필드를 동작시킴으로써 공간 채널(공간 세부상에 민감한 "유지" 채널의 역할을 가짐)을 나타내는 타협이 이루어진다. 이러한 방법의 결과에 의하여, 영상 시퀀스에 나타난 물체의 이동을 추적하는 눈의 경우에서와 같이 공간 채널은 포커싱이 잘된 JND 맵을 나타낸다.

이상의 포함된 사상을 유지하면서, 공간 채널의 "외향성(specious-present)" 특성을 완화시켜 두 필드에 대해 평균하고 이에 따라 하나의 프레임에 대해 평균되도록 한다. 이러한 측정치는 인터레이스(interlace) 필드내의 블랭크 라인의 가시성을 감소시키고, "외향성" 해결책보타 더 물리적이고 더 생리학적이다. 하지만, 하나의 아티팩트는 두 필드의 시간 평균치를 구하고 이는 완만한 이동 에지이어야 하는 "콤브(comb)"의 모양을 갖는다.

두-필드 평균화를 가진 모델에서 콤브가 나타나야 하는 이유를 이해하기 위해, 짝수 필드(필드 N이라 부름)와 홀수 필드(필드 N+1이라 부름) 사이의 시간 간격에서 이동하는 물체를 가시화하는 것은 충분하다. 물체가 필드 사이를 수평으로 5개의 화소 만큼 이동하는 수직 에지부를 가진다고 가정한다. 또한, 물체 에지가 필드 N의 짝수 라인의 화소 n+5에 위치한다고 가정하자. 그러면, 이러한 에지는 필드 N+1에서 홀수 라인의 화소 n+5를 나타낼 것이다. 만일 특정 필드의 래스터(raster) 라인 사이에 어떠한 "충진(filling in)"이 없다면, 필드 N과 필드 N+1의 평균화는 더이상 수직이지 않지만 화소 n과 n+5 사이를 교대하는 에지를 발생시킨다. 이것은 "콤브" 효과이다.

실제 시각 시스템이 이러한 콤브 효과를 나타내지 않는 이유를 이해하기 위해, 물체는 눈이 물체를 트랙킹하기에 충분하다고 가정하자. 이는 물체가 망막에 고정되어 있다는 것을 의미하는데, 이는 망막(retina)이 다음 필드내로의 물체의 이동을 예상하기 때문이다. 만일 물체의 에지가 필드 N의 짝수 라인의 화소 n에 위치한다면, 이는 필드 N+1의 홀수 라인의 화소 n에도 위치할 것이고, 이는 단순히 물체에 대한 눈의 트랙킹이 거의 완벽하기 때문이다.

콤브 및 다른 인터레이스 아티팩트를 방지하기 위해, 지각 매트릭 발생기는 디스플레이의 각각의 필드 라인 사이에 공간 충진을 수행한다. 이러한 수직 평균화는 일시적인 공간 에지(어떠한 시간 평균화도 발생하지 않는)의 해석을 제공하기 때문에 콤브 효과를 방지한다. 또한, 수직 평균화는 인터레이스 라인 구조의 가시성의 본질적인 문제를 해결하고, 이는 전자 빔 스폿 구조의 공지된 공간 확산과 호환가능하다.

이상에서 영상 충실도와 시각화 응용의 개선을 위한 두 개의 입력 영상 사이의 가시성의 차이를 평가하기 위한 새로운 장치와 방법이 도시되고 설명되었다. 하지만, 당업자라면 설명된 실시예와 첨부된 도면을 고려해 볼때 많은 변경, 수정등이 가능하다는 것을 알 수 있을 것이다.

Claims (10)

1. 각각 색차(chrominance) 성분을 포함하는 다수의 입력 영상들을 갖는 두 개의 입력 영상 시퀀스들 사이에서 가시성의 차이를 평가하기 위한 방법으로서,

   (a) 상기 입력 영상들 각각의 상기 색차 성분을 분해하는 단계;

   (a-1) 상기 색차 성분에 대한 다수의 해상도 레벨을 갖는 피라미드를 생성하는 단계;

   (b) 상기 색차 성분의 상기 피라미드의 상기 레벨들중 적어도 하나에 시간 필터링(temporal filtering)을 적용하여 색차 시간 응답을 생성하는 단계; 및

   (c) 상기 색차 시간 응답으로부터 영상 매트릭을 발생하는 단계를 포함하는 가시성 차이 평가 방법.
2. 제1 항에 있어서, 상기 입력 영상들 각각은 1/2 높이인 것을 특징으로 하는 가시성 차이 평가 방법.
3. 제1 항에 있어서, 상기 입력 영상들 각각은 휘도(luminance) 성분을 더 포함하며, 상기 가시성 차이 평가 방법은,

   (a') 상기 입력 영상들 각각의 상기 휘도 성분을 분해하는 단계;

   (a'-1) 상기 휘도 성분에 대한 다수의 해상도 레벨들을 갖는 피라미드를 생성하는 단계;

   (b') 상기 휘도 성분의 상기 피라미드의 상기 레벨들중 적어도 하나에 시간 필터링을 적용하여 휘도 시간 응답을 생성하는 단계를 더 포함하며,

   상기 발생 단계(c)는 상기 휘도 시간 응답들 및 상기 색차 시간 응답들로부터 영상 매트릭을 발생하는 것을 특징으로 하는 가시성 차이 평가 방법.
4. 제1 항에 있어서,

   (a") 상기 분해 단계(a) 이전에 상기 입력 영상의 상기 색차 성분을 CIELUV 균등-색 공간으로 변환시키는 단계를 더 포함하는 것을 특징으로 하는 가시성 차이 평가 방법.
5. 제3 항에 있어서,

   (a") 상기 분해 단계(a') 이전에 상기 입력 영상의 상기 휘도 성분을 CIE 1931 트리스티뮬러스(tristimulus) 값 Y로 변환시키는 단계를 더 포함하는 것을 특징으로 하는 가시성 차이 평가 방법.
6. 제3 항에 있어서, 상기 발생 단계(c)는,

   (c') 상기 휘도 시간 응답으로부터 개별 휘도 매트릭을 발생하는 단계;

   (c") 상기 색차 시간 응답으로부터 개별 색차 매트릭을 발생하는 단계; 및

   (c''') 상기 휘도 매트릭 및 상기 색차 매트릭으로부터 상기 영상 매트릭을 발생하는 단계를 포함하는 것을 특징으로 하는 가시성 차이 평가 방법.
7. 제3 항에 있어서,

   상기 시간 필터링 적용 단계(b')는 상기 휘도 성분의 상기 피라미드의 가장 낮은 레벨에 시간 필터링을 적용하여 휘도 시간 응답을 생성하며, 상기 가시성 차이 평가 방법은,

   (b") 상기 휘도 성분의 상기 피라미드의 나머지 레벨들에 공간 필터링을 적용하여 휘도 공간 응답을 생성하는 단계를 더 포함하는 것을 특징으로 하는 가시성 차이 평가 방법.
8. 제6 항에 있어서, 상기 발생 단계(c")는 상기 색차 시간 응답으로부터 개별 색차 매트릭을 발생시키며, 상기 색차 시간 응답은 상기 휘도 시간 응답에 의해 마스킹되는 것을 특징으로 하는 가시성 차이 평가 방법.
9. 각각 색차 성분을 포함하는 다수의 영상들을 갖는 두 개의 입력 영상 시퀀스들 사이에서 가시성의 차이를 평가하기 위한 장치로서,

   상기 입력 영상들 각각의 상기 색차 성분을 분해한 후, 상기 색차 성분에 대한 다수의 해상도 레벨들을 갖는 피라미드를 생성하기 위한 피라미드 발생기(410, 510);

   상기 피라미드 발생기에 연결되어, 상기 색차 성분의 상기 피라미드의 상기 레벨들중 적어도 하나에 시간 필터링을 적용하여 색차 시간 응답을 생성하기 위한 시간 필터(520); 및

   상기 시간 필터에 연결되어, 상기 색차 시간 응답으로부터 영상 매트릭을 발생하기 위한 영상 매트릭 발생기(250, 550)를 포함하는 가시성 차이 평가 장치.
10. 프로세서에 의해 수행될 때 상기 프로세서가 다음의 단계를 수행할 것을 명령하는 다수의 명령들을 저장하는 컴퓨터-판독가능한 저장 매체로서, 상기 단계는,

    (a) 입력 영상들 각각의 색차 성분을 분해하는 단계;

    (a-1) 상기 색차 성분에 대한 다수의 해상도 레벨을 갖는 피라미드를 생성하는 단계;

    (b) 상기 색차 성분의 상기 피라미드의 상기 레벨들중 적어도 하나에 시간 필터링을 적용하여 색차 시간 응답을 생성하는 단계; 및

    (c) 상기 색차 시간 응답으로부터 영상 매트릭을 발생하는 단계를 포함하는 컴퓨터-판독가능한 저장 매체.

Images