KR101529754B1 - 암 노이즈 아티팩트를 검출하기 위한 방법 및 장치 - Google Patents

암 노이즈 아티팩트를 검출하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101529754B1
KR101529754B1 KR1020117005462A KR20117005462A KR101529754B1 KR 101529754 B1 KR101529754 B1 KR 101529754B1 KR 1020117005462 A KR1020117005462 A KR 1020117005462A KR 20117005462 A KR20117005462 A KR 20117005462A KR 101529754 B1 KR101529754 B1 KR 101529754B1
Authority
KR
South Korea
Prior art keywords
cancer
artifact
noise
noise artifact
candidate
Prior art date
Application number
KR1020117005462A
Other languages
English (en)
Other versions
KR20110046523A (ko
Inventor
아딜 아바스
젠 리
시아오안 루
크리스티나 고밀라
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110046523A publication Critical patent/KR20110046523A/ko
Application granted granted Critical
Publication of KR101529754B1 publication Critical patent/KR101529754B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 코딩된 이미지들 및 비디오에서 암 노이즈 아티팩트들을 검출하는 것을 수반한다. 압축된 영상들 내의 아티팩트들의 위치가 발견된다. 블록마다의 아티팩트의 강도가 결정되고, 마찬가지로 각 영상에 대한 전체적인 암 노이즈 아티팩트 강도가 결정된다. 아티팩트 검출 및 강도 할당은 이러한 유형의 아티팩트가 생기기 쉬울 수 있는 후보 영역들을 분석하는 것에 의해 수행된다. 아티팩트의 블록 분산, 색 정보, 휘도 레벨 및 위치와 같은 다수의 특징들이 이 프로세스에서 이용될 수 있다. 또한, 격리된 영역들을 제거하기 위해 식별된 영역들에 대해 미디언 필터링이 이용될 수 있다. 암 노이즈로서 분류되는 블록들의 총수와 또한 각 매크로블록의 강도에 기초하여 각 영상에 대한 최종 아티팩트 파라미터가 평가될 수 있다.

Description

암 노이즈 아티팩트를 검출하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DETECTING DARK NOISE ARTIFACTS}
본 발명의 원리들은 디지털 이미지 및 비디오 콘텐트와 관련이 있다. 특히, 그것들은 디지털 이미지 및 비디오 콘텐트에서 암 노이즈 아티팩트를 검출하는 것과 관련이 있다.
DVD 오서링(authoring)과 같은 비실시간 비디오 코딩 애플리케이션들은 압축 엔진으로부터의 이미지에 대한 최고의 가능한 시각 품질(visual quality)을 달성하는 것을 목표 삼는다. 그 목표를 위해, 압축 기술자들(compressionists)(즉, 압축 프로세스에 대하여 책임이 있는 기술자들)은 아티팩트들을 갖는 영상들(pictures)을 식별하기 위하여 압축된 비디오를 재검토할 필요가 있다. 이것은 제작 시간 및 예산에 영향을 미치는 상당한 경험, 시간 및 노력을 요구하는 수동의 주관적인 프로세스(manual and subjective process)이다. 그것은 또한 상이한 평가자들에 의해 부과된 상이한 시각적 평가 기준들(visual evaluation standards)로 인해 불일치(inconsistency)를 겪는다. 공통의 관례(common practice)로, 검출된 영상들은 미조정된(fine-tuned) 인코딩 파라미터들을 사용하여 포스트프로세싱되거나(post-processed) 리인코딩되고(re-encoded) 추가의 재검토를 받는다. 포스트프로세싱 또는 리인코딩 알고리즘들은 보다 나은 영상 품질을 얻기 위하여 아티팩트 파라미터 또는 위치들에 기초하여 그들의 파라미터들을 조정할 수 있다.
이러한 정황에 있어서, 프로세스를 용이하게 하기 위해 자동 아티팩트 검출이 요구된다. 문제가 되는 장면 또는 세그먼트를 자동으로 식별하기 위해서는, 압축 아티팩트들의 존재를 검출하는 객관적인 메트릭들(objective metrics)을 찾아내는 것이 필수적이다. 농담이 고르지 않은 현상(blockiness), 흐릿한 현상(blurriness) 및 모스키토 노이즈(mosquito noise)와 같은, MPEG-2 인코딩에 의해 야기된 공통의 압축 아티팩트들의 검출이 과거에 광범위하게 연구되었다. 그러나, 이것은 PSNR(Peak Signal-to-Noise-Ratio)과 같은 종래의 널리 인정된 객관적인 메트릭들에 의해 적당히 처리되지 않는 어려운 문제이다. 더욱이, MPEG-1 AVC 또는 VC-1과 같은 새로운 압축 표준들의 사용은 새로운 HD(High Definition) DVD 포맷들이 보다 높은 비트 레이트들에서 동작한다는 사실과 공동으로 새로운 유형의 압축 아티팩트들을 활동시켰다.
용어 암 노이즈(dark noise)는 이러한 새로운 압축 시스템들에 의해 도입된 특정한 유형의 시각 아티팩트(visual artifact)를 묘사한다. 압축된 이미지는 (1) 낮은 분산(low variance), (2) 낮은 명암도 레벨(low intensity level) 및 (3) 낮은 채도(low saturation)를 나타내는 영역들에서 인공적으로 평평해진 블록들의 클러스터들(clusters of artificially flattened blocks)이 지각(perceive)될 때 암 노이즈 아티팩트들을 갖는다고 한다. 암 노이즈 아티팩트들은 인지된 크로마 패턴 상에 심각한 농담이 고르지 않은 현상 및/또는 편차들을 포함할 수 있다.
위에 설명된 애플리케이션들을 효과적으로 지원하기 위하여, 암 노이즈 아티팩트 검출 알고리즘은, 리인코딩 및 포스트프로세싱 알고리즘이 프로젝트 제약(project constraints) 내에서 리소스들의 할당에 자동으로 우선 순위를 매길 수 있도록, 아티팩트의 심각도(severity)를 나타내는 파라미터를 제공할 필요가 있다. 더욱이, 암 노이즈 아티팩트 검출 알고리즘은 영상들의 그룹 또는 하나의 영상과 같은 글로벌 레벨에서뿐만 아니라, 영상 내의 매크로블록 또는 블록과 같은 로컬 레벨에서도 그 파라미터를 제공할 필요가 있다. 로컬 레벨까지 암 노이즈 아티팩트를 발견함으로써, 인코딩 또는 프로세싱 모듈은 아티팩트 영역들에서만 인코딩 또는 프로세싱 파라미터들을 조정할 수 있고, 이것은 전체적인 비트 예산들(bit budgets) 또는 계산 리소스들(computational resources)이 제한될 때 특히 유용할 수 있다.
따라서, 암 노이즈 아티팩트들을 자동으로 검출하고 블록마다 또는 영상마다 아티팩트의 강도를 결정하는 방법 및 장치에 대한 강한 요구가 존재한다.
[개요]
본 발명의 하나의 양태에 따르면, 코딩된 이미지들 및 비디오에서 암 노이즈 아티팩트들을 검출하기 위한 방법 및 장치가 제공된다. 방법은, (i) 압축된 영상들에서 아티팩트들의 위치를 찾아내고, (ii) 블록마다 아티팩트의 강도를 결정하고, (iii) 각 영상에 대한 전체적인 암 노이즈 아티팩트 강도를 결정한다. 아티팩트 검출 및 파라미터 할당은 이러한 유형의 아티팩트가 생기기 쉬울 수 있는 후보 영역들을 분석하는 것에 의해 수행된다. 아티팩트의 블록 분산(block variance), 색 정보, 휘도 레벨 및 위치와 같은 다수의 특징들이 이 프로세스에서 이용될 수 있다. 예시적인 구현에서, 영역의 적어도 하나의 특징에 기초하여 디지털 이미지에서 후보 암 노이즈 아티팩트 영역들을 선발하는(screening) 단계, 격리된 아티팩트 영역들을 제거하기 위해 상기 선발된 후보 영역들을 필터링하는 단계, 각 후보 영역에 암 노이즈 아티팩트 파라미터를 할당하는 단계, 및 상기 후보 영역 내의 화소들의 세트에 대한 암 노이즈 아티팩트 파라미터를 형성하는 단계를 포함하는, 암 노이즈 아티팩트들을 검출하기 위한 방법이 제안된다.
본 발명의 다른 양태에 따르면, 영역의 적어도 하나의 특징에 기초하여 디지털 이미지의 후보 암 노이즈 아티팩트 영역들을 선발하고, 격리된 아티팩트 영역들을 제거하고, 각 후보 영역에 암 노이즈 아티팩트 강도를 할당하고, 화소들의 세트에 대한 암 노이즈 아티팩트 파라미터를 산출하도록 구성된 암 노이즈 아티팩트 검출기를 포함하는 비디오 인코더가 제안된다.
본 발명의 다른 양태들 및 특징들은 첨부 도면들과 관련하여 고찰되는 다음의 상세한 설명으로부터 명백해질 것이다. 그러나, 도면들은 오로지 설명의 목적을 위해 계획되어 있는 것이지 본 발명의 범위의 정의로서 계획되어 있는 것은 아니라는 것을 이해해야 하고, 본 발명의 범위에 대해서는 첨부된 청구항들을 참조해야 한다. 또한 도면들은 반드시 일정한 비례로 그려진 것은 아니며, 다르게 지시되지 않는 한, 그것들은 단지 여기에 설명된 구조들 및 절차들을 개념적으로 도시하기 위해 의도되었다는 것을 이해해야 한다.
도면들에서 같은 참조 번호들은 도면들의 전체에 걸쳐서 유사한 컴포넌트들을 나타낸다.
도 1은 본 원리들의 구현에 따른 암 노이즈 아티팩트를 검출하기 위한 방법의 흐름도이다.
도 2는 본 원리들의 구현에 따른 암 노이즈 아티팩트를 검출하기 위한 방법의 상세 흐름도이다.
도 3은 본 원리들의 구현에 따른 암 노이즈 아티팩트 검출을 위한 방법을 적용할 수 있는 레이트 제어 알고리즘의 블록도이다.
도 4는 본 원리들의 구현에 따른 암 노이즈 아티팩트 검출을 위한 방법을 통합하는 예측 인코더(predictive encoder)의 블록도이다.
본 원리들은 (i) 암 노이즈 아티팩트들의 위치를 찾아내고, (ii) 블록마다 암 노이즈 아티팩트의 강도를 결정하고, (iii) 영상마다 전체적인 암 노이즈 아티팩트 강도를 결정하는 방법 및 장치를 제안한다.
본 원리들에 의해 설명된 암 노이즈 아티팩트 검출은 하기의 단계들의 일부 또는 전부를 포함할 수 있다. 도 1에 도시된 방법(10)을 참조하면, 암 아티팩트 검출은 먼저 목표로 삼은(targeted) 영상 또는 영상들을 선발하고 후보 암 노이즈 아티팩트 영역들을 발견하는(locating) 것(12)에 의해 수행된다. 격리된 영역들을 제거하기 위해 이 후보 영역들에 대해 필터가 적용된다(14). 이 시점에, 각 후보 아티팩트 블록에 암 노이즈 아티팩트 강도가 할당되고(16), 그것은 화소들의 세트(예를 들면, 영상 또는 영상들의 그룹)에 대한 아티팩트 강도를 결정하거나 형성(18)하기 위하여 더 이용될 수 있다. 그 강도 값은 그 후 비디오 인코더에 의해 자동으로 문턱값(threshold)과 대조하여 비교될 수 있고, 또는 그 메트릭은 압축 기술자에게 제공될 수 있고 압축 기술자는 개개의 케이스별로(on an individual case basis) 리인코딩에 대한 필요를 결정할 것이다. 다음에 이들 단계들을 설명한다.
(a) 암 노이즈 아티팩트 영역 선발
도 1의 단계(12)의 선발은 전형적인 암 노이즈 아티팩트가 일어날 것 같지 않은 영역들을 제거하고 따라서 암 노이즈 아티팩트 검출의 능률을 올리려고 하기 위해 이용된다. 선발 단계 및 필터링 단계는 영역들 내의 암 노이즈 아티팩트들을 제거하거나 감소시킨다. 사전 선발(prescreening)은 화소 레벨에서 또는 화소들의 그룹 레벨에서 행해질 수 있다. 화소 도메인(pixel domain) 또는 변환 도메인(transform domain) 내의 다수의 특징들이 가망 없는 후보들(unlikely candidates)을 제거하기 위해 이용될 수 있다. 예시적인 구현으로서, 하기의 특징들은 8x8 블록에서 계산된다.
MeanLumRec = 재구성된 블록의 루마 성분(luma component)의 평균
MeanCbRec = 재구성된 블록의 Cb 크로마 성분(chroma component)의 평균
MeanCrRec = 재구성된 블록의 Cr 크로마 성분의 평균
VarLumRec = 재구성된 블록의 루마 성분의 분산
VarLumOrg = 최초의 블록의 루마 성분의 분산
사이즈 MxN의 블록 B 내의 화소 값들의 분산
Figure 112011016707984-pct00001
는 하기의 수학식으로서 계산된다.
Figure 112011016707984-pct00002
Figure 112011016707984-pct00003
는 블록
Figure 112011016707984-pct00004
내의 위치 (i,j)에서의 화소 값을 나타내고,
Figure 112011016707984-pct00005
는 블록
Figure 112011016707984-pct00006
내의 화소 값들의 평균을 나타내고 그것은 하기의 수학식으로서 계산된다.
Figure 112011016707984-pct00007
이 예에서, 하기의 기준들을 만족시키는 블록은 후보 암 노이즈 아티팩트 영역으로서 분류된다. 후보 암 노이즈 아티팩트 영역으로서 분류되는 블록은 1로서 마킹되고, 그렇지 않다면 그것은 0으로서 마킹된다.
1) MeanLumRec는 미리 결정된 범위 (TH_LUM_LOW, TH_LUM_HI) 내에 있다;
2) VarLumRec는 미리 결정된 값 TH_LUM_VAR보다 작다;
3) VarLumOrg와 VarLumRec 사이의 차이의 절대값은 미리 결정된 값 TH_LUM VARDIFF보다 크다;
4) MeanCbRec 및 MeanCrRec는, 각각, 범위 (TH_CR_LOW, TH_CB_HI) 및 (TH_CR_LOW, TH_CR_HI) 내에 있다.
위에 언급된 바와 같이, 다른 기준들(즉, 휘도 정보 이외의 기준들)이 선발 단계 동안에 이용될 수 있다. 후보 암 노이즈 아티팩트 영역들을 선발하기 위해 이용될 수 있는 영역 특징들의 다른 예들은 공간 활동 정보(spatial activity information), 텍스처 정보(texture information), 또는 시간 정보(temporal information)를 포함할 수 있다.
(b) 후보 암 노이즈 아티팩트 영역의 필터링
일단 후보 암 노이즈 아티팩트들이 식별되면, 격리된 영역들을 감소시키거나 제거하기 위해 이러한 영역들에 대해 시간 및/또는 공간 필터(단계(14))가 이용될 수 있다. 예시적인 구현에서, 우리는 비디오 프레임 내의 격리된 후보 암 노이즈 아티팩트 매크로블록들을 필터링하여 제거(filter out)하기 위해 공간 미디언 필터(spatial median filter)를 이용한다.
(c) 블록에 대한 암 노이즈 아티팩트 강도
후보 암 노이즈 아티팩트 블록의 특징들에 기초하여, 이 블록에 아티팩트 강도가 할당될 수 있다. 본 예에서, 우리는 보다 낮은 평균 휘도 값들을 갖는 블록들에 보다 높은 강도를 할당한다. 이것은 아티팩트들이 낮은 휘도 영역들에서 더 심한 경향이 있기 때문이다. 만약 최초의 이미지 또는 비디오가 이용 가능하다면, 우리는 최초의 및 재구성된 이미지 또는 비디오 양쪽 모두에 대하여 각 블록의 분산을 더 계산할 수 있고, 분산에서 더 큰 감소를 갖는 후보 재구성된 블록에는 보다 높은 아티팩트 강도가 할당된다. 특정한 실시예로서, 블록에 대한 아티팩트 강도(ArtifactStrength)는 다음과 같이 계산될 수 있다.
Figure 112011016707984-pct00008
이 기술의 숙련자들은 아티팩트 강도는 매크로블록 레벨에서 또는 영상 레벨에서 할당될 수 있다는 것을 알 것이다.
도 2는 본 원리들의 구현에 따른 블록 레벨 암 노이즈 아티팩트 검출 모듈의 흐름도(95)를 도시한다. 위에 언급된 바와 같이, 영상 내의 각 블록에 대하여, 암 노이즈 아티팩트 검출 방법은 먼저 여러 가지 특징들을 이용하여 가망 없는 아티팩트 후보 영역들을 선발하고 제거한다. 이것은 도 2의 단계들(100-120)에 의해 도시되어 있다. 처음에 프로세스가 시작될 때(100), 매크로블록들을 통한 루프(loop)가 수행되고(110), 최초의 및 재구성된 블록들의 특징들이 산출된다(120).
그 후 각각의 블록에 암 노이즈가 존재하는지에 관하여 결정이 이루어진다(130). 그렇다면, 검출된 암 노이즈 아티팩트 후보는 마스크 맵(mask map)에서 1로서 마킹되고(140), 그렇지 않다면 0으로서 마킹된다(150). 이 시점에 매크로블록들을 통한 루프는 종료된다(160).
그 후 격리된 영역들을 제거하기 위해 마스크 맵에 대해 미디언 필터링이 수행된다(170). 미디언 필터링 후에, 블록과 같은 화소들의 그룹에 대한 암 노이즈 아티팩트 강도가 산출될 수 있다(180). 이 강도 산출에 기초하여, 영상에 대한 아티팩트 강도가 형성될 수 있고(190), 프로세스는 그 후 종료한다(200).
(d) 이미지 또는 비디오 영상들의 그룹에 대한 암 노이즈 아티팩트 메트릭
일단 후보 아티팩트 블록들이 식별되고 각 블록에 아티팩트 강도가 할당되면, 이미지 또는 비디오 영상들의 그룹에 대하여 전체적인 암 노이즈 아티팩트 강도가 계산(또는 형성)될 수 있다(단계(18)). 전체적인 암 노이즈 아티팩트 강도를 계산하는 것의 예는 이미지 또는 비디오 영상들 내의 후보 아티팩트 블록들로서 식별되는 블록들의 백분율을 이용하는 것이다. 전체적인 아티팩트 강도를 계산하는 것의 다른 예는 모든 블록에 대한 아티팩트 강도를 합계하는 것일 수 있다. 전체적인 아티팩트 강도는 그 후 비디오 인코더에 의해 자동으로 문턱값과 대조하여 비교될 수 있고, 또는 그 메트릭은 압축 기술자에게 제공될 수 있고 압축 기술자는 개개의 케이스별로 리인코딩에 대한 필요를 결정할 것이다.
소망의 문턱값을 초과하는 암 노이즈 아티팩트들을 갖는 것으로 식별되는 영역들 또는 영상들에 대하여, 리인코딩을 위한 인코딩 파라미터들을 조정하기 위해 레이트 제어 알고리즘(rate control algorithm)이 이용될 수 있다. 그러한 레이트 제어의 간단한 예는 암 노이즈 아티팩트가 없는 영역들 또는 영상들로부터 암 노이즈 아티팩트를 갖는 영역들 또는 영상들에 더 많은 비트들을 할당하는 것이다(예를 들면, 도 3을 참조).
도 3은 도 1-2에서 도시되고 설명된 암 노이즈 아티팩트 검출 방법(10)을 적용할 수 있는 레이트 제어 알고리즘(300)의 블록도를 도시한다. 도 3을 보면, 본 원리들이 적용될 수 있는 레이트 제어를 위한 예시적인 장치가 참조 번호(300)에 의해 일반적으로 나타내어져 있다. 장치(300)는 본 원리들의 다양한 실시예들에 따라 여기에 설명된 암 노이즈 아티팩트 파라미터 추정을 적용하도록 구성된다. 장치(300)는 암 노이즈 아티팩트 검출기(310), 레이트 제약 메모리(rate constraint memory)(320), 레이트 제어기(330), 및 비디오 인코더(340)를 포함한다.
암 노이즈 아티팩트 검출기(310)의 출력은 레이트 제어기(330)의 제1 입력과 신호 통신으로 연결된다. 레이트 제약 메모리(320)는 레이트 제어기(330)의 제2 입력과 신호 통신으로 연결된다. 레이트 제어기(330)의 출력은 비디오 인코더(340)의 제1 입력과 신호 통신으로 연결된다.
암 노이즈 아티팩트 검출기(310)의 입력 및 비디오 인코더(340)의 제2 입력은, 입력 비디오 및/또는 이미지(들)를 수신하기 위한, 장치(300)의 입력들로서 이용 가능하다. 비디오 인코더(340)의 출력은, 비트스트림을 출력하기 위한, 장치(300)의 출력으로서 이용 가능하다.
하나의 예시적인 실시예에서, 암 노이즈 아티팩트 검출기(310)는 도 1-2에 따라 설명된 방법들에 따라 암 노이즈 아티팩트 파라미터를 생성하고 상기 메트릭을 레이트 제어기(330)에 전달한다. 레이트 제어기(330)는 이 암 노이즈 아티팩트 파라미터를 레이트 제약 메모리(320)에 저장된 추가적인 레이트 제약들과 함께 이용하여 비디오 인코더(340)를 제어하기 위한 레이트 제어 파라미터를 생성한다. 다르게는, 아티팩트 파라미터는 메모리에 저장될 수 있고, 메모리에서 상기 암 노이즈 아티팩트 파라미터는 나중에 검색될 수 있고 리인코딩이 요구되거나 요구되지 않는 때에 관하여 결정이 이루어질 수 있다.
도 4를 보면, 본 원리들의 암 노이즈 아티팩트 검출 방법을 구현하는 통합된 암 노이즈 아티팩트 검출 모듈(495)과 함께 도 3의 레이트 제어 알고리즘을 적용할 수 있는 본 원리들이 적용될 수 있는 예시적인 예측 비디오 인코더가 참조 번호(400)에 의해 일반적으로 나타내어져 있다. 인코더(300)는, 예를 들면, 도 3의 인코더(340)로서 이용될 수 있다. 그러한 경우에, 인코더(400)는 도 3의 장치(300)에 대응하는 레이트 제어를 적용하도록 구성된다(레이트 제어기(330)에 따라서).
비디오 인코더(400)는 결합기(combiner)(485)의 제1 입력과 신호 통신하는 출력을 갖는 프레임 오더링 버퍼(frame ordering buffer)(410)를 포함한다. 결합기(485)의 출력은 변환기 및 양자화기(425)의 제1 입력과 신호 통신으로 연결된다. 변환기 및 양자화기(425)의 출력은 엔트로피 코더(445)의 제1 입력 및 역변환기 및 역양자화기(450)의 입력과 신호 통신으로 연결된다. 엔트로피 코더(445)의 출력은 결합기(490)의 제1 입력과 신호 통신으로 연결된다. 결합기(490)의 출력은 출력 버퍼(435)의 입력과 신호 통신으로 연결된다. 출력 버퍼의 제1 출력은 레이트 제어기(405)의 입력과 신호 통신으로 연결된다. 레이트 제어기(405)의 출력은 영상 타입 결정 모듈(picture-type decision module)(415)의 입력, 매크로블록 타입(MB 타입) 결정 모듈(420)의 제1 입력, 변환기 및 양자화기(425)의 제2 입력, 및 SPS 및 PPS 삽입기(Sequence Parameter Set and Picture Parameter Set inserter)(440)의 입력과 신호 통신으로 연결된다.
영상 타입 결정 모듈(415)의 제1 출력은 프레임 오더링 버퍼(410)의 제2 입력과 신호 통신으로 연결된다. 영상 타입 결정 모듈(415)의 제2 출력은 매크로블록 타입 결정 모듈(420)의 제2 입력과 신호 통신으로 연결된다.
SPS 및 PPS 삽입기(440)의 출력은 결합기(490)의 제3 입력과 신호 통신으로 연결된다. 역양자화기 및 역변환기(450)의 출력은 결합기(427)의 제1 입력과 신호 통신으로 연결된다. 결합기(427)의 출력은 인트라 예측 모듈(intra prediction module)(460)의 입력 및 디블로킹 필터(deblocking filter)(465)의 입력과 신호 통신으로 연결된다. 디블로킹 필터(465)의 출력은 참조 영상 버퍼(reference picture buffer)(480)의 입력과 신호 통신으로 연결된다. 참조 영상 버퍼(480)의 출력은 움직임 추정기(motion estimator)(475)의 입력 및 움직임 보상기(motion compensator)(470)의 제1 입력과 신호 통신으로 연결된다. 움직임 추정기(475)의 제1 출력은 움직임 보상기(470)의 제2 입력과 신호 통신으로 연결된다. 움직임 추정기(475)의 제2 출력은 엔트로피 코더(445)의 제2 입력과 신호 통신으로 연결된다.
움직임 보상기(470)의 출력은 스위치(497)의 제1 입력과 신호 통신으로 연결된다. 인트라 예측 모듈(460)의 출력은 스위치(497)의 제2 입력과 신호 통신으로 연결된다. 매크로블록 타입 결정 모듈(420)의 출력은 스위치(497)의 제3 입력과 신호 통신으로 연결된다. 스위치(497)의 출력은 결합기(427)의 제2 입력과 신호 통신으로 연결된다.
프레임 오더링 버퍼(410)의 입력은, 입력 영상을 수신하기 위한, 인코더(400)의 입력으로서 이용 가능하다. 더욱이, SEI 삽입기(Supplemental Enhancement Information inserter)(430)의 입력은, 메타데이터를 수신하기 위한, 인코더(400)의 입력으로서 이용 가능하다. 출력 버퍼(435)의 제2 출력은, 비트스트림을 출력하기 위한, 인코더(400)의 출력으로서 이용 가능하다.
또한, 이 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들은, 예를 들면, 집적 회로, 소프트웨어 캐리어(software carrier)와 같은 프로세서 판독 가능한 매체 또는, 예를 들면, 하드 디스크, 콤팩트 디스크, RAM(random access memory), 또는 ROM(read-only memory)과 같은 다른 저장 장치에 저장될 수 있다. 명령어들은 프로세서 판독 가능한 매체 상에 실체적으로 구현된 애플리케이션 프로그램을 형성할 수 있다. 명백한 바와 같이, 프로세서는, 예를 들면, 프로세스를 수행하기 위한 명령어들을 갖는 프로세서 판독 가능한 매체를 포함할 수 있다.
이 기술의 숙련자에게 명백한 바와 같이, 구현들은 또한, 예를 들면, 저장되거나 전송될 수 있는 정보를 나르도록 포맷된 신호를 생성할 수 있다. 그 정보는, 예를 들면, 방법을 수행하기 위한 명령어들, 또는 설명된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 그러한 신호는, 예를 들면, 전자기파로서(예를 들면, 스펙트럼의 라디오 주파수 부분을 이용하여) 또는 베이스밴드 신호로서 포맷될 수 있다. 포맷하는 것(formatting)은, 예를 들면, 데이터 스트림을 인코딩하고, 인코딩된 스트림을 패킷화하고(packetizing), 패킷화된 스트림으로 반송파(carrier)를 변조하는 것을 포함할 수 있다. 신호가 나르는 정보는, 예를 들면, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려져 있는, 여러 가지 상이한 유선 또는 무선 링크들을 통하여 전송될 수 있다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 것을 이해할 것이다. 예를 들면, 상이한 구현들의 엘리먼트들이 조합되거나, 보충되거나, 수정되거나, 제거되어 다른 구현들을 생성할 수 있다. 게다가, 통상의 기술을 가진 자는 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고 결과로 생기는 구현들은, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해, 적어도 실질적으로 동일한 방식(들)으로, 적어도 실질적으로 동일한 기능(들)을 수행할 것이다. 따라서, 이 구현들 및 다른 구현들은 하기의 청구항들의 범위 안에 있다.

Claims (25)

  1. 이미지에서 암 노이즈 아티팩트(dark noise artifact)를 검출하는 방법으로서,
    후보 암 노이즈 아티팩트 영역을 식별하기 위해 상기 이미지를 선발하는(screening) 단계 - 상기 후보 암 노이즈 아티팩트 영역은, 제1의 미리 결정된 범위 내의 평균 휘도(mean luminance), 미리 결정된 값보다 작은 휘도의 분산(variance), 및 제2의 미리 결정된 범위 내의 크로미넌스 성분(chrominance component)의 평균을 포함함 -;
    격리된(isolated) 아티팩트 영역을 제거하기 위해 상기 후보 암 노이즈 아티팩트 영역을 필터링하는 단계;
    상기 암 노이즈 아티팩트의 심각도(severity)를 나타내기 위해 상기 후보 암 노이즈 아티팩트 영역에 암 노이즈 아티팩트 파라미터를 할당하는 단계 - 상기 암 노이즈 아티팩트 파라미터는 상기 후보 암 노이즈 아티팩트 영역의 평균 휘도에 기초하여 할당됨 -; 및
    할당된 암 노이즈 아티팩트 파라미터에 기초하여 상기 이미지에 대한 암 노이즈 아티팩트 강도를 계산하는 단계
    를 포함하는, 암 노이즈 아티팩트의 검출 방법.
  2. 제1항에 있어서,
    상기 선발하는 단계는 상기 후보 암 노이즈 아티팩트 영역에 관한 공간 활동 정보(spatial activity information), 텍스처 정보(texture information) 및 시간 정보(temporal information) 중 적어도 하나에 또한 기초하는, 암 노이즈 아티팩트의 검출 방법.
  3. 제1항에 있어서,
    상기 필터링하는 단계는 미디언 필터링(median filtering)을 포함하는, 암 노이즈 아티팩트의 검출 방법.
  4. 제1항에 있어서,
    상기 암 노이즈 아티팩트 파라미터는 문턱값(threshold)에 비교되고, 상기 암 노이즈 아티팩트 파라미터가 상기 문턱값을 초과하는 것에 응답하여 상기 후보 암 노이즈 아티팩트 영역에 대응하는 화소들의 세트가 리인코딩되는(re-encoded), 암 노이즈 아티팩트의 검출 방법.
  5. 제1항에 있어서,
    상기 암 노이즈 아티팩트 파라미터는 시스템 출력으로서 제공되는, 암 노이즈 아티팩트의 검출 방법.
  6. 이미지에서 암 노이즈 아티팩트를 검출하는 장치로서,
    후보 암 노이즈 아티팩트 영역을 식별하기 위해 상기 이미지를 선발하도록 구성된 선발 유닛 - 상기 후보 암 노이즈 아티팩트 영역은, 제1의 미리 결정된 범위 내의 평균 휘도, 미리 결정된 값보다 작은 휘도의 분산, 및 제2의 미리 결정된 범위 내의 크로미넌스 성분의 평균을 포함함 -;
    격리된 아티팩트 영역을 제거하기 위해 상기 후보 암 노이즈 아티팩트 영역을 필터링하도록 구성된 필터;
    상기 암 노이즈 아티팩트의 심각도를 나타내기 위해 상기 후보 암 노이즈 아티팩트 영역에 암 노이즈 아티팩트 파라미터를 할당하도록 구성된 할당 유닛 - 상기 암 노이즈 아티팩트 파라미터는 상기 후보 암 노이즈 아티팩트 영역의 평균 휘도에 기초하여 할당됨 -; 및
    할당된 암 노이즈 아티팩트 파라미터에 기초하여 상기 이미지에 대한 암 노이즈 아티팩트 강도를 계산하도록 구성된 계산 유닛
    을 포함하는, 암 노이즈 아티팩트의 검출 장치.
  7. 제6항에 있어서,
    상기 필터는 미디언 필터(median filter)에 대응하는, 암 노이즈 아티팩트의 검출 장치.
  8. 제6항에 있어서,
    상기 선발 유닛은 공간 활동 정보, 텍스처 정보 및 시간 정보 중 적어도 하나를 이용하여 상기 이미지를 선발하도록 또한 동작하는, 암 노이즈 아티팩트의 검출 장치.
  9. 제6항에 있어서,
    상기 암 노이즈 아티팩트 파라미터는 문턱값에 비교되고, 상기 암 노이즈 아티팩트 파라미터가 상기 문턱값을 초과하는 것에 응답하여 상기 후보 암 노이즈 아티팩트 영역에 대응하는 화소들의 세트가 리인코딩되는, 암 노이즈 아티팩트의 검출 장치.
  10. 제6항에 있어서,
    상기 암 노이즈 아티팩트 파라미터는 시스템 출력으로서 제공되는, 암 노이즈 아티팩트의 검출 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020117005462A 2008-08-08 2008-08-08 암 노이즈 아티팩트를 검출하기 위한 방법 및 장치 KR101529754B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/009566 WO2010016823A1 (en) 2008-08-08 2008-08-08 Method and apparatus for detecting dark noise artifacts

Publications (2)

Publication Number Publication Date
KR20110046523A KR20110046523A (ko) 2011-05-04
KR101529754B1 true KR101529754B1 (ko) 2015-06-19

Family

ID=40260816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117005462A KR101529754B1 (ko) 2008-08-08 2008-08-08 암 노이즈 아티팩트를 검출하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US20110135012A1 (ko)
EP (1) EP2321796B1 (ko)
JP (1) JP5491506B2 (ko)
KR (1) KR101529754B1 (ko)
CN (1) CN102119400B (ko)
BR (1) BRPI0822986A2 (ko)
WO (1) WO2010016823A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363522B2 (en) * 2011-04-28 2016-06-07 Warner Bros. Entertainment, Inc. Region-of-interest encoding enhancements for variable-bitrate mezzanine compression
US20140254938A1 (en) * 2011-11-24 2014-09-11 Thomson Licensing Methods and apparatus for an artifact detection scheme based on image content
CN105243651B (zh) * 2015-11-19 2018-08-28 中国人民解放军国防科学技术大学 基于近似方差和暗色块像素统计信息的图像边缘增强方法
CN107154025B (zh) * 2016-03-04 2019-12-13 北京大学 一种针对颈动脉磁共振血管壁成像的血流伪影去除方法
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
EP3826311A1 (en) * 2019-11-22 2021-05-26 MK Systems USA Inc. Systems and methods for measuring visual quality degradation in digital content
CN111583152B (zh) * 2020-05-11 2023-07-07 福建帝视科技集团有限公司 基于U-net结构的图像伪影检测与自动去除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030007922A (ko) * 2001-04-09 2003-01-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 필터 디바이스
KR100721543B1 (ko) * 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
WO2008011502A2 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Dynamic range reduction before video encoding
KR20100011954A (ko) * 2008-07-24 2010-02-03 케어스트림 헬스 인코포레이티드 오프셋 보정된 노출 이미지 형성 방법 및 디지털 ｘ선 촬영 시스템

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
JPH07250327A (ja) * 1994-03-08 1995-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法
JPH07334683A (ja) * 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 移動物体検出装置
JP3353604B2 (ja) * 1995-08-09 2002-12-03 ソニー株式会社 動画像符号化方法及び装置、並びに信号記録媒体
US5995149A (en) * 1997-07-31 1999-11-30 Sony Corporation Image data compression
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
JP2002191048A (ja) * 2000-12-22 2002-07-05 Ando Electric Co Ltd 動画符号通信評価方法及び動画符号通信評価装置
DE10155089C1 (de) * 2001-11-09 2003-06-18 Siemens Ag Verfahren zur Entfernung von Ringen und Teilringen in Computertomographie-Bildern
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
US7362911B1 (en) * 2003-11-13 2008-04-22 Pixim, Inc. Removal of stationary noise pattern from digital images
US7266246B2 (en) * 2004-04-29 2007-09-04 Hewlett-Packard Development Company, L.P. System and method for estimating compression noise in images
JP2006081156A (ja) * 2004-08-13 2006-03-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP4130434B2 (ja) * 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
US20060256215A1 (en) * 2005-05-16 2006-11-16 Xuemei Zhang System and method for subtracting dark noise from an image using an estimated dark noise scale factor
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
JP4662880B2 (ja) * 2006-04-03 2011-03-30 三星電子株式会社 撮像装置，及び撮像方法
KR100845303B1 (ko) * 2006-09-29 2008-07-10 한국전자통신연구원 고속 부호화를 위한 되먹임 구조를 가진 동영상 압축부호화 장치 및 최적 모드 결정 방법
KR100780242B1 (ko) * 2006-11-14 2007-11-27 삼성전기주식회사 이미지의 어두운 영역에서의 노이즈 제거 방법 및 장치
JP5150224B2 (ja) * 2006-11-29 2013-02-20 パナソニック株式会社 画像処理方法および画像処理装置
CA2674164A1 (en) * 2006-12-28 2008-07-17 Thomson Licensing Detecting block artifacts in coded images and video
JP5270572B2 (ja) * 2006-12-28 2013-08-21 トムソン ライセンシング 自動的な視覚的なアーチファクトの分析及び視覚的なアーチファクトの低減の方法及び装置
JP5662023B2 (ja) * 2006-12-28 2015-01-28 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法と、装置と、アプリケーション・プログラムを有するプログラム記憶装置
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030007922A (ko) * 2001-04-09 2003-01-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 필터 디바이스
KR100721543B1 (ko) * 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
WO2008011502A2 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Dynamic range reduction before video encoding
KR20100011954A (ko) * 2008-07-24 2010-02-03 케어스트림 헬스 인코포레이티드 오프셋 보정된 노출 이미지 형성 방법 및 디지털 ｘ선 촬영 시스템

Also Published As

Publication number Publication date
CN102119400A (zh) 2011-07-06
CN102119400B (zh) 2017-10-31
US20110135012A1 (en) 2011-06-09
KR20110046523A (ko) 2011-05-04
JP5491506B2 (ja) 2014-05-14
JP2011530858A (ja) 2011-12-22
BRPI0822986A2 (pt) 2015-06-23
WO2010016823A1 (en) 2010-02-11
EP2321796B1 (en) 2016-12-28
EP2321796A1 (en) 2011-05-18

Similar Documents

Publication Publication Date Title
KR101441175B1 (ko) 밴딩 아티팩트 검출을 위한 방법 및 장치
JP5496914B2 (ja) 知覚上の品質を評価する方法
US6466625B1 (en) Picture signal processing method and apparatus
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
US9762901B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP4565010B2 (ja) 画像復号装置および画像復号方法
US7697783B2 (en) Coding device, coding method, decoding device, decoding method, and programs of same
KR101529754B1 (ko) 암 노이즈 아티팩트를 검출하기 위한 방법 및 장치
KR101273487B1 (ko) 적응성 픽셀-기반의 필터링
JP2013102471A (ja) アーチファクト評価による向上した画像／ビデオ品質
US20130028322A1 (en) Moving image prediction encoder, moving image prediction decoder, moving image prediction encoding method, and moving image prediction decoding method
JP2007536828A (ja) 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
KR20050084266A (ko) 디지털 비디오 처리용 통합 규준
JP4266227B2 (ja) 動画像信号処理装置
JP3800435B2 (ja) 動画像信号処理装置
JP4824708B2 (ja) 動画像符号化方法，装置，プログラムおよびコンピュータ読み取り可能な記録媒体
JP6012307B2 (ja) 動画像符号化装置及びその制御方法、並びに、プログラム
JP2008167290A (ja) トランスコーダ
KR20050079690A (ko) 필터링 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 4