KR101573974B1 - 비디오의 노이즈 감소를 위한 방법 및 장치 - Google Patents
비디오의 노이즈 감소를 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR101573974B1 KR101573974B1 KR1020127022588A KR20127022588A KR101573974B1 KR 101573974 B1 KR101573974 B1 KR 101573974B1 KR 1020127022588 A KR1020127022588 A KR 1020127022588A KR 20127022588 A KR20127022588 A KR 20127022588A KR 101573974 B1 KR101573974 B1 KR 101573974B1
- Authority
- KR
- South Korea
- Prior art keywords
- video sequence
- input video
- noise
- images
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000009467 reduction Effects 0.000 title description 13
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 16
- 230000003252 repetitive effect Effects 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 17
- 230000002457 bidirectional effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000013398 bayesian method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/911—Television signal processing therefor for the suppression of noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
일부 실시예들에서, 비디오 시퀀스를 프로세싱하는 방법은 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 단계, 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계, 정렬된 이미지들에서 노이즈를 감소시키는 단계, 및 감소된 노이즈 이미지들로부터 입력 비디오 시퀀스와 동일한 해상도를 갖는 출력 비디오 시퀀스를 생성하는 단계를 포함할 수 있다. 다른 실시예들도 개시되고 청구되었다.
Description
본 발명은 비디오 프로세싱에 관한 것이다. 더욱 구체적으로, 본 발명의 일부 실시예들은 비디오의 노이즈 감소에 관한 것이다.
미국 특허 제7,447,382호는 모델-기반, 견고한 베이시안(Bayesian) 추정을 사용하여 복수의 더 낮은 해상도 이미지로부터 더 높은 해상도 이미지를 연산하는 것을 설명한다. 장면의 주어진 복수의 보여지는 더 낮은 해상도(LR) 이미지로부터 얻어진 상기 장면의 더 높은 해상도(HR) 이미지 결과는 베이시안 추정 이미지 재구성 방법을 사용하여 연산된다. 그 방법은 노이즈가 존재하는 LR 이미지의 형성에 대한 모델을 시행하는 가능성 확률 함수에 기초한 결과 HR 이미지를 산출한다. 이러한 노이즈는 확률적, 비-가우시안, 견고한 함수에 의해 모델링된다.
특허 또는 출원 파일은 컬러로 구현된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 갖는 이 특허 또는 특허 출원 공개의 사본은 필요한 요금의 지불 및 요청에 따라 관청에 의해 제공될 것이다.
본 발명의 다양한 특징들은 동일한 참조번호가 일반적으로 전체 도면을 통해 동일한 부분을 가리키는, 첨부한 도면에서 도시된 바와 같이 바람직한 실시예들의 다음의 설명으로부터 명백해질 것이다. 도면은 반드시 크기에 비례하여 도시될 필요는 없으며, 본 발명의 원리를 설명함에 따라 강조하며 도시되었다.
도 1은 본 발명의 일부 실시예들을 따른 흐름도이다.
도 2는 본 발명의 일부 실시예들을 따른 다른 흐름도이다.
도 3은 본 발명의 일부 실시예들을 따른 다른 흐름도이다.
도 4는 본 발명의 일부 실시예들을 따른 비디오 프로세싱 장치의 블록도이다.
도 5는 본 발명의 일부 실시예들을 따른 다른 비디오 프로세싱 장치의 블록도이다.
도 6은 본 발명의 일부 실시예들을 따른 노이즈 제거 모듈의 블록도이다.
도 7은 본 발명의 일부 실시예들을 따른 다른 노이즈 제거 모듈의 블록도이다.
도 8은 본 발명의 일부 실시예들을 따른 프로세서 기반 전자 시스템의 블록도이다.
도 9는 본 발명의 일부 실시예들을 따른 광 흐름 추정 모듈의 블록도이다.
도 10은 본 발명의 일부 실시예들을 따른 다른 노이즈 제거 모듈의 블록도이다.
도 11은 기준 디지털 이미지이다.
도 12는 본 발명의 일부 실시예들에 따라 프로세싱된 디지털 이미지이다.
도 13은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 14는 다른 기준 디지털 이미지이다.
도 15는 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 16은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 17은 다른 기준 디지털 이미지이다.
도 18은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 19는 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
본 발명의 다양한 특징들은 동일한 참조번호가 일반적으로 전체 도면을 통해 동일한 부분을 가리키는, 첨부한 도면에서 도시된 바와 같이 바람직한 실시예들의 다음의 설명으로부터 명백해질 것이다. 도면은 반드시 크기에 비례하여 도시될 필요는 없으며, 본 발명의 원리를 설명함에 따라 강조하며 도시되었다.
도 1은 본 발명의 일부 실시예들을 따른 흐름도이다.
도 2는 본 발명의 일부 실시예들을 따른 다른 흐름도이다.
도 3은 본 발명의 일부 실시예들을 따른 다른 흐름도이다.
도 4는 본 발명의 일부 실시예들을 따른 비디오 프로세싱 장치의 블록도이다.
도 5는 본 발명의 일부 실시예들을 따른 다른 비디오 프로세싱 장치의 블록도이다.
도 6은 본 발명의 일부 실시예들을 따른 노이즈 제거 모듈의 블록도이다.
도 7은 본 발명의 일부 실시예들을 따른 다른 노이즈 제거 모듈의 블록도이다.
도 8은 본 발명의 일부 실시예들을 따른 프로세서 기반 전자 시스템의 블록도이다.
도 9는 본 발명의 일부 실시예들을 따른 광 흐름 추정 모듈의 블록도이다.
도 10은 본 발명의 일부 실시예들을 따른 다른 노이즈 제거 모듈의 블록도이다.
도 11은 기준 디지털 이미지이다.
도 12는 본 발명의 일부 실시예들에 따라 프로세싱된 디지털 이미지이다.
도 13은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 14는 다른 기준 디지털 이미지이다.
도 15는 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 16은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 17은 다른 기준 디지털 이미지이다.
도 18은 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
도 19는 본 발명의 일부 실시예들에 따라 프로세싱된 다른 디지털 이미지이다.
다음의 설명에서, 제한이 아닌 설명의 목적을 위해, 특정한 구조, 아키텍쳐, 인터페이스, 기술 등과 같은 특정한 세부사항들이 본 발명의 다양한 양상들의 철저한 이해를 제공하기 위해 나열되었다. 그러나, 본 발명의 다양한 양상들이 이러한 구체적 세부사항들로부터 벗어난 다른 예들에서 시행될 수 있다는 것이 본 개시의 이득을 갖는 당업자들에게 명백할 것이다. 특정한 예들에서, 공지의 디바이스, 회로, 및 방법들의 설명은 불필요한 세부사항으로 본 발명의 설명을 모호하게 하지 않기 위해 생략되었다.
도 1을 참조하여, 본 발명의 일부 실시예들을 따라 비디오 시퀀스를 프로세싱하는 방법은 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 단계(예를 들면, 블록(10)), 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계(예를 들면, 블록(11)), 정렬된 이미지들에서 노이즈를 감소시키는 단계(예를 들면, 블록(12)), 및 감소된 노이즈 이미지들로부터 입력 비디오 시퀀스와 동일한 해상도를 갖는 출력 비디오 시퀀스를 생성하는 단계(예를 들면, 블록(13))를 포함할 수 있다. 예를 들면, 입력 비디오 시퀀스로부터 이미지들을 정렬하기 전에 입력 비디오 시퀀스의 광 흐름을 추정하는 것이 더 요구될 수 있다(예를 들면, 블록(14)). 예를 들면, 입력 비디오 시퀀스는 기준 프레임과 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함할 수 있다(예를 들면, 블록(15)).
도 2를 참조하여, 본 발명의 일부 실시예들에서 정렬된 이미지들에서 노이즈를 감소시키는 것은 공액 기울기(conjugate gradient) 최소화에 대응하여 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 것(예를 들면, 블록(20))을 포함할 수 있다. 본 발명의 일부 실시예들에서, 정렬된 이미지들에서 노이즈를 감소시키는 것은 반복적인 라인 최소화를 수행하는 것(예를 들면, 블록(21))을 포함할 수 있다.
도 3을 참조하여, 본 발명의 일부 실시에들에서, 정렬된 이미지들에서 노이즈를 감소시키는 것은 정렬된 이미지들의 이미지 워핑(warping)을 수행하는 것을 포함할 수 있다. 본 발명의 일부 실시예들에서 정렬된 이미지들의 노이즈를 감소시키는 것은 정렬되고, 워핑된 이미지들에 시간적 및 공간적 양방향 필터링(bilateral filtering)을 수행하는 것을 포함할 수 있다.
도 4를 참조하여, 본 발명의 일부 실시예들을 따르는 비디오 프로세싱 장치(40)는 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 제1 모듈(41), 제1 모듈(41)에 결합되어 입력 비디오 시퀀스로부터 이미지들을 정렬하는 제2 모듈(42), 제2 모듈(42)에 결합되어 정렬된 이미지들에 기초하여 입력 비디오 시퀀스에서 노이즈를 감소시키는 제3 모듈(43), 및 제3 모듈(43)에 결합되어 감소된 입력 비디오 시퀀스에 기초하여 입력 비디오 시퀀스 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하는 제4 모듈(44)을 포함할 수 있다.
도 5를 참조하여, 이미지 정렬 모듈(52)(예를 들면, 도 4로부터의 제2 모듈(42))은 입력 비디오 시퀀스의 광 흐름을 추정하는 모듈(55)을 더 포함할 수 있다. 예를 들면, 입력 비디오 시퀀스는 기준 프레임 R과 기준 프레임 R에 대한 적어도 하나의 전방 프레임 F 및 적어도 하나의 후방 프레임 B를 포함할 수 있다.
도 6을 참조하여, 노이즈 제거 모듈(63)(예를 들면, 도 4로부터의 제3 모듈(43))은 공액 기울기 최소화에 대응하여 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 모듈(65)을 포함할 수 있다. 노이즈 제거 모듈(63)은 반복적인 라인 최소화를 수행하는 모듈(66)을 더 포함할 수 있다.
도 7을 참조하여, 대안적인 노이즈 제거 모듈(73)(예를 들면, 도 4로부터의 제3 모듈(43))은 정렬된 이미지들의 이미지 워핑을 수행하는 모듈(75)을 포함할 수 있다. 대안적인 노이즈 제거 모듈(73)은 정렬되고, 워핑된 이미지들에 공간적 및 시간적 양방향 필터링을 수행하는 모듈(76)을 더 포함할 수 있다.
도 8을 참조하여, 프로세서-기반 전자 시스템(80)은 프로세서(81) 및 프로세서(81)에 결합된 메모리(82)를 포함할 수 있다. 예를 들면, 메모리(82)는 프로세서에 의해 실행되었을 때, 입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하고, 입력 비디오 시퀀스로부터 이미지들을 정렬하고, 정렬된 이미지들에 기초하여 입력 비디오 시퀀스에서 노이즈를 감소시키고, 감소된 노이즈 입력 비디오 시퀀스에 기초하여 입력 비디오 시퀀스의 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하는 명령어들을 가질 수 있다. 예를 들면, 메모리(82)는 프로세서에 의해 실행되었을 때 입력 비디오 시퀀스의 광 흐름을 추정하는 명령어들을 더 가질 수 있다. 예를 들면, 입력 비디오 시퀀스는 기준 프레임과 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함할 수 있다.
예를 들면, 메모리(82)는 프로세서에 의해 실행되었을 때 공액 기울기 최소화에 대응하여 정렬된 이미지의 반복적인 전방 및 후방 재매핑을 수행하는 명령어들을 더 가질 수 있다. 메모리(82)는 프로세서에 의해 실행되었을 때 반복적인 라인 최소화를 수행하는 명령어들을 더 가질 수 있다. 대안적으로, 메모리(82)는 프로세서에 의해 실행되었을 때 정렬된 이미지들의 이미지 워핑을 수행하고, 정렬되고, 워핑된 이미지들에 시간적 및 공간적 양방향 필터링을 수행하는 명령어들을 더 가질 수 있다.
예를 들면, 프로세서(81) 및 메모리(82)는 하우징(83)에 배치될 수 있다. 예를 들면, 하우징은 데스크톱 컴퓨터, 랩톱 컴퓨터, 셋-톱 박스, 휴대 디바이스, 프로세서-기반 시스템(80)을 위한 다른 수많은 가능한 것들 중 어느 것에도 대응할 수 있다. 예를 들면, 시스템(80)은 프로세서(81) 및 메모리(82)에 결합된 디스플레이 디바이스(84)를 더 포함할 수 있다. 출력 비디오 시퀀스는 디스플레이 디바이스(84) 상에 디스플레이될 수 있다. 예를 들면, 시스템(80)은 프로세서(81, 82)에 사용자 입력을 제공하는 입력 디바이스(85)를 더 포함할 수 있다. 예를 들면, 입력 디바이스(85)는 무선 원격 제어 디바이스일 수 있다.
유리하게, 본 발명의 일부 실시예들은 비디오 및/또는 이미지 시퀀스의 노이즈를 감소시킬 수 있다. 동작의 이론에 제한을 두지 않고, 본 발명의 일부 실시예들은 비디오에 광 흐름 기반 견고한 다중-프레임 노이즈 감소를 제공할 수 있다. 예를 들면, 본 발명의 일부 실시예들은 다양한 상이한 소스들, 품질 및 취득 방법들로부터 (유비쿼터스 셀-폰 카메라, 웹캠 등과 같은) 저렴한 디바이스들로 얻어진 소비자급 비디오들, 비-최적 조건(어두운 조명)에서 얻어진 전문가급 비디오, 다양한 소스(X-레이, 초음파 등)로부터의 의학 이미지 시퀀스들, 수많은 다른 소스의 비디오 시퀀스들을 포함하는 비디오 및/또는 이미지 시퀀스에 적용될 수 있다.
동작의 이론에 제한을 두지 않고, 본 발명의 일부 실시예들은 비디오 및 이미지 시퀀스에 일반적으로 존재하는 높은 수준의 중복을 활용할 수 있다. 예를 들면, 정적 장면 및 카메라의 노이즈를 갖는 비디오 시퀀스의 경우에, 각 픽셀에서 노이즈 세기를 갖는 프레임들의 많은 샘플은 (예를 들면, 이용 가능한 모든 샘플들의 평균을 취함으로써) 그 픽셀의 근본적인 불변 세기의 통계적인 추정을 획득하는 데에 사용될 수 있다.
그러나, 많은 비디오 시퀀스에서, 장면들은 카메라 또는 대상의 움직임 때문에 일반적으로 정적이지 않다. 유리하게, 본 발명의 일부 실시예들은 비디오 시퀀스의 광 흐름을 추정할 수 있다. 예를 들면, 광 흐름은 장면에서 카메라 또는 대상의 움직임 때문에 시퀀스에 있어 한 이미지에서 다음 이미지로 세기 레벨의 명백한 움직임에 대응할 수 있다. 예를 들면, 광 흐름은 예컨대 2개의 프레임을 전방에서 2개의 프레임을 후방에서 취해, 총 5개의 프레임들을 사용하고 각 프레임을 기준 프레임에 대해 정렬하여, 기준 프레임(예를 들면, 명목상 중앙 프레임) 근처의 프레임들의 윈도우로부터 추정될 수 있다.
예를 들면, 이미지 정렬은 일반 비디오에서 제한적인 응용력을 갖는 낮은 파라미터 움직임 모델(예를 들면, 순수 병진, 회전, 아핀(affine), 투영 등)로부터, 치환 벡터가 모든 픽셀에 대해 추정되는 고밀도 비-파라미터 모델(예를 들면, 광 흐름)에 달하는 -중간 솔루션들(이러한 모델에 있어서 아웃라이어(outlier)로 간주된 포인트들에 대해 하나의 낮은 파라미터 움직임 모델에 개별적 광 흐름을 더함)도 또한 가능함- 상이한 움직임 모델들을 사용하여 추정될 수 있다. 예를 들면, 미국 특허 공보 제2008-0112630호, 표제 DIGITAL VIDEO STABILIZATION BASED ON ROBUST DOMINANT MOTION ESTIMATION은 장치가 입력 이미지 시퀀스를 수신하고 이미지 시퀀스의 이웃한 이미지들 사이에서 지배적인 움직임을 추정할 수 있다는 것을 설명한다. 장치는 움직이는 대상에 독립적으로 대응하는 아웃라이어들을 자동으로 감지하고 감소시키는 견고한 추정자(estimator)를 사용할 수 있다.
본 발명의 일부 실시예들은 이론적인 서브-픽셀 정확도로 기울기 기반, 다중-해상도, 광 흐름 추정을 이용할 수 있다. 그러나, 고밀도 움직임 추정을 위한 다른 방법들이 잠재적으로 적용가능하다. 예를 들면, 프레임 레이트 전환에 적용되는 움직임 추정 기술들이 적용가능하다.
도 9를 참조하여, 본 발명의 일부 실시예들은 기울기 기반 개략 상세 추정을 사용하는 광 흐름 추정을 포함할 수 있다. 예를 들면, 다중-해상도 피라미드가 획득되면, 이용가능하다면 추가적인 입력으로서 이전 레벨로부터 추정된 흐름을 사용하여 각각의 해상도 레벨에서 광 흐름을 추정할 수 있다. 각각의 레벨에서 광 흐름은 먼저 광 흐름의 현재 추정치에 따라 입력 이미지들을 재매핑하고 제2차 기울기를 연산하고 픽셀 자체의 이웃으로부터 기울기 제한을 사용하여 각각의 픽셀에서 흐름 벡터를 계산하기를 반복함으로써 추정된다.
본 발명의 일부 실시예들을 따라, 견고한 프레임 노이즈 제거가 비디오 시퀀스의 정렬된 이미지에 적용될 수 있다. 예를 들면, 정렬이 추정되면, 동일한 장면 위치에 대응하는 상이한 프레임들로부터 얻어지는 노이즈 세기들은 중앙 기준 프레임의 노이즈 제거 버전을 획득하도록 조합될 수 있다. 본 발명의 일부 실시예들에 따라, 견고함의 범위는 프레임 노이즈 제거에 적용될 수 있다. 예를 들면, 본 발명의 일부 실시예들에서 견고한 프레임 노이즈 제거는 상대적으로 높은 연산 비용을 필요로 하고 매우 효과적인 노이즈 제거(예를 들면, 베이시안 방법)를 제공할 수 있다. 예를 들면 본 발명의 일부 실시예들에서, 견고한 프레임 노이즈 제거는 상대적으로 낮은 연산 비용을 필요로 할 수 있으나 덜 효과적인 노이즈 제거(예를 들면, 프리워핑(pre-warping))를 제공한다.
(본원에서 제안된 것들과 같은) 견고한 방법들 중 하나의 중요한 파라미터는 노이즈를 고려한 에러의 크기들이 노이즈로 간주되고 크기들이 아웃라이어들로 간주되는 것에 관한 스케일 파라미터로 알려진 것이다. 이러한 중요한 파라미터는 (수직 및 수평 픽셀 차의 MAD -median of absolute differences-에 기초한) 이미지 노이즈의 견고한 추정을 사용하여 입력 이미지로부터 자동으로 추정된다. 이것은 제안된 방법들이 입력 이미지 시퀀스의 노이즈 레벨에 관계없이 사용자 상호작용 없이 완전히 자동 모드로 동작하도록 한다.
도 10을 참조하여, 예시적인 베이시안 방법이 이미지 및 추가적인 노이즈를 정렬하는 데에 필요한 워핑을 포함하는, 노이즈 없는 이미지로부터 대응하는 측정된 프레임까지 직접 이미지 형성을 사용하는 것에 기초할 수 있다. 그것은 또한 원래 이미지에서 볼 수 있을 것으로 기대되는 것의 간략한 확률적인 설명인 노이즈 없는 이미지 상의 이전 모델을 포함할 수 있다. 예를 들면, 방법은 베이시안 모델에 의해 주어진 비용 함수를 최소화하기 위해 비-선형 공액 기울기를 사용할 수 있다. 노이즈 없는 이미지의 현재 추정을 g라고 하면, 2개의 업데이트들은 (후방 재매핑, 에러의 연산, 비-선형 함수의 적용, 및 전방 재매핑을 포함하는) 이미지 형성 모델 및 이전 모델을 사용하여 연산된다. 업데이트가 연산되면, 최적 가중치 요소 α는 라인 최소화를 사용하여 추정되고, 업데이트는 이 가중치에 의해 곱해지고 노이즈 없는 이미지의 추정치 g에 더해져서 g의 새로운 현재 추정치를 획득한다. 절차는 수렴할 때까지 반복될 수 있다.
유리하게, 전술된 미국 특허 제7,447,382호에서 설명된 슈퍼-해상도 이미지 프로세싱에 비교하여, 본 발명의 일부 실시예들은 여전히 좋은 노이즈 제거 성능을 제공하면서 상대적으로 낮은 연산 비용을 필요로 할 수 있다. 예를 들면, 본 발명의 일부 실시예들이 이미지의 해상도를 증가시키지 않기 때문에, 이미지 형성 모델은 다운/업 샘플링을 생략할 수 있다. 본 발명의 일부 실시예들은 반복적일 수 있고 직접 및 반전 이미지 형성 모델(기본적으로 전방 및 후방 재매핑)의 적용을 수차례 이용할 뿐만 아니라, 각각의 반복에서의 라인 최소화를 실행할 수 있어, 높은 연산 비용을 초래하게 된다. 유리하게, 본 반복적인 모델-기반 방법의 결과는 높은 노이즈 감소를 갖는 일반적으로 매우 높은 품질이고 실제로 결과 이미지에서 추가적인 블러(blur)가 도입되지 않는다. 본 발명의 일부 실시예들에서 추가적인 블러 제거 능력이 이용될 수 있다.
본 발명의 일부 실시예들에 따라, 더 낮은 연산 비용 방법은 이미지를 프리워핑하고 결과를 조합하는 것에 기초할 수 있다. 예를 들면, 정렬이 추정되면, 통계적인 방법으로 동일한 장면 위치에 대응하는 상이한 프레임들로부터 얻어진 노이즈 세기들을 조합하여 중앙 프레임의 노이즈 제거 버젼을 획득하는 것이 가능하다. 예를 들면, 워핑은 추정된 광 흐름을 사용하여 중앙 프레임 근처의 이미지들의 윈도우에서 매 이미지마다 수행될 수 있다. 워핑은 후방 보간법(interpolation)을 사용하여(예를 들면, 쌍일차 보간법을 사용하여) 행해질 수 있다.
주변 이미지들이 중앙 프레임에 대해 정렬되고 워핑된 후에, 그 결과는 픽셀들이 정렬된 프레임들의 집합이며, 프레임마다 근본적인 노이즈 없는 세기의 적어도 하나의 노이즈 샘플을 제공한다. 예를 들면, 모든 픽셀 위치에서 상이한 이미지들의 해당 픽셀의 가시성에 따라 (중앙 프레임에 대응하는 하나인) 1로부터 다수의 이미지들에 달하는 다수의 노이즈 세기 샘플들이 있다. 본 발명의 일부 실시예들에 따라, 모든 이용가능한 샘플들은 양방향 필터링과 유사한 방식을 사용하여 조합될 수 있다.
예를 들면, 각각의 픽셀 위치에 대해 가중치 평균이 결정될 수 있고, 각각의 샘플의 가중치는 (예를 들면, 가우시안 함수를 사용하는) 샘플과 중앙 프레임 사이에서의 세기의 차의 함수이다. 유리하게, 본 발명의 일부 실시예들은 중앙 프레임의 세기 값에 가까운 세기들을 선호하고, 이는 정확하지 않은 정렬로부터 얻어진 잘못된 세기들을 조합하는 것을 방지할 수 있다. 유리하게, 이 방법의 연산 비용은 반복을 요구하지 않음으로써 상대적으로 낮으며 프로세스는 픽셀 단위로 로컬하게 행해진다.
유리하게, 본 발명의 일부 실시예들은 해상도를 증가시키지 않고, 상대적으로 낮은 연산 비용을 갖는 (예를 들면, 베이시안 방법과 비교하여) 상대적으로 간단한 비디오에 대한 다중-프레임 노이즈 제거 방법을 제공할 수 있다. 조합되는 프레임들이 정렬되면, 본 발명의 일부 실시예들은 매우 작은 추가 대역폭 및 동작들을 필요로 할 수 있다. 유리하게, 본 발명의 일부 실시예들은, 이미지 정렬을 수행하는 데에 (예를 들면, 프레임 레이트 전환에 대해 사용된 것인) 다른 모듈들에 의해 이미 추정된 움직임을 이용할 수 있고, 그에 따라 추가적인 연산 절감(예를 들면, 하드웨어 구현에 있어서 잠재적인 실리콘 영역 또는 보드 영역 절감)이 된다.
본 발명의 일부 실시예들은 양방향 필터링을 사용하는 견고한 노이즈 제거를 포함할 수 있다. 이미지들이 정렬되면, 적절한 통계 방법을 사용하여 노이즈 측정치의 기초가 되는 노이즈 없는 세기의 값을 추정하기 위해 픽셀 단위로 세기 값들을 조합할 수 있다. 예를 들면, 측정치를 조합하는 직선적인 방법은 평균 또는 중간값과 같은 단순한 통계적 추정자를 취하는 것이다. 그러나, 이러한 추정자들은 정렬에서의 에러에 충분히 견고하지 않을 수 있다. 정렬에서의 총 에러들은 진보한 움직임 추정 기술들을 사용해서도 발생할 수 있다. 유리하게, 본 발명의 일부 실시예들은 양방향 필터링에 기초하여 노이즈 측정치를 조합할 수 있고, 이는 정렬 에러가 있을 때에도 결과를 향상시킬 수 있다.
양방향 필터링은 주변 윈도우의 픽셀들의 세기의 가중치 평균을 각각의 픽셀에서 얻는 것(예를 들면, 선형 필터링과 유사)에 기초하는 공간적 노이즈 제거에 유용할 수 있으며, 여기서 주어진 픽셀의 가중치는 그 픽셀의 세기와 중앙 프레임의 세기 사이의 차의 함수(예를 들면, 중앙 픽셀에 가까운 세기들에 가중치를 더 주는 가우시안)이다.
본 발명의 일부 실시예들은 상이한 프레임들로부터 얻어진 세기들을 조합할 수 있고, 이는 주어진 이미지에 있어 다음과 같은 솔루션을 도출한다(개별적인 픽셀 위치는 명확성을 위해 등식으로부터 생략됨):
여기서 N은 조합되는 프레임들의 수이고, c는 중앙(기준) 프레임에 대응하는 인덱스이며, 이미지 Ik는 중앙 프레임에 대해 추정된 정렬에 따라 이미 워핑되었다.
본 발명의 일부 실시예들은 하나의 주어진 픽셀의 값을 획득하도록 시간적 및 공간적 정보 모두를 조합할 수 있으며, 정보는 중앙 프레임의 주어진 픽셀 주변의 윈도우의 이웃하는 픽셀들과 함께, 다수의 선-정렬 프레임들의 동일한 위치로부터 조합될 수 있다.
동작의 이론을 제한하지 않고, 양방향 필터는 반복적으로 재-가중된 최소값의 방법의 하나의 반복이 중앙 픽셀의 세기로 초기화된 솔루션으로 제곱하는 것으로 이해될 수 있다. 유리하게, 본 발명의 일부 실시예들은 비-반복적이고, 아웃라이어들에 견고하며, 중앙 픽셀의 원래 값에 근접한 노이즈 제거 값을 제거할 수 있다. 이것은 견고한 추정자의 중단(breakdown) 포인트가 도달되었을 때, 견고한 추정자를 사용하고, 아티팩트(artifact)를 생성하여, 총 정렬 에러가 원래 값으로부터 매우 떨어진 값들에 세기의 추정치를 치중되게 가할 수 있을 때 특히 유리할 수 있다.
반복적인 RWLS에서 이러한 절차는 수렴이 달성될 때까지 반복될 수 있다. 본 발명의 일부 실시예들에 따라, 수학식 1의 양방향 필터링은 RWLS 방법의 합리적인 추정치인 결과를 제공한다. 예를 들면, 하나의 특정한 노이즈 측정치는 g의 초기 추정치로서 사용되는, 중앙값으로 정의될 수 있고, 결과는 단지 하나의 반복으로 연산될 수 있다. 그러므로, 본 발명의 일부 실시예들에서 양방향 필터링은 특정한 시작 포인트로 반복적인 RWLS의 하나의 반복을 수행하는 것으로 이해될 수 있다.
표준 양방향 필터링에서 가중 함수에 대한 가장 일반적인 선택은 가우시안 가중 함수이며, 이는 견고한 통계학에서 웰치(Welsch) 함수로 알려진 기존의 견고한 함수에 대응한다. 견고한 함수의 다른 선택들은 양방향 필터에 대한 적절한 대안책들일 수 있다. 예를 들면, 코치(Cauchy) 함수는 그것이 슈퍼-해상도 응용을 초래하는 고 품질을 제공할 수 있기 때문에 비디오 노이즈 제거에 있어 적절할 수 있다. 후버(Huber) 함수 또한 좋은 결과를 제공한다. 대조적으로, 웰치 함수와 유사한 형태를 갖는 투키(Tukey) 함수는 적절할 수 있으나 그다지 좋지 않을 수 있다.
도 11 내지 도 19를 참조하여, 이러한 노이즈 제거 방법의 결과물들이 다수의 테스트 이미지로 도시되었다. 도 11은 일반적인 노이즈 레벨을 갖는 HD 전문가용 품질 시퀀스의 크롭(crop)(예를 들면, 서브-영역)이다. 도 12는 본 발명의 일부 실시예들에 따라 베이시안 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 13은 본 발명의 일부 실시예들에 따라 시간적인 양방향 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 14는 어두운 조명에서 얻어진, 높은 레벨의 노이즈를 갖는 홈 비디오로부터의 디지털 이미지이다. 도 15는 본 발명의 일부 실시예들에 따라 베이시안 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 16은 본 발명의 일부 실시예들에 따라 시간적 양방향 노이즈 제거 후를 나타내는 디지털 이미지이다. 도 17 내지 도 19는 세부사항을 도시하기 위해 확대된 도 14 내지 도 16에 대응한다.
도 13, 16 및 19의 결과는 5개의 프레임의 오직 시간적인 조합(수학식 1)을 사용하고, 가우시안의 표준 편차가 (수직 및 수평 픽셀 차의 MAD -median of absolute differences- 에 기초하여) 이미지 노이즈의 견고한 추정치의 2.5 배로 추정되는 가우시안 가중치 함수를 사용하여 획득된다. 선행하는 평가에서 이러한 방법으로 얻어진 결과들은 더 높은 연산 비용을 갖는 반복적인 베이시안으로 얻어진 값보다 더 낮은 품질(다소 더 많은 노이즈 및 블러 함유)을 갖는 것으로 보인다. 그러나, 유리하게, 양 방법들은 원본보다 명백하게 더 적은 노이즈를 갖는 이미지들을 제공하는 것으로 보인다. 더 높은 연산 비용 베이시안 재구성은 양방향 필터링 방식보다 더 나은 선명도(sharpness)를 유지하는 것으로 보인다.
유리하게, 본 발명의 일부 실시예들은 고 품질 노이즈 제거를 달성하고, 실질적으로 아티팩트가 없는 것을 달성하도록 (견고한 함수를 갖는 베이시안 재구성 또는 양방향 필터링과 같은) 견고한 통계적 방법들과 움직임 추정을 조합하고 그것은 실질적인 공간적 블러를 도입하지 않는다. 게다가, 방법은 완전히 자동으로 될 수 있으며 전혀 노이즈가 없는 것으로부터 매우 노이즈가 많은 것으로, 노이즈가 없는 시퀀스에서 시각적 품질의 감소 또는 눈에 띌만한 아티팩트들을 도입하는 것 없이, 상이한 노이즈 레벨을 갖는 시퀀스들에 적용될 수 있다.
예를 들면, 본 발명의 일부 실시예들은 잠재적으로 노이즈가 있는 콘텐츠를 클린(clean)하는 데에 노이즈 제거 모듈로부터 이득을 얻을 수 있는 디스플레이들 및/또는 셋-톱 박스들에 통합되는 비디오 프로세싱 파이프라인들에서 유용할 수 있다. 예를 들면, 본 발명의 일부 실시예들은 고정 기능 하드웨어로 구현될 수 있다. 예를 들면, 본 발명의 일부 실시예들은 특수용 또는 범용 프로세서들 상에서 실행되는 소프트웨어 솔루션으로 구현될 수 있다. 모듈들과 관련하여 설명되었더라도, 당업자들은 그러한 모듈들이 반드시 고정된 구성요소를 갖는 개별 부품일 필요가 없다는 것을 이해할 것이다. 그보다는 그러한 모듈들은 프로세서-기반 시스템의 아키텍쳐를 통해 분포된 하드웨어 및/또는 소프트웨어의 다양한 조합으로 구현될 수 있다.
당업자들은 도 1 내지 도 3의 흐름도 및 도 4 내지 도 10의 블록도가 다수의 하드웨어, 소프트웨어 및/또는 펌웨어의 임의로 구현될 수 있다는 것을 이해할 것이다. 예를 들면, 도면들은 특수용 하드웨어 회로에 의해 완전히 구현될 수 있다. 대안적으로, 도면들은 범용 프로세서 상에 실행되는 소프트웨어에 의해 완전히 구현될 수 있다. 대안적으로, 도면들은 범용 프로세서 상에 실행되는 소프트웨어와 특수용 하드웨어 사이에 선택적으로 나눠질 수 있다.
본 발명의 전술한 그리고 다른 양상들은 개별적으로 그리고 조합으로 달성된다. 본 발명은 특정한 클레임에 의해 명확히 요구되지 않는 한 그러한 양상들의 두가지 이상을 요구하는 것으로 이해되어서는 안된다. 게다가, 본 발명이 바람직한 예들로 현재 고려되는 것과 연관되어 설명되었지만, 본 발명이 개시된 예들에 제한적이지 않고, 그와 대조적으로, 본 발명의 사상 및 범위 내에 포함되는 다양한 수정 및 균등한 구성들을 커버하도록 의도된 것을 이해할 것이다.
Claims (20)
- 비디오 시퀀스를 프로세싱하는 방법으로서,
입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하는 단계;
상기 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계;
공액 기울기(conjugate gradient) 최소화에 대응하는 상기 정렬된 이미지들의 반복적인 전방 및 후방 재매핑을 수행하는 것을 포함하여, 상기 정렬된 이미지들에서 노이즈를 감소시키는 단계; 및
상기 감소된 노이즈 이미지들로부터, 상기 입력 비디오 시퀀스 해상도와 동일한 해상도를 갖는 출력 비디오 시퀀스를 생성하는 단계
를 포함하고,
상기 입력 비디오 시퀀스로부터 수직 및 수평 픽셀 차의 MAD(median of absolute differences)에 기초한 이미지 노이즈의 추정을 이용하여 추정된 스케일 파라미터가 상기 노이즈를 감소시키는데 사용되는 방법. - 제1항에 있어서,
상기 입력 비디오 시퀀스로부터 이미지들을 정렬하는 단계는
상기 입력 비디오 시퀀스로부터 이미지들을 정렬하기 전에 상기 입력 비디오 시퀀스의 광 흐름을 추정하는 단계를 더 포함하는 방법. - 제2항에 있어서,
상기 입력 비디오 시퀀스는 기준 프레임, 및 상기 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함하는 방법. - 제1항에 있어서,
상기 정렬된 이미지들에서 노이즈를 감소시키는 단계는
기준 프레임에 대해 상기 정렬된 이미지들 각각의 이미지 워핑을 수행하는 단계를 포함하고,
상기 정렬된 이미지들의 세기 값들은 상기 기준 프레임의 노이즈 제거 버전을 획득하도록 조합되는 방법. - 제4항에 있어서,
상기 정렬된 이미지들의 노이즈를 감소시키는 단계는
상기 정렬되고 워핑된 이미지들에 시간적 및 공간적 양방향 필터링을 수행하여 상기 세기 값들을 조합하는 단계를 포함하는 방법. - 제4항에 있어서,
상기 세기 값들의 가중치 평균을 결정하는 단계를 더 포함하고, 픽셀에서의 가중치는 상기 픽셀의 세기 값과 상기 기준 프레임에서의 픽셀의 세기 값 사이의 차이에 기초하는 방법. - 프로그램 명령어들을 포함하는 비일시적인 컴퓨터 판독가능 매체로서,
상기 프로그램 명령어들은 프로세서에 실행될 때, 상기 프로세서로 하여금,
입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하고;
상기 입력 비디오 시퀀스로부터 이미지들을 정렬하고;
공액 기울기 최소화에 대응하는 상기 정렬된 이미지들의 반복적인 전방 및 후방 재매핑의 수행을 포함하여, 상기 정렬된 이미지들에 기초하여 상기 입력 비디오 시퀀스에서 노이즈를 감소시키고;
상기 감소된 노이즈 입력 비디오 시퀀스에 기초하여, 상기 입력 비디오 시퀀스 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하게 하고;
상기 입력 비디오 시퀀스로부터 수직 및 수평 픽셀 차의 MAD에 기초한 이미지 노이즈의 추정을 이용하여 추정된 스케일 파라미터가 상기 노이즈를 감소시키는데 사용되는 비일시적인 컴퓨터 판독가능 매체. - 제7항에 있어서,
상기 프로세서에 의해 실행될 때, 상기 입력 비디오 시퀀스의 광 흐름을 추정하는 명령어들을 더 포함하는 비일시적인 컴퓨터 판독가능 매체. - 제8항에 있어서,
상기 입력 비디오 시퀀스는 기준 프레임, 및 상기 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함하는 비일시적인 컴퓨터 판독가능 매체. - 제7항에 있어서,
상기 프로세서에 의해 실행될 때, 기준 프레임에 대해 상기 정렬된 이미지들 각각의 이미지 워핑을 수행하는 명령어들을 더 포함하고,
상기 정렬된 이미지들의 세기 값들은 상기 기준 프레임의 노이즈 제거 버전을 획득하도록 조합되는 비일시적인 컴퓨터 판독가능 매체. - 제10항에 있어서,
상기 프로세서에 의해 실행될 때, 상기 정렬되고 워핑된 이미지들에 양방향 필터링을 수행하여 상기 세기 값들을 조합하는 명령어들을 더 포함하는 비일시적인 컴퓨터 판독가능 매체. - 제7항에 있어서,
상기 프로세서에 의해 실행될 때, 반복적인 라인 최소화를 수행하는 명령어들을 더 포함하는 비일시적인 컴퓨터 판독가능 매체. - 프로세서 기반 전자 시스템으로서,
프로세서; 및
상기 프로세서에 결합된 메모리를 포함하고,
상기 메모리는 상기 프로세서에 의해 실행될 때,
입력 비디오 시퀀스 해상도를 갖는 입력 비디오 시퀀스를 수신하고,
상기 입력 비디오 시퀀스로부터 이미지들을 정렬하고,
공액 기울기 최소화에 대응하는 상기 정렬된 이미지들의 반복적인 전방 및 후방 재매핑의 수행을 포함하여, 상기 정렬된 이미지들에 기초하여 상기 입력 비디오 시퀀스에서 노이즈를 감소시키고,
상기 감소된 노이즈 입력 비디오 시퀀스에 기초하여, 상기 입력 비디오 시퀀스 해상도보다 더 크지 않은 해상도를 갖는 출력 비디오 시퀀스를 생성하게 하는 명령어들을 갖고,
상기 입력 비디오 시퀀스로부터 수직 및 수평 픽셀 차의 MAD에 기초한 이미지 노이즈의 추정을 이용하여 추정된 스케일 파라미터가 상기 노이즈를 감소시키는데 사용되는 프로세서 기반 전자 시스템. - 제13항에 있어서,
상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 입력 비디오 시퀀스의 광 흐름을 추정하는 명령어들을 더 갖는 프로세서 기반 전자 시스템. - 제14항에 있어서,
상기 입력 비디오 시퀀스는 기준 프레임, 및 상기 기준 프레임에 대한 적어도 하나의 전방 프레임 및 적어도 하나의 후방 프레임을 포함하는 프로세서 기반 전자 시스템. - 제13항에 있어서,
상기 메모리는 상기 프로세서에 의해 실행될 때, 기준 프레임에 대해 상기 정렬된 이미지들 각각의 이미지 워핑을 수행하는 명령어들을 더 갖고,
상기 정렬된 이미지들의 세기 값들은 상기 기준 프레임의 노이즈 제거 버전을 획득하도록 조합되는 프로세서 기반 전자 시스템. - 제16항에 있어서,
상기 메모리는 상기 프로세서에 의해 실행될 때, 상기 정렬되고 워핑된 이미지들에 양방향 필터링을 수행하여 상기 세기 값들을 조합하는 명령어들을 더 갖는 프로세서 기반 전자 시스템. - 제13항에 있어서,
상기 메모리는 상기 프로세서에 실행될 때, 반복적인 라인 최소화를 수행하는 명령어들을 더 갖는 프로세서 기반 전자 시스템. - 제1항에 있어서,
상기 정렬된 이미지들에서 노이즈를 감소시키는 단계는 반복적인 라인 최소화를 수행하는 단계를 포함하는 방법. - 제1항에 있어서,
상기 정렬된 이미지들에서 노이즈를 줄이기 위해 확률적인 설명을 포함하는 이전 모델 및 상기 공액 기울기 최소화에 대응하는 상기 정렬된 이미지들의 상기 반복적인 전방 및 후방 재매핑을 포함하는 이미지 형성 모델을 사용하는 단계를 더 포함하는 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/317,806 | 2008-12-30 | ||
US12/317,806 US8903191B2 (en) | 2008-12-30 | 2008-12-30 | Method and apparatus for noise reduction in video |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020117007690A Division KR101252363B1 (ko) | 2008-12-30 | 2009-12-16 | 비디오의 노이즈 감소를 위한 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120114386A KR20120114386A (ko) | 2012-10-16 |
KR101573974B1 true KR101573974B1 (ko) | 2015-12-02 |
Family
ID=42284495
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020117007690A KR101252363B1 (ko) | 2008-12-30 | 2009-12-16 | 비디오의 노이즈 감소를 위한 방법 및 장치 |
KR1020127022588A KR101573974B1 (ko) | 2008-12-30 | 2009-12-16 | 비디오의 노이즈 감소를 위한 방법 및 장치 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020117007690A KR101252363B1 (ko) | 2008-12-30 | 2009-12-16 | 비디오의 노이즈 감소를 위한 방법 및 장치 |
Country Status (11)
Country | Link |
---|---|
US (1) | US8903191B2 (ko) |
JP (1) | JP5497066B2 (ko) |
KR (2) | KR101252363B1 (ko) |
CN (1) | CN102171722B (ko) |
DE (1) | DE112009002658T5 (ko) |
FI (1) | FI126544B (ko) |
GB (1) | GB2478438B (ko) |
HK (1) | HK1160270A1 (ko) |
RU (1) | RU2486591C2 (ko) |
SG (1) | SG172407A1 (ko) |
WO (1) | WO2010077913A2 (ko) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8903191B2 (en) | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
US8331714B2 (en) * | 2009-02-23 | 2012-12-11 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing |
US9286691B2 (en) * | 2009-04-17 | 2016-03-15 | The Hong Kong University Of Science And Technology | Motion estimation and compensation of feature-motion decorrelation |
US8818131B2 (en) * | 2010-08-20 | 2014-08-26 | Adobe Systems Incorporated | Methods and apparatus for facial feature replacement |
JP5726482B2 (ja) * | 2010-11-08 | 2015-06-03 | 株式会社東芝 | 画像処理装置及びそれを用いたx線診断装置、画像処理装置の作動方法 |
US8923392B2 (en) | 2011-09-09 | 2014-12-30 | Adobe Systems Incorporated | Methods and apparatus for face fitting and editing applications |
JP6223990B2 (ja) * | 2011-11-23 | 2017-11-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | イメージ領域のノイズ除去 |
DE102011121332A1 (de) * | 2011-12-16 | 2013-06-20 | Testo Ag | Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung |
US9639915B2 (en) * | 2012-08-08 | 2017-05-02 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
US10200649B2 (en) * | 2014-02-07 | 2019-02-05 | Morpho, Inc. | Image processing device, image processing method and recording medium for reducing noise in image |
US9311690B2 (en) * | 2014-03-11 | 2016-04-12 | Adobe Systems Incorporated | Video denoising using optical flow |
WO2016114684A1 (ru) * | 2015-01-16 | 2016-07-21 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) | Способ повышения резкости цифрового изображения |
US10853625B2 (en) | 2015-03-21 | 2020-12-01 | Mine One Gmbh | Facial signature methods, systems and software |
US11238564B2 (en) * | 2015-03-21 | 2022-02-01 | Mine One Gmbh | Temporal de-noising |
WO2016154123A2 (en) | 2015-03-21 | 2016-09-29 | Mine One Gmbh | Virtual 3d methods, systems and software |
JP6983801B2 (ja) | 2016-03-23 | 2021-12-17 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 2パス時間的ノイズ低減による画質の向上 |
US10489891B2 (en) | 2017-03-10 | 2019-11-26 | Disney Enterprises, Inc. | Sample-based video sharpening |
CN109509146B (zh) * | 2017-09-15 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 图像拼接方法及装置、存储介质 |
CN109949221B (zh) * | 2019-01-30 | 2022-05-17 | 深圳大学 | 一种图像处理方法及电子设备 |
US11176682B2 (en) * | 2019-11-27 | 2021-11-16 | Nvidia Corporation | Enhanced optical flow estimation using a varied scan order |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
CN113938575B (zh) * | 2021-07-23 | 2023-06-13 | 东莞理工学院 | 一种视频超分辨率重构方法、装置、终端设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005295287A (ja) | 2004-04-01 | 2005-10-20 | Shibasoku:Kk | 映像信号処理装置 |
JP2008294601A (ja) | 2007-05-23 | 2008-12-04 | Sony Corp | 画像処理方法および画像処理装置 |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0561975A (ja) | 1991-08-31 | 1993-03-12 | Sony Corp | 信号マツチング装置 |
US5208673A (en) | 1991-11-05 | 1993-05-04 | Matsushita Electric Corporation Of America | Noise reduction in frame transmitted video signals |
JP3306671B2 (ja) * | 1992-09-24 | 2002-07-24 | 日本テキサス・インスツルメンツ株式会社 | ノイズ低減回路 |
US5361105A (en) * | 1993-03-05 | 1994-11-01 | Matsushita Electric Corporation Of America | Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction |
US5453792A (en) * | 1994-03-18 | 1995-09-26 | Prime Image, Inc. | Double video standards converter |
US5442407A (en) | 1994-03-22 | 1995-08-15 | Matsushita Electric Corporation Of America | Video signal noise reduction system using time-varying filter coefficients |
JPH0865682A (ja) | 1994-08-25 | 1996-03-08 | Sanyo Electric Co Ltd | 動画像の動き補償予測方式 |
US5696848A (en) * | 1995-03-09 | 1997-12-09 | Eastman Kodak Company | System for creating a high resolution image from a sequence of lower resolution motion images |
US6408104B1 (en) * | 1997-12-31 | 2002-06-18 | Lg Electronics Inc. | Method and apparatus for eliminating noise in a video signal encoder |
US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
US6681058B1 (en) * | 1999-04-15 | 2004-01-20 | Sarnoff Corporation | Method and apparatus for estimating feature values in a region of a sequence of images |
US6798897B1 (en) * | 1999-09-05 | 2004-09-28 | Protrack Ltd. | Real time image registration, motion detection and background replacement using discrete local motion estimation |
WO2001028238A2 (en) * | 1999-10-08 | 2001-04-19 | Sarnoff Corporation | Method and apparatus for enhancing and indexing video and audio signals |
US7289154B2 (en) * | 2000-05-10 | 2007-10-30 | Eastman Kodak Company | Digital image processing method and apparatus for brightness adjustment of digital images |
JP3619136B2 (ja) | 2000-09-25 | 2005-02-09 | キヤノン株式会社 | 画像形成装置 |
US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
KR100405150B1 (ko) * | 2001-06-29 | 2003-11-10 | 주식회사 성진씨앤씨 | 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치 |
US20030095696A1 (en) * | 2001-09-14 | 2003-05-22 | Reeves Anthony P. | System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans |
US7711044B1 (en) * | 2001-10-29 | 2010-05-04 | Trident Microsystems (Far East) Ltd. | Noise reduction systems and methods |
EP1515544A4 (en) * | 2002-06-25 | 2008-03-12 | Matsushita Electric Ind Co Ltd | MOTION DETECTION DEVICE AND NOISE REDUCTION DEVICE THEREWITH |
US6824514B2 (en) * | 2002-10-11 | 2004-11-30 | Koninklijke Philips Electronics N.V. | System and method for visualizing scene shift in ultrasound scan sequence |
US7218792B2 (en) | 2003-03-19 | 2007-05-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized imaging using variable controlled illumination |
JP4017578B2 (ja) * | 2003-09-19 | 2007-12-05 | 三洋電機株式会社 | 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体 |
RU2295297C2 (ru) * | 2003-12-02 | 2007-03-20 | Александр Васильевич Жукоцкий | Способ исследования и диагностики состояния биологического объекта или его части |
JP2005295302A (ja) | 2004-04-01 | 2005-10-20 | Mitsubishi Electric Corp | カメラ画像処理装置 |
US7447382B2 (en) | 2004-06-30 | 2008-11-04 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation |
US7730406B2 (en) * | 2004-10-20 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Image processing system and method |
JP4640579B2 (ja) | 2005-01-27 | 2011-03-02 | ソニー株式会社 | 情報処理装置および回収基板 |
JP5352942B2 (ja) | 2005-03-31 | 2013-11-27 | 株式会社ニコン | 画像処理方法、画像処理プログラム、および画像処理装置 |
JP2006319136A (ja) | 2005-05-12 | 2006-11-24 | Mitsubishi Electric Corp | 高周波モジュール |
US7548659B2 (en) * | 2005-05-13 | 2009-06-16 | Microsoft Corporation | Video enhancement |
US20070047834A1 (en) * | 2005-08-31 | 2007-03-01 | International Business Machines Corporation | Method and apparatus for visual background subtraction with one or more preprocessing modules |
US8879856B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
US7519235B1 (en) * | 2005-10-24 | 2009-04-14 | Adobe Systems Incorporated | Using nonlinear filtering while resizing an image to preserve sharp image detail |
JP4679372B2 (ja) | 2006-01-20 | 2011-04-27 | 株式会社日立製作所 | 映像ノイズ削減処理装置及び映像表示装置 |
US7861068B2 (en) | 2006-03-07 | 2010-12-28 | Intel Corporation | Method and apparatus for using dynamic workload characteristics to control CPU frequency and voltage scaling |
JP4859516B2 (ja) | 2006-04-27 | 2012-01-25 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像復元方法 |
JP2006221190A (ja) | 2006-05-01 | 2006-08-24 | National Institute Of Advanced Industrial & Technology | 共焦点走査型顕微鏡システム |
GB0611969D0 (en) * | 2006-06-16 | 2006-07-26 | Robert Gordon The University | Video content prioritisation |
US7945117B2 (en) * | 2006-08-22 | 2011-05-17 | Siemens Medical Solutions Usa, Inc. | Methods and systems for registration of images |
US7760848B2 (en) | 2006-09-08 | 2010-07-20 | General Electric Company | Method and system for generating a multi-spectral image of an object |
US20080112630A1 (en) | 2006-11-09 | 2008-05-15 | Oscar Nestares | Digital video stabilization based on robust dominant motion estimation |
CN100530239C (zh) | 2007-01-25 | 2009-08-19 | 复旦大学 | 基于特征匹配与跟踪的视频稳定方法 |
JP5294036B2 (ja) * | 2007-02-20 | 2013-09-18 | ソニー株式会社 | 画像表示装置、映像信号処理装置および映像信号処理方法 |
WO2009066186A2 (en) * | 2007-11-21 | 2009-05-28 | University Of Manitoba | System and methods of improved tomography imaging |
US8718133B2 (en) * | 2008-03-26 | 2014-05-06 | Samsung Electronics Co., Ltd. | Method and system for image scaling detection |
US8339456B2 (en) * | 2008-05-15 | 2012-12-25 | Sri International | Apparatus for intelligent and autonomous video content generation and streaming |
US8903191B2 (en) | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
US8712156B2 (en) * | 2010-01-10 | 2014-04-29 | Bronstein Bronstein Kimmel Technologies Ltd. | Comparison of visual information |
US8447565B2 (en) * | 2010-06-07 | 2013-05-21 | Lawrence Livermore National Security, Llc | Approximate error conjugation gradient minimization methods |
US8818131B2 (en) * | 2010-08-20 | 2014-08-26 | Adobe Systems Incorporated | Methods and apparatus for facial feature replacement |
-
2008
- 2008-12-30 US US12/317,806 patent/US8903191B2/en active Active
-
2009
- 2009-12-16 GB GB1105549.8A patent/GB2478438B/en not_active Expired - Fee Related
- 2009-12-16 RU RU2011131987/08A patent/RU2486591C2/ru not_active IP Right Cessation
- 2009-12-16 KR KR1020117007690A patent/KR101252363B1/ko active IP Right Grant
- 2009-12-16 SG SG2011047214A patent/SG172407A1/en unknown
- 2009-12-16 KR KR1020127022588A patent/KR101573974B1/ko active IP Right Grant
- 2009-12-16 CN CN200980139835.2A patent/CN102171722B/zh not_active Expired - Fee Related
- 2009-12-16 WO PCT/US2009/068185 patent/WO2010077913A2/en active Application Filing
- 2009-12-16 DE DE112009002658T patent/DE112009002658T5/de not_active Withdrawn
- 2009-12-16 JP JP2011544464A patent/JP5497066B2/ja not_active Expired - Fee Related
-
2011
- 2011-06-30 FI FI20115688A patent/FI126544B/fi not_active IP Right Cessation
-
2012
- 2012-01-13 HK HK12100457.2A patent/HK1160270A1/xx not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005295287A (ja) | 2004-04-01 | 2005-10-20 | Shibasoku:Kk | 映像信号処理装置 |
JP2008294601A (ja) | 2007-05-23 | 2008-12-04 | Sony Corp | 画像処理方法および画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2012514419A (ja) | 2012-06-21 |
CN102171722A (zh) | 2011-08-31 |
FI126544B (fi) | 2017-02-15 |
KR20120114386A (ko) | 2012-10-16 |
US20100165206A1 (en) | 2010-07-01 |
GB2478438A (en) | 2011-09-07 |
WO2010077913A3 (en) | 2010-09-02 |
CN102171722B (zh) | 2014-08-13 |
FI20115688A (fi) | 2011-06-30 |
RU2486591C2 (ru) | 2013-06-27 |
US8903191B2 (en) | 2014-12-02 |
WO2010077913A2 (en) | 2010-07-08 |
KR20110048591A (ko) | 2011-05-11 |
GB201105549D0 (en) | 2011-05-18 |
RU2011131987A (ru) | 2013-02-10 |
JP5497066B2 (ja) | 2014-05-21 |
HK1160270A1 (en) | 2012-08-10 |
GB2478438B (en) | 2014-06-25 |
KR101252363B1 (ko) | 2013-04-08 |
SG172407A1 (en) | 2011-07-28 |
DE112009002658T5 (de) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101573974B1 (ko) | 비디오의 노이즈 감소를 위한 방법 및 장치 | |
US8768069B2 (en) | Image enhancement apparatus and method | |
US8237868B2 (en) | Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening | |
US8306121B2 (en) | Method and apparatus for super-resolution of images | |
US8428390B2 (en) | Generating sharp images, panoramas, and videos from motion-blurred videos | |
US7085323B2 (en) | Enhanced resolution video construction method and apparatus | |
US20110037894A1 (en) | Enhanced image and video super-resolution processing | |
JP6236259B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
US20110058610A1 (en) | Methods and Systems for Motion Estimation with Nonlinear Motion-Field Smoothing | |
JP2008091979A (ja) | 画像高画質化装置、及びその方法、並びに画像表示装置 | |
CN110889809A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
Wang et al. | Improved super-resolution reconstruction from video | |
CN107155096B (zh) | 一种基于半误差反向投影的超分辨率重建方法及装置 | |
Kim et al. | Robust video super resolution algorithm using measurement validation method and scene change detection | |
Takeda et al. | Spatio-temporal video interpolation and denoising using motion-assisted steering kernel (MASK) regression | |
JP4714062B2 (ja) | 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体 | |
WO2023174546A1 (en) | Method and image processor unit for processing image data | |
Brüggemann et al. | Temporally recursive robust detail reconstruction from stereo 3D sequences | |
Aach et al. | Motion-compensated defect interpolation for flat-panel detectors | |
Fazli et al. | New representation of TV regularization for super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |