KR20090027060A - 영상 복원 장치 및 복원 방법 - Google Patents

영상 복원 장치 및 복원 방법 Download PDF

Info

Publication number
KR20090027060A
KR20090027060A KR1020070092238A KR20070092238A KR20090027060A KR 20090027060 A KR20090027060 A KR 20090027060A KR 1020070092238 A KR1020070092238 A KR 1020070092238A KR 20070092238 A KR20070092238 A KR 20070092238A KR 20090027060 A KR20090027060 A KR 20090027060A
Authority
KR
South Korea
Prior art keywords
channel
high frequency
luminance
image
channels
Prior art date
Application number
KR1020070092238A
Other languages
English (en)
Other versions
KR101341101B1 (ko
Inventor
강주영
임재균
이성덕
옥현욱
Original Assignee
삼성전자주식회사
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 삼성전기주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070092238A priority Critical patent/KR101341101B1/ko
Priority to US12/081,497 priority patent/US8249376B2/en
Publication of KR20090027060A publication Critical patent/KR20090027060A/ko
Application granted granted Critical
Publication of KR101341101B1 publication Critical patent/KR101341101B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 영상 복원 장치 및 복원 방법에 관한 것으로서, 본 발명에 따른 영상 복원 장치 및 복원 방법은 다수의 채널을 포함하는 영상 데이터부터 소정의 채널을 추출하는 단계 및 제 1 필터를 사용하여, 상기 추출된 채널을 복원하는 단계를 포함한다.
점 확산 함수, 블러

Description

영상 복원 장치 및 복원 방법{Apparatus and Method for restoring image}
본 발명은 영상 복원 장치 및 방법에 관한 것으로서, 보다 상세하게는 선명도가 높은 특정 채널을 추출하여 특정 필터를 사용하여 영상를 복원하는 장치 및 방법에 관한 것이다.
도 1은 종래 기술에 따른, 각각의 RGB 채널 별로 출력되는 영상을 도시하는 도면이다. 도 1에서 도시된 바와 같이, 빛이 렌즈를 통과했을 때, 렌즈를 기준으로 상이 맺히는 거리는 굴절률에 의존하기 때문에 다양한 파장길이를 포함하는 빛은 다양한 위치에 상이 맺힌다. 즉, 빛이 파장 길이에 따라, R 채널, G채널 및 B 채널로 구분되며, 각각 채널은 다른 위치에 상이 맺히게 된다. 특히, 렌즈 및 센서의 위치가 고정된 경우, 센서에 맺히는 상의 채널은 피사체의 위치에 따라 변경된다. 결국, R, G, B 채널 중 적어도 하나는 센서에 가장 선명도가 높은 상이 맺히게 된다.
따라서, 전술한 기본적인 개념을 사용하여, R, G 및 B 채널 중 선명도가 가장 높을 채널을 사용하여 입력 영상으로부터 선명도가 높은 출력 영상을 생성하는 기술이 필요하게 되었다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로써, 본 발명이 이루고자 하는 기술적 과제는, 입력 영상으로부터 선명도가 가장 높은 채널을 추출하여, 추출된 소정의 채널을 제 1 특정 필터를 통해서 복원하는 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는, 복원된 영상으로부터 고주파 속성을 추출하고, 추출된 고주파 속성으로부터 고주파 속성 계수를 계산하여 휘도 채널을 복원하여 출력 영상을 생성하는, 장치 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 다수의 채널을 포함하는 영상 데이터부터 소정의 채널을 추출하는 단계 및 제 1 필터를 사용하여, 상기 추출된 채널을 복원하는 단계를 포함한다.또한, 본 발명의 일 실시예에 따라 다수의 채널을 포함하는 영상 데이터부터 소정의 채널을 추출하는 영상 입력부 및 제 1 특정 필터를 사용하여, 상기 추출된 채널을 복원하는 영상 복원부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있 다.
상기한 바와 같은 본 발명의 영상 복원 장치 및 방법에 따르면, 입력 영상을 복원하여 색수차 및 해상도 저하 문제를 해결하여 선명도가 높은 출력 영상을 생성할 수 있는 장점이 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 2는 본 발명에 일실시예에 따른, 영상 캡쳐 시스템의 구성을 도시하는 블록도이다.영상 캡쳐 시스템(200)은 예를 들어, 렌즈(210), 조리개(220), 촬상 소자(230), ADC(Analog-to-Digital Converter, 240), 영상 복원 장치(250), 메모리(260), 구동 회로(270), CPU(Central Processing Unit, 280) 및 조작 수단(290)을 포함할 수 있다.
피사체로부터의 영상광은 렌즈(210) 및 조리개(220)를 통해 촬상 소자(230)에 입사된다. 촬상 소자(230)는 CCD, CMOS, 기타 당업계에 알려진 영상 획득 수단으로 이루어질 수 있다. 촬상 소자(230)의 촬상면에 결상된 화상의 아날로그 신호는 ADC(240)에 의하여 디지털 영상 신호로 변환된다. 변환된 디지털 영상 신호는 본 발명의 일 실시예에 따른 영상 복원 장치(250)로 입력된다. 영상 복원 장치(250)는 입력된 영상 신호를 처리하여 출력 영상의 품질을 향상시킨다. 영상 복원 장치(250)에 관한 보다 자세한 설명은 도 3을 참조하여 후술하기로 한다.
영상 복원 장치(250)에 의하여 처리된 영상은 메모리(260)에 저장된다. 메모리(260)는 예를 들면 롬(ROM), 피롬(PROM), 이피롬(EPROM), 이이피롬(EEPROM), 플래시 메모리와 같은 비휘발성 메모리 소자 또는 램(RAM)과 같은 휘발성 메모리 소자, 하드 디스크, 광 디스크와 같은 저장 매체 등으로 구현될 수 있다.
한편, 임의의 조작 수단(290)으로부터의 신호가 시스템 제어용의 CPU(280)에 공급되고, CPU(280)로부터의 제어 신호가 영상 복원 장치(250)나 메모리(260)에 공급되어, 영상 복원 장치(250)에 의하여 보정된 영상의 기록이 제어된다. 또한, CPU(280)는 조리개(220)를 조절하거나 촬상 소자(230)에서의 노광 시간(셔터 속도) 또는 AGC(Auto Gain Control)를 조절하는 구동 회로(270)에 제어 신호를 공급한다.도 3은 본 발명의 일 실시예에 따른, 영상 복원 장치(250)의 구성을 도시하는 블록도이다. 영상 복원 장치(250)는 도 2에서와 같이 영상 캡쳐 시스템(200)에서의 내부 구성 요소로 동작할 수도 있으나, 독립적 장치로 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 모바일 폰 등에 탑재되어 동작할 수도 있다. 구체적으로 영상 복원 장치(250)는, 예를 들어, 영상 입력부(310), 선명도 판단부(320), 제 1필터(330), 영상 복원부(340), 고주파 속성 생성부(350), 변환부(360), 휘도 보정부(370) 및 RGB 변환부(380)를 포함하여 구성될 수 있다.
영상 입력부(310)는 소정의 메모리에 저장된 영상을 입력 받는다. 이 때, 영상 입력부(310)는 입력 영상을 각 채널 별(예: RGB)로 분리할 수도 있다. 일반적으로, 영상은 단일 성분으로 이루어진 것이 아니라, 3차원 성분으로 이루어져 있기 때문이다.
도 5는 본 발명의 일 실시예에 따른, 입력 영상이 각각의 R, G 및 B 채널로 분리된 영상을 도시하는 도면이다. 도 5를 참조하여 설명하면, 입력 영상은 파장의 길이에 따라 R 채널, G 채널 및 B 채널로 분리되며, 피사체와 렌즈 간의 거리가 근거리이면, 각 채널 중 B 채널(515)에 선명도(Sharpness)가 일반적으로 가장 높게 나타난다. 피사체와 렌즈 간의 거리가 중간 거리이면, 각 채널 중 G 채널(530)의 선명도가 일반적으로 가장 높게 나타난다. 또한, 피사체와 렌즈 간의 거리가 원거리이면, 각 채널 중 R 채널(545)의 선명도가 일반적으로 높게 나타난다.
도 3을 다시 참조하여 설명하면, 영상 입력부(310)로부터 분리된 R 채널, G 채널 및 B 채널을 수신한 선명도 판단부(320)는 렌즈 및 피사체의 거리를 고려하여 선명도가 가장 높은 채널을 결정한다.
본 발명의 일 실시예로, 선명도 판단부(220)는 고역 필터(High Pass Filter)를 사용하여 입력 영상으로부터 R, G 및 B 채널 별 에지 강도(Edge Strength, 즉, 고주파 속성을 의미함)를 검출한다. 에지 강도를 검출하면, 각각의 블러 정도를 알 수 있고, 이로 인해, 각각의 채널의 선명도를 알게 된다. 따라서, 채널 별로 에지 강도를 측정하면, 각각의 채널 중 선명도가 가장 높을 채널을 알 수 있다.
전술한 바와 같이, 고역 필터는 차단 주파수(통과대와 감쇄대 사이의 경계 주파수)보다 높은 주파수의 신호는 감쇄 없이 통과하지만 이보다 낮은 주파수 신호에 대해서는 감쇄 한다. 따라서, 고주파 속성(High Frequency Feature)을 가지고 있는 에지는 차단 주파수 이상의 주파수를 가지고 있어, 고역 필터를 통과할 수 있다. 고역 필터의 일 예로서, 라플라시안 필터(Laplacian Filter) 등이 사용될 수 있다.
선명도 판단부(320)로부터 선명도가 가장 높은 채널을 수신한 제 1 필터(330)는 렌즈로부터의 피사체의 거리 및 파장 길이를 고려하여 대응되는 특정 필터를 결정한다.
특정 필터는 일반적으로 실험적 방법과 추정적 방법이 포함될 수 있다. 실험적 방법은 특정 변수로부터 거리를 이용하는 방법과 가우시안 블러 필터의 시그마 값을 이용하는 방법이 있으며, 추정적 방법으로는 점 확산 함수(Point Spread Function)를 추정하는 방법이 있다.
본 발명의 바람직한 일 실시예로, 점 확산 함수를 추정하는 방법을 사용하며, 이에 대해서 간략히 설명하기로 한다.
블러 레벨을 나타내는 유효 값에 대응되는 점 확산 함수를 추정한다. 바람직하게는, 유효 값을 다양한 거리에서 촬영된 영상의 유효 값과 비교함으로써, 유효 값과 매칭되는 렌즈로부터 피사체까지의 거리(또한, 이미지 센서로부터 피사체까지 의 거리를 포함할 수 있음)를 구하고, 구한 거리에 따른 선명도가 가장 높은 채널과 이에 해당하는 점 확산 함수를 추정할 수 있다.
본 발명의 일 실시예에 따른 영상 복원 장치는 유효 값에 대응하는 점 확산 함수를 추정하기 위해서 다양한 거리에서 촬영된 영상의 유효 값을 이용할 수 있다. 바람직하게는, 오프라인(Off-line)상에서 반복에 의해 다양한 거리에서 촬영된 영상으로부터 얻은 유효 값과 피사체로부터 이미지 센서까지의 거리와의 관계를 나타낸 그래프 또는 테이블을 이용할 수 있다. 즉, 유효 값과 매칭되는 피사체로부터 이미지 센서까지의 거리를 실험적으로 구할 수 있게 된다.
영상 복원부(340)는 전술한 바와 같이, 선명도가 가장 높은 채널을 특정 필터를 사용하여 복원된 영상 채널을 생성한다.
본 발명의 일 실시예에 따른 영상 복원 장치에 따르면, 영상 복원부(340)는 점 확산 함수에 컨볼루션 필터(Convolution Filter)를 적용하여 블러를 제거함으로써 영상을 복원하게 된다. 블러를 제거하기 위하여, 주어진 점 확산 함수에 적용되는 컨볼루션 필터로는 대표적으로 Wiener 필터, Lucy-Richardson 필터 등이 알려져 있다.
예를 들어, Wiener 필터(Hw)는 다음의 수학식 1과 같이 정의된다고 알려져 있다.
Figure 112007065922397-PAT00001
여기서, u, v는 주파수 도메인에서의 두 좌표 성분이고, D(u,v)는 상기 정제된 PSF를 주파수 도메인으로 변환한 PSF이며, D*(u,v)는 D(u,v)의 켤레(conjugate)이다. 그리고, Sn(u,v)는 잡음의 파워 스펙트럼이고, Si(u,v)는 이상적 이미지의 파워 스펙트럼이다. Hw를 필터링 하고자 하는 픽셀을 중심으로 한 영상의 영역에 적용하여, Hw와 영상의 영역간의 컨볼루션(대응되는 값들간의 곱의 총합을 의미한다)을 계산하면, 픽셀이 필터링된 결과, 즉 디블러된(deblurred) 결과인 픽셀 값이 구해진다.
도 6은 본 발명의 일 실시예에 따른, 복원 영상들 간의 선명도 차이를 도시하는 도면이다. 도 6을 참조하면, 피사체와 렌즈간의 거리가 근거리인 경우, 일반적으로 B 채널이 선명도가 가장 높다. 선명도가 낮은 R 채널(610)이 복원되면, 선명하지 않은 복원 영상(620)이 보여지며, 이와 반대로 선명한 채널인 B채널이 복원되면, 선명한 복원 영상(640)이 보여진다. 전술한 이유로, 선명도가 가장 높은 채널을 결정하여 복원한다.
복원된 영상 채널 및 블러 채널들(RGB 채널 중 선명도가 가장 높은 채널을 제외한 채널)은 변환부(360)로 전달된다. 다만, 복원 영상 채널은 고주파 속성 생 성부(350) 및 변환부(360)로 전달된다. 고주파 속성 생성부(350)는 전달 받은 복원 영상 채널로부터 고주파 속성을 생성한다. 여기서, 고주파 속성은 에지 값 등을 포함한다. 복원 영상으로부터 고주파 속성을 검출하는 데에는 대표적으로 소벨 마스크 기법이 많이 사용된다.
도 7은 본 발명의 일 실시예에 따른, 복원 영상으로부터 고주파 속성을 추출하여 생성된 영상을 도시하는 도면이다. 도 7을 참조하면, x 방향 마스크(710) 및 y 방향 마스크(720)로 이루어진다. 이러한 3x3 마스크를 특정 픽셀을 중심으로 3x3개의 픽셀들에 적용된다. 즉, 3x3 마스크의 성분과 대응되는 3x3 픽셀을 각각 곱한 후 합을 계산한다. 계산된 합은 x 방향 마스크 및 y 방향 마스크에 대하여 각각 구해질 수 있는데, 각각 구해진 두 개의 합을 Sx, Sy라고 할 때, 상기 Sx, Sy중에서 어느 하나가 소정의 문턱값(threshold)을 넘으면 상기 중심 위치의 픽셀은 영상의 에지에 위치하는 것으로 판단되는 것이다. 예를 들어, 어떤 픽셀의 Sx가 상기 문턱값을 넘는다면 상기 픽셀은 x방향의 에지에 속하는 것이고, 어떤 픽셀의 Sy가 상기 문턱값을 넘는다면 상기 픽셀은 y방향의 에지에 속하는 것이다. 소벨 필터를 사용하여 추출된 고주파 속성의 영상은 도 7에 도시되어 있다.
소벨 필터를 사용하여 추정된 고주파 속성 값 및 고주파 속성 계수와의 상관관계는 누적된 데이터를 사용하여 수학식 2와 같이 표현될 수 있다.
Figure 112007065922397-PAT00002
수학식 2에 대해 설명하면, 고주파 속성 계수(∂)는 고주파 속성 값과 매개 변수 β값과 상관 관계를 가진다. 사용자는 매개 변수 β값을 임의로 변경함에 따라, 고주파 속성 계수(∂)가 변경되며, 변경된 고주파 속성 계수에 따라, 후술하겠지만, 복원된 휘도 채널의 선명도가 결정된다.
도 8은 본 발명의 일 실시예에 따른, 고주파 속성 계수의 변화에 따라, 변경된 고주파 속성을 도시하는 도면이다. 도 8을 참조하여 설명하면, 사용자는 매개 변수 β값을 임으로 변경할 수 있으며, 매개 변수 β값이 적을수록 강한 고주파 속성 계수(820)를 가진다. 따라서, 고주파 속성 값은 높은 고주파 속성 계수(820)를 가지게 된다. 반대로, 사용자가 매개 변수 β값을 크게 하면 약한 고주파 속성 계수 값(840)을 가지게 된다.
전술한 바와 같이, 특정된 고주파 속성 계수는 휘도 보정부(370)의 매개 변수가 되며, 다양한 실험 등으로 누적된 데이터 베이스를 사용하여 최적의 선명도를 가지는 특정 고주파 속성 계수를 결정하게 된다.
도 3을 다시 참조하여 설명하면, 변환부(360)는 선명도 판단부(320)로부터 전달된 블러 채널들(Blur Channel) 및 복원 영상 채널로부터 색도 채널(Chrominance Channel) 및 휘도 채널(Luminance Channel)을 분리한다. 분리된 휘 도 채널은 휘도 보정부(370)로 전달되고 색도 채널은 RGB 변환부(380)로 전달된다.휘도 보정부(370)는 변환부(360)로부터 전달 받은 휘도 채널, 고주파 속성 생성부(350)로부터 전달 받은 고주파 속성 및 고주파 속성 계수를 사용하여 휘도 채널을 보정할 수 있다. 휘도 보정부(370)의 보정 방법은 아래와 같은 실시예로 한정되지 않는다.본 발명의 일 실시예로, 휘도 채널(Y), 복원 영상(C') 및 고주파 속성 계수(∂)는 수학식 3 및 4와 같은 상관 관계를 가지고 복원 휘도 채널(Y')을 생성한다.
Y'=∂*C' + (1-∂)*Y
Y'= Y - ∂*Y + ∂*C'
본 발명의 일 실시예로, 고주파 속성 계수(∂)를 사용하여 휘도 채널을 보정하면, 저주파 속성(Low Frequency Feature)은 기존의 휘도를 유지하고 색 정보를 보존하며, 고주파 속성(High Frequency Feature)은 복원 영상 정보를 입력하여 휘도를 강화하여 선명도가 높은 휘도를 생성할 수 있다.
수학식 3 및 4를 사용하여 복원된 영상은 도 9를 참조하여 설명한다. 도 9는 본 발명의 일 실시예에 따른, 입력 영상, 복원 영상 및 휘도 보정 후의 영상 들을 도시하는 도면이다. 도 9를 참조하면, 입력 영상(910), 및 복원 영상(920) 대비 휘도 보정 영상(930)이 선명함을 실험적으로 알 수 있다.휘도 영상이 보정되면, RGB 변환부(380)는 색도 채널 및 보정된 휘도 채널을 RGB 채널로 변경하고, 변경된 출 력 영상을 생성한다.
지금까지 도 2의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 영상을 복원하는 방법을 나타내는 순서도이다.
도 4를 참조하면, 소정의 메모리에 저장된 또는 카메라 등의 장치로부터 촬영된 영상 데이터를 입력 받는다(S405).
영상 데이터가 입력되면, 영상 데이터가 채널 별로 분리된다(S410). 영상데이터는 다수의 채널을 포함하며, 다수의 채널은 R, G 및 B 채널 등이 포함될 수 있다.
채널들이 분리되면, 분리된 채널 중 선명도가 가장 높은 채널인지를 판단한다(S415). 본 발명의 일 실시예로, 선명도가 가장 높은 채널은 전술한 바와 같이, 고역 필터를 사용하여 에지 강도를 추출하고, 추출된 에지 강도로 블러 정도를 알 수 있어 선명도가 가장 높은 채널을 결정할 수 있다.
선명도가 가장 높은 채널을 결정한 후, 상기 채널을 제 1 필터를 사용하여 복원한다(S420). 본 발명의 일 실시예로, 전술한 바와 같이, 제 1 필터는 점 확산 함수를 포함하는 필터를 사용할 수 있으며, 입력 영상의 거리 및 파장 길이가 결정되면, 점 확산 함수가 결정될 수 있다.
점 확산 함수가 결정되면, 선명도가 가장 높은 채널을 제 1 필터를 사용하여 복원 채널을 형성한다. 본 발명의 일 실시예로, 전술한 바와 같이 복원 영상은 점 확산 함수에 컨볼루션 필터를 포함하는 제 1 필터를 사용하여 복원된다.
복원된 채널과 분리된 채널로부터 색도 채널 및 휘도 채널을 분리 한다(S425). 분리된 채널이 휘도 채널이면(S430), 전술한 바와 같이, 제 2 특정 필터를 사용하여, 고주파 속성을 생성한다(S430). 본 발명의 일 실시예로, 제 2 특정 필터는 소벨 필터 등을 포함한다. 고주파 속성 값(즉, 에지 값)을 추출한 후, 사용자는 β 값을 매개 변수로 하여 고주파 속성 값 및 고주파 속성 계수(∂)와의 상관 관계를 전술한 수학식 2로 규정한다. 따라서, 매개 변수, β 값을 조정하면, 고주파 속성 계수 값이 변경된다. 변경되는 고주파 속성 계수 값에 따라, 다양한 복원 영상 휘도 채널이 생성 된다. 매개 변수 β 값에 따라, 변경되는 고주파 속성 계수 값이 생성되면, 고주파 계수, 복원된 채널 및 휘도 채널을 연산하여 복원된 채도 채널을 생성한다(S445). 전술한 바와 같이, 본 발명의 일 실시예로, 수학식 3 및 4를 이용할 수 있으며, 이에 상응되는 휘도 채널을 보정할 수 있다. 휘도 채널이 아니면(S430), S445 단계로 이동한다.
휘도 채널이 보정되면, 색도 채널 및 복원된 휘도 채널을 합성하여 출력 영상데이터를 생성한다(S450). 입력 받은 영상과 동일한 채널인 RGB 채널로 변환하여 출력 영상을 생성한다. 출력 영상은 전술한 바와 같이, 도 9에서 도시되며, 선명도 차이가 확연히 발생함을 알 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 종래 기술에 따른, 각각의 RGB 채널 별로 출력되는 영상을 도시하는 도면이다.
도 2는 본 발명에 일 실시예에 따른 영상 캡쳐 시스템의 구성을 도시하는 블록도이다.
도 3은 영상 캡쳐 시스템(200)의 영상 복원 장치(250)를 도시하는 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 입력 영상을 복원하는 방법을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른, 입력 영상이 각각의 R, G 및 B 채널로 분리된 영상을 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른, 복원 영상들 간의 선명도 차이를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른, 복원 영상으로부터 고주파 속성을 추출하여 생성된 영상을 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른, 고주파 속성 계수의 변화에 따라, 변경된 고주파 속성을 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른, 입력 영상, 복원 영상 및 휘도 보정 후의 영상 들을 도시하는 도면이다.
<도면의 주요 부분에 대한 설명>
200: 영상 캡쳐 시스템 210: 렌즈
220: 조리개 230: 촬상 소자
240: ADC 250: 영상 복원 장치
260: 메모리 270: 구동회로
280: CPU 290: 조작수단
310: 영상 입력부 320: 선명도 판단부
330: 제 1 필터 340: 영상 복원부
350: 고주파 속성부 360: 변환부
370: 휘도 보정부 380: RGB 변환부

Claims (24)

  1. 다수의 채널을 포함하는 영상 데이터부터 소정의 채널을 추출하는 단계; 및
    제 1 필터를 사용하여, 상기 추출된 채널을 복원하는 단계를 포함하는, 영상 복원 방법.
  2. 제 1항에 있어서,
    상기 다수의 채널은,
    R채널, G채널 및 B 채널을 포함하며, 상기 R, G 및 B 채널은 빛의 파장길이에 따라 분리되는, 영상 복원 방법.
  3. 제 1항에 있어서,
    상기 소정의 채널은,
    상기 다수의 채널 중 선명도가 가장 높은 채널을 포함하는, 영상 복원 방법.
  4. 제 1항에 있어서,
    상기 제 1 특정 필터는,
    점 확산 함수(Point Spread Function)가 적용되는 컨볼루션 필터를 포함하는, 영상 복원 방법.
  5. 제 1항에 있어서,
    상기 복원된 채널 및 블러 채널은 색도 채널 및 휘도 채널로 변환되는 단계를 더 포함하는, 영상 복원 방법.
  6. 제 5항에 있어서,
    상기 블러 채널은,
    상기 다수의 채널 중, 상기 선명도가 가장 높은 채널을 제외한 채널인, 영상 복원 방법.
  7. 제 5항에 있어서,
    상기 복원된 채널로부터 제 2 특정 필터를 사용하여 고주파 속성 값을 생성하는 단계;
    상기 고주파 속성 값 및 특정 변수를 사용하여 고주파 속성 계수를 생성하는 단계; 및
    상기 복원 채널, 상기 고주파 속성 계수 및 상기 휘도 채널을 연산하여 상기 휘도 채널을 복원하는 단계를 더 포함하는, 영상 복원 방법.
  8. 제 7항에 있어서,
    상기 제 2 특정 필터는,
    소벨 필터(Sobel Filter)를 포함하며,
    상기 소벨 필터는 상기 고주파 속정을 각 방향별로 추출하는, 영상 복원 방법.
  9. 제 7항에 있어서,
    상기 고주파 속성 계수(∂)는,
    Figure 112007065922397-PAT00003
    를 포함하며,
    상기 β는 변수이고, 상기 β 값의 변화에 따라 상기 고주파 속성 계수가 변하는, 영상 복원 방법.
  10. 제 7항에 있어서,
    상기 연산은,
    Y'=∂*C' + (1-∂)*Y를 포함하며,
    상기 Y는 휘도 채널, 상기 ∂는 고주파 특성 계수, 상기 C'은 복원된 채널 및 상기 Y'은 복원된 휘도 채널인, 영상 복원 방법.
  11. 제 7항에 있어서,
    상기 연산은,
    Y'= Y - ∂*Y + ∂*C'를 포함하며,
    상기 Y는 휘도 채널, 상기 ∂는 고주파 특성 계수, 상기 C'은 복원된 채널 및 상기 Y'은 복원된 휘도 채널인, 영상 복원 방법.
  12. 제 7항에 있어서,
    상기 복원된 휘도 채널 및 상기 채도 채널을 합성하여 출력 영상 데이터를 생성하는 단계를 더 포함하는, 영상 복원 방법.
  13. 다수의 채널을 포함하는 영상 데이터부터 소정의 채널을 추출하는 영상 입력부; 및
    제 1 특정 필터를 사용하여, 상기 추출된 채널을 복원하는 영상 복원부를 포함하는, 영상 복원 장치.
  14. 제 13항에 있어서,
    상기 다수의 채널은,
    R채널, G채널 및 B 채널을 포함하며, 상기 R, G 및 B 채널은 빛의 파장길이에 따라 분리되는, 영상 복원 장치.
  15. 제 13항에 있어서,
    상기 소정의 채널은,
    상기 다수의 채널 중 선명도가 가장 높은 채널을 포함하는, 영상 복원 장치.
  16. 제 13항에 있어서,
    상기 제 1 특정 필터는,
    점 확산 함수(Point Spread Function)가 적용되는 컨볼루션 필터를 포함하는, 영상 복원 장치.
  17. 제 13항에 있어서,
    상기 복원된 채널 및 블러 채널이 색도 채널 및 휘도 채널로 변환되는 변환부를 더 포함하는, 영상 복원 장치.
  18. 제 17항에 있어서,
    상기 블러 채널은,
    상기 다수의 채널 중, 상기 선명도가 가장 높은 채널을 제외한 채널인, 영상 복원 장치.
  19. 제 17항에 있어서,
    상기 복원된 채널로부터 제 2 특정 필터를 사용하여 고주파 속성 값을 추출하고, 상기 고주파 속성 값 및 특정 변수를 사용하여 고주파 속성 계수를 생성하는, 고주파 속성 생성부; 및
    상기 복원된 채널, 상기 고주파 속성 계수 및 상기 휘도 채널을 연산하여 상기 휘도 채널을 보정하는 휘도 보정부를 더 포함하는, 영상 복원 장치.
  20. 제 19항에 있어서,
    상기 제 2 특정 필터는,
    소벨 필터(Sobel Filter)를 포함하며,
    상기 소벨 필터는 상기 고주파 속정을 각 방향별로 추출하는, 영상 복원 장치.
  21. 제 19항에 있어서,
    상기 고주파 속성 계수(∂)는,
    Figure 112007065922397-PAT00004
    를 포함하며,
    상기 β는 변수이고, 상기 β 값의 변화에 따라 상기 고주파 속성 계수가 변환되는, 영상 복원 장치.
  22. 제 19항에 있어서,
    상기 연산은,
    Y'=∂*C' + (1-∂)*Y를 포함하며,
    상기 Y는 휘도 채널, 상기 ∂는 고주파 특성 계수, 상기 C'은 복원된 채널 및 상기 Y'은 복원된 휘도 채널인, 영상 복원 장치.
  23. 제 19항에 있어서,
    상기 연산은,
    Y'= Y -∂*Y + ∂*C'를 포함하며,
    상기 Y는 휘도 채널, 상기 ∂는 고주파 특성 계수, 상기 C'은 복원된 채널 및 상기 Y'은 복원된 휘도 채널인, 영상 복원 장치.
  24. 제 19항에 있어서,
    상기 복원된 휘도 채널 및 상기 채도 채널을 합성하여 출력 영상 데이터를 생성하는 RGB 복원부를 더 포함하는, 영상 복원 장치.
KR1020070092238A 2007-09-11 2007-09-11 영상 복원 장치 및 복원 방법 KR101341101B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070092238A KR101341101B1 (ko) 2007-09-11 2007-09-11 영상 복원 장치 및 복원 방법
US12/081,497 US8249376B2 (en) 2007-09-11 2008-04-16 Apparatus and method of restoring an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070092238A KR101341101B1 (ko) 2007-09-11 2007-09-11 영상 복원 장치 및 복원 방법

Publications (2)

Publication Number Publication Date
KR20090027060A true KR20090027060A (ko) 2009-03-16
KR101341101B1 KR101341101B1 (ko) 2013-12-13

Family

ID=40431869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070092238A KR101341101B1 (ko) 2007-09-11 2007-09-11 영상 복원 장치 및 복원 방법

Country Status (2)

Country Link
US (1) US8249376B2 (ko)
KR (1) KR101341101B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069343A (ko) * 2013-12-13 2015-06-23 삼성테크윈 주식회사 영상 노이즈 제거 방법 및 시스템
KR20150101856A (ko) * 2014-02-27 2015-09-04 주식회사 세방에스디엘 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치
KR20180136973A (ko) * 2016-04-21 2018-12-26 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288150A (ja) * 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2011134204A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置、画像処理方法、及びプログラム
WO2011122283A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
US9448064B2 (en) 2012-05-24 2016-09-20 Qualcomm Incorporated Reception of affine-invariant spatial mask for active depth sensing
KR101986108B1 (ko) * 2012-12-06 2019-06-05 엘지이노텍 주식회사 선명도 향상장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4712010A (en) * 1986-01-30 1987-12-08 Hughes Aircraft Company Radiator scanning with image enhancement and noise reduction
US5128748A (en) * 1989-02-15 1992-07-07 Hitachi, Ltd. Image processing system and apparatus for processing color documents
JP3415270B2 (ja) * 1994-06-03 2003-06-09 ソニー株式会社 画像信号符号化方法及び復号方法
JP4136011B2 (ja) * 1996-04-30 2008-08-20 オリンパス株式会社 焦点深度伸長装置
KR100405150B1 (ko) * 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
JP4147033B2 (ja) * 2002-01-18 2008-09-10 オリンパス株式会社 内視鏡装置
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
US7903902B2 (en) * 2004-07-26 2011-03-08 Sheraizin Semion M Adaptive image improvement
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
US7551772B2 (en) * 2004-11-30 2009-06-23 Hewlett-Packard Development Company, L.P. Blur estimation in a digital image
US7672527B2 (en) * 2006-03-06 2010-03-02 Northrop Grumman Corporation Method and apparatus for chromatic correction of Fresnel lenses

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069343A (ko) * 2013-12-13 2015-06-23 삼성테크윈 주식회사 영상 노이즈 제거 방법 및 시스템
KR20150101856A (ko) * 2014-02-27 2015-09-04 주식회사 세방에스디엘 디지털 시네마에서 스테레오 카메라로 획득한 좌우 영상의 색 일치 방법 및 그 장치
KR20180136973A (ko) * 2016-04-21 2018-12-26 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법

Also Published As

Publication number Publication date
US20090067710A1 (en) 2009-03-12
US8249376B2 (en) 2012-08-21
KR101341101B1 (ko) 2013-12-13

Similar Documents

Publication Publication Date Title
KR101341101B1 (ko) 영상 복원 장치 및 복원 방법
JP5198192B2 (ja) 映像復元装置および方法
KR101341096B1 (ko) 영상 복원 장치 및 방법
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US8482659B2 (en) Image processing apparatus and image processing method
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
US20110128422A1 (en) Image capturing apparatus and image processing method
JP6972266B2 (ja) 画像処理方法、画像処理装置、および、撮像装置
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
CN102473294B (zh) 摄像装置、图像处理装置和图像处理方法
KR102395305B1 (ko) 저조도 영상 개선 방법
JP5047055B2 (ja) 画像処理装置、撮像装置及び画像処理方法
KR20090105150A (ko) 영상 촬상 장치 및 방법
US9262833B2 (en) Methodology for performing depth estimation with defocused images under extreme lighting conditions
US20090278957A1 (en) Image processing apparatus, method, and program
CN106993111B (zh) 摄像装置、摄像方法及记录介质
JP6213466B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
JP6514504B2 (ja) 画像処理装置およびその制御方法、ならびにプログラム
JP5115297B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2018198456A (ja) 画像処理プログラム、画像処理装置および撮像装置
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017130167A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2020191037A (ja) 画像修正方法
KR101706218B1 (ko) 블러 및 고스트 제거 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 6