KR100843099B1 - 영상을 복원하기 위한 장치 및 방법 - Google Patents

영상을 복원하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR100843099B1
KR100843099B1 KR1020070008536A KR20070008536A KR100843099B1 KR 100843099 B1 KR100843099 B1 KR 100843099B1 KR 1020070008536 A KR1020070008536 A KR 1020070008536A KR 20070008536 A KR20070008536 A KR 20070008536A KR 100843099 B1 KR100843099 B1 KR 100843099B1
Authority
KR
South Korea
Prior art keywords
image
lens
input image
noise
weights
Prior art date
Application number
KR1020070008536A
Other languages
English (en)
Inventor
옥현욱
강주영
이성덕
오현화
이강의
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070008536A priority Critical patent/KR100843099B1/ko
Priority to US11/907,127 priority patent/US8055089B2/en
Application granted granted Critical
Publication of KR100843099B1 publication Critical patent/KR100843099B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상을 복원하기 위한 장치 및 방법에 관한 것으로서, 더욱 상세하게는 입력 영상의 초점이 열화된 경우, 렌즈 특성을 통해 입력 영상을 복원할 수 있는 영상을 복원하기 위한 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 영상을 복원하기 위한 장치는, 입력 영상의 필드 정보 및 초점 열화도를 추정하는 추정부, 렌즈의 광학 특성에 따른 다수의 가중치를 상기 입력 영상에 적용하는 가중치 적용부, 및 상기 다수의 가중치가 적용된 상기 입력 영상을 이용하여 출력 영상을 생성하는 생성부를 포함한다.
초점, 렌즈, PSF, 열화

Description

영상을 복원하기 위한 장치 및 방법{Apparatus and method for restoring image}
도 1은 본 발명의 실시예에 따른 영상을 복원하기 위한 장치가 도시된 블록도.
도 2는 본 발명의 실시예에 따른 렌즈의 필드가 도시된 개략도.
도 3은 본 발명의 실시예에 따른 렌즈의 필드에 따른 수평 방향의 광학 특성이 도시된 그래프.
도 4는 본 발명의 실시예에 따른 렌즈의 필드에 따른 수직 방향의 광학 특성이 도시된 그래프.
도 5는 본 발명의 실시예에 따른 광의 파장에 따른 광학 특성이 도시된 그래프.
도 6은 본 발명의 실시예에 따른 렌즈와 피사체간의 거리에 따른 광학 특성이 도시된 그래프.
도 7은 본 발명의 실시예에 따른 영상을 복원하기 위한 방법이 도시된 순서도.
도 8은 본 발명의 실시예에 따른 렌즈의 필드에 따른 가중치가 도시된 그래프.렌즈와 피사체간의 거리에 따른 가중치가 도시된 그래프.
도 9는 본 발명의 실시예에 따른 렌즈와 피사체간의 거리에 따른 가중치가 도시된 그래프.
<도면의 주요 부분에 관한 부호의 설명>
110: 노이즈 제거부 120: 추정부
130: 가중치 적용부 140: 생성부
본 발명은 영상을 복원하기 위한 장치 및 방법에 관한 것으로서, 더욱 상세하게는 입력 영상의 초점이 열화된 경우, 렌즈 특성을 통해 입력 영상을 복원할 수 있는 영상을 복원하기 위한 장치 및 방법에 관한 것이다.
일반적으로 디지털 카메라나 휴대용 기기에 장착된 카메라 모듈 등과 같은 영상 획득 장치를 이용하여 소정 피사체의 영상을 획득할 경우, 획득되는 영상은 여러 가지 측면에서 열화가 발생하게 된다.
예를 들어, 획득된 영상에서의 초점 열화는, 렌즈를 통해 입사하는 광이 렌즈에 의해 굴절된 후, 한 점으로 수렴하지 않고 퍼지는 분포를 가지게 되어 피사체의 상이 맺히는 이미지 센서의 한 화소에 상이 맺히지 않기 때문에 발생하게 된다.
이와 같이, 렌즈로 입사된 광이 한 점으로 수렴하지 않고 퍼지게 되는 분포가 가지는 특성은, 렌즈로 입사하는 광의 파장, 렌즈와 피사체간의 거리, 그리고 광이 입사하는 렌즈의 위치에 따라 서로 다른 형태를 가지게 된다.
따라서, 초점의 열화로 인해 영상 획득 장치에서 획득된 영상이 열화된 경우, 열화된 영상을 복원하는 방법이 연구되고 있다.
초점의 열화로 인해 열화된 영상을 복원하는 방법으로는 Wiener Filter, CLS(Constraint Least Square) Filter 등과 같은 Non-Iterative한 복원 방법에서부터 Richardson-Lucy Method 등과 가은 Iterative한 복원 방법까지 다양한 방법들이 시도되어 왔다.
그러나, 전술한 방법들은 렌즈의 광학 특성을 공간에 대해 불변한 것으로 가정하기 때문에 렌즈로 입사된 광이 한 점으로 수렴하지 않고 퍼지게 되는 분포가 발생하게 되는 다양한 요인들을 반영하기 어렵다는 문제점이 있다. 다시 말해서, 렌즈에서 광이 입사하는 위치 및 렌즈와 피사체간의 거리가 불변한 것으로 가정하고 열화된 영상을 복원하기 때문에 열화된 영상을 복원하는데 한계가 있다.
또한, 전술한 방법 이외에도 렌즈를 움직임으로써 거리에 따른 광학 특성을 개선하는 방법이 시도되고 있으나, 카메라 및 휴대용 기기에 장착된 카메라 모듈 등에 렌즈의 움직임을 조절하기 위한 구동 장치가 추가로 필요하기 때문에 추가적인 비용이 발생하게 되고, 소형화 및 박형화가 중요시되는 휴대용 기기에 장착된 카메라 모듈의 크기가 증가하게 되는 문제점이 있다.
본 발명은 입력 영상의 초점이 열화된 경우, 렌즈의 특성을 분석하여 필드 및 열화도에 따라 공간에 따라 변화하는 렌즈의 광학 특성에 따른 가중치를 적용하여 영상 복원을 위한 추가적인 장치 없이도 용이하게 영상을 복원할 수 있는 영상 을 복원하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상을 복원하기 위한 장치는, 입력 영상의 필드 정보 및 초점 열화도를 추정하는 추정부, 렌즈의 광학 특성에 따른 다수의 가중치를 상기 입력 영상에 적용하는 가중치 적용부, 및 상기 다수의 가중치가 적용된 상기 입력 영상을 이용하여 출력 영상을 생성하는 생성부를 포함한다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상을 복원하기 위한 방법은, 입력 영상의 필드 정보 및 초점 열화도를 추정하는 단계, 렌즈의 광학 특성에 따른 다수의 가중치를 상기 입력 영상에 적용하는 단계, 및 상기 다수의 가중치가 적용된 영상을 이용하여 출력 영상을 생성하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 영상을 복원하기 위한 장치 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로 세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 1은 본 발명의 실시예에 따른 영상을 복원하기 위한 장치가 도시된 블록도이다.
도시된 바와 같이, 본 발명의 실시예에 따른 영상을 복원하기 위한 장치(100)는, 입력 영상의 노이즈를 제거하는 노이즈 제거부(110), 입력 영상의 필드 정보 및 초점 열화도를 추정하는 추정부(120), 렌즈의 광학 특성에 따른 다수의 가중치를 입력 영상에 적용하는 가중치 적용부(130), 상기 가중치가 적용된 입력 영상을 이용하여 출력 영상을 생성하는 생성부(140)를 포함할 수 있다.
본 발명의 실시예에 따른 영상을 복원하기 위한 장치(100)는, 일반적으로 소정 피사체에 대한 영상을 획득하는 디지털 카메라, 카메라가 장착된 휴대용 기기 등과 같은 영상 획득 장치에 적용될 수 있으며, 본 발명의 실시예에 따른 영상을 복원하기 위한 장치(100)는, 영상 획득 장치와 하드웨어적으로 통합되어 구성될 수도 있고, 별도로 구성될 수도 있다.
노이즈 제거부(110)는 영상 획득 장치에 의해 획득되는 피사체의 입력 영상에 포함된 가우시안 노이즈(Gaussian Noise)를 제거할 수 있다. 구체적으로, 본 발명의 실시예에서 영상 획득 장치에 의해 획득되는 입력 영상인 g(x,y)는 식 1과 같이 나타낼 수 있다.
[식 1]
Figure 112008014811603-pat00029
이때, 식 1에서 g(x,y)는 입력 영상, (u,v)는 렌즈에서 광이 입사하는 위치,
Figure 112008014811603-pat00002
는 렌즈로 입사된 광에 의해 맺히는 상의 위치, fr(u,v)는 렌즈로 입사되는 원 영상, hr(u,v,x-u,y-v)는 광학 특성, n(x,y)는 노이즈를 나타내며, (x,y)는 렌즈를 통해 입사된 광에 의해 영상 획득 장치의 이미지 센서에 맺히는 상의 위치로 이해될 수 있다. 따라서, 노이즈 제거부(110)는 전술한 식 1에서 n(x,y)를 제거하는 것으로 이해될 수 있다. 또한, 본 발명의 실시예에서 g(x,y)는 열화된 입력 영상, fr(u,v)는 g(x,y)에 대하여 열화되지 않은 원 영상으로 이해될 수 있다. 그리고, fr(u,v)에서 r은 피사체와 렌즈간의 거리로 이해될 수 있다.
이때, 렌즈로 입사하는 광은 렌즈로 입사하면서 한 화소에 수렴하지 않고 소정의 분포를 가지게 된다. 이때, 본 발명의 실시예에서는 광이 한 화소에 수렴하지 않는 분포가 PSF(Point Spread Function)인 경우를 예를 들어 설명하기로 하며, 이하 본 발명의 실시예에서 PSF를 '광학 특성'이라 칭하기로 한다.
이러한 광학 특성은 렌즈로 입사하는 광의 파장, 렌즈와 피사체와의 거리, 그리고 렌즈에서 광이 입사하는 위치에 따라 달라지게 된다. 따라서, 전술한 식 1에 의해 얻어지는 입력 영상은 전술한 렌즈의 광학 특성에 따라 렌즈로 입사되는 원 영상에 비하여 열화되는 현상이 발생하게 된다.
예를 들어, 도 2와 같이 렌즈가 원형이고, 렌즈의 필드가 00 필드로부터 10 필드까지 나누어진 경우, 렌즈의 필드에 따른 광학 특성은 도 3 및 도 4와 같이 각 필드에 따라 서로 다른 광학 특성을 가지게 된다. 이때, 도 3은 수평 방향의 광학 특성을 나타내고, 도 4는 수직 방향을 광학 특성을 나타낸다. 이때, 도 2에서는 00 필드와 10 필드만이 표시되어 있으나, 00 필드에서 10 필드 방향으로 01 필드, 02 필드, 03 필드, ... , 09 필드의 순서로 렌즈의 필드가 나누어진 것으로 이해될 수 있다.
또한, 렌즈의 광학 특성은 전술한 필드뿐만 아니라, 도 5와 같이 렌즈로 입사되는 광의 파장에 따라서도 달라질 수 있고, 도 6과 같이 렌즈와 피사체의 거리에 따라서도 달라질 수 있다. 이때, 도 5는 서로 다른 파장을 가지는 R, G, B에 대한 광학 특성이 도시된 것이고, 도 6은 렌즈의 중심(center)에서 피사체와의 거리에 따른 광학 특성이 도시된 것으로 이해될 수 있다. 이때, 도 3 내지 도 6에서 수평축은 x 또는 y축의 거리이고, 수직축은 크기(magnitude)를 의미한다.
한편, 전술한 노이즈 제거부(110)에 의해 노이즈가 제거된 입력 영상은 식 2과 같이 나타낼 수 있다.
[식 2]
Figure 112008014811603-pat00030
이때, 식 2에서 g'(x,y)는 전술한 식 1에서 노이즈 제거부(110)에 의해 노이즈 n(x,y)가 제거된 입력 영상으로 이해될 수 있다.
추정부(120)는 노이즈 제거부(110)에 의해 노이즈가 제거된 입력 영상에서 필드 정보 및 초점 열화도를 추정할 수 있다. 이때, 본 발명의 실시예에서 추정부(120)는 각 화소에 대해 필드 정보 및 초점 열화도를 추정하는 경우를 예를 들어 설명하기로 하며, 이에 한정되지 않고 소정 개수의 화소를 포함하는 소정 영역에 대해 필드 정보 및 초점 열화도를 추정할 수도 있다.
구체적으로, 추정부(120)는 노이즈가 제거된 입력 영상의 소정 화소값 및 그 주변 화소값을 분석하여 초점 열화도를 추정할 수 있고, 식 3을 이용하여 소정 화소가 위치한 필드를 추정할 수 있다.
[식 3]
Figure 112007008251355-pat00004
이때, 식 3에서 W는 입력 영상의 넓이(Width), H는 입력 영상의 높이(Height)를 의미한다.
가중치 적용부(130)는 전술한 노이즈가 제거된 입력 영상이 렌즈에 광이 입사하는 위치, 및 피사체와 렌즈간의 거리에 대해 불변하도록 전술한 다수의 광학 특성 중 실험에 의해 선택된 소정 개수의 광학 특성에 따른 가중치를 적용할 수 있다. 다시 말해서, 입력 영상의 모든 화소에 대하여 렌즈에서 광이 입사하는 위치 및 렌즈와 피사체간의 거리에 따른 광학 특성이 균일하도록 하는 가중치를 적용하 여 렌즈의 광학 특성이 공간 불변으로 가정할 수 있도록 하는 것이다.
구체적으로, hr(u,v,x-u,y-v)는
Figure 112007008251355-pat00005
로 나타낼 수 있으며, 전술한 식 2에서 hr(u,v,x-u,y-v)를
Figure 112007008251355-pat00006
로 대체하면, 식 4와 같다. 또한, 식 4에서 i는 대표 광학 특성을 의미하는 인덱스로서, 전술한 다양한 광학 특성 중 실험을 통해 얻어지는 대표 광학 특성에 대응하는 가중치를 각각 적용할 수 있는 것이다.
[식 4]
Figure 112007008251355-pat00007
이때, 식 4는 인덱스 r, i에 대해서 h함수는 공간적으로 불변의 성격을 가지게 된다. 또한, 원 영상 f와 공간에 따라 변화하는 광학 특성인 h함수에 의한 영상 g'는 식 5와 같이 원 영상 f에 대한 적절한 가중치를 통해 fr ,i와 공간에 대해 불변힌 광학특성에 의한 결과로 추정이 가능하며, 공간에 대해 불변한 광학 특성을 가지는 영상의 초점 열화는 기존에 논의된 다양한 방법, 예를 들어 Wiener Filter 및 CLS Filter 등을 적용하여 복원하는 것이 가능해진다.
이때, fr ,i는 식 5와 같다.
[식 5]
Figure 112007008251355-pat00008
이때, wr,i는 렌즈와 피사체의 거리에 따른 가중치를 의미하고, 렌즈에서 광이 입사되는 위치에 따른 가중치는 식 6을 통해 구해질 수 있다.
[식 6]
Figure 112008014811603-pat00009

이때, 식 6에서 FFT는 Fast Fourier Transform을 나타내고, iFFT는 inverse Fast Fourier Transform을 나타내며, ε는 임의로 지정된 상수를 나타낸다.
따라서, 가중치 적용부(130)는 추정부(120)에 의해 추정된 초점 열화도 및 필드 정보에 전술한 wr ,i를 적용한 다음, 전술한 fr ,i를 이용하여 컨볼루션(Convolution) 연산을 수행하게 된다.
생성부(140)는 컨볼루션 영상이 수행된 다수의 입력 영상을 합쳐 출력 영상을 생성할 수 있으며, 생성된 출력 영상의 소정의 디스플레이 장치를 통해 디스플레이될 수 있다.
도 7은 본 발명의 실시예에 따른 영상을 복원하기 위한 방법이 도시된 순서도이다.
도시된 바와 같이, 본 발명의 실시예에 따른 영상을 복원하기 위한 방법은 먼저, 노이즈 제거부(110)가 전술한 식 1과 같은 입력 영상에서 노이즈를 제거하게 된다(S110). 노이즈 제거부(110)에 의해 노이즈가 제거된 입력 영상은 식 2와 같으며, 노이즈 제거부(110)에 제거된 노이즈는 가우시안 노이즈로 이해될 수 있다.
추정부(120)는 노이즈 제거부(110)에 의해 노이즈가 제거된 입력 영상에서의 필드 정보 및 초점 열화도를 추정하게 된다(S120). 추정부(120)는 노이즈가 제거된 입력 영상에서 소정 화소값 및 그 주변 화소값을 분석하여 초점 열화도를 추정할 수 있고, 전술한 식 3과 같이 입력 영상의 넓이와 높이를 이용하여 소정 화소의 필드 정보, 즉 렌즈에서 광이 입사한 위치를 추정할 수 있게 된다. 또한, 추정부(120)는 필드 정보 및 초점 열화도를 화소별로 추정할 수도 있고, 다수의 화소를 포함하는 소정 영역별로 추정할 수도 있으나, 이에 한정되지 않는다.
이때, 추정부(120)에 의해 추정된 필드 정보 및 초점 열화도는 전술한 i를 결정하기 위한 것으로 이해될 수 있다. 다시 말해서, 가중치 적용부(130)는 입력 영상의 모든 화소에 대해 균일한 광학 특성을 가지도록 전술한 도 4 내지 도 6의 광학 특성 중 대표 광학 특성을 선택하여 그에 따른 가중치를 적용하게 된다. 이때, 가중치 적용부(130)는 추정된 필드 정보 및 초점 열화도에 근거하여 대표 광학 특성을 결정할 수 있는 것이다.
가중치 적용부(130)는 전술한 식 4 내지 식 6을 이용하여 렌즈에서 광이 입사하는 위치에 따른 가중치 및 렌즈와 피사체간의 거리에 따른 가중치를 산출하고(S130), 추정부(120)에 의해 추정된 초점 열화도 및 필드 정보에 렌즈와 피사체간의 거리에 따른 가중치를 적용한다(S140).
이때, 전술한 S130 단계에서 사용된 렌즈에서 광이 입사하는 위치에 따른 가중치 및 렌즈와 피사체간의 거리에 따른 가중치는 도 8 및 도 9와 같이 각각 4개가 사용된 경우를 예를 들어 설명하기로 한다. 이때, 도 8 및 도 9는 전술한 다양한 광학 특성 중 실험을 통해 얻어진 대표 광학 특성으로 이해될 수 있으며, 이러한 광학 특성을 이용하여 입력 영상의 초점 열화도 및 필드 정보를 균일화할 수 있기 때문에 공간에 대해 불변한 광학 특성을 가지는 영상의 초점 열화는 기존에 논의된 다양한 방법, 예를 들어 Wiener Filter 및 CLS Filter 등을 적용하여 복원하는 것이 가능하게 된다. 또한, 도 8에서 1th filter, ... , 4th filter는 렌즈에서 광이 입사하는 위치에 따른 가중치, 도 9에서 1th parameter, ... , 4th parameter는 렌즈와 피사체간의 거리에 따른 가중치로 이해될 수 있다.
이러한 가중치 적용부 (130)는 렌즈와 피사체간의 거리에 따른 가중치가 적용된 입력 영상에 렌즈에서 광이 입사하는 위치에 따른 가중치를 이용하여 컨볼루션 연산을 수행하는 과정을 통해 가중치를 적용하게 된다.
생성부(130)는 컨볼루션 연산이 수행된 다수의 입력 영상을 합쳐 출력 영상을 생성하게 된다(S150). 다시 말해서, 생성부(130)는 전술한 대표 광학 특성의 개수에 따라 생성되는 다수의 입력 영상을 합쳐 출력 영상을 생성하는 것이다.
본 발명의 실시예에서 사용되는 용어 중 '부'는 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 부는 어떤 역할들을 수행한다. 그렇지만 부는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 부는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 부는 소 프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 부들에서 제공되는 기능은 더 작은 수의 구성요소들 및 부들로 결합되거나 추가적인 구성요소들과 부들로 더 분리될 수 있다.
이상과 같이 본 발명에 따른 영상을 복원하기 위한 장치 및 방법을 예시된 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않으며 그 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
상기한 바와 같은 본 발명의 영상을 복원하기 위한 장치 및 방법에 따르면, 렌즈의 광학 특성을 분석하여 렌즈의 필드 및 초점 열화도에 의해 공간에 따라 변화하는 렌즈의 광학 특성을 고려한 가중치를 적용하여 열화된 영상을 복원할 수 있기 때문에 렌즈의 움직임을 위한 추가적인 구성이 필요하지 않아 영상을 촬영하는 장치의 소형화 및 박형화가 용이한 효과가 있다.

Claims (16)

  1. 입력 영상의 필드 정보 및 초점 열화도를 추정하는 추정부;
    렌즈의 광학 특성에 따른 다수의 가중치를 상기 입력 영상에 적용하는 가중치 적용부; 및
    상기 다수의 가중치가 적용된 상기 입력 영상을 이용하여 출력 영상을 생성하는 생성부를 포함하는 영상을 복원하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 광학 특성은, 상기 렌즈에서 광이 입사하는 위치 및 피사체와 상기 렌즈와의 거리에 따라 결정되고,
    상기 가중치 적용부는, 상기 추정된 필드 정보 및 열화도에 따라 서로 다른 가중치를 적용하는 영상을 복원하기 위한 장치.
  3. 제 1 항에 있어서,
    상기 입력 영상은,
    Figure 112008014811603-pat00031
    에 의해 얻어지고, 상기 g(x,y)는 입력 영상, 상기 (u,v)는 상기 렌즈로 입사하는 광의 위치, 상기
    Figure 112008014811603-pat00011
    는 상기 렌즈로 입사된 광에 의해 맺히는 상의 위치, 상기 fr(u,v)는 상기 렌즈로 입사되는 원 영상, 상기 hr(u,v,x-u,y-v)는 상기 광학 특성, 상기 n(x,y)는 노이즈를 나타내는 영상을 복원하기 위한 장치.
  4. 제 3 항에 있어서,
    상기 입력 영상의 노이즈를 제거하는 노이즈 제거부를 더 포함하는 영상을 복원하기 위한 장치.
  5. 제 4 항에 있어서,
    상기 노이즈 제거부에 상기 노이즈가 제거된 입력 영상은,
    Figure 112008014811603-pat00032
    이며, 상기 g'(x,y)는 상기 노이즈가 제거된 입력 영상을 나타내는 영상을 복원하기 위한 장치.
  6. 제 5 항에 있어서,
    상기 hr(u,v,x-u,y-v)는
    Figure 112007008251355-pat00013
    로 변경되고,
    상기 g'(x,y)는
    Figure 112007008251355-pat00014
    로 얻어지며, 상기 Wr ,i는 피사체와 렌즈의 거리에 따른 가중치, 상기 hr ,i는 상기 렌즈로 광이 입사하는 위치에 따른 가중치, 상기 i는 상기 광학 특성의 인덱스를 의미하는 영상을 복원하기 위한 장치.
  7. 제 6 항에 있어서,
    상기 가중치 적용부는, 상기 입력 영상의 모든 화소에 대하여 광이 입사하는 위치 및 렌즈와 피사체간의 거리에 따른 광학 특성이 균일하도록 다수의 광학 특성 중 선택된 광학 특정에 따라 상기 입력 영상에 초점 열화도에 대한 가중치인 상기 Wr,i를 적용한 다음, 상기 Wr,i가 적용된 상기 입력 영상에 상기 필드 정보에 대한 가중치인 상기 hr,i를 적용하여 컨볼루션 연산을 수행하는 영상을 복원하기 위한 장치.
  8. 제 7 항에 있어서,
    상기 생성부는, 상기 컨볼루션 연산이 수행된 다수의 입력 영상을 합쳐 상기 출력 영상을 생성하는 영상을 복원하기 위한 장치.
  9. 입력 영상의 필드 정보 및 초점 열화도를 추정하는 단계;
    렌즈의 광학 특성에 따른 다수의 가중치를 상기 입력 영상에 적용하는 단계; 및
    상기 다수의 가중치가 적용된 영상을 이용하여 출력 영상을 생성하는 단계를 포함하는 영상을 복원하기 위한 방법.
  10. 제 9 항에 있어서,
    상기 광학 특성은, 상기 렌즈에서 광이 입사하는 위치 및 피사체와 상기 렌즈와의 거리에 따라 결정되고,
    상기 가중치를 적용하는 단계는, 상기 추정된 필드 정보 및 열화도에 따라 서로 다른 가중치를 적용하는 단계를 포함하는 영상을 복원하기 위한 방법.
  11. 제 9 항에 있어서,
    상기 입력 영상은,
    Figure 112008014811603-pat00033
    에 의해 얻어지고, 상기 g(x,y)는 입력 영상, 상기 (u,v)는 상기 렌즈로 입사하는 광의 위치, 상기
    Figure 112008014811603-pat00016
    는 상기 렌즈로 입사된 광에 의해 맺히는 상의 위치, 상기 fr(u,v)는 상기 렌즈로 입사되는 원 영상, 상기 hr(u,v,x-u,y-v)는 상기 광학 특성, 상기 n(x,y)는 노이즈를 나타내는 영상을 복원하기 위한 방법.
  12. 제 11 항에 있어서,
    상기 입력 영상의 노이즈를 제거하는 단계를 더 포함하는 영상을 복원하기 위한 방법.
  13. 제 12 항에 있어서,
    상기 노이즈가 제거된 입력 영상은,
    Figure 112008014811603-pat00034
    이며, 상기 g'(x,y)는 상기 노이즈가 제거된 입력 영상을 나타내는 영상을 복원하기 위한 방법.
  14. 제 13 항에 있어서,
    상기 hr(u,v,x-u,y-v)는
    Figure 112007008251355-pat00018
    로 변경되고, 상기 g'(x,y)는
    Figure 112007008251355-pat00019
    로 얻어지며, 상기 Wr ,i는 피사체와 렌즈의 거리에 따른 가중치, 상기 hr,i는 상기 렌즈로 광이 입사하는 위치에 따른 가중치, 상기 i는 상기 광학 특성의 인덱스를 의미하는 영상을 복원하기 위한 방법.
  15. 제 6 항에 있어서,
    상기 가중치를 적용하는 단계는, 상기 입력 영상의 모든 화소에 대하여 광이 입사하는 위치 및 렌즈와 피사체간의 거리에 따른 광학 특성이 균일하도록 다수의 광학 특성 중 선택된 광학 특성에 따라 상기 입력 영상에 상기 초점 열화도에 대한 가중치인 상기 Wr,i를 적용하고, 상기 Wr,i가 적용된 상기 입력 영상에 상기 필드 정보에 대한 가중치인 상기 hr,i를 적용하여 컨볼루션 연산을 수행하는 단계를 포함하는 영상을 복원하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 출력 영상을 생성하는 단계는, 상기 컨볼루션 연산이 수행된 다수의 입력 영 상을 합쳐 상기 출력 영상을 생성하는 단계를 포함하는 영상을 복원하기 위한 방법.
KR1020070008536A 2007-01-26 2007-01-26 영상을 복원하기 위한 장치 및 방법 KR100843099B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070008536A KR100843099B1 (ko) 2007-01-26 2007-01-26 영상을 복원하기 위한 장치 및 방법
US11/907,127 US8055089B2 (en) 2007-01-26 2007-10-09 Apparatus and method of restoring image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070008536A KR100843099B1 (ko) 2007-01-26 2007-01-26 영상을 복원하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100843099B1 true KR100843099B1 (ko) 2008-07-03

Family

ID=39668064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070008536A KR100843099B1 (ko) 2007-01-26 2007-01-26 영상을 복원하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US8055089B2 (ko)
KR (1) KR100843099B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5179398B2 (ja) * 2009-02-13 2013-04-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
KR101826721B1 (ko) * 2011-06-29 2018-03-22 엘지이노텍 주식회사 렌즈 쉐이딩 보정 팩터 산출 방법 및 그것을 이용한 렌즈 쉐이딩 보정 방법 및 렌즈 쉐이딩 보정 장치
US20130094753A1 (en) * 2011-10-18 2013-04-18 Shane D. Voss Filtering image data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950013167A (ko) * 1993-10-20 1995-05-17 배순훈 영상신호 분리회로의 신호 열화 보상회로
KR20050064914A (ko) * 2003-12-24 2005-06-29 엘지전자 주식회사 신호 열화 보상장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5453844A (en) * 1993-07-21 1995-09-26 The University Of Rochester Image data coding and compression system utilizing controlled blurring
JP2000207549A (ja) * 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
JP4328403B2 (ja) * 1999-02-16 2009-09-09 キヤノン株式会社 カメラ及び交換レンズ
US6774945B1 (en) * 1999-10-18 2004-08-10 Hewlett-Packard Development Company, L.P. Focusing apparatus for image recording system
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
JP4280957B2 (ja) 2000-08-17 2009-06-17 ソニー株式会社 画像処理装置および方法、並びに記録媒体
AU2002240415A1 (en) * 2001-02-16 2002-09-04 Canesta Inc. Technique for removing blurring from a captured image
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
US7374638B2 (en) * 2003-09-29 2008-05-20 The Procter & Gamble Company High bulk strong absorbent single-ply tissue-towel paper product
US7535598B2 (en) * 2004-06-16 2009-05-19 Ricoh Company, Ltd. Image recording apparatus and image processing system
US7535002B2 (en) * 2004-12-03 2009-05-19 Fluke Corporation Camera with visible light and infrared image blending
US7561789B2 (en) * 2006-06-29 2009-07-14 Eastman Kodak Company Autofocusing still and video images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950013167A (ko) * 1993-10-20 1995-05-17 배순훈 영상신호 분리회로의 신호 열화 보상회로
KR20050064914A (ko) * 2003-12-24 2005-06-29 엘지전자 주식회사 신호 열화 보상장치 및 방법

Also Published As

Publication number Publication date
US20080181527A1 (en) 2008-07-31
US8055089B2 (en) 2011-11-08

Similar Documents

Publication Publication Date Title
JP6957197B2 (ja) 画像処理装置および画像処理方法
JP4679662B2 (ja) シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
JP5188205B2 (ja) カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法
KR20090027493A (ko) 영상 복원 장치 및 방법
EP3055831B1 (en) Method and system for processing an image
JP2013531268A (ja) 符号化開口を使用した距離の測定
KR101181161B1 (ko) 카메라 자체 움직임에 의한 이미지 블러를 제거하는 장치 및 방법, 그리고 그러한 방법이 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터로 판독 가능한 기록매체
Tao et al. Spectrum-to-kernel translation for accurate blind image super-resolution
US20140022347A1 (en) Method and apparatus for simulating depth of field (dof) in microscopy
Matsui et al. Half-sweep imaging for depth from defocus
KR100843099B1 (ko) 영상을 복원하기 위한 장치 및 방법
Asai et al. Cepstral analysis based blind deconvolution for motion blur
Kim et al. 18‐4: Fast Image Restoration and Glare Removal for Under‐Display Camera by Guided Filter
Yin et al. Independent component analysis and nongaussianity for blind image deconvolution and deblurring
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Rahmat et al. Comparison of LULU and median filter for image denoising
Alam et al. Reduction of glare in images with saturated pixels
JP6401674B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
KR101341098B1 (ko) 영상 복원을 위한 장치 및 방법
Kar et al. Learning based regularization for spatial multiplexing cameras
JP6353414B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
Lou et al. All-in-focus Imaging from Event Focal Stack
Aslantas et al. Multi focus image fusion by differential evolution algorithm
JP2005063000A (ja) 画像の鮮明化方法および装置並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130522

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140522

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150522

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160520

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170518

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 12