KR100781552B1 - 고해상도 이미지 복원 장치 및 방법 - Google Patents

고해상도 이미지 복원 장치 및 방법 Download PDF

Info

Publication number
KR100781552B1
KR100781552B1 KR1020060105348A KR20060105348A KR100781552B1 KR 100781552 B1 KR100781552 B1 KR 100781552B1 KR 1020060105348 A KR1020060105348 A KR 1020060105348A KR 20060105348 A KR20060105348 A KR 20060105348A KR 100781552 B1 KR100781552 B1 KR 100781552B1
Authority
KR
South Korea
Prior art keywords
image
color
original image
sub
original
Prior art date
Application number
KR1020060105348A
Other languages
English (en)
Inventor
성기영
박두식
김창용
이호영
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to EP07110864A priority Critical patent/EP1874034A3/en
Priority to JP2007166290A priority patent/JP2008011529A/ja
Priority to US11/819,317 priority patent/US20080122946A1/en
Application granted granted Critical
Publication of KR100781552B1 publication Critical patent/KR100781552B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

소형화된 카메라 모듈을 통해 획득한 이미지를 고해상도의 이미지로 복원하는 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 고해상도 이미지 복원 장치는 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 모듈, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함한다.
디지털 카메라, 이미지 센서, 컬러 필터, F넘버, 초점

Description

고해상도 이미지 복원 장치 및 방법{Apparatus and method for recovering high pixel image processing}
도 1은 종래의 소형 디지털 기기에 내장된 디지털 카메라의 원리를 간단하게 도시한 도면이다.
도 2a는 종래의 디지털 카메라의 기본 구조를 나타낸 도면이다.
도 2b는 도 2a에 도시된 이미지 센서를 구성하는 단위 픽셀에 대한 단면도이다.
도 3은 본 발명의 실시예에 따른 고해상도 이미지 복원 장치(300)의 구조를 도시한 블록도이다.
도 4a 내지 도 4c는 본 발명의 실시예에 따른 디지털 카메라의 구조를 도시한 도면이다.
도 4c는 도 4a에 도시된 이미지 센서를 구성하는 단위 픽셀에 대한 단면도이다.
도 5a 내지 도 5b는 본 발명의 실시예에 따른 컬러 필터 코팅 방법이다.
도 6은 원 이미지 생성 모듈(302a)의 원 이미지 위치 보정과 감도 불균일 보정의 방법을 도시한 도면이다.
도 7a 내지 7b는 본 발명의 실시예에 따른 중간 이미지 생성 방법을 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 생성 모듈(302)을 통한 고해상도 이미지 복원 방법을 도시한 도면이다.
도 9는 본 발명의 제 2 실시예에 따른 카메라 모듈의 구조를 도시한 도면이다.
도 10은 상기 도 4a에 도시된 구조의 카메라 모듈과 상기 도 7b를 참조로 하여 설명한 제 1 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.
도 11은 상기 도 4a에 도시된 구조의 카메라 모듈과 상기 도 8를 참조로 하여 설명한 제 2 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.
<도면의 주요 부분에 관한 부호의 설명>
401a ~ 401d : 제 1 렌즈 ~ 제 4 렌즈
402a ~ 402d : 제 1 렌즈 ~ 제 4 렌즈와 각각 매칭되는 서브 이미지 센서
402 : 4개의 서브 이미지 센서가 배열된 이미지 센서
402d-1~ 402d-4 : 서브 이미지 센서를 구성하는 단위 픽셀
본 발명은 고해상도 이미지 복원 방치 및 방법에 관한 것으로서, 더욱 상세 하게는 휴대폰, PDA, MP3 플레이어와 같은 소형 디지털 기기에 장착되는 소형화된 디지털 카메라 모듈을 통해 획득한 영상을 고해상도의 이미지로 복원하는 장치 및 방법에 관한 것이다.
대부분의 디지털 기기가 그런 것처럼 디지털 카메라는 많은 사람들에게 새로운 세상을 보여주었다.
디지털 카메라는 필름 카메라와는 다르게 간편한 조작으로도 전문가 못지않은 사진을 찍을 수 있고 현상과 인화를 통하지 않고서도 현장에서 찍은 사진을 즉시 확인할 수 있으며 깨끗한 화질의 사진을 변형 없이 반영구적으로 사용 가능한 장점이 있다.
또한 디지털 카메라가 소형화되어 휴대가 간편해지고 핸드폰이나 PDA, MP3 플레이어와 같은 소형 디지털 기기에 내장되면서 과거처럼 특별한 날에만 사진을 찍는 것이 아니라 일상생활에서 사진을 찍고 즐기는 모습이 자연스러운 일이 되었으며 소형 디지털 기기를 선택하고 구매함에 있어서 디지털 카메라의 내장여부는 중요한 요소로 자리잡았다.
최근 들어 디지털 기기는 점점 소형화되는 추세이고 자기만의 개성과 편리함을 추구하는 경향과 함께 소비자들은 지금보다 더 작고 더 얇은 소형 디지털 기기 제품들을 요구하고 있다.
결국, 디지털 카메라가 내장된 소형 디지털 기기가 지금보다 더 소형화 되고 슬림화 되기 위해서는 내장되는 디지털 카메라의 소형화 및 슬림화가 이루어져야 함은 자명한 일이다.
도 1은 종래의 소형 디지털 기기에 내장된 디지털 카메라의 원리를 간단하게 도시한 도면이다.
지름의 크기(Da, Db)가 다른 각각의 렌즈(101a, 101b)를 통해 사용자가 찍은 피사체(Object)(101)의 영상(Image)이 해당 디지털 카메라의 이미지 센서(102a, 102b)에 형성된다.
이때 렌즈(101b)의 직경(Db)이 크면 해상도가 뛰어난 장점이 있으나 피사체의 영상(이미지 B)이 맺히기 위한 초점거리(fb)가 길어지므로 소형 디지털 기기에 내장될 디지털 카메라 모듈의 높이가 길어지게 된다.
따라서 큰 렌즈와 길어진 초점거리로 인해 소형화와 슬림화에는 어려움이 있다.
이와 반대로 상대적으로 렌즈(101a)의 직경(Da)이 작은 경우, 피사체(101)의 영상(이미지 A)이 맺히기 위한 초점거리(fa) 역시 감소하므로 소형화와 슬림화에는 적합할지 모르나 디지털 카메라의 가장 중요한 요소인 해상도가 렌즈의 직경에 비례해 낮아지므로 선명한 고해상도 사진을 원하는 소비자들의 요구와는 거리가 멀어지게 된다.
이에 초점거리 감소와 동시에 고해상도 영상을 얻기 위한 여러 발명(예를 들면, 한국공개특허 '2003-0084343', '초점거리 확보를 위한 시모스 이미지센서의 제조방법')이 제시되었으나, 상술한 문제는 여전히 해결하고 있지 못하다.
본 발명은 소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감 소시켜 디지털 카메라가 내장되는 소형 디지털 기기의 소형화 및 슬림화에 기여하는데 그 목적이 있다.
본 발명의 다른 목적은 소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감소시키면서도 고해상도의 이미지를 제공하는 것이다.
본 발명의 또 다른 목적은 고해상도 영상을 표현 시 광학적 불일치와 감도 불균일을 쉽게 보정하는 것이다.
본 발명의 또 다른 목적은 서로 다른 투과도를 갖는 컬러필터를 사용함으로써, 이미지 센서의 구조 변경 없이도 고감도 센싱 영역과 저감도 센싱 영역을 동시에 구현하는 것이다.
본 발명의 또 다른 목적은 디지털 카메라가 내장되는 소형 디지털 기기의 설계 자유도를 증가 시키는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 고해상도 이미지 복원 장치는 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 모듈, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 고해상도 이미지 복원 장치는 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 모듈, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 모듈을 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 장치는 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 모듈, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 장치는 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 모듈, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 모듈을 포함한다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 고해상도 이미지 복원 방법은 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 컬러 별로 획득된 다수의 원 이미지를 입 력 받는 원 이미지 생성 단계, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 단계 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 고해상도 이미지 복원 방법은 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 단계, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 방법은 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 단계, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 방법은 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 단계, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
일반적으로 디지털 카메라는 픽셀수(Pixel)를 통해 해당 디지털 카메라의 성능을 짐작할 수 있다. 픽셀수가 높을수록 더 선명한 영상을 얻을 수 있기 때문이다.
픽셀수 외에도 렌즈의 밝기를 통해서도 디지털 카메라의 성능을 알 수 있는데, 렌즈의 밝기는 F넘버 또는 조리개값으로 불리운다.
F넘버는 디지털 카메라의 이미지 센서에 도달하는 단위 면적당 광량을 표현한 것으로
F넘버 =
Figure 112006078528549-pat00001
f(초점거리)/D(렌즈의 직경)
즉, 렌즈의 초점거리와 렌즈 직경의 비율로 나타낼 수 있다.
F넘버가 클수록 디지털 카메라의 이미지 센서에 도달하는 단위 면적당 광량은 감소하며, F넘버가 낮을수록 디지털 카메라의 이미지 센서에 도달하는 단위 면적당 광량은 증가하여 밝고 해상도가 좋은 영상을 얻게 된다.
따라서 F넘버의 크기는 디지털 카메라의 이미지 센서에 도달하는 광량 및 디지털 카메라를 통해 얻게 되는 영상의 해상도와 밀접한 관계가 있다.
만일 렌즈의 크기와 초점거리 그리고 픽셀수가 다른 두 대의 디지털 카메라에서 F넘버가 서로 동일하다면 렌즈의 크기와 초점거리, 픽셀수는 서로 다르지만 광량이 동일하기 때문에 동일한 밝기의 영상을 얻을 수 있게 된다.
본 발명은 이러한 원리를 이용하여 렌즈의 직경과 초점거리를 낮추면서도 고해상도 영상을 표현할 수 있는 다수의 렌즈를 포함하는 디지털 카메라 모듈에 적용 가능한 고해상도 이미지 복원 방법을 제안하고자 한다.
도 2a는 종래의 디지털 카메라의 기본 구조를 나타낸 도면이다.
종래의 디지털 카메라의 기본 구조는 피사체에서 반사된 빛을 집광하는 지름이 D2인 하나의 렌즈(201)와 이 렌즈(201)에서 집광된 빛에 반응하여 전기적인 영상신호를 생성하는 픽셀 단위(Pixel Level)의 이미지 센서(202)를 포함한다.
이미지 센서(202) 내에는 렌즈(201)가 받아들인 빛을 원래의 천연색으로 구현하는 베이어 패턴(Bayer Patten)의 컬러 필터가 포함되어 있으며 도 2a에 도시된 이미지 센서(202)는 이를 위에서 바라본 것이다.
베이어 패턴은 1970년대 발표 이후 현재까지 디지털 이미지의 가장 중요한 기본 원리로, 이론의 시작은 자연계에 존재하는 실제 영상은 점으로 이루어진 것이 아닌데 반해, 디지털 영상은 점으로 구현될 수 밖에 없다는 것에서 출발한다.
대상의 밝기와 색상을 모아 점으로 이루어진 이미지를 만들기 위해 2차원 평면상에 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 점들을 배치한다.
점들을 배치할 때 사람 눈에 가장 민감한 녹색(G)의 비율이 50%, 레드(R)와 블루(B)는 각각 25%씩 할당하며 격자망을 형성하게 되는데 이를 베이어 패턴 컬러 필터라고 한다.
베이어 패턴 컬러 필터에서 격자망을 형성하는 각각의 픽셀들은 총 천연색을 인식하는 것이 아니라 레드(R), 그린(G), 블루(B) 중 할당된 색만을 인식하고 나중에 이를 보간하여 천연색을 유추해 낸다.
도 2b는 도 2a에 도시된 이미지 센서를 구성하는 단위 픽셀에 대한 단면도이다.
이미지 센서를 구성하는 단위 픽셀의 일부분(202a~202d)에 대한 단면을 보면 이미지 센서 내에 베이어 패턴의 컬러 필터(203)가 포함되어 있음을 알 수 있다.
도 3은 본 발명의 실시예에 따른 고해상도 이미지 복원 장치(300)의 구조를 도시한 블록도이다.
본 발명의 실시예에 따른 고해상도 이미지 복원 장치(300)는 입사되는 빛을 집광하여 컬러별로 분리된 복수의 이미지를 생성하는 카메라 모듈(301), 카메라 모듈(301)에서 제공된 복수의 이미지를 기반으로 하여 최종 이미지를 생성하는 이미지 생성 모듈(302) 및 이미지 생성 모듈에서 제공된 최종 이미지를 디스플레이하는 디스플레이 모듈(303)을 포함한다.
카메라 모듈(301)은 다수의 렌즈(401)와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서(402)를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득한다.
먼저, 도 4a 내지 도 4c를 통하여 본 발명의 실시예에 따른 고해상도 이미지 복원 방법이 적용 가능한 다수의 렌즈를 포함하는 디지털 카메라의 구조를 설명하기로 한다.
본 발명의 실시예에 따른 고해상도 이미지 복원 방법이 적용 가능한 다수의 렌즈를 포함하는 디지털 카메라의 구조는 피사체에서 반사된 빛을 집광하는 지름의 크기가 동일한 다수의 렌즈(401)와 피사체에서 반사된 빛에 반응하여 전기적인 영상신호를 생성하는 다수의 서브 이미지 센서(402)를 포함하며, 렌즈가 집광한 빛을 원래의 천연색으로 구현하는 다수의 컬러 영역으로 분할된 컬러 필터가 서브 이미지 센서(402)내에 포함된다.
참고로 도 4b는 도 4a에 도시된 디지털 카메라 모듈의 구조를 측면에서 바라본 도면으로, 지름(D3)의 크기가 동일한 다수의 렌즈로부터 피사체의 영상이 형성되는 이미지 센서까지의 초점거리(f3)는 모두 동일하다고 가정한다.
따라서 지름의 크기가 동일한 다수의 렌즈(401)는 동일 평면상에 위치함이 바람직하다.
또한 다수의 렌즈 배열방식에 있어서 본 발명의 실시예는 상하좌우 대칭형태로 배열하였으나 다수의 렌즈를 가로 또는 세로 형태의 일직선으로 배열 할 수도 있고, 렌즈의 수가 홀수일 경우 하나의 렌즈를 중심으로 방사형태의 배열도 가능하며 이 밖에도 본 발명에서 언급되지 않은 여러 형태의 렌즈 배열이 가능하다.
참고로, 다수의 렌즈(401)는 각 렌즈의 위치가 고정되거나 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동(Shift)하여 피사체에서 반사된 빛을 집광할 수 있다. 렌즈의 이동에 대해서는 후에 상세히 설명하도록 한다.
이하, 설명의 편의상 4개의 렌즈가 가로 X 세로 2 X 2의 형태로 배열된 경우를 실시예로 하여 설명하도록 한다.
상술한 것처럼 렌즈의 크기와 초점거리 그리고 픽셀수가 다른 두 대의 디지털 카메라에서 F넘버가 서로 동일하다면 렌즈의 크기와 초점거리, 픽셀수는 서로 다르지만 광량이 동일하기 때문에 동일한 밝기의 영상을 얻을 수 있게 된다는 원리를 이용하여, 본 발명의 실시예에서는 도 2에서 도시된 렌즈(201)보다 크기가 작은 렌즈(401a~401d)와, 도 2에서 도시된 이미지 센서(202)보다 픽셀수가 적은 이미지 센서(402a~402d)를 사용하였으며 초점거리(f3)는 도 2에서 도시된 초점거리(f2)보다 짧다.
도 2에서 도시된 이미지 센서(202)의 픽셀수를 400만 픽셀이라고 가정하고 도 4a에서 도시된 서브 이미지 센서(402a~402d)의 픽셀수는 각각 100만 이라고 가정한다.
따라서 도 4a에서 도시된 이미지 센서(402)는 100만 픽셀의 서브 이미지 센서(402a~402d) 4개가 배열된 이미지 센서가 되며, 지름의 크기(D3)가 동일한 각 4개의 렌즈(401a~401d)는 각 렌즈에 매칭된 서브 이미지 센서(402a~402d)에 피사체의 영상을 생성하게 된다.
또한 서브 이미지 센서(402a~402d) 내에 포함되는 컬러 필터는 각 서브 이미지 센서(402a~402d)의 크기에 맞게 4분할 되어 서로 중복되지 않는 하나의 단일 컬러로 코팅된다.
상술한 컬러 필터가 포함된 하나의 서브 이미지 센서(402d)를 구성하는 단위 픽셀(402d-1~4)에 대한 단면이 도 4c에 도시되어 있으며 동일한 서브 이미지 센서(402d)내에 존재하기 때문에 모두 동일한 컬러 필터(403)를 포함하고 있다.
이때 컬러 필터(403)는, 코팅되는 컬러의 투과도에 따라 제 1 필터 영역과 제 2 필터 영역으로 구분된다.
제 1 필터 영역과 제 2 필터 영역에 코팅되는 컬러의 투과도를 다르게 하여 광량을 차이를 발생시킴으로써 고감도 및 저감도 이미지 센싱을 구현할 수 있다.
필터 영역의 구분은 컬러 필터를 구성하는 컬러 영역 중에서 투과도가 가장 높은 컬러 영역을 제 2 필터 영역으로 구분하고 컬러 필터에서 제 2 컬러 영역을 제외한 나머지 부분을 제 1 필터 영역으로 구분하는 것이 바람직하다.
설명의 편의상 다수로 분할되는 컬러 필터의 영역과 각 서브 이미지 센서의 도면 표시 기호를 함께 사용하여 실시예를 설명하기로 한다.
예를 들어, 도 4a에 도시된 서브 이미지 센서(402a~402d) 내에 포함된 컬러 필터를 구성하는 4 분할된 각각의 컬러 영역, 즉 그린(G)(402a), 레드(R)(402b), 블루(B)(402c), 그레이(Gr)(402d) 영역 중에서 투과도가 가장 높은 컬러인 그레이(Gr)(402d) 영역을 제 2 필터 영역으로 구분하면, 컬러 필터에서 그레이(Gr)(402d) 영역을 제외한 나머지 컬러 영역, 즉 그린(G)(402a), 레드(R)(402b), 블루(B)(402c) 영역이 제 1 필터 영역에 포함 된다.
또한 컬러 필터를 구성하는 각각의 컬러 영역 중 제 2 필터 영역에는 옐로우 이외의 컬러가 형성될 수도 있다.
예를 들면 화이트(W), 옐로우(Y), 시안(Cyan) 또는 마젠타(Magenta) 중 어느 하나의 컬러를 갖는 컬러 영역이 형성될 수 있다.
그러나 제 2 필터 영역에 형성되는 컬러는 전술한 예로 한정되는 것은 아니며 제 1 필터 영역에 형성된 컬러에 비해 높은 투과도를 갖는 컬러라면 본 발명의 범주에 속하는 것으로 볼 수 있다.
결과적으로, 도 4a에 도시된 컬러 필터의 투과도는 블루(B), 그린(G), 레드(R)의 순서로 높아지며, 그레이(Gr)는 레드(R)보다 더 높은 투과도를 갖는다.
이와 같이, 제 2 필터 영역(402d)에 해당하는 컬러의 투과도가 제 1 필터 영역(402a~402c)에 해당하는 컬러의 투과도 보다 높은 투과도를 갖는 컬러 필터를 형성하게 되면, 각 컬러 필터 영역을 통과하는 광량에 차이가 발생하게 된다.
이는 해당 컬러 필터 영역과 매칭되는 서브 이미지 센서(402a~402d)에 도달하는 광량에 차이가 발생함을 의미하며, 각 서브 이미지 센서(402a~402d)에 고감도 센싱 기능 및 저감도 센싱 기능을 동시에 구현할 수 있다.
상술한 컬러 필터 코팅 방법의 실시예로는 사진 석판 인쇄 기법(Photo-Lithography Method)과 잉크 절감 기법(Inkjet Method)이 있으며 도 5a 와 도 5b에 도시되어 있다.
예를 들어 그린(G), 레드(R), 블루(B), 그레이(Gr) 4가지 단일 컬러를 코팅하는 경우, 사진 석판 인쇄 기법은 먼저 이미지 센서 전체에 그린(G) 컬러를 코팅하고(502) 1/4의 그린(G) 컬러 코팅부분을 남겨둔 후, 나머지 3/4의 그린(G) 컬러 코팅은 제거(Patterning)한다(503).
그린(G) 컬러 코팅을 벗겨낸 3/4의 이미지 센서위에 다시 레드(R) 컬러를 코 팅하고(504) 1/4의 레드(R) 컬러 코팅부분을 남겨둔 후, 나머지 2/4의 레드(R) 컬러 코팅은 제거한다(505).
이미지 센서에는 그린(G), 레드(R) 컬러가 각각 1/4씩 코팅되어 있으며 나머지 2/4 만큼의 코팅은 그린(G), 레드(R) 컬러 코팅 방법과 같이 블루(B), 그레이(Gr) 코팅을 할 수 있다(506~508).
사진 석판 인쇄 기법은 베이어 패턴 컬러 필터 공정에 비해 쉬운 장점이 있다
도 5b는 두번째 코팅 방법의 실시예인 잉크 절감 코팅 방법을 도시한 도면이다.
잉크 절감 코팅 방법은 이미지 센서에 렌즈의 수와 같은 4개의 분할벽을 형성하고(510) 각 분할된 1/4의 공간에 원하는 컬러의 잉크를 코팅하여 컬러 필터를 생성하는 방법이다(511~514).
잉크 절감 코팅방법은 매우 간단한 공정이며 잉크가 절감되는 효과와 함께 센서 제조 단가를 감소시킬 수 있는 장점이 있다.
상술한 방법으로 코팅된 컬러 필터는 각 렌즈와 각 서브 이미지 센서에 매칭된다.
예를 들어 도 4a에서 서브 이미지 센서(402a~402d)에 각각 그린(G) 컬러 필터, 레드(R) 컬러 필터, 블루(B) 컬러 필터, 그레이(Gr) 컬러 필터가 포함된 경우, 제 1 렌즈 (401a)를 통해 들어온 피사체의 빛은 제 1 렌즈(401a)와 매칭된 서브 이미지 센서(402a) 내의 그린(G) 컬러 필터에 의해 그린(G) 컬러의 영상이 형성되며, 제 2 렌즈(401b)를 통해 들어온 영상은 제 2 렌즈(401b)와 매칭된 서브 이미지 센서(402b) 내의 레드(R) 컬러 필터에 의해 레드(R) 컬러의 영상이 형성된다.
이와 같은 방법으로 제 3 렌즈(401c), 제 4 렌즈(401d)를 통해 들어온 피사체의 빛은, 각 렌즈와 매칭된 서브 이미지 센서(402c, 402d) 내의 컬러 필터에 의해 블루(B) 컬러의 영상과, 그레이(Gr) 컬러의 영상이 각각 형성된다.
즉, 4개의 렌즈(401a~401d)를 통해 각각 입사된 피사체의 빛은 각 렌즈(301a~301d)와 매칭되는 각 서브 이미지 센서(402a~402d) 내의 컬러 필터를 통해 해당 컬러 필터의 컬러를 갖는 영상을 형성하게 되어 각 서브 이미지 센서(402a~402d)에는 컬러가 다른 동일한 크기의 영상 4개가 존재하게 된다.
한편, 이미지 생성 모듈(302)은 카메라 모듈(301)로부터 컬러별로 분리된 다수의 이미지를 제공받아, 최종 이미지를 생성하는 역할을 한다.
이를 위하여 이미지 생성 모듈(302)은 원 이미지 생성 모듈(302a), 중간 이미지 생성 모듈(302b) 및 최종 이미지 생성 모듈(302c)을 포함하여 구성된다.
본 발명의 실시예에 따른 이미지 생성 모듈(302)에서 원 이미지 생성 모듈(302a)은 카메라 모듈(301)에서 제공되는 컬러 별로 분리된 다수의 이미지를 입력받는다.
즉, 원 이미지 생성 모듈(302a)은 도 4a에 도시된 그린 컬러 필터가 포함된 서브 이미지 센서(402a)에 의해 획득된 그린 컬러 이미지, 레드 컬러 필터가 포함된 서브 이미지 센서(402b)에 의해 획득된 레드 컬러 이미지, 블루 컬러 필터가 포함된 서브 이미지 센서(402c)에 의해 획득된 블루 컬러 이미지 및 그레이 컬러 필 터가 포함된 서브 이미지 센서(402d)에 의해 획득된 그레이 컬러 이미지를 입력 받는다.
이때, 그린 컬러 이미지, 레드 컬러 이미지 및 블루 컬러 이미지는 후술될 최종 이미지 생성 모듈(302c)을 통해 최종 이미지를 생성하는데 필요한 컬러 정보를 제공하는 역할을 한다.
이에 비해 그레이 컬러 이미지는 최종 이미지를 생성하는데 필요한 휘도 정보를 제공하는 역할을 한다.
또한 원 이미지 생성 모듈(302a) 상술한 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서(402a~402d)내의 정해진 위치에서 벗어난 경우, 원 이미지의 위치를 보정하고, 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정한다.
도 6은 원 이미지 생성 모듈(302a)의 원 이미지 위치 보정과 감도 불균일 보정의 방법을 도시한 도면이다.
위치가 고정된 4개의 렌즈(401a~401d)를 통해 각각 입사된 피사체의 빛은 각 렌즈(401a~401d)와 매칭되는 각 서브 이미지 센서(402a~402d) 내의 컬러 필터를 통해 해당 컬러 필터의 컬러를 갖는 영상을 형성하면, 원 이미지 생성 모듈(302a)은 각 서브 이미지 센서(402a~402d)에서 각 영상의 위치를 체크한다.
도 6에는 각 서브 이미지 센서(402a~402d)에 형성된 각 영상의 위치(601~604)가 도시되어 있다.
601은 서브 이미지 센서 402a에 형성된 영상을 도시한 것으로서, 본 발명의 실시예에서는 위치가 고정된 4개의 렌즈(401a~401d)를 소정의 픽셀만큼 이동시키지 않는 한, 601처럼 서브 이미지 센서(402a)의 중앙에 영상이 위치하는 것을 정상위치, 즉 영상의 정해진 위치라고 정의하도록 하며 점선의 사각형(605)으로 표시되어 있다..
602는 서브 이미지 센서 402b에 형성된 영상을 도시한 것으로서 정해진 위치에서 좌측 방향으로 1 픽셀만큼 이동되어 있으며, 603은 서브 이미지 센서 403b에 형성된 영상을 도시한 것으로서 정해진 위치에서 아래 방향으로 1 픽셀만큼 이동되어 있다.
604는 서브 이미지 센서 402d에 형성된 영상을 도시한 것으로서 정해진 위치에서 대각선 방향으로, 즉 우측 방향 및 아래 방향으로 1 픽셀씩 이동되어 있다.
도 6에서 보는 것처럼 각 서브 이미지 센서(402a~402d)에 영상이 정해진 위치에서 벗어나는 이유는 광학적 불일치(Optical Misalignment)가 원인일 수 있으며, 일반적으로 광학적 불일치가 발생하게 되면 서브 이미지 센서에 형성되는 영상의 위치가 정해진 위치에서 벗어나게 되므로 선명한 영상을 얻기 어렵게 된다.
이에, 본 발명의 원 이미지 생성 모듈(302a)은 광학적 불일치로 인해 정해진 위치에서 벗어난 영상을 소프트웨어적으로 보정 할 수 있다.
예를 들면, 602의 경우, 정해진 위치에서 좌측 방향으로 1 픽셀만큼 벗어났기 때문에 해당 영상을 다시 우측으로 1 픽셀을 이동하고, 603의 경우는 위 방향으로 1 픽셀을, 604의 경우는 좌즉 방향으로 1 픽셀을 이동하고 다시 위 방향으로 1 픽셀을 이동하거나, 위 방향으로 1 픽셀을 이동한 후 좌측 방향으로 1 픽셀을 이동하여 광학적 불일치로 인한 영상의 위치를 보정할 수 있다.
또한, 원 이미지 생성 모듈(302a)은 감도 불균일(Non uniformity)을 보정할 수도 있다.
다시 도 6를 참조하여 설명하도록 한다.
601에서 영상의 감도가 10, 602에서 영상의 감도가 9, 603에서 영상의 감도가 8, 604에서 영상의 감도가 7이라고 가정하면, 원 이미지 생성 모듈(302a)은 가장 낮은 감도를 갖는 604에서의 영상의 감도 7을 기준으로, 나머지 영상의 감도가 7이 되도록 조정하여 감도의 불균일을 보 정할 수 있다.
상술한 과정을 통해, 각 컬러별 이미지는 후술 될 중간 이미지 생성 모듈(302b)로 제공된다.
중간 이미지 생성 모듈(302b)은 원 이미지 생성 모듈(302a)로부터 제공받은 각 컬러별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여, 상기 컬러별 이미지보다 높은 해상도를 갖는 중간 이미지를 생성한다.
여기에서 중간 이미지란, 각 서브 이미지 센서에 형성된 각 영상들, 즉 원 이미지와 구분하기 위해 사용하는 용어로서, 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여, 원 이미지보다 높은 해상도를 갖는 이미지를 의미한다.
하지만 중간 이미지가 높은 해상도를 갖는 최종적인 이미지를 의미하는 것은 아니며, 중간 이미지는 디모자이킹 또는 디블러링과 같은 과정을 거쳐 최종 이미지 로 만들어진다.
한편, 생성된 중간 이미지는 다수의 서브 이미지 센서(402a~402d)가 배열된 이미지 센서(402)와 동일한 해상도를 갖는 것이 바람직하다.
예를 들어, 각 서브 이미지 센서(402a~402d)가 4×4의 해상도를 갖는 경우, 중간 이미지는 이미지 센서와 동일한 8×8의 해상도를 갖는 것이 바람직하다.
중간 이미지는 최종 이미지 생성 모듈(302c)로 제공된다.
최종 이미지 생성 모듈(302c)은 중간 이미지 생성 모듈(302b)로부터 제공받은 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 역할을 한다.
디스플레이 모듈(303)은 최종 이미지 생성 모듈(302c)로부터 제공된 최종 이미지를 디스플레이하는 역할을 한다.
이러한 디스플레이 모듈(303)은 예를 들어, 평판 디스플레이, 터치스크린 등의 형태로 구현될 수 있다.
도 7a 내지 7b는 본 발명의 실시예에 따른 중간 이미지 생성 방법을 도시한 도면이다.
본 도면을 참조하여 고해상도 이미지 복원 방법을 설명하기에 앞서, 도 3에 도시된 장치(300) 중 카메라 모듈(301)의 4개의 렌즈는 위치가 고정된 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동되어 위치한다고 가정한다.
여기에서 소정의 픽셀만큼의 이동은 이동 길이 및 이동 방향 모두를 포함한 것으로 실시예에 따라 달라질 수 있다.
만일, 도 7a와 같은 동일한 크기의 사각형 4개로 이루어진 피사체(701)를 카메라 모듈(301)을 사용하여 촬영한다고 할 때, 하나의 렌즈(401a)는 피사체 중 A라고 새겨진 사각형(701a)을 촬영하도록 위치가 고정되어 있고, 나머지 다른 렌즈들(401b~401c)은 각각 B(701b), C(701c), D(701d)라고 새겨진 사각형을 촬영하도록, 하나의 렌즈(401a)를 기준으로 소정의 위치만큼 이동되어 있다고 가정해보자.
여기에서 소정의 위치만큼의 이동은, 사각형 B(701b)를 촬영하는 렌즈는 사각형 A(701a)를 촬영하는 렌즈를 기준으로 우측으로 소정의 위치만큼 이동해야 할 것이며, 사각형 C(701c)를 촬영하는 렌즈는 사각형 A(701a)를 기준으로 아래 방향으로 소정의 위치만큼 이동해야 한다.
또한 사각형 D(701d)를 촬영하는 렌즈는 사각형 A(701a)를 기준으로 대각선 방항 또는 우측 방향과 아래 방향으로 소정의 위치만큼 이동해야 함을 의미한다.
각 렌즈를 통해 각 서브 이미지 센서(402a~402d)에 형성된 이미지는 각각 사각형 A, B, C, D(702a~702d)가 된다.
이때, 각 렌즈에 매칭되는 서브 이미지 센서의 화소가 각각 100만 화소라고 한다면, 사각형 A, B, C, D(702a~702d)를 촬영한 이미지를 피사체의 모양대로 배열하여 하나의 이미지로 만들 경우(도면에서 +기호로 표시), 4백만 화소를 갖는 카메라를 사용하여 상기 피사체 전체를 촬영한 이미지(704)와 동일한 화소를 갖는 이미지(703)를 생성할 수 있다.
도 7b는 본 발명의 실시예에 따른 중간 이미지 생성 방법을 도시한 도면이다.
도 7a를 참조하여 설명한 것과 같은 원리를 이용하여, 피사체(705)를 촬영하는 카메라 모듈(301)의 4개의 렌즈(401a~401d) 중 하나의 렌즈(401a)는 위치를 고정하고 나머지 다른 렌즈들(401b~401d)은 하나의 렌즈(401a)를 기준으로 각각 1 픽셀씩 이동된 픽셀부터 촬영되도록 렌즈를 이동시킨다.
즉, 하나의 렌즈(401a)를 기준으로 우측으로 1 픽셀, 아래 방향으로 1 픽셀, 대각선 방향으로 1픽셀 또는 우측 방향 그리고 아래 방향으로 1 픽셀씩 이동된 픽셀부터 촬영되도록 렌즈의 위치를 이동 시키는 것이다.
이러한 렌즈의 구조를 갖는 카메라 모듈(301)을 통해 중간 이미지 생성 모듈(302b)은 컬러 별로 획득한 원 이미지들(706)의 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 원 이미지보다 더 높은 해상도를 갖는 중간 이미지(708)를 생성한다.
최종 이미지 생성 모듈(302c) 중간 이미지 생성 모듈에서 생성된 중간 이미지(708)를 디모자이킹하고, 디모자이킹된 이미지를 디블러링하여 원 이미지를 고해상도를 갖는 최종 이미지로 복원한다.
편의상, 도 7b를 참조로 하여 설명한 이미지 생성 모듈(302)을 제 1 이미지 생성 모듈이라 칭한다.
도 8은 본 발명의 다른 실시예에 따른 이미지 생성 모듈(302)을 통한 고해상도 이미지 복원 방법을 도시한 도면이다.
카메라 모듈(301)에 대한 설명은 상술한 카메라 모듈의 설명과 동일하므로 생략하도록 한다.
한편, 이미지 생성 모듈(302)의 원 이미지 생성 모듈(302a)은 상술한 카메라 모듈(301)에서 컬러 별로 획득된 원 이미지들을 각각 복수의 픽셀 그룹으로 구분하고, 중간 이미지 생성 모듈(302b)은 도 8에 도시된 서브 이미지 센서(402a~402d)와 동일한 해상도를 갖는 제 1 중간 이미지(802)를 생성한다
여기서, 제 1 중간 이미지(802)는 도 8에 도시된 가로×세로 각각 2×2 개의 가상 픽셀들을 단위로 하는 다수의 픽셀 그룹(803~805)으로 구분될 수 있다.
여기서, 각 픽셀 그룹(803~805)은 컬러 정보 및 휘도 정보가 매핑되는 주 픽셀(803a, 804a, 805a) 및, 주 픽셀(803a, 804a, 805a)의 주변에 위치하며, 정보를 보유하지 않은 서브 픽셀들(803b, 804b, 805b)로 구분될 수 있다.
주 픽셀(803a, 804a, 805a)의 위치는 해당 픽셀 그룹(803~805)에서 다양한 위치에 지정될 수 있다.
예를 들면, 도 8과 같이, 2×2의 각 픽셀 그룹(803~805)에서, 첫 번째 행의 첫 번째 열에 해당하는 위치(803a, 804a, 805a)가 주 픽셀의 위치로 지정될 수 있고, 각 픽셀 그룹에서, 첫 번째 행의 두 번째 열에 해당하는 위치(803b, 804b, 805b)가 주 픽셀의 위치로 지정될 수도 있다.
이와 같이, 제 1 중간 이미지(802)가 생성되면, 중간 이미지 생성 모듈(302b)은 각 컬러 별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 주 픽셀에 매핑한다.
예를 들면, 중간 이미지 생성 모듈(302b)은 각 컬러별 이미지의 첫 번째 행 과 첫 번째 열에 위치한 픽셀의 픽셀 정보를 제 1 중간 이미지(802)에서 첫 번째 행과 첫 번째 열에 위치한 픽셀 그룹(803)의 주 픽셀(803a)에 매핑한다.
마찬가지로, 중간 이미지 생성 모듈(802b)은 각 컬러 별 이미지의 첫 번째 행의 두 번째 열에 위치한 픽셀의 픽셀 정보를 제 1 중간 이미지(802)에서 첫 번째 행과 두 번째 열에 위치한 픽셀 그룹(804)의 주 픽셀(804a)에 매핑한다.
또한, 중간 이미지 생성 모듈(302b)은, 각 컬러별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보 중 컬러 정보를 기반으로 휘도 정보를 산출하고, 상기 산출된 휘도 정보를 각 픽셀 그룹(803~805)의 주 픽셀(803a~803b)에 매핑한다.
예를 들면, 중간 이미지 생성 모듈(302b)은 그린, 레드 및 블루 컬러 이미지의 첫 번째 행과 첫 번째 열에 위치한 픽셀에서 제공된 컬러 정보를 기반으로 휘도 정보를 산출한다.
그리고 제 1 중간 이미지(802)에서 첫 번째 행과 첫 번째 열에 위치한 픽셀 그룹의 주 픽셀에 산출된 휘도 정보를 매핑한다.
도 8을 참조하면, 각 픽셀 그룹(803~605)의 주 픽셀(803a~803b)에는, 세개의 서브 이미지 센서(802a~802c)에서 각각 제공된 그린, 레드, 블루 컬러 정보(G, R, B), 나머지 서브 이미지 센서(402d)에서 제공된 휘도 정보를 나타내는 그레이 컬러 정보(Gr)가 매핑되어 있음을 알 수 있으며, 도 8에 도시되지 않았지만 3색의 컬러 정보로부터 검출된 휘도 정보(Y)가 더 매핑될 수 있다.
일 예로, 제 1 픽셀 그룹(803)의 주 픽셀(803a)에는, 그린 컬러 이미지에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 그린 컬러 정보, 레드 컬러 이미지 에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 레드 컬러 정보, 블루 컬러 이미지에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 블루 컬러 정보, 그레이 컬러 이미지에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 휘도 정보를 나타내는 그레이 컬러 정보 및, 3개의 컬러 정보를 기반으로 하여 검출된 휘도 정보가 매핑된다.
이와 동일하게 제 2 픽셀 그룹(804)의 주 픽셀(804a)에는, 그린 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 그린 컬러 정보, 레드 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 레드 컬러 정보, 블루 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 블루 컬러 정보, 그레이 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 휘도 정보인 그레이 컬러 및 기 제공된 3개의 컬러 정보를 기반으로 하여 검출된 휘도 정보가 매핑된다.
이로써, 중간 이미지 생성 모듈(302b)은, 각 픽셀 그룹(803~805)의 주 픽셀(803a~805a)에 3개의 컬러 정보 및 2개의 휘도 정보가 매핑된 제 2 중간 이미지(806)를 생성한다
이 후, 중간 이미지 생성 모듈(302b)은, 보간법(Interpolation)을 사용하여, 제 2 중간 이미지(806)를 보간한다.
즉, 중간 이미지 생성 모듈(302b)은 도 8에 도시된 각 픽셀 그룹(803~805)의 주 픽셀(803a~805a)이 보유한 정보들을 기반으로 하여, 서브 픽셀(803b~805b)에 기록되는 픽셀 정보를 산출한다.
이때, 중간 이미지 생성 모듈(302b)은 다양한 알고리즘에 따라 제 2 중간 이미지(806)를 보간할 수 있다.
일 예로, 제 2 중간 이미지(806)에서 각 서브 픽셀에 기록되는 픽셀 정보는 해당 서브 픽셀과 인접한 주 픽셀이 갖는 정보로부터 산출될 수 있다.
좀 더 구체적으로, 도 8에서, 제 1 픽셀 그룹(803)의 주 픽셀(803a)과 제 2 픽셀 그룹(804)의 주 픽셀(804a) 사이에 위치한 서브 픽셀(803b)에 기록되는 픽셀 정보는 두 주 픽셀(803a, 804a)이 갖는 픽셀 정보의 평균값(807)으로 지정될 수 있다.
마찬가지로, 제 2 픽셀 그룹(804)의 주 픽셀(804a)과 제 3 픽셀 그룹(805)의 주 픽셀(805a) 사이에 위치한 서브 픽셀(804b)에 기록되는 픽셀 정보는 두 주 픽셀(804a, 805a)이 갖는 픽셀 정보의 평균값(808)으로 지정될 수 있다.
이와 같은 방법에 의해 제 2 중간 이미지(806)의 보간이 이루어지면, 최종 이미지 생성 모듈(302c)은 보간된 제 2 중간 이미지(806)를 디블러링(de-blurring)한다.
그 결과, 각 서브 센싱 영역을 통해 얻어진 저해상도(즉, 서브 센싱 영역의 해상도)의 컬러별 원 이미지로부터 고해상도(즉, 서브 이미지 센서의 해상도×4)의 최종 이미지(809)를 생성한다.
편의상, 도 8을 참조로 하여 설명한 이미지 생성 모듈(302)을 제 2 이미지 생성 모듈이라 칭한다.
도 9는 본 발명의 제 2 실시예에 따른 카메라 모듈의 구조를 도시한 도면이 다.
본 발명의 제 2 실시예에 따른 카메라 모듈은 도 4a의 제 1 실시예에 따른 카메라 모듈에 비해 다음을 제외하고는 동일한 구성 요소를 갖는다.
즉, 제 2 실시예에 따른 카메라 모듈은 다수의 렌즈(901a~901d)가 서로 다른 색을 갖는다.
여기서, 다수의 렌즈(901a~901d)는 투과도에 따라 제 1 그룹과 제 2 그룹으로 구분될 수 있다.
이때, 제 2 그룹에 포함되는 렌즈는 제 1 그룹에 포함되는 렌즈에 비해 투과도가 높은 색을 갖는 것이 바람직하다.
좀 더 구체적으로, 4개의 렌즈 중 제 1 그룹에 해당하는 제 1 렌즈(901a), 제 2 렌즈(901b) 및 제 3 렌즈(901c)는 각각 그린, 레드 및 블루 컬러를 갖고, 제 2 그룹에 포함되는 제 4 렌즈(901d)는 그린, 레드 및 블루 컬러에 비해 투과도가 높은 색, 예를 들면 그레이 컬러를 갖는 것이 바람직하다.
이와 같이, 다수의 렌즈(901a~901d)가 각각 서로 다른 색을 갖는 경우, 각 서브 이미지 센서(902a~902d)에는 별도의 컬러 필터층이 형성되지 않는다.
그리고, 이미지 센서(902)는 각 렌즈(901a~901d)에 대응하는 서브 이미지 센서(902a~902d)로 분할되며 각 렌즈(901a~901d)에 의해 컬러별로 분리된 이미지를 획득 할 수 있다.
상기 컬러별로 분리된 영상은 도 3에 도시된 이미지 생성 모듈(302)을 통해 카메라 모듈(301)로부터 컬러별로 분리된 다수의 이미지를 제공받아, 최종 이미지 를 생성하고 디스플레이 모듈(303)을 통해 디스플레이된다.
최종 이미지를 생성하는 이미지 생성 모듈(302)에 관한 설명은 도 3 내지 도 8을 참조하여 설명한 내용과 동일하다.
다음으로, 도 10 내지 도 11을 참조하여 본 발명의 실시예에 따른 고해상도 이미지 복원 방법을 설명하도록 한다.
여기서, 도 10은 도 4a에 도시된 구조의 카메라 모듈과 도 7b를 참조로 하여 설명한 제 1 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.
먼저, 설명의 편의를 위해 도 7b에서 이미지 센서(402)를 구성하는 서브 이미지 센서(402a~402d) 내에 각각 그린, 레드, 블루 및 그레이 컬러 필터가 포함되어 있고, 이미지 센서(402)는 가로×세로가 8×8개의 픽셀로 구성되며, 이미지 센서(402)를 구성하는 각각의 서브 이미지 센서(402a~402d)는 가로×세로가 4×4개의 픽셀로 이루어진다고 가정한다.
피사체(705)에서 반사된 빛은 4개의 렌즈(401a~401d)를 통해 각각 집광된다(S1001).
각 렌즈(401a~401d)를 통해 집광된 빛은 각 렌즈(401a~401d)와 매칭되는 각 서브 이미지 센서(402a~402d) 내에 포함된 컬러 필터를 투과하게 된다(S1002).
그 결과, 각 서브 이미지 센서(402a~402d)에 컬러별로 분리된 다수의 이미지가 획득된다(S1003).
이때, 각 서브 이미지 센서(402a~402d)에 의해 획득된 이미지는 이미지 센 서(402)의 해상도에 비해 1/4에 해당하는 해상도를 갖게 된다.
즉, 이미지 센서(402)의 해상도가 8×8 이므로, 각 서브 이미지 센서(402a~402d)에 의해 획득된 이미지는 4×4의 해상도를 갖는 것이다.
S1003 후, 이미지 생성 모듈(302)은 S1003에서 획득된 다수의 원 이미지들(706)이 각 서브 이미지 센서(401a~401d)에서 정해진 위치에 존재하는지를 체크한다(S1004).
체크 결과, 정해진 위치에서 벗어났다면 정해진 위치에 원 이미지가 위치하도록 위치를 보정한다(S1005).
만일 원 이미지가 정해진 위치에 존재한다면 이미지 생성 모듈(302)은 다수의 원 이미지들(706)의 감도를 체크한다(S1006).
체크 결과, 감도가 불균일 할 경우, 이미지 생성 모듈은 원 이미지들 중 가장 낮은 감도를 기준으로 원 이미지들의 감도를 보정한다(S1007).
만일 감도가 일정하다면, 이미지 생성 모듈(302)은 다수의 컬러 별 이미지를 입력받아 원 이미지를 생성하고 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 각 컬러별 원 이미지보다 고해상도를 갖는 중간 이미지(708)를 생성한다(S1008).
S1008 후, 중간 이미지를 디모자이킹하고(S1009), 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성한다(S1010).
S1010 후, 이미지 생성 모듈(302)에 의해 생성된 최종 이미지는 디스플레이 모듈(303)을 통해 디스플레이 된다(S1011).
도 11은 도 4a에 도시된 구조의 카메라 모듈과 도 8를 참조로 하여 설명한 제 2 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.
먼저, 도 4a에서 도시된 장치의 카메라 모듈(301)로부터 다수의 컬러 별 원 이미지가 제공되는 과정은 도 10에 도시된 S1001~S1007과 동일하며, 원 이미지 생성 모듈(302a)은 원 이미지를 도 8에 도시된 가로×세로, 각각 2×2 개의 가상 픽셀들을 단위로 하는 다수의 픽셀 그룹(303~305)으로 구분한다(S1101).
S1101 후, 중간 이미지 생성 모듈(302b)은 도 8에 도시된 이미지 센서(402)와 동일한 해상도를 갖는 제 1 중간 이미지(802)를 생성한다(S1102).
제 1 중간 이미지(802)가 생성되면, 중간 이미지 생성 모듈(302b)은 각 컬러 별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 주 픽셀에 매핑한다.(S1103)
S1103 후, 중간 이미지 생성 모듈(302b)은, 각 픽셀 그룹(803~805)의 주 픽셀(803a~805a)에 3개의 컬러 정보 및 2개의 휘도 정보가 매핑된 제 2 중간 이미지(806)를 생성한다(S1104).
이 후, 중간 이미지 생성 모듈(302b)은, 보간법(Interpolation)을 사용하여, 제 2 중간 이미지(806)를 보간한다(S1105).
이와 같은 방법에 의해 제 2 중간 이미지(806)의 보간이 이루어지면, 최종 이미지 생성 모듈(302c)은 보간된 제 2 중간 이미지(806)를 디블러링(de-blurring)한다(S1106).
그 결과, 각 서브 센싱 영역을 통해 얻어진 저해상도(즉, 서브 센싱 영역의 해상도)의 컬러별 원 이미지로부터 고해상도(즉, 서브 이미지 센서의 해상도×4)의 최종 이미지(809)를 생성하고, 디스플레이 모듈(303)을 통해 디스플레이 된다(S1107).
한편, 도 9에 도시된 구조의 카메라 모듈과 도 7b를 통해 설명한 제 1 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법은 도 10에 도시된 S1001~S1007의 내용에서, 컬러 필터 대신 컬러 렌즈를 통해서 빛을 집광하고 서브 이미지 센서에 컬러별로 분리된 원 이미지를 획득한다는 차이를 제외하고 모두 동일하며, 도 8을 통해 설명한 제 2 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법도 도 11에 도시된 S1001~S1007의 내용에서, 컬러 필터 대신 컬러 렌즈를 통해서 빛을 집광하고 서브 이미지 센서에 컬러별로 분리된 원 이미지를 획득한다는 내용이 적용되어, 결국 도 11 에 도시된 이미지 복원 방법과 모두 동일하다.
지금까지 상술한 내용을 종합해 보면, 도 2에 도시된 렌즈보다 상대적으로 작은 렌즈 4개의 렌즈와 상대적으로 작은 초점거리 그리고 도 2에 도시된 400만 픽셀의 이미지 센서보다 상대적으로 적은 수의 픽셀인 100만 픽셀을 갖는 이미지 센서 4개를 포함하는 디지털 카메라 구조는, F넘버가 동일하기 때문에 도 2에 도시된 400만 픽셀의 영상과 동일한 영상의 밝기를 갖게 되며 소정의 과정을 거쳐 도 4에 도시된 이미지 센서의 100만 픽셀 영상 4개를 이용하여, 도 2에 도시된 400만 픽셀의 영상과 동등한 해상도를 갖는 영상을 복원할 수 있다.
상대적으로 작은 렌즈와 작은 초점 거리를 갖는 구조이기 때문에 디지털 카메라의 소형화와 슬림화를 달성하면서 동등한 해상도를 갖는 영상을 얻게 되는 것 이다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
상기한 바와 같은 본 발명의 디지털 카메라 모듈에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감소시켜 디지털 카메라가 내장되는 소형 디지털 기기의 소형화 및 슬림화에 기여하는 장점이 있다.
소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감소시키면서도 고해상도의 이미지를 제공할 수 있는 장점도 있다.
고해상도 영상을 표현 시 광학적 불일치과 감도 불균일을 쉽게 보정할 수 있는 장점도 있다.
서로 다른 투과도를 갖는 컬러필터를 사용함으로써, 이미지 센서의 구조 변경 없이도 고감도 센싱 영역과 저감도 센싱 영역을 동시에 구현할 수 있다는 장점도 있다.
디지털 카메라가 내장되는 소형 디지털 기기의 설계 자유도를 증가 시키는 장점도 있다.

Claims (44)

  1. 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원 이미지를 획득하는 카메라 모듈;
    상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 모듈;
    상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 모듈; 및
    상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함하는 고해상도 이미지 복원 장치.
  2. 제 1항에 있어서,
    상기 다수의 렌즈는 각 렌즈의 위치가 고정되거나 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동하여 피사체에서 반사된 빛을 집광하는 고해상도 이미지 복원 장치.
  3. 제 1항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보정하는 고해상도 이미지 복원 장치.
  4. 제 1항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 장치.
  5. 제 1항에 있어서,
    상기 컬러 필터는 컬러의 투과도에 따라 제 1 필터 영역과 제 2 필터 영역으로 구분되고 상기 제 2 필터 영역에 코팅되는 컬러의 투과도는 상기 제 1 필터 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 장치.
  6. 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈;
    상기 각 컬러별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 모듈;
    상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 모듈; 및
    상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 모듈을 포함하는 고해상도 이미지 복원 장치.
  7. 제 6항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보정하는 고해상도 이미지 복원 장치.
  8. 제 6항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 장치.
  9. 제 6항에 있어서,
    상기 컬러 필터는 컬러의 투과도에 따라 제 1 필터 영역과 제 2 필터 영역으 로 구분되고 상기 제 2 필터 영역에 코팅되는 컬러의 투과도는 상기 제 1 필터 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 장치.
  10. 제 6항에 있어서,
    상기 픽셀 그룹은 상기 컬러 필터의 배열 패턴에 대응하는 복수의 픽셀을 포함하는 고해상도 이미지 복원 장치.
  11. 제 6항에 있어서,
    상기 픽셀 정보는, 상기 제 1 필터 영역에 매칭되는 서브 이미지 센서에서 제공된 휘도 정보 및 상기 제 2 필터 영역에 매칭되는 서브 이미지 센서에서 제공된 컬러 정보를 포함하는 고해상도 이미지 복원 장치.
  12. 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈;
    상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 모듈;
    상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 모듈; 및
    상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함하는 고해상도 이미지 복원 장치.
  13. 제 12항에 있어서,
    상기 다수의 렌즈는 각 렌즈의 위치가 고정되거나 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동하여 피사체에서 반사된 빛을 집광하는 고해상도 이미지 복원 장치.
  14. 제 12항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보정하는 고해상도 이미지 복원 장치.
  15. 제 12항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 장치.
  16. 제 12항에 있어서,
    상기 컬러 렌즈는 컬러의 투과도에 따라 제 1 렌즈 영역과 제 2 렌즈 영역으로 구분되고 상기 제 2 렌즈 영역에 코팅되는 컬러의 투과도는 상기 제 1 렌즈 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 장치.
  17. 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈;
    상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 모듈;
    상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 모듈; 및
    상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 모듈을 포함하는 고해상도 이미지 복원 장치.
  18. 제 17항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보 정하는 고해상도 이미지 복원 장치.
  19. 제 17항에 있어서,
    상기 원 이미지 생성 모듈은 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 장치.
  20. 제 17항에 있어서,
    상기 컬러 렌즈는 컬러의 투과도에 따라 제 1 렌즈 영역과 제 2 렌즈 영역으로 구분되고 상기 제 2 렌즈 영역에 코팅되는 컬러의 투과도는 상기 제 1 렌즈 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 장치.
  21. 제 17항에 있어서,
    상기 픽셀 그룹은 상기 컬러 렌즈의 배열 패턴에 대응하는 복수의 픽셀을 포함하는 고해상도 이미지 복원 장치.
  22. 제 17항에 있어서,
    상기 픽셀 정보는, 상기 제 1 렌즈 영역에 매칭되는 서브 이미지 센서에서 제공된 휘도 정보 및 상기 제 2 렌즈 영역에 매칭되는 서브 이미지 센서에서 제공 된 컬러 정보를 포함하는 고해상도 이미지 복원 장치.
  23. 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계;
    상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 단계;
    상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 단계; 및
    상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 단계 포함하는 고해상도 이미지 복원 방법.
  24. 제 23항에 있어서,
    상기 다수의 렌즈는 각 렌즈의 위치가 고정되거나 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동하여 피사체에서 반사된 빛을 집광하는 고해상도 이미지 복원 방법.
  25. 제 23항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보정하는 고해상도 이미지 복원 방법.
  26. 제 23항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 방법.
  27. 제 23항에 있어서,
    상기 컬러 필터는 컬러의 투과도에 따라 제 1 필터 영역과 제 2 필터 영역으로 구분되고 상기 제 2 필터 영역에 코팅되는 컬러의 투과도는 상기 제 1 필터 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 방법.
  28. 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러 필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계;
    상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 단계;
    상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 단계; 및
    상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 단계를 포함하는 고해상도 이미지 복원 방법.
  29. 제 28항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보정하는 고해상도 이미지 복원 방법.
  30. 제 28항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 방법.
  31. 제 28항에 있어서,
    상기 컬러 필터는 컬러의 투과도에 따라 제 1 필터 영역과 제 2 필터 영역으 로 구분되고 상기 제 2 필터 영역에 코팅되는 컬러의 투과도는 상기 제 1 필터 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 방법.
  32. 제 28항에 있어서,
    상기 픽셀 그룹은 상기 컬러 필터의 배열 패턴에 대응하는 복수의 픽셀을 포함하는 고해상도 이미지 복원 방법.
  33. 제 28항에 있어서,
    상기 픽셀 정보는, 상기 제 1 필터 영역에 매칭되는 서브 이미지 센서에서 제공된 휘도 정보 및 상기 제 2 필터 영역에 매칭되는 서브 이미지 센서에서 제공된 컬러 정보를 포함하는 고해상도 이미지 복원 방법.
  34. 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계;
    상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 단계;
    상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 단계; 및
    상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디 블러링하여 최종 이미지를 생성하는 최종 이미지 생성 단계를 포함하는 고해상도 이미지 복원 방법.
  35. 제 34항에 있어서,
    상기 다수의 렌즈는 각 렌즈의 위치가 고정되거나 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동하여 피사체에서 반사된 빛을 집광하는 고해상도 이미지 복원 방법.
  36. 제 34항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보정하는 고해상도 이미지 복원 방법.
  37. 제 34항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 방법.
  38. 제 34항에 있어서,
    상기 컬러 렌즈는 컬러의 투과도에 따라 제 1 렌즈 영역과 제 2 렌즈 영역으로 구분되고 상기 제 2 렌즈 영역에 코팅되는 컬러의 투과도는 상기 제 1 렌즈 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 방법.
  39. 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계;
    상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 단계;
    상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 단계; 및
    상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 단계를 포함하는 고해상도 이미지 복원 방법.
  40. 제 39항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서내의 정해진 위치에서 벗어난 경우, 상기 원 이미지의 위치를 보정하는 고해상도 이미지 복원 방법.
  41. 제 39항에 있어서,
    상기 원 이미지 생성 단계는 상기 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 상기 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정하는 고해상도 이미지 복원 방법.
  42. 제 39항에 있어서,
    상기 컬러 렌즈는 컬러의 투과도에 따라 제 1 렌즈 영역과 제 2 렌즈 영역으로 구분되고 상기 제 2 렌즈 영역에 코팅되는 컬러의 투과도는 상기 제 1 렌즈 영역에 코팅되는 컬러의 투과도보다 높은 고해상도 이미지 복원 방법.
  43. 제 39항에 있어서,
    상기 픽셀 그룹은 상기 컬러 렌즈의 배열 패턴에 대응하는 복수의 픽셀을 포함하는 고해상도 이미지 복원 방법.
  44. 제 39항에 있어서,
    상기 픽셀 정보는, 상기 제 1 렌즈 영역에 매칭되는 서브 이미지 센서에서 제공된 휘도 정보 및 상기 제 2 렌즈 영역에 매칭되는 서브 이미지 센서에서 제공된 컬러 정보를 포함하는 고해상도 이미지 복원 방법.
KR1020060105348A 2006-06-26 2006-10-27 고해상도 이미지 복원 장치 및 방법 KR100781552B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07110864A EP1874034A3 (en) 2006-06-26 2007-06-22 Apparatus and method of recovering high pixel image
JP2007166290A JP2008011529A (ja) 2006-06-26 2007-06-25 高解像度イメージ復元装置及び方法
US11/819,317 US20080122946A1 (en) 2006-06-26 2007-06-26 Apparatus and method of recovering high pixel image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060057660 2006-06-26
KR1020060057660 2006-06-26

Publications (1)

Publication Number Publication Date
KR100781552B1 true KR100781552B1 (ko) 2007-12-05

Family

ID=39011894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060105348A KR100781552B1 (ko) 2006-06-26 2006-10-27 고해상도 이미지 복원 장치 및 방법

Country Status (2)

Country Link
KR (1) KR100781552B1 (ko)
CN (1) CN101098399A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100935392B1 (ko) * 2008-01-29 2010-01-06 중앙대학교 산학협력단 조리개 장치 및 이를 구비한 촬상장치, 컬러 채널의 이동을기반으로 한 자동초점복원장치 및 방법
KR101086501B1 (ko) * 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
KR101216668B1 (ko) 2011-03-17 2012-12-28 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법
WO2014171675A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Method of processing image and electronic device and system supporting the same
KR20160148635A (ko) * 2014-05-27 2016-12-26 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
KR20200098032A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US10868957B2 (en) 2018-10-18 2020-12-15 Samsung Electronics Co., Ltd. Apparatus and method for processing image to reconstruct image
KR20240047294A (ko) 2022-10-04 2024-04-12 오영식 이동하는 카메라로 다중 촬영한 사진들의 해상도 향상 방법, 장치, 및 시스템
US11988849B2 (en) 2022-01-18 2024-05-21 Samsung Electronics Co., Ltd. Imaging device and method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326069B2 (en) 2008-06-30 2012-12-04 Intel Corporation Computing higher resolution images from multiple lower resolution images
US9137503B2 (en) 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
CN102547080B (zh) * 2010-12-31 2015-07-29 联想(北京)有限公司 摄像模组以及包含该摄像模组的信息处理设备
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN104350743B (zh) * 2012-05-11 2017-10-13 英特尔公司 用于混合图像去马赛克和扭曲的***，方法和计算机程序产品
US9280803B2 (en) * 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images
CN105847770B (zh) * 2015-01-15 2017-08-08 展讯通信（上海）有限公司 图像处理芯片以及该芯片中图像数据的缓存方法
CN108769635B (zh) * 2018-05-30 2020-01-21 Oppo（重庆）智能科技有限公司 拍摄装置、电子设备及图像获取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030001111A (ko) * 2001-06-28 2003-01-06 주식회사 하이닉스반도체 이미지센서
KR20050103027A (ko) * 2004-04-23 2005-10-27 매그나칩 반도체 유한회사 노치 필터를 갖는 이미지센서 및 그 제조 방법
KR20060006202A (ko) * 2004-07-15 2006-01-19 동부아남반도체 주식회사 씨모스 이미지 센서 및 그의 제조 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030001111A (ko) * 2001-06-28 2003-01-06 주식회사 하이닉스반도체 이미지센서
KR20050103027A (ko) * 2004-04-23 2005-10-27 매그나칩 반도체 유한회사 노치 필터를 갖는 이미지센서 및 그 제조 방법
KR20060006202A (ko) * 2004-07-15 2006-01-19 동부아남반도체 주식회사 씨모스 이미지 센서 및 그의 제조 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100935392B1 (ko) * 2008-01-29 2010-01-06 중앙대학교 산학협력단 조리개 장치 및 이를 구비한 촬상장치, 컬러 채널의 이동을기반으로 한 자동초점복원장치 및 방법
KR101086501B1 (ko) * 2008-11-26 2011-11-25 주식회사 하이닉스반도체 이미지 데이터 프로세싱 방법, 이미지센서 및 집적회로
KR101216668B1 (ko) 2011-03-17 2012-12-28 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 카메라에 의해 촬영된 영상의 객체정보 추정장치 및 방법
WO2014171675A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Method of processing image and electronic device and system supporting the same
KR20160148635A (ko) * 2014-05-27 2016-12-26 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
KR101869637B1 (ko) * 2014-05-27 2018-06-20 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
US10554880B2 (en) 2014-05-27 2020-02-04 Ricoh Company, Ltd. Image processing system, imaging apparatus, image processing method, and computer-readable storage medium
US10868957B2 (en) 2018-10-18 2020-12-15 Samsung Electronics Co., Ltd. Apparatus and method for processing image to reconstruct image
KR20200098032A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102632474B1 (ko) 2019-02-11 2024-02-01 삼성전자주식회사 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서
US11988849B2 (en) 2022-01-18 2024-05-21 Samsung Electronics Co., Ltd. Imaging device and method
KR20240047294A (ko) 2022-10-04 2024-04-12 오영식 이동하는 카메라로 다중 촬영한 사진들의 해상도 향상 방법, 장치, 및 시스템

Also Published As

Publication number Publication date
CN101098399A (zh) 2008-01-02

Similar Documents

Publication Publication Date Title
KR100781552B1 (ko) 고해상도 이미지 복원 장치 및 방법
JP2008011529A (ja) 高解像度イメージ復元装置及び方法
US10158832B2 (en) Lens and color filter arrangement, super-resolution camera system and method
JP5538553B2 (ja) 固体撮像素子及び撮像装置
EP2351354B1 (en) Extended depth of field for image sensor
KR100827242B1 (ko) 이미지 복원 방법 및 장치
JP6817960B2 (ja) ライトフィールドコンテンツを処理する方法及び装置
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
KR100772910B1 (ko) 디지털 카메라 모듈
CN101981938B (zh) 摄像装置和光轴控制方法
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
JP5701785B2 (ja) カメラモジュール
JP5937690B2 (ja) 撮像装置及びその制御方法
JP2004146619A (ja) 画像入力装置
US20100302418A1 (en) Four-channel color filter array interpolation
CN110463197B (zh) 增强立体相机成像***中的空间分辨率
JP5404376B2 (ja) カメラモジュール及び画像処理装置
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
CN103597811B (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
CN103458162B (zh) 用于分区图像传感器的透镜阵列
JP4642816B2 (ja) 画質が向上するイメージセンサ及びこれを用いたイメージ感知方法
CN105323423A (zh) 图像处理方法、图像处理装置及摄像装置
JP5640383B2 (ja) 撮像装置
US9584722B2 (en) Electronic device, method for generating an image and filter arrangement with multi-lens array and color filter array for reconstructing image from perspective of one group of pixel sensors
CN111727453B (zh) 用于去马赛克的滤波器阵列

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee