KR100827242B1

KR100827242B1 - 이미지 복원 방법 및 장치

Info

Publication number: KR100827242B1
Application number: KR1020060105349A
Authority: KR
Inventors: 성기영; 김성수; 박두식; 이호영; 김창용
Original assignee: 삼성전기주식회사
Priority date: 2006-06-26
Filing date: 2006-10-27
Publication date: 2008-05-07
Also published as: KR20070122347A; US20080030596A1; EP1873713A3; EP1873713A2; CN101106641B; JP2008011532A; CN101106641A

Abstract

소형화된 카메라 모듈을 통해 획득한 이미지를 고해상도의 이미지로 복원하는 이미지 복원 방법 및 장치가 제공된다.

본 발명의 실시예에 따른 이미지 복원 방법은, 복수의 렌즈 및 상기 렌즈에 각각 대응하는 복수의 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 컬러별로 분리된 복수의 원 이미지를 획득하는 단계, 상기 센싱 영역에 대응하며, 복수의 픽셀 그룹으로 구분되는 제1 중간 이미지를 생성하는 단계, 상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 제1 중간 이미지에서 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 제2 중간 이미지를 생성하는 단계 및, 상기 제2 중간 이미지를 보간하여 최종 이미지를 생성하는 단계를 포함하는데, 상기 픽셀 그룹은 상기 컬러필터의 배열 패턴에 대응하는 복수의 픽셀을 포함한다.

이미지 센서 모듈(Image Sensor Module; ISM), 컬러필터(color filter), 소형화, 고해상도

Description

이미지 복원 방법 및 장치{Method and apparatus for image processing}

도 1은 종래 카메라 모듈의 원리를 나타내는 도면이다.

도 2는 본 발명의 실시예에 따른 이미지 복원 장치의 구조를 도시한 블록도이다.

도 3은 본 발명의 제1 실시예에 따른 카메라 모듈의 내부 구조를 도시한 사시도이다.

도 4a 내지 도 4c는 도 3의 필터부의 구조에 대한 다양한 실시예들을 예시한 예시도이다.

도 5는 도 4c에 도시된 필터부의 공정 과정을 예시한 예시도이다.

도 6은 도 3의 이미지 센서부를 구성하는 단위 픽셀에 대한 단면도이다.

도 7a 및 도 7b는 도 6의 마이크로 렌즈에 기울어져 입사하는 광의 수렴정도를 마이크로 렌즈와 수광소자 사이의 거리에 따라 나타낸 도면이다.

도 8은 도 3의 각 서브 센싱 영역 상에 형성된 컬러별 원 이미지를 예시한 도면이다.

도 9a 및 도 9b는 본 발명의 실시예에 따른 이미지 복원 방법을 설명하기 위한 도면이다.

도 10a 및 도 10b는 제1 실시예에 따른 최종 이미지 생성 단계 S840을 보다 구체적으로 도시한 도면이다.

도 11a 및 도 11b는 제2 실시예에 따른 최종 이미지 생성 단계 S840을 보다 구체적으로 도시한 도면이다.

도 12는 본 발명의 제2 실시예에 따른 카메라 모듈의 내부 구조를 도시한 사시도이다.

<도면의 주요 부분에 대한 부호의 설명>

10: 피사체 100: 이미지 복원 장치

200: 카메라 모듈 300: 렌즈부

400: 필터부 410: 제1 서브 필터링 영역

420: 제2 서브 필터링 영역 430: 제3 서브 필터링 영역

440: 제4 서브 필터링 영역 470G: 녹색 컬러필터

480R: 적색 컬러필터 500: 이미지 센서부

510: 제1 서브 센싱 영역 520: 제2 서브 센싱 영역

530: 제3 서브 센싱 영역 540: 제4 서브 센싱 영역

560: 수광소자 570a, 570b: 소자 분리막

580a, 580b: 절연층 590: 금속 배선층

595: 마이크로 렌즈 800: 신호처리부

810: 입력 모듈 820: 중간 이미지 생성모듈

830: 최종 이미지 생성 모듈 900: 디스플레이 모듈

본 발명은 이미지 복원 방법에 관한 것으로, 보다 상세하게는 소형화된 카메라 모듈을 통해 획득한 이미지를 고해상도의 이미지로 복원하는 방법에 대한 것이다.

디지털 카메라, 카메라 폰 등과 같이 고해상도의 카메라 모듈을 포함하는 디지털 장치들의 보급이 확산되고 있다. 카메라 모듈은 일반적으로 렌즈 및 이미지 센서를 포함하여 구성된다. 여기서, 렌즈는 피사체에서 반사된 빛을 모으는 역할을 하며, 이미지 센서는 렌즈에 의해 모아진 빛을 검지(檢知)하여 전기적인 영상신호로 변환하는 역할을 한다. 이미지 센서는 크게 촬상관(撮像管)과 고체이미지센서로 나눌 수 있으며, 고체이미지센서의 대표적인 예로써 전하결합소자(Charge Coupled Device; CCD), 금속산화물반도체(Metal Oxide Silicon; MOS)를 예로 들 수 있다.

도 1은 종래 카메라 모듈의 원리를 설명하기 위한 도면이다.

카메라 모듈에서는, 구경비(口徑比)가 클수록 밝은 상을 얻을 수 있으며, F수(F/#)가 클수록 선명하고 깨끗한 상을 얻을 수 있다. 여기서 구경비는, 렌즈의 구경 D를 초점거리 f로 나눈 값 즉, D/f를 의미하는 것으로서, 상의 밝기는 구경비의 제곱에 비례한다. 이에 비해 F수는, 구경비의 역수 즉, f/D를 의미한다. F수가 클수록 카메라 모듈의 이미지 센서에 도달하는 단위 면적당 광량은 감소하며, F수가 작을수록 이미지 센서에 도달하는 단위 면적당 광량은 증가하여 밝고 해상도가 좋은 영상을 얻게 된다.

도 1에 도시된 바와 같이, 렌즈의 구경이 클수록 해상도가 높아지는 장점이 있으나, 물체의 상이 맺히기 위한 초점거리가 길어지므로 카메라 모듈을 소형화하는데 한계가 있다. 이와 반대로 렌즈의 구경이 작은 경우, 물체의 상이 맺히기 위한 초점거리 역시 감소하므로 카메라 모듈을 소형화할 수는 있으나, 고해상도의 이미지를 얻기 어렵다는 문제가 있다.

이에 여러 발명(예를 들면, 한국공개특허 2003-0084343, ‘초점거리 확보를 위한 시모스 이미지센서의 제조방법’)이 제시되었으나, 상술한 문제는 여전히 해결하고 있지 못하다.

본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 소형화된 카메라 모듈을 통해 얻은 저해상도의 이미지로부터 고해상도의 이미지를 복원할 수 있는 이미지 복원 방법 및 장치를 제공하는데 그 목적이 있다.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여 본 발명의 일 실시예에 이미지 복원 방법은, 복수의 렌즈 및 상기 렌즈에 각각 대응하는 복수의 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 컬러별로 분리된 복수의 원 이미지를 획득하는 단계, 상기 센싱 영역에 대응하며, 복수의 픽셀 그룹으로 구분되는 제1 중간 이미지를 생성하는 단계, 상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 제1 중간 이미지에서 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 제2 중간 이미지를 생성하는 단계 및, 상기 제2 중간 이미지를 보간하여 최종 이미지를 생성하는 단계를 포함하는데, 상기 픽셀 그룹은 상기 컬러필터의 배열 패턴에 대응하는 복수의 픽셀을 포함한다.

또한, 상기 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 이미지 복원 방법은, 복수의 렌즈 및 상기 렌즈에 각각 대응하는 복수의 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 컬러별로 분리된 복수의 원 이미지를 획득하는 단계, 상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 컬러필터의 배열 패턴에 따라 재배치하여 중간 이미지를 생성하는 단계 및, 상기 중간 이미지를 디모자이킹하여 최종 이미지를 생성하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 이미지 복원 장치는, 복수의 렌즈 및 상기 렌즈에 각각 대응하는 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 획득된 컬러별로 분리된 복수의 원 이미지를 입력받는 입력 모듈, 상기 센싱 영역에 대응하며, 복수의 픽셀 그룹으로 구분되는 제1 중간 이미지를 생성하고, 상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 제1 중간 이미지에서 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 제2 중간 이미지를 생성하는 중간 이미지 생성 모듈 및, 상기 제2 중간 이미지를 보간하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함하는데, 상기 픽셀 그룹은 상기 컬러필터의 배열 패턴에 대응하는 복수의 픽셀을 포함한다.

또한, 상기 목적을 달성하기 위하여 본 발명의 다른 실시예에 따른 이미지 복원 장치는, 입사되는 빛을 집광하기 위한 서로 다른 색상의 복수의 렌즈를 포함하고, 상기 각 렌즈의 영역에 대응하는 복수의 이미지 센싱 영역을 통해 컬러별로 분리된 복수의 원 이미지를 획득하는 카메라 모듈 및, 상기 복수의 원 이미지를 기반으로 최종 이미지를 생성하는 이미지 생성 모듈을 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있으며, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 이미지 복원 장치 및 방법에 대해서 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 이미지 복원 장치(100)의 구조를 도시한 블록도이다. 도시된 이미지 복원 장치(100)는 입사되는 빛을 집광하여 컬러별로 분리된 복수의 원 이미지를 생성하는 카메라 모듈(200), 카메라 모듈(200)에서 제공된 컬러별 원 이미지를 기반으로 하여 최종 이미지를 생성하는 이미지 생성 모 듈(800) 및 이미지 생성 모듈(800)에서 제공된 최종 이미지를 디스플레이하는 디스플레이 모듈(900)을 포함한다.

먼저, 도 3 내지 도 7b를 참조하여 카메라 모듈(200)에 대해 설명하기로 한다.

도 3은 본 발명의 제1 실시예에 따른 카메라 모듈(200)을 도시한 사시도이다. 도시된 카메라 모듈(200)은 렌즈부(300), 필터부(400) 및 이미지 센서부(500)를 포함한다.

렌즈부(300)는 입사되는 빛을 집광하는 복수의 렌즈(310, 320, 330, 340)를 포함할 수 있다. 여기서, 렌즈의 개수는 제한되지 않으며, 복수의 렌즈(310, 320, 330, 340)는 동일 평면 상에 다양한 형태로 배치될 수 있다. 예를 들면, 복수의 렌즈(310, 320, 330, 340)는 가로 방향 또는 세로 방향으로 일렬로 배치되거나, 가로×세로의 행렬 형태로 배치될 수 있다. 이하, 본 명세서에서는 설명의 편의상, 렌즈부(300)가 4개의 렌즈를 포함하며, 가로×세로 2×2의 형태로 배치된 경우를 실시예로 하여 설명하도록 한다.

또한, 각 렌즈(310, 320, 330, 340)들은 서로 동일한 위치에 존재하거나, 서로 다른 위치에 존재할 수 있다. 예를 들어, 상기 각 렌즈(310, 320, 330, 340)가 모두 기준 위치에 존재하는 경우, 상기 각 렌즈(310, 320, 330, 340)의 위치는 서로 동일한 것으로 간주될 수 있다. 여기서, 기준 위치란, 소정 렌즈가 대응되는 서브 필터링 영역의 중심을 의미한다. 이와는 다르게, 제1 렌즈(310)는 기준 위치에서 오른쪽으로 한 픽셀만큼 이동된 위치에 존재하고, 제2 렌즈(320)는 기준 위치 에, 제3 렌즈(330)는 기준 위치에서 아래쪽으로 한 픽셀만큼 이동된 위치에, 그리고 제4 렌즈(340)는 기준 위치에서 오른쪽 아래의 대각선 방향으로 이동된 위치에 존재할 수 있다.

필터부(400)는 복수의 렌즈(310, 320, 330, 340)에 의해 집광된 빛을 필터링하여 원래의 기본 색으로 구현하는 역할을 한다. 이를 위해 필터부(400)는, 복수의 렌즈(310, 320, 330, 340)에 대응하며, 서로 다른 색상의 컬러필터가 형성되는 복수의 서브 필터링 영역(410, 420, 430, 440)으로 이루어지는 것이 바람직하다. 예를 들어, 앞서 언급한 바와 같이, 렌즈부(300)가 2×2의 행렬 형태로 배치된 4개의 렌즈를 포함하는 경우, 필터부(400)는 2×2 형태로 배치된 제1 서브 필터링 영역(410), 제2 서브 필터링 영역(420), 제3 서브 필터링 영역(430) 및 제4 서브 필터링 영역(440)을 갖는다.

또한, 필터링 영역은 각 서브 필터링 영역에 형성되는 컬러필터의 투과도에 따라 제1 필터링 영역(410, 420, 430)과 제2 필터링 영역(440)으로 구분될 수 있다. 이 때, 제1 필터링 영역은 복수의 서브 필터링 영역을 포함할 수 있다. 이에 비해 제2 필터링 영역은 단일 서브 필터링 영역을 포함한다.

본 발명의 실시예에 따라, 제2 필터링 영역에 해당하는 서브 필터링 영역에는, 제1 필터링 영역에 해당하는 서브 필터링 영역에 형성된 컬러필터에 비해 투과도가 높은 컬러필터가 형성되는 것이 바람직하다. 예를 들면, 제1 필터링 영역에 포함되는 제1 서브 필터링 영역(410)에는 적색 컬러필터가, 제2 서브 필터링 영역(420)에는 녹색 컬러필터가, 제3 서브 필터링 영역(430)에는 청색 컬러필터가 형 성되는 것이 바람직하다. 이에 비해 제2 필터링 영역에 포함되는 제4 서브 필터링 영역(440)에는 적색, 녹색 및 청색에 비해 투과도가 높은 색 예를 들면, 회색 컬러필터가 형성되는 것이 바람직하다. 전술한 예에서, 각각의 컬러필터는 청색, 적색 및 녹색의 순서로 투과도가 높아지며, 회색 컬러필터는 녹색 컬러필터보다 더 높은 투과도를 갖는다.

다른 실시예에 따라, 제4 서브 필터링 영역(440)에는 회색 이외의 컬러필터가 형성될 수도 있다. 예를 들면, 흰색(white; no color filter), 노란색, 시안(cyan) 및 마젠타(magenta) 중 어느 하나의 색을 갖는 컬러필터가 형성될 수 있다. 그러나 제4 서브 필터링 영역에 형성되는 컬러필터의 색은 전술한 예로 한정되는 것은 아니며, 제1 필터링 영역의 서브 필터링 영역에 형성된 컬러필터에 비해 높은 투과도를 갖는 컬러필터라면, 본 발명의 범주에 속하는 것으로 볼 수 있다.

이와 같이, 제2 필터링 영역(440)에 해당하는 서브 필터링 영역에, 제1 필터링 영역(410, 420, 430)에 해당하는 서브 필터링 영역에 각각 형성되는 컬러필터의 투과도 보다 높은 투과도를 갖는 컬러필터를 형성하게 되면, 각 서브 필터링 영역을 통과하는 광량에 차이가 발생하게 된다. 이는 곧 후술될 이미지 센서부(500)에 도달하는 광량에 차이가 발생함을 의미하며, 이미지 센서부(500)에 고감도 센싱 기능 및 저감도 센싱 기능이 동시에 구현될 수 있음을 의미한다.

좀 더 구체적으로, 이미지 센서부(500)의 센싱 영역(510, 520, 530, 540)은, 복수의 서브 필터링 영역(410)(420)(430)(440)에 각각 대응하는 복수의 서브 센싱 영역(510)(520)(530)(540)으로 구분될 수 있다. 그런데 복수의 서브 센싱 영 역(510)(520)(530)(540) 중, 제2 필터링 영역에 포함된 서브 필터링 영역과 대응되는 서브 센싱 영역에 도달되는 빛의 양은, 제1 필터링 영역(410, 420, 430)에 포함된 서브 필터링 영역과 대응되는 서브 센싱 영역에 도달되는 빛의 양보다 많다. 때문에 제2 필터링 영역에 포함된 서브 필터링 영역과 대응되는 서브 센싱 영역은 제1 필터링 영역(410, 420, 430)에 포함된 서브 필터링 영역과 대응되는 서브 센싱 영역에 비해 상대적으로 고감도 센싱 기능을 갖는다고 할 수 있다.

앞서 언급된 예에 의하면, 이미지 센서부(500)의 센싱 영역은 제1 서브 필터링 영역(410), 제2 서브 필터링 영역(420), 제3 서브 필터링 영역(430) 및 제4 서브 필터링 영역(440)에 각각 대응하는 제1 서브 센싱 영역(510), 제2 서브 센싱 영역(520), 제3 서브 센싱 영역(530) 및 제4 서브 센싱 영역(540)으로 구분될 수 있다. 이 때, 제4 서브 센싱 영역(540)에 도달되는 빛의 양은 제1 서브 센싱 영역(510)에 도달되는 빛의 양보다 많다. 왜냐하면, 제4 서브 센싱 영역(540)에 대응하는 제4 서브 필터링 영역(440)에는 회색 컬러필터가 형성되어 있고, 제1 서브 센싱 영역(510)에 대응하는 제1 서브 필터링 영역(410)에는 회색 컬러필터 보다 투과도가 낮은 적색 컬러필터가 형성되어 있기 때문이다. 때문에 제4 서브 센싱 영역(540)은 제1 서브 센싱 영역(510)에 비해 상대적으로 고감도 센싱 기능을 갖게 된다. 이와 마찬가지로, 제2 서브 센싱 영역(520)에 도달되는 광량은 제4 서브 센싱 영역(540)에 도달되는 광량보다 적고, 제3 서브 센싱 영역(530)에 도달되는 광량 역시 제4 서브 센싱 영역(540)에 도달되는 광량보다 적기 때문에, 제2 서브 센싱 영역(520) 및 제3 서브 센싱 영역(530)은 각각 제4 서브 센싱 영역(540)에 비해 저감도 센싱 기능을 갖는다고 볼 수 있다.

위와 같은 구성요소에 더하여, 필터부(400)는 소정 파장의 빛 예를 들면, 적외선을 차단하기 위한 적외선 차단 필터(460)를 선택적으로 포함할 수 있다. 이 때, 적외선 차단 필터(460)는 이미지 센서에 도달되는 적외선을 차단하여, 가시광선 영역의 이미지 정보가 훼손되는 것을 방지하는 역할을 한다. 즉, 이미지 센서의 감도는 적외선에도 반응하는데, 적외선 차단 필터(460)를 사용하게 되면, 적외선이 차단되므로, 가시광선 영역의 이미지 정보가 훼손되는 것을 방지할 수 있다. 종래 이미지 센서의 구조에 의하면 컬러필터와 적외선 차단 필터를 통합하여 구현할 수 없으나, 본 발명에 의하면 컬러필터(470)와 적외선 차단 필터(460)를 통합하여 제작할 수 있다.

적외선 차단 필터(460)는 기판(450)과 컬러필터층(470) 사이에 형성되거나, 컬러필터층(470)의 상부에 설치될 수 있다. 또는 기판(450)의 일면에 컬러필터층(470)이 형성된 경우, 적외선 차단 필터(460)는 기판(450)의 타면에 형성될 수도 있다. 도 4a 내지 도 4c는 도 3의 Ⅲ-Ⅲ' 선을 따라 절개한 단면도를 도시한 것으로, 컬러필터 및 적외선 차단 필터(460)의 형성 위치에 대한 다양한 실시예를 보여주고 있다. 도 4a는 기판(450)의 일면에 적외선 차단 필터(460) 및 컬러필터가 차례로 형성된 모습을 보여주고 있으며, 도 4b는 기판(450)의 일면에 컬러필터 및 적외선 차단 필터(460)가 차례로 형성된 모습을 보여주고 있다. 이에 비해 도 4c는 기판(450)의 일면에는 컬러필터가 형성되어 있고, 기판(450)의 타면에는 적외선 차단 필터(460)가 형성되어 있는 모습을 보여주고 있다.

한편, 전술한 필터부(400)는, 서로 다른 색의 컬러필터가 형성된 복수의 기판을 각각 다수의 서브 기판으로 분할한 후, 서로 다른 색의 컬러필터를 갖는 서브 기판을 조합하는 공정을 거쳐 생성될 수 있다. 도 5는 필터부(400)의 생성 공정을 도시한 평면도이다. 예를 들어, 도 4c에 도시된 바와 같은 구조의 필터부(400)를 생성하기 위해서는 우선, 제1, 제2, 제3 및 제4 기판의 일면에 적외선 차단 필터(460)층을 형성한다. 그 다음, 각 기판의 타면에 각각 적색, 녹색, 청색 및 회색 컬러필터를 도포하여 컬러필터층(470)을 형성한다. 이 후, 각 기판들을 4등분하여, 4개의 서브 기판으로 분리한다. 그리고, 서로 다른 색의 컬러필터가 형성된 서브 기판을 각각 조합하여 도 4c에 도시된 바와 같은 구조의 필터부(400)를 생성한다. 전술한 바와 같은 공정에 의하면, 컬러필터의 패터닝(patternning) 공정이 생략되므로 컬러필터를 형성하는데에 사용되는 잉크를 절약할 수 있는 효과가 있다.

한편, 이미지 센서부(500)는 각 서브 필터링 영역(410)(420)(430)(440)을 통과한 빛을 감지하여, 전기 신호로 변환하는 역할을 한다. 이를 위하여 이미지 센서부(500)는 각 서브 필터링 영역(410)(420)(430)(440)을 통과한 빛을 감지하는 광감지부(미도시) 및 광감지부에 의해 감지된 빛을 전기적인 신호로 변환하여 데이터화하는 회로부(미도시)를 포함하여 구성된다.

여기서, 도 6을 참조하여 이미지 센서부(500)에 대하여 보다 구체적으로 설명하기로 한다. 도 6은 이미지 센서부(500)의 단위 픽셀에 대한 단면도이다.

도 6을 참조하면, 기판(550) 위에는 수광소자(560) 예를 들면, 포토다이오 드(Photo Diode; PD)가 형성된다. 이 때, 수광소자(560)들 사이에는 각각 소자 분리막이 형성된다.

수광소자(560)의 상부에는 회로부를 형성하기 위한 금속 배선층(590)이 형성된다. 이 때, 수광소자(560)와 금속 배선층(590) 사이에는 절연층(IMD; Inter-Metal Dielectric)(580a)이 형성되며, 금속 배선층(590)은 수광소자(560)로 입사되는 빛의 경로를 차단하지 않도록 설계되는 것이 바람직하다. 도 6는 한 층의 금속 배선층(590)이 형성되어 있는 모습을 도시하고 있으나, 금속 배선층(590)은 경우에 따라서 복수의 층으로 형성될 수도 있다. 이 때, 각 금속 배선층(590)은 각 금속 배선층을 절연하기 위한 절연층(580b)이 형성된다.

절연층(580b)의 최상부에는 수광소자(560)의 광감도를 증가시키기 위한 마이크로 렌즈(Micro Lens; ML)(595)가 형성된다. 일반적으로, 포토다이오드(560)는 단위 픽셀 영역의 전영역을 차지하는 것이 아니라, 단위 픽셀 중 일정부분만을 차지한다. 따라서, 픽셀 영역에서 포토다이오드(560)가 차지하는 면적을 나타내는 비율(fill factor)이 1 보다 작은 값은 갖게 되며, 이는 입사되는 빛의 일부가 손실됨을 의미한다. 그런데 절연층(580b)의 최상부에 마이크로 렌즈(595)를 형성하게 되면, 입사되는 빛이 마이크로 렌즈(595)에 의해 집광되기 때문에 수광소자(560)로 수렴되는 광량을 증가시킬 수 있다.

또한, 전술한 형태의 이미지 센서부(500)는 종래 기술에 비하여, 컬러필터층(470) 및 컬러필터층(470)을 평탄화하기 위한 평탄층(도 7b 참조)이 형성되지 않으므로, 광손실 및 신호 간섭(cross talk)이 감소된다. 좀 더 구체적인 설명을 위 해 도 7a 도 7b를 참조하기로 한다.

도 7a 및 도 7b는 마이크로 렌즈(595)에 기울어져 입사하는 광의 수렴정도를 마이크로 렌즈(595)와 수광소자(560) 간의 거리에 따라 나타낸 도면이다. 여기서, 도 7a는 본 발명의 실시예에 따른 이미지 센서에서 단위 픽셀의 단면도를 도시한 것이고, 도 7b는 종래 기술에 따른 이미지 센서에서 단위 픽셀의 단면도를 도시한 것이다.

도 7b를 참조하면, 일반적으로, 마이크로 렌즈(595)의 초점의 위치는 수광소자(560)의 위치에 고정되는데, 이 경우, 마이크로 렌즈(595)에 수직으로 입사되는 빛은 수광소자(560)로 모두 수렴된다. 그러나 마이크로 렌즈(595)에 일정 각도로 기울어져 입사되는 빛은 해당 픽셀의 수광소자(560)로 모두 수렴되지 못하고 손실되거나, 인접한 픽셀의 수광소자(560)로 입사되어 신호 간섭(cross talk)을 유발한다. 그런데 본 발명에서와 같이, 컬러필터층(470) 및 평탄화층이 제거되면, 마이크로 렌즈(595)와 수광소자(560) 간의 간격이 좁아지므로, 도 7a에 도시된 바와 같이, 마이크로 렌즈(595)에 일정 각도로 기울어져 입사되는 빛도 해당 픽셀의 수광소자(560)로 수렴된다. 때문에, 인접한 픽셀의 수광소자(560)로 입사되는 빛의 양은 감소되며, 신호 간섭 역시 감소된다.

전술한 바와 같은 구조의 픽셀은 다수개가 모여 센싱 영역(510, 520, 530, 540)을 형성한다. 여기서 센싱 영역은, 전술한 필터부(400)의 각 서브 필터링 영역에 대응하는 복수의 서브 센싱 영역(510)(520)(530)(540)으로 구분될 수 있다. 즉, 앞서 언급한 예에 의하면, 이미지 센서부(500)의 센싱 영역(510, 520, 530, 540)은 제1 서브 필터링 영역(410), 제2 서브 필터링 영역(420), 제3 서브 필터링 영역(430) 및 제4 서브 필터링 영역(440)에 각각 대응하는 제1 서브 센싱 영역(510), 제2 서브 센싱 영역(520), 제3 서브 센싱 영역(530) 및 제4 서브 센싱 영역(540)으로 구분될 수 있다. 이 때, 제1 서브 센싱 영역(510)은 적색 컬러필터를 통과한 빛을 감지하고, 제2 서브 센싱 영역(520)은 녹색 컬러필터를 통과한 빛을 감지하며, 제3 서브 센싱 영역(530)은 청색 컬러필터를 통과한 빛을 감지하고, 제4 서브 센싱 영역(540)은 회색 컬러필터를 통과한 빛을 감지하게 된다. 그 결과, 컬러별로 분리된 복수의 원 이미지(도면 8b의 도면부호 511, 521, 531 및 541 참조)를 얻을 수 있다.

한편, 복수의 서브 센싱 영역(510)(520)(530)(540)으로 구분된 센싱 영역(510, 520, 530, 540)은, 광감도에 따라 저감도 센싱 영역과 고감도 센싱 영역으로 구분될 수 있다. 이 때, 저감도 센싱 영역과 고감도 센싱 영역은 각 서브 센싱 영역에 도달하는 광량에 따라 구분된다. 그런데, 각 서브 센싱 영역에 도달하는 광량은 각 서브 센싱 영역과 대응하는 서브 필터링 영역에 형성되어 있는 컬러필터에 따라 달라지게 된다. 따라서, 컬러필터의 투과도에 따라 제1 필터링 영역과 제2 필터링 영역으로 구분된 필터링 영역 중, 제1 필터링 영역 및 제2 필터링 영역에 각각 대응하는 센싱 영역을 저감도 센싱 영역 및 고감도 센싱 영역으로 구분지을 수 있다.

좀 더 구체적으로, 앞서 언급한 예에 의하면, 제1 서브 센싱 영역(510), 제2 서브 센싱 영역(520) 및 제3 서브 센싱 영역(530)은 저감도 센싱 영역에 해당하며, 제4 서브 센싱 영역(540)은 고감도 센싱 영역에 해당한다. 왜냐하면, 제4 서브 필터링 영역(440)에 형성된 회색 컬러필터는 제1 서브 필터링 영역(410), 제2 서브 필터링 영역(420) 및 제3 서브 필터링 영역(430)에 각각 형성된 적색, 녹색 및 청색 컬러필터에 비해 투과도가 높아, 제4 서브 센싱 영역(540)에 도달되는 빛의 양은 제1 서브 센싱 영역(510), 제2 서브 센싱 영역(520) 및 제3 서브 센싱 영역(530) 각각에 도달되는 빛의 양보다 많기 때문이다.

이와 같이, 이미지 센서부(500)에 저감도 센싱 영역 및 고감도 센싱 영역이 구현되면, 후술될 이미지 생성 모듈은 고감도 센싱 영역으로부터 얻은 휘도 정보(Y') 및 저감도 센싱 영역으로부터 얻은 휘도 정보(Y)를 이용하여 이미지를 복원할 수 있다. 그러므로, 조도차가 큰 환경에서도 선명한 영상을 구현할 수 있다. 즉, 광역역광보정 기능(WDR; Wide Dynamic Range)을 구현할 수 있다.

다시 도 2를 참조하면, 이미지 생성 모듈(800)은 카메라 모듈(200)로부터 컬러별로 분리된 복수의 원 이미지(511)(521)(531)(541)를 제공받아, 최종 이미지(도면 10b의 도면부호 90 참조)를 생성하는 역할을 한다. 이를 위하여 이미지 생성 모듈은 입력 모듈(810), 중간 이미지 생성 모듈(820) 및 최종 이미지 생성 모듈(830)을 포함하여 구성된다.

입력 모듈(810)은 카메라 모듈(200)에서 제공되는 컬러별로 분리된 복수의 원 이미지(511)(521)(531)(541)를 입력받는다. 즉, 입력 모듈(810)은 제1 서브 센싱 영역(510)에 의해 획득된 적색 이미지, 제2 서브 센싱 영역(520)에 의해 획득된 녹색 이미지, 제3 서브 센싱 영역(530)에 의해 획득된 청색 이미지 및 제4 서브 센싱 영역(540)에 의해 획득된 회색 이미지를 입력받는다. 이 때, 적색 이미지, 녹색 이미지 및 청색 이미지는 후술될 최종 이미지 생성 모듈(830)을 통해 최종 이미지(90)를 생성하는데 필요한 컬러 정보를 제공하는 역할을 한다. 이에 비해 회색 이미지는 최종 이미지(90)를 생성하는데 필요한 휘도 정보를 제공하는 역할을 한다.

또한, 입력 모듈(810)은, 카메라 모듈(200)로부터 제공받은 컬러별 원 이미지(511)(521)(531)(541)의 감도가 불균일한 경우, 특정 원 이미지의 감도를 기준으로 나머지 원 이미지들의 감도를 조정할 수 있다. 예를 들면, 입력 모듈(810)은 컬러별 원 이미지의 감도 중 최소값을 기준으로 각 원 이미지들의 감도를 조정할 수 있다. 구체적으로, 제1 원 이미지(511), 제2 원 이미지(521), 제3 원 이미지(531) 및 제4 원 이미지(541)의 감도가 각각 5, 7, 10, 9인 경우, 입력 모듈(810)은 제1 원 이미지(511)의 감도를 기준으로 나머지 원 이미지의 감도를 5로 조정한다.

한편, 카메라 모듈(200)에서 각 렌즈(310, 320, 330, 340)의 위치가 고정되어 있다 하더라도 외부 충격 등으로 인해 각 렌즈(310, 320, 330, 340)의 위치가 틀어지는 현상이 발생할 수 있다. 이와 같이 각 렌즈(310, 320, 330, 340)가 틀어지게되면, 각 서브 센싱 영역(510, 520, 530, 540) 상에 원 이미지(511, 521, 531, 541)가 형성될 때, 사전 지정된 위치에서 벗어난 위치에 생성되며, 이로 인해 선명한 영상을 얻기가 어려워진다. 따라서, 광학적 불일치(optical misalignment)로 인해, 사전 지정된 위치에서 벗어난 윈치에 원 이미지(511, 521, 531, 541)가 생성 되더라도 이를 보정해 줄 필요가 있다.

입력 모듈(810)은 컬러별 원 이미지(511, 521, 531, 541)의 위치가 사전 지정된 위치에 부합하지 않는 경우, 상기 컬러별 원 이미지(511, 521, 531, 541)의 위치를 보정한다. 구체적으로, 피사체에 의해 반사된 빛이 렌즈부(300) 및 필터부(400)를 거쳐 센싱 영역에 도달되면, 각 렌즈(310, 320, 330, 340)에 대응하는 서브 센싱 영역(510, 520, 530, 540)에는 컬러별 원 이미지(511, 521, 531, 541)가 형성된다. 이 때, 입력 모듈(810)은 각 서브 센싱 영역(510, 520, 530, 540) 상에 형성된 컬러별 원 이미지의 위치를 체크하여, 컬러별 원 이미지의 위치를 보정한다. 보다 상세한 설명을 위해 도 8을 참조하기로 한다.

도 8은 각 서브 센싱 영역 상에 형성된 컬러별 원 이미지를 예시한 도면이다.

도 8을 참조하면, 제2 원 이미지(521)의 위치는 사전 지정된 위치(700)와 동일한데 비해, 제1 원 이미지(511)의 위치는 사전 지정된 위치(700)에 비하여 왼쪽으로 한 픽셀만큼 이동되어 있는 것을 알 수 있다. 그리고, 제3 원 이미지(531)의 경우, 사전 지정된 위치(700)에 비하여 아래쪽으로 한 픽셀만큼 이동되어 있는 것을 알 수 있다. 그리고, 제4 원 이미지(541)의 경우, 사전 지정된 위치(700)에 비하여 오른쪽 아래의 대각선 방향으로 이동되어 있는 것을 알 수 있다.

이 경우, 입력 모듈(810)은 제1 원 이미지(511)의 전체적인 위치를 오른쪽으로 한 픽셀만큼 이동시키고, 제3 원 이미지(531)의 전체적인 위치를 위쪽으로 한 픽셀만큼 이동시킴으로써, 광학적 불일치로 인해 발생한 원 이미지의 위치를 정상 적으로 보정할 수 있다. 제4 원 이미지(541)의 경우, 제4 이미지(541)를 위쪽으로 한 픽셀만큼 이동시킨 후, 다시 왼쪽으로 한 픽셀만큼 이동시킴으로써 위치를 보정할 수 있다. 또는, 제4 원 이미지(541)을 왼쪽으로 한 픽셀만큼 이동시킨 후, 다시 위쪽으로 한 픽셀만큼 이동시킴으로써 위치를 보정할 수 있다.

전술한 바와 같이, 입력 모듈(810)을 통해 감도 및 위치가 보정된 컬러별 원 이미지(511)(521)(531)(541)는 후술될 중간 이미지 생성 모듈(820)로 제공된다.

중간 이미지 생성 모듈(820)은 입력 모듈(810)로부터 제공받은 각 컬러별 원 이미지(511)(521)(531)(541)에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여, 상기 컬러별 원 이미지보다 높은 해상도를 갖는 중간 이미지를 생성한다. 이 때, 중간 이미지는 이미지 센서부(500)의 센싱 영역(510, 520, 530, 540)과 동일한 해상도를 갖는 것이 바람직하다. 예를 들어, 전술한 이미지 센서부(500)의 각 서브 센싱 영역이 4×4의 해상도를 갖는 경우, 중간 이미지는 전체 센싱 영역(510, 520, 530, 540)과 동일한 8×8의 해상도를 갖는 것이 바람직하다. 중간 이미지는 후술될 최종 이미지 생성 모듈(830)로 제공된다.

최종 이미지 생성 모듈(830)은 중간 이미지 생성 모듈(820)로부터 제공받은 중간 이미지를 기반으로 최종 이미지(90)를 생성하는 역할을 한다. 중간 이미지 및 최종 이미지 생성에 대한 보다 구체적인 설명은 도 9a 내지 도 11b를 참조하여 후술하기로 한다.

디스플레이 모듈(900)은 최종 이미지 생성 모듈(830)로부터 제공된 최종 이미지(90)를 디스플레이하는 역할을 한다. 이러한 디스플레이 모듈(900)은 예를 들어, 평판 디스플레이, 터치스크린 등의 형태로 구현될 수 있으나 이에 한정되지는 않는다.

다음으로, 도 9a 및 도 9b를 참조하여 본 발명의 실시예에 따른 이미지 복원 방법을 설명하기로 한다. 여기서, 도 9a는 본 발명의 실시예에 따른 이미지 복원 방법을 도시한 흐름도이고, 도 9b는 카메라 모듈(200)을 통해 컬러별로 분리된 복수의 원 이미지(511)(521)(531)(541)가 획득되는 과정을 도시한 도면이다.

설명의 편의를 위해 필터부(400)의 제1 서브 필터링 영역(410)에는 적색 필터가, 제2 서브 필터링 영역(420)에는 녹색 필터가, 제3 서브 필터링 영역(430)에는 청색 필터가 형성되고, 제4 서브 필터링 영역(440)에는 회색 필터가 형성되어 있다고 가정한다. 그리고, 이미지 센서부(500)의 센싱 영역(510, 520, 530, 540)은 가로×세로가 8×8 개의 픽셀로 구성되며, 각각의 서브 센싱 영역(510)(520)(530)(540)은 가로×세로가 4×4 개의 픽셀로 이루어진다고 가정한다.

먼저, 소정 피사체(10)에서 반사된 빛은 4개의 렌즈(310)(320)(330)(340)를 통해 각각 집광된다(S810).

각 렌즈(310)(320)(330)(340)를 통해 집광된 빛은 각 렌즈(310)(320)(330)(340)에 대응하는 서브 필터링 영역(410)(420)(430)(440)을 투과하게 된다(S820).

각 서브 필터링 영역(410)(420)(430)(440)을 투과한 빛은 각 서브 필터링 영역(410)(420)(430)(440)에 대응하는 서브 센싱 영역(510)(520)(530)(540)에 각각 수렴된다. 그 결과, 각 서브 센싱 영역(510)(520)(530)(540)을 통해 컬러별로 분 리된 복수의 원 이미지(511)(521)(531)(541)가 획득된다(S830). 이 때, 각 서브 센싱 영역(510)(520)(530)(540)에 의해 획득된 이미지는 전체 센싱 영역(510, 520, 530, 540)의 해상도에 비해 1/4에 해당하는 해상도를 갖게된다. 즉, 전체 센싱 영역(510, 520, 530, 540)의 해상도가 8×8 이므로, 복수의 원 이미지(511)(521)(531)(541)는 각각 4×4의 해상도를 갖는다. 상기 S830 단계는, 컬러별 원 이미지의 감도가 불균일한 경우, 컬러별 원 이미지의 감도를 보정하는 단계와, 컬러별 원 이미지의 위치가 사전 지정된 위치에서 벗어난 경우, 상기 컬러별 원 이미지의 위치를 보정하는 단계를 포함할 수 있다.

이 후, 이미지 생성 모듈(800)은 복수의 컬러별 원 이미지를 기반으로 하여 각 컬러별 원 이미지(511)(521)(531)(541)보다 고해상도를 갖는 최종 이미지(90)를 생성한다(S840). 최종 이미지 생성 단계에 대한 보다 구체적인 설명은 도 10a 내지 도 11b를 참조하여 후술하기로 한다.

이미지 생성 모듈(800)에 의해 생성된 최종 이미지(90)는 디스플레이 모듈(900)을 통해 디스플레이된다(S850).

다음으로, 도 10a 및 도 10b를 참조하여 본 발명의 제1 실시예에 따른 최종 이미지 생성 단계에 대해서 설명하기로 한다. 여기서, 도 10a는 제1 실시예 따른 최종 이미지 생성 방법을 보다 구체적으로 도시한 흐름도이고, 도 10b는 도 10a에 도시된 최종 이미지 생성 과정을 도시한 도면이다.

본 발명의 제1 실시예에 따른 최종 이미지 생성 방법은, 카메라 모듈(200)에서 렌즈부(330)를 구성하는 복수개의 렌즈(310, 320, 330, 340)가 모두 기준 위치 에 존재하는 경우에 적용될 수 있다.

먼저, 카메라 모듈(200)로부터 복수의 컬러별 원 이미지(511)(521)(531)(541)가 제공되면, 중간 이미지 생성 모듈(820)은 센싱 영역(510, 520, 530, 540)에 대응하는 해상도를 갖는 제1 중간 이미지를 생성한다. 예를 들면, 도 10b와 같이 센싱 영역과 동일한 해상도를 갖는 제1 중간 이미지를 생성한다(S841).

여기서, 제1 중간 이미지는 컬러필터의 배열 패턴에 대응하는 다수의 픽셀을 포함하는 다수의 픽셀 그룹(610, 620, 630, 640)으로 구분될 수 있다. 예를 들면, 가로×세로 각각 2×2 개의 가상 픽셀들을 단위로 하는 다수의 픽셀 그룹(610, 620, 630, 640)으로 구분될 수 있다. 여기서, 각 픽셀 그룹(610)(620)(630)(640)은 컬러 정보 및 휘도 정보가 매핑되는 주 픽셀(611, 621, 631, 641) 및, 주 픽셀(611, 621, 631, 641)의 주변에 위치하며, 정보를 보유하지 않은 서브 픽셀들(612, 622, 632, 642)로 구분될 수 있다.

주 픽셀의 위치는 해당 픽셀 그룹에서 다양한 위치에 지정될 수 있다. 예를 들면, 도 10b와 같이, 2×2의 각 픽셀 그룹에서, 첫번째 행의 첫번째 열에 해당하는 위치가 주 픽셀의 위치로 지정될 수 있다. 다른 예로는, 각 픽셀 그룹에서, 첫번째 행의 두번째 열에 해당하는 위치가 주 픽셀의 위치로 지정될 수도 있다.

이와 같이, 제1 중간 이미지가 생성되면, 중간 이미지 생성 모듈(820)은 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 주 픽셀에 매핑한다. 예를 들면, 중간 이미지 생성 모듈(820)은 각 컬러별 원 이미지의 첫 번째 행과 첫 번째 열에 위치한 픽셀의 픽셀 정보를 제1 중간 이미지에서 첫 번째 행과 첫 번째 열에 위치한 픽셀 그룹(610)의 주 픽셀(611)에 매핑한다. 마찬가지로, 중간 이미지 생성 모듈(820)은 각 컬러별 원 이미지의 첫 번째 행과 두 번째 열에 위치한 픽셀의 픽셀 정보를 제1 중간 이미지에서 첫 번째 행과 두 번째 열에 위치한 픽셀 그룹(620)의 주 픽셀(621)에 매핑한다.

또한, 중간 이미지 생성 모듈(820)은, 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보 중 컬러 정보를 기반으로 휘도 정보를 산출하고, 상기 산출된 휘도 정보를 각 픽셀 그룹의 주 픽셀에 매핑한다.

예를 들면, 중간 이미지 생성 모듈(820)은, 적색, 녹색 및 청색 이미지의 첫번째 행과 첫번째 열에 위치한 픽셀에서 제공된 컬러 정보를 기반으로 휘도 정보를 산출한다. 그리고 제1 중간 이미지에서 첫 번째 행과 첫 번째 열에 위치한 픽셀 그룹의 주 픽셀에 산출된 휘도 정보를 매핑한다.

도 10b를 참조하면, 각 픽셀 그룹의 주 픽셀에는, 제1, 제2 및 제3 서브 센싱 영역(510)(520)(530)에서 각각 제공된 적색(R), 녹색(G), 청색(B)의 컬러 정보, 제4 서브 센싱 영역(540)에서 제공된 휘도 정보(Y') 및, 3색의 컬러 정보로부터 검출된 휘도 정보(Y)가 매핑되어 있음을 알 수 있다. 일 예로, 제1 픽셀 그룹(610)의 주 픽셀(611)에는, 적색 이미지(511)에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 적색 컬러 정보(R), 녹색 이미지(521)에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 녹색 컬러 정보(G), 청색 이미지(531)에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 청색 컬러 정보(B), 회색 이미지(541)에서 첫 번째 행 의 첫 번째 열에 위치한 픽셀이 갖는 휘도 정보(Y') 및, 3개의 컬러 정보를 기반으로 하여 검출된 휘도 정보(Y)가 매핑되어 있음을 알 수 있다. 이와 동일하게 제2 픽셀 그룹(620)의 주 픽셀(621)에는, 적색 이미지(511)에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 적색 컬러 정보(R), 녹색 이미지(521)에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 녹색 컬러 정보(G), 청색 이미지(531)에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 청색 컬러 정보(B), 회색 이미지(541)에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 휘도 정보(Y') 및, 기제공된 3개의 컬러 정보를 기반으로 하여 검출된 휘도 정보(Y)가 매핑되어 있음을 알 수 있다.

이로써, 중간 이미지 생성 모듈(820)은, 각 픽셀 그룹의 주 픽셀에 3개의 컬러 정보 및 2개의 휘도 정보가 매핑된 제2 중간 이미지(600)를 생성한다(S842). 이 경우, 제2 중간 이미지(600)에서, 각 그룹의 주 픽셀에는 3개의 컬러 정보가 모두 매핑되므로, 후속으로 진행되는 처리 과정에서 디모자이킹이 생략될 수 있는 것이다.

이 후, 중간 이미지 생성 모듈(820)은, 보간법(Interpolation)을 사용하여, 제2 중간 이미지(600)를 보간한다(S843). 즉, 중간 이미지 생성 모듈(820)은 각 픽셀 그룹(610)(620)(630)(640)의 주 픽셀(611)(621)(631)(641)이 보유한 정보들을 기반으로 하여, 서브 픽셀에 기록되는 픽셀 정보를 산출한다.

이 때, 중간 이미지 생성 모듈(820)은 다양한 알고리즘에 따라 제2 중간 이미지(600)를 보간할 수 있다. 일 예로, 제2 중간 이미지(600)에서 각 서브 픽셀에 기록되는 픽셀 정보는 해당 서브 픽셀과 인접한 주 픽셀이 갖는 정보로부터 산출될 수 있다. 좀 더 구체적으로 도 10b에서, 제1 픽셀 그룹(610)의 주 픽셀(611)과 제2 픽셀 그룹(620)의 주 픽셀(621) 사이에 위치한 서브 픽셀(612)에 기록되는 픽셀 정보는 두 주 픽셀(611 및 621)이 갖는 픽셀 정보의 평균값으로 지정될 수 있다. 마찬가지로, 제2 픽셀 그룹(620)의 주 픽셀(621)과 제3 픽셀 그룹(630)의 주 픽셀(631) 사이에 위치한 서브 픽셀(622)에 기록되는 픽셀 정보는 두 주 픽셀(621 및 631)이 갖는 픽셀 정보의 평균값으로 지정될 수 있다.

이와 같은 방법에 의해 제2 중간 이미지(600)의 보간이 이루어지면, 최종 이미지 생성 모듈(830)은 보간된 제2 중간 이미지를 디블러링(de-blurring)한다(S844). 그 결과, 각 서브 센싱 영역을 통해 얻어진 저해상도(즉, 서브 센싱 영역의 해상도)의 컬러별 원 이미지로부터 고해상도(즉, 서브 센싱 영역의 해상도×4)의 최종 이미지(90)를 생성한다.

다음으로, 도 11a 및 도 11b를 참조하여 본 발명의 제2 실시예에 따른 최종 이미지 생성 단계에 대해서 설명하기로 한다. 여기서, 도 11a는 제2 실시예 따른 최종 이미지 생성 방법을 보다 구체적으로 도시한 흐름도이고, 도 11b는 도 11a의 픽셀 정보를 재배치하는 단계 S846를 도시한 도면이다.

본 발명의 제2 실시예에 따른 최종 이미지 생성 방법은, 카메라 모듈(200)에서 렌즈부(330)를 구성하는 복수개의 렌즈들이 소정 렌즈의 위치를 기준으로 소정 픽셀만큼 이동된 위치에 존재하는 경우에 적용될 수 있다. 이하의 설명에서는 제2 렌즈의 위치를 중심으로 제1 렌즈는 오른쪽으로 한 픽셀만큼 쉬프트되어 있고, 제3 렌즈는 아래쪽으로 한 픽셀만큼 쉬프트되어 있고, 제4 렌즈는 오른쪽 아래 대각선 방향으로 쉬프트되어 있는 경우를 예로 들어 설명하기로 한다.

카메라 모듈(200)로부터 복수의 컬러별 원 이미지(511)(521)(531)(541)가 제공되면, 중간 이미지 생성 모듈(820)은, 각 컬러별 원 이미지(511)(521)(531)(541)에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 컬러필터의 배열 패턴에 따라 재배치하여 중간 이미지(60)를 생성한다(S846).

좀 더 구체적으로, 중간 이미지(60)는 컬러필터의 배열 패턴에 대응하는 복수의 픽셀을 포함하는 복수의 픽셀 그룹으로 구분될 수 있다. 예를 들어, 필터부(400)에 형성된 컬러필터의 패턴이 1×4 의 행렬 형태를 갖는 경우, 중간 이미지(60)는 가로×세로 각각 1×4의 픽셀을 단위로 하는 복수의 픽셀 그룹으로 구분되는 것이 바람직하다. 만약, 필터부(400)에 형성된 컬러필터의 패턴이 2×2의 행렬 형태를 갖는 경우, 중간 이미지는 가로×세로 각각 2×2의 픽셀을 단위로 하는 복수의 픽셀 그룹으로 구분되는 것이 바람직하다.

도 11b는, 가상 이미지가 가로×세로 각각 2×2의 픽셀을 단위로 하는 복수의 픽셀 그룹(61)(62)(63)(64)으로 구분되어 있는 경우를 도시하고 있다. 도 11b를 참조하면, 각 컬러별 원 이미지(511)(521)(531)(541)에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 픽셀 정보는 중간 이미지(60)의 첫 번째 행의 첫 번째 열에 위치한 픽셀 그룹(61)에 컬러필터의 패턴에 따라 매핑되어 있음을 알 수 있다.

도 11b와 같은 중간 이미지(60)가 생성되면, 중간 이미지 생성 모듈(820)은 중간 이미지를 디모자이킹한다(S847). 디모자이킹된 중간 이미지는 최종 이미지 생성 모듈(830)로 제공된다.

이 후, 최종 이미지 생성 모듈(830)은 디모자이킹된 중간 이미지를 디블러링한다(848). 그 결과, 각 서브 센싱 영역을 통해 얻어진 저해상도(즉, 서브 센싱 영역의 해상도)의 컬러별 원 이미지로부터 고해상도(즉, 서브 센싱 영역의 해상도×4)의 최종 이미지(90)를 생성한다.

다음으로, 본 발명의 제2 실시예에 따른 카메라 모듈(20)에 대해서 설명하기로 한다. 도 12는 본 발명의 제2 실시예에 따른 카메라 모듈(20)의 구조를 도시한 사시도이다. 본 발명의 제2 실시예에 따른 카메라 모듈(20)은 도 3의 제1 실시예에 따른 카메라 모듈(200)에 비해 다음을 제외하고는 동일한 구성 요소를 갖는다.

즉, 제2 실시예에 따른 카메라 모듈(20)은 렌즈부(30)를 구성하는 복수의 렌즈(31)(32)(33)(34)가 서로 다른 색을 갖는다. 여기서, 렌즈부(30)는 투과도에 따라 제1 그룹과 제2 그룹으로 구분될 수 있다. 이 때, 제1 그룹은 복수의 렌즈를 포함할 수 있으며, 제2 그룹은 하나의 렌즈를 포함할 수 있다.

여기서, 제2 그룹에 포함되는 렌즈(34)는 제1 그룹에 포함되는 렌즈(31, 32, 33)에 비해 투과도가 높은 색을 갖는 것이 바람직하다. 예를 들어, 4개의 렌즈 중 제1 그룹은 적색의 제1 렌즈(31), 녹색의 제2 렌즈(32), 청색의 제3 렌즈(33)를 포함하는 경우, 제2 그룹에 포함되는 제4 렌즈(34)는 적색, 녹색 및 청색 각각에 비해 투과도가 높은색 예를 들면, 회색을 갖는 것이 바람직하다.

이와 같이, 복수의 렌즈(31)(32)(33)(34)가 각각 서로 다른 색을 갖는 경우, 필터부(40)에는 별도의 컬러필터층이 형성되지 않는다. 도면에 도시되지는 않았지 만, 필터부(40)에는 적외선 차단 필터가 선택적으로 형성될 수 있다.

그리고, 이미지 센서부(500)의 센싱 영역은 각 렌즈(31)(32)(33)(34)에 대응하는 복수의 서브 센싱 영역(510)(520)(530)(540)으로 분할되며, 각 서브 센싱 영역(510)(520)(530)(540)을 통해 각 렌즈에 의해 컬러별로 분리된 원 이미지(511)(521)(531)(541)를 얻을 수 있다.

이상과 같이 예시된 도면을 참조로 하여, 본 발명에 따른 카메라 모듈에 대해여 설명하였으나, 본 발명은 본 명세서에 개시된 실시예와 도면에 의해 한정되지 않으며, 그 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

상기한 바와 같이 본 발명에 의한 이미지 복원 방법 및 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

카메라 모듈을 소형화함과 동시에 고해상도의 이미지를 얻을 수 있다는 장점이 있다.

카메라 모듈이 소형화되므로 카메라 모듈이 장착되는 디지털 기기의 설계 자유도를 증가시킬 수 있다는 장점이 있다.

이미지 센서의 내부에 컬러필터층 및 컬러필터층을 평탄화하기 위한 평탄층이 형성되지 않으므로, 마이크로 렌즈와 포토다이오드 사이의 간격이 좁아져, 평탄층의 두께로 인한 광손실 및 신호 간섭(cross talk) 현상을 감소시킬 수 있다는 장점이 있다.

컬러필터를 이미지 센서 상에 형성하지 않고, 별도의 기판에 형성하므로써, 이미지 센서의 생산 공정을 단순화시킬 수 있으며, 이미지 센서 상에 컬러필터를 패터닝하는 공정이 생략되므로 컬러필터층을 형성하는데 사용되는 잉크를 절약할 수 있다는 장점이 있다.

서로 다른 투과도를 갖는 컬러필터를 사용함으로써, 이미지 센서부의 구조 변경 없이도 고감도 센싱 영역과 저감도 센싱 영역을 동시에 구현할 수 있다는 장점이 있다.

Claims

복수의 렌즈 및 상기 렌즈에 각각 대응하는 복수의 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 컬러별로 분리된 복수의 원 이미지를 획득하는 단계;

상기 센싱 영역에 대응하며, 복수의 픽셀 그룹으로 구분되는 제1 중간 이미지를 생성하는 단계;

상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 제1 중간 이미지에서 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 제2 중간 이미지를 생성하는 단계; 및

상기 제2 중간 이미지를 보간하여 최종 이미지를 생성하는 단계를 포함하는데,

상기 픽셀 그룹은 상기 컬러필터의 배열 패턴에 대응하는 복수의 픽셀을 포함하는 이미지 복원 방법.
제 1 항에 있어서,

상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계는,

상기 복수의 원 이미지의 위치가 상기 각 이미지 센싱 영역 내의 정해진 위치에서 벗어난 경우, 상기 복수의 원 이미지의 위치를 보정하는 단계를 포함하는 이미지 복원 방법.
제 1 항에 있어서,

상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계는,

상기 복수의 원 이미지의 감도가 불균일한 경우, 상기 복수의 원 이미지의 감도 중 최저 감도를 기준으로 상기 복수의 원 이미지의 감도를 보정하는 단계를 포함하는 이미지 복원 방법.
제 1 항에 있어서,

상기 복수의 원 이미지를 획득하는 단계는,

상기 복수의 렌즈를 이용하여 입사되는 빛을 집광하는 단계;

상기 각 렌즈의 영역에 대응하며, 서로 다른 색상의 컬러필터가 형성된 복수의 필터링 영역을 통해 상기 입사되는 빛을 필터링하는 단계; 및

상기 복수의 필터링 영역과 소정 간격으로 이격되어 형성되며, 상기 각 필터링 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계를 포함하는 이미지 복원 방법.
제 4 항에 있어서

상기 필터링 영역은, 상기 컬러필터의 투과도에 따라서 제1 필터링 영역과 제2 필터링 영역으로 구분되고, 상기 제2 필터링 영역에 형성되는 컬러필터의 투과도는 상기 제1 필터링 영역에 형성되는 컬러필터의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 필터링 영역 및 상기 제2 필터링 영역에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되고, 상기 제2 센싱 영역에 포함된 서브 센싱 영역으로 수렴되는 광량은 상기 제1 센싱 영역에 포함된 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 방법.
제 5 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 방법.
제 1 항에 있어서,

상기 복수의 원 이미지를 획득하는 단계는,

서로 다른 색상을 갖는 상기 복수의 렌즈를 이용하여 입사되는 빛을 집광하는 단계; 및

상기 각 렌즈의 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계를 포함하는 이미지 복원 방법.
제 7 항에 있어서,

상기 렌즈는, 상기 렌즈의 투과도에 따라서 제1 렌즈부와 제2 렌즈부로 구분되고, 상기 제2 렌즈부에 포함되는 렌즈의 투과도는 상기 제1 렌즈부에 포함되는 렌즈의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 렌즈부 및 상기 제2 렌즈부에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되고, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량은 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 방법.
제 8 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 방법.
제 1 항에 있어서,

상기 복수의 렌즈는, 동일 평면 상에 위치하는 이미지 복원 방법.
복수의 렌즈 및 상기 렌즈에 각각 대응하는 복수의 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 컬러별로 분리된 복수의 원 이미지를 획득하는 단계;

상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 컬러필터의 배열 패턴에 따라 재배치하여 중간 이미지를 생성하는 단계; 및

상기 중간 이미지를 디모자이킹하여 최종 이미지를 생성하는 단계를 포함하는 이미지 복원 방법.
제 11 항에 있어서,

상기 복수의 렌즈의 중 소정 렌즈를 제외한 나머지 렌즈들은, 상기 소정 렌즈의 위치를 기준으로 소정 픽셀만큼 이동된 위치에 존재하는 이미지 복원 방법.
제 11 항에 있어서,

상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계는,

상기 복수의 원 이미지의 위치가 상기 각 이미지 센싱 영역 내의 정해진 위치에서 벗어난 경우, 상기 복수의 원 이미지의 위치를 보정하는 단계를 포함하는 이미지 복원 방법.
제 11 항에 있어서,

상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계는,

상기 복수의 원 이미지의 감도가 불균일한 경우, 상기 복수의 원 이미지의 감도 중 최저 감도를 기준으로 상기 복수의 원 이미지의 감도를 보정하는 단계를 포함하는 이미지 복원 방법.
제 11 항에 있어서,

상기 복수의 원 이미지를 획득하는 단계는,

상기 복수의 렌즈를 이용하여 입사되는 빛을 집광하는 단계;

상기 각 렌즈의 영역에 대응하며, 서로 다른 색상의 컬러필터가 형성된 복수 의 필터링 영역을 통해 상기 입사되는 빛을 필터링하는 단계; 및

상기 복수의 필터링 영역과 소정 간격으로 이격되어 형성되며, 상기 각 필터링 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계를 포함하는 이미지 복원 방법.
제 15 항에 있어서,

상기 필터링 영역은, 상기 컬러필터의 투과도에 따라서 제1 필터링 영역과 제2 필터링 영역으로 구분되고, 상기 제2 필터링 영역에 형성되는 컬러필터의 투과도는 상기 제1 필터링 영역에 형성되는 컬러필터의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 필터링 영역 및 상기 제2 필터링 영역에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되고, 상기 제2 센싱 영역에 포함된 서브 센싱 영역으로 수렴되는 광량은 상기 제1 센싱 영역에 포함된 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 방법.
제 16 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 방법.
제 11 항에 있어서,

상기 복수의 원 이미지를 획득하는 단계는,

서로 다른 색상을 갖는 상기 복수의 렌즈를 이용하여 입사되는 빛을 집광하는 단계; 및

상기 각 렌즈의 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 단계를 포함하는 이미지 복원 방법.
제 18 항에 있어서,

상기 렌즈는, 상기 렌즈의 투과도에 따라서 제1 렌즈부와 제2 렌즈부로 구분되고, 상기 제2 렌즈부에 포함되는 렌즈의 투과도는 상기 제1 렌즈부에 포함되는 렌즈의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 렌즈부 및 상기 제2 렌즈부에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되며, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량은 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 방법.
제 19 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 방법.
제 11 항에 있어서,

상기 복수의 렌즈는, 동일 평면 상에 위치하는 이미지 복원 방법.
복수의 렌즈 및 상기 렌즈에 각각 대응하는 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 획득된 컬러별로 분리된 복수의 원 이미지를 입력받는 입력 모듈;

상기 센싱 영역에 대응하며, 복수의 픽셀 그룹으로 구분되는 제1 중간 이미지를 생성하고, 상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 제1 중간 이미지에서 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 제2 중간 이미지를 생성하는 중간 이미지 생성 모듈; 및

상기 제2 중간 이미지를 보간하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함하는데,

상기 픽셀 그룹은 상기 컬러필터의 배열 패턴에 대응하는 복수의 픽셀을 포함하는 이미지 복원 장치.
제 22 항에 있어서, 상기 입력 모듈은,

상기 컬러별로 분리된 복수의 원 이미지가 상기 이미지 센싱 영역 내의 정해진 위치에서 벗어난 경우, 상기 복수의 원 이미지의 위치를 보정하는 이미지 복원 장치.
제 22 항에 있어서, 상기 입력 모듈은,

상기 복수의 원 이미지의 감도가 불균일한 경우, 상기 복수의 원 이미지의 감도 중 최저 감도를 기준으로 상기 복수의 원 이미지의 감도를 보정하는 이미지 복원 장치.
제 22 항에 있어서,

상기 카메라 모듈은,

입사되는 빛을 집광하는 상기 복수의 렌즈를 포함하는 렌즈부;

상기 각 렌즈의 영역에 대응하며, 서로 다른 색상의 컬러필터가 형성된 복수의 필터링 영역을 통해 상기 입사되는 빛을 필터링 하는 필터부; 및

상기 복수의 필터링 영역과 소정 간격으로 이격되어 형성되며, 상기 각 필터링 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 이미지 센서부를 포함하는 이미지 복원 장치.
제 25 항에 있어서,

상기 필터링 영역은, 상기 컬러필터의 투과도에 따라서 제1 필터링 영역과 제2 필터링 영역으로 구분되고,

상기 제2 필터링 영역에 형성되는 컬러필터의 투과도는 상기 제1 필터링 영역에 형성되는 컬러필터의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 필터링 영역 및 상기 제2 필터링 영역에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되고, 상기 제2 센싱 영역에 포함된 서브 센싱 영역으로 수렴되는 광량은 상기 제1 센싱 영역에 포함된 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 장치.
제 26 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 장치.
제 22 항에 있어서,

상기 카메라 모듈은,

서로 다른 색상을 가지며, 입사되는 빛을 집광하는 상기 복수의 렌즈를 포함하는 렌즈부; 및

상기 각 렌즈의 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 이미지 센서부를 포함하는 이미지 복원 장치.
제 28 항에 있어서,

상기 렌즈는, 상기 렌즈의 투과도에 따라서 제1 렌즈부와 제2 렌즈부로 구분되고,

상기 제2 렌즈부에 포함되는 렌즈의 투과도는 상기 제1 렌즈부에 포함되는 렌즈의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 렌즈부 및 상기 제2 렌즈부에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되며, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량은 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 장치.
제 29 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 장치.
제 22 항에 있어서,

상기 복수의 렌즈는, 동일 평면 상에 위치하는 이미지 복원 장치.
복수의 렌즈 및 상기 렌즈에 각각 대응하는 이미지 센싱 영역을 포함하는 카메라 모듈을 통해 컬러별로 분리된 복수의 원 이미지를 입력받는 입력 모듈;

상기 각 컬러별 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 컬러필터의 배열 패턴에 따라 재배치하여 중간 이미지를 생성하는 중간 이미지 생성 모듈; 및

상기 중간 이미지를 디모자이킹하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함하는 이미지 복원 장치.
제 32 항에 있어서,

상기 복수의 렌즈의 중 소정 렌즈를 제외한 나머지 렌즈들은, 상기 소정 렌즈의 위치를 기준으로 소정 픽셀만큼 이동된 위치에 존재하는 이미지 복원 장치.
제 32 항에 있어서,

상기 입력 모듈은,

상기 복수의 원 이미지의 위치가 상기 각 이미지 센싱 영역 내의 정해진 위치에서 벗어난 경우, 상기 복수의 원 이미지의 위치를 보정하는 이미지 복원 장치.
제 32 항에 있어서,

상기 입력 모듈은,

상기 복수의 원 이미지의 감도가 불균일한 경우, 상기 복수의 원 이미지의 감도 중 최저 감도를 기준으로 상기 복수의 원 이미지의 감도를 보정하는 이미지 복원 장치.
제 32 항에 있어서,

상기 카메라 모듈은,

입사되는 빛을 집광하는 상기 복수의 렌즈를 포함하는 렌즈부;

상기 각 렌즈의 영역에 대응하며, 서로 다른 색상의 컬러필터가 형성된 복수의 필터링 영역을 통해 상기 입사되는 빛을 필터링하는 필터부; 및

상기 복수의 필터링 영역과 소정 간격으로 이격되어 형성되며, 상기 각 필터링 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 이미지 센서부를 포함하는 이미지 복원 장치.
제 36 항에 있어서,

상기 필터링 영역은, 상기 컬러필터의 투과도에 따라서 제1 필터링 영역과 제2 필터링 영역으로 구분되고, 상기 제2 필터링 영역에 형성되는 컬러필터의 투과도는 상기 제1 필터링 영역에 형성되는 컬러필터의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 필터링 영역 및 상기 제2 필터링 영역에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되고, 상기 제2 센싱 영역에 포함된 서브 센싱 영역으로 수렴되는 광량은 상기 제1 센싱 영역에 포함된 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 장치.
제 37 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 장치.
제 32 항에 있어서,

상기 카메라 모듈은,

서로 다른 색상을 갖는 상기 복수의 렌즈; 및

상기 각 렌즈의 영역에 대응하는 상기 복수의 이미지 센싱 영역을 통해 상기 컬러별로 분리된 복수의 원 이미지를 획득하는 이미지 센서부를 포함하는 이미지 복원 장치.
제 39 항에 있어서,

상기 렌즈는, 상기 렌즈의 투과도에 따라서 제1 렌즈부와 제2 렌즈부로 구분되고, 상기 제2 렌즈부에 포함되는 렌즈의 투과도는 상기 제1 렌즈부에 포함되는 렌즈의 투과도 보다 높으며,

상기 센싱 영역은, 상기 제1 렌즈부 및 상기 제2 렌즈부에 각각 대응하는 제1 센싱 영역과 제2 센싱 영역으로 구분되며, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량은 상기 제1 서브 센싱 영역에 포함되는 서브 센싱 영역에 수렴되는 광량보다 많은 이미지 복원 장치.
제 40 항에 있어서,

상기 픽셀 정보는, 상기 제2 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 휘도 정보 및 상기 제1 센싱 영역에 포함되는 서브 센싱 영역에서 제공된 컬러 정보를 포함하는 이미지 복원 장치.
제 32 항에 있어서,

상기 복수의 렌즈는, 동일 평면 상에 위치하는 이미지 복원 장치.