KR100686930B1

KR100686930B1 - Cmos 이미지 센서

Info

Publication number: KR100686930B1
Application number: KR20040041576A
Authority: KR
Inventors: 이윤정
Original assignee: 엠텍비젼 주식회사
Priority date: 2004-06-08
Filing date: 2004-06-08
Publication date: 2007-02-27
Also published as: KR20050116498A

Abstract

본 발명은 CMOS 이미지 센서에 관한 것이다. 본 발명에 의하면, 다각형 모양을 가진 단위 픽셀로 구성된 2차원의 픽셀 어레이; 상기 어레이의 일 방향 종단에 위치하여 로우 방향의 주소를 배정하는 로우 디코더; 및 상기 로우 디코더와 수직 방향의 픽셀 어레이 종단에 위치하여 로우 디코더에서 선택된 로우 방향의 각각의 픽셀에 대한 데이타를 추출하고, 상기 데이타를 증폭하여 픽셀값을 포함한 영상 데이타를 생성하는 칼럼 디코더로 구성된 것을 특징으로 하는 CMOS 이미지 센서가 제공된다. 그 결과 정사각형 모양의 단위 픽셀을 갖는 이미지 센서에 비해 보간이 용이하여 실제 픽셀수보다 2배의 유효 픽셀을 갖기 때문에 감도는 유지하면서 2배의 해상도를 갖는 효과가 있다.

이미지 센서, 마름모, 보간

Description

CMOS 이미지 센서{CMOS image sensor}

도 1은 CMOS 이미지 센서의 단위 픽셀 배열 방법을 설명하기 위한 도면.

도 2는 CMOS 이미지 센서 중 단위 픽셀의 일반적인 3-T(3-transistor) 구조의 회로도.

도 3은 도시된 바와 같이 단위 픽셀의 모양은 다각형의 일 종류로서 마름모를 사용

도 4는 본 발명의 바람직한 일 실시예로서 이미지 처리 장치의 블록구성도.

도 5는 단위픽셀이 정사각형인 CMOS 이미지 센서를 포함한 영상처리장치가 영상 데이터를 보간하는 방법을 나타낸 도면.

도 6은 단위 픽셀이 마름모인 CMOS 이미지 센서를 포함한 영상처리장치가 영상 데이터를 보간하는 방법을 나타낸 도면.

도 7은 단위 픽셀이 마름모인 CMOS 이미지 센서에서 픽셀이 R,G,B bayer 패턴으로 배열된 것을 나타낸 도면.

본 발명은 CMOS 이미지 센서에 관한 것으로서, 구체적으로는 다각형 모양의 단위 픽셀을 이용함으로써 감도는 유지하면서 2배의 해상도를 갖는 CMOS 이미지 센서에 관한 것이다.

최근에는 디지털 카메라 또는 카메라폰이 급속도로 발달되고 상용화되어 가고 있다. 이러한 디지털 카메라 또는 카메라폰은 반도체 센서를 이용하여 감광을 하게 되는데 반도체 센서로 많이 쓰이는 것으로는 CMOS(Complementary Metal-Oxide Semiconductor:상보성금속산화물반도체) 이미지 센서와 CCD(Charged Coupled Device:고체촬상소자) 이미지 센서가 있다.

CMOS 이미지 센서라 함은 CMOS 제조 기술을 이용하여 광학적 이미지를 전기적 신호로 변환시키는 소자로서, 픽셀 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 차례로 출력을 검출하는 스위칭 방식을 채용하고 있다. 현재 이미지 센서로 널리 사용되고 있는 CCD 이미지 센서에 비하여 CMOS 이미지 센서는, 구동 방식이 간편하고 다양한 스캐닝 방식의 구현이 가능하며, 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 가능할 뿐만 아니라 호환성의 CMOS 기술을 사용하므로 제조단가를 낮출 수 있고, 전력 소모 또한 크게 줄일 수 있는 장점을 지니고 있다.

도 1은 CMOS 이미지 센서의 단위 픽셀 배열 방법을 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 픽셀 어레이를 중심으로 로우 어드레스(row address)를 지정할 로우 디코더(row decoder)가 픽셀 어레이의 한쪽 방향에 배치되고, 이와는 직각의 위치에 픽셀의 데이터 출력이 연결되고 픽셀들의 칼럼 어드레스를 지정할 칼럼 디코더(column decoder)가 배치된다.

구체적으로 이미지 센서로부터 데이터를 추출하는 과정은 로우 디코더에서 첫 번째 열을 선택한 다음, 칼럼 디코더에서 선택된 첫 번째 열의 각각의 픽셀에 대한 데이터를 추출한 후 각각의 픽셀의 데이터를 증폭한다. 또한, 로우 디코더에서 두 번째 열을 선택한 다음, 칼럼 디코더에서 선택된 두 번째 열의 각각의 픽셀에 대한 데이터를 추출한 후 각각의 픽셀의 데이터를 증폭한다. 이와 같은 방법으로 전체 픽셀의 데이터를 추출한다.

이 경우 CMOS 이미지 센서에 사용되는 픽셀은 여러 종류가 있으나 그 중 대표적으로 상용화된 픽셀의 종류로는 3개의 기본 트랜지스터와 1개의 포토 다이오드로 구성된 3-T(3-transistor) 구조의 픽셀과 4개의 기본 트랜지스터와 하나의 포토 다이오드로 구성된 3-T(3-transistor) 구조의 픽셀들이 있다.

도 2는 CMOS 이미지 센서 중 단위 픽셀의 일반적인 3-T(3-transistor) 구조의 회로도이다.

도 2를 참조하면, CMOS 이미지 센서의 3-T(3-transistor) 구조의 픽셀의 회로도는 광(Photon)을 전자(electron)로 바꾸어 주는 1개 포토 다이오드(Photo Diode, PD)와 3개의 NMOS 트랜지스터로 구성되어 있다. 3개의 NMOS 트랜지스터는 포토 다이오드(PD)의 전위를 리셋하는 리셋 트랜지스터(Rx), 플로팅 확산(Floating Diffusion;FD)의 전극 전압 변화에 따라 Dx, Sel, DC 게이트로 구성된 소스 팔로워(source follower) 회로의 전류를 변화시켜 단위 픽셀의 출력 전압을 바꾸어주는 드라이드 트랜지스터(Dx), 픽셀 어레이 중 로우(row) 번지를 선택해주는 셀렉트 트랜지스터(Sel)로 구성된다.

여기서, DC 게이트는 트랜지스터의 게이트 전위를 항상 일정한 전압으로 인가하여 일정 전류만을 해주도록 하는 부하 트랜지스터, Vcc는 구동 전압 전원, Vss는 그라운드 전압, Output은 단위 픽셀의 출력 전압을 나타낸다.

즉, CMOS 이미지 센서의 단위 픽셀은 포토 다이오드와 이를 리셋시키주는 트랜지스터와 3개의 소스 팔로워 회로로 구성되는데, 리셋 트랜지스터(Rx)에 의해 Vcc 전원으로 포토 다이오드(PD)를 리셋시키고, 리셋(reset)된 포토 다이오드(PD)에 빛을 조사하면 포토 다이오드(PD)의 접합 영역에서 전자와 홀이 형성되어 홀은 실리콘 기판으로 확산해 가고 전자들이 접합 영역에 축적되며, 이 축적된 전하가 소스 팔로워 회로의 드라이브 트랜지스터(Dx)가 온(on)되고 셀렉션 트랜지스터(Sel)가 선택되면 FD 전극의 전압 변화에 따라 단위 픽셀의 출력 전압이 발생되어 픽셀의 정보를 아날로그적으로 출력시키게 된다.

그런데 일반적으로 픽셀은 정사각형 모양을 가지고 있으며, 정사각형 모양의 단위 픽셀을 도 1과 같이 배치하는 경우 직접도가 증가함에 따라 단위 픽셀들이 배열 길이가 증가하게 되어 기생 저항과 기생 커패시턴스가 증가하여 자연적으로 컨트롤 신호의 시간 지연이 길어지게 되어 감도가 떨어지는 문제점이 있다.

본 발명은 종래 기술의 제반 문제점을 해결하기 위하여 안출한 것으로서, 감도는 유지하면서 2배의 해상도를 갖는 CMOS 이미지 센서를 제공함에 그 목적이 있다.

상술한 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 마름모 형상의 복수개의 단위 픽셀로 구성된 2차원의 픽셀 어레이를 구비하며 상기 픽셀 어레이를 구성하는 마름모 형상의 복수개의 단위 픽셀 각각에 대한 영상 데이터를 생성하는 CMOS 이미지 센서; 상기 CMOS 이미지 센서로부터 생성되는 상기 영상 데이타를 수신하여 각각의 픽셀에 대한 데이타를 보간한 후, 상기 보간된 픽셀 데이타를 이용하여 상기 2차원의 픽셀 어레이를 구성하는 마름모 형상의 복수개의 단위 픽셀의 꼭지점들이 서로 접하는 교차점에 대한 픽셀 데이타를 보간하여 상기 교차점들에 대한 픽셀 데이타를 포함하는 수정 영상 데이타를 생성하는 영상 처리부; 상기 영상 처리부로부터 상기 수정 영상 데이타를 수신하여 화면에 표시하는 표시부; 및 상기 CMOS 이미지 센서, 상기 영상 처리부 및 상기 표시부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상 처리 장치를 제공할 수 있다.

삭제

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

CMOS 이미지 센서의 단위 픽셀은 정사각형 대신 다각형을 사용할 수 있다. 본 발명의 바람직한 일 실시예에 의하면 도 3에 도시된 바와 같이 단위 픽셀의 모양은 다각형의 일 종류로서 마름모를 사용할 수 있다.

도 4는 본 발명의 바람직한 일 실시예로서 이미지 처리 장치의 블록구성도이다. 상기 도 4를 참조하면, 이미지 처리 장치는 CMOS 이미지 센서(410), 영상 처리부(420), 표시부(430) 및 제어부(440)를 포함할 수 있다. 구체적으로 CMOS 이미지 센서(410)는 여러 개의 픽셀이 2차원 구조로 배열되어 있고 각 픽셀은 빛의 밝기에 따라 이를 전기 신호로 변환시킨다. 이 전기 신호를 측정하면 각 픽셀에 들어오는 빛의 양을 알 수 있고, 이를 전기 신호로 변환하여 이용하여 픽셀 단위의 영상을 구성할 수 있는 데 이와 같이 빛의 양에 상응하는 전기 신호를 수치로 표현한 값을 픽셀값이라 한다. 여기서, 픽셀값은 0~255 사이의 값으로 표현될 수 있다

영상 처리부(420)는 상기 이미지 센서(410)에서 생성된 픽셀값을 포함한 영상 데이타를 상기 표시부(430)의 크기에 맞도록 조정하며, 영상의 노이즈 제거, 보간(interpolation) 등의 처리를 한다. 영상 처리부(420)는 5× 5 마스크에서 픽셀을 보간하기 위해 4개의 라인 메모리를 구비할 수 있다.

표시부(430)는 상기 영상처리부(420)에서 출력되는 영상 데이타를 화면으로 표시한다. 여기서 상기 표시부(430)는 LCD를 사용할 수 있으며, 이런 경우 상기 표시부(430)는 LCD제어부(LCD controller), 영상데이타를 저장할 수 있는 메모리 및 LCD 표시소자 등을 구비할 수 있다.

제어부(440)는 이미지 처리 장치의 전반적인 동작을 제어하는 기능을 수행한다.

영상 처리부(420)가 이미지를 보간하는 과정에 대해 좀 더 구체적으로 설명하여 본다. 표시부(430)가 완전 색상(full color) 영상을 얻기 위해서는 각각의 픽셀에 대해 보다 많은 정보를 필요로 한다. 그런데 이미지 센서(410)의 픽셀들은 영상에 포함된 여러 개의 색상 중에서 단 하나의 색상에 대한 픽셀값을 추출하기 때문에 영상 처리부(420)는 RGB Bayer 패턴과 같은 색상 필터 어레이(CFA : Color Filter Array)를 이용하여 잃어버린 픽셀의 정보를 그 주위의 픽셀에 대한 정보를 이용하여 추론하여야 한다. 이러한 색상 필터 어레이를 이용하여 영상의 생상을 복구하는 것을 색상 보간(Color Interpolation)이라 한다.

도 5는 단위픽셀이 정사각형인 CMOS 이미지 센서를 포함한 영상처리장치가 영상 데이터를 보간하는 방법을 나타낸 도면이고, 도 6은 단위 픽셀이 마름모인 CMOS 이미지 센서를 포함한 영상처리장치가 영상 데이터를 보간하는 방법을 나타낸 도면이다. 도 5와 도 6을 비교하면 단위픽셀이 마름모인 경우는 픽셀 배열이 서로 어긋나 있기 때문에 가로선과 세로선이 만나는 지점에 실제로 영상 데이타가 존재하지 않은 부분(600a 내지 600p)이 생긴다. 영상 처리부(420)는 이 부분을 보간하여 가상의 영상 데이타를 추가함으로써 영상 데이타가 읽히는 라인수를 증가시키지 않고 해상도를 2배로 높일 수 있다.

한편, 픽셀을 보간하는 방법은 크게 비적응적 보간 방법(Nonadaptive Algorithms)과 적응적 보간 방법(Adaptive Algorithms)으로 나누어진다. 비적응적 보간 방법은 모든 픽셀에 대해서 고정된 패턴으로 보간하는 알고리즘으로 수행이 쉽고, 계산 양이 적은 장점이 있다.

적응적 알고리즘은 잃어버린 픽셀값을 찾기 위해 가장 효과적인 이웃 픽셀들의 특성을 이용하여 추정하는 알고리즘으로 계산양은 많지만 비적응적 보간 방법에 비해 더 나은 영상을 얻을 수 있다. 비적응적 보간 방법에는 가장 인접한 이웃 픽셀 보간법(Nearest neighbor replication), 양선형 보간법(Bilinear interpolation), 중간값 보간법(Median interpolation), 점진적 색상 변화 보간법 등이 있으며, 적응적 보간 방법에는 패턴 일치 보간 알고리즘(Pattern matching based interpolation algorithm), 기울기의 문턱치 기반 가변수를 이용한 보간법(Interpolation using a threshold-based variable number of gradients), 경계값 보존 보간법(Edge sensing interpolation) 등이 있다.

이러한 보간 방법 중 가장 대표적인 양선형 보간법(Bilinear interpolation)에 대해 설명한다. 양선형 보간법이란 네 개의 가장 가까운 픽셀들에 가중치를 곱한 값으로 중심 픽셀값을 할당하는 방법으로 가중치는 선형적으로 결정되어지며, 각각 가중치는 각각에 존재하는 픽셀로부터의 거리에 정비례하게 된다.

도 7을 참조하여 본 발명의 바람직한 일 실시예로서 영상 처리부가 양선형 보간법을 이용하여 영상 데이타를 보간하는 방법을 설명한다. 도 7은 단위 픽셀이 마름모인 CMOS 이미지 센서에서 픽셀이 R,G,B bayer 패턴으로 배열된 것을 나타낸 도면이다. 양상 처리부는 먼저 각 픽셀의 R,G,B 성분을 보간한 후 보간후 각 픽셀의 R,G,B 성분으로부터 가로선과 세로선이 만나는 지점을 보간한다. 구체적으로 살펴보면, 양선형 보간법에 의하여 G42 픽셀에서 R,G,B 성분이 수학식 1과 같이 결정된다.

R42=(R32+R53)/2

G42=G42

B42=(B33+B52)/2

또한, 양선형 보간법에 의하여 G43 픽셀에서 R,G,B 성분이 수학식 2와 같이 결정된다.

R43=(R34+R53)/2

G43=G43

B43=(B33+B54)/2

또한, 양선형 보간법에 의하여 B33 픽셀에서 R,G,B 성분이 수학식 3과 같이 결정된다.

R33=(R13+R34+R53+R32)/4

G33=(G22+G23+G43+G42)/4

B33=B33

또한, 양선형 보간법에 의하여 R53 픽셀에서 R,G,B 성분이 수학식 4와 같이 결정된다.

R53=R53

G53=(G42+G43+G63+G62)/4

B53=(B33+B54+B73+B52)/4

그 후 영상처리부는 참조번호 710 부분에 가상 영상 데이타를 수학식 5와 같이 보간한다.

R=(R33+R43+R53+R42)/4

G=(G33+G43+G53+G42)/4

B=(B33+B43+B53+B42)/4

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

본 발명에 따른 CMOS 이미지 센서는 정사각형 모양의 단위 픽셀을 갖는 이미지 센서에 비해 보간이 용이하여 실제 픽셀수보다 2배의 유효 픽셀을 갖기 때문에 감도는 유지하면서 2배의 해상도를 갖는 효과가 있다.

Claims

삭제
삭제
마름모 형상의 복수개의 단위 픽셀로 구성된 2차원의 픽셀 어레이를 구비하며 상기 픽셀 어레이를 구성하는 마름모 형상의 복수개의 단위 픽셀 각각에 대한 영상 데이터를 생성하는 CMOS 이미지 센서;

상기 CMOS 이미지 센서로부터 생성되는 상기 영상 데이타를 수신하여 각각의 픽셀에 대한 데이타를 보간한 후, 상기 보간된 픽셀 데이타를 이용하여 상기 2차원의 픽셀 어레이를 구성하는 마름모 형상의 복수개의 단위 픽셀의 꼭지점들이 서로 접하는 교차점에 대한 픽셀 데이타를 보간하여 상기 교차점들에 대한 픽셀 데이타를 포함하는 수정 영상 데이타를 생성하는 영상 처리부;

상기 영상 처리부로부터 상기 수정 영상 데이타를 수신하여 화면에 표시하는 표시부; 및

상기 CMOS 이미지 센서, 상기 영상 처리부 및 상기 표시부를 제어하는 제어부

를 포함하는 것을 특징으로 하는 영상 처리 장치.