KR101841744B1

KR101841744B1 - Cmos 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법

Info

Publication number: KR101841744B1
Application number: KR1020160102056A
Authority: KR
Inventors: 김창현; 박준영
Original assignee: 주식회사 유엑스팩토리
Priority date: 2016-08-10
Filing date: 2016-08-10
Publication date: 2018-03-23
Also published as: WO2018030642A2; CN109643454B; WO2018030642A3; CN109643454A; KR20180017749A

Abstract

본 발명은 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리할 수 있도록 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 관한 것으로, 이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 시스템인 것으로, 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합하도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 픽셀과 픽셀 사이에 설치된 수직방향 위치보정 스위치를 구비한 이미지센서를 포함하여 구성된다.

Description

CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법{Stereo Image Matching System integrated CMOS Image Sensor and Method thereof}

본 발명은 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리할 수 있도록 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 관한 것이다.

일반적으로 손동작 인식, 물체인식과 같은 이동식 사용자 인터페이스에서 깊이 정보는 폭넓게 응용되고 있다.

깊이 정보를 얻는 방식에는 크게 능동 센서와 수동 센서로 나뉠 수 있으며, 능동 센서에는 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 Time of Flight 센서가 있다.

수동 센서로 대표적인 스테레오 이미지 정합 시스템은 두 개의 카메라 영상의 양안 시차를 계산하여, 가까운 물체와 멀리 있는 물체를 구별해 낼 수 있으며, 능동 센서에 비해 저전력으로 구동이 가능하여 이동식 사용자인터페이스에 적합하다.

기존의 스테레오 이미지 정합 시스템은 스테레오 이미지 센서와 디지털 프로세서로 구성되어 있다.

스테레오 이미지 센서는 일정한 거리를 유지한 두 개의 카메라로 구성되고, 스테레오 이미지 정합 시스템은 인간의 눈과 같이 수평 방향으로 두 이미지를 비교하여 삼각화 기법을 통해 변위를 계산해낸다.

이를 위해 영상 획득, 영상 보정, 벡터 변환, 스테레오 이미지 정합 과정을 거치며, 영상 보정 과정은 빠른 스테레오 이미지 정합 연산을 위해 필수적이다.

사람의 자연스러운 깊이 이해 방식과 달리 기계는 두 개의 같은 물체의 상대적 거리를 측정하기 위해 수평방향으로 두 개의 이미지를 스캔한다.

이 과정에서 하나의 물체의 수직방향 위치가 두 영상에서 다를 경우 수평 방향뿐 아니라 수직방향의 스캔 또한 이루어져야 하므로 연산 비용은 증가한다.

이러한 수직방향의 위치 차이는 카메라의 높이와 시선 방향의 차이, 렌즈의 왜곡에 의해 필연적으로 발생한다.

두 영상을 같은 수평선상에 놓아 빠르게 수평방향으로 스테레오 이미지 정합을 수행할 수 있도록 하는 과정을 영상 보정이라 하며, 보정된 영상에서 동일한 물체의 위치를 정확히 판단하기 위해, 영상을 벡터 값으로 변환시켜주는 벡터 변환과정을 거친다.

Census 벡터 변환은 스테레오 이미지 정합에서 널리 사용되는 벡터 변환 방식으로, 한 픽셀의 밝기와 주변 픽셀들의 밝기의 대소 비교를 통해 벡터를 생성한다.

이를 이용하면 보다 정확하게 같은 물체의 상대적 거리를 측정할 수 있고, 상대적 거리를 측정하기 위해 양쪽 스테레오 영상의 Census 벡터를 모든 픽셀에 대해 계산한다.

이어서, 수평 방향으로 Census 벡터들의 해밍 거리를 XOR 연산을 통해 계산한다.

해밍 거리의 크기가 작을수록 두 벡터의 유사성이 높은 물체로 볼 수 있으므로, 이 해밍 거리가 가장 작은 위치는 동일한 물체가 있는 위치라 할 수 있으며, 양쪽 이미지에서 두 벡터의 좌표 차이를 계산함으로써 이 좌표의 차이가 클수록 가까운 곳에 있는 물체임을 알 수 있다.

이러한 일련의 과정을 통하여 노이즈에 강인하게 스테레오 이미지 정합의 수행이 진행된다.

그러나 사용자 인터페이스로서 영상 포착부터 최종 출력까지 최대 45ms 이하의 지연을 가져야 사람은 부드러운 실시간 인터페이스로 인지한다.

기존의 스테레오 이미지 정합 시스템은 외부 카메라 소자로부터 매 프레임을 임베디드 디지털 프로세서로 직렬통신을 통해 전달하는데, 60fps의 외부카메라 소자의 입출력 인터페이스에서 최소 16ms의 지연이 있으며, 이는 실시간 사용자 인터페이스의 전처리로써 지연시간의 최대 요구조건을 만족하기에 큰 제약이 되는 문제점이 있었다.

대한민국 공개특허공보 공개번호 제10-2011-0087303호

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로써, CIS와 스테레오 이미지 정합 프로세서를 하나의 칩에 집적하여 구성된 스테레오 이미지 정합 가속기를 통한 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리하여 저전력에서 낮은 지연으로 처리할 수 있으므로, 실시간 사용자를 위한 입출력 카메라 인터페이스의 전처리로써 요구되는 지연을 최소화할 수 있도록 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법을 제공하는 것이다.

상술한 목적을 달성하기 위한 본 발명의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템은 이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 시스템인 것으로, 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합하도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 픽셀과 픽셀 사이에 설치된 수직방향 위치보정 스위치를 구비한 이미지센서를 포함하여 구성된다.

상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 센서스변환회로를 더 포함할 수 있다.

하나의 픽셀은 5개의 MOSFET을 포함하여 구성되고, 픽셀에서 같은 열끼리 공유하는 제어 신호는 리셋 신호와 셀렉션 신호이며; 상기 리셋 신호와 셀렉션 신호를 인접 행의 픽셀로 연결되는 스위치가 각각 2개씩 필요한 것으로, 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하며, 이어서 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유할 수 있다.

제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하며, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유할 수 있다.

제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되고; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향할 수 있다.

아날로그 메모리에는 하나의 프레임 중 3열의 영상 정보가 저장이 되며, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하며, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되고, 변환된 8비트 센서스 변환 값은 디지털 프로세서에서 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력할 수 있다.

한 개의 픽셀의 값을 저장하는 아날로그 메모리는 1개의 커패시터와 5개의 MOSFET으로 구성되고, 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되고, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보낼 수 있다.

상기 스위치 네트워크는 하나의 열에 대해서 3개의 센서스 변환을 하기 위해 첫 번째 단계에서는 3개의 열 중 제일 좌측의 열, 두 번째 단계에서는 중간의 열, 세 번째 단계에서는 제일 우측의 열이 선택될 수 있다.

그리고 상술한 목적을 달성하기 위한 본 발명의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법은 이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 방법인 것으로, 픽셀과 픽셀 사이에 수직방향 위치보정 스위치가 설치된 이미지센서에서 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합되도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 보정 단계를 포함한다.

상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 센서스변환회로를 통하여 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 변환단계를 더 포함할 수 있다.

상기 보정단계에서는 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계와, 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계를 포함할 수 있다.

상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치가 게이트 입력을 공유하는 단계와, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치가 게이트 입력을 공유하는 단계를 포함할 수 있다.

상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되는 단계와; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하게 되는 단계를 포함할 수 있다.

상기 변환단계에서는 하나의 프레임 중 3열의 영상 정보가 아날로그 메모리에 저장되는 단계와, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하는 단계와, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되는 단계를 포함할 수 있다.

상기 변환단계에서는 1개의 커패시터와 5개의 MOSFET으로 구성되어 되고, 한 개의 픽셀의 값을 저장하는 아날로그 메모리에서 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되는 단계와, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보내는 단계를 포함할 수 있다.

상기 변환단계에서는 스위치 네트워크에서 하나의 열에 대한 3개의 센서스 변환을 하기 위해 첫 번째 단계에서 3개의 열 중 제일 좌측의 열, 두 번째 단계에서 중간의 열, 세 번째 단계에서 제일 우측의 열이 선택되는 단계를 포함할 수 있다.

상기 변환단계 이후에는 디지털 프로세서에서 변환된 8비트 센서스 변환 값을 입력받아 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력하는 단계를 포함할 수 있다.

이상에서 설명한 바와 같은 본 발명의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 따르면, CIS와 스테레오 이미지 정합 프로세서를 하나의 칩에 집적하여 구성된 스테레오 이미지 정합 가속기를 통한 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리하여 저전력에서 낮은 지연으로 처리할 수 있으므로, 실시간 사용자를 위한 입출력 카메라 인터페이스의 전처리로써 요구되는 지연을 최소화할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템을 나타낸 블록도이며,
도 2는 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템의 픽셀 간 스위치와 픽셀의 회로도이며,
도 3은 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템에서 영상 보정 후 영상의 수평선을 맞추기 위해 구현한 픽셀 간 스위치의 예시도이며,
도 4는 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템에서 3 X 3 센서스 변환의 예와 이를 비교기로 구현한 회로를 나타낸 도면이며,
도 5는 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법을 설명하기 위한 플로우차트이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템은 도 1에 나타낸 바와 같이, 이미지 센서(100), 스위치 디코더(200), 출력회로(300), 수평방향 위치보정 스위치(400), 센서스 변환회로(500) 및 디지털 프로세서(600)를 포함하여 구성되며, 전체 회로는 디지털 프로세서(600)의 제어를 통해 동작한다.

본 발명에 따른 스테레오 이미지 정합 시스템은 상기 이미지 센서(100), 스위치 디코더(200), 출력회로(300), 수평방향 위치보정 스위치(400), 센서스 변환회로(500) 및 디지털 프로세서(600)가 하나의 칩에 집적되어, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 것으로, 이미지 획득, 이미지 보정, 정합을 위한 코스트(Cost) 생성, 코스트 집합(Cost Aggregation) 및 매칭(Matching) 과정으로 진행된다.

이미지 획득은 스테레오 이미지 정합을 위해 이미지 센서 2개를 사용하는 것으로, 즉, 상기 이미지 센서(100), 스위치 디코더(200), 출력회로(300), 수평방향 위치보정 스위치(400), 센서스 변환회로(500) 및 디지털 프로세서(600)를 집적한 동일한 두 개의 칩인 좌측 칩 및 우측 칩을 통해서 이루어진다.

상기 좌측 칩 및 우측 칩은 동일하며, 두 칩에서 이미지 캡처, 이미지 보정, 정합을 위한 코스트(Cost) 생성 과정을 각각 진행하며, 코스트 집합(Cost Aggregation) 및 매칭(Matching) 과정은 우측 칩의 센서스 변환 값을 좌측 칩으로 옮겨서 진행한다.

상기 이미지 센서(100)는 CMOS 이미지 센서로써, 320 X 240의 해상도를 가지고, 롤링 셔터 방식으로 구현되며, 스테레오 이미지의 수직 방향 보정을 위해 픽셀과 픽셀 사이에 수직방향 위치보정 스위치를 구비한다.

상기 수직방향 위치보정 스위치는 초점면에서 스테레오 이미지 보정을 위해 픽셀 간의 제어 신호 연결을 미리 산정한 보정된 이미지의 변환 행렬에 맞게 프로그래밍 가능하도록 구성된다.

이미지 센서(100)에서 하나의 픽셀은 도 2에 나타낸 바와 같이, 5개의 MOSFET을 포함하여 구성된다.

실제 픽셀에서 같은 열끼리 공유하는 제어 신호는 리셋(RST) 신호와 셀렉션(SEL) 신호이며, 각각 해당 열의 다이오드 노드 VDD 재설정, 해당 열 선택에 사용되는 신호이다.

본 발명에서는 상기 리셋 신호와 셀렉션 신호를 다음 행의 픽셀로 연결하기 위한 스위치가 각각 2개씩 필요하다.

아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀(110)과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀(120)이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하며, 이어서 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀(130)과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀(140)이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유한다.

즉, 제1픽셀(110)과 제2픽셀(120)에 구비된 스위치는 아래 방향 전환 스위치이며, 제3픽셀(130)과 제4픽셀(140)에 구비된 스위치는 윗 방향 전환 스위치로 같은 구조이지만 제어신호의 연결이 반대를 향하고 있다.

도 2에서 M4, M5, M6, M7은 각각 스위치를 의미하며, 제1픽셀(110)의 아랫 열의 픽셀로 연결하는 스위치 또는 제3픽셀(130)의 윗 열의 픽셀로 연결하는 스위치인 M4와 M5는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하며, 제2픽셀(120)의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀(140)의 아랫 열의 픽셀로부터 연결되는 스위치인 M6과 M7도 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유한다.

아울러, M4와 M5의 입력 및 M6과 M7의 입력은 항상 0 또는 1이며, 서로 반대 방향이다.

예를 들어, 제1픽셀(110)의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀(130)의 윗 열의 픽셀로 연결하는 스위치인 M4 및 M5의 게이트 입력 값이 1이고, 제2픽셀(120)의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀(140)의 아랫 열의 픽셀로부터 연결되는 스위치인 M6 및 M7의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 된다.

또는, 제1픽셀(110)의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀(130)의 윗 열의 픽셀로 연결하는 스위치인 M4 및 M5의 게이트 입력 값이 0이고, 제2픽셀(120)의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀(140)의 아랫 열의 픽셀로부터 연결되는 스위치인 M6 및 M7의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하게 된다.

하나의 열에서 픽셀은 제1픽셀(110), 제2픽셀(120), 제3픽셀(130) 및 제4픽셀(140)이 순서대로 배치되어 아래와 위로의 스위치가 번갈아 나타나는 형태를 취한다.

상기 스위치 디코더(200)는 수직방향 위치보정 스위치의 구동을 위한 입력 신호를 제어한다.

상기 출력회로(300)는 Correlated Double Sampling 회로와 Single-Slope A/D Converter 회로로 구성되어 있으며, 출력회로에서 출력되는 이미지로 스테레오 이미지 정합 전 보정 계수를 미리 산정할 수 있다.

상기 보정 계수를 얻기 위해서는 먼저, 픽셀 간의 수직방향 위치보정 스위치를 모두 동일한 열로 연결하여 보정되지 않은 이미지를 출력회로(300)를 통하여 얻어낸 후, 오프라인에서 Image Rectification 알고리즘을 통해 얻어낼 수 있다.

여기서, 얻어낸 보정 계수를 스위치 디코더(200)와, 수평방향 위치보정 스위치(400)에 입력하여 픽셀의 출력이 바로 보정된 이미지의 한 열과 같도록 제어한다.

상기 수평 방향스위치(400)는 이미지 센서(100) 내에서 수행하지 못한 수평 방향 영상 보정을 수행한다.

즉, 이미지 센서(100)에서 픽셀 간의 수직방향 위치보정 스위치를 통해 수직 방향으로의 보정은 가능하지만, 수평 방향으로의 보정은 불가하므로, 수평 방향의 보정을 위해 이미지 센서(100)의 출력 경로를 좌우로 최대 8칸씩 바꿔줄 수 있도록 설계하였다.

도 3에 나타낸 바와 같이, 좌측의 그림은 보정 전 좌우 이미지로써 수평선이 맞지 않아 스테레오 이미지 정합이 불가능한 상태이다.

이를 위해 우측의 윗 그림과 같이, 본 발명에 따른 이미지 센서(100)를 이루는 픽셀들은 제어 신호의 연결이 위/아래로 전환이 가능하게 바뀌었으며, 이로 인해 우측의 아랫 그림과 같이, 제어 신호를 공유하는 픽셀은 같은 주기에 출력이 되어, 출력 후 하나의 열로 간주할 수 있는 보정된 이미지가 출력된다.

이렇게 본 발명의 특징인 픽셀 사이에서 수직 방향의 보정을 위한 수직방향 위치보정 스위치를 구비하고, 수평 방향의 보정을 위한 수평방향 위치보정 스위치를 구비함으로써 픽셀 간의 연결을 수정하여 한 번에 보정된 이미지의 한 열을 바로 선택할 수 있으며, 이를 통해 스테레오 이미지 정합 과정에 필수적인 이미지 보정과정으로 인한 시간이 지연되는 것을 줄일 수 있다(S110).

아울러, 픽셀 사이에서 수직 방향의 보정을 위한 수직방향 위치보정 스위치를 위로 열을 바꾸는 스위치와 아래로 열을 바꾸는 스위치를 따로 배치하였으며, 연결하는 스위치를 픽셀 두 개에 나누어 배치하여 이미지 센서의 면적효율을 높였다.

센서스 변환회로(500)는 아날로그 메모리에 저장된 보정된 스테레오 이미지의 픽셀 데이터를 이용하여 비교기 회로를 통해 아날로그 센서스 변환을 수행하는 것으로, 도 4에 나타낸 바와 같이 수평방향 위치보정 스위치(400)를 거쳐 출력되는 보정된 이미지의 한 열의 픽셀 데이터를 입력으로 전달받아 아날로그 센서스 변환을 병렬적으로 처리하도록 한다.

아날로그 센서스 변환은 변환을 하고자 하는 픽셀에 대하여 주변 8개의 픽셀의 정보와 대소비교를 통해 0 또는 1의 값을 가진 8비트의 출력 값을 내보낸다.

이를 위해 3열의 데이터를 저장하기 위한 아날로그 메모리가 필요하다.

따라서, 상기 센서스 변환회로(500)는 320 X 3개의 아날로그 메모리와 8 X 107개의 비교기 회로로 구성된다.

상기 아날로그 메모리에는 하나의 영상 프레임 중 3열의 영상 정보가 저장이 되며(S120), 새로운 열이 읽힐 때마다 원형 대기열(Circular Queue)의 형태로 새로운 열의 데이터를 저장하며, 저장된 데이터는 3 X 3열의 센서스 변환을 위해 3 X 3열씩 8개의 비교기로 입력된다(S130).

한 개의 픽셀의 값을 저장하는 아날로그 메모리는 1개의 커패시터와 5개의 MOSFET으로 구성되고, 1개의 쓰기 신호(Write Enable(WEN))와 3개의 읽기 신호(Read Enable(REN))를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되고, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 한다.

1개의 쓰기 신호는 아날로그 메모리의 어떤 열에 정보를 저장할지 결정한다.

아날로그 메모리는 총 3개의 열로 구성되어 있으며 매 열 읽어드릴 때마다 쓰기 신호는 0부터 2까지 한 단계씩 증가한다.

쓰기 신호가 2일 때는 다음 열을 읽을 때 다시 0으로 돌아간다.

이렇게 하여 아날로그 메모리는 First-In-First-Out 형태의 원형 큐로 동작을 한다.

스위치 네트워크와 3개의 읽기 신호는 9개의 픽셀 중 어떤 픽셀의 센서스 변환 값을 계산할지 선택하는 역할을 한다.

읽기 신호 역시 마찬가지로 매 열 읽어드릴 때마다 0부터 2까지 증가하고 다시 0이 된다.

스위치 네트워크는 한 열에 대해 3개의 센서스 변환을 하기 위해(8개의 비교기가 3개의 열마다 할당이 되어있으므로) 3개의 단계로(Phase)로 나누어 진행된다.

첫 번째 단계에서는 3개의 열 중 제일 좌측의 열, 두 번째 단계에서는 중간의 열, 세 번째 단계에서는 제일 우측의 열이 선택된다.

쓰기 신호와 읽기 신호는 디지털 프로세서(600)로부터 제어 신호로 정해진 순서에 맞추어 매 열을 읽어드릴 때마다 입력된다.

결론적으로 매 열이 들어올 때마다 쓰기 신호는 데이터가 저장될 위치를, 읽기 신호는 아날로그 메모리에서 센서스 변환을 진행할 열의 위치를, 스위치 네트워크는 아날로그 메모리에서 센서스 변환을 진행할 열의 위치를 매핑 시켜주는 역할을 한다.

본원 발명에서는 센서스 변환회로(500)를 통해 A/D 변환 없이 센서스 변환이 가능하므로, 이의 장점은 고속 이미지 센싱을 위해 필요한 SAR A/D Converter가 필요치 않아 칩의 면적 효율을 높일 수 있다.

또한, 기존에는 디지털 메모리에 한 프레임의 정보를 모두 읽어드린 후에 센서스 변환이 시작되었는데, 본 발명에서는 이미지 센서(100)에서 매 열 샘플링한 값을 아날로그 연산을 통해 바로 센서스 변환을 가능하게 하여, 이미지 센싱과 센서스 변환의 파이프라인이 가능하다.

이를 통해 전체 프로세스의 지연시간 또한 감소하는 효과가 있다.

일반적으로 센서스 변환은 이미지 센서(100)에서 샘플링된 아날로그 전압 값을 A/D Converter를 거쳐 출력된 이미지 데이터를 디지털 메모리에 저장해 두었다가 이를 프로세서에서 다시 불러와 비교 과정을 거쳐 센서스 변환을 한다.

그러나 본 발명에서는 이러한 과정이 필요없이 샘플링된 아날로그 전압 값을 아날로그 비교기를 통해 아날로그 도메인에서 처리할 수 있다는 의미이다.

센서스 변환에서는 주변 픽셀과의 상관관계(Correlation) 값을 스테레오 이미지 정합을 위한 코스트(Cost)로 사용한다.

본 발명에서는 도 4에 나타낸 바와 같이, 3 X 3 센서스 변환한 값을 코스트로 사용하였으며, 3 X 3 센서스변환에서 1개의 픽셀에 대해 8개의 픽셀 값이 비교되므로, 3열마다 8개의 비교기와 9개의 아날로그 메모리를 배치하였다.

이미지 센서(100)가 320열(107*3=321, 마지막 열은 계산되어도 저장되지 않음)로 되어있으므로 총 107 X 8개의 비교기가 필요하다.

이어서, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보낸다(S140).

변환된 8비트 센서스 변환 값은 디지털 프로세서(600)에서 7 X 7 집합(Aggregation)을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력한다(S150).

이어서, 좌측 및 우측의 보정된 두 개의 스테레오 이미지에서 입력된 센서스 변환 값은 디지털 프로세서(600)에서 각 픽셀마다 해밍 거리를 계산하여 비교한 후, 최소 거리에 있는 픽셀까지의 해밍 거리를 깊이 값으로 산정한다(S160).

즉, 매칭 및 집합을 위해 좌우 이미지의 센서스 변환 값을 비교하고, 이어서, 좌 이미지의 한 픽셀의 센서스 변환 값을 기준으로 우 이미지의 같은 열에 있는 픽셀들의 센서스 변환 값과 차례로 그 차이 값을 구한다.

이때 비교하는 우 이미지의 픽셀들은 좌 이미지에서 선택된 픽셀의 좌표를 기준으로 수평방향으로 64픽셀 거리 안에 있는 픽셀까지 해당된다.

이 차이 값은 모두 디지털 메모리에 저장이 된다.

참고로, 64픽셀 거리까지 비교를 필요로 하므로 320 X 240 이미지에 대하여 (320 X 240 X 8bit) X 64의 메모리가 필요하다.

이어서, 7 X 7 집합은 64개의 메모리에서 각각 모든 픽셀에 대해 한 픽셀을 기준으로 7 X 7 박스를 그려 주변의 값들을 모두 더한 값을 같은 좌표에 저장한다.

이를 저장하기 위해서 데이터 형태로 14bit(8bit 데이터를 49개 더했으므로) 가 필요하므로 총 (320*240*14bit)*64의 메모리가 필요하다.

이어서, 64개의 (320*240*14bit) 메모리에서 한 좌표씩 값을 불러와 그 좌표에 대해 최소값을 가진 메모리를 선택한다.

상술한 바와 같이, 각 메모리는 좌 이미지에 대해 비교된 우 이미지까지의 픽셀거리가 모두 다르다.

따라서, 두 이미지의 센서스 변환 값을 집합한 값의 차이가 최소인 선택된 메모리까지의 픽셀 거리가 곧 그 픽셀의 깊이를 의미한다.

상술한 바와 같이 구성된 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템은 다음과 같이 동작한다.

먼저, 스테레오 이미지 정합이 시작되면 맵핑 테이블에 따라 보정 계수가 입력되어 픽셀 내 수직방향 위치보정 스위치와 수평방향 위치보정 스위치의 여닫힘 상태를 변경한다(S110).

이어서, 각 열을 선택하여 읽어낸 전압 정보를 아날로그 메모리에 저장하며(S120), 아날로그 메모리에 한 열의 정보를 입력한 후에 다음 열을 읽어들이기 위해 픽셀 내 수직방향 위치보정 스위치와 수평방향 위치보정 스위치의 여닫힘 상태는 바뀌게 된다.

이어서, 아날로그 센서스 변환을 통해 나온 8비트 변환 출력이 디지털 프로세서로 전달이 된 후 다음 열의 정보가 아날로그 메모리에 새로이 저장된다.

마지막 열에 대한 센서스 변환이 완료되면(S140), 디지털 프로세서는 전체 한 프레임에 대한 깊이 정보를 출력하고(S150), 이어서, 좌측 및 우측의 보정된 두 개의 스테레오 이미지에서 입력된 센서스 변환 값은 디지털 프로세서(600)에서 각 픽셀마다 해밍 거리를 계산하여 비교한 후, 최소 거리에 있는 픽셀까지의 해밍 거리를 깊이 값으로 산정하여 스테레오 이미지 정합이 이루어진다(S160).

이상에서 설명한 바와 같은 본 발명에 따르면, CIS와 스테레오 이미지 정합 프로세서를 하나의 칩에 집적하여 구성된 스테레오 이미지 정합 가속기를 통한 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리하여 저전력에서 낮은 지연으로 처리할 수 있으므로, 실시간 사용자를 위한 입출력 카메라 인터페이스의 전처리로써 요구되는 지연을 최소화할 수 있다.

한편, 본 발명에 따른 단계 S110 내지 단계 S160에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법을 프로그램화하여 컴퓨터가 읽을 수 있도록 시디롬, 메모리, ROM, EEPROM 등의 기록매체에 저장시킬 수도 있다.

이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.

100: 이미지 센서 200: 스위치 디코더
300: 출력회로 400: 수평방향 위치보정 스위치
500: 센서스 변환회로 600: 디지털 프로세서

Claims

이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 시스템인 것으로,
동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합하도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 픽셀과 픽셀 사이에 설치된 수직방향 위치보정 스위치를 구비한 이미지센서를 포함하여 구성된 것을 특징으로 하며;
하나의 픽셀은 5개의 MOSFET을 포함하여 구성되고, 픽셀에서 같은 열끼리 공유하는 제어 신호는 리셋 신호와 셀렉션 신호이며; 상기 리셋 신호와 셀렉션 신호를 인접 행의 픽셀로 연결되는 스위치가 각각 2개씩 필요한 것으로, 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하며, 이어서 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.
청구항 1에 있어서, 상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 센서스변환회로를 더 포함하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.
삭제
청구항 1에 있어서, 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하며, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.
청구항 4에 있어서, 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되고; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.
청구항 2에 있어서, 아날로그 메모리에는 하나의 프레임 중 3열의 영상 정보가 저장이 되며, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하며, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되고, 변환된 8비트 센서스 변환 값은 디지털 프로세서에서 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.
청구항 6에 있어서, 한 개의 픽셀의 값을 저장하는 아날로그 메모리는 1개의 커패시터와 5개의 MOSFET으로 구성되고, 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되고, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보내는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.
청구항 7에 있어서, 상기 스위치 네트워크는 하나의 열에 대해서 3개의 센서스 변환을 하기 위해 첫 번째 단계에서는 3개의 열 중 제일 좌측의 열, 두 번째 단계에서는 중간의 열, 세 번째 단계에서는 제일 우측의 열이 선택되는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.
이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 방법인 것으로,
픽셀과 픽셀 사이에 수직방향 위치보정 스위치가 설치된 이미지센서에서 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합되도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 보정 단계를 포함하는 것을 특징으로 하며;
상기 보정단계에서는 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계와, 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
청구항 9에 있어서, 상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 센서스변환회로를 통하여 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 변환단계를 더 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
삭제
청구항 9에 있어서, 상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치가 게이트 입력을 공유하는 단계와, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치가 게이트 입력을 공유하는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
청구항 12에 있어서, 상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되는 단계와; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하게 되는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
청구항 10에 있어서, 상기 변환단계에서는 하나의 프레임 중 3열의 영상 정보가 아날로그 메모리에 저장되는 단계와, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하는 단계와, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
청구항 14에 있어서, 상기 변환단계에서는 1개의 커패시터와 5개의 MOSFET으로 구성되어 되고, 한 개의 픽셀의 값을 저장하는 아날로그 메모리에서 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되는 단계와, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보내는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
청구항 15에 있어서, 상기 변환단계에서는 스위치 네트워크에서 하나의 열에 대한 3개의 센서스 변환을 하기 위해 첫 번째 단계에서 3개의 열 중 제일 좌측의 열, 두 번째 단계에서 중간의 열, 세 번째 단계에서 제일 우측의 열이 선택되는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
청구항 14에 있어서, 상기 변환단계 이후에는 디지털 프로세서에서 변환된 8비트 센서스 변환 값을 입력받아 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.
청구항 9, 청구항 10, 청구항 12 내지 청구항 17 중 어느 한 항의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체.