KR101841744B1

KR101841744B1 - Stereo Image Matching System integrated CMOS Image Sensor and Method thereof

Info

Publication number: KR101841744B1
Application number: KR1020160102056A
Authority: KR
Inventors: 김창현; 박준영
Original assignee: 주식회사 유엑스팩토리
Priority date: 2016-08-10
Filing date: 2016-08-10
Publication date: 2018-03-23
Also published as: WO2018030642A3; KR20180017749A; CN109643454B; CN109643454A; WO2018030642A2

Abstract

본 발명은 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리할 수 있도록 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 관한 것으로, 이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 시스템인 것으로, 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합하도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 픽셀과 픽셀 사이에 설치된 수직방향 위치보정 스위치를 구비한 이미지센서를 포함하여 구성된다.The present invention relates to a stereo image matching system and a method for integrating a CMOS image sensor that can process stereo image correction and Census transformation, which are essential in a stereo image matching operation, in parallel in a high energy efficiency in an analog domain. A stereo image matching system that integrates a digital processor on a single chip and processes image acquisition and stereo image matching in parallel. The stereo image matching system positions the pixels of a stereo image photographed at different positions with respect to the same object at the same position And an image sensor having a vertical position correcting switch provided between the pixel and the pixel for correcting the vertical position of the pixels forming the other stereo image with reference to any one of the images in the stereo image.

Description

CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법{Stereo Image Matching System integrated CMOS Image Sensor and Method thereof}Technical Field [0001] The present invention relates to a stereo image matching system and a method for integrating a CMOS image sensor,

본 발명은 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리할 수 있도록 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for stereo image matching integrated with a CMOS image sensor, and more particularly, to a system and method for stereo image matching integrated with a CMOS image sensor, and more particularly, To a system and method for stereo image matching integrated with a CMOS image sensor.

일반적으로 손동작 인식, 물체인식과 같은 이동식 사용자 인터페이스에서 깊이 정보는 폭넓게 응용되고 있다.In general, depth information is widely applied in mobile user interfaces such as hand motion recognition and object recognition.

깊이 정보를 얻는 방식에는 크게 능동 센서와 수동 센서로 나뉠 수 있으며, 능동 센서에는 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 Time of Flight 센서가 있다.The depth information can be divided into active sensor and passive sensor. The active sensor has Time of Flight sensor which calculates the distance by measuring the reflected time by shooting the light.

수동 센서로 대표적인 스테레오 이미지 정합 시스템은 두 개의 카메라 영상의 양안 시차를 계산하여, 가까운 물체와 멀리 있는 물체를 구별해 낼 수 있으며, 능동 센서에 비해 저전력으로 구동이 가능하여 이동식 사용자인터페이스에 적합하다.A typical stereo image matching system with a passive sensor can calculate the binocular disparity of two camera images to distinguish nearby objects from distant objects and is suitable for a mobile user interface because it can be driven at a lower power than an active sensor.

기존의 스테레오 이미지 정합 시스템은 스테레오 이미지 센서와 디지털 프로세서로 구성되어 있다.Conventional stereo image matching system consists of stereo image sensor and digital processor.

스테레오 이미지 센서는 일정한 거리를 유지한 두 개의 카메라로 구성되고, 스테레오 이미지 정합 시스템은 인간의 눈과 같이 수평 방향으로 두 이미지를 비교하여 삼각화 기법을 통해 변위를 계산해낸다.The stereo image sensor consists of two cameras that maintain a certain distance. The stereo image matching system compares the two images in the horizontal direction like the human eye and calculates the displacement through the triangulation technique.

이를 위해 영상 획득, 영상 보정, 벡터 변환, 스테레오 이미지 정합 과정을 거치며, 영상 보정 과정은 빠른 스테레오 이미지 정합 연산을 위해 필수적이다.To achieve this, image acquisition, image correction, vector conversion, and stereo image matching are performed, and the image correction process is essential for fast stereo image matching operation.

사람의 자연스러운 깊이 이해 방식과 달리 기계는 두 개의 같은 물체의 상대적 거리를 측정하기 위해 수평방향으로 두 개의 이미지를 스캔한다.Unlike a natural depth of understanding, a machine scans two images horizontally to measure the relative distance of two identical objects.

이 과정에서 하나의 물체의 수직방향 위치가 두 영상에서 다를 경우 수평 방향뿐 아니라 수직방향의 스캔 또한 이루어져야 하므로 연산 비용은 증가한다.In this process, when the vertical position of one object is different in two images, the horizontal direction as well as the vertical direction scanning must be performed.

이러한 수직방향의 위치 차이는 카메라의 높이와 시선 방향의 차이, 렌즈의 왜곡에 의해 필연적으로 발생한다.Such a positional difference in the vertical direction is inevitably caused by the difference between the height of the camera and the viewing direction, and the distortion of the lens.

두 영상을 같은 수평선상에 놓아 빠르게 수평방향으로 스테레오 이미지 정합을 수행할 수 있도록 하는 과정을 영상 보정이라 하며, 보정된 영상에서 동일한 물체의 위치를 정확히 판단하기 위해, 영상을 벡터 값으로 변환시켜주는 벡터 변환과정을 거친다.The process of allowing two images to be placed horizontally on the same horizon so that the stereo image matching can be performed in a fast horizontal direction is called image correction. In order to accurately determine the position of the same object in the corrected image, Vector conversion process.

Census 벡터 변환은 스테레오 이미지 정합에서 널리 사용되는 벡터 변환 방식으로, 한 픽셀의 밝기와 주변 픽셀들의 밝기의 대소 비교를 통해 벡터를 생성한다.Census vector transformation is a widely used vector transformation method in stereo image matching. It generates vectors by comparing the brightness of one pixel and the brightness of surrounding pixels.

이를 이용하면 보다 정확하게 같은 물체의 상대적 거리를 측정할 수 있고, 상대적 거리를 측정하기 위해 양쪽 스테레오 영상의 Census 벡터를 모든 픽셀에 대해 계산한다.Using this, we can measure the relative distance of the same object more precisely, and calculate the census vector of both stereo images for all pixels to measure the relative distance.

이어서, 수평 방향으로 Census 벡터들의 해밍 거리를 XOR 연산을 통해 계산한다.Then, the Hamming distance of the census vectors in the horizontal direction is calculated by an XOR operation.

해밍 거리의 크기가 작을수록 두 벡터의 유사성이 높은 물체로 볼 수 있으므로, 이 해밍 거리가 가장 작은 위치는 동일한 물체가 있는 위치라 할 수 있으며, 양쪽 이미지에서 두 벡터의 좌표 차이를 계산함으로써 이 좌표의 차이가 클수록 가까운 곳에 있는 물체임을 알 수 있다.As the Hamming distance is smaller, it can be regarded as an object having high similarity of two vectors. Therefore, the position where the hamming distance is the smallest may be a position where the same object exists. In this case, The larger the difference is, the closer the object is.

이러한 일련의 과정을 통하여 노이즈에 강인하게 스테레오 이미지 정합의 수행이 진행된다.Through this series of processes, the stereo image matching is performed robustly to the noise.

그러나 사용자 인터페이스로서 영상 포착부터 최종 출력까지 최대 45ms 이하의 지연을 가져야 사람은 부드러운 실시간 인터페이스로 인지한다.However, as a user interface, the user should notice a smooth real-time interface with a delay of up to 45 ms from the image capture to the final output.

기존의 스테레오 이미지 정합 시스템은 외부 카메라 소자로부터 매 프레임을 임베디드 디지털 프로세서로 직렬통신을 통해 전달하는데, 60fps의 외부카메라 소자의 입출력 인터페이스에서 최소 16ms의 지연이 있으며, 이는 실시간 사용자 인터페이스의 전처리로써 지연시간의 최대 요구조건을 만족하기에 큰 제약이 되는 문제점이 있었다.Conventional stereo image matching system transmits every frame from external camera device to serial digital communication with embedded digital processor. There is a delay of at least 16ms in input / output interface of external camera device of 60fps. This is a preprocessing of real time user interface. There is a problem in that it is a great limitation to satisfy the maximum requirement of.

대한민국 공개특허공보 공개번호 제10-2011-0087303호Korean Patent Laid-Open Publication No. 10-2011-0087303

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로써, CIS와 스테레오 이미지 정합 프로세서를 하나의 칩에 집적하여 구성된 스테레오 이미지 정합 가속기를 통한 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리하여 저전력에서 낮은 지연으로 처리할 수 있으므로, 실시간 사용자를 위한 입출력 카메라 인터페이스의 전처리로써 요구되는 지연을 최소화할 수 있도록 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been conceived in order to solve the above-mentioned problems, and it is an object of the present invention to provide a stereoscopic image matching apparatus and a stereoscopic image matching method, A stereo image matching system integrating a CMOS image sensor for minimizing the delay required as a preprocessing of an input / output camera interface for a real time user since it can process low-power to low-delay by processing in parallel with high energy efficiency Method.

상술한 목적을 달성하기 위한 본 발명의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템은 이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 시스템인 것으로, 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합하도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 픽셀과 픽셀 사이에 설치된 수직방향 위치보정 스위치를 구비한 이미지센서를 포함하여 구성된다.According to an aspect of the present invention, there is provided a stereo image matching system integrating an image sensor and a digital processor on a single chip, and a stereo image matching system for parallel processing of image acquisition and stereo image matching, , A vertical position of the pixels forming another stereo image with respect to any one of the images in the stereo image is adjusted so that the positions of the pixels of the stereo image photographed at different positions with respect to the same object are matched with each other at the same position And an image sensor having a vertical position correcting switch provided between the pixel to be corrected and the pixel.

상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 센서스변환회로를 더 포함할 수 있다.The census converting circuit may further include a census converting circuit for selecting the pixel data of the stereo image that is positionally corrected in the vertical direction on a horizontal line basis and performing census conversion through analog operation.

하나의 픽셀은 5개의 MOSFET을 포함하여 구성되고, 픽셀에서 같은 열끼리 공유하는 제어 신호는 리셋 신호와 셀렉션 신호이며; 상기 리셋 신호와 셀렉션 신호를 인접 행의 픽셀로 연결되는 스위치가 각각 2개씩 필요한 것으로, 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하며, 이어서 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유할 수 있다.One pixel is configured to include five MOSFETs, and the control signal shared by the same column in the pixel is a reset signal and a selection signal; The reset signal and the selection signal are required for each of two switches connected to the pixels in the adjacent rows and the second pixel having the switch connected to the pixels in the upper row and the first pixel having the switch connecting the pixels in the lower row, A third pixel having a switch connected to the pixel in the upper row and a fourth pixel having a switch connected to the pixel in the lower row are sequentially connected to each other to sequentially connect the reset signal and the reset signal, And the selection signal can be shared.

제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하며, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유할 수 있다.The switches connected to the pixels in the lower row of the first pixel or the switches connected to the pixels in the upper row of the third pixel are each composed of a pair of MOSFETs and share a gate input, The switches connected from the pixels in the bottom row of the fourth pixel may each comprise a pair of MOSFETs to share the gate input.

제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되고; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향할 수 있다.The switch connected to the pixel in the lower row of the first pixel or the switch connected to the pixel in the upper row of the third pixel is 1 and the switch connected to the pixel in the upper row of the second pixel or the pixel in the lower row of the fourth pixel The connection of the control signal is directed to the pixel in the bottom row; The switch connected to the pixel in the lower row of the first pixel or the switch connected to the pixel in the upper row of the third pixel is 0 and the switch connected to the pixel in the upper row of the second pixel or the pixel in the lower row of the fourth pixel The connection of the control signal can be directed to the same row.

아날로그 메모리에는 하나의 프레임 중 3열의 영상 정보가 저장이 되며, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하며, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되고, 변환된 8비트 센서스 변환 값은 디지털 프로세서에서 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력할 수 있다.In the analog memory, image information of three columns of one frame is stored. Each time a new column is read, new column data is stored. The stored data is input to eight comparators in three rows and three columns for census conversion in three rows and three columns , And the converted 8-bit census conversion value can output the depth information through the hamming distance calculation through the set of 7 rows and 7 columns in the digital processor.

한 개의 픽셀의 값을 저장하는 아날로그 메모리는 1개의 커패시터와 5개의 MOSFET으로 구성되고, 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되고, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보낼 수 있다.An analog memory for storing the value of one pixel is composed of one capacitor and five MOSFETs and receives one write signal and three read signals as inputs and the three read signals are shared among the pixels in the same row, The information of the mapped pixel is compared with the information of the pixel to be converted by the eight comparators so that the 8-bit conversion output Can be exported.

상기 스위치 네트워크는 하나의 열에 대해서 3개의 센서스 변환을 하기 위해 첫 번째 단계에서는 3개의 열 중 제일 좌측의 열, 두 번째 단계에서는 중간의 열, 세 번째 단계에서는 제일 우측의 열이 선택될 수 있다.The switch network may select the first left column among the three columns, the middle column in the second column, and the rightmost column in the third column in order to perform three census transforms for one column.

그리고 상술한 목적을 달성하기 위한 본 발명의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법은 이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 방법인 것으로, 픽셀과 픽셀 사이에 수직방향 위치보정 스위치가 설치된 이미지센서에서 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합되도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 보정 단계를 포함한다.In order to accomplish the above object, there is provided a stereo image matching method integrating an image sensor of the present invention, comprising: integrating an image sensor and a digital processor on a single chip to form a stereo image matching process for parallel processing of image acquisition and stereo image matching; A position of a pixel of a stereo image photographed at a different position with respect to the same object in the image sensor provided with a vertical direction position correction switch between the pixel and the pixel is matched with each other at the same position, And correcting the vertical position of the pixels forming another stereo image based on the image.

상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 센서스변환회로를 통하여 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 변환단계를 더 포함할 수 있다.The pixel data of the stereo image corrected in the vertical direction may be selected in units of horizontal lines through a census conversion circuit, and converted into census data by analog operation.

상기 보정단계에서는 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계와, 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계를 포함할 수 있다.Wherein the correction step comprises sequentially sharing a reset signal and a selection signal by sequentially connecting a first pixel having a switch connected to a pixel in the lower row and a second pixel having a switch connected to the pixel in the upper row, And a fourth pixel having a switch connected to the lower row pixel are sequentially connected to share a reset signal and a selection signal.

상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치가 게이트 입력을 공유하는 단계와, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치가 게이트 입력을 공유하는 단계를 포함할 수 있다.Wherein the step of correcting comprises the steps of: switching a switch connected to a pixel in the lower row of the first pixel or a switch connected to a pixel in the upper row of the third pixel; And a switch connected from a pixel in the lower row of pixels may share a gate input.

상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되는 단계와; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하게 되는 단계를 포함할 수 있다.In the correction step, the switch connected to the pixel in the lower row of the first pixel or the switch connected to the pixel in the upper row of the third pixel is 1, the switch connected to the pixel in the upper row of the second pixel, If the gate input value of the switch connected from the pixel in the lower row of the first row is 0, the connection of the control signal is directed to the pixel in the lower row; The switch connected to the pixel in the lower row of the first pixel or the switch connected to the pixel in the upper row of the third pixel is 0 and the switch connected to the pixel in the upper row of the second pixel or the pixel in the lower row of the fourth pixel The connection of the control signal may be directed to the same row.

상기 변환단계에서는 하나의 프레임 중 3열의 영상 정보가 아날로그 메모리에 저장되는 단계와, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하는 단계와, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되는 단계를 포함할 수 있다.The image data of three columns of one frame is stored in the analog memory, the new column data is stored every time a new column is read, and the stored data is stored in the third row and third column for the census transformation of three rows and three columns. And inputting it into eight comparators in a row.

상기 변환단계에서는 1개의 커패시터와 5개의 MOSFET으로 구성되어 되고, 한 개의 픽셀의 값을 저장하는 아날로그 메모리에서 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되는 단계와, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보내는 단계를 포함할 수 있다.In the conversion step, one capacitor and five MOSFETs are provided. In the analog memory storing the value of one pixel, one write signal and three read signals are inputted, and three read signals are inputted to the pixels of the same row So that when one read signal becomes 1, the switch network can be mapped to another column of the same row, and the information of the mapped pixel is converted into information of pixels to be converted by the eight comparators And outputting the 8-bit conversion output.

상기 변환단계에서는 스위치 네트워크에서 하나의 열에 대한 3개의 센서스 변환을 하기 위해 첫 번째 단계에서 3개의 열 중 제일 좌측의 열, 두 번째 단계에서 중간의 열, 세 번째 단계에서 제일 우측의 열이 선택되는 단계를 포함할 수 있다.In the conversion step, the first left column of the three columns, the middle column of the third column, and the rightmost column of the third stage are selected in the first stage to perform three census transforms for one column in the switch network Step < / RTI >

상기 변환단계 이후에는 디지털 프로세서에서 변환된 8비트 센서스 변환 값을 입력받아 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력하는 단계를 포함할 수 있다.And a step of receiving the converted 8-bit census transform value from the digital processor and outputting the depth information through the calculation of the hamming distance through the set of 7 rows and 7 columns.

이상에서 설명한 바와 같은 본 발명의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법에 따르면, CIS와 스테레오 이미지 정합 프로세서를 하나의 칩에 집적하여 구성된 스테레오 이미지 정합 가속기를 통한 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리하여 저전력에서 낮은 지연으로 처리할 수 있으므로, 실시간 사용자를 위한 입출력 카메라 인터페이스의 전처리로써 요구되는 지연을 최소화할 수 있도록 하는 효과가 있다.According to the stereo image matching system and the method of integrating the CMOS image sensor of the present invention as described above, it is possible to provide a stereoscopic image matching system in which a CIS and a stereo image matching processor are integrated on a single chip, Image correction and census conversion can be processed in parallel with high energy efficiency in the analog domain so that it can be processed at low power with low delay so that the required delay can be minimized by pretreatment of input and output camera interface for real time user .

도 1은 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템을 나타낸 블록도이며,
도 2는 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템의 픽셀 간 스위치와 픽셀의 회로도이며,
도 3은 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템에서 영상 보정 후 영상의 수평선을 맞추기 위해 구현한 픽셀 간 스위치의 예시도이며,
도 4는 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템에서 3 X 3 센서스 변환의 예와 이를 비교기로 구현한 회로를 나타낸 도면이며,
도 5는 본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법을 설명하기 위한 플로우차트이다.1 is a block diagram illustrating a stereo image registration system incorporating a CMOS image sensor according to an embodiment of the present invention,
FIG. 2 is a circuit diagram of a pixel-to-pixel switch and a pixel of a stereo image registration system integrated with a CMOS image sensor according to an embodiment of the present invention,
3 is a diagram illustrating an inter-pixel switch implemented to align a horizontal line of an image after image correction in a stereo image registration system integrated with a CMOS image sensor according to an exemplary embodiment of the present invention,
FIG. 4 is a diagram illustrating an example of a 3 × 3 census conversion in a stereo image matching system integrated with a CMOS image sensor according to an embodiment of the present invention,
5 is a flowchart illustrating a method of matching a stereo image integrated with a CMOS image sensor according to an embodiment of the present invention.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to easily carry out the present invention.

본 발명의 일실시예에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템은 도 1에 나타낸 바와 같이, 이미지 센서(100), 스위치 디코더(200), 출력회로(300), 수평방향 위치보정 스위치(400), 센서스 변환회로(500) 및 디지털 프로세서(600)를 포함하여 구성되며, 전체 회로는 디지털 프로세서(600)의 제어를 통해 동작한다.1, a stereo image matching system integrating a CMOS image sensor according to an exemplary embodiment of the present invention includes an image sensor 100, a switch decoder 200, an output circuit 300, a horizontal directional position correcting switch 400, a census converting circuit 500, and a digital processor 600, and the entire circuit operates through the control of the digital processor 600.

본 발명에 따른 스테레오 이미지 정합 시스템은 상기 이미지 센서(100), 스위치 디코더(200), 출력회로(300), 수평방향 위치보정 스위치(400), 센서스 변환회로(500) 및 디지털 프로세서(600)가 하나의 칩에 집적되어, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 것으로, 이미지 획득, 이미지 보정, 정합을 위한 코스트(Cost) 생성, 코스트 집합(Cost Aggregation) 및 매칭(Matching) 과정으로 진행된다.The stereo image matching system according to the present invention includes the image sensor 100, the switch decoder 200, the output circuit 300, the horizontal direction position correcting switch 400, the census converting circuit 500 and the digital processor 600 It is integrated in one chip, and image acquisition and stereo image matching are processed in parallel, resulting in cost acquisition, cost aggregation and matching for image acquisition, image correction, and matching. do.

이미지 획득은 스테레오 이미지 정합을 위해 이미지 센서 2개를 사용하는 것으로, 즉, 상기 이미지 센서(100), 스위치 디코더(200), 출력회로(300), 수평방향 위치보정 스위치(400), 센서스 변환회로(500) 및 디지털 프로세서(600)를 집적한 동일한 두 개의 칩인 좌측 칩 및 우측 칩을 통해서 이루어진다.The image acquisition uses two image sensors for stereo image matching. That is, the image sensor 100, the switch decoder 200, the output circuit 300, the horizontal direction position correcting switch 400, And the left chip and the right chip, which are the same two chips that integrate the digital processor 500 and the digital processor 600. [

상기 좌측 칩 및 우측 칩은 동일하며, 두 칩에서 이미지 캡처, 이미지 보정, 정합을 위한 코스트(Cost) 생성 과정을 각각 진행하며, 코스트 집합(Cost Aggregation) 및 매칭(Matching) 과정은 우측 칩의 센서스 변환 값을 좌측 칩으로 옮겨서 진행한다.The left chip and the right chip are the same and a cost generation process for image capturing, image correction, and matching is performed on two chips, respectively. Cost aggregation and matching processes are performed on the right chip census Move the conversion value to the left chip and proceed.

상기 이미지 센서(100)는 CMOS 이미지 센서로써, 320 X 240의 해상도를 가지고, 롤링 셔터 방식으로 구현되며, 스테레오 이미지의 수직 방향 보정을 위해 픽셀과 픽셀 사이에 수직방향 위치보정 스위치를 구비한다.The image sensor 100 is a CMOS image sensor having a resolution of 320 X 240 and is implemented in a rolling shutter manner and includes a vertical direction position correction switch between pixels and pixels for vertical direction correction of a stereo image.

상기 수직방향 위치보정 스위치는 초점면에서 스테레오 이미지 보정을 위해 픽셀 간의 제어 신호 연결을 미리 산정한 보정된 이미지의 변환 행렬에 맞게 프로그래밍 가능하도록 구성된다.The vertical direction position correction switch is configured to be programmable in accordance with a transformation matrix of the corrected image that has previously calculated a control signal connection between pixels for stereo image correction on the focal plane.

이미지 센서(100)에서 하나의 픽셀은 도 2에 나타낸 바와 같이, 5개의 MOSFET을 포함하여 구성된다.One pixel in the image sensor 100 includes five MOSFETs as shown in Fig.

실제 픽셀에서 같은 열끼리 공유하는 제어 신호는 리셋(RST) 신호와 셀렉션(SEL) 신호이며, 각각 해당 열의 다이오드 노드 VDD 재설정, 해당 열 선택에 사용되는 신호이다.The control signals shared by the same columns in the actual pixels are a reset (RST) signal and a selection (SEL) signal, which are signals used for resetting the diode node VDD of the corresponding column and selecting the corresponding column.

본 발명에서는 상기 리셋 신호와 셀렉션 신호를 다음 행의 픽셀로 연결하기 위한 스위치가 각각 2개씩 필요하다.In the present invention, two switches are required for connecting the reset signal and the selection signal to the pixels of the next row.

아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀(110)과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀(120)이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하며, 이어서 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀(130)과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀(140)이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유한다.A first pixel 110 having a switch connected to a pixel in the lower row and a second pixel 120 having a switch connected to the pixel in the upper row are sequentially connected to share the selection signal with the reset signal, A third pixel 130 having a switch connected to a column of pixels and a fourth pixel 140 having a switch connected to a pixel of a lower row are sequentially connected to share the reset signal with the selection signal.

즉, 제1픽셀(110)과 제2픽셀(120)에 구비된 스위치는 아래 방향 전환 스위치이며, 제3픽셀(130)과 제4픽셀(140)에 구비된 스위치는 윗 방향 전환 스위치로 같은 구조이지만 제어신호의 연결이 반대를 향하고 있다.That is, the switches provided to the first pixel 110 and the second pixel 120 are downward directional switches, and the switches provided to the third pixel 130 and the fourth pixel 140 are the same Structure, but the connection of the control signal is reversed.

도 2에서 M4, M5, M6, M7은 각각 스위치를 의미하며, 제1픽셀(110)의 아랫 열의 픽셀로 연결하는 스위치 또는 제3픽셀(130)의 윗 열의 픽셀로 연결하는 스위치인 M4와 M5는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하며, 제2픽셀(120)의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀(140)의 아랫 열의 픽셀로부터 연결되는 스위치인 M6과 M7도 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유한다.In FIG. 2, M4, M5, M6 and M7 denote switches, respectively. A switch connected to the pixel in the lower row of the first pixel 110 or a switch M4 and M5 connected to the pixel in the upper row of the third pixel 130 Each of which is composed of a pair of MOSFETs, shares a gate input, and switches M6 and M7 connected from the pixels in the upper row of the second pixel 120 or pixels in the lower row of the fourth pixel 140 It consists of a pair of MOSFETs and shares the gate input.

아울러, M4와 M5의 입력 및 M6과 M7의 입력은 항상 0 또는 1이며, 서로 반대 방향이다.In addition, the inputs of M4 and M5 and the inputs of M6 and M7 are always 0 or 1, and are opposite to each other.

예를 들어, 제1픽셀(110)의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀(130)의 윗 열의 픽셀로 연결하는 스위치인 M4 및 M5의 게이트 입력 값이 1이고, 제2픽셀(120)의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀(140)의 아랫 열의 픽셀로부터 연결되는 스위치인 M6 및 M7의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 된다.For example, when the gate input value of the switch connected to the pixel in the lower row of the first pixel 110 or the switch connected to the pixel in the upper row of the third pixel 130 is 1 and the gate input value of the second pixel 120 The connection of the control signal is directed to the pixel of the lower row, if the gate input value of the switch connected to the pixel of the upper row of the fourth pixel 140 or the switch M6 and M7 of the switch of the fourth pixel 140 is 0.

또는, 제1픽셀(110)의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀(130)의 윗 열의 픽셀로 연결하는 스위치인 M4 및 M5의 게이트 입력 값이 0이고, 제2픽셀(120)의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀(140)의 아랫 열의 픽셀로부터 연결되는 스위치인 M6 및 M7의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하게 된다.Alternatively, the gate input value of the switch connected to the pixel in the lower row of the first pixel 110 or the switch connected to the pixel in the upper row of the third pixel 130 is 0, If the gate input value of the switch connected from the pixel in the upper row or the switch M6 and M7 connected from the pixel in the lower row of the fourth pixel 140 is 1, the connection of the control signal is directed to the same row.

하나의 열에서 픽셀은 제1픽셀(110), 제2픽셀(120), 제3픽셀(130) 및 제4픽셀(140)이 순서대로 배치되어 아래와 위로의 스위치가 번갈아 나타나는 형태를 취한다.In one column, the pixels are arranged such that the first pixel 110, the second pixel 120, the third pixel 130 and the fourth pixel 140 are arranged in order so that the switches of the lower and the upper alternate with each other.

상기 스위치 디코더(200)는 수직방향 위치보정 스위치의 구동을 위한 입력 신호를 제어한다.The switch decoder 200 controls an input signal for driving the vertical direction position correction switch.

상기 출력회로(300)는 Correlated Double Sampling 회로와 Single-Slope A/D Converter 회로로 구성되어 있으며, 출력회로에서 출력되는 이미지로 스테레오 이미지 정합 전 보정 계수를 미리 산정할 수 있다.The output circuit 300 includes a correlated double sampling circuit and a single-slope A / D converter circuit. The correction coefficient before the stereo image matching can be calculated in advance by the image output from the output circuit.

상기 보정 계수를 얻기 위해서는 먼저, 픽셀 간의 수직방향 위치보정 스위치를 모두 동일한 열로 연결하여 보정되지 않은 이미지를 출력회로(300)를 통하여 얻어낸 후, 오프라인에서 Image Rectification 알고리즘을 통해 얻어낼 수 있다.In order to obtain the correction coefficient, first, an uncompensated image may be obtained through the output circuit 300 by connecting all the vertical position correction switches between the pixels in the same column, and then obtained through the image rectification algorithm in offline.

여기서, 얻어낸 보정 계수를 스위치 디코더(200)와, 수평방향 위치보정 스위치(400)에 입력하여 픽셀의 출력이 바로 보정된 이미지의 한 열과 같도록 제어한다.Here, the obtained correction coefficient is input to the switch decoder 200 and the horizontal direction position correction switch 400, and the output of the pixel is controlled to be the same as one row of the corrected image.

상기 수평 방향스위치(400)는 이미지 센서(100) 내에서 수행하지 못한 수평 방향 영상 보정을 수행한다.The horizontal direction switch 400 performs a horizontal direction image correction that is not performed in the image sensor 100.

즉, 이미지 센서(100)에서 픽셀 간의 수직방향 위치보정 스위치를 통해 수직 방향으로의 보정은 가능하지만, 수평 방향으로의 보정은 불가하므로, 수평 방향의 보정을 위해 이미지 센서(100)의 출력 경로를 좌우로 최대 8칸씩 바꿔줄 수 있도록 설계하였다.That is, although correction in the vertical direction is possible through the vertical direction position correction switch between pixels in the image sensor 100, correction in the horizontal direction is not possible. Therefore, the output path of the image sensor 100 It is designed to be able to change up to 8 spaces to the left and right.

도 3에 나타낸 바와 같이, 좌측의 그림은 보정 전 좌우 이미지로써 수평선이 맞지 않아 스테레오 이미지 정합이 불가능한 상태이다.As shown in FIG. 3, the image on the left side shows a state in which stereo image matching is impossible because the horizontal line does not match with the left and right images before correction.

이를 위해 우측의 윗 그림과 같이, 본 발명에 따른 이미지 센서(100)를 이루는 픽셀들은 제어 신호의 연결이 위/아래로 전환이 가능하게 바뀌었으며, 이로 인해 우측의 아랫 그림과 같이, 제어 신호를 공유하는 픽셀은 같은 주기에 출력이 되어, 출력 후 하나의 열로 간주할 수 있는 보정된 이미지가 출력된다.For this, as shown in the right picture, the pixels constituting the image sensor 100 according to the present invention are changed so that the connection of the control signals can be switched up and down. As a result, The shared pixels are output in the same period, and a corrected image which can be regarded as one column after the output is output.

이렇게 본 발명의 특징인 픽셀 사이에서 수직 방향의 보정을 위한 수직방향 위치보정 스위치를 구비하고, 수평 방향의 보정을 위한 수평방향 위치보정 스위치를 구비함으로써 픽셀 간의 연결을 수정하여 한 번에 보정된 이미지의 한 열을 바로 선택할 수 있으며, 이를 통해 스테레오 이미지 정합 과정에 필수적인 이미지 보정과정으로 인한 시간이 지연되는 것을 줄일 수 있다(S110).Thus, by providing a vertical position correction switch for vertical correction between pixels, which is a feature of the present invention, and a horizontal position correction switch for horizontal correction, it is possible to correct the connection between pixels, So that the time delay due to the image correction process, which is essential for the stereo image matching process, can be reduced (S110).

아울러, 픽셀 사이에서 수직 방향의 보정을 위한 수직방향 위치보정 스위치를 위로 열을 바꾸는 스위치와 아래로 열을 바꾸는 스위치를 따로 배치하였으며, 연결하는 스위치를 픽셀 두 개에 나누어 배치하여 이미지 센서의 면적효율을 높였다.In addition, a switch for changing the column direction and a switch for changing the row direction are arranged separately for the vertical direction position correction switch for correcting the vertical direction between the pixels. .

센서스 변환회로(500)는 아날로그 메모리에 저장된 보정된 스테레오 이미지의 픽셀 데이터를 이용하여 비교기 회로를 통해 아날로그 센서스 변환을 수행하는 것으로, 도 4에 나타낸 바와 같이 수평방향 위치보정 스위치(400)를 거쳐 출력되는 보정된 이미지의 한 열의 픽셀 데이터를 입력으로 전달받아 아날로그 센서스 변환을 병렬적으로 처리하도록 한다.The census conversion circuit 500 performs analog census conversion through the comparator circuit using the pixel data of the corrected stereo image stored in the analog memory. The census conversion circuit 500 performs the analog census conversion by using the horizontal direction position correction switch 400, The pixel data of one column of the corrected image is input as input, and the analog census conversion is processed in parallel.

아날로그 센서스 변환은 변환을 하고자 하는 픽셀에 대하여 주변 8개의 픽셀의 정보와 대소비교를 통해 0 또는 1의 값을 가진 8비트의 출력 값을 내보낸다.The analog census transforms an 8-bit output value with a value of 0 or 1 through a comparison of the surrounding eight pixels with respect to the pixel to be converted.

이를 위해 3열의 데이터를 저장하기 위한 아날로그 메모리가 필요하다.To do this, an analog memory is required to store three columns of data.

따라서, 상기 센서스 변환회로(500)는 320 X 3개의 아날로그 메모리와 8 X 107개의 비교기 회로로 구성된다.Therefore, the census conversion circuit 500 is composed of 320 X 3 analog memories and 8 X 107 comparator circuits.

상기 아날로그 메모리에는 하나의 영상 프레임 중 3열의 영상 정보가 저장이 되며(S120), 새로운 열이 읽힐 때마다 원형 대기열(Circular Queue)의 형태로 새로운 열의 데이터를 저장하며, 저장된 데이터는 3 X 3열의 센서스 변환을 위해 3 X 3열씩 8개의 비교기로 입력된다(S130).Image information of three columns of one image frame is stored in the analog memory (S120). Each time a new column is read, new column data is stored in the form of a circular queue. The census signal is input to 8 comparators in 3 x 3 columns (S130).

한 개의 픽셀의 값을 저장하는 아날로그 메모리는 1개의 커패시터와 5개의 MOSFET으로 구성되고, 1개의 쓰기 신호(Write Enable(WEN))와 3개의 읽기 신호(Read Enable(REN))를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되고, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 한다.An analog memory that stores the value of one pixel is composed of one capacitor and five MOSFETs and receives one write signal (Write Enable (WEN)) and three read signals (Read Enable (REN) The three read signals are shared among the pixels in the same row, and in a different order, the switch network can be mapped to the other row in the same row when one read signal becomes 1.

1개의 쓰기 신호는 아날로그 메모리의 어떤 열에 정보를 저장할지 결정한다.One write signal determines which column of analog memory stores information.

아날로그 메모리는 총 3개의 열로 구성되어 있으며 매 열 읽어드릴 때마다 쓰기 신호는 0부터 2까지 한 단계씩 증가한다.The analog memory consists of three columns in total, and each time a column is read, the write signal is incremented from 0 to 2.

쓰기 신호가 2일 때는 다음 열을 읽을 때 다시 0으로 돌아간다.When the write signal is 2, it goes back to 0 when reading the next column.

이렇게 하여 아날로그 메모리는 First-In-First-Out 형태의 원형 큐로 동작을 한다.In this way, the analog memory operates as a first-in-first-out circular queue.

스위치 네트워크와 3개의 읽기 신호는 9개의 픽셀 중 어떤 픽셀의 센서스 변환 값을 계산할지 선택하는 역할을 한다.The switch network and the three read signals serve to select which of the nine pixels to calculate the census conversion value.

읽기 신호 역시 마찬가지로 매 열 읽어드릴 때마다 0부터 2까지 증가하고 다시 0이 된다.The read signal is also incremented from 0 to 2 and read back to 0 each time a read is performed.

스위치 네트워크는 한 열에 대해 3개의 센서스 변환을 하기 위해(8개의 비교기가 3개의 열마다 할당이 되어있으므로) 3개의 단계로(Phase)로 나누어 진행된다.The switch network is divided into three phases (Phase) in order to perform three census conversions for one column (eight comparators are allocated for every three columns).

첫 번째 단계에서는 3개의 열 중 제일 좌측의 열, 두 번째 단계에서는 중간의 열, 세 번째 단계에서는 제일 우측의 열이 선택된다.In the first stage, the leftmost column of the three columns, the middle column in the second stage, and the rightmost column in the third stage are selected.

쓰기 신호와 읽기 신호는 디지털 프로세서(600)로부터 제어 신호로 정해진 순서에 맞추어 매 열을 읽어드릴 때마다 입력된다.The write signal and the read signal are inputted every time the column is read in accordance with the predetermined order from the digital processor 600 to the control signal.

결론적으로 매 열이 들어올 때마다 쓰기 신호는 데이터가 저장될 위치를, 읽기 신호는 아날로그 메모리에서 센서스 변환을 진행할 열의 위치를, 스위치 네트워크는 아날로그 메모리에서 센서스 변환을 진행할 열의 위치를 매핑 시켜주는 역할을 한다.As a result, each time a row is entered, the write signal maps the location where the data will be stored, the read signal the location of the column in which the census conversion is to be performed in the analog memory, and the switch network maps the column location in the analog memory to the census conversion do.

본원 발명에서는 센서스 변환회로(500)를 통해 A/D 변환 없이 센서스 변환이 가능하므로, 이의 장점은 고속 이미지 센싱을 위해 필요한 SAR A/D Converter가 필요치 않아 칩의 면적 효율을 높일 수 있다.In the present invention, since the census conversion can be performed without the A / D conversion through the census conversion circuit 500, an advantage thereof is that the SAR A / D converter necessary for high-speed image sensing is not needed and the area efficiency of the chip can be increased.

또한, 기존에는 디지털 메모리에 한 프레임의 정보를 모두 읽어드린 후에 센서스 변환이 시작되었는데, 본 발명에서는 이미지 센서(100)에서 매 열 샘플링한 값을 아날로그 연산을 통해 바로 센서스 변환을 가능하게 하여, 이미지 센싱과 센서스 변환의 파이프라인이 가능하다.In the present invention, the census conversion is started after reading all the information of one frame in the digital memory. In the present invention, the values sampled every column by the image sensor 100 can be converted into census data through analog calculation, A pipeline of sensing and census conversion is possible.

이를 통해 전체 프로세스의 지연시간 또한 감소하는 효과가 있다.This also has the effect of reducing the delay time of the entire process.

일반적으로 센서스 변환은 이미지 센서(100)에서 샘플링된 아날로그 전압 값을 A/D Converter를 거쳐 출력된 이미지 데이터를 디지털 메모리에 저장해 두었다가 이를 프로세서에서 다시 불러와 비교 과정을 거쳐 센서스 변환을 한다.Generally, in the census conversion, the analog voltage values sampled by the image sensor 100 are stored in the digital memory through the A / D converter, and the image data is recalled in the processor, and the census conversion is performed through a comparison process.

그러나 본 발명에서는 이러한 과정이 필요없이 샘플링된 아날로그 전압 값을 아날로그 비교기를 통해 아날로그 도메인에서 처리할 수 있다는 의미이다.However, in the present invention, it means that the sampled analog voltage value can be processed in the analog domain through the analog comparator without such a process.

센서스 변환에서는 주변 픽셀과의 상관관계(Correlation) 값을 스테레오 이미지 정합을 위한 코스트(Cost)로 사용한다.In the census conversion, a correlation value with peripheral pixels is used as a cost for stereo image matching.

본 발명에서는 도 4에 나타낸 바와 같이, 3 X 3 센서스 변환한 값을 코스트로 사용하였으며, 3 X 3 센서스변환에서 1개의 픽셀에 대해 8개의 픽셀 값이 비교되므로, 3열마다 8개의 비교기와 9개의 아날로그 메모리를 배치하였다.In the present invention, as shown in FIG. 4, a value obtained by 3 × 3 census conversion is used as a cost. In the 3 × 3 census conversion, eight pixel values are compared with respect to one pixel. Of analog memories.

이미지 센서(100)가 320열(107*3=321, 마지막 열은 계산되어도 저장되지 않음)로 되어있으므로 총 107 X 8개의 비교기가 필요하다.Since the image sensor 100 has 320 columns (107 * 3 = 321, the last column is calculated but not stored), a total of 107 X 8 comparators are required.

이어서, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보낸다(S140).Then, the information of the mapped pixel is compared with the information of the pixel to be converted in the eight comparators, and the 8-bit conversion output is output (S140).

변환된 8비트 센서스 변환 값은 디지털 프로세서(600)에서 7 X 7 집합(Aggregation)을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력한다(S150).The converted 8-bit census transformed value is output to the digital processor 600 through the 7 × 7 aggregation through Hamming distance calculation to output depth information (S150).

이어서, 좌측 및 우측의 보정된 두 개의 스테레오 이미지에서 입력된 센서스 변환 값은 디지털 프로세서(600)에서 각 픽셀마다 해밍 거리를 계산하여 비교한 후, 최소 거리에 있는 픽셀까지의 해밍 거리를 깊이 값으로 산정한다(S160). Subsequently, the digital processor 600 calculates the Hamming distance for each pixel and compares the Hamming distance to the pixel at the minimum distance to the depth value (S160).

즉, 매칭 및 집합을 위해 좌우 이미지의 센서스 변환 값을 비교하고, 이어서, 좌 이미지의 한 픽셀의 센서스 변환 값을 기준으로 우 이미지의 같은 열에 있는 픽셀들의 센서스 변환 값과 차례로 그 차이 값을 구한다.That is, the census conversion values of the left and right images are compared for matching and aggregation, and then the census conversion values of the pixels in the same row of the right image are sequentially obtained based on the census conversion value of one pixel of the left image.

이때 비교하는 우 이미지의 픽셀들은 좌 이미지에서 선택된 픽셀의 좌표를 기준으로 수평방향으로 64픽셀 거리 안에 있는 픽셀까지 해당된다.At this time, the pixels of the right image to be compared correspond to pixels within the distance of 64 pixels in the horizontal direction based on the coordinates of the pixel selected in the left image.

이 차이 값은 모두 디지털 메모리에 저장이 된다.All of these difference values are stored in the digital memory.

참고로, 64픽셀 거리까지 비교를 필요로 하므로 320 X 240 이미지에 대하여 (320 X 240 X 8bit) X 64의 메모리가 필요하다.For reference, X 64 memory is needed for a 320 x 240 image (320 x 240 x 8 bit) because it requires comparison up to 64 pixels.

이어서, 7 X 7 집합은 64개의 메모리에서 각각 모든 픽셀에 대해 한 픽셀을 기준으로 7 X 7 박스를 그려 주변의 값들을 모두 더한 값을 같은 좌표에 저장한다.The 7x7 set then draws a 7x7 box based on one pixel for every pixel in each of the 64 memories, and stores the values in the same coordinates plus all the surrounding values.

이를 저장하기 위해서 데이터 형태로 14bit(8bit 데이터를 49개 더했으므로) 가 필요하므로 총 (320*240*14bit)*64의 메모리가 필요하다.In order to store this data, 14 bits (49 more 8 bits of data) are required as data, so a total of (320 * 240 * 14bit) * 64 memories is required.

이어서, 64개의 (320*240*14bit) 메모리에서 한 좌표씩 값을 불러와 그 좌표에 대해 최소값을 가진 메모리를 선택한다.Subsequently, a value is called by one coordinate in 64 (320 * 240 * 14bit) memories and a memory having a minimum value is selected for the coordinate.

상술한 바와 같이, 각 메모리는 좌 이미지에 대해 비교된 우 이미지까지의 픽셀거리가 모두 다르다.As described above, each memory has a different pixel distance from the left image to the compared right image.

따라서, 두 이미지의 센서스 변환 값을 집합한 값의 차이가 최소인 선택된 메모리까지의 픽셀 거리가 곧 그 픽셀의 깊이를 의미한다.Thus, the pixel distance to the selected memory, which is the smallest difference between the values of the census conversion values of the two images, is the depth of the pixel.

상술한 바와 같이 구성된 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템은 다음과 같이 동작한다.The stereo image registration system integrated with the CMOS image sensor configured as described above operates as follows.

먼저, 스테레오 이미지 정합이 시작되면 맵핑 테이블에 따라 보정 계수가 입력되어 픽셀 내 수직방향 위치보정 스위치와 수평방향 위치보정 스위치의 여닫힘 상태를 변경한다(S110).First, when the stereo image matching is started, a correction coefficient is inputted according to the mapping table, and the closed state of the vertical direction position correction switch and the horizontal direction position correction switch in the pixel is changed (S110).

이어서, 각 열을 선택하여 읽어낸 전압 정보를 아날로그 메모리에 저장하며(S120), 아날로그 메모리에 한 열의 정보를 입력한 후에 다음 열을 읽어들이기 위해 픽셀 내 수직방향 위치보정 스위치와 수평방향 위치보정 스위치의 여닫힘 상태는 바뀌게 된다.Then, in order to read the next column after inputting the information of one column in the analog memory, the vertical direction position correction switch and the horizontal direction position correction switch The closed state of the switch is changed.

이어서, 아날로그 센서스 변환을 통해 나온 8비트 변환 출력이 디지털 프로세서로 전달이 된 후 다음 열의 정보가 아날로그 메모리에 새로이 저장된다.Then, the 8-bit conversion output from the analog census conversion is transferred to the digital processor, and the information in the next column is newly stored in the analog memory.

마지막 열에 대한 센서스 변환이 완료되면(S140), 디지털 프로세서는 전체 한 프레임에 대한 깊이 정보를 출력하고(S150), 이어서, 좌측 및 우측의 보정된 두 개의 스테레오 이미지에서 입력된 센서스 변환 값은 디지털 프로세서(600)에서 각 픽셀마다 해밍 거리를 계산하여 비교한 후, 최소 거리에 있는 픽셀까지의 해밍 거리를 깊이 값으로 산정하여 스테레오 이미지 정합이 이루어진다(S160).When the census conversion for the last column is completed (S140), the digital processor outputs the depth information for the entire one frame (S150), and then the census conversion values input from the two corrected stereo images on the left and right sides, A Hamming distance is calculated for each pixel in step 600, and a Hamming distance to a pixel in the minimum distance is calculated as a depth value to perform stereo image matching (S160).

이상에서 설명한 바와 같은 본 발명에 따르면, CIS와 스테레오 이미지 정합 프로세서를 하나의 칩에 집적하여 구성된 스테레오 이미지 정합 가속기를 통한 스테레오 이미지 정합 연산에서 필수적인 스테레오 이미지 보정과 Census 변환을 아날로그 도메인에서 높은 에너지 효율로 병렬적으로 처리하여 저전력에서 낮은 지연으로 처리할 수 있으므로, 실시간 사용자를 위한 입출력 카메라 인터페이스의 전처리로써 요구되는 지연을 최소화할 수 있다.As described above, according to the present invention, stereo image correction and census conversion, which are essential in a stereo image matching operation through a stereo image matching accelerator constructed by integrating a CIS and a stereo image matching processor on a single chip, It is possible to minimize the delay required by the preprocessing of the input / output camera interface for the real time user because it can be processed in parallel with low delay and low delay.

한편, 본 발명에 따른 단계 S110 내지 단계 S160에 따른 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법을 프로그램화하여 컴퓨터가 읽을 수 있도록 시디롬, 메모리, ROM, EEPROM 등의 기록매체에 저장시킬 수도 있다.Meanwhile, the stereo image matching method in which the CMOS image sensor according to the present invention is integrated into the steps S110 to S160 may be programmed and stored in a recording medium such as a CD-ROM, a memory, a ROM, and an EEPROM so that the computer can read the program.

이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of illustration, It will be readily apparent that various substitutions, modifications, and alterations can be made herein.

100: 이미지 센서 200: 스위치 디코더
300: 출력회로 400: 수평방향 위치보정 스위치
500: 센서스 변환회로 600: 디지털 프로세서100: image sensor 200: switch decoder
300: Output circuit 400: Horizontal direction position correction switch
500: Census conversion circuit 600: Digital processor

Claims

이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 시스템인 것으로,
동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합하도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 픽셀과 픽셀 사이에 설치된 수직방향 위치보정 스위치를 구비한 이미지센서를 포함하여 구성된 것을 특징으로 하며;
하나의 픽셀은 5개의 MOSFET을 포함하여 구성되고, 픽셀에서 같은 열끼리 공유하는 제어 신호는 리셋 신호와 셀렉션 신호이며; 상기 리셋 신호와 셀렉션 신호를 인접 행의 픽셀로 연결되는 스위치가 각각 2개씩 필요한 것으로, 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하며, 이어서 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 상기 리셋 신호와 셀렉션 신호를 공유하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.It is a stereo image matching system that integrates image sensor and digital processor on one chip and processes image acquisition and stereo image matching in parallel.
A pixel that corrects the vertical position of pixels forming another stereo image with respect to any one of the images in the stereo image so as to match the positions of pixels of the stereo image photographed at different positions with respect to the same object to the same position with respect to each other, And an image sensor having a vertical position correction switch provided between the pixel and the pixel;
One pixel is configured to include five MOSFETs, and the control signal shared by the same column in the pixel is a reset signal and a selection signal; The reset signal and the selection signal are required for each of two switches connected to the pixels in the adjacent rows and the second pixel having the switch connected to the pixels in the upper row and the first pixel having the switch connecting the pixels in the lower row, A third pixel having a switch connected to the pixel in the upper row and a fourth pixel having a switch connected to the pixel in the lower row are sequentially connected to each other to sequentially connect the reset signal and the reset signal, And the selection signal is shared by the CMOS image sensor.

청구항 1에 있어서, 상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 센서스변환회로를 더 포함하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.The CMOS image sensor according to claim 1, further comprising a census converting circuit for selecting the pixel data of the stereo image corrected in the vertical direction on a horizontal line basis, Image matching system.

삭제delete

청구항 1에 있어서, 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하며, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치는 각각 한 쌍의 MOSFET으로 구성되어 게이트 입력을 공유하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.A switch according to claim 1, wherein the switches connected to the pixels in the lower row of the first pixel or the switches connected to the pixels in the upper row of the third pixel each comprise a pair of MOSFETs and share a gate input, And a switch connected from a pixel in the lower row of the fourth pixel are each composed of a pair of MOSFETs and share a gate input.

청구항 4에 있어서, 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되고; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.5. The display device according to claim 4, wherein the switch connected to the pixel in the lower row of the first pixel or the switch connected to the pixel in the upper row of the third pixel is 1, the switch connected from the pixel in the upper row of the second pixel, If the gate input value of the switch connected from the pixel in the lower row of the pixel is 0, the connection of the control signal is directed to the pixel in the lower row; The switch connected to the pixel in the lower row of the first pixel or the switch connected to the pixel in the upper row of the third pixel is 0 and the switch connected to the pixel in the upper row of the second pixel or the pixel in the lower row of the fourth pixel Wherein the connection of the control signal is directed to the same column if the gate input value of the switch connected to the first image sensor is 1.

청구항 2에 있어서, 아날로그 메모리에는 하나의 프레임 중 3열의 영상 정보가 저장이 되며, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하며, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되고, 변환된 8비트 센서스 변환 값은 디지털 프로세서에서 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력하는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.The method of claim 2, wherein the image information of three columns of one frame is stored in the analog memory, and the new data is stored every time a new column is read. And the converted 8-bit census conversion value is outputted from the digital processor through the calculation of the hamming distance through the set of 7 rows and 7 columns to output the depth information. The stereo image matching system integrated with the CMOS image sensor.

청구항 6에 있어서, 한 개의 픽셀의 값을 저장하는 아날로그 메모리는 1개의 커패시터와 5개의 MOSFET으로 구성되고, 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되고, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보내는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.7. The method of claim 6, wherein the analog memory for storing the value of one pixel comprises one capacitor and five MOSFETs, receives one write signal and three read signals as inputs, And when one read signal becomes 1 in a different order, the switch network can be mapped to another column of the same row, and the information of the mapped pixel is compared with the information of the pixel to be converted in the eight comparators And outputs an 8-bit conversion output. The stereo image registration system integrates a CMOS image sensor.

청구항 7에 있어서, 상기 스위치 네트워크는 하나의 열에 대해서 3개의 센서스 변환을 하기 위해 첫 번째 단계에서는 3개의 열 중 제일 좌측의 열, 두 번째 단계에서는 중간의 열, 세 번째 단계에서는 제일 우측의 열이 선택되는 것을 특징으로 한 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 시스템.8. The method of claim 7, wherein the switch network is configured to perform three census transforms on one column, the first left column of the three columns, the middle column of the third column, and the rightmost column of the third column, Wherein the CMOS image sensor is integrated with a stereo image matching system.

이미지 센서와 디지털 프로세서를 하나의 칩에 집적하여, 영상 획득과 스테레오 이미지 정합을 병렬적으로 처리하는 스테레오 이미지 정합 방법인 것으로,
픽셀과 픽셀 사이에 수직방향 위치보정 스위치가 설치된 이미지센서에서 동일한 물체에 대해 서로 다른 위치에서 촬영된 스테레오 이미지의 픽셀들 위치를 서로 동일한 위치로 정합되도록, 상기 스테레오 이미지에서 어느 하나의 이미지를 기준으로 다른 스테레오 이미지를 형성하는 픽셀들의 수직방향 위치를 보정하는 보정 단계를 포함하는 것을 특징으로 하며;
상기 보정단계에서는 아래 열의 픽셀로 연결하는 스위치가 구비된 제1픽셀과 윗 열의 픽셀로부터 연결되는 스위치가 구비된 제2픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계와, 윗 열의 픽셀로 연결하는 스위치가 구비된 제3픽셀과 아랫 열의 픽셀로부터 연결되는 스위치가 구비된 제4픽셀이 순차적으로 연결되어 리셋 신호와 셀렉션 신호를 공유하는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.A stereo image matching method in which an image sensor and a digital processor are integrated on a single chip and image acquisition and stereo image matching are processed in parallel,
The position of the pixels of the stereo image photographed at different positions with respect to the same object in the image sensor provided with the vertical direction position correction switch between the pixel and the pixel is matched to the same position with respect to each other, And correcting the vertical position of the pixels forming the other stereo image;
Wherein the correction step comprises sequentially sharing a reset signal and a selection signal by sequentially connecting a first pixel having a switch connected to a pixel in the lower row and a second pixel having a switch connected to the pixel in the upper row, And a fourth pixel having a switch connected from a pixel in a lower row are sequentially connected to share a reset signal and a selection signal. A stereo image matching method.

청구항 9에 있어서, 상기 수직방향으로 위치 보정된 스테레오 이미지의 픽셀 데이터는 센서스변환회로를 통하여 매 수평라인 단위로 선택되어 아날로그 연산을 통해 센서스 변환하는 변환단계를 더 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.[Claim 11] The CMOS image sensor of claim 9, further comprising a conversion step of selecting pixel data of the stereo image corrected in the vertical direction on a horizontal line basis through a census conversion circuit, To a stereo image matching method.

삭제delete

청구항 9에 있어서, 상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치가 게이트 입력을 공유하는 단계와, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치가 게이트 입력을 공유하는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.The method of claim 9, wherein in the correcting step, a switch connecting to a pixel in a lower row of the first pixel or a switch connecting to a pixel in an upper row of a third pixel share a gate input; And a switch connected from the pixels of the lower row of the fourth pixel share a gate input. &Lt; Desc / Clms Page number 13 >

청구항 12에 있어서, 상기 보정단계에서는 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 1이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 0이라면, 제어 신호의 연결은 아랫 열의 픽셀을 향하게 되는 단계와; 제1픽셀의 아래 열의 픽셀로 연결하는 스위치 또는 제3픽셀의 윗 열의 픽셀로 연결하는 스위치의 게이트 입력 값이 0이고, 제2픽셀의 윗 열의 픽셀로부터 연결되는 스위치 또는 제4픽셀의 아랫 열의 픽셀로부터 연결되는 스위치의 게이트 입력 값이 1이라면, 제어 신호의 연결은 같은 열을 향하게 되는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.[12] The method of claim 12, wherein in the correcting step, a gate connected to the pixel in the lower row of the first pixel or a switch connected to the pixel in the upper row of the third pixel is 1, If the gate input value of the switch connected from the pixel of the lower row of the switch or the fourth pixel is 0, the connection of the control signal is directed to the pixel of the lower row; The switch connected to the pixel in the lower row of the first pixel or the switch connected to the pixel in the upper row of the third pixel is 0 and the switch connected to the pixel in the upper row of the second pixel or the pixel in the lower row of the fourth pixel Wherein the connection of the control signal is directed to the same column if the gate input value of the switch connected to the control terminal is 1.

청구항 10에 있어서, 상기 변환단계에서는 하나의 프레임 중 3열의 영상 정보가 아날로그 메모리에 저장되는 단계와, 새로운 열이 읽힐 때마다 새로운 열의 데이터를 저장하는 단계와, 저장된 데이터는 3행 3열의 센서스 변환을 위해 3행 3열씩 8개의 비교기로 입력되는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.The method as claimed in claim 10, wherein in the converting step, image information of three columns of one frame is stored in an analog memory, storing new column data every time a new column is read, Wherein the CMOS image sensor comprises a plurality of CMOS image sensors.

청구항 14에 있어서, 상기 변환단계에서는 1개의 커패시터와 5개의 MOSFET으로 구성되어 되고, 한 개의 픽셀의 값을 저장하는 아날로그 메모리에서 1개의 쓰기 신호와 3개의 읽기 신호를 입력으로 받으며, 3개의 읽기 신호는 같은 행의 픽셀끼리 공유되는 단계와, 그 순서를 달리하여 하나의 읽기 신호가 1이 되었을 때 스위치 네트워크에서 같은 행의 다른 열로 맵핑 될 수 있도록 하고, 맵핑된 픽셀의 정보는 8개의 비교기에서 변환하고자 하는 픽셀의 정보와 비교되어 8비트 변환출력을 내보내는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.[Claim 14] The method of claim 14, wherein the conversion step comprises one capacitor and five MOSFETs, receives one write signal and three read signals in an analog memory for storing the value of one pixel, So that the pixels of the same row can be mapped to other columns of the same row in the switch network when one read signal becomes 1 in a different order and the information of the mapped pixels is converted by eight comparators And outputting the 8-bit conversion output by comparing the information of the pixel to be processed with the information of the pixel to be processed.

청구항 15에 있어서, 상기 변환단계에서는 스위치 네트워크에서 하나의 열에 대한 3개의 센서스 변환을 하기 위해 첫 번째 단계에서 3개의 열 중 제일 좌측의 열, 두 번째 단계에서 중간의 열, 세 번째 단계에서 제일 우측의 열이 선택되는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.16. The method of claim 15, wherein in the converting step, in order to perform three census transforms for one column in the switch network, the first left column of the three columns, the middle column of the second column, Wherein the step of selecting a row of the CMOS image sensor comprises the step of selecting a row of the CMOS image sensor.

청구항 14에 있어서, 상기 변환단계 이후에는 디지털 프로세서에서 변환된 8비트 센서스 변환 값을 입력받아 7행 7열의 집합을 통한 해밍거리 계산을 거쳐 깊이 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법.15. The method of claim 14, further comprising the step of receiving the converted 8-bit census transform value from the digital processor and outputting the depth information after calculating the hamming distance through a set of 7 rows and 7 columns. A method of stereo image registration integrated with sensors.

청구항 9, 청구항 10, 청구항 12 내지 청구항 17 중 어느 한 항의 CMOS 이미지 센서를 집적한 스테레오 이미지 정합 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing a method of matching a stereo image integrated with a CMOS image sensor according to any one of claims 9, 10, 12 to 17.