KR101320520B1 - 이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출방법 - Google Patents

이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출방법 Download PDF

Info

Publication number
KR101320520B1
KR101320520B1 KR1020060108834A KR20060108834A KR101320520B1 KR 101320520 B1 KR101320520 B1 KR 101320520B1 KR 1020060108834 A KR1020060108834 A KR 1020060108834A KR 20060108834 A KR20060108834 A KR 20060108834A KR 101320520 B1 KR101320520 B1 KR 101320520B1
Authority
KR
South Korea
Prior art keywords
image sensor
value
driving power
cross correlation
image
Prior art date
Application number
KR1020060108834A
Other languages
English (en)
Other versions
KR20080040893A (ko
Inventor
민동기
좌성훈
홍승범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060108834A priority Critical patent/KR101320520B1/ko
Priority to US11/828,516 priority patent/US7490016B2/en
Publication of KR20080040893A publication Critical patent/KR20080040893A/ko
Application granted granted Critical
Publication of KR101320520B1 publication Critical patent/KR101320520B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지 센서의 위치에 따른 이미지 정보의 교차 상관의 분포 특성을 이용한 이미지 센서 위치 보정 방법 및 장치 그리고 이미지 센서 위치 검출 방법에 관한 것이다. 본 발명의 이미지 센서 위치 보정 방법은 이미지 센서의 위치에 따른 이미지 정보의 교차 상관값을 구하고, 상기 교차 상관값이 소정의 대칭성을 갖는지 여부에 대한 판단을 통해 이미지 센서의 단위 픽셀 이동을 위한 구동 전원을 검출하고, 상기 검출된 구동 전원값을 이용하여 이미지 센서의 위치를 조절하는 것을 특징으로 한다. 본 발명은 고가의 장비인 위치 센서를 별도로 구비하지 않고도 이미지 센서의 위치를 간략화된 방법으로 이미지 센서의 위치를 서브 픽셀 단위로 보정, 검출할 수 있으며, 위치 센싱의 정확성도 향상시킬 수 있다.
이미지 센서, 위치 보정, 위치 검출, 교차 상관, CIS

Description

이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출 방법{METHOD AND APPARATUS FOR CALIBARTING POSITION OF IMAGE SENSOR, AND METHOD FOR DETECTING POSITION OF IMAGE SENSOR}
도 1a 내지 1c는 무빙 이미지 센서의 구성도이다.
도 2는 이미지 정보의 교차 상관값의 원리를 설명하는 설명도이다.
도3a 내지 3c는 이미지 센서의 위치를 이동시킴에 따른 교차 상관값의 분포를 나타낸 것이다.
도4a 내지 4e는 이미지 센서의 위치 이동에 따른 교차 상관값의 대칭 특성 변화를 설명하는 시뮬레이션을 나타낸 것이다.
도5는 본 발명의 일 실시예에 따른 이미지 센서의 위치 보정 시스템의 구성도이다.
도6은 본 발명의 이미지 센서의 위치 보정 방법에 따른 제1실시예를 설명한 흐름도이다.
도7은 본 발명의 이미지 센서의 위치 보정 방법에 따른 제2실시예를 설명한 흐름도이다.
도8a와 8b는 이미지 센서 위치 검출 모델을 나타낸 것이다.
본 발명은 이미지의 해상도(resolution), 이미지의 화질(quality)를 향상하기 위한 이미지 센서(image sensor)의 위치 보정(position calibration) 방법 및 장치 그리고 이미지 센서의 위치 검출 방법에 관한 것으로서, 특히 별도의 위치 센서 없이 서브 픽셀 단위로 이미지 센서의 이동을 검출하고 이미지 센서의 위치를 보정하는 이미지 센서의 위치 보정 방법, 위치 보정 장치 및 위치 검출 방법에 관한 것이다.
이미지 센서는 이미지 소스로부터 1차원 또는 다차원상의 디지털 이미지 정보를 정보를 얻는 장치이다. 이미지 센서의 종류는 크게 촬상관과 고체 촬상소자로 분류되는데, 촬상관은 전자빔을 주사하는 특수한 형태의 전자관이고, 고체 촬상 소자는 반도체 기판에 감광 소자, 주사회로 등을 집적시킨 촬상 소자이다.
고체 촬상 소자는 텔레비전을 중심으로 사용된 촬상관을 대신하여 개발된 것으로서, 대표적인 것으로는 모스(MOS, metal oxide semiconductor)형과 시시디(CCD, charge coupled device)형이 있다. 근래 들어 디지털 카메라, 디지털 캠코더, 휴대폰, PDA와 같은 영상을 촬영할 수 있는 장치의 보급과 함께, 높은 해상도와 고품질의 이미지에 대한 요구도 늘어나고 있다.
이미지 센서의 해상도나 화질을 향상시키는 방법으로 화소의 수를 증가시키 는 방법이 있는데, 화소의 수를 증가시킬 경우 반도체 소자의 크기가 같은 비율로 증가함에 따른 비용 증가, 이미지 센서의 부피 증가의 문제가 있었다. 화소의 크기를 작게하고 화소의 수를 증가시키는 경우에도, 화소의 크기를 작게 함에 따라 화소의 감도가 저하되는 등의 기술적 한계가 있었다.
상기 기술 이외에도 이미지 센서를 움직여 이미지의 해상도나 화질을 향상시키는 무빙(moving) 이미지 센서가 제안된 바 있다.
도1a는 마이크로렌즈 어레이(MLA, micro-lens array, 도면 부호1), 컬러 필터 어레이(CFL, color filter array, 도면 부호2), 금속 불투명층(metal opaque layer, 도면 부호3), 광다이오드(photodiode, 도면 부호4), 실리콘 기저층(silicon substrate, 도면 부호5), 스캐너(scanner, 도면 부호6)가 일체로 형성된 무빙 이미지 센서를 나타낸 것이다.
도1b는 마이크로렌즈 어레이와 컬러 필터 어레이 및 스캐너의 적층체와 금속 불투명층, 광다이오드 및 실리콘 기저층의 적층체를 분리하고, 전자의 적층체를 이동시키는 이미지 센서의 구조를 나타낸 것이다.
도1c는 마이크로 렌즈 어레이, 컬러 필터 어레이와 지지부재(7)의 적층체와 금속 불투명층, 광다이오드, 실리콘 기저층 및 스캐너의 적층체를 분리하고, 후자의 적층체를 이동시키는 이미지 센서의 구조를 나타낸 것이다.
상기 도1에 도시된 이미지 센서에서 이미지의 해상도나 화질을 향상시키기 위해서는 이동하고자 하는 정확한 위치로 이미지 센서를 움직여야만 한다. 예를 들어, 1픽셀 사이즈 이미지 센서를 이동 시킬 경우에는 이미지 센서의 화질을 향상시 킬 수 있고, 1/2 픽셀 사이즈 이미지 센서를 이동 시킬 경우에는 이미지 센서의 해상도를 향상시킬 수 있다.
종래에는 이미지 센서를 원하는 거리 만큼 이동시키기 위하여 정전용량 센서와 같은 위치 센서를 별도로 사용하였다. 그러나, 이러한 위치 센서는 열 편차(thermal drift) 또는 구동 장치의 노화로 인한 위치 에러를 보상하여 사용해야 하고, 선형적인 특성을 갖지 못하며, 고가의 장비라는 문제가 있었다.
위치 센서 방식를 이용하지 않은 이미지 센서의 위치 추적 알고리즘의 예로는 강도 보간법(intensity interpolation method), 상관 계수 커브 피팅/보간법(correlation coefficient curve-fitting or interpolation method), 뉴턴-랩손 반복법(Newton-Raphson iteration method), 더블 푸리에 변환법(ouble Fourier transform method), 민감도 기반 방법(gradient-based methods) 등이 있다. 그러나, 상기 이미지 센서의 위치 추적/보정을 위한 종래의 방법 들은 위치 센싱을 위해 복잡한 계산을 수행해야 하는 문제가 있었다.
본 발명은 이미지 센서의 위치를 센싱하기 위한 별도의 위치 센서를 구비하지 않고 이미지 센서의 위치에 따른 교차 상관의 대칭 분포 특성을 이용한 간략화된 알고리즘을 통해, 이미지 센서의 위치를 서브 픽셀 단위로 보정하고 검출할 수 있으며, 위치 센싱의 정확성을 향상시킬 수 있는 이미지 센서의 위치 보정 방법, 위치 검출 방법 및 위치 보정 장치를 제공하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 이미지 센서 위치 보정 방법은, 이미지 센서의 제 1 위치에 해당하는 제 1 이미지 정보를 획득하고, 제 2 위치에 해당하는 제 2 이미지 정보를 획득하는 단계; 상기 획득된 제 1 이미지 정보 및 제 2 이미지 정보 간의 교차 상관(cross-correlation) 값을 계산하는 단계; 상기 계산된 교차 상관 값이 소정의 대칭성을 갖는지 여부를 판단하는 단계; 상기 소정의 대칭성을 갖는 것으로 판단된 경우에 상기 제 1 위치 및 제 2 위치 간의 거리 만큼 이동하기 위한 상기 이미지 센서의 구동 전원값을 상기 이미지 센서를 일 픽셀 만큼 이동하기 위한 기준 구동 전원값으로 설정하는 단계; 및 상기 설정된 구동 전원값을 이용하여 상기 이미지 센서의 위치를 보정하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 이미지 센서 위치 보정 장치는 이미지 센서의 제 1 위치에 해당하는 제 1 이미지 정보를 획득하고, 제 2 위치에 해당하는 제 2 이미지 정보를 획득하는 이미지 정보 획득부; 구동 전원값에 따라 상기 이미지 센서의 상기 제 2 위치를 변경시키는 구동부; 상기 제 1 이미지 정보 및 제 2 이미지 정보 간의 교차 상관값을 계산하는 교차상관 계산부; 상기 교차 상관 계산부에서 계산된 교차 상관값이 소정의 대칭성을 갖는지 여부를 판단하는 대칭성 판단부; 상기 소정의 대칭성을 갖는 것으로 판단된 경우에 상기 제 1 위치 및 상기 제 2 위치 간의 거리 만큼 이동하기 위한 상기 이미지 센서의 구동 전원값을 상기 이미지 센서를 일 픽셀 만큼 이동시키기 위한 기준 구동 전원 값으로 설정하는 기준 구동 전원값 설정부; 및 상기 설정된 구동 전원값을 이용하여 상기 구동부에 공급하는 구동 전원값을 제어하는 제어부를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 이미지 센서 위치 검출 방법은, 이미지 센서의 제 1 위치에 해당하는 제 1 이미지 정보를 획득하고, 제 2 위치에 해당하는 제 2 이미지 정보를 획득하는 단계; 상기 획득된 제 1 이미지 정보 및 제 2 이미지 정보 간의 교차 상관값을 계산하는 단계; 상기 계산된 교차 상관 값이 소정의 대칭성을 갖는 지 여부를 판단하는 단계; 상기 소정의 대칭성을 갖는 것으로 판단된 경우에 상기 제 1 위치 및 상기 제 2 위치간의 거리 만큼 이동하기 위한 상기 이미지 센서의 구동 전원값을 상기 이미지 센서를 일 픽셀 만큼 이동하기 위한 기준 구동 전원값으로 설정하는 단계; 상기 설정된 기준 구동 전원값을 이용하여 상기 이미지 센서의 위치를 검출하는 단계를 포함한다.
이하에서는 본 발명의 도면과 실시예를 참조하여 본 발명의 이미지 센서의 위치 보정 방법 및 보정 장치 그리고 이미지 센서의 위치 검출 방법에 대하여 상세히 설명한다.
본 발명은 이미지 교차 상관과 이미지 센서의 위치에 따른 교차 상관의 대칭 특성을 이용한 것으로서, 본 발명의 실시예를 설명하기에 앞서 본 발명에서 이용하는 교차 상관의 개념과 이미지 센서의 위치에 따른 교차 상관의 분포 특성에 대하여 먼저 설명한다.
도 2는 이미지의 교차 상관의 개념을 설명하기 위한 설명도이다.
도 2의 데이터 테이블(10) 원래의 위치(제 1 위치)에서 이미지 센서에서 획 득한 이미지 정보(제 1 이미지 정보)를 나타내는 데이터 테이블(10), 이미지 센서의 위치가 정확히 1픽셀 이동된 위치(제 2 위치)에서 획득한 이미지 정보(제 2 이미지 정보)를 나타내는 데이터 테이블(20)과, 상기 각각의 이미지 정보의 교차 상관을 나타내는 데이터 테이블(30)이 도시되어 있다.
제 1 이미지 정보, 제 2 이미지 정보에 따른 교차 상관은 위 2개의 이미지 정보가 갖는 관련성 정도를 나타낸다. 이미지 센서의 이동 거리(제 1 위치로부터 제 2 위치까지의 거리)가 픽셀 크기와 동일하거나 또는 이미지 센서의 이동 거리가 픽셀 크기의 배수인 경우에 교차 상관은 대칭 분포를 가지며, 교차 상관은 하기 수학식1에 따라 계산될 수 있다.
수학식1
Figure 112006081038820-pat00001
여기에서 f(i,j)는 이미지 센서의 제 1 위치에 따른 제 1 이미지 정보를 나타낸 것이고, g(i+k,j+h)는 이미지 센서를 제 1 위치에서 (k, h) 만큼 이동 시킨 제 2 위치에 따른 제 2 이미지 정보를 나타낸 것이며, 상기 Xfg(k,h)는 제 1 이미지 정보와 제 2 이미지 정보의 교차 상관 함수이고, P, Q는 교차 상관을 계산할 이미지의 픽셀 수이다.
상기 수학식1에 따라 제1이미지 정보(테이블 10)와 제2이미지 정보(테이블 20)의 교차 상관을 계산한 결과는 데이터 테이블(30)에 나타나있다. 데이터 테이 블(30)에서 점선이 교차하는 부분은 원점(0,0)이고, 이미지 정보의 최대 교차 상관값은 (1,0)에 존재한다.
교차 상관값의 피크를 검출하면 이미지 센서의 위치가 좌측으로 1 픽셀 이동 하였음을 확인할 수 있다. 그러나, 이러한 이산화된 방식 만으로는 서브 픽셀 단위의 이미지 센서 위치를 검출하여 이에 따라 이미지 센서의 위치를 조절할 수는 없기 때문에 다음과 같은 교차 상관값의 분포 특성을 더 고려해야 한다.
도3은 이미지 센서의 위치를 이동시킴에 따른 교차 상관값의 분포를 나타낸 것이다.
도3a는 정확히 1픽셀 만큼 이미지 센서를 좌측으로 이동시켰을 경우, 이미지 센서의 이동 전후에 따른 이미지의 교차 상관값을 나타낸 것이다. 이미지 센서를 정확히 1픽셀 좌측으로 이동시켰을 경우에 교차 상관값은 교차 상관값의 피크 좌표(40)를 중심으로 대칭성을 갖는다. 즉, 피크에 인접하여 피크를 중심으로 마주하고 있는 좌표의 교차 상관값은 서로 동일한 값을 갖는다. 따라서, 교차 상관값이 대칭성을 갖는지 여부를 판단함으로써, 이미지 센서가 1픽셀 이동된 위치를 검출할 수 있다.
도3b는 이미지 센서를 서브 픽셀 단위로 좌측으로 이동시켰을 경우 이미지 센서의 이동 전후에 따른 이미지의 교차 상관값을 나타낸 것이다. 정확히 1픽셀 이미지 센서를 좌측으로 이동시켰을 경우와 달리, 피크를 중심으로 마주하고 있는 좌표의 교차 상관값은 서로 대칭성을 갖지 않는다.
도3c는 이미지 센서를 서브 픽셀 단위로 좌측으로 정확히 1/2픽셀 만큼 이동 시켰을 경우 이미지 센서의 이동 전후에 따른 이미지의 교차 상관값을 나타낸 것이다. 교차 상관값의 분포가 대칭을 이루지만, 교차 상관값의 피크를 이루는 좌표가 이론상으로는 2개 존재하지만, 실제적으로는 설계상, 조작상의 오차가 존재하므로 교차 상관의 피크는 1개 존재할 가능성이 높고, 따라서 이 경우에도 피크를 중심으로한 교차 상관값 분포의 대칭성은 깨어지기 쉽다.
도4는 이미지 센서의 위치 이동에 따른 교차 상관값의 대칭 특성 변화를 설명하는 시뮬레이션을 나타낸 것이다. 본 시뮬레이션은 30×30 픽셀의 이미지 센서, 8비트의 AD컨버터(analog-to-digital converter), 가우시안 강도(Gaussian intensity)를 가지며 이미지의 중앙 부분으로 조사되는 이미지 소스, 8비트 분해능의 1%에 해당하는 가우시안 노이즈(Gaussian noise)의 조건에서 수행되었다.
도4a는 이미지 소스의 이미지 정보를 나타낸 것이고, 도4b는 상기 이미지 소스로부터 이미지 센서가 획득한 이미지 정보를 나타낸 것이다. 도4c는 좌측으로 0.3픽셀 이동 후에 이미지 센서가 이미지 소스로부터 획득한 이미지 정보를 나타낸 것이며, 도4d는 상기 도4b, 4c에서 획득된 이미지 정보로부터 계산되는 교차 상관값을 나타낸 것이다. 도4e는 상기 시뮬레이션에서 교차 상관값이 피크인 좌표 주변의 교차 상관 값을 나타낸 표이다.
도4d에 도시된 바와 같이 59×59 픽셀을 갖는 교차 상관값 중에서 상기 (30,30)는 최대의 교차 상관값을 갖는 피크 좌표(도면부호 50)이다. 도4e의 표는 교차 각 위치에 따른 교차 상관값을 최대의 교차 상관값으로 나눈 값으로서, 피크 좌표에서의 교차 상관값은 1이고, 주변의 좌표 즉 (31, 30)에서의 교차 상관값은 0.9934이고, (29, 30)에서의 교차 상관값은 0.9739이다. 상기 교차 상관값의 차이 (0.9739 - 0.9934 = - 0.0195)는 전압 센서를 이용하여 교차 상관값의 차이를 외부에서 인식할 수 있는 신호로 출력함으로써, 이미지 센서의 위치도 검출할 수 있다.
본 시뮬레이션에서 이미지 센서는 좌측으로 이동하였기 때문에, y축 방향으로는 대칭적인 교차 상관 분포를 보이나, x축 방향으로는 비대칭을 이룬다. 본 발명은 피크 좌표에 인접한 주변 좌표에 따른 교차상관 분포의 대칭 특성을 이용하여 이미지 센서가 1픽셀 이동되는 위치를 추정할 수 있으며, 추정된 결과를 기준으로 하여 이미지 센서의 위치를 보정할 수 있다.
이하 본 발명의 도면과 실시예를 참조하여, 본 발명에 따른 이미지 센서의 위치 보정 방법 및 보정 장치 그리고 위치 검출 방법에 대하여 보다 상세히 설명한다.
도5는 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 위치 보정 장치의 구성도이다.
본 발명의 일 실시예에 따른 이미지 센서의 위치 보정 장치(100)는 이미지 정보 획득부(110), 구동부(120), 교차상관 계산부(130), 대칭성 판단부(140), 기준 구동 전원 설정부(150), 제어부(160), 구동 전원 검출부(170) 및 입력부(180)를 포함한다.
이미지 정보 획득부(110)는 이미지 센서(도1a 내지 1c)가 이미지 소스로부터 감지한 이미지 정보를 획득한다. 본 실시예에 따른 위치 보정 장치에서 활용가능한 이미지 소스로는 내부의 또는 외부로부터 광원으로부터 조사되는 빛, 열원으로부터 공급되는 열 등이 있다. 빛을 감지하기 어려운 환경에서는 열로부터 획득되는 이미지 정보를 이용하여 교차 상관을 구할 수 있다.
이미지 정보 획득부(110)는 이미지 센서가 제 1 위치(원점)에서 센싱한 제 1 이미지 정보를 이미지 센서로부터 획득하고, 구동부(120)의 조작에 따른 제 2 위치에서 센싱한 제 2 이미지 정보를 이미지 센서로부터 획득한다. 제 2 위치는 구동부에 인가되는 구동 전원에 따라 변경되며, 이미지 센서는 제 2 위치 변화에 따라 제 2 이미지 정보를 갱신한다.
구동부(120)는 제어부(160)에 의해 공급되는 구동 전원(전압원)을 인가 받고, 이미지 센서를 단일 차원 또는 다차원(2차원 또는 3차원)상에서 이동시킨다. 본 실시예에서 구동부(120)는 인가되는 구동 전원에 비례하여 이미지 센서를 이동시키는데, 이 경우 구동 전원의 제어를 통해 이미지 센서의 위치를 제어할 수 있다.
구동부의 조작에 따라 이미지 센서는 이동 전의 제 1 위치에서 영상으로부터 제 1 이미지 정보를 획득하고, 구동 전원에 따른 제 2 위치에서 제 2 이미지 정보를 획득한다.
교차상관 계산부(130)는 제 1 이미지 정보와 제 2 이미지 정보의 교차 상관을 계산한다. 교차상관 계산부(130)는 상술한 수학식1에 따라 교차 상관값을 계산한다. 제 2 이미지 정보는 이미지 센서의 위치에 따라 갱신될 경우, 교차상관 계산부는 갱신된 제 2 이미지 정보를 이용하여 교차 상관값을 계산한다.
대칭성 판단부(140)는 교차상관 계산부(130)에서 계산된 교차 상관값이 소정 의 대칭 분포는 갖는지 여부를 판단한다. 대칭성 판단부(140)는 피크 검출부(141), 감산부(142) 및 비교부(143)을 구비한다.
피크 검출부(141)는 교차 상관 계산부(130)의 출력값을 이용하여 이미지 센서의 위치에 따른 교차 상관값의 피크 좌표를 검출하고, 감산부(142)는 검출된 피크 좌표에 인접하며 피크 좌표를 중심으로 서로 마주하는 좌표쌍이 갖는 교차 상관값 차이를 계산한다.
비교부(143)는 상기 교차 상관값 차이의 절대값이 소정의 값보다 작은지 여부를 판단한다. 교차 상관값 차이의 절대값이 소정의 값보다 작은 경우는 피크 좌표를 중심으로 교차 상관값이 대칭성을 갖는 경우이고, 소정의 값보다 큰 경우는 피크 좌표를 중심으로 교차 상관값이 대칭성을 갖지 않는 경우이다.
피크 좌표를 중심으로한 교차 상관값의 대칭은 이미지 센서의 위치가 0픽셀, 1픽셀, 2픽셀 등 N 픽셀(N은 정수) 사이즈 단위로 이동하였을 경우 나타나는 현상이다. 따라서, 상기 교차 상관값이 대칭성을 이미지 센서의 위치를 검출함으로써 위치 센서 없이 1픽셀 사이즈를 찾아 낼 수 있다. 디바이스의 사용환경이나 오차 등으로 인하여 피크 좌표를 중심으로 서로 마주하는 좌표가 갖는 교차 상관값이 완전히 동일한 것은 현실적으로 어렵기 때문에, 비교부(143)는 대칭성과 관련하여 허용 가능한 대칭오차 범위(소정의 값) 내에 상기 교차 상관값 차이의 절대값이 속하면 대칭성을 만족하는 것으로 판단한다.
하기 수학식2는 교차 상관값의 대칭성을 판단하기 위한 부등식을 나타낸 것이다.
수학식2
Figure 112006081038820-pat00002
Figure 112006081038820-pat00003
여기에서 (m, n)는 교차 상관이 피크인 좌표이고, (m+1, n)과 (m-1, n), (m, n+1)과 (m, n-1)는 피크 좌표를 중심으로 서로 마주하고 있는 좌표이며, 상기 Xfg(m, n)은 교차 상관이 피크인 좌표에서의 교차 상관값이다. 상기 수학식2는 피크 좌표 (m,n) 을 중심으로 서로 마주하고 있는 좌표의 차이를 최대 교차 상관값 Xfg(m, n)으로 나눔으로써 얻어지는 값이 소정의 오차 범위(εx ,εy) 내에 있는지 여부를 판단하는 것을 수식이다.
기준 구동 전원 설정부(150)는 교차 상관의 차이가 소정의 오차 범위 내에 있는 경우에, 이미지 센서를 제 1 위치로부터 제 2 위치 까지 이동시키기 위해 필요한 구동 전원값을 기준 구동 전원값으로 설정한다. 상기 구동 전원값은 구동 전원 검출부(170)으로부터 얻는다.
제어부(160)는 상기 기준 구동 전원값을 이용하여 이미지 센서의 위치와 구동 전원값의 관계를 계산하고, 이미지 센서의 위치 보정을 위해 필요한 구동 전원을 구동부에 인가함으로써, 이미지 센서의 위치를 원하는 위치로 보정시키는 기능을 한다.
우선, 제어부(160)는 이미지 센서를 제 1 위치에서 1픽셀 쉬프트된 위치(제 2 위치)로 이동시키는데 필요한 구동 전원(기준값)을 구하기 위하여, 미리 설정된 복수개의 서로 다른 구동 전원값을 구동부에 인가한다. 본 실시예에서 제어부(160)는 상기 기준값을 좀더 효율적으로 구하기 위하여, 이미지 센서를 제 1 위치에서 1픽셀 쉬프트된 위치(제 2 위치)로 이동시키기 위해 미리 설정된 대략적인 구동 전원값을 공급하고, 대칭성 결과에 따라 구동 전원을 보정시키는 방식으로 구동 전원을 제어한다.
상기 구동 전원의 보정이 필요한 이유는 이미지 센서의 사용 환경 또는 작동상의 오차에 따라 필요한 구동 전원값이 다르기 때문이다. 결과적으로 구동 전원의 보정에 따라 구동부(120)는 이미지 센서의 위치를 변화시키며, 교차상관 계산부(130)는 변화된 위치에 따라 교차 상관값을 계산하고 대칭성 검사부(140)는 대칭성 여부를 판단하는 프로세스를 연속적으로 수행한다.
또한, 제어부(160)는 대칭성 검사결과 소정의 대칭성을 만족시킬 경우(이미지 센서의 제 2 위치가 제 1 위치로부터 1 픽셀 떨어진 경우)의 기준 구동 전원값을 상기 기준 구동 전원값 설정부(150)로부터 얻고, 이미지 센서의 위치와 구동 전원을 변수로 하는 근사 관계식을 계산한다. 상기 계산된 근사 관계식에 따라 소정의 구동 전원이 입력되면 그에 따른 이미지 센서의 위치가 특정될 수 있게 된다.
본 실시예에서 이미지 센서의 위치는 구동 전원값에 비례하기 때문에, 교차 상관값이 대칭성을 갖는 이미지 센서의 위치와 그 때의 구동 전원값이 특정되면, 특정된 구동전원값에 1/R (R은 실수)를 승산한 값을 1/R 픽셀 사이즈 이동을 위해 필요한 구동 전원값으로 설정할 수 있다. 제어부(160)는 계산된 구동 전원값을 구 동부에 인가함으로써 이미지 센서의 위치를 1/R 픽셀 이동시킨다.
구동 전원 검출부(170)는 구동부(120)에 인가되는 구동 전원값을 검출하는데, 특히 이미지 센서가 소정의 대칭성을 갖는 위치에서 검출되는 구동 전원값을 이미지 센서의 위치를 1픽셀 사이즈 이동시키는 구동 전원값(기준값)으로 검출한다. 본 실시예에서 구동부(120)는 구동 전원에 비례하여 이미지 센서를 이동시키는데, 구동전원 검출부(170)를 통해 상기 기준 구동 전원값을 검출함으로써, 구동 전원값과 이미지 센서의 위치 관계는 특정될 수 있다.
입력부(180)는 이미지 센서의 위치 이동량에 대한 입력 정보를 수신한다. 본 실시예에서는 입력부(180)는 픽셀 단위의 입력 정보(1/R)의 값을 수신한다.
도6은 본 발명의 이미지 센서 위치 보정 방법에 따른 제1실시예를 설명한 흐름도이다. 본 실시예에 따른 이미지 센서 위치 보정 방법은 이미지 센서의 위치 보정 장치(100)에서 시계열적으로 처리되는 다음과 같은 단계들로 구성된다.
210 단계에서 이미지 정보 획득부(110)는 제1위치(이미지 센서가 이동하기 전의 위치)에서 이미지 소스로부터 제1이미지 정보를 획득한다. 이미지 소스는 위치 보정 장치의 내부 또는 외부에 장착된 광원으로부터 발생하며, 이미지 센서는 이미지 소스로부터 제1 및 제2 이미지 정보를 감지하고, 이를 이미지 획득부(110)에 전달한다.
본 실시예에서 이미지 소스로부터의 광 강도(light intensity)의 분포는 가우시안 분포를 따르며 이미지 센서의 중심으로 조사된다.
220 단계에서 제어부(160)는 이미지 센서를 X축 양의 방향으로 단위 픽셀 이 동시키기 위한 구동 전원을 구동부(120)에 인가한다. 제어부(160)는 이미지 센서를 x축 양의 방향으로 단위픽셀 이동시키기 위해 미리 설정된 구동 전원 Vx0 (2축 구동의 경우 이미지 센서를 y축 방향으로 이동시키기 위해 미리 설정된 구동 전원(Vy0)도 포함된다)를 구동부(120)에 인가하여 이미지 센서를 이동시킨다. 본 실시예에서 이미지 센서의 제 1 위치(원점)로부터 이동된 제 2 위치 까지의 거리는 구동 전원에 비례하는데, 구동 전원의 제어를 통해 이미지 센서의 위치를 조절할 수 있다는 점에서 유용하다.
이미지 센서의 사용 환경에 따라 이미지 센서를 1픽셀 이동시키기 위해 필요한 구동 전원이 다르기 때문에, 이미지 센서를 1픽셀 이동시키기 위하여 필요한 구동 전원에 따라 이미지 센서를 위치 이동시키더라도 이미지 센서의 위치를 정확히 1 픽셀 사이즈 만큼 이동시키는 것은 어렵다. 따라서, 구동 전원을 보정하는 단계를 통해 이미지 센서의 위치를 보정하는 것이 필요하다. 구동 전원의 보정과 관련하여, 본 실시예에서는 구동부(120)에 인가되는 구동 전원을 변경해가며 이미지 센서의 위치를 변화시키고, 위치에 따라 교차 상관값을 계산하고 대칭성 여부를 판단하는 프로세스를 연속적으로 수행한다.
230 단계에서 구동부(120)는 제어부(160)로부터 공급된 구동 전원에 따라 이미지 센서의 위치를 X축의 양의 방향으로 이동시킨다. 구동부(120)에 인가되는 1차적인 구동 전원은 이미지 센서를 1픽셀 이동시키기 위해 미리 설정된 구동 전원이다. 제어부(160)는 교차 상관의 분포가 소정의 대칭성을 가질 때까지 구동 전원을 미세 변경(270 단계)하여 이를 구동부(120)에 인가시키고, 230단계에서 구동부(120)는 인가되는 구동 전원에 따라 이미지 센서의 위치를 이동시킨다.
240 단계에서 이미지 정보 획득부(110)는 제2위치(이미지 센서가 이동한 후의 위치)에서의 제2이미지 정보를 이미지 센서로부터 획득한다. 이미지 센서의 제2위치는 구동부의 조작에 의하여 변화되며, 이미지 센서는 위치가 변화될 때 마다 제2이미지 정보를 갱신하고, 후술하는 절차에 따라 갱신된 제2이미지 정보를 이용하여 교차 상관값을 계산한다.
250 단계에서 교차상관 계산부(130)는 상술한 수학식1에 따라 제1이미지 정보와 제2이미지 정보의 교차 상관을 계산한다.
260 단계에서 대칭성 판단부(140)는 교차 상관의 분포가 소정의 대칭성을 갖는지 검사한다. 대칭성 판단부(140)는 이미지 센서의 위치에 따른 교차 상관의 피크 좌표를 검출한다.
상기 피크 좌표는 교차 상관의 대칭성을 판단하는 기준이 된다. 상기 피크 좌표가 검출한 후, 대칭성 판단부(140)는 검출된 각각의 피크 좌표 별로, 피크 좌표에 인접하며 피크 좌표를 중심으로 서로 마주하는 좌표쌍이 갖는 교차 상관값 차이를 각각 계산한다. 디바이스의 사용 환경과 오차 등에 의해 상기 교차 상관값의 차이의 절대값이 정확히 0인 이미지 센서의 위치를 찾는 것은 현실적으로 어렵다. 이런 이유로 대칭성 판단부(140)는 허용 가능한 대칭 오차 범위(εx ,εy) 내에 상기 교차 상관값 차이의 절대값이 속하면 대칭성을 만족하는 것으로 판단한다. 교차 상관의 분포가 대칭성을 갖는지 여부를 판단하는 방법을 수식화하여 표현한 수학식2는 앞서 설명한 바 있다.
270 단계에서 제어부(160)는 220 단계에서 인가된 소정의 구동 전원을 변경시켜가며 이미지 센서의 위치(제2위치)를 보정시킨다. 제어부(160)는 Vx ±ㅿVx의 값을 새로운 Vx로 설정하고, 이를 구동부(120)에 인가한다. 여기서 ㅿVx는 260단계에서의 판단 결과에 따라 이미지 센서의 위치를 이동시키기 위해 구동 전원을 증가 또는 감소시키는 구동 전원의 미소 변화량이다.
270단계에서 제어부는 구동 전원을 변경시키고, 구동부(120)는 보정된 구동전원에 따라 이미지 센서의 위치(제2위치)를 변경시킨다. 구동 전원과 이미지 센서의 위치 변경에 따라 230 내지 260단계는 다시 수행되며, 교차 상관의 분포가 소정의 대칭성을 갖는 것으로 판단될 때 까지 상기 단계의 순환은 반복된다.
280 단계에서 구동 전원 검출부(170)는 260단계에서 소정의 대칭성을 갖는 것으로 판단되는 이미지 센서의 위치에 대응되는 구동 전원값을 검출하고, 기준 구동 전원 설정부(150)는 상기 구동 전원값을 기준 참조값으로 설정한다. 이미지 센서가 소정의 대칭성을 갖는 위치에서 검출되는 구동 전원값은 이미지 센서를 1픽셀 만큼 이동하기 위한 기준이 된다.
290 단계에서 제어부(160)는 280 단계에서 설정된 기준 구동 전원값(Vx)을 이용하여 이미지 센서의 위치와 구동 전원값을 변수로 하는 근사 관계식을 계산하고, 구동 전원값 제어를 통해 이미지의 위치를 조절한다. 제어부(160)는 이미지 센 서의 위치를 1/R (R은 정수)픽셀 이동 시키기 위해 필요한 구동 전원과 이미지 센서의 위치의 관계는 하기 수학식3으로 추정한다.
수학식3
Vx (1/R pixel shift) = Vx (1 pixel shift) × 1/R
여기서 Vx (1/R pixel shift) 는 이미지 센서를 x축으로 1/R (R은 실수) 픽셀 이동시키기 위한 구동 전원이다.
상술한 제1실시예는 이미지 센서의 위치를 정확히 1픽셀 이동시켰을 경우, 교차 상관값의 차이는 0이 된다는 것을 이용하여 이미지 센서 위치 보정하는 것을 특징으로 한다. 예를 들어, 1픽셀 이동에 필요한 구동 전원의 1/2를 구동부에 공급함으로써 이미지 센서를 1/2 픽셀 이동 시킬 수 있다.
교차 상관값의 차이는 이미지 센서가 1/2픽셀 이동된 위치에서도 특이한 분포를 갖는다. 교차 상관값의 차이는 이미지 센서의 1/2 픽셀 이동된 위치에서 극대점을 형성하는데(도 8a 참고), 구동 전원이 약간만 변하더라도 교차 상관값의 차이가 크게 변한다(도8b 참고).
따라서, 1/2 픽셀 위치에서의 구동 전원을 기준 참조값으로 하는 것은 위치 센싱의 정확도를 감소시킬 수 있기 때문에, 이미지 센서가 1픽셀 이동된 위치에서의 구동 전원값을 기준값으로 사용하는 것이 바람직하다.
도7은 본 발명의 이미지 센서 위치 보정 방법에 따른 제2실시예를 설명한 것이다.
제1실시예는 이미지 센서를 1축으로 구동하는 방법이고, 제2실시예는 이미지 센서를 2축으로 구동하는 방법으로서, 기본적인 원리는 제1실시예와 일치한다. 361 단계 내지 364 단계, 371 단계 내지 374단계를 제외하고는 제1실시예와 유사하기 때문에 공통된 설명은 생략한다.
310 단계에서 이미지 정보 획득부(110)는 제 1 위치에 해당하는 제 1 이미지 정보를 이미지 센서로부터 획득한다.
320 단계에서 제어부(160)는 이미지 센서를 X축 양의 방향으로 단위 픽셀 이동시키고, Y축 양의 방향으로 단위 픽셀 이동시키기 위해 미리 설정된 구동 전원(Vx = Vx0, Vy = Vy0)을 구동부(120)에 인가한다. 상기 미리 설정된 구동 전원에 따라 이미지 센서를 이동시켜도 이미지 센서의 사용환경, 오차 등의 이유로 후술하는 위치 보정 단계가 필요하다.
330 단계에서 구동부(120)는 제어부(160)로부터 공급된 구동 전원에 따라 이미지 센서의 위치를 X, Y축의 양의 방향으로 이동시킨다.
340 단계에서 이미지 정보 획득부는 제 2 위치(이미지 센서가 이동한 후의 위치)에 해당하는 제 2 이미지 정보를 이미지 센서로부터 획득한다.
350 단계에서 교차상관 계산부(130)는 상술한 수학식1에 따라 제1이미지 정보와 제2이미지 정보의 교차 상관을 계산한다.
361 내지 단계는 364 단계는 교차 상관의 분포가 소정의 대칭성을 갖는지 판단하는 단계(360단계)이다.
361단계에서 피크 좌표 검출부(141)는 이미지 센서의 위치에 따른 교차 상관값의 피크 좌표를 검출한다.
362단계에서 감산부(142)는 상기 수학식2에 따라 상기 검출된 피크 좌표에 인접하며 서로 마주하는 좌표쌍에 따른 교차 상관값의 차를 교차 상관값의 최대값으로 나누는 계산을 하고, 비교부(143)는
Figure 112006081038820-pat00004
를 만족시키는지 여부를 판단한다. 상기 조건을 만족시킬 경우의 Vx 는 이미지 센서를 x축으로 1픽셀 이동시키기 위해 필요한 전원이 되며, Vx 는 구동전원 검출부에 의해 검출된다. 상기 조건을 만족시키지 못하는 경우, 363단계에서 비교부(143)는
Figure 112006081038820-pat00005
여부를 판단하고, 제어부(160)는 판단 결과에 따라 Vx 값을 보정하고, 보정된 Vx 값을 구동부(120)에 인가한다.
364 단계에서 비교부(143)는
Figure 112006081038820-pat00006
을 만족시키는지 여부를 판단한다. 상기 조건을 만족시킬 경우의 Vy 는 이미지 센서를 y축으로 1픽셀 이동시키기 위해 필요한 전원이 되며, Vy 는 구동전원 검출부(150)에 의하여 검출된다. 상기 조건을 만족시키지 못하는 경우, 365단계에서 비교부(143)는
Figure 112006081038820-pat00007
여부를 판단하고, 제어부(160)는 판 단 결과에 따라 Vy 를 보정하고, 보정된 Vy 값을 구동부(120)에 인가한다.
371 내지 374단계는 제어부(160)가 320단계에서 인가된 소정의 구동 전원을 변경시켜가며, 이미지 센서의 위치(제2위치)를 보정시키는 단계(370단계)이다.
371 단계에서 비교부(143)가
Figure 112006081038820-pat00008
로 판단한 경우 제어부(160)는 Vx -ㅿVx 를 Vx 로 설정하는 연산을 수행한다.
372 단계에서 비교부(143)가
Figure 112006081038820-pat00009
로 판단한 경우 제어부(160)는 Vx +ㅿVx 를 Vx 로 설정하는 연산을 수행한다.
373 단계에서 비교부(143)가
Figure 112006081038820-pat00010
로 판단한 경우 제어부(160)는 Vy-ㅿVy 를 Vy 로 설정하는 연산을 수행한다.
374 단계에서 비교부(143)가
Figure 112006081038820-pat00011
로 판단한 경우 제어부(160)는 Vy+ㅿVy 를 Vy 로 설정하는 연산을 수행한다.
371 내지 374 단계를 통해 구동전원인 Vx와 Vy 는 제어부에 의해 변경되며, 소정의 대칭성 조건을 만족할 때 까지 변경된 구동전원에 따른 330 내지 360 단계는 반복된다.
380 단계에서 구동 전원값 검출부(170)는 362, 364단계에서 소정의 대칭성을 갖는 것으로 판단되는 이미지 센서의 위치에 대응되는 구동 전원값을 검출하고, 기 준 구동 전원값 설정부(150)는 상기 검출된 구동 전원값을 이미지 센서의 위치를 일 픽셀 만큼 이동하기 위한 기준 구동 전원값으로 설정한다.
390 단계에서 제어부(160)는 380 단계에서 설정된 기준 구동 전원값(Vx,Vy)을 이용하여 이미지 센서의 위치와 구동 전원값을 변수로 하는 근사 관계식(수학식 4)을 계산하고, 구동 전원값 제어를 통해 이미지의 위치를 조절한다.
수학식4
Vx (1/Rx pixel shift) = Vx (1 pixel shift) × 1/Rx
Vy (1/Ry pixel shift) = Vy (1 pixel shift) × 1/Ry
여기서 Vx (1/Rx pixel shift) 는 이미지 센서를 x축으로 1/Rx 픽셀 이동시키기 위한 구동 전원이고, Vy (1/Ry pixel shift) 는 이미지 센서를 y축으로 1/Ry 픽셀 이동시키기 위한 구동 전원이다.
도8은 이미지 센서 위치 검출을 위한 모델을 나타낸 것이다. 앞서 설명한 본 발명의 이미지 센서의 위치 보정 방법은 상기 근사 관계식(수학식4)을 이용하여 이미지 센서의 위치를 보정하는 것이고, 이미지 센서의 위치 검출 방법은 근사 관계식(수학식5)을 이용하여 이미지 센서의 위치를 추정한다는 점이 다를 뿐, 기본 적으로 이미지 센서의 위치를 일 픽셀 만큼 이동시키기 위해 필요한 구동 전원값을 특정하는 과정은 동일하다. 따라서, 구동 전원값인 기준 구동 전원값을 얻기 위한 방법에 대한 설명은 생략한다.
도8a에서 이미지 센서의 위치 검출을 위한 이상적인 모델을 나타낸 것이다. 도8a에서 x축 좌표는 이미지 센서의 위치이고 y축 좌표는 교차 상관값의 차이를 나타낸다. 이미지 센서의 위치가 구동 전원에 비례한다는 점과 구동 전원과 교차 상관값의 차이의 분포 특성(톱니파 형태로 반복되는 파형이 검출됨)을 이용하여, 이미지 센서의 위치와 교차 상관값의 차이의 관계는 하기 수학식5로 일반화된다.
수학식5
Figure 112006081038820-pat00012
여기서
Figure 112006081038820-pat00013
,
Figure 112006081038820-pat00014
는 이미지 센서의 제 2 위치에 대한 좌표이고, Xfg, Yfg는 이미지 정보 f, g 간의 교차 상관 함수이며, (m, n)은 교차 상관값이 최대인 좌표이고, N은 교차 상관값이 최대인 좌표에 인접한 좌표 쌍 중에서 대칭성 검사에 사용되는 좌표 쌍의 수를 나타내며, ai, bi 는 가중치를 나타내는 상수이다.
상기 수학식5에서 N=1로 하고, a1=1, b1=1 이라 하고, 교차 상관의 차이값을 최대 교차 상관값인 Xfg(m,n)으로 나누면 위 식은 다음의 수학식6으로 간략화될 수 있다.
수학식6
Figure 112006081038820-pat00015
여기에서
Figure 112006081038820-pat00016
와
Figure 112006081038820-pat00017
는 정규화된 위치 추정값이다.
도8b는 이미지 센서의 위치를 이동시켜 가며 (-0.5, -0.4, -0.3, -0.2,-0.1, 0, 0.1, 0.2, 0.3, 0.4, 0.5 픽셀 사이즈로 이동)하여 교차 상관값의 차이를 계산하고, 상기 식에 따라 이미지 센서의 위치 추정값을 나타낸 것이다.
도8b에 나타난 바와 같이, 0.5 픽셀 주변에서 부정확한 레퍼런스 값을 갖기 때문에, 이미지 센서가 0.5픽셀 이동된 위치에 있을 경우 이미지 센서의 위치를 정확히 검출하는 것은 어렵다. 그러나, 이 경우에도 0.5픽셀 이동된 위치에서 교차 상관값의 특성을 이용하여 0.5픽셀 이동된 위치에 있다는 것을 검출할 수 있다.
즉, 도8a에 나타난 바와 같이, 0.5픽셀 이동된 위치에서 교차 상관의 차이는 극대점을 형성한다는 점을 이용하여 이미지 센서가 0.5 픽셀 이동된 위치에 있음을 검출할 수 있다.
본 발명에 따르면, 이미지 센서의 위치에 따른 교차 상관의 대칭 분포 특성을 이용하여 이미지 센서의 위치를 추적함으로써 이미지 센서의 위치 추적을 위한 별도의 위치 센서 없이도 이미지 센서의 위치를 서브 픽셀 단위로 보정하고 검출할 수 있다. 또한, 본 발명은 이미지 센서의 위치 보정 및 검출과 관련된 복잡한 계산량을 줄이고, 서브 픽셀 단위의 위치 센싱에 대한 정확성을 향상시키는 효과가 있다.

Claims (19)

  1. (a) 이미지 센서의 제 1 위치에 해당하는 제 1 이미지 정보를 획득하고, 제 2 위치에 해당하는 제 2 이미지 정보를 획득하는 단계;
    (b) 상기 획득된 제 1 이미지 정보 및 제 2 이미지 정보 간의 교차 상관값을 계산하는 단계;
    (c) 상기 계산된 교차 상관 값이 소정의 대칭성을 갖는지 여부를 판단하는 단계;
    (d) 상기 소정의 대칭성을 갖는 것으로 판단된 경우에 상기 제 1 위치 및 제 2 위치 간의 거리 만큼 이동하기 위한 상기 이미지 센서의 구동 전원값을 상기 이미지 센서를 일 픽셀 만큼 이동하기 위한 기준 구동 전원값으로 설정하는 단계; 및
    (e) 상기 설정된 기준 구동 전원값을 이용하여 상기 이미지 센서의 위치를 보정하는 단계를 포함하는 것을 특징으로 하는 이미지 센서 위치 보정 방법.
  2. 제 1 항에 있어서,
    상기 소정의 대칭성을 갖지 않는 것으로 판단된 경우에 상기 구동 전원값을 조절함으로써 상기 제 2 위치를 변경시키는 단계를 더 포함하고,
    상기 변경된 제 2 위치 마다 상기 (a) 단계로부터 상기 (c) 단계가 반복적으로 수행됨을 특징으로 하는 이미지 센서 위치 보정 방법.
  3. 제1항에 있어서, 상기 (c) 단계는
    c1) 상기 교차 상관값의 피크 좌표를 검출하는 단계; 및
    c2) 상기 검출된 피크 좌표를 중심으로 상기 교차 상관값이 소정의 대칭성을 갖는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 이미지 센서 위치 보정 방법.
  4. 제 1 항에 있어서, 상기 (c) 단계는
    (c1) 상기 교차 상관값의 피크 좌표를 검출하는 단계;
    (c2) 상기 검출된 피크 좌표를 중심으로 서로 마주하고 좌표쌍이 갖는 교차 상관값의 차이를 계산하는 단계; 및
    (c3) 상기 교차 상관값 차이의 절대값이 소정의 값보다 작은지 여부를 검사하는 단계를 포함하는 것을 특징으로 하는 이미지 센서 위치 보정 방법.
  5. 삭제
  6. 제 2 항에 있어서,
    상기 (a) 단계는 이미지 센서의 제 1 위치에서 해당하는 제 1 이미지 정보를 획득하고, 상기 이미지 센서의 위치를 단위 픽셀 이동시키기 위한 소정의 구동 전원값에 따라 이미지 센서를 제 2 위치로 이동시킨 후, 상기 이미지 센서의 제 2 위치에서 제 2 이미지 정보를 획득하는 단계인 것을 특징으로 하는 이미지 센서 위치 보정 방법.
  7. 제 4 항에 있어서,
    상기 (c3) 단계에서 상기 교차 상관값 차이의 절대값이 소정의 값보다 큰 경우에는 상기 교차 상관값 차이의 절대값이 소정의 값보다 작아질 때 까지, 상기 (a) 단계의 구동 전원을 조절하여 상기 제 2 위치를 변경시키는 단계를 더 포함하고,
    상기 변경된 제 2 위치 마다 상기 (a)단계로부터 상기 (c)단계가 반복적으로 수행됨을 특징으로 하는 이미지 센서 위치 보정 방법.
  8. 제 1 항에 있어서,
    상기 (e) 단계는 상기 설정된 기준 구동 전원 값을 이용하여 구동 전원값과 이미지 센서의 위치에 대한 하기 수학식을 계산하고, 상기 구동 전원값의 제어를 통해 이미지 센서의 위치를 조절하는 단계인 것을 특징으로 하는 이미지 센서 보정 방법.
    수학식
    Vx (1/R 픽셀) = Vx (1 픽셀) × 1/R
    Vy (1/R 픽셀) = Vy (1 픽셀) × 1/R
    여기서 Vx (1/R 픽셀)은 이미지 센서를 x축 방향으로 1/R 픽셀 이동시키기 위해 필요한 구동 전원값이고, Vy (1/R 픽셀)은 이미지 센서를 y축 방향으로 1/R 픽셀 이동시키기 위해 필요한 구동 전원 값이며, R은 실수이고, 상기 Vx (1 픽셀)은 이미지 센서를 x축 방향으로 1 픽셀 이동시키기 위해 필요한 기준 값이며, 상기 Vy (1 픽셀)은 y축 방향으로 1 픽셀 이동시키기 위해 필요한 기준값이다.
  9. 제 1 항에 있어서, 상기 (b) 단계에서 상기 이미지의 교차 상관값은 하기 수학식에 의해 계산되는 것을 특징으로 하는 이미지 센서의 위치 보정 방법.
    수학식
    Figure 112006081038820-pat00018
    여기에서 f(i, j)는 제 1 위치에 따른 제 1 이미지 정보를 나타낸 것이고, g(i+k, j+h)는 이미지 센서를 제 1 위치에서 (k, h) 만큼 이동 시킨 제 2 위치에 따른 제 2 이미지 정보를 나타낸 것이며, 상기 Xfg(k, h)는 제 1 이미지 정보와 제 2 이미지 정보의 교차 상관 함수이고, P, Q는 교차 상관을 계산할 이미지의 픽셀 수이다.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. a) 이미지 센서의 제 1 위치에 해당하는 제 1 이미지 정보를 획득하고, 제 2 위치에 해당하는 제 2 이미지 정보를 획득하는 단계;
    b) 상기 획득된 제 1 이미지 정보 및 제 2 이미지 정보 간의 교차 상관값을 계산하는 단계;
    c) 상기 계산된 교차 상관 값이 소정의 대칭성을 갖는지 여부를 판단하는 단계;
    d) 상기 소정의 대칭성을 갖는 것으로 판단된 경우에 상기 제 1 위치 및 상기 제 2 위치 간의 거리 만큼 이동하기 위한 상기 이미지 센서의 구동 전원값을 상기 이미지 센서를 일 픽셀 만큼 이동하기 위한 기준 구동 전원값으로 설정하는 단계; 및
    e) 상기 설정된 기준 구동 전원값을 이용하여 상기 이미지 센서의 위치를 검출하는 단계를 포함하는 것을 특징으로 하는 이미지 센서 위치 검출 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020060108834A 2006-11-06 2006-11-06 이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출방법 KR101320520B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060108834A KR101320520B1 (ko) 2006-11-06 2006-11-06 이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출방법
US11/828,516 US7490016B2 (en) 2006-11-06 2007-07-26 Method and apparatus for calibrating position of image sensor, and method of detecting position of image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060108834A KR101320520B1 (ko) 2006-11-06 2006-11-06 이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출방법

Publications (2)

Publication Number Publication Date
KR20080040893A KR20080040893A (ko) 2008-05-09
KR101320520B1 true KR101320520B1 (ko) 2013-10-22

Family

ID=39360725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060108834A KR101320520B1 (ko) 2006-11-06 2006-11-06 이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출방법

Country Status (2)

Country Link
US (1) US7490016B2 (ko)
KR (1) KR101320520B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2954494B1 (fr) * 2009-12-18 2012-07-27 Thales Sa Procede de calibrage d'un instrument de mesure d'un systeme optronique
JP5751803B2 (ja) * 2010-11-15 2015-07-22 キヤノン株式会社 トラッキング曲線の調整方法および撮像装置
US9301097B2 (en) * 2011-10-27 2016-03-29 Point Inside, Inc. Correlating wireless signals to a location on an image using mobile sensor technologies
CN102404061B (zh) * 2011-11-29 2014-04-02 中国人民解放军总参谋部第六十三研究所 适用于无线传感网的基于互相关的分布式信号检测实现方法
JP5478784B2 (ja) * 2012-01-19 2014-04-23 パナソニック株式会社 撮像装置
CN103175543B (zh) * 2013-01-25 2015-06-24 中国科学院国家天文台 一种ccd像元内部响应差异的矫正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05183916A (ja) * 1991-06-10 1993-07-23 Eastman Kodak Co イメージセンサの位置合わせシステム及び位置合わせ方法
JPH07322121A (ja) * 1994-05-20 1995-12-08 Canon Inc 高画質画像入力装置
JPH11183323A (ja) * 1997-12-25 1999-07-09 Canon Inc 欠陥画素検出装置、欠陥画素検出方法、撮像装置、撮像方法および記憶媒体
KR20060002651A (ko) * 2004-07-03 2006-01-09 삼성전자주식회사 이미지 센서의 해상도 향상 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3410190B2 (ja) * 1993-12-29 2003-05-26 株式会社東芝 画像形成装置及び原稿読取り方法
US5988506A (en) * 1996-07-16 1999-11-23 Galore Scantec Ltd. System and method for reading and decoding two dimensional codes of high density
AU7424798A (en) * 1997-05-16 1998-12-11 Forskningscenter Riso Method and apparatus for determining angular displacement, surface translation , and twist

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05183916A (ja) * 1991-06-10 1993-07-23 Eastman Kodak Co イメージセンサの位置合わせシステム及び位置合わせ方法
JPH07322121A (ja) * 1994-05-20 1995-12-08 Canon Inc 高画質画像入力装置
JPH11183323A (ja) * 1997-12-25 1999-07-09 Canon Inc 欠陥画素検出装置、欠陥画素検出方法、撮像装置、撮像方法および記憶媒体
KR20060002651A (ko) * 2004-07-03 2006-01-09 삼성전자주식회사 이미지 센서의 해상도 향상 방법

Also Published As

Publication number Publication date
US7490016B2 (en) 2009-02-10
US20080109182A1 (en) 2008-05-08
KR20080040893A (ko) 2008-05-09

Similar Documents

Publication Publication Date Title
US10043290B2 (en) Image processing to enhance distance calculation accuracy
KR101320520B1 (ko) 이미지 센서의 위치 보정 방법 및 장치 그리고 위치 검출방법
JP3983573B2 (ja) ステレオ画像特性検査システム
JP4014612B2 (ja) 周辺光量補正装置、周辺光量補正方法、電子情報機器、制御プログラムおよび可読記録媒体
US8463068B2 (en) Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves
US10027947B2 (en) Image processing apparatus and image processing method
KR20160095911A (ko) 카메라 모듈 손떨림 보정 장치 및 이의 게인 조정 방법
WO2017025214A1 (en) Method for calibration of a stereo camera
JP2008216127A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2008092565A (ja) カラーマッチング方法及び撮像装置
CN108520541B (zh) 一种广角摄像机的标定方法
US20210233950A1 (en) Imaging device including shared pixels and operating method thereof
JP2008298589A (ja) 位置検出装置及び位置検出方法
KR101854355B1 (ko) 다중센서를 선택적으로 이용하는 영상보정 장치
US20170111549A1 (en) Image reading device, image forming apparatus, and shading data processing method
EP3439286B1 (en) Calibration of pixels for producing super resolution images
US10586322B2 (en) Method for detecting coordinates, coordinate output device and defect inspection device
JP4285618B2 (ja) ステレオカメラの自己診断装置
JP2010177832A (ja) 画像処理装置及び画像処理方法
JP2019161278A (ja) 校正基準点取得システム、及び校正基準点取得方法
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
US20170262993A1 (en) Image processing device and image processing method
JP2014106260A (ja) 焦点検出装置、撮像装置、撮像システム、および、焦点検出方法
JP2015207862A (ja) 撮像装置および撮像方法
US20230306566A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 7