KR102052553B1

KR102052553B1 - 이미징 시스템 및 그것의 자동초점 방법

Info

Publication number: KR102052553B1
Application number: KR1020130054460A
Authority: KR
Inventors: 알렉산더 겟뜨만
Original assignee: 삼성전자주식회사
Priority date: 2013-05-14
Filing date: 2013-05-14
Publication date: 2019-12-05
Also published as: US9160920B2; US20140340561A1; KR20140134498A

Abstract

본 발명에 따른 이미징 시스템은, 이미지를 촬상하는 복수의 카메라들로 구성된 카메라 어레이; 및 상기 복수의 카메라들을 제어하는 제어 회로를 포함하고, 상기 제어 회로는 자동초점을 위하여 상기 복수의 카메라들을 독립적으로 제어하고, 상기 복수의 카메라들로부터 출력되는 이미지들을 결합함으로써 하나의 싱글 이미지를 출력한다.

Description

이미징 시스템 및 그것의 자동초점 방법{IMAGING SYSTEM AND AUTOFOCUS METHED THEREOF}

본 발명은 이미징 시스템 및 그것의 자동초점 방법에 관한 것이다.

자동초점(autofocus; AF)은 피사체에 초점을 자동으로 맞추는 광학 시스템의 기능이다. 자동초점 방식은 크게 능동 방식과 수동 방식으로 구분된다. 능동 방식은 거리 측정을 위하여 초음파나 적외선을 방출하기 때문에 '능동'이라고 불린다.

능동 방식은 카메라와 물체 사이에 유리가 있는 경우 유리가 초음파나 적외선을 반사하기 때문에 초점을 제대로 맞추지 못하는 단점을 갖는다. 또한 능동 방식은 초음파나 적외선이 도달할 수 있는 거리의 한계 때문에 먼 거리에 있는 물체의 초점을 맞추기 어렵다.

수동 방식은 물체로부터 자연적으로 반사된 빛을 이용하여 초점을 맞춘다. 수동 방식은 크게 광학 삼각(optical triangulation) 방식, 대비 검출(contrast detection) 방식, 위상 검출(phase detection) 방식으로 구분된다. 여기서 대비 검출 방식은 렌즈를 움직이면서 영상 일부의 대비(contrast)를 계속적으로 계산하고, 대비가 최대가 되었을 때 초점이 맞았다고 판별하는 것이다.

본 발명의 목적은 보다 빠르게 자동초점을 수행하는 이미징 시스템 및 그것의 자동초점 방법을 제공하는데 있다.

본 발명의 실시 예에 따른 이미징 시스템은, 이미지를 촬상하는 복수의 카메라들로 구성된 카메라 어레이; 및 상기 복수의 카메라들을 제어하는 제어 회로를 포함하고, 상기 제어 회로는 자동초점을 위하여 상기 복수의 카메라들을 독립적으로 제어하고, 상기 복수의 카메라들로부터 출력되는 이미지들을 결합함으로써 하나의 싱글 이미지를 출력한다.

실시 예에 있어서, 상기 카메라 어레이는 시야 범위가 서로 겹치도록 상기 복수의 카메라들을 배치한다.

실시 예에 있어서, 상기 복수의 카메라들 중 적어도 2개는 노출 설정이 서로 다르다.

실시 예에 있어서, 상기 제어 회로는 상기 카메라 어레이에 분리된 하나의 모듈로 구현된다.

실시 예에 있어서, 상기 카메라 어레이는 모노리틱 어셈블리로 구현된다.

실시 예에 있어서, 상기 자동초점은 대비 검출 자동초점이다.

실시 예에 있어서, 상기 제어 회로는 상기 자동초점을 위하여 자동초점 범위를 상기 복수의 카메라들 각각에 대응하도록 분리하고, 상기 분리된 자동초점 범위를 스캔하도록 상기 복수의 카메라들 각각을 제어한다.

실시 예에 있어서, 상기 제어 회로는, 상기 복수의 카메라들 각각에 대응하는 상기 분리된 자동초점 범위를 스캔한 뒤, 초점값 곡선들을 추정한다.

실시 예에 있어서, 상기 제어 회로는, 상기 추정된 초점값 곡선들을 사전에 결정된 교정 함수에 따라 카메라 독립 초점값 곡선으로 변경한다.

실시 예에 있어서, 상기 사전에 결정된 교정 함수는 실험적으로 결정되거나 혹은 사용자의 촬상된 데이터를 근거로 결정된다.

실시 예에 있어서, 상기 사전에 결정된 교정 함수에서 상기 초점값 곡선들과 상기 카메라 독립 초점값 곡선은 전단사 관계이다.

실시 예에 있어서, 상기 자동초점을 위하여 제어 신호들에 응답하여 상기 복수의 카메라들을 제어하는 자동초점 드라이버들을 더 포함하고, 상기 제어 신호들은 상기 제어 회로에서 발생된다.

본 발명의 실시 예에 따른 복수의 카메라들을 구비한 카메라 어레이 및 상기 복수의 카메라들을 독립적으로 제어하는 제어 회로를 포함하는 이미징 시스템의 자동초점 방법은: 자동초점 범위를 상기 복수의 카메라들 각각에 대응하는 복수의 범위들로 분리하는 단계; 상기 복수의 카메라들 각각은 대응하는 상기 분리된 범위를 스캔하는 단계; 상기 복수의 카메라들 각각 스캔 결과를 이용하여 초점값 곡선들을 추정하는 단계; 상기 추정된 초점값 곡선들을 사전에 결정된 교정 함수를 이용하여 카메라 독립 초점값 곡선으로 변경하는 단계; 및 상기 카메라 독립 초점값 곡선을 이용하여 자동초점을 결정하는 단계를 포함한다.

실시 예에 있어서, 상기 초점값 곡선들을 추정하는 단계는, 소정의 거리에 따라 초점을 맞추기 위하여 카메라의 렌즈를 설정하는 단계; 상기 설정된 카메라 렌즈를 이용하여 타겟 이미지를 촬상하는 단계; 상기 촬상된 이미지에 대응하는 초점 구역을 선택하는 단계; 초점값을 추정하는 단계; 및 상기 추정된 초점값을 초점값 곡선에 업데이트하는 단계를 반복하는 단계를 더 포함한다.

실시 예에 있어서, 상기 자동초점을 결정하는 단계는, 상기 카메라 독립 초점값 곡선에서 최대값을 찾는 단계; 상기 최대값에 대응하는 제어 신호들을 발생하는 단계; 및 상기 제어 신호들에 응답하여 상기 복수의 카메라들을 제어하는 단계를 더 포함한다.

상술한 바와 같이 본 발명에 따른 이미징 시스템은, 독립적으로 제어 가능한 복수의 카메라들을 구비하고, 자동초점 범위를 복수로 분리하고, 분리된 범위들을 병렬 스캔함으로써, 보다 빠르게 자동초점을 수행할 수 있다.

도 1은 본 발명의 실시 예에 따른 이미징 시스템을 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 카메라 어레이를 위한 자동초점 동작을 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 초점값 곡선(FVC) 추정 과정을 예시적으로 보여주는 흐름도이다.
도 4는 본 발명의 실시 예에 따른 초점값 곡선들(FVC)을 예시적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 카메라 독립 초점값 곡선(CIFVC)을 예시적으로 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 데이터 처리 시스템을 예시적으로 보여주는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 전자 시스템 및 인터페이스를 나타낸다.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.

본 발명의 실시 예에 따른 이미징 시스템(imaging system)은 시야 범위(field of view; FOV)가 겹치도록 배열된 복수의 카메라들을 독립적으로 제어함으로써, 보다 빠르게 자동초점(autofocus; AF)을 수행할 수 있다. 여기서, 자동초점은, 수동 대비 검출 자동초점(passive contrast detection autofocus)일 수 있다.

도 1은 본 발명의 실시 예에 따른 이미징 시스템(100)을 예시적으로 보여주는 도면이다. 도 1을 참조하면, 이미징 시스템(100)은 카메라 어레이(110) 및 카메라 어레이(110)를 제어하는 제어 회로(120)를 포함한다.

카메라 어레이(110)는 복수의 카메라들(C1 ~ CN, N은 2 이상의 정수)를 포함한다. 복수의 카메라들(C1 ~ CN)은 서로 겹치는 시야 범위(FOV)를 갖도록 배치될 것이다. 각 카메라(C1 ~ CN) 사이의 거리는 시차 왜곡(parallax distortion)을 줄이기 위해 최소화되도록 구현될 수 있다. 이는 각 카메라들(C1 ~ CN)에서 촬상된 이미지들이 가상적으로 동일하다(즉, 하나의 타켓 이미지를 촬상하다)는 것을 보증할 것이다. 각 카메라(C1 ~ CN)는 독립적으로 제어 가능한 초점 메커니즘을 구비함으로써, 촬상한 장면의 서로 다른 부분들에 각 카메라들(C1 ~ CN)의 초점들을 동시에 맞출 수 있다.

실시 예에 있어서, 카메라 어레이(110)는 카메라 모듈과 분리되어 구성될 수 있다. 여기서 카메라 모듈은 복수의 카메라들(C1 ~ CN)을 제어하는 블록이다.

실시 예에 있어서, 카메라 어레이(110)는 카메라들(C1 ~ CN)의 모노리틱 어셈블리(monolithic assembly)로 구현될 수 있다.

실시 예에 있어서, 출력 이미지의 해상도는 카메라 어레이(110)의 카메라들(C1 ~ CN)에 의해 촬상된 이미지들의 해상도와 비교될 수 있다.

실시 예에 있어서, 카메라 어레이(110)의 카메라들(C1 ~ CN)은 칼라 필터들의 다양한 패턴들을 포함할 것이다. 여기서 다양한 패턴들은 베이어(Bayer), 균일한 전정색, 적외선에 제한되지 않고, 전혀 칼라 필터들을 사용하지 않는 패턴일 수 있다.

실시 예에 있어서, 카메라 어레이(110)의 카메라들(C1 ~ CN)은 서로 다른 노출 설정에서 작동할 수 있다.

실시 예에 있어서, 카메라들(C1 ~ CN) 각각은 독립적으로 대비 검출 자동 초점 동작을 수행할 수 있다.

본 발명의 실시 예에 따른 카메라 어레이(110)는, 일반적인 단일 카메라에 비교하여, 감소된 노이즈, 확장된 동적 범위, 향상된 이미지 공간 및 스펙트럼 해상도를 갖는 이미지들을 제공할 수 있고, 또한, 3 차원 장면 구조에 대한 정보를 제공할 수 있다.

제어 회로(120)는 모든 카메라들(C1 ~ CN)로부터 출력되는 이미지들을 결합하여 싱글 출력 이미지로 만들고, 뎁쓰 맵(depth map), 라이트 필드(light field) 등 과 같은 옵션 데이터를 발생할 수 있다. 또한, 제어 회로(120)는 병렬로 대비 검출 자동 초점 방식을 이용하여 초점값 곡선(focus value curve, FVC)을 추정하기 위하여 카메라들(C1 ~ CN)을 제어할 수 있다. 여기서 대비 검출 자동초점 방식은 서로 다른 카메라들(C1 ~ CN)에 의해 측정된 초점값들을 서로 일치시킬 것이다. 이러한 일치는 초점값 추정 과정, 자동초점 범위 스캔 병렬의 최적화 및 시스템 교정의 적합한 설계를 포함하는 복잡한 측정들에 의해 도달할 수 있다.

실시 예에 있어서, 자동초점 범위 스캔 작업은 카메라 어레이(110)의 모든 카메라들(C1 ~ CN)에 의해 수행될 수 있다. 여기서 카메라들(C1 ~ CN)은 독립적으로 제어 가능한 초점 소자들을 구비하고, 따라서 각 카메라는 자동초점 범위의 일부를 스캔할 수 있다.

실시 예에 있어서, 카메라 어레이(110)의 각 카메라를 위하여 최적의 초점 조건들은 자동초점 범위의 각 부분을 위하여 얻어진 초점값 곡선(FVC)의 분석에 의해 결정될 수 있다.

실시 예에 있어서, 이미징 시스템(100)은 초점값 곡선들(FVCs)의 분석을 편리하게 하기 위하여 카메라 독립 초점값 곡선(camera independent focus value curve; CIFVC) 교정(calibration)을 이용할 수 있다. 여기서 카메라 독립 초점값 곡선(CIFVC)은 초점값 곡선들(FVCs) 사이의 관계를 나타내는 교정 함수로 표현될 수 있다. 예를 들어, 제 1 카메라(CN1)의 제 1 초점값(FV1)과 제 2 카메라(CN2)의 제 2 초점값(FV2)을 비교하기 위해서는, 정량적인 비교가 힘들다. 왜냐하면, 제 1 카메라(CN1)의 초점값 곡선(FVC1)과 제 2 카메라(CN2)의 초점값 곡선(FVC2)의 연관성이 있기 때문이다. 이에 본 발명의 교정 함수는 정량 비교를 가능하도록 제 1 카메라(CN1)의 제 1 초점값(FV1) 및 제 2 카메라(CN2)의 제 2 초점값(FV2)을 변환시킬 것이다. 제어 회로(120)는 교정 함수에 의해 변환된 제 1 초점값과 제 2 초점값을 비교하고, 비교 결과에 따라 카메라 어레이(110)의 최적의 초점값을 선택할 수 있다.

실시 예에 있어서, 카메라 독립 초점값 곡선(CIFVC) 교정은 제품 위상의 부분으로 실험실 환경에서 만들어 질 수 있다. 다른 실시 예에 있어서, 카메라 독립 초점값 곡선(CIFVC) 교정은 백그라운드 프로세스에서 사용자에 의해 촬상된 데이터를 근거로 하여 만들어질 수 있다. 실시 예에 있어서, 실험실 환경에서 만들어진 교정과 사용자에 의해 촬상된 데이터를 근거로 만들어진 교정의 결합은 교정 정밀도 향상을 위하여 사용될 수 있다.

본 발명의 실시 예에 따른 이미징 시스템(100)은, 독립적으로 자동초점 제어를 수행하는 복수의 카메라들(C1 ~ CN) 및 제어 회로(120)를 구비할 수 있다.

본 발명의 실시 예에 따른 이미징 시스템(100)은, 독립적으로 제어 가능한 복수의 카메라들(C1 ~ CN)을 구비하고, 자동초점 범위를 복수로 분리하고, 분리된 범위들을 병렬 스캔함으로써 보다 빠르게 자동초점을 수행할 수 있다.

도 2는 본 발명의 실시 예에 따른 카메라 어레이(110)를 위한 자동초점 동작을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 자동초점 동작은 다음과 같이 진행될 것이다. 사용자가 장면을 촬상하기로 결정하면, 자동초점을 위하여 제어 회로(120)는 카메라 어레이(110)의 N개의 카메라들(C1 ~ CN) 사이에 자동초점 범위 스캔 작업을 분배할 것이다(S110). 그 결과로써, 각각의 카메라(C1 ~ CN)는 "범위 1", "범위 2" 및 기타 등등으로 지정된 원래의 자동초점 범위의 작은 부분들만 스캔할 것이다. 각 카메라들(C1 ~ CN)이 작은 범위의 자동초점 범위만을 스캔하기 때문에, 종래의 그것과 비교하여 자동초점 속도가 크게 개선될 수 있다.

실시 예에 있어서, 자동초점의 속도(speed)와 견고성(robustness) 사이의 균형을 미세하게 조정하기 위한 자동초점 범위에 대한 파티션 방법(partitioning method)이 제어될 수 있다. 예를 들어, 추정된 초점값 곡선(focus value curve; 이하, FVC) 포인트들의 개수가 증가하는 동안에 파티션을 중복하는 것은, 카메라 어레이(110)의 서로 다른 카메라들(C1 ~ CN) 사이의 FVC 추정의 일관성(consistency)을 향상시킬 수 있다. 이러한 이유와 이미지 대비가 자동초점 범위 내에서 균일하지 않기 때문에, 최적의 파티션은 다양한 조건에서 운영 시스템의 성능 추정에 의해 경험적으로 얻어질 수 있다.

카메라들(C1 ~ CN)로부터 초점값 곡선들(FVC1 ~ FVCN)이 추정될 것이다(S120). 추정된 초점값 곡선들(FVC1 ~ FVCN)이 카메라 독립 초점값 곡선(CIFVC) 데이터로 변환될 것이다(S130). 결합된 카메라 독립 초점값 곡선(CIFVC) 데이터 중에서 최대값이 검색될 것이다(S140). 최대 결합된 카메라 독립 초점값 곡선(CIFVC) 데이터를 근거로 하여 각 카메라들(C1 ~ CN)을 제어하는 제어 신호들이 발생될 것이다(S150). 발생된 제어 신호들에 응답하여 자동초점 드라이버들(121 ~12N)이 제어될 것이다. 여기서 자동초점 드라이버들(121 ~ 12N)은 도 1에 도시된 제어 회로(120)에 포함될 수 있다.

도 3은 본 발명의 실시 예에 따른 초점값 곡선(FVC) 추정 과정을 예시적으로 보여주는 흐름도이다. 도 3을 참조하면, 자동 초점값 곡선(FVC)의 추정 과정은 다음과 같다. 자동초점(AF) 범위에서 모든 거리(di)에 대하여, 초점을 맞추기 위하여 카메라가 설정될 것이다(S210). 설정된 카메라를 이용하여 이미지를 촬상할 것이다(S220). 이후 초점 범위가 선택될 것이다(S230). 이후, 초점값(FV)이 추정되고(S240), 초점값 곡선(FVC)이 업데이트될 것이다(S250). 이후, 포-루프(for-loop)가 완료되었는 지 판별될 것이다(S260). 만일 포-루프가 완료되지 않았다면, S210 단계가 진행될 것이다. 반면에 포-루프가 완료되었다면, 초점값 곡선(FVC)의 최대값으로 렌즈가 이동될 것이다(S270).

도 3을 다시 참조하면, 자동초점 범위의 일부는 초점값 곡선(FVC)이 추정될 초점 평면들(focal planes)의 유한 집합으로 구분될 수 있다. 초점값은 사전에 결정된 자동초점 타겟의 초점 평면의 각 위치에 대해 계산될 수 있다. 자동초점 타겟은 카메라 어레이(110)의 서로 다른 카메라들(C1 ~ CN)에 의해 추정된 초점값들을 비교할 수 있도록, 모든 카메라들(C1 ~ CN)에 대하여 동일할 것이다. 초점값은 하나의 싱글 카메라(촬상 한 이미지의 높은 주파수 구성 요소의 크기로 등)에 대한 대비 검출 자동초점의 경우에서와 정확히 동일한 방식을 사용함으로써 추정될 수 있다.

한편, 초점값 곡선들(FVCs)이 모든 카메라들(C1 ~ CN)에 의해 계산될 때, 초점값 곡선들(FVCs)은 자동초점 범위 내에서 초점 평면의 위치에 대한 이미지 선명도를 특성화시키는 하나의 싱글 함수로 통합될 수 있다.

도 4는 본 발명의 실시 예에 따른 카메라 어레이(110)의 카메라들을 위한 초점값 곡선들(FVCs)을 예시적으로 보여주는 도면이다. 도 4를 참조하면, 카메라들(C1, C2, C3) 각각은 서로 다른 초점값 곡선(FVC)을 갖는다. 서로 다른 자동초점 드라이버의 제어 신호들(S1, S2, S3)에서 최대의 초점값들(FV1, FV2, FV3)이 발생될 것이다. 촬상 장면과 카메라 어레이(110)의 모든 카메라들의 초점 평면들이 일치함에도 불구하고, 자동초점 드라이버(S1, S2, S3)의 제어 신호들처럼 초점값들(FV1, FV2, FV3)을 위한 최적의 조건들은 서로 다를 수 있다.

도 4를 다시 참조하면, 모든 카메라들(C1 ~ CN)이 서로 다른 선명도를 계산하기 때문에, 카메라 독립 초점값(CIFVC) 함수가 필요하다. 여기서 선명도가 다른 이유는 노출 설정에서의 차이, 샘플 변형, 시차 왜곡 등 많은 제어 불가능한 이유들 때문이다. 앞의 도 2에 도시된 바와 같이, 카메라 독립 초점값 곡선(CIFVC) 계산 과정은, 초점값 곡선들을 카메라 독립 초점값 데이터로 변환시킴으로써 나타낼 수 있다.

도 5는 본 발명의 실시 예에 따른 카메라 독립 초점값 곡선(CIFVC)을 예시적으로 보여주는 도면이다. 도 4 및 도 5를 참조하면, 카메라 독립 초점값 곡선(CIFVC)과 초점값 곡선(FVC)의 관계를 이해할 수 있다. 본 발명의 실시 예에 따르면, 카메라 독립 초점값 곡선(CIFVC) 함수는 카메라 어레이(110)의 카메라들(C1 ~ CN)에 연관된 모든 FVCs에 전단사(bijectively 혹은 일대일) 관계이다. 여기서 카메라 독립 초점값(CIFVC) 함수의 인자 및 값은, 다음과 같은 의미로 정의될 것이다. 카메라들(C1 ~ CN)과 카메라 어레이(110)의 자동초점 드라이버들 사이의 차이 때문에 발생하는 원래의 초점값 곡선들(FVCs) 편차들이 전단사(bijective, 혹은 일대일) 관계들의 파라미터들에 의해 결정될 수 있다.

예를 들어, 도 4에 도시된 최적의 초점들((S1, FV1), (S2, FV2), (S3,FV3))과 도 5에 도시된 카메라 독립 초점값 곡선(CIFVC)에서 좌표(S*, FV*)의 최대값과 사이에서 전단사 관계가 존재할 것이다.

본 발명의 실시 예에 있어서, 카메라 어레이(110)에서 모든 카메라들(C1 ~ CN)의 최적의 초점면은, 카메라 독립 초점값 곡선(CIFVC)의 최대에서 발생할 것이다. 따라서, 도 5에서 최대 값(S*)이 카메라 독립 초점값 곡선(CIFVC)의 인자라면, 자동초점 드라이버들의 제어 신호들이 카메라 어레이(110)의 모든 카메라들(C1 ~ CN)을 초점값 곡선(FVC)들과 카메라 독립 초점값 곡선(CIFVC)들 사이에 일대일 관계의 반전에 의하여 초점을 맞출 수 있도록 결정하는 것이 가능하다.

도 3에 도시된 바와 같이, 이러한 과정은 카메라 #를 위한 제어 발생할 발생으로 표시될 것이다. 모든 카메라의 렌즈는 자동초점 드라이버들의 각 제어 신호에 따라 위치할 때, 카메라 어레이(110)의 초점 조정은 중지될 것이다.

상술 된 바와 같이, 카메라 독립 초점값 곡선(CIFVC)을 얻기 위해, 카메라 어레이(110)의 모든 카메라들(C1 ~ CN)로부터 얻어진 초점값 곡선들(FVCs) 연결하는 일대일 규칙들을 알아야 한다. 아래에서는 일대일 규칙들을 건설하는 과정(함수를 찾는 과정)을 카메라 독립 초점값 곡선(CIFVC) 교정이라고 하겠다.

예를 들어, 카메라 독립 초점값 곡선(CIFVC) 교정은 동일한 개체에서 초점된 카메라들(C1 ~ CN)로부터 초점값 곡선들(FVCs) 사이의 상관 관계를 분석함으로써 수행될 수 있다.

본 발명의 실시 예에 있어서, 카메라 독립 초점값 곡선(CIFVC) 교정은, 제품 위상(production phase)의 일부로서 실험실 환경에서 만들어질 수 있다. 이 과정에서 각 영상 촬상자는 일반적인 자동초점 타겟과는 달리 검출 자동초점 모드에서 독립적으로 운영할 수 있다. 타겟은 이미징 시스템에서 다양한 거리에 배치되고 촬상될 것이다. 그것은 최적의 초점 조건 및 어레이(110)의 각 카메라의 대상에 대한 거리의 자동초점 드라이버들의 최대 초점값, 신호의 데이터베이스가 만들어질 수 있다. 모든 카메라가 같은 개체에 초점을 맞추기 때문에, 카메라 독립 초점값 곡선(CIFVC) 교정은 데이터베이스의 항목 선형 또는 비선형 회귀를 구축함으로서 달성될 수 있다.

본 발명의 다른 실시 예에 있어서, 카메라 독립 초점값 곡선(CIFVC) 교정은 백그라운드 프로세스에서 타겟팅하는 장면에서 사용자에 의해 촬상된 미리보기(preview) 이미지를 분석함으로써 자동적으로 만들어질 수 있다. 이 과정은 카메라 독립 초점값 곡선(CIFVC)의 사용자 보조 교정이라고 하겠다. 실험실 환경에서 교정처럼, 자동초점 드라이버들의 최적 초점값 및 제어 신호의 데이터베이스를 변경해야하고, 다른 카메라에서 데이터 간의 상관 관계는 카메라 독립 초점값 곡선(CIFVC)을 계산하는데 사용될 수 있다.

한편, 신뢰할 수 있는 교정은 전체 자동초점 범위에서 이미지를 분석중인 경우에만 가능하기 때문에, 이러한 데이터베이스의 구축은 매우 시간이 오래 걸릴 수 있다. 따라서, 상술 된 두 가지 교정 방법들을 결합하고 카메라 독립 초점값 곡선(CIFVC)의 공장 교정된 매개 변수를 수정 사용자가 이미지를 사용할 수 있다. 이에, 사용자가 활성화하고, 비활성화 카메라 독립 초점값 곡선(CIFVC) 교정 절차를 교정 과정에 더 많은 유연성을 가지게 할 것이다. 이로써 전력 소비량이 크게 줄일 수 있다.

실시 예에 있어서, 카메라 독립 초점값 곡선(CIFVC)의 교정은 공장과 사용자의 조합으로 만들어질 수 있다. 이미징 장치 중에서 대표 샘플은 실험실에서 교정할 수 있기 때문에, 모든 카메라 어레이(110) 제조 시간과 비용 우선이 크게 감소할 수 있다. 또한, 사용자는 보조 교정 샘플 편차의 문제를 제거하고, 카메라 어레이(110)의 가능한 기계 변형의 효과를 보상할 수 있다.

한편, 본 발명은 데이터 처리 시스템에 응용 가능하다.

도 6은 본 발명의 실시 예에 따른 데이터 처리 시스템을 예시적으로 보여주는 블록도이다. 도 6을 참조하면, 데이터 처리 시스템(1000)은 디스플레이 드라이버 집적 회로(1100), 디스플레이 패널(1200), 터치 스크린 제어기(1300), 터치 스크린(1400), 이미지 프로세서(1500), 카메라 어레이(1550), 호스트 제어기(1600)를 포함한다.

데이터 처리 시스템(1000) 내부에서, 디스플레이 드라이버 집적 회로(1100)는 디스플레이 패널(1200)에 디스플레이 데이터를 제공하도록 구현되고, 터치 스크린 제어기(1300)는 디스플레이(1200)에 겹치는 터치 스크린(1400)에 연결되고, 터치 스크린(1400)으로부터 감지 데이터를 입력 받도록 구현될 것이다. 이미지 프로세서(1500)는 카메라 어레이(1550)를 제어하고, 도 1 에 도시된 제어 회로(120)를 포함할 수 있다. 여기서 카메라 어레이(1550)는 도 1에 도시된 카메라 어레이(110)일 수 있다. 호스트 제어기(1600)는 어플리케이션 프로세서 혹은 그래픽 카드일 수 있다.

본 발명의 데이터 처리 시스템(1000)은 모바일 폰(갤럭시S, 갤럭시 노트, 아이폰, 등), 태블릿 PC(갤럭시 탭, 아이패드 등), 디지털 카메라에 적용가능하다.

도 7은 본 발명의 일 실시예에 따른 이미지 센서를 포함하는 전자 시스템 및 인터페이스를 나타낸다. 도 7을 참조하면, 전자 시스템(2000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, 또는 스마트 폰으로 구현될 수 있다.

전자 시스템(2000)은 어플리케이션 프로세서(2010), 이미지 센서(2040), 및 디스플레이(2050)를 포함한다.

어플리케이션 프로세서(2010)에 구현된 CSI 호스트(2012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(2040)의 CSI 장치(2041)와 시리얼 통신할 수 있다. 이때, 예컨대, CSI 호스트(2012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(2041)에는 광 시리얼라이저가 구현될 수 있다.

어플리케이션 프로세서(2010)에 구현된 DSI 호스트(2011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(2050)의 DSI 장치(2051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(2011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(2051)에는 광 디시리얼라이저가 구현될 수 있다.

전자 시스템(2000)은 어플리케이션 프로세서(2010)와 통신할 수 있는 RF 칩(2060)을 더 포함할 수 있다. 전자 시스템(2000)의 PHY(2013)와 RF 칩(2060)의 PHY(2061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

전자 시스템(2000)은 GPS(2020), 스토리지(2070), 마이크(2080), DRAM(2085) 및 스피커(2090)를 더 포함할 수 있으며, 전자 시스템(2000)은 Wimax(2030), WLAN(2100) 및 UWB(2110) 등을 이용하여 통신할 수 있다.

본 발명의 실시 예들은 마더보드를 사용함으로써 상호 접속된 적어도 하나의 마이크로칩 혹은 집적 회로, 하드웨어 로직, 메모리 장치에 의해 저장되고, 마이크로프로세서에 의해 실행되는 소프트웨어, 펌웨어, ASIC(application specific integrated circuit) 혹은 FPGA(field programmable gate array)로서 구현되거나, 이것들의 임의의 조합에 의해 구현될 수 있다.

한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.

100: 이미징 시스템
110: 카메라 어레이
120: 제어 회로
AF: 자동 초점
FVC: 초점값 곡선
CIFVC: 카메라 독립 초점값 곡선
C1 ~ CN: 카메라
121 ~ 12N: 자동초점 드라이버

Claims

이미지를 촬상하는 복수의 카메라들로 구성된 카메라 어레이; 및
상기 복수의 카메라들에 대한 초점값 곡선들을 추정하고, 상기 초점값 곡선들 교정 함수에 기초하여 카메라 독립 초점값 곡선을 계산하고, 상기 카메라 독립 초점값 곡선에 기초하여, 상기 복수의 카메라들 각각에 대한 독립적인 제어를 통해 자동초점을 수행하도록 구성되는 제어 회로를 포함하는 이미징 시스템.
제 1 항에 있어서,
상기 카메라 어레이는 시야 범위가 서로 겹치도록 상기 복수의 카메라들을 배치하는 이미징 시스템.
제 1 항에 있어서,
상기 자동초점은 수동 대비 검출 자동초점인 이미징 시스템.
제 1 항에 있어서,
상기 제어 회로는 상기 자동초점을 위하여 자동초점 범위를 상기 복수의 카메라들 각각에 대응하도록 분리하고, 상기 분리된 자동초점 범위를 스캔하도록 상기 복수의 카메라들 각각을 제어하고,
상기 제어 회로는, 상기 복수의 카메라들 각각에 대응하는 상기 분리된 자동초점 범위를 스캔한 뒤, 초점값 곡선들을 추정하는 이미징 시스템.
제 4 항에 있어서,
상기 제어 회로는, 상기 추정된 초점값 곡선들을 사전에 결정된 교정 함수에 따라 상기 카메라 독립 초점값 곡선으로 변경하는 이미징 시스템.
제 5 항에 있어서,
상기 사전에 결정된 교정 함수는 실험적으로 결정되거나 혹은 사용자의 촬상된 데이터를 근거로 결정되는 이미징 시스템.
제 5 항에 있어서,
상기 사전에 결정된 교정 함수에서 상기 초점값 곡선들과 상기 카메라 독립 초점값 곡선은 전단사 관계인 이미징 시스템.
복수의 카메라들을 구비한 카메라 어레이 및 상기 복수의 카메라들을 독립적으로 제어하는 제어 회로를 포함하는 이미징 시스템의 자동초점 방법에 있어서:
자동초점 범위를 상기 복수의 카메라들 각각에 대응하는 복수의 범위들로 분리하는 단계;
상기 복수의 카메라들 각각은 대응하는 상기 분리된 범위를 스캔하는 단계;
상기 복수의 카메라들 각각 스캔 결과를 이용하여 초점값 곡선들을 추정하는 단계;
상기 추정된 초점값 곡선들을 사전에 결정된 교정 함수를 이용하여 카메라 독립 초점값 곡선으로 변경하는 단계; 및
상기 카메라 독립 초점값 곡선을 이용하여 상기 복수의 카메라들을 독립적으로 제어함으로써 자동초점을 결정하는 단계를 포함하는 자동초점 방법.
제 8 항에 있어서,
상기 초점값 곡선들을 추정하는 단계는,
소정의 거리에 따라 초점을 맞추기 위하여 카메라의 렌즈를 설정하는 단계; 상기 설정된 카메라 렌즈를 이용하여 타겟 이미지를 촬상하는 단계; 상기 촬상된 이미지에 대응하는 초점 구역을 선택하는 단계; 초점값을 추정하는 단계; 및 상기 추정된 초점값을 초점값 곡선에 업데이트하는 단계를 반복하는 단계를 더 포함하는 자동초점 방법.
제 8 항에 있어서,
상기 자동초점을 결정하는 단계는,
상기 카메라 독립 초점값 곡선에서 최대값을 찾는 단계;
상기 최대값에 대응하는 제어 신호들을 발생하는 단계; 및
상기 제어 신호들에 응답하여 상기 복수의 카메라들을 제어하는 단계를 더 포함하는 자동초점 방법.