KR20200034276A - 카메라 모듈 및 이의 동작 방법 - Google Patents

카메라 모듈 및 이의 동작 방법 Download PDF

Info

Publication number
KR20200034276A
KR20200034276A KR1020180113873A KR20180113873A KR20200034276A KR 20200034276 A KR20200034276 A KR 20200034276A KR 1020180113873 A KR1020180113873 A KR 1020180113873A KR 20180113873 A KR20180113873 A KR 20180113873A KR 20200034276 A KR20200034276 A KR 20200034276A
Authority
KR
South Korea
Prior art keywords
focus
lens
camera
focus lens
phase difference
Prior art date
Application number
KR1020180113873A
Other languages
English (en)
Inventor
김민
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020180113873A priority Critical patent/KR20200034276A/ko
Priority to US17/278,023 priority patent/US11575821B2/en
Priority to PCT/KR2019/012157 priority patent/WO2020060235A1/ko
Priority to CN201980061274.2A priority patent/CN112740650B/zh
Publication of KR20200034276A publication Critical patent/KR20200034276A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/30Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • H04N5/23212
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • G02B3/14Fluid-filled or evacuated lenses of variable focal length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23296
    • H04N5/247

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.

Description

카메라 모듈 및 이의 동작 방법{CAMERA MODULE AND METHOD OF OPERATING THE SAME}
본 발명은 카메라 모듈에 관한 것으로, 특히 제 2 카메라의 초점 위치 정보를 이용하여 제 1 카메라의 자동 초점 기능을 수행할 수 있도록 한 카메라 모듈 및 이의 동작 방법에 관한 것이다.
스마트폰, 태블릿 PC, 노트북 등의 휴대용 디바이스에는 카메라 모듈이 내장되며, 이러한 카메라 모듈은 이미지 센서와 렌즈 사이의 간격을 자동 조절하여 렌즈의 초점거리를 정렬하는 자동 초점(AF: Auto Focus) 기능이 구비되어 있다.
최근 카메라 모듈은 줌 렌즈(zoom lens)를 통해 원거리의 피사체의 배율을 증가 또는 감소시켜 촬영하는 줌 업(zoom up) 또는 줌 아웃(zoom out)의 주밍(zooming) 기능이 구비된다. 이러한, 카메라 모듈은 줌 렌즈, 포커스 렌즈를 포함하고 있으며, 이에 따라 줌 렌즈의 이동을 위한 줌 액추에이터, 포커스 렌즈의 이동을 위한 포커스 액추에이터, 상기 줌 액추에이터와 포커스 액추에이터를 제어하는 드라이버와, 상기 줌 렌즈 및 상기 포커스 렌즈의 위치 정보를 저장하는 저장부를 포함하고 있다.
상기와 같은 주밍 기능을 구비한 카메라 모듈은 줌 배율의 변경에 따라 자동으로 초점을 맞춰줘야 한다. 그러나 상기 줌 렌즈의 줌 배율이 증가할수록 줌 액추에이터 및 포커스 액추에이터의 스트로크가 길어지고, 이에 따른 자동 초점 진행 속도가 느려지는 문제점이 있다.
따라서, 최근에는 상기와 같이 저장부에 캘리브레이션 데이터를 저장하고, 이를 이용하여 카메라 모듈의 줌 렌즈 및 포커스 렌즈를 이동시켜 빠른 자동 초점 진행 속도를 제공하고 있다.
이때 상기와 같은 기능을 제공하기 위해서는, 모든 줌 배열에 따른 포커스 범위에 대응하는 캘리브레이션 데이터를 상기 저장부에 저장해야 한다. 그러나 상기와 같이 포커스 범위는 객체와의 거리(예를 들어, Macro 및 Infinity 등)에 따라 구분된다. 이에 따라, 종래에는 상기와 같은 모든 거리에 따른 줌 렌즈의 위치 값 및 포커스 렌즈의 위치 값에 대한 데이터를 모두 저장부에 저장해야만 하며, 이에 따른 메모리 사이즈가 커져 제조 단가가 증가하는 문제점이 있다.
또한, 카메라 모듈의 제조 공정상, 모든 배율에 따른 데이터를 측정하여 저장하기에는 한계가 있으며, 이에 따른 데이터 정확도가 저하되는 문제점이 있다.
또한, 상기 줌 렌즈 및 포커스 렌즈를 이동시키는 액추에이터는 스프링 또는 볼(ball) 기반으로 이루어지고 있다. 그리고, 상기 스프링 또는 볼 기반의 액추에이터는 사용 횟수에 따라 힘(또는 탄성)과 같은 특성이 달라지며, 이에 따른 렌즈 이동 정확도가 저하되는 문제점이 있다.
본 발명에 따른 실시 예에서는 복수의 카메라를 포함하는 카메라 모듈에서, 상기 복수의 카메라 각각의 초점 위치 정보를 공유할 수 있도록 한 카메라 모듈 및 이의 동작 방법을 제공하도록 한다.
또한, 본 발명에 따른 실시 예에서는 초점 정확 신뢰도가 높은 제 2 카메라의 초점 위치 정보를 이용하여 제 1 카메라의 정확한 초점 위치를 찾을 수 있도록 한 카메라 모듈 및 이의 동작 방법을 제공하도록 한다.
제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
실시 예에 따른 카메라 장치의 동작 방법은 기준 영상과 제 1 카메라를 통해 획득된 제1 영상을 비교하여 제1 위상차를 검출하는 단계; 상기 기준 영상과 제 2 카메라를 통해 획득된 제 2 영상을 비교하여 제 2 위상차를 검출하는 단계; 및 상기 제 2위상차를 이용하여 상기 제2 카메라의 제 2 포커스 렌즈의 초점 이동위치를 결정하는 단계를 포함하고, 상기 제 1 위상차가 기설정된 임계값 이상이면, 상기 제 2 카메라의 제 2 포커스 렌즈의 초점 이동위치를 이용하여 상기 제 1 카메라의 제 1 포커스 렌즈의 초점 이동위치를 결정하는 단계를 포함한다.
또한, 상기 제 1 및 2 포커스 렌즈의 초점 이동 위치는, 상기 제 1 및 2 포커스 렌즈의 이동 거리 또는 굴곡 변화이다.
또한, 상기 제 1 및 2 포커스 렌즈 중 적어도 하나는, 액체 렌즈를 포함한다.
또한, 상기 제 1 포커스 렌즈의 초점 이동위치는, 상기 제 2 포커스 렌즈의 초점 이동위치와 상기 제 1 포커스 렌즈의 초점 이동위치의 관계에 기반하여 결정된다.
또한, 상기 제 1 포커스 렌즈의 초점 이동위치를 결정하는 단계는, 기저장된 보상 테이블로부터 상기 제 2 포커스 렌즈의 초점 이동 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치를 획득하는 단계와, 상기 획득한 초점 이동위치를 상기 제 1 포커스 렌즈의 초점 이동위치로 결정하는 단계를 포함하고, 상기 보상 테이블은, 상기 제 2 영상의 위상차별로 적용될 상기 제 2 포커스 렌즈의 초점 이동위치와, 상기 관계에 기반하여 결정된 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동 위치를 포함한다.
또한, 상기 기준 영상은, 기 제 1 또는 2 포커스 렌즈의 베스트 초점 위치에서 획득한 위상차가 0인 영상이다.
또한, 상기 제1 영상이 획득되기 전에 상기 제 1 카메라의 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치를 결정하는 단계를 더 포함하고, 상기 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치는, 피사체 거리에 따라 구분된 상기 줌 렌즈의 줌 위치 및 상기 줌 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 위치에 대한 제 1 초점 위치 정보를 토대로 결정된다.
또한, 상기 제 1 위상차가 상기 임계 값 미만이면, 상기 제 1 초점 위치 정보를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 위치를 유지하는 단계를 더 포함한다.
또한, 상기 제 1 및 2 영상 중 적어도 하나는, 복수의 프레임을 포함하는 동영상이다.
또한, 카메라 장치는 제 1 포커스 렌즈를 포함하고, 제1 영상을 획득하는 제1 카메라; 제 포커스 렌즈를 포함하고, 제2 영상을 획득하는 제2 카메라; 및 기준 영상과 제1 영상 간의 제1 위상차 및 상기 기준 영상과 제2 영상 간의 제2 위상차를 검출하는 제어부를 포함하고, 상기 제어부는 상기 제 2위상차를 이용하여 상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 결정하고, 상기 제 1 위상차가 기설정된 임계값 이상이면, 상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 이용하여 상기 제1 카메라의 제 1 포커스 렌즈의 초점 이동위치를 결정한다.
또한, 카메라 장치는 줌렌즈와 제1 포커스 렌즈를 포함하는 제1 카메라; 제 2 포커스 렌즈를 포함하는 제2 카메라; 및 상기 제2 포커스 렌즈의 초점 이동위치를 결정하는 제어부를 포함하고, 상기 제1 카메라는 상기 제1 포커스렌즈를 통해 기준영상과 다른 제1 위상차를 갖는 제1 영상을 획득하고, 상기 제2 카메라는 상기 제2 포커스렌즈를 통해 상기 기준영상과 다른 제2 위상차를 갖는 제2 영상을 획득하고, 상기 제어부는 상기 제1 위상차 및 상기 제2 위상차를 계산하고, 상기 제1 위상차와 기설정된 임계값을 비교하고, 상기 제2 위상차를 이용하여 상기 제2 포커스렌즈의 초점 이동위치를 결정한다.
또한, 상기 제 2 포커스 렌즈의 초점 이동 위치는, 상기 제 2 포커스 렌즈의 이동 거리 또는 굴곡 변화이다.
또한, 상기 제 1 및 2 포커스 렌즈 중 적어도 하나는, 액체 렌즈를 포함한다.
또한, 상기 제 1 포커스 렌즈의 초점 이동위치는, 상기 제 2 포커스 렌즈의 초점 이동위치와 상기 제 1 포커스 렌즈의 초점 이동위치의 관계에 기반하여 결정된다.
또한, 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치에 대한 보상 테이블을 저장하는 저장부를 더 포함하고, 상기 보상 테이블은, 상기 제 2 영상의 위상차별로 적용될 상기 제 2 포커스 렌즈의 초점 이동위치와, 상기 관계에 기반하여 결정된 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동 위치를 포함하며, 상기 제어부는, 상기 저장된 보상 테이블로부터 상기 제 2 포커스 렌즈의 초점 이동 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치를 획득하고, 상기 획득한 초점 이동위치를 상기 제 1 포커스 렌즈의 초점 이동위치로 결정한다.
상기 기준 영상은, 상기 제 1 또는 2 포커스 렌즈의 베스트 초점 위치에서 획득한 위상차가 0인 영상이다.
또한, 상기 제어부는, 상기 제1 영상이 획득되기 전에 상기 제 1 카메라의 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치를 결정하고, 상기 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치는, 피사체 거리에 따라 구분된 상기 줌 렌즈의 줌 위치 및 상기 줌 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 위치에 대한 제 1 초점 위치 정보를 토대로 결정된다.
또한, 상기 제어부는, 상기 제 1 위상차가 상기 임계 값 미만이면, 상기 제 1 초점 위치 정보를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 위치를 유지시킨다.
또한, 상기 제 1 및 2 영상 중 적어도 하나는, 복수의 프레임을 포함하는 동영상이다.
또한, 상기 제어부는, 상기 제 1위상차가 상기 임계 값 이상이면, 상기 제2 포커스렌즈의 초점 이동위치를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 이동 위치를 세트로부터 제공받고, 상기 제공받은 초점 이동 위치로 상기 제 1 포커스 렌즈를 이동시킨다.
본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 발명에 따른 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 카메라 모듈의 사시도이다.
도 2는 도 1에 도시된 실시 예에 따른 제 1 카메라 모듈에서 커버가 제거된 사시도이다.
도 3a는 도 2에 도시된 실시 예에 따른 제 1 카메라 모듈에서 마운트(20)의 사시도이다.
3b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 마운트(20)가 제거된 사시도이다.
도 4a는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제1 렌즈 어셈블리의 사시도이다.
도 4b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제2 렌즈 어셈블리의 사시도이다.
도 5는 본 발명의 실시 예에 따른 액체 렌즈를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 카메라 모듈의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 위상 검출 센서를 구성하는 이미지 센서의 위상차 검출 픽셀을 간략히 도시한 도면이다.
도 8은 도 7의 위상차 검출 픽셀이 배열되는 일 실시예를 나타낸 도면이다.
도 9는 도 8의 위상차 검출 픽셀의 제1 광량 분포와 제2 광량 분포를 기초로 상기 제 3 제어 신호가 생성되는 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 카메라 모듈의 동작 방법의 전체적인 흐름을 나타낸 흐름도이다.
도 11은 본 발명의 실시 예에 따른 위치 정보 매칭 방법을 단계별로 나타낸 흐름도이다.
도 12는 본 발명의 실시 예에 따라 모델링된 제 1 카메라부의 위치 정보를 나타낸 도면이다.
도 13은 본 발명의 실시 예에 따라 모델링된 제 2 카메라부의 위치 정보를 나타낸 도면이다.
도 14는 본 발명의 실시 예에 따라 제 1 및 2 카메라부의 위치 정보를 매칭시키는 과정을 설명하기 위한 도면이다.
도 15는 본 발명의 실시 예에 따라 제 2 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이다.
도 16은 본 발명의 실시 예에 따라 획득된 제 2 초점 위치 정보의 일 예를 나타낸 도면이다.
도 17은 본 발명의 실시 예에 따른 제 3 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이다.
도 18은 본 발명의 실시 예에 따라 획득된 제 3 초점 위치 정보의 일 예를 나타낸 도면이다.
도 19는 본 발명의 실시 예에 따른 제 1 초점 위치 정보의 일 예를 나타낸 도면이다.
도 20은 본 발명의 실시 예에 따른 카메라 모듈의 동작 방법을 단계별로 설명하기 위한 흐름도이다.
도 21은 본 발명의 실시 예에 따른 카메라 모듈을 포함하는 이동 단말기의 구성을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C중 적어도 하나(또는 한개이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합중 하나 이상을 포함 할 수 있다. 또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속되는 경우 뿐만 아니라, 그 구성 요소와 그 다른 구성요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속'되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 " 상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두개의 구성 요소들이 서로 직접 접촉되는 경우 뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한 "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
본 발명의 실시 예에 따른 카메라 모듈은 복수의 카메라를 포함하는 듀얼 카메라 모듈일 수 있다.
상기와 같은 카메라 모듈은 광학기기에 설치될 수 있다.
여기에서, 상기 광학 기기는, 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 중 어느 하나일 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기로 호칭될 수 있다.
광학기기는 본체(미도시)와, 듀얼 카메라 모듈 및 디스플레이부(미도시)를 포함할 수 있다. 다만, 광학기기에서 본체, 듀얼 카메라 모듈 및 디스플레이부 중 어느 하나 이상이 생략 또는 변경될 수 있다. 본체는 광학기기의 외관을 형성할 수 있다. 일례로, 본체는 직육면체 형상을 포함할 수 있다. 다른 예로, 본체는 적어도 일부에서 라운드지게 형성될 수 있다. 본체는 카메라 모듈을 수용할 수 있다. 본체의 일면에는 디스플레이부가 배치될 수 있다. 일례로, 본체의 일면에 디스플레이부 및 카메라 모듈이 배치되고 본체의 타면(일면의 맞은편에 위치하는 면)에 카메라 모듈이 추가로 배치될 수 있다.
카메라 모듈은 광학기기의 본체에 배치될 수 있다. 카메라 모듈은 본체의 일면에 배치될 수 있다. 카메라 모듈은 적어도 일부가 본체 내부에 수용될 수 있다. 카메라 모듈은 2개의 카메라부를 포함할 수 있다. 또한, 상기 광학기기에는 상기 2개의 카메라부 이외의 추가 카메라부가 본체의 본체의 일면 및 타면 중 어느 하나의 면에 더 배치될 수 있다. 카메라 모듈은 피사체의 영상을 촬영할 수 있다.
디스플레이부는 상기 광학기기의 본체에 배치될 수 있다. 디스플레이부는 본체의 일면에 배치될 수 있다. 즉, 디스플레이부는 카메라 모듈과 동일한 면에 배치될 수 있다. 또는, 디스플레이부는 본체의 타면에 배치될 수 있다. 디스플레이부는 본체에서 카메라 모듈이 배치된 면의 맞은편에 위치하는 면에 배치될 수 있다. 디스플레이부는 카메라 모듈에서 촬영된 영상을 출력할 수 있다.
이하에서는 본 발명의 실시 예에 따른 카메라 모듈의 구성을 도면을 참조하여 설명한다.
도 1은 본 발명의 실시 예에 따른 카메라 모듈의 사시도이다.
도 1을 참조하면, 카메라 모듈은 회로 기판(107)과, 상기 회로 기판(107)의 제 1 영역 위에 배치된 제 1 카메라 모듈(100a)과, 상기 회로 기판(107)의 상기 제 1 영역과 일정 간격 이격된 제 2 영역 위에 배치된 제 2 카메라 모듈(100b)과, 광학기기(미도시)의 본체와 연결되는 커넥터(100c)를 포함할 수 있다.
회로 기판(107)은 복수의 영역으로 구분될 수 있다.
바람직하게, 회로 기판(107)은 제 1 카메라 모듈(100a)이 배치되는 제 1 영역과, 제 2 카메라 모듈(100b)이 배치되는 제 2 영역과, 커넥터(100c)가 배치되는 제 3 영역으로 구분될 수 있다. 회로 기판(107)은 강성을 가질 수 있다. 회로 기판(107)은 성 인쇄회로기판(RPCB, Rigid Printed Circuit Board)일 수 있다. 이와 다르게, 상기 회로 기판(107)은 연성을 가질 수 있다. 상기 회로 기판(107)은 연성 인쇄회로기판(FPCB, Flexibel Printed Circuit Board)일 수 있다.
또한, 상기 회로 기판(107)은 상기 영역별로 서로 다른 특성을 가질 수 있다. 바람직하게, 상기 회로 기판(107)의 제 1 및 2 영역은 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)의 지지를 위해 강성을 가질 수 있다. 또한, 상기 회로 기판(107)의 제 3 영역은, 상기 광학기기와의 연결을 용이하게 하기 위해 연성을 가질 수 있다.
상기 제 1 카메라 모듈(100a)은 줌 카메라 모듈일 수 있다. 상기 제 1 카메라 모듈(100a)은 줌 기능이 구비되며, 외부로부터 입력되는 입력신호에 따라 원거리의 피사체의 배율을 증가 또는 감소시켜 촬영하는 줌 업(zoom up) 또는 줌 아웃(zoom out)하는 카메라 모듈일 수 있다. 이를 위해, 제 1 카메라 모듈(100a)은 줌 렌즈(추후 설명)를 포함할 수 있다.
상기 제 2 카메라 모듈(100b)은 고정된 줌 배율에 따라 피사체를 촬영하는 일반 카메라일 수 있다.
즉, 일반적으로 광학기기에는 상기 제 2 카메라 모듈(100b)만이 구비될 수 있으며, 이와 다르게 상기 제 2 카메라 모듈(100b)과 함께 상기 줌 기능이 구비된 상기 제 1 카메라 모듈(100a)가 모두 구비될 수 있다. 상기와 같은 카메라 모듈을 듀얼 카메라 모듈이라 할 수 있다.
상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 각각은, 렌즈 어셈블리 및 상기 렌즈 어셈블리를 수용하는 렌즈 배럴을 포함할 수 있다.
이때, 상기 제 1 카메라 모듈(100a)에 구비된 렌즈 어셈블리는 초점을 맞추기 위한 포커스 렌즈와, 줌 기능을 위한 줌 렌즈를 포함할 수 있다. 또한, 상기 제 2 카메라 모듈(100b)에 구비된 렌즈 어셈블리는, 상기 제1 카메라 모듈(100a)에서 상기 줌 렌즈가 생략될 수 있다. 여기에서, 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)의 일 구성이 렌즈 배럴로 한정되는 것은 아니며, 한 개 이상의 렌즈를 지지할 수 있는 홀더 구조라면 어느 것이든 가능하다.
상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 각각은 이미지 센서를 포함할 수 있다. 이때, 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서는 상기 제 2 카메라 모듈(100b)에 구비된 이미지 센서와 동일한 픽셀 구조를 가질 수 있다. 또한, 이와 다르게 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서는 상기 제 2 카메라 모듈(100b)에 구비된 이미지 센서와 상이한 픽셀 구조를 가질 수 있다. 바람직하게, 상기 제 2 카메라 모듈(100b)에 구비된 이미지 센서의 신뢰도는 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서의 신뢰도보다 높을 수 있다. 즉, 상기 이미지 센서는 검출 센서를 포함할 수 있다. 상기 검출 센서는 PDAF(Phase Difference Auto Focusing) 기능을 제공하기 위해, 상기 이미지 센서의 일부 픽셀을 구성할 수 있다. 또한, 상기 검출 센서는 배치 방식이나 배치 수에 따라 신뢰도에 차이가 있을 수 있다.
즉, 상기 제 1 카메라 모듈(100a)은 줌 렌즈를 포함하고 있다. 그리고, 상기 줌 기능이 동작하면, 렌즈 배럴 내에서 상기 제 2 카메라 모듈(100b) 대비 상기 자동 초점을 위한 포커스 렌즈의 서치 구간이 좁다. 또한, 상기 제 1 카메라 모듈(100a)은 렌즈 이동 구간 내에 줌 렌즈의 이동 구간이 있기 때문에, 상기 포커스 렌즈의 이동 구간이 상기 제 2 카메라 모듈(100b) 대비 상대적으로 작다. 이에 따라, 상기 제 2 카메라 모듈(100b)에는 신뢰도가 높은 이미지 센서를 배치하고, 상기 제 1 카메라 모듈(100a)에는 상기 제 2 카메라 모듈(100b) 대비 신뢰도가 낮은 이미지 센서를 배치할 수 있다. 그리고, 본 발명에 따른 실시 예에서는 상기 신뢰도가 높은 이미지 센서가 배치된 상기 제 2 카메라 모듈(100b)의 초점 위치 정보를 활용하여, 상기 제 1 카메라 모듈(100a)의 초점 위치의 정확도를 향상시키도록 한다. 이에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
상기 커넥터(100c)는 외부로부터 전원을 공급받아 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)에 각각 구동 전원을 공급할 수 있다.
또한, 커넥터(100c)는 상기 광학기기의 메인 제어부(미도시)로부터 제공되는 제어신호를 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)에 각각 제공할 수 있다. 또한, 상기 커넥터(100c)는 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)에서 획득한 영상을 상기 광학기기에 전달할 수 있다.
도 2는 도 1에 도시된 실시 예에 따른 제 1 카메라 모듈에서 커버가 제거된 사시도이다. 한편, 실시 예에서의 제 1 카메라 모듈(100a)과 제 2 카메라 모듈(100b)은 일부 렌즈 어셈블리가 생략된 것을 제외하면 실질적으로 동일한 구조를 가질 수 있다. 바람직하게, 이하에서 설명하는 줌 렌즈 어셈블리에 대응하는 제 1 렌즈 어셈블리(110)는 제 1 카메라 모듈(100a)에만 구비될 수 있으며, 제 2 카메라 모듈(100b)에는 생략될 수 있다. 다만, 이는 일 실시 예에 불과할 뿐, 상기 제 2 카메라 모듈(100b)에도 상기 제 1 렌즈 어셈블리(110)가 구비될 수 있으며, 이에 따라 제 1 및 2 카메라 모듈이 서로 동일한 구조를 가질 수 있다.
이하에서는 설명의 편의를 위해 제 1 카메라 모듈의 구조에 대해서만 설명하기로 한다.
도 2를 참조하면, 실시 예에 따른 제 1 카메라 모듈(100a)은 소정의 마운트(20) 상에 각종 광학계들이 결합될 수 있다. 예를 들어, 상기 마운트(20) 위에는, 프리즘(140)과 렌즈군들이 배치되고, 마운트(20)의 훅(hook)(20H)을 통해 커버가 결합될 수 있다.
상기 커버는 상기 마운트(20)와 결합될 수 있다. 상기 커버는 상기 마운트(20)에 수용되는 부품을 덮을 수 있으며, 이에 따라 제 1 카메라 모듈의 구성부품들을 보호할 수 있다. 상기 마운트(20)는 베이스로 칭해질 수 있다. 상기 커버는 상기 마운트(20)와 끼워 맞춤을 통해 결합될 수 있다. 또한, 상기 커버는 접착제에 의해 상기 마운트(20)와 결합될 수 있다. 예를 들어, 상기 마운트(20)의 측면에는 훅(20H)이 돌출될 수 있고, 상기 커버는 상기 훅(H)에 대응되는 위치에 홀이 형성되며, 상기 마운트(20)의 훅이 커버의 홀에 장착되어 커버와 마운트(20)가 결합될 수 있다. 더불어, 접착제를 사용하여 커버가 마운트(20)에 안정적으로 결합될 수도 있다.
또한, 상기 마운트(20) 하측에는 상기 설명한 바와 같은 회로기판(107)이 배치될 수 있다. 그리고, 상기 회로기판(107)은 상기 마운트(20) 내부에 배치된 렌즈 구동부들과 전기적으로 연결될 수 있다.
실시 예에 따른 제 1 카메라 모듈(100)은 마운트(20)에 광학계와 렌즈 구동부가 배치될 수 있다. 예를 들어, 실시 예에 따른 제 1 카메라 모듈(100)은 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120), 제3 렌즈군(130), 프리즘(140), 제1 구동부(310), 제2 구동부(320), 로드(50), 이미지 센서부(210) 중 적어도 하나 이상을 포함할 수 있다.
상기 제1 렌즈 어셈블리(110), 상기 제2 렌즈 어셈블리(120), 상기 제3 렌즈군(130), 상기 프리즘(140), 상기 이미지 센서부(210) 등은 광학계로 분류될 수 있다.
또한, 상기 제1 구동부(310), 제2 구동부(320), 로드(50) 등은 렌즈 구동부로 분류될 수 있으며, 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)도 렌즈 구동부 기능을 겸비할 수 있다. 상기 제1 구동부(310)와 제2 구동부(320)는 코일 구동부일 수 있으나 이에 한정되는 것은 아니다.
상기 로드(50)는 이동되는 렌즈 어셈블리의 가이드 기능을 수행할 수 있으며, 단수 또는 복수로 구비될 수 있다. 예를 들어, 로드(50)는 제1 로드(51), 제2 로드(52)를 포함할 수 있으나 이에 한정되는 것은 아니다.
도 2에 도시된 축 방향에서, Z축은 광축(optic axis) 방향 또는 이와 평행방향을 의미한다. Y축은 지면(YZ 평면)에서 Z축과 수직인 방향을 의미한다. X축은 지면과 수직방향을 의미한다.
실시 예에서 프리즘(140)은 입사광을 평행광으로 변경시킨다. 예를 들어, 상기 프리즘(140)은 입사광의 광 경로를 렌즈군의 중심축에 평행한 광축(Z)으로 변경시켜 입사광을 평행광으로 변경시킨다. 이후 평행 광은 제3 렌즈군(130), 제1 렌즈 어셈블리(110) 및 제2 렌즈 어셈블리(120)을 통과하여 이미지 센서부(210)에 입사되어 영상이 촬상될 수 있다.
이하, 실시 예의 설명에서 제 1 카메라 모듈(100a)에 이동 렌즈군(moving lens group)이 2개인 경우로 설명하나 이에 한정되는 것은 아니며, 이동 렌즈군은 3개, 4개 또는 5개 이상일 수 있다. 또한, 제 2 카메라 모듈(100b)에는 이동 렌즈군이 1개일 수 있다. 또한, 광축 방향(Z)은 렌즈군들이 정렬된 방향과 동일하거나 이와 평행한 방향을 의미한다.
실시 예에 따른 제 1 카메라 모듈(100a)은 주밍 기능을 수행할 수 있다. 예를 들어, 실시 예에서 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)는 제1 구동부(310), 제2 구동부(320), 및 로드(50)를 통해 이동하는 이동 렌즈(moving lens)일 수 있으며, 제3 렌즈군(130)은 고정 렌즈일 수 있다.
예를 들어, 실시 예에서 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120)는 이동 렌즈군을 포함할 수 있으며, 제3 렌즈군(130)은 고정 렌즈군일 수 있다.
상기 제3 렌즈군(130)은 평행광을 특정 위치에 결상하는 집광자(focator) 기능을 수행할 수 있다.
또한, 제1 렌즈 어셈블리(110)는 집광자인 제3 렌즈군(130)에서 결상된 상을 다른 곳에 재결상 시키는 변배자(variator) 기능을 수행할 수 있다. 한편, 제1 렌즈 어셈블리(110)에서는 피사체와의 거리 또는 상거리가 많이 바뀌어서 배율변화가 큰 상태일 수 있으며, 변배자인 제1 렌즈 어셈블리(110)는 광학계의 초점거리 또는 배율변화에 중요한 역할을 할 수 있다.
한편, 변배자인 제1 렌즈 어셈블리(110)에서 결상되는 상점은 위치에 따라 약간 차이가 있을 수 있다. 이에, 제2 렌즈 어셈블리(120)는 변배자에 의해 결상된 상에 대한 위치 보상 기능을 할 수 있다. 예를 들어, 제2 렌즈 어셈블리(120)는 변배자인 제1 렌즈 어셈블리(110)에서 결상된 상점을 실제 이미지 센서부(210) 위치에 정확히 결상시키는 역할을 수행하는 보상자(compensator) 기능을 수행할 수 있다.
예를 들어, 상기 제 1 렌즈 어셈블리(110)는 주밍 기능을 수행하는 줌 렌즈 어셈블리일 수 있으며, 상기 제 2 렌즈 어셈블리(120)는 초점 기능을 수행하는 포커스 렌즈 어셈블리일 수 있다.
우선, 도 3a는 도 2에 도시된 실시 예에 따른 제 1 카메라 모듈에서 마운트(20)의 사시도이다. 상기 마운트(20)는 직육면체 형상일 수 있고, 4개의 측면과 바닥면(20e)을 포함할 수 있다. 예를 들어, 마운트(20)는 제1 내지 제4 측면(20a, 20b, 20c, 20d)을 포함할 수 있으며, 제1 측면(20a)과 제2 측면(20b), 제3 측면(20c)과 제4 측면(20d)은 각각 서로 마주볼 수 있다.
상기 마운트(20)의 적어도 일 측면에 훅(20H)이 형성되어 커버(10)의 홀에 결합될 수 있다.
또한, 상기 마운트(20)의 바닥면(20e)에는 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120), 제3 렌즈군(130)이 위치하는 제1 가이드 홈(112G)이 광축(Z) 방향으로 형성될 수 있다. 상기 제1 가이드 홈(112G)은 렌즈의 외주 형상에 따라 아래로 오목한 형상일 수 있으나 이에 한정되는 것은 아니다.
또한, 상기 마운트(20)의 제1 측면(20a), 제2 측면(20b)에는 제1 구동부(310)와 제2 구동부(320)가 각각 배치되는 제1 개구부(23a), 제2 개구부(23b)가 형성될 수 있다. 또한, 상기 마운트(20)의 제3 측면(20c)에는 이미지 센서부(210)가 배치되는 제3 개구부(22)가 형성될 수 있다.
또한, 마운트(20)의 바닥면에는 회로 기판(107)이 노출되는 제4 개구부(27)가 단수 또는 복수로 형성될 수 있다.
또한, 마운트(20)의 제3 측면(20c)과 이를 마주보는 제4 측면(20d)에는 로드(50)가 결합되는 결합 홀(25)이 단수 또는 복수로 형성될 수 있다. 예를 들어, 상기 마운트(20)의 제3 측면(20c)과 제4 측면(20d)에 제1 결합 홀(25a), 제2 결합 홀(25b), 제3 결합 홀(25c), 제4 결합 홀(25d)이 형성될 수 있고, 여기에 제1 로드(51), 제2 로드(52), 제3 로드(53), 제4 로드(54)가 각각 결합될 수 있다.
또한, 상기 마운트(20)의 제4 측면(20d)의 내측에는 프리즘(140)을 배치하기 위한 프리즘 장착부(24)가 형성될 수 있다.
상기 마운트(20)의 재질은 플라스틱, 유리계열의 에폭시, 폴리카보네이트, 금속 또는 복합재료 중 어느 하나 이상으로 형성될 수 있다.
다음으로, 도 3b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 마운트(20)가 제거된 사시도이며, 광학계와 렌즈 구동부를 나타내고 있다.
실시 예에서 렌즈 구동장치는 무버(mover)와 고정부를 포함할 수 있다. 상기 무버는 고정부에 대응되는 개념으로 이동부로 칭해질 수 있다. 예를 들어, 상기 무버는 바퀴의 구름 운동에 의해 이동되는 렌즈 어셈블리를 의미할 수 있다. 반면, 고정부는 이동되지 않는 마운트, 로드 등을 의미할 수 있다.
실시 예에 따른 카메라 모듈은 마운트(20) 상에 프리즘(140), 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120), 제3 렌즈군(130), 이미지 센서부(210) 등의 광학계를 포함할 수 있다. 또한, 실시 예의 카메라 모듈은 제1 구동부(310), 제2 구동부(320), 로드(50) 등의 렌즈 구동부를 포함할 수 있다. 상기 제1 렌즈 어셈블리(110), 제2 렌즈 어셈블리(120)도 렌즈 구동기능을 수행할 수 있다.
상기 로드(50)는 제1 로드 내지 제4 로드(51, 52, 53, 54)를 포함할 수 있으며, 상기 제1 로드 내지 제4 로드(51, 52, 53, 54)는 각각 제1 결합 홀 내지 제4 결합 홀(25a, 25b, 25c, 25d)(도 3a 참조)에 결합되어 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)의 이동 가이드 기능을 할 수 있다. 상기 로드(50)는 플라스틱, 유리계열의 에폭시, 폴리카보네이트, 금속 또는 복합재료 중 어느 하나 이상으로 형성될 수 있다.
상기 제1 구동부(310)는 코일 구동부일 수 있으며, 철심 등의 제1 코어(312)에 제1 코일(314)이 감긴 형태일 수 있다. 또한, 상기 제2 구동부(320)도 철심 등의 제2 코어(322)에 제2 코일(324)이 감긴 코일 구동부 일 수 있다.
우선, 상기 프리즘(140)은 입사광의 광 경로를 렌즈군의 중심축(Z)에 평행한 광축으로 변경시켜 입사광을 평행광으로 변경시킨다. 이후 평행 광은 제3 렌즈군(130), 제1 렌즈 어셈블리(110) 및 제2 렌즈 어셈블리(120)를 통과하여 이미지 센서부(210)에 촬상될 수 있다.
상기 프리즘(140)은 삼각기둥 형상을 갖는 광학 부재일 수 있다. 또한, 실시 예는 프리즘(140) 대신 반사판 또는 반사경을 채용할 수 있다.
또한, 실시 예는 이미지 센서부(210)가 광축에 수직한 방향에 배치되지 않는 경우, 렌즈 군을 통과한 광이 이미지 센서부(210)로 촬상되기 위해 추가 프리즘(미도시)을 더 구비할 수도 있다.
실시 예에서 이미지 센서부(210)는 평행광의 광축 방향에 수직하게 배치될 수 있다. 상기 이미지 센서부(210)는 제2 회로기판(212) 상에 배치된 고체 촬상소자(214)를 포함할 수 있다. 예를 들어, 이미지 센서부(210)는 CCD(Charge Coupled Device) 이미지센서나 CMOS(Complementary Metal-Oxide-Semiconductor) 이미지 센서를 포함할 수 있다. 한편, 상기 이미지 센서부(210)는 위상차 영상을 검출하는 검출 센서(추후 설명)를 포함할 수 있다.
도 4a와 도 4b를 참조하여, 실시 예에서 제1 렌즈 어셈블리(110)와 제2 렌즈 어셈블리(120)에 대해 좀 더 상술하기로 한다.
도 4a는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제1 렌즈 어셈블리(110)의 사시도이며, 도 4b는 도 2에 도시된 실시 예에 따른 카메라 모듈에서 제2 렌즈 어셈블리(120)의 사시도이다.
도 4a를 참조하면, 실시 예의 제1 렌즈 어셈블리(110)는 제1 하우징(112), 제1 렌즈군(114), 제1 바퀴(117), 제3 구동부(116), 제1 위치 센서(118) 중 어느 하나 이상을 포함할 수 있다.
또한, 도 4b를 참조하면, 실시예의 제2 렌즈 어셈블리(120)는 제2 하우징(122), 제2 렌즈군(124), 제2 바퀴(127), 제4 구동부(126), 제2 위치 센서(128) 중 어느 하나 이상을 포함할 수 있다.
이하 제1 렌즈 어셈블리(110)를 중심으로 설명하기로 한다.
상기 제1 렌즈 어셈블리(110)의 제1 하우징(112)은 제1 렌즈 하우징(112a)과 제1 구동부 하우징(112b)을 포함할 수 있다. 상기 제1 렌즈 하우징(112a)은 경통 기능을 하며, 제1 렌즈군(114)이 장착될 수 있다. 상기 제1 렌즈군(114)은 이동 렌즈군(moving lens group)일 수 있으며, 단일 또는 복수의 렌즈를 포함할 수 있다. 상기 제2 렌즈 어셈블리(120)의 제2 하우징(122)도 제2 렌즈 하우징(122a)과 제2 구동부 하우징(122b)을 포함할 수 있다.
이때, 상기 제1 렌즈 어셈블리(110)의 제1 렌즈 하우징(112a)의 일단 하측에 제1 가이드 홈(112G)이 형성될 수 있다. 상기 제1 렌즈 어셈블리(110)는 상기 제1 가이드 홈(112G)에 의해 안내되어 제2 로드(52)와 슬라이딩 접촉하면서 광축 방향으로 직선으로 이동할 수 있다. 또한, 상기 제2 렌즈 어셈블리(120)의 제2 렌즈 하우징(122a)의 일단 하측도 제2 가이드 홈(122G)이 형성될 수 있다.
실시 예에서는 제2 로드(52)와 제1 가이드 홈(112G) 간의 슬라이딩접촉에 의해 제1 하우징(112)이 광축 방향으로 이동하도록 구비되므로 효율적인 오토 포커싱 및 줌 기능을 수행하는 제 1 카메라 모듈을 구현할 수 있다.
또한, 실시 예에서는 제1 로드(51)와 제2 가이드 홈(122G) 간의 슬라이딩접촉에 의해 제2 하우징(122)이 광축 방향으로 이동하도록 구비되므로 효율적인 오토포커싱 및 줌 기능을 수행하는 카메라 모듈을 구현할 수 있다.
다음으로, 상기 제1 렌즈 어셈블리(110)의 제1 구동부 하우징(112b)에는 제3 구동부(116), 제1 바퀴(117), 제1 위치 센서(118)가 배치될 수 있다. 상기 제1 바퀴(117)는 복수의 바퀴를 포함할 수 있으며, 제1-1 바퀴(117a), 제1-2 바퀴(117b)를 포함할 수 있다.
또한, 상기 제2 렌즈 어셈블리(120)의 제2 구동부 하우징(122b)에는도 제4 구동부(126), 제2 바퀴(127), 제2 위치 센서(128)가 배치될 수 있다. 상기 제2 바퀴(127)는 복수의 바퀴를 포함할 수 있으며, 제2-1 바퀴(127a), 제2-2 바퀴(127b)를 포함할 수 있다.
상기 제1 렌즈 어셈블리(110)의 제3 구동부(116)는 마그넷 구동부일 수 있으나 이에 한정되는 것은 아니다. 예를 들어, 상기 제3 구동부(116)는 영구자석인 제1 마그넷(magnet)을 포함할 수 있다. 또한, 상기 제2 렌즈 어셈블리(120)의 제4 구동부(126)도 마그넷 구동부일 수 있으나 이에 한정되는 것은 아니다.
한편, 상기 제 2 렌즈 어셈블리(120)는 액체 렌즈일 수 있다. 이에 따라, 상기 제 2 렌즈 어셈블리(120)를 이동시키는 구동부는, 상기 액체 렌즈에 구동 전압을 공급하여 상기 액체 렌즈의 계면의 곡률을 조정하는 구동 전압 구동부(미도시)일 수 있다. 상기 액체 렌즈는 상기 구동 전압 구동부로부터 공급되는 구동 전압에 따라 전도성 액체와 비전도성 액체 사이의 계면이 변형되어 자동 초점 기능을 구현할 수 있다.
도 5는 본 발명의 실시 예에 따른 액체 렌즈를 나타낸 도면이다.
도 5를 참조하면, 액체 렌즈(300)에는 캐비티(310)가 포함될 수 있다. 캐비티(310)는 외부로부터 입사된 광이 투과하는 부위이고, 적어도 일부에 액체를 포함할 수 있다. 예를 들면, 캐비티(310)에는 두 가지 종류 즉, 전도성 액체와 비전도성 액체(또는 절연 액체)가 함께 포함될 수 있고, 전도성 액체와 비전도성 액체는 서로 섞이지 않고 경계면을 이룰 수 있다. 그리고, 상기 구동 전압 구동부를 통해 인가되는 구동 전압에 의해 전도성 액체와 비전도성 액체의 경계면이 변형되어 액체 렌즈(300)의 곡률 및/또는 초점거리가 변경될 수 있다. 이러한 경계면의 변형, 곡률변경이 제어되면, 액체 렌즈(300)와 이를 포함하는 제 1 카메라 모듈(100a)은 자동 초점 기능을 구현할 수 있다.
구체적으로, 도 5의 (a)는 제 2 렌즈 어셈블리(120)를 구성하는 액체 렌즈를 나타낸 것이고, 도 5의 (b)는 액체 렌즈의 등가회로도를 나타낸 도면이다.
먼저 도 5의 (a)를 참조하면, 구동 전압에 대응하여 계면이 조정되는 액체 렌즈(300)는 동일한 각 거리를 가지고 4개의 서로 다른 방향에 배치되어 제1 전극을 구성하는 복수의 전극 섹터(L1, L2, L3, L4), 그리고 제2 전극을 구성하는 전극 섹터를 통해서 구동 전압을 인가 받을 수 있다. 제1 전극을 구성하는 복수의 전극 섹터(L1, L2, L3,L4) 그리고 제2 전극을 구성하는 전극 섹터를 통해서 구동 전압이 인가되면 캐비티(310)에 배치된 전도성 액체와 비전도성 액체의 경계면이 변형될 수 있다. 전도성 액체와 비전도성 액체의 경계면의 변형의 정도 및 형태는 자동 초점 기능을 구현하기 위해, 별도의 제어부(추후 설명)에 의해 제어될 수 있다.
또한, 도 5의 (b)를 참조하면, 액체렌즈(300)의 일측은 서로 다른 전극 섹터(L1, L2, L3, L4)로부터 전압을 인가 받고, 다른 일측은 제2 전극의 전극 섹터(C0)와 연결되어 전압을 인가받는 복수의 캐패시터(30)로 설명할 수 있다.
이하에서는, 상기와 같이 구성된 카메라 모듈(100)의 구성 및 동작에 대해 구체적으로 설명하기로 한다. 상기 카메라 모듈(100)은 상기 설명한 바와 같이 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b)을 포함한다. 그리고, 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 내에는 상기 제 2 렌즈 어셈블리(120)에 대응하는 포커스 기능을 하는 렌즈 어셈블리를 포함할 수 있다. 이에 따라, 이하에서는 상기 제 1 카메라 모듈(100a)에 구비된 포커스 기능의 렌즈 어셈블리를 '제 1 포커스 렌즈'라고 하고, 제 2 카메라 모듈(100b)에 구비된 포커스 기능의 렌즈 어셈블리를 '제 2 포커스 렌즈'라고 한다. 또한, 상기 제 1 카메라 모듈(100a)에는 상기 제 1 렌즈 어셈블리(110)에 대응하는 줌 기능을 하는 렌즈 어셈블리를 더 포함한다. 이에 따라, 이하에서는 상기 제 1 카메라 모듈(100a)에 구비된 줌 기능의 렌즈 어셈블리를 '줌 렌즈'라고 한다. 또한, 상기 제 1 카메라 모듈(100a) 및 제 2 카메라 모듈(100b) 내에는 각각 이미지 센서부(210)를 포함한다. 이하에서는, 상기 제 1 카메라 모듈(100a)에 구비된 이미지 센서부를 '제 1 이미지 센서'라고 하고, 제 2 카메라 모듈(100b)에 구비된 이미지 센서부를 '제 2 이미지 센서'라고 한다.
도 6은 본 발명의 실시 예에 따른 카메라 모듈의 구성을 나타낸 블록도이다.
도 6을 참조하면, 카메라 모듈(400)은 제 1 카메라부(410), 제 2 카메라부(420), 저장부(430) 및 제어부(440)를 포함한다. 상기 제어부(440)는 상기 카메라 모듈(400)이 장착되는 광학 기기내에 배치되는 메인 제어부(미도시)와는 별개로 상기 카메라 모듈(400) 내에 구비된 카메라 모듈 제어부일 수 있다.
상기 제 1 카메라부(410)는 제 1 영상을 획득한다. 바람직하게, 제 1 카메라부(410)는 제 1 포커스 렌즈(411) 및 줌 렌즈(412)의 위치에 따라 결상되는 제 1 영상을 획득한다. 이때, 상기 제 1 영상은 상기 줌 렌즈(412)의 위치에 따라 결정된 줌 배율을 가진다. 또한, 상기 제 1 영상은 상기 제 1 포커스 렌즈(411)의 위치에 따라 초점이 맞은 영상일 수 있고, 이와 다르게 초점이 맞지 않은 영상일 수 있다.
이를 위해, 제 1 카메라부(410)는 제 1 포커스 렌즈(411), 줌 렌즈(412), 제 1 포커스 렌즈 구동부(413), 줌 렌즈 구동부(414) 및 제 1 이미지 센서(415)를 포함한다.
제 1 포커스 렌즈 구동부(413)는 제어부(440)로부터 제공되는 제 1 제어신호에 따라 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 제어한다. 이때, 상기 제 1 포커스 렌즈(411)가 도 2에 도시된 구조를 가지는 경우, 상기 제 1 제어신호는 상기 제 1 포커스 렌즈(411)를 특정 위치로 이동시키기 위한 위치 제어 신호일 수 있다. 또한, 이와 다르게 상기 제 1 포커스 렌즈(411)가 제 5에 도시된 액체렌즈 구조를 가지는 경우, 상기 제 1 제어신호는 상기 제 1 포커스 렌즈(411)의 계면의 곡률을 변경하기 위한 구동 전압 제어 신호일 수 있다. 여기에서, 상기 초점 이동 위치는, 상기 제 1 포커스 렌즈(411)의 이동량 또는 이동 거리일 수 있다. 또한, 상기 초점 이동 위치는 상기 제 1 포커스 렌즈(411)의 굴곡 변화일 수 있다.
제 1 포커스 렌즈(411)는 상기 제 1 포커즈 렌즈 구동부(413)의 제어에 따라 초점 위치를 이동시켜, 상기 제 1 영상에 포함된 피사체의 초점이 맞도록 한다.
또한, 줌 렌즈(412)는 줌 렌즈 구동부(414)의 제어에 의해 구동된다. 줌 렌즈 구동부(414)는 상기 제어부(440)로부터 제공되는 제 2 제어신호에 따라 상기 줌 렌즈(412)의 줌 위치를 제어한다. 바람직하게, 상기 제 2 제어 신호는 외부로부터 입력되는 줌 배율에 따른 줌 위치 제어 신호일 수 있다. 그리고, 상기 줌 렌즈 구동부(414)는 상기 줌 위치 제어 신호에 따라 상기 줌 렌즈(412)를 상기 입력된 줌 배율에 대응하는 줌 위치로 이동시킨다.
이때, 상기 제 1 및 2 제어신호는 상기 제 1 포커스 렌즈(411)나 상기 줌 렌즈(412)의 초점 위치 또는 줌 위치를 변경시키기 위한 전류 신호일 수 있다. 바람직하게, 상기 전류 신호는 전류의 방향, 전류의 세기 및 전류의 진폭에 대한 신호일 수 있다. 또한, 이와 다르게 상기 제 1 및 2 제어 신호는 상기 전류의 방향, 전류의 세기 및 상기 전류의 진폭에 대응되게 각각 매칭된 코드 신호일 수 있다.
상기 제 2 카메라부(420)는 제 1 영상을 획득한다. 바람직하게, 제 2 카메라부(420)는 제 2 포커스 렌즈(421)의 위치에 따라 상기 제 2 이미지 센서(423)를 통해 결상되는 제 2 영상을 획득한다. 이때, 상기 제 2 영상은 고정된 줌 배율을 가질 수 있다. 또한, 상기 제 2 영상은 상기 제 2 포커스 렌즈(421)의 위치에 따라 초점이 맞은 영상일 수 있고, 이와 다르게 초점이 맞지 않은 영상일 수 있다.
이를 위해, 제 2 카메라부(420)는 제 2 포커스 렌즈(421), 제 2 포커스 렌즈 구동부(422), 및 제 2 이미지 센서(423)를 포함한다.
제 2 포커스 렌즈 구동부(422)는 제어부(440)로부터 제공되는 제 3 제어신호에 따라 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 제어한다. 이때, 상기 제 2 포커스 렌즈(421)가 도 2에 도시된 구조를 가지는 경우, 상기 제 3 제어신호는 상기 제 2 포커스 렌즈(421)를 특정 위치로 이동시키기 위한 위치 제어 신호일 수 있다. 또한, 이와 다르게 상기 제 2 포커스 렌즈(421)가 제 5에 도시된 액체렌즈 구조를 가지는 경우, 상기 제 2 제어신호는 상기 제 2 포커스 렌즈(421)의 계면의 곡률을 변경하기 위한 구동 전압 제어 신호일 수 있다. 이때, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치는 상기 제 2 포커스 렌즈(421)의 이동 거리 또는 이동량일 수 있다. 또한, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치는 상기 제 2 포커스 렌즈(421)의 굴곡 변화일 수 있다.
제 2 포커스 렌즈(421)는 상기 제 2 포커즈 렌즈 구동부(422)의 제어에 따라 초점 위치를 이동시켜, 상기 제 2 영상에 포함된 피사체의 초점이 맞도록 한다.
또한, 상기 제 3 제어신호는 상기 제 2 포커스 렌즈(421)의 초점 위치를 변경시키기 위한 전류 신호일 수 있다. 바람직하게, 상기 전류 신호는 전류의 방향, 전류의 세기 및 전류의 진폭에 대한 신호일 수 있다. 또한, 이와 다르게 상기 제 3 제어 신호는 상기 전류의 방향, 전류의 세기 및 상기 전류의 진폭에 대응되게 각각 매칭된 코드 신호일 수 있다.
한편, 상기 제 1 이미지 센서(415) 및 제 2 이미지 센서(423) 각각은, 다수의 광 검출기들이 각각의 화소로서 집적된 형태이며, 피사체의 이미지 정보를 전기적 데이터로 변환시켜 출력한다. 제 1 및 2 이미지 센서(415, 423)는 입력되는 광량을 축적하고, 그 축적된 광량에 따라 렌즈에서 촬영된 이미지를 수직 동기신호에 맞추어 출력한다. 이때, 이미지 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜주는 상기 제 1 및 2 이미지 센서(415, 423)에 의해 이루어진다. 한편, 제 1 및 2 이미지 센서(415, 423)를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터가 필요하며, 예를 들어, CFA(Color Filter Array) 필터가 채용될 수 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며, 규칙적으로 배열된 구조를 가지며, 배열 구조에 따라 여러 가지 형태를 가진다.
저장부(430)에는 상기 카메라 모듈의 동작에 필요한 정보나, 상기 카메라 모듈의 동작 중에 발생한 정보를 저장한다.
상기 저장부(430)는 하드웨어적으로, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
상기 저장부(430)에는 상기 줌 렌즈(412) 및 상기 제 1 포커스 렌즈(411)를 이동시키기 위한 제 1 초점 위치 정보를 저장할 수 있다.
상기 제 1 초점 위치 정보는, 상기 제 1 카메라부(410)에서 촬영할 피사체와의 거리 및 상기 줌 렌즈(412)의 위치에 따른 줌 배율을 기준으로, 상기 제 1 포커스 렌즈(411)의 초점 위치를 이동시키기 위한 초점 이동 위치에 대한 정보일 수 있다.
또한, 상기 저장부(430)에는 상기 제 2 포커스 렌즈(421)를 이동시키기 위한 제 2 초점 위치 정보를 저장할 수 있다.
상기 제 2 초점 위치 정보는, 상기 제 2 카메라부(420)의 위상 차이 영상으로부터 획득되는 위상 차이를 기준으로, 상기 제 2 포커스 렌즈(421)의 초점 위치를 이동 시키기 위한 초점 이동 위치에 대한 정보일 수 있다.
즉, 자동 초점 기능은 콘트라스트 자동 초점, 위상차 자동 초점 및 하이브리드 자동 초점 방식 등으로 구현될 수 있다.
콘트라스트 AF(CDAF)에서는, 포커스 렌즈의 위치를 이동하면서, 각 포커스 렌즈 위치에서, 촬영 화상의 콘트라스트를 나타내는 콘트라스트 평가치를 구한다. 여기에서 포커스 렌즈 위치의 이동은, 콘트라스트 평가치가 상승하도록 행하여진다. 그리고, 콘트라스트 평가치는, 베스트 초점 위치에서 최대가 되기 때문에, 콘트라스트 AF에서는, 포커스 렌즈 위치를 베스트 초점 위치에 근접하도록 이동시키켜 상기 콘트라스트 평가치가 최대가 되는 위치를 최종 초점 위치로 결정한다.
위상차 AF(PDAF)에서는, 포커스 렌즈 위치가 베스트 초점 위치에 있을 때에, 위상차가 0이 된다고 하면, 위상차가 0이 되도록 포커스 렌즈의 위치를 이동시킨다.
또한, 하이브리드 AF에서는, 위상차 AF에 의해, 포커스 렌즈 위치가 베스트 초점 위치 부근으로 이동되고, 이후 콘트라스트 AF에 의해 포커스 렌즈 위치를 베스트 초점 위치로 정밀하게 이동시킬 수 있다.
이에 따라, 상기 제 2 카메라부(420)에서는 상기 위상차 AF 방식을 통해 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정한다. 이를 위해, 저장부(430)는 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정하기 위한 상기 제 2 초점 위치 정보를 저장한다.
또한, 저장부(430)는 상기 제 2 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하기 위한 제 3 초점 위치 정보를 더 저장할 수 있다. 상기 제 3 초점 위치 정보는, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)의 초점 위치 특성을 매칭시키고, 상기 매칭된 초점 위치 특성을 토대로 획득한 상기 제 2 포커스 렌즈(421)의 초점 위치에 대응되는 상기 제 1 포커스 렌즈(411)의 초점 위치 정보를 의미한다. 상기 제 3 초점 위치 정보에 대해서는 하기에서 더욱 상세히 설명하기로 한다.
제어부(440)는 상기 제 1 카메라부(410) 및 상기 제 2 카메라부(420)를 각각 제어한다. 바람직하게, 상기 제어부(440)는 상기 제 1 카메라부(410)의 동작 시에, 촬영될 피사체와의 거리 및 설정된 줌 배율에 따라 상기 제 1 포커스 렌즈(411)의 초점 위치를 결정한다. 즉, 상기 제어부(440)는 상기 저장부(430)에 저장된 제 1 초점 위치 정보를 토대로 상기 피사체와의 거리 및 상기 줌 배율에 대응하는 상기 제 1 포커스 렌즈(411)의 초점 위치 정보를 추출한다. 또한, 상기 제어부(440)는 상기 획득한 제 1 포커스 렌즈(411)의 초점 위치 정보에 대응하는 초점 위치로 상기 제 1 포커스 렌즈(411)가 이동되도록 상기 제 1 포커스 렌즈 구동부(413)에 상기 제 1 제어신호를 출력한다.
이때, 상기 제 1 초점 위치 정보는 모든 배율 및 모든 피사체 거리에 대응되는 상기 제 1 포커스 렌즈(411)의 초점 위치 정보를 포함할 수 있다. 또한, 이와 다르게 상기 제 1 초점 위치 정보는 특정 포인트에 대한 배율이나 특정 포인트에 대한 피사체 거리에 대응하는 제 1 포커스 렌즈(411)의 초점 위치 정보를 포함할 수 있다. 이때, 상기 제어부(440)는 상기 촬영될 피사체와의 거리 및 현재 설정된 줌 배율에 대응하는 제 1 포커스 렌즈(411)의 초점 위치가 상기 제 1 초점 위치 정보에 포함된 경우, 이를 추출하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 제어할 수 있다. 또한, 상기 제어부(440)는 상기 촬영될 피사체와의 거리 및 현재 설정된 줌 배율에 대응하는 제 1 포커스 렌즈(411)의 초점 위치가 상기 제 1 초점 위치 정보에 미포함된 경우, 상기 제 1 초점 위치 정보를 토대로 현재 촬영 조건에 적용될 상기 제 1 포커스 렌즈(411)의 초점 위치를 계산할 수 있다.
즉, 상기 제 1 초점 위치 정보는 특정 샘플링 포인트에 대해 획득된 줌 위치 및 초점 위치에 대한 정보일 수 있으며, 상기 제어부(440)는 상기 샘플링 포인트를 제외한 나머지 포인트의 초점 위치는 보간법을 적용하여 계산할 수 있다. 이때, 상기 제어부(440)는 선형 보간법 (Linear Interpolation), 다항식 보간법 (Polynomial interpolation), 스플라인 보간법 (Spline Interpolation), 지수 보간법 (Exponential Interpolation), 로그_선형보간법 (Log_linear Interpolation), 라그랑지 보간법 (Lagrange Interpolation), 뉴튼 보간법 (Newton Interpolation) 및 2차원 보간법 (Bilinear Interpolation) 중 적어도 하나의 보간법을 적용하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 계산할 수 있다.
또한, 상기 제어부(440)는 상기 제 1 초점 위치 정보를 토대로 적용된 상기 제 1 포커스 렌즈(411)의 초점 위치의 정확도를 판단한다. 이를 위해, 제어부(440)는 상기 제 1 이미지 센서(415)를 통해 제 1 위상차 영상이 획득되도록 한다. 그리고, 제어부(440)는 상기 제 1 위상차 영상이 획득되면, 상기 제 1 위상차 영상을 토대로 상기 제 1 포커스 렌즈(411)의 현재 위치에 대응하는 제 1 위상 차이를 계산한다. 이때, 상기 제 1 포커스 렌즈(411)의 현재 위치가 베스트 초점 위치인 경우에의 상기 제 1 위상 차이는 0에 가까운 값을 가질 것이며, 초점이 맞지 않는 위치인 경우에의 상기 제 1 위상 차이는 0보다 크거나 작은 값을 가질 수 있다.
그리고, 상기 제어부(440)는 상기 제 1 위상 차이의 절대 값이 기설정된 임계 값보다 크면, 상기 제 3 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 재결정한다. 즉, 상기 제 1 위상 차이의 절대 값이 상기 임계 값보다 크다는 것은, 상기 제 1 초점 위치 정보가 부정확하다는 것을 의미하며, 이에 따라 상기 제어부(440)는 상기 제 3 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 위치를 베스트 위치로 재이동시킨다. 여기에서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 특성에 따라 결정될 수 있다. 다시 말해서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 MTF(Modulation Transfer Function)에 따라 결정될 수 있다.
상기 MTF는 곡선으로 표현될 수 있으며, 이는 렌즈 성능을 평가하는 척도의 하나로 피사체가 가지는 콘트라스트를 상면(빛이 비쳐지는 화면)에서 어느 정도 충실히 재현할 수 있는가를 공간 주파수 특성으로서 나타낸 것이다. 상기 MTF 곡선은 가로축이 렌즈 필드(화면 중심에서 가장 자리까지의 거리)를 나타내며, 세로축이 콘트라스트 값(최고값은 1)을 나타낼 수 있다. 그리고, 상기 MTF 곡선의 기울기가 크면, 초점 위치가 베스트 위치에서 조금만 틀어져도, 촬영 영상의 초점이 크게 맞지 않을 수 있다. 또한, 상기 MTF 곡선의 기울기가 작으면, 초점 위치가 베스트 위치를 기준으로 일정 범위 내에서 조금 틀어진다 하더라도, 상기 촬영 영상의 초점이 맞을 수 있다. 따라서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 성능을 나타내는 MTF 곡선을 가지고 설정할 수 있다. 즉, 상기 제 1 포커스 렌즈(411)의 성능이 좋지 않음에 따라 상기 MTF 곡선의 기울기가 큰 경우, 상기 임계 값은 0과 가까운 제 1 값으로 설정될 수 있다. 또한, 상기 제 1 포커스 렌즈(411)의 성능이 좋음에 따라 상기 MTF 곡선의 기울기가 작은 경우, 상기 임계 값은 상기 제 1 값보다 큰 제 2 값으로 설정될 수 있다.
한편, 상기 제 1 위상차가 상기 임계 값보다 크다는 것은 상기 제 1 초점 위치 정보의 정확도가 낮다는 것을 의미한다. 이는, 다양한 촬영 조건의 변경(피사체 위치 변경, 피사체 거리 변경, 줌 배율 변경 등)에 대해 제 1 카메라부(410)가 즉각적으로 반응하지 못함에 따라 발생할 수 있다. 또한, 이는 상기 제 1 포커스 렌즈(411)를 구동하는 제 1 포커스 렌즈 구동부(413)의 특성이 변경(예를 들어, 사용 횟수에 따른 힘이나 탄성력 변경)되어 초점 정확도가 저하되었기 때문이다.
한편, 상기 제어부(440)는 상기 제 2 이미지 센서(423)를 통해 제 2 위상차 영상이 획득되도록 한다. 그리고, 제어부(440)는 상기 제 2 위상차 영상이 획득되면, 상기 제 2 위상차 영상을 토대로 상기 제 2 포커스 렌즈(421)의 현재 위치에 대응하는 제 2 위상 차이를 계산한다. 이때, 상기 제 2 포커스 렌즈(421)의 현재 위치가 베스트 초점 위치인 경우에의 상기 제 2 위상 차이는 0에 가까운 값을 가질 것이며, 초점이 맞지 않는 위치인 경우에의 상기 제 2 위상 차이는 0보다 크거나 작은 값을 가질 수 있다.
이때, 상기 제 2 위상차 영상은 상기 제 2 이미지 센서(423)를 구성하는 픽셀 중 특정 픽셀에 배치된 위상 검출 센서를 통해 획득될 수 있다.
그리고, 상기 제어부(440)는 상기 제 2 위상 차이가 검출되면, 상기 저장부(430)에 저장된 제 2 초점 위치 정보를 토대로 상기 제 2 위상 차이에 대응하는 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정하고, 상기 결정된 초점 이동 위치로 상기 제 2 포커스 렌즈(421)가 이동되도록 한다.
이때, 상기와 같이 제 1 및 2 이미지 센서(415, 423)는 각각 상기 제 1 및 2 위상차 영상을 획득한다. 이때, 상기 제 1 및 2 위상차 영상을 획득하는 방법에 대해 먼저 설명하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 위상 검출 센서를 구성하는 이미지 센서의 위상차 검출 픽셀을 간략히 도시한 도면이고, 도 8은 도 7의 위상차 검출 픽셀이 배열되는 일 실시예를 나타낸 도면이며, 도 9는 도 8의 위상차 검출 픽셀의 제1 광량 분포와 제2 광량 분포를 기초로 상기 제 3 제어 신호가 생성되는 동작을 설명하기 위한 도면이다.
도 7 내지 도 9를 참조하면, 제 1 이미지 센서(415) 또는 제 2 이미지 센서(423)에 구비되는 위상차 검출 픽셀(500)은 마이크로 렌즈(510), 컬러 필터(520), 포토 다이오드(530) 및 차광층(540) 중 적어도 하나를 포함할 수 있다. 즉, 상기 제 1 이미지 센서(415) 또는 제 2 이미지 센서(423)는 상기와 같이 위상차 영상을 획득하기 위한 위상차 검출 픽셀(500)과, 상기 위상차 검출 픽셀 이외의 위상차의 검출에는 사용되지 않는 통상 픽셀(즉, 촬영 영상을 획득하기 위한 픽셀)을 포함한다.
마이크로 렌즈(510)는 위상차 검출 픽셀(500)의 상부에 배치되며, 집광력(light gathering power)을 높일 수 있다.
컬러 필터(530)는 마이크로 렌즈(520)의 하부에 배치되며, 특정 파장의 광(예컨대, 레드(Red), 그린(Green), 블루(Blue), 마젠타(Magenta), 옐로우(Yellow), 사이언(Cyan))을 선택적으로 투과시킬 수 있다.
포토 다이오드(530)는 마이크로 렌즈(510)를 통과한 입사광의 세기에 따라 생성된 광전하를 축적할 수 있다. 포토 다이오드(530)에 축적된 광전하는 구동 회로 및 리드아웃 회로에 의해 전기 신호로 변환되어 위상차 검출 픽셀(500)의 픽셀 신호로서 제어부(440)에 전달될 수 있다.
차광층(540)은 마이크로 렌즈(510)에 대응하는 수광 영역의 적어도 일부로 입사되는 광을 차단할 수 있다. 예를 들어, 차광층(540)은 수광 영역의 절반에 해당하는 영역으로 입사되는 광을 차단할 수 있다.
도 7에 도시된 바와 같이, 차광층(540)은 위상차 검출 픽셀(500)의 우측에 배치되어 수광 영역의 좌측으로 입사되는 광(L1)은 통과시키고 수광 영역의 우측으로 입사되는 광(L2)은 차단할 수 있다.
도 8을 참조하면, 픽셀 어레이의 일부가 도시되어 있으며, 수광 영역의 우측에 차광층(540)이 배치된 픽셀을 제 1 픽셀이라 정의하고 수광 영역의 좌측에 차광층(540)이 배치된 픽셀을 제2 픽셀이라 정의하기로 한다. 제1 픽셀과 제2 픽셀은 픽셀 어레이의 서로 다른 행(row)에 배치될 수 있다. 도 8에서와 같이 제1 픽셀과 제2 픽셀 사이에 하나의 행이 배치될 수 있으나, 본 발명의 범위는 이에 한정되지 않고 제1 픽셀과 제2 픽셀이 연속적으로 배치되거나 제1 픽셀과 제2 픽셀 사이에 복수의 행이 배치될 수도 있다.
제1 픽셀에는 동일한 행에 배치된 1번 픽셀 내지 9번 픽셀이 포함될 수 있고, 제2 픽셀에도 동일한 행에 배치된 1번 픽셀 내지 9번 픽셀이 포함될 수 있다.
제1 픽셀의 k(k는 1이상 9이하의 정수)번 픽셀은 제2 픽셀의 k번 픽셀과 동일한 열(column)에 배치될 수 있다. 제1 픽셀의 1번 픽셀 내지 9번 픽셀 및 제2 픽셀의 1번 픽셀 내지 9번 픽셀은 연속적으로 배치될 수 있다. 다른 실시예에 따라, 일정한 또는 일정하지 않은 간격을 두고 배치될 수 있다. 이때, 이미지 데이터를 생성하기 위한 픽셀들 사이에 제1 픽셀 및 제2 픽셀이 배치될 수 있다.
결론적으로, 위상 차이 자동 초점은, 촬영 영상의 초점 상태에 따라 광의 결상의 위치가 달라지는 것을 토대로 수행된다. 즉, 초점이 맞지 않는 경우는 위상이 어긋나고, 초점이 맞는 경우는 위상이 맞는다. 예를 들어, 베스트 초점 위치를 기준으로 현재 초점 위치가 앞쪽에 있을 경우, 상기 제1 픽셀을 통해 획득되는 영상은 초점이 맞는(위상이 0인) 기준 영상의 위상보다 오른쪽으로 시프트되고, 제 2 픽셀을 통해 획득되는 영상은 기준 영상의 위상보다 왼쪽으로 시프트된다. 여기에서, 제1 픽셀 및 제2 픽셀 각각이 9개씩의 픽셀을 포함하는 것은 하나의 예시에 불과하며, 그 이하 또는 그 이상의 픽셀을 포함하는 것도 가능하다.
도 9를 참조하면, 제 1 포커스 렌즈(411) 또는 제 2 포커스 렌즈(421)를 통과한 광은 위상차 검출 픽셀(500)이 배치된 픽셀 어레이를 기준으로 임의의 위치에 초점이 맞춰질 수 있다. 도 9에는 초점이 포커스1 내지 포커스3에 맞춰지는 경우가 예시되어 있고, 포커스2에 픽셀 어레이가 위치하여 초점이 포커스2에 맞춰지는 경우 초점이 맞춰진 정상 초점 거리라 가정하기로 한다.
포커스1은 픽셀 어레이의 앞에 초점이 맞춰진 경우(즉, 초점거리가 긴 경우)를 의미하고, 포커스3은 픽셀 어레이의 뒤에 초점이 맞춰진 경우(즉, 초점거리가 짧은 경우)를 의미할 수 있다.
상기 제 1 포커스 렌즈(411) 또는 제 2 포커스 렌즈(421)를 통과한 광은 픽셀 어레이에 배치된 제1 픽셀과 제2 픽셀로 입사될 수 있다. 제 1 포커스 렌즈(411) 또는 제 2 포커스 렌즈(421)의 광축에 대해 좌측을 통과한 광은 차광층(540)이 우측에 구비된 제1 픽셀로 유도되고, 우측을 통과한 광은 차광층(540)이 좌측에 구비된 제2 픽셀로 유도될 수 있다.
도 9의 우측에는 초점이 맞춰지는 포커스에 따라 제1 픽셀 및 제2 픽셀에 나타나는 광량 분포가 도시되어 있다. 제1 픽셀에 나타나는 광량 분포를 제1 광량 분포라 정의하고, 제2 픽셀에 나타나는 광량 분포를 제2 광량 분포라 정의하기로 한다. 제1 광량 분포 또는 제2 광량 분포는 제1 픽셀 또는 제2 픽셀에 포함되는 9개의 픽셀이 출력하는 픽셀 신호의 집합을 의미하거나, 제어부(440)가 상기 픽셀 신호를 보간(interpolation)하여 얻어진 연속적인 데이터를 의미할 수 있다.
그리고, 제1 광량 분포 및 제2 광량 분포가 포함된 그래프의 X축은 픽셀의 위치 즉, 픽셀의 번호를 나타내고, Y축은 해당 픽셀에서 감지된 광량의 크기를 나타낸다.
먼저 포커스2에 초점이 맞춰질 경우, 제1 광량 분포(730)와 제2 광량 분포(740)는 동일한 형상을 가지고 상기 형상의 중심(예를 들어, 변곡점의 픽셀 위치)은 각각 5번 픽셀로 동일한 위치를 가질 수 있다. 여기서, 상기 형상의 중심의 위치는 위상을 결정하므로, 포커스2에 초점이 맞춰질 경우, 제1 광량 분포(730)와 제2 광량 분포(740)는 서로 위상이 맞을 수 있다. 또한, 동일한 형상이라 함은 완전히 물리적으로 일치하는 형상뿐 아니라, 일정 범위 이상의 유사성을 갖는 형상을 포함하는 개념일 수 있다.
포커스1에 초점이 맞춰질 경우, 제1 광량 분포(710)와 제2 광량 분포(720)는 동일한 형상을 가지나 상기 형상의 중심은 각각 3번 픽셀과 7번 픽셀로 서로 다른 위치를 가질 수 있다. 여기서, 상기 형상의 중심의 위치는 위상을 결정하므로, 포커스1에 초점이 맞춰질 경우, 제1 광량 분포(710)와 제2 광량 분포(720)는 서로 위상이 어긋나 있다. 이때, 포커스1은 초점거리가 피사체보다 긴 경우를 의미하며, 제1 광량 분포(710)의 위상이 중심 픽셀(즉, 5번 픽셀)을 기준으로 좌측으로 치우치고, 제2 광량 분포(720)의 위상이 중심 픽셀을 기준으로 우측으로 치우치게 된다. 또한, 제1 광량 분포(710)와 제2 광량 분포(720)의 중심이 서로 어긋나 있는 정도인 위상차(4개 픽셀)는 정상 초점 거리로부터 얼마나 초점거리가 어긋나 있는지 즉, 얼마나 초점거리가 조정되어야 하는지를 나타낼 수 있다.
포커스3에 초점이 맞춰질 경우, 제1 광량 분포(750)와 제2 광량 분포(760)는 동일한 형상을 가지나 상기 형상의 중심은 각각 7번 픽셀과 3번 픽셀로 서로 다른 위치를 가질 수 있다. 여기서, 상기 형상의 중심의 위치는 위상을 결정하므로, 포커스3에 초점이 맞춰질 경우, 제1 광량 분포(750)와 제2 광량 분포(760)는 서로 위상이 어긋나 있다. 이때, 포커스3은 초점거리가 피사체보다 짧은 경우를 의미하며, 제1 광량 분포(750)의 위상이 중심 픽셀(즉, 5번 픽셀)을 기준으로 우측으로 치우치고, 제2 광량 분포(760)의 위상이 중심 픽셀을 기준으로 좌측으로 치우치게 된다. 또한, 제1 광량 분포(750)와 제2 광량 분포(760)의 중심이 서로 어긋나 있는 정도인 위상차(4개 픽셀)는 정상 초점 거리로부터 얼마나 초점거리가 어긋나 있는지 즉, 얼마나 초점거리가 조정되어야 하는지를 나타낼 수 있다.
따라서, 제어부(440)는 제1 광량 분포와 제2 광량 분포를 기초로 제1 광량 분포와 제2 광량 분포간의 위상차를 검출하고, 검출된 위상차를 기초로 자동 초점을 위한 제어신호를 생성할 수 있다. 즉, 상기 제어부(440)는 상기 제 2 위상 차이를 토대로 상기 제 2 포커스 렌즈(421)의 초점 위치 이동을 위한 제 2 제어신호를 생성할 수 있다.
실시 예에 따라, 제어부(440)는 제1 광량 분포의 중심에 해당하는 픽셀 번호로부터 제2 광량 분포의 중심에 해당하는 픽셀 번호를 감산하고, 감산 결과를 이용하여 상기 제 2 제어신호를 생성할 수 있다. 여기서, 감산 결과의 부호는 초점 거리를 가변하는 방향을 결정할 수 있고, 감산 결과의 절대값은 초점 거리를 가변하는 정도를 결정할 수 있다. 여기에서, 상기 픽셀 번호의 감산 결과는 위상차이 있을 수 있다.
예를 들어, 포커스 1에 초점이 맞춰진 경우 감산 결과는 -4가 된다. 그리고, 제어부(440)는 상기 감산 결과의 부호가 (-)이므로 4만큼 초점거리를 감소시키도록 제어하는 제어신호를 출력할 수 있다.
본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 발명에 따른 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.
이하에서는 첨부된 도면을 참조하여, 본 발명의 실시 예에 따른 제 1 포커스 렌즈(411)의 초점 위치 및 제 2 포커스 렌즈(421)의 초점 위치를 이동시키는 동작에 대해 구체적으로 설명하기로 한다.
도 10은 본 발명의 실시 예에 따른 카메라 모듈의 동작 방법의 전체적인 흐름을 나타낸 흐름도이다.
도 10의 설명에 앞서, 카메라 모듈을 포함하는 광학기기에는, 다양한 촬영 환경에 맞는 영상을 획득하도록 듀얼 카메라 모듈이 구비될 수 있다. 바람직하게, 광학기기에 구비된 카메라 모듈은 줌 카메라를 포함할 수 있다. 이때, 줌 카메라를 포함하는 카메라 모듈에는, 고정 줌 배율을 토대로 고해상도 및 고성능을 가지는 메인 카메라가 추가로 장착될 수 있다. 그리고, 상기 메인 카메라에는 고해상도 및 고성능 구현을 위해 신뢰도가 높은 이미지 센서가 장착될 수 있다. 또한, 상기 줌 카메라는 상기 메인 카메라 대비 고해상도 및 고성능이 요구되지 않으며, 이에 따라 상기 메인 카메라의 이미지 센서 대비 낮은 신뢰도를 갖는 이미지 센서가 장착될 수 있다. 여기에서, 상기 신뢰도는 상기 이미지 센서가 가지는 위상 차이 검출에 대한 정확도를 의미할 수 있다. 또한, 이와 다르게 상기 신뢰도는 상기 이미지 센서를 통해 수행되는 자동 초점 기능의 정확도를 의미할 수 있다. 상기 신뢰도는 상기 이미지 센서 내에 포함된 포토 다이오드(PD)의 배열 상태나 배열 수 등에 의해 결정될 수 있다. 한편, 상기에서는 상기 카메라 모듈을 구성하는 제 1 카메라부(410) 및 제 2 카메라부(420)가 서로 다른 구조의 카메라인 것으로 예시하였으나, 이는 일 실시 불과하며, 상기 제 1 및 2 카메라부의 구조가 서로 동일할 수도 있을 것이다.
한편, 상기 카메라 모듈이 고정된 위치에 존재하는 피사체를 촬영하거나, 상기 카메라 모듈이 고정된 위치에 있거나, 상기 카메라 모듈의 줌 배율이 고정된 상태에서는 상기 제 1 카메라부(410)의 초점 위치에 크게 문제가 발생하지 않는다.
그러나, 피사체의 거리가 계속 변화하거나, 줌 배율이 계속 변화하거나, 상기 카메라 모듈의 위치가 변화하는 경우(카메라 모듈을 소지한 사용자가 움직이는 경우)에는 상기 제 1 카메라부(410)의 초점 위치에 문제가 발생할 수 있다. 다시 말해서, 상기와 같은 상황에서 상기 제 1 카메라부(410) 자체의 성능만으로 자동 초점 기능을 구현하는 경우, 초점 위치의 정확도가 떨어질뿐 아니라, 정확한 초점 위치로 가기까지의 시간이 오래 걸리는 문제가 있다. 이에 따라, 동영상과 같은 연속적인 프레임을 촬영하는 상황에서는 상기 제 1 카메라부(410)만으로 상기 제 1 카메라부(410)를 통해 촬영되는 제 1 영상의 초점을 정확히 맞추기 힘든 문제가 있다.
따라서, 본 발명에서는 상기와 같은 상황을 고려하여, 상기 제 1 카메라부(410)와 제 2 카메라부(420)의 각각의 초점 위치에 대한 정보를 매칭시켜 저장부(430)에 저장해놓고, 추후 상기 저장된 정보를 활용하여 상기 제 1 카메라부(410)의 자동 초점 기능이 구현될 수 있도록 한다.
한편, 상기 제 1 카메라부(410)의 제 1 포커스 렌즈(411)의 특성과 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 특성은 서로 다르다. 또한, 상기 제 1 포커스 렌즈(411)를 구동하는 제 1 포커스 렌즈 구동부(413)의 특성과 상기 제 2 포커스 렌즈(421)를 구동하는 제 2 포커스 렌즈 구동부(422)의 특성도 다르다. 즉, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)가 서로 동일한 구조의 렌즈라고 하더라도, 설치 위치나 설치 환경에 따라 상기 특성이 변경될 수 있으며, 이의 구동 조건 또한 서로 다를 수 있다. 여기에서, 상기 특성은 VCM 특성이나 렌즈 이동 스트로크 등을 포함할 수 있다.
이에 따라, 상기 제 2 포커스 렌즈(421)의 초점 위치를 활용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하기 위해서는, 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421) 간의 상호 매칭 작업이 필요하다.
이를 위해, 카메라 모듈에서는 상기 매칭 조건을 제 1 카메라부(410)의 줌 배율별로 구분하고, 상기 구분한 줌 배율별로 상기 제 1 카메라부(410)의 피사체 거리에 따른 제 1 포커스 렌즈(411)의 초점 위치 정보와, 제 2 포커스 렌즈(421)의 초점 위치 정보를 상호 매칭시킨다(100단계).
즉, 상기 제 1 카메라부(410)의 특정 줌 배율에서, 동일한 피사체를 상기 제 1 카메라부(410) 및 제 2 카메라부(420)에서 각각 촬영하는 경우, 상기 피사체의 촬영을 위한 제 1 포커스 렌즈(411)의 초점 위치와, 상기 제 2 포커스 렌즈(421)의 초점 위치를 각각 상호 매칭시킨다.
이때, 상기 매칭은, 상기 제 1 카메라부(410)의 줌 배율별로 구분되어 각각 진행될 수 있다.
상기 초점 위치가 각각 매칭되면, 상기 카메라 모듈은 상기 매칭된 각각의 초점 위치에서, 상기 제 2 카메라부(420)를 통해 촬영되는 제 2 영상과 기준 영상과의 위상차를 토대로 상기 제 2 포커스 렌즈(421)를 베스트 초점 위치로 이동시키기 위한 제 2 초점 위치 정보를 획득 및 저장한다(200단계).
다시 말해서, 상기 제 2 카메라부(420)의 PDAF를 위하여, 상기 제 2 영상의 위상차에 따른 제 2 포커스 렌즈(421)의 초점 위치를 나타내는 제 2 초점 위치 정보를 획득 및 저장한다.
다음으로, 카메라 모듈은 변환 테이블을 이용하여 상기 제 2 포커스 렌즈(421)의 초점 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 위치를 나타내는 제 3 초점 위치 정보를 획득 및 저장한다(300단계).
즉, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)는 스트로크나 VCM 특성이 다르며, 동일 조건에서도 초점 위치가 상호 상이할 수 있다. 따라서, 상기 제 2 초점 위치 정보를 토대로, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 상기 제 1 포커스 렌즈(411)의 초점 이동 위치로 변환한 상기 제 3 초점 위치 정보를 획득 및 저장한다. 이를 위해, 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421)의 상호 관계 정보를 포함하는 변환 테이블을 미리 획득할 수 있다.
다음으로, 피사체의 거리에 따른 제 1 카메라부(410)의 줌 렌즈(412)의 줌 위치 및 상기 제 1 포커스 렌즈(411)의 초점 위치에 대한 정보를 포함한 제 1 초점 위치 정보를 저장한다(400단계).
상기 제 1 초점 위치 정보는 일반적으로 트레이스 커브(Trace curve)라고도 하며, 피사체와의 거리에 따라 각각 구분된 복수의 커브를 포함하고, 상기 커브의 X축은 제 1 포커스 렌즈(411)의 위치를 나타내고, Y축은 줌 렌즈(412)의 위치를 나타낸다.
다음으로, 카메라 모듈은 상기 제 1 카메라부(410)의 자동 초점 기능 구현 시, 상기 제 1 초점 위치 정보를 적용하여 우선적으로 상기 제 1 포커스 렌즈(411)를 이동시킨다. 그리고, 카메라 모듈은 상기 이동된 위치에서 초점이 정확히 맞았는지에 대한 초점 정확도를 판단한다. 그리고, 카메라 모듈은 상기 초점 정확도가 낮으면, 상기 제 3 초점 위치 정보를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하고, 상기 결정된 초점 이동 위치로 상기 제 1 포커스 렌즈(411)를 재이동시킨다(500단계).
이하에서는, 상기 각각의 단계(100단계, 200단계, 300단계, 400단계 및 500단계)를 보다 구체적으로 설명한다.
도 11은 본 발명의 실시 예에 따른 위치 정보 매칭 방법을 단계별로 나타낸 흐름도이고, 도 12는 본 발명의 실시 예에 따라 모델링된 제 1 카메라부의 위치 정보를 나타낸 도면이며, 도 13은 본 발명의 실시 예에 따라 모델링된 제 2 카메라부의 위치 정보를 나타낸 도면이고, 도 14는 본 발명의 실시 예에 따라 제 1 및 2 카메라부의 위치 정보를 매칭시키는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 상기 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)의 상호 초점 위치를 매칭시키기 위하여, 먼저 매칭할 줌 배율 수(M)를 결정한다(101단계). 즉 상기 제 1 카메라부(410)의 줌 렌즈(412)의 모든 배율에 대해 상기와 같은 매칭 작업을 모두 하려면 상당히 많은 시간이 필요하다. 따라서, 상기 모든 배율 중 일부 줌 배율에 대해서만 상기 매칭 작업을 하고, 나머지 다른 줌 배율에 대해서는 상기 매칭된 정보를 토대로 보간할 수 있다. 상기 줌 배율 수가 결정되면, 상기 결정된 줌 배율 수에 맞게 상기 줌 렌즈(412)의 전체 배율을 나눌 수 있다. 예를 들어, 상기 줌 배율 수가 4개로 결정된 경우, 상기 매칭 작업은 상기 결정된 4개의 줌 배율에 대해서만 진행될 수 있으며, 그 이외의 줌 배율에 대한 매칭 작업은 보간을 통해 진행될 수 있다.
이후, 상기 결정된 줌 배율 수(M)를 토대로 현재 적용할 상기 줌 렌즈(412)의 줌 배율을 결정한다(102단계). 즉, 최초에 상기 결정되는 줌 배율(m)은 1일 수 있다. 따라서, 상기 결정되는 줌 배율은, 상기 줌 배율 수를 토대로 나뉜 복수의 줌 배율 중 첫 번째(예를 들어, 가장 낮은 또는 높은 줌 배율) 줌 배율일 수 있다.이하에서는 상기 결정된 줌 배율을 '제 1 줌 배율'이라고 한다.
상기 줌 배율이 결정되면, 상기 결정된 줌 배율에 대한 매칭 작업을 진행한다.
이를 위해, 상기 결정된 제 1 줌 배율에 대해서, 피사체의 거리별로 상기 제 1 포커스 렌즈(411)의 초점 위치에 대한 정보를 획득한다(103단계). 이때, 상기 제 1 포커스 렌즈(411)의 초점 위치는 피사체 거리의 전체 범위 내에서 특정 포인트에 대해서만 진행될 수 있다.
다음으로, 상기 단계(103단계)에서 획득한 정보를 이용하여, 상기 제 1 줌 배율에 대한 제 1 포커스 렌즈(411)의 초점 위치 정보를 모델링한다(104단계). 즉 상기 초점 위치 정보는 특정 포인트에서만 획득될 수 있으며, 이에 따라 상기 특정 포인트에서 획득된 정보를 이용하여 그 이외의 나머지 포인트에 대한 데이터를 보간하여 획득한다.
이후, 상기 현재 결정된 줌 배율에 대한 모델링이 완료되면, 상기 결정된 줌 배율 수에 대응하는 모든 줌 배율에 대한 모델링이 완료되었는지 여부를 판단한다(105단계). 즉, 상기 모델링한 줌 배율(n)이 상기 결정된 줌 배율 수(M)와 동일한지를 판단한다. 예를 들어, 상기 줌 배율 수(M)가 4인 경우, 상기 모델링한 줌 배율(n)이 4번째 줌 배율인지 여부를 판단한다.
그리고, 상기 판단결과 상기 모든 줌 배율에 대해 모델링이 완료되지 않았다면, 다음번째 줌 배율에 대한 모델링을 진행한다. 이를 위해, 모델링할 줌 배율(n)을 결정할 수 있다(106단계). 즉, 상기 결정되는 줌 배율(n)은 이전에 모델링한 줌 배율의 다음번째 줌 배율(이전 줌 배율 n+1)일 수 있다.
한편, 상기 줌 배율별로 상기 제 1 카메라부(410)의 제 1 포커스 렌즈(411)에 대한 위치 정보의 모델링 작업과 함께 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)에 대한 모델링 작업을 진행할 수 있다.
즉, 도 12를 참조하면, 상기 모델링 작업은 상기 결정된 줌 배율 수(M)에 따라 각각 진행될 수 있다.
이에 따라, 상기 모델링 후의 최종 정보는 상기 줌 배율 수에 대응되게 M개 존재할 수 있다.
여기에서 상기 모델링은, 피사체 거리에 따라 상기 제 1 포커스 렌즈(411)의 초점 위치를 나타내는 그래프로 표현될 수 있다.
그리고, 상기 줌 배율에 따라 구분되는 그래프는 서로 상이한 곡선을 가질 수 있다.
한편, 상기 제 2 카메라부(420)는 고정된 줌 배율을 가진다. 따라서, 상기 제2 카메라부(420)에 대해서는 줌 배율별로 구분되지 않고, 하나의 특정 줌 배율에 대해서만 피사체의 거리에 대응하는 제 2 포커스 렌즈(421)의 위치 정보가 획득될 수 있다(107단계). 그리고, 상기 제 2 포커스 렌즈(421)의 위치 정보도 모든 피사체 거리에 대응하게 획득되는 것이 아니라, 특정 포인트에 대해서만 획득될 수 있다.
따라서, 상기 획득된 특정 포인트에 대한 상기 제 2 포커스 렌즈(421)의 위치 정보를 이용하여 그 이외의 포인트에 대한 위치 정보를 획득하는 모델링 과정을 진행할 수 있다(108단계).
즉, 도 13을 참조하면, 제 2 카메라부(420)의 모델링 작업은 고정된 특정 줌 배율에 대해서만 진행될 수 있다. 이에 따라, 상기 제 2 카메라부의 모델링 후의 최종 정보는 1개만이 존재할 수 있다. 여기에서 상기 제 2 카메라부(420)의 모델링은, 피사체 거리에 따라 상기 제 2 포커스 렌즈(421)의 초점 위치를 나타내는 그래프로 표현될 수 있다.
이후, 상기 획득한 제 1 포커스 렌즈(411)의 위치 정보와, 상기 제 2 포커스 렌즈(421)의 위치 정보를 상호 매칭한다(109단계). 이때, 상기 매칭은 상기 제 1 카메라부(410)의 모델링 시에 구분된 줌 배율별로 각각 진행될 수 있다.
다시 말해서, 상기 줌 배율 수(M)가 4라면, 제 1 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링하고, 제 2 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링하고, 제 3 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링하고, 제 4 줌 배율에서 모델링된 제 1 포커스 렌즈(411)의 위치 정보와 상기 제 2 포커스 렌즈(421)의 위치 정보를 모델링한다.
이때, 상기 매칭은 피사체 거리를 기준으로 특정 포인트에 대해서만 매칭을 진행할 수 있다.
즉, 도 14를 참조하면, 전체 피사체 거리 범위 내에서, 9개의 포인트(P1, P2, P3, P4, P5, P6, P7, P8, P9)가 설정될 수 있으며, 상기 9개의 포인트 각각에 대해서 제 1 포커스 렌즈(411)의 위치 정보와 제 2 포커스 렌즈(421)의 위치 정보를 상호 매칭시킨다. 다시 말해서, 제 1 줌 비율에서 피사체 거리가 A일 경우, 제 1 포커스 렌즈(411)의 초점 위치는 B이고, 제 2 포커스 렌즈(421)의 초점 위치는 C라는 상호 관계에 대한 매칭을 진행할 수 있다.
또한, 상기 특정 포인트에 대해서만 매칭이 진행된 경우, 그 이외의 나머지 포인트에 대해서는 상기 매칭된 정보를 토대로 보간하여 진행할 수 있다.
한편, 상기와 같이 제 1 카메라부(410)의 줌 배율별로 매칭된 매칭 정보는 상기 저장부(430)에 우선 저장될 수 있다.
도 15는 본 발명의 실시 예에 따라 제 2 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이고, 도 16은 본 발명의 실시 예에 따라 획득된 제 2 초점 위치 정보의 일 예를 나타낸 도면이다.
상기와 같이, 매칭 작업이 완료되면, 상기 매칭된 정보를 가지고 각각의 매칭 포인트에 대한 제 2 카메라부(420)의 초점 위치 정보를 획득한다. 다시 말해서, 상기 매칭 포인트 별로 상기 제 2 카메라부(420)에서 촬영되는 제 2 영상과 기준 영상과의 위상차를 확인하고, 상기 위상차에 따라 상기 제 2 포커스 렌즈(421)의 초점 위치를 베스트 위치로 이동시키기 위한 제 2 초점 위치 정보를 획득한다.
상기 제 2 초점 위치 정보의 획득은 상기 매칭 포인트별로 진행된다. 이때, 상기 매칭은 상기 제 1 카메라부(410)의 줌 배율별로 구분되어 진행되었기 때문에, 상기 제 2 초점 위치 정보의 획득도 상기 줌 배율별로 각각 구분되어 진행될 수 있다.
이를 위해, 먼저 제 1 카메라부(410)의 줌 배율 수(M)를 결정한다(201단계).
이후, 현재 적용할 줌 배율(m)을 결정한다(202단계). 즉, 초기 동작 시에는 상기 결정된 줌 배율 수에 의해 나뉜 줌 배율 중 첫 번째의 줌 배율을 현재 적용할 줌 배율로 결정할 수 있다. 즉, 상기 현재 적용할 줌 배율(m)을 1로 설정하여, 첫 번째 줌 배율에 대한 제 2 초점 위치 정보 획득 과정을 진행한다.
또한, 상기 제 2 초점 위치 정보는 상기 결정된 줌 배율 내에서, 모든 매칭 포인트에 대해 획득되는 것이 아니라, 복수의 일부 포인트에 대해서만 획득될 수 있다. 따라서, 상기 제 2 초점 위치 정보가 획득될 포인트를 설정한다. 즉, 상기 제 1 포커스 렌즈(411)의 이동 수(N)를 설정한다(203단계). 상기 제 1 포커스 렌즈(411)의 이동 수(N)는 상기 포인트의 수일 수 있다.
다음으로, 상기 포인트가 설정되면, 상기 제 2 초점 위치 정보를 획득할 특정 포인트를 결정한다(204단계). 즉, 처음에는 상기 복수의 포인트 중 첫 번째 포인트(예를 들어, n=1)에 대한 상기 제 2 초점 위치 정보 획득 과정을 진행할 수 있다.
이를 위해, 상기 매칭 정보를 이용하여 상기 결정된 특정 포인트에서의 제 1 포커스 렌즈(411)의 초점 위치로 상기 제 1 포커스 렌즈(411)를 이동시킨다(205단계).
다음으로, 상기 이동된 제 1 포커스 렌즈(411)의 위치에 매칭된 제 2 포커스 렌즈(421)의 위치로 상기 제 2 포커스 렌즈(421)를 이동시킨다(206단계).
상기 제 2 포커스 렌즈(421)가 이동되면, 상기 이동된 위치에서의 제 2 카메라부(420)의 초점은 맞은 상태일 수 있고, 맞지 않은 상태일 수 있다.
이에 따라, 상기 제 2 카메라부(420)는 상기 제 2 포커스 렌즈(421)가 이동된 상태에서 제 2 영상을 획득한다(207단계). 이때, 상기 제 2 영상의 초점이 맞은 경우에는 기준 영상과의 위상차가 없을 것이고(즉, 제 2 영상의 위상차가 0), 그렇지 않은 경우에는 일정 위상차가 발생할 것이다.
그리고, 상기 제 2 영상이 획득되면, 상기 획득한 제 2 영상에 대한 위상차를 계산한다(208단계). 상기 제 2영상의 위상차는 위상이 0인 기준 영상과의 차이일 수 있다.
다음으로, 상기 설정된 모든 포인트에 대해 위상차가 확인되었는지 여부를 판단한다(209단계).
상기 판단 결과, 모든 포인트에 대한 위상차가 확인되지 않았으면, 다음 포인트로 이동하여, 상기 이동한 다음 포인트에서 제 2 카메라부(420)를 획득되는 제 2 영상의 위상차를 계산한다(210단계).
그리고, 상기 모든 포인트에 대한 제2 영상의 위상차가 계산되면, 상기 제 2 위상차들을 연결하여, 이에 대응하는 기울기를 계산한다(211단계). 그리고, 상기 기울기가 계산되면 상기 계산된 기울기를 저장하며, 상기 저장되는 기울기가 상기 제 2 포커스 렌즈(421)의 초점 위치 이동을 위한 제 2 초점 위치 정보가 된다.
다시 말해서, 상기 제 2 영상의 초점이 맞았을 경우, 이에 대한 디포커스량은 0이 된다. 이에 따라, 상기 제 2 초점 위치 정보는 상기 각각의 위상차로부터 검출된 디포커스량을 0으로 하기 위한 상기 제 2 포커스 렌즈(421)의 초점 위치 정보일 수 있다.
상기 제 2 초점 위치 정보는 도 16과 같을 수 있다.
도 16을 참조하여, 제 2 초점 위치 정보에 대해 설명한다. 상기 제 2 초점 위치 정보는 제 2 영상의 위상차에 대한 제 2 포커스 렌즈(421)의 초점 위치에 대한 정보를 포함한다. 이때, 상기 제 2 포커스 렌즈(421)의 초점 위치는 디포커스량을 의미할 수 있다. 여기에서, 상기 디포커스량은 초점의 어긋난 정도를 의미하는 수치이지만, 자동 초점 기능에서는 현재의 제 2 포커스 렌즈(421)의 초점 위치로부터 베스트 초점 위치까지 얼마만큼 떨어져 있는지를 나타내는 물리량으로 이용될 수 있다. 즉, 도 16에서, 상기 제 2 포커스 렌즈(421)의 위치라고 표현된 디포커스량은 현재의 제 2 포커스 렌즈(421)의 초점 위치로부터 베스트 위치까지의 거리 및 방향을 나타낼 수 있다. 여기에서, 상기 제 2 포커스 렌즈(421)의 초점 위치의 이동량이 ㎛ 단위로 표현되면, 상기 디포커스량의 단위도 ㎛ 단위일 수 있다.
즉, 도 16에서의 X 축은 제 2 포커스 렌즈(421)의 위치를 나타낼 수 있고, Y축은 제 2 영상의 위상차를 나타낼 수 있다. 이때, 상기 X축은 실질적으로 디포커스량을 의미할 수 있다. 이때, 위상차와 디포커스량은, 이상적으로는 선형의 관계를 가진다. 따라서, 상기와 같이 복수의 포인트에서 획득된 위상차를 가지고 상기 선형의 관계를 가지는 직선의 기울기를 계산할 수 있다. 이때, 상기 위상차를, 디포커스량으로 변환(환산)하는 계수를, 환산계수라고도 하며, 상기 디포커스량은 다음의 식 1에 의해 구할 수 있다.
[식 1]
디포커스량[㎛]=위상차[화소수]×환산계수(a)[㎛/화소수]
여기에서, 상기 위상차와 디포커스량과의 관계는 이상적으로는, 직선으로 표시된다. 이에 따라, 상기 X축을 디포커스량 또는 제 2 포커스 렌즈(421)의 위치라고 하고, Y축을 위상차라고 했을 경우, 2차원 평면에서의 상기 환산 계수는 직선으로 표시되는 환산 특성의 기울기를 나타낸다.
예를 들어, 상기 제 2 영상의 위상차가 A이고, 이에 따른 상기 기울기를 토대로 계산된 P 지점에서의 초점 위치가 B이며, 베스트 위치가 C인 경우, 상기 제 2 초점 위치 정보는, 상기 A에 대응하는 위상차에서는, B에서 C까지의 거리에 대응하는 이동량을 가지고 상기 제 2 포커스 렌즈가 이동되어야 정확한 초점이 맞게 된다.
상기와 같은 위상차를 이용하여 초점 위치를 베스트 위치로 이동시키기 위한 정보를 획득하는 것은 일반적인 PDAF 기능이며, 이에 따라 이에 대한 상세한 설명은 생략하기로 한다.
상기와 같이, 특정 줌 배율에 대한 제 2 초점 위치 정보가 획득되면, 모든 줌 배율에 대해서 상기 제 2 초점 위치 정보가 획득되었는지 여부를 판단한다(212단계).
그리고, 상기 모든 줌 배율에 대해 상기 제 2 초점 위치 정보가 획득되지 않았다면, 다음번째 줌 배율(m+1)을 설정하고, 상기 설정한 다음번째 줌 배율에 대한 상기 제 2 초점 위치 정보 획득 과정을 계속 진행한다(213단계).
도 17은 본 발명의 실시 예에 따른 제 3 초점 위치 정보의 저장 방법을 단계별로 나타낸 흐름도이고, 도 18은 본 발명의 실시 예에 따라 획득된 제 3 초점 위치 정보의 일 예를 나타낸 도면이다.
이때, 상기 매칭 포인트에서의 제 2 포커스 렌즈(421)의 초점 위치에 대응하는 제 2 초점 위치 정보는, 상기 제 1 포커스 렌즈(411)의 제어 정보로 바로 활용이 불가능하다. 이는, 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421)의 스트로크와 같은 특성이 서로 다르기 때문이다. 따라서, 상기 제 2 초점 위치 정보를 이용하여, 상기 제 2 포커스 렌즈(421)의 이동 위치에 대응하게 상기 제 1 포커스 렌즈(411)의 초점 위치를 이동시키기 위한 정보를 획득하여야 한다.
이를 위해, 우선적으로 제 1 포커스 렌즈(411)와 제 2 포커스 렌즈(421)의 상호 관계에 대한 변환 테이블을 저장한다(301단계). 상기 변환 테이블은 상기 제 1 포커스 렌즈(411) 및 제 2 포커스 렌즈(421)의 설계나 제조 단계에서 획득될 수 있다. 상기 변환 테이블은 상기 제 1 및 2 포커스 렌즈(421)의 특성에 따라, 상기 제 2 포커스 렌즈(421)의 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 이동 위치 정보일 수 있다. 예를 들어, 상기 변환 테이블은 상기 제 2 포커스 렌즈(421)를 '3'만큼 이동시킬 경우, 이에 대응하는 제 1 포커스 렌즈(411)의 이동 거리는 '3'이 아닌 '2'라는 정보일 수 있다.
그리고, 상기 제 2 초점 위치 정보에 포함된 위상차에 따른 제 2 포커스 렌즈(421)의 위치정보를 확인한다(302단계). 즉, 상기 제 2 초점 위치 정보에 포함된 위상차에 따른 제 2 포커스 렌즈(421)의 디포커스량 또는 이동량을 확인한다.
이어서, 상기 확인한 제 2 포커스 렌즈(421)의 이동량에 대응하는 제 1 포커스 렌즈(411)의 이동량에 대한 정보를 상기 변환 테이블로부터 추출한다(303단계).
이에 따라, 상기 제 2 포커스 렌즈(411)의 이동량(초점 이동 위치) 및 이에 대응하는 제 1 포커스 렌즈(411)의 이동량(초점 이동 위치)으로 구성된 제 3 초점 위치 정보를 획득하고, 이를 저장한다(304단계).
즉, 상기 제 3 초점 위치 정보는 상기 제 2 카메라부(420)의 정보를 이용하여, 상기 제 1 카메라부(410)의 초점 이동 위치를 결정하기 위한 정보이다. 다시 말해서, 상기 제 3 초점 위치 정보는 카메라의 촬영 조건이 변경됨에 따라 제 2 포커스 렌즈(421)의 초점 위치가 이동되는 경우, 상기 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치에 대한 정보일 수 있다.
도 19는 본 발명의 실시 예에 따른 제 1 초점 위치 정보의 일 예를 나타낸 도면이다.
한편, 상기 제 1 카메라부(410)는 기본적으로 제 1 초점 위치 정보를 이용하여 자동 초점 기능을 수행한다.
도 19를 참조하면, 상기 제 1 초점 위치 정보는 피사체와의 거리(Macro, Infinity 등)에 따른 줌 렌즈(412)의 줌 위치 정보 및 제 1 포커스 렌즈(411)의 초점 위치 정보를 포함한다. 이는 트레이스 커브로 표현될 수 있다. 상기 트레이스 커브는, 무한대(infinity)에 대한 제 1 트레이스 커브와, 매크로(macro)에 대한 제 2 트레이스 커브와, 상기 무한대와 매크로 사이의 특정 거리에 대한 적어도 1개의 제 3 트레이스 커브를 포함할 수 있다.
그리고, 상기 제 1 카메라부(410)는 상기 제 1 초점 위치 정보를 기준으로 자동 초점 기능이 구현될 수 있다.
도 20은 본 발명의 실시 예에 따른 카메라 모듈의 동작 방법을 단계별로 설명하기 위한 흐름도이다.
도 20을 참조하면, 제 2 카메라부(420)는 동작 개시 이벤트가 발생함에 따라 동작을 시작한다(401단계). 이때, 상기 동작 개시 이벤트는 일반적으로 외부로부터 상기 제 2 카메라부(410)의 동작 명령이 입력된 경우일 수 있다. 이와 다르게, 상기 동작 개시 이벤트는 상기 제 1 카메라부(410)의 동작 중에 촬영 조건이 변경된 경우일 수 있다. 이를 위해 제어부(440)는 상기 동작 개시 이벤트의 발생 여부를 체크하고, 그에 따라 상기 제 2 카메라부(420)의 동작이 개시되도록 제어할 수 있다. 즉, 제어부(440)는 상기 제 1 카메라부(410)의 동작 중에, 상기 제 1 카메라부(410)의 촬영 대상이 되는 피사체가 변경되거나, 또는 상기 피사체와의 거리가 변경되거나, 또는 상기 제 1 카메라부(410)의 줌 배율이 변경되거나, 또는 상기 카메라 모듈 자체의 위치가 이동되는 상황을 감지하고, 상기 상황이 감지됨에 따라 상기 제 2 카메라부(410)의 동작이 개시되도록 할 수 있다. 또한, 상기 제어부(440)는 상기 제 1 카메라부(410)를 통해 동영상이 촬영되는 경우에 상기 제 2 카메라부(420)가 동작되도록 할 수 있다. 즉, 상기 제 1 카메라부(410)에서 동영상이 촬영되는 경우, 움직이는 피사체에 대하여 상기 제 1 포커스 렌즈(411)의 반응 속도가 따라갈 수 없을 수 있으므로, 상기 제어부(440)는 상기 제 1 카메라부(410)의 초점 위치를 정확하고 빠른 시간에 결정하기 위해 백그라운드로 상기 제 2 카메라부(420)가 동작되도록 할 수 있다.
그리고, 제 2 카메라부(420)는 상기 제어부(440)의 제어신호에 따라 제 2 영상을 획득할 수 있다(402단계).
상기 제 2 영상은 상기 제 2 카메라부(420) 내에 포함된 제 2 이미지 센서(423)를 통해 획득되는 제 2 위상차 영상일 수 있다. 이때, 상기 제 2 영상은, 상기 제 1 카메라부(410)의 동작 조건을 기준으로 촬영될 수 있다. 예를 들어, 상기 제어부(440)는 상기 제 1 카메라부(410)의 줌 배율 및 제 1 포커스 렌즈(411)의 초점 위치에 대응되게 매칭된 상기 제 2 포커스 렌즈(421)의 초점 위치를 획득할 수 있다. 그리고, 상기 제 2 포커스 렌즈(421)의 초점 위치가 획득되면, 상기 제어부(440)는 상기 획득된 초점 위치로 상기 제 2 포커스 렌즈(421)의 이동이 이루어진 후에 상기 제 2 영상이 획득되도록 제어할 수 있다.
이후, 제어부(440)는 상기 제 2 영상이 획득되면, 기준 영상과 상기 획득된 제 2 영상을 비교하고, 그에 따른 제 2 위상차를 계산한다(403단계). 이때, 제어부(440)는 상기 제 2 위상차가 계산되면, 상기 제 2 초점 위치 정보를 이용하여, 상기 제 2 위상차에 대응하는 상기 제 2 포커스 렌즈(421)의 초점 이동 위치를 결정하고, 상기 결정된 초점 이동 위치로 상기 제 2 포커스 렌즈(421)가 이동되도록 할 수 있다. 이와 다르게, 상기 제어부(440)는 상기 제 2 위상차가 계산되면, 상기 계산된 제 2 위상차 정보만을 저장할 수 있다.
한편, 제어부(440)는 사용자의 설정에 따른 줌 배율로 줌 렌즈(412)의 줌 위치를 이동시킨다(404단계).
이후, 상기 제어부(440)는 저장부(430)에 저장된 제 1 초점 위치 정보를 이용하여, 상기 줌 배율 및 촬영하고자 하는 피사체와의 거리를 기준으로 상기 제 1 포커스 렌즈(411)의 초점 위치를 결정한다(405단계).
그리고, 상기 제어부(440)는 상기 초점 위치가 결정되면, 상기 결정된 초점 위치로 상기 제 1 포커스 렌즈(411)가 이동되도록 제어한다(406단계). 이에 따라, 제 1 포커스 렌즈 구동부(413)는 상기 제어부(440)의 제어신호에 따라 상기 결정된 초점 위치로 상기 제 1 포커스 렌즈(411)를 이동시킨다. 이때, 상기 제 1 포커스 렌즈(411)는 상기 설명한 바와 같이, 물리적인 위치가 이동될 수 있으며, 이와 다르게 계면의 곡률이 변화할 수도 있다.
이후, 상기 제 1 카메라부(410)는 제 1 영상을 획득한다(407단계). 상기 제 1 영상은 상기 제 1 카메라부(410)를 구성하는 제 1 이미지 센서(415)를 통해 획득된 제 1 위상차 영상일 수 있다.
다음으로, 제어부(440)는 상기 제 1 영상이 획득되면, 기준 영상과 상기 제 1 영상을 비교하여, 상기 제 1 영상에 대한 제 1 위상차를 계산한다(408단계). 이때, 상기 제 1 위상차는, 상기 결정된 제 1 포커스 렌즈(411)의 초점 위치가 정확한 경우, 0과 가까운 값을 가질 것이다.
이후, 제어부(440)는 상기 제 1 위상차가 계산되면, 상기 제 1 위상차와 기설정된 임계 값을 비교한다(409단계).
여기에서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 특성에 따라 결정될 수 있다. 다시 말해서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 MTF(Modulation Transfer Function)에 따라 결정될 수 있다.
상기 MTF는 곡선으로 표현될 수 있으며, 이는 렌즈 성능을 평가하는 척도의 하나로 피사체가 가지는 콘트라스트를 상면(빛이 비쳐지는 화면)에서 어느 정도 충실히 재현할 수 있는가를 공간 주파수 특성으로서 나타낸 것이다. 상기 MTF 곡선은 가로축이 렌즈 필드(화면 중심에서 가장 자리까지의 거리)를 나타내며, 세로축이 콘트라스트 값(최고값은 1)을 나타낼 수 있다. 그리고, 상기 MTF 곡선의 기울기가 크면, 초점 위치가 베스트 위치에서 조금만 틀어져도, 촬영 영상의 초점이 크게 맞지 않을 수 있다. 또한, 상기 MTF 곡선의 기울기가 작으면, 초점 위치가 베스트 위치를 기준으로 일정 범위 내에서 조금 틀어진다 하더라도, 상기 촬영 영상의 초점이 맞을 수 있다. 따라서, 상기 임계 값은 상기 제 1 포커스 렌즈(411)의 성능을 나타내는 MTF 곡선을 가지고 설정할 수 있다. 즉, 상기 제 1 포커스 렌즈(411)의 성능이 좋지 않음에 따라 상기 MTF 곡선의 기울기가 큰 경우, 상기 임계 값은 0과 가까운 제 1 값으로 설정될 수 있다. 또한, 상기 제 1 포커스 렌즈(411)의 성능이 좋음에 따라 상기 MTF 곡선의 기울기가 작은 경우, 상기 임계 값은 상기 제 1 값보다 큰 제 2 값으로 설정될 수 있다.
이때, 상기 제어부(440)는 상기 제 1 위상차가 상기 임계 값 이하이면, 상기 제 1 포커스 렌즈(411)의 현재 초점 위치를 유지시킨다(409단계). 즉, 상기 제 1 위상차가 상기 임계 값보다 작다는 것은 상기 제 1 영상에 대한 초점이 맞았음을 의미하는 것이며, 이에 따라 제어부(440)는 상기 현재의 초점 위치를 계속 유지시킨다.
이와 다르게 상기 제어부(440)는 상기 제 1 위상차가 상기 임계 값보다 크면, 현재 상기 제 1 포커스 렌즈(411)의 초점 위치의 정확도가 낮은 것으로 인식하고, 그에 따라 상기 제 1 포커스 렌즈(411)의 초점 위치를 다시 결정한다.
이를 위해, 제어부(440)는 상기 제 2 카메라부(410)를 통해 촬영된 제 2 영상의 제 2 위상차에 대응하는 제 2 포커스 렌즈(421)의 초점 이동 위치를 획득한다. 즉, 제어부(440)는 기저장된 제 2 초점 위치 정보로부터 상기 계산된 제 2 위상차에 대응하는 제 2 포커스 렌즈(421)의 초점 이동 위치를 획득한다.
이후, 제어부(440)는 상기 저장부(430)에 저장된 제 3 초점 위치 정보로부터 상기 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치를 재결정한다(410단계).
그리고, 상기 제어부(440)는 상기 재결정된 상기 제 1 포커스 렌즈(411)의 초점 이동 위치로 상기 제 1 포커스 렌즈(411)의 초점 위치를 재이동시킨다(411단계).
이때, 상기 제어부(440)는 상기 재결정된 제 1 포커스 렌즈(411)의 초점 이동 위치를 토대로 상기 저장부(430)에 저장된 제 1 초점 위치 정보를 업데이트할 수 있다.
즉, 상기 제 1 영상의 제 1 위상차가 상기 임계 값보다 크다는 것은, 상기 제 1 초점 위치 정보 중 상기 제 1 영상을 획득하기 위해 설정된 제 1 포커스 렌즈(411)의 초점 위치가 정확하지 않다는 것을 의미한다. 이에 따라, 추후 해당 포인트에서 제 1 영상이 재촬영되는 경우, 상기 제 1 초점 위치 정보로는 상기 제 1 카메라부(410)의 정확한 초점 위치가 결정될 수 없다. 이에 따라, 상기 제어부(440)는 상기 재결정된 제 1 포커스 렌즈(411)의 초점 위치를 기준으로 상기 저장부(430)에 저장된 제 1 초점 위치 정보를 업데이트한다. 이에 따라, 추후 상기 해당 포인트에서 제 1 영상이 재촬영되는 경우, 상기 업데이트된 정보를 이용하기 때문에 상기 제 1 영상의 초점의 정확도를 높일 수 있다.
본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 발명에 따른 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.
도 21은 본 발명의 실시 예에 따른 카메라 모듈을 포함하는 이동 단말기의 구성을 나타낸 도면이다.
상기와 같은 카메라 모듈은 광학기기에 장착될 수 있다. 바람직하게, 상기 카메라 모듈은 이동 단말기 내에 장착될 수 있다. 이때, 상기에서는 상기 카메라 모듈 자체에서, 상기 제 2 카메라부(420)의 초점 위치 정보를 이용하여 상기 제 1 카메라부(410)의 초점 위치를 결정할 수 있다. 또한, 이와 다르게 상기 제 1 카메라부(410)는 상기 제 1 초점 위치 정보를 이용하여 초점 위치를 결정하고, 상기 제 2 카메라부(410)는 상기 제 2 초점 위치 정보를 이용하여 초점 위치를 결정한다. 그리고, 이동 단말기 내의 메인 제어부는 상기 제 1 카메라부의 초점 위치의 정확도를 판단하고, 이에 따라 상기 제 3 초점 위치 정보를 토대로 상기 제 1 카메라부(410)의 초점 위치 변경 신호를 출력할 수 있다.
다시 말해서, 본 발명의 다른 실시 예에서는 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 초점 이동 위치를 이용하여 상기 제 1 카메라부(410)의 초점 이동 위치를 결정하는 동작을 상기 카메라 모듈이 아닌 단말기 내에서 수행될 수 있다.
상기 이동 단말기(500)는 무선 통신부(510), A/V(Audio/Video) 입력부(520), 사용자 입력부(530), 센싱부(540), 출력부(550), 메모리(560), 인터페이스부(570), 제어부(580) 및 전원 공급부(590) 등을 포함할 수 있다. 도 21에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(510)는 이동 단말기(500)와 무선 통신 시스템 사이 또는 이동 단말기(500)와 이동 단말기(500)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(510)는 방송 수신 모듈(511), 이동통신 모듈(512), 무선 인터넷 모듈(513), 근거리 통신 모듈(514) 및 위치정보 모듈(515) 등을 포함할 수 있다.
A/V(Audio/Video) 입력부(520)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 이전에 설명한 카메라 모듈(100)을 포함할 수 있다. 또한, A/V(Audio/Video) 입력부(520)에는 마이크(122) 등이 포함될 수 있다. 카메라 모듈(100)은 단말기의 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(551)에 표시될 수 있다.
카메라 모듈(100)에서 처리된 화상 프레임은 메모리(560)에 저장되거나 무선 통신부(510)를 통하여 외부로 전송될 수 있다.
사용자 입력부(530)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(530)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(540)는 이동 단말기(500)의 개폐 상태, 이동 단말기(500)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(500)의 현 상태를 감지하여 이동 단말기(500)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(500)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(590)의 전원 공급 여부, 인터페이스부(570)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(540)는 근접 센서(541)를 포함할 수 있다.
출력부(550)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(551), 음향 출력 모듈(552), 알람부(553), 및 햅틱 모듈(554) 등이 포함될 수 있다.
디스플레이부(551)는 이동 단말기(500)에서 처리되는 정보를 표시(출력)한다. 디스플레이부(551)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
메모리(560)는 제어부(580)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 바람직하게, 상기 설명한 제 3 초점 위치 정보는 상기 메모리(560) 내에 저장될 수 있다.
메모리(560)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(500)는 인터넷(internet)상에서 상기 메모리(560)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(570)는 이동 단말기(500)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(570)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(500) 내부의 각 구성 요소에 전달하거나, 이동 단말기(500) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(570)에 포함될 수 있다.
제어부(controller, 580)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(580)는 멀티 미디어 재생을 위한 멀티미디어 모듈(581)을 구비할 수도 있다. 멀티미디어 모듈(581)은 제어부(580) 내에 구현될 수도 있고, 제어부(580)와 별도로 구현될 수도 있다.
한편, 본 발명의 제 1 실시 예에서의 카메라 모듈은 상기 제 1 내지 3 초점 위치 정보를 모두 저장하고, 그에 따라 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 초점 이동 위치를 이용하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하였다.
이때, 상기 카메라 모듈 내에 구비된 제어부(440)는 상기 제 1 카메라부(410)의 동작을 제어하면서, 그에 따라 상기 제 2 카메라부(420)의 동작을 제어하여 상기 제 1 포커스 렌즈(411)의 초점 이동 위치 결정에 사용될 정보를 획득하였다. 이와 같이, 제 1 실시 예에서의 카메라 모듈의 제어부(440)는 제 1 및 2 카메라부를 동시에 제어하였으며, 이에 따른 정보 획득 속도가 상대적으로 느릴 수 있었다.
다시 말해서, 제어부(440)는 상기 제 1 위상차가 임계 값보다 크다는 것을 확인한 시점 이후에, 상기 제 2 위상차에 대응하는 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정하였다. 이에 따라, 상기 제 1 위상차를 가진 제 1 영상이 일정 시간동안 사용자에게 제공되는 문제가 발생할 수 있다.
따라서, 본 발명의 제 2 실시 예에서는, 백그라운드로 상기 단말기의 제어부(580)에서 상기 제 2 포커스 렌즈(421)의 초점 이동 위치에 대응하는 제 1 포커스 렌즈(411)의 초점 이동 위치를 결정해놓고, 상기 결정한 초점 이동 위치의 필요 여부에 따라 상기 카메라 모듈의 제어부(440)에 제공해주도록 한다.
즉, 본 발명의 제 2 실시 예에서는, 상기와 같이 제 2 카메라부(420)를 통해 획득된 제 2 위상차가 상기 단말기의 메인 제어부인 제어부(580)에서 계산되고, 그에 따라 상기 제어부(580)에서 상기 제 2 카메라부(420)의 제 2 포커스 렌즈(421)의 초점 이동 위치에 따른 제 1 포커스 렌즈(411)의 초점 이동 위치가 사전에 획득되도록 한다.
이에 따르면, 상기 제 1 카메라부의 초점을 보다 빠른 시간에 정확히 맞출 수 있으며, 이에 따른 사용자 만족도를 향상시킬 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 메모리(560)에 저장되고, 제어부(580)에 의해 실행될 수 있다.
본 발명에 따른 실시 예에서는, 제 1 및 2 카메라를 포함하는 카메라 모듈에서, 제 1 카메라의 초점 위치 정보와 상기 제 2 카메라의 초점 위치 정보를 상호 매칭시킨다. 그리고, 상기 제 1 카메라의 자동 초점 시에 상기 제 1 카메라를 통해 획득된 영상의 위상 차이를 토대로 상기 제 1 카메라의 현재 초점 위치에 대한 정확도를 판단한다. 이후, 상기 제 1 카메라의 현재 초점 위치의 정확도가 낮은 경우, 상기 매칭에 따른 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 제 1 카메라의 정확한 초점 위치를 추적한다. 상기와 같이, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 자동 초점 기능 구현 시에, 상기 제 1 카메라의 줌 트랙킹뿐 아니라, 상기 제 2 카메라의 초점 위치 정보를 이용하여 초점 이동 위치를 추적함으로써, 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 실시 예에서는 상기 제 1 카메라의 줌 배율 변화시에만 상기 제 2 카메라에 의해 상기 제 1 카메라의 초점 위치 정확도를 높이기 위한 동작이 수행되도록 한다. 이에 따라, 본 발명에 따른 실시 예에서는 상기 제 2 카메라의 동작에 따른 전력 소모량을 최소화할 수 있다.
또한, 본 발명에 따른 실시 예에서는, 특정 포인트에서 상기 제 1 카메라의 초점 위치 정보가 부정확한 경우, 상기 제 2 카메라의 초점 위치 정보를 이용하여 상기 특정 포인트에 대한 상기 제 1 카메라의 초점 위치 정보를 업데이트한다. 이에 따라, 본 발명에 따른 실시 예에서는 카메라 모듈의 사용 횟수나 사용 시간에 따라 변경되는 액추에이터의 특성 변화에 영향을 받지 않고, 초점 위치의 정확도를 향상시킬 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 실시 예를 한정하는 것이 아니며, 실시 예가 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 설정하는 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 기준 영상과 제 1 카메라를 통해 획득된 제1 영상을 비교하여 제1 위상차를 검출하는 단계;
    상기 기준 영상과 제 2 카메라를 통해 획득된 제 2 영상을 비교하여 제 2 위상차를 검출하는 단계; 및
    상기 제 2위상차를 이용하여 상기 제2 카메라의 제 2 포커스 렌즈의 초점 이동위치를 결정하는 단계를 포함하고,
    상기 제 1 위상차가 기설정된 임계값 이상이면,
    상기 제 2 카메라의 제 2 포커스 렌즈의 초점 이동위치를 이용하여 상기 제 1 카메라의 제 1 포커스 렌즈의 초점 이동위치를 결정하는 단계를 포함하는
    카메라 장치의 동작 방법.
  2. 제 1항에 있어서,
    상기 제 1 및 2 포커스 렌즈의 초점 이동 위치는,
    상기 제 1 및 2 포커스 렌즈의 이동 거리 또는 굴곡 변화인
    카메라 장치의 동작 방법.
  3. 제 1항에 있어서,
    상기 제 1 및 2 포커스 렌즈 중 적어도 하나는,
    액체 렌즈를 포함하는
    카메라 장치의 동작 방법.
  4. 제 1항에 있어서,
    상기 제 1 포커스 렌즈의 초점 이동위치는,
    상기 제 2 포커스 렌즈의 초점 이동위치와 상기 제 1 포커스 렌즈의 초점 이동위치의 관계에 기반하여 결정되는
    카메라 장치의 동작 방법.
  5. 제 4항에 있어서,
    상기 제 1 포커스 렌즈의 초점 이동위치를 결정하는 단계는,
    기저장된 보상 테이블로부터 상기 제 2 포커스 렌즈의 초점 이동 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치를 획득하는 단계와,
    상기 획득한 초점 이동위치를 상기 제 1 포커스 렌즈의 초점 이동위치로 결정하는 단계를 포함하고,
    상기 보상 테이블은,
    상기 제 2 영상의 위상차별로 적용될 상기 제 2 포커스 렌즈의 초점 이동위치와, 상기 관계에 기반하여 결정된 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동 위치를 포함하는
    카메라 장치의 동작 방법.
  6. 제 1항에 있어서,
    상기 기준 영상은,
    상기 제 1 또는 2 포커스 렌즈의 베스트 초점 위치에서 획득한 위상차가 0인 영상인
    카메라 장치의 동작 방법.
  7. 제 1항에 있어서,
    상기 제1 영상이 획득되기 전에 상기 제 1 카메라의 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치를 결정하는 단계를 더 포함하고,
    상기 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치는,
    피사체 거리에 따라 구분된 상기 줌 렌즈의 줌 위치 및 상기 줌 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 위치에 대한 제 1 초점 위치 정보를 토대로 결정되는
    카메라 장치의 동작 방법.
  8. 제 7항에 있어서,
    상기 제 1 위상차가 상기 임계 값 미만이면, 상기 제 1 초점 위치 정보를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 위치를 유지하는 단계를 더 포함하는
    카메라 장치의 동작 방법.
  9. 제 1항에 있어서,
    상기 제 1 및 2 영상 중 적어도 하나는,
    복수의 프레임을 포함하는 동영상인
    카메라 장치의 동작 방법.
  10. 제 1 포커스 렌즈를 포함하고, 제1 영상을 획득하는 제1 카메라;
    제 2 포커스 렌즈를 포함하고, 제2 영상을 획득하는 제2 카메라; 및
    기준 영상과 제1 영상 간의 제1 위상차 및 상기 기준 영상과 제2 영상 간의 제2 위상차를 검출하는 제어부를 포함하고,
    상기 제어부는
    상기 제 2위상차를 이용하여 상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 결정하고,
    상기 제 1 위상차가 기설정된 임계값 이상이면,
    상기 제2 카메라의 제 2 포커스렌즈의 초점 이동위치를 이용하여 상기 제1 카메라의 제 1 포커스 렌즈의 초점 이동위치를 결정하는
    카메라 장치.
  11. 줌렌즈와 제1 포커스 렌즈를 포함하는 제1 카메라;
    제2 포커스 렌즈를 포함하는 제2 카메라; 및
    상기 제2 포커스 렌즈의 초점 이동위치를 결정하는 제어부를 포함하고,
    상기 제1 카메라는 상기 제1 포커스렌즈를 통해 기준영상과 다른 제1 위상차를 갖는 제1 영상을 획득하고,
    상기 제2 카메라는 상기 제2 포커스렌즈를 통해 상기 기준영상과 다른 제2 위상차를 갖는 제2 영상을 획득하고,
    상기 제어부는
    상기 제1 위상차 및 상기 제2 위상차를 계산하고,
    상기 제1 위상차와 기설정된 임계값을 비교하고,
    상기 제2 위상차를 이용하여 상기 제2 포커스렌즈의 초점 이동위치를 결정하는
    카메라 장치.
  12. 제 10항 또는 제 11항에 있어서,
    상기 제 2 포커스 렌즈의 초점 이동 위치는,
    상기 제 2 포커스 렌즈의 이동 거리 또는 굴곡 변화인
    카메라 장치.
  13. 제 10 또는 제 11항에 있어서,
    상기 제 1 및 2 포커스 렌즈 중 적어도 하나는,
    액체 렌즈를 포함하는
    카메라 장치.
  14. 제 10항에 있어서,
    상기 제 1 포커스 렌즈의 초점 이동위치는,
    상기 제 2 포커스 렌즈의 초점 이동위치와 상기 제 1 포커스 렌즈의 초점 이동위치의 관계에 기반하여 결정되는
    카메라 장치.
  15. 제 14항에 있어서,
    상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치에 대한 보상 테이블을 저장하는 저장부를 더 포함하고,
    상기 보상 테이블은,
    상기 제 2 영상의 위상차별로 적용될 상기 제 2 포커스 렌즈의 초점 이동위치와, 상기 관계에 기반하여 결정된 상기 제 2 포커스 렌즈의 초점 이동위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동 위치를 포함하며,
    상기 제어부는,
    상기 저장된 보상 테이블로부터 상기 제 2 포커스 렌즈의 초점 이동 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 이동위치를 획득하고,
    상기 획득한 초점 이동위치를 상기 제 1 포커스 렌즈의 초점 이동위치로 결정하는,
    카메라 장치.
  16. 제 10항 또는 제 11항에 있어서,
    상기 기준 영상은,
    상기 제 1 또는 2 포커스 렌즈의 베스트 초점 위치에서 획득한 위상차가 0인 영상인
    카메라 장치.
  17. 제 10항 또는 제11항에 있어서,
    상기 제어부는,
    상기 제1 영상이 획득되기 전에 상기 제 1 카메라의 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치를 결정하고,
    상기 줌 렌즈의 줌 위치 및 상기 제 1 포커스 렌즈의 초점 위치는,
    피사체 거리에 따라 구분된 상기 줌 렌즈의 줌 위치 및 상기 줌 위치에 대응하는 상기 제 1 포커스 렌즈의 초점 위치에 대한 제 1 초점 위치 정보를 토대로 결정되는
    카메라 장치.
  18. 제 17항에 있어서,
    상기 제어부는,
    상기 제 1 위상차가 상기 임계 값 미만이면, 상기 제 1 초점 위치 정보를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 위치를 유지시키는
    카메라 장치.
  19. 제 10항 또는 제11항에 있어서,
    상기 제 1 및 2 영상 중 적어도 하나는,
    복수의 프레임을 포함하는 동영상인
    카메라 장치.
  20. 제 11항에 있어서,
    상기 제어부는,
    상기 제 1위상차가 상기 임계 값 이상이면, 상기 제2 포커스렌즈의 초점 이동위치를 토대로 결정된 상기 제 1 포커스 렌즈의 초점 이동 위치를 세트로부터 제공받고,
    상기 제공받은 초점 이동 위치로 상기 제 1 포커스 렌즈를 이동시키는
    카메라 장치.
KR1020180113873A 2018-09-21 2018-09-21 카메라 모듈 및 이의 동작 방법 KR20200034276A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180113873A KR20200034276A (ko) 2018-09-21 2018-09-21 카메라 모듈 및 이의 동작 방법
US17/278,023 US11575821B2 (en) 2018-09-21 2019-09-19 Camera device having first and second cameras, and method of operating same
PCT/KR2019/012157 WO2020060235A1 (ko) 2018-09-21 2019-09-19 카메라 장치
CN201980061274.2A CN112740650B (zh) 2018-09-21 2019-09-19 摄像装置设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180113873A KR20200034276A (ko) 2018-09-21 2018-09-21 카메라 모듈 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20200034276A true KR20200034276A (ko) 2020-03-31

Family

ID=69887471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180113873A KR20200034276A (ko) 2018-09-21 2018-09-21 카메라 모듈 및 이의 동작 방법

Country Status (4)

Country Link
US (1) US11575821B2 (ko)
KR (1) KR20200034276A (ko)
CN (1) CN112740650B (ko)
WO (1) WO2020060235A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230039575A (ko) * 2021-09-13 2023-03-21 애플 인크. 다중-카메라 시스템들에 대한 카메라 스위칭오버 제어 기술들

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423241B2 (ja) * 2019-10-09 2024-01-29 キヤノン株式会社 光学機器およびその制御方法
KR20220094462A (ko) * 2020-12-29 2022-07-06 삼성전기주식회사 카메라 모듈 및 이를 포함하는 휴대용 전자기기
JP2022189536A (ja) * 2021-06-11 2022-12-22 キヤノン株式会社 撮像装置および方法
US12015845B2 (en) 2021-09-13 2024-06-18 Apple Inc. Object depth estimation and camera focusing techniques for multiple-camera systems
CN113556472B (zh) * 2021-09-22 2021-12-14 上海豪承信息技术有限公司 图像补偿方法、装置、介质及前置摄像头

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5955493A (ja) * 1982-09-24 1984-03-30 カシオ計算機株式会社 電子楽器の周波数制御装置
JP2901116B2 (ja) 1992-11-30 1999-06-07 株式会社日立製作所 オートフォーカス装置の制御方法
KR101390196B1 (ko) * 2008-02-05 2014-04-29 삼성전자주식회사 디지털 촬영장치
US8836767B2 (en) * 2010-12-17 2014-09-16 Samsung Electronics Co., Ltd Imaging apparatus and imaging method
KR20120071279A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 입체 영상의 오차 보정 장치 및 그 방법
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
JP6249636B2 (ja) 2013-05-28 2017-12-20 キヤノン株式会社 撮像装置およびその制御方法
CN105376474B (zh) 2014-09-01 2018-09-28 光宝电子(广州)有限公司 图像采集装置及其自动对焦方法
JP6478568B2 (ja) * 2014-11-10 2019-03-06 キヤノン株式会社 制御装置、撮像装置、撮像システム、レンズ装置、制御方法、プログラム、および、記憶媒体
KR20160115682A (ko) 2015-03-25 2016-10-06 삼성전자주식회사 대상에 대하여 공간적으로 가변하는 오토 포커싱을 가능하게 하는 방법 및 이를 이용하는 촬상 시스템
WO2016161111A1 (en) 2015-03-31 2016-10-06 The Ergo Baby Carrier, Inc. Hip seat device and system
CN105007420B (zh) 2015-07-14 2018-09-04 广东欧珀移动通信有限公司 一种对焦方法及移动终端
US9910247B2 (en) 2016-01-21 2018-03-06 Qualcomm Incorporated Focus hunting prevention for phase detection auto focus (AF)
CN105847693A (zh) 2016-04-27 2016-08-10 乐视控股(北京)有限公司 基于双摄像头对焦的拍照方法和***
KR20170139408A (ko) 2016-06-09 2017-12-19 엘지전자 주식회사 듀얼 카메라가 장착된 동영상 촬영 장치
CN106534696A (zh) * 2016-11-29 2017-03-22 努比亚技术有限公司 一种对焦装置和方法
KR102672599B1 (ko) * 2016-12-30 2024-06-07 삼성전자주식회사 Af 방법 및 이를 수행하는 전자 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230039575A (ko) * 2021-09-13 2023-03-21 애플 인크. 다중-카메라 시스템들에 대한 카메라 스위칭오버 제어 기술들

Also Published As

Publication number Publication date
US20210352215A1 (en) 2021-11-11
CN112740650B (zh) 2024-03-05
US11575821B2 (en) 2023-02-07
CN112740650A (zh) 2021-04-30
WO2020060235A1 (ko) 2020-03-26

Similar Documents

Publication Publication Date Title
US11575821B2 (en) Camera device having first and second cameras, and method of operating same
US11243451B2 (en) Camera module and camera device
CN106911879B (zh) 成像装置模块及其操作方法、以及包括该模块的终端设备
CN109564339B (zh) 使相机***适应于附属镜头
US20160269602A1 (en) Auto-focus in low-profile folded optics multi-camera system
CN102192724B (zh) 距离测量和光度测定装置、以及成像设备
CN104854496A (zh) 摄像装置、散焦量运算方法及摄像光学***
CN112384852B (zh) 相机模块及其操作方法
JP2008026802A (ja) 撮像装置
CN105008976A (zh) 摄像装置、信号处理方法、信号处理程序
KR102593303B1 (ko) 전자 장치 및 전자 장치의 카메라 자동 초점 제어 방법
CN104823094A (zh) 摄像装置及对焦控制方法
CN104813212A (zh) 摄像装置及曝光确定方法
KR102638527B1 (ko) 엑추에이터
US11762167B2 (en) Camera module
TW201351976A (zh) 微型影像擷取裝置及其應用
US9900495B2 (en) Camera module and auto focusing method thereof
US11039117B2 (en) Dual lens imaging module and capturing method thereof
US11350025B2 (en) Optical device and mobile terminal comprising same
US12022195B2 (en) Camera device calibration method using samplingpoints and camera module
Galaom Integration of a MEMS-based Autofocus Actuator into a Smartphone Camera
TWI747038B (zh) 雙鏡頭成像模組及其擷取方法
JP2008046350A (ja) 自動焦点調節装置および撮像装置
KR20230158195A (ko) 카메라 모듈 및 이를 포함하는 광학기기
KR20230003883A (ko) 카메라 측정 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right