KR20150081231A - 이미지 보정 장치 및 그 방법 - Google Patents

이미지 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR20150081231A
KR20150081231A KR1020140181521A KR20140181521A KR20150081231A KR 20150081231 A KR20150081231 A KR 20150081231A KR 1020140181521 A KR1020140181521 A KR 1020140181521A KR 20140181521 A KR20140181521 A KR 20140181521A KR 20150081231 A KR20150081231 A KR 20150081231A
Authority
KR
South Korea
Prior art keywords
motion
lens
camera module
sensor
value
Prior art date
Application number
KR1020140181521A
Other languages
English (en)
Inventor
강명구
유희용
김상진
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to CN201510002262.6A priority Critical patent/CN104767930A/zh
Priority to US14/589,720 priority patent/US20150195461A1/en
Publication of KR20150081231A publication Critical patent/KR20150081231A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

본 발명의 일 실시예에 따른 이미지 보정 장치는, 카메라 모듈의 움직임을 감지하는 제1 센서, 상기 제1 센서에 의해 감지된 카메라 모듈의 움직임에 대응하여 상기 카메라 모듈의 렌즈의 위치를 조정하는 렌즈 제어부, 상기 움직임에 대응하여 조정된 상기 렌즈의 위치를 감지하는 제2 센서, 상기 제1 센서에 의해 감지된 상기 카메라 모듈의 움직임과 상기 제2 센서에 의해 감지된 렌즈의 위치의 차이를 이용하여 움직임 점확산 함수를 산출하는 움직임 점확산 함수 산출부 및 상기 움직임 점확산 함수를 이용하여 상기 카메라 모듈로부터의 이미지를 보정하는 보정부를 포함할 수 있다.

Description

이미지 보정 장치 및 그 방법{APPARATUS AND METHOD FOR CORRECTING IMAGE}
본 발명은 이미지 보정 장치 및 그 방법에 관한 것이다.
최근 디지털 카메라 또는 스마트폰과 같이 디지털 촬영 장치의 카메라 모듈이 소형화됨에 따라 카메라의 촬영 시 흔들림 문제가 이슈화되고 있다. 여기서, 흔들림 문제란, 노출 시간 동안에 카메라의 이동 및 회전 등과 같은 움직임으로 인해 촬영되는 영상에 움직임 블러(Motion Blur)가 발생하는 것을 말한다.
이러한 문제를 해결하기 위해 종래의 디지털 촬영 장치는 흔들림 양만큼 렌즈의 위치를 조정하여 흔들림을 보정하는 광학적 영상 안정화(OIS, Optical Image Stabilization) 방식 또는 촬영된 영상을 움직임 점확산 함수를 이용해 후보정하는 디지털 영상 안정화(DIS, Digital Image Stabilization) 방식이 이용되고 있다.
그러나, 종래의 광학적 영상 안정화 방식은, 실제로 자이로 센서에 의해 측정되는 흔들림양과 실제로 렌즈가 이동된 양 사이의 오차가 발생하여 상기 오차에 해당하는 움직임 블러가 여전히 남아있는 문제가 있다.
또한, 디지털 영상 안정화 방식의 경우, 제조 원가가 낮은 장점이 있으나, 광학적 영상 안정화 방식에 비하여 움직임 블러의 제거 성능이 떨어지는 문제가 있다.
하기의 특허문헌 1은 카메라의 이미지 안정화 장치 및 방법에 관한 것이나, 상술한 문제에 대한 해결책을 제시하지 못하고 있다.
한국 공개특허공보 제10-2013-0102929호
본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 제1 센서에 의해 감지된 카메라의 움직임과 제2 센서에 의해 감지된 렌즈의 위치를 이용하여 움직임 점확산 함수를 산출하고, 이를 이용하여 이미지를 보정함으로써, 보다 선명한 이미지를 얻을 수 있는 이미지 보정 장치 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 이미지 보정 장치는, 카메라 모듈의 움직임을 감지하는 제1 센서, 상기 제1 센서에 의해 감지된 카메라 모듈의 움직임에 대응하여 상기 카메라 모듈의 렌즈의 위치를 조정하는 렌즈 제어부, 상기 움직임에 대응하여 조정된 상기 렌즈의 위치를 감지하는 제2 센서, 상기 제1 센서에 의해 감지된 상기 카메라 모듈의 움직임과 상기 제2 센서에 의해 감지된 렌즈의 위치의 차이를 이용하여 움직임 점확산 함수를 산출하는 움직임 점확산 함수 산출부 및 상기 움직임 점확산 함수를 이용하여 상기 카메라 모듈로부터의 이미지를 보정하는 보정부를 포함할 수 있다.
일 실시예에서, 상기 렌즈 제어부는, 외부 신호에 의해 온(On)/오프(Off)될 수 있으며, 상기 렌즈 제어부가 오프(Off)된 경우, 상기 움직임 점확산 함수 산출부는, 상기 제1 센서에 의해 감지된 카메라 모듈의 움직임을 이용하여 움직임 점확산 함수를 산출할 수 있다.
본 발명의 다른 일 실시예에 따른 이미지 보정 장치는, 카메라 모듈의 움직임을 검출하여 움직임 값을 생성하는 모션 센서, 상기 움직임값을 이용하여 상기 움직임에 대응되는 움직임 벡터를 산출하고, 상기 움직임 벡터에 따라 상기 카메라 모듈의 렌즈의 위치를 조정하는 렌즈 제어부, 상기 렌즈의 위치를 측정하는 위치값을 생성하는 홀 센서, 상기 움직임값과 상기 움직임에 대응하여 조정된 렌즈의 위치값을 비교하여 움직임 점확산 함수를 산출하는 움직임 점확산 함수 산출부 및 상기 움직임 점확산 함수를 이용하여 상기 렌즈를 통해 촬상되는 이미지를 보정하는 보정부를 포함할 수 있으며, 상기 렌즈 제어부 및 움직임 점확산 함수 산출부는 상기 카메라 모듈의 셔터가 개방되어 있는 시간 동안에만 동작할 수 있다.
본 발명의 일 실시예에 따른 이미지 보정 방법은, 카메라 모듈의 움직임을 감지하여 움직임값을 생성하는 단계, 상기 카메라 모듈의 움직임값에 대응하여 상기 카메라 모듈의 렌즈의 위치를 조정하는 단계, 상기 렌즈의 위치를 감지하여 상기 렌즈의 위치값을 생성하는 단계, 상기 움직임값과 상기 움직임에 대응하여 조정된 렌즈의 위치값의 차이를 이용하여 움직임 점확산 함수를 산출하는 단계 및 상기 움직임 점확산 함수를 이용하여 상기 카메라 모듈로부터의 이미지를 보정하는 단계를 포함할 수 있다.
본 발명의 일 실시형태에 의하면, 제1 센서에 의해 감지된 카메라 모듈의 움직임과 제2 센서에 의해 감지된 렌즈의 위치를 이용하여 움직임 점확산 함수를 산출하고, 이를 이용하여 이미지를 보정함으로써, 보다 선명한 이미지를 얻을 수 있는 효과가 있다.
도 1은 본 발명에 따른 이미지 보정 장치의 일 실시예를 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 렌즈 제어부의 일 실시예를 설명하기 위한 구성도이다.
도 3은 도 1에 도시된 렌즈 제어부의 다른 일 실시예를 설명하기 위한 구성도이다.
도 4는 본 발명의 다른 일 실시예에 따른 이미지 보정 장치를 설명하기 위한 구성도이다.
도 5는 카메라 모듈의 움직임이 한계 보정 각도 이내인 경우의 움직임값과 위치값을 설명하기 위한 그래프이다.
도 6은 카메라 모듈의 움직임이 한계 보정 각도를 벗어난 경우의 움직임값과 위치값을 설명하기 위한 그래프이다.
도 7는 본 발명의 일 실시예에 따른 이미지 보정 방법을 설명하기 위한 순서도이다.
도 8은 도 7의 렌즈의 위치를 조정하는 단계의 일 실시예를 설명하기 위한 순서도이다.
도 9는 본 발명의 다른 일 실시예에 따른 이미지 보정 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
본 발명에 참조된 도면에서 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호가 사용될 것이며, 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명에 따른 이미지 보정 장치의 일 실시예를 설명하기 위한 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 보정 장치(10)는 제1 센서(100), 렌즈 제어부(200), 제2 센서(300), 움직임 점확산 함수 산출부(400) 및 보정부(500)를 포함할 수 있다.
이미지 보정 장치(10)는 카메라 모듈(20)과 함께 디지털 촬영 장치(1, 예를 들면, 디지털 카메라 또는 스마트 폰) 에 장착될 수 있으며, 상기 카메라 모듈(20)에 의해 촬영되는 이미지를 보정하는 역할을 수행한다.
여기서, 카메라 모듈(20)은 빛을 통과시키는 렌즈(22)와 상기 빛을 받아들여 이미지 신호를 생성하는 이미지 생성부(24)를 포함할 수 있다.
구체적으로, 이미지 보정 장치(10)는 먼저, 카메라 모듈(20)의 흔들림을 감지하여 흔들림에 따라 카메라 모듈(20)의 렌즈(22)를 이동시킴으로써 흔들림에 따른 모션 블러(Motion Blur)를 방지할 수 있다.
또한, 이미지 보정 장치(10)는 감지된 흔들림 양과 그에 따른 렌즈(22)의 위치를 비교하여 산출한 움직임 점확산 함수를 이용하여 카메라 모듈(20)에 의해 촬영된 이미지를 보정할 수 있다.
제1 센서(100)는 카메라 모듈(20)의 움직임을 감지할 수 있다. 일 실시예에서, 제1 센서(100)는 움직임을 감지하는 모션 센서일 수 있으며, 상기 모션 센서는 자이로 센서 및 가속도 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 제1 센서(100)는 카메라 모듈(20)의 각속도를 측정하는 자이로 센서일 수 있다. 여기서, 각속도 값은 피치(pitch) 또는 요(yaw) 값을 포함할 수 있다. 즉, 제1 센서(100)는 카메라 모듈(미도시)의 피치(pitch) 값과, 요(yaw) 값을 측정할 수 있으며, 상기 측정된 값을 렌즈 제어부(200)로 출력할 수 잇다.
렌즈 제어부(200)는 제1 센서(100)에 의해 감지된 카메라 모듈(20)의 움직임에 대응하여 렌즈(22)의 위치를 조정할 수 있다. 일 실시예에서, 렌즈 제어부(200)는 카메라 모듈(20)의 움직임의 반대 방향으로 렌즈(22)의 위치를 조정할 수 있다.
구체적으로, 렌즈 제어부(200)는 제1 센서(100)에 의해 감지되는 카메라 모듈(20)의 각속도에 대응하는 움직임 벡터를 산출할 수 있으며, 상기 산출된 움직임 벡터에 따라 렌즈(22)의 위치를 조정할 수 있다. 여기서, 움직임 벡터는 상기 각속도 값을 적분하여 산출할 수 있다. 여기서, 렌즈 제어부(200)는 카메라 모듈(20)의 셔터(미도시)가 개방된 시간 동안에만 동작할 수 있다.
이러한 렌즈 제어부(200)의 구체적인 구성에 대해서는 도 2를 참조하여 이하에서 보다 상세히 설명한다.
제2 센서(300)는 카메라 모듈(20)의 렌즈(22)의 위치를 감지한다. 일 실시예에서, 제2 센서(300)는 홀(Hall) 센서 일 수 있다. 제2 센서(300)는 렌즈(22)의 위치를 감지하여 이를 움직임 점확산 함수 산출부(400)로 출력할 수 있다.
움직임 점확산 함수 산출부(400)는 제1 센서(100)에 의해 측정된 카메라 모듈(20)의 움직임값과 제2 센서(300)에 의해 측정된 상기 움직임값에 대응하여 조정된 렌즈(22)의 위치값의 차이를 이용하여 움직임 점확산 함수(Point Spread Function)를 산출할 수 있다.
일 실시예에서, 움직임 점확산 함수 산출부(400)는 제1 센서(100)의 피치 값과 요 값을 제2 센서(300)의 x 좌표와 y 좌표 값과 비교하여 움직임 점확산 함수를 산출할 수 있다. 일 실시예에서, 움직임 점확산 함수 산출부(400)는 카메라 모듈(20)의 셔터(미도시)가 개방되는 시간 동안에만 동작할 수 있다.
보정부(500)는 움직임 점확산 함수 산출부(400)에서 산출한 움직임 점확산 함수를 이용하여 카메라 모듈(20)의 이미지 생성부(24)에서 생성되는 이미지를 보정할 수 있다.
일 실시예에서, 보정부(500)는 상기 움직임 점확산 함수와 상기 이미지 생성부(24)에서 생성되는 이미지를 영상 복원 필터를 이용하여 디컨볼루션(Deconvolution)함으로써 흔들린 이미지를 보정할 수 있다.
도 2는 도 1에 도시된 렌즈 제어부의 일 실시예를 설명하기 위한 구성도이며, 도 3은 도 1에 도시된 렌즈 제어부의 다른 일 실시예를 설명하기 위한 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 렌즈 제어부(200)는 움직임 벡터 산출부(210) 및 렌즈 구동부(220)를 포함할 수 있다.
움직임 벡터 산출부(210)는 제1 센서(100)에 의해 감지되는 카메라 모듈(20)의 움직임에 대응하는 렌즈(22)의 움직임 벡터를 산출할 수 있다.
즉, 움직임 벡터 산출부(210)는 카메라 모듈(20)의 흔들림에 따라 발생하는 움직임 블러(Motion Blur)를 방지하기 위해 카메라 모듈(20)의 움직임을 보상하는 방향으로 움직임 양에 대응하는 값을 포함하는 움직임 벡터를 생성할 수 있다.
일 실시예에서, 움직임 벡터 산출부(210)는, 도 3에서와 같이, 제2 센서(300)로부터 렌즈(22)의 위치를 피드백 받아 움직임 벡터를 산출할 수 있으며, 상기 움직임 벡터 산출부(210)는 PID 제어기일 수 있다.
렌즈 구동부(220)는 움직임 벡터 산출부(210)에서 산출한 움직임 벡터를 이용하여 렌즈(22)의 위치를 조정할 수 있다. 여기서, 렌즈 구동부(220)는 PWM 방식 또는 리니어 방식을 이용하여 렌즈(22)의 위치를 조정할 수 있다.
도 4는 본 발명의 다른 일 실시예에 따른 이미지 보정 장치를 설명하기 위한 구성도이다.
도 4의 실시예는 기본적인 구성은 도 1 내지 도3의 실시예와 동일하나, 렌즈 제어부(200)가 외부신호에 의해 온/오프될 수 있으며, 렌즈 제어부(200)의 온/오프에 따라 움직임 점확산 함수 산출부(400)의 움직임 점확산 함수를 산출하는 동작이 달라질 수 있다.
구체적으로, 렌즈 제어부(200)는 외부신호에 의해 온(On) 또는 오프(Off)될 수 있다. 여기서, 외부신호는 카메라 모듈(20)의 흔들림에 대응하여 렌즈(22)의 위치를 조정함으로써 모션 블러를 방지하는 기능을 온 또는 오프시키기 위한 사용자 입력으로 상기 외부신호에 따라 렌즈 제어부(200)가 온 또는 오프 될 수 있다.
움직임 점확산 함수 산출부(400)는 렌즈 제어부(200)가 온 되는 경우, 제1 센서(100)에 의해 측정되는 움직임값과 제2 센서에 의해 측정되는 렌즈(22)의 위치값의 차이를 이용하여 움직임 점확산 함수를 산출할 수 있다.
여기서, 렌즈 제어부(200)가 오프 되는 경우, 움직임 점확산 함수 산출부(400)는 제1 센서(100)에 의해 측정되는 움직임값을 이용하여 움직임 점확산 함수를 산출할 수 있다.
도 5는 카메라 모듈의 움직임이 한계 보정 각도 이내인 경우의 움직임값과 위치값을 설명하기 위한 그래프이며, 도 6은 카메라 모듈의 움직임이 한계 보정 각도를 벗어난 경우의 움직임값과 위치값을 설명하기 위한 그래프이다.
도 5를 참조하면, 카메라 모듈의 움직임이 한계 보정 각도(예를 들면, 약 ±1.6°) 이내인 경우, 제1 센서(100)에 의해 측정되는 움직임값과 상기 움직임값에 대응하여 조정된 렌즈의 위치값은 거의 동일하므로 실선으로 나타날 수 있다. 여기서, 한계 보정 각도란, 렌즈 제어부(200)에 의해 조정될 수 있는 렌즈(22)의 위치의 최대값을 의미할 수 있다.
도 6을 참조하면, 카메라 모듈의 움직임이 한계 보정 각도(예를 들면, 약 ±1.6°)를 벗어나는 경우가 발생할 수 있다. 이 구간에서, 움직임값(1)과 상기 움직임값에 대응하여 조정된 렌즈(22)의 위치값(2) 사이에 오차가 발생할 수 있으며, 이 경우, 렌즈 제어부(200)에 의한 렌즈(22)의 위치 조정에도 불구하고 모션 블러가 발생할 수 있다.
일 실시예에서, 상기와 문제점을 해결하기 위해 렌즈 제어부(200)는 상기 구간에서의 움직임값의 스케일을 상기 한계 보정 각도 이내로 축소하고, 상기 축소된 움직임값을 이용하여 렌즈(22)의 위치를 조정할 수 있다. 그러나, 축소된 움직임값은 실제 움직임값과 차이가 있어, 축소된 움직임값을 이용하여 렌즈(22)의 위치를 조정하더라도 모션 블러가 남아 있을 수 있다.
이러한 문제점을 해결하기 위해 이미지 보정 장치는, 카메라 모듈의 움직임이 한계 보정 각도를 벗어나는지 여부와 상관 없이 제1 센서(100)에 의해 측정된 움직임 값을 그대로 이용하여 렌즈(22)의 위치를 조정하는 렌즈 제어부(200)와 상기 움직임값과 상기 움직임에 대응하여 조정된 렌즈(22)의 위치값의 차이를 이용하여 움직임 점확산 함수를 산출하는 움직임 점확산 함수 산출부(400) 및 상기 움직임 점확산 함수를 이용하여 이미지를 보정하는 보정부(500)를 포함함으로써 카메라 모듈의 움직임이 한계 보정 각도 범위를 벗어나더라도 상기 움직임에 의해 흔들린 이미지를 선명하게 보정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 이미지 보정 방법을 설명하기 위한 순서도이며, 도 8은 도 7의 렌즈의 위치를 조정하는 단계의 일 실시예를 설명하기 위한 순서도이다.
도 7에 도시된 이미지 보정 방법의 일 실시예는, 도 1 내지 도 3을 참조하여 상술한 이미지 보정 장치(10)에서 수행되므로, 상술한 내용과 동일하거나 또는 그에 상응하는 내용에 대해서는 중복적으로 서술하지 아니한다.
도 7을 참조하면, 이미지 보정 장치(10)는 카메라 모듈(20)의 움직임을 감지할 수 있다(S410). 이후, 이미지 보정 장치(10)는 감지되는 카메라 모듈(20)의 움직임에 대응하여 렌즈(22)의 위치를 조정할 수 있다(S420).
일 실시예에서, 렌즈(22)의 위치를 조정하는 단계(S420)는 카메라 모듈(20)의 움직임을 보상하는 방향으로 렌즈(22)의 위치를 조정할 수 있다.
다음으로, 이미지 보정 장치(10)는 렌즈(22)의 위치를 감지할 수 있으며(S430), 상기 감지된 카메라 모듈(20)의 움직임 값과 렌즈(22)의 위치 값의 차이를 이용하여 움직임 점확산 함수를 산출할 수 있다(S440).
이후, 이미지 보정 장치(10)는 상기 산출한 움직임 점확산 함수를 이용하여 카메라 모듈(20)에 의해 촬영된 이미지를 보정할 수 있다(S450).
일 실시예에서, 렌즈의 위치를 조정하는 단계(S420)는, 도 8에서와 같이, 감지되는 카메라 모듈(20)의 움직임에 대응하는 렌즈(22)의 움직임 벡터를 산출하는 단계(S422) 및 상기 산출된 렌즈(22)의 움직임 벡터에 따라 렌즈(22)의 위치를 조정하는 단계(S424)를 포함할 수 있다.
일 실시예에서, 카메라 모듈(20)의 움직임을 감지하는 단계(S410) 내지 움직임 점확산 함수를 산출하는 단계(S430)는 카메라 모듈(20)의 셔터가 개방되어 있는 시간 동안에만 동작할 수 있으며, 상기 셔터가 개방되어 있는 시간에 따라 미리 설정된 횟수만큼 반복하여 수행할 수 있다.
도 9는 본 발명의 다른 일 실시예에 따른 이미지 보정 방법을 설명하기 위한 순서이다.
도 9에 도시된 이미지 보정 방법의 일 실시예는, 도 4를 참조하여 상술한 이미지 보정 장치(10)에서 수행되므로, 상술한 내용과 동일하거나 또는 그에 상응하는 내용에 대해서는 중복적으로 서술하지 아니한다.
도 9를 참조하면, 이미지 보정 장치(10)는 카메라 모듈(20)의 움직임을 감지하여 움직임값을 생성할 수 있다(S500).
다음으로, 이미지 보정 장치(10)는 외부로부터 렌즈의 위치 조정 단계를 수행할지 여부에 대한 외부신호를 수신할 수 있다(S510). 여기서, 렌즈 위치 조정 단계는 렌즈 제어부(200)에 의해 수행될 수 있으므로, 상기 외부신호는 렌즈 제어부(200)의 온/오프를 결정하는 신호일 수 있다. 여기서, 외부신호를 수신하는 단계(S510)는 움직임 값을 생성하는 단계(S500)보다 먼저 수행될 수 있다.
다음으로, 상기 외부신호가 렌즈 위치 조정을 수행하도록 하는 신호 즉, 렌즈 제어부(200)를 온시키는 신호인 경우(S520), 상기 카메라 모듈(20)의 움직임에 대응하여 렌즈의 위치를 조정할 수 있다(S530).
다음으로, 이미지 보정 장치(10)는 상기 조정된 렌즈의 위치를 감지하여 위치값을 생성할 수 있다(S540).
다음으로, 이미지 보정 장치(10)는 상기 생성된 움직임값과 위치값의 차이를 이용하여 움직임 점확산 함수를 산출할 수 있다(S550).
다음으로, 이미지 보정 장치(10)는 상기 산출된 움직임 점확산 함수를 이용하여 이미지를 보정할 수 있다(S560).
여기서, 상기 외부신호가 렌즈 위치 조정을 수행하지 않도록 하는 신호 즉, 렌즈 제어부(200)를 오프시키는 신호인 경우(S520), 이미지 보정 장치(10)는 상기 움직임값을 이용하여 움직임 점확산 함수를 산출할 수 있고(S570), 상기 산출된 움직임 점확산 함수를 이용하여 이미지를 보정할 수 있다(S540).
일 실시예에서, 렌즈의 위치를 조정하는 단계(S530)는, 도 8에서와 같이, 감지되는 카메라 모듈(20)의 움직임에 대응하는 렌즈(22)의 움직임 벡터를 산출하는 단계(S422) 및 상기 산출된 렌즈(22)의 움직임 벡터에 따라 렌즈(22)의 위치를 조정하는 단계(S424)를 포함할 수 있다.
일 실시예에서, 카메라 모듈(20)의 움직임을 감지하는 단계(S510) 내지 움직임 점확산 함수를 산출하는 단계(S530 또는 S540)는 카메라 모듈(20)의 셔터가 개방되어 있는 시간 동안에만 동작할 수 있으며, 상기 셔터가 개방되어 있는 시간에 따라 미리 설정된 횟수만큼 반복하여 수행할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
10 : 이미지 보정 장치
20 : 카메라 모듈
22 : 렌즈
24 : 이미지 생성부
100 : 제1 센서
200 : 렌즈 제어부
210 : 움직임 벡터 산출부
212 : PID 제어기
220 : 렌즈 구동부
300 : 제2 센서
400 : 움직임 점확산 함수 산출부
500 : 보정부

Claims (22)

  1. 카메라 모듈의 움직임을 감지하는 제1 센서;
    상기 제1 센서에 의해 감지된 카메라 모듈의 움직임에 대응하여 상기 카메라 모듈의 렌즈의 위치를 조정하는 렌즈 제어부;
    상기 움직임에 대응하여 조정된 상기 렌즈의 위치를 감지하는 제2 센서;
    상기 제1 센서에 의해 감지된 상기 카메라 모듈의 움직임과 상기 제2 센서에 의해 감지된 렌즈의 위치의 차이를 이용하여 움직임 점확산 함수를 산출하는 움직임 점확산 함수 산출부; 및
    상기 움직임 점확산 함수를 이용하여 상기 카메라 모듈로부터의 이미지를 보정하는 보정부; 를 포함하는 이미지 보정 장치.
  2. 제1항에 있어서, 상기 렌즈 제어부는,
    상기 제1 센서에 의해 감지되는 상기 카메라 모듈 움직임을 보상하는 방향으로 상기 렌즈의 위치를 조정하는 이미지 보정 장치.
  3. 제1항에 있어서,
    상기 제1 센서는, 상기 카메라 모듈의 각속도를 감지하며,
    상기 렌즈 제어부는, 상기 제1 센서에 의해 감지되는 카메라 모듈의 각속도에 대응하는 렌즈의 움직임 벡터를 산출하고, 상기 산출된 렌즈의 움직임 벡터에 따라 상기 렌즈의 위치를 조정하는 이미지 보정 장치.
  4. 제3항에 있어서, 상기 움직임 점확산 함수 산출부는,
    상기 제1 센서에 의해 감지되는 각속도 값과 상기 제2 센서에 의해 감지되는 상기 렌즈의 위치 값의 차이를 이용하여 움직임 점확산 함수를 산출하는 이미지 보정 장치.
  5. 제3항에 있어서, 상기 움직임 벡터는,
    상기 제1 센서에 의해 감지된 상기 각속도 값을 적분하여 산출하는 이미지 보정 장치.
  6. 제1항에 있어서, 상기 렌즈 제어부는,
    상기 제1 센서에 의해 감지되는 카메라 모듈의 움직임에 대응하는 렌즈의 움직임 벡터를 산출하는 움직임 벡터 산출부; 및
    상기 산출된 렌즈의 움직임 벡터에 따라 상기 렌즈의 위치를 조정하는 렌즈 구동부;
    를 포함하는 이미지 보정 장치.
  7. 제6항에 있어서, 상기 움직임 벡터 산출부는,
    상기 제2 센서로부터 상기 렌즈의 위치를 피드백 받아 상기 움직임 벡터를 산출하는 이미지 보정 장치.
  8. 제1항에 있어서, 상기 움직임 점확산 함수 산출부는,
    상기 카메라 모듈의 셔터가 개방된 시간 동안에만 동작하는 이미지 보정 장치.
  9. 제1항에 있어서, 상기 제1 센서는,
    상기 카메라 모듈의 각속도를 검출하는 자이로 센서인 이미지 보정 장치.
  10. 제1항에 있어서, 제2 센서는,
    상기 렌즈의 위치를 검출하는 홀 센서인 이미지 보정 장치.
  11. 제1항에 있어서,
    상기 렌즈 제어부는, 외부 신호에 의해 온(On)/오프(Off)되며,
    상기 렌즈 제어부가 오프(Off)된 경우, 상기 움직임 점확산 함수 산출부는, 상기 제1 센서에 의해 감지된 카메라 모듈의 움직임을 이용하여 움직임 점확산 함수를 산출하는 이미지 보정 장치.
  12. 제11항에 있어서,
    상기 제1 센서는, 상기 카메라 모듈의 각속도를 감지하여 각속도값을 생성하며,
    상기 움직임 점확산 함수 산출부는, 상기 제1 센서에 의해 감지되는 각속도값을 이용하여 움직임 점확산 함수를 산출하는 이미지 보정 장치.
  13. 카메라 모듈의 움직임을 검출하여 움직임 값을 생성하는 모션 센서;
    상기 움직임값을 이용하여 상기 움직임에 대응되는 움직임 벡터를 산출하고, 상기 움직임 벡터에 따라 상기 카메라 모듈의 렌즈의 위치를 조정하는 렌즈 제어부;
    상기 렌즈의 위치를 측정하는 위치값을 생성하는 홀 센서;
    상기 움직임값과 상기 움직임에 대응하여 조정된 렌즈의 위치값을 비교하여 움직임 점확산 함수를 산출하는 움직임 점확산 함수 산출부; 및
    상기 움직임 점확산 함수를 이용하여 상기 렌즈를 통해 촬상되는 이미지를 보정하는 보정부; 를 포함하되,
    상기 렌즈 제어부 및 움직임 점확산 함수 산출부는 상기 카메라 모듈의 셔터가 개방되어 있는 시간 동안에만 동작하는 이미지 보정 장치.
  14. 제13항에 있어서, 상기 렌즈 제어부는,
    상기 모션 센서에 의해 감지되는 카메라 모듈의 움직임값에 대응하는 렌즈의 움직임 벡터를 산출하고, 상기 산출된 렌즈의 움직임 벡터에 따라 상기 렌즈의 위치를 조정하는 이미지 보정 장치.
  15. 제14항에 있어서,
    상기 모션 센서는, 상기 카메라 모듈의 각속도를 감지하여 각속도값을 생성하는 자이로 센서를 포함하며,
    상기 렌즈 제어부는, 상기 자이로 센서에 의해 감지된 상기 각속도 값을 적분하여 움직임 벡터를 산출하는 이미지 보정 장치.
  16. 제13항에 있어서, 상기 렌즈 제어부는,
    상기 모션 센서에 의해 감지되는 카메라 모듈의 움직임값에 대응하는 렌즈의 움직임 벡터를 산출하는 움직임 벡터 산출부; 및
    상기 산출된 렌즈의 움직임 벡터에 따라 상기 렌즈의 위치를 조정하는 렌즈 구동부;
    를 포함하는 이미지 보정 장치.
  17. 제16항에 있어서, 상기 움직임 벡터 산출부는,
    상기 홀 센서로부터 상기 렌즈의 위치를 피드백 받아 상기 움직임 벡터를 산출하는 이미지 보정 장치.
  18. 제13항에 있어서,
    상기 렌즈 제어부는, 외부 신호에 의해 온(On)/오프(Off)되며,
    상기 렌즈 제어부가 오프(Off)된 경우, 상기 움직임 점확산 함수 산출부는, 상기 움직임값을 이용하여 움직임 점확산 함수를 산출하는 이미지 보정 장치.
  19. 카메라 모듈의 움직임을 감지하여 움직임값을 생성하는 단계;
    상기 카메라 모듈의 움직임값에 대응하여 상기 카메라 모듈의 렌즈의 위치를 조정하는 단계;
    상기 렌즈의 위치를 감지하여 상기 렌즈의 위치값을 생성하는 단계;
    상기 움직임값과 상기 움직임에 대응하여 조정된 렌즈의 위치값의 차이를 이용하여 움직임 점확산 함수를 산출하는 단계; 및
    상기 움직임 점확산 함수를 이용하여 상기 카메라 모듈로부터의 이미지를 보정하는 단계;
    를 포함하는 이미지 보정 방법.
  20. 제19항에 있어서, 상기 렌즈의 위치를 조정하는 단계는,
    상기 감지되는 카메라 모듈의 움직임에 대응하는 렌즈의 움직임 벡터를 산출하는 단계; 및
    상기 산출된 렌즈의 움직임 벡터에 따라 상기 렌즈의 위치를 조정하는 단계를 포함하는 이미지 보정 방법.
  21. 제19항에 있어서,
    상기 카메라 모듈의 움직임을 감지하는 단계 내지 상기 움직임 점확산 함수를 산출하는 단계는,
    상기 카메라 모듈의 셔터가 개방되어 있는 시간에 따라 미리 설정된 횟수만큼 반복하여 수행하는 이미지 보정 방법.
  22. 제19항에 있어서, 상기 카메라 모듈의 움직임을 감지하는 단계 이후에,
    외부 신호에 의해 렌즈의 위치 조정 단계의 수행 여부를 결정하는 단계;
    상기 렌즈 위치 조정 단계를 수행하지 않는 경우, 상기 감지된 카메라 모듈의 움직임을 이용해 움직임 점확산 함수를 산출하는 단계; 및
    상기 움직임 점확산 함수를 이용하여 상기 카메라 모듈로부터의 이미지를 보정하는 단계; 를 더 포함하는 이미지 보정 방법.
KR1020140181521A 2014-01-03 2014-12-16 이미지 보정 장치 및 그 방법 KR20150081231A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510002262.6A CN104767930A (zh) 2014-01-03 2015-01-04 用于图像校正的设备和方法
US14/589,720 US20150195461A1 (en) 2014-01-03 2015-01-05 Apparatus and method for image correction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140000753 2014-01-03
KR1020140000753 2014-01-03

Publications (1)

Publication Number Publication Date
KR20150081231A true KR20150081231A (ko) 2015-07-13

Family

ID=53496159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140181521A KR20150081231A (ko) 2014-01-03 2014-12-16 이미지 보정 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20150195457A1 (ko)
KR (1) KR20150081231A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6341691B2 (ja) * 2014-02-26 2018-06-13 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
US10306148B2 (en) 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
JP7152588B2 (ja) 2019-02-20 2022-10-12 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4842991B2 (ja) * 2008-04-25 2011-12-21 オンセミコンダクター・トレーディング・リミテッド 振動補正制御回路およびそれを搭載する撮像装置
JP2009300614A (ja) * 2008-06-11 2009-12-24 Canon Inc 撮像装置
JP5553597B2 (ja) * 2009-12-25 2014-07-16 キヤノン株式会社 撮像装置及びその制御方法
KR101643617B1 (ko) * 2010-07-28 2016-08-10 삼성전자주식회사 디지털 촬영 장치 및 그의 슬립 모드 제어 방법

Also Published As

Publication number Publication date
US20150195457A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
US20150195461A1 (en) Apparatus and method for image correction
US10425584B2 (en) Image pickup system, control method thereof, image pickup apparatus, and lens device
US7564482B2 (en) Image capturing device, correction device, mobile phone, and correcting method
JP5011387B2 (ja) 撮像装置
US10277819B2 (en) Method for calibrating driving amount of actuator configured to correct blurring of image taken by camera
US9124806B1 (en) Apparatus and method for correcting image
KR20160068407A (ko) 촬영 장치 및 촬영 장치의 제어 방법
US8743221B2 (en) Image capture apparatus and control method thereof
CN104345517A (zh) 图像抖动校正设备和方法、镜筒、光学设备以及摄像设备
CN104767930A (zh) 用于图像校正的设备和方法
KR102194711B1 (ko) 카메라 모듈 손떨림 보정 장치 및 이의 게인 조정 방법
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
JP2014021491A (ja) レンズ手ブレ補正システム及びその方法
JP2014068336A (ja) 撮像装置および画像処理装置
KR20150081231A (ko) 이미지 보정 장치 및 그 방법
JP2017219635A5 (ko)
CN107040708B (zh) 图像稳定模块及相机模块
KR20110058518A (ko) 손떨림 보정 방법 및 이를 적용한 촬영 장치
JP2013138413A (ja) 撮像装置
JP4983151B2 (ja) カメラ
CN106856550A (zh) 光学式图像稳定化模块以及相机模块
US9270884B2 (en) Imaging apparatus and detecting apparatus
JP4653043B2 (ja) 撮像装置およびその制御方法
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
JP2007121501A (ja) カメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application