KR102305118B1 - 이미지 안정화 방법 및 그 전자 장치 - Google Patents

이미지 안정화 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR102305118B1
KR102305118B1 KR1020150020998A KR20150020998A KR102305118B1 KR 102305118 B1 KR102305118 B1 KR 102305118B1 KR 1020150020998 A KR1020150020998 A KR 1020150020998A KR 20150020998 A KR20150020998 A KR 20150020998A KR 102305118 B1 KR102305118 B1 KR 102305118B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
storage
stabilization
frames
Prior art date
Application number
KR1020150020998A
Other languages
English (en)
Other versions
KR20160098853A (ko
Inventor
이용구
이호민
김문수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150020998A priority Critical patent/KR102305118B1/ko
Priority to US15/041,265 priority patent/US9838603B2/en
Publication of KR20160098853A publication Critical patent/KR20160098853A/ko
Application granted granted Critical
Publication of KR102305118B1 publication Critical patent/KR102305118B1/ko

Links

Images

Classifications

    • H04N5/23254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H04N5/23267—
    • H04N5/2328—
    • H04N5/2329—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 다양한 실시 예는 이미지 안정화 방법 및 그 전자 장치에 관한 것으로, 본 개시의 다양한 실시 예에 따르면, 전자 장치의 방법에 있어서, 상기 전자 장치에서, 상기 전자 장치와 기능적으로 연결된 적어도 하나의 이미지 센서를 이용하여 이미지를 획득하는 동작; 상기 이미지에 제 1 방식의 디지털 이미지 안정화가 적용되어 생성된 제 1 이미지를 상기 전자 장치와 기능적으로 연결된 디스플레이에 표시하는 동작; 및 상기 이미지에 제 2 방식의 디지털 이미지 안정화가 적용된 제 2 이미지를 스토리지에 저장하는 동작을 포함할 수 있다. 또한, 본 개시의 다양한 실시 예는 상술한 실시 예와 다른 실시 예들도 포함한다.

Description

이미지 안정화 방법 및 그 전자 장치 {Method for stabilizing image and electronic device thereof}
본 개시의 다양한 실시 예는, 이미지 안정화 장치 및 그 전자 장치에 관한 것이다.
일반적으로 이미지 안정화(IS: Image Stabilization)는, 카메라 떨림 보정 또는 손 떨림 보정 등으로 다양하게 일컬어질 수 있으며, 카메라가 이동하는 상태 또는 고정된 상태에서, 촬영자가 의도하지 않은 손 떨림 또는 카메라 떨림 등이 발생하여, 촬영되는 피사체의 이미지가 진동(vibration)하는 것을 방지하기 위한 것이다.
상기 이미지 안정화(IS)은, 디지털 카메라 또는 스마트 폰 등과 같은 다양한 유형의 전자 장치에 적용될 수 있으며, 광학 이미지 안정화(OIS: Optical Image Stabilization)과 디지털 이미지 안정화(DIS: Digital Image Stabilization) 등으로 구분될 수 있다.
상기 광학 이미지 안정화(OIS)는, 예를 들어, 카메라 렌즈의 떨림을 기계적으로 보상하여 상쇄시킴으로써, 촬영되는 피사체의 이미지를 안정화시킬 수 있고, 상기 디지털 이미지 안정화(DIS)는, 촬영되는 피사체의 이미지에 기반하여 떨림 성분을 검출하고, 상기 떨림 성분에 연동하여, 상기 피사체의 이미지 외곽 일부를 선택적으로 제거하는 크롭(crop) 동작을 수행함으로써, 촬영되는 피사체의 이미지를 안정화시킬 수 있다.
본 개시의 다양한 실시 예는, 예를 들어, 스마트 폰 등과 같은 다양한 유형의 전자 장치에서, 프리뷰(preview) 화면에 디스플레이할 표시용 이미지와 스토리지(storage)에 저장할 저장용 이미지에 대해, 서로 다른 방식의 디지털 이미지 안정화(DIS)를 적용하여, 효율적인 이미지 처리가 수행될 수 있도록 하기 위한 이미지 안정화 방법과 그 전자 장치를 제공한다.
본 개시의 다양한 실시 예에 따르면, 전자 장치의 방법에 있어서, 상기 전자 장치에서, 상기 전자 장치와 기능적으로 연결된 적어도 하나의 이미지 센서를 이용하여 이미지를 획득하는 동작; 상기 이미지에 제 1 방식의 디지털 이미지 안정화가 적용되어 생성된 제 1 이미지를 상기 전자 장치와 기능적으로 연결된 디스플레이에 표시하는 동작; 및 상기 이미지에 제 2 방식의 디지털 이미지 안정화가 적용된 제 2 이미지를 스토리지에 저장하는 동작을 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 전자 장치에 있어서, 이미지를 촬영하는 이미지 센서; 상기 이미지를 신호 처리하는 프로세서; 상기 이미지를 프리뷰 화면에 표시하는 디스플레이; 및 상기 이미지를 저장하는 스토리지를 포함하되, 상기 프로세서는, 상기 프리뷰 화면에 표시될 표시용 이미지에 제1 방식의 디지털 이미지 안정화를 적용하고, 상기 스토리지에 저장될 저장용 이미지에 제2 방식의 디지털 이미지 안정화를 적용할 수 있다.
본 개시의 다양한 실시 예에 따르면, 예를 들어, 스마트 폰 등과 같은 다양한 유형의 전자 장치에서, 디지털 이미지 안정화(DIS) 동작을 수행하는 경우, 프리뷰 화면에 디스플레이할 표시용 이미지는, 신속하게 보정하여 실시간으로 표시하고, 스토리지에 저장할 저장용 이미지는 정확하게 떨림을 보정하여 저장할 수 있다.
도 1은 본 개시의 다양한 실시 예에 따른 전자 장치의 블록도를 예시한 도면이다.
도 2는 본 개시의 다양한 실시 예에 따른 디지털 이미지 안정화 방법에 대한 동작 흐름도를 예시한 도면이다.
도 3은 본 개시의 다양한 실시 예에 따른 전자 장치에서 손 떨림이 발생하는 상황을 예시한 도면이다.
도 4는 본 개시의 다양한 실시 예에 따른 전자 장치에 표시되는 이미지와 저장되는 이미지를 예시한 도면이다.
도 5는 본 개시의 다양한 실시 예에 따른 디지털 이미지 안정화 동작을 예시한 도면이다.
도 6은 본 개시의 다양한 실시 예에 따른 떨림 보정 값을 그래프로 예시한 도면이다.
도 7은 본 개시의 다양한 실시 예에 따른 디지털 이미지 안정화의 데이터 처리 구조를 예시한 도면이다.
도 8은 본 개시의 다양한 실시 예에 따른 전자 장치에서 떨림이 보정된 이미지를 표시 및 저장하는 과정을 시간적으로 예시한 도면이다.
도 9는 본 개시의 다양한 실시 예에 따른 전자 장치의 프리뷰와 저장 동작에 대한 시간 차이를 예시한 도면이다.
이하, 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 설명한다. 본 개시의 다양한 실시 예는 여러 형태의 변경을 가할 수 있으며, 본 개시의 다양한 실시 예에 따른 전자 장치는, 디지털 카메라는 물론, 카메라 모듈과 같은 이미지 촬영 수단이 구비된 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치일 수 있다.
상기 카메라 모듈은, 정지 영상 및 동영상을 촬영할 수 있는 하나의 모듈로서, 한 실시예에 따르면, 하나 이상의 이미지 센서 (예: 전면 센서 또는 후면 센서), 렌즈, ISP (image signal processor), 또는 플래쉬 (flash)(예: LED 또는 xenon lamp)를 포함할 수 있다. 이하에서 상세히 설명하는 특정 실시예에 한정되지 않음은 당업자에게 자명하다.
도 1은, 본 개시의 다양한 실시 예에 따른 전자 장치의 블록도를 예시한 도면이다. 예를 들어, 상기 전자 장치 100은, 디지털 카메라 또는 스마트 폰 등과 같은 다양한 유형의 전자 장치일 수 있다.
도 1을 참조하면, 상기 전자 장치 100은, 이미지 센서(image sensor) 11, 프로세서(processor) 12, 디스플레이(display) 13, 스토리지(storage) 14, 버퍼(buffer) 15, 그리고 자이로 센서(gyro sensor) 16 등을 포함할 수 있다.
상기 이미지 센서 11은, CCD(Charge Coupled Device) 또는 CIS(CMOS Image Sensor) 등과 같은 다양한 유형의 이미지 센서가 사용될 수 있고, 실시간으로 이미지를 연속해서 촬영할 수 있다. 상기 이미지 센서 11은, 예를 들어, 고해상도의 이미지들을 연속적으로 촬영하여 출력할 수 있고, 상기 고해상도의 이미지들은, 상기 버퍼 15 내에 순차적으로 임시 저장될 수 있으며, 상기 버퍼 15는, 예를 들어, 링(ring) 버퍼 등이 사용될 수 있다.
상기 링 버퍼에 임시 저장된 고해상도의 이미지들은, 예를 들어, 상대적으로 낮은 해상도의 이미지들로 다운 스케일링(down scaling) 되어 표시용 이미지로 디스플레이 될 수 있다. 반면, 상기 스토리지 14에는, 상기 링 버퍼에 임시 저장된 고해상도의 이미지들이 저장될 수 있다
즉, 상기 디스플레이를 통해 프리뷰 화면으로 표시되는 표시용 이미지와, 상기 스토리지에 저장되는 저장용 이미지는, 서로 동일한 장면의 이미지이되, 상기 표시용 이미지의 해상도(예: HD 급)와 상기 저장용 이미지의 해상도(예: FHD급)는 서로 다를 수 있다.
상기 프로세서 12는, 이미지 신호 처리(ISP: Image Signal Processor) 블록 12a과 디지털 이미지 안정화(DIS) 블록 12b을 포함할 수 있으며, 상기 디지털 이미지 안정화 블록 12b은, 제1 방식의 디지털 이미지 안정화(DIS1) 블록 12b1과 제2 방식의 디지털 이미지 안정화(DIS2) 블록 12b2을 포함할 수 있다. 한 실시예에 따르면, 상기 프로세서12는, 광학 이미지 안정화(OIS) 블록(미도시)을 포함할 수 있다. 상기 프로세서 12는, 어플리케이션(application) 프로세서 등으로 다양하게 일컬어질 수 있으며, 상기 촬영되는 이미지를 신호를 처리할 수 있고, 상기 버퍼 15에 임시 저장된 적어도 2 개 이상의 이미지에 기반하여, 디지털 이미지 안정화(DIS) 동작을 수행할 수 있다.
상기 디스플레이 13은, 상기 프로세서 12의 제1 방식의 디지털 이미지 안정화 동작을 통해, 떨림이 보정된 이미지를 프리뷰(preview) 화면에 표시할 수 있고, 상기 스토리지 14는, 상기 프로세서 12의 제2 방식의 디지털 이미지 안정화 동작을 통해 떨림이 보정된 이미지를 저장할 수 있다.
예를 들어, 상기 프로세서 12는, 상기 디스플레이 13에 표시할 표시용 이미지에 대해서는, 제1 방식의 디지털 이미지 안정화(DIS1)를 적용하고, 상기 스토리지 14에 저장할 저장용 이미지에 대해 제2 방식의 디지털 이미지 안정화(DIS2)를 적용할 수 있다. 한 실시예에 따르면, 상기 제1 방식의 디지털 이미지 안정화(DIS1)는, 제1 지연 시간이 소요되고, 상기 제2 방식의 디지털 이미지 안정화는, 제2 지연 시간이 소요되며, 상기 제1 지연 시간은, 영(zero) 이상이면서, 상기 제2 지연 시간 보다 짧은 시간일 수 있다.
한 실시예에 따르면, 상기 제1 방식의 디지털 이미지 안정화(DIS1)는, 이전과 현재의 K 개의 이미지 프레임들에 기반하여 떨림을 보정하고, 상기 제2 방식의 디지털 이미지 안정화(DIS2)는, 이전과 현재와 이후의 K 개 이상의 이미지 프레임들에 기반하여 떨림을 보정하는 것으로, 상기 K은, 2 이상의 자연수일 수 있다.
한 실시예에 따르면, 상기 K 개 또는 K 개 이상의 이미지 프레임들은, 상기 이미지 센서 11에 의해 연속적으로 촬영된 후, 상기 버퍼 15에 순차적으로 임시 저장되는 것으로, 예를 들어, 상기 버퍼 15가 1 개의 이미지 프레임을 임시 저장할 수 있는 용량의 버퍼인 경우, 상기 디지털 이미지 안정화를 수행하기 위해서는 K 개 또는 K 개 이상의 버퍼들이 필요할 수 있다.
한 실시예에 따르면, 상기 프로세서 12는, 상기 자이로 센서 16에 의해, 상기 전자 장치 100의 떨림에 해당하는 모션 데이터(motion data)가 검출되면, 상기 모션 데이터를, 상기 이미지의 떨림 보정에 반영하되, 상기 모션 데이터가, 사전에 설정된 기준 값 이하이면, 상기 모션 데이터를 무시하여, 신뢰성이 없는 검출 결과가, 상기 이미지의 떨림 보정 동작에 반영되지 않도록 할 수 있다.
도 2는, 본 개시의 다양한 실시 예에 따른 디지털 이미지 안정화 방법에 대한 동작 흐름도를 예시한 도면이다. 도 2를 참조하면, 동작 200에서, 상기 전자 장치 100의 프로세서 12는, 사용자의 요청 등에 따라 동영상 촬영 동작을 수행할 수 있다.
동작 201에서, 상기 프로세서 12는, 상기 동영상 촬영 동작을 수행하는 동안, 촬영되는 이미지의 떨림을 검출할 수 있다. 예를 들어, 상기 자이로 센서 16에 의해 검출되는 모션 데이터(motion data)와, 상기 이미지 센서 16에 의해 촬영되는 이미지들을 비교하여 검출되는 모션 벡터(motion vector) 중 어느 하나 이상에 기반하여, 상기 촬영되는 이미지의 떨림(예: 사용자의 손 떨림, 또는 장치의 떨림 등)을 검출할 수 있다.
동작 202에서, 상기 프로세서 12는, 상기 떨림이 검출되면, 떨림 보정을 위한 디지털 이미지 안정화 동작을 수행하되, 상기 떨림 보정이 필요한 이미지가, 표시용 이미지인 경우, 동작 203에서, 상기 프로세서 12는, 제1 방식의 디지털 이미지 안정화(DIS1) 동작을 적용할 수 있다.
동작 204에서, 상기 프로세서 12는, 상기 제1 방식의 디지털 이미지 안정화(DIS1)을 적용하여 떨림을 보정한 이미지를, 상기 디스플레이 13를 통해서 표시할 수 있다.
동작 205에서, 상기 프로세서 12는, 상기 떨림 보정이 필요한 이미지가, 저장용 이미지인 경우, 동작 206에서, 상기 프로세서 12는, 제2 방식의 디지털 이미지 안정화(DIS2) 동작을 적용할 수 있다.
동작 207에서, 상기 프로세서 12는, 상기 제2 방식의 디지털 이미지 안정화(DIS2)을 적용하여 떨림을 보정한 이미지를, 상기 스토리지 14에 저장할 수 있다.
동작 208에서, 상기 프로세서 12는, 사용자 등에 의해 촬영 중지가 요청되면, 동작 209에서, 상기 프로세서 12는, 상기 디스플레이 13의 프리뷰 화면 표시를 중지시키되, 동작 210에서, 상기 프로세서 12는, 소정 시간 동안 계속 저장을 유지한 후, 저장 동작을 중지할 수 있다.
예를 들어, 상기 프로세서 12는, 상기 촬영 중지가 요청된 시점에 프리뷰 화면으로 표시된 마지막 표시용 이미지와 대응하는 장면에 해당하는 저장용 이미지까지 저장한 후, 저장을 중지시킬 수 있다.
상기 프로세서 12는, 상기 저장용 이미지까지 저장한 후 저장을 중지하는 동작을, 사용자가 인지하지 못하는 백그라운드(background) 동작으로 수행할 수 있다.
도 3은, 본 개시의 다양한 실시 예에 따른 전자 장치에서 손 떨림이 발생하는 상황을 예시한 도면이고, 도 4는, 본 개시의 다양한 실시 예에 따른 전자 장치에 표시되는 이미지와 저장되는 이미지를 예시한 도면이다.
도 3을 참조하면, 상기 전자 장치 100은, 예를 들어, 스마트 폰 또는 디지털 카메라 등일 수 있고, 사용자 300은, 상기 전자 장치 100을 이용하여, 실시간으로 동영상을 촬영할 수 있다.
상기 전자 장치 100은, 상기 사용자 300의 촬영 자세 불안 등으로 인해, 손 떨림 현상이 발생할 수 있고, 상기 손 떨림으로 인해, 촬영 피사체의 이미지가 불안정하게 떨릴 수 있다.
도 4를 참조하면, 상기 전자 장치 100은, 상기 손 떨림 현상이 발생하는 경우, 상기 디스플레이 13의 프리뷰 화면에 표시될 표시용 이미지 40a에 대해서는 디지털 이미지 안정화를 적용하지 않고, 상기 스토리지 14에 저장될 저장용 이미지 40b에 대해서만 디지털 이미지 안정화를 적용할 수 있다. 그러나, 이 경우, 상기 프리뷰 화면에 표시되는 표시용 이미지 40a가 계속 흔들리기 때문에 상기 사용자 300가 촬영에 불편함을 느낄 수 있다.
본 개시의 다양한 실시 예에서는, 상기 디스플레이 13의 프리뷰 화면에 표시될 표시용 이미지 40c에 대해서는, K 개의 이미지 프레임들에 기반하여 떨림을 보정하는 제1 방식의 디지털 이미지 안정화(DIS1)를 적용하고, 상기 스토리지 14에 저장될 저장용 이미지 40d에 대해서는, K 개 이상의 이미지 프레임들에 기반하여 떨림을 보정하는 제2 방식의 디지털 이미지 안정화(DIS2)를 적용할 수 있다.
이에 따라, 상기 프리뷰 화면에 표시되는 표시용 이미지 40c는, 제 1 레벨(예: 약한 떨림 보정)로 떨림이 보정된 이미지가 신속하게 표시되고, 상기 스토리지 14에 저장되는 저장용 이미지 40d는, 제 2 레벨(예: 강한 떨림 보정)로 떨림이 보정된 이미지가 저장될 수 있다.
도 5는, 본 개시의 다양한 실시 예에 따른 디지털 이미지 안정화 동작을 예시한 도면이다. 도 5를 참조하면, 상기 프로세서 12는, 상기 표시용 이미지 40c를 상기 디스플레이 13의 프리뷰 화면에 표시하면서, 상기 저장용 이미지 40d를 상기 스토리지 14에 저장할 수 있다, 이때, 상기 표시와 저장은, 소정의 시간 차(time interval)를 갖고 병렬적으로 수행될 수 있다.
예를 들어, 상기 표시용 이미지 40c 에 적용되는 제1 방식의 디지털 이미지 안정화(DIS1)가, 이전과 현재의 3 개의 이미지 프레임(예: N-2, N-1, N 이미지 프레임)에 기반한 제1 레벨의 약한 떨림 보정이고, 상기 저장용 이미지 40d에 적용되는 제2 방식의 디지털 이미지 안정화(DIS2)가, 이전과 현재와 이후의 5 개의 이미지 프레임(예: N-2, N-1, N, N+1, N+2 이미지 프레임)에 기반한 제2 레벨의 강한 떨림 보정일 수 있다.
상기 약한 떨림 보정은, 신속하게 처리되기 때문에, 실시간(real-time) 떨림 보정으로 지연시간이 영(zero)일 수 있고, 상기 강한 떨림 보정은, 상기 약한 떨림 보정 보다 시간 지연이 길기 때문에, 지연된(delayed) 떨림 보정 등으로 다양하게 일컬어질 수 있다.
이 경우, 상기 저장용 이미지 40d가 저장되는 시점은, 상기 표시용 이미지 40c가 디스플레이되는 시점 이후 적어도 1 개 이상의 이미지 프레임을 이용하여 신호 처리하는 데 소요되는 시간 이상 지연된 시점이 될 수 있다.
예를 들어, 도 5를 참조하면, 3 개의 이미지 프레임들에 기반한 제1 방식의 디지털 이미지 안정화(DIS1)의 경우, n 번째 프레임 Fn에 대한 떨림을, n-1 번째 프레임 Fn-1과 n-2 번째 프레임 Fn-2을 이용하여 검출 및 보정하기 때문에, 상기 n 번째 프레임 Fn에서 떨림이 보정된 이미지 프레임Fn’은, 거의 실시간으로 프리뷰 화면에 디스플레이될 수 있다.
반면, 5 개의 이미지 프레임들에 기반한 제2 방식의 디지털 이미지 안정화(DIS2)의 경우, n 번째 프레임 Fn에 대한 떨림을, n-2 번째 프레임, Fn-2, n-1 번째 프레임 Fn-1, n+1 번째 프레임 Fn+1, 그리고 n+2 번째 프레임 Fn+2을 이용하여 검출 및 보정하기 때문에, 상기 n 번째 프레임에서 떨림이 보정된 이미지 프레임 Fn”은, 적어도 상기 n+2 번째 프레임 Fn+2이 신호 처리된 이후에 생성이 가능하다.
이에 따라, 상기 제1 방식의 디지털 이미지 안정화(DIS1)에 의해 떨림이 보정된 이미지 프레임 Fn’과, 상기 제2 방식의 디지털 이미지 안정화(DIS2)에 의해 떨림이 보정된 이미지 프레임 Fn” 간의 생성 시점에는, 소정의 시간 차가 발생할 수 있으며, 또한 상기 이미지 프레임 Fn’의 표시 시점과, 상기 이미지 프레임 Fn”의 저장 시점 간에도, 시간 차가 발생할 수 있다.
도 6은, 본 개시의 다양한 실시 예에 따른 떨림 보정 값을 그래프로 예시한 도면이다. 예를 들어, 상기 전자 장치 100가, 서서히 이동하는 동안 손 떨림이 발생하면, 상기 서서히 이동하는 동작에 따른 저주파 펄스와 상기 손 떨림에 따른 고주파 펄스가 동시에 측정될 수 있다,
도 6을 참조하면, 상기 전자 장치 100에는, 촬영 이미지들 간의 비교를 통해 모션을 평가하기 위한 제1 모션 평가(ME1: Motion Estimator1) 블록 63a과, 자이로 센서의 검출 신호를 통해 모션을 평가하기 위한 제2 모션 평가(ME2: Motion Estimator2) 블록 64를 포함할 수 있다.
상기 제2 모션 평가 블록 64a에서 출력되는 신호는, 고주파 신호일 수 있고, 상기 제1 모션 평가 블록 63a에서 출력되는 신호는, 상대적으로 저주파 신호일 수 있다.
도 6에 도시한 바와 같이, 상기 고주파 신호는, 고주파의 컷 오프(cut off) 값을 갖는 하이 패스 필터(HPF: High Pass Filter) 64b를 통과하여, 고주파 모션 벡터(HFMV: High Frequency Motion Vector) 블록 64c으로 입력되며, 상기 고주파 모션 벡터 블록 64c에서는, 도 6의 가는 실선 60의 펄스 신호로 출력될 수 있다.
반면, 상기 저주파 신호는, 저주파의 컷 오프(cut off) 값을 갖는 로우 패스 필터(LPF: Low Pass Filter) 63b를 통과하여, 저주파 모션 벡터(LFMV: Low Frequency Motion Vector) 블록 63c으로 입력되며, 상기 저주파 모션 벡터 블록 63c에서는, 도 6의 점선 66의 펄스 신호로 출력될 수 있다.
그리고, 상기 펄스 신호들 65, 66은, 머지(merge) 블록 65에 의해 합성되어, 도 6의 굵은 실선 62로 출력될 수 있으며, 상기 굵은 실선 62는, 이미지 보정 블록 66에 입력되어, 떨림 보정에 사용될 수 있다.
여기서, 상기 블록들은 소프트웨어 또는 하드웨어 등으로 다양하게 설계될 수 있으며, 하나의 구성으로 집적되거나, 다수의 구성으로 분리될 수 있고, 임의의 다른 명칭으로 일컬어질 수 있다.
한 실시 예로서, 상기 프로세서 12는, 사용자가 걸어서 움직이면서 동영상을 촬영하는 경우, 실제 움직임에 따른 이미지 프레임들 간의 모션 벡터와, 상기 자이로 센서 16에 의해 검출되는 자이로 정보를 이용하여, 상기 전자 장치 100의 떨림 여부 등을 판단할 수 있다.
예를 들어, 상기 전자 장치 100가, 손 떨림 없이 고정된 상태임에도 불구하고, 촬영되는 피사체의 전체적인 움직임에 따라서는, 상기 이미지 프레임들 간의 모션 벡터에, 떨림 성분이 존재하는 값으로 검출될 수 있다.
반면, 이 경우, 상기 자이로 센서는, 떨림 성분이 없는 안정된 검출 값을 출력하기 때문에, 피사체의 전체적인 움직임을 손 떨림으로 잘못 판단하는 것을 예방할 수 있다.
도 7은, 본 개시의 다양한 실시 예에 따른 디지털 이미지 안정화의 데이터 처리 구조를 예시한 도면이다. 도 7을 참조하면, 상기 전자 장치 100은, 이미지 센서 70에 의해 연속적으로 촬영되는 고해상도(예: FHD 급)의 이미지들을, 예를 들어, K 개의 링 버퍼 72에 순차적으로 임시 저장할 수 있으며, 모션 검출(Motion Detection) 블록 71에 의해 검출된 모션 데이터(MD: Motion Data)를, 상기 이미지와 함께 링 버퍼 내에 임시 저장할 수 있다.
상기 전자 장치 100은, 상기 링 버퍼 내에 저장된 고해상도(예: FHD 급)의 이미지들 중 K 개(예: N-2, N-1, N 이미지 프레임)의 이미지들을 독출하여 상대적으로 낮은 저해상도(예: HD 급)의 이미지들로 다운 스케일링(down scaling)한 후, 제1 모션 보정(Motion Compensation) 블록 73을 거쳐, 실시간으로 신속하게 떨림이 보정된 표시용 이미지를 프리뷰 화면으로 디스플레이할 수 있다.
상기 전자 장치 100은, 상기 동작과 병렬적으로, 상기 링 버퍼 내에 저장된 고해상도(예: FHD 급)의 이미지들 중 K 개 이상(예: N-2, N-1, N, N+1, N+2 이미지 프레임)의 이미지들을 독출하고, 제2 모션 보정(Motion Compensation) 블록 74을 거쳐, 충분히 정확하게 떨림이 보정된 저장용 이미지를 코덱 75로 출력하여 스토리지에 저장시킬 수 있다.
상기 전자 장치는, 다양한 모션 정보, 예를 들어, 직선 운동, 회전 운동, 회전 중심 점, 그리고 롤링(rolling) 량 등과 같은 다양한 모션 정보를 검출할 수 있다. 상기 전자 장치 100은, 상기 자이로 센서 16은 물론, 가속도 센서 등을 이용하여, 떨림 등을 검출할 수 있다. 상기 링 버퍼에 임시 저장되는 각 이미지에는, 해당 이미지의 프레임 번호와 모션 검출 데이터 등이 메타 데이터로 태깅(tagging)될 수 있다.
도 8은, 본 개시의 다양한 실시 예에 따른 전자 장치에서 떨림이 보정된 이미지를 표시 및 저장하는 과정을 시간적으로 예시한 도면이다. 도 8을 참조하면, 상기 전자 장치 100은, 상기 디스플레이 13의 프리뷰 화면에 디스플레이 되는 표시용 이미지에 대해서는, K 개의 이미지 프레임들(예: n-2, n-1, n 이미지 프레임)에 기반한 제1 방식의 디지털 이미지 안정화(DIS1)를 적용할 수 있다.
상기 전자 장치 100은, 상기 스토리지 14에 저장되는 저장용 이미지에 대해서는, K 개 이상의 이미지 프레임들(예: n-2, n-1, n, n+1, n+2 이미지 프레임)에 기반한 제2 방식의 디지털 이미지 안정화(DIS2)를 적용할 수 있다.
이에 따라, 상기 디스플레이 13의 프리뷰 화면에 디스플레이 되는 표시용 이미지 80a~80c 와, 상기 스토리지 14에 저장되는 저장용 이미지 81a~81c 간에는, 도 8에 도시한 바와 같이, 소정의 시간 차(time interval) 82가 발생할 수 있다.
도 9는, 본 개시의 다양한 실시 예에 따른 전자 장치의 프리뷰와 저장 동작에 대한 시간 차이를 예시한 도면이다. 도 9를 참조하면, 상기 디스플레이 13를 통해 프리뷰 화면으로 표시되는 표시용 이미지는, K 개의 이미지 프레임들(예: N-2, N-1, N 이미지 프레임 (에 기반한 제1 방식의 디지털 이미지 안정화(DIS1)이 적용되고, 상기 스토리지 14에 저장되는 저장용 이미지는, K 개 이상의 이미지 프레임들(예; N-2, N-1, N, N+1, N+2)에 기반한 제2 방식의 디지털 이미지 안정화(DIS2)이 적용된다.
이로 인해, 상기 프리뷰 시작(preview start) 90a과 상기 저장 시작(storing start) 91a 간에는, 적어도 하나 이상의 이미지 프레임을 버퍼링하는 데 소요되는 시간 차이가 발생할 수 있다.
상기 전자 장치 100의 프로세서 13은, 사용자에 의해 촬영 중지가 요청되면, 프리뷰 표시를 즉시 중지 90b시키되, 소정 시간 동안 계속 저장을 유지한 후, 저장 동작을 중지 91b할 수 있다.
예를 들어, 상기 저장 중지가 요청된 시점에 프리뷰 화면으로 표시된 마지막 표시용 이미지가, n 장면의 이미지 프레임이라면, 상기 n 장면의 이미지 프레임에 해당하는 저장용 이미지까지 저장한 후, 저장을 중지시킬 수 있다. 이때, 소정의 프레임 버퍼링 소요 시간이 발생할 수 있고, 상기 소정 시간 계속 저장하는 동작은, 사용자가 인지하지 못하는 백그라운드(background) 동작으로 수행될 수 있다.
본 개시의 다양한 실시 예에 대해 구체적으로 설명하였으나, 본 개시의 다양한 실시 예의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하므로, 본 개시의 다양한 실시 예의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 전자 장치 11: 이미지 센서
12: 프로세서 13: 디스플레이
14: 스토리지 15: 버퍼
16: 자이로 센서

Claims (20)

  1. 전자 장치의 방법에 있어서,
    상기 전자 장치에서, 상기 전자 장치와 기능적으로 연결된 적어도 하나의 이미지 센서를 이용하여 하나 이상의 이미지 프레임들을 획득하는 동작;
    상기 하나 이상의 이미지 프레임들에 제1 시간 지연에 기반한 제 1 방식의 디지털 이미지 안정화가 적용되어 생성된 제 1 이미지를 상기 전자 장치와 기능적으로 연결된 디스플레이에 표시하는 동작; 및
    상기 하나 이상의 이미지 프레임들에 제2 시간 지연에 기반한 제 2 방식의 디지털 이미지 안정화가 적용된 제 2 이미지를 스토리지에 저장하는 동작을 포함하고,
    상기 제1 시간 지연은 상기 제2 시간 지연보다 작은 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 방식의 디지털 이미지 안정화는, 현재의 이미지 프레임과 적어도 하나 이상의 이전 이미지 프레임에 기반하여 떨림을 보정하고,
    상기 제2 방식의 디지털 이미지 안정화는, 현재의 이미지 프레임과 적어도 하나 이상의 이후 이미지 프레임에 기반하여 떨림을 보정하는 방법.
  4. 제3항에 있어서,
    상기 하나 이상의 이미지 프레임들은, 이미지 센서에 의해 연속적으로 촬영되며, 순차적으로 버퍼에 저장되는 방법.
  5. 제1항에 있어서,
    상기 전자 장치에 포함된 자이로 센서를 이용하여, 상기 전자 장치의 떨림을 검출하는 동작; 및
    상기 자이로 센서에 의해 검출되는 전자 장치의 떨림을, 상기 하나 이상의 이미지 프레임들의 떨림 보정에 반영하는 동작을 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 자이로 센서에 의해 검출되는 전자 장치의 떨림이, 사전에 설정된 기준 값 이하이면, 상기 하나 이상의 이미지 프레임들의 떨림 보정에 반영하지 않는 동작을 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 제1 이미지는, 상기 제2 이미지와 동일한 장면의 이미지이고,
    상기 제1 이미지의 해상도는, 상기 제2 이미지의 해상도와 동일하거나 낮은 해상도를 갖는 방법.
  8. 제1항에 있어서,
    상기 제1 이미지를 프리뷰 화면에 표시하면서, 상기 제2 이미지를 스토리지에 저장하는 동작을 더 포함하되,
    상기 표시와 상기 저장은, 사전에 설정된 소정의 시간 차를 갖고 병렬적으로 수행되는 방법.
  9. 제8항에 있어서,
    촬영 중지가 요청되면, 상기 프리뷰 화면의 표시를 즉시 중지하되,
    상기 요청 시점에 프리뷰 화면으로 표시된 상기 제1 이미지와 동일한 장면의 상기 제2 이미지까지 저장한 후 저장을 중지하는 동작을 더 포함하는 방법.
  10. 제9항에 있어서,
    상기 제2 이미지까지 저장한 후 저장을 중지하는 동작은, 상기 전자 장치의 사용자가 인지하지 못하는 백그라운드 동작으로 수행되는 방법.
  11. 전자 장치에 있어서,
    하나 이상의 이미지 프레임들을 촬영하는 이미지 센서;
    상기 하나 이상의 이미지 프레임들에 대한 신호 처리하는 프로세서;
    상기 하나 이상의 이미지 프레임들을 프리뷰 화면에 표시하는 디스플레이; 및
    상기 하나 이상의 이미지 프레임들을 저장하는 스토리지를 포함하되,
    상기 프로세서는, 상기 프리뷰 화면에 표시될 제1 이미지에 제1 시간 지연에 기반한 제1 방식의 디지털 이미지 안정화를 적용하고, 상기 스토리지에 저장될 제2 이미지에 제2 시간 지연에 기반한 제2 방식의 디지털 이미지 안정화를 적용하고,
    상기 제1 시간 지연은 상기 제2 시간 지연보다 작은, 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 제1 방식의 디지털 이미지 안정화는, 이전과 현재의 K 개의 이미지 프레임들에 기반하여 떨림을 보정하고,
    상기 제2 방식의 디지털 이미지 안정화는, 이전과 현재와 이후의 K 개 이상의 이미지 프레임들에 기반하여 떨림을 보정하는, 장치.
  14. 제13항에 있어서,
    상기 K 개 또는 상기 K 개 이상의 이미지 프레임들은, 상기 이미지 센서에 의해 연속적으로 촬영되며, 순차적으로 버퍼에 임시 저장되는 장치.
  15. 제11항에 있어서,
    자이로 센서를 더 포함하되,
    상기 프로세서는, 상기 자이로 센서를 이용하여, 상기 전자 장치의 떨림을 검출하고,
    상기 자이로 센서에 의해 검출되는 전자 장치의 떨림을, 상기 하나 이상의 이미지 프레임들의 떨림 보정에 반영하는 장치.
  16. 제15항에 있어서,
    상기 프로세서는, 상기 자이로 센서에 의해 검출되는 전자 장치의 떨림이, 사전에 설정된 기준 값 이하이면, 상기 하나 이상의 이미지 프레임들의 떨림 보정에 반영하지 않는 장치.
  17. 제11항에 있어서,
    상기 제1 이미지는, 상기 제2 이미지와 동일한 장면의 이미지이고,
    상기 제1 이미지의 해상도는, 상기 제2 이미지의 해상도와 동일하거나 낮은 해상도를 갖는 장치.
  18. 제11항에 있어서,
    상기 프로세서는, 상기 제1 이미지를 상기 디스플레이의 프리뷰 화면에 표시하면서, 상기 제2 이미지를 상기 스토리지에 저장하되,
    상기 표시와 상기 저장은, 사전에 설정된 소정의 시간 차를 갖고 병렬적으로 수행되는 장치.
  19. 제18항에 있어서,
    상기 프로세서는, 촬영 중지가 요청되면, 상기 요청 시점에 프리뷰 화면 표시를 즉시 중지시키되,
    상기 요청 시점에 프리뷰 화면으로 표시된 상기 제1 이미지와 동일한 장면의 상기 제2 이미지까지 저장한 후 저장을 중지시키며,
    상기 중지시키는 동작을, 상기 전자 장치의 사용자가 인지하지 못하는 백그라운드 동작으로 수행하는 장치.
  20. 전자 장치의 방법에 있어서, 상기 전자 장치에서, 상기 전자 장치와 기능적으로 연결된 적어도 하나의 이미지 센서를 이용하여 하나 이상의 이미지 프레임들을 획득하는 동작; 상기 하나 이상의 이미지 프레임들에 제1 시간 지연에 기반한 제 1 방식의 디지털 이미지 안정화가 적용되어 생성된 제 1 이미지를 상기 전자 장치와 기능적으로 연결된 디스플레이에 표시하는 동작; 및 상기 이미지에 상기 제1 시간 지연보다 큰 제2 시간 지연에 기반한 제 2 방식의 디지털 이미지 안정화가 적용된 제 2 이미지를 스토리지에 저장하는 동작을 포함하는 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장매체.
KR1020150020998A 2015-02-11 2015-02-11 이미지 안정화 방법 및 그 전자 장치 KR102305118B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150020998A KR102305118B1 (ko) 2015-02-11 2015-02-11 이미지 안정화 방법 및 그 전자 장치
US15/041,265 US9838603B2 (en) 2015-02-11 2016-02-11 Method and apparatus for image stabilization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020998A KR102305118B1 (ko) 2015-02-11 2015-02-11 이미지 안정화 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20160098853A KR20160098853A (ko) 2016-08-19
KR102305118B1 true KR102305118B1 (ko) 2021-09-27

Family

ID=56565372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020998A KR102305118B1 (ko) 2015-02-11 2015-02-11 이미지 안정화 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US9838603B2 (ko)
KR (1) KR102305118B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060786A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 전자 장치 및 전자 장치의 자동 초점 방법
KR102608782B1 (ko) 2016-12-30 2023-12-04 삼성전자주식회사 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치
JP7030446B2 (ja) * 2017-08-14 2022-03-07 キヤノン株式会社 像振れ補正装置およびその制御方法
JP7045877B2 (ja) * 2018-02-07 2022-04-01 キヤノン株式会社 像振れ補正装置、撮像システム、及びそれらの制御方法、プログラム
US11006044B1 (en) * 2020-03-03 2021-05-11 Qualcomm Incorporated Power-efficient dynamic electronic image stabilization

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128638A1 (en) * 2007-10-25 2009-05-21 Sony Corporation Imaging apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100063496A (ko) 2008-12-03 2010-06-11 삼성전자주식회사 Ｄｉｓ 알고리즘을 적용하는 이미지 프로세서 및 이의 이미지 프로세싱 방법
KR20110061063A (ko) * 2009-12-01 2011-06-09 삼성전자주식회사 휴대 단말기의 이미지 촬영 방법 및 장치
KR101603213B1 (ko) * 2010-02-12 2016-03-14 한화테크윈 주식회사 손떨림 보정 방법 및 이 방법을 채용한 디지털 촬영 장치
US8797414B2 (en) 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
KR101495793B1 (ko) * 2010-12-28 2015-02-25 주식회사 케이티 이동 단말기 및 이동 단말기에서의 화면 표시 제어 방법
KR20130033814A (ko) * 2011-09-27 2013-04-04 엘지전자 주식회사 휴대 단말기 및 그 동작방법
KR101894531B1 (ko) * 2012-02-16 2018-09-04 삼성전자 주식회사 카메라의 연속 촬영 장치 및 방법.
KR102186383B1 (ko) * 2013-03-13 2020-12-03 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128638A1 (en) * 2007-10-25 2009-05-21 Sony Corporation Imaging apparatus

Also Published As

Publication number Publication date
KR20160098853A (ko) 2016-08-19
US20160234440A1 (en) 2016-08-11
US9838603B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
JP5778998B2 (ja) 撮像装置、画像生成方法およびコンピュータプログラム
KR102305118B1 (ko) 이미지 안정화 방법 및 그 전자 장치
JP4500875B2 (ja) モーションブラー効果を除去する方法および装置
JP4956401B2 (ja) 撮像装置及びその制御方法及びプログラム
US8072497B2 (en) Imaging apparatus and recording medium
JP5536010B2 (ja) 電子カメラ、撮像制御プログラム及び撮像制御方法
US8433185B2 (en) Multiple anti-shake system and method thereof
US7903144B2 (en) Electric hand-vibration correction method, electric hand-vibration correction device, electric hand-vibration correction program, and imaging apparatus
JP2006317848A (ja) 静止画撮像装置
JP5888348B2 (ja) 撮像装置、撮像制御方法、及びプログラム
CN107079096A (zh) 成像装置和成像方法
JP2007243335A (ja) 手振れ補正方法、手振れ補正装置および撮像装置
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP2013110754A (ja) カメラ装置、及びその撮影方法とプログラム
WO2017104102A1 (ja) 撮像装置
US10965877B2 (en) Image generating method and electronic apparatus
JP2008160547A (ja) 動き検出装置及び方法並びに撮像装置
JP6016546B2 (ja) 撮像装置、その制御方法、および制御プログラム
US8786677B2 (en) Imaging device
US9549112B2 (en) Image capturing apparatus, and control method therefor
US20240196091A1 (en) Image capturing device and method
JP2014153517A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体
JP2002287195A (ja) 撮像装置及び手振れ検出方法
US20240022706A1 (en) Evaluation method of image blur correction capability of image capturing apparatus, image capturing apparatus, and recording medium
JP5131554B2 (ja) 撮像装置、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant