KR102229152B1 - 이미지 촬영 장치 - Google Patents

이미지 촬영 장치 Download PDF

Info

Publication number
KR102229152B1
KR102229152B1 KR1020140140075A KR20140140075A KR102229152B1 KR 102229152 B1 KR102229152 B1 KR 102229152B1 KR 1020140140075 A KR1020140140075 A KR 1020140140075A KR 20140140075 A KR20140140075 A KR 20140140075A KR 102229152 B1 KR102229152 B1 KR 102229152B1
Authority
KR
South Korea
Prior art keywords
image
data
image data
images
photographing
Prior art date
Application number
KR1020140140075A
Other languages
English (en)
Other versions
KR20160044945A (ko
Inventor
무하마드 캄룰 하산
카이 구어
김낙훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140140075A priority Critical patent/KR102229152B1/ko
Priority to US14/739,074 priority patent/US9832382B2/en
Priority to CN201580055919.3A priority patent/CN107079096A/zh
Priority to PCT/KR2015/007625 priority patent/WO2016060366A1/en
Priority to EP15850759.0A priority patent/EP3207696B1/en
Priority to AU2015331251A priority patent/AU2015331251B2/en
Publication of KR20160044945A publication Critical patent/KR20160044945A/ko
Application granted granted Critical
Publication of KR102229152B1 publication Critical patent/KR102229152B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

이미지 촬영 장치를 개시한다. 본 발명의 일 실시 예에 따른 이미지 촬영 장치는, 피사체에 대한 이미지 데이터를 출력하는 촬영부와, 상기 이미지 데이터를 출력하는 동안 상기 이미지 촬영 장치의 움직임 데이터를 검출하는 움직임 검출부와, 상기 검출된 움직임 데이터가 기 설정된 값 이상이면, 상기 이미지 데이터 출력을 중단하도록 상기 촬영부를 제어하는 제어부를 포함한다.

Description

이미지 촬영 장치{IMAGE PHOTOGRAPHING APPRATUS}
본 발명은 이미지 촬영 장치에 관한 것으로, 이미지 촬영시 빠르고 효율적으로 블러 이미지를 제거할 수 있는 이미지 촬영 장치에 관한 것이다.
블러(Blur)는 이미지 촬영시 탈초점 상태로 이미지가 촬영되어 심도가 얕아지는 현상을 의미한다. 예술적인 미감을 위해 의도적으로 블러를 갖는 이미지를 촬영하는 경우를 제외하면, 선명한 이미지를 얻기 위한 많은 경우 블러 현상은 이미지 품질을 떨어뜨린다. 선명한 이미지를 촬영하려는 의도에도 불구하고 촬영된 이미지에 블러 현상이 발생하는 원인 중의 하나는 촬영시 카메라가 흔들리는데 기인한다.
이러한 블러 현상을 해결하기 위해 종래 디지털 카메라에서 촬영된 이미지에 블러가 발생한 경우 이를 제거하는 기술이 제안되었다. 그러나, 종래 기술은 촬영된 이미지에 존재하는 블러를 검출하여 이를 이미지 처리 기법으로 제거하는 방법으로, 높은 계산 복잡도(complexity)를 요구한다. 따라서, 모바일 장치나 디지털 카메라와 같이 비교적 낮은 계산 능력과 자원을 보유하고 있는 장치에서 이러한 블러 제거 작업을 수행하는 경우, 데이터 처리 속도가 느려져 사용성이 떨어지는 문제가 발생된다.
따라서, 이미지 촬영시 빠르고 효율적으로 블러 이미지를 제거할 수 있는 기술 방안이 요청된다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 이미지 촬영시 빠르고 효율적으로 블러 이미지를 제거할 수 있는 이미지 촬영 장치를 제공하기 위함이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 촬영 장치는, 피사체에 대한 이미지 데이터를 출력하는 촬영부와, 상기 이미지 데이터를 출력하는 동안 상기 이미지 촬영 장치의 움직임 데이터를 검출하는 움직임 검출부와, 상기 검출된 움직임 데이터가 기 설정된 값 이상이면, 상기 이미지 데이터 출력을 중단하도록 상기 촬영부를 제어하는 제어부를 포함한다.
이때, 촬영부는, 상기 피사체에 대한 이미지 데이터를 라인(line) 단위로 출력할 수 있다.
또한, 상기 촬영부는, 상보성 금속 산화물 반도체(CMOS : Complementary Metal Oxide Semiconductor) 센서로 구성될 수 있다.
또한, 상기 움직임 검출부는, 가속도 센서, 각속도 센서, 자이로스코프 중 적어도 하나를 이용하여 상기 움직임 데이터를 검출할 수 있다.
또한, 상기 움직임 검출부는 지속적으로 상기 이미지 촬영 장치의 움직임 데이터를 검출하고, 상기 제어부는, 상기 검출된 움직임 데이터가 기 설정된 값 이상이면, 상기 이미지 데이터 출력을 중단하고, 이후 검출되는 움직임 데이터가 기 설정된 값 미만이 되면, 상기 이미지 데이터 출력을 재개하도록 상기 촬영부를 제어할 수 있다.
또한, 상기 이미지 촬영 장치는, 상기 출력된 이미지 데이터를 처리하는 이미지 처리부를 더 포함할 수 있다.
또한, 상기 제어부는, 상기 촬영부가 복수의 이미지에 대한 이미지 데이터를 출력하면, 상기 복수의 이미지에 대한 이미지 데이터를 이용하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어할 수 있다.
또한, 상기 제어부는, 상기 촬영부가 복수의 이미지에 대한 이미지 데이터를 출력하면, 상기 복수의 이미지에 대한 이미지 데이터에 대응되는 상기 이미지 촬영 장치의 움직임 데이터에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정할 수 있다.
또한, 상기 제어부는, 상기 복수의 이미지에 대한 랭크(rank)에 기초하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어할 수 있다.
또한, 상기 제어부는, 상기 촬영부가 기 설정된 개수의 이미지에 대한 이미지 데이터를 출력하면, 상기 출력된 이미지 데이터를 이용하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어할 수 있다.
또한, 상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 이미지 촬영 장치는, 피사체에 대한 이미지 데이터를 출력하는 촬영부와, 상기 이미지를 캡쳐하는 동안 상기 이미지 촬영 장치의 움직임 데이터를 검출하는 움직임 검출부와, 상기 검출된 움직임 데이터가 기 설정된 값 이상인 이미지 데이터를 갖는 로우 이미지를 제거하는 제어부를 포함한다.
또한, 상기 검출된 움직임 데이터가 기 설정된 값 미만인 이미지 데이터를 갖는 로우 이미지를 처리하는 이미지 처리부를 더 포함할 수 있다.
또한, 상기 촬영부는, CCD(Chanrge Coupled Device) 센서로 구성될 수 있다.
또한, 상기 촬영부는, 상기 피사체에 대한 이미지 데이터를 프레임(frame) 단위로 출력할 수 있다.
또한, 상기 움직임 검출부는, 가속도 센서, 각속도 센서, 자이로스코프 중 적어도 하나를 이용하여 상기 움직임 데이터를 검출할 수 있다.
또한, 상기 제어부는, 상기 촬영부가 복수의 이미지에 대한 이미지 데이터를 출력하면, 상기 복수의 이미지들 중 상기 검출된 움직임 데이터가 기 설정된 값 미만인 이미지 데이터를 이용하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어할 수 있다.
또한, 상기 제어부는, 상기 촬영부가 복수의 이미지에 대한 이미지 데이터를 출력하면, 상기 복수의 이미지에 대한 이미지 데이터에 대응되는 상기 이미지 촬영 장치의 움직임 데이터에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정할 수 있다.
또한, 상기 제어부는, 상기 복수의 이미지에 대한 랭크(rank)에 기초하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어할 수 있다.
또한, 상기 제어부는, 상기 촬영부가 기 설정된 개수의 이미지에 대한 이미지 데이터를 출력하면, 상기 출력된 이미지 데이터를 이용하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어할 수 있다.
또한, 상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계, 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계, 움직임 데이터가 설정된 값 이상인 경우, 이미지 데이터 출력을 중단하는 단계를 포함한다.
또한, 본 발명의 다른 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계, 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계, 움직임 데이터가 기 설정된 값 이상인 경우, 이미지 데이터 출력을 중단하고, 이미지 센서의 처음 픽셀부터 다시 리드아웃하는 단계를 포함한다. 그런데, 움직임 데이터가 기 설정된 값 미만인 경우, 이미지 센서의 마지막 픽셀값이 출력되었는지 판단한다.
이미지 센서의 마지막 픽셀값이 출력된 경우는 하나의 이미지 프레임을 생성할 수 있는 이미지 데이터를 리드아웃한 것이므로 로우 이미지의 개수가 기 설정된 개수인지를 판단한다. 기 설정된 개수의 로우 이미지가 생성된 경우, 복수의 로우 이미지에 대한 이미지 데이터를 처리하여 하나의 이미지를 생성한다.
상기 실시 예에서 이미지 센서는 상보성 금속 산화물 반도체(CMOS : Complementary Metal Oxide Semiconductor) 센서로 구성될 수 있다.
또한, 가속도 센서, 각속도 센서, 자이로스코프 중 적어도 하나를 이용하여 상기 움직임 데이터를 검출할 수 있다.
또한, 생성된 복수의 이미지에 대한 이미지 데이터에 대응되는 이미지 촬영 장치의 움직임에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계, 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계, 움직임 데이터가 기 설정된 값 이상인 경우, 로우 이미지를 제거하는 단계를 포함한다.
또한, 본 발명의 또 다른 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계, 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계, 움직임 데이터가 기 설정된 값 이상인 경우, 로우 이미지를 제거하는 단계를 포함한다.
그리고, 로우 이미지의 개수가 기 설정된 개수인지를 판단한다. 기 설정된 개수의 로우 이미지가 생성된 경우, 복수의 로우 이미지에 대한 이미지 데이터를 처리하여 하나의 이미지를 생성한다.
상기 실시 예에서 이미지 센서는 CCD(Chanrge Coupled Device) 센서로 구성될 수 있다.
또한, 가속도 센서, 각속도 센서, 자이로스코프 중 적어도 하나를 이용하여 상기 움직임 데이터를 검출할 수 있다.
또한, 생성된 복수의 이미지에 대한 이미지 데이터에 대응되는 이미지 촬영 장치의 움직임에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은 이미지 촬영시 빠르고 효율적으로 블러 이미지를 제거할 수 있는 이미지 촬영 장치를 제공한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 촬영 장치의 구성을 도시한 블록도,
도 2는 본 발명의 상기 이미지 촬영 장치의 세부 구성을 도시한 블록도,
도 3 내지 7은 본 발명의 다양한 실시 예에 따른 이미지 데이터를 리드아웃 하는 방법을 도시한 도면.
도 8은 상술한 기술 수단을 사용하지 않고 연속 촬영을 수행하는 경우의 최종적인 이미지를 나타낸 도면,
도 9는 생성된 이미지에 랭크를 설정하는 실시 예를 도시한 도면,
도 10은 이미지 합성을 위한 기 설정된 개수의 이미지를 생성하는 방법을 도시한 도면,
도 11은 본 발명의 또 다른 실시 예에 따른 모션 데이터 수를 결정하는 방법을 도시한 도면,
도 12는 이미지 처리부의 세부구성을 도시한 블록도,
도 13은 이미지 처리 회로의 세부 구성을 도시한 블록도, 그리고,
도 14 내지 17은 본 발명의 다양한 실시 예에 따른 이미지 촬영 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)는 촬영부(110), 움직임 검출부(120), 제어부(130)를 포함한다.
촬영부(110)는, 피사체를 촬영하여 피사체에 대한 이미지 데이터를 출력하는 구성이다. 피사체에 반사된 광이 렌즈(미도시)에 입사하면, 이미지 센서(미도시)에 피사체의 상이 결상된다. 결상된 상 즉, 이미지 센서에 축적된 광전하는 이미지 데이터로 출력된다.
움직임 검출부(120)는 상기 이미지 데이터를 캡쳐하는 동안(즉, 이미지 센서의 이미지 데이터를 리드아웃 하는 동안) 상기 이미지 촬영 장치(100)의 움직임데이터를 검출하는 구성이다. 이를 위해 움직임 검출부(120)는 다양한 모션 센서를 포함할 수 있다. 즉, 움직임 검출부(120)는 가속도 센서, 각속도 센서, 자이로스코프, 및 지자기 센서 중 적어도 하나를 포함할 수 있다.
가속도 센서는 단위 시간에 대한 속도의 변화량을 감지한다. 가속도 센서는 2축 또는 3축으로 구현될 수 있다. 3축 가속도 센서로 구현된 경우에는 가속도 센서는 서로 다른 방향으로 배치되어 서로 직교하는 X, Y, Z축 가속도 센서를 구비한다.
가속도센서는 X, Y, Z축 가속도 센서 각각의 출력값을 디지털 값으로 변환하여 센싱값 처리부(미도시)로 제공한다. 이때 센싱값 처리부는 쵸핑회로, 증폭회로, 필터, 및 A/D 컨버터(A/D converter) 등을 포함할 수 있다. 이에 따라, 3축 가속도 센서로부터 출력된 전기적 신호를 쵸핑, 증폭, 필터링한 후, 디지털 전압값으로 변환한다.
각속도 센서는 단위 시간 동안 이미지 촬영 장치(100)의 기 설정된 방향의 변화량을 감지하여 각속도를 감지하는 구성이다. 각속도 센서는 3축을 갖는 자이로스코프가 사용될 수 있다.
3축 자이로스코프를 이용하는 경우 다음의 수식에 따라 움직임 데이터를 얻을 수 있다. 변수 x,y,z는 3축 좌표값을 나타낸다.
Figure 112014098807630-pat00001
움직임 검출부(120)는 3축 가속도 센서와 3축 각속도 센서를 이용하는 6축 센서를 포함할 수 있다. 이를 이용하여 이미지를 촬영하는 동안 이미지 촬영 장치(100)의 움직임을 검출할 수 있다.
제어부(130)는 이미지 촬영 장치(100)의 동작 전반을 제어하는 구성이다. 특히, 제어부(130)는 상기 검출된 움직임 데이터가 기 설정된 값 이상이면, 상기 이미지 데이터 출력을 중단하도록 상기 촬영부(110)를 제어한다. 구체적으로, 움직임 검출부(120)에 의해 검출된 움직임 데이터가 일정 범위를 넘어서는 경우, 즉, 움직임 검출값이 문턱값 이상인 경우, 이미지 데이터의 리드아웃을 중단시킨다. 이는 이미지 촬영 장치(100)의 움직임에 따른 움직임 검출값과 생성된 이미지의 블러 정도 사이의 상관관계에 따른 것이다. 즉, 단위 시간 동안 이미지 촬영 장치(100)가 빠르게 움직이거나(속도), 많은 변위를 움직인 경우(거리), 촬영된 이미지의 블러 정도가 심화되므로, 이미지 촬영 장치(100)의 움직임 데이터가 기 설정된 값 이상이면, 리드아웃되는 이미지 데이터가 블러 이미지를 생성할 것으로 예측하여 리드아웃을 중단시키는 것이다.
이를 위해 상기 움직임 검출부(120)는 지속적으로 상기 이미지 촬영 장치(100)의 움직임을 검출하여 제어부(130)로 전달한다. 제어부(130)는, 상기 검출된 움직임이 기 설정된 값 이상이면, 상기 이미지 데이터 출력을 중단하는데, 지속적으로 움직임 정보를 체크한다. 이후 검출되는 움직임 데이터가 기 설정된 값 미만이 되면, 상기 이미지 데이터 출력을 재개하도록 상기 촬영부(110)를 제어한다. 즉, 이미지 촬영 장치(100)의 움직임이 적어 블러 이미지가 생성되지 않거나 블러 정도가 낮은 이미지가 생성될 것으로 판단되는 경우, 이미지 센서의 이미지 데이터를 새롭게 리드아웃 하는 것이다. 이러한 방법으로 본 발명은 최적의 이미지 센서 노출 트리거 포인트를 결정할 수 있게 된다.
제어부(130)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 이미지 촬영 장치(100)의 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다.
도 2는 본 발명의 상기 이미지 촬영 장치(100)의 세부 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)는 촬영부(110), 제어부(130), 움직임 검출부(120) 외에도 이미지 처리부(140), USB 모듈(150), SDRAM 모듈(160), 메모리 카드(170), 플래시 메모리(180), 디스플레이(190)를 더 포함할 수 있다.
촬영부(110)는 렌즈(111), 이미지 센서(이미지 센서 112), TG(Timing Generator 114), AFE(Analog Front End, 113), 모터 드라이버(115)를 포함할 수 있다.
렌즈(111)는, 피사체에 반사된 광이 입사하는 구성으로, 초점 거리에 따라 화각이 좁아 지거나 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 중 적어도 하나의 렌즈를 포함한다. 렌즈(111)는 이미지 촬영 장치(100)의 경통에 수용되며, 모터 드라이버(115)의 구동 신호에 의해 움직여짐으로써 초점을 조정한다. 또한, 상기 경통은 셔터 및 조리개를 포함하는데, 각각은 구동모터에 의해 렌즈(111)로 입사되는 빛의 양을 조절한다.
이미지 센서(112)는 렌즈(111)를 통과한 피사체의 상이 결상되는 구성이다. 이미지 센서(112)는 매트릭스 형태로 배치된 복수의 픽셀을 포함한다. 복수의 픽셀은 베이어 패턴(Bayer Pattern)을 형성할 수 있다. 복수의 픽셀 각각은 입사광에 따른 광전하를 축적하고, 광전하에 의한 상을 전기 신호로 출력한다. 이미지 센서(112)는 CMOS(상보성 금속 산화물 반도체 : Complementary Metal Oxide Semiconductor)로 구성될 수 있으나, 후술하는 것처럼 CCD(Chanrge Coupled Device)로 구성될 수도 있다. 본 발명의 일 실시 예에 따른 복수의 픽셀은, 복수의 위상차 픽셀을 포함할 수 있다.
AFE(Analog Front End, 113)는, 이미지 센서(112)로부터 출력된 피사체 상의 전기 신호를 샘플링하여 디지털화한다. AFE(Analog Front End, 113)는, 제어부(130)에 의해 제어된다.
TG(Timing Generator 114)는, 이미지 센서(112)의 픽셀 데이터를 리드아웃하기 위한 타이밍 신호를 출력한다. TG(114)는 제어부(130)에 의해 제어된다.
다만, 상기와 같이 AFE(113)와 TG(114)를 대체할 수 있는 다른 구성으로 설계될 수도 있다. 특히, 이미지 센서(112)가 CMOS 형으로 구현되는 경우, 이러한 구성을 불필요할 수 있다.
모터 드라이버(115)는, 제어부(130)의 제어에 의해 포커싱 렌즈를 구동하여 포커스를 맞춘다.
이미지 처리부(140)는, 이미지 센서(112)에서 출력된 로우 이미지 데이터를 처리하는 구성이다. 이미지 처리부(140)는, 로우 이미지 데이터(RAW IMAGE DATA)를 영상 처리하여, SDRAM(160)에 기록할 수 있다. 제어부(130)는 SDRAM(160)의 영상 처리된 데이터를 디스플레이(190)에 표시한다.
유선 인터페이스 모듈(150)은 외부 장치와의 인터페이스를 제공한다. 유선 인터페이스 모듈(150)은 유선 케이블을 통해 PC나 기타 외부 장치와 연결된 경우, 이미지 데이터의 송수신을 처리한다. 또한, 펌웨어 업그레이드를 수행하기 위한 펌웨어 송수신을 처리한다. 유선 인터페이스 모듈(150)는 HDMI(High Definition Multimedia Interface), MHL(Mobile High-Definition Link), 및 DiiVa(Digital Interactive Interface for Video & Audio) 중 어느 하나의 고속 유선 인터페이스 케이블 단자와 처리 모듈로 구성될 수 있다.
SDRAM(Synchronous Dynamic RAM 160) 은, 이미지를 저장하거나 이미지 처리부(140), 제어부(130)에 의한 이미지 작업에 이용된다. 본 발명의 일 실시 예에서, 시스템 클록의 상승단과 하강단 모두에서 출력이 나오도록 하여 상승단에서만 출력이 나오는 것에 비해 출력을 2배 향상시킬 수 있는 DDR SDRAM이 사용될 수 있다.
플래시 메모리(180)는, 펌웨어 프로그램, 이미지 처리 장치(100) 스팩에 맞는 다양한 조정 정보, 사용자 입력에 의한 이미지 처리 장치(100)의 설정 정보, 촬영된 이미지 파일 등을 저장한다.
메모리 카드(170)는, 플래시 메모리를 포함하여 구성되며, 이미지 처리 장치(100)에 착탈이 가능하다. 메모리 카드(170)는, 촬영된 이미지 파일을 저장할 수 있다.
디스플레이(190)는, 문자, 아이콘 등으로 구성된 사용자 인터페이스, 전자기기 정보, 라이브 뷰 이미지, 동적 이미지 및 정지 이미지 중 적어도 하나를 디스플레이하는 구성이다. 또한, 디스플레이(190)는 전자 뷰 파인더 기능을 수행할 수 있다.
도 3 내지 7은 본 발명의 다양한 실시 예에 따른 이미지 데이터값을 리드아웃 하는 방법을 도시한 도면이다.
상술한 것처럼 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)의 촬영부(110)는 CMOS 센서를 포함할 수 있다. 통상적으로 CMOS 센서가 설치되는 카메라에서는 이미지 데이터를 라인 단위로 리드아웃한다. 따라서, 도 3에 도시된 것처럼 각 이미지 센서의 첫번째 픽셀부터 순차적으로 리드아웃을 시작하여 마지막 픽셀까지 리드아웃이 이루어진다. 즉, 촬영부(110)는, 피사체에 대한 이미지 데이터를 라인(line) 단위로 출력할 수 있다.
전술한 것처럼 움직임 검출부(130)는 상기 이미지 데이터를 출력하는 동안 이미지 촬영 장치(100)의 움직임 데이터를 지속적으로 검출한다. 그런데, 이미지 촬영 장치(100)의 움직임 데이터를 검출하던 중 상기 검출된 움직임 데이터가 기 설정된 값 이상이면, 제어부(130)는 상기 이미지 데이터 출력을 중단하도록 상기 촬영부(110)를 제어한다. 도 4에서 이미지 센서의 첫번째 픽셀부터 리드아웃을 시작하여 라인 단위로 리드아웃을 수행하던 중 검출된 움직임 데이터가 기 설정된 값 이상이면 최종적으로 생성되는 이미지에 블러가 심하게 발생되는 것으로 예측이 된다. 따라서, 제어부(130)는 이미지 데이터 출력을 중단시키는 것이다.
전술한 것처럼 이는 이미지 촬영 장치(100)의 움직임에 따른 움직임 검출값과 생성된 최종 이미지에 포함된 블러 정도 사이의 상관관계에 따른 것이다. 즉, 단위 시간 동안 이미지 촬영 장치(100)가 빠르게 움직이거나(속도), 많은 변위를 움직인 경우(거리), 촬영된 이미지의 블러 정도가 심화되므로, 이미지 촬영 장치(100)의 움직임 데이터가 기 설정된 값 이상이면, 리드아웃되는 이미지 데이터가 블러 이미지를 생성할 것으로 예측하여 리드아웃을 중단시키는 것이다.
전술한 것처럼 제어부(130)는, 이미지 촬영 장치(100)의 움직임을 지속적으로 체크하면서 움직임 데이터가 기 설정된 값 이상이면, 상기 이미지 데이터 출력을 중단하고, 이후 검출되는 움직임 데이터가 기 설정된 값 미만이 되면, 상기 이미지 데이터 출력을 재개하도록 상기 촬영부(110)를 제어한다. 즉, 이미지 촬영 장치(100)의 움직임이 적어 블러 이미지가 생성되지 않거나 블러 정도가 낮은 이미지가 생성될 것으로 판단되는 경우, 이미지 센서의 이미지 데이터의 리드아웃을 재개한다. 이때, 리드아웃은 하나의 이미지 프레임 단위로 이루어져야 하므로, 리드아웃 시작 포인트는 이미지 센서의 첫번째 픽셀이 된다.
이처럼 본 발명은 이미지 촬영 장치(100)의 모션 데이터에 기초하여 블러 정도를 판단하고 이미지 리드아웃 단계에서 블러가 심한 이미지를 제거하게 되므로, 이미지 처리부(140)에 의한 로우 이미지 데이터 처리 전에 빠르게 블러 이미지를 솎아낼 수 있는 효과가 있다. 일반적으로 로우 이미지 데이터 처리에는 많은 시스템 자원이 소모되어 계산 복잡도가 높아 기기의 사용성을 떨어뜨린다. 본 발명은 이미지 리드아웃 단계에서 미리 블러 정도가 심한 이미지의 생성을 예측하고 이에 기초하여 블러 정도가 심한 이미지의 생성을 중단시키는 것이다.
이미지 센서의 광 노출 트리거 지점부터 움직임 검출부(120)가 이미지 촬영 장치(100)의 움직임을 검출할 수 있는데, 전술한 것처럼 자이로스코프가 이용될 수 있다. 자이로스코프의 움직임 정보 검출 및 전송에 10ms가 소요되고, 이미지 센서(112)의 광 노출 트리거 시점부터 이미지 데이터를 모두 출력하는데 40ms의 시간이 소요된다면, 도 5에 도시된 것처럼 하나의 이미지 프레임을 리드아웃하는 동안최소한 네 번의 자이로스코프의 샘플링이 이루어질 수 있다. 이들 샘플링 중에서 어느 하나의 값이라도 문턱값 이상이 되면, 제어부(130)는 이미지 데이터 출력을 즉시 중단시킨다.
도 6은 자이로스코프가 지속적으로 이미지 촬영 장치(100)의 움직임 정보를 검출하고, 움직임 정보에 따라 본 발명의 실시 예와 같은 적절한 블러 이미지 솎아내기가 이루어졌을 때, 이미지 캡쳐링의 빈도를 나타내고 있다.
도 7은 이미지 센서의 노출 시작 시간과 노출 종료 시간 사이에 모션 데이터의 변화량을 도시하고 있다. 모션 데이터 값이 문턱값 이상이 되는 경우, 광 노출 종료가 이루어진다. 그러나, 문턱값 미만의 모션 데이터 값이 유지되면, 하나의 완전한 이미지 프레임에 대한 이미지 데이터가 출력된다.
이때, 이미지 캡쳐링과 이미지 촬영 장치(100)의 움직임 정보 검출은 동기화가 이루어져야 한다. 즉, 움직임 정보 검출이 기 설정된 시간 간격으로 이루어지고, 이와 동시 또는 기 설정된 시간 후에 상기 움직임 정보 검출에 대응되는 이미지 캡쳐링이 이루어진다. 이미지 캡쳐링 중에 검출된 움직임 정보에 대해서 판단이 이루어지며, 검출된 움직임 정보가 문턱값 이상인 경우 해당 이미지 캡쳐링이 중단된다. 그리고, 이미지 캡쳐링이 중단되지 않고 완료될 수 있는 시점 이후 이미지 촬영 장치(100)의 다음 움직임 정보가 검출되고 대응되는 이미지 캡쳐링이 시작된다.
촬영부(110)는 이미지 데이터 값을 출력하고 이미지 처리부(140)는 출력된 이미지 데이터를 처리하여 이미지를 생성하는데, 도 6에 도시된 것처럼 한 번의 촬영시 반복하여 이미지 센서(112)가 리드아웃되어 복수 개의 로우 이미지 데이터가 생성될 수 있다. 이때, 제어부(130)는, 상기 복수의 로우 이미지 데이터를 이용하여 하나의 이미지를 생성하도록 상기 이미지 처리부(140)를 제어할 수 있다. 이처럼 복수의 이미지를 합성하여 하나의 최종적인 이미지를 생성하는 경우, 이미지 품질이 높아지고 특히, 낮은 광 조건에서 촬영을 하는 경우 좀더 선명한 이미지를 얻을 수 있다. 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)는 블러 정도가 낮은 복수의 이미지를 촬영하고 복수의 이미지를 합성함으로써 최종적인 이미지를 얻어 상기와 같은 목적을 달성할 수 있다.
도 8은 상술한 기술 수단을 사용하지 않고 연속 촬영을 수행하는 경우의 최종적인 이미지를 나타낸 도면이다.
도 8에 도시된 것처럼 일부 이미지에서는 블러 정도가 심한 것을 알 수 있다. 이러한 경우 상기 방법을 사용하여 연속 촬영된 복수의 이미지를 합성하여 최종적인 이미지를 얻게 되면, 이미지 품질이 떨어지게 되고, 선명한 이미지를 얻기 힘들다. 선명한 이미지를 얻기 위해 합성하는 이미지의 개수를 늘릴 수 있는데, 이 경우 생성되는 이미지가 많아지게 되므로 전체적으로 계산 복잡도가 증가하고 효율성이 떨어지게 되며 결과적으로 속도가 느려져서 사용성이 떨어지게 된다.
한편, 제어부(130)는, 상기 촬영부(110)가 연속 촬영에 따른 복수의 이미지에 대한 이미지 데이터를 출력하면, 상기 복수의 이미지에 대한 이미지 데이터에 대응되는 상기 이미지 촬영 장치(100)의 움직임 데이터에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정할 수 있다. 즉, 제어부(130)는 블러 발생 가능성 정도에 따라 이미지를 분류하여 랭크를 설정할 수 있다. 전술한 것처럼 블러 정도가 매우 심한 경우(문턱값 이상인 경우)는 이미지 생성을 중단한다. 그러나, 블러 정도가 낮은 경우는 생성된 이미지들 사이의 블러 정도에 따라 즉, 이미지 촬영 장치(100)의 움직임 정도에 따라 랭크를 설정할 수 있다.
도 9는 생성된 이미지에 랭크를 설정하는 실시 예를 도시한 도면이다.
도 9에 도시된 것처럼 가장 움직임이 적었던 이미지 5를 랭크 0으로, 생성된 이미지 중에 가장 움직임이 많았던 이미지 4를 랭크 3으로 설정할 수 있다. 이미지 2와 이미지 3은 움직임이 문턱값 이상이였으므로 리드아웃이 중단되어 이미지가 생성되지 않았다.
이러한 랭크 정보는 최종적인 이미지 합성에 유용하게 사용될 수 있다. 즉, 제어부(130)는 복수의 이미지 중에서 가장 랭크가 높은(값이 작은) 이미지만을 선택하여 최종적인 이미지를 생성하도록 이미지 처리부(140)를 제어할 수 있다. 또한, 가장 랭크가 높은 이미지 한 개만을 이용하여 썸네일 이미지를 만들 수도 있다. 또한, 랭크 별로 복수의 이미지에 상이한 가중치가 적용되어 합성에 이용될 수 있다.
도 10은 이미지 합성을 위한 기 설정된 개수의 이미지를 생성하는 방법을 도시한 도면이다.
상술한 바와 같이 제어부(130)는 상기와 같은 이미지 촬영 장치(100)의 움직임 정보를 이용하여 한 번의 촬영시 복수의 이미지를 생성하도록 상기 이미지 처리부(140)를 제어할 수 있다. 이때, 움직임 정보에 따라 이미지 데이터 리드아웃을 중단하거나 계속하므로 n번의 이미지 생성 시도로 m개의 이미지를 생성할 수 있다(n>=m, n,m 자연수). 그리고, m이 기 설정된 개수가 되면 그때까지 생성된 이미지를 합성하여 최종적인 이미지를 생성할 수 있다.
도 10은 한 번의 촬영시 반복적으로 이미지 센서(112)를 리드아웃하는 방법을 도시한다. 타임 0에서 모션 센싱 데이터가 기 설정된 범위를 벗어났으므로 이미지 센서(112)의 리드아웃이 중단되고 이미지가 생성되지 않았다. 그리고, 타임 1에서는 정상적으로 이미지 생성이 이루어졌으며, 타임 2에서는 이미지가 생성되지 않고 타임 3, 4에는 생성되었음을 알 수 있다. 본 실시 예에서는 4 장의 이미지가 생성되었을 때, 제어부(130)는 4장의 이미지를 이용하여 최종적인 이미지를 합성하게 된다. 본 발명은 이처럼 이미지 합성을 위해 기 설정된 개수의 이미지를 빠른 속도로 실시간으로 판단하여 생성할 수 있으므로 효율성과 사용성이 높아지는 장점이 있다. 또한, 상기 기 설정된 개수를 사용자가 미리 설정하거나 최종 합성 이미지의 목적에 따라 설정할 수 있고, 이러한 경우에도 이미지 생성 성능에 영향이 거의 없게 된다.
한편, 전술한 이미지 센서(112)는 CCD(Chanrge Coupled Device) 센서로 구성될 수도 있다. 이 경우 촬영부(110)는 이미지 센서(112)의 이미지 데이터를 프레임 단위로 리드아웃한다.
이 경우에는 프레임 단위로 이미지 데이터가 출력되므로 제어부(130)가 리드아웃 과정을 중단하도록 제어할 수 없다. 대신에 전술한 방식과 마찬가지로 이미지 데이터의 출력에 동기화된 이미지 촬영 장치(100)의 움직임 정보에 기초하여 움직임 데이터가 기 설정된 값 이상인 경우는 리드아웃된 이미지를 제거한다. 반면, 움직임 데이터가 기 설정된 값 미만인 리드아웃된 이미지를 이용해서 최종적인 이미지를 생성하도록 이미지 처리부(140)를 제어한다.
이처럼 본 발명은 CCD 센서를 이용하는 경우도 이미지 촬영 장치(100)의 움직임 데이터를 이용하여 생성되는 이미지의 블러 정도를 예측하고 이미지를 솎아낼 수 있게 된다. 통상적으로 이미지 처리부(140)의 이미지 처리 작업은 계산량이 많이 필요한데, 상기 방법은 이 과정 전에 이루어져 기존의 카메라에 비해 월등히 빠른 속도로 블러 이미지를 제거할 수 있게 되는 것이다.
도 11은 본 발명의 또 다른 실시 예에 따른 모션 데이터 수를 결정하는 방법을 도시한 도면이다.
도 11을 참조하면, 본 발명의 또 다른 실시 예에 따른 이미지 촬영 장치(100)의 제어부(130)는 조도, 노출시간, 캡쳐 모드 중 적어도 하나에 기초하여 검출하는 상기 이미지 촬영 장치(100)의 움직임 데이터 수를 결정할 수 있다. 즉, 제어부(130)는 촬영 환경 조건에 따라 검출할 수 있는 움직임 데이터수를 결정하는 것이다. 도 11의 왼쪽 그림과 같이 조도가 높을수록 노출시간은 짧아질 수 있다. 오른쪽 그림과 같이 노출시간이 짧아지면 획득되는 움직임 데이터 수도 적다.
조도가 낮은 경우는 최종적인 영상의 품질이 낮아질 수 있으므로 움직임 데이터 샘플링을 증가시킬 수 있다. 이에 따라 노출시간도 증가한다. 또한, 캡쳐 모드를 고려할 수 있는데, 캡쳐 모드는 노이즈를 저감시키기 위한 촬영 모드, 초고해상도 모드(super resolution), 스틸 이미지 촬영 모드, 라이브 뷰 이미지 촬영 모드 등이 있다. 예를 들어, 초고해상도 모드에서는 고품질의 이미지를 얻기 위해서 움직임 데이터 샘플링과 이미지 노출 시간을 증가시킬 수 있다.
도 12는 이미지 처리부(140)의 세부구성을 도시한 블록도이고, 도 13은 이미지 처리 회로의 세부 구성을 도시한 블록도이다.
도 12를 참조하면, 본 발명의 일 실시 예에 따른 이미지 촬영 장치(100)의 이미지 처리부(140)는, 이미지 처리 회로(142), JPEG 코덱(144)을 포함한다.
이미지 처리 회로(142)는, 이미지 센서(112)에서 출력되어 AFE(113)에 의해 샘플링된 로우 이미지 데이터를 처리하며, YCbCr 데이터로 만든다. 도 13을 참조하면, 로우 이미지 데이터는 우선, 보정회로(41)에 의해 픽셀 결함이 보정된다. 보정회로(41)는 보정 테이블(44)를 참조하여, 픽셀 결함을 보정하는데, 보정테이블(44)는 결함이 있는 픽셀의 어드레스가 등록되어 있다. 이 어드레스와 일치하는 픽셀에 대해서 주위의 픽셀로부터 보정을 수행한다.
OB 클램프 회로(42)는 이미지의 블랙 레벨을 결정한다. 이미지 센서(112)는 OB(Optical Black) 영역이 있으며, OB영역의 신호 평균값을 검출하여 각 픽셀값의 차이를 통해 블랙 레벨을 결정한다.
감도비 조정 회로(43)는 색상별로 상이한 감도비 조정을 수행한다. 감도비 조정 회로(43)는 표준 광원 하에서 R,G,B색의 감도를 조정한다. 통상적으로 G의 게인값을 1로 고정하고 R, B의 감도를 이에 맞춘다.
픽셀의 일부를 스킵하지 않고, 전체 픽셀의 데이터를 리드아웃하는 올 리드아웃(all readout) 모드에서는 감도비 조정 후에 이미지 데이터를 출력버퍼(46)를 통해 출력한다. 올 리드아웃 모드에서는 인터레시스(interlace)방식으로 이미지를 생성하므로, 곧바로 후처리를 할 수 없는 반면, 라이브 뷰 이미지나 동영상 이미지 등을 위해 복수의 픽셀을 전부 리드아웃하지 않고, 일부 픽셀은 리드아웃하고, 나머지 픽셀은 리드아웃하지 않는(스킵하는) 스킵 리드아웃 모드에서는 프로그래시브(progressive)방식으로 이미지를 생성하기 때문에 바로 후처리가 가능한 것이다. 스킵 리드 아웃 모드에서는 다음의 단계를 진행한다.
스킵 리드아웃 회로(47)는, 스킵 리드아웃을 수행하므로, 로우 이미지의 픽셀 수가 감소된다. 이는 전술한 것처럼 기 설정된 픽셀 라인을 남겨두고, 나머지 픽셀 라인은 버리는 방식으로 수행된다.
WB조정회로(48)는, 이미지 데이터에 대한 화이트 밸런스(WB : White Balance)를 조정한다. 촬영 환경에 따라 조명광의 분광 분포가 다르므로 흰 피사체를 촬영해도 희게 표시되지 않을 수 있다. R,G,B 픽셀마다 상이한 게인값을 주어 신호 레벨을 맞춘다. 통상적으로 G의 게인값을 1로 고정하고 R, B의 신호 레벨을 이에 맞춘다.
감마 보정 회로(49)는, 이미지 데이터에 대한 감마 보정을 수행한다. 감마 보정을 통해 디스플레이(190)의 출력에 맞는 계조 변환이 이루어진다.
색보간 회로(50)는 1픽셀당 1색의 베이어 신호에서 1픽셀당 3색으로 이루어진 통상의 컬러 이미지 신호를 생성한다.
색변환/색보정 회로(52)는, 출력에 맞는 색공간 변환을 하고, 색보정을 한다. 필요에 따라 LUT(Look Up Table)을 이용할 수 있다. 색변환/색보정 후에 이미지 데이터는 YCbCr 데이터가 된다.
해상도 변환 회로(53)는, 해상도를 변환하여 사이즈를 맞춘다.
공간 필터 회로(54)는, 이미지 데이터에 대한 공간 필터가 처리된다. Y신호의 엣지 강조가 이루어지고, Cb/CR 신호의 LPF(Low Pass Filter)처리를 수행한다.
CbCr스킵 리드아웃 회로(55)는, Cb/Cr신호에 대해 스킵 리드아웃을 수행하여 YCbCr4:2:2의 이미지 데이터로 변환한다. 이미지 데이터는 출력버퍼(57)를 통해 출력되고, 제1 버스를 통해 SDRAM(160)에 기록된다.
올 리드아웃 모드의 경우, 인터레이스 방식으로 리드아웃이 수행될 수 있는데, 이 경우, 인접하는 픽셀 라인이 존재하지 않으므로 직접 색 보간을 처리할 수 없다. 따라서, 전처리가 끝난 후, 일단 출력버퍼(46)를 통해 SDRAM(160)에 픽셀 라인 순서를 조정하여 프로그래시브 형태로 저장한다. 이러한 이미지 데이터를 다시 읽어서 입력버퍼(51)를 통해 이미지 처리 회로(142)에 입력한다.
다만, 본 발명이 올 리드아웃 모드의 경우 인터레이스 방식에 한정하는 것은 아니며, 프로그래시브 방식으로 리드아웃하도록 구현될 수도 있다.
한편, 정지 이미지의 경우, 촬영 후에 조그맣게 보여주는 프리뷰 이미지나, 썸네일 이미지를 생성할 필요가 있다. 이는 스킵 리드아웃 모드처럼 일부 픽셀의 데이터를 생략하여 작성한다.
또한, 정지 이미지의 경우도 짧은 시간 간격으로 연속 촬영 기능을 수행하는 경우, 빠른 위상차 검출이 필요하므로, 상술한 방식의 기술이 적용될 수 있다.
AF신호 보간 회로(56)는, 위상차 픽셀 부분을 일반 픽셀값으로 보간한다. 위상차 픽셀이 일반 픽셀 사이에 위치할 수 있고, 이 부분을 그대로 사용하면, 해상도 열화가 발생할 수 있다. 따라서, 주변의 일반 픽셀을 이용하여 보간을 수행한다.
JPEG코덱(144)은, YCbCr 데이터를 압축한다. 그리고, 압축된 이미지 데이터는 SDRAM(160)에 기록된다. 제어부(130)가 SDRAM(160)에 기록된 압축 이미지 데이터를 읽어와 메모리 카드(170)에 기록함으로써, 이미지 생성 절차가 종료된다.
한편, 전술한 본 발명의 다양한 실시 예에 따른 이미지 촬영 장치(100)는 위상차 픽셀을 이용한 오토 포커싱 기술 또는 콘트라스트 오토 포커싱을 수행할 수 있는 기술 구성을 포함할 수 있다. 그리고, 위상차 오토 포커싱과 콘트라스트 오토 포커싱을 모두 사용하는 하이브리드 오토 포커싱 기술로 구현될 수도 있다.
이하에서는 첨부된 도면을 참조하여, 본 발명의 다양한 실시 예에 따른 이미지 촬영 방법을 설명한다.
도 14 내지 17은 본 발명의 다양한 실시 예에 따른 이미지 촬영 방법의 흐름도이다.
도 14를 참조하면, 본 발명의 일 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계(S1410), 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계(S1420), 움직임 데이터가 설정된 값 이상인 경우(S1430-Y), 이미지 데이터 출력을 중단하는 단계(S1440)를 포함한다.
도 15를 참조하면, 본 발명의 다른 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계(S1510), 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계(S1520), 움직임 데이터가 기 설정된 값 이상인 경우(S1530-Y), 이미지 데이터 출력을 중단하고, 이미지 센서의 처음 픽셀부터 다시 리드아웃하는 단계(S1540)를 포함한다. 그런데, 움직임 데이터가 기 설정된 값 미만인 경우(S1530-N), 이미지 센서의 마지막 픽셀값이 출력되었는지 판단한다(S1550).
이미지 센서의 마지막 픽셀값이 출력된 경우는 하나의 이미지 프레임을 생성할 수 있는 이미지 데이터를 리드아웃한 것이므로 로우 이미지의 개수가 기 설정된 개수인지를 판단한다(S1560). 기 설정된 개수의 로우 이미지가 생성된 경우, 복수의 로우 이미지에 대한 이미지 데이터를 처리하여 하나의 이미지를 생성한다(S1570).
상기 실시 예에서 이미지 센서는 상보성 금속 산화물 반도체(CMOS : Complementary Metal Oxide Semiconductor) 센서로 구성될 수 있다.
또한, 가속도 센서, 각속도 센서, 자이로스코프 중 적어도 하나를 이용하여 상기 움직임 데이터를 검출할 수 있다.
또한, 생성된 복수의 이미지에 대한 이미지 데이터에 대응되는 이미지 촬영 장치의 움직임에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정하는 단계를 더 포함할 수 있다.
도 16을 참조하면, 본 발명의 또 다른 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계(S1610), 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계(S1620), 움직임 데이터가 기 설정된 값 이상인 경우(S1630-Y), 로우 이미지를 제거하는 단계(S1640)를 포함한다.
도 17을 참조하면, 본 발명의 또 다른 실시 예에 따른 이미지 촬영 방법은, 이미지 센서에서 피사체에 대한 이미지 데이터를 출력하는 단계(S1710), 이미지 데이터를 출력하는 동안 이미지 촬영 장치의 움직임 데이터를 검출하는 단계(S1720), 움직임 데이터가 기 설정된 값 이상인 경우(S1730-Y), 로우 이미지를 제거하는 단계(S1740)를 포함한다.
그리고, 로우 이미지의 개수가 기 설정된 개수인지를 판단한다(S1750). 기 설정된 개수의 로우 이미지가 생성된 경우, 복수의 로우 이미지에 대한 이미지 데이터를 처리하여 하나의 이미지를 생성한다(S1760).
상기 실시 예에서 이미지 센서는 CCD(Chanrge Coupled Device) 센서로 구성될 수 있다.
또한, 가속도 센서, 각속도 센서, 자이로스코프 중 적어도 하나를 이용하여 상기 움직임 데이터를 검출할 수 있다.
또한, 생성된 복수의 이미지에 대한 이미지 데이터에 대응되는 이미지 촬영 장치의 움직임에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정하는 단계를 더 포함할 수 있다.
한편 전술한 이미지 촬영 방법은, 상기 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 비 일시적 기록매체에 저장되는 형태로 구성될 수 있다.
여기서 비일시적 판독 가능 매체란 레지스터, 캐쉬 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 전자기기에 의해 판독(reading)이 가능한 매체를 의미한다. 예를 들어, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
100 : 이미지 촬영 장치
110 : 촬영부 120 : 움직임 감지부
130 : 제어부 140 : 이미지 처리부

Claims (20)

  1. 이미지 촬영 장치에 있어서,
    피사체에 대한 이미지 프레임의 제1 행 및 제1 열의 제1 픽셀부터 상기 이미지 프레임의 마지막 행 및 마지막 열의 마지막 픽셀까지 순차적으로 상기 이미지 프레임의 복수의 픽셀의 이미지 데이터를 출력하는 촬영부;
    움직임 검출부; 및
    상기 움직임 검출부에 의한 상기 이미지 촬영 장치의 움직임 데이터를 검출하고,
    상기 검출된 움직임 데이터가 기 설정된 값 이상이면, 상기 이미지 프레임의 나머지 픽셀에 대한 이미지 데이터 출력을 중단하도록 상기 촬영부를 제어하며,
    상기 출력이 중단된 후 상기 검출된 움직임 데이터가 상기 기 설정된 값 미만이면, 상기 복수의 픽셀의 이미지 데이터의 출력을 상기 제1 픽셀로부터 순차적으로 재개하도록 상기 촬영부를 제어하는 제어부;를 포함하는 이미지 촬영 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 촬영부는,
    상보성 금속 산화물 반도체(CMOS : Complementary Metal Oxide Semiconductor) 센서로 구성되는 것을 특징으로 하는 이미지 촬영 장치.
  4. 제1항에 있어서,
    상기 움직임 검출부는,
    가속도 센서, 각속도 센서, 자이로스코프 중 적어도 하나를 이용하여 상기 움직임 데이터를 검출하는 것을 특징으로 하는 이미지 촬영 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 출력된 이미지 데이터를 처리하는 이미지 처리부;를 더 포함하는 것을 특징으로 하는 이미지 촬영 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 촬영부가 복수의 이미지에 대한 이미지 데이터를 출력하면, 상기 복수의 이미지에 대한 이미지 데이터를 이용하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 이미지 촬영 장치.
  8. 제6항에 있어서,
    상기 제어부는,
    상기 촬영부가 복수의 이미지에 대한 이미지 데이터를 출력하면, 상기 복수의 이미지에 대한 이미지 데이터에 대응되는 상기 이미지 촬영 장치의 움직임 데이터에 기초하여 상기 복수의 이미지에 대한 랭크(rank)를 설정하는 것을 특징으로 하는 이미지 촬영 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 복수의 이미지에 대한 랭크(rank)에 기초하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 이미지 촬영 장치.
  10. 제6항에 있어서,
    상기 제어부는,
    상기 촬영부가 기 설정된 개수의 이미지에 대한 이미지 데이터를 출력하면, 상기 출력된 이미지 데이터를 이용하여 하나의 이미지를 생성하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 이미지 촬영 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140140075A 2014-10-16 2014-10-16 이미지 촬영 장치 KR102229152B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140140075A KR102229152B1 (ko) 2014-10-16 2014-10-16 이미지 촬영 장치
US14/739,074 US9832382B2 (en) 2014-10-16 2015-06-15 Imaging apparatus and imaging method for outputting image based on motion
CN201580055919.3A CN107079096A (zh) 2014-10-16 2015-07-22 成像装置和成像方法
PCT/KR2015/007625 WO2016060366A1 (en) 2014-10-16 2015-07-22 Imaging apparatus and imaging method
EP15850759.0A EP3207696B1 (en) 2014-10-16 2015-07-22 Imaging apparatus and imaging method
AU2015331251A AU2015331251B2 (en) 2014-10-16 2015-07-22 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140140075A KR102229152B1 (ko) 2014-10-16 2014-10-16 이미지 촬영 장치

Publications (2)

Publication Number Publication Date
KR20160044945A KR20160044945A (ko) 2016-04-26
KR102229152B1 true KR102229152B1 (ko) 2021-03-19

Family

ID=55746870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140075A KR102229152B1 (ko) 2014-10-16 2014-10-16 이미지 촬영 장치

Country Status (6)

Country Link
US (1) US9832382B2 (ko)
EP (1) EP3207696B1 (ko)
KR (1) KR102229152B1 (ko)
CN (1) CN107079096A (ko)
AU (1) AU2015331251B2 (ko)
WO (1) WO2016060366A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
KR102649220B1 (ko) * 2017-02-06 2024-03-20 삼성전자주식회사 이미지의 떨림을 보정하는 전자 장치 및 전자 장치의 제어 방법
US10218906B2 (en) 2017-03-22 2019-02-26 Htc Corporation Camera device and method for camera device
TWI654880B (zh) 2017-06-23 2019-03-21 圓展科技股份有限公司 多方視訊會議的執行方法
US10721426B2 (en) * 2017-08-31 2020-07-21 Canon Kabushiki Kaisha Solid-state image sensor, image capture apparatus and image capture method
KR102518373B1 (ko) * 2019-02-12 2023-04-06 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
CN113077413A (zh) * 2020-01-06 2021-07-06 苏州宝时得电动工具有限公司 自移动设备及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224072A1 (en) * 2011-03-03 2012-09-06 Qualcomm Incorporated Blurred image detection for text recognition
US20140294370A1 (en) * 2013-03-28 2014-10-02 Novatek Microelectronics Corp. Image Blurring Avoiding Method and Image Processing Chip Thereof

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2842740B2 (ja) 1992-09-24 1999-01-06 沖電気工業株式会社 複数視点３次元画像入力装置
JP2006020096A (ja) 2004-07-02 2006-01-19 Casio Comput Co Ltd 撮像記録装置、撮像記録方法及び撮像記録制御プログラム
US8482618B2 (en) 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
JP2006311145A (ja) 2005-04-27 2006-11-09 Fuji Photo Film Co Ltd 撮像装置、再生装置、制御方法、およびプログラム
US7965317B2 (en) 2005-09-14 2011-06-21 Nokia Corporation System and method for implementation motion-driven multi-shot image stabilization
US7626626B2 (en) * 2006-01-13 2009-12-01 Micron Technology, Inc. Method and apparatus providing pixel storage gate charge sensing for electronic stabilization in imagers
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US7952612B2 (en) 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
US20080100716A1 (en) 2006-11-01 2008-05-01 Guoyi Fu Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data
US20090040318A1 (en) 2007-08-09 2009-02-12 Michael John Brosnan Image stabilization with user feedback
TW200915856A (en) 2007-09-28 2009-04-01 Altek Corp Optimum image selection method and system
JP5247386B2 (ja) * 2008-12-01 2013-07-24 富士フイルム株式会社 可搬型放射線画像撮影装置及び放射線画像撮影システム
US8264553B2 (en) 2009-11-12 2012-09-11 Microsoft Corporation Hardware assisted image deblurring
US8588551B2 (en) 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
JP5643563B2 (ja) * 2010-07-22 2014-12-17 キヤノン株式会社 画像処理装置及びその制御方法
US8742354B2 (en) * 2010-07-26 2014-06-03 Fujifilm Corporation Radiation image capturing device and radiation image capturing method
US8913140B2 (en) 2011-08-15 2014-12-16 Apple Inc. Rolling shutter reduction based on motion sensors
JP5695595B2 (ja) * 2012-03-27 2015-04-08 株式会社リガク Ｘ線測定装置
KR101890305B1 (ko) 2012-08-27 2018-08-21 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US9148567B2 (en) 2012-09-21 2015-09-29 Blackberry Limited Methods and devices for controlling camera image capture
JP2015233250A (ja) * 2014-06-10 2015-12-24 キヤノン株式会社 画像処理装置及びその制御方法
US9641759B2 (en) * 2014-07-10 2017-05-02 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP2016039494A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 撮像装置及びその駆動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224072A1 (en) * 2011-03-03 2012-09-06 Qualcomm Incorporated Blurred image detection for text recognition
US20140294370A1 (en) * 2013-03-28 2014-10-02 Novatek Microelectronics Corp. Image Blurring Avoiding Method and Image Processing Chip Thereof

Also Published As

Publication number Publication date
AU2015331251A1 (en) 2017-03-23
US9832382B2 (en) 2017-11-28
CN107079096A (zh) 2017-08-18
KR20160044945A (ko) 2016-04-26
US20160112640A1 (en) 2016-04-21
EP3207696B1 (en) 2022-08-31
WO2016060366A1 (en) 2016-04-21
AU2015331251B2 (en) 2018-03-08
EP3207696A4 (en) 2017-10-18
EP3207696A1 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
KR102229152B1 (ko) 이미지 촬영 장치
US9800772B2 (en) Focus adjustment device and focus adjustment method that detects spatial frequency of a captured image
US10082723B2 (en) Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
US9848116B2 (en) Solid-state image sensor, electronic device, and auto focusing method
KR101556931B1 (ko) 영상 데이터 처리 장치 및 방법
US20170353648A1 (en) Imaging apparatus
JP2010136224A (ja) 撮像装置及び撮像方法
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
JP2010035131A (ja) 撮像装置及び撮像方法
US9661237B2 (en) Image capturing apparatus, control method thereof, and storage medium
US10397587B2 (en) Image processing apparatus and control method thereof
JP5947625B2 (ja) 撮像装置、及びその制御方法
JP2019080261A (ja) 撮像装置
JP6226536B2 (ja) 撮像装置及びその制御方法
US11729506B2 (en) Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program
JP2010130434A (ja) 撮像装置および撮像方法
JP2009194469A (ja) 撮像装置
JP2005333491A (ja) 撮像装置
JP2015109619A (ja) 撮像装置およびその制御方法
WO2015146643A1 (ja) イメージセンサ、および電子装置
JP2012222526A (ja) 撮像装置、方法およびプログラム
JP2005347901A (ja) 撮像装置および撮像方法
JP2016140057A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right