KR20150111835A - 올-인-포커스 구현 - Google Patents

올-인-포커스 구현 Download PDF

Info

Publication number
KR20150111835A
KR20150111835A KR1020150026782A KR20150026782A KR20150111835A KR 20150111835 A KR20150111835 A KR 20150111835A KR 1020150026782 A KR1020150026782 A KR 1020150026782A KR 20150026782 A KR20150026782 A KR 20150026782A KR 20150111835 A KR20150111835 A KR 20150111835A
Authority
KR
South Korea
Prior art keywords
image
focal plane
images
focus
time
Prior art date
Application number
KR1020150026782A
Other languages
English (en)
Other versions
KR101633671B1 (ko
Inventor
소우미엔두 사르카르
조프리 에프 번즈
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150111835A publication Critical patent/KR20150111835A/ko
Application granted granted Critical
Publication of KR101633671B1 publication Critical patent/KR101633671B1/ko

Links

Images

Classifications

    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N5/225—
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

올-인-포커스 구현을 위한 다양한 시스템 및 방법이 여기에 설명된다. 카메라 동작 시스템은 카메라 내에서 상이한 초점면의 이미지 시퀀스를 캡처하는 이미지 센서 - 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 와, 사용자로부터 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 사용자 인터페이스 모듈과, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 이미지 프로세서 - 적어도 두 개의 이미지는 상이한 초점면을 가짐 - 를 포함한다.

Description

올-인-포커스 구현{ALL-IN-FOCUS IMPLEMENTATION}
본 실시예는 전반적으로 사진촬영에 관한 것으로, 특히, 올-인-포커스 구현에 관한 것이다.
사진촬영 및 영화촬영에서, 피사체 심도(depth of field : DOF)는 이미지 내 초점의 전후방 범위를 의미한다. 큰 DOF의 사진에서, 전경, 중앙, 배경은 모두 초점 내에 존재한다. 반대로, 얕은 DOF의 사진은 초점 내에 단지 하나의 면(plane)만을 갖게 될 수 있다. 기존의 카메라에서, 큰 DOF는 작은 카메라 조리개로 달성될 수 있다. 일부 디지털 카메라에서, 몇몇 초점면은 재빨리 연달아 캡처되고 올-인-포커스 이미지를 생성하기 위해 결합될 수 있다.
도면은 반드시 일정한 비율로 축소되어 도시된 것은 아니며, 도면에서 동일한 숫자는 상이한 도면의 유사한 요소를 설명하기 위한 것이다. 상이한 접미 문자를 가지는 동일한 숫자는 유사한 요소의 상이한 예시를 표시할 수 있다. 일부 실시예가 첨부된 도면에서 예시로서 도시되나 이에 제한되는 것은 아니다.
도 1은 예시적인 실시예에 따른 카메라를 도시하는 블럭도이다.
도 2는 일 실시예에 따른 프레임 시퀀스를 도시하는 표이다.
도 3은 일 실시예에 따른 프레임 시퀀스를 도시하는 표이다.
도 4는 일 실시예에 따른 카메라 작동 방법을 도시하는 흐름도이다.
도 5는 일 실시예에 따라 여기서 논의되는 하나 이상의 기술(예를 들어, 방법론)을 수행하는 예시적인 머신을 도시하는 블럭도이다.
올-인-포커스 이미지는, 완벽하게 초점이 맞지 않는 경우, 대체로 초점이 맞는 결과 이미지를 획득하기 위해 상이한 초점면(focal plane)의 다수의 이미지를 포커싱함으로써 생성된다. 이러한 기술은 또한 포커스 스태킹(focus stacking), 초점면 병합(focal plane merging) 또는 z-스태킹으로 불린다. 상이한 초점면의 이미지 병합(fusion)은 이미지 분석을 통해 이미지 프로세서에 의해 수행된다. 예를 들어, 엣지 검출(edge detection)을 사용하여 상이한 초점면의 이미지의 다양한 대응 부분을 비교한 후, 가장 초점이 맞는 부분을 결과 이미지에서 사용한다.
기존의 카메라에서, 사진작가가 셔터 메커니즘을 작동시키는 순간과 이미지가 캡처되는 순간 사이에 지연이 존재한다. 이러한 지연은 올-인-포커스 사진촬영에서 확대된다. 사진작가가 셔터 릴리즈를 작동하면 기존의 카메라는 다수의 이미지를 캡처하고 올-인-포커스 이미지를 생성하기 위해 캡처된 다수의 이미지를 결합한다. 또한, 이러한 지연 때문에, 사진작가가 전자 뷰파인더를 통해 본 이미지와 실제로 캡처된 이미지는 일치하지 않는다. 본 개시는 올-인-포커스 이미지를 위해 최적화된 뷰파인더와 제로 셔터 랙(zero shutter lag)을 제공하는 시스템 및 방법을 설명한다. 여기에 설명되는 시스템 및 방법은 자동 포커싱(autofocus) 구현으로 동작한다.
도 1은 예시적인 실시예에 따른 카메라(100)를 도시하는 블럭도이다. 카메라(100)는 렌즈(102), 이미지 센서(104), 이미지 데이터 저장 장치(106), 미리보기 화면(108) 및 전자 뷰파인더(110)를 포함한다. 렌즈(102)는 이미지 센서(104)에 빛을 조사하도록 동작한다. 이미지 센서(104)는 CCD(charge-coupled device), CMOS(complementary metal-oxide-semiconductor), 또는 NMOS(N-type metal-oxide-semiconductor) 장치를 포함하는 임의 유형의 이미지 센서일 수 있다. CCD 센서에서, 픽셀은 p-도핑된 MOS 캐패시터에 의해 표시된다. 캐패시터 어레이가 광활성 영역(photoactive region)으로 동작하여, 각각의 캐패시터가 광 강도(light intensity)에 비례하여 전하를 축적한다. 전하는 어레이가 폐기되면(dumped) 전압으로 변환된다. 그 후, 전압은 샘플링 및 디지털화되어 메모리에 저장된다. CMOS 활성 픽셀 센서는 픽셀 센서의 어레이를 저장하는 집적 회로이고, 각각의 픽셀은 광검출기 및 능동형 증폭기를 포함한다.
이미지 데이터 저장 장치(106)는 RAM(random-access memory), 컴팩트 플래시 메모리, SD(Secure Digital) 메모리, 하드 드라이브, 플래시 드라이브 및 다른 플래시 메모리 데이터 저장 장치와 같은 임의 유형의 내장형 또는 탈착가능 메모리일 수 있다. 이미지가 촬영되면, 이미지는 이미지 데이터 저장 장치에 적어도 일시적으로 저장된다.
많은 유형에서, 미리보기 화면(108)은 이미지가 촬영된 직후에 일시적으로 표시하기 위해 사용된다. 미리보기 화면(108)은 카메라 몸체와 비교하여 상대적으로 큰 크기를 가질 수 있다. 예를 들어, 미리보기 화면(108)은 카메라 몸체의 후면 패널의 대부분을 차지할 수 있다. 미리보기 화면에 표시된 미리보기 이미지는 사용자(사진작가)로 하여금 이미지를 빠르게 살펴보고, 원치 않는 경우 이미지를 삭제하거나, 다른 이미지를 촬영하거나, 필터, 크로핑(cropping) 또는 줌 등을 사용하여 이미지를 수정하는 인-카메라 처리를 사용하는 것과 같은 추가 스텝을 수행하도록 할 수 있다. 전자 뷰파인더(110)는 사용자에 의해 이미지 캡쳐 과정을 트리거하기 전에 장면을 프레임하고 구성하는데 사용될 수 있다. 전자 뷰파인더(110)는 카메라 몸체의 상부와 같은 기존의 위치에 배치될 수 있으며, 주변의 빛을 전자 뷰파인더의 이미지로부터 차단하기 위한 후드 또는 다른 하우징을 포함할 수 있다. 몇몇 경우에, 전자 뷰파인더(110)는 미리보기 화면(108)에 통합되어, 미리보기 화면이 장면을 실시간으로 미리보기 하는데 사용될 수 있다. 휴대 전화, 태블릿 또는 스마트폰과 같은 일부 모바일 장치에서, 전자 뷰파인더(110) 및 미리보기 화면(108)은 동일한 것일 수 있다. 이러한 구조는 매끄러운 뷰파인더 이미지를 위해 미리보기 화면 상의 높은 FPS 업데이트를 요구한다.
이미지 데이터 저장 장치(106)는 이미지 버퍼(112)를 포함할 수 있다. 이미지 버퍼(112)는 동작하는 동안 이미지 센서(104)에 의해 계속적으로 캡처되는 이미지의 순환 버퍼(circular buffer)를 저장하도록 사용될 수 있다. 이미지는 이미지 센서(104)에서 프레임율로 캡처될 수 있다. 프레임율은 이미지 센서(104), 이미지 데이터 저장 장치(106), 이미지 프로세서(116) 또는 카메라(100)의 다른 요소의 역량에 따라 제약되거나 설계될 수 있다. 프레임율은 30 FPS(frames per second), 24 FPS, 45 FPS, 60 FPS 또는 다른 프레임율일 수 있다. (예를 들어, 셔터 릴리즈를 부분적으로 누르거나 단순히 물체를 가리키는 것을 통해서) 사용자가 장면을 프레이밍함에 따라, 카메라(100)는 계속적으로 이미지를 캡처하고 이미지 버퍼(112) 내에 저장할 수 있다. 사용자가 이미지 캡처를 트리거(예를 들어, 셔터 릴리즈를 누름)하면, 여러 이미지가 이미지 버퍼(112)에서 검색되고 올-인-포커스 이미지를 형성하는데 사용될 수 있다. 또한, 사용자가 장면을 프레이밍 하는 동안, 전자 뷰파인더(110) 및/또는 미리보기 화면(108)은 이미지 버퍼(112)에서 검색된 포커싱된 이미지(예를 들어, 오토 포커싱된 이미지)로 업데이트될 수 있다.
이미지 버퍼(112)는 올-인-포커스 이미지 처리 시간을 향상하고, 전자 뷰파인더(110) 또는 미리보기 화면(108)에서의 이미지 랙(lag)을 향상하거나 제거하도록 하는 다양한 방식 중 하나로 배치될 수 있다. 일 실시예에서, 일련의 이미지가 이미지 센서(104)에 의해 연속적으로 캡처되어 이미지 버퍼(112)에 저장될 수 있다. 일련의 이미지는 자동 포커싱된 기본 초점의 이미지, 더 먼 초점면의 이미지 및 더 가까운 초점면의 이미지의 순서로 상이하게 포커싱된 세 개의 반복 패턴을 포함할 수 있다. 시퀀스는 세 개 대신에 다섯 개 이상의 상이하게 노출된 이미지를 갖도록 확장될 수 있다. 예를 들어, 시퀀스는 기본 초점 이미지, 먼 이미지, 더 먼 이미지, 가까운 이미지 및 더 가까운 이미지일 수 있다. 이러한 설계로, 올-인-포커스 이미지는 최소 처리 랙으로 획득될 수 있다.
도 2는 일 실시예에 따른 프레임 시퀀스를 도시하는 표(200)이다. 일련의 프레임 주기가 제 1 행(202)에 도시된다. 상대적인 초점 거리가 제 2 행(204)에 도시된다. 제 3 행 내지 제 5 행(206, 208 및 210)에 올-인-포커스 이미지 병합이 도시된다. 제 6 행(212)에 특정 이미지 프레임에 대해 자동 포커싱 처리가 사용되었는지를 나타내는 표시가 도시된다. 제 7 행(214)에 특정 이미지 프레임에 대해 미리보기 처리가 사용되었는지를 나타내는 표시가 도시된다.
표(200)에 제시된 바와 같이, 프레임 주기 1에 대한 올-인-포커스 처리는 프레임 주기 0, 1 및 2에 캡처된 이미지에 대해 멀티프레임 이미지 병합을 수행함으로써 실시될 수 있다. 유사하게, 프레임 주기 2에 대한 올-인-포커스 처리는 프레임 주기 1, 2 및 3에 캡처된 이미지에 대해 멀티프레임 이미지 병합을 수행함으로써 실시될 수 있다. 이러한 방식으로 올-인-포커스 이미지가 모든 프레임 주기마다 처리될 수 있다.
따라서, 제로 셔터 랙 특성이 단일 프레임 주기의 조밀도(granularity)로 지원된다. 사용자는 단일 프레임 주기 단계로 프레임 히스토리에 대해 뒤로 탐색하는 것이 가능하다. 사용자가 셔터가 눌려지기 전의 시점의 이미지에 접근하는 것을 가능하게 하는 타임 넛지(time nudge) 특성이 또한 단일 프레임 주기의 조밀도를 사용해 구현될 수 있다. 타임 넛지를 용이하게 하기 위해, 캡처된 프레임에 대해 선처리가 수행되어 사용자에게 상이하게 포커싱된 이미지에 대해 더 나은 선명도를 제공할 수 있다.
그러나, 도 2에 도시된 프레임 시퀀스는, 매 세 번째 이미지 프레임이 자동 포커싱에서 비롯되는 기본 초점에 노출되는 문제 때문에 미리보기 화면이 캡처 FPS의 삼분의 일 정도로 낮은 FPS를 갖는 문제점이 발생한다. 가까이 포커싱된 이미지 프레임 및 멀리 포커싱된 이미지 프레임은 타겟 물체의 이미지가 의도적으로 아웃 포커스되기 때문에 미리보기에 적합하지 않다. 또한, 자동 포커싱 처리 및 자동 포커싱에 대한 수렴(convergence) 속도가 매 세 번째 이미지 프레임만이 자동 포커싱되는 것으로 낮아지는 문제가 발생하며, 이는 자동 포커싱을 더욱 어렵게 만든다.
도 3은 일 실시예에 따른 프레임 시퀀스를 도시하는 표(300)이다. 일련의 프레임 주기가 제 1 행(302)에 도시된다. 상대적인 초점 거리가 제 2 행(304)에 도시된다. 제 3 행 및 제 4 행(306 및 308)에 올-인-포커스 이미지 병합이 도시된다. 제 5 행(310)에 특정 이미지 프레임에 대해 자동 포커싱 처리가 사용되었는지를 나타내는 표시가 도시된다. 제 6 행(312)에 특정 이미지 프레임에 대해 미리보기 처리가 사용되었는지를 나타내는 표시가 도시된다.
미리보기 및 자동 포커싱 성능을 최적화하기 위해서, 도 2와 관련하여 설명된 바를 수정한 방법이 여기서 설명된다. 연속적인 캡처에 대한 초점 값은 매 네 개의 연속적인 이미지 캡처가 기본(자동) 초점 캡처, 먼 초점 캡처, 다시 기본(자동) 초점 캡처 및 가까운 초점 캡처로 포커싱되는 식으로 달라진다. 이러한 사이클이 반복된다. 자동 포커싱은 기본 초점의 이미지 캡처 상에서 계산된다. 도 2의 방식과 유사하게, 뷰파인더에 대한 미리보기는 기본(자동) 초점의 이미지 캡처 상에서 처리된다.
표(300)에 제시된 바와 같이, 프레임 주기 2에 대한 올-인-포커스 처리는 프레임 주기 1, 2 및 3에 캡처된 이미지에 대해 멀티프레임 이미지 병합을 수행함으로써 실시될 수 있다. 유사하게, 프레임 주기 4에 대한 올-인-포커스 처리는 프레임 주기 3, 4 및 5에 캡처된 이미지에 대해 멀티프레임 이미지 병합을 수행함으로써 실시될 수 있다. 이러한 방식으로 올-인-포커스 이미지가 매 두 개의 프레임 주기마다 처리될 수 있다.
결과적으로, 제로 셔터 랙 특성이 사용자가 한번에 두 프레임 뒤로 탐색하는 것이 가능하게 되는 두 프레임 주기의 조밀도로 지원된다. 타임 넛지 특성 또한 두 프레임 주기로 구현될 수 있다.
기본 자동 포커싱되는 이미지가 매 세 번째 프레임(예를 들어, 도 2의) 대신에 매 두 번째 프레임에 대해 가능해졌기 때문에, 뷰파인더(110) 또는 미리보기 화면(108)에 대한 자동 포커싱 및 미리보기 처리는 두 개의 프레임마다 또는 절반의 이미지 캡처의 FPS로 실시될 수 있다. 자동 포커싱 수렴이 단일 프레임 주기의 조밀도로 수행되는 도 2에 도시된 방식보다 두드러지게 빨라져서, 사용자가 더 빠른 카메라 응답과 높은 품질의 기본 초점으로 자동 포커싱된 올-인-포커스를 경험할 수 있다. 미리보기 FPS가 카메라 캡처 FPS의 절반이 됨에 따라, 더 부드럽고 강화된 미리보기 이미지가 사용자에게 제공된다. 자동 포커싱 수렴이 단일 프레임 주기의 조밀도로 수행되는 도 2에 도시된 방식보다 두드러지게 빨라져서, 결과적인 적응 올-인-포커스 이미지 또한 기본 초점을 더욱 정확하게 추적하고 시야의 변화가 초점의 변화를 야기하는 경우 더 빠르게 포커싱함으로써 더 높은 품질을 얻을 수 있다.
여기서 설명된 시스템 및 방법은 시간 지연을 제거하거나 줄이고, 사용자가 셔터 릴리즈의 순간에 또는 셔터 릴리즈에 근접한 순간에 올-인-포커스 이미지를 캡처하는 것을 가능하게 함으로써 사용자 경험을 강화한다. 이러한 메커니즘은 제로 셔터 랙이라 칭해진다.
또한, 이미지 버퍼(112)로 인해 사용자는 짧은 동안의 시간을 거슬러 탐색하는 것과 이미지 버퍼(112)의 이미지에 기초하여 올-인-포커스 이미지를 형성하는 것이 가능해진다. 상기 논의된 바와 같이, 이러한 메커니즘은 타임 넛지로 칭해진다.
여기서 설명된 시스템 및 방법은 적응적(adaptive)이다. 자동 포커싱 추정 초점면을 기본으로 사용하고 자동 포커싱 추정 초점면과 관련된 구별화된 초점면에서 다른 요소의 정지 이미지 캡처를 촬영함으로써 시스템이 적응적으로 동작하는 것과 자동 포커싱 초점면을 조정하는 것을 허용할 수 있다.
도 1로 돌아가서, 도 1은 카메라(100) 작동 시스템을 도시하고, 시스템은 카메라(100) 내에 상이한 초점면에서 이미지 시퀀스를 캡처하는 이미지 센서(104) - 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 와, 사용자로부터 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 사용자 인터페이스 모듈(114)과, 상이한 초점면을 갖는 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 이미지 프로세서(116)을 포함한다.
일 실시예에서, 이미지 시퀀스를 캡처하기 위해, 이미지 센서(104)는 다수의 FPS로 이미지 시퀀스를 캡처할 수 있다. 여러 실시예에서, 다수의 FPS는 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나일 수 있다.
일 실시예에서, 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 위해서, 사용자 인터페이스 모듈(114)은 이미지 시퀀스의 시간 프레임에 올-인-포커스 이미지를 저장하기 위한 명령을 수신한다. 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해, 이미지 프로세서(116)는 시간 프레임에 이미지 시퀀스에서 적어도 두 개의 이미지를 선택한다.
일 실시예에서, 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 것은 제 1 시간에 발생하고, 이미지 프로세서(116)는 제 1 시간 전에 발생하는 제 2 시간을 추정하며, 제 2 시간은 사용자가 언제 올-인-포커스 이미지를 저장하도록 의도하는지를 나타내고, 제 2 시간에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택함으로써 올-인-포커스 이미지를 생성하기 위해 적어도 두 개의 이미지를 병합할 것을 수행한다.
일 실시예에서, 제 2 시간을 추정하기 위해서, 이미지 프로세서(116)는 사용자의 반응 시간을 식별하고, 제 1 시간에서 반응 시간을 빼서 제 2 시간을 구한다.
일 실시예에서, 상이한 초점면의 이미지 시퀀스는 기본 초점면, 먼 초점면 및 가까운 초점면의 반복하는 일련의 이미지를 포함한다.
일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서, 이미지 프로세서(116)는 이미지 시퀀스로부터 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함하는 세 개의 연속하는 이미지를 선택하고, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성한다. 일 실시예에서, 기본 초점면은 자동 포커싱된 추정 초점면이다.
일 실시예에서, 상이한 초점면의 이미지 시퀀스는 기본 초점면, 먼 초점면, 기본 초점면 및 가까운 초점면의 반복하는 일련의 이미지를 포함한다.
일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서, 이미지 프로세서(116)는 이미지 시퀀스로부터 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함하는 세 개의 연속하는 이미지를 선택하고, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성한다.
일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서, 이미지 프로세서(116)는 이미지 시퀀스에서 먼 초점면의 이미지를 선택하고, 이미지 시퀀스에서 기본 초점면의 이미지를 선택하고, 기본 초점면의 이미지는 먼 초점면의 이미지에 곧바로 연속되고(immediately successive), 이미지 시퀀스에서 가까운 초점면의 이미지를 선택하고, 가까운 초점면의 이미지는 기본 초점면의 이미지에 곧바로 연속되고, 먼, 기본, 가까운 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성한다.
일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서, 이미지 프로세서(116)는 이미지 시퀀스에서 가까운 초점면의 이미지를 선택하고, 이미지 시퀀스에서 기본 초점면의 이미지를 선택하고, 기본 초점면의 이미지는 가까운 초점면의 이미지에 곧바로 연속되고, 이미지 시퀀스에서 먼 초점면의 이미지를 선택하고, 먼 초점면의 이미지는 기본 초점면의 이미지에 곧바로 연속되고, 가까운, 기본, 먼 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성한다.
일 실시예에서, 사용자 인터페이스 모듈(114)은 이미지 시퀀스에서 선택된 이미지를 전자 뷰파인더 이미지으로 표시한다.
도 4는 일 실시예에 따른 카메라 동작 방법(400)을 도시하는 흐름도이다. 단계(402)에서, 상이한 초점면의 이미지 시퀀스가 카메라의 이미지 센서를 사용하여 캡처되고, 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생한다.
일 실시예에서, 이미지 시퀀스를 캡처하는 것은 다수의 FPS의 이미지 시퀀스를 캡처하는 것을 포함한다. 여러 실시예에서, 다수의 FPS는 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나이다.
일 실시예에서, 상이한 초점면의 이미지 시퀀스는 기본 초점면, 먼 초점면 및 가까운 초점면의 반복되는 일련의 이미지를 포함한다. 일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계는, 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하는 단계 - 세 개의 연속하는 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함함 - 와, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함한다. 일 실시예에서, 기본 초점면은 자동 포커싱된 추정 초점면이다.
일 실시예에서, 상이한 초점면의 이미지 시퀀스는 기본 초점면, 먼 초점면, 기본 초점면 및 가까운 초점면의 반복되는 일련의 이미지를 포함한다. 일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계는, 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하는 단계 - 세 개의 연속하는 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함함 - 와, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함한다.
일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계는, 이미지 시퀀스에서 먼 초점면의 이미지를 선택하는 단계와, 이미지 시퀀스에서 기본 초점면의 이미지를 선택하는 단계 - 기본 초점면의 이미지는 먼 초점면의 이미지에 바로 후속함 - 와, 이미지 시퀀스에서 가까운 초점면의 이미지를 선택하는 단계 - 가까운 초점면의 이미지는 기본 초점면의 이미지에 바로 후속함 - 와, 먼, 기본, 가까운 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함한다.
일 실시예에서, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하하는 단계는, 이미지 시퀀스에서 가까운 초점면의 이미지를 선택하는 단계와, 이미지 시퀀스에서 기본 초점면의 이미지를 선택하는 단계 - 기본 초점면의 이미지는 가까운 초점면의 이미지에 바로 후속함 - 와, 이미지 시퀀스에서 먼 초점면의 이미지를 선택하는 단계 - 먼 초점면의 이미지는 기본 초점면의 이미지에 바로 후속함 - 와, 가까운, 기본, 먼 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함한다.
단계(404)에서, 올-인-포커스 이미지를 저장하기 위한 신호가 사용자로부터 수신된다. 신호는 사용자가 물리적 또는 가상의 셔터 릴리즈 버튼을 누르는 것과, 미리보기 화면(108)을 누르는 것과, 원격 셔터 릴리즈를 사용하는 것과, 예약된(timed) 셔터 릴리즈를 사용하는 것 등에 의해 초기화될 수 있다.
단계(406)에서, 이미지 프로세서를 사용하여 적어도 두 개의 이미지를 병합함으로써 올-인-포커스 이미지가 생성되며, 적어도 두 개의 이미지는 상이한 초점면을 갖는다.
일 실시예에서, 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계는 이미지 시퀀스의 시간 프레임에서 올-인-포커스 이미지를 저장하기 위한 명령을 수신하는 단계를 포함하고, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계는 시간 프레임에서 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택하는 단계를 포함한다.
일 실시예에서, 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계는 제 1 시간에 발생하고, 방법은 제 1 시간 전에 발생하는 제 2 시간을 추정하는 단계 - 제 2 시간은 언제 사용자가 올-인-포커스 이미지를 저장하고자 의도하는지를 표시함 - 를 포함하고, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계는 제 2 시간에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택하는 단계를 포함한다. 일 실시예에서, 제 2 시간을 추정하는 단계는 사용자의 반응 시간을 식별하는 단계와, 제 2 시간을 구하기 위해서 제 1 시간에서 반응 시간을 빼는 단계를 포함한다.
일 실시예에서, 방법(400)은 이미지 시퀀스로부터 선택된 이미지를 전자 뷰파인더 이미지으로 표시하는 단계를 포함한다. 이미지는, 예를 들어, 이미지 버퍼(112)로부터의 기본 자동 포커싱된 이미지일 수 있다.
실시예는 하드웨어, 펌웨어, 소프트웨어 중 하나 및 이들의 결합으로 구현될 수 있다. 실시예는 또한 머신 판독가능 저장 장치에 저장된 명령어로서 구현될 수 있으며, 명령어는 여기서 설명된 동작을 수행하기 위해 적어도 하나의 프로세서에 의해 판독되고 실행될 수 있다. 머신 판독가능 저장 장치는 머신(예를 들어, 컴퓨터)에 의해 판독가능한 형태의 정보를 저장하는 임의의 비 일시적 메커니즘을 포함할 수 있다. 예를 들어, 머신 판독가능 저장 장치는 RAM(random-access memory), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 장치 및 다른 저장 장치 및 매체를 포함할 수 있다.
여기에 설명된 예시는 로직 또는 다수의 요소, 모듈, 또는 메커니즘을 포함하거나 그 상에서 동작할 수 있다. 모듈은 여기에 설명된 동작을 수행하기 위해 하나 이상의 프로세서와 통신적으로 연결된 하드웨어, 소프트웨어 또는 펌웨어일 수 있다. 모듈은 하드웨어 모듈일 수 있으며, 그러한 모듈은 특정 동작을 수행할 수 있는 유형의 개체로 간주되며 특정 방식으로 구성되거나 배치될 수 있다. 일 예시에서, 회로가 모듈로서 특정 방식으로(예를 들어, 내부적으로 또는 다른 회로와 같은 외부 개체와 관련되어) 배치될 수 있다. 일 예시에서, 하나의 이상의 컴퓨터 시스템(예를 들어, 자립형(standalone), 클라이언트 또는 서버 컴퓨터 시스템)의 전체 또는 일부 또는 하나 이상의 하드웨어 프로세서가 펌웨어 또는 소프트웨어(예를 들어, 명령어, 애플리케이션 부분 또는 애플리케이션)에 의해 특정 동작을 수행하도록 동작하는 모듈로서 구성될 수 있다. 일 예시에서, 소프트웨어는 머신 판독가능 매체 상에 존재할 수 있다. 일 예시에서, 소프트웨어는 모듈의 하부 하드웨어에 의해 실행되는 경우 하드웨어로 하여금 특정 동작을 수행하도록 한다. 따라서, 하드웨어 모듈이라는 용어는 특정 방식으로 동작하거나 여기에 설명된 동작의 일부 또는 전부를 수행하도록 물리적으로 설계되거나, 구체적으로 구성(예를 들어, 하드웨어에 내장된)되거나, 또는 임시로(예를 들어, 일시적으로) 구성(예를 들어, 프로그램된)되는 유형의 개체를 망라하는 것으로 이해된다. 모듈이 임시로 구성되는 예시를 살펴보면, 각각의 모듈은 임의의 한 시점에 실체화될(instantiated) 필요가 없다. 예를 들어, 모듈이 소프트웨어를 사용하여 구성된 범용 하드웨어 프로세서를 포함하는 경우에, 범용 하드웨어 프로세서는 상이한 시점에 각각 상이한 모듈로 구성될 수 있다. 따라서, 소프트웨어는 예를 들어, 한 시점에 특정 모듈을 구성하고 다른 한 시점에 다른 모듈을 구성하는 방식으로 하드웨어 프로세서를 구성할 수 있다. 모듈은 또한 여기에 설명되는 방법론을 수행하도록 동작하는 소프트웨어 또는 펌웨어 모듈일 수 있다.
도 5는 컴퓨터 시스템(500)의 예시적인 형태의 머신을 도시하는 블럭도로서, 머신 내의 명령어의 셋 또는 시퀀스는 실행되는 경우 머신으로 하여금 예시적인 실시예에 따라 여기서 논의되는 임의의 한 방법론을 수행하도록 한다. 대안적인 실시예에서, 머신은 독립형 장치로서 동작하거나 다른 머신에 연결(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신은 서버-클라이언트 네트워크 환경에서 서버 또는 클라이언트로서 동작할 수 있거나, 또는 피어-투-피어(또는 분산) 네트워크 환경에서 피어 머신으로 동작할 수 있다. 머신은 차량 탑재 시스템, 웨어러블(wearable) 장치, 개인용 컴퓨터(PC), 태블릿 PC, 하이브리드 태블릿, PDA(personal digital assistant), 무선 전화 또는 머신에 의해 취해질 동작을 특정하는 (순차적 또는 다른)명령어를 실행할 수 있는 임의의 머신일 수 있다. 또한, 오직 하나의 머신만이 도시되었으나, "머신"이라는 용어는 또한 여기서 논의된 임의의 하나 이상의 방법론을 수행하기 위해 명령어의 셋(또는 다수의 셋)을 개별적으로 또는 공동으로 실행하는 임의 집단의 머신을 포함할 수 있다. 유사하게, "프로세서 기반 시스템"이라는 용어는 여기서 논의된 임의의 하나 이상의 방법론을 수행하기 위해 명령어를 개별적으로 또는 공동으로 실행하도록 프로세서(예를 들어, 컴퓨터)에 의해 제어되거나 동작되는 하나 이상의 머신의 임의 셋을 포함할 수 있다.
예시적인 컴퓨터 시스템(500)은 링크(508)(예를 들어, 버스)를 통해 서로 통신하는 적어도 하나의 프로세서(502)(예를 들어, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU) 또는 그 둘 모두, 프로세서 코어, 컴퓨트 노드 등), 메인 메모리(504) 및 정적 메모리(506)을 포함한다. 컴퓨터 시스템(500)은 비디오 디스플레이 유닛(510), 문자숫자(alphanumeric) 입력 장치(512)(예를 들어, 키보드) 및 사용자 인터페이스(UI) 탐색 장치(514)(예를 들어, 마우스)를 더 포함할 수 있다. 일 실시예에서, 비디오 디스플레이 유닛(510), 문자숫자 입력 장치(512) 및 UI 탐색 장치(514)는 터치스크린 디스플레이로 통합될 수 있다. 컴퓨터 시스템(500)은 저장 장치(516)(예를 들어, 드라이브 유닛), 신호 생성 장치(518)(예를 들어, 스피커), 네트워크 인터페이스 장치(520) 및 GPS(global positioning system) 센서, 나침반(compass), 가속도계 및 다른 센서와 같은 하나 이상의 센서(미도시)를 추가로 포함할 수 있다.
저장 장치(516)는 여기서 설명되는 임의의 하나 이상의 방법론 또는 기능을 구현하거나 그에 의해 활용되는 데이터 구조 및 명령어(524)(예를 들어, 소프트웨어)의 하나 이상의 셋을 저장하는 머신 판독가능 매체(522)를 포함한다. 명령어(524)는 또한 완전히 또는 적어도 부분적으로 메인 메모리(504), 정적 메모리(506) 및/또는 컴퓨터 시스템(500)에 의해 실행되는 동안 프로세서(502) 내에 존재할 수 있으며, 또한 메인 메모리(504), 정적 메모리(506) 및 프로세서(502)와 함께 머신 판독가능 매체를 구성할 수 있다.
머신 판독가능 매체(522)가 예시적인 실시예에서 단일 매체로서 도시되었으나, "머신 판독가능 매체"라는 용어는 하나 이상의 명령어(524)를 저장하는 단일 매체 또는 다수의 매체(예를 들어, 중앙 또는 분산 데이터베이스 및/또는 관련된 캐시 및 서버)를 포함할 수 있다. "머신 판독가능 매체"라는 용어는 또한 머신에 의해 실행되는 명령어를 저장, 인코딩 또는 운반할 수 있고, 머신으로 하여금 본 개시의 하나 이상의 방법론을 수행하도록 하거나 그러한 명령어에 의해 활용되거나 관련된 데이터 구조를 저장, 인코딩 또는 운반할 수 있는 임의의 유형의(tangible) 매체를 포함할 수 있다. 따라서 "머신 판독가능 매체"라는 용어는 또한 고체 상태 메모리(solid-state memories) 및 광학 및 자기 매체를 포함할 수 있으나 이에 한정되는 것은 아니다. 머신 판독가능 매체의 특정 예시로서 비휘발성 메모리를 포함할 수 있으며, 비휘발성 메모리는 예시적으로 반도체 메모리 장치(예를 들어, EPROM(electrically programmable read-only memory), EEPROM(electrically erasable programmable read-only memory)) 및 플래시 메모리 장치, 내부 하드 디스크 및 탈착가능 디스크와 같은 자기 디스크 및 CD-ROM 및 DVD-ROM 디스크를 포함할 수 있으나 이에 제한되는 것은 아니다.
명령어(524)는 또한 다수의 널리 알려진 전송 프로토콜(예를 들어, HTTP) 중 하나를 활용하는 네트워크 인터페이스 장치(520)를 통해 전송 매체를 사용하여 통신 네트워크(526)에 송신되거나 수신될 수 있다. 통신 네트워크의 예시로서 LAN(local area network), WAN(wide area network), 인터넷, 휴대전화 네트워크, POTS(plain old telephone) 네트워크 및 무선 데이터 네트워크(예를 들어, Wi-Fi, 3G 및 4G LTE/LTE-A 또는 WiMAX 네트워크)를 포함할 수 있다. "전송 매체"라는 용어는 머신에 의해 실행되는 명령어를 저장, 인코딩 또는 운반할 수 있고 디지털 또는 아날로그 통신 신호를 포함하는 임의의 무형의 매체 또는 그러한 소프트웨어의 통신을 용이하게 하는 다른 무형의 매체를 포함할 수 있다.
추가적인 주의 사항 및 예시:
예시 1은 카메라에서 상이한 초점면에서 이미지 시퀀스를 캡처하는 이미지 센서 - 상기 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 와, 사용자로부터 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 사용자 인터페이스 모듈과, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 이미지 프로세서 - 적어도 두 개의 이미지는 상이한 초점면을 가짐 - 를 포함하는 시스템을 포함하는 카메라를 작동하는 (장치(device), 장치(apparatus) 또는 머신과 같은)대상을 포함한다.
예시 2에서, 예시 1의 대상은 이미지 시퀀스를 캡처하기 위해서 이미지 센서가 다수의 FPS로 이미지 시퀀스를 캡처하는 것을 포함할 수 있다.
예시 3에서, 예시 1 및 2 중 임의의 하나 이상의 대상은 다수의 FPS가 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나인 것을 포함할 수 있다.
예시 4에서, 예시 1 내지 3 중 임의의 하나 이상의 대상은 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 위해서 사용자 인터페이스 모듈이 이미지 시퀀스의 시간 프레임에서 올-인-포커스 이미지를 저장하기 위한 명령을 수신하고, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서 이미지 프로세서가 시간 프레임에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택하는 것을 포함할 수 있다.
예시 5에서, 예시 1 내지 4 중 임의의 하나 이상의 대상은 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 것이 제 1 시간에 발생하고, 이미지 프로세서가 제 2 시간을 추정하고, 제 2 시간은 제 1 시간 이전에 발생하고, 제 2 시간은 사용자가 언제 올-인-포커스 이미지를 저장하고자 의도하는지를 나타내고, 제 2 시간에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택함으로써 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 것을 포함할 수 있다.
예시 6에서, 예시 1 내지 5 중 임의의 하나 이상의 대상은 제 2 시간을 추정하기 위해서 이미지 프로세서가 사용자의 반응 시간을 식별하고, 제 1 시간으로부터 반응 시간을 빼서 제 2 시간을 구하는 것을 포함할 수 있다.
예시 7에서, 예시 1 내지 6 중 임의의 하나 이상의 대상은 상이한 초점면의 이미지 시퀀스가 기본 초점면, 먼 초점면 및 가까운 초점면의 반복하는 일련의 이미지를 포함하는 것을 포함할 수 있다.
예시 8에서, 예시 1 내지 7 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서 이미지 프로세서가 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하고, 연속하는 세 개의 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함하고, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 것을 포함할 수 있다.
예시 9에서, 예시 1 내지 8 중 임의의 하나 이상의 대상은 기본 초점면이 자동 포커싱 추정 초점면인 것을 포함할 수 있다.
예시 10에서, 예시 1 내지 9 중 임의의 하나 이상의 대상은 상이한 초점면의 이미지 시퀀스가 기본 초점면, 먼 초점면, 기본 초점면, 가까운 초점면의 반복하는 일련의 이미지를 포함하는 것을 포함할 수 있다.
예시 11에서, 예시 1 내지 10 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서 이미지 프로세서가 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하고, 연속하는 세 개의 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함하고, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 것을 포함할 수 있다.
예시 12에서, 예시 1 내지 11 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서 이미지 프로세서가 이미지 시퀀스로부터 먼 초점면의 이미지를 선택하고, 이미지 시퀀스로부터 기본 초점면의 이미지를 선택하고, 기본 초점면의 이미지는 먼 초점면의 이미지에 곧바로 연속되고, 이미지 시퀀스로부터 가까운 초점면의 이미지를 선택하고, 가까운 초점면의 이미지는 기본 초점면의 이미지에 곧바로 연속되고, 먼, 기본, 가까운 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 것을 포함할 수 있다.
예시 13에서, 예시 1 내지 12 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하기 위해서 이미지 프로세서가 이미지 시퀀스로부터 가까운 초점면의 이미지를 선택하고, 이미지 시퀀스로부터 기본 초점면의 이미지를 선택하고, 기본 초점면의 이미지는 가까운 초점면의 이미지에 곧바로 연속되고, 이미지 시퀀스로부터 먼 초점면의 이미지를 선택하고, 먼 초점면의 이미지는 기본 초점면의 이미지에 곧바로 연속되고, 가까운, 기본, 먼 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 것을 포함할 수 있다.
예시 14에서, 예시 1 내지 13 중 임의의 하나 이상의 대상은 사용자 인터페이스 모듈이 이미지 시퀀스로부터 선택된 이미지를 전자 뷰파인더 이미지으로 표시하는 것을 포함할 수 있다.
예시 15는 (방법, 동작을 수행하는 수단, 머신에 의해 수행되면 머신으로 하여금 동작을 수행하도록 하는 명령어를 포함하는 머신 판독가능 매체 또는 수행하도록 구성된 장치와 같은) 카메라를 동작하는 대상을 포함하며, 상기 대상은 카메라 내의 이미지 센서를 사용하여 상이한 초점면의 이미지 시퀀스를 캡처하는 단계 - 상기 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 와, 사용자로부터 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계와, 이미지 프로세서를 사용하여 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계 - 적어도 두 개의 이미지는 상이한 초점면을 가짐 - 를 포함한다.
예시 16에서, 예시 15의 대상은 이미지 시퀀스를 캡처하는 단계가 다수의 FPS로 이미지 시퀀스를 캡처하는 단계를 포함하는 것을 포함할 수 있다.
예시 17에서, 예시 15 및 16 중 임의의 하나 이상의 대상은 다수의 FPS가 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나인 것을 포함할 수 있다.
예시 18에서, 예시 15 내지 17 중 임의의 하나 이상의 대상은 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계가 이미지 시퀀스의 시간 프레임에서 올-인-포커스 이미지를 저장하기 위한 명령을 수신하는 단계를 포함하고, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계가 시간 프레임에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택하는 단계를 포함하는 것을 포함할 수 있다.
예시 19에서, 예시 15 내지 18 중 임의의 하나 이상의 대상은 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계가 제 1 시간에 발생하고, 방법은 제 2 시간을 추정하는 단계 - 제 2 시간은 제 1 시간 이전에 발생하고, 제 2 시간은 사용자가 언제 올-인-포커스 이미지를 저장하고자 의도하는지를 나타냄 - 를 포함하고, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계는 제 2 시간에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택하는 단계를 포함하는 것을 포함할 수 있다.
예시 20에서, 예시 15 내지 19 중 임의의 하나 이상의 대상은 제 2 시간을 추정하는 단계가 사용자의 반응 시간을 식별하는 단계와, 제 1 시간으로부터 반응 시간을 빼서 제 2 시간을 구하는 단계를 포함하는 것을 포함할 수 있다.
예시 21에서, 예시 15 내지 20 중 임의의 하나 이상의 대상은 상이한 초점면의 이미지 시퀀스가 기본 초점면, 먼 초점면 및 가까운 초점면의 반복하는 일련의 이미지를 포함하는 것을 포함할 수 있다.
예시 22에서, 예시 15 내지 21 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계가 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하는 단계 - 연속하는 세 개의 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함함 - 와, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함하는 것을 포함할 수 있다.
예시 23에서, 예시 15 내지 22 중 임의의 하나 이상의 대상은 기본 초점면이 자동 포커싱 추정 초점면인 것을 포함할 수 있다.
예시 24에서, 예시 15 내지 23 중 임의의 하나 이상의 대상은 상이한 초점면의 이미지 시퀀스가 기본 초점면, 먼 초점면, 기본 초점면, 가까운 초점면의 반복하는 일련의 이미지를 포함하는 것을 포함할 수 있다.
예시 25에서, 예시 15 내지 24 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계가 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하는 단계 - 연속하는 세 개의 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함함 - 와, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함하는 것을 포함할 수 있다.
예시 26에서, 예시 15 내지 25 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계가 이미지 시퀀스로부터 먼 초점면의 이미지를 선택하는 단계와, 이미지 시퀀스로부터 기본 초점면의 이미지를 선택하는 단계 - 기본 초점면의 이미지는 먼 초점면의 이미지에 바로 후속함 - 와, 이미지 시퀀스로부터 가까운 초점면의 이미지를 선택하는 단계 - 가까운 초점면의 이미지는 기본 초점면의 이미지에 바로 후속함 - 와, 먼, 기본, 가까운 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함하는 것을 포함할 수 있다.
예시 27에서, 예시 15 내지 26 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 단계가 이미지 시퀀스로부터 가까운 초점면의 이미지를 선택하는 단계와, 이미지 시퀀스로부터 기본 초점면의 이미지를 선택하는 단계 - 기본 초점면의 이미지는 가까운 초점면의 이미지에 바로 후속함 - 와, 이미지 시퀀스로부터 먼 초점면의 이미지를 선택하는 단계 - 먼 초점면의 이미지는 기본 초점면의 이미지에 바로 후속함 - 와, 가까운, 기본, 먼 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 단계를 포함하는 것을 포함할 수 있다.
예시 28에서, 예시 15 내지 27 중 임의의 하나 이상의 대상은 이미지 시퀀스로부터 선택된 이미지를 전자 뷰파인더 이미지으로 표시하는 단계를 포함할 수 있다.
예시 29는 머신에 의해 실행되는 경우 머신으로 하여금 예시 1 내지 28 중 임의의 하나를 수행하도록 하는 명령어를 포함하는 머신 판독가능 매체를 포함한다.
예시 30은 예시 1 내지 28 중 임의의 것을 수행하는 수단을 포함하는 장치를 포함한다.
예시 31은 카메라 내의 이미지 센서를 사용하여 상이한 초점면의 이미지 시퀀스를 캡처하는 수단 - 상기 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 과, 사용자로부터 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 수단과, 이미지 프로세서를 사용하여 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 수단 - 적어도 두 개의 이미지는 상이한 초점면을 가짐 - 을 포함하는 장치를 포함한다.
예시 32에서, 예시 31의 대상은 이미지 시퀀스를 캡처하는 것이 다수의 FPS로 이미지 시퀀스를 캡처하는 것을 포함할 수 있다.
예시 33에서, 예시 31 및 32 중 임의의 하나 이상의 대상은 다수의 FPS가 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나인 것을 포함할 수 있다.
예시 34에서, 예시 31 내지 33 중 임의의 하나 이상의 대상은 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 수단이 이미지 시퀀스의 시간 프레임에서 올-인-포커스 이미지를 저장하기 위한 명령을 수신하는 수단을 포함하고, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 수단이 시간 프레임에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택하는 수단을 포함하는 것을 포함할 수 있다.
예시 35에서, 예시 31 내지 34 중 임의의 하나 이상의 대상은 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 것이 제 1 시간에 발생하고, 장치가 제 2 시간을 추정하는 수단 - 제 2 시간은 제 1 시간 이전에 발생하고, 제 2 시간은 사용자가 언제 올-인-포커스 이미지를 저장하고자 의도하는지를 나타냄 - 을 포함하고, 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 수단은 제 2 시간에 이미지 시퀀스로부터 적어도 두 개의 이미지를 선택하는 수단을 포함하는 것을 포함할 수 있다.
예시 36에서, 예시 31 내지 35 중 임의의 하나 이상의 대상은 제 2 시간을 추정하는 수단이 사용자의 반응 시간을 식별하는 수단과, 제 1 시간으로부터 반응 시간을 빼서 제 2 시간을 구하는 수단을 포함하는 것을 포함할 수 있다.
예시 37에서, 예시 31 내지 36 중 임의의 하나 이상의 대상은 상이한 초점면의 이미지 시퀀스가 기본 초점면, 먼 초점면 및 가까운 초점면의 반복하는 일련의 이미지를 포함하는 것을 포함할 수 있다.
예시 38에서, 예시 31 내지 37 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 수단이 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하는 수단 - 연속하는 세 개의 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함함 - 과, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 수단을 포함하는 것을 포함할 수 있다.
예시 39에서, 예시 31 내지 38 중 임의의 하나 이상의 대상은 기본 초점면이 자동 포커싱 추정 초점면인 것을 포함할 수 있다.
예시 40에서, 예시 31 내지 39 중 임의의 하나 이상의 대상은 상이한 초점면의 이미지 시퀀스가 기본 초점면, 먼 초점면, 기본 초점면, 가까운 초점면의 반복하는 일련의 이미지를 포함하는 것을 포함할 수 있다.
예시 41에서, 예시 31 내지 40 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 수단이 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택하는 수단 - 연속하는 세 개의 이미지는 기본 초점면의 이미지, 먼 초점면의 이미지 및 가까운 초점면의 이미지를 포함함 - 과, 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 수단을 포함하는 것을 포함할 수 있다.
예시 42에서, 예시 31 내지 41 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 수단이 이미지 시퀀스로부터 먼 초점면의 이미지를 선택하는 수단과, 이미지 시퀀스로부터 기본 초점면의 이미지를 선택하는 수단 - 기본 초점면의 이미지는 먼 초점면의 이미지에 바로 후속함 - 과, 이미지 시퀀스로부터 가까운 초점면의 이미지를 선택하는 수단 - 가까운 초점면의 이미지는 기본 초점면의 이미지에 바로 후속함 - 과, 먼, 기본, 가까운 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 수단을 포함하는 것을 포함할 수 있다.
예시 43에서, 예시 31 내지 42 중 임의의 하나 이상의 대상은 적어도 두 개의 이미지를 병합하여 올-인-포커스 이미지를 생성하는 수단이 이미지 시퀀스로부터 가까운 초점면의 이미지를 선택하는 수단과, 이미지 시퀀스로부터 기본 초점면의 이미지를 선택하는 수단 - 기본 초점면의 이미지는 가까운 초점면의 이미지에 바로 후속함 - 과, 이미지 시퀀스로부터 먼 초점면의 이미지를 선택하는 수단 - 먼 초점면의 이미지는 기본 초점면의 이미지에 바로 후속함 - 과, 가까운, 기본, 먼 초점면의 이미지의 포커싱된 부분을 병합하여 올-인-포커스 이미지를 생성하는 수단을 포함하는 것을 포함할 수 있다.
예시 44에서, 예시 31 내지 43 중 임의의 하나 이상의 대상은 이미지 시퀀스로부터 선택된 이미지를 전자 뷰파인더 이미지으로 표시하는 수단을 포함할 수 있다.
상기 상세한 설명은 상세한 설명의 일부를 형성하는 첨부된 도면에 대한 참조를 포함한다. 도면은 실시될 특정 실시예를 도시의 방법으로서 제시한다. 이러한 실시예는 또한 여기서 "예시"로서 일컬어진다. 그러한 예시는 도시되거나 설명된 것에 더하여 요소들을 포함할 수 있다. 그러나, 도시되거나 설명된 요소를 포함하는 예시 또한 고려된다. 아울러, 여기에 도시되거나 설명된 특정 예시(또는 그 하나 이상의 양태) 또는 다른 예시(또는 그 하나 이상의 양태)와 관련하여, 도시되거나 설명된 요소(또는 그 하나 이상의 양태)의 임의의 조합이나 순열을 사용한 예시 또한 고려된다.
본 문서에서 참조된 공개물, 특허 및 특허 문서는 개별적으로 원용되는 것처럼 모든 내용을 본 출원에 원용한다. 본 문서와 원용된 문서 간의 용어의 불일치와 관련해, 원용된 문서에서의 사용은 본 문서를 보완하는 것에 불과하므로, 양립할 수 없는 불일치에 관해서는 본 문서에서의 사용이 적용된다.
본 문서에서 "한" 또는 "하나의"라는 용어는 특허 문서에서 흔히 쓰이듯이 "적어도 하나" 또는 "하나 이상"의 다른 사례 또는 사용과는 별개로 하나 또는 하나 이상을 포함하도록 사용된다. 본 문서에서 "또는"이라는 용어는 별도로 언급되지 않는 한 비배타적(nonexclusive) 또는 "A 또는 B"가 "B가 아닌 A," "A가 아닌 B" 및 "A와 B"를 포함하는 것을 의미하도록 사용된다. 첨부된 청구항에서, "포함하는(including)" 및 "in which"라는 용어는 각각 "포함하는(comprising)" 및 "wherein"의 보통 영어의 등가물로서 사용된다. 또한, 하기의 청구항에서 "포함하는(including)" 및 "포함하는(comprising)"이라는 용어는 개방형(open-ended)으로서, 청구항에서 그러한 용어 뒤에 열거되는 요소에 더하여 다른 요소를 포함하는 시스템, 장치, 제조물 또는 프로세스가 또한 청구항의 범주 내에 속하는 것으로 여겨진다. 아울러, 하기 청구항에서 "제 1," "제 2" 및 "제 3" 등의 용어는 단지 라벨로서 사용되는 것일 뿐, 그 대상의 번호 순서를 제안하도록 의도된 것은 아니다.
상기 설명은 예시하기 위한 것일 뿐 제한적인 것을 의도하는 것은 아니다. 예를 들어, 상기 설명된 예시(또는 그 하나 이상의 양태)는 다른 것과 결합되어 사용될 수 있다. 다른 실시예가 당업자가 상기 설명을 살펴본 후 사용될 수 있다. 독자는 요약서를 통해 기술적 개시의 속성을 빠르게 확인할 수 있다. 요약서는 청구항의 범위 또는 의미를 제한하도록 해석되는데 사용되어서는 안 된다. 또한, 상기 상세한 설명에서, 다양한 요소들이 개시를 간소화하기 위해 같이 그룹화될 수 있다. 그러나, 실시예가 여기 설명된 요소의 부분집합일 수 있으므로 청구항은 그러한 모든 요소를 언급하지 않을 수 있다. 또한, 실시예는 특정 실시예에서 개시된 것보다 더 적은 요소를 포함할 수 있다. 따라서, 하기 청구항은 상세한 설명에 원용되어 청구항 그 자체가 개별적인 실시예가 될 수 있다. 여기 개시된 실시예의 범위는 첨부된 청구항 및 그러한 청구항의 권리가 부여되는 등가물의 전체 범위를 참조하여 결정될 것이다.

Claims (25)

  1. 카메라 동작 시스템으로서,
    상기 카메라 내에서 상이한 초점면(focal planes)의 이미지 시퀀스를 캡처하는 이미지 센서 - 상기 이미지 시퀀스의 적어도 일부는 올-인-포커스(all-in-focus) 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 와,
    사용자로부터 상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 사용자 인터페이스 모듈과,
    적어도 두 개의 이미지를 병합(fuse)하여 상기 올-인-포커스 이미지를 생성하는 이미지 프로세서 - 상기 적어도 두 개의 이미지는 상이한 초점면을 가짐 - 를 포함하는
    카메라 동작 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 센서는, 상기 이미지 시퀀스를 캡처하기 위해, 다수의 FPS(frames per second)로 상기 이미지 시퀀스를 캡처하는
    카메라 동작 시스템.
  3. 제 2 항에 있어서,
    상기 다수의 FPS는 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나인
    카메라 동작 시스템.
  4. 제 1 항에 있어서,
    상기 사용자 인터페이스 모듈은, 상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 위해, 상기 이미지 시퀀스의 시간 프레임에 상기 올-인-포커스 이미지를 저장하기 위한 명령을 수신하고,
    상기 이미지 프로세서는, 상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하기 위해, 상기 시간 프레임에서 상기 이미지 시퀀스로부터 상기 적어도 두 개의 이미지를 선택하는
    카메라 동작 시스템.
  5. 제 1 항에 있어서,
    상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 것은 제 1 시간에 발생하고,
    상기 이미지 프로세서는
    제 2 시간을 추정 - 상기 제 2 시간은 상기 제 1 시간 전에 발생하고, 상기 사용자가 언제 상기 올-인-포커스 이미지를 저장하고자 의도하는지 표시함 - 하고,
    상기 제 2 시간에 상기 이미지 시퀀스로부터 상기 적어도 두 개의 이미지를 선택함으로써 상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하는
    카메라 동작 시스템.
  6. 제 5 항에 있어서,
    상기 이미지 프로세서는, 상기 제 2 시간을 추정하기 위해서,
    상기 사용자의 반응 시간을 식별하고,
    상기 제 1 시간으로부터 상기 반응 시간을 빼서 상기 제 2 시간을 도출하는
    카메라 동작 시스템.
  7. 제 1 항에 있어서,
    상기 상이한 초점면의 이미지 시퀀스는 기본 초점면, 먼 초점면 및 가까운 초점면을 갖는 반복하는 일련의 이미지를 포함하는
    카메라 동작 시스템.
  8. 제 7 항에 있어서,
    상기 이미지 프로세서는, 상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하기 위해,
    상기 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택 - 상기 세 개의 연속하는 이미지는 상기 기본 초점면의 이미지, 상기 먼 초점면의 이미지 및 상기 가까운 초점면의 이미지를 포함함 - 하고,
    상기 세 개의 연속하는 이미지의 포커싱된 부분을 병합하여 상기 올-인-포커스 이미지를 생성하는
    카메라 동작 시스템.
  9. 제 8 항에 있어서,
    상기 기본 초점면은 자동 포커싱된 추정 초점면인
    카메라 동작 시스템.
  10. 제 1 항에 있어서,
    상기 상이한 초점면의 이미지 시퀀스는 기본 초점면, 먼 초점면, 상기 기본 초점면 및 가까운 초점면을 갖는 반복하는 일련의 이미지를 포함하는
    카메라 동작 시스템.
  11. 제 10 항에 있어서,
    상기 이미지 프로세서는, 상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하기 위해서,
    상기 이미지 시퀀스로부터 세 개의 연속하는 이미지를 선택 - 상기 세 개의 연속하는 이미지는 상기 기본 초점면의 이미지, 상기 먼 초점면의 이미지 및 상기 가까운 초점면의 이미지를 포함함 - 하고,
    상기 세 개의 연속하는 이미지의 포커싱된 부분을 병합하여 상기 올-인-포커스 이미지를 생성하는
    카메라 동작 시스템.
  12. 제 10 항에 있어서,
    상기 이미지 프로세서는, 상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하기 위해서,
    상기 이미지 시퀀스로부터 상기 먼 초점면의 이미지를 선택하고,
    상기 이미지 시퀀스로부터 상기 기본 초점면의 이미지를 선택 - 상기 기본 초점면의 이미지는 상기 먼 초점면의 이미지에 바로 후속함(immediately successive) - 하고,
    상기 이미지 시퀀스로부터 상기 가까운 초점면의 이미지를 선택 - 상기 가까운 초점면의 이미지는 상기 기본 초점면의 이미지에 바로 후속함 - 하고,
    상기 먼 초점면의 이미지, 상기 기본 초점면의 이미지 및 상기 가까운 초점면의 이미지의 포커싱된 부분을 병합하여 상기 올-인-포커스 이미지를 생성하는
    카메라 동작 시스템.
  13. 제 10 항에 있어서,
    상기 이미지 프로세서는, 상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하기 위해서,
    상기 이미지 시퀀스로부터 상기 가까운 초점면의 이미지를 선택하고,
    상기 이미지 시퀀스로부터 상기 기본 초점면의 이미지를 선택 - 상기 기본 초점면의 이미지는 상기 가까운 초점면의 이미지에 바로 후속함 - 하고,
    상기 이미지 시퀀스로부터 상기 먼 초점면의 이미지를 선택 - 상기 먼 초점면의 이미지는 상기 기본 초점면의 이미지에 바로 후속함 - 하고,
    상기 가까운 초점면의 이미지, 상기 기본 초점면의 이미지 및 상기 먼 초점면의 이미지의 포커싱된 부분을 병합하여 상기 올-인-포커스 이미지를 생성하는
    카메라 동작 시스템.
  14. 제 1 항에 있어서,
    상기 사용자 인터페이스 모듈은 상기 이미지 시퀀스에서 선택된 이미지를 전자 뷰파인더 이미지으로 표시하는
    카메라 동작 시스템.
  15. 카메라 동작 방법으로서,
    상기 카메라 내부의 이미지 센서를 사용하여 상이한 초점면의 이미지 시퀀스를 캡처하는 단계 - 상기 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 와,
    사용자로부터 상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계와,
    이미지 프로세서를 사용하여 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하는 단계 - 상기 적어도 두 개의 이미지는 상이한 초점면을 가짐 - 를 포함하는
    카메라 동작 방법.
  16. 제 15 항에 있어서,
    상기 이미지 시퀀스를 캡처하는 단계는 다수의 FPS로 상기 이미지 시퀀스를 캡처하는 단계를 포함하는
    카메라 동작 방법.
  17. 제 16 항에 있어서,
    상기 다수의 FPS는 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나인
    카메라 동작 방법.
  18. 제 15 항에 있어서,
    상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계는 상기 이미지 시퀀스의 시간 프레임에 상기 올-인-포커스 이미지를 저장하기 위한 명령을 수신하는 단계를 포함하고,
    상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하는 단계는 상기 시간 프레임에서 상기 이미지 시퀀스로부터 상기 적어도 두 개의 이미지를 선택하는 단계를 포함하는
    카메라 동작 방법.
  19. 제 15 항에 있어서,
    상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 단계는 제 1 시간에 발생하고,
    상기 방법은 제 2 시간을 추정 - 상기 제 2 시간은 상기 제 1 시간 전에 발생하고, 상기 사용자가 언제 상기 올-인-포커스 이미지를 저장하고자 의도하는지 표시함 - 하는 단계를 포함하고,
    상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하는 단계는 상기 제 2 시간에서 상기 이미지 시퀀스로부터 상기 적어도 두 개의 이미지를 선택하는 단계를 포함하는
    카메라 동작 방법.
  20. 제 19 항에 있어서,
    상기 제 2 시간을 추정하는 단계는,
    상기 사용자의 반응 시간을 식별하는 단계와,
    상기 제 1 시간으로부터 상기 반응 시간을 빼서 상기 제 2 시간을 도출하는 단계를 포함하는
    카메라 동작 방법.
  21. 카메라를 동작하는 명령어를 포함하는 머신 판독가능 매체로서,
    상기 명령어는 머신에 의해 실행되는 경우, 상기 머신으로 하여금,
    상기 카메라 내의 이미지 센서를 사용하여 상이한 초점면의 이미지 시퀀스를 캡처 - 상기 이미지 시퀀스의 적어도 일부는 올-인-포커스 이미지를 저장하기 위한 신호를 수신하기 전에 발생함 - 하고,
    사용자로부터 상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하고,
    이미지 프로세서를 사용하여 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성 - 상기 적어도 두 개의 이미지는 상이한 초점면을 가짐 - 하는 것을 포함하는 동작을 수행하게 하는
    머신 판독가능 매체.
  22. 제 21 항에 있어서,
    상기 이미지 시퀀스를 캡처하는 것은 다수의 FPS로 상기 이미지 시퀀스를 캡처하는 것을 포함하는
    머신 판독가능 매체.
  23. 제 22 항에 있어서,
    상기 다수의 FPS는 24 FPS, 30 FPS, 45 FPS 또는 60 FPS 중 하나인
    머신 판독가능 매체.
  24. 제 21 항에 있어서,
    상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 것은 상기 이미지 시퀀스의 시간 프레임에 상기 올-인-포커스 이미지를 저장하기 위한 명령을 수신하는 것을 포함하고,
    상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하는 것은 상기 시간 프레임에서 상기 이미지 시퀀스로부터 상기 적어도 두 개의 이미지를 선택하는 것을 포함하는
    머신 판독가능 매체.
  25. 제 21 항에 있어서,
    상기 올-인-포커스 이미지를 저장하기 위한 신호를 수신하는 것은 제 1 시간에 발생하고,
    상기 머신 판독가능 매체는 제 2 시간을 추정 - 상기 제 2 시간은 상기 제 1 시간 전에 발생하고, 상기 사용자가 언제 상기 올-인-포커스 이미지를 저장하고자 의도하는지 표시함 - 하는 동작을 수행하는 명령어를 포함하고,
    상기 적어도 두 개의 이미지를 병합하여 상기 올-인-포커스 이미지를 생성하는 것은 상기 제 2 시간에서 상기 이미지 시퀀스로부터 상기 적어도 두 개의 이미지를 선택하는 것을 포함하는
    머신 판독가능 매체.
KR1020150026782A 2014-03-26 2015-02-25 올-인-포커스 구현 KR101633671B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/225,866 2014-03-26
US14/225,866 US9307166B2 (en) 2014-03-26 2014-03-26 All-in-focus implementation

Publications (2)

Publication Number Publication Date
KR20150111835A true KR20150111835A (ko) 2015-10-06
KR101633671B1 KR101633671B1 (ko) 2016-06-27

Family

ID=54066924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150026782A KR101633671B1 (ko) 2014-03-26 2015-02-25 올-인-포커스 구현

Country Status (5)

Country Link
US (5) US9307166B2 (ko)
JP (1) JP5979453B2 (ko)
KR (1) KR101633671B1 (ko)
CN (2) CN104954665B (ko)
DE (1) DE102015102681B4 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307166B2 (en) 2014-03-26 2016-04-05 Intel Corporation All-in-focus implementation
JP6346793B2 (ja) * 2014-06-03 2018-06-20 オリンパス株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US9749532B1 (en) * 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
CN104680563B (zh) * 2015-02-15 2018-06-01 青岛海信移动通信技术股份有限公司 一种图像数据的生成方法和装置
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
JP6863787B2 (ja) * 2017-03-17 2021-04-21 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
US20210158496A1 (en) * 2017-10-20 2021-05-27 Institut National D'optique High resolution and high depth of field camera systems and methods using focus stacking
WO2020215046A1 (en) 2019-04-19 2020-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona On-chip signal processing method and pixel-array sensor
US11910104B2 (en) 2019-04-19 2024-02-20 ARIZONA BOARD OF REGENTS on behalf of THE UNIVERSITY OF ARIZONA, A BODY CORPORATE All-in-focus imager and associated method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086952A (ja) * 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
JP2007214887A (ja) * 2006-02-09 2007-08-23 Fujifilm Corp デジタルスチルカメラ及び画像合成方法
JP2010139890A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置
JP5094070B2 (ja) * 2006-07-25 2012-12-12 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記憶媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311488A (ja) 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
EP1659783A3 (en) * 2004-11-19 2006-05-31 Fujinon Corporation Af-area display apparatus and af-area operation apparatus
CN101191719A (zh) * 2006-12-01 2008-06-04 鸿富锦精密工业（深圳）有限公司 影像焦点合成***及方法
TWI377435B (en) * 2008-06-11 2012-11-21 Asia Optical Co Inc Camera
JP5282533B2 (ja) * 2008-11-12 2013-09-04 株式会社ニコン 画像処理装置、撮像装置およびプログラム
JP5163446B2 (ja) * 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
JP5478935B2 (ja) * 2009-05-12 2014-04-23 キヤノン株式会社 撮像装置
US8600186B2 (en) * 2010-04-26 2013-12-03 City University Of Hong Kong Well focused catadioptric image acquisition
JP4988057B1 (ja) * 2011-10-11 2012-08-01 アキュートロジック株式会社 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US8830380B2 (en) * 2012-06-28 2014-09-09 International Business Machines Corporation Depth of focus in digital imaging systems
JP6074926B2 (ja) * 2012-07-05 2017-02-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US8818117B2 (en) * 2012-07-19 2014-08-26 Sony Corporation Method and apparatus for compressing Z-stack microscopy images
JP5662511B2 (ja) * 2013-04-10 2015-01-28 シャープ株式会社 撮像装置
JP2015163943A (ja) * 2014-01-29 2015-09-10 パナソニックＩｐマネジメント株式会社 撮像装置
US9307166B2 (en) 2014-03-26 2016-04-05 Intel Corporation All-in-focus implementation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086952A (ja) * 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
JP2007214887A (ja) * 2006-02-09 2007-08-23 Fujifilm Corp デジタルスチルカメラ及び画像合成方法
JP5094070B2 (ja) * 2006-07-25 2012-12-12 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記憶媒体
JP2010139890A (ja) * 2008-12-12 2010-06-24 Keyence Corp 撮像装置

Also Published As

Publication number Publication date
DE102015102681B4 (de) 2022-04-21
US9307166B2 (en) 2016-04-05
US11570376B2 (en) 2023-01-31
CN104954665B (zh) 2018-11-27
JP2015201837A (ja) 2015-11-12
US20190364190A1 (en) 2019-11-28
JP5979453B2 (ja) 2016-08-24
US20160212334A1 (en) 2016-07-21
CN107295249B (zh) 2021-05-04
CN107295249A (zh) 2017-10-24
US20210075954A1 (en) 2021-03-11
US20170126950A1 (en) 2017-05-04
KR101633671B1 (ko) 2016-06-27
US10721414B2 (en) 2020-07-21
DE102015102681A1 (de) 2015-10-01
US20150281592A1 (en) 2015-10-01
CN104954665A (zh) 2015-09-30
US9554039B2 (en) 2017-01-24
US10165196B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
KR101633671B1 (ko) 올-인-포커스 구현
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
JP6457776B2 (ja) 撮像装置および撮像装置の制御方法
WO2017045558A1 (zh) 景深调节方法、装置及终端
JP6267502B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
TW201501533A (zh) 調整對焦位置的方法及電子裝置
US20130120642A1 (en) Digital photographing apparatus and method of controlling the same
US8547454B2 (en) Digital image photographing apparatuses and methods of controlling the same to provide location information
JP6300076B2 (ja) 撮像装置、撮像方法及びプログラム
JP2015139020A (ja) 電子機器及び制御プログラム
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2018011268A (ja) 撮像装置、画像合成方法、およびプログラム
JP5278483B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP2015139018A (ja) 電子機器及び制御プログラム
JP6355324B2 (ja) 撮像装置およびその制御方法
US11375113B2 (en) Imaging element, and imaging apparatus which changes frame rate of output image data based on derived focus evaluation value
JP6630173B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP6281426B2 (ja) 画像表示制御装置、画像表示制御方法、及び画像表示制御プログラム
Baek et al. Mirrorless interchangeable-lens light field digital photography camera system
JP2015203817A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 4