KR20240031246A

KR20240031246A - Selectively increases depth of field in scenes with multiple regions of interest

Info

Publication number: KR20240031246A
Application number: KR1020237045364A
Authority: KR
Inventors: 원-춘 펑; 위-런 라이; 신 웨 창
Original assignee: 퀄컴 인코포레이티드
Priority date: 2021-07-06
Filing date: 2022-07-01
Publication date: 2024-03-07
Also published as: BR112023027424A2; TW202307791A; WO2023283540A1; EP4367630A1

Abstract

본 개시내용은 이미지 프레임을 캡처하는 데 사용되는 카메라의 큰 조리개 크기 또는 다른 특성들로 인해 블러링될 수 있는 배경 면들과 같은 배경 관심 영역(region of interest, ROI)들에 대한 다중 프레임 피사계 심도(multi-frame depth-of-field, MF-DOF)를 지원하는 시스템들, 장치, 방법들, 및 컴퓨터 판독가능 매체를 제공한다. 프로세싱은 이미지 프레임 내의 다수의 ROI들에 대응하는 2개의 상이한 포커스 포인트들에서 획득된 2개의 이미지 프레임들의 사용을 포함할 수 있다. 보정된 이미지 프레임은 AI 기반 모델 및/또는 로컬 그레이디언트(local gradient) 정보를 사용하여 제1 이미지 프레임의 하나 이상의 ROI들을 디블러링함으로써 결정될 수 있다. MF-DOF는 이미지의 피사계 심도(DOF)를 선택적으로 증가시키는 것이, 사진촬영에 요구될 수 있는 배경 블러 또는 조리개(및 후속적으로 사진촬영에 이용가능한 광의 양)의 감소를 야기하지 않고서, 다수의 관심 영역들의 포커싱된 캡처를 제공하게 할 수 있다.The present disclosure provides multi-frame depth of field (ROI) coverage of background regions of interest (ROI), such as background planes that may be blurred due to the large aperture size or other characteristics of the camera used to capture the image frame. Systems, devices, methods, and computer-readable media supporting multi-frame depth-of-field (MF-DOF) are provided. Processing may include the use of two image frames acquired at two different focus points corresponding to multiple ROIs within the image frame. The corrected image frame may be determined by deblurring one or more ROIs of the first image frame using an AI-based model and/or local gradient information. MF-DOF is the ability to selectively increase the depth of field (DOF) of an image, without causing background blur that may be required for photography or reducing the aperture (and subsequently the amount of light available for photography). May provide focused capture of areas of interest.

Description

다수의 관심 영역들을 갖는 장면들에서 선택적으로 증가하는 피사계 심도Selectively increases depth of field in scenes with multiple regions of interest

관련 출원에 대한 상호 참조Cross-reference to related applications

본 출원은 2021년 12월 22일자로 출원되고 발명의 명칭이 "SELECTIVELY INCREASING DEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST"인 미국 특허 출원 제17/645,688호, 및 2021년 7월 6일자로 출원되고 발명의 명칭이 "SELECTIVELY INCREASING DEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST"인 미국 가특허 출원 제63/218,804호의 이익을 주장하고, 그 출원들 둘 모두는 그 전체가 인용에 의해 본 명세서에 명백히 통합된다.This application is related to U.S. Patent Application No. 17/645,688, filed December 22, 2021, and entitled “SELECTIVELY INCREASING DEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST,” and filed on July 6, 2021. Claims the benefit of U.S. Provisional Patent Application No. 63/218,804, filed and entitled "SELECTIVELY INCREASING DEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST," both of which are incorporated by reference in their entirety. are expressly incorporated into the specification.

기술분야Technology field

본 개시내용의 양태들은 대체적으로 이미지 신호 프로세싱에 관한 것이다. 일부 특징부들은 큰 조리개 크기들에 의해 도입된 블러(blur)와 같은 이미지 특성들을 보상할 수 있는 디블러링(deblurring) 동작들을 포함하는 개선된 통신을 가능하게 하고 제공할 수 있다.Aspects of the present disclosure generally relate to image signal processing. Some features may enable and provide improved communication, including deblurring operations that may compensate for image characteristics such as blur introduced by large aperture sizes.

이미지 캡처 디바이스들은 사진들에 대한 스틸 이미지 또는 비디오들에 대한 이미지들의 시퀀스들이든 간에, 하나 이상의 디지털 이미지들을 캡처할 수 있는 디바이스들이다. 캡처 디바이스들은 매우 다양한 디바이스들에 통합될 수 있다. 예로서, 이미지 캡처 디바이스들은 독립형 디지털 카메라들 또는 디지털 비디오 캠코더들, 모바일 전화기들, 셀룰러 또는 위성 라디오 전화기들과 같은 카메라 장착 무선 통신 디바이스 핸드셋들, 개인 휴대 정보 단말기들(PDA들), 패널들 또는 태블릿들, 게이밍 디바이스들, 웹캠들과 같은 컴퓨터 디바이스들, 비디오 감시 카메라들, 또는 디지털 이미징 또는 비디오 능력들을 갖는 다른 디바이스들을 포함할 수 있다.Image capture devices are devices capable of capturing one or more digital images, whether still images for photos or sequences of images for videos. Capture devices can be integrated into a wide variety of devices. By way of example, image capture devices may include standalone digital cameras or camera-equipped wireless communication devices such as digital video camcorders, mobile phones, cellular or satellite radio phones, handsets, personal digital assistants (PDAs), panels or It may include tablets, gaming devices, computer devices such as webcams, video surveillance cameras, or other devices with digital imaging or video capabilities.

이미지 프로세싱 기법들은 이미지 캡처 디바이스들에 의해 캡처된 사진들 및 비디오들의 품질을 개선하는 데 사용될 수 있다. 예를 들어, 알고리즘들은 사진에서 색상들의 외관을 변경할 수 있고, 사진에서 색상들의 범위 또는 동적 범위를 증가시킬 수 있고, 사진에서 디테일을 증가시킬 수 있고, 사진에서 노이즈를 감소시킬 수 있고, 사진에서 블러를 감소시킬 수 있고, 이는 많은 다른 프로세싱 기법들 중에서 사용자가 보는 이미지의 품질을 개선할 수 있다.Image processing techniques can be used to improve the quality of photos and videos captured by image capture devices. For example, algorithms can change the appearance of colors in a photograph, increase the range or dynamic range of colors in a photograph, increase detail in a photograph, reduce noise in a photograph, and Blur can be reduced, which can improve the quality of the image the user sees, among many other processing techniques.

아래에서는 논의된 기법의 기본적인 이해를 제공하기 위해 본 개시내용의 일부 양태들이 요약된다. 이러한 요약은 본 개시내용의 모든 고려된 특징들의 포괄적인 개요가 아니며, 본 개시내용의 모든 양태들의 핵심 또는 중요한 엘리먼트들을 식별하거나 본 개시내용의 임의의 또는 모든 양태들의 범위를 서술하도록 의도되지 않는다. 이러한 요약의 유일한 목적은, 이후에 제시되는 더 상세한 설명에 대한 서론으로서 요약 형태로 본 개시내용의 하나 이상의 양태들의 일부 개념들을 제시하려는 것이다.Some aspects of the disclosure are summarized below to provide a basic understanding of the techniques discussed. This summary is not a comprehensive overview of all considered features of the disclosure, and is not intended to identify key or critical elements of all aspects of the disclosure or to delineate the scope of any or all aspects of the disclosure. The sole purpose of this summary is to present some concepts of one or more aspects of the disclosure in summary form as a prelude to the more detailed description that is presented later.

본 명세서에서 설명된 이미지 프로세싱 기법의 실시 형태들은 제1 이미지 프레임과 제2 이미지 프레임의 데이터를 조합(예컨대, 병합, 융합, 또는 블렌딩)하지 않고서 제2 이미지 프레임의 특성들에 기초하여 제1 이미지 프레임의 외관을 개선할 수 있다. 이러한 프로세싱은 데이터의 병합으로부터 생성되는 제1 이미지 프레임에 아티팩트(artifact)들을 추가할 가능성을 제거한다. 예를 들어, 이미지 프레임들 사이의 객체들의 불연속성들 및 시프트들은 제1 이미지 프레임이 제2 이미지 프레임과 병합될 때 고스팅 라인(ghosting line)들 또는 파단 라인(broken line)들을 야기할 수 있다. 제1 이미지 프레임에 대한 동작은 제1 이미지 프레임과 제2 이미지 프레임 사이의 대응하는 관심 영역들을 비교하는 분석을 포함한, 제2 이미지 프레임의 분석에 기초하여 수행될 수 있다.Embodiments of the image processing technique described herein may produce a first image based on the characteristics of the second image frame without combining (e.g., merging, fusing, or blending) the data of the first and second image frames. The appearance of the frame can be improved. This processing eliminates the possibility of adding artifacts to the first image frame resulting from merging of data. For example, discontinuities and shifts in objects between image frames can cause ghosting lines or broken lines when a first image frame is merged with a second image frame. An operation on a first image frame may be performed based on an analysis of the second image frame, including analysis comparing corresponding regions of interest between the first and second image frames.

본 명세서의 실시 형태들에 따른 이미지 프로세싱 기법들은 이미지의 겉보기 포커스 심도(depth of focus)를 증가시키는 데 유익할 수 있다. 이미지 캡처 디바이스들에 고유한 제한들은 포커싱하기 위한 카메라의 제한된 능력으로 인해 이미지 프레임의 부분들이 다른 것들보다 흐린 결과를 가져온다. 예를 들어, 이미지는 배경에 있는 카메라로부터 먼 면이 아웃-포커스(out of focus)인 반면 인-포커스(in focus)인 전경에 있는 카메라에 가까운 면을 가질 수 있다. 사용자는 사진에서 둘 모두의 면들이 인-포커스이기를 원할 수 있다. 본 명세서에서 설명된 이미지 프로세싱 기법들은, 제1 이미지 프레임과는 상이한 포커스 거리에서 캡처된 제2 이미지 프레임을 사용하여 아웃-포커스 면에서 블러를 감소시킴으로써 사진의 외관을 개선하기 위한 다중 프레임 피사계 심도(multi-frame depth-of-field, MF-DOF) 프로세싱을 수행할 수 있다.Image processing techniques according to embodiments herein may be beneficial for increasing the apparent depth of focus of an image. Limitations inherent in image capture devices result in parts of the image frame being blurrier than others due to the camera's limited ability to focus. For example, an image may have the side closer to the camera in the foreground being in focus while the side farther from the camera in the background is out of focus. The user may want both sides in the photo to be in-focus. Image processing techniques described herein include multi-frame depth of field to improve the appearance of a photograph by reducing blur in out-of-focus areas using a second image frame captured at a different focus distance than the first image frame. multi-frame depth-of-field (MF-DOF) processing can be performed.

본 개시내용의 일 양태에서, 이미지 프로세싱을 위한 방법은 제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 단계; 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 장면을 나타내는 제2 이미지 프레임을 수신하는 단계; 제1 이미지 프레임 내의 제1 관심 영역 및 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 단계; 제1 관심 영역과 제2 관심 영역의 비교에 기초하여 값을 결정하는 단계; 및 제1 이미지 프레임 및 값에 기초하여 보정된 제1 이미지 프레임을 결정하는 단계를 포함한다.In one aspect of the disclosure, a method for image processing includes receiving a first image frame representing a captured scene at a first focus distance; Receiving a second image frame representing a scene captured at a second focus distance different from the first focus distance; determining a corresponding set of regions of interest including a first region of interest in a first image frame and a second region of interest in a second image frame; determining a value based on a comparison of the first region of interest and the second region of interest; and determining a corrected first image frame based on the first image frame and the value.

본 개시내용의 추가의 양태에서, 장치는 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 커플링된 메모리를 포함한다. 적어도 하나의 프로세서는 동작들을 수행하도록 구성되며, 동작들은, 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 장면을 나타내는 제2 이미지 프레임을 수신하는 동작; 제1 이미지 프레임 내의 제1 관심 영역 및 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 동작; 제1 관심 영역과 제2 관심 영역의 비교에 기초하여 값을 결정하는 동작; 및 제1 이미지 프레임 및 값에 기초하여 보정된 제1 이미지 프레임을 결정하는 동작을 포함한다.In a further aspect of the disclosure, an apparatus includes at least one processor, and a memory coupled to the at least one processor. The at least one processor is configured to perform operations, the operations comprising: receiving a second image frame representing a scene captured at a second focus distance that is different from the first focus distance; determining a corresponding set of regions of interest including a first region of interest in a first image frame and a second region of interest in a second image frame; determining a value based on a comparison of the first region of interest and the second region of interest; and determining a corrected first image frame based on the first image frame and the value.

본 개시내용의 추가 양태에서, 장치는 제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하기 위한 수단; 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 장면을 나타내는 제2 이미지 프레임을 수신하기 수단; 제1 이미지 프레임 내의 제1 관심 영역 및 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하기 위한 수단; 제1 관심 영역과 제2 관심 영역의 비교에 기초하여 값을 결정하기 수단; 및 제1 이미지 프레임 및 값에 기초하여 보정된 제1 이미지 프레임을 결정하기 위한 수단을 포함한다.In a further aspect of the disclosure, an apparatus includes means for receiving a first image frame representing a scene captured at a first focus distance; means for receiving a second image frame representing a scene captured at a second focus distance different from the first focus distance; means for determining a corresponding set of regions of interest including a first region of interest in a first image frame and a second region of interest in a second image frame; means for determining a value based on a comparison of the first region of interest and the second region of interest; and means for determining a corrected first image frame based on the first image frame and the value.

본 개시내용의 추가적인 양태에서, 비일시적 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때 프로세서로 하여금 동작들을 수행하게 하는 명령들을 저장한다. 동작들은 제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 동작; 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 장면을 나타내는 제2 이미지 프레임을 수신하는 동작; 제1 이미지 프레임 내의 제1 관심 영역 및 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 동작; 제1 관심 영역과 제2 관심 영역의 비교에 기초하여 값을 결정하는 동작; 및 제1 이미지 프레임 및 값에 기초하여 보정된 제1 이미지 프레임을 결정하는 동작을 포함한다.In a further aspect of the disclosure, a non-transitory computer-readable medium stores instructions that, when executed by a processor, cause the processor to perform operations. The operations may include receiving a first image frame representing a scene captured at a first focus distance; Receiving a second image frame representing a scene captured at a second focus distance different from the first focus distance; determining a corresponding set of regions of interest including a first region of interest in a first image frame and a second region of interest in a second image frame; determining a value based on a comparison of the first region of interest and the second region of interest; and determining a corrected first image frame based on the first image frame and the value.

이미지 캡처 디바이스들, 즉 스틸 이미지 사진들이든 또는 비디오들에 대한 이미지들의 시퀀스들이든 간에, 하나 이상의 디지털 이미지들을 캡처할 수 있는 디바이스들이 매우 다양한 디바이스들 내로 통합될 수 있다. 예로서, 이미지 캡처 디바이스들은 독립형 디지털 카메라들 또는 디지털 비디오 캠코더들, 모바일 전화기들, 셀룰러 또는 위성 라디오 전화기들과 같은 카메라 장착 무선 통신 디바이스 핸드셋들, 개인 휴대 정보 단말기들(PDA들), 패널들 또는 태블릿들, 게이밍 디바이스들, 웹캠들과 같은 컴퓨터 디바이스들, 비디오 감시 카메라들, 또는 디지털 이미징 또는 비디오 능력들을 갖는 다른 디바이스들을 포함할 수 있다.Image capture devices, devices capable of capturing one or more digital images, whether still image photographs or sequences of images for videos, can be integrated into a wide variety of devices. By way of example, image capture devices may include stand-alone digital cameras or camera-equipped wireless communication devices such as digital video camcorders, mobile phones, cellular or satellite radio phones, handsets, personal digital assistants (PDAs), panels or It may include tablets, gaming devices, computer devices such as webcams, video surveillance cameras, or other devices with digital imaging or video capabilities.

대체적으로, 본 개시내용은 이미지 센서들 및 이미지 신호 프로세서(image signal processor, ISP)들을 갖는 디지털 카메라들을 수반하는 이미지 프로세싱 기법들을 설명한다. ISP는 하나 이상의 이미지 센서들로부터 이미지 프레임들의 캡처를 제어하고 하나 이상의 이미지 센서들로부터의 하나 이상의 이미지 프레임들을 프로세싱하여 보정된 이미지 프레임에 장면의 뷰를 생성하도록 구성될 수 있다. 보정된 이미지 프레임은 비디오 시퀀스를 형성하는 이미지 프레임들의 시퀀스의 일부일 수 있다. 비디오 시퀀스는 이미지 센서 또는 다른 이미지 센서들로부터 수신된 다른 이미지 프레임들 및/또는 이미지 센서 또는 다른 이미지 센서로부터의 입력에 기초한 다른 보정된 이미지 프레임들을 포함할 수 있다. 일부 실시 형태들에서, 하나 이상의 이미지 프레임들의 프로세싱은 이미지 센서 내에서, 예컨대, 비닝(binning) 모듈에서, 수행될 수 있다. 본 명세서에 개시된 실시 형태들에서 설명된 이미지 프로세싱 기법들은 이미지 센서 내의, 이미지 신호 프로세서(ISP) 내의, 애플리케이션 프로세서(AP) 내의, 또는 이들 컴포넌트들의 조합 또는 둘 또는 전부 내의, 비닝 모듈과 같은, 회로부에 의해 수행될 수 있다.In general, this disclosure describes image processing techniques involving digital cameras with image sensors and image signal processors (ISPs). The ISP may be configured to control the capture of image frames from one or more image sensors and to process one or more image frames from one or more image sensors to generate a view of the scene in a calibrated image frame. A calibrated image frame may be part of a sequence of image frames forming a video sequence. The video sequence may include other image frames received from the image sensor or other image sensors and/or other calibrated image frames based on input from the image sensor or other image sensors. In some embodiments, processing of one or more image frames may be performed within the image sensor, such as in a binning module. Image processing techniques described in embodiments disclosed herein may include circuitry, such as a binning module, within an image sensor, within an image signal processor (ISP), within an application processor (AP), or a combination or two or all of these components. It can be performed by .

일 예에서, 이미지 신호 프로세서는 이미지 캡처 디바이스로부터 프리뷰 디스플레이를 생성하기 위해 카메라 애플리케이션과 같은 소프트웨어의 로딩에 응답하여 이미지 프레임들의 시퀀스를 캡처하라는 명령을 수신할 수 있다. 이미지 신호 프로세서는 하나 이상의 이미지 센서들로부터 수신된 이미지 프레임들에 기초하여 출력 프레임들의 단일 흐름을 생성하도록 구성될 수 있다. 출력 프레임들의 단일 흐름은 이미지 센서로부터의 미가공 이미지 데이터, 이미지 센서로부터의 비닝된 이미지 데이터, 또는 이미지 신호 프로세서 내의, 예컨대, 비닝 모듈 내의 하나 이상의 알고리즘들에 의해 프로세싱된 보정된 이미지 프레임들을 포함할 수 있다. 예를 들어, 이미지 신호 프로세서로 출력되기 전에 데이터에 대한 일부 프로세싱을 수행하였을 수 있는, 이미지 센서로부터 획득된 이미지 프레임은 톤 맵핑, 인물 조명, 콘트라스트 향상, 감마 보정 등 중 하나 이상을 수행하기 위한 이미지 포스트-프로세싱 엔진(image post-processing engine, IPE) 및/또는 다른 이미지 프로세싱 회로부를 통해 이미지 프레임을 프로세싱함으로써 이미지 신호 프로세서에서 프로세싱될 수 있다.In one example, an image signal processor may receive instructions from an image capture device to capture a sequence of image frames in response to loading software, such as a camera application, to generate a preview display. An image signal processor may be configured to generate a single stream of output frames based on image frames received from one or more image sensors. A single flow of output frames may include raw image data from an image sensor, binned image data from an image sensor, or corrected image frames processed by one or more algorithms within an image signal processor, such as a binning module. there is. For example, an image frame acquired from an image sensor, which may have performed some processing on the data before being output to an image signal processor, can be imaged to perform one or more of the following: tone mapping, portrait lighting, contrast enhancement, gamma correction, etc. The image signal processor may be processed by processing the image frame through an image post-processing engine (IPE) and/or other image processing circuitry.

장면을 나타내는 출력 프레임이 본 명세서의 다양한 실시 형태들에서 설명되는 비닝과 같은 이미지 보정을 사용하여 이미지 신호 프로세서에 의해 결정된 후, 출력 프레임은 단일 스틸 이미지로서 그리고/또는 비디오 시퀀스의 일부로서 디바이스 디스플레이 상에 디스플레이되고, 픽처 또는 비디오 시퀀스로서 저장 디바이스에 저장되고, 네트워크를 통해 송신되고, 그리고/또는 출력 매체로 인쇄될 수 있다. 예를 들어, 이미지 신호 프로세서는 상이한 이미지 센서들로부터 이미지 데이터의 입력 프레임들(예컨대, 픽셀 값들)을 획득하고, 이어서, 이미지 데이터의 대응하는 출력 프레임들(예컨대, 프리뷰 디스플레이 프레임들, 스틸 이미지 캡처들, 비디오에 대한 프레임들 객체 추적을 위한 프레임들 등)을 생성하도록 구성될 수 있다. 다른 예들에서, 이미지 신호 프로세서는 이미지 데이터의 프레임들을, 추가 프로세싱을 위해, 예컨대, 3A 파라미터 동기화(예컨대, 오토 포커스(AF), 자동 화이트 밸런스(AWB), 및 자동 노출 제어(AEC)), 출력 프레임들을 통해 비디오 파일을 생성하기, 디스플레이를 위한 프레임들을 구성하기, 저장을 위한 프레임들을 구성하기, 네트워크 연결을 통해 프레임들을 송신하기 등을 위해, 다양한 출력 디바이스들 및/또는 카메라 모듈들에 출력할 수 있다. 즉, 이미지 신호 프로세서는 하나 이상의 카메라 렌즈들에 각각이 커플링된 하나 이상의 이미지 센서들로부터의 유입하는 프레임들을 획득할 수 있고, 이어서, 출력 프레임들의 흐름을 생성하여 이를 다양한 출력 도착지들로 출력할 수 있다.After the output frame representing the scene is determined by the image signal processor using image correction, such as binning, as described in various embodiments herein, the output frame may be displayed on the device display as a single still image and/or as part of a video sequence. may be displayed on, stored on a storage device as a picture or video sequence, transmitted over a network, and/or printed on an output medium. For example, an image signal processor obtains input frames of image data (e.g., pixel values) from different image sensors and then captures corresponding output frames of image data (e.g., preview display frames, still image capture). , frames for video, frames for object tracking, etc.). In other examples, an image signal processor may output frames of image data for further processing, e.g., 3A parameter synchronization (e.g., autofocus (AF), automatic white balance (AWB), and automatic exposure control (AEC)). Frames can be output to various output devices and/or camera modules for creating video files, organizing frames for display, organizing frames for storage, sending frames over a network connection, etc. You can. That is, the image signal processor can acquire incoming frames from one or more image sensors each coupled to one or more camera lenses, and then generate a flow of output frames and output them to various output destinations. You can.

일부 양태들에서, 보정된 이미지 프레임은 본 개시내용의 이미지 보정의 양태들을 높은 동적 범위(HDR) 사진촬영 또는 다중 프레임 노이즈 감소(multi-frame noise reduction, MFNR)와 같은 다른 계산적 사진촬영 기법들과 조합함으로써 생성될 수 있다. HDR 사진촬영으로, 제1 이미지 프레임 및 제2 이미지 프레임은 상이한 노출 시간들, 상이한 조리개들, 상이한 렌즈들, 및/또는 2개의 이미지 프레임들이 조합될 때 융합된 이미지의 개선된 동적 범위를 가져올 수 있는 다른 특성들을 사용하여 캡처된다. 일부 양태들에서, 본 방법은, 제1 이미지 프레임과 제2 이미지 프레임이 동일한 또는 상이한 노출 시간들을 사용하여 캡처되고 캡처된 제1 이미지 프레임과 비교하여 감소된 노이즈를 갖는 보정된 제1 이미지 프레임을 생성하도록 융합되는 MFNR 사진촬영을 위해 수행될 수 있다.In some aspects, the corrected image frame combines aspects of image correction of the present disclosure with other computational photography techniques, such as high dynamic range (HDR) photography or multi-frame noise reduction (MFNR). It can be created by combining. With HDR photography, the first image frame and the second image frame can have different exposure times, different apertures, different lenses, and/or improved dynamic range of the fused image when the two image frames are combined. It is captured using other characteristics that are present. In some aspects, the method includes the first image frame and the second image frame being captured using the same or different exposure times and producing a corrected first image frame with reduced noise compared to the captured first image frame. This can be performed to photograph the MFNRs that are fused to produce.

일부 양태들에서, 디바이스는, 비닝 모듈을 인에이블 또는 디스에이블하는, 또는 그렇지 않다면, 이미지 보정의 양태들을 제어하는 카메라 제어들 및/또는 프로세싱을 위한 특정적인 기능을 포함하는 프로세서(예컨대, 애플리케이션 프로세서) 또는 이미지 신호 프로세서를 포함할 수 있다. 본 명세서에 설명된 방법들 및 기법들은 이미지 신호 프로세서 또는 프로세서에 의해 전체적으로 수행될 수 있거나, 또는 다양한 동작들은 이미지 신호 프로세서와 프로세서 사이에서 분할될 수 있고, 일부 양태들에서는 추가 프로세서들에 나뉘어 있을 수 있다.In some aspects, the device includes a processor (e.g., an application processor) that includes specific functionality for processing and/or camera controls to enable or disable the binning module or otherwise control aspects of image correction. ) or may include an image signal processor. The methods and techniques described herein may be performed entirely by an image signal processor or processor, or the various operations may be split between the image signal processor and the processor, and in some aspects to additional processors. there is.

장치는 제1 이미지 센서를 포함하는 것과 같은 하나, 둘, 또는 그 이상의 이미지 센서들을 포함할 수 있다. 다수의 이미지 센서들이 존재할 때, 제1 이미지 센서가 제2 이미지 센서보다 큰 시야(field of view, FOV)를 가질 수 있거나, 제1 이미지 센서가 제2 이미지 센서와는 상이한 감도 또는 상이한 동적 범위를 가질 수 있다. 일 예에서, 제1 이미지 센서는 광각 이미지 센서일 수 있고, 제2 이미지 센서는 망원 이미지 센서일 수 있다. 다른 예에서, 제1 센서는 제1 광학 축을 갖는 제1 렌즈를 통해 이미지를 획득하도록 구성되고, 제2 센서는 제1 광학 축과는 상이한 제2 광축을 갖는 제2 렌즈를 통해 이미지를 획득하도록 구성된다. 추가적으로 또는 대안적으로, 제1 렌즈는 제1 배율을 가질 수 있고, 제2 렌즈는 제1 배율과는 상이한 제2 배율을 가질 수 있다. 이러한 구성은, 예컨대, 다수의 이미지 센서들 및 연관된 렌즈들이 모바일 디바이스의 전면 또는 후면 상의 오프셋 위치들에 위치되는 경우, 모바일 디바이스 상의 렌즈 클러스터로 나타날 수 있다. 더 크거나, 더 작거나, 동일한 시야들을 갖는 추가적인 이미지 센서들이 포함될 수 있다. 본 명세서에 설명된 이미지 보정 기법들은 다중-센서 디바이스 내의 이미지 센서들 중 임의의 센서로부터 캡처된 이미지 프레임들에 적용될 수 있다.The device may include one, two, or more image sensors, such as including a first image sensor. When multiple image sensors are present, the first image sensor may have a larger field of view (FOV) than the second image sensor, or the first image sensor may have a different sensitivity or a different dynamic range than the second image sensor. You can have it. In one example, the first image sensor may be a wide-angle image sensor, and the second image sensor may be a telephoto image sensor. In another example, the first sensor is configured to acquire an image through a first lens having a first optical axis, and the second sensor is configured to acquire an image through a second lens having a second optical axis different from the first optical axis. It is composed. Additionally or alternatively, the first lens may have a first magnification and the second lens may have a second magnification that is different from the first magnification. This configuration may appear as a lens cluster on a mobile device, for example, when multiple image sensors and associated lenses are located at offset locations on the front or back of the mobile device. Additional image sensors with larger, smaller, or identical fields of view may be included. Image correction techniques described herein may be applied to image frames captured from any of the image sensors in a multi-sensor device.

본 개시내용의 추가적인 양태에서, 이미지 프로세싱 및/또는 이미지 캡처를 위해 구성된 디바이스가 개시된다. 장치는 이미지 프레임들을 캡처하기 위한 수단을 포함한다. 장치는 이미지 센서들(전하 결합 소자들(CCD들), Bayer-필터 센서들, 적외선(IR) 검출기들, 자외선(UV) 검출기들, 상보형 금속 산화물 반도체(CMOS) 센서들을 포함함), 비행 시간 검출기들과 같은, 장면을 나타내는 데이터를 캡처하기 위한 하나 이상의 수단을 더 포함한다. 장치는 광선을 하나 이상의 이미지 센서에 축적 및/또는 포커싱하기 위한 하나 이상의 수단(단순 렌즈, 복합 렌즈, 구면 렌즈 및 비구면 렌즈를 포함함)을 더 포함할 수 있다. 이러한 컴포넌트들은 본 명세서에 설명된 이미지 프로세싱 기법들에 입력된 제1 및/또는 제2 이미지 프레임들을 캡처하도록 제어될 수 있다.In a further aspect of the disclosure, a device configured for image processing and/or image capture is disclosed. The device includes means for capturing image frames. The device includes image sensors (including charge-coupled devices (CCDs), Bayer-filter sensors, infrared (IR) detectors, ultraviolet (UV) detectors, and complementary metal oxide semiconductor (CMOS) sensors), flight It further includes one or more means for capturing data representative of the scene, such as time detectors. The device may further include one or more means (including simple lenses, compound lenses, spherical lenses, and aspherical lenses) for accumulating and/or focusing light rays onto one or more image sensors. These components may be controlled to capture first and/or second image frames input to the image processing techniques described herein.

다른 양태들, 특징들, 및 구현예들이 첨부한 도면들과 함께 특정의 예시적인 양태들에 대한 아래의 설명을 검토할 시에 당업자들에게 자명해질 것이다. 특징들이 아래에서 특정 양태들 및 도면들에 대해 논의될 수 있지만, 다양한 양태들은 본 명세서에서 논의된 유리한 특징들 중 하나 이상을 포함할 수 있다. 다시 말해서, 하나 이상의 양태들이 특정의 유리한 특징들을 갖는 것으로 논의될 수 있지만, 그러한 특징들 중 하나 이상은 또한 다양한 양태들에 따라 사용될 수 있다. 유사한 방식으로, 예시적인 양태들이 디바이스, 시스템, 또는 방법 양태들로서 아래에서 논의될 수 있지만, 예시적인 양태들은 다양한 디바이스들, 시스템들, 및 방법들로 구현될 수 있다.Other aspects, features, and implementations will become apparent to those skilled in the art upon review of the following description of specific example embodiments in conjunction with the accompanying drawings. Although features may be discussed with respect to specific aspects and figures below, various aspects may include one or more of the advantageous features discussed herein. In other words, although one or more aspects may be discussed as having certain advantageous features, one or more of such features may also be used in accordance with various aspects. In a similar manner, although example aspects may be discussed below as device, system, or method aspects, example aspects may be implemented in a variety of devices, systems, and methods.

본 방법은 프로세서로 하여금 방법의 단계들을 수행하게 하는 명령들을 포함하는 컴퓨터 프로그램 코드로서 컴퓨터 판독가능 매체에 구현될 수 있다. 일부 실시 형태들에서, 프로세서는, 복수의 네트워크 연결부들 중 제1 네트워크 연결부를 통해 기록 또는 스트리밍 데이터로서 이미지들 또는 비디오들과 같은 데이터를 송신하도록 구성된 제1 네트워크 어댑터; 및 제1 네트워크 어댑터 및 메모리에 커플링된 프로세서를 포함하는 모바일 디바이스의 일부일 수 있다. 프로세서는 5G NR 통신 네트워크와 같은 무선 통신 네트워크를 통해 본 명세서에 설명된 보정된 이미지 프레임들의 송신을 야기할 수 있다.The method may be implemented on a computer-readable medium as computer program code containing instructions that cause a processor to perform the method steps. In some embodiments, the processor includes: a first network adapter configured to transmit data, such as images or videos, as recorded or streaming data over a first of a plurality of network connections; and a processor coupled to a first network adapter and memory. The processor may cause transmission of the corrected image frames described herein via a wireless communication network, such as a 5G NR communication network.

전술한 것은, 후속하는 상세한 설명이 더 잘 이해될 수 있게 하기 위해 본 개시내용에 따른 예들의 특징들 및 기술적 장점들을 다소 광범위하게 약술하였다. 추가적인 특징들 및 장점들이 이후에 설명될 것이다. 개시된 개념 및 특정 예들은 본 개시내용의 동일한 목적들을 실행하기 위해 다른 구조들을 수정 또는 설계하기 위한 기초로서 용이하게 활용될 수 있다. 그러한 동등한 구조들은 첨부된 청구항들의 범위로부터 벗어나지 않는다. 본 명세서에서 개시된 개념들의 특성들, 즉, 개념들의 구성 및 동작 방법 모두는, 연관된 장점들과 함께, 첨부한 도면들과 관련하여 고려될 경우 후속하는 설명으로부터 더 잘 이해될 것이다. 도면들 각각은 예시 및 설명의 목적들을 위해 제공되며, 청구항의 제한들의 정의로서 제공되지 않는다.The foregoing has outlined rather broadly the features and technical advantages of examples according to the present disclosure in order that the detailed description that follows may be better understood. Additional features and advantages will be described later. The disclosed concepts and specific examples can be readily utilized as a basis for modifying or designing other structures to carry out the same purposes of the disclosure. Such equivalent structures do not depart from the scope of the appended claims. BRIEF DESCRIPTION OF THE DRAWINGS The characteristics of the concepts disclosed herein, i.e., both their construction and method of operation, along with their associated advantages, will be better understood from the following description when considered in conjunction with the accompanying drawings. Each of the drawings is provided for purposes of illustration and description and not as a definition of the limitations of the claims.

양태들 및 구현예들이 일부 예들에 대한 예시로서 본 출원에서 설명되지만, 추가적인 구현예들 및 사용 사례들이 많은 상이한 장치들 및 시나리오들에서 이루어질 수 있다는 것을 당업자들은 이해할 것이다. 본 명세서에서 설명된 혁신들은 많은 상이한 플랫폼 타입들, 디바이스들, 시스템들, 형상들, 크기들, 패키징 장치들에 걸쳐 구현될 수 있다. 예를 들어, 양태들 및/또는 사용들은 집적화된 칩 구현예들 및 다른 비-모듈-컴포넌트 기반 디바이스들(예컨대, 최종 사용자 디바이스들, 차량들, 통신 디바이스들, 컴퓨팅 디바이스들, 산업용 장비, 소매/구매 디바이스들, 의료용 디바이스들, 인공 지능(AI) 가능식 디바이스들 등)을 통해 발생할 수 있다. 일부 예들이 사용 사례들 또는 애플리케이션들에 구체적으로 관련될 수 있거나 관련되지 않을 수 있지만, 설명된 혁신들의 광범위한 적용가능성이 발생할 수 있다. 구현예들은 칩-레벨 또는 모듈식 컴포넌트들로부터 비-모듈식, 비-칩-레벨 구현예들까지 그리고 추가로 설명된 혁신들의 하나 이상의 양태들을 포함하는 종합, 분산형, 또는 OEM(original equipment manufacturer) 디바이스들 또는 시스템들까지의 범위에 이를 수 있다. 일부 실제 설정들에서, 설명된 양태들 및 특징들을 포함하는 디바이스들은 또한, 청구되고 설명된 양태들의 구현 및 실시를 위한 추가적인 컴포넌트들 및 특징들을 반드시 포함할 수 있다. 예를 들어, 무선 신호들의 송신 및 수신은 아날로그 및 디지털 목적들을 위한 다수의 컴포넌트들(예를 들어, 안테나, 무선 주파수(RF)-체인들, 전력 증폭기들, 변조기들, 버퍼, 프로세서(들), 인터리버, 가산기들/합산기들 등을 포함하는 하드웨어 컴포넌트들) 을 반드시 포함한다. 본 명세서에서 설명된 혁신들이 다양한 크기들, 형상들, 및 구성의 광범위한 디바이스들, 칩-레벨 컴포넌트들, 시스템들, 분산형 장치들, 최종-사용자 디바이스들 등에서 실시될 수 있도록 의도된다.Although aspects and implementations are described herein as examples of some examples, those skilled in the art will understand that additional implementations and use cases may be implemented in many different devices and scenarios. The innovations described herein can be implemented across many different platform types, devices, systems, shapes, sizes, and packaging arrangements. For example, aspects and/or uses may apply to integrated chip implementations and other non-module-component based devices (e.g., end user devices, vehicles, communication devices, computing devices, industrial equipment, retail /purchase devices, medical devices, artificial intelligence (AI) enabled devices, etc.). Although some examples may or may not be specifically related to use cases or applications, broad applicability of the described innovations may result. Implementations range from chip-level or modular components to non-modular, non-chip-level implementations and can be integrated, distributed, or original equipment manufacturer (OEM), including one or more aspects of the innovations further described. ) can range from devices or systems. In some practical settings, devices incorporating the described aspects and features may also necessarily include additional components and features for implementing and practicing the claimed and described aspects. For example, the transmission and reception of wireless signals involves a number of components for analog and digital purposes (e.g., antennas, radio frequency (RF)-chains, power amplifiers, modulators, buffers, processor(s) , hardware components including interleavers, adders/summers, etc.). It is intended that the innovations described herein can be implemented in a wide range of devices, chip-level components, systems, distributed devices, end-user devices, etc. of various sizes, shapes, and configurations.

본 개시내용의 속성 및 장점들의 추가적인 이해는 아래의 도면들을 참조하여 실현될 수 있다. 첨부된 도면들에서, 유사한 컴포넌트들 또는 특징들은 동일한 참조 라벨을 가질 수 있다. 또한, 동일한 타입의 다양한 컴포넌트들은 참조 라벨 다음에 대시기호 및 유사한 컴포넌트들을 구별하는 제2 라벨에 의해 구별될 수 있다. 만약 제1 참조 라벨만이 명세서에서 사용된다면, 설명은, 제2 참조 라벨과는 관계없이 동일한 제1 참조 라벨을 갖는 유사한 컴포넌트들 중 임의의 하나에 적용가능하다.
도 1은 하나 이상의 이미지 센서들로부터의 이미지 캡처를 수행하기 위한 예시적인 디바이스의 블록도를 도시한다.
도 2는 2개의 면들이 상이한 포커스 거리들에 있는 장면을 도시하는 예시이다.
도 3은 하나 이상의 양태들에 따른, 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 블록도이다.
도 4는 하나 이상의 양태들에 따른, 이미지 프레임에서 포커스 심도를 증가시키기 위한 다수의 이미지 프레임들의 프로세싱을 예시하는 블록도이다.
도 5는 하나 이상의 양태들에 따른, 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 흐름도이다.
도 6은 하나 이상의 양태들에 따른, 콘트라스트 동작을 사용하여 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 흐름도이다.
도 7은 하나 이상의 양태들에 따른, AI 기반 디블러링으로 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 블록도이다.
다양한 도면들에서 동일한 참조 번호들 및 지정들은 동일한 엘리먼트들을 표시한다.A further understanding of the properties and advantages of the present disclosure can be realized with reference to the drawings below. In the accompanying drawings, similar components or features may have the same reference label. Additionally, various components of the same type may be distinguished by a dash symbol following the reference label and a second label that distinguishes similar components. If only the first reference label is used in the specification, the description is applicable to any one of the similar components having the same first reference label, regardless of the second reference label.
1 shows a block diagram of an example device for performing image capture from one or more image sensors.
Figure 2 is an example showing a scene where two sides are at different focus distances.
3 is a block diagram illustrating a method for processing an image with two or more ROIs, in accordance with one or more aspects.
4 is a block diagram illustrating processing of multiple image frames to increase depth of focus in an image frame, in accordance with one or more aspects.
5 is a flow diagram illustrating a method for processing an image with two or more ROIs, in accordance with one or more aspects.
6 is a flow diagram illustrating a method for processing an image with two or more ROIs using a contrast operation, in accordance with one or more aspects.
7 is a block diagram illustrating a method for processing an image with two or more ROIs with AI-based deblurring, in accordance with one or more aspects.
Like reference numerals and designations in the various drawings indicate like elements.

첨부된 도면들과 관련하여 아래에 기재된 상세한 설명은 다양한 구성들의 설명으로서 의도되며, 본 개시내용의 범위를 제한하도록 의도되지 않는다. 오히려, 상세한 설명은 발명의 청구대상의 완전한 이해를 제공할 목적으로 특정 세부사항들을 포함한다. 이런 특정 세부사항들이 모든 각각의 경우에서 요구되지는 않는다는 것, 및 일부 경우들에서는, 제시의 명확함을 위해, 잘 알려진 구조들 및 컴포넌트들은 블록도 형태로 도시된다는 것이 당업자들에게 자명할 것이다.The detailed description set forth below in conjunction with the accompanying drawings is intended as an illustration of various configurations and is not intended to limit the scope of the disclosure. Rather, the detailed description includes specific details for the purpose of providing a thorough understanding of the claimed subject matter. It will be apparent to those skilled in the art that these specific details are not required in every case, and in some cases, for clarity of presentation, well-known structures and components are shown in block diagram form.

본 개시내용은 이미지 프레임을 캡처하는 데 사용되는 카메라의 큰 조리개 크기 또는 다른 특성들로 인해 블러링될 수 있는 배경 면들과 같은 배경 관심 영역(region of interest, ROI)들에 대한 다중 프레임 피사계 심도(MF-DOF)를 지원하는 시스템들, 장치, 방법들, 및 컴퓨터 판독가능 매체를 제공한다. 프로세싱은 이미지 프레임 내의 다수의 ROI들에 대응하는 2개의 상이한 포커스 포인트들에서 획득된 2개의 이미지 프레임들의 사용을 포함할 수 있다. 보정된 이미지 프레임은 AI 기반 모델 및/또는 로컬 그레이디언트(local gradient) 정보를 사용하여, 예컨대, 로컬 그레이디언트 정보에 의한 CV 기반 디블러링 방법을 사용하여, 제1 이미지 프레임의 하나 이상의 ROI들을 디블러링함으로써 결정될 수 있다. MF-DOF는 이미지의 피사계 심도(DOF)를 선택적으로 증가시키는 것이, 사진촬영에 요구될 수 있는 배경 블러 또는 조리개(및 후속적으로 사진촬영에 이용가능한 광의 양)의 감소를 야기하지 않고서, 다수의 관심 영역들의 포커싱된 캡처를 제공하게 할 수 있다.The present disclosure provides multi-frame depth of field (ROI) coverage of background regions of interest (ROI), such as background planes that may be blurred due to the large aperture size or other characteristics of the camera used to capture the image frame. Provided are systems, devices, methods, and computer-readable media supporting MF-DOF). Processing may include the use of two image frames acquired at two different focus points corresponding to multiple ROIs within the image frame. The corrected image frame may be one or more of the first image frame using an AI-based model and/or local gradient information, for example, using a CV-based deblurring method by local gradient information. It can be determined by deblurring the ROIs. MF-DOF is the ability to selectively increase the depth of field (DOF) of an image, without causing background blur or reducing the aperture (and subsequently the amount of light available for photography) that may be required for photography. May provide focused capture of areas of interest.

본 개시내용에서 설명된 청구대상의 특정 구현예들은 다음의 잠재적인 장점들 또는 이점들 중 하나 이상을 실현하도록 구현될 수 있다. 일부 양태들에서, 본 개시내용은, 예컨대, 다수의 이미지 프레임들을 융합하는 데 수반되는 계산 복잡도를 감소시키고, 예컨대, 다수의 이미지 프레임들을 융합하는 경우에 생성될 수 있는 아티팩트들(예컨대, 할로 효과, 고스팅 효과)을 감소시키는 이미지 신호 프로세싱을 위한 기법들을 제공한다. 향상된 이미지 프레임은 다중 프레임 프로세싱을 사용하여 배경 ROI들을 디블러링함으로써 본 명세서의 본 개시내용의 실시 형태들에 따른 이미지 프로세싱 기법들을 통해 여전히 획득될 수 있다.Certain implementations of the subject matter described in this disclosure can be implemented to realize one or more of the following potential advantages or advantages. In some aspects, the present disclosure reduces the computational complexity involved in fusing multiple image frames, e.g., reduces artifacts that can be created when fusing multiple image frames (e.g., a halo effect), e.g. , provides techniques for image signal processing to reduce ghosting effects). An improved image frame can still be obtained through image processing techniques according to embodiments of the disclosure herein by deblurring background ROIs using multi-frame processing.

스마트폰과 같은, 하나 이상의 이미지 센서들을 사용하여 이미지 프레임들을 캡처하기 위한 예시적인 디바이스는 디바이스의 후면(예컨대, 사용자 디스플레이의 반대 면) 또는 전면(예컨대, 사용자 디스플레이와 동일한 면) 상에 하나, 둘, 셋, 넷 이상의 카메라들의 구성을 포함할 수 있다. 다수의 이미지 센서들을 갖는 디바이스들은 하나 이상의 이미지 신호 프로세서(ISP)들, 컴퓨터 비전 프로세서(Computer Vision Processor, CVP)들(예컨대, AI 엔진들), 또는 이미지 센서들에 의해 캡처된 이미지들을 프로세싱하기 위한 다른 적합한 회로부를 포함한다. 하나 이상의 이미지 신호 프로세서는, 인코딩, 저장, 송신, 또는 다른 조작과 같은, 추가 프로세싱을 위해, 프로세싱된 이미지 프레임들을 메모리 및/또는 프로세서(예컨대, 애플리케이션 프로세서, 이미지 프론트 엔드(image front end, IFE), 이미지 포스트-프로세싱 엔진(IPE), 또는 다른 적절한 프로세싱 회로부)에 제공할 수 있다.An exemplary device, such as a smartphone, for capturing image frames using one or more image sensors may have one, two on the back (e.g., the opposite side of the user's display) or the front (e.g., the same side as the user's display) of the device. , may include a configuration of three, four or more cameras. Devices with multiple image sensors may be equipped with one or more image signal processors (ISPs), computer vision processors (CVPs) (e.g., AI engines), or for processing images captured by the image sensors. Includes other suitable circuitry. One or more image signal processors may store the processed image frames in memory and/or a processor (e.g., an application processor, image front end (IFE)) for further processing, such as encoding, storage, transmission, or other manipulation. , an image post-processing engine (IPE), or other suitable processing circuitry).

본 명세서에 사용되는 바와 같이, 이미지 센서는 이미지 센서 자체, 및 단기 버퍼이든 장기 비휘발성 메모리이든 간에, 메모리 내 저장소 또는 이미지 신호 프로세서 또는 다른 로직 회로부에 의한 프로세싱을 위해 이미지 프레임을 생성하는 데 사용되는 이미지 센서에 커플링된 임의의 소정 다른 컴포넌트들을 지칭할 수 있다. 예를 들어, 이미지 센서는 셔터, 버퍼, 또는 이미지 센서의 개별 픽셀들에 액세스하기 위한 다른 판독 회로부를 포함하는 카메라의 다른 컴포넌트들을 포함할 수 있다. 이미지 센서는 또한, 아날로그 프론트 엔드, 또는 이미지 센서에 커플링된 디지털 회로부에 제공되는 이미지 프레임에 대한 디지털 표현들로 아날로그 신호들을 변환하기 위한 다른 회로부를 지칭할 수 있다.As used herein, an image sensor refers to the image sensor itself and storage in memory, whether a short-term buffer or long-term non-volatile memory, or any device used to generate image frames for processing by an image signal processor or other logic circuitry. It may refer to any other components coupled to the image sensor. For example, the image sensor may include other components of the camera, including a shutter, buffer, or other readout circuitry to access individual pixels of the image sensor. An image sensor may also refer to an analog front end, or other circuitry for converting analog signals into digital representations of an image frame that are provided to digital circuitry coupled to the image sensor.

다음의 설명에 있어서, 본 개시내용의 철저한 이해를 제공하기 위해 특정 컴포넌트들, 회로들, 및 프로세서들의 예들과 같이 다수의 특정 상세들이 기술된다. 본 명세서에서 사용된 바와 같은 "커플링된(coupled)" 이라는 용어는 하나 이상의 개재하는 컴포넌트들 또는 회로들을 통해 연결되거나 직접 연결되는 것을 의미한다. 또한, 이하의 설명에서 그리고 설명의 목적들을 위해, 본 개시내용의 완전한 이해를 제공하기 위해 특정 전문용어가 전개된다. 하지만, 본 명세서에 개시된 교시들을 실시하기 위해 이들 특정 상세들은 요구되지 않을 수 있음은 당업자에게 명백할 것이다. 다른 경우들에서, 잘 알려진 회로들 및 디바이스들은 본 개시내용의 교시들을 모호하게 하는 것을 회피하기 위해 블록도 형태로 도시된다.In the following description, numerous specific details are set forth, such as examples of specific components, circuits, and processors, to provide a thorough understanding of the disclosure. As used herein, the term “coupled” means connected or directly connected through one or more intervening components or circuits. Additionally, in the following description, and for purposes of explanation, certain terminology is developed to provide a thorough understanding of the present disclosure. However, it will be apparent to those skilled in the art that these specific details may not be required to practice the teachings disclosed herein. In other instances, well-known circuits and devices are shown in block diagram form to avoid obscuring the teachings of the disclosure.

다음에 이어지는 상세한 설명들의 일부 부분들은 컴퓨터 메모리 내에서의 데이터 비트들에 대한 연산의 절차, 로직 블록, 프로세싱, 및 기타 상징적 표현들의 관점에서 제시된다. 본 개시내용에서, 절차, 로직 블록, 프로세스 등은 원하는 결과로 이끄는 단계들 또는 명령들의 자기-일관성있는 시퀀스인 것으로 인식된다. 단계들은 물리적 수량들의 물리적 조작들을 요구하는 것들이다. 필수적인 것은 아니지만 통상적으로, 이들 양들은 컴퓨터 시스템에서 저장되고, 전송되고, 조합되고, 비교되고 그 외에 조작되는 것이 가능한 전기적 또는 자기적 신호들의 형태를 취한다.Certain portions of the detailed description that follows are presented in terms of procedures, logic blocks, processing, and other symbolic representations of operations on data bits within a computer memory. In this disclosure, a procedure, logic block, process, etc. is recognized as being a self-consistent sequence of steps or instructions that lead to a desired result. The steps are those requiring physical manipulations of physical quantities. Typically, but not necessarily, these quantities take the form of electrical or magnetic signals that can be stored, transmitted, combined, compared and otherwise manipulated in a computer system.

도면들에서, 단일 블록은 기능 또는 기능들을 수행하는 것으로 설명될 수 있다. 그러한 블록에 의해 수행되는 기능 또는 기능들은 단일 컴포넌트에서 또는 다수의 컴포넌트들에 걸쳐 수행될 수 있고/있거나 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 수행될 수 있다. 하드웨어와 소프트웨어의 이러한 상호교환 가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능의 면에서 이하에서 설명된다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당업자들은 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들이 본 개시내용의 범위로부터 벗어나게 하는 것으로 해석되지는 않아야 한다. 또한, 예시의 디바이스들은 프로세서, 메모리 등과 같은 주지된 컴포넌트들을 포함하여, 나타낸 것들 외의 컴포넌트들을 포함할 수 있다.In the drawings, a single block may be described as performing a function or functions. The function or functions performed by such a block may be performed in a single component or across multiple components and/or may be performed using hardware, software, or a combination of hardware and software. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits and steps are described below generally in terms of their functionality. Whether this functionality is implemented in hardware or software depends on the specific application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure. Additionally, example devices may include components other than those shown, including well-known components such as a processor, memory, and the like.

본 개시내용의 양태들은 이미지 프레임들(또는 "프레임들")을 캡처할 수 있는 2 이상의 이미지 센서들을 포함하거나 이에 커플링되는 임의의 적절한 전자 디바이스에 적용가능하다. 또한, 본 개시내용의 양태들은 동일하거나 상이한 능력들 및 특성들(예컨대, 해상도, 셔터 속도, 센서 타입 등)의 이미지 센서들을 갖거나 이에 커플링된 디바이스들에서 구현될 수 있다. 추가로, 본 개시내용의 양태들은, 클라우드 컴퓨팅 시스템에 존재하는 프로세싱 디바이스들을 포함한, 프로세싱을 위해 저장된 이미지들을 취출할 수 있는 프로세싱 디바이스들과 같은, 디바이스가 이미지 센서들을 포함하든 또는 그에 커플링되든 간에, 이미지 프레임들을 프로세싱하기 위한 디바이스들에서 구현될 수 있다.Aspects of the present disclosure are applicable to any suitable electronic device that includes or is coupled to two or more image sensors capable of capturing image frames (or “frames”). Additionally, aspects of the disclosure may be implemented in devices having or coupled to image sensors of the same or different capabilities and characteristics (eg, resolution, shutter speed, sensor type, etc.). Additionally, aspects of the present disclosure may include processing devices capable of retrieving stored images for processing, including processing devices residing in cloud computing systems, whether the device includes or is coupled to image sensors. , can be implemented in devices for processing image frames.

다음의 논의로부터 명백한 바와 같이 달리 구체적으로 언급되지 않는 한, 본 출원 전체에 걸쳐, "액세스하는 것", "수신하는 것", "전송하는 것", "사용하는 것", "선택하는 것", "결정하는 것", "정규화하는 것", "승산하는 것", "평균화하는 것", "모니터링하는 것", "비교하는 것", "적용하는 것", "업데이트하는 것", "측정하는 것", "도출하는 것", "정산하는 것(settling)", "생성하는 것" 등과 같은 용어들을 활용한 논의들은, 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적 (전자적) 양으로서 표현된 데이터를 컴퓨터 시스템의 레지스터들 또는 메모리들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이 디바이스 내의 물리적 양으로서 유사하게 표현된 다른 데이터로 조작 및 변환하는, 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭한다.As is clear from the following discussion and unless specifically stated otherwise, throughout this application the terms “accessing,” “receiving,” “transmitting,” “using,” and “selecting.” , “determining”, “normalizing”, “multiplying”, “averaging”, “monitoring”, “comparing”, “applying”, “updating”, “ Discussions utilizing terms such as “measuring,” “deducing,” “settling,” “generating,” etc. are expressed in terms of physical (electronic) quantities within the registers and memories of a computer system. Actions and processes of a computer system, or similar electronic computing device, that manipulate and convert data into other data similarly represented as physical quantities within the registers or memories of the computer system or other such information storage, transmission, or display device. refers to them.

용어들 "디바이스" 및 "장치"는 하나 또는 특정 수의 물리적 객체들(예컨대, 하나의 스마트폰, 하나의 카메라 제어기, 하나의 프로세싱 시스템 등)로 제한되지 않는다. 본 명세서에서 사용된 바와 같이, 디바이스는 본 개시내용의 적어도 일부 부분들을 구현할 수 있는 하나 이상의 부분들을 갖는 임의의 전자 디바이스일 수 있다. 하기의 설명 및 예들이 본 개시내용의 다양한 양태들을 설명하기 위해 용어 "디바이스"를 사용하지만, 용어 "디바이스"는 특정 구성, 타입, 또는 수의 객체들로 제한되지 않는다. 본 명세서에서 사용된 바와 같이, 장치는 설명된 동작들을 수행하기 위한 디바이스 또는 디바이스의 일부를 포함할 수 있다.The terms “device” and “apparatus” are not limited to one or a specific number of physical objects (eg, one smartphone, one camera controller, one processing system, etc.). As used herein, a device may be any electronic device having one or more parts capable of implementing at least some portions of the disclosure. Although the following description and examples use the term “device” to describe various aspects of the disclosure, the term “device” is not limited to a particular configuration, type, or number of objects. As used herein, apparatus may include a device or portion of a device for performing the described operations.

도 1은 하나 이상의 이미지 센서들로부터의 이미지 캡처를 수행하기 위한 예시적인 디바이스(100)의 블록도를 도시한다. 디바이스(100)는 제1 이미지 센서(101), 제2 이미지 센서(102), 및 심도 센서(140)와 같은 하나 이상의 이미지 센서들로부터의 이미지 프레임들을 프로세싱하기 위한 이미지 신호 프로세서(112)를 포함하거나, 그렇지 않으면 그에 커플링될 수 있다. 일부 구현예들에서, 디바이스(100)는 또한 프로세서(104) 및 명령들(108)을 저장하는 메모리(106)를 포함하거나 또는 이에 커플링된다. 디바이스(100)는 또한 디스플레이(114) 및 입력/출력(I/O) 컴포넌트들(116)을 포함하거나 이들에 커플링될 수 있다. 터치 스크린 인터페이스 및/또는 물리적 버튼 인터페이스와 같은 I/O 컴포넌트들(116)이 사용자와 상호작용하기 위해 사용될 수 있다. I/O 컴포넌트들(116)은 또한, 광역 네트워크(wide area network, WAN) 어댑터(152), 근거리 네트워크(local area network, LAN) 어댑터(153), 및/또는 개인 영역 네트워크(personal area network, PAN) 어댑터(154)를 포함하는, 다른 디바이스들과 통신하기 위한 네트워크 인터페이스들을 포함할 수 있다. WAN 어댑터(152)의 예는 4G LTE 또는 5G NR 무선 네트워크 어댑터를 포함한다. 예시적인 LAN 어댑터(153)는 IEEE 802.11 WiFi 무선 네트워크 어댑터이다. 예시적인 PAN 어댑터(154)는 블루투스 무선 네트워크 어댑터이다. 어댑터들(152, 153, 및/또는 154) 각각은 안테나에 커플링될 수 있고, 일차 및 다이버시티 수신을 위해 구성된 그리고/또는 특정 주파수 대역들을 수신하기 위해 구성된 다수의 안테나들에 커플링될 수 있다. 디바이스(100)는 또한 디바이스(100)를 에너지원에 커플링하기 위한 컴포넌트 또는 배터리와 같은 디바이스(100)를 위한 전력 공급부(118)를 포함하거나 이에 커플링될 수 있다. 디바이스(100)는 또한, 도 1에 도시되지 않은 추가 특징부들 또는 컴포넌트들을 포함할 수 있거나 이들에 커플링될 수 있다. 일 예에서, 하나 이상의 트랜시버들 및 기저대역 프로세서는 무선 통신 디바이스에 대해 WAN 어댑터(152)에 커플링될 수 있거나 그에 포함될 수 있다. 추가 예에서, 아날로그 이미지 프레임 데이터를 디지털 이미지 프레임 데이터로 변환하기 위한 아날로그 프론트 엔드(analog front end, AFE)가 이미지 센서들(101, 102)과 이미지 신호 프로세서(112) 사이에 커플링될 수 있다.1 shows a block diagram of an example device 100 for performing image capture from one or more image sensors. Device 100 includes an image signal processor 112 for processing image frames from one or more image sensors, such as first image sensor 101, second image sensor 102, and depth sensor 140. or may otherwise be coupled thereto. In some implementations, device 100 also includes or is coupled to a processor 104 and a memory 106 that stores instructions 108. Device 100 may also include or be coupled to a display 114 and input/output (I/O) components 116. I/O components 116, such as a touch screen interface and/or a physical button interface, may be used to interact with the user. I/O components 116 may also include a wide area network (WAN) adapter 152, a local area network (LAN) adapter 153, and/or a personal area network. It may include network interfaces for communicating with other devices, including a PAN) adapter 154. Examples of WAN adapters 152 include 4G LTE or 5G NR wireless network adapters. An example LAN adapter 153 is an IEEE 802.11 WiFi wireless network adapter. An exemplary PAN adapter 154 is a Bluetooth wireless network adapter. Each of adapters 152, 153, and/or 154 may be coupled to an antenna, configured for primary and diversity reception, and/or configured to receive specific frequency bands. there is. Device 100 may also include or be coupled to a power supply 118 for device 100, such as a battery or components for coupling device 100 to an energy source. Device 100 may also include or be coupled to additional features or components not shown in FIG. 1 . In one example, one or more transceivers and a baseband processor may be coupled to or included in WAN adapter 152 for a wireless communication device. In a further example, an analog front end (AFE) for converting analog image frame data to digital image frame data may be coupled between the image sensors 101 and 102 and the image signal processor 112. .

디바이스는 디바이스(100)의 이동에 관한 데이터, 디바이스(100) 주위의 환경에 관한 데이터, 및/또는 다른 카메라 이외의 센서의 데이터를 수신하기 위해 센서들과 인터페이스하기 위한 센서 허브(150)를 포함할 수 있거나 그에 커플링될 수 있다. 하나의 예시적인 카메라 이외의 센서는 자이로스코프, 즉 회전, 배향, 및/또는 각속도를 측정하여 모션 데이터를 생성하도록 구성된 디바이스이다. 다른 예시적인 카메라 이외의 센서는 가속도계, 즉 가속도를 측정하기 위해 구성된 디바이스이고, 이는 또한, 측정된 가속도를 적절히 적분함으로써 이동된 거리 및 속도를 결정하는 데 사용될 수 있고, 가속도, 속도, 및 거리 중 하나 이상이 생성된 모션 데이터에 포함될 수 있다. 일부 양태들에서, 전자식 흔들림 방지 시스템(electronic image stabilization system, EIS)에서 자이로스코프는 센서 허브에 커플링될 수 있거나 이미지 신호 프로세서(112)에 직접 커플링될 수 있다. 다른 예에서, 카메라 이외의 센서는 글로벌 포지셔닝 시스템(global positioning system, GPS) 수신기일 수 있다. 센서 허브(150)로부터의 데이터는, 예컨대 EIS 및/또는 디지털 흔들림 방지(digital image stabilization, DIS)를 적용함으로써, 보정된 이미지 프레임들을 생성하기 위해 이미지 신호 프로세서(112)에 의해 사용될 수 있다.The device includes a sensor hub 150 for interfacing with sensors to receive data about the movement of device 100, data about the environment around device 100, and/or data from other sensors other than cameras. It can be done or coupled to it. One example sensor other than a camera is a gyroscope, a device configured to generate motion data by measuring rotation, orientation, and/or angular velocity. Another exemplary non-camera sensor is an accelerometer, i.e., a device configured to measure acceleration, which can also be used to determine distance traveled and velocity by appropriately integrating the measured acceleration, among acceleration, velocity, and distance. One or more may be included in the generated motion data. In some aspects, a gyroscope may be coupled to a sensor hub or directly to the image signal processor 112 in an electronic image stabilization system (EIS). In another example, a sensor other than a camera may be a global positioning system (GPS) receiver. Data from sensor hub 150 may be used by image signal processor 112 to generate corrected image frames, such as by applying EIS and/or digital image stabilization (DIS).

이미지 신호 프로세서(112)는 이미지 프레임들의 형태로 하나 이상의 카메라들로부터 이미지 데이터를 수신할 수 있다. 일 실시 형태에서, 로컬 버스 연결부는 이미지 신호 프로세서(112)를 제1 및 제2 카메라의 각각의 이미지 센서들(101, 102)에 커플링시킨다. 다른 실시 형태에서, 유선 인터페이스가 이미지 신호 프로세서(112)를 외부 이미지 센서에 커플링시킨다. 추가 실시 형태에서, 무선 인터페이스는 이미지 신호 프로세서(112)를 이미지 센서(101, 102)에 커플링시킨다.Image signal processor 112 may receive image data from one or more cameras in the form of image frames. In one embodiment, a local bus connection couples the image signal processor 112 to the respective image sensors 101 and 102 of the first and second cameras. In another embodiment, a wired interface couples image signal processor 112 to an external image sensor. In a further embodiment, a wireless interface couples image signal processor 112 to image sensors 101 and 102.

제1 카메라는 제1 이미지 센서(101) 및 대응하는 제1 렌즈(131)를 포함할 수 있다. 제2 카메라는 제2 이미지 센서(102) 및 대응하는 제2 렌즈(132)를 포함할 수 있다. 렌즈들(131, 132) 각각은 ISP(112)에서 실행되는 연관된 오토포커스(AF) 알고리즘(133)에 의해 제어될 수 있고, 이는 렌즈들(131, 132)을 조정하여 소정 포커스 포지션에 대응하는 특정 포커스 평면에 포커스를 맞춘다. AF 알고리즘(133)은 포커스 포지션에 근접하게 심도 데이터를 사용함으로써 심도 센서(140)에 의해 보조될 수 있다.The first camera may include a first image sensor 101 and a corresponding first lens 131. The second camera may include a second image sensor 102 and a corresponding second lens 132. Each of the lenses 131 and 132 may be controlled by an associated autofocus (AF) algorithm 133 running on the ISP 112, which adjusts the lenses 131 and 132 to correspond to a predetermined focus position. Focuses on a specific focus plane. AF algorithm 133 may be assisted by depth sensor 140 by using depth data proximate to the focus position.

제1 이미지 센서(101) 및 제2 이미지 센서(102)는 하나 이상의 이미지 프레임을 캡처하도록 구성된다. 렌즈들(131, 132)은 광을 수신하기 위한 하나 이상의 조리개들, 노출 윈도우 외부에 있을 때 광을 차단하기 위한 하나 이상의 셔터, 특정 주파수 범위들 외부의 광을 필터링하기 위한 하나 이상의 컬러 필터 어레이(color filter array, CFA), 아날로그 측정치들을 디지털 정보로 변환하기 위한 하나 이상의 아날로그 프론트 엔드, 및/또는 이미징을 위한 다른 적절한 컴포넌트들을 통해 이미지 센서들(101, 102)에서 각각 광을 포커싱한다. 제1 렌즈(131) 및 제2 렌즈(132)는 장면의 상이한 표현들을 캡처하기 위해 상이한 시야들을 가질 수 있다. 예를 들어, 제1 렌즈(131)는 초광각(UW) 렌즈일 수 있고, 제2 렌즈(132)는 광각(W) 렌즈일 수 있다. 복수의 이미지 센서들은 초광각(넓은 시야(FOV)), 광각, 망원, 및 초망원(좁은 FOV) 센서들의 조합을 포함할 수 있다. 즉, 각각의 이미지 센서는 상이한, 그러나 중첩된, 시야들을 획득하기 위해 하드웨어 구성 및/또는 소프트웨어 설정들을 통해 구성될 수 있다. 하나의 구성에서, 이미지 센서들은 상이한 시야들을 야기하는 상이한 배율들을 갖는 상이한 렌즈들로 구성된다. 센서들은 UW 센서가 W 센서보다 큰 FOV를 갖고, W 센서가 T 센서보다 큰 FOV를 갖고, T 센서가 UT 센서보다 큰 FOV를 갖도록 구성될 수 있다. 예를 들어, 넓은 FOV를 위해 구성된 센서는 64 내지 84도 범위의 시야들을 캡처할 수 있고, 초광각 FOV를 위해 구성된 센서는 100 내지 140도 범위의 시야들을 캡처할 수 있고, 망원 FOV를 위해 구성된 센서는 10 내지 30도 범위의 시야들을 캡처할 수 있고, 초망원 FOV를 위해 구성된 센서는 1 내지 8도 범위의 시야들을 캡처할 수 있다.The first image sensor 101 and the second image sensor 102 are configured to capture one or more image frames. Lenses 131 and 132 may include one or more apertures to receive light, one or more shutters to block light when outside the exposure window, and one or more color filter arrays to filter light outside specific frequency ranges ( Light is focused at image sensors 101 and 102, respectively, via a color filter array (CFA), one or more analog front ends for converting analog measurements to digital information, and/or other suitable components for imaging. First lens 131 and second lens 132 may have different fields of view to capture different representations of the scene. For example, the first lens 131 may be an ultra-wide-angle (UW) lens, and the second lens 132 may be a wide-angle (W) lens. The plurality of image sensors may include a combination of ultra-wide (wide field of view (FOV)), wide-angle, telephoto, and ultra-telephoto (narrow FOV) sensors. That is, each image sensor may be configured through hardware configuration and/or software settings to obtain different, but overlapping, fields of view. In one configuration, the image sensors are comprised of different lenses with different magnifications resulting in different fields of view. The sensors may be configured such that the UW sensor has a larger FOV than the W sensor, the W sensor has a larger FOV than the T sensor, and the T sensor has a larger FOV than the UT sensor. For example, a sensor configured for a wide FOV may capture fields of view ranging from 64 to 84 degrees, a sensor configured for an ultra-wide FOV may capture fields of view ranging from 100 to 140 degrees, and a sensor configured for a telephoto FOV may capture fields of view ranging from 100 to 140 degrees. can capture fields of view ranging from 10 to 30 degrees, and a sensor configured for a supertelephoto FOV can capture fields of view ranging from 1 to 8 degrees.

이미지 신호 프로세서(112)는 이미지 센서들(101, 102)에 의해 캡처된 이미지 프레임들을 프로세싱한다. 도 1이 이미지 신호 프로세서(112)에 커플링된 2개의 이미지 센서들(101 및 102)을 포함하는 것으로 디바이스(100)를 예시하지만, 임의의 수의 (예컨대, 1개, 2개, 3개, 4개, 5개, 6개 등의) 이미지 센서들이 이미지 신호 프로세서(112)에 커플링될 수 있다. 일부 양태들에서, 심도 센서(140)와 같은 심도 센서들은 이미지 신호 프로세서(112)에 커플링될 수 있고, 심도 센서들로부터의 출력은 이미지 센서들(101, 102)의 출력과 유사한 방식으로 프로세싱되어 보정된 이미지 프레임들을 심도 센서(140)에 의해 캡처된 이미지 프레임에 기초하여 생성할 수 있다. 심도 센서(140)는 또한 이미지 센서들(101, 102) 중 하나로부터 캡처된 제1 이미지 프레임에, 예컨대 보정된 제1 이미지 프레임을 결정할 때 센서들(101 또는 102)로부터의 이미지 프레임을 전경 및 배경 영역으로 세그먼트화하도록 심도 데이터를 사용하고 전경 및 배경 영역들을 별개로 프로세싱함으로써, 보정을 적용하는 데 사용될 수 있다. 도 1에 도시된 장치가 개시된 이미지 신호 프로세싱 기법들 및 방법들의 일부 실시 형태들에 대한 구성을 반영할 수 있지만, 개시된 이미지 신호 프로세싱 기법들 및 방법들의 양태들을 여전히 구현하면서 임의의 수의 추가 이미지 센서들 또는 이미지 신호 프로세서들이 디바이스(100)의 다른 실시 형태들에 포함될 수 있다.Image signal processor 112 processes image frames captured by image sensors 101 and 102. 1 illustrates device 100 as including two image sensors 101 and 102 coupled to image signal processor 112, any number (e.g., 1, 2, 3) may be used. , 4, 5, 6, etc.) image sensors may be coupled to the image signal processor 112. In some aspects, depth sensors, such as depth sensor 140, may be coupled to image signal processor 112, and output from the depth sensors may be processed in a manner similar to the output of image sensors 101, 102. Corrected image frames may be generated based on the image frame captured by the depth sensor 140. Depth sensor 140 may also provide a first image frame captured from one of the image sensors 101, 102, for example, foreground and image frames from sensors 101 or 102 when determining a corrected first image frame. By using depth data to segment into background areas and processing the foreground and background areas separately, it can be used to apply correction. 1 may reflect the configuration of some embodiments of the disclosed image signal processing techniques and methods, but may include any number of additional image sensors while still implementing aspects of the disclosed image signal processing techniques and methods. or image signal processors may be included in other embodiments of device 100.

일부 실시 형태들에서, 이미지 신호 프로세서(112)는 메모리로부터의 명령들, 예컨대 메모리(106)로부터의 명령들(108), 이미지 신호 프로세서(112)에 커플링되거나 포함된 별도의 메모리에 저장된 명령들, 또는 프로세서(104)에 의해 제공된 명령들을 실행할 수 있다. 추가적으로, 또는 대안적으로, 이미지 신호 프로세서(112)는 본 개시내용에서 설명된 하나 이상의 동작들을 수행하도록 구성된 특정 하드웨어(예컨대, 하나 이상의 집적 회로(IC))를 포함할 수 있다. 예를 들어, 이미지 신호 프로세서(112)는 하나 이상의 이미지 프론트 엔드들(IFE)(135), 하나 이상의 이미지 포스트-프로세싱 엔진들(136)(IPE), 하나 이상의 자동 노출 제어(AEC)(134) 엔진들, 및/또는 하나 이상의 오토포커스(AF)(133) 엔진들을 포함할 수 있다. AF(133), AEC(134), IFE(135), IPE(136) 각각은 애플리케이션 특정 회로부를 포함할 수 있고, ISP(112)에 의해 실행되는 소프트웨어 코드, 및/또는 ISP(112) 내의 하드웨어와 그에서 실행되는 소프트웨어 코드의 조합으로서 구현될 수 있다.In some embodiments, image signal processor 112 may receive instructions from memory, such as instructions 108 from memory 106, instructions stored in a separate memory coupled to or included in image signal processor 112. , or instructions provided by the processor 104 may be executed. Additionally, or alternatively, image signal processor 112 may include special hardware (eg, one or more integrated circuits (ICs)) configured to perform one or more operations described in this disclosure. For example, image signal processor 112 may include one or more image front ends (IFE) 135, one or more image post-processing engines 136 (IPE), one or more automatic exposure control (AEC) 134. engines, and/or one or more autofocus (AF) 133 engines. AF 133, AEC 134, IFE 135, and IPE 136 may each include application-specific circuitry, software code executed by ISP 112, and/or hardware within ISP 112. It can be implemented as a combination of and software code running on it.

일부 구현예들에서, 메모리(106)는 본 개시내용에서 설명된 하나 이상의 동작들의 전부 또는 일부분을 수행하기 위한 컴퓨터 실행가능 명령들(108)을 저장하는 비순간적 또는 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 일부 구현예들에서, 명령들(108)은 이미지들 또는 비디오들을 생성하기 위해 디바이스(100)에 의해 실행될 카메라 애플리케이션(또는 다른 적절한 애플리케이션)을 포함한다. 명령들(108)은 또한 이미지 또는 비디오 생성을 위한 것 이외의 운영 체제 및 특정 애플리케이션들과 같은, 디바이스(100)에 의해 실행되는 다른 애플리케이션들 또는 프로그램들을 포함할 수 있다. 프로세서(104)에 의한 것과 같은 카메라 애플리케이션의 실행은 디바이스(100)로 하여금 이미지 센서들(101 및 102) 및 이미지 신호 프로세서(112)를 사용하여 이미지들을 생성하게 할 수 있다. 메모리(106)는 또한 프로세싱된 프레임들을 저장하기 위해 이미지 신호 프로세서(112)에 의해 액세스될 수 있거나, 프로세싱된 프레임들을 획득하기 위해 프로세서(104)에 의해 액세스될 수 있다. 일부 실시 형태들에서, 디바이스(100)는 메모리(106)를 포함하지 않는다. 예를 들어, 디바이스(100)는 이미지 신호 프로세서(112)를 포함하는 회로일 수 있고, 메모리는 디바이스(100)의 외부에 있을 수 있다. 디바이스(100)는 외부 메모리에 커플링될 수 있고, 디스플레이 또는 장기 저장을 위해 출력 프레임들을 기록하기 위해 메모리에 액세스하도록 구성될 수 있다. 일부 실시 형태들에서, 디바이스(100)는 이미지 신호 프로세서(112), 프로세서(104), 센서 허브(150), 메모리(106), 및 입력/출력 컴포넌트들(116)을 단일 패키지 내로 통합시키는 시스템 온 칩(system on chip, SoC)이다.In some implementations, memory 106 includes a non-transitory or non-transitory computer-readable medium that stores computer-executable instructions 108 for performing all or a portion of one or more operations described in this disclosure. can do. In some implementations, instructions 108 include a camera application (or other suitable application) to be executed by device 100 to generate images or videos. Instructions 108 may also include other applications or programs executed by device 100, such as operating systems and specific applications other than those for image or video creation. Execution of a camera application, such as by processor 104, may cause device 100 to generate images using image sensors 101 and 102 and image signal processor 112. Memory 106 may also be accessed by image signal processor 112 to store processed frames, or by processor 104 to obtain processed frames. In some embodiments, device 100 does not include memory 106. For example, device 100 may be a circuit that includes image signal processor 112, and the memory may be external to device 100. Device 100 may be coupled to an external memory and configured to access the memory to record output frames for display or long-term storage. In some embodiments, device 100 is a system that integrates image signal processor 112, processor 104, sensor hub 150, memory 106, and input/output components 116 into a single package. It is a system on chip (SoC).

일부 실시 형태들에서, 이미지 신호 프로세서(112) 또는 프로세서(104) 중 적어도 하나는 본 명세서의 실시 형태들에 설명된 바와 같이 MF-DOF 동작들을 포함한, 본 명세서에 설명된 다양한 동작들을 수행하기 위한 명령들을 실행할 수 있다. 예를 들어, 명령들의 실행은 이미지 프레임 또는 이미지 프레임들의 시퀀스를 캡처하는 것을 시작하거나 종료할 것을 이미지 신호 프로세서(112)에게 지시할 수 있으며, 여기서 캡처는 본 명세서의 실시 형태들에서 설명된 바와 같이 MF-DOF 동작들을 포함한다. 일부 실시 형태들에서, 프로세서(104)는 메모리(106) 내에 저장된 명령들(108)과 같은, 하나 이상의 소프트웨어 프로그램들의 스크립트들 또는 명령들을 실행할 수 있는 하나 이상의 범용 프로세서 코어들(104A)을 포함할 수 있다. 예를 들어, 프로세서(104)는 메모리(106)에 저장된 카메라 애플리케이션(또는 이미지 또는 비디오를 생성하기 위한 다른 적절한 애플리케이션)을 실행하도록 구성된 하나 이상의 애플리케이션 프로세서를 포함할 수 있다.In some embodiments, at least one of image signal processor 112 or processor 104 is configured to perform various operations described herein, including MF-DOF operations as described in embodiments herein. Commands can be executed. For example, execution of instructions may direct image signal processor 112 to begin or end capturing an image frame or sequence of image frames, wherein the capture is as described in embodiments herein. Includes MF-DOF operations. In some embodiments, processor 104 may include one or more general purpose processor cores 104A capable of executing scripts or instructions of one or more software programs, such as instructions 108 stored within memory 106. You can. For example, processor 104 may include one or more application processors configured to execute a camera application (or other suitable application for generating images or video) stored in memory 106.

카메라 애플리케이션을 실행할 때, 프로세서(104)는 이미지 센서들(101 또는 102)을 참조하여 하나 이상의 동작들을 수행하도록 이미지 신호 프로세서(112)에 지시하도록 구성될 수 있다. 예를 들어, 카메라 애플리케이션은 이미지 프레임들의 시퀀스를 포함하는 비디오가 하나 이상의 이미지 센서들(101 또는 102)로부터 캡처되고 프로세싱되는 비디오 프리뷰 디스플레이를 시작하기 위한 커맨드를 수신할 수 있다. 이미지 보정이 시퀀스 내의 하나 이상의 이미지 프레임들에 적용될 수 있다. 프로세서(104)에 의한 카메라 애플리케이션 외부의 명령들(108)의 실행은 또한 디바이스(100)로 하여금 임의의 수의 기능들 또는 동작들을 수행하게 할 수 있다. 일부 구현예들에서, 프로세서(104)는 디바이스(100)로 하여금 다수의 기능들 또는 동작들, 예컨대 본 명세서에 설명된 동작들을 수행하게 하도록 소프트웨어를 실행하는 능력에 부가하여 IC들 또는 다른 하드웨어(예컨대, 인공 지능(AI) 엔진(124))를 포함할 수 있다. 일부 다른 실시 형태들에서, 디바이스(100)는, 예컨대 설명된 기능 모두가 이미지 신호 프로세서(112)에서 구성될 때, 프로세서(104)를 포함하지 않는다.When executing a camera application, processor 104 may be configured to instruct image signal processor 112 to perform one or more operations with reference to image sensors 101 or 102 . For example, a camera application may receive a command to initiate a video preview display in which video comprising a sequence of image frames is captured and processed from one or more image sensors 101 or 102. Image correction may be applied to one or more image frames within a sequence. Execution of instructions 108 outside the camera application by processor 104 may also cause device 100 to perform any number of functions or operations. In some implementations, processor 104 may include ICs or other hardware (ICs) in addition to the ability to execute software to cause device 100 to perform multiple functions or operations, such as those described herein. For example, it may include an artificial intelligence (AI) engine 124). In some other embodiments, device 100 does not include processor 104, such as when all of the described functionality is comprised in image signal processor 112.

일부 실시 형태들에서, 디스플레이(114)는 사용자 상호작용을 허용하고 및/또는 이미지 센서들(101 및 102)에 의해 캡처되는 이미지 프레임들의 프리뷰와 같은 아이템들을 사용자에게 제시하기 위한 하나 이상의 적절한 디스플레이들 또는 스크린들을 포함할 수 있다. 일부 양태들에서, 디스플레이(114)는 접촉 감지 디스플레이이다. I/O 컴포넌트들(116)은 사용자로부터 (커맨드들과 같은) 입력을 수신하고 디스플레이(114)를 통해 사용자에 출력을 제공하기 위한 임의의 적합한 메커니즘, 인터페이스, 또는 디바이스이거나 그것들을 포함할 수 있다. 예를 들어, I/O 컴포넌트들(116)은 그래픽 사용자 인터페이스(GUI), 키보드, 마우스, 마이크로폰, 스피커들, 압착가능한 베젤, 하나 이상의 버튼(예컨대, 전력 버튼), 슬라이더, 스위치 등을 포함할 수 있다(그러나 이에 제한되지 않음).In some embodiments, display 114 may include one or more suitable displays to allow user interaction and/or present items to the user, such as a preview of image frames captured by image sensors 101 and 102. Or it may include screens. In some aspects, display 114 is a touch-sensitive display. I/O components 116 may be or include any suitable mechanism, interface, or device for receiving input (such as commands) from a user and providing output to the user via display 114. . For example, I/O components 116 may include a graphical user interface (GUI), keyboard, mouse, microphone, speakers, a compressible bezel, one or more buttons (e.g., a power button), sliders, switches, etc. may (but is not limited to).

프로세서(104)를 통해 서로 커플링되는 것으로 도시되지만, 컴포넌트들(예컨대, 프로세서(104), 메모리(106), 이미지 신호 프로세서(112), 디스플레이(114), 및 I/O 컴포넌트들(116))은, 단순화를 위해 도시되지 않은 하나 이상의 로컬 버스들을 통하는 것과 같이, 다른 다양한 배열들로 서로 커플링될 수 있다. 이미지 신호 프로세서(112)가 프로세서(104)와 별개인 것으로 도시되어 있지만, 이미지 신호 프로세서(112)는 APU(application processor unit)이거나, SoC(system on chip)에 포함되거나, 또는 그렇지 않으면 프로세서(104)와 함께 포함되는 프로세서(104)의 코어일 수 있다. 본 개시내용의 양태들을 수행하기 위해 본 명세서의 예들에서 디바이스(100)가 참조되지만, 본 개시내용의 양태들을 모호하게 하는 것을 방지하기 위해 일부 디바이스 컴포넌트들이 도 1에 도시되지 않을 수 있다. 추가적으로, 다른 컴포넌트들, 컴포넌트들의 수들, 또는 컴포넌트들의 조합들은 본 개시내용의 양태들을 수행하기 위한 적절한 디바이스에 포함될 수 있다. 이와 같이, 본 개시내용은 디바이스(100)를 포함하는 특정 디바이스 또는 컴포넌트들의 구성에 제한되지 않는다.Although shown as coupled to each other via processor 104, components (e.g., processor 104, memory 106, image signal processor 112, display 114, and I/O components 116) ) may be coupled together in a variety of other arrangements, such as via one or more local buses not shown for simplicity. Although image signal processor 112 is shown as separate from processor 104, image signal processor 112 may be an application processor unit (APU), included in a system on chip (SoC), or otherwise included in processor 104. ) may be the core of the processor 104 included together. Although a device 100 is referenced in examples herein for performing aspects of the disclosure, some device components may not be shown in FIG. 1 to avoid obscuring aspects of the disclosure. Additionally, other components, numbers of components, or combinations of components may be included in a suitable device for performing aspects of the disclosure. As such, the present disclosure is not limited to the configuration of specific devices or components including device 100.

디바이스(100)와 같은 이미지 캡처 디바이스에 의해 캡처된 이미지들의 품질은 이미지 캡처 디바이스의 하나 이상의 이미지 센서들 상에 큰 조리개 렌즈들을 사용함으로써 개선될 수 있다. 더 큰 조리개 렌즈들은 더 양호한 저조도 성능(실내 및 야간 사진에 유리할 수 있음) 및 더 양호한 보케 블러(Bokeh blur)(인물 사진에 유리할 수 있음)를 비롯한 많은 이점을 갖는다. 이점들은, 카메라 렌즈 및 다른 장비를 위한 이용가능한 공간에서 폼 팩터가 제한된 모바일 디바이스들에서 특히 유리할 수 있다. 그러나, 큰 조리개 렌즈들은 또한 짧은 포커스 심도(DOF)를 가지며, 이는 캡처된 이미지의 제한된 부분들이 인-포커스이고 이미지의 나머지 부분은 다양한 정도의 흐릿함을 갖는다. 장면이 다양한 거리들에서 많은 객체들을 포함할 때, 큰 조리개 렌즈를 갖는 이미지 캡처 디바이스는 이 객체들 중 일부가 아웃-포커스인 이미지를 캡처할 것이다. 이는 특히 아웃-포커스 객체들이 다른 사람들을 포함할 때 바람직하지 않을 수 있다. 여기서 언급된 단점들은 단지 대표적이며, 본 발명자들이 기존 디바이스들에 관하여 식별하였고 개선하고자 했던 문제들을 강조하기 위해 포함된다. 아래에서 설명되는 디바이스들의 양태들은 단점들의 일부 또는 전부뿐만 아니라 당업계에 알려진 다른 것들을 다룰 수 있다. 아래에서 설명되는 개선된 디바이스들의 양태들은 전술한 것들 이외의 다른 이점들을 제시할 수 있고, 다른 애플리케이션들에서 사용될 수 있다.The quality of images captured by an image capture device, such as device 100, can be improved by using large aperture lenses on one or more image sensors of the image capture device. Larger aperture lenses have many advantages, including better low-light performance (which can be advantageous for indoor and night photography) and better bokeh blur (which can be advantageous for portrait photography). The advantages can be particularly advantageous in mobile devices where form factors are limited in available space for camera lenses and other equipment. However, large aperture lenses also have a short depth of focus (DOF), meaning that limited portions of the captured image are in-focus and the remainder of the image has varying degrees of blur. When a scene contains many objects at various distances, an image capture device with a large aperture lens will capture an image in which some of these objects are out-of-focus. This can be undesirable, especially when out-of-focus objects include other people. The shortcomings mentioned herein are representative only and are included to highlight problems that the inventors have identified with existing devices and sought to improve. Aspects of the devices described below may address some or all of the drawbacks as well as others known in the art. Aspects of the improved devices described below may present other benefits than those described above and may be used in other applications.

도 2에 도시된 바와 같은 이미지 프레임이 디바이스(100)에 의해 캡처될 수 있다. 도 2는 2개의 면들이 디바이스(100)로부터 상이한 포커스 거리들에 있는 장면을 도시하는 예시이다. 이미지 프레임(200)은 제1 객체(202) 및 제2 객체(204)를 포함한다. 오토포커스(AF)(133)는 전경의 제1 객체(202) 상에 카메라를 포커싱하였을 수 있는 한편, 제2 객체(204)는 렌즈(131)의 제한된 포커스 심도로 인해 배경에서 아웃-포커싱된다. 이미지 캡처의 포커스 심도는, 제1 객체(202) 및 제2 객체(204) 둘 모두가 단일 이미지 프레임에서 인-포커스일 수 없을 정도로 충분히 얕을 수 있다. 본 명세서의 실시 형태들에서 설명된 바와 같이, 다중 프레임 피사계 심도(MF-DOF) 프로세싱은 둘 이상의 관심 영역(ROI)들이 이미지 프레임에 존재하는 것으로 결정되는 경우에 실행될 수 있다. ROI의 관심 검출은 이미지 프레임(200)에서 객체들(202 및 204)을 검출하는 것을 포함할 수 있다. MF-DOF 프로세싱의 상이한 양태들을 보여주는 MF-DOF 프로세싱의 예시적인 실시 형태들이 도 3 내지 도 7을 참조하여 설명된다.An image frame as shown in FIG. 2 may be captured by device 100. 2 is an example showing a scene where two sides are at different focus distances from device 100. Image frame 200 includes a first object 202 and a second object 204. Autofocus (AF) 133 may have focused the camera on a first object 202 in the foreground, while a second object 204 is out-of-focus in the background due to the limited depth of focus of lens 131 . The depth of focus of the image capture may be sufficiently shallow that neither the first object 202 nor the second object 204 may be in-focus in a single image frame. As described in embodiments herein, multi-frame depth-of-field (MF-DOF) processing may be performed when two or more regions of interest (ROIs) are determined to be present in an image frame. Detection of interest in the ROI may include detecting objects 202 and 204 in image frame 200. Exemplary embodiments of MF-DOF processing showing different aspects of MF-DOF processing are described with reference to FIGS. 3-7.

도 3은 하나 이상의 양태들에 따른, 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 블록도이다. 블록(302)에서, 제1 이미지 프레임이 캡처되며, 이는 전경(예컨대, 근거리)에서 인-포커스의 객체를 가질 수 있고, 배경(예컨대, 원거리)에서 아웃-포커스의 객체를 가질 수 있다. 추가적인 이미지 캡처 및/또는 이미지 프로세싱, 예컨대, 다중 프레임 피사계 심도(MF-DOF) 프로세싱은 블록(302)에서 캡처된 이미지 프레임 내의 적어도 2개의 관심 영역(ROI)들의 결정에 의해 트리거될 수 있다. 식별은, 예를 들어, 머신 러닝(machine learning) 알고리즘들, 컴퓨터 비전(computer vision, CV) 기반 세그먼트화, 딥 러닝, 디지털 신호 프로세싱 알고리즘들, 심도 추정, 또는 다른 알고리즘들을 사용한, 객체 또는 면 검출을 통해 수행될 수 있다. 식별은 식별된 관심 영역들 내에서 로컬 콘트라스트를 측정함으로써 관심 영역들 중 적어도 하나가 흐리거나 아웃-포커스인 것을 결정하기 위한 분석을 포함할 수 있다. 일부 실시 형태들에서, MF-DOF는, 동일한 이미지 프레임 상에서 심도에 따라 2개의 면들의 첨예도(acutance)를 증가시키는 것이 바람직할 때의 상황을 결정하기 위해 객체/면 검출에 의해 2개의 ROI들이 검출될 때 트리거된다. 일부 실시 형태들에서, MF-DOF는 적어도 하나의 흐린 ROI를 갖는 2개의 ROI들이 검출될 때 트리거된다. 일부 실시 형태들에서, MF-DOF는 3개의 (또는 더 대체적으로, N개의) 객체들이 객체/면 검출에 의해 검출될 때 트리거될 수 있다. MF-DOF 프로세싱을 트리거하기 위한 객체들의 유형들 및 객체들의 수는 이미지 캡처 디바이스 및/또는 사용자 선호도들의 구성에 기초하여 커스터마이즈될 수 있다. 예를 들어, 사용자는, 충족될 때 MF-DOF 프로세싱을 트리거할 수 있는 소정 조건들을 특정하는 규칙들을 특정할 수 있다. 하나의 예시적인 규칙은 실외 장면에서 2개의 면들의 검출일 수 있다. 다른 예시적인 규칙은 설정된 거리 임계치 초과의 거리만큼 분리된 2개의 면들의 검출일 수 있다.3 is a block diagram illustrating a method for processing an image with two or more ROIs, in accordance with one or more aspects. At block 302, a first image frame is captured, which may have an object in-focus in the foreground (e.g., near) and an object out of focus in the background (e.g., far). Additional image capture and/or image processing, such as multi-frame depth-of-field (MF-DOF) processing, may be triggered by determination of at least two regions of interest (ROIs) within the captured image frame at block 302. Identification may include object or face detection, for example, using machine learning algorithms, computer vision (CV)-based segmentation, deep learning, digital signal processing algorithms, depth estimation, or other algorithms. It can be performed through . Identification may include analysis to determine that at least one of the regions of interest is blurry or out-of-focus by measuring local contrast within the identified regions of interest. In some embodiments, MF-DOF combines two ROIs with object/face detection to determine situations when it is desirable to increase the acuity of the two faces with depth on the same image frame. Triggered when detected. In some embodiments, MF-DOF is triggered when two ROIs with at least one blurred ROI are detected. In some embodiments, MF-DOF may be triggered when three (or more alternatively, N) objects are detected by object/face detection. The types of objects and number of objects for triggering MF-DOF processing may be customized based on the configuration of the image capture device and/or user preferences. For example, a user can specify rules that specify certain conditions that, when met, can trigger MF-DOF processing. One example rule might be the detection of two faces in an outdoor scene. Another example rule could be detection of two faces separated by a distance above a set distance threshold.

MF-DOF 프로세싱이 트리거될 때, 이미지 캡처 디바이스를 사용한 사진촬영에 의해 캡처된 장면의 표현을 개선하기 위해 다수의 이미지 프레임들이 프로세싱될 수 있다. 따라서, 트리거 조건이 충족된 것을 결정한 후, 블록(306)에서 새로운 제1 이미지 프레임이 획득될 수 있고, 블록(308)에서 제2 이미지 프레임이 획득될 수 있다. 일부 실시 형태들에서, 블록(306)의 제1 이미지 프레임은 배경 객체에서 디테일을 증가시키면서 전경 객체에 대해 상당한 블러를 야기하지 않는 포커스 포지션에서 전경 객체와 배경 객체 사이의 위치(320)에 포커스 포인트가 설정된 상태로 획득된다. 위치(320)는 전경 객체와 배경 객체 사이의 중간에 또는 전경 객체와 배경 객체 사이의 다른 곳에, 예컨대, 전경 및 배경 객체들로부터 20%에 있을 수 있지만, 위치(320)는 전경 객체에서의 블러를 배경 객체에서의 디테일과 트레이드 오프하도록 조정가능할 수 있다. 일부 실시 형태들에서, 중간 포인트는 객체들(202 및 204) 사이의 심도의 중간에 있을 수 있고/있거나 객체들(202 및 204) 사이의 측방향 치수들의 중간에 있을 수 있다. 일부 실시 형태들에서, 블록(306)에서의 제1 이미지 프레임은 전경 ROI에 포커싱된 동안 획득되고, 제2 이미지 프레임은 블록(308)에서 배경 ROI에 포커싱된 상태에서 획득된다. 일부 실시 형태들에서, 블록(306) 또는 블록(308)에서의 새로운 이미지 프레임의 캡처는 스킵되고 블록(302)의 이미지 프레임은 블록(306) 또는 블록(308)의 제1 또는 제2 이미지 프레임으로서 재사용된다.When MF-DOF processing is triggered, multiple image frames may be processed to improve the representation of a scene captured by photography using an image capture device. Accordingly, after determining that the trigger condition has been met, a new first image frame may be acquired at block 306 and a second image frame may be acquired at block 308. In some embodiments, the first image frame of block 306 has the focus point at a location 320 between the foreground and background objects at a focus position that increases detail in the background objects while not causing significant blur to the foreground objects. Acquired in a set state. Position 320 may be midway between the foreground and background objects or somewhere else between the foreground and background objects, such as 20% from the foreground and background objects, but position 320 may be located halfway between the foreground and background objects. may be adjustable to trade off with detail in background objects. In some embodiments, the midpoint may be midway in the depth of field between objects 202 and 204 and/or midway in the lateral dimensions between objects 202 and 204 . In some embodiments, the first image frame at block 306 is acquired while focused on the foreground ROI and the second image frame at block 308 is acquired while focused on the background ROI. In some embodiments, the capture of a new image frame at block 306 or block 308 is skipped and the image frame at block 302 is not included in the first or second image frame at block 306 or block 308. It is reused as.

블록들(306, 308)로부터의 제1 및 제2 이미지 프레임들은, 제1 및 제2 이미지 프레임들 내의 대응하는 ROI들 사이의 특징부 기반 정렬을, 블록(312)에서, 수행할 수 있는 블록(310)의 MF-DOF 프로세싱 알고리즘에 제공된다. 예를 들어, 배경 면의 면 특징부들이 결정될 수 있고, 제1 이미지 프레임 내의 배경 면 특징부들을 제2 이미지 프레임 내의 대응하는 특징부들과 매칭하는 정렬 인자가 결정될 수 있다. 정렬 인자는 제1 이미지 프레임과 제2 이미지 프레임 사이의 거리 차이에 대응하는 단일 벡터로서 표현될 수 있다. 일부 실시 형태들에서, 정렬 인자는 블록(308)의 이미지 프레임 내의 위치의 함수로서 결정될 수 있어서, 정렬 인자가 위치 의존적이고 정렬 차이가 한 세트의 모션 벡터들로서 표현되게 할 수 있다. 일부 실시 형태들에서, 정렬 인자는 한 세트의 모션 벡터들의 평균으로서 결정될 수 있다.The first and second image frames from blocks 306 and 308 are capable of performing, at block 312, feature-based alignment between corresponding ROIs within the first and second image frames. It is provided in the MF-DOF processing algorithm of (310). For example, the surface features of a background surface can be determined and an alignment factor that matches the background surface features in a first image frame with corresponding features in a second image frame can be determined. The alignment factor can be expressed as a single vector corresponding to the distance difference between the first and second image frames. In some embodiments, the alignment factor may be determined as a function of the position within the image frame of block 308, allowing the alignment factor to be position dependent and the alignment difference to be expressed as a set of motion vectors. In some embodiments, the alignment factor may be determined as an average of a set of motion vectors.

개선된 특성들이 제1 및/또는 제2 이미지 프레임들 중 단독의 어느 하나에 걸쳐 있는 출력 이미지 프레임이 제1 또는 제2 이미지 프레임들 중 하나에 기초하여 생성될 수 있고, 정렬 인자는 결정하는 데 사용될 수 있다. 예를 들어, 정렬 인자 및/또는 다른 파라미터들을 사용하여 이미지 프레임들 중 하나에 대해 수행되는 MF-DOF 프로세싱은 관심 영역들 중 일부에서 블러를 감소시키고/시키거나 디테일을 증가시킴으로써 제1 또는 제2 이미지 프레임 중 단독의 어느 하나보다 많은 "인-포커스" 영역들을 갖는 이미지 프레임을 생성할 수 있다. 일부 실시 형태들에서, MF-DOF 프로세싱은 얕은 피사계 심도를 연장하기 위해 인공 지능 또는 머신 러닝 알고리즘들을 소정 관심 영역들에 적용하는 것을 포함할 수 있다.An output image frame in which the improved characteristics span solely one of the first and/or second image frames may be generated based on either the first or second image frames, and an alignment factor may be used to determine can be used For example, MF-DOF processing performed on one of the image frames using an alignment factor and/or other parameters may reduce blur and/or increase detail in some of the regions of interest, thereby reducing the first or second image frames. An image frame can be created that has more “in-focus” areas than any one of the image frames alone. In some embodiments, MF-DOF processing may include applying artificial intelligence or machine learning algorithms to certain areas of interest to extend shallow depth of field.

일 실시 형태에서, MF-DOF 프로세싱은 출력 이미지 프레임(330)을 결정하기 위한 블록들(314, 316)에서의 프로세싱을 포함할 수 있다. 블록(314)에서, ROI들의 정렬된 특징부들에 기초하여 로컬 그레이디언트 비교가 수행된다. 일부 실시 형태들에서, 로컬은, 로컬 그레이디언트 차이가 제1 및 제2 이미지 프레임들 내의 대응하는 관심 영역들 내의 그레이디언트 차이인 관심 영역을 지칭한다. 블록(316)에서는, 블록(314)에서 결정된 세기 값과 같은 로컬 그레이디언트 정보에 기초하여 배경 면에 대해 로컬 향상 동작이 수행된다. 향상 동작은, 예컨대, 인-포커스가 아니였던 이미지 프레임의 ROI에서 선명도 또는 선예도를 개선함으로써 이미지 품질을 개선할 수 있다. 예를 들어, 제1 이미지 프레임이 인-포커스인 전경 면 및 아웃-포커스인 배경 면을 갖는 경우, 향상 동작은 로컬 그레이디언트 정보를 사용하여 배경 면의 선명도 또는 선예도를 개선할 수 있다. 일부 실시 형태들에서, 로컬 향상은 배경 면 또는 배경 ROI의 디테일을 향상시키기 위한 밝기 보존 콘트라스트 향상일 수 있다. 블록(316)에서 로컬 향상 후, 출력 이미지 프레임(330)은 인-포커스인 객체들(202 및 204) 둘 모두를 갖는 것으로 보일 수 있다.In one embodiment, MF-DOF processing may include processing in blocks 314 and 316 to determine the output image frame 330. At block 314, a local gradient comparison is performed based on the aligned features of the ROIs. In some embodiments, local refers to a region of interest where the local gradient difference is the gradient difference within corresponding regions of interest within the first and second image frames. At block 316, a local enhancement operation is performed on the background plane based on local gradient information, such as the intensity value determined at block 314. An enhancement operation may improve image quality, for example, by improving the sharpness or sharpness in the ROI of an image frame that was not in-focus. For example, if a first image frame has a foreground surface that is in-focus and a background surface that is out-of-focus, an enhancement operation may use local gradient information to improve the sharpness or sharpness of the background surface. In some embodiments, the local enhancement may be a brightness preserving contrast enhancement to enhance detail in a background plane or background ROI. After local enhancement at block 316, output image frame 330 may appear to have both objects 202 and 204 in-focus.

일부 실시 형태들에서, 블록(314)의 그레이디언트 정보는, 예컨대, 0 내지 1의 스케일로 정규화하기 위해, 비교 전에 정규화될 수 있다. 블록(314)의 비교는 블록(316)의 프로세싱에 대한 입력 파라미터로서 사용될 로컬 향상 인자를 결정할 수 있다. 인자는 양 면들 상의 그레이디언트들을 룩업 테이블과 비교함으로써 결정될 수 있다. 일부 실시 형태들에서, 로컬 향상은, 예를 들어, 관계들을 맵핑하기 위해 구성된 룩업 테이블에 의한 인간 주관적 평가 및 그레이디언트의 차이에 기초하여 제어될 수 있다. 일부 실시 형태들에서, 테이블은, 예컨대, 1 내지 4의 스케일로 - 1은 더 낮은 강도의 향상 동작을 나타내고 4는 더 높은 강도의 향상 동작(예컨대, 더 강한 콘트라스트 동작)을 나타냄 - 블록(316)에서 수행될 향상 동작에 대한 세기 값을 포함할 수 있다. 이미지의 일부분과 연관된 각각의 세기 값을 가짐으로써 이미지에 대해 다수의 그러한 세기 값들이 결정될 수 있다. 일부 실시 형태들에서, 각각의 ROI는 일정 세기 값을 가질 수 있다. 일부 실시 형태들에서, 일부 또는 모든 ROI들은 크기 NxN(예컨대, 2x2, 3x3, 4x4 등)의 서브블록들로 분할될 수 있으며, 이때 각각의 서브블록은 일정 세기 값을 갖는다.In some embodiments, the gradient information in block 314 may be normalized prior to comparison, such as to normalize to a scale of 0 to 1. The comparison in block 314 may determine a local enhancement factor to be used as an input parameter for processing in block 316. The factor can be determined by comparing the gradients on both sides to a lookup table. In some embodiments, local enhancement may be controlled based on differences in gradients and human subjective evaluation, for example, by a lookup table configured to map relationships. In some embodiments, the table is displayed, e.g., on a scale of 1 to 4, where 1 represents a lower intensity enhancement operation and 4 represents a higher intensity enhancement operation (e.g., a stronger contrast operation) - block 316 ) may include an intensity value for the enhancement operation to be performed. A number of such intensity values can be determined for an image by having each intensity value associated with a portion of the image. In some embodiments, each ROI can have a constant intensity value. In some embodiments, some or all ROIs may be divided into subblocks of size NxN (eg, 2x2, 3x3, 4x4, etc.), with each subblock having a certain intensity value.

일부 실시 형태들에서, 이미지의 영역들에 세기 값들을 할당하기 위해 임계치가 사용될 수 있다. 예를 들어, 대응하는 서브블록들을 갖는 제1 및 제2 이미지 프레임들에 대한 그레이디언트의 차이가 비교된다. 차이가 임계치보다 작은 경우에 콘트라스트 동작은 파라미터 1로 수행될 수 있고, 차이가 제1 임계치보다 크고 제2 임계치보다 작은 경우에 콘트라스트 동작은 파라미터 2로 수행될 수 있고, 차이가 제2 임계치보다 크고 제3 임계치보다 작은 경우에 콘트라스트 동작은 파라미터 3으로 수행될 수 있다. 차이가 제3 임계치보다 큰 경우에 콘트라스트 동작은 파라미터 4로 수행될 수 있다.In some embodiments, a threshold may be used to assign intensity values to regions of the image. For example, the difference in gradients for first and second image frames with corresponding subblocks is compared. If the difference is less than the threshold, the contrast operation can be performed with parameter 1, if the difference is greater than the first threshold and less than the second threshold, the contrast operation can be performed with parameter 2, and the difference is greater than the second threshold. If it is less than the third threshold, the contrast operation can be performed with parameter 3. If the difference is greater than the third threshold, the contrast operation can be performed with parameter 4.

도 3에 설명된 이미지 프로세싱 기법은 제1 이미지 프레임과 제2 이미지 프레임의 데이터를 조합하지 않고서 제2 이미지 프레임의 특성들에 기초하여 제1 이미지 프레임의 외관을 개선한다. 이러한 프로세싱은 다수의 이미지 프레임들로부터의 데이터의 병합으로부터 생성되는 제1 이미지 프레임에 아티팩트들을 추가할 가능성을 제거한다. 예를 들어, 이미지 프레임들 사이의 객체들의 불연속성들 및 시프트들은 제1 이미지 프레임이 제2 이미지 프레임과 병합될 때 고스팅 라인들 또는 파단 라인들을 야기할 수 있다. 추가적으로, 융합 동작 동안 도입될 수 있는, 루미넌스 변화들 및 상이한 노이즈 레벨들과 같은, 아티팩트들이 회피될 수 있다. 제1 이미지 프레임에 대한 동작은 제1 이미지 프레임과 제2 이미지 프레임 사이의 대응하는 관심 영역들을 비교하는 분석을 포함한, 제2 이미지 프레임의 분석에 기초하여 수행될 수 있다. 제2 이미지 프레임으로부터의 데이터와 병합하지 않고서 제1 이미지 프레임을 보정하기 위한 이미지 프로세싱 기법들의 양태들이 도 4 및 도 5를 참조하여 설명된다.The image processing technique described in FIG. 3 improves the appearance of a first image frame based on characteristics of the second image frame without combining data from the first and second image frames. This processing eliminates the possibility of adding artifacts to the first image frame resulting from merging of data from multiple image frames. For example, discontinuities and shifts in objects between image frames can cause ghosting lines or broken lines when a first image frame is merged with a second image frame. Additionally, artifacts, such as luminance changes and different noise levels, that may be introduced during the fusion operation can be avoided. An operation on a first image frame may be performed based on an analysis of the second image frame, including analysis comparing corresponding regions of interest between the first and second image frames. Aspects of image processing techniques for correcting a first image frame without merging with data from a second image frame are described with reference to FIGS. 4 and 5 .

도 4는 하나 이상의 양태들에 따른, 이미지 프레임에서 포커스 심도를 증가시키기 위한 다수의 이미지 프레임들의 프로세싱을 예시하는 블록도이다. 이미지 신호 프로세서(112)는 제1 이미지 프레임(410) 및 제2 이미지 프레임(412)을 수신할 수 있다. 2개의 이미지 프레임들(410, 412)은 전경 객체(202) 및 배경 객체(204)를 가질 수 있다. ISP(112)는 객체들(202 및 204) 상의 면들에 대응하는 관심 영역들(402 및 404)을 인식할 수 있다. 제1 및 제2 이미지 프레임들(410, 412)은 ROI 분석 모듈(424)에 입력될 수 있고, 이는 제1 및 제2 이미지 프레임들(410, 412)에 기초하여 (예컨대, 로컬 그레이디언트 비교를 사용함으로써) 하나 이상의 파라미터들을 결정한다. 하나 이상의 파라미터들은, 제1 이미지 프레임(410)을 수신하고 하나 이상의 파라미터들에 기초하여 제1 이미지 프레임(410)에 대해 동작들을 수행하는 이미지 보정 모듈(422)에 입력될 수 있다. 따라서, 이미지 보정 모듈(422)은 보정된 제1 이미지 프레임들(430)을 결정하기 위해 제1 이미지 프레임(410)으로부터의 데이터에 대해서만 동작하며, 이는 보정된 제1 이미지 프레임들(430)에서 아티팩트들을 감소시킬 수 있다. 개별 이미지 프레임들이 ISP(112)에 입력된 것으로 도시되어 있지만, ISP(112)는 비디오 시퀀스에 대응하는 일련의 이미지 프레임들을 프로세싱할 수 있고 보정된 일련의 이미지 프레임들을 보정된 비디오 시퀀스로서 출력할 수 있으며, 여기서 각각의 이미지 프레임은 이미지 프레임들 내의 소정 관심 영역(ROI)들의 특성들을 개선하기 위해 유사한 방식으로 프로세싱된다.4 is a block diagram illustrating processing of multiple image frames to increase depth of focus in an image frame, in accordance with one or more aspects. The image signal processor 112 may receive a first image frame 410 and a second image frame 412. Two image frames 410, 412 may have a foreground object 202 and a background object 204. ISP 112 may recognize regions of interest 402 and 404 that correspond to faces on objects 202 and 204 . The first and second image frames 410, 412 may be input to the ROI analysis module 424, which analyzes (e.g., local gradient) based on the first and second image frames 410, 412. (by using comparison) to determine one or more parameters. One or more parameters may be input to an image correction module 422 that receives the first image frame 410 and performs operations on the first image frame 410 based on the one or more parameters. Accordingly, the image correction module 422 operates only on data from the first image frame 410 to determine the corrected first image frames 430 . Artifacts can be reduced. Although individual image frames are shown as input to ISP 112, ISP 112 may process a series of image frames corresponding to a video sequence and output the series of calibrated image frames as a calibrated video sequence. and where each image frame is processed in a similar manner to improve the characteristics of certain regions of interest (ROIs) within the image frames.

이미지 신호 프로세서(112)에 의한 이미지 신호 프로세싱을 위한 하나의 예시적인 방법이 도 5를 참조하여 설명된다. 도 5는 하나 이상의 양태들에 따른, 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 흐름도이다. 방법(500)은 프로세서(104)와 같은 다른 프로세서, 또는 이미지 캡처 디바이스 내의 다른 로직 회로부, 또는 이미지 캡처 디바이스 내의 회로부의 조합에 의해 실행될 수 있다. 방법(500)은, 블록(502)에서, 제1 및 제2 포커스 거리들에서 각각 제1 및 제2 이미지 프레임들을 수신하는 단계를 포함한다. 예를 들어, ISP(112)는 제1 및 제2 이미지 프레임들을 캡처하기 위해 오토포커스(AF) 모듈(133)을 통해 카메라를 제어할 수 있다. 블록(504)에서, ISP(112)는 제1 및 제2 이미지 프레임들에서 관심 영역들을 인식할 수 있고, 제1 이미지 프레임과 제2 이미지 프레임 사이의 관심 영역들을 매칭할 수 있다. 블록(506)에서, ISP(112)는 제1 이미지 프레임 및 제1 및 제2 이미지 프레임들 내의 대응하는 관심 영역들의 분석에 기초하여 보정된 제1 이미지 프레임을 결정할 수 있다.One example method for image signal processing by image signal processor 112 is described with reference to FIG. 5 . 5 is a flow diagram illustrating a method for processing an image with two or more ROIs, in accordance with one or more aspects. Method 500 may be implemented by another processor, such as processor 104, or other logic circuitry within an image capture device, or a combination of circuitry within an image capture device. Method 500 includes, at block 502, receiving first and second image frames at first and second focus distances, respectively. For example, ISP 112 may control the camera via autofocus (AF) module 133 to capture first and second image frames. At block 504, ISP 112 may recognize regions of interest in the first and second image frames and may match the regions of interest between the first and second image frames. At block 506, ISP 112 may determine a corrected first image frame based on analysis of the first image frame and corresponding regions of interest within the first and second image frames.

일부 실시 형태들에서, 이미지 보정 모듈(422)에서 수행되는 블록(506)의 결정은 대응하는 관심 영역들 사이의 로컬 그레이디언트 차이를 결정하기 위해 ROI 분석 모듈(424)에 의해 수행되는 분석에 기초하여 수행되는 콘트라스트 동작을 포함할 수 있다. 그러한 실시 형태를 위한 예시적인 방법이 도 6을 참조하여 설명된다.In some embodiments, the determination of block 506 performed in image correction module 422 may be dependent on the analysis performed by ROI analysis module 424 to determine local gradient differences between corresponding regions of interest. It may include a contrast operation performed based on the contrast operation. An exemplary method for such an embodiment is described with reference to FIG. 6 .

도 6은 하나 이상의 양태들에 따른, 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 흐름도이다. 방법(600)은 제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 단계를 갖는 블록(602)에서 시작한다. 블록(604)에서, 예컨대 제1 이미지 프레임 내에 존재하는 2개의 관심 영역(ROI)들(예컨대, 면들)이 존재하는지 여부를 결정함으로써, 제1 이미지 프레임 내에 2개의 ROI들이 존재하는지 여부가 결정된다. 블록(604)에서 둘 이상의 ROI들이 없는 경우, 방법(600)은 블록(614)으로 계속되어 제1 이미지 프레임에 기초하여 보정된 제1 이미지 프레임을 출력한다. 블러링된 배경을 갖는 원래의 캡처된 제1 이미지는 이미지 신호 프로세서에 의해 프로세싱되어(예컨대, 크롭되어, 톤 맵핑되어 등), 출력되고 프리뷰 상에 보여지거나 사진으로서 저장되는 보정된 제1 이미지 프레임을 결정한다. 일부 실시 형태들에서, 원래의 제1 이미지 프레임은 블록(614)에서 어떠한 수정도 없이 출력된다.6 is a flow diagram illustrating a method for processing an image with two or more ROIs, in accordance with one or more aspects. Method 600 begins at block 602 with receiving a first image frame representing a scene captured at a first focus distance. At block 604, whether there are two regions of interest (ROIs) (e.g., faces) present within the first image frame is determined, such as by determining whether there are two regions of interest (ROIs) (e.g., faces) present within the first image frame. . If there are no more than two ROIs at block 604, the method 600 continues at block 614, which outputs a corrected first image frame based on the first image frame. The original captured first image with the blurred background is processed (e.g. cropped, tone mapped, etc.) by an image signal processor and output into a corrected first image frame that is displayed on a preview or saved as a photo. decide. In some embodiments, the original first image frame is output without any modification at block 614.

블록(604)에서 둘 이상의 ROI들이 식별되는 경우, 방법(600)은 블록(606)으로 계속되어 제1 이미지 프레임과 동일한 장면을 나타내지만 제1 이미지 프레임의 제1 포커스 거리와 상이한 제2 포커스 거리에서 캡처된 제2 이미지 프레임을 수신한다. 제2 이미지 프레임은, 예를 들어, 제1 이미지 프레임을 캡처할 때 획득된 ROI에 대응하는 심도 값으로 AF 알고리즘을 시딩(seeding)함으로써 그리고/또는 포커싱할 위치로 오토 포커스(AF) 알고리즘을 시딩함으로써 캡처될 수 있다. 일부 실시 형태들에서, 블록(606)은 블록(602)에서 수신된 제1 이미지 프레임 대신 사용하도록 제3 이미지 프레임을 수신하는 것을 포함할 수 있다.If two or more ROIs are identified at block 604, the method 600 continues at block 606 with a second focus distance representing the same scene as the first image frame but at a different focus distance than the first focus distance of the first image frame. Receive the captured second image frame. The second image frame may be configured, for example, by seeding the AF algorithm with a depth value corresponding to the ROI obtained when capturing the first image frame and/or by seeding the autofocus (AF) algorithm with a position to focus on. It can be captured by doing. In some embodiments, block 606 may include receiving a third image frame for use in place of the first image frame received at block 602.

블록(608)에서, 제1 이미지 프레임의 특징부들을 제2 이미지 프레임에 매칭시키기 위해 정렬 보정이 결정된다. 블록(610)에서, 결정된 정렬 보정에 기초하여 제1 및 제2 이미지 프레임의 대응하는 부분들에 대해 로컬 그레이디언트 차이가 결정된다. 블록(612)에서, 보정된 제1 이미지 프레임을 생성하기 위해 블록(610)의 로컬 그레이디언트 차이에 기초하여 제1 이미지 프레임에 대해 향상 동작이 수행된다.At block 608, an alignment correction is determined to match features of the first image frame to the second image frame. At block 610, local gradient differences are determined for corresponding portions of the first and second image frames based on the determined alignment correction. At block 612, an enhancement operation is performed on the first image frame based on the local gradient difference of block 610 to produce a corrected first image frame.

일부 실시 형태들에서, 블록(612)의 향상 동작은 머신 러닝(ML) 알고리즘과 같은 인공 지능(AI) 알고리즘에 기초할 수 있다. 도 7은 하나 이상의 양태들에 따른, AI 기반 디블러링으로 둘 이상의 ROI들을 갖는 이미지를 프로세싱하기 위한 방법을 예시하는 블록도이다. 다중 프레임 피사계 심도(MF-DOF) 동작(710)이 도 3의 블록(312)과 유사하게 블록(712)에서 면 특징부 기반 정렬을 사용하여 AI 기반 이미지 프로세싱(714)을 수행할 수 있다. 블록(712)에서 결정된 정렬 보정은 제1 이미지 프레임(410)에, 예컨대, 제1 이미지 프레임 내의 관심 영역에, 향상 동작을 적용하기 위해 AI 기반 디블러링 알고리즘(716)에 의해 사용되어 보정된 제1 이미지 프레임(720)을 생성할 수 있다. 보정된 제1 이미지 프레임(720)은 이미지 캡처 디바이스의 카메라 애플리케이션 내의 프리뷰 디스플레이에 일련의 보정된 제1 이미지 프레임들(430)의 일부로서 캡처되고/되거나 이미지 캡처 디바이스에 의한 저장 또는 송신을 위한 사진으로서 캡처된다.In some embodiments, the enhancement operation of block 612 may be based on an artificial intelligence (AI) algorithm, such as a machine learning (ML) algorithm. 7 is a block diagram illustrating a method for processing an image with two or more ROIs with AI-based deblurring, in accordance with one or more aspects. A multi-frame depth-of-field (MF-DOF) operation 710 may perform AI-based image processing 714 using face feature-based alignment in block 712, similar to block 312 in FIG. 3. The alignment correction determined at block 712 is used by the AI-based deblurring algorithm 716 to apply an enhancement operation to the first image frame 410, e.g., to a region of interest within the first image frame. A first image frame 720 may be created. The corrected first image frame 720 is captured as part of a series of corrected first image frames 430 on a preview display within the camera application of the image capture device and/or is captured as a photo for storage or transmission by the image capture device. It is captured as.

AI 기반 디블러링 알고리즘은 실측 정보(예컨대, 포커싱된 배경 인물/면/ROI) 및 블러링된 이미지(예컨대, 배경 부분/면/ROI가 블러링된 얕은 포커스 심도를 갖는 제1 이미지 프레임)에 기초하여 트레이닝될 수 있다. 일부 실시 형태들에서, AI 기반 디블러링은 CPU보다는 GPU, DSP, ASIC, 또는 다른 로직 회로부에서 실행될 수 있고, 이는 다른 태스크들을 위해 CPU 계산 리소스들을 해제한다. 일부 실시 형태들에서, AI 기반 디블러링은 도 3의 로컬 그레이디언트 비교 및 향상 방법들과 비교하여 더 적은 레이턴시 및 감소된 아티팩트들을 가질 수 있다. AI 기반 알고리즘의 파라미터들의 트레이닝은 손실 함수가 MSE인 Adam 최적화기에 기초할 수 있다:The AI-based deblurring algorithm combines ground truth information (e.g., a focused background person/face/ROI) and a blurred image (e.g., a first image frame with a shallow depth of focus in which the background part/face/ROI is blurred). Can be trained based on In some embodiments, AI-based deblurring may be performed on a GPU, DSP, ASIC, or other logic circuitry rather than the CPU, which frees CPU computational resources for other tasks. In some embodiments, AI-based deblurring may have less latency and reduced artifacts compared to the local gradient comparison and enhancement methods of FIG. 3. Training of the parameters of the AI-based algorithm can be based on the Adam optimizer with loss function MSE:

여기서 K는 에포크(Epoch)이고, N은 패치 번호이고, a는 실측 정보 PSF이고, a-는 패치 및 k-번째 에포크 내의 n-번째 이미지에서의 추정된 PSF이다. 트레이닝은 흐린 ROI 및 흐리지 않은 ROI의 쌍들에 인간에 의해 할당된 대상 점수를 사용하여 오프라인에서 수행될 수 있고, 트레이닝 모델은 이미지 캡처 디바이스 상에 정적 모델로서 구성될 수 있다.Here, K is the epoch, N is the patch number, a is the ground truth PSF, a- is the estimated PSF at the n-th image within the patch and the k-th epoch. Training can be performed offline using target scores assigned by humans to pairs of blurred and non-blurred ROIs, and the training model can be configured as a static model on the image capture device.

일부 실시 형태들에서, AI 기반 디블러링 알고리즘은 ResNet-34 알고리즘과 같은 ResNet 알고리즘에 의해 트레이닝된 모델을 사용하여, 이미지 프레임들로부터 대응하는 선명한 그리고 흐린 면 ROI들의 수집된 데이터세트를 사용할 수 있고 흐린 그리고 선명한 면 ROI들을 연결하는 열화 문제를 고려하도록 ResNet-34를 채택함으로써 모델을 트레이닝시킬 수 있다. ResNet-34가 머신 러닝 알고리즘의 일 예로서 제공되지만, 다른 알고리즘들이 대안으로 또는 ResNet-34와 조합하여 트레이닝 및 사용될 수 있다.In some embodiments, the AI-based deblurring algorithm may use a collected dataset of corresponding clear and blurry ROIs from image frames, using a model trained by a ResNet algorithm, such as the ResNet-34 algorithm. We can train the model by adopting ResNet-34 to consider the degradation problem of connecting blurry and sharp surface ROIs. Although ResNet-34 is provided as an example of a machine learning algorithm, other algorithms can be trained and used alternatively or in combination with ResNet-34.

본 명세서에 설명된 바와 같이, 머신 러닝 모델들은, 일부 실시 형태들에서 로지스틱 회귀 기법들, 선형 판별 분석, 선형 회귀 분석, 인공 뉴럴 네트워크들, 머신 러닝 분류기 알고리즘들, 또는 분류/회귀 트리들을 포함할 수 있다. 일부 양태들에서, 머신 러닝은 하나 이상의 인공 뉴럴 네트워크들을 포함할 수 있으며, 이는 파라미터들 사이의, 예컨대, 면 또는 다른 객체의 인-포커스인 그리고 블러링된 표현에 대응하는 2개의 이미지 프레임들 사이의 관계들을 모델링하기 위한 인공 뉴런들(예컨대, 뉴런 모델들)의 상호연결된 그룹을 포함할 수 있다. 일부 양태들에서, 머신 러닝은 피드-포워드 인공 뉴럴 네트워크의 유형인 하나 이상의 컨볼루션 뉴럴 네트워크를 포함할 수 있다. 컨볼루션 뉴럴 네트워크들은, 각각이 수용 필드(field)를 갖고 집합적으로 입력 공간을 타일링(tile)하는 뉴런들의 집합들을 포함할 수 있다. 일부 양태들에서, 머신 러닝은 딥 빌리프(deep belief) 네트워크들 및 딥 콘볼루션 네트워크들과 같은 하나 이상의 딥 러닝 아키텍처들을 포함할 수 있으며, 이들은 뉴런들의 제1 층의 출력이 뉴런들의 제2 층에 대한 입력이 되고 뉴런들의 제2 층의 출력이 뉴런들의 제3 층에 대한 입력이 되는 등인 층상 뉴럴 네트워크 아키텍처들이다. 딥 뉴럴 네트워크들은 특징부들의 계층을 인식하도록 트레이닝될 수 있다. 다양한 양태들에서, 머신 러닝 시스템들은 여러 변형들의 나이브 베이즈(Naive Bayes) 예측 모델링 분석, 러닝 벡터 양자화, 또는 머신 러닝 분류기를 트레이닝시키기 위해 가중치를 반복적으로 업데이트하기 위한 아다부스트(Adaboost) 또는 확률적 그레이디언트 부스팅 시스템들과 같은 부스팅 알고리즘들의 구현을 채용하여, 로컬 그레이디언트 레벨과 같은 영향력 있는 속성과 이미지 프레임 내의 객체 또는 면의 인-포커스 또는 블러링된 양태 사이의 관계 및/또는 그러한 영향력 있는 속성이 이미지 프레임을 보정하기 위한 최종 출력 픽셀 또는 그러한 시스템의 결과에 영향을 미치는 정도를 결정할 수 있다.As described herein, machine learning models may, in some embodiments, include logistic regression techniques, linear discriminant analysis, linear regression analysis, artificial neural networks, machine learning classifier algorithms, or classification/regression trees. You can. In some aspects, machine learning may include one or more artificial neural networks, which determine the relationship between parameters, e.g., between two image frames corresponding to in-focus and blurred representations of a face or other object. may include an interconnected group of artificial neurons (e.g., neuron models) for modeling relationships. In some aspects, machine learning may include one or more convolutional neural networks, which are a type of feed-forward artificial neural network. Convolutional neural networks may include sets of neurons, each with a receptive field, that collectively tile the input space. In some aspects, machine learning may include one or more deep learning architectures, such as deep belief networks and deep convolutional networks, where the output of a first layer of neurons is transmitted to a second layer of neurons. These are layered neural network architectures, where the output of the second layer of neurons becomes the input to the third layer of neurons, and so on. Deep neural networks can be trained to recognize hierarchies of features. In various aspects, machine learning systems may utilize variations of Naive Bayes predictive modeling analysis, learning vector quantization, or Adaboost or probabilistic methods to iteratively update weights to train a machine learning classifier. Employing an implementation of boosting algorithms, such as gradient boosting systems, to determine the relationship between influential attributes, such as local gradient level, and the in-focus or blurred aspect of an object or face within an image frame and/or such influences. properties can determine the extent to which they affect the final output pixels for correcting an image frame or the results of such a system.

배경 면과 같은 배경 ROI를 디블러링하기 위한 이미지 프레임의 프로세싱은 더 큰 렌즈 및 더 큰 조리개(배경의 블러를 증가시킴)를 이용하는 단점들을 극복할 수 있고, 저조도 조건에서 광 유입을 증가시키고, 다른 계산 기법들보다 더 자연스러운 보케 성능을 갖는다. 구체적으로, 듀얼 면 인-포커스 실시 형태들에서, 후방 면 상에서 첨예도가 개선될 수 있고/있거나, 전방 면은 또한 더 선명하게 될 수 있고/있거나, 후방 면(안면)의 헤어는 배경의 면의 자연적인 외관을 개선하도록 향상될 수 있다.Processing of image frames to deblur background ROIs, such as background planes, can overcome the disadvantages of using larger lenses and larger apertures (which increase blurring of the background), increase light influx in low-light conditions, and It has more natural bokeh performance than other computational techniques. Specifically, in dual-face in-focus embodiments, sharpness can be improved on the back side, the front side can also be made sharper, and/or hair on the back side (face) can be compared to the hair on the background side. It can be enhanced to improve its natural appearance.

일부 실시 형태들에서, 보정된 제1 이미지 프레임은 제1 이미지 프레임 내의 데이터를 제2 이미지 프레임 내의 데이터와 병합하지 않고서 결정된다. 이는 2개의 상이한 이미지 프레임들로부터 2개의 표현들을 병합하는 것으로부터 생성되는 보정된 제1 이미지 프레임에서 아티팩트들의 가능성을 제거한다.In some embodiments, the corrected first image frame is determined without merging data in the first image frame with data in the second image frame. This eliminates the possibility of artifacts in the corrected first image frame resulting from merging two representations from two different image frames.

도 3 내지 도 5를 참조하여 설명된 하나 이상의 블록들(또는 동작들)은 도면들 중 다른 하나를 참조하여 설명된 하나 이상의 블록들(또는 동작들)과 조합될 수 있다는 것에 유의한다.Note that one or more blocks (or operations) described with reference to FIGS. 3 to 5 may be combined with one or more blocks (or operations) described with reference to another of the drawings.

하나 이상의 양태들에 있어서, 이미지 신호 프로세싱을 지원하기 위한 기법들은 본 명세서의 다른 곳에서 설명된 하나 이상의 다른 프로세스들 또는 디바이스들과 관련하여 또는 하기에서 설명된 임의의 단일 양태 또는 양태들의 임의의 조합과 같은 추가적인 양태들을 포함할 수 있다. 제1 양태에서, 이미지 신호 프로세싱을 지원하는 것은 단계들을 수행하도록 구성된 장치를 포함할 수 있고, 단계들은 제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 단계; 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 장면을 나타내는 제2 이미지 프레임을 수신하는 단계; 제1 이미지 프레임의 제1 부분과 제2 이미지 프레임의 제2 부분 사이의 로컬 그레이디언트 차이를 결정하는 단계로서, 제1 및 제2 부분들은 장면 내의 관심 영역(ROI)에 대응하는, 로컬 그레이디언트 차이를 결정하는 단계; 및/또는 로컬 그레이디언트 차이에 기초하여 제1 이미지 프레임의 제1 부분에 대해 콘트라스트 향상 동작을 수행하여 보정된 제1 이미지 프레임을 결정하는 단계를 포함한다. 부가적으로, 장치는 하기에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행 또는 동작할 수 있다. 일부 구현예들에서, 장치는 UE와 같은 무선 디바이스를 포함한다. 일부 구현예들에서, 장치는 적어도 하나의 프로세서, 및 프로세서에 커플링된 메모리를 포함할 수 있다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수 있다. 일부 다른 구현예들에서, 장치는 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 프로그램 코드는 컴퓨터로 하여금 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수 있다. 일부 구현예들에서, 장치는 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들을 포함할 수 있다. 일부 구현예들에서, 무선 통신의 방법은 장치를 참조하여 본 명세서에서 설명된 하나 이상의 동작들을 포함할 수 있다.In one or more aspects, techniques for supporting image signal processing may be performed in conjunction with one or more other processes or devices described elsewhere herein or in any single aspect or combination of aspects described below. It may include additional aspects such as. In a first aspect, supporting image signal processing can include an apparatus configured to perform steps, the steps comprising: receiving a first image frame representing a captured scene at a first focus distance; Receiving a second image frame representing a scene captured at a second focus distance different from the first focus distance; determining a local gradient difference between a first portion of a first image frame and a second portion of a second image frame, wherein the first and second portions correspond to a region of interest (ROI) within the scene; determining a radiant difference; and/or performing a contrast enhancement operation on the first portion of the first image frame based on the local gradient difference to determine the corrected first image frame. Additionally, the apparatus may perform or operate according to one or more aspects as described below. In some implementations, the apparatus includes a wireless device, such as a UE. In some implementations, a device can include at least one processor, and memory coupled to the processor. A processor may be configured to perform the operations described herein on a device. In some other implementations, a device may include a non-transitory computer-readable medium having program code recorded thereon, the program code being used by a computer to cause the computer to perform the operations described herein with reference to the device. It may be feasible. In some implementations, a device may include one or more means configured to perform the operations described herein. In some implementations, a method of wireless communication may include one or more operations described herein with reference to a device.

하나 이상의 양태들에서, 이미지 캡처 및/또는 이미지 프로세싱을 지원하기 위한 기법들은, 본 명세서의 다른 곳에서 설명된 하나 이상의 다른 프로세스들 또는 디바이스들과 관련하여 또는 하기에서 설명된 임의의 단일 양태 또는 양태들의 임의의 조합과 같은 추가 양태들을 포함할 수 있다. 제1 양태에서, 이미지 캡처 및/또는 이미지 프로세싱을 지원하는 것은 단계들을 수행하도록 구성된 장치를 포함할 수 있고, 단계들은 제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 단계; 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 장면을 나타내는 제2 이미지 프레임을 수신하는 단계; 제1 이미지 프레임 내의 제1 관심 영역 및 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 단계; 제1 관심 영역과 제2 관심 영역의 비교에 기초하여 값을 결정하는 단계; 제1 이미지 프레임 및 값에 기초하여 보정된 제1 이미지 프레임을 결정하는 단계를 포함한다. 부가적으로, 장치는 하기에서 설명되는 바와 같은 하나 이상의 양태들에 따라 수행 또는 동작할 수 있다. 일부 구현예들에서, 장치는 UE와 같은 무선 디바이스를 포함한다. 일부 구현예들에서, 장치는 적어도 하나의 프로세서, 및 프로세서에 커플링된 메모리를 포함할 수 있다. 프로세서는 장치에 대해 본 명세서에서 설명된 동작들을 수행하도록 구성될 수 있다. 일부 다른 구현예들에서, 장치는 프로그램 코드가 기록된 비일시적 컴퓨터 판독가능 매체를 포함할 수 있고, 프로그램 코드는 컴퓨터로 하여금 장치를 참조하여 본 명세서에서 설명된 동작들을 수행하게 하기 위해 컴퓨터에 의해 실행가능할 수 있다. 일부 구현예들에서, 장치는 본 명세서에서 설명된 동작들을 수행하도록 구성된 하나 이상의 수단들을 포함할 수 있다. 일부 구현예들에서, 무선 통신의 방법은 장치를 참조하여 본 명세서에서 설명된 하나 이상의 동작들을 포함할 수 있다.In one or more aspects, techniques for supporting image capture and/or image processing include any single aspect or aspects described below or in conjunction with one or more other processes or devices described elsewhere herein. Additional aspects may be included, such as any combination of these. In a first aspect, supporting image capture and/or image processing can include an apparatus configured to perform steps, the steps comprising: receiving a first image frame representing a captured scene at a first focus distance; Receiving a second image frame representing a scene captured at a second focus distance different from the first focus distance; determining a corresponding set of regions of interest including a first region of interest in a first image frame and a second region of interest in a second image frame; determining a value based on a comparison of the first region of interest and the second region of interest; and determining a corrected first image frame based on the first image frame and the value. Additionally, the apparatus may perform or operate according to one or more aspects as described below. In some implementations, the apparatus includes a wireless device, such as a UE. In some implementations, a device can include at least one processor and memory coupled to the processor. A processor may be configured to perform the operations described herein on a device. In some other implementations, a device may include a non-transitory computer-readable medium having program code recorded thereon, the program code being used by a computer to cause the computer to perform the operations described herein with reference to the device. It may be feasible. In some implementations, a device may include one or more means configured to perform the operations described herein. In some implementations, a method of wireless communication may include one or more operations described herein with reference to a device.

제2 양태에서, 제1 양태와 조합하여, 장치는 동작들을 수행하도록 추가로 구성되고, 동작들은 제1 영역에서 그리고 제2 영역에서 제1 면을 결정하는 동작; 및 제3 관심 영역에서 제2 면을 결정하는 동작을 포함하며, 보정된 제1 이미지 프레임을 결정하는 동작은 제1 면 및 제2 면이 보정된 제1 이미지 프레임 내에서 인-포커스로 보이도록 제1 면의 디테일을 증가시키는 동작을 포함한다.In a second aspect, in combination with the first aspect, the apparatus is further configured to perform operations, the operations comprising: determining a first face in a first area and in a second area; and determining a second face in the third region of interest, wherein determining the first corrected image frame causes the first face and the second face to appear in-focus within the first corrected image frame. Includes an operation to increase detail of the first side.

제3 양태에서, 제1 양태 또는 제2 양태 중 하나 이상과 조합하여, 값을 결정하는 것은 제1 관심 영역과 제2 관심 영역 사이의 로컬 그레이디언트 차이를 결정하는 것을 포함하고; 보정된 제1 이미지 프레임을 결정하는 것은 로컬 그레이디언트 차이에 기초하여 제1 이미지 프레임의 제1 관심 영역에 대해 콘트라스트 동작을 수행하는 것을 포함한다.In a third aspect, in combination with one or more of the first aspect or the second aspect, determining the value includes determining a local gradient difference between the first region of interest and the second region of interest; Determining the corrected first image frame includes performing a contrast operation on a first region of interest in the first image frame based on local gradient differences.

제4 양태에서, 제1 양태 내지 제3 양태 중 하나 이상과 조합하여, 콘트라스트 동작을 수행하는 것은 제1 이미지 프레임의 밝기를 보존한다.In a fourth aspect, in combination with one or more of the first to third aspects, performing a contrast operation preserves brightness of the first image frame.

제5 양태에서, 제1 양태 내지 제4 양태 중 하나 이상과 조합하여, 보정된 제1 이미지 프레임을 결정하는 것은 인공 지능 기반 동작을 수행하는 것을 포함한다.In a fifth aspect, in combination with one or more of the first to fourth aspects, determining the corrected first image frame includes performing an artificial intelligence based operation.

제6 양태에서, 제1 양태 내지 제5 양태 중 하나 이상과 조합하여, 장치는 제1 이미지 관심 영역과 제2 관심 영역 사이의 정렬 차이를 결정하는 것을 포함하는 동작들을 수행하도록 추가로 구성되며, 여기서 값을 결정하는 것은 정렬 차이에 기초한다.In a sixth aspect, in combination with one or more of the first to fifth aspects, an apparatus is further configured to perform operations comprising determining an alignment difference between a first image region of interest and a second region of interest, Determining the value here is based on the alignment difference.

제7 양태에서, 제1 양태 내지 제6 양태 중 하나 이상과 조합하여, 정렬 차이를 결정하는 것은 제1 이미지 프레임 내의 제1 위치로부터 제2 이미지 프레임 내의 제2 위치로의 제1 이미지 프레임 내에서 인식되는 객체의 모션을 결정하는 것을 포함한다.In a seventh aspect, in combination with one or more of the first to sixth aspects, determining an alignment difference comprises determining an alignment difference within a first image frame from a first location within the first image frame to a second location within the second image frame. It involves determining the motion of the recognized object.

제8 양태에서, 제1 양태 내지 제7 양태 중 하나 이상과 조합하여, 장치는 제1 이미지 프레임 내의 관심 영역들의 수를 결정하는 것을 포함하는 동작들을 수행하도록 추가로 구성되며, 여기서 제2 이미지 프레임을 수신하는 동작, 값을 결정하는 동작, 및 보정된 제1 이미지 프레임을 결정하는 동작을 수행하는 것은 영역들의 수가 하나 초과인 것에 기초한다.In an eighth aspect, in combination with one or more of the first to seventh aspects, an apparatus is further configured to perform operations comprising determining a number of regions of interest in a first image frame, wherein the second image frame The performing of receiving, determining the value, and determining the corrected first image frame is based on the number of regions being more than one.

제9 양태에서, 제1 양태 내지 제8 양태 중 하나 이상과 조합하여, 제1 이미지 프레임 내의 관심 영역들의 수를 결정하는 것은 제1 이미지 프레임 내에서 면들을 검출하는 것을 포함한다.In a ninth aspect, in combination with one or more of the first to eighth aspects, determining the number of regions of interest within the first image frame includes detecting faces within the first image frame.

제10 양태에서, 제1 양태 내지 제9 양태 중 하나 이상과 조합하여, 제1 포커스 거리는 제1 관심 영역 및 제2 관심 영역 내의 제1 면과 연관되고; 제2 포커스 거리는 제3 관심 영역 내의 상이한 제2 면과 연관된다.In a tenth aspect, in combination with one or more of the first to ninth aspects, the first focus distance is associated with the first face within the first area of interest and the second area of interest; The second focus distance is associated with a second, different plane within the third region of interest.

제11 양태에서, 제1 양태 내지 제10 양태 중 하나 이상과 조합하여, 제1 포커스 거리는 제1 관심 영역 내의 제1 면과 제3 관심 영역 내의 제2 면 사이의 위치이고, 제2 포커스 거리는 제2 면의 포커스 거리이다.In an eleven aspect, in combination with one or more of the first to tenth aspects, the first focus distance is a location between the first face in the first area of interest and the second face in the third area of interest, and the second focus distance is the It is the focus distance of 2 sides.

제12 양태에서, 제1 양태 내지 제11 양태 중 하나 이상과 조합하여, 보정된 제1 이미지 프레임을 결정하는 것은 제1 이미지 프레임과 제2 이미지 프레임의 임의의 부분을 조합하는 것에 기초하지 않는다.In a twelfth aspect, in combination with one or more of the first to eleventh aspects, determining the corrected first image frame is not based on combining any portion of the first image frame and the second image frame.

제13 양태에서, 제1 양태 내지 제12 양태 중 하나 이상과 조합하여, 장치는 이미지 센서 및 렌즈를 포함하는 카메라를 추가로 포함한다.In a thirteenth aspect, in combination with one or more of the first to twelfth aspects, the device further includes a camera including an image sensor and a lens.

제14 양태에서, 제1 양태 내지 제13 양태 중 하나 이상과 조합하여, 적어도 하나의 프로세서는 카메라에 커플링되고 동작들을 수행하도록 구성되며, 동작들은 제1 포커스 거리에서 제1 이미지 프레임을 캡처하도록 카메라를 제어하는 동작; 제1 이미지 프레임 내에서 제1 면 및 제2 면의 존재를 결정하는 동작; 및 제1 이미지 프레임 내에서 제1 면 및 제2 면의 존재를 결정하는 것에 기초하여 제2 포커스 거리에서 제2 이미지 프레임을 캡처하도록 카메라를 제어하는 동작을 포함한다.In a fourteenth aspect, in combination with one or more of the first to thirteenth aspects, the at least one processor is coupled to the camera and configured to perform operations, the operations to capture a first image frame at a first focus distance. Actions to control the camera; determining the presence of a first side and a second side within a first image frame; and controlling the camera to capture a second image frame at a second focus distance based on determining the presence of a first side and a second side within the first image frame.

제15 양태에서, 제1 양태 내지 제14 양태 중 하나 이상과 조합하여, 적어도 하나의 프로세서는 이미지 신호 프로세서(ISP)를 포함한다.In a fifteenth aspect, in combination with one or more of the first to fourteenth aspects, the at least one processor includes an image signal processor (ISP).

당업자들은, 정보 및 신호들이 다양한 상이한 기법들 및 기술들 중 임의의 기법 및 기술을 사용하여 표현될 수 있다는 것을 이해할 것이다. 예컨대, 위의 설명 전반에 걸쳐 참조될 수 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학 필드들 또는 광학 입자들, 또는 이것들의 임의의 조합에 의해 표현될 수 있다.Those skilled in the art will understand that information and signals may be represented using any of a variety of different techniques and techniques. For example, data, instructions, commands, information, signals, bits, symbols, and chips that may be referenced throughout the above description include voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, It may be represented by optical fields or optical particles, or any combination of these.

도 1 내지 도 7에 대해 본 명세서에서 설명된 컴포넌트들, 기능 블록들, 및 모듈들은 다른 예들 중에서도 프로세서들, 전자 디바이스들, 하드웨어 디바이스들, 전자 컴포넌트들, 논리 회로들, 메모리들, 소프트웨어 코드들, 펌웨어 코드들, 또는 이것들의 임의의 조합을 포함한다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어, 또는 다른 용어로서 지칭되는지에 관계없이, 다른 예들 중에서도 명령들, 명령 세트들, 코드, 코드 세그먼트들, 프로그램 코드, 프로그램들, 서브프로그램들, 소프트웨어 모듈들, 애플리케이션, 소프트웨어 애플리케이션들, 소프트웨어 패키지들, 루틴들, 서브루틴들, 객체들, 실행파일들, 실행 스레드들, 절차들, 및/또는 기능들을 의미하도록 광범위하게 해석되어야 한다. 또한, 본 명세서에서 논의된 특징들은 특수 프로세서 회로를 통해, 실행가능 명령들을 통해, 또는 이것들의 조합들을 통해 구현될 수 있다.Components, functional blocks, and modules described herein with respect to FIGS. 1-7 include processors, electronic devices, hardware devices, electronic components, logic circuits, memories, software codes, among other examples. , firmware codes, or any combination thereof. Software, whether referred to as software, firmware, middleware, microcode, hardware description language, or other terminology, includes instructions, instruction sets, code, code segments, program code, programs, subprograms, among other examples. should be construed broadly to mean fields, software modules, applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, and/or functions. Additionally, the features discussed herein may be implemented via special processor circuitry, via executable instructions, or combinations thereof.

당업자들은, 본 명세서에서 개시내용에 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 그 둘의 조합들로서 구현될 수 있다는 것을 또한 인지할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그것들의 기능 관점들에서 일반적으로 위에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당업자들은 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들이 본 개시내용의 범위로부터 벗어나게 하는 것으로 해석되지는 않아야 한다. 당업자들은 또한, 본 명세서에서 설명되는 컴포넌트들, 방법들 또는 상호작용들의 순서 또는 조합이 단지 예시들이고, 본 개시내용의 다양한 양태들의 컴포넌트들, 방법들 또는 상호작용들이 본 명세서에서 예시되고 설명되는 것들 이외의 다른 방식들로 조합 또는 수행될 수 있다는 것을 쉽게 인지할 것이다.Those skilled in the art will also recognize that the various illustrative logical blocks, modules, circuits, and algorithm steps described in connection with the disclosure herein may be implemented as electronic hardware, computer software, or combinations of the two. will be. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether this functionality is implemented in hardware or software depends on the specific application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be construed as causing a departure from the scope of the present disclosure. Those skilled in the art will also understand that the order or combination of components, methods or interactions described herein are examples only and that the various aspects of the components, methods or interactions of the present disclosure are those illustrated and described herein. It will be easy to recognize that it can be combined or performed in other ways.

본 명세서에서 개시된 구현예들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들, 회로들 및 알고리즘 프로세스들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 그 둘의 조합들로서 구현될 수 있다. 하드웨어 및 소프트웨어의 상호교환가능성은 기능의 관점에서 일반적으로 설명되었고, 위에서 설명된 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 프로세스들로 예시된다. 그러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 의존한다.The various illustrative logics, logical blocks, modules, circuits and algorithmic processes described in connection with the implementations disclosed herein may be implemented as electronic hardware, computer software, or combinations of the two. The interchangeability of hardware and software has been described generally in terms of functionality and is illustrated by the various example components, blocks, modules, circuits and processes described above. Whether such functionality is implemented in hardware or software depends on the specific application and design constraints imposed on the overall system.

본 명세서에서 개시된 양태들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들 및 회로들을 구현하는 데 사용된 하드웨어 및 데이터 프로세싱 장치는 범용 단일- 또는 다중-칩 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field-programmable gate array) 또는 다른 프로그래밍가능 논리 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이것들의 임의의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서, 또는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 일부 구현예들에서, 프로세서는 컴퓨팅 디바이스들의 조합, 이를테면 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 일부 구현예들에서, 특정 프로세스들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.The hardware and data processing devices used to implement the various illustrative logics, logical blocks, modules and circuits described in connection with the aspects disclosed herein include general-purpose single- or multi-chip processors, digital signal processing devices (DSPs), and processor), application specific integrated circuit (ASIC), field-programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any of these designed to perform the functions described herein. It may be implemented or performed in any combination. A general-purpose processor may be a microprocessor, or any conventional processor, controller, microcontroller, or state machine. In some implementations, the processor may be implemented as a combination of computing devices, such as a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors combined with a DSP core, or any other such configuration. In some implementations, specific processes and methods may be performed by circuitry specific to a given function.

하나 이상의 양태들에서, 설명된 기능들은, 본 명세서에 개시된 구조들 및 그것들의 구조적 등가물들을 포함하는, 하드웨어, 디지털 전자 회로, 컴퓨터 소프트웨어, 펌웨어로, 또는 이것들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 청구대상의 구현예들은 또한, 데이터 프로세싱 장치에 의한 실행을 위해, 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 저장 매체들에 인코딩된 하나 이상의 컴퓨터 프로그램들, 즉, 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로서 구현될 수 있다.In one or more aspects, the functions described may be implemented in hardware, digital electronic circuitry, computer software, firmware, including the structures disclosed herein and their structural equivalents, or any combination thereof. Implementations of the subject matter described herein may also include one or more computer programs, i.e., computer program instructions, encoded on computer storage media for execution by or to control the operation of a data processing device. It may be implemented as one or more modules.

소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 이를 통해 송신될 수 있다. 본 명세서에서 개시된 방법 또는 알고리즘의 프로세스들은, 컴퓨터 판독가능 매체에 상주할 수 있는 프로세서-실행가능 소프트웨어 모듈로 구현될 수 있다. 컴퓨터 판독가능 매체들은, 일 장소에서 다른 장소로의 컴퓨터 프로그램의 전달을 가능하게 할 수 있는 임의의 매체를 포함한 통신 매체들 및 컴퓨터 저장 매체들 둘 모두를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터 판독가능 매체들은 RAM(random-access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결수단(connection)이 컴퓨터 판독가능 매체로 적절히 지칭될 수 있다. 본 명세서에서 사용된 디스크(disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크(disc), 광학 디스크(disc), DVD(digital versatile disc), 플로피 디스크(disk) 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하지만, 디스크(disc)들은 레이저를 이용하여 광학적으로 데이터를 재생한다. 상기의 것들의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다. 추가적으로, 방법 또는 알고리즘의 동작들은, 컴퓨터 프로그램 제품에 통합될 수 있는 머신 판독가능 매체 및 컴퓨터 판독가능 매체에 코드들 및 명령들 중 하나 또는 이것들의 임의의 조합 또는 이것들의 세트로서 상주할 수 있다.If implemented in software, the functions may be stored on or transmitted over as one or more instructions or code on a computer-readable medium. The processes of a method or algorithm disclosed herein may be implemented in a processor-executable software module that may reside on a computer-readable medium. Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. Storage media can be any available media that can be accessed by a computer. By way of example, and not limitation, such computer-readable media may include random-access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), CD-ROM or other optical disk storage, magnetic It may include disk storage or other magnetic storage devices, or any other medium that can be used to store desired program code in the form of instructions or data structures and that can be accessed by a computer. Additionally, any connection may be properly termed a computer-readable medium. Disk and disk as used herein include compact disc (CD), laser disc (disc), optical disc (disc), digital versatile disc (DVD), floppy disk (disk), and Blu-ray disc. Discs generally reproduce data magnetically, but discs reproduce data optically using lasers. Combinations of the above should also be included within the scope of computer-readable media. Additionally, the operations of the method or algorithm may reside as one or any combination or set of codes and instructions in a machine-readable medium or computer-readable medium that may be incorporated into a computer program product.

본 개시내용에서 설명된 구현예들에 대한 다양한 수정들은 당업자들에게 자명할 수 있으며, 본 명세서에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 일부 다른 구현예들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 설명된 구현예들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합할 것이다.Various modifications to the implementations described in this disclosure may be apparent to those skilled in the art, and the general principles defined herein may be applied to some other implementations without departing from the spirit or scope of the disclosure. . Accordingly, the claims are not intended to be limited to the implementations described herein but are to be accorded the widest scope consistent with the disclosure, principles and novel features disclosed herein.

부가적으로, 당업자는, 용어들 "상위" 및 "하위"가 종종 도면들을 설명하는 것의 용이를 위해 사용되고 적절히 배향된 페이지 상에서의 도면의 배향에 대응하는 상대적 포지션들을 표시하며 그리고 구현될 때 임의의 디바이스의 적절한 배향을 반영하지 않을 수 있음을 용이하게 인식할 것이다.Additionally, those skilled in the art will recognize that the terms "top" and "bottom" are often used for ease of describing the drawings and indicate relative positions that correspond to the orientation of the drawing on a properly oriented page and that, when implemented, any It will be readily appreciated that this may not reflect the proper orientation of the device.

별개의 구현예들의 맥락으로 본 명세서에서 설명되는 특정 특징들은 또한 단일 구현예에서 조합하여 구현될 수 있다. 반대로, 단일 구현의 맥락으로 설명된 다양한 특징들은 또한 다수의 구현예들에서 별개로 또는 임의의 적합한 하위조합으로 구현될 수 있다. 게다가, 특징들이 특정한 조합들로 작용하는 것으로 앞서 설명되고 심지어 초기에 이와 같이 청구될지라도, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변화에 관련될 수 있다.Certain features that are described herein in the context of separate implementations can also be implemented in combination in a single implementation. Conversely, various features described in the context of a single implementation may also be implemented in multiple implementations separately or in any suitable subcombination. Moreover, although features have been previously described and even initially claimed as operating in certain combinations, in some cases one or more features from a claimed combination can be removed from that combination and the claimed combination is a subcombination. Or it may be related to changes in subcombinations.

유사하게, 동작들이 특정한 순서로 도면들에 묘사되지만, 이것은, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서 또는 순차적인 순서로 수행되어야 하거나 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로서 이해되지는 않아야 한다. 또한, 도면들은 하나 이상의 예시적인 프로세스들을 흐름도의 형태로 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들이 개략적으로 예시된 예시적인 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 추가적인 동작들은, 예시된 동작들 중 임의의 동작 이전에, 그 이후에, 그와 동시에, 또는 그들 사이에서 수행될 수 있다. 특정 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 구현예들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현예들에서 그러한 분리를 요구하는 것으로서 이해되지 않아야 하고, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있다는 것이 이해되어야 한다. 추가적으로, 일부 다른 구현예들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 인용된 액션들은 상이한 순서로 수행되며 여전히 바람직한 결과들을 달성할 수 있다.Similarly, although operations are depicted in the drawings in a particular order, this does not mean that, to achieve the desired results, such operations must be performed in the specific order or sequential order shown or that all illustrated operations must be performed. It shouldn't be understood. Additionally, the drawings may schematically depict one or more example processes in the form of a flow diagram. However, other operations not depicted may be incorporated into the example processes schematically illustrated. For example, one or more additional operations may be performed before, after, concurrently with, or between any of the illustrated operations. In certain environments, multitasking and parallel processing may be advantageous. Moreover, the separation of various system components in the implementations described above should not be construed as requiring such separation in all implementations, and that the program components and systems described are generally integrated together in a single software product or integrated into multiple It should be understood that it can be packaged into software products. Additionally, some other implementations are within the scope of the following claims. In some cases, the actions recited in the claims can be performed in a different order and still achieve desirable results.

청구항들을 포함하여 본 명세서에서 사용된 바와 같이, 용어 "또는"은, 2 이상의 아이템들의 리스트에서 사용될 경우, 리스팅된 아이템들 중 임의의 아이템이 홀로 채용될 수 있거나 또는 리스팅된 아이템들 중 2 이상의 임의의 조합이 채용될 수 있음을 의미한다. 예를 들어, 구성요소가 컴포넌트 A, 컴포넌트 B, 또는 컴포넌트 C를 포함하는 것으로 설명되면, 구성요소는 A를 단독으로; B를 단독으로; C를 단독으로; A와 B를 조합하여; A와 C를 조합하여; B와 C를 조합하여; 또는 A와 B와 C를 조합하여 포함할 수 있다. 또한, 청구항들을 포함하여 본 명세서에서 사용된 바와 같이, "중 적어도 하나"에 의해 시작된 아이템들의 리스트에서 사용되는 바와 같은 "또는"은, 예를 들어, "A, B, 또는 C 중 적어도 하나"의 리스트가 A 또는 B 또는 C 또는 AB 또는 AC 또는 BC 또는 ABC(즉, A와 B와 C) 또는 이들의 임의의 조합에서의 이들 중 임의의 것을 의미하도록 하는 이접적 리스트를 표시한다. 용어 "실질적으로"는, 당업자에 의해 이해되는 바와 같이, 대체로 명시된 것이지만 반드시 전적으로 명시된 것은 아닌 것으로 정의된다(그리고 명시된 것을 포함함; 예컨대, 실질적으로 90도는 90도를 포함하고, 실질적으로 평행은 평행을 포함함). 임의의 개시된 구현예들에서, 용어 "실질적으로"는 특정된 것의 "[백분율] 이내"로 대체될 수 있으며, 여기서 백분율은 .1, 1, 5 또는 10%를 포함한다.As used herein, including the claims, the term "or", when used in a list of two or more items, means that any of the listed items may be employed alone or any two or more of the listed items may be employed alone. This means that a combination of can be adopted. For example, if a component is described as including component A, component B, or component C, then the component includes A alone; B alone; C alone; By combining A and B; By combining A and C; By combining B and C; Alternatively, it may include a combination of A, B, and C. Additionally, as used herein, including the claims, “or” as used in a list of items started by “at least one of” means, for example, “at least one of A, B, or C.” denotes a disjunctive list such that a list of means A or B or C or AB or AC or BC or ABC (i.e. A and B and C) or any of these in any combination thereof. The term “substantially” is defined as substantially specified, but not necessarily exclusively, as understood by those skilled in the art (and includes what is specified; e.g., substantially 90 degrees includes 90 degrees, substantially parallel refers to parallel includes). In any of the disclosed embodiments, the term “substantially” can be replaced with “within [percentage]” of that specified, where percentage includes .1, 1, 5, or 10%.

본 개시내용의 앞선 설명은 임의의 당업자가 본 개시내용을 사용하거나 또는 실시할 수 있도록 제공된다. 본 개시내용에 대한 다양한 수정들이 당업자들에게 용이하게 자명할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 변형들에 적용될 수 있다. 따라서, 본 개시내용은 본 명세서에서 설명된 예들 및 설계들로 제한되도록 의도되는 것이 아니라, 본 명세서에서 개시된 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합할 것이다.The preceding description of the disclosure is provided to enable any person skilled in the art to make or use the disclosure. Various modifications to the disclosure will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other variations without departing from the spirit or scope of the disclosure. Thus, the present disclosure is not intended to be limited to the examples and designs described herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

Claims

방법으로서,
제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 단계;
상기 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 상기 장면을 나타내는 제2 이미지 프레임을 수신하는 단계;
상기 제1 이미지 프레임 내의 제1 관심 영역 및 상기 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 단계;
상기 제1 관심 영역과 상기 제2 관심 영역의 비교에 기초하여 값을 결정하는 단계; 및
상기 제1 이미지 프레임 및 상기 값에 기초하여 보정된 제1 이미지 프레임을 결정하는 단계를 포함하는, 방법.As a method,
Receiving a first image frame representing a scene captured at a first focus distance;
Receiving a second image frame representing the scene captured at a second focus distance different from the first focus distance;
determining a corresponding set of regions of interest including a first region of interest in the first image frame and a second region of interest in the second image frame;
determining a value based on a comparison of the first region of interest and the second region of interest; and
Determining a corrected first image frame based on the first image frame and the value.

제1항에 있어서,
상기 제1 관심 영역 및 상기 제2 관심 영역 내에서 제1 면을 결정하는 단계; 및
제3 관심 영역 내에서 제2 면을 결정하는 단계를 추가로 포함하고,
상기 보정된 제1 이미지 프레임을 결정하는 단계는 상기 제1 면 및 상기 제2 면이 상기 보정된 제1 이미지 프레임 내에서 인-포커스(in-focus)로 보이도록 상기 제1 면의 디테일을 증가시키는 단계를 포함하는, 방법.According to paragraph 1,
determining a first surface within the first region of interest and the second region of interest; and
further comprising determining a second side within the third region of interest;
Determining the corrected first image frame increases detail of the first face such that the first face and the second face appear in-focus within the corrected first image frame. A method comprising the step of doing so.

제1항에 있어서,
상기 값을 결정하는 단계는 상기 제1 관심 영역과 상기 제2 관심 영역 사이의 로컬 그레이디언트(local gradient) 차이를 결정하는 단계를 포함하고;
상기 보정된 제1 이미지 프레임을 결정하는 단계는 상기 로컬 그레이디언트 차이에 기초하여 상기 제1 이미지 프레임의 상기 제1 관심 영역에 대해 콘트라스트 동작을 수행하는 단계를 포함하는, 방법.According to paragraph 1,
Determining the value includes determining a local gradient difference between the first region of interest and the second region of interest;
Wherein determining the corrected first image frame includes performing a contrast operation on the first region of interest in the first image frame based on the local gradient difference.

제3항에 있어서,
상기 콘트라스트 동작을 수행하는 단계는 상기 제1 이미지 프레임의 밝기를 보존하는, 방법.According to paragraph 3,
Wherein performing the contrast operation preserves brightness of the first image frame.

제1항에 있어서,
상기 보정된 제1 이미지 프레임을 결정하는 단계는 인공 지능 기반 동작을 수행하는 단계를 포함하는, 방법.According to paragraph 1,
The method of claim 1, wherein determining the corrected first image frame includes performing an artificial intelligence-based operation.

제1항에 있어서,
상기 제1 관심 영역과 상기 제2 관심 영역 사이의 정렬 차이를 결정하는 단계를 추가로 포함하고,
상기 값을 결정하는 단계는 상기 정렬 차이에 기초하는, 방법.According to paragraph 1,
further comprising determining an alignment difference between the first region of interest and the second region of interest,
Wherein determining the value is based on the alignment difference.

제6항에 있어서,
상기 정렬 차이를 결정하는 단계는 상기 제1 이미지 프레임 내의 제1 위치로부터 상기 제2 이미지 프레임 내의 제2 위치로의 상기 제1 이미지 프레임 내에서 인식되는 객체의 모션을 결정하는 단계를 포함하는, 방법.According to clause 6,
Determining the alignment difference includes determining motion of the recognized object within the first image frame from a first location within the first image frame to a second location within the second image frame. .

제1항에 있어서,
상기 제1 이미지 프레임 내의 관심 영역들의 수를 결정하는 단계를 추가로 포함하고,
상기 제2 이미지 프레임을 수신하는 단계, 상기 값을 결정하는 단계, 및 상기 보정된 제1 이미지 프레임을 결정하는 단계를 수행하는 것은 상기 관심 영역들의 수가 1 초과인 것에 기초하는, 방법.According to paragraph 1,
further comprising determining a number of regions of interest within the first image frame,
Wherein receiving the second image frame, determining the value, and determining the corrected first image frame are based on the number of regions of interest being greater than 1.

제8항에 있어서,
상기 제1 이미지 프레임 내의 상기 관심 영역들의 수를 결정하는 단계는 상기 제1 이미지 프레임 내에서 면들을 검출하는 단계를 포함하는, 방법.According to clause 8,
Wherein determining the number of regions of interest within the first image frame includes detecting faces within the first image frame.

제1항에 있어서,
상기 제1 포커스 거리는 상기 제1 관심 영역 및 상기 제2 관심 영역 내의 제1 면과 연관되고;
상기 제2 포커스 거리는 제3 관심 영역 내의 상이한 제2 면과 연관되는, 방법.According to paragraph 1,
the first focus distance is associated with a first surface within the first region of interest and the second region of interest;
The method of claim 1, wherein the second focus distance is associated with a second, different plane within the third region of interest.

제10항에 있어서,
상기 제1 포커스 거리는 상기 제1 관심 영역 내의 상기 제1 면과 상기 제3 관심 영역 내의 상기 제2 면 사이의 위치이고, 상기 제2 포커스 거리는 상기 제2 면의 포커스 거리인, 방법.According to clause 10,
The first focus distance is a position between the first face in the first area of interest and the second face in the third area of interest, and the second focus distance is a focus distance of the second face.

제1항에 있어서,
상기 보정된 제1 이미지 프레임을 결정하는 단계는 상기 제2 이미지 프레임의 임의의 부분을 상기 제1 이미지 프레임과 조합하는 것에 기초하지 않는, 방법.According to paragraph 1,
Wherein determining the corrected first image frame is not based on combining any portion of the second image frame with the first image frame.

장치로서,
프로세서 판독가능 코드를 저장하는 메모리; 및
상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 프로세서 판독가능 코드를 실행시켜 상기 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하도록 구성되고, 상기 동작들은,
제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 동작;
상기 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 상기 장면을 나타내는 제2 이미지 프레임을 수신하는 동작;
상기 제1 이미지 프레임 내의 제1 관심 영역 및 상기 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 동작;
상기 제1 관심 영역과 상기 제2 관심 영역의 비교에 기초하여 값을 결정하는 동작; 및
상기 제1 이미지 프레임 및 상기 값에 기초하여 보정된 제1 이미지 프레임을 결정하는 동작을 포함하는, 장치.As a device,
a memory storing processor-readable code; and
At least one processor coupled to the memory, the at least one processor configured to execute the processor readable code to cause the at least one processor to perform operations, the operations comprising:
Receiving a first image frame representing a scene captured at a first focus distance;
receiving a second image frame representing the scene captured at a second focus distance different from the first focus distance;
determining a corresponding set of regions of interest including a first region of interest in the first image frame and a second region of interest in the second image frame;
determining a value based on a comparison of the first region of interest and the second region of interest; and
Determining a corrected first image frame based on the first image frame and the value.

제13항에 있어서,
상기 적어도 하나의 프로세서는 상기 프로세서 판독가능 코드를 실행시켜 상기 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하도록 추가로 구성되고, 상기 동작들은,
상기 제1 관심 영역 및 상기 제2 관심 영역 내에서 제1 면을 결정하는 동작; 및
제3 관심 영역 내에서 제2 면을 결정하는 동작을 포함하고,
상기 보정된 제1 이미지 프레임을 결정하는 동작은 상기 제1 면 및 상기 제2 면이 상기 보정된 제1 이미지 프레임 내에서 인-포커스로 보이도록 상기 제1 면의 디테일을 증가시키는 동작을 포함하는, 장치.According to clause 13,
The at least one processor is further configured to execute the processor readable code to cause the at least one processor to perform operations, the operations comprising:
determining a first face within the first region of interest and the second region of interest; and
determining a second face within a third region of interest;
Determining the corrected first image frame includes increasing detail of the first face so that the first face and the second face appear in-focus within the corrected first image frame. , Device.

제13항에 있어서,
상기 값을 결정하는 동작은 상기 제1 관심 영역과 상기 제2 관심 영역 사이의 로컬 그레이디언트 차이를 결정하는 동작을 포함하고;
상기 보정된 제1 이미지 프레임을 결정하는 동작은 상기 로컬 그레이디언트 차이에 기초하여 상기 제1 이미지 프레임의 상기 제1 관심 영역에 대해 콘트라스트 동작을 수행하는 동작을 포함하는, 장치.According to clause 13,
Determining the value includes determining a local gradient difference between the first region of interest and the second region of interest;
Wherein determining the corrected first image frame includes performing a contrast operation on the first region of interest in the first image frame based on the local gradient difference.

제15항에 있어서,
상기 콘트라스트 동작을 수행하는 동작은 상기 제1 이미지 프레임의 밝기를 보존하는, 장치.According to clause 15,
Wherein performing the contrast operation preserves brightness of the first image frame.

제13항에 있어서,
상기 보정된 제1 이미지 프레임을 결정하는 동작은 인공 지능 기반 동작을 수행하는 동작을 포함하는, 장치.According to clause 13,
Wherein determining the corrected first image frame includes performing an artificial intelligence based operation.

제13항에 있어서,
상기 적어도 하나의 프로세서는 상기 프로세서 판독가능 코드를 실행시켜 상기 적어도 하나의 프로세서로 하여금 추가 동작들을 수행하게 하도록 구성되고, 상기 추가 동작들은,
상기 제1 관심 영역과 상기 제2 관심 영역 사이의 정렬 차이를 결정하는 동작을 포함하고,
값을 결정하는 동작은 상기 정렬 차이에 기초하는, 장치.According to clause 13,
The at least one processor is configured to execute the processor readable code to cause the at least one processor to perform additional operations, the additional operations comprising:
determining an alignment difference between the first region of interest and the second region of interest,
The operation of determining a value is based on the alignment difference.

제18항에 있어서,
상기 정렬 차이를 결정하는 동작은 상기 제1 이미지 프레임 내의 제1 위치로부터 상기 제2 이미지 프레임 내의 제2 위치로의 상기 제1 이미지 프레임 내에서 인식되는 객체의 모션을 결정하는 동작을 포함하는, 장치.According to clause 18,
wherein determining the alignment difference comprises determining motion of an object recognized within the first image frame from a first location within the first image frame to a second location within the second image frame. .

제13항에 있어서,
상기 적어도 하나의 프로세서는 상기 프로세서 판독가능 코드를 실행시켜 상기 적어도 하나의 프로세서로 하여금 추가 동작들을 수행하게 하도록 구성되고, 상기 추가 동작들은,
상기 제1 이미지 프레임 내의 관심 영역들의 수를 결정하는 동작을 포함하고,
상기 제2 이미지 프레임을 수신하는 동작, 상기 값을 결정하는 동작, 및 상기 보정된 제1 이미지 프레임을 결정하는 동작을 수행하는 것은 상기 관심 영역들의 수가 1 초과인 것에 기초하는, 장치.According to clause 13,
The at least one processor is configured to execute the processor readable code to cause the at least one processor to perform additional operations, the additional operations comprising:
determining a number of regions of interest within the first image frame;
Wherein receiving the second image frame, determining the value, and determining the corrected first image frame are based on the number of regions of interest being greater than 1.

제20항에 있어서,
상기 제1 이미지 프레임 내의 상기 관심 영역들의 수를 결정하는 동작은 상기 제1 이미지 프레임 내에서 면들을 검출하는 동작을 포함하는, 장치.According to clause 20,
Wherein determining the number of regions of interest within the first image frame includes detecting faces within the first image frame.

제13항에 있어서,
상기 제1 포커스 거리는 상기 제1 관심 영역 및 상기 제2 관심 영역 내의 제1 면과 연관되고;
상기 제2 포커스 거리는 제3 관심 영역 내의 상이한 제2 면과 연관되는, 장치.According to clause 13,
the first focus distance is associated with a first surface within the first region of interest and the second region of interest;
and the second focus distance is associated with a second, different plane within the third region of interest.

제22항에 있어서,
상기 제1 포커스 거리는 상기 제1 관심 영역 내의 상기 제1 면과 상기 제3 관심 영역 내의 상기 제2 면 사이의 위치이고, 상기 제2 포커스 거리는 상기 제2 면의 포커스 거리인, 장치.According to clause 22,
The first focus distance is a position between the first face in the first area of interest and the second face in the third area of interest, and the second focus distance is a focus distance of the second face.

제13항에 있어서,
상기 보정된 제1 이미지 프레임을 결정하는 동작은 상기 제2 이미지 프레임의 임의의 부분을 상기 제1 이미지 프레임과 조합하는 것에 기초하지 않는, 장치.According to clause 13,
The apparatus of claim 1, wherein determining the corrected first image frame is not based on combining any portion of the second image frame with the first image frame.

제13항에 있어서,
이미지 센서 및 렌즈를 포함하는 카메라를 추가로 포함하고,
상기 적어도 하나의 프로세서는 상기 카메라에 커플링되고 동작들을 수행하도록 구성되며, 상기 동작들은,
상기 제1 포커스 거리에서 상기 제1 이미지 프레임을 캡처하도록 상기 카메라를 제어하는 동작;
상기 제1 이미지 프레임 내에서 제1 면 및 제2 면의 존재를 결정하는 동작; 및
상기 제1 이미지 프레임 내에서 상기 제1 면 및 상기 제2 면의 존재를 결정하는 것에 기초하여 상기 제2 포커스 거리에서 상기 제2 이미지 프레임을 캡처하도록 상기 카메라를 제어하는 동작을 포함하는, 장치.According to clause 13,
further comprising a camera including an image sensor and a lens;
The at least one processor is coupled to the camera and configured to perform operations, the operations comprising:
controlling the camera to capture the first image frame at the first focus distance;
determining the presence of a first side and a second side within the first image frame; and
Controlling the camera to capture the second image frame at the second focus distance based on determining the presence of the first side and the second side within the first image frame.

제13항에 있어서,
상기 적어도 하나의 프로세서는 이미지 신호 프로세서(image signal processor, ISP)를 포함하는, 장치.According to clause 13,
The apparatus of claim 1, wherein the at least one processor includes an image signal processor (ISP).

명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 동작들을 수행하게 하고, 상기 동작들은,
제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 수신하는 동작;
상기 제1 포커스 거리와는 상이한 제2 포커스 거리에서 캡처된 상기 장면을 나타내는 제2 이미지 프레임을 수신하는 동작;
상기 제1 이미지 프레임 내의 제1 관심 영역 및 상기 제2 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 동작;
상기 제1 관심 영역과 상기 제2 관심 영역의 비교에 기초하여 값을 결정하는 동작; 및
상기 제1 이미지 프레임 및 상기 값에 기초하여 보정된 제1 이미지 프레임을 결정하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.A non-transitory computer-readable storage medium storing instructions, comprising:
The instructions, when executed by a processor, cause the processor to perform operations, the operations comprising:
Receiving a first image frame representing a scene captured at a first focus distance;
receiving a second image frame representing the scene captured at a second focus distance different from the first focus distance;
determining a corresponding set of regions of interest including a first region of interest in the first image frame and a second region of interest in the second image frame;
determining a value based on a comparison of the first region of interest and the second region of interest; and
determining a corrected first image frame based on the first image frame and the value.

제27항에 있어서,
상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 추가 동작들을 수행하게 하고, 상기 추가 동작들은,
상기 제1 관심 영역 및 상기 제2 관심 영역 내에서 제1 면을 결정하는 동작; 및
제3 관심 영역 내에서 제2 면을 결정하는 동작을 포함하고,
상기 보정된 제1 이미지 프레임을 결정하는 동작은 상기 제1 면 및 상기 제2 면이 상기 보정된 제1 이미지 프레임 내에서 인-포커스로 보이도록 상기 제1 면의 디테일을 증가시키는 동작을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.According to clause 27,
The instructions, when executed by the processor, cause the processor to perform additional operations, the additional operations being:
determining a first face within the first region of interest and the second region of interest; and
determining a second face within a third region of interest;
Determining the corrected first image frame includes increasing detail of the first face so that the first face and the second face appear in-focus within the corrected first image frame. , a non-transitory computer-readable storage medium.

제27항에 있어서,
상기 값을 결정하는 동작은 상기 제1 관심 영역과 상기 제2 관심 영역 사이의 로컬 그레이디언트 차이를 결정하는 동작을 포함하고;
상기 보정된 제1 이미지 프레임을 결정하는 동작은 상기 로컬 그레이디언트 차이에 기초하여 상기 제1 이미지 프레임의 상기 제1 관심 영역에 대해 콘트라스트 동작을 수행하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.According to clause 27,
Determining the value includes determining a local gradient difference between the first region of interest and the second region of interest;
Determining the corrected first image frame includes performing a contrast operation on the first region of interest in the first image frame based on the local gradient difference. media.

제27항에 있어서,
상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 추가 동작들을 수행하게 하고, 상기 추가 동작들은,
상기 제1 이미지 프레임 내의 관심 영역들의 수를 결정하는 동작을 포함하고,
상기 제2 이미지 프레임을 수신하는 동작, 상기 값을 결정하는 동작, 및 상기 보정된 제1 이미지 프레임을 결정하는 동작을 수행하는 것은 상기 관심 영역들의 수가 1 초과인 것에 기초하는, 비일시적 컴퓨터 판독가능 저장 매체.According to clause 27,
The instructions, when executed by the processor, cause the processor to perform additional operations, the additional operations being:
determining a number of regions of interest within the first image frame;
performing the operations of receiving the second image frame, determining the value, and determining the corrected first image frame is based on the number of regions of interest being greater than 1. storage media.

장치로서,
이미지 센서 및 렌즈를 포함하는 카메라;
프로세서 판독가능 코드를 저장하는 메모리; 및
상기 메모리 및 상기 카메라에 커플링된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 프로세서 판독가능 코드를 실행시켜 상기 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하도록 구성되고, 상기 동작들은,
제1 포커스 거리에서 캡처된 장면을 나타내는 제1 이미지 프레임을 획득하도록 상기 카메라를 제어하는 동작;
상기 제1 이미지 프레임이 상기 제1 포커스 거리와 연관된 제1 면 및 제2 포커스 거리와 연관된 제2 면을 포함하는 것으로 결정하는 동작;
상기 제1 포커스 거리와 상기 제2 포커스 거리 사이의 제3 포커스 거리에서 캡처된 상기 장면을 나타내는 제2 이미지 프레임을 획득하도록 상기 카메라를 제어하는 동작;
상기 제2 포커스 거리에서 캡처된 상기 장면을 나타내는 제3 이미지 프레임을 획득하도록 상기 카메라를 제어하는 동작;
상기 제1 면과 연관된 상기 제2 이미지 프레임 내의 제1 관심 영역 및 상기 제1 면과 연관된 상기 제3 이미지 프레임 내의 제2 관심 영역을 포함하는 대응하는 세트의 관심 영역들을 결정하는 동작;
상기 제1 관심 영역과 상기 제2 관심 영역의 비교에 기초하여 값을 결정하는 동작; 및
상기 제2 이미지 프레임 및 상기 값에 기초하여 보정된 이미지 프레임을 결정하는 동작을 포함하는, 장치.As a device,
A camera including an image sensor and lens;
a memory storing processor-readable code; and
At least one processor coupled to the memory and the camera, the at least one processor configured to execute the processor readable code to cause the at least one processor to perform operations, the operations comprising:
controlling the camera to acquire a first image frame representing a scene captured at a first focus distance;
determining that the first image frame includes a first side associated with the first focus distance and a second side associated with the second focus distance;
controlling the camera to obtain a second image frame representing the scene captured at a third focus distance between the first and second focus distances;
controlling the camera to obtain a third image frame representing the scene captured at the second focus distance;
determining a corresponding set of regions of interest including a first region of interest in the second image frame associated with the first side and a second region of interest in the third image frame associated with the first side;
determining a value based on a comparison of the first region of interest and the second region of interest; and
and determining a corrected image frame based on the second image frame and the value.

제31항에 있어서,
상기 보정된 이미지 프레임을 결정하는 동작은 상기 제2 이미지 프레임의 제1 관심 영역에 대해 콘트라스트 향상 동작을 수행하는 동작을 포함하는, 장치.According to clause 31,
Wherein determining the corrected image frame includes performing a contrast enhancement operation on a first region of interest in the second image frame.

제32항에 있어서,
상기 제2 이미지 프레임의 상기 제1 관심 영역에 대해 상기 콘트라스트 향상 동작을 수행하는 동작은 상기 값에 대응하는 세기에 기초하는, 장치.According to clause 32,
wherein performing the contrast enhancement operation on the first region of interest of the second image frame is based on an intensity corresponding to the value.

제31항에 있어서,
상기 보정된 이미지 프레임을 결정하는 동작은 상기 제2 이미지 프레임의 제1 관심 영역에 대해 인공 지능 기반 동작을 수행하는 동작을 포함하는, 장치.According to clause 31,
Wherein determining the corrected image frame includes performing an artificial intelligence-based operation on a first region of interest in the second image frame.