KR102105787B1

KR102105787B1 - Apparatus and method for controlling camera attribute using bayesian optimization

Info

Publication number: KR102105787B1
Application number: KR1020190010600A
Authority: KR
Inventors: 김아영; 김주완; 조영근
Original assignee: 한국과학기술원
Priority date: 2019-01-28
Filing date: 2019-01-28
Publication date: 2020-04-29

Abstract

According to various embodiments of the present invention, a camera attribute control method and apparatus using Bayesian optimization may be configured to calculate metrics related to an exposure time and gain of a camera based on a noise component detected from an image acquired through the camera, and control the exposure time and gain based on the metrics.

Description

베이지안 최적화를 이용한 카메라 속성 제어 방법 및 장치{APPARATUS AND METHOD FOR CONTROLLING CAMERA ATTRIBUTE USING BAYESIAN OPTIMIZATION}Method and device for controlling camera properties using Bayesian optimization {APPARATUS AND METHOD FOR CONTROLLING CAMERA ATTRIBUTE USING BAYESIAN OPTIMIZATION}

다양한 실시예들은 베이지안 최적화를 이용하여 카메라의 속성을 제어하기 위한 방법 및 장치에 관한 것으로, 특히 이득에 따른 노이즈 성분을 고려하여, 카메라의 노출 시간과 이득을 제어하기 위한 장치 및 방법에 관한 것이다. Various embodiments relate to a method and apparatus for controlling properties of a camera using Bayesian optimization, and more particularly, to an apparatus and method for controlling exposure time and gain of a camera, considering noise components according to gain.

일반적으로 카메라는 미리 정해지는 속성(attribute)들에 기반하여, 영상을 획득할 수 있다. 카메라에서 획득되는 영상의 품질이 카메라의 속성들에 따라 결정될 수 있다. 카메라의 속성들은 조리개(aperture), 노출 시간(exposure time) 또는 이득(gain) 중 적어도 어느 하나를 포함할 수 있다. 이 때 노출 시간과 이득은 상호 관련될 수 있다. 따라서, 노출 시간과 이득이 동시에 제어되는 것이, 여러 측면에서 유리할 수 있다.In general, the camera may acquire an image based on predetermined attributes. The quality of the image acquired by the camera may be determined according to the properties of the camera. The properties of the camera may include at least one of aperture, exposure time, or gain. At this time, the exposure time and the gain can be correlated. Therefore, it can be advantageous in many respects that the exposure time and gain are controlled simultaneously.

그런데, 상기와 같은 카메라를 위해, 노출 시간과 이득은 별개로 처리될 뿐이다. 즉 카메라의 노출 시간과 이득을 각각 제어하는 데 있어서, 노출 시간과 이득의 관련성이 고려될 수 없다. 따라서, 카메라의 노출 시간과 이득을 동시에 제어할 수 있는 방안이 요구된다. However, for such a camera, the exposure time and gain are only handled separately. That is, in controlling the exposure time and the gain of the camera respectively, the relationship between the exposure time and the gain cannot be considered. Therefore, there is a need for a method that can simultaneously control the exposure time and gain of the camera.

다양한 실시예들에 따른 베이지안 최적화를 이용한 카메라 속성 제어 방법은, 카메라를 통하여 획득된 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하는 동작, 및 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하는 동작을 포함할 수 있다. A camera property control method using Bayesian optimization according to various embodiments of the present disclosure includes calculating an metric related to exposure time and gain of the camera based on noise components detected from an image acquired through the camera, and calculating the metric. Based on this, it may include the operation of controlling the exposure time and gain.

다양한 실시예들에 따른 베이지안 최적화를 이용한 카메라 속성 제어 장치는, 영상을 획득하도록 구성되는 카메라, 및 상기 카메라에 연결되고, 상기 카메라를 제어하도록 구성되는 프로세서를 포함하며, 상기 프로세서는, 상기 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하고, 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하도록 구성될 수 있다. A camera attribute control apparatus using Bayesian optimization according to various embodiments includes a camera configured to acquire an image, and a processor connected to the camera and configured to control the camera, wherein the processor comprises: It may be configured to calculate a metric related to the exposure time and gain of the camera based on the detected noise component, and to control the exposure time and gain based on the metric.

다양한 실시예들에 따르면, 카메라의 노출 시간과 이득이 동시에 제어될 수 있다. 즉 전자 장치가 노출 시간과 이득의 관련성을 고려하여, 카메라의 노출 시간과 이득을 제어할 수 있다. 아울러, 카메라의 이득에 따른 노이즈 성분이 효과적으로 보상될 수 있다. 이에 따라, 카메라의 동작 효율성이 보다 향상될 수 있다. According to various embodiments, the exposure time and gain of the camera can be controlled simultaneously. That is, the electronic device may control the exposure time and gain of the camera in consideration of the relationship between exposure time and gain. In addition, noise components according to the gain of the camera can be effectively compensated. Accordingly, the operation efficiency of the camera can be further improved.

도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2는 도 1의 카메라의 노출 시간과 이득의 관계를 도시하는 도면이다.
도 3은 다양한 실시예들에 따른 전자 장치의 카메라 속성 제어 방법을 도시하는 도면이다.
도 4는 도 3의 메트릭 계산 동작을 도시하는 도면이다.
도 5는 도 3의 카메라 속성 제어 동작을 도시하는 도면이다.
도 6은 도 5의 최적값 예측 동작을 도시하는 도면이다.
도 7, 도 8, 도 9, 도 10 및 도 11은 도 5의 최적값 예측 동작을 설명하기 위한 도면들이다.
도 12는 다양한 실시예들에 따른 카메라 속성 제어에 따른 효과를 설명하기 위한 도면이다. 1 is a diagram illustrating an electronic device according to various embodiments of the present disclosure.
FIG. 2 is a diagram showing the relationship between exposure time and gain of the camera of FIG. 1.
3 is a diagram illustrating a method for controlling camera properties of an electronic device according to various embodiments of the present disclosure.
4 is a diagram illustrating the metric calculation operation of FIG. 3.
5 is a diagram illustrating the camera attribute control operation of FIG. 3.
6 is a diagram illustrating an optimal value prediction operation of FIG. 5.
7, 8, 9, 10 and 11 are diagrams for explaining the optimal value prediction operation of FIG.
12 is a view for explaining the effect of controlling camera attributes according to various embodiments.

이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다. Hereinafter, various embodiments of the document will be described with reference to the accompanying drawings.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.It should be understood that the various embodiments of the document and the terms used therein are not intended to limit the technology described in this document to specific embodiments, and include various modifications, equivalents, and / or substitutes of the embodiments. In connection with the description of the drawings, similar reference numerals may be used for similar components. Singular expressions may include plural expressions unless the context clearly indicates otherwise. In this document, expressions such as "A or B", "at least one of A and / or B", "A, B or C" or "at least one of A, B and / or C", etc. are all of the items listed together. Possible combinations may be included. Expressions such as "first", "second", "first" or "second" can modify the corresponding components regardless of order or importance, and are used only to distinguish one component from another component The components are not limited. When it is stated that one (eg, first) component is “connected (functionally or communicatively)” to another (eg, second) component or is “connected,” the component is the other It may be directly connected to the component, or may be connected through another component (eg, the third component).

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다. As used herein, the term "module" includes units composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits. The module may be an integrally configured component or a minimum unit that performs one or more functions or a part thereof. For example, the module can be configured with an application-specific integrated circuit (ASIC).

도 1은 다양한 실시예들에 따른 전자 장치(100)를 도시하는 도면이다. 도 2는 도 1의 카메라(110)의 노출 시간과 이득의 관계를 도시하는 도면이다. 1 is a diagram illustrating an electronic device 100 according to various embodiments of the present disclosure. FIG. 2 is a diagram showing a relationship between exposure time and gain of the camera 110 of FIG. 1.

도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 카메라(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. Referring to FIG. 1, the electronic device 100 according to various embodiments of the present disclosure may include a camera 110, a memory 120, and a processor 130.

카메라(110)는 영상을 촬영할 수 있다. 예를 들면, 카메라(110)는 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시 중 적어도 어느 하나를 포함할 수 있다. 다양한 실시예들에 따르면, 카메라(110)는 미리 정해지는 속성(attribute)들에 기반하여, 영상을 획득할 수 있다. 카메라(110)에서 획득되는 영상의 품질이 카메라(110)의 속성들에 따라 결정될 수 있다. 카메라(110)의 속성들은 조리개(aperture), 노출 시간(exposure time) 또는 이득(gain) 중 적어도 어느 하나를 포함할 수 있다. 조리개는 수동으로 조정되며, 이미지 센서로 들어오는 빛의 양을 결정할 수 있다. 조리개가 설정되면, 이미지 센서로 들어오는 빛의 양도 일정하게 유지될 수 있다. 노출 시간은 카메라(110)의 셔터 속도에 의해 제어될 수 있다. 예를 들면, 노출 시간이 길면 프레임 속도가 떨어지고 영상이 흐려지고 포화될 수 있으므로, 노출 시간이 중요하다. 이득은 이미지 센서의 신호 증폭을 제어할 수 있다. 예를 들면, 이득이 높을수록, 영상이 밝을 수 있다. 다만, 이득이 영상의 모든 신호를 증폭하므로, 노이즈(noise) 성분도 증폭될 수 있다. 여기서, 도 2에 도시된 바와 같이 노출 시간과 이득이 관련될 수 있다. 따라서, 노출 시간과 이득이 동시에 제어되는 것이, 여러 측면에서 유리할 수 있다. 예를 들면, 카메라(110)가 극단적인 조명 상태에 있는 경우, 이득 제어가 필수적으로 요구될 수 있다. The camera 110 may take an image. For example, the camera 110 may include at least one of one or more lenses, an image sensor, an image signal processor, or flash. According to various embodiments, the camera 110 may acquire an image based on predetermined attributes. The quality of the image acquired by the camera 110 may be determined according to the properties of the camera 110. The attributes of the camera 110 may include at least one of aperture, exposure time, or gain. The iris is manually adjusted and can determine the amount of light entering the image sensor. When the aperture is set, the amount of light entering the image sensor can also be kept constant. The exposure time can be controlled by the shutter speed of the camera 110. For example, if the exposure time is long, the frame rate may drop and the image may be blurred and saturated, so the exposure time is important. The gain can control the signal amplification of the image sensor. For example, the higher the gain, the brighter the image. However, since the gain amplifies all signals of the image, a noise component may also be amplified. Here, as shown in FIG. 2, exposure time and gain may be related. Therefore, it can be advantageous in many respects that the exposure time and gain are controlled simultaneously. For example, when the camera 110 is in an extreme lighting state, gain control may be required.

메모리(120)는 전자 장치(100)의 적어도 하나의 구성 요소에 의해 사용되는 데이터를 저장할 수 있다. 메모리(120)는 프로그램과 같은 소프트웨어 및 그와 관련된 명령에 대한 입력 데이터 또는 출력 데이터 중 적어도 어느 하나를 저장할 수 있다. 프로그램은 운영 체제, 미들웨어 또는 어플리케이션 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. The memory 120 may store data used by at least one component of the electronic device 100. The memory 120 may store at least one of input data or output data for software such as a program and instructions related thereto. The program may include at least one of an operating system, middleware, or application. For example, the memory 120 may include at least one of volatile memory and nonvolatile memory.

프로세서(130)는 프로그램에 기반하여 전자 장치(100)의 적어도 하나의 구성 요소를 제어하고, 데이터 처리 및 연산을 수행할 수 있다. 이 때 프로세서(130)는 카메라(110)의 속성들을 제어할 수 있다. 다양한 실시예들에 따르면, 프로세서(130)는 베이지안 최적화(Bayesian optimization)를 이용하여, 카메라(110)의 노출 시간과 이득을 동시에 제어할 수 있다. 프로세서(130)는 카메라(110)를 통하여 획득되는 영상에 기반하여, 카메라(110)의 노출 시간 및 이득과 관련된 메트릭(metric)을 계산하고, 메트릭을 기반으로, 노출 시간 및 이득을 제어할 수 있다. 여기서, 프로세서(130)는 이득에 따른 노이즈 성분을 이용하여, 메트릭을 계산할 수 있다. 프로세서(130)는 메트릭에 기반하여, 노출 시간과 이득의 최적값을 계산하고, 노출 시간과 이득을 최적값으로 제어할 수 있다. 예를 들면, 노이즈 성분은 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)로 결정될 수 있다. 그리고 프로세서(130)는 노출 시간과 이득의 최적값을 기반으로, 카메라(110)를 통하여 획득되는 영상으로부터 합성 영상을 생성할 수 있다. The processor 130 may control at least one component of the electronic device 100 based on a program, and perform data processing and calculation. At this time, the processor 130 may control properties of the camera 110. According to various embodiments, the processor 130 may control exposure time and gain of the camera 110 at the same time using Bayesian optimization. The processor 130 may calculate a metric related to the exposure time and gain of the camera 110 based on the image acquired through the camera 110, and control the exposure time and gain based on the metric. have. Here, the processor 130 may calculate a metric using a noise component according to the gain. The processor 130 may calculate an optimal value of the exposure time and gain based on the metric, and control the exposure time and the gain to the optimal value. For example, the noise component may be determined as a signal to noise ratio (SNR) calculated from an image. In addition, the processor 130 may generate a composite image from the image acquired through the camera 110 based on the optimal value of exposure time and gain.

다양한 실시예들에 따른 전자 장치(100)는 베이지안 최적화(Bayesian optimization)를 이용한 카메라(110) 속성 제어 장치로서, 영상을 획득하도록 구성되는 카메라(110), 및 상기 카메라(110)에 연결되고, 상기 카메라(110)를 제어하도록 구성되는 프로세서(130)를 포함할 수 있다. The electronic device 100 according to various embodiments is a camera 110 attribute control device using Bayesian optimization, and is connected to the camera 110 configured to acquire an image, and the camera 110, A processor 130 configured to control the camera 110 may be included.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라(110)의 노출 시간 및 이득과 관련된 메트릭을 계산하고, 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하도록 구성될 수 있다. According to various embodiments, the processor 130 calculates a metric related to the exposure time and gain of the camera 110 based on the noise component detected from the image, and based on the metric, the exposure It can be configured to control time and gain.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간과 관련된 제 1 메트릭을 계산하고, 상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하고, 상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하도록 구성될 수 있다. According to various embodiments, the processor 130 calculates a first metric related to the exposure time, calculates a second metric related to the gain using the noise component, and calculates the first metric and It can be configured to sum the two metrics and calculate the metric.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하고, 상기 노출 시간 및 이득을 상기 최적값으로 제어하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to predict an optimal value of the exposure time and gain based on the metric, and to control the exposure time and gain to the optimal value.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하고, 상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to derive a function related to the exposure time and gain based on the metric, and apply Bayesian optimization to the function to predict the optimal value have.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고, 상기 합성 영상들을 비교하여, 상기 최적값을 예측하도록 구성될 수 있다.According to various embodiments, the processor 130 may be configured to generate a plurality of composite images from the image, compare the composite images, and predict the optimal value in relation to the exposure time and gain have.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하고, 상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고, 상기 후보값들 중 어느 하나를 상기 최적값으로 선택하도록 구성될 수 있다. According to various embodiments, the processor 130, with respect to the exposure time and gain, estimates a plurality of candidate values, uses the candidate values, generates a plurality of composite images from the image, and the It may be configured to select any one of the candidate values as the optimal value.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라, 상기 노이즈 성분을 결정하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to determine the noise component according to a signal to noise ratio (SNR) calculated from the image.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하고, 상기 이득과 관련된 제 2 스케일링 계수를 계산하고, 상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하도록 구성될 수 있다. According to various embodiments, the processor 130 calculates a first scaling factor related to the exposure time, calculates a second scaling factor related to the gain, and calculates the first scaling factor and the second scaling factor. It can be configured to generate the composite images by applying to the images.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상의 픽셀 별로 계산하여 적용하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to calculate and apply the first scaling factor and the second scaling factor for each pixel of the image.

다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하고, 상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to derive a camera response function (CRF) based on the image and calculate the first scaling factor from the camera response function. have.

도 3은 다양한 실시예들에 따른 전자 장치(100)의 카메라 속성 제어 방법을 도시하는 도면이다. 3 is a diagram illustrating a method for controlling camera attributes of the electronic device 100 according to various embodiments.

도 3을 참조하면, 전자 장치(100)는 310 동작에서 카메라(110)를 통하여 영상을 획득할 수 있다. 카메라(110)는 미리 정해지는 속성(attribute)들에 기반하여, 영상을 획득할 수 있다. 이 때 카메라(110)는 속성들 각각에 대하여 미리 설정된 값에 따라, 영상을 획득할 수 있다. 이를 통해, 카메라(110)에서 획득되는 영상의 품질이 카메라(110)의 속성들에 따라 결정될 수 있다. 여기서, 카메라(110)의 속성들은 조리개(aperture), 노출 시간(exposure time) 또는 이득(gain) 중 적어도 어느 하나를 포함할 수 있다. Referring to FIG. 3, the electronic device 100 may acquire an image through the camera 110 in operation 310. The camera 110 may acquire an image based on predetermined attributes. At this time, the camera 110 may acquire an image according to a preset value for each of the attributes. Through this, the quality of the image acquired by the camera 110 may be determined according to the attributes of the camera 110. Here, the properties of the camera 110 may include at least one of an aperture, an exposure time, or a gain.

전자 장치(100)는 320 동작에서 카메라(110)의 속성들과 관련된 메트릭(metric)을 계산할 수 있다. 이 때 프로세서(130)가 카메라(110)에서 획득된 영상에 기반하여, 노출 시간 및 이득과 관련된 메트릭을 계산할 수 있다. 여기서, 프로세서(130)는 이득에 따른 노이즈 성분에 기반하여, 메트릭을 계산할 수 있다. 예를 들면, 노이즈 성분은 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)로 결정될 수 있다.In operation 320, the electronic device 100 may calculate a metric related to the properties of the camera 110. At this time, the processor 130 may calculate a metric related to exposure time and gain based on the image obtained from the camera 110. Here, the processor 130 may calculate a metric based on the noise component according to the gain. For example, the noise component may be determined as a signal to noise ratio (SNR) calculated from an image.

도 4는 도 3의 메트릭 계산 동작을 도시하는 도면이다. 4 is a diagram illustrating the metric calculation operation of FIG. 3.

도 4를 참조하면, 전자 장치(100)는 410 동작에서 노출 시간과 관련된 제 1 메트릭(

)을 계산할 수 있다. 여기서, 제 1 메트릭 (

)은 엔트로피 가중치 그라디언트(entropy weighted gradient; EWG)를 나타낼 수 있다. 이 때 프로세서(130)는 영상(

)의 픽셀(

)별 가중치를 적용하여, 제 1 메트릭(

)을 계산할 수 있다. 여기서, 픽셀(

)별 가중치는 각각의 픽셀(

)에 대한 노출에 따른 채도에 대응하여 결정될 수 있다. 예를 들면, 프로세서(130)는 하기 [수학식 1]과 같이 각각의 픽셀(

)에 대해 제 1 메트릭 성분(

)을 계산한 다음, 하기 [수학식 2]와 같이 N 개의 픽셀(

)들에 대한 제 1 메트릭 성분(

)들의 합으로 제 1 메트릭(

)을 계산할 수 있다. Referring to FIG. 4, the electronic device 100 displays a first metric related to the exposure time in operation 410 (

). Where the first metric (

) May represent an entropy weighted gradient (EWG). At this time, the processor 130 is an image (

) Of pixels (

By applying weight per), the first metric (

). Where pixel (

Each weight for each pixel (

) May be determined in response to saturation due to exposure to. For example, the processor 130 may include each pixel (Equation 1) (

) For the first metric component (

) Is calculated, then N pixels (

First metric component for)

The first metric ()

).

여기서,

는 그라디언트의 매그니튜드를 나타내고,

는 엔트로피를 나타내고,

는 활성화(activation) 함수를 나타내고,

는 이미지 마스크를 나타내며,

는 엔트로피 가중치를 나타낼 수 있다. here,

Denotes the magnitude of the gradient,

Denotes entropy,

Denotes an activation function,

Denotes an image mask,

Can represent the entropy weight.

전자 장치(100)는 420 동작에서 이득과 관련된 제 2 메트릭을 계산할 수 있다. 이 때 프로세서(130)는 이득에 따른 노이즈 성분을 이용하여, 제 2 메트릭을 계산할 수 있다. 예를 들면, 노이즈 성분은 영상(

)으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)로 결정될 수 있다. 신호 대 잡음비(SNR)는 픽셀들의 표준 편차값에 대한 평균값의 비율로 결정될 수 있다. 일반적으로, 이득이 낮을수록, 신호 대 잡음비(SNR)가 높고 영상의 품질이 좋을 수 있다. 산업 표준에 따르면, 32 dB는 우수한 품질로 정의되고 20 dB는 허용 가능한 품질로 정의될 수 있다. 여기서, 프로세서(130)는 기준값(

), 예컨대 허용 가능한 품질에 상응하는 기준값(

)에 대한 신호 대 잡음비(SNR)의 비율을 기반으로 가중치를 적용하여, 제 2 메트릭(

)을 계산할 수 있다. 예를 들면, 프로세서(130)는 하기 [수학식 3]과 같이 각각의 픽셀(

)에 대해 제 2 메트릭 성분(

)을 계산한 다음, 하기 [수학식 4]와 같이 N 개의 픽셀(

)들에 대한 제 2 메트릭 성분(

)들의 합으로 제 2 메트릭(

)을 계산할 수 있다.The electronic device 100 may calculate a second metric related to gain in operation 420. At this time, the processor 130 may calculate the second metric using the noise component according to the gain. For example, the noise component is an image (

) Can be determined as a signal to noise ratio (SNR). The signal-to-noise ratio (SNR) may be determined as a ratio of the average value to the standard deviation value of pixels. In general, the lower the gain, the higher the signal-to-noise ratio (SNR) and the better the quality of the image. According to industry standards, 32 dB can be defined as good quality and 20 dB can be defined as acceptable quality. Here, the processor 130 is a reference value (

), For example a reference value corresponding to an acceptable quality (

) Based on the ratio of signal to noise ratio (SNR) to the second metric (

). For example, the processor 130 may display each pixel as shown in Equation 3 below.

) For the second metric component (

) Is calculated, and then N pixels (

2nd metric component for)

) To the second metric (

).

전자 장치(100)는 430 동작에서 제 1 메트릭(

)과 제 2 메트릭(

)을 합할 수 있다. 이를 통해, 프로세서(130)가 노출 시간 및 이득과 관련된 메트릭(

)을 계산할 수 있다. 여기서, 메트릭(

)은 잡음 고려 엔트로피 가중치 그라디언트(noise-considered entropy weighted gradient; NEWG)를 나타낼 수 있다. 이 후 전자 장치(100)는 도 3으로 리턴할 수 있다. The electronic device 100 may display a first metric (

) And the second metric (

). Through this, the processor 130 can measure metrics related to exposure time and gain (

). Where metric (

) May represent a noise-considered entropy weighted gradient (NEGG). Thereafter, the electronic device 100 may return to FIG. 3.

여기서,

는 노출 시간과 이득의 관계에 따른 매개 변수를 나타낼 수 있다. 예를 들면,

는 5로 정의될 수 있다. here,

Can represent a parameter according to the relationship between exposure time and gain. For example,

Can be defined as 5.

전자 장치(100)는 330 동작에서 메트릭을 기반으로, 카메라(110)의 속성들을 제어할 수 있다. 이 때 프로세서(130)는 베이지안 최적화(Bayesian optimization)를 이용하여, 노출 시간과 이득을 동시에 제어할 수 있다. 여기서, 프로세서(130)는 메트릭에 기반하여, 노출 시간과 이득의 최적값을 계산하고, 노출 시간과 이득을 최적값으로 제어할 수 있다. 즉 프로세서(130)는 노출 시간과 이득의 미리 설정된 값을 최적값으로 변경할 수 있다. The electronic device 100 may control the properties of the camera 110 based on the metric in operation 330. In this case, the processor 130 may control exposure time and gain simultaneously using Bayesian optimization. Here, the processor 130 may calculate an optimal value of exposure time and gain based on the metric, and control the exposure time and gain to optimal values. That is, the processor 130 may change preset values of exposure time and gain to optimum values.

도 5는 도 3의 카메라 속성 제어 동작을 도시하는 도면이다. 5 is a diagram illustrating the camera attribute control operation of FIG. 3.

도 5를 참조하면, 전자 장치(100)는 510 동작에서 메트릭을 기반으로, 카메라(110)의 노출 시간 및 이득의 최적값을 예측할 수 있다. 이 때 프로세서(130)는 메트릭을 가우시안 프로세스(Gaussian process; GP)에 적용으로, 다음에 획득될 영상에 대하여, 노출 시간과 이득의 최적값을 예측할 수 있다. 예를 들면, 프로세서(130)는 고정 및 단순 커널 함수와 지수 제곱(squared exponential; SE)을 선택하고, 노출 시간과 이득에 대한 쿼리 스페이스로서 노출 시간과 이득에 대한 각각의 최소값과 최대값을 선택하여, 적용할 수 있다. 이를 통해, 프로세서(130)는 로그 가능성 최적화 기술(log-likelihood optimization technique)을 통하여, 노출 시간 및 이득의 최적값을 추정할 수 있다. Referring to FIG. 5, the electronic device 100 may predict an optimal value of the exposure time and gain of the camera 110 based on the metric in operation 510. In this case, the processor 130 may apply the metric to a Gaussian process (GP), and predict an optimal value of exposure time and gain for an image to be acquired next. For example, the processor 130 selects fixed and simple kernel functions and squared exponential (SE), and selects the minimum and maximum values for exposure time and gain, respectively, as query space for exposure time and gain. Therefore, it can be applied. Through this, the processor 130 may estimate an optimal value of exposure time and gain through a log-likelihood optimization technique.

도 6은 도 5의 최적값 예측 동작을 도시하는 도면이다. 도 7, 도 8, 도 9, 도 10 및 도 11은 도 5의 최적값 예측 동작을 설명하기 위한 도면들이다. 6 is a diagram illustrating an optimal value prediction operation of FIG. 5. 7, 8, 9, 10 and 11 are diagrams for explaining the optimal value prediction operation of FIG.

도 6을 참조하면, 전자 장치(100)는 610 동작에서 카메라(110)의 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정할 수 있다. 여기서, 프로세서(130)는, 도 7의 (a)에 도시된 바와 같이 노출 시간 및 이득과 관련하여, 후보값(빨간점)들을 결정할 수 있다. 예를 들면, 프로세서(130)는 최대 분산 획득 기능(maximum variance acquisition function)을 기반으로 하는 증분 학습을 통하여, 미리 정해진 조건에 도달할 때까지 반복적으로 후보값들을 예측할 수 있다. 이를 통해, 프로세서(130)는 도 8에 도시된 바와 같이 후보값들에 해당하는 노출 시간들을 분홍색으로 표현된 것처럼 각각 결정하고, 노출 시간들에 대한 함수 개형을 파란색으로 표현된 것처럼 결정할 수 있다. Referring to FIG. 6, the electronic device 100 may estimate a plurality of candidate values in relation to the exposure time and gain of the camera 110 in operation 610. Here, the processor 130 may determine candidate values (red dots) with respect to exposure time and gain, as shown in FIG. 7A. For example, the processor 130 may repeatedly predict candidate values until a predetermined condition is reached through incremental learning based on a maximum variance acquisition function. Through this, the processor 130 may respectively determine exposure times corresponding to the candidate values as represented in pink, as shown in FIG. 8, and determine the function modification for the exposure times as represented in blue.

전자 장치(100)는 620 동작에서 후보값들을 이용하여, 다수 개의 합성 영상들을 생성할 수 있다. 이 때 프로세서(130)는, 도 9의 (a)에 도시된 바와 같이 카메라(110)에서 획득된 영상에 기반하여, 합성 영상들을 생성할 수 있다. 예를 들면, 프로세서(130)는, 도 9의 (b)에 도시된 바와 같은 후보값들에 해당하는 노출 시간들을 이용하여, 합성 영상들을 생성할 수 있다. 여기서, 노출 시간이 길수록, 카메라(110)를 통하여 영상을 획득하는 데 소요되는 시간이 길 수 있다. 이로 인하여, 프로세서(130)는 카메라(110)를 통하여 후보값들에 각각 대응하는 영상들을 획득하지 않고, 후보값들을 이용하여 합성 영상들을 생성할 수 있다. The electronic device 100 may generate a plurality of composite images using candidate values in operation 620. At this time, the processor 130 may generate composite images based on the image obtained from the camera 110 as shown in FIG. 9 (a). For example, the processor 130 may generate composite images using exposure times corresponding to candidate values as shown in FIG. 9B. Here, the longer the exposure time, the longer it takes to acquire an image through the camera 110. For this reason, the processor 130 may generate composite images using the candidate values without acquiring images corresponding to the candidate values through the camera 110.

일 실시예에 따르면, 프로세서(130)는 비선형 전달 함수(nonlinear transfer function)를 이용하여 카메라(110)에서 획득된 영상에 대해 감마 보정을 수행함으로써, 합성 영상들을 생성할 수 있다. 이 때 각각의 합성 영상을 생성하기 위해, 프로세서(130)는 각각의 후보값을 기반으로, 노출 시간과 관련된 제 1 스케일링 계수(

)와 이득과 관련된 제 2 스케일링 계수(

)를 계산하고, 제 1 스케일링 계수(

)와 제 2 스케일링 계수(

)를 영상에 적용할 수 있다. 여기서, 프로세서(130)는 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하고, 카메라 응답 함수로부터 제 1 스케일링 계수(

)를 계산할 수 있다. 제 1 스케일링 계수(

)와 제 2 스케일링 계수(

)는 영상의 픽셀 별로 계산되어, 적용될 수 있다. 예를 들면, 프로세서(130)는 제 1 스케일링 계수(

)와 제 2 스케일링 계수(

)의 조합(

)을 영상에 곱하여 다운 샘플링함으로써, 각각의 합성 영상을 생성할 수 있다. According to an embodiment, the processor 130 may generate synthesized images by performing gamma correction on the image obtained from the camera 110 using a nonlinear transfer function. At this time, in order to generate each composite image, the processor 130 based on each candidate value, the first scaling factor related to the exposure time (

) And the second scaling factor related to the gain (

), And the first scaling factor (

) And the second scaling factor (

) Can be applied to images. Here, the processor 130 derives a camera response function (CRF) based on the image, and the first scaling factor from the camera response function (

). First scaling factor (

) And the second scaling factor (

) May be calculated and applied for each pixel of the image. For example, processor 130 may include a first scaling factor (

) And the second scaling factor (

Combination of)

) And downsampling by multiplying the images, thereby generating each composite image.

예를 들면, 프로세서(130)는 카메라 응답 함수를 이용하여, 각각의 합성 영상을 생성할 수 있다. 카메라 응답 함수가 영상 내에서 공간적으로 균일하다고 가정하면, 카메라 응답 함수가 영상으로부터 추정될 수 있다. 프로세서(130)는 하기 [수학식 6]과 같이 비선형적 관계로 표현되는 카메라 응답 함수를 도출할 수 있다. 여기서, 프로세서(130)는 하기 [수학식 7]과 같이 카메라 응답 함수를 단순화할 수 있다. 하기 [수학식 6] 및 [수학식 7]에 따르면, 카메라 응답 함수는 단조롭고 연속적인 특성을 가질 수 있다. For example, the processor 130 may generate each composite image using the camera response function. Assuming that the camera response function is spatially uniform within the image, the camera response function can be estimated from the image. The processor 130 may derive a camera response function expressed in a nonlinear relationship as shown in Equation 6 below. Here, the processor 130 may simplify the camera response function as shown in [Equation 7]. According to the following [Equation 6] and [Equation 7], the camera response function may have monotonous and continuous characteristics.

여기서,

는 픽셀 위치(

)에서 측정된 세기 레벨을 나타내고,

는 픽셀 위치(

)에서의 조사량을 나타내며,

는 노출 시간을 나타낼 수 있다. here,

Is the pixel position (

) Represents the measured intensity level,

Is the pixel position (

)

Can represent the exposure time.

이러한 카메라 응답 함수의 특성에 기반하여, 프로세서(130)는 하기 [수학식 8]과 같이 로그 형태의 역 응답 함수를 도출할 수 있다. 이를 통해, 프로세서(130)는 역 응답 함수를 이용하여, 각각의 후보값에 대응하는 노출 시간에 대해 조사량을 결정할 수 있다. 일 예로, 두 개의 노출 시간들과 관련된 역 응답 함수들은, 도 10의 (a)에 도시된 바와 같이 조도에 따라 형상이 변하도록 표현되며, 도 10의 (b)에 도시된 바와 같이 국부적인 선형 특성을 나타낼 수 있다. 이에 따라, 제 1 노출 시간(

)으로 획득된 영상, 역 응답 함수 및 제 1 노출 시간(

)과 제 2 노출 시간(

) 사이의 비율(

)을 기반으로, 하기 [수학식 9]와 같이 제 2 노출 시간(

)의 합성 영상이 결정될 수 있다. 이러한 관계를 이용하여, 프로세서(130)는 후보 노출 시간(

)에 대해 영상의 노출 시간(

)에 획득된 영상(

)의 각 픽셀에 적용할 제 1 스케일링 계수(

)를 결정할 수 있다. 여기서, 프로세서(130)는 하기 [수학식 10]과 같이 선형 비율(

)을 계산하고, 하기 [수학식 11]과 같이 선형 비율(

)을 이용하여 제 1 스케일링 계수(

)를 결정할 수 있다. 이를 통해, 조사량이 일정한 것으로 가정하면, 프로세서(130)는 합성 영상(

)의 평균 강도(

)를 예측할 수 있다. Based on the characteristics of the camera response function, the processor 130 may derive a logarithmic inverse response function as shown in [Equation 8]. Through this, the processor 130 may determine an irradiation amount for an exposure time corresponding to each candidate value using an inverse response function. As an example, the inverse response functions related to the two exposure times are represented to change shape according to the illuminance as shown in FIG. It can show characteristics. Accordingly, the first exposure time (

) Image, inverse response function and first exposure time (

) And the second exposure time (

Ratio between)

), The second exposure time (Equation 9)

) May be determined. Using this relationship, the processor 130 can display the candidate exposure time (

) For the exposure time of the image

Image obtained in)

), The first scaling factor to apply to each pixel (

). Here, the processor 130 is a linear ratio (Equation 10)

) Is calculated, and the linear ratio (

) For the first scaling factor (

). Through this, assuming that the irradiation amount is constant, the processor 130 is a composite image (

) 'S average strength (

) Can be predicted.

예를 들면, 프로세서(130)는 하기 [수학식 12]와 같은 이득에 대한 정의를 사용하여, 제 2 스케일링 계수(

)를 계산할 수 있다. 여기서, 프로세서(130)는 하기 [수학식 13]과 같이 이득에 대한 정의를 단순화할 수 있다. 이를 통해, 프로세서(130)가 제 2 스케일링 계수(

)를 이용하여, 합성 영상을 생성할 수 있다. 여기서, 도 11에 도시된 바와 같이 합성 영상의 평균 강도는 카메라(110)를 통해 실제적으로 획득되는 영상의 평균 강도와 일치할 수 있다. For example, the processor 130 may use the definition of the gain as shown in [Equation 12], and the second scaling factor (

). Here, the processor 130 can simplify the definition of the gain as shown in [Equation 13]. Through this, the processor 130 is the second scaling factor (

), It is possible to generate a composite image. Here, as shown in FIG. 11, the average intensity of the composite image may match the average intensity of the image actually acquired through the camera 110.

전자 장치(100)는 630 동작에서 합성 영상들을 비교하여, 후보값들 중 어느 하나를 최적값으로 선택할 수 있다. 여기서, 프로세서(130)는 도 7의 (b)에 도시된 바와 같이 노출 시간 및 이득과 관련하여, 후보값(빨간점)들 중 어느 하나를 최적값(파란점)으로 결정할 수 있다. 이 후 전자 장치(100)는 도 5로 리턴할 수 있다. In operation 630, the electronic device 100 compares the synthesized images and selects one of the candidate values as an optimal value. Here, the processor 130 may determine one of the candidate values (red dots) as an optimal value (blue dot) with respect to exposure time and gain, as illustrated in FIG. 7B. Thereafter, the electronic device 100 may return to FIG. 5.

전자 장치(100)는 530 동작에서 최적값에 대응하여, 카메라(110)의 노출 시간과 이득을 제어할 수 있다. 즉 프로세서(130)는 노출 시간과 이득의 미리 설정된 값을 최적값으로 변경할 수 있다. The electronic device 100 may control the exposure time and gain of the camera 110 in response to the optimum value in operation 530. That is, the processor 130 may change preset values of exposure time and gain to optimum values.

다양한 실시예들에 따른 베이지안 최적화(Bayesian optimization)를 이용한 카메라(110) 속성 제어 방법은, 카메라(110)를 통하여 획득된 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하는 동작, 및 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하는 동작을 포함할 수 있다. The camera 110 attribute control method using Bayesian optimization according to various embodiments is related to exposure time and gain of the camera based on noise components detected from an image acquired through the camera 110. And calculating an metric, and controlling the exposure time and gain based on the metric.

다양한 실시예들에 따르면, 상기 메트릭 계산 동작은, 상기 노출 시간과 관련된 제 1 메트릭을 계산하는 동작, 상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하는 동작, 및 상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하는 동작을 포함할 수 있다.According to various embodiments, the metric calculation operation includes: calculating a first metric related to the exposure time, calculating a second metric related to the gain using the noise component, and the first metric And adding the second metric to calculate the metric.

다양한 실시예들에 따르면, 상기 노출 시간 및 이득 제어 동작은, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하는 동작, 및 상기 노출 시간 및 이득을 상기 최적값으로 제어하는 동작을 포함할 수 있다. According to various embodiments, the exposure time and gain control operation may include, based on the metric, predicting an optimal value of the exposure time and gain, and controlling the exposure time and gain to the optimal value. It can contain.

다양한 실시예들에 따르면, 상기 최적값을 예측하는 동작은, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하는 동작, 및 According to various embodiments, the predicting of the optimal value may include deriving a function related to the exposure time and gain based on the metric, and

상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하는 동작을 포함할 수 있다. And applying the Bayesian optimization to the function to predict the optimal value.

다양한 실시예들에 따르면, 상기 최적값을 예측하는 동작은, 상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작, 및 상기 합성 영상들을 비교하여, 상기 최적값을 예측하는 동작을 포함할 수 있다. According to various embodiments, the operation of predicting the optimal value may be performed by generating a plurality of composite images from the image, and comparing the synthesized images with respect to the exposure time and gain, to predict the optimum value It may include the operation.

다양한 실시예들에 따르면, 상기 합성 영상들 생성 동작은, 상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하는 동작, 및 상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작을 포함하고, 상기 최적값은 상기 후보값들 중 어느 하나로 선택될 수 있다. According to various embodiments, the generating of the synthesized images may include estimating a plurality of candidate values in relation to the exposure time and gain, and generating a plurality of synthesized images from the image using the candidate values. And the optimal value may be selected from any of the candidate values.

다양한 실시예들에 따르면, 상기 노이즈 성분은 상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라 결정될 수 있다. According to various embodiments, the noise component may be determined according to a signal to noise ratio (SNR) calculated from the image.

다양한 실시예들에 따르면, 상기 합성 영상들 생성 동작은, 상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하는 동작, 상기 이득과 관련된 제 2 스케일링 계수를 계산하는 동작, 및 상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하는 동작을 포함할 수 있다. According to various embodiments, the operation of generating the synthesized images may include calculating a first scaling factor related to the exposure time, calculating a second scaling factor related to the gain, and the first scaling factor and the first scaling factor. And applying the scaling factor to the image to generate the composite images.

다양한 실시예들에 따르면, 상기 제 1 스케일링 계수와 제 2 스케일링 계수는 상기 영상의 픽셀 별로 계산되어 적용될 수 있다. According to various embodiments, the first scaling factor and the second scaling factor may be calculated and applied for each pixel of the image.

다양한 실시예들에 따르면, 상기 제 1 스케일링 계수 계산 동작은, 상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하는 동작, 및 상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하는 동작을 포함할 수 있다. According to various embodiments, the first scaling factor calculation operation may include deriving a camera response function (CRF) based on the image, and calculating the first scaling factor from the camera response function. It may include the operation.

다양한 실시예들 따르면, 카메라(110)의 노출 시간과 이득이 동시에 제어될 수 있다. 즉 전자 장치(100)가 노출 시간과 이득의 관련성을 고려하여, 카메라(110)의 노출 시간과 이득을 제어할 수 있다. 아울러, 카메라(110)의 이득에 따른 노이즈 성분이 효과적으로 보상될 수 있다. 이를 검증하기 위해, 하기 [표 1]과 같은 조명 조건이 고려될 수 있다. 이러한 조명 조건 하에서, 이득에 따른 노이즈 성분을 고려하지 않는 경우, 도 12의 (a), (b) 및 (c)에 도시된 바와 같이 노출 시간 및 이득과 관련된 메트릭이 검출될 수 있다. 한편, 이득에 따른 노이즈 성분을 고려하는 경우, 도 12의 (d), (e) 및 (f)에 도시된 바와 같이 노출 시간 및 이득과 관련된 메트릭이 검출될 수 있다. 이들을 비교하면, 노이즈 성분을 고려하여 검출된 메트릭을 기반으로 카메라(110)의 노출 시간과 이득을 제어함으로써, 어두운 환경에서도 노이즈 성분이 효과적으로 보상될 수 있다. 이에 따라, 카메라(110)의 동작 효율성이 보다 향상될 수 있다. According to various embodiments, the exposure time and gain of the camera 110 may be simultaneously controlled. That is, the electronic device 100 may control the exposure time and the gain of the camera 110 in consideration of the relationship between the exposure time and the gain. In addition, noise components according to the gain of the camera 110 can be effectively compensated. To verify this, lighting conditions as shown in Table 1 below may be considered. Under such lighting conditions, when the noise component according to the gain is not considered, metrics related to exposure time and gain may be detected as shown in FIGS. 12A, 12B, and 12C. On the other hand, when considering the noise component according to the gain, as shown in (d), (e) and (f) of FIG. 12, metrics related to exposure time and gain may be detected. By comparing them, the noise component can be effectively compensated even in a dark environment by controlling the exposure time and gain of the camera 110 based on the detected metric in consideration of the noise component. Accordingly, the operation efficiency of the camera 110 can be further improved.

본 문서의 다양한 실시예들에 관해 설명되었으나, 본 문서의 다양한 실시예들의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 문서의 다양한 실시예들의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. Although various embodiments of the present document have been described, various modifications are possible without departing from the scope of the various embodiments of the present document. Therefore, the scope of various embodiments of the present document should not be limited to the described embodiments, but should be defined not only by the scope of the claims described below, but also by the scope and equivalents of the claims.

Claims

베이지안 최적화(Bayesian optimization)를 이용한 카메라 속성 제어 방법에 있어서,
카메라를 통하여 획득된 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하는 동작; 및
상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하는 동작을 포함하는 방법.
In the camera attribute control method using Bayesian optimization (Bayesian optimization),
Calculating metrics related to exposure time and gain of the camera based on noise components detected from an image acquired through the camera; And
Based on the metric, controlling the exposure time and gain.

제 1 항에 있어서, 상기 메트릭 계산 동작은,
상기 노출 시간과 관련된 제 1 메트릭을 계산하는 동작;
상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하는 동작; 및
상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하는 동작을 포함하는 방법.
According to claim 1, The metric calculation operation,
Calculating a first metric related to the exposure time;
Calculating a second metric related to the gain using the noise component; And
And calculating the metric by adding the first metric and the second metric.

제 1 항에 있어서, 상기 노출 시간 및 이득 제어 동작은,
상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하는 동작; 및
상기 노출 시간 및 이득을 상기 최적값으로 제어하는 동작을 포함하는 방법.
According to claim 1, The exposure time and gain control operation,
Predicting an optimal value of the exposure time and gain based on the metric; And
And controlling the exposure time and gain to the optimum value.

제 3 항에 있어서, 상기 최적값을 예측하는 동작은,
상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하는 동작; 및
상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하는 동작을 포함하는 방법.
The method of claim 3, wherein the predicting the optimal value comprises:
Deriving a function related to the exposure time and gain based on the metric; And
And applying the Bayesian optimization to the function to predict the optimal value.

제 3 항에 있어서, 상기 최적값을 예측하는 동작은,
상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작; 및
상기 합성 영상들을 비교하여, 상기 최적값을 예측하는 동작을 포함하는 방법.
The method of claim 3, wherein the predicting the optimal value comprises:
Generating a plurality of composite images from the image in relation to the exposure time and gain; And
And comparing the synthesized images to predict the optimal value.

제 5 항에 있어서, 상기 합성 영상들 생성 동작은,
상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하는 동작; 및
상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작을 포함하고,
상기 최적값은 상기 후보값들 중 어느 하나로 선택되는 방법.
The method of claim 5, wherein the generating of the synthesized images comprises:
Estimating a plurality of candidate values with respect to the exposure time and gain; And
And generating a plurality of composite images from the image using the candidate values,
The optimal value is selected as one of the candidate values.

제 1 항에 있어서,
상기 노이즈 성분은 상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라 결정되는 방법.
According to claim 1,
The noise component is determined according to a signal to noise ratio (SNR) calculated from the image.

제 5 항에 있어서, 상기 합성 영상들 생성 동작은,
상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하는 동작;
상기 이득과 관련된 제 2 스케일링 계수를 계산하는 동작; 및
상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하는 동작을 포함하는 방법.
The method of claim 5, wherein the generating of the synthesized images comprises:
Calculating a first scaling factor related to the exposure time;
Calculating a second scaling factor associated with the gain; And
And applying the first scaling factor and the second scaling factor to the image to generate the composite images.

제 8 항에 있어서,
상기 제 1 스케일링 계수와 제 2 스케일링 계수는 상기 영상의 픽셀 별로 계산되어 적용되는 방법.
The method of claim 8,
The first scaling factor and the second scaling factor are calculated and applied for each pixel of the image.

제 8 항에 있어서, 상기 제 1 스케일링 계수 계산 동작은,
상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하는 동작; 및
상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하는 동작을 포함하는 방법.
The method of claim 8, wherein the first scaling factor calculation operation,
Deriving a camera response function (CRF) based on the image; And
And calculating the first scaling factor from the camera response function.

베이지안 최적화(Bayesian optimization)를 이용한 카메라 속성 제어 장치에 있어서,
영상을 획득하도록 구성되는 카메라; 및
상기 카메라에 연결되고, 상기 카메라를 제어하도록 구성되는 프로세서를 포함하며,
상기 프로세서는,
상기 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하고,
상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하도록 구성되는 장치.
In the camera attribute control device using Bayesian optimization (Bayesian optimization),
A camera configured to acquire an image; And
And a processor connected to the camera and configured to control the camera,
The processor,
Based on the noise component detected from the image, a metric related to the exposure time and gain of the camera is calculated,
A device configured to control the exposure time and gain based on the metric.

제 11 항에 있어서, 상기 프로세서는,
상기 노출 시간과 관련된 제 1 메트릭을 계산하고,
상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하고,
상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하도록 구성되는 장치.
The method of claim 11, wherein the processor,
Calculate a first metric related to the exposure time,
Calculating a second metric related to the gain using the noise component,
And configured to calculate the metric by adding the first metric and the second metric.

제 11 항에 있어서, 상기 프로세서는,
상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하고,
상기 노출 시간 및 이득을 상기 최적값으로 제어하도록 구성되는 장치.
The method of claim 11, wherein the processor,
Based on the metric, predict the optimum value of the exposure time and gain,
And an apparatus configured to control the exposure time and gain to the optimum value.

제 13 항에 있어서, 상기 프로세서는,
상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하고,
상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하도록 구성되는 장치.
The method of claim 13, wherein the processor,
Based on the metric, derive a function related to the exposure time and gain,
And a device configured to predict the optimal value by applying Bayesian optimization to the function.

제 13 항에 있어서, 상기 프로세서는,
상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고,
상기 합성 영상들을 비교하여, 상기 최적값을 예측하도록 구성되는 장치.
The method of claim 13, wherein the processor,
Regarding the exposure time and gain, a plurality of composite images are generated from the image,
And configured to predict the optimal value by comparing the composite images.

제 15 항에 있어서, 상기 프로세서는,
상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하고,
상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고,
상기 후보값들 중 어느 하나를 상기 최적값으로 선택하도록 구성되는 장치.
The method of claim 15, wherein the processor,
With respect to the exposure time and gain, estimate a plurality of candidate values,
Using the candidate values, a plurality of composite images are generated from the image,
And an apparatus configured to select any one of the candidate values as the optimal value.

제 11 항에 있어서, 상기 프로세서는,
상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라, 상기 노이즈 성분을 결정하도록 구성되는 장치.
The method of claim 11, wherein the processor,
And an apparatus configured to determine the noise component according to a signal to noise ratio (SNR) calculated from the image.

제 15 항에 있어서, 상기 프로세서는,
상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하고,
상기 이득과 관련된 제 2 스케일링 계수를 계산하고,
상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하도록 구성되는 장치.
The method of claim 15, wherein the processor,
Calculate a first scaling factor related to the exposure time,
Calculate a second scaling factor related to the gain,
And configured to generate the composite images by applying the first scaling factor and the second scaling factor to the image.

제 18 항에 있어서, 상기 프로세서는,
상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상의 픽셀 별로 계산하여 적용하도록 구성되는 장치.
The method of claim 18, wherein the processor,
And configured to calculate and apply the first scaling factor and the second scaling factor for each pixel of the image.

제 13 항에 있어서, 상기 프로세서는,
상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하고,
상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하도록 구성되는 장치. The method of claim 13, wherein the processor,
Based on the image, a camera response function (CRF) is derived,
And an apparatus configured to calculate the first scaling factor from the camera response function.