KR102105787B1 - Apparatus and method for controlling camera attribute using bayesian optimization - Google Patents
Apparatus and method for controlling camera attribute using bayesian optimization Download PDFInfo
- Publication number
- KR102105787B1 KR102105787B1 KR1020190010600A KR20190010600A KR102105787B1 KR 102105787 B1 KR102105787 B1 KR 102105787B1 KR 1020190010600 A KR1020190010600 A KR 1020190010600A KR 20190010600 A KR20190010600 A KR 20190010600A KR 102105787 B1 KR102105787 B1 KR 102105787B1
- Authority
- KR
- South Korea
- Prior art keywords
- gain
- exposure time
- metric
- camera
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H04N5/2352—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
다양한 실시예들은 베이지안 최적화를 이용하여 카메라의 속성을 제어하기 위한 방법 및 장치에 관한 것으로, 특히 이득에 따른 노이즈 성분을 고려하여, 카메라의 노출 시간과 이득을 제어하기 위한 장치 및 방법에 관한 것이다. Various embodiments relate to a method and apparatus for controlling properties of a camera using Bayesian optimization, and more particularly, to an apparatus and method for controlling exposure time and gain of a camera, considering noise components according to gain.
일반적으로 카메라는 미리 정해지는 속성(attribute)들에 기반하여, 영상을 획득할 수 있다. 카메라에서 획득되는 영상의 품질이 카메라의 속성들에 따라 결정될 수 있다. 카메라의 속성들은 조리개(aperture), 노출 시간(exposure time) 또는 이득(gain) 중 적어도 어느 하나를 포함할 수 있다. 이 때 노출 시간과 이득은 상호 관련될 수 있다. 따라서, 노출 시간과 이득이 동시에 제어되는 것이, 여러 측면에서 유리할 수 있다.In general, the camera may acquire an image based on predetermined attributes. The quality of the image acquired by the camera may be determined according to the properties of the camera. The properties of the camera may include at least one of aperture, exposure time, or gain. At this time, the exposure time and the gain can be correlated. Therefore, it can be advantageous in many respects that the exposure time and gain are controlled simultaneously.
그런데, 상기와 같은 카메라를 위해, 노출 시간과 이득은 별개로 처리될 뿐이다. 즉 카메라의 노출 시간과 이득을 각각 제어하는 데 있어서, 노출 시간과 이득의 관련성이 고려될 수 없다. 따라서, 카메라의 노출 시간과 이득을 동시에 제어할 수 있는 방안이 요구된다. However, for such a camera, the exposure time and gain are only handled separately. That is, in controlling the exposure time and the gain of the camera respectively, the relationship between the exposure time and the gain cannot be considered. Therefore, there is a need for a method that can simultaneously control the exposure time and gain of the camera.
다양한 실시예들에 따른 베이지안 최적화를 이용한 카메라 속성 제어 방법은, 카메라를 통하여 획득된 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하는 동작, 및 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하는 동작을 포함할 수 있다. A camera property control method using Bayesian optimization according to various embodiments of the present disclosure includes calculating an metric related to exposure time and gain of the camera based on noise components detected from an image acquired through the camera, and calculating the metric. Based on this, it may include the operation of controlling the exposure time and gain.
다양한 실시예들에 따른 베이지안 최적화를 이용한 카메라 속성 제어 장치는, 영상을 획득하도록 구성되는 카메라, 및 상기 카메라에 연결되고, 상기 카메라를 제어하도록 구성되는 프로세서를 포함하며, 상기 프로세서는, 상기 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하고, 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하도록 구성될 수 있다. A camera attribute control apparatus using Bayesian optimization according to various embodiments includes a camera configured to acquire an image, and a processor connected to the camera and configured to control the camera, wherein the processor comprises: It may be configured to calculate a metric related to the exposure time and gain of the camera based on the detected noise component, and to control the exposure time and gain based on the metric.
다양한 실시예들에 따르면, 카메라의 노출 시간과 이득이 동시에 제어될 수 있다. 즉 전자 장치가 노출 시간과 이득의 관련성을 고려하여, 카메라의 노출 시간과 이득을 제어할 수 있다. 아울러, 카메라의 이득에 따른 노이즈 성분이 효과적으로 보상될 수 있다. 이에 따라, 카메라의 동작 효율성이 보다 향상될 수 있다. According to various embodiments, the exposure time and gain of the camera can be controlled simultaneously. That is, the electronic device may control the exposure time and gain of the camera in consideration of the relationship between exposure time and gain. In addition, noise components according to the gain of the camera can be effectively compensated. Accordingly, the operation efficiency of the camera can be further improved.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2는 도 1의 카메라의 노출 시간과 이득의 관계를 도시하는 도면이다.
도 3은 다양한 실시예들에 따른 전자 장치의 카메라 속성 제어 방법을 도시하는 도면이다.
도 4는 도 3의 메트릭 계산 동작을 도시하는 도면이다.
도 5는 도 3의 카메라 속성 제어 동작을 도시하는 도면이다.
도 6은 도 5의 최적값 예측 동작을 도시하는 도면이다.
도 7, 도 8, 도 9, 도 10 및 도 11은 도 5의 최적값 예측 동작을 설명하기 위한 도면들이다.
도 12는 다양한 실시예들에 따른 카메라 속성 제어에 따른 효과를 설명하기 위한 도면이다. 1 is a diagram illustrating an electronic device according to various embodiments of the present disclosure.
FIG. 2 is a diagram showing the relationship between exposure time and gain of the camera of FIG. 1.
3 is a diagram illustrating a method for controlling camera properties of an electronic device according to various embodiments of the present disclosure.
4 is a diagram illustrating the metric calculation operation of FIG. 3.
5 is a diagram illustrating the camera attribute control operation of FIG. 3.
6 is a diagram illustrating an optimal value prediction operation of FIG. 5.
7, 8, 9, 10 and 11 are diagrams for explaining the optimal value prediction operation of FIG.
12 is a view for explaining the effect of controlling camera attributes according to various embodiments.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다. Hereinafter, various embodiments of the document will be described with reference to the accompanying drawings.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.It should be understood that the various embodiments of the document and the terms used therein are not intended to limit the technology described in this document to specific embodiments, and include various modifications, equivalents, and / or substitutes of the embodiments. In connection with the description of the drawings, similar reference numerals may be used for similar components. Singular expressions may include plural expressions unless the context clearly indicates otherwise. In this document, expressions such as "A or B", "at least one of A and / or B", "A, B or C" or "at least one of A, B and / or C", etc. are all of the items listed together. Possible combinations may be included. Expressions such as "first", "second", "first" or "second" can modify the corresponding components regardless of order or importance, and are used only to distinguish one component from another component The components are not limited. When it is stated that one (eg, first) component is “connected (functionally or communicatively)” to another (eg, second) component or is “connected,” the component is the other It may be directly connected to the component, or may be connected through another component (eg, the third component).
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다. As used herein, the term "module" includes units composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits. The module may be an integrally configured component or a minimum unit that performs one or more functions or a part thereof. For example, the module can be configured with an application-specific integrated circuit (ASIC).
도 1은 다양한 실시예들에 따른 전자 장치(100)를 도시하는 도면이다. 도 2는 도 1의 카메라(110)의 노출 시간과 이득의 관계를 도시하는 도면이다. 1 is a diagram illustrating an
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 카메라(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. Referring to FIG. 1, the
카메라(110)는 영상을 촬영할 수 있다. 예를 들면, 카메라(110)는 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시 중 적어도 어느 하나를 포함할 수 있다. 다양한 실시예들에 따르면, 카메라(110)는 미리 정해지는 속성(attribute)들에 기반하여, 영상을 획득할 수 있다. 카메라(110)에서 획득되는 영상의 품질이 카메라(110)의 속성들에 따라 결정될 수 있다. 카메라(110)의 속성들은 조리개(aperture), 노출 시간(exposure time) 또는 이득(gain) 중 적어도 어느 하나를 포함할 수 있다. 조리개는 수동으로 조정되며, 이미지 센서로 들어오는 빛의 양을 결정할 수 있다. 조리개가 설정되면, 이미지 센서로 들어오는 빛의 양도 일정하게 유지될 수 있다. 노출 시간은 카메라(110)의 셔터 속도에 의해 제어될 수 있다. 예를 들면, 노출 시간이 길면 프레임 속도가 떨어지고 영상이 흐려지고 포화될 수 있으므로, 노출 시간이 중요하다. 이득은 이미지 센서의 신호 증폭을 제어할 수 있다. 예를 들면, 이득이 높을수록, 영상이 밝을 수 있다. 다만, 이득이 영상의 모든 신호를 증폭하므로, 노이즈(noise) 성분도 증폭될 수 있다. 여기서, 도 2에 도시된 바와 같이 노출 시간과 이득이 관련될 수 있다. 따라서, 노출 시간과 이득이 동시에 제어되는 것이, 여러 측면에서 유리할 수 있다. 예를 들면, 카메라(110)가 극단적인 조명 상태에 있는 경우, 이득 제어가 필수적으로 요구될 수 있다. The
메모리(120)는 전자 장치(100)의 적어도 하나의 구성 요소에 의해 사용되는 데이터를 저장할 수 있다. 메모리(120)는 프로그램과 같은 소프트웨어 및 그와 관련된 명령에 대한 입력 데이터 또는 출력 데이터 중 적어도 어느 하나를 저장할 수 있다. 프로그램은 운영 체제, 미들웨어 또는 어플리케이션 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. The
프로세서(130)는 프로그램에 기반하여 전자 장치(100)의 적어도 하나의 구성 요소를 제어하고, 데이터 처리 및 연산을 수행할 수 있다. 이 때 프로세서(130)는 카메라(110)의 속성들을 제어할 수 있다. 다양한 실시예들에 따르면, 프로세서(130)는 베이지안 최적화(Bayesian optimization)를 이용하여, 카메라(110)의 노출 시간과 이득을 동시에 제어할 수 있다. 프로세서(130)는 카메라(110)를 통하여 획득되는 영상에 기반하여, 카메라(110)의 노출 시간 및 이득과 관련된 메트릭(metric)을 계산하고, 메트릭을 기반으로, 노출 시간 및 이득을 제어할 수 있다. 여기서, 프로세서(130)는 이득에 따른 노이즈 성분을 이용하여, 메트릭을 계산할 수 있다. 프로세서(130)는 메트릭에 기반하여, 노출 시간과 이득의 최적값을 계산하고, 노출 시간과 이득을 최적값으로 제어할 수 있다. 예를 들면, 노이즈 성분은 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)로 결정될 수 있다. 그리고 프로세서(130)는 노출 시간과 이득의 최적값을 기반으로, 카메라(110)를 통하여 획득되는 영상으로부터 합성 영상을 생성할 수 있다. The processor 130 may control at least one component of the
다양한 실시예들에 따른 전자 장치(100)는 베이지안 최적화(Bayesian optimization)를 이용한 카메라(110) 속성 제어 장치로서, 영상을 획득하도록 구성되는 카메라(110), 및 상기 카메라(110)에 연결되고, 상기 카메라(110)를 제어하도록 구성되는 프로세서(130)를 포함할 수 있다. The
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라(110)의 노출 시간 및 이득과 관련된 메트릭을 계산하고, 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하도록 구성될 수 있다. According to various embodiments, the processor 130 calculates a metric related to the exposure time and gain of the
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간과 관련된 제 1 메트릭을 계산하고, 상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하고, 상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하도록 구성될 수 있다. According to various embodiments, the processor 130 calculates a first metric related to the exposure time, calculates a second metric related to the gain using the noise component, and calculates the first metric and It can be configured to sum the two metrics and calculate the metric.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하고, 상기 노출 시간 및 이득을 상기 최적값으로 제어하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to predict an optimal value of the exposure time and gain based on the metric, and to control the exposure time and gain to the optimal value.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하고, 상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to derive a function related to the exposure time and gain based on the metric, and apply Bayesian optimization to the function to predict the optimal value have.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고, 상기 합성 영상들을 비교하여, 상기 최적값을 예측하도록 구성될 수 있다.According to various embodiments, the processor 130 may be configured to generate a plurality of composite images from the image, compare the composite images, and predict the optimal value in relation to the exposure time and gain have.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하고, 상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고, 상기 후보값들 중 어느 하나를 상기 최적값으로 선택하도록 구성될 수 있다. According to various embodiments, the processor 130, with respect to the exposure time and gain, estimates a plurality of candidate values, uses the candidate values, generates a plurality of composite images from the image, and the It may be configured to select any one of the candidate values as the optimal value.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라, 상기 노이즈 성분을 결정하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to determine the noise component according to a signal to noise ratio (SNR) calculated from the image.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하고, 상기 이득과 관련된 제 2 스케일링 계수를 계산하고, 상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하도록 구성될 수 있다. According to various embodiments, the processor 130 calculates a first scaling factor related to the exposure time, calculates a second scaling factor related to the gain, and calculates the first scaling factor and the second scaling factor. It can be configured to generate the composite images by applying to the images.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상의 픽셀 별로 계산하여 적용하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to calculate and apply the first scaling factor and the second scaling factor for each pixel of the image.
다양한 실시예들에 따르면, 상기 프로세서(130)는, 상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하고, 상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하도록 구성될 수 있다. According to various embodiments, the processor 130 may be configured to derive a camera response function (CRF) based on the image and calculate the first scaling factor from the camera response function. have.
도 3은 다양한 실시예들에 따른 전자 장치(100)의 카메라 속성 제어 방법을 도시하는 도면이다. 3 is a diagram illustrating a method for controlling camera attributes of the
도 3을 참조하면, 전자 장치(100)는 310 동작에서 카메라(110)를 통하여 영상을 획득할 수 있다. 카메라(110)는 미리 정해지는 속성(attribute)들에 기반하여, 영상을 획득할 수 있다. 이 때 카메라(110)는 속성들 각각에 대하여 미리 설정된 값에 따라, 영상을 획득할 수 있다. 이를 통해, 카메라(110)에서 획득되는 영상의 품질이 카메라(110)의 속성들에 따라 결정될 수 있다. 여기서, 카메라(110)의 속성들은 조리개(aperture), 노출 시간(exposure time) 또는 이득(gain) 중 적어도 어느 하나를 포함할 수 있다. Referring to FIG. 3, the
전자 장치(100)는 320 동작에서 카메라(110)의 속성들과 관련된 메트릭(metric)을 계산할 수 있다. 이 때 프로세서(130)가 카메라(110)에서 획득된 영상에 기반하여, 노출 시간 및 이득과 관련된 메트릭을 계산할 수 있다. 여기서, 프로세서(130)는 이득에 따른 노이즈 성분에 기반하여, 메트릭을 계산할 수 있다. 예를 들면, 노이즈 성분은 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)로 결정될 수 있다.In
도 4는 도 3의 메트릭 계산 동작을 도시하는 도면이다. 4 is a diagram illustrating the metric calculation operation of FIG. 3.
도 4를 참조하면, 전자 장치(100)는 410 동작에서 노출 시간과 관련된 제 1 메트릭()을 계산할 수 있다. 여기서, 제 1 메트릭 ()은 엔트로피 가중치 그라디언트(entropy weighted gradient; EWG)를 나타낼 수 있다. 이 때 프로세서(130)는 영상()의 픽셀()별 가중치를 적용하여, 제 1 메트릭()을 계산할 수 있다. 여기서, 픽셀()별 가중치는 각각의 픽셀()에 대한 노출에 따른 채도에 대응하여 결정될 수 있다. 예를 들면, 프로세서(130)는 하기 [수학식 1]과 같이 각각의 픽셀()에 대해 제 1 메트릭 성분()을 계산한 다음, 하기 [수학식 2]와 같이 N 개의 픽셀()들에 대한 제 1 메트릭 성분()들의 합으로 제 1 메트릭()을 계산할 수 있다. Referring to FIG. 4, the
여기서, 는 그라디언트의 매그니튜드를 나타내고, 는 엔트로피를 나타내고, 는 활성화(activation) 함수를 나타내고, 는 이미지 마스크를 나타내며, 는 엔트로피 가중치를 나타낼 수 있다. here, Denotes the magnitude of the gradient, Denotes entropy, Denotes an activation function, Denotes an image mask, Can represent the entropy weight.
전자 장치(100)는 420 동작에서 이득과 관련된 제 2 메트릭을 계산할 수 있다. 이 때 프로세서(130)는 이득에 따른 노이즈 성분을 이용하여, 제 2 메트릭을 계산할 수 있다. 예를 들면, 노이즈 성분은 영상()으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)로 결정될 수 있다. 신호 대 잡음비(SNR)는 픽셀들의 표준 편차값에 대한 평균값의 비율로 결정될 수 있다. 일반적으로, 이득이 낮을수록, 신호 대 잡음비(SNR)가 높고 영상의 품질이 좋을 수 있다. 산업 표준에 따르면, 32 dB는 우수한 품질로 정의되고 20 dB는 허용 가능한 품질로 정의될 수 있다. 여기서, 프로세서(130)는 기준값(), 예컨대 허용 가능한 품질에 상응하는 기준값()에 대한 신호 대 잡음비(SNR)의 비율을 기반으로 가중치를 적용하여, 제 2 메트릭()을 계산할 수 있다. 예를 들면, 프로세서(130)는 하기 [수학식 3]과 같이 각각의 픽셀()에 대해 제 2 메트릭 성분()을 계산한 다음, 하기 [수학식 4]와 같이 N 개의 픽셀()들에 대한 제 2 메트릭 성분()들의 합으로 제 2 메트릭()을 계산할 수 있다.The
전자 장치(100)는 430 동작에서 제 1 메트릭()과 제 2 메트릭()을 합할 수 있다. 이를 통해, 프로세서(130)가 노출 시간 및 이득과 관련된 메트릭()을 계산할 수 있다. 여기서, 메트릭()은 잡음 고려 엔트로피 가중치 그라디언트(noise-considered entropy weighted gradient; NEWG)를 나타낼 수 있다. 이 후 전자 장치(100)는 도 3으로 리턴할 수 있다. The
여기서, 는 노출 시간과 이득의 관계에 따른 매개 변수를 나타낼 수 있다. 예를 들면, 는 5로 정의될 수 있다. here, Can represent a parameter according to the relationship between exposure time and gain. For example, Can be defined as 5.
전자 장치(100)는 330 동작에서 메트릭을 기반으로, 카메라(110)의 속성들을 제어할 수 있다. 이 때 프로세서(130)는 베이지안 최적화(Bayesian optimization)를 이용하여, 노출 시간과 이득을 동시에 제어할 수 있다. 여기서, 프로세서(130)는 메트릭에 기반하여, 노출 시간과 이득의 최적값을 계산하고, 노출 시간과 이득을 최적값으로 제어할 수 있다. 즉 프로세서(130)는 노출 시간과 이득의 미리 설정된 값을 최적값으로 변경할 수 있다. The
도 5는 도 3의 카메라 속성 제어 동작을 도시하는 도면이다. 5 is a diagram illustrating the camera attribute control operation of FIG. 3.
도 5를 참조하면, 전자 장치(100)는 510 동작에서 메트릭을 기반으로, 카메라(110)의 노출 시간 및 이득의 최적값을 예측할 수 있다. 이 때 프로세서(130)는 메트릭을 가우시안 프로세스(Gaussian process; GP)에 적용으로, 다음에 획득될 영상에 대하여, 노출 시간과 이득의 최적값을 예측할 수 있다. 예를 들면, 프로세서(130)는 고정 및 단순 커널 함수와 지수 제곱(squared exponential; SE)을 선택하고, 노출 시간과 이득에 대한 쿼리 스페이스로서 노출 시간과 이득에 대한 각각의 최소값과 최대값을 선택하여, 적용할 수 있다. 이를 통해, 프로세서(130)는 로그 가능성 최적화 기술(log-likelihood optimization technique)을 통하여, 노출 시간 및 이득의 최적값을 추정할 수 있다. Referring to FIG. 5, the
도 6은 도 5의 최적값 예측 동작을 도시하는 도면이다. 도 7, 도 8, 도 9, 도 10 및 도 11은 도 5의 최적값 예측 동작을 설명하기 위한 도면들이다. 6 is a diagram illustrating an optimal value prediction operation of FIG. 5. 7, 8, 9, 10 and 11 are diagrams for explaining the optimal value prediction operation of FIG.
도 6을 참조하면, 전자 장치(100)는 610 동작에서 카메라(110)의 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정할 수 있다. 여기서, 프로세서(130)는, 도 7의 (a)에 도시된 바와 같이 노출 시간 및 이득과 관련하여, 후보값(빨간점)들을 결정할 수 있다. 예를 들면, 프로세서(130)는 최대 분산 획득 기능(maximum variance acquisition function)을 기반으로 하는 증분 학습을 통하여, 미리 정해진 조건에 도달할 때까지 반복적으로 후보값들을 예측할 수 있다. 이를 통해, 프로세서(130)는 도 8에 도시된 바와 같이 후보값들에 해당하는 노출 시간들을 분홍색으로 표현된 것처럼 각각 결정하고, 노출 시간들에 대한 함수 개형을 파란색으로 표현된 것처럼 결정할 수 있다. Referring to FIG. 6, the
전자 장치(100)는 620 동작에서 후보값들을 이용하여, 다수 개의 합성 영상들을 생성할 수 있다. 이 때 프로세서(130)는, 도 9의 (a)에 도시된 바와 같이 카메라(110)에서 획득된 영상에 기반하여, 합성 영상들을 생성할 수 있다. 예를 들면, 프로세서(130)는, 도 9의 (b)에 도시된 바와 같은 후보값들에 해당하는 노출 시간들을 이용하여, 합성 영상들을 생성할 수 있다. 여기서, 노출 시간이 길수록, 카메라(110)를 통하여 영상을 획득하는 데 소요되는 시간이 길 수 있다. 이로 인하여, 프로세서(130)는 카메라(110)를 통하여 후보값들에 각각 대응하는 영상들을 획득하지 않고, 후보값들을 이용하여 합성 영상들을 생성할 수 있다. The
일 실시예에 따르면, 프로세서(130)는 비선형 전달 함수(nonlinear transfer function)를 이용하여 카메라(110)에서 획득된 영상에 대해 감마 보정을 수행함으로써, 합성 영상들을 생성할 수 있다. 이 때 각각의 합성 영상을 생성하기 위해, 프로세서(130)는 각각의 후보값을 기반으로, 노출 시간과 관련된 제 1 스케일링 계수()와 이득과 관련된 제 2 스케일링 계수()를 계산하고, 제 1 스케일링 계수()와 제 2 스케일링 계수()를 영상에 적용할 수 있다. 여기서, 프로세서(130)는 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하고, 카메라 응답 함수로부터 제 1 스케일링 계수()를 계산할 수 있다. 제 1 스케일링 계수()와 제 2 스케일링 계수()는 영상의 픽셀 별로 계산되어, 적용될 수 있다. 예를 들면, 프로세서(130)는 제 1 스케일링 계수()와 제 2 스케일링 계수()의 조합()을 영상에 곱하여 다운 샘플링함으로써, 각각의 합성 영상을 생성할 수 있다. According to an embodiment, the processor 130 may generate synthesized images by performing gamma correction on the image obtained from the
예를 들면, 프로세서(130)는 카메라 응답 함수를 이용하여, 각각의 합성 영상을 생성할 수 있다. 카메라 응답 함수가 영상 내에서 공간적으로 균일하다고 가정하면, 카메라 응답 함수가 영상으로부터 추정될 수 있다. 프로세서(130)는 하기 [수학식 6]과 같이 비선형적 관계로 표현되는 카메라 응답 함수를 도출할 수 있다. 여기서, 프로세서(130)는 하기 [수학식 7]과 같이 카메라 응답 함수를 단순화할 수 있다. 하기 [수학식 6] 및 [수학식 7]에 따르면, 카메라 응답 함수는 단조롭고 연속적인 특성을 가질 수 있다. For example, the processor 130 may generate each composite image using the camera response function. Assuming that the camera response function is spatially uniform within the image, the camera response function can be estimated from the image. The processor 130 may derive a camera response function expressed in a nonlinear relationship as shown in
여기서, 는 픽셀 위치()에서 측정된 세기 레벨을 나타내고, 는 픽셀 위치()에서의 조사량을 나타내며, 는 노출 시간을 나타낼 수 있다. here, Is the pixel position ( ) Represents the measured intensity level, Is the pixel position ( ) Can represent the exposure time.
이러한 카메라 응답 함수의 특성에 기반하여, 프로세서(130)는 하기 [수학식 8]과 같이 로그 형태의 역 응답 함수를 도출할 수 있다. 이를 통해, 프로세서(130)는 역 응답 함수를 이용하여, 각각의 후보값에 대응하는 노출 시간에 대해 조사량을 결정할 수 있다. 일 예로, 두 개의 노출 시간들과 관련된 역 응답 함수들은, 도 10의 (a)에 도시된 바와 같이 조도에 따라 형상이 변하도록 표현되며, 도 10의 (b)에 도시된 바와 같이 국부적인 선형 특성을 나타낼 수 있다. 이에 따라, 제 1 노출 시간()으로 획득된 영상, 역 응답 함수 및 제 1 노출 시간()과 제 2 노출 시간() 사이의 비율()을 기반으로, 하기 [수학식 9]와 같이 제 2 노출 시간()의 합성 영상이 결정될 수 있다. 이러한 관계를 이용하여, 프로세서(130)는 후보 노출 시간()에 대해 영상의 노출 시간()에 획득된 영상()의 각 픽셀에 적용할 제 1 스케일링 계수()를 결정할 수 있다. 여기서, 프로세서(130)는 하기 [수학식 10]과 같이 선형 비율()을 계산하고, 하기 [수학식 11]과 같이 선형 비율()을 이용하여 제 1 스케일링 계수()를 결정할 수 있다. 이를 통해, 조사량이 일정한 것으로 가정하면, 프로세서(130)는 합성 영상()의 평균 강도()를 예측할 수 있다. Based on the characteristics of the camera response function, the processor 130 may derive a logarithmic inverse response function as shown in [Equation 8]. Through this, the processor 130 may determine an irradiation amount for an exposure time corresponding to each candidate value using an inverse response function. As an example, the inverse response functions related to the two exposure times are represented to change shape according to the illuminance as shown in FIG. It can show characteristics. Accordingly, the first exposure time ( ) Image, inverse response function and first exposure time ( ) And the second exposure time ( Ratio between) ), The second exposure time (Equation 9) ) May be determined. Using this relationship, the processor 130 can display the candidate exposure time ( ) For the exposure time of the image Image obtained in) ), The first scaling factor to apply to each pixel ( ). Here, the processor 130 is a linear ratio (Equation 10) ) Is calculated, and the linear ratio ( ) For the first scaling factor ( ). Through this, assuming that the irradiation amount is constant, the processor 130 is a composite image ( ) 'S average strength ( ) Can be predicted.
예를 들면, 프로세서(130)는 하기 [수학식 12]와 같은 이득에 대한 정의를 사용하여, 제 2 스케일링 계수()를 계산할 수 있다. 여기서, 프로세서(130)는 하기 [수학식 13]과 같이 이득에 대한 정의를 단순화할 수 있다. 이를 통해, 프로세서(130)가 제 2 스케일링 계수()를 이용하여, 합성 영상을 생성할 수 있다. 여기서, 도 11에 도시된 바와 같이 합성 영상의 평균 강도는 카메라(110)를 통해 실제적으로 획득되는 영상의 평균 강도와 일치할 수 있다. For example, the processor 130 may use the definition of the gain as shown in [Equation 12], and the second scaling factor ( ). Here, the processor 130 can simplify the definition of the gain as shown in [Equation 13]. Through this, the processor 130 is the second scaling factor ( ), It is possible to generate a composite image. Here, as shown in FIG. 11, the average intensity of the composite image may match the average intensity of the image actually acquired through the
전자 장치(100)는 630 동작에서 합성 영상들을 비교하여, 후보값들 중 어느 하나를 최적값으로 선택할 수 있다. 여기서, 프로세서(130)는 도 7의 (b)에 도시된 바와 같이 노출 시간 및 이득과 관련하여, 후보값(빨간점)들 중 어느 하나를 최적값(파란점)으로 결정할 수 있다. 이 후 전자 장치(100)는 도 5로 리턴할 수 있다. In
전자 장치(100)는 530 동작에서 최적값에 대응하여, 카메라(110)의 노출 시간과 이득을 제어할 수 있다. 즉 프로세서(130)는 노출 시간과 이득의 미리 설정된 값을 최적값으로 변경할 수 있다. The
다양한 실시예들에 따른 베이지안 최적화(Bayesian optimization)를 이용한 카메라(110) 속성 제어 방법은, 카메라(110)를 통하여 획득된 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하는 동작, 및 상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하는 동작을 포함할 수 있다. The
다양한 실시예들에 따르면, 상기 메트릭 계산 동작은, 상기 노출 시간과 관련된 제 1 메트릭을 계산하는 동작, 상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하는 동작, 및 상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하는 동작을 포함할 수 있다.According to various embodiments, the metric calculation operation includes: calculating a first metric related to the exposure time, calculating a second metric related to the gain using the noise component, and the first metric And adding the second metric to calculate the metric.
다양한 실시예들에 따르면, 상기 노출 시간 및 이득 제어 동작은, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하는 동작, 및 상기 노출 시간 및 이득을 상기 최적값으로 제어하는 동작을 포함할 수 있다. According to various embodiments, the exposure time and gain control operation may include, based on the metric, predicting an optimal value of the exposure time and gain, and controlling the exposure time and gain to the optimal value. It can contain.
다양한 실시예들에 따르면, 상기 최적값을 예측하는 동작은, 상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하는 동작, 및 According to various embodiments, the predicting of the optimal value may include deriving a function related to the exposure time and gain based on the metric, and
상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하는 동작을 포함할 수 있다. And applying the Bayesian optimization to the function to predict the optimal value.
다양한 실시예들에 따르면, 상기 최적값을 예측하는 동작은, 상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작, 및 상기 합성 영상들을 비교하여, 상기 최적값을 예측하는 동작을 포함할 수 있다. According to various embodiments, the operation of predicting the optimal value may be performed by generating a plurality of composite images from the image, and comparing the synthesized images with respect to the exposure time and gain, to predict the optimum value It may include the operation.
다양한 실시예들에 따르면, 상기 합성 영상들 생성 동작은, 상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하는 동작, 및 상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작을 포함하고, 상기 최적값은 상기 후보값들 중 어느 하나로 선택될 수 있다. According to various embodiments, the generating of the synthesized images may include estimating a plurality of candidate values in relation to the exposure time and gain, and generating a plurality of synthesized images from the image using the candidate values. And the optimal value may be selected from any of the candidate values.
다양한 실시예들에 따르면, 상기 노이즈 성분은 상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라 결정될 수 있다. According to various embodiments, the noise component may be determined according to a signal to noise ratio (SNR) calculated from the image.
다양한 실시예들에 따르면, 상기 합성 영상들 생성 동작은, 상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하는 동작, 상기 이득과 관련된 제 2 스케일링 계수를 계산하는 동작, 및 상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하는 동작을 포함할 수 있다. According to various embodiments, the operation of generating the synthesized images may include calculating a first scaling factor related to the exposure time, calculating a second scaling factor related to the gain, and the first scaling factor and the first scaling factor. And applying the scaling factor to the image to generate the composite images.
다양한 실시예들에 따르면, 상기 제 1 스케일링 계수와 제 2 스케일링 계수는 상기 영상의 픽셀 별로 계산되어 적용될 수 있다. According to various embodiments, the first scaling factor and the second scaling factor may be calculated and applied for each pixel of the image.
다양한 실시예들에 따르면, 상기 제 1 스케일링 계수 계산 동작은, 상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하는 동작, 및 상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하는 동작을 포함할 수 있다. According to various embodiments, the first scaling factor calculation operation may include deriving a camera response function (CRF) based on the image, and calculating the first scaling factor from the camera response function. It may include the operation.
다양한 실시예들 따르면, 카메라(110)의 노출 시간과 이득이 동시에 제어될 수 있다. 즉 전자 장치(100)가 노출 시간과 이득의 관련성을 고려하여, 카메라(110)의 노출 시간과 이득을 제어할 수 있다. 아울러, 카메라(110)의 이득에 따른 노이즈 성분이 효과적으로 보상될 수 있다. 이를 검증하기 위해, 하기 [표 1]과 같은 조명 조건이 고려될 수 있다. 이러한 조명 조건 하에서, 이득에 따른 노이즈 성분을 고려하지 않는 경우, 도 12의 (a), (b) 및 (c)에 도시된 바와 같이 노출 시간 및 이득과 관련된 메트릭이 검출될 수 있다. 한편, 이득에 따른 노이즈 성분을 고려하는 경우, 도 12의 (d), (e) 및 (f)에 도시된 바와 같이 노출 시간 및 이득과 관련된 메트릭이 검출될 수 있다. 이들을 비교하면, 노이즈 성분을 고려하여 검출된 메트릭을 기반으로 카메라(110)의 노출 시간과 이득을 제어함으로써, 어두운 환경에서도 노이즈 성분이 효과적으로 보상될 수 있다. 이에 따라, 카메라(110)의 동작 효율성이 보다 향상될 수 있다. According to various embodiments, the exposure time and gain of the
본 문서의 다양한 실시예들에 관해 설명되었으나, 본 문서의 다양한 실시예들의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 문서의 다양한 실시예들의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. Although various embodiments of the present document have been described, various modifications are possible without departing from the scope of the various embodiments of the present document. Therefore, the scope of various embodiments of the present document should not be limited to the described embodiments, but should be defined not only by the scope of the claims described below, but also by the scope and equivalents of the claims.
Claims (20)
카메라를 통하여 획득된 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하는 동작; 및
상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하는 동작을 포함하는 방법.
In the camera attribute control method using Bayesian optimization (Bayesian optimization),
Calculating metrics related to exposure time and gain of the camera based on noise components detected from an image acquired through the camera; And
Based on the metric, controlling the exposure time and gain.
상기 노출 시간과 관련된 제 1 메트릭을 계산하는 동작;
상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하는 동작; 및
상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하는 동작을 포함하는 방법.
According to claim 1, The metric calculation operation,
Calculating a first metric related to the exposure time;
Calculating a second metric related to the gain using the noise component; And
And calculating the metric by adding the first metric and the second metric.
상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하는 동작; 및
상기 노출 시간 및 이득을 상기 최적값으로 제어하는 동작을 포함하는 방법.
According to claim 1, The exposure time and gain control operation,
Predicting an optimal value of the exposure time and gain based on the metric; And
And controlling the exposure time and gain to the optimum value.
상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하는 동작; 및
상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하는 동작을 포함하는 방법.
The method of claim 3, wherein the predicting the optimal value comprises:
Deriving a function related to the exposure time and gain based on the metric; And
And applying the Bayesian optimization to the function to predict the optimal value.
상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작; 및
상기 합성 영상들을 비교하여, 상기 최적값을 예측하는 동작을 포함하는 방법.
The method of claim 3, wherein the predicting the optimal value comprises:
Generating a plurality of composite images from the image in relation to the exposure time and gain; And
And comparing the synthesized images to predict the optimal value.
상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하는 동작; 및
상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하는 동작을 포함하고,
상기 최적값은 상기 후보값들 중 어느 하나로 선택되는 방법.
The method of claim 5, wherein the generating of the synthesized images comprises:
Estimating a plurality of candidate values with respect to the exposure time and gain; And
And generating a plurality of composite images from the image using the candidate values,
The optimal value is selected as one of the candidate values.
상기 노이즈 성분은 상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라 결정되는 방법.
According to claim 1,
The noise component is determined according to a signal to noise ratio (SNR) calculated from the image.
상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하는 동작;
상기 이득과 관련된 제 2 스케일링 계수를 계산하는 동작; 및
상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하는 동작을 포함하는 방법.
The method of claim 5, wherein the generating of the synthesized images comprises:
Calculating a first scaling factor related to the exposure time;
Calculating a second scaling factor associated with the gain; And
And applying the first scaling factor and the second scaling factor to the image to generate the composite images.
상기 제 1 스케일링 계수와 제 2 스케일링 계수는 상기 영상의 픽셀 별로 계산되어 적용되는 방법.
The method of claim 8,
The first scaling factor and the second scaling factor are calculated and applied for each pixel of the image.
상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하는 동작; 및
상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하는 동작을 포함하는 방법.
The method of claim 8, wherein the first scaling factor calculation operation,
Deriving a camera response function (CRF) based on the image; And
And calculating the first scaling factor from the camera response function.
영상을 획득하도록 구성되는 카메라; 및
상기 카메라에 연결되고, 상기 카메라를 제어하도록 구성되는 프로세서를 포함하며,
상기 프로세서는,
상기 영상으로부터 검출되는 노이즈 성분에 기반하여, 상기 카메라의 노출 시간 및 이득과 관련된 메트릭을 계산하고,
상기 메트릭을 기반으로, 상기 노출 시간 및 이득을 제어하도록 구성되는 장치.
In the camera attribute control device using Bayesian optimization (Bayesian optimization),
A camera configured to acquire an image; And
And a processor connected to the camera and configured to control the camera,
The processor,
Based on the noise component detected from the image, a metric related to the exposure time and gain of the camera is calculated,
A device configured to control the exposure time and gain based on the metric.
상기 노출 시간과 관련된 제 1 메트릭을 계산하고,
상기 노이즈 성분을 이용하여, 상기 이득과 관련된 제 2 메트릭을 계산하고,
상기 제 1 메트릭과 제 2 메트릭을 합하여, 상기 메트릭을 계산하도록 구성되는 장치.
The method of claim 11, wherein the processor,
Calculate a first metric related to the exposure time,
Calculating a second metric related to the gain using the noise component,
And configured to calculate the metric by adding the first metric and the second metric.
상기 메트릭에 기반하여, 상기 노출 시간 및 이득의 최적값을 예측하고,
상기 노출 시간 및 이득을 상기 최적값으로 제어하도록 구성되는 장치.
The method of claim 11, wherein the processor,
Based on the metric, predict the optimum value of the exposure time and gain,
And an apparatus configured to control the exposure time and gain to the optimum value.
상기 메트릭에 기반하여, 상기 노출 시간 및 이득과 관련된 함수를 도출하고,
상기 함수에 베이지안 최적화를 적용하여, 상기 최적값을 예측하도록 구성되는 장치.
The method of claim 13, wherein the processor,
Based on the metric, derive a function related to the exposure time and gain,
And a device configured to predict the optimal value by applying Bayesian optimization to the function.
상기 노출 시간 및 이득과 관련하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고,
상기 합성 영상들을 비교하여, 상기 최적값을 예측하도록 구성되는 장치.
The method of claim 13, wherein the processor,
Regarding the exposure time and gain, a plurality of composite images are generated from the image,
And configured to predict the optimal value by comparing the composite images.
상기 노출 시간 및 이득과 관련하여, 다수 개의 후보값들을 추정하고,
상기 후보값들을 이용하여, 상기 영상으로부터 다수 개의 합성 영상들을 생성하고,
상기 후보값들 중 어느 하나를 상기 최적값으로 선택하도록 구성되는 장치.
The method of claim 15, wherein the processor,
With respect to the exposure time and gain, estimate a plurality of candidate values,
Using the candidate values, a plurality of composite images are generated from the image,
And an apparatus configured to select any one of the candidate values as the optimal value.
상기 영상으로부터 계산되는 신호 대 잡음비(signal to noise ratio; SNR)에 따라, 상기 노이즈 성분을 결정하도록 구성되는 장치.
The method of claim 11, wherein the processor,
And an apparatus configured to determine the noise component according to a signal to noise ratio (SNR) calculated from the image.
상기 노출 시간과 관련된 제 1 스케일링 계수를 계산하고,
상기 이득과 관련된 제 2 스케일링 계수를 계산하고,
상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상에 적용하여, 상기 합성 영상들을 생성하도록 구성되는 장치.
The method of claim 15, wherein the processor,
Calculate a first scaling factor related to the exposure time,
Calculate a second scaling factor related to the gain,
And configured to generate the composite images by applying the first scaling factor and the second scaling factor to the image.
상기 제 1 스케일링 계수와 제 2 스케일링 계수를 상기 영상의 픽셀 별로 계산하여 적용하도록 구성되는 장치.
The method of claim 18, wherein the processor,
And configured to calculate and apply the first scaling factor and the second scaling factor for each pixel of the image.
상기 영상에 기반하여, 카메라 응답 함수(camera response function; CRF)를 도출하고,
상기 카메라 응답 함수로부터 상기 제 1 스케일링 계수를 계산하도록 구성되는 장치. The method of claim 13, wherein the processor,
Based on the image, a camera response function (CRF) is derived,
And an apparatus configured to calculate the first scaling factor from the camera response function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190010600A KR102105787B1 (en) | 2019-01-28 | 2019-01-28 | Apparatus and method for controlling camera attribute using bayesian optimization |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190010600A KR102105787B1 (en) | 2019-01-28 | 2019-01-28 | Apparatus and method for controlling camera attribute using bayesian optimization |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102105787B1 true KR102105787B1 (en) | 2020-04-29 |
Family
ID=70466516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190010600A KR102105787B1 (en) | 2019-01-28 | 2019-01-28 | Apparatus and method for controlling camera attribute using bayesian optimization |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102105787B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114339064A (en) * | 2021-12-03 | 2022-04-12 | 南京仙电同圆信息科技有限公司 | Bayesian optimization exposure control method based on entropy weight image gradient |
CN115967861A (en) * | 2023-03-09 | 2023-04-14 | 杭州涂鸦信息技术有限公司 | Image processing method and device |
US11889195B2 (en) | 2020-12-29 | 2024-01-30 | SK Hynix Inc. | Image sensing system and operating method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049320A (en) * | 2005-08-09 | 2007-02-22 | Sanyo Electric Co Ltd | Electronic camera |
JP2011049892A (en) * | 2009-08-27 | 2011-03-10 | Eastman Kodak Co | Imaging apparatus |
KR20160041856A (en) * | 2013-05-30 | 2016-04-18 | 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 | Systems and methods for performing bayesian optimization |
-
2019
- 2019-01-28 KR KR1020190010600A patent/KR102105787B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049320A (en) * | 2005-08-09 | 2007-02-22 | Sanyo Electric Co Ltd | Electronic camera |
JP2011049892A (en) * | 2009-08-27 | 2011-03-10 | Eastman Kodak Co | Imaging apparatus |
KR20160041856A (en) * | 2013-05-30 | 2016-04-18 | 프레지던트 앤드 펠로우즈 오브 하바드 칼리지 | Systems and methods for performing bayesian optimization |
Non-Patent Citations (2)
Title |
---|
JOOWAN KIM ET AL., Generic Camera Attribute Control using Bayesian Optimization, Computer Vision and Pattern Recognition, 8 pages, 14 aug 2018 (2018.08.14. 공개)* * |
JOOWAN KIM ET AL.,Exposure Control using Bayesian Optimization based on Entropy Weighted Image Gradient, 2018 IEEE International Conference on Robotics and Automation (ICRA), (May 21-25, 2018) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11889195B2 (en) | 2020-12-29 | 2024-01-30 | SK Hynix Inc. | Image sensing system and operating method thereof |
CN114339064A (en) * | 2021-12-03 | 2022-04-12 | 南京仙电同圆信息科技有限公司 | Bayesian optimization exposure control method based on entropy weight image gradient |
CN114339064B (en) * | 2021-12-03 | 2023-06-23 | 南京仙电同圆信息科技有限公司 | Bayesian optimized exposure control method based on entropy weight image gradient |
CN115967861A (en) * | 2023-03-09 | 2023-04-14 | 杭州涂鸦信息技术有限公司 | Image processing method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102105787B1 (en) | Apparatus and method for controlling camera attribute using bayesian optimization | |
US9454805B2 (en) | Method and apparatus for reducing noise of image | |
TWI550558B (en) | Systems and methods for generating high dynamic range images | |
US9692985B2 (en) | Image processing apparatus and image processing method for tone control by applying different gain | |
JP6138190B2 (en) | Method and apparatus for determining exposure settings | |
US9554058B2 (en) | Method, apparatus, and system for generating high dynamic range image | |
US20210052226A1 (en) | Method for suppressing image noise in a video image stream, and associated medical image recording system and computer program product | |
CN112689097B (en) | Automatic brightness control method and system for line laser and storage medium | |
US9787909B1 (en) | Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging | |
US20190213722A1 (en) | Image processing apparatus and image processing method | |
CN106575434B (en) | Image processing apparatus, imaging apparatus, and image processing method | |
KR20170106333A (en) | Methods and apparatus for motion-based video tonal stabilization | |
JP5283667B2 (en) | Image processing apparatus, image processing method, and program | |
US9947083B2 (en) | Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium | |
US20220405892A1 (en) | Image processing method, image processing apparatus, image processing system, and memory medium | |
US11871117B2 (en) | System for performing ambient light image correction | |
US11640654B2 (en) | Image processing method and apparatus | |
JP2017073605A (en) | Image processing device, image processing method, and program | |
KR101862490B1 (en) | image correct processor and computer readable recording medium | |
JP7132803B2 (en) | Dynamic range measuring device and program | |
JP2016208343A (en) | Image processing system, control method of the same, control program, and imaging apparatus | |
US20220405893A1 (en) | Image processing method, image processing apparatus, image processing system, and memory medium | |
TWI645706B (en) | Image processing method and image processing apparatus | |
JP5849590B2 (en) | Image processing method and image processing apparatus | |
JP5084821B2 (en) | Image processing method, imaging apparatus, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |