KR102240054B1 - Image processing apparatus - Google Patents

Image processing apparatus Download PDF

Info

Publication number
KR102240054B1
KR102240054B1 KR1020190107462A KR20190107462A KR102240054B1 KR 102240054 B1 KR102240054 B1 KR 102240054B1 KR 1020190107462 A KR1020190107462 A KR 1020190107462A KR 20190107462 A KR20190107462 A KR 20190107462A KR 102240054 B1 KR102240054 B1 KR 102240054B1
Authority
KR
South Korea
Prior art keywords
depth data
current depth
data frame
frame
correction unit
Prior art date
Application number
KR1020190107462A
Other languages
Korean (ko)
Other versions
KR20210026535A (en
Inventor
이상무
Original Assignee
(주)미래컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)미래컴퍼니 filed Critical (주)미래컴퍼니
Priority to KR1020190107462A priority Critical patent/KR102240054B1/en
Publication of KR20210026535A publication Critical patent/KR20210026535A/en
Application granted granted Critical
Publication of KR102240054B1 publication Critical patent/KR102240054B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 영상 처리 장치는 현재 깊이 데이터 프레임을 획득하는 현재 깊이 데이터 프레임 획득부, 상기 현재 깊이 데이터 프레임과 상기 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값을 곱한 값 이하인 경우 상기 현재 깊이 데이터를 상기 이전 깊이 데이터에 가중치를 적용한 값과 상기 현재 깊이 데이터의 평균값으로 보정하는 시간 필터링 보정부 및 상기 현재 깊이 데이터와 상기 이전 깊이 데이터의 차이가 상기 현재 깊이 데이터에 상기 제1 문턱값을 곱한 값을 초과하는 경우 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정하는 공간 필터링 보정부를 포함한다.
본 발명에 따르면, 3차원 영상의 모션 블러 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있다.The image processing apparatus according to the present invention includes a current depth data frame acquisition unit that acquires a current depth data frame, and between pixels at a corresponding position of the current depth data frame and a previous depth data frame temporally preceding the current depth data frame. When the difference in depth data is less than or equal to a value obtained by multiplying the current depth data by a first threshold value, a temporal filtering correction unit for correcting the current depth data to a value obtained by applying a weight to the previous depth data and an average value of the current depth data, and the current depth When the difference between the data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold value, the current depth data frame according to the difference between the current depth data of the spatially adjacent pixels of the current depth data frame And a spatial filtering correction unit correcting the current depth data of the pixels constituting the.
According to the present invention, depth data noise included in a 3D image can be removed within a short time while minimizing motion blur and deformation of an original image of a 3D image.

Description

영상 처리 장치{IMAGE PROCESSING APPARATUS}Image processing device {IMAGE PROCESSING APPARATUS}

본 발명은 영상 처리 장치에 관한 것이다. 보다 구체적으로, 본 발명은 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치에 관한 것이다.The present invention relates to an image processing apparatus. More specifically, the present invention relates to an image processing apparatus capable of removing depth data noise included in a 3D image within a short time while minimizing motion blur and deformation of an original image of a 3D image.

최근 영상처리기술의 발전과 함께 3차원 영상 정보에 대한 관심이 높아지고 있다.With the recent development of image processing technology, interest in 3D image information is increasing.

이러한 3차원 영상 정보는 형상(geometry) 정보와 칼라(color) 정보로 구성되고, 칼라 정보는 CCD(Charged Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 이미지 센서를 채용한 카메라에 의해 획득될 수 있고, 형상 정보는 깊이 카메라(depth camera)에 의해 획득될 수 있다.This 3D image information is composed of geometry information and color information, and the color information is acquired by a camera employing an image sensor such as CCD (Charged Coupled Device) or CMOS (Complementary Metal-Oxide Semiconductor). May be, and shape information may be obtained by a depth camera.

깊이 카메라는, 적외선(Infra Red, IR)과 같은 광(Light)을 오브젝트(object)에 조사하고, 반사광을 센서로 감지하여, 광 조사와 반사광 수광 사이의 시간차(Time of Flight, TOF)를 측정함으로써 깊이 영상을 생성할 수 있다.The depth camera irradiates light such as infrared (Infra Red, IR) onto an object, detects the reflected light with a sensor, and measures the time difference (Time of Flight, TOF) between the irradiation and the reception of the reflected light. By doing so, it is possible to generate a depth image.

그런데, 일반적으로 TOF 타입의 깊이 카메라에 채용되는 깊이 센서(depth sensor)는, 센서 자체의 전기적(electrical), 열적(thermal) 노이즈(noise)의 영향뿐 아니라 주변 광원 및 물체의 재질 특성 등의 영향을 받기 때문에, 깊이 카메라에 의해 생성되는 깊이 영상의 깊이 값들도 노이즈의 영향을 받게 되며, 이러한 노이즈는 결과물인 3차원 영상의 품질(quality)을 저하하는 요인으로 작용한다.However, the depth sensor generally employed in TOF-type depth cameras is not only affected by electrical and thermal noise of the sensor itself, but also by surrounding light sources and material properties of objects. Because of this, the depth values of the depth image generated by the depth camera are also affected by noise, and this noise acts as a factor deteriorating the quality of the resulting 3D image.

이러한 노이즈를 제거하기 위한 기술로서, 공간 필터링 기술과 시간 필터링 기술이 알려져 있다.As techniques for removing such noise, spatial filtering techniques and temporal filtering techniques are known.

그러나, 공간 필터링(spatial filtering) 기술은 원본 영상의 주변 데이터를 이용하기 때문에, 원본 이미지의 변형이 발생하기 쉽다는 문제점이 있다.However, since the spatial filtering technique uses the surrounding data of the original image, there is a problem in that the original image is easily deformed.

또한, 시간 필터링(temporal filtering) 기술에 따르면, 시간의 흐름에 따라 변하는 영상, 즉, 영상 내에 움직임이 있는 경우 모션 블러(motion blur)가 발생한다는 문제점이 있다.In addition, according to the temporal filtering technology, there is a problem in that motion blur occurs when there is motion in an image that changes with the passage of time, that is, an image.

대한민국 공개특허공보 제10-2010-0132189호(공개일자: 2010년 12월 17일, 명칭: 영상 처리 장치 및 방법)Republic of Korea Patent Publication No. 10-2010-0132189 (published date: December 17, 2010, name: image processing apparatus and method) 대한민국 공개특허공보 제10-2011-0124892호(공개일자: 2011년 11월 18일, 명칭: 움직임 보상 3차원 필터링 방법 및 장치)Republic of Korea Patent Publication No. 10-2011-0124892 (published date: November 18, 2011, name: motion compensation 3D filtering method and apparatus)

본 발명의 기술적 과제는 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치를 제공하는 것이다.An object of the present invention is to provide an image processing apparatus capable of removing depth data noise included in a 3D image within a short time while minimizing motion blur and deformation of an original image of a 3D image.

이러한 기술적 과제를 해결하기 위한 본 발명에 따른 영상 처리 장치는 현재 깊이 데이터 프레임을 획득하는 현재 깊이 데이터 프레임 획득부, 상기 현재 깊이 데이터 프레임과 상기 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값을 곱한 값 이하인 경우 상기 현재 깊이 데이터를 상기 이전 깊이 데이터에 가중치를 적용한 값과 상기 현재 깊이 데이터의 평균값으로 보정하는 시간 필터링 보정부 및 상기 현재 깊이 데이터와 상기 이전 깊이 데이터의 차이가 상기 현재 깊이 데이터에 상기 제1 문턱값을 곱한 값을 초과하는 경우 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정하는 공간 필터링 보정부를 포함한다.An image processing apparatus according to the present invention for solving such a technical problem includes a current depth data frame acquisition unit that acquires a current depth data frame, the current depth data frame and a previous depth data frame temporally preceding the current depth data frame. Time for correcting the current depth data to a value obtained by applying a weight to the previous depth data and an average value of the current depth data when the difference in depth data between the pixels at the corresponding location is less than or equal to the current depth data multiplied by the first threshold value When the difference between the filtering correction unit and the current depth data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold, the difference between the current depth data of spatially adjacent pixels of the current depth data frame And a spatial filtering correction unit correcting current depth data of pixels constituting the current depth data frame according to the present invention.

본 발명에 따른 영상 처리 장치에 있어서, 상기 시간 필터링 보정부는, 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀에 대해서는 시간 필터링 보정을 수행하지 않고 바이패스(bypass)하여 원본 데이터를 유지시키는 것을 특징으로 한다.In the image processing apparatus according to the present invention, the temporal filtering correction unit bypasses the original data by bypassing the temporal filtering correction for pixels in which data does not exist among the pixels constituting the current depth data frame. It is characterized in that to maintain.

본 발명에 따른 영상 처리 장치에 있어서, 상기 공간 필터링 보정부는, 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값을 곱한 값 이하인 경우 상기 후행 픽셀의 현재 깊이 데이터를 상기 후행 픽셀과 상기 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값으로 보정하는 것을 특징으로 한다.In the image processing apparatus according to the present invention, the spatial filtering correction unit applies a second threshold value to the current depth data of a subsequent pixel spatially following a difference in current depth data of spatially adjacent pixels of the current depth data frame. If it is less than the multiplied value, the current depth data of the subsequent pixel is corrected with an average value of the current depth data of the next pixel and a preceding pixel preceding the next pixel.

본 발명에 따른 영상 처리 장치에 있어서, 상기 공간 필터링 보정부는, 상기 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는 경우 상기 후행 픽셀에 대한 공간 필터링 보정을 수행하지 않고 바이패스하여 원본 데이터를 유지시키는 것을 특징으로 한다.In the image processing apparatus according to the present invention, the spatial filtering correction unit, when the subsequent pixel is located at a left edge of the screen, bypasses without performing spatial filtering correction on the subsequent pixel to maintain the original data. It is characterized by letting go.

본 발명에 따른 영상 처리 장치는 상기 시간 필터링 보정부와 상기 공간 필터링 보정부의 출력값을 합성하여 상기 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리하는 보정 프레임 생성/관리부를 더 포함하는 것을 특징으로 한다.The image processing apparatus according to the present invention further includes a correction frame generation/management unit for synthesizing the output values of the temporal filtering correction unit and the spatial filtering correction unit to generate and manage a correction frame correcting depth data of the current depth data frame. Characterized in that.

본 발명에 따른 영상 처리 장치에 있어서, 상기 제1 문턱값, 상기 제2 문턱값, 상기 가중치 중에서 적어도 하나는 설정 및 재설정이 가능한 것을 특징으로 한다.In the image processing apparatus according to the present invention, at least one of the first threshold value, the second threshold value, and the weight value can be set and reset.

본 발명에 따르면, 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치가 제공되는 효과가 있다.According to the present invention, there is an effect of providing an image processing apparatus capable of removing depth data noise included in a 3D image within a short time while minimizing motion blur and deformation of an original image of a 3D image.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면이고,
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구체적이고 예시적인 동작을 설명하기 위한 도면이고,
도 3은 보정 전의 현재 깊이 데이터 프레임을 예시적으로 나타낸 도면이고,
도 4는 보정 전의 이전 깊이 데이터 프레임을 예시적으로 나타낸 도면이고,
도 5는 본 발명의 실시 예들에 따라 보정된 깊이 데이터 프레임을 예시적으로 나타낸 도면이다.1 is a diagram showing an image processing apparatus according to an embodiment of the present invention,
2 is a diagram for explaining a specific and exemplary operation of an image processing apparatus according to an embodiment of the present invention;
3 is a diagram illustrating an exemplary current depth data frame before correction,
4 is a diagram illustrating an exemplary depth data frame before correction,
5 is a diagram illustrating a corrected depth data frame according to embodiments of the present invention.

본 명세서에 개시된 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in the present specification are only exemplified for the purpose of describing the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are in various forms. And is not limited to the embodiments described herein.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in the present specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.Terms such as first or second may be used to describe various constituent elements, but the constituent elements should not be limited by the terms. The above terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be referred to as the second component and similarly the second component. The component may also be referred to as a first component.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it should be understood that it is directly connected or may be connected to the other component, but other components may exist in the middle. will be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Other expressions describing the relationship between components, such as "between" and "directly between" or "adjacent to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described herein, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance the possibility of the presence or addition.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present specification. .

이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면이고, 도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구체적이고 예시적인 동작을 설명하기 위한 도면이다.1 is a diagram illustrating an image processing apparatus according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining a specific and exemplary operation of an image processing apparatus according to an embodiment of the present invention.

도 1 내지 도 2를 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치는 현재 깊이 데이터 프레임 획득부(10), 시간 필터링 보정부(20), 공간 필터링 보정부(30) 및 보정 프레임 생성/관리부(40)를 포함한다.1 to 2, the image processing apparatus according to an embodiment of the present invention includes a current depth data frame acquisition unit 10, a temporal filtering correction unit 20, a spatial filtering correction unit 30, and a correction frame generation unit. / Including the management unit (40).

현재 깊이 데이터 프레임 획득부(10)는, 현재 깊이 데이터 프레임을 획득하여 시간 필터링 보정부(20)와 공간 필터링 보정부(30)로 전달하는 기능을 수행한다. 예를 들어, 본 발명의 일 실시 예에 따른 영상 처리 장치가 ToF(Time of Flight) 카메라와 같은 광원을 이용한 카메라에 구비되는 경우, 발광부가 피사체를 향하여 광을 조사하고, 이미지 센서를 포함하는 수광부가 피사체에 반사된 광을 수광하여 전기신호로 변환하여 출력하고, 현재 깊이 데이터 프레임 획득부(10)는 이 전기신호를 프레임 단위로 획득함으로써 현재 깊이 데이터 프레임을 획득할 수 있다.The current depth data frame acquisition unit 10 performs a function of acquiring the current depth data frame and transferring it to the temporal filtering correction unit 20 and the spatial filtering correction unit 30. For example, when the image processing apparatus according to an embodiment of the present invention is provided in a camera using a light source such as a Time of Flight (ToF) camera, the light emitting unit irradiates light toward the subject, and a light receiving unit including an image sensor The light reflected on the subject is received, converted into an electric signal, and output, and the current depth data frame acquisition unit 10 acquires the electric signal in units of frames, thereby obtaining a current depth data frame.

시간 필터링 보정부(20)는, 현재 깊이 데이터 프레임과 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값(k1)을 곱한 값 이하인 경우, 현재 깊이 데이터를 이전 깊이 데이터에 가중치(N)를 적용한 값과 현재 깊이 데이터의 평균값으로 보정한다.The temporal filtering correction unit 20 may determine that a difference in depth data between pixels at a corresponding position of the current depth data frame and the previous depth data frame temporally preceding the current depth data frame is determined by a first threshold value k1 in the current depth data. If it is less than the multiplied value of ), the current depth data is corrected with a value obtained by applying a weight (N) to the previous depth data and an average value of the current depth data.

예를 들어, 시간 필터링 보정부(20)는, 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀에 대해서는 시간 필터링 보정을 수행하지 않고 바이패스(bypass)하여 원본 데이터를 유지시키도록 구성될 수 있다.For example, the temporal filtering correction unit 20 bypasses the temporal filtering correction for pixels in which data does not exist among the pixels constituting the current depth data frame to maintain the original data. Can be configured.

공간 필터링 보정부(30)는, 현재 깊이 데이터와 이전 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값(k1)을 곱한 값을 초과하는 경우 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정한다.When the difference between the current depth data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold value k1, the spatial filtering correction unit 30 provides the current depth of spatially adjacent pixels of the current depth data frame. The current depth data of pixels constituting the current depth data frame is corrected according to the difference in data.

예를 들어, 공간 필터링 보정부(30)는, 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값(k2)을 곱한 값 이하인 경우 후행 픽셀의 현재 깊이 데이터를 후행 픽셀과 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값으로 보정하도록 구성될 수 있다.For example, the spatial filtering correction unit 30 is obtained by multiplying the current depth data of a subsequent pixel spatially following the difference between the current depth data of the spatially adjacent pixels of the current depth data frame by the second threshold value k2. If the value is less than or equal to the value, the current depth data of the subsequent pixel may be corrected with an average value of the current depth data of the next pixel and the preceding pixel preceding the next pixel.

예를 들어, 공간 필터링 보정부(30)는, 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는 경우 후행 픽셀에 대한 공간 필터링 보정을 수행하지 않고 바이패스하여 원본 데이터를 유지시키도록 구성될 수 있다.For example, the spatial filtering correction unit 30 may be configured to bypass the spatial filtering correction for the subsequent pixel and maintain the original data when the subsequent pixel is located at the left edge of the screen. have.

보정 프레임 생성/관리부(40)는 시간 필터링 보정부(20)와 공간 필터링 보정부(30)의 출력값을 합성하여 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리한다.The correction frame generation/management unit 40 synthesizes the output values of the temporal filtering correction unit 20 and the spatial filtering correction unit 30 to generate and manage a correction frame correcting the depth data of the current depth data frame.

예를 들어, 제1 문턱값(k1), 제2 문턱값(k2), 가중치(N) 중에서 적어도 하나는 설정 및 재설정이 가능하도록 구성될 수 있다.For example, at least one of the first threshold value k1, the second threshold value k2, and the weight N may be configured to be set and reset.

이하에서는, 도 2를 추가로 참조하여 본 발명의 일 실시 예에 따른 영상 처리 장치의 구체적이고 예시적인 동작을 설명한다.Hereinafter, a detailed and exemplary operation of the image processing apparatus according to an embodiment of the present invention will be described with additional reference to FIG. 2.

도 2를 추가로 참조하면,단계 S10에서는, 현재 깊이 데이터 프레임(NDI)에 시간적으로 선행하는 이전 깊이 데이터 프레임(PDI)을 로딩하는 과정이 수행된다. 예를 들어, 이전 깊이 데이터 프레임은 보정 프레임 생성/관리부(40)에 저장된 값으로서, 이하에서 설명하는 과정을 거쳐 깊이 데이터가 보정된 값일 수 있으며, 제1 문턱값(k1), 제2 문턱값(k2), 가중치(N)은 제품 출시 시점에 설정되어 메모리에 저장된 값일 수 있으나, 이에 한정되지는 않으며, 제품 사용 과정에서 사용자에 의해 설정 및 재설정되는 값일 수도 있다.Referring further to FIG. 2, in step S10, a process of loading a previous depth data frame PDI temporally preceding the current depth data frame NDI is performed. For example, the previous depth data frame is a value stored in the correction frame generation/management unit 40, and may be a value for which the depth data has been corrected through the process described below, and the first threshold value k1 and the second threshold value (k2), the weight (N) may be a value set at the time of product release and stored in a memory, but is not limited thereto, and may be a value set and reset by a user during a product use process.

단계 S20에서는, 현재 깊이 데이터 프레임 획득부(10)가 현재 깊이 데이터 프레임(NDI)을 획득하는 과정이 수행된다.In step S20, a process of obtaining the current depth data frame NDI by the current depth data frame acquisition unit 10 is performed.

단계 S30에서는, 현재 깊이 데이터 프레임에 대한 전처리 과정이 수행된다. 이 과정은 현재 깊이 데이터 프레임에 포함된 스캐터링 이펙트(scattering effect) 등에 기인하는 제반 노이즈를 제거하는 과정으로서, 본 발명의 일 실시 예는 이 과정을 수행하는 잡음제거수단을 더 포함할 수 있다.In step S30, a pre-processing process for the current depth data frame is performed. This process is a process of removing all noise caused by a scattering effect or the like included in the current depth data frame, and an embodiment of the present invention may further include a noise removing means for performing this process.

이하 설명하는 단계 S40 내지 단계 S100의 과정은 현재 깊이 데이터 프레임(NDI)을 구성하는 전체 픽셀에 대하여 수행된다는 점을 밝혀둔다.It should be noted that the processes of steps S40 to S100 described below are performed for all pixels constituting the current depth data frame (NDI).

단계 S40은 시간 필터링 보정부(20)가 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀을 찾는 과정이다. 데이터가 존재하지 않는 픽셀, 즉, 데이터가 0인 픽셀의 경우 단계 S100으로 전환되어 원본 데이터인 0이 유지된다.Step S40 is a process in which the temporal filtering corrector 20 finds a pixel in which data does not exist among the pixels constituting the current depth data frame. In the case of a pixel in which data does not exist, that is, a pixel whose data is 0, the process is switched to step S100 and the original data of 0 is maintained.

단계 S50에서는, 시간 필터링 보정부(20)가 현재 깊이 데이터 프레임과 이전 깊이 데이터 프레임을 비교하여 움직임이 있는지 여부를 판단하는 과정이 수행된다.In step S50, the temporal filtering correction unit 20 compares the current depth data frame with the previous depth data frame to determine whether there is motion.

구체적으로, 단계 S50에서는, 시간 필터링 보정부(20)가 현재 깊이 데이터 프레임과 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이(NDI[I]-PDI[I])가 현재 깊이 데이터(NDI[I])에 제1 문턱값(k1)을 곱한 값(NDI[I]*k1) 이하인지 여부를 판단하는 과정이 수행된다. 단계 S50에서의 판단 결과, 깊이 데이터의 차이(NDI[I]-PDI[I])가 현재 깊이 데이터에 제1 문턱값을 곱한 값(NDI[I]*k1) 이하인 경우 단계 S60으로 전환되고, 그렇지 않은 경우에는 프레임에 움직임이 있는 것으로 판단하여 단계 S70으로 전환된다.Specifically, in step S50, the temporal filtering correction unit 20 determines the difference in depth data (NDI[I]-PDI[I]) between pixels at corresponding positions of the current depth data frame and the previous depth data frame. A process of determining whether the data NDI[I] is equal to or less than the multiplied by the first threshold k1 (NDI[I]*k1) is performed. As a result of the determination in step S50, when the difference in depth data (NDI[I]-PDI[I]) is less than or equal to the value obtained by multiplying the current depth data by the first threshold value (NDI[I]*k1), the process is switched to step S60, If not, it is determined that there is motion in the frame, and the process proceeds to step S70.

단계 S60에서는, 시간 필터링 보정부(20)가 현재 깊이 데이터(NDI[I])를 이전 깊이 데이터(PDI[I])에 가중치(N)를 적용한 값(PDI[I]*N)과 현재 깊이 데이터(NDI[I])의 평균값((NDI[I]+PDI[I]*N)/(N+1))으로 보정하는 과정이 수행된다.In step S60, the time filtering correction unit 20 applies the current depth data NDI[I] to the previous depth data PDI[I] with a weight N applied to the current depth data (PDI[I]*N) and the current depth. A process of correcting to the average value ((NDI[I]+PDI[I]*N)/(N+1)) of the data (NDI[I]) is performed.

단계 S70에서는, 공간 필터링 보정부(30)가 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들 중에서 공간 보정의 대상인 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는지 여부를 판단하는 과정이 수행된다. 단계 S70에서의 판단 결과, 공간 보정의 대상인 후행 픽셀이 화면의 좌측 에지에 위치하는 경우 단계 S100으로 전환되어 원본 데이터가 유지되고, 그렇지 않은 경우 단계 S80으로 전환된다.In step S70, the spatial filtering correction unit 30 determines whether a subsequent pixel to be spatially corrected among the spatially adjacent pixels of the current depth data frame is located at the left edge of the screen. As a result of the determination in step S70, if the following pixel, which is the object of spatial correction, is located at the left edge of the screen, the process is switched to step S100 to hold the original data.

단계 S80에서는, 공간 필터링 보정부(30)가 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이(NDI[I]- NDI[I-1])가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터(NDI[I])에 제2 문턱값(k2)을 곱한 값(NDI[I]*k2) 이하인지 여부를 판단하는 과정이 수행된다. 단계 S80에서의 판단 결과, 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이(NDI[I]- NDI[I-1])가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값을 곱한 값(NDI[I]*k2) 이하인 경우 단계 S90으로 전환되고, 그렇지 않은 경우 단계 S100으로 전환된다.In step S80, the spatial filtering correction unit 30 determines the current depth data difference (NDI[I]-NDI[I-1]) of the spatially adjacent pixels of the current depth data frame. A process of determining whether the depth data NDI[I] is equal to or less than the multiplied by the second threshold k2 (NDI[I]*k2) is performed. As a result of the determination in step S80, the difference (NDI[I]-NDI[I-1]) of the current depth data of the spatially adjacent pixels of the current depth data frame is second to the current depth data of the subsequent pixel spatially. If it is equal to or less than the multiplied by the threshold value (NDI[I]*k2), the process is switched to step S90.

단계 S90에서는, 공간 필터링 보정부(30)가 공간 보정의 대상인 후행 픽셀의 현재 깊이 데이터(NDI[I])를 후행 픽셀과 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값(NDI[I]+NDI[I-1]/2)으로 보정하는 과정이 수행된다.In step S90, the spatial filtering correction unit 30 applies the current depth data NDI[I] of the subsequent pixel to be spatially corrected to the average value of the current depth data NDI[I] of the subsequent pixel and the preceding pixel preceding the subsequent pixel. A process of correction with +NDI[I-1]/2) is performed.

앞서 설명한 바와 같이 단계 S100에서는, 현재 깊이 데이터 프레임의 해당 픽셀의 원본 데이터가 유지된다.As described above, in step S100, the original data of the corresponding pixel of the current depth data frame is maintained.

단계 S110과 단계 S120에서는, 보정 프레임 생성/관리부(40)가 시간 필터링 보정부(20)와 공간 필터링 보정부(30)의 출력값을 합성하여 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리하는 과정이 수행된다.In steps S110 and S120, the correction frame generation/management unit 40 synthesizes the output values of the temporal filtering correction unit 20 and the spatial filtering correction unit 30 to generate a correction frame correcting the depth data of the current depth data frame. The management process is carried out.

이하에서는 도 3 내지 도 5를 추가로 참조하여 깊이 데이터가 보정되는 구체적인 예를 설명한다.Hereinafter, a specific example in which depth data is corrected will be described with additional reference to FIGS. 3 to 5.

도 3은 보정 전의 현재 깊이 데이터 프레임을 예시적으로 나타낸 도면이고, 도 4는 보정 전의 이전 깊이 데이터 프레임을 예시적으로 나타낸 도면이고, 도 5는 본 발명의 실시 예들에 따라 보정된 깊이 데이터 프레임을 예시적으로 나타낸 도면이다. 도 3 내지 도 5에 개시된 예에서, 제1 문턱값(k1)은 0.04, 제2 문턱값(k2)는 0.02, 가중치(N)는 1이나, 이는 하나의 예시일 뿐이다.3 is a diagram illustrating an exemplary current depth data frame before correction, FIG. 4 is a diagram illustrating a previous depth data frame before correction, and FIG. 5 is a diagram illustrating a corrected depth data frame according to embodiments of the present invention. It is an exemplary diagram. In the example disclosed in FIGS. 3 to 5, the first threshold value k1 is 0.04, the second threshold value k2 is 0.02, and the weight N is 1, but this is only an example.

25개의 픽셀들 중에서, 픽셀 (1,1), (2,1), (2,3), (2,5)의 처리 과정을 설명하면 다음과 같다.Among the 25 pixels, the processing of pixels (1,1), (2,1), (2,3), and (2,5) will be described as follows.

픽셀 (1,1)의 경우, 단계 S50에서의 판단 결과 현재 깊이 데이터(2111)와 이전 깊이 데이터(2264)의 차이(153)가 현재 깊이 데이터(2111)에 제1 문턱값(0.04)을 곱한 값(84.44)을 초과하기 때문에, 단계 S70과 단계 S100을 거쳐 원본 데이터인 2111이 유지된다.In the case of the pixel (1,1), the difference 153 between the current depth data 2111 and the previous depth data 2264 as a result of determination in step S50 is obtained by multiplying the current depth data 2111 by a first threshold value (0.04). Since the value (84.44) is exceeded, the original data 2111 is maintained through steps S70 and S100.

픽셀 (2,1)의 경우, 단계 S50에서의 판단 결과 현재 깊이 데이터(2331)와 이전 깊이 데이터(2297)의 차이(34)가 현재 깊이 데이터(2331)에 제1 문턱값(0.04)을 곱한 값(93.24) 이하이기 때문에, 단계 S50을 거쳐 깊이 데이터가 2314로 보정된다.In the case of pixel (2,1), as a result of the determination in step S50, the difference 34 between the current depth data 2331 and the previous depth data 2297 is obtained by multiplying the current depth data 2331 by a first threshold value (0.04). Since it is less than or equal to the value (93.24), the depth data is corrected to 2314 through step S50.

픽셀 (2,3)의 경우, 단계 S40에서의 판단 결과 현재 깊이 데이터(0)가 없기 때문에 단계 S100을 거쳐 원본 데이터인 0이 유지된다.In the case of the pixels (2,3), since there is no current depth data (0) as a result of the determination in step S40, the original data, 0, is maintained through step S100.

픽셀 (2,5)의 경우, 단계 S50에서의 판단 결과 현재 깊이 데이터(2439)와 이전 깊이 데이터(2069)의 차이(370)가 현재 깊이 데이터(2439)에 제1 문턱값(0.04)을 곱한 값(97.56)을 초과하기 때문에, 단계 S70과 단계 S80을 거쳐 깊이 데이터가 2426으로 보정된다.In the case of the pixel (2,5), the difference 370 between the current depth data 2439 and the previous depth data 2069 as a result of determination in step S50 is obtained by multiplying the current depth data 2439 by a first threshold value (0.04). Since the value (97.56) is exceeded, the depth data is corrected to 2426 through steps S70 and S80.

이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치가 제공되는 효과가 있다.As described in detail above, according to the present invention, there is provided an image processing apparatus capable of removing depth data noise included in a 3D image in a short time while minimizing motion blur of a 3D image and deformation of the original image. Has the effect of being.

10: 현재 깊이 데이터 프레임 획득부
20: 시간 필터링 보정부
30: 공간 필터링 보정부
40: 보정 프레임 생성/관리부10: current depth data frame acquisition unit
20: time filtering correction unit
30: spatial filtering correction unit
40: correction frame generation/management unit

Claims (6)

현재 깊이 데이터 프레임을 획득하는 현재 깊이 데이터 프레임 획득부;
상기 현재 깊이 데이터 프레임과 상기 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값을 곱한 값 이하인 경우 상기 현재 깊이 데이터를 상기 이전 깊이 데이터에 가중치를 적용한 값과 상기 현재 깊이 데이터의 평균값으로 보정하는 시간 필터링 보정부; 및
상기 현재 깊이 데이터와 상기 이전 깊이 데이터의 차이가 상기 현재 깊이 데이터에 상기 제1 문턱값을 곱한 값을 초과하는 경우 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정하는 공간 필터링 보정부를 포함하고,
상기 시간 필터링 보정부는 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀에 대해서는 시간 필터링 보정을 수행하지 않고 바이패스(bypass)하여 원본 데이터를 유지시키고,
상기 공간 필터링 보정부는 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값을 곱한 값 이하인 경우 상기 후행 픽셀의 현재 깊이 데이터를 상기 후행 픽셀과 상기 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값으로 보정하는, 영상 처리 장치.
A current depth data frame obtaining unit that obtains a current depth data frame;
The current depth data when a difference in depth data between the current depth data frame and pixels at a corresponding position of a previous depth data frame temporally preceding the current depth data frame is less than or equal to a value obtained by multiplying the current depth data by a first threshold value. A temporal filtering correction unit correcting a value obtained by applying a weight to the previous depth data and an average value of the current depth data; And
When the difference between the current depth data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold value, the current depth data frame is Including a spatial filtering correction unit for correcting the current depth data of the pixels constituting the depth data frame,
The temporal filtering correction unit bypasses the temporal filtering correction for pixels in which data does not exist among the pixels constituting the current depth data frame and maintains the original data,
When the difference between the current depth data of the spatially adjacent pixels of the current depth data frame is less than or equal to a value obtained by multiplying the current depth data of a spatially following subsequent pixel by a second threshold, the current depth data of the subsequent pixel The image processing apparatus of claim 1, wherein the data is corrected to an average value of current depth data of the following pixel and a preceding pixel preceding the next pixel.
 삭제delete 삭제delete 제1항에 있어서,
상기 공간 필터링 보정부는,
상기 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는 경우 상기 후행 픽셀에 대한 공간 필터링 보정을 수행하지 않고 바이패스하여 원본 데이터를 유지시키는 것을 특징으로 하는, 영상 처리 장치.
The method of claim 1,
The spatial filtering correction unit,
The image processing apparatus, characterized in that, when the subsequent pixel is located at a left edge of the screen, the original data is maintained by bypassing the subsequent pixel without performing spatial filtering correction.
 제1항에 있어서,
상기 시간 필터링 보정부와 상기 공간 필터링 보정부의 출력값을 합성하여 상기 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리하는 보정 프레임 생성/관리부를 더 포함하는 것을 특징으로 하는, 영상 처리 장치.
The method of claim 1,
And a correction frame generation/management unit for synthesizing the output values of the temporal filtering correction unit and the spatial filtering correction unit to generate and manage a correction frame obtained by correcting depth data of the current depth data frame. Device.
 제1항에 있어서,
상기 제1 문턱값, 상기 제2 문턱값, 상기 가중치 중에서 적어도 하나는 설정 및 재설정이 가능한 것을 특징으로 하는, 영상 처리 장치.
The method of claim 1,
At least one of the first threshold value, the second threshold value, and the weight value can be set and reset.
KR1020190107462A 2019-08-30 2019-08-30 Image processing apparatus KR102240054B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190107462A KR102240054B1 (en) 2019-08-30 2019-08-30 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190107462A KR102240054B1 (en) 2019-08-30 2019-08-30 Image processing apparatus

Publications (2)

Publication Number Publication Date
KR20210026535A KR20210026535A (en) 2021-03-10
KR102240054B1 true KR102240054B1 (en) 2021-04-14

Family

ID=75148269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190107462A KR102240054B1 (en) 2019-08-30 2019-08-30 Image processing apparatus

Country Status (1)

Country Link
KR (1) KR102240054B1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590767B1 (en) 2009-06-09 2016-02-03 삼성전자주식회사 Image processing apparatus and method
KR101699844B1 (en) 2010-05-12 2017-01-25 삼성전자주식회사 Motion-compensated three dimension filtering method and apparatus
KR101896307B1 (en) * 2012-01-10 2018-09-10 삼성전자주식회사 Method and apparatus for processing depth image
KR101984173B1 (en) * 2012-03-14 2019-06-03 한화에어로스페이스 주식회사 Method and Apparatus for Noise Reduction
KR101361114B1 (en) * 2012-07-12 2014-02-13 매크로영상기술(주) Adaptive Noise Reduction System for Digital Image and Method Therefor
KR102182695B1 (en) * 2014-04-01 2020-11-24 한화테크윈 주식회사 Method and Apparatus for Noise Reduction

Also Published As

Publication number Publication date
KR20210026535A (en) 2021-03-10

Similar Documents

Publication Publication Date Title
JP4127411B1 (en) Image processing apparatus and method
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
KR101747603B1 (en) Color night vision system and operation method thereof
US9681026B2 (en) System and method for lens shading compensation
KR101574733B1 (en) Image processing apparatus for obtaining high-definition color image and method therof
US20180336664A1 (en) Image processing apparatus, image processing method, and storage medium
US20150310594A1 (en) Method for imaging processing, and image processing device
WO2020146911A3 (en) Multi-stage multi-reference bootstrapping for video super-resolution
US8780215B2 (en) Apparatus and method for processing an image to correct image distortion caused by a hand shake
CN109074634A (en) The method and apparatus of automation noise and texture optimization for digital image sensor
JP2017011634A (en) Imaging device, control method for the same and program
US20050093991A1 (en) Black level correction circuit and black level correction method for video camera using solid state image pickup device
US9338354B2 (en) Motion blur estimation and restoration using light trails
US10003814B2 (en) Image processor, display image processing method and associated electronic device
US10565687B2 (en) Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium
KR102240054B1 (en) Image processing apparatus
CN111770321B (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US11514598B2 (en) Image processing apparatus, image processing method, and mobile device
JP2019029750A (en) Imaging apparatus
US8102444B2 (en) Method and apparatus for post noise reduction black level correction
US20220141381A1 (en) Imaging apparatus and method of detecting expression
JP5621335B2 (en) Image processing apparatus, image processing method, and image pickup apparatus
JP2010056883A (en) Optical device and photographing device
US8957995B2 (en) Image processing apparatus and control method thereof
US11711619B2 (en) Controlling exposure based on inverse gamma characteristic

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant