KR102240054B1 - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- KR102240054B1 KR102240054B1 KR1020190107462A KR20190107462A KR102240054B1 KR 102240054 B1 KR102240054 B1 KR 102240054B1 KR 1020190107462 A KR1020190107462 A KR 1020190107462A KR 20190107462 A KR20190107462 A KR 20190107462A KR 102240054 B1 KR102240054 B1 KR 102240054B1
- Authority
- KR
- South Korea
- Prior art keywords
- depth data
- current depth
- data frame
- frame
- correction unit
- Prior art date
Links
- 238000001914 filtration Methods 0.000 claims abstract description 48
- 230000002123 temporal effect Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 29
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명에 따른 영상 처리 장치는 현재 깊이 데이터 프레임을 획득하는 현재 깊이 데이터 프레임 획득부, 상기 현재 깊이 데이터 프레임과 상기 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값을 곱한 값 이하인 경우 상기 현재 깊이 데이터를 상기 이전 깊이 데이터에 가중치를 적용한 값과 상기 현재 깊이 데이터의 평균값으로 보정하는 시간 필터링 보정부 및 상기 현재 깊이 데이터와 상기 이전 깊이 데이터의 차이가 상기 현재 깊이 데이터에 상기 제1 문턱값을 곱한 값을 초과하는 경우 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정하는 공간 필터링 보정부를 포함한다.
본 발명에 따르면, 3차원 영상의 모션 블러 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있다.The image processing apparatus according to the present invention includes a current depth data frame acquisition unit that acquires a current depth data frame, and between pixels at a corresponding position of the current depth data frame and a previous depth data frame temporally preceding the current depth data frame. When the difference in depth data is less than or equal to a value obtained by multiplying the current depth data by a first threshold value, a temporal filtering correction unit for correcting the current depth data to a value obtained by applying a weight to the previous depth data and an average value of the current depth data, and the current depth When the difference between the data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold value, the current depth data frame according to the difference between the current depth data of the spatially adjacent pixels of the current depth data frame And a spatial filtering correction unit correcting the current depth data of the pixels constituting the.
According to the present invention, depth data noise included in a 3D image can be removed within a short time while minimizing motion blur and deformation of an original image of a 3D image.
Description
본 발명은 영상 처리 장치에 관한 것이다. 보다 구체적으로, 본 발명은 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치에 관한 것이다.The present invention relates to an image processing apparatus. More specifically, the present invention relates to an image processing apparatus capable of removing depth data noise included in a 3D image within a short time while minimizing motion blur and deformation of an original image of a 3D image.
최근 영상처리기술의 발전과 함께 3차원 영상 정보에 대한 관심이 높아지고 있다.With the recent development of image processing technology, interest in 3D image information is increasing.
이러한 3차원 영상 정보는 형상(geometry) 정보와 칼라(color) 정보로 구성되고, 칼라 정보는 CCD(Charged Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 이미지 센서를 채용한 카메라에 의해 획득될 수 있고, 형상 정보는 깊이 카메라(depth camera)에 의해 획득될 수 있다.This 3D image information is composed of geometry information and color information, and the color information is acquired by a camera employing an image sensor such as CCD (Charged Coupled Device) or CMOS (Complementary Metal-Oxide Semiconductor). May be, and shape information may be obtained by a depth camera.
깊이 카메라는, 적외선(Infra Red, IR)과 같은 광(Light)을 오브젝트(object)에 조사하고, 반사광을 센서로 감지하여, 광 조사와 반사광 수광 사이의 시간차(Time of Flight, TOF)를 측정함으로써 깊이 영상을 생성할 수 있다.The depth camera irradiates light such as infrared (Infra Red, IR) onto an object, detects the reflected light with a sensor, and measures the time difference (Time of Flight, TOF) between the irradiation and the reception of the reflected light. By doing so, it is possible to generate a depth image.
그런데, 일반적으로 TOF 타입의 깊이 카메라에 채용되는 깊이 센서(depth sensor)는, 센서 자체의 전기적(electrical), 열적(thermal) 노이즈(noise)의 영향뿐 아니라 주변 광원 및 물체의 재질 특성 등의 영향을 받기 때문에, 깊이 카메라에 의해 생성되는 깊이 영상의 깊이 값들도 노이즈의 영향을 받게 되며, 이러한 노이즈는 결과물인 3차원 영상의 품질(quality)을 저하하는 요인으로 작용한다.However, the depth sensor generally employed in TOF-type depth cameras is not only affected by electrical and thermal noise of the sensor itself, but also by surrounding light sources and material properties of objects. Because of this, the depth values of the depth image generated by the depth camera are also affected by noise, and this noise acts as a factor deteriorating the quality of the resulting 3D image.
이러한 노이즈를 제거하기 위한 기술로서, 공간 필터링 기술과 시간 필터링 기술이 알려져 있다.As techniques for removing such noise, spatial filtering techniques and temporal filtering techniques are known.
그러나, 공간 필터링(spatial filtering) 기술은 원본 영상의 주변 데이터를 이용하기 때문에, 원본 이미지의 변형이 발생하기 쉽다는 문제점이 있다.However, since the spatial filtering technique uses the surrounding data of the original image, there is a problem in that the original image is easily deformed.
또한, 시간 필터링(temporal filtering) 기술에 따르면, 시간의 흐름에 따라 변하는 영상, 즉, 영상 내에 움직임이 있는 경우 모션 블러(motion blur)가 발생한다는 문제점이 있다.In addition, according to the temporal filtering technology, there is a problem in that motion blur occurs when there is motion in an image that changes with the passage of time, that is, an image.
본 발명의 기술적 과제는 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치를 제공하는 것이다.An object of the present invention is to provide an image processing apparatus capable of removing depth data noise included in a 3D image within a short time while minimizing motion blur and deformation of an original image of a 3D image.
이러한 기술적 과제를 해결하기 위한 본 발명에 따른 영상 처리 장치는 현재 깊이 데이터 프레임을 획득하는 현재 깊이 데이터 프레임 획득부, 상기 현재 깊이 데이터 프레임과 상기 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값을 곱한 값 이하인 경우 상기 현재 깊이 데이터를 상기 이전 깊이 데이터에 가중치를 적용한 값과 상기 현재 깊이 데이터의 평균값으로 보정하는 시간 필터링 보정부 및 상기 현재 깊이 데이터와 상기 이전 깊이 데이터의 차이가 상기 현재 깊이 데이터에 상기 제1 문턱값을 곱한 값을 초과하는 경우 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정하는 공간 필터링 보정부를 포함한다.An image processing apparatus according to the present invention for solving such a technical problem includes a current depth data frame acquisition unit that acquires a current depth data frame, the current depth data frame and a previous depth data frame temporally preceding the current depth data frame. Time for correcting the current depth data to a value obtained by applying a weight to the previous depth data and an average value of the current depth data when the difference in depth data between the pixels at the corresponding location is less than or equal to the current depth data multiplied by the first threshold value When the difference between the filtering correction unit and the current depth data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold, the difference between the current depth data of spatially adjacent pixels of the current depth data frame And a spatial filtering correction unit correcting current depth data of pixels constituting the current depth data frame according to the present invention.
본 발명에 따른 영상 처리 장치에 있어서, 상기 시간 필터링 보정부는, 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀에 대해서는 시간 필터링 보정을 수행하지 않고 바이패스(bypass)하여 원본 데이터를 유지시키는 것을 특징으로 한다.In the image processing apparatus according to the present invention, the temporal filtering correction unit bypasses the original data by bypassing the temporal filtering correction for pixels in which data does not exist among the pixels constituting the current depth data frame. It is characterized in that to maintain.
본 발명에 따른 영상 처리 장치에 있어서, 상기 공간 필터링 보정부는, 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값을 곱한 값 이하인 경우 상기 후행 픽셀의 현재 깊이 데이터를 상기 후행 픽셀과 상기 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값으로 보정하는 것을 특징으로 한다.In the image processing apparatus according to the present invention, the spatial filtering correction unit applies a second threshold value to the current depth data of a subsequent pixel spatially following a difference in current depth data of spatially adjacent pixels of the current depth data frame. If it is less than the multiplied value, the current depth data of the subsequent pixel is corrected with an average value of the current depth data of the next pixel and a preceding pixel preceding the next pixel.
본 발명에 따른 영상 처리 장치에 있어서, 상기 공간 필터링 보정부는, 상기 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는 경우 상기 후행 픽셀에 대한 공간 필터링 보정을 수행하지 않고 바이패스하여 원본 데이터를 유지시키는 것을 특징으로 한다.In the image processing apparatus according to the present invention, the spatial filtering correction unit, when the subsequent pixel is located at a left edge of the screen, bypasses without performing spatial filtering correction on the subsequent pixel to maintain the original data. It is characterized by letting go.
본 발명에 따른 영상 처리 장치는 상기 시간 필터링 보정부와 상기 공간 필터링 보정부의 출력값을 합성하여 상기 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리하는 보정 프레임 생성/관리부를 더 포함하는 것을 특징으로 한다.The image processing apparatus according to the present invention further includes a correction frame generation/management unit for synthesizing the output values of the temporal filtering correction unit and the spatial filtering correction unit to generate and manage a correction frame correcting depth data of the current depth data frame. Characterized in that.
본 발명에 따른 영상 처리 장치에 있어서, 상기 제1 문턱값, 상기 제2 문턱값, 상기 가중치 중에서 적어도 하나는 설정 및 재설정이 가능한 것을 특징으로 한다.In the image processing apparatus according to the present invention, at least one of the first threshold value, the second threshold value, and the weight value can be set and reset.
본 발명에 따르면, 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치가 제공되는 효과가 있다.According to the present invention, there is an effect of providing an image processing apparatus capable of removing depth data noise included in a 3D image within a short time while minimizing motion blur and deformation of an original image of a 3D image.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면이고,
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구체적이고 예시적인 동작을 설명하기 위한 도면이고,
도 3은 보정 전의 현재 깊이 데이터 프레임을 예시적으로 나타낸 도면이고,
도 4는 보정 전의 이전 깊이 데이터 프레임을 예시적으로 나타낸 도면이고,
도 5는 본 발명의 실시 예들에 따라 보정된 깊이 데이터 프레임을 예시적으로 나타낸 도면이다.1 is a diagram showing an image processing apparatus according to an embodiment of the present invention,
2 is a diagram for explaining a specific and exemplary operation of an image processing apparatus according to an embodiment of the present invention;
3 is a diagram illustrating an exemplary current depth data frame before correction,
4 is a diagram illustrating an exemplary depth data frame before correction,
5 is a diagram illustrating a corrected depth data frame according to embodiments of the present invention.
본 명세서에 개시된 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in the present specification are only exemplified for the purpose of describing the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are in various forms. And is not limited to the embodiments described herein.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in the present specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and scope of the present invention.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.Terms such as first or second may be used to describe various constituent elements, but the constituent elements should not be limited by the terms. The above terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be referred to as the second component and similarly the second component. The component may also be referred to as a first component.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it should be understood that it is directly connected or may be connected to the other component, but other components may exist in the middle. will be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Other expressions describing the relationship between components, such as "between" and "directly between" or "adjacent to" and "directly adjacent to" should be interpreted as well.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described herein, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance the possibility of the presence or addition.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의된 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present specification. .
이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면이고, 도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구체적이고 예시적인 동작을 설명하기 위한 도면이다.1 is a diagram illustrating an image processing apparatus according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining a specific and exemplary operation of an image processing apparatus according to an embodiment of the present invention.
도 1 내지 도 2를 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치는 현재 깊이 데이터 프레임 획득부(10), 시간 필터링 보정부(20), 공간 필터링 보정부(30) 및 보정 프레임 생성/관리부(40)를 포함한다.1 to 2, the image processing apparatus according to an embodiment of the present invention includes a current depth data
현재 깊이 데이터 프레임 획득부(10)는, 현재 깊이 데이터 프레임을 획득하여 시간 필터링 보정부(20)와 공간 필터링 보정부(30)로 전달하는 기능을 수행한다. 예를 들어, 본 발명의 일 실시 예에 따른 영상 처리 장치가 ToF(Time of Flight) 카메라와 같은 광원을 이용한 카메라에 구비되는 경우, 발광부가 피사체를 향하여 광을 조사하고, 이미지 센서를 포함하는 수광부가 피사체에 반사된 광을 수광하여 전기신호로 변환하여 출력하고, 현재 깊이 데이터 프레임 획득부(10)는 이 전기신호를 프레임 단위로 획득함으로써 현재 깊이 데이터 프레임을 획득할 수 있다.The current depth data
시간 필터링 보정부(20)는, 현재 깊이 데이터 프레임과 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값(k1)을 곱한 값 이하인 경우, 현재 깊이 데이터를 이전 깊이 데이터에 가중치(N)를 적용한 값과 현재 깊이 데이터의 평균값으로 보정한다.The temporal
예를 들어, 시간 필터링 보정부(20)는, 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀에 대해서는 시간 필터링 보정을 수행하지 않고 바이패스(bypass)하여 원본 데이터를 유지시키도록 구성될 수 있다.For example, the temporal
공간 필터링 보정부(30)는, 현재 깊이 데이터와 이전 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값(k1)을 곱한 값을 초과하는 경우 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정한다.When the difference between the current depth data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold value k1, the spatial
예를 들어, 공간 필터링 보정부(30)는, 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값(k2)을 곱한 값 이하인 경우 후행 픽셀의 현재 깊이 데이터를 후행 픽셀과 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값으로 보정하도록 구성될 수 있다.For example, the spatial
예를 들어, 공간 필터링 보정부(30)는, 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는 경우 후행 픽셀에 대한 공간 필터링 보정을 수행하지 않고 바이패스하여 원본 데이터를 유지시키도록 구성될 수 있다.For example, the spatial
보정 프레임 생성/관리부(40)는 시간 필터링 보정부(20)와 공간 필터링 보정부(30)의 출력값을 합성하여 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리한다.The correction frame generation/
예를 들어, 제1 문턱값(k1), 제2 문턱값(k2), 가중치(N) 중에서 적어도 하나는 설정 및 재설정이 가능하도록 구성될 수 있다.For example, at least one of the first threshold value k1, the second threshold value k2, and the weight N may be configured to be set and reset.
이하에서는, 도 2를 추가로 참조하여 본 발명의 일 실시 예에 따른 영상 처리 장치의 구체적이고 예시적인 동작을 설명한다.Hereinafter, a detailed and exemplary operation of the image processing apparatus according to an embodiment of the present invention will be described with additional reference to FIG. 2.
도 2를 추가로 참조하면,단계 S10에서는, 현재 깊이 데이터 프레임(NDI)에 시간적으로 선행하는 이전 깊이 데이터 프레임(PDI)을 로딩하는 과정이 수행된다. 예를 들어, 이전 깊이 데이터 프레임은 보정 프레임 생성/관리부(40)에 저장된 값으로서, 이하에서 설명하는 과정을 거쳐 깊이 데이터가 보정된 값일 수 있으며, 제1 문턱값(k1), 제2 문턱값(k2), 가중치(N)은 제품 출시 시점에 설정되어 메모리에 저장된 값일 수 있으나, 이에 한정되지는 않으며, 제품 사용 과정에서 사용자에 의해 설정 및 재설정되는 값일 수도 있다.Referring further to FIG. 2, in step S10, a process of loading a previous depth data frame PDI temporally preceding the current depth data frame NDI is performed. For example, the previous depth data frame is a value stored in the correction frame generation/
단계 S20에서는, 현재 깊이 데이터 프레임 획득부(10)가 현재 깊이 데이터 프레임(NDI)을 획득하는 과정이 수행된다.In step S20, a process of obtaining the current depth data frame NDI by the current depth data
단계 S30에서는, 현재 깊이 데이터 프레임에 대한 전처리 과정이 수행된다. 이 과정은 현재 깊이 데이터 프레임에 포함된 스캐터링 이펙트(scattering effect) 등에 기인하는 제반 노이즈를 제거하는 과정으로서, 본 발명의 일 실시 예는 이 과정을 수행하는 잡음제거수단을 더 포함할 수 있다.In step S30, a pre-processing process for the current depth data frame is performed. This process is a process of removing all noise caused by a scattering effect or the like included in the current depth data frame, and an embodiment of the present invention may further include a noise removing means for performing this process.
이하 설명하는 단계 S40 내지 단계 S100의 과정은 현재 깊이 데이터 프레임(NDI)을 구성하는 전체 픽셀에 대하여 수행된다는 점을 밝혀둔다.It should be noted that the processes of steps S40 to S100 described below are performed for all pixels constituting the current depth data frame (NDI).
단계 S40은 시간 필터링 보정부(20)가 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀을 찾는 과정이다. 데이터가 존재하지 않는 픽셀, 즉, 데이터가 0인 픽셀의 경우 단계 S100으로 전환되어 원본 데이터인 0이 유지된다.Step S40 is a process in which the
단계 S50에서는, 시간 필터링 보정부(20)가 현재 깊이 데이터 프레임과 이전 깊이 데이터 프레임을 비교하여 움직임이 있는지 여부를 판단하는 과정이 수행된다.In step S50, the temporal
구체적으로, 단계 S50에서는, 시간 필터링 보정부(20)가 현재 깊이 데이터 프레임과 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이(NDI[I]-PDI[I])가 현재 깊이 데이터(NDI[I])에 제1 문턱값(k1)을 곱한 값(NDI[I]*k1) 이하인지 여부를 판단하는 과정이 수행된다. 단계 S50에서의 판단 결과, 깊이 데이터의 차이(NDI[I]-PDI[I])가 현재 깊이 데이터에 제1 문턱값을 곱한 값(NDI[I]*k1) 이하인 경우 단계 S60으로 전환되고, 그렇지 않은 경우에는 프레임에 움직임이 있는 것으로 판단하여 단계 S70으로 전환된다.Specifically, in step S50, the temporal
단계 S60에서는, 시간 필터링 보정부(20)가 현재 깊이 데이터(NDI[I])를 이전 깊이 데이터(PDI[I])에 가중치(N)를 적용한 값(PDI[I]*N)과 현재 깊이 데이터(NDI[I])의 평균값((NDI[I]+PDI[I]*N)/(N+1))으로 보정하는 과정이 수행된다.In step S60, the time
단계 S70에서는, 공간 필터링 보정부(30)가 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들 중에서 공간 보정의 대상인 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는지 여부를 판단하는 과정이 수행된다. 단계 S70에서의 판단 결과, 공간 보정의 대상인 후행 픽셀이 화면의 좌측 에지에 위치하는 경우 단계 S100으로 전환되어 원본 데이터가 유지되고, 그렇지 않은 경우 단계 S80으로 전환된다.In step S70, the spatial
단계 S80에서는, 공간 필터링 보정부(30)가 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이(NDI[I]- NDI[I-1])가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터(NDI[I])에 제2 문턱값(k2)을 곱한 값(NDI[I]*k2) 이하인지 여부를 판단하는 과정이 수행된다. 단계 S80에서의 판단 결과, 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이(NDI[I]- NDI[I-1])가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값을 곱한 값(NDI[I]*k2) 이하인 경우 단계 S90으로 전환되고, 그렇지 않은 경우 단계 S100으로 전환된다.In step S80, the spatial
단계 S90에서는, 공간 필터링 보정부(30)가 공간 보정의 대상인 후행 픽셀의 현재 깊이 데이터(NDI[I])를 후행 픽셀과 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값(NDI[I]+NDI[I-1]/2)으로 보정하는 과정이 수행된다.In step S90, the spatial
앞서 설명한 바와 같이 단계 S100에서는, 현재 깊이 데이터 프레임의 해당 픽셀의 원본 데이터가 유지된다.As described above, in step S100, the original data of the corresponding pixel of the current depth data frame is maintained.
단계 S110과 단계 S120에서는, 보정 프레임 생성/관리부(40)가 시간 필터링 보정부(20)와 공간 필터링 보정부(30)의 출력값을 합성하여 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리하는 과정이 수행된다.In steps S110 and S120, the correction frame generation/
이하에서는 도 3 내지 도 5를 추가로 참조하여 깊이 데이터가 보정되는 구체적인 예를 설명한다.Hereinafter, a specific example in which depth data is corrected will be described with additional reference to FIGS. 3 to 5.
도 3은 보정 전의 현재 깊이 데이터 프레임을 예시적으로 나타낸 도면이고, 도 4는 보정 전의 이전 깊이 데이터 프레임을 예시적으로 나타낸 도면이고, 도 5는 본 발명의 실시 예들에 따라 보정된 깊이 데이터 프레임을 예시적으로 나타낸 도면이다. 도 3 내지 도 5에 개시된 예에서, 제1 문턱값(k1)은 0.04, 제2 문턱값(k2)는 0.02, 가중치(N)는 1이나, 이는 하나의 예시일 뿐이다.3 is a diagram illustrating an exemplary current depth data frame before correction, FIG. 4 is a diagram illustrating a previous depth data frame before correction, and FIG. 5 is a diagram illustrating a corrected depth data frame according to embodiments of the present invention. It is an exemplary diagram. In the example disclosed in FIGS. 3 to 5, the first threshold value k1 is 0.04, the second threshold value k2 is 0.02, and the weight N is 1, but this is only an example.
25개의 픽셀들 중에서, 픽셀 (1,1), (2,1), (2,3), (2,5)의 처리 과정을 설명하면 다음과 같다.Among the 25 pixels, the processing of pixels (1,1), (2,1), (2,3), and (2,5) will be described as follows.
픽셀 (1,1)의 경우, 단계 S50에서의 판단 결과 현재 깊이 데이터(2111)와 이전 깊이 데이터(2264)의 차이(153)가 현재 깊이 데이터(2111)에 제1 문턱값(0.04)을 곱한 값(84.44)을 초과하기 때문에, 단계 S70과 단계 S100을 거쳐 원본 데이터인 2111이 유지된다.In the case of the pixel (1,1), the difference 153 between the
픽셀 (2,1)의 경우, 단계 S50에서의 판단 결과 현재 깊이 데이터(2331)와 이전 깊이 데이터(2297)의 차이(34)가 현재 깊이 데이터(2331)에 제1 문턱값(0.04)을 곱한 값(93.24) 이하이기 때문에, 단계 S50을 거쳐 깊이 데이터가 2314로 보정된다.In the case of pixel (2,1), as a result of the determination in step S50, the difference 34 between the current depth data 2331 and the
픽셀 (2,3)의 경우, 단계 S40에서의 판단 결과 현재 깊이 데이터(0)가 없기 때문에 단계 S100을 거쳐 원본 데이터인 0이 유지된다.In the case of the pixels (2,3), since there is no current depth data (0) as a result of the determination in step S40, the original data, 0, is maintained through step S100.
픽셀 (2,5)의 경우, 단계 S50에서의 판단 결과 현재 깊이 데이터(2439)와 이전 깊이 데이터(2069)의 차이(370)가 현재 깊이 데이터(2439)에 제1 문턱값(0.04)을 곱한 값(97.56)을 초과하기 때문에, 단계 S70과 단계 S80을 거쳐 깊이 데이터가 2426으로 보정된다.In the case of the pixel (2,5), the difference 370 between the
이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 3차원 영상의 모션 블러(motion blur) 및 원본 이미지 변형을 최소화하면서 3차원 영상에 포함된 깊이 데이터 노이즈를 짧은 시간 내에 제거할 수 있는 영상 처리 장치가 제공되는 효과가 있다.As described in detail above, according to the present invention, there is provided an image processing apparatus capable of removing depth data noise included in a 3D image in a short time while minimizing motion blur of a 3D image and deformation of the original image. Has the effect of being.
10: 현재 깊이 데이터 프레임 획득부
20: 시간 필터링 보정부
30: 공간 필터링 보정부
40: 보정 프레임 생성/관리부10: current depth data frame acquisition unit
20: time filtering correction unit
30: spatial filtering correction unit
40: correction frame generation/management unit
Claims (6)
상기 현재 깊이 데이터 프레임과 상기 현재 깊이 데이터 프레임에 시간적으로 선행하는 이전 깊이 데이터 프레임의 대응하는 위치의 픽셀들 간의 깊이 데이터의 차이가 현재 깊이 데이터에 제1 문턱값을 곱한 값 이하인 경우 상기 현재 깊이 데이터를 상기 이전 깊이 데이터에 가중치를 적용한 값과 상기 현재 깊이 데이터의 평균값으로 보정하는 시간 필터링 보정부; 및
상기 현재 깊이 데이터와 상기 이전 깊이 데이터의 차이가 상기 현재 깊이 데이터에 상기 제1 문턱값을 곱한 값을 초과하는 경우 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이에 따라 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들의 현재 깊이 데이터를 보정하는 공간 필터링 보정부를 포함하고,
상기 시간 필터링 보정부는 상기 현재 깊이 데이터 프레임을 구성하는 픽셀들 중에서 데이터가 존재하지 않는 픽셀에 대해서는 시간 필터링 보정을 수행하지 않고 바이패스(bypass)하여 원본 데이터를 유지시키고,
상기 공간 필터링 보정부는 상기 현재 깊이 데이터 프레임의 공간적으로 인접하는 픽셀들의 현재 깊이 데이터의 차이가 공간적으로 후행하는 후행 픽셀의 현재 깊이 데이터에 제2 문턱값을 곱한 값 이하인 경우 상기 후행 픽셀의 현재 깊이 데이터를 상기 후행 픽셀과 상기 후행 픽셀에 선행하는 선행 픽셀의 현재 깊이 데이터의 평균값으로 보정하는, 영상 처리 장치.
A current depth data frame obtaining unit that obtains a current depth data frame;
The current depth data when a difference in depth data between the current depth data frame and pixels at a corresponding position of a previous depth data frame temporally preceding the current depth data frame is less than or equal to a value obtained by multiplying the current depth data by a first threshold value. A temporal filtering correction unit correcting a value obtained by applying a weight to the previous depth data and an average value of the current depth data; And
When the difference between the current depth data and the previous depth data exceeds a value obtained by multiplying the current depth data by the first threshold value, the current depth data frame is Including a spatial filtering correction unit for correcting the current depth data of the pixels constituting the depth data frame,
The temporal filtering correction unit bypasses the temporal filtering correction for pixels in which data does not exist among the pixels constituting the current depth data frame and maintains the original data,
When the difference between the current depth data of the spatially adjacent pixels of the current depth data frame is less than or equal to a value obtained by multiplying the current depth data of a spatially following subsequent pixel by a second threshold, the current depth data of the subsequent pixel The image processing apparatus of claim 1, wherein the data is corrected to an average value of current depth data of the following pixel and a preceding pixel preceding the next pixel.
상기 공간 필터링 보정부는,
상기 후행 픽셀이 화면의 좌측 에지(edge)에 위치하는 경우 상기 후행 픽셀에 대한 공간 필터링 보정을 수행하지 않고 바이패스하여 원본 데이터를 유지시키는 것을 특징으로 하는, 영상 처리 장치.
The method of claim 1,
The spatial filtering correction unit,
The image processing apparatus, characterized in that, when the subsequent pixel is located at a left edge of the screen, the original data is maintained by bypassing the subsequent pixel without performing spatial filtering correction.
상기 시간 필터링 보정부와 상기 공간 필터링 보정부의 출력값을 합성하여 상기 현재 깊이 데이터 프레임의 깊이 데이터를 보정한 보정 프레임을 생성하여 관리하는 보정 프레임 생성/관리부를 더 포함하는 것을 특징으로 하는, 영상 처리 장치.
The method of claim 1,
And a correction frame generation/management unit for synthesizing the output values of the temporal filtering correction unit and the spatial filtering correction unit to generate and manage a correction frame obtained by correcting depth data of the current depth data frame. Device.
상기 제1 문턱값, 상기 제2 문턱값, 상기 가중치 중에서 적어도 하나는 설정 및 재설정이 가능한 것을 특징으로 하는, 영상 처리 장치.
The method of claim 1,
At least one of the first threshold value, the second threshold value, and the weight value can be set and reset.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190107462A KR102240054B1 (en) | 2019-08-30 | 2019-08-30 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190107462A KR102240054B1 (en) | 2019-08-30 | 2019-08-30 | Image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210026535A KR20210026535A (en) | 2021-03-10 |
KR102240054B1 true KR102240054B1 (en) | 2021-04-14 |
Family
ID=75148269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190107462A KR102240054B1 (en) | 2019-08-30 | 2019-08-30 | Image processing apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102240054B1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101590767B1 (en) | 2009-06-09 | 2016-02-03 | 삼성전자주식회사 | Image processing apparatus and method |
KR101699844B1 (en) | 2010-05-12 | 2017-01-25 | 삼성전자주식회사 | Motion-compensated three dimension filtering method and apparatus |
KR101896307B1 (en) * | 2012-01-10 | 2018-09-10 | 삼성전자주식회사 | Method and apparatus for processing depth image |
KR101984173B1 (en) * | 2012-03-14 | 2019-06-03 | 한화에어로스페이스 주식회사 | Method and Apparatus for Noise Reduction |
KR101361114B1 (en) * | 2012-07-12 | 2014-02-13 | 매크로영상기술(주) | Adaptive Noise Reduction System for Digital Image and Method Therefor |
KR102182695B1 (en) * | 2014-04-01 | 2020-11-24 | 한화테크윈 주식회사 | Method and Apparatus for Noise Reduction |
-
2019
- 2019-08-30 KR KR1020190107462A patent/KR102240054B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20210026535A (en) | 2021-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4127411B1 (en) | Image processing apparatus and method | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
KR101747603B1 (en) | Color night vision system and operation method thereof | |
US9681026B2 (en) | System and method for lens shading compensation | |
KR101574733B1 (en) | Image processing apparatus for obtaining high-definition color image and method therof | |
US20180336664A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20150310594A1 (en) | Method for imaging processing, and image processing device | |
WO2020146911A3 (en) | Multi-stage multi-reference bootstrapping for video super-resolution | |
US8780215B2 (en) | Apparatus and method for processing an image to correct image distortion caused by a hand shake | |
CN109074634A (en) | The method and apparatus of automation noise and texture optimization for digital image sensor | |
JP2017011634A (en) | Imaging device, control method for the same and program | |
US20050093991A1 (en) | Black level correction circuit and black level correction method for video camera using solid state image pickup device | |
US9338354B2 (en) | Motion blur estimation and restoration using light trails | |
US10003814B2 (en) | Image processor, display image processing method and associated electronic device | |
US10565687B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and recording medium | |
KR102240054B1 (en) | Image processing apparatus | |
CN111770321B (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US11514598B2 (en) | Image processing apparatus, image processing method, and mobile device | |
JP2019029750A (en) | Imaging apparatus | |
US8102444B2 (en) | Method and apparatus for post noise reduction black level correction | |
US20220141381A1 (en) | Imaging apparatus and method of detecting expression | |
JP5621335B2 (en) | Image processing apparatus, image processing method, and image pickup apparatus | |
JP2010056883A (en) | Optical device and photographing device | |
US8957995B2 (en) | Image processing apparatus and control method thereof | |
US11711619B2 (en) | Controlling exposure based on inverse gamma characteristic |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |