KR20190118078A - Method for distinguishing object from backgrounds - Google Patents

Method for distinguishing object from backgrounds Download PDF

Info

Publication number
KR20190118078A
KR20190118078A KR1020180041248A KR20180041248A KR20190118078A KR 20190118078 A KR20190118078 A KR 20190118078A KR 1020180041248 A KR1020180041248 A KR 1020180041248A KR 20180041248 A KR20180041248 A KR 20180041248A KR 20190118078 A KR20190118078 A KR 20190118078A
Authority
KR
South Korea
Prior art keywords
pixel
background
input image
pixels
samples
Prior art date
Application number
KR1020180041248A
Other languages
Korean (ko)
Other versions
KR102629594B1 (en
Inventor
이상하
유지상
이준환
임정은
심진욱
Original Assignee
한화테크윈 주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사, 광운대학교 산학협력단 filed Critical 한화테크윈 주식회사
Priority to KR1020180041248A priority Critical patent/KR102629594B1/en
Publication of KR20190118078A publication Critical patent/KR20190118078A/en
Application granted granted Critical
Publication of KR102629594B1 publication Critical patent/KR102629594B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

A method for dividing an object and a background in an input image according to an embodiment of the present invention may include: a step of generating a first image for dividing at least one pixel constituting an input image to any one of a background pixel and an object pixel, based on a plurality of background samples including color information and pixel texture information and a result of comparison of the texture information and color information of the input image; and a step of re-dividing a pixel satisfying a predetermined blinking condition among pixels divided to the object pixel in the first image to the background pixel.

Description

객체 및 배경 구분 방법{METHOD FOR DISTINGUISHING OBJECT FROM BACKGROUNDS}How to distinguish between objects and backgrounds {METHOD FOR DISTINGUISHING OBJECT FROM BACKGROUNDS}

본 발명의 실시예들은 객체 및 배경 구분 방법에 관한 것이다.Embodiments of the present invention relate to an object and a background distinguishing method.

오늘날 다수의 감시카메라가 도처에 설치되어 있고, 감시카메라가 획득한 영상을 분석하는 다양한 기술들이 개발되고 있다.Today, many surveillance cameras are installed everywhere, and various techniques for analyzing the images acquired by the surveillance cameras are being developed.

특히 감시카메라의 설치 대수가 증가함에 따라, 관리자가 모든 감시카메라의 영상을 육안으로 관찰하고 분석하는 것은 사실상 불가능해진 실정이다. 따라서 감시 장치에 의해 보다 정확하고 세밀하게 영상을 분석할 수 있는 방법의 필요성이 대두되고 있다.In particular, as the number of surveillance cameras increases, it is virtually impossible for an administrator to visually observe and analyze images of all surveillance cameras. Therefore, there is a need for a method for analyzing images more accurately and precisely by a monitoring device.

본 발명은 복수의 배경 샘플과 색상의 유사성이나 텍스쳐의 유사성이 떨어지는 픽셀을 확인하고, 이에 기초하여 입력 영상 내에서 객체 픽셀과 배경 픽셀을 구분하고자 한다.The present invention is to identify pixels having a similarity in color or texture similar to a plurality of background samples, and to distinguish object pixels and background pixels in the input image based on the same.

또한 본 발명은 입력 영상과 배경 샘플의 비교에 있어서, 입력 영상의 배경의 유동 정도를 반영한 기준에 따라 입력 영상에서 배경을 분리하고자 한다. In addition, the present invention is to separate the background from the input image according to the reference reflecting the degree of flow of the background of the input image in the comparison of the input image and the background sample.

또한 본 발명은 동적 배경에 의한 객체 구분의 오류를 최소화 하고자 한다.In addition, the present invention is intended to minimize the error of object classification by the dynamic background.

본 발명의 일 실시예에 따른 입력 영상에서 객체와 배경을 구분하는 방법은, 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 포함하는 복수의 배경 샘플(Sample)과 상기 입력 영상의 색상 정보 및 텍스쳐 정보의 비교 결과에 기초하여, 상기 입력 영상을 구성 하는 적어도 하나의 픽셀을 배경 픽셀 및 객체 픽셀 중 어느 하나로 구분한 제1 영상을 생성하는 단계; 및 상기 제1 영상에서 상기 객체 픽셀로 구분된 픽셀 중, 소정의 블링킹(Blinking) 조건을 만족하는 픽셀을 상기 배경 픽셀로 재구분 하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, a method for distinguishing an object and a background from an input image includes: a plurality of background samples including color information and pixel texture information, and color information of the input image; Generating a first image by dividing at least one pixel constituting the input image into any one of a background pixel and an object pixel based on a result of comparison of texture information; And re-classifying a pixel satisfying a predetermined blinking condition among the pixels separated by the object pixel in the first image into the background pixel.

상기 제1 영상을 생성하는 단계는, 상기 복수의 배경 샘플 각각에 대해서, 상기 입력 영상을 구성하는 제1 픽셀의 색상 값의 크기와 상기 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 색상 값의 크기간의 차인 색상 차이를 산출하는 단계; 및 상기 복수의 배경 샘플 중 상기 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제1 임계 샘플의 수 미만인 경우, 상기 제1 픽셀을 상기 객체 픽셀로 구분하는 단계;를 포함할 수 있다. 이때 상기 소정의 임계 색상 차이는 상기 입력 영상의 배경의 움직임이 클수록 증가할 수 있다.The generating of the first image may include, for each of the plurality of background samples, a size of a color value of a first pixel constituting the input image and a color value of at least one pixel constituting each of the plurality of background samples. Calculating a color difference, which is a difference between the sizes of? And dividing the first pixel into the object pixel when the number of background samples including pixels whose color difference is less than a predetermined threshold color difference among the plurality of background samples is less than a predetermined first threshold sample number. It may include. In this case, the predetermined threshold color difference may increase as the background motion of the input image increases.

상기 제1 영상을 생성하는 단계는, 상기 복수의 배경 샘플 각각에 대해서, 상기 입력 영상을 구성하는 제1 픽셀의 텍스쳐에 대응되는 바이너리(Binary) 값과 상기 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 텍스쳐에 대응되는 바이너리 값 간에 일치하지 않는 비트(Bit)의 수를 확인하는 단계; 및 상기 복수의 배경 샘플 중 상기 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제2 임계 샘플의 수 미만인 경우, 상기 제1 픽셀을 상기 객체 픽셀로 구분하는 단계;를 포함할 수 있다. 이때 상기 소정의 임계 비트수 차이는 상기 입력 영상의 배경의 움직임이 클수록 증가할 수 있다.The generating of the first image may include, for each of the plurality of background samples, a binary value corresponding to a texture of the first pixel constituting the input image and at least one of each of the plurality of background samples. Checking the number of bits (Bit) that do not match between binary values corresponding to the texture of the pixel of the pixel; And dividing the first pixel into the object pixel when the number of background samples including the pixel having the number of mismatched bits among the plurality of background samples is less than a predetermined threshold bit number difference is less than the predetermined second threshold sample. It may include; In this case, the predetermined threshold number of bits may increase as the background motion of the input image increases.

상기 소정의 블링킹 조건을 만족하는 픽셀을 상기 배경 픽셀로 재구분 하는 단계는 상기 객체 픽셀로 구분된 픽셀 중 제2 픽셀의 단위시간당 상기 배경 픽셀에서 상기 객체 픽셀로 분류가 전환 되는 횟수 및 상기 객체 픽셀에서 상기 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제1 임계 횟수 이상인 경우, 상기 제2 픽셀을 상기 배경 픽셀로 분류하는 단계; 및 상기 객체 픽셀로 구분된 픽셀 중 제3 픽셀의 상기 배경 픽셀에서 상기 객체 픽셀로 분류가 전환 되는 횟수 및 상기 객체 픽셀에서 상기 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제2 임계 횟수 이상인 경우, 상기 제3 픽셀을 상기 배경 픽셀로 분류하는 단계;를 포함할 수 있다.Reclassifying a pixel that satisfies the predetermined blinking condition into the background pixel may include: the number of times the classification is switched from the background pixel to the object pixel per unit time of a second pixel among the pixels divided into the object pixel, and the object. Classifying the second pixel as the background pixel when the sum of the number of times the classification is switched from the pixel to the background pixel is equal to or greater than a predetermined first threshold number; And a sum of the number of times the classification is switched from the background pixel of the third pixel to the object pixel among the pixels divided by the object pixel and the number of times the classification is switched from the object pixel to the background pixel is equal to or greater than a predetermined second threshold number. In this case, the method may include classifying the third pixel as the background pixel.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다. Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 일 실시예에 따르면, 복수의 배경 샘플과 색상의 유사성이나 텍스쳐의 유사성이 떨어지는 픽셀을 확인하고, 이에 기초하여 입력 영상 내에서 객체 픽셀과 배경 픽셀을 구분할 수 있다.According to an embodiment of the present invention, a pixel having a similarity in color or texture similar to a plurality of background samples may be identified, and an object pixel and a background pixel may be distinguished in the input image based on this.

특히 입력 영상과 배경 영상의 비교에 있어서, 입력 영상 배경의 유동 정도를 반영한 기준에 따라 입력 영상에서 배경을 분리하여 동적 배경에 의한 객체 구분의 오류를 최소화 할 수 있다.In particular, when comparing the input image and the background image, the background image may be separated from the input image according to a reference reflecting the degree of flow of the input image background, thereby minimizing an error in object division by the dynamic background.

도 1은 본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치의 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 입력 영상의 예시이다.
도 4는 종래기술에 따라 도 3과 같은 입력 영상에서 객체를 구분한 영상의 예시이다.
도 5는 객체 구분 에러의 예시를 도시한 도면이다.
도 6은 객체가 구분된 영상의 예시이다.
도 7은 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치에 의해 수행되는 객체 및 배경 구분 방법을 설명하기 위한 흐름도이다.1 schematically illustrates a system for distinguishing an object from a background according to an embodiment of the present invention.
2 schematically illustrates the configuration of an object and background classification apparatus according to an embodiment of the present invention.
3 is an example of an input image according to an embodiment of the present invention.
4 is an example of an image in which an object is divided from an input image as shown in FIG. 3 according to the prior art.
5 is a diagram illustrating an example of an object classification error.
6 is an example of an image in which objects are divided.
7 is a flowchart illustrating an object and a background classification method performed by the object and the background classification apparatus according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. Effects and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below but may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals, and redundant description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, the terms first, second, etc. are used for the purpose of distinguishing one component from other components rather than a restrictive meaning. In the following examples, the singular forms "a", "an" and "the" include plural forms unless the context clearly indicates otherwise. In the following examples, the terms including or having have meant that there is a feature or component described in the specification and does not preclude the possibility of adding one or more other features or components. In the drawings, components may be exaggerated or reduced in size for convenience of description. For example, the size and shape of each component shown in the drawings are arbitrarily shown for convenience of description, and thus the present invention is not necessarily limited to the illustrated.

도 1은 본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템을 개략적으로 도시한다.1 schematically illustrates a system for distinguishing an object from a background according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템은, 객체 및 배경 구분 장치(100)가 복수의 배경 샘플과 영상 장치(200A, 200B)가 획득한 입력 영상의 비교 결과에 기초하여, 입력 영상에서 객체와 배경을 구분할 수 있다.In a system for distinguishing an object from a background according to an embodiment of the present invention, the object and the background distinguishing apparatus 100 may be configured based on a result of comparing a plurality of background samples with input images acquired by the imaging apparatuses 200A and 200B. Objects and backgrounds can be distinguished from the input image.

이를 위하여 본 발명의 일 실시예에 따른 객체와 배경을 구분하는 시스템은 객체 및 배경 구분 장치(100), 영상 장치(200A, 200B) 및 이들을 상호 연결하는 통신망(300)을 포함할 수 있다.To this end, the system for distinguishing an object from a background according to an embodiment of the present invention may include an object and background classification apparatus 100, an imaging apparatus 200A and 200B, and a communication network 300 interconnecting them.

본 발명에서 '배경 샘플'은 해당 배경 이미지의 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 포함하는 데이터를 의미할 수 있다. 이와 같은 배경 샘플은 미리 수집되어 후술하는 메모리(114)에 저장되어 있을 수 있으며, 복수일 수 있다.In the present invention, 'background sample' may refer to data including color information of each pixel and texture information of each pixel of the corresponding background image. Such a background sample may be collected in advance and stored in the memory 114 to be described later.

본 발명에서 어떤 픽셀에 대한 '텍스쳐 정보'는 해당 픽셀과 인접하는 픽셀 간의 유사한 정도를 나타내는 데이터를 의미할 수 있다. 가령 텍스쳐 정보는 해당 픽셀의 픽셀값과 해당 픽셀에 인접하는 16 개의 픽셀값 간의 차이가 소정의 임계 차이 미만인지 여부를 판단하여 바이너리(Binary) 값의 형태로 나타낸 것일 수 있다.In the present invention, 'texture information' for a pixel may mean data representing a degree of similarity between the pixel and an adjacent pixel. For example, the texture information may be displayed in the form of a binary value by determining whether a difference between the pixel value of the pixel and 16 pixel values adjacent to the pixel is less than a predetermined threshold difference.

한편 본 발명에서 어떤 픽셀에 대한 '색상 정보'는 해당 픽셀의 색상에 관한 정보를 포함하는 데이터를 의미할 수 있다. 가령 색상 정보는 해당 픽셀의 R, G, B 값을 의미할 수 있다.Meanwhile, in the present invention, 'color information' for a pixel may mean data including information about a color of the pixel. For example, the color information may mean R, G, and B values of the corresponding pixel.

본 발명의 일 실시예에 따른 영상 장치(200A, 200B)는 영상을 다른 장치로 전송하는 다양한 장치일 수 있다. 가령 영상 장치(200A, 200B)는 도 1에 도시된 바와 같이 영상을 획득하는 영상 획득 장치일 수 있다. 또한 영상 장치(200A, 200B)는 영상을 저장하고, 저장된 영상을 다른 장치에 제공하는 장치일 수도 있다.The imaging apparatus 200A or 200B according to an exemplary embodiment of the present invention may be various apparatuses for transmitting an image to another apparatus. For example, the imaging apparatuses 200A and 200B may be image acquisition apparatuses that acquire an image as illustrated in FIG. 1. In addition, the imaging apparatuses 200A and 200B may be apparatuses that store an image and provide the stored image to another device.

한편 영상 장치(200A, 200B)는 도 1에 도시된 바와 같이 두 개일수도 있고, 시스템의 구성에 따라 한 개이거나, 세 개 이상일 수도 있다. Meanwhile, as illustrated in FIG. 1, two or more imaging devices 200A and 200B may be provided, or one or more imaging devices 200A and 200B may be provided.

이하에서는 설명의 편의를 위하여 영상 장치(200A, 200B)가 영상 획득 장치이며, 한 개인 것을 전제로 설명한다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Hereinafter, for convenience of explanation, the imaging apparatuses 200A and 200B are image capturing apparatuses, which are assumed to be one person. However, this is merely exemplary and the spirit of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 통신망(300)은 전술한 영상 장치(200A, 200B)와 후술하는 객체 및 배경 구분 장치(100) 간의 데이터를 송수신하는 통로로써의 역할을 수행할 수 있다. 가령 통신망(300)은 제2 영상 장치(200B)가 객체 및 배경 구분 장치(100)로 입력 영상을 전송하는 경로를 제공할 수 있다. 이때 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The communication network 300 according to an exemplary embodiment may serve as a path for transmitting and receiving data between the above-described imaging apparatuses 200A and 200B and the object and background classification apparatus 100 described later. For example, the communication network 300 may provide a path through which the second image device 200B transmits an input image to the object and the background separator 100. At this time, the communication network 300 is a wired network such as Local Area Networks (LANs), Wide Area Networks (WANs), Metropolitan Area Networks (MANs), Integrated Service Digital Networks (ISDNs), or wireless LANs, CDMA, Bluetooth, satellite communications. Although it may include a wireless network such as, but the scope of the present invention is not limited thereto.

본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상에서 객체와 배경을 구분할 수 있다. 이때 객체 및 배경 구분 장치(100)는 전술한 영상 장치(200A, 200B)이거나, 영상 장치(200A, 200B)에 포함된 장치일 수 있다. 또한 객체 및 배경 구분 장치(100)는 VMS(Video Management System), CMS(Central Management System), NVR(Network Video Recorder) 및 DVR(Digital Video Recorder)중 어느 하나이거나, 어느 하나에 포함된 장치일 수 있다. The object and background classification apparatus 100 according to an embodiment of the present invention may distinguish the object and the background from the input image. In this case, the object and background classification apparatus 100 may be the above-described imaging apparatuses 200A and 200B, or may be a device included in the imaging apparatuses 200A and 200B. In addition, the object and background classification apparatus 100 may be any one of a video management system (VMS), a central management system (CMS), a network video recorder (NVR), and a digital video recorder (DVR), or may be a device included in either. have.

나아가 객체 및 배경 구분 장치(100)는 전술한 장치와 구분되는 별개의 장치일 수도 있다. Furthermore, the object and background classification apparatus 100 may be a separate device that is distinguished from the above-described apparatus.

다만 이하에서는 설명의 편의를 위하여 객체 및 배경 구분 장치(100)가 독립된 장치임을 전제로 설명한다.However, hereinafter, it will be described on the premise that the object and the background separator 100 is an independent device for the convenience of description.

도 2는 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)의 구성을 개략적으로 도시한다.2 schematically illustrates a configuration of an object and background classification apparatus 100 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 통신부(110), 제어부(120), 디스플레이부(130) 및 메모리(140)를 포함할 수 있다.2, the object and background classification apparatus 100 according to the exemplary embodiment of the present invention may include a communication unit 110, a control unit 120, a display unit 130, and a memory 140.

본 발명의 일 실시예에 따른 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication unit 110 according to an embodiment of the present invention may be a device including hardware and software necessary for transmitting and receiving a signal such as a control signal or a data signal through a wired or wireless connection with another network device.

본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과 입력 영상의 비교 결과에 기초하여, 입력 영상에서 객체와 배경을 구분할 수 있다. 이때 제어부(120)는 프로세서(Processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(Processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The controller 120 according to an embodiment of the present disclosure may distinguish the object and the background from the input image based on a result of comparing the plurality of background samples with the input image. In this case, the controller 120 may include all kinds of devices capable of processing data, such as a processor. Here, 'processor' may refer to a data processing apparatus embedded in hardware having, for example, a physically structured circuit for performing a function represented by code or instructions included in a program. As an example of the data processing unit embedded in the hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated (ASIC) Circuits, field programmable gate arrays (FPGAs), and the like, but may include a processing device, but the scope of the present invention is not limited thereto.

이와 같은 제어부(120)는 단일 프로세서로 구성될 수도 있고, 제어부에 의해 수행되는 기능의 단위로 구분되는 복수개의 프로세서로 구성될 수도 있다. The controller 120 may be configured as a single processor, or may be configured as a plurality of processors that are divided into units of functions performed by the controller.

본 발명의 일 실시예에 따른 디스플레이부(130)는 제어부(120)가 생성한 전기 신호에 따라 도형, 문자 또는 이들의 조합을 표시하는 표시장치를 의미할 수 있다. 예컨대, 디스플레이부(130)는 CRT(Cathode Ray Tube), LCD(Liqu-id Crystal Display), PDP (Plasma Display Panel) 및 OLED(Organic Light Emitting Diode) 중 어느 하나로 구성될 수 있으나, 본 발명의 사상은 이에 제한되지 않는다.The display unit 130 according to an exemplary embodiment of the present invention may refer to a display device that displays figures, characters, or a combination thereof in accordance with an electrical signal generated by the controller 120. For example, the display unit 130 may be configured of any one of a cathode ray tube (CRT), a liquid-crystal display (LCD), a plasma display panel (PDP), and an organic light emitting diode (OLED), but the spirit of the present invention Is not limited to this.

본 발명의 일 실시예에 따른 메모리(140)는 제어부(120)가 처리하는 데이터, 명령어(instructions), 프로그램, 프로그램 코드, 또는 이들의 결합 등을 일시적 또는 영구적으로 저장하는 기능을 수행한다. 또한 메모리(140)는 전술한 바와 같이 미리 수집된 배경 샘플을 저장하는 기능을 수행할 수도 있다. 이와 같은 메모리(140)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The memory 140 according to an embodiment of the present invention performs a function of temporarily or permanently storing data, instructions, programs, program codes, or a combination thereof processed by the controller 120. In addition, the memory 140 may perform a function of storing the previously collected background sample as described above. The memory 140 may include a magnetic storage media or a flash storage media, but the scope of the present invention is not limited thereto.

이하에서는 제어부(120)에 의해 수행되는 객체 및 배경 구분 방법을 중심으로 설명한다.Hereinafter, an object and a background distinguishing method performed by the controller 120 will be described.

도 3은 본 발명의 일 실시예에 따른 입력 영상의 예시이다.3 is an example of an input image according to an embodiment of the present invention.

설명의 편의를 위하여 입력영상이 도 3에 도시된 바와 같이 흐르는 강에서 보트를 타는 사람에 대한 영상이라고 가정한다. 이러한 경우 객체는 보트 및 보트를 타는 사람이고, 배경은 보트 및 보트를 타는 사람을 제외한 나머지(즉 흐르는 강, 강 뒤의 땅 및 나무 등)일 수 있다.For convenience of explanation, it is assumed that the input image is an image of a person riding a boat in a flowing river as shown in FIG. 3. In this case, the object is a boater and a boater, and the background may be other than boaters and boaters (ie, flowing rivers, land behind the river, trees, etc.).

전술한 가정 하에, 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과 입력 영상의 비교 결과에 기초하여, 입력 영상을 구성하는 적어도 하나의 픽셀을 배경 픽셀 및 객체 픽셀 중 어느 하나로 구분한 제1 영상을 생성할 수 있다. 이때 본 발명의 일 실시예에 따른 제어부(120)는 배경 샘플과 입력 영상의 비교에 있어서, 양자의 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 비교할 수 있다.Under the above-described assumption, the controller 120 according to an embodiment of the present invention, based on a comparison result of the plurality of background samples and the input image, the at least one pixel constituting the input image as one of the background pixel and the object pixel The divided first image may be generated. In this case, the controller 120 according to an embodiment of the present invention may compare color information of each pixel and texture information of each pixel in comparing the background sample with the input image.

먼저 제어부(120)가 양자의 픽셀 별 색상 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 색상 값의 크기와 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 색상 값의 크기간의 차인 색상 차이를 산출할 수 있다. First, the process of comparing the color information of each pixel by the controller 120 will be described in more detail. The control unit 120 according to an embodiment of the present invention may, for each of the plurality of background samples, the size of the color value of the first pixel constituting the input image and the color value of at least one pixel constituting each of the plurality of background samples. The color difference, which is the difference between the sizes of, can be calculated.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어느 하나의 픽셀의 색상 값의 크기와 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 색상 값의 크기를 비교할 수 있다. 이때 제어부(120)는 이와 같은 비교를 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 배경 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 배경 샘플에 대해서 수행할 수도 있다.In other words, the controller 120 may compare the size of the color value of one pixel constituting the input image with the size of the color value of one pixel constituting any one of the plurality of background samples. In this case, the controller 120 may perform the comparison on the plurality of pixels constituting the input image, on the plurality of pixels constituting the background sample, or may perform the plurality of background samples. It may be.

이때 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제1 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.At this time, the control unit 120 according to an embodiment of the present invention includes a number of background samples including pixels whose color difference calculated by the above-described process among the plurality of background samples is less than a predetermined threshold color difference. If less than a number, the first pixel may be divided into object pixels.

바꾸어 말하면, 제어부(120)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)과의 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제1 임계 샘플의 수 미만인 경우 해당 픽셀(즉 입력 영상의 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the controller 120 checks the number of background samples including pixels whose color difference from the first pixel (pixel constituting the input image) is less than a predetermined threshold color difference among the plurality of background samples, and checks the identified background. When the number of samples is less than the number of first threshold samples, the corresponding pixel (ie, the first pixel of the input image) may be divided into object pixels.

한편 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 색상 차이'를 증가시킬 수 있다. Meanwhile, the controller 120 according to an embodiment of the present invention may increase the aforementioned 'predetermined threshold color difference' as the background motion of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 색상 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 제어부(120)는 전술한 임계 색상 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. In other words, the controller 120 according to an embodiment of the present invention increases the threshold color difference, which is a reference for dividing the object pixel, as the background motion of the input image increases, so that pixels included in the moving background are incorrectly classified as objects. You can lower the probability. For example, in the case of the input image as shown in FIG. 3, since the river moves, the controller 120 according to an embodiment of the present invention increases the threshold color difference described above to reduce the probability that pixels constituting the river are incorrectly classified as objects. Can be.

한편 본 발명의 일 실시예에 따른 제어부(120)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 색상 차이를 참조하여, 현재 입력 영상의 임계 색상 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 제어부(120)는 이전 프레임의 임계 색상 차이를 참조하여 현재 프레임의 임계 색상 차이를 결정할 수 있다.Meanwhile, the controller 120 according to an embodiment of the present invention refers to the threshold color difference between the previous input image and / or the past input image, and determines the threshold color difference of the current input image to include it in the moving background as described above. It is possible to lower the probability that the pixels being misidentified are objects. For example, when the input image is input in units of frames, the controller 120 may determine the threshold color difference of the current frame with reference to the threshold color difference of the previous frame.

이와 같이 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과의 비교를 통하여, 배경과 색상의 유사성이 떨어지는 픽셀을 객체픽셀로 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.As such, the control unit 120 according to an embodiment of the present invention classifies pixels having a low similarity between the background and the object into object pixels through comparison with a plurality of background samples, and determines a criterion for classifying the object pixels into a dynamic background. Enhancement can improve the accuracy of object classification.

다음으로 제어부(120)가 양자의 픽셀 별 텍스쳐 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 텍스쳐에 대응되는 바이너리 값과 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 텍스쳐에 대응되는 바이너리 값 간에 일치하지 않는 비트(Bit)의 수를 확인할 수 있다. Next, the process of comparing the texture information of each pixel by the controller 120 will be described in more detail. The control unit 120 according to an embodiment of the present invention, for each of the plurality of background samples, the binary value corresponding to the texture of the first pixel constituting the input image and the at least one pixel constituting each of the plurality of background samples You can see the number of bits that do not match between binary values corresponding to the texture.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어느 하나의 픽셀의 바이너리 값과 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 바이너리 값 간에 일치하지 않는 비트의 수를 확인할 수 있다. 이때 제어부(120)는 이와 같은 과정을 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 샘플에 대해서 수행할 수도 있다. In other words, the controller 120 may check the number of bits that do not coincide between the binary value of one pixel constituting the input image and the binary value of one pixel constituting any one of the plurality of background samples. have. In this case, the controller 120 may perform the above process on the plurality of pixels constituting the input image, may perform the plurality of pixels constituting the sample, or may perform the plurality of samples. .

가령, 제1 픽셀의 텍스쳐에 대응되는 바이너리 값이 '101011'이고, 샘플을 구성하는 픽셀의 바이너리 값이 '111111'인 경우, 제어부(120)는 일치하지 않는 비트의 수가 2인 것으로 확인할 수 있다.(왜냐하면 두 번째 비트와 네 번째 비트가 일치하지 않으므로)For example, when the binary value corresponding to the texture of the first pixel is '101011' and the binary value of the pixel constituting the sample is '111111', the controller 120 may determine that the number of bits that do not match is two. (Because the second and fourth bits do not match)

이어서 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제2 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.Subsequently, the control unit 120 according to an embodiment of the present invention determines that the number of background samples including pixels whose number of non-matching bits calculated by the above-described process among the plurality of background samples is less than a predetermined threshold bit number difference is determined. If less than two threshold samples, the first pixel may be divided into object pixels.

바꾸어 말하면, 제어부(120)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)의 바이너리 값과 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제2 임계 샘플의 수 미만인 경우 해당 픽셀(즉 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the controller 120 may determine the number of background samples including pixels whose number of bits that does not match the binary value of the first pixel (pixels constituting the input image) among the plurality of background samples is less than a predetermined threshold bit difference. When the number of the identified background samples is less than the number of the second threshold samples, the corresponding pixel (that is, the first pixel) may be divided into the object pixels.

이때 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 비트수 차이'를 증가시킬 수 있다. In this case, the control unit 120 according to an embodiment of the present invention may increase the aforementioned 'predetermined threshold bit number difference' as the background motion of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 비트수 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 제어부(120)는 전술한 임계 비트수 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.In other words, the controller 120 according to an embodiment of the present invention increases the difference in the number of threshold bits, which are the criteria for distinguishing the object pixels, as the background motion of the input image increases, so that pixels included in the moving background are incorrectly classified as objects. It can lower the probability of becoming. For example, in the case of the input image as shown in FIG. 3, since the river moves, the controller 120 increases the difference in the number of critical bits described above, thereby increasing the probability that pixels constituting the river are incorrectly classified as objects. Can be lowered.

한편 본 발명의 일 실시예에 따른 제어부(120)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 비트수 차이를 참조하여, 현재 입력 영상의 임계 비트수 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 제어부(120)는 이전 프레임의 임계 비트수 차이를 참조하여 현재 프레임의 임계 비트수 차이를 결정할 수 있다.Meanwhile, the controller 120 according to an embodiment of the present invention refers to the difference in the number of threshold bits of the previous input image and / or the past input image, and determines the difference in the number of threshold bits of the current input image, thereby moving the background as described above. It is possible to reduce the probability that pixels included in are misclassified as objects. For example, when the input image is input in units of frames, the controller 120 may determine the difference in the number of threshold bits of the current frame with reference to the difference in the number of threshold bits of the previous frame.

이와 같이 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플과의 비교를 통하여, 배경과 텍스쳐의 유사성이 떨어지는 픽셀을 객체픽셀로 구분 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.As described above, the control unit 120 according to an embodiment of the present invention classifies pixels having a low similarity between the background and the texture into object pixels through comparison with a plurality of background samples, but divides the pixels into object pixels in the dynamic background. You can improve the accuracy of object separation by enhancing

도 4는 종래기술에 따라 도 3과 같은 입력 영상에서 객체를 구분한 영상의 예시이다.4 is an example of an image in which an object is divided from an input image as shown in FIG. 3 according to the prior art.

설명의 편의를 위해서, 입력영상이 도 3에 도시된 바와 같이 흐르는 강에서 보트를 타는 사람에 대한 영상이라고 가정한다. 또한 흰색으로 채색된 영역이 객체로 구분된 영역이고, 검은색으로 채색된 영역이 배경으로 구분된 영역인 것으로 가정한다. 즉, 보트와 보트를 타는 사람과 흐르는 강물의 일부 영역이 객체로 구분되고, 나머지 영역이 배경으로 구분되었다고 가정한다.For convenience of explanation, it is assumed that the input image is an image of a person riding a boat in a flowing river as shown in FIG. 3. In addition, it is assumed that an area colored in white is an area separated by an object, and an area colored in black is an area separated by a background. That is, it is assumed that boats, boaters, and some areas of the flowing river are divided into objects, and the remaining areas are divided into backgrounds.

종래기술은 이와 같이 동적 배경에 있어서, 객체와 배경을 구분하는 정확도가 높지 않았다. 특히 도 3과 같이 흐르는 강물과 같은 배경의 경우 배경의 형상이 시간의 흐름에 따라 변화하므로, 도 4에 도시된 바와 같이 보트 및 보트를 타는 사람 외에 강물의 일 부분이 객체로써 구분하였다.In the prior art, in the dynamic background, the accuracy of distinguishing the object from the background is not high. In particular, in the case of a background such as a flowing river as shown in FIG. 3, since the shape of the background changes over time, as shown in FIG. 4, a part of the river is divided as an object in addition to the boat and the person riding the boat.

본 발명의 일 실시예에 따른 제어부(120)는 전술한 바와 같이 배경 샘플과 입력 영상의 색상의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 색상 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.As described above, the control unit 120 according to an embodiment of the present invention determines the similarity between the color of the background sample and the input image. As the background motion of the input image increases, the predetermined threshold color difference is increased. It is possible to reduce the probability that pixels included in a moving background are incorrectly classified as objects.

또한 이와 유사하게 본 발명의 일 실시예에 따른 제어부(120)는 배경 샘플과 입력 영상의 텍스쳐의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 비트수 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.Similarly, the control unit 120 according to an embodiment of the present invention determines the similarity between the background sample and the texture of the input image. Therefore, it is possible to reduce the probability that pixels included in a moving background are incorrectly classified as objects.

한편 본 발명의 일 실시예에 따른 제어부(120)는 객체와 배경 구분의 정확도를 향상시키기 위하여, 전술한 과정에 의해서 생성된 제1 영상에서 객체 픽셀로 구분된 픽셀 중, 소정의 블링킹(Blinking) 조건을 만족하는 픽셀을 배경 픽셀로 재구분 할 수 있다.Meanwhile, the control unit 120 according to an embodiment of the present invention, in order to improve the accuracy of distinguishing the object from the background, among the pixels divided into the object pixels in the first image generated by the above-described process, predetermined blinking (Blinking) ) Pixels satisfying the condition can be divided into background pixels.

이하에서는 전술한 과정에 의해서 생성된 제1 영상이 도 4인 것으로 가정하고, 이에 따라 제1 영상이 도 5와 같은 객체 구분 에러를 포함하는 것이라고 가정한다. 이때 도 4가 종래기술에 따른 객체 구분 영상임에도 불구하고, 본 발명에 따른 제1 영상인 것으로 가정하는 것은 단지 중복 도면의 최소화와 설명의 편의를 위한 것일 뿐이므로, 종래기술 대비 본 발명의 객체 구분의 효과가 현저하지 않음을 의미하는 것은 아니다.Hereinafter, it is assumed that the first image generated by the above-described process is FIG. 4, and accordingly, it is assumed that the first image includes the object classification error shown in FIG. 5. At this time, although FIG. 4 is an object classification image according to the prior art, it is assumed that the first image according to the present invention is merely for minimization of overlapping drawings and convenience of description, and thus object classification of the present invention compared to the prior art. It does not mean that the effect of is not remarkable.

상술한 가정 하에, 본 발명의 일 실시예에 따른 제어부(120)는 제1 영상에서 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제2 픽셀에 대해서, 단위시간당 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제1 임계 횟수 이상인 경우, 제2 픽셀을 배경 픽셀로 재분류할 수 있다.Under the above-described assumption, the controller 120 according to an embodiment of the present invention classifies the second pixel, which is any one of the pixels divided into the object pixels in the first image, from the background pixel to the object pixel per unit time. When the sum of the number of times of switching and the number of times of classifying from the object pixel to the background pixel is equal to or greater than a predetermined first threshold number of times, the second pixel may be reclassified as the background pixel.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어떤 픽셀의 단위시간당 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환)의 수, 즉 분류 전환 주파수가 소정의 기준 이상인 경우, 이러한 픽셀을 배경 픽셀로 재분류할 수 있다. In other words, the controller 120 determines the number of classification conversions (object pixel to background pixel or background pixel to object pixel) per unit time of a pixel constituting the input image, that is, when the classification conversion frequency is higher than a predetermined reference. These pixels can then be reclassified as background pixels.

또한 이와 유사하게, 본 발명의 일 실시예에 따른 제어부(120)는 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제3 픽셀에 대해서, 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제2 임계 횟수 이상인 경우, 이러한 제3 픽셀을 상기 배경 픽셀로 재분류할 수 있다.Similarly, the controller 120 according to an exemplary embodiment of the present invention may include the number of times that the classification is switched from the background pixel to the object pixel and the object pixel with respect to the third pixel which is one of the pixels divided into the object pixels. When the sum of the number of times the classification is switched to the background pixel is equal to or greater than a predetermined second threshold number, the third pixel may be reclassified as the background pixel.

바꾸어 말하면, 제어부(120)는 입력 영상을 구성하는 어떤 픽셀의 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환) 횟수의 총 합이 소정의 기준 이상인 경우, 이러한 픽셀도 배경 픽셀로 재분류할 수 있다. In other words, when the sum of the number of classification conversions (object pixel to background pixel or background pixel to object pixel) of any pixel constituting the input image is greater than or equal to a predetermined criterion, the pixel 120 may also be used as a background. You can reclassify into pixels.

이로써 본 발명은 도 6에 도시된 바와 같이 동적 배경에 의한 객체 구분의 오류를 최소화할 수 있다.As a result, the present invention can minimize the error of object division by the dynamic background as shown in FIG.

한편 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상에 기초하여 배경 샘플을 업데이트 할 수 있다. 이때 본 발명의 일 실시예에 따른 제어부(120)는 복수의 배경 샘플들을 랜덤하게 선택하여 업데이트 할 수 있다.Meanwhile, the controller 120 according to an embodiment of the present invention may update the background sample based on the input image. At this time, the control unit 120 according to an embodiment of the present invention may randomly select and update a plurality of background samples.

또한 본 발명의 일 실시예에 따른 제어부(120)는 입력 영상을 구성하는 제4 픽셀이 객체 픽셀로 분류될 가능성이 높을수록 업데이트 펙터(Factor)를 감소시킬 수 있고, 이러한 업데이트 펙터 만큼 입력 영상을 반영하여 배경 샘플을 업데이트 할 수 있다. In addition, the controller 120 according to an embodiment of the present invention may reduce an update factor as the fourth pixel constituting the input image is more likely to be classified as an object pixel, and the input image may be reduced by this update factor. You can update the background sample to reflect this.

바꾸어 말하면, 제4 픽셀이 객체 필셀로 분류될 가능성이 높을수록(즉 배경 픽셀로 분류될 가능성이 낮을수록) 제4 픽셀을 포함하는 입력 영상을 적게 반영하여 배경 샘플을 업데이트 할 수 있다. 또한 제4 픽셀이 객체 필셀로 분류될 가능성이 낮을수록(즉 배경 픽셀로 분류될 가능성이 높을수록) 제4 픽셀을 포함하는 입력 영상을 많이 반영하여 배경 샘플을 업데이트 할 수 있다.In other words, as the fourth pixel is more likely to be classified as an object pixel (ie, the less likely to be classified as a background pixel), the background sample may be updated to reflect less of an input image including the fourth pixel. In addition, as the fourth pixel is less likely to be classified as an object pixel (ie, more likely to be classified as a background pixel), the background sample may be updated by reflecting more input images including the fourth pixel.

이로써 본 발명은 동적 배경에 의한 객체 구분의 오류를 최소화할 수 있다.As a result, the present invention can minimize the error of object division based on the dynamic background.

도 7은 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)에 의해 수행되는 객체 및 배경 구분 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1 내지 도 6에서 설명한 내용과 중복하는 내용의 설명은 생략한다.7 is a flowchart illustrating an object and a background classification method performed by the object and background classification apparatus 100 according to an embodiment of the present invention. Hereinafter, descriptions of contents overlapping with those described in FIGS. 1 to 6 will be omitted.

본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플과 입력 영상의 비교 결과에 기초하여, 입력 영상을 구성하는 적어도 하나의 픽셀을 배경 픽셀 및 객체 픽셀 중 어느 하나로 구분한 제1 영상을 생성할 수 있다.(S71) 이때 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 배경 샘플과 입력 영상의 비교에 있어서, 양자의 픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 비교할 수 있다.According to an embodiment of the present invention, the object and background classification apparatus 100 divides at least one pixel constituting the input image into one of a background pixel and an object pixel based on a result of comparing a plurality of background samples and an input image. In operation S71, the object and background classification apparatus 100 according to an exemplary embodiment of the present invention may compare the color information for each pixel and the pixel for each pixel in the comparison between the background sample and the input image. You can compare texture information.

먼저 객체 및 배경 구분 장치(100)가 양자의 픽셀 별 색상 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 색상 값의 크기와 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 색상 값의 크기간의 차인 색상 차이를 산출할 수 있다. First, the process of comparing the color information of each pixel by the object and background classification apparatus 100 will be described in more detail. The object and background classification apparatus 100 according to an exemplary embodiment may include at least one of a size of a color value of a first pixel constituting an input image and at least one constituent of a plurality of background samples, for each of a plurality of background samples. The color difference, which is the difference between the magnitudes of the color values of the pixels, can be calculated.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어느 하나의 픽셀의 색상 값의 크기와 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 색상 값의 크기를 비교할 수 있다. 이때 객체 및 배경 구분 장치(100)는 이와 같은 비교를 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 배경 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 배경 샘플에 대해서 수행할 수도 있다.In other words, the object and background distinguishing apparatus 100 may compare the size of the color value of any one pixel constituting the input image with the size of the color value of any one pixel constituting any one of the plurality of background samples. Can be. In this case, the object and background distinguishing apparatus 100 may perform such a comparison on a plurality of pixels constituting the input image, may perform a plurality of pixels constituting the background sample, and further, a plurality of background samples. It can also be done for.

이때 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제1 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.In this case, the object and background classification apparatus 100 according to an exemplary embodiment of the present invention may include a predetermined number of background samples including pixels whose color difference calculated by the above-described process among the plurality of background samples is less than a predetermined threshold color difference. If less than one threshold sample, the first pixel may be divided into object pixels.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)과의 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제1 임계 샘플의 수 미만인 경우 해당 픽셀(즉 입력 영상의 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the object and background distinguishing apparatus 100 checks the number of background samples including pixels whose color difference from the first pixel (pixel constituting the input image) among the plurality of background samples is less than a predetermined threshold color difference. When the number of confirmed background samples is less than the number of first threshold samples, the corresponding pixel (ie, the first pixel of the input image) may be divided into object pixels.

한편 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 색상 차이'를 증가시킬 수 있다. Meanwhile, the object and background classification apparatus 100 according to an exemplary embodiment of the present invention may increase the aforementioned 'predetermined threshold color difference' as the background motion of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 색상 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 전술한 임계 색상 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. In other words, the object and background classification apparatus 100 according to an embodiment of the present invention increases the threshold color difference, which is a reference for dividing an object pixel, as the background motion of the input image increases, so that pixels included in the moving background are objects. The probability of misclassification can be reduced. For example, in the case of the input image as shown in FIG. 3, since the river moves, the object and background classification apparatus 100 according to an embodiment of the present invention increases the above-described threshold color difference, so that pixels constituting the river are incorrectly classified as objects. It can lower the probability of becoming.

한편 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 색상 차이를 참조하여, 현재 입력 영상의 임계 색상 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 객체 및 배경 구분 장치(100)는 이전 프레임의 임계 색상 차이를 참조하여 현재 프레임의 임계 색상 차이를 결정할 수 있다.Meanwhile, the object and background classification apparatus 100 according to an exemplary embodiment of the present disclosure may determine the threshold color difference of the current input image by referring to the threshold color difference of the previous input image and / or the past input image, as described above. It is possible to reduce the probability that pixels included in a moving background are incorrectly classified as objects. For example, when the input image is input in units of frames, the object and the background distinguishing apparatus 100 may determine the threshold color difference of the current frame with reference to the threshold color difference of the previous frame.

이와 같이 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플과의 비교를 통하여, 배경과 색상의 유사성이 떨어지는 픽셀을 객체픽셀로 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.As described above, the object and background distinguishing apparatus 100 according to an embodiment of the present invention distinguishes pixels having a low similarity between the background and the object by object pixels through comparison with a plurality of background samples. The classification criteria can be strengthened to improve the accuracy of object classification.

다음으로 객체 및 배경 구분 장치(100)가 양자의 픽셀 별 텍스쳐 정보를 비교하는 과정을 보다 상세히 살펴보자. 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 각각에 대해서, 입력 영상을 구성하는 제1 픽셀의 텍스쳐에 대응되는 바이너리 값과 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 텍스쳐에 대응되는 바이너리 값 간에 일치하지 않는 비트(Bit)의 수를 확인할 수 있다. Next, the process of comparing the texture information of each pixel by the object and the background distinguishing apparatus 100 will be described in more detail. The object and background classification apparatus 100 according to an exemplary embodiment may include at least a binary value corresponding to a texture of a first pixel constituting an input image and at least a plurality of background samples for each of the plurality of background samples. The number of bits that do not match between binary values corresponding to the texture of one pixel may be checked.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어느 하나의 픽셀의 바이너리 값과 복수의 배경 샘플 중 어느 하나의 샘플을 구성하는 어느 하나의 픽셀의 바이너리 값 간에 일치하지 않는 비트의 수를 확인할 수 있다. 이때 객체 및 배경 구분 장치(100)는 이와 같은 과정을 입력 영상을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 해당 샘플을 구성하는 복수의 픽셀에 대해서 수행할 수도 있고, 나아가 복수의 샘플에 대해서 수행할 수도 있다. In other words, the object and background distinguishing apparatus 100 may determine a bit that does not coincide between the binary value of any one pixel constituting the input image and the binary value of any one pixel constituting any one of the plurality of background samples. You can check the number. In this case, the object and background distinguishing apparatus 100 may perform the same process on a plurality of pixels constituting the input image, may perform a plurality of pixels constituting the corresponding sample, and further, on a plurality of samples. It can also be done.

가령, 제1 픽셀의 텍스쳐에 대응되는 바이너리 값이 '101011'이고, 샘플을 구성하는 픽셀의 바이너리 값이 '111111'인 경우, 객체 및 배경 구분 장치(100)는 일치하지 않는 비트의 수가 2인 것으로 확인할 수 있다.(왜냐하면 두 번째 비트와 네 번째 비트가 일치하지 않으므로)For example, when the binary value corresponding to the texture of the first pixel is '101011' and the binary value of the pixel constituting the sample is '111111', the object and background discrimination apparatus 100 has a number of bits that are not equal to two. (Because the second bit and the fourth bit do not match).

이어서 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중 전술한 과정에 의해서 산출되는 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제2 임계 샘플의 수 미만인 경우, 제1 픽셀을 객체 픽셀로 구분할 수 있다.Subsequently, the object and background discrimination apparatus 100 according to an exemplary embodiment of the present invention may perform the processing of a background sample including pixels in which the number of mismatched bits calculated by the above-described process among the plurality of background samples is less than a predetermined threshold bit difference. If the number is less than the predetermined second threshold sample, the first pixel may be divided into object pixels.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 복수의 배경 샘플 중에 제1 픽셀(입력 영상을 구성하는 픽셀)의 바이너리 값과 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수를 확인하고, 확인된 배경 샘플의 수가 제2 임계 샘플의 수 미만인 경우 해당 픽셀(즉 제1 픽셀)을 객체 픽셀로 구분할 수 있다.In other words, the object and background separator 100 may include a background including a pixel having a number of bits that do not match a binary value of a first pixel (a pixel constituting an input image) among a plurality of background samples, which is less than a predetermined threshold bit difference. The number of samples may be checked, and if the identified number of background samples is less than the number of second threshold samples, the corresponding pixel (ie, the first pixel) may be divided into object pixels.

이때 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클 수록 전술한 '소정의 임계 비트수 차이'를 증가시킬 수 있다. In this case, the object and background classification apparatus 100 according to an embodiment of the present invention may increase the aforementioned 'predetermined threshold bit number difference' as the background motion of the input image increases.

바꾸어 말하면 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 입력 영상의 배경의 움직임이 클수록 객체 픽셀로 구분하는 기준이 되는 임계 비트수 차이를 증가시킴으로써, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 도 3과 같은 입력 영상의 경우 강물이 움직이므로, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 전술한 임계 비트수 차이를 증가시켜, 강물을 구성하는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.In other words, the object and background classification apparatus 100 according to an exemplary embodiment of the present invention increases the difference in the number of threshold bits used as the reference to classify the object pixels as the background motion of the input image increases, so that the pixels included in the moving background are increased. It can lower the probability of misclassification as an object. For example, in the case of the input image as shown in FIG. 3, since the river moves, the object and background classification apparatus 100 according to an embodiment of the present invention increases the difference in the number of threshold bits described above, so that pixels constituting the river are incorrectly objects. The probability of separation can be lowered.

한편 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 이전 입력 영상 및/또는 과거 입력 영상의 임계 비트수 차이를 참조하여, 현재 입력 영상의 임계 비트수 차이를 결정함으로써, 상술한 바와 같이 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다. 가령 입력 영상이 프레임(Frame)단위로 입력되는 경우, 객체 및 배경 구분 장치(100)는 이전 프레임의 임계 비트수 차이를 참조하여 현재 프레임의 임계 비트수 차이를 결정할 수 있다.On the other hand, the object and background classification apparatus 100 according to an embodiment of the present invention by referring to the difference in the threshold number of bits of the previous input image and / or the past input image, by determining the threshold bit number difference of the current input image, As described above, the probability that pixels included in a moving background are incorrectly classified as an object may be reduced. For example, when the input image is input in units of frames, the object and the background distinguishing apparatus 100 may determine the difference in the number of threshold bits of the current frame by referring to the difference in the number of threshold bits of the previous frame.

이와 같이 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 복수의 배경 샘플과의 비교를 통하여, 배경과 텍스쳐의 유사성이 떨어지는 픽셀을 객체픽셀로 구분 구분하되, 동적 배경에서 객체 픽셀로 구분하는 기준을 강화하여 객체 구분의 정확도를 향상시킬 수 있다.As described above, the object and background classification apparatus 100 according to an embodiment of the present invention classifies pixels having a low similarity between the background and the texture into object pixels through comparison with a plurality of background samples, but object pixels in the dynamic background. The accuracy of object classification can be improved by strengthening the criteria to classify

다시 도 4를 참조하여, 종래기술에 따라 도 3과 같은 입력 영상에서 객체를 구분한 결과 영상을 설명한다. 이때 설명의 편의를 위해서, 입력영상이 도 3에 도시된 바와 같이 흐르는 강에서 보트를 타는 사람에 대한 영상이라고 가정한다. 또한 흰색으로 채색된 영역이 객체로 구분된 영역이고, 검은색으로 채색된 영역이 배경으로 구분된 영역인 것으로 가정한다. 즉, 보트와 보트를 타는 사람과 흐르는 강물의 일부 영역이 객체로 구분되고, 나머지 영역이 배경으로 구분되었다고 가정한다.Referring to FIG. 4 again, the resultant image of classifying the object in the input image as shown in FIG. 3 according to the prior art will be described. In this case, for convenience of explanation, it is assumed that the input image is an image of a person riding a boat in a flowing river as shown in FIG. 3. In addition, it is assumed that an area colored in white is an area separated by an object, and an area colored in black is an area separated by a background. That is, it is assumed that boats, boaters, and some areas of the flowing river are divided into objects, and the remaining areas are divided into backgrounds.

종래기술은 이와 같이 동적 배경에 있어서, 객체와 배경을 구분하는 정확도가 높지 않았다. 특히 도 3과 같이 흐르는 강물과 같은 배경의 경우 배경의 형상이 시간의 흐름에 따라 변화하므로, 도 4에 도시된 바와 같이 보트 및 보트를 타는 사람 외에 강물의 일 부분이 객체로써 구분하였다.In the prior art, in the dynamic background, the accuracy of distinguishing the object from the background is not high. In particular, in the case of a background such as a flowing river as shown in FIG. 3, since the shape of the background changes over time, as shown in FIG. 4, a part of the river is divided as an object in addition to the boat and the person riding the boat.

본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 전술한 바와 같이 배경 샘플과 입력 영상의 색상의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 색상 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.In the object and background classification apparatus 100 according to an embodiment of the present invention, as described above, in determining the similarity between the color of the background sample and the input image, the larger the movement of the background of the input image, the more 'the predetermined threshold color difference'. In order to reduce the probability that pixels included in a moving background are incorrectly classified as an object by increasing.

또한 이와 유사하게 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 배경 샘플과 입력 영상의 텍스쳐의 유사성을 판단함에 있어서, 입력 영상의 배경의 움직임이 클수록 '소정의 임계 비트수 차이'를 증가시켜, 움직이는 배경에 포함되는 픽셀들이 객체로 잘못 구분되는 확률을 낮출 수 있다.Similarly, in determining the similarity between the background sample and the texture of the input image, the object and background classification apparatus 100 according to an exemplary embodiment of the present invention may show that the larger the motion of the background of the input image is, the smaller the predetermined number of critical bits is. 'Can be increased to reduce the probability that pixels included in a moving background are incorrectly classified as objects.

이어서 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 객체와 배경 구분의 정확도를 향상시키기 위하여, 전술한 과정에 의해서 생성된 제1 영상에서 객체 픽셀로 구분된 픽셀 중, 소정의 블링킹(Blinking) 조건을 만족하는 픽셀을 배경 픽셀로 재구분 할 수 있다. (S72)Subsequently, in order to improve the accuracy of object and background classification, the object and background classification apparatus 100 according to an exemplary embodiment of the present invention may, among the pixels divided into object pixels in the first image generated by the above-described process, Pixels satisfying the Blinking condition may be divided into background pixels. (S72)

이하에서는 전술한 과정에 의해서 생성된 제1 영상이 도 4인 것으로 가정하고, 이에 따라 제1 영상이 도 5와 같은 객체 구분 에러를 포함하는 것이라고 가정한다. 이때 도 4가 종래기술에 따른 객체 구분 영상임에도 불구하고, 본 발명에 따른 제1 영상인 것으로 가정하는 것은 단지 중복 도면의 최소화와 설명의 편의를 위한 것일 뿐이므로, 종래기술 대비 본 발명의 객체 구분의 효과가 현저하지 않음을 의미하는 것은 아니다.Hereinafter, it is assumed that the first image generated by the above-described process is FIG. 4, and accordingly, it is assumed that the first image includes the object classification error shown in FIG. 5. At this time, although FIG. 4 is an object classification image according to the prior art, it is assumed that the first image according to the present invention is merely for minimization of overlapping drawings and convenience of description, and thus object classification of the present invention compared to the prior art. It does not mean that the effect of is not remarkable.

상술한 가정 하에, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 제1 영상에서 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제2 픽셀에 대해서, 단위시간당 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제1 임계 횟수 이상인 경우, 제2 픽셀을 배경 픽셀로 재분류할 수 있다.Under the above-described assumption, the object and background distinguishing apparatus 100 according to an exemplary embodiment of the present invention may perform an object on a background pixel per unit time with respect to a second pixel, which is any one pixel among pixels divided into object pixels in the first image. When the sum of the number of times that the classification is switched to the pixel and the number of times the classification is changed from the object pixel to the background pixel is equal to or greater than a predetermined first threshold number, the second pixel may be reclassified as the background pixel.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어떤 픽셀의 단위시간당 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환)의 수, 즉 분류 전환 주파수가 소정의 기준 이상인 경우, 이러한 픽셀을 배경 픽셀로 재분류할 수 있다. In other words, the object and background classification apparatus 100 may determine the number of classification conversions (object pixel to background pixel or background pixel to object pixel) per unit time of a certain pixel constituting the input image, that is, the classification conversion frequency is predetermined. If it is higher than or equal to, these pixels can be reclassified as background pixels.

또한 이와 유사하게, 본 발명의 일 실시예에 따른 객체 및 배경 구분 장치(100)는 객체 픽셀로 구분된 픽셀 중 어느 하나의 픽셀인 제3 픽셀에 대해서, 배경 픽셀에서 객체 픽셀로 분류가 전환 되는 횟수 및 객체 픽셀에서 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제2 임계 횟수 이상인 경우, 이러한 제3 픽셀을 상기 배경 픽셀로 재분류할 수 있다.Similarly, the object and background classification apparatus 100 according to an exemplary embodiment of the present invention may classify the object pixel into a third pixel, which is one of the pixels divided into object pixels, from the background pixel to the object pixel. When the sum of the number of times and the number of times the classification is switched from the object pixel to the background pixel is equal to or greater than a predetermined second threshold number, the third pixel may be reclassified as the background pixel.

바꾸어 말하면, 객체 및 배경 구분 장치(100)는 입력 영상을 구성하는 어떤 픽셀의 분류 전환(객체 픽셀에서 배경 픽셀로 전환 또는 배경 픽셀에서 객체 픽셀로 전환) 횟수의 총 합이 소정의 기준 이상인 경우, 이러한 픽셀도 배경 픽셀로 재분류할 수 있다. In other words, when the sum of the number of classification conversions (object pixel to background pixel or background pixel to object pixel) of any pixel constituting the input image is greater than or equal to a predetermined criterion, These pixels can also be reclassified as background pixels.

이로써 본 발명은 도 6에 도시된 바와 같이 동적 배경에 의한 객체 구분의 오류를 최소화할 수 있다.As a result, the present invention can minimize the error of object division by the dynamic background as shown in FIG.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 나아가, 매체는 네트워크 상에서 전송 가능한 형태로 구현되는 무형의 매체를 포함할 수 있으며, 예를 들어 소프트웨어 또는 애플리케이션 형태로 구현되어 네트워크를 통해 전송 및 유통이 가능한 형태의 매체일 수도 있다. Embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, such a computer program may be recorded on a computer readable medium. At this time, the media may be magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs. Hardware devices specifically configured to store and execute program instructions, such as memory, RAM, flash memory, and the like. Furthermore, the medium may include an intangible medium implemented in a form that can be transmitted on a network. For example, the medium may be a form of a software or an application that can be transmitted and distributed through a network.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.On the other hand, the computer program may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of computer programs may include not only machine code generated by a compiler, but also high-level language code executable by a computer using an interpreter or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Particular implementations described in the present invention are embodiments and do not limit the scope of the present invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings are illustrative of the functional connection and / or physical or circuit connections as an example, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections. In addition, unless specifically mentioned, such as "essential", "important" may not be a necessary component for the application of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is defined not only in the claims below, but also in the ranges equivalent to or equivalent to those of the claims. Will belong to.

100: 객체 및 배경 구분 장치
200A, 200B: 영상 장치
300: 통신망100: object and background separator
200A, 200B: video device
300: network

Claims (6)

입력 영상에서 객체와 배경을 구분하는 방법에 있어서,
픽셀 별 색상 정보 및 픽셀 별 텍스쳐(Texture) 정보를 포함하는 복수의 배경 샘플(Sample)과 상기 입력 영상의 색상 정보 및 텍스쳐 정보의 비교 결과에 기초하여, 상기 입력 영상을 구성 하는 적어도 하나의 픽셀을 배경 픽셀 및 객체 픽셀 중 어느 하나로 구분한 제1 영상을 생성하는 단계; 및
상기 제1 영상에서 상기 객체 픽셀로 구분된 픽셀 중, 소정의 블링킹(Blinking) 조건을 만족하는 픽셀을 상기 배경 픽셀로 재구분 하는 단계;를 포함하는, 객체 및 배경 구분 방법.In the method for distinguishing the object and the background in the input image,
At least one pixel constituting the input image is based on a result of comparing a plurality of background samples including color information of each pixel and texture information of each pixel and color information and texture information of the input image. Generating a first image divided into any one of a background pixel and an object pixel; And
And reclassifying a pixel that satisfies a predetermined blinking condition among the pixels divided into the object pixel in the first image into the background pixel. 제1 항에 있어서
상기 제1 영상을 생성하는 단계는,
상기 복수의 배경 샘플 각각에 대해서, 상기 입력 영상을 구성하는 제1 픽셀의 색상 값의 크기와 상기 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 색상 값의 크기간의 차인 색상 차이를 산출하는 단계; 및
상기 복수의 배경 샘플 중 상기 색상 차이가 소정의 임계 색상 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제1 임계 샘플의 수 미만인 경우, 상기 제1 픽셀을 상기 객체 픽셀로 구분하는 단계;를 포함하는, 객체 및 배경 구분 방법.The method of claim 1
The generating of the first image may include:
Calculating, for each of the plurality of background samples, a color difference that is a difference between a magnitude value of a color value of a first pixel constituting the input image and a magnitude value of at least one pixel constituting each of the plurality of background samples; ; And
Dividing the first pixel into the object pixel when the number of background samples including pixels whose color difference is less than a predetermined threshold color difference among the plurality of background samples is less than a predetermined first threshold sample number; How to distinguish between objects and backgrounds. 제2 항에 있어서
상기 소정의 임계 색상 차이는
상기 입력 영상의 배경의 움직임이 클수록 증가하는, 객체 및 배경 구분 방법.The method of claim 2
The predetermined threshold color difference is
And the background motion of the input image increases as the motion of the background increases. 제1 항에 있어서
상기 제1 영상을 생성하는 단계는,
상기 복수의 배경 샘플 각각에 대해서, 상기 입력 영상을 구성하는 제1 픽셀의 텍스쳐에 대응되는 바이너리(Binary) 값과 상기 복수의 배경 샘플 각각을 구성하는 적어도 하나의 픽셀의 텍스쳐에 대응되는 바이너리 값 간에 일치하지 않는 비트(Bit)의 수를 확인하는 단계; 및
상기 복수의 배경 샘플 중 상기 일치하지 않는 비트의 수가 소정의 임계 비트수 차이 미만인 픽셀을 포함하는 배경 샘플의 수가 소정의 제2 임계 샘플의 수 미만인 경우, 상기 제1 픽셀을 상기 객체 픽셀로 구분하는 단계;를 포함하는, 객체 및 배경 구분 방법.The method of claim 1
The generating of the first image may include:
For each of the plurality of background samples, a binary value corresponding to a texture of a first pixel constituting the input image and a binary value corresponding to a texture of at least one pixel constituting each of the plurality of background samples Identifying the number of bits that do not match; And
When the number of background samples including pixels whose number of mismatched bits among the plurality of background samples is less than a predetermined threshold bit number difference is less than a predetermined second threshold sample, the first pixel is divided into the object pixels. Comprising; object and background classification method. 제4 항에 있어서
상기 소정의 임계 비트수 차이는
상기 입력 영상의 배경의 움직임이 클수록 증가하는, 객체 및 배경 구분 방법.The method of claim 4
The predetermined threshold bit difference is
And the background motion of the input image increases as the motion of the background increases. 제1 항에 있어서
상기 소정의 블링킹 조건을 만족하는 픽셀을 상기 배경 픽셀로 재구분 하는 단계는
상기 객체 픽셀로 구분된 픽셀 중 제2 픽셀의 단위시간당 상기 배경 픽셀에서 상기 객체 픽셀로 분류가 전환 되는 횟수 및 상기 객체 픽셀에서 상기 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제1 임계 횟수 이상인 경우, 상기 제2 픽셀을 상기 배경 픽셀로 분류하는 단계; 및
상기 객체 픽셀로 구분된 픽셀 중 제3 픽셀의 상기 배경 픽셀에서 상기 객체 픽셀로 분류가 전환 되는 횟수 및 상기 객체 픽셀에서 상기 배경 픽셀로 분류가 전환 되는 횟수의 합이 소정의 제2 임계 횟수 이상인 경우, 상기 제3 픽셀을 상기 배경 픽셀로 분류하는 단계;를 포함하는, 객체 및 배경 구분 방법.The method of claim 1
Re-classifying the pixel satisfying the predetermined blinking condition into the background pixel
The sum of the number of times the classification is switched from the background pixel to the object pixel and the number of times the classification is switched from the object pixel to the background pixel per unit time of the second pixel among the pixels divided by the object pixel is the first predetermined number of times. If above, classifying the second pixel as the background pixel; And
When the sum of the number of times the classification is switched from the background pixel of the third pixel to the object pixel among the pixels divided by the object pixel and the number of times the classification is switched from the object pixel to the background pixel is equal to or greater than a predetermined second threshold number of times. And classifying the third pixel into the background pixel.
KR1020180041248A 2018-04-09 2018-04-09 Method for distinguishing object from backgrounds KR102629594B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180041248A KR102629594B1 (en) 2018-04-09 2018-04-09 Method for distinguishing object from backgrounds

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180041248A KR102629594B1 (en) 2018-04-09 2018-04-09 Method for distinguishing object from backgrounds

Publications (2)

Publication Number Publication Date
KR20190118078A true KR20190118078A (en) 2019-10-17
KR102629594B1 KR102629594B1 (en) 2024-01-29

Family

ID=68424094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041248A KR102629594B1 (en) 2018-04-09 2018-04-09 Method for distinguishing object from backgrounds

Country Status (1)

Country Link
KR (1) KR102629594B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323572A (en) * 2006-06-05 2007-12-13 Nec Corp Object detector, object detection method, and object detection program
KR20090088219A (en) * 2008-02-14 2009-08-19 한양대학교 산학협력단 Method and apparatus for tracking boudary of object using texture information
KR20130013462A (en) * 2011-07-28 2013-02-06 광주과학기술원 Foreground extraction apparatus and method using ccb and mt lbp
KR20160089165A (en) * 2015-01-19 2016-07-27 한화테크윈 주식회사 System and Method for Detecting Moving Objects
JP2018022475A (en) * 2016-06-08 2018-02-08 アクシス アーベー Method and apparatus for updating background model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323572A (en) * 2006-06-05 2007-12-13 Nec Corp Object detector, object detection method, and object detection program
KR20090088219A (en) * 2008-02-14 2009-08-19 한양대학교 산학협력단 Method and apparatus for tracking boudary of object using texture information
KR20130013462A (en) * 2011-07-28 2013-02-06 광주과학기술원 Foreground extraction apparatus and method using ccb and mt lbp
KR20160089165A (en) * 2015-01-19 2016-07-27 한화테크윈 주식회사 System and Method for Detecting Moving Objects
JP2018022475A (en) * 2016-06-08 2018-02-08 アクシス アーベー Method and apparatus for updating background model

Also Published As

Publication number Publication date
KR102629594B1 (en) 2024-01-29

Similar Documents

Publication Publication Date Title
US7742650B2 (en) Object detection in images
CN112669344B (en) Method and device for positioning moving object, electronic equipment and storage medium
US8902053B2 (en) Method and system for lane departure warning
JP4626886B2 (en) Method and apparatus for locating and extracting captions in digital images
JP7272533B2 (en) Systems and methods for evaluating perceptual systems
US10970823B2 (en) System and method for detecting motion anomalies in video
JP2016027490A (en) Method, system, product and computer program for multi-cue object detection and analysis (multi-cue object detection and analysis)
JP6616521B2 (en) Image processing device
US11836958B2 (en) Automatically detecting and isolating objects in images
US20210374440A1 (en) On-road obstacle detection device, on-road obstacle detection method, and recording medium
CN111832492B (en) Static traffic abnormality judging method and device, computer equipment and storage medium
CN110147465A (en) Image processing method, device, equipment and medium
EP4036792A1 (en) Method and device for classifying pixels of an image
CN111931726B (en) Traffic light detection method, device, computer storage medium and road side equipment
US20160148071A1 (en) Systems and methods for object detection
US11188756B2 (en) Object localization and classification system and method thereof
KR20160037480A (en) Method for establishing region of interest in intelligent video analytics and video analysis apparatus using the same
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
KR20190118078A (en) Method for distinguishing object from backgrounds
US11068718B2 (en) Attribute classifiers for image classification
CN112949359A (en) Convolutional neural network-based abnormal behavior identification method and device
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
US10686969B2 (en) Detecting shot changes in a video
KR101617428B1 (en) Method and apparatus for degraded region detection in digital video file
CN114519709A (en) Video detection method, device, equipment and storage medium

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant