KR102575689B1 - Device and method for processing cctv image complementary color capable of selecting objects based on deep learning - Google Patents

Device and method for processing cctv image complementary color capable of selecting objects based on deep learning Download PDF

Info

Publication number
KR102575689B1
KR102575689B1 KR1020230044636A KR20230044636A KR102575689B1 KR 102575689 B1 KR102575689 B1 KR 102575689B1 KR 1020230044636 A KR1020230044636 A KR 1020230044636A KR 20230044636 A KR20230044636 A KR 20230044636A KR 102575689 B1 KR102575689 B1 KR 102575689B1
Authority
KR
South Korea
Prior art keywords
candidate object
candidate
complementary color
unit
image
Prior art date
Application number
KR1020230044636A
Other languages
Korean (ko)
Inventor
김민정
Original Assignee
(주)에이스엘이디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이스엘이디 filed Critical (주)에이스엘이디
Priority to KR1020230044636A priority Critical patent/KR102575689B1/en
Application granted granted Critical
Publication of KR102575689B1 publication Critical patent/KR102575689B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치 및 방법이 개시된다. 본 발명의 실시 예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치는, 영상을 입력받는 네트워크 인터페이스부, 입력받은 영상으로부터 배경과 객체를 분리하고, 분리된 객체를 이용하여 움직임이 있는 객체를 선별하여 제1 후보객체를 결정하는 제1 후보객체 결정부, 입력받은 영상으로부터 객체를 선별하고, 제2 후보객체를 결정하는 제2 후보객체 결정부, 결정된 제1 후보객체와 제2 후보객체를 이용하여 최종 객체를 결정하는 최종객체 결정부, 및 추출된 최종 객체를 영상의 배경색을 기준으로 선정된 보색으로 오버랩하여 출력하는 보색 처리부를 포함한다.Disclosed is a CCTV complementary color image processing apparatus and method capable of object selection based on deep learning. A CCTV complementary color image processing device capable of selecting objects based on deep learning according to an embodiment of the present invention is a network interface unit that receives an image, separates a background and an object from the received image, and uses the separated object to detect movement. A first candidate object determination unit for selecting an object and determining a first candidate object, a second candidate object determination unit for selecting an object from an input image and determining a second candidate object, the determined first candidate object and the second candidate It includes a final object determination unit that determines a final object using an object, and a complementary color processing unit that overlaps and outputs the extracted final object with a complementary color selected based on the background color of the image.

Description

딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치 및 방법 {DEVICE AND METHOD FOR PROCESSING CCTV IMAGE COMPLEMENTARY COLOR CAPABLE OF SELECTING OBJECTS BASED ON DEEP LEARNING}CCTV complementary color image processing device and method capable of object screening based on deep learning {DEVICE AND METHOD FOR PROCESSING CCTV IMAGE COMPLEMENTARY COLOR CAPABLE OF SELECTING OBJECTS BASED ON DEEP LEARNING}

본 발명은 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치 및 방법에 관한 것으로서, 보다 상세하게는, 객체 추출을 위한 딥러닝 기반의 모델의 단점을 보완하여 정확한 객체를 추출하고, 객체의 식별이 용이하도록 처리하는 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치 및 방법에 관한 것이다.The present invention relates to a CCTV complementary color image processing apparatus and method capable of deep learning-based object selection, and more particularly, to compensate for the disadvantages of a deep learning-based model for object extraction to extract an accurate object and identify the object. It relates to a CCTV complementary color image processing device and method capable of deep learning-based object selection that facilitates this processing.

CCTV(Closed Circuit Television)는 범죄예방, 시설 안전, 화재 예방 등을 이유로 감시가 필요한 지역에 설치되는 촬영 시스템으로, 초기에는 주로 실외에 설치되었으나, 최근에는 가정, 사무실, 및 각종 영업장 등에 다양하게 설치되고 있다.CCTV (Closed Circuit Television) is a filming system installed in areas requiring surveillance for reasons such as crime prevention, facility safety, and fire prevention. It is becoming.

치안 및 보안에 대한 사회적 관심이 높아짐에 따라, CCTV의 설치가 급격히 증가하고 있다. 하지만, 각종 범죄 및 사고를 예방하기 위해서는, CCTV에 의해 촬영되는 영상을 실시간으로 모니터링하여야 하지만 현실적으로 불가능한 상황이다. 이에 따라, CCTV에 의해 촬영되어 저장된 영상을 이용하여 이미 발생한 상황을 파악하는 정도에 그치고 있는 실정이다.As social interest in public order and security increases, the installation of CCTVs is rapidly increasing. However, in order to prevent various crimes and accidents, it is necessary to monitor images captured by CCTV in real time, but it is practically impossible. Accordingly, it is a situation that is limited to the extent of grasping a situation that has already occurred using images captured and stored by CCTV.

일반적으로, CCTV에 의해 촬영된 영상으로부터 파악하고자 하는 것은 사람, 건물, 및 차량과 같은 객체의 존재 여부 및 이동이다. CCTV에 의해 촬영된 영상으로부터 원하는 객체를 검출 및 분석하는 작업은 매우 많은 시간과 노력을 필요로 하기 때문에, 영상으로부터 객체를 검출해내기 위한 다양한 방법들이 연구되고 있다. 특히, 딥러닝(Deep-Learning) 기술이 발전하면서 영상으로부터 객체를 검출하는 기술은 뛰어난 성능을 보여 큰 인기를 끌게 되었다.In general, what is to be determined from an image captured by CCTV is the existence and movement of objects such as people, buildings, and vehicles. Since the task of detecting and analyzing a desired object from an image captured by CCTV requires a lot of time and effort, various methods for detecting an object from the image are being studied. In particular, with the development of deep-learning technology, a technology for detecting an object from an image has gained great popularity due to its excellent performance.

하지만, 객체를 검출할 수 있는 딥러닝 기반의 모델들이 다양하게 안출되었음에도 불구하고, 대부분의 딥러닝 기반의 모델들이 입력 해상도를 증가시켜 객체 검출 성능을 증가시키고자 하며, 각 모델들이 추구하는 목적에 한하여 객체를 추출하고 있어, 사용자가 원하는 목적을 달성할 수 있는 모델을 적용하는 것이 매우 어려운 상황이다.However, although various deep learning-based models capable of detecting objects have been devised, most deep learning-based models seek to increase object detection performance by increasing input resolution, and Since only objects are extracted, it is very difficult to apply a model that can achieve the user's desired purpose.

등록특허공보 제10-2139582호(2020. 07. 24. 공개)Registered Patent Publication No. 10-2139582 (published on July 24, 2020)

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 서로 다른 딥러닝 모델에 의해 결정된 후보객체를 검증하여 최종 객체를 결정함으로써, 객체 선별의 정확도를 향상시킨 딥러닝 기반의 객체 선별이 가능하고, 선별된 객체의 식별이 용이하도록 하는 CCTV 보색 영상 처리 장치 및 방법을 제시하는 데 있다.In order to solve the above problems, the technical problem to be achieved by the present invention is to determine a final object by verifying candidate objects determined by different deep learning models, thereby enabling deep learning-based object selection that improves the accuracy of object selection. It is to provide a CCTV complementary color image processing apparatus and method for facilitating identification of a selected object.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치는, 영상을 입력받는 네트워크 인터페이스부, 입력받은 영상으로부터 배경과 객체를 분리하고, 분리된 객체를 이용하여 움직임이 있는 객체를 선별하여 제1 후보객체를 결정하는 제1 후보객체 결정부, 입력받은 영상으로부터 객체를 선별하고, 제2 후보객체를 결정하는 제2 후보객체 결정부, 결정된 제1 후보객체와 제2 후보객체를 이용하여 최종 객체를 결정하는 최종객체 결정부, 및 추출된 최종 객체를 영상의 배경색을 기준으로 선정된 보색으로 오버랩하여 출력하는 보색 처리부를 포함한다.As a means for solving the above technical problem, the CCTV complementary image processing device capable of object selection based on deep learning according to an embodiment of the present invention is a network interface unit that receives an image, and separates the background and object from the input image. and a first candidate object determination unit for determining a first candidate object by selecting an object with motion using the separated object, and a second candidate object determination unit for selecting an object from the input image and determining a second candidate object. A final object determination unit for determining a final object using the determined first candidate object and the second candidate object, and a complementary color processing unit for overlapping and outputting the extracted final object with a complementary color selected based on the background color of the image. .

상기 제1 후보객체 결정부는, 영상으로부터 배경과 객체를 각각 분리하는 객체 분리부, 분리된 객체의 움직임을 감지하는 움직임 감지부, 및 움직임이 감지된 객체를 제2 후보객체로 결정하는 움직임 객체 결정부를 포함할 수 있다.The first candidate object determining unit includes an object separating unit separating a background and an object from an image, a motion detecting unit detecting a motion of the separated object, and a motion object determining unit determining a motion-detected object as a second candidate object. wealth may be included.

상기 제2 후보객체 결정부는, 객체를 엣지 모양에 따라 추출하는 객체 추출부, 및 추출된 객체를 종류에 따라 분류하는 객체 분류부를 포함할 수 있다.The second candidate object determination unit may include an object extraction unit for extracting an object according to an edge shape, and an object classification unit for classifying the extracted object according to a type.

상기 최종객체 결정부는, 제1 후보객체와 제2 후보객체의 누적 오차범위를 산출하는 오차범위 산출부, 산출된 누적 오차범위를 이용하여 제1 후보객체 및 제2 후보객체를 검증하는 제1 검증부, 제1 후보객체와 제2 후보객체의 위치값을 기설정된 기준값과 비교하여 검증하는 제2 검증부, 제1 검증부 및 제2 검증부의 검증이 모두 성공한 경우, 제1 후보객체와 제2 후보객체를 결합하여 최종 객체를 결정하는 결정부를 포함할 수 있다.The final object determination unit, an error range calculation unit that calculates the cumulative error range of the first candidate object and the second candidate object, and a first verification unit that verifies the first candidate object and the second candidate object using the calculated cumulative error range The second verification unit, which compares the position values of the first candidate object and the second candidate object with a preset reference value and verifies the position values of the first candidate object and the second candidate object, and when the verifications of the first and second verification units are all successful, the first candidate object and the second verification unit It may include a decision unit for determining a final object by combining candidate objects.

상기 오차범위 산출부는, 하기의 수식에 의해 누적 오차범위를 산출할 수 있다:The error range calculation unit may calculate the cumulative error range by the following formula:

여기서, 는 상기 누적 오차범위, N은 상기 제1 후보객체의 현재 픽셀값, M은 상기 제2 후보객체의 현재 픽셀값, 은 과거에 결합된 제1 후보객체의 픽셀값, 는 과거에 결합된 제2 후보객체의 픽셀값, 은 제1 후보객체 및 제2 후보객체의 현재 위치값, 은 제1 후보객체 및 제2 후보객체의 이동값이다.here, Is the cumulative error range, N is the current pixel value of the first candidate object, M is the current pixel value of the second candidate object, is the pixel value of the first candidate object combined in the past, is the pixel value of the second candidate object combined in the past, is the current position value of the first candidate object and the second candidate object, is the movement value of the first candidate object and the second candidate object.

상기 제1 검증부는, 하기의 수식에 의해 최소 범위값을 산출하고, 산출된 최소 범위값이 누적 오차범위 이상이면, 검증이 성공한 것으로 판단할 수 있다:The first verification unit may calculate the minimum range value by the following formula, and if the calculated minimum range value is equal to or greater than the cumulative error range, it may be determined that the verification is successful:

여기서, 은 상기 최소 범위값이고, N은 상기 제1 후보객체의 현재 픽셀값, M은 상기 제2 후보객체의 현재 픽셀값이다.here, is the minimum range value, N is the current pixel value of the first candidate object, and M is the current pixel value of the second candidate object.

상기 보색 처리부는, 영상의 배경이 갖는 색상값의 평균을 산출한 후, 색상값의 평균에 의해 보색을 결정할 수 있다.The complementary color processing unit may calculate an average of color values of the background of the image and then determine a complementary color by averaging the color values.

한편, 본 발명의 다른 실시 예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 방법은, 영상을 입력받는 단계, 입력받은 영상으로부터 배경과 객체를 분리하는 단계, 분리된 객체를 이용하여 움직임이 있는 객체를 선별하여 제1 후보객체를 결정하는 단계, 입력받은 영상으로부터 객체를 선별하고, 제2 후보객체를 결정하는 단계, 결정된 제1 후보객체와 제2 후보객체를 이용하여 최종 객체를 결정하는 단계, 및 추출된 최종 객체를 영상의 배경색을 기준으로 선정된 보색으로 오버랩하여 출력하는 단계를 포함한다.On the other hand, in the CCTV complementary image processing method capable of selecting objects based on deep learning according to another embodiment of the present invention, the step of receiving an image, the step of separating the background and object from the input image, and the step of moving using the separated object Selecting an object having a , determining a first candidate object, selecting an object from an input image, and determining a second candidate object, determining a final object using the determined first and second candidate objects and overlapping and outputting the extracted final object with a complementary color selected based on the background color of the image.

상기 최종 객체 결정하는 단계는, 제1 후보객체와 상기 제2 후보객체의 누적 오차범위를 산출하는 단계, 산출된 누적 오차범위를 이용하여 제1 후보객체 및 제2 후보객체를 검증하는 단계, 제1 후보객체와 제2 후보객체의 위치값을 기설정된 기준값과 비교하여 검증하는 단계, 검증이 모두 성공한 경우, 제1 후보객체와 제2 후보객체를 결합하여 최종 객체를 결정하는 단계를 포함할 수 있다.The determining of the final object may include calculating the cumulative error range of the first candidate object and the second candidate object, verifying the first candidate object and the second candidate object using the calculated cumulative error range, 1. Verification by comparing the position values of the 1st candidate object and the 2nd candidate object with a preset reference value, and if all of the verifications succeed, determining the final object by combining the 1st candidate object and the 2nd candidate object. there is.

상기 누적 오차범위를 산출하는 단계는, 하기의 수식에 의해 누적 오차범위를 산출할 수 있다:In the step of calculating the cumulative error range, the cumulative error range can be calculated by the following formula:

여기서, 는 상기 누적 오차범위, N은 상기 제1 후보객체의 현재 픽셀값, M은 상기 제2 후보객체의 현재 픽셀값, 은 과거에 결합된 제1 후보객체의 픽셀값, 는 과거에 결합된 제2 후보객체의 픽셀값, 은 제1 후보객체 및 제2 후보객체의 현재 위치값, 은 제1 후보객체 및 제2 후보객체의 이동값이다.here, Is the cumulative error range, N is the current pixel value of the first candidate object, M is the current pixel value of the second candidate object, is the pixel value of the first candidate object combined in the past, is the pixel value of the second candidate object combined in the past, is the current position value of the first candidate object and the second candidate object, is the movement value of the first candidate object and the second candidate object.

본 발명에 따르면, 서로 다른 딥러닝 모델을 적용하여 서로 다른 후보객체를 선별한 후 이 후보객체를 검증하는 과정에 의해 최종 객체를 선별함으로써, 객체 선별의 정확도를 향상시킨 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치 및 방법을 제공하는 효과가 있다.According to the present invention, by selecting different candidate objects by applying different deep learning models and then selecting the final object through the process of verifying the candidate objects, deep learning-based object selection with improved accuracy of object selection is achieved. There is an effect of providing a possible CCTV complementary color image processing device and method.

또한, 최종 선별된 최종 객체를 영상의 배경색에 의해 결정된 보색으로 처리하여 출력함으로써, 육안으로도 쉽게 객체의 식별 및 존재의 판단이 매우 용이한 효과가 있다.In addition, by processing and outputting the finally selected final object in a complementary color determined by the background color of the image, there is an effect of easily identifying the object and determining the existence of the object with the naked eye.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 시스템의 네트워크 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치의 기능을 보인 블록도,
도 3은 도 2에 도시한 제1 후보객체 결정부의 상세 블록도,
도 4는 도 2에 도시한 제2 후보객체 결정부의 상세 블록도,
도 5는 도 2에 도시한 최종객체 결정부의 상세 블록도,
도 6은 제1 후보객체 및 제2 후보객체를 이용하여 최종객체를 결정하는 방법을 설명하기 위한 도면,
도 7은 본 발명에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치에 의해 획득되는 보색 영상의 결과물의 예시를 보인 도면,
도 8은 본 발명에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치에 의해 획득되는 보색 영상의 결과물의 다른 예시를 보인 도면, 그리고,
도 9는 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 방법을 설명하기 위한 흐름도이다.1 is a network configuration diagram of a CCTV complementary color image processing system capable of object selection based on deep learning according to a preferred embodiment of the present invention;
2 is a block diagram showing the functions of a CCTV complementary color image processing device capable of object selection based on deep learning according to a preferred embodiment of the present invention;
3 is a detailed block diagram of a first candidate object determining unit shown in FIG. 2;
4 is a detailed block diagram of the second candidate object determination unit shown in FIG. 2;
5 is a detailed block diagram of the final object determination unit shown in FIG. 2;
6 is a diagram for explaining a method of determining a final object using a first candidate object and a second candidate object;
7 is a view showing an example of a result of a complementary color image obtained by a CCTV complementary color image processing apparatus capable of object selection based on deep learning according to the present invention;
8 is a view showing another example of a result of a complementary color image obtained by a CCTV complementary color image processing device capable of object selection based on deep learning according to the present invention, and
9 is a flowchart for explaining a CCTV complementary color image processing method capable of object selection based on deep learning according to a preferred embodiment of the present invention.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features and advantages of the present invention will be easily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content will be thorough and complete and the spirit of the present invention will be sufficiently conveyed to those skilled in the art.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.In this specification, when an element is referred to as being on another element, it means that it may be directly formed on the other element or a third element may be interposed therebetween. Also, in the drawings, the thickness of components is exaggerated for effective description of technical content.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.In this specification, when terms such as first and second are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one component from another. Embodiments described and illustrated herein also include complementary embodiments thereof.

또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.Also, when it is said that a first element (or component) operates or is executed on (ON) a second element (or component), the first element (or component) means that the second element (or component) It should be understood that it is operated or executed in an environment in which it is operated or executed, or operated or executed through direct or indirect interaction with the second element (or component).

어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.Where an element, component, device, or system is referred to as including a component consisting of a program or software, even if not explicitly stated otherwise, that element, component, device, or system means that the program or software executes or operates. It should be understood that it includes hardware (eg, memory, CPU, etc.) or other programs or software (eg, operating system or driver required to drive hardware) required to do so.

또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.In addition, it should be understood that, unless otherwise specified, the element (or component) may be implemented in any form of software, hardware, or both software and hardware.

또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In addition, terms used in this specification are for describing embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. The terms 'comprises' and/or 'comprising' used in the specification do not exclude the presence or addition of one or more other elements.

도 1은 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 시스템의 네트워크 구성도이다.1 is a network configuration diagram of a CCTV complementary color image processing system capable of object selection based on deep learning according to a preferred embodiment of the present invention.

도 1을 참조하여, 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 시스템은, 서로 네트워크를 통해 통신이 가능하도록 연결되는 보색 영상 처리 장치(100), 및 IP 카메라(200)로 이루어진다.Referring to FIG. 1, a CCTV complementary image processing system capable of object selection based on deep learning according to a preferred embodiment of the present invention includes a complementary color image processing device 100 connected to each other to enable communication through a network, and an IP camera. (200).

보색 영상 처리 장치(100)는 IP 카메라(200)로부터 영상을 입력받으며, 이 입력받은 영상을 기설정된 딥러닝(Deep Learning) 모델을 이용하여 후보객체를 결정하고, 이 후보객체를 검증하며, 검증이 성공하는 경우에 최종 객체를 선정하며, 최종 객체에 대해서는 해당 객체를 보색으로 처리함으로써, 객체의 식별이 용이하도록 처리한다.The complementary color image processing device 100 receives an image from the IP camera 200, determines a candidate object using the received image using a preset deep learning model, and verifies and verifies the candidate object. If this succeeds, the final object is selected, and the corresponding object is treated as a complementary color for the final object, so that the object can be easily identified.

상술한 바와 같이, 보색 영상 처리 장치(100)는 딥러닝 모델을 이용하여 후보객체를 결정하는데, 본 실시예에서는 MOG2 모델과 YOLACT 모델을 활용하도록 하며, MOG2 모델에 의해 제1 후보객체를 결정하고, YOLACT 모델에 의해 제1 후보객체를 결정하도록 한다.As described above, the complementary color image processing device 100 determines candidate objects using a deep learning model. In this embodiment, the MOG2 model and the YOLACT model are used, and the first candidate object is determined by the MOG2 model. , the first candidate object is determined by the YOLACT model.

MOG2 모델은, 현재 프레임과 객체를 추출하기 위한 배경 모델(background model)의 차영상(substraction)을 구하여 임계화(Thresholding)함으로써 전경 마스크(Foreground mask)를 구하는 방식이다.The MOG2 model is a method of obtaining a foreground mask by thresholding a subtraction image of a background model for extracting a current frame and an object.

YOLACT 모델은, 이미지를 픽셀 단위의 다양한 세그먼트로 분할하여 이미지의 모든 픽셀에 라벨을 할당하여야 하는 이미지 세그멘테이션(Image segmentation)의 문제를 실시간으로 해결하기 위하여 개발된 것으로, Localization 과정을 생략할 수 있다.The YOLACT model was developed to solve the problem of image segmentation in real time, in which a label must be assigned to every pixel of an image by dividing an image into various segments in pixel units, and the localization process can be omitted.

즉, 보색 영상 처리 장치(100)는 MOG2 모델에 의해 결정된 제1 후보객체, 및 YOLACT 모델에 의해 결정된 제2 후보객체를 통합하여 최종 객체를 결정한다. 보색 영상 처리 장치(100)에 대하여는 후술하는 도 2 내지 도 5에서 보다 상세히 설명하도록 한다.That is, the complementary color image processing device 100 determines a final object by integrating the first candidate object determined by the MOG2 model and the second candidate object determined by the YOLACT model. The complementary color image processing device 100 will be described in detail with reference to FIGS. 2 to 5 to be described later.

IP 카메라(200)는 유선 혹은 무선으로 인터넷에 연결되어 PC, 모바일 기기 등의 전자기기로 영상을 송출할 수 있는 기능을 갖는 카메라이다. 본 실시예에 따른 IP 카메라(200)는 기설정된 촬영구역에 대한 영상을 촬영한 후, 소정의 네트워크를 통해 보색 영상 처리 장치(100)로 전송한다.The IP camera 200 is a camera having a function of transmitting an image to an electronic device such as a PC or mobile device by being connected to the Internet by wire or wirelessly. The IP camera 200 according to the present embodiment captures an image of a preset shooting area and transmits the image to the complementary color image processing device 100 through a predetermined network.

IP 카메라(200)는 CCTV 시스템에 적용되며, IP 카메라(200)에 적용되는 카메라 종류는 어느 형태이든 무관하다. 예를 들면, 돔(Dome)형, 박스(Box)형, 뷸렛(Bullet)형, 및 PTZ(Pan Tilt Zoom)형 등이 적용될 수 있으며, 일반적으로 도로 상에는 팬, 틸트, 및 줌의 조절이 가능한 PTZ 카메라가 주로 설치된다.The IP camera 200 is applied to a CCTV system, and the type of camera applied to the IP camera 200 is irrelevant. For example, a dome type, a box type, a bullet type, and a PTZ (Pan Tilt Zoom) type may be applied, and in general, pan, tilt, and zoom controllable on the road PTZ cameras are mainly installed.

도 2는 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치 장치의 기능을 보인 블록도이다.2 is a block diagram showing the functions of a CCTV complementary color image processing device capable of object selection based on deep learning according to a preferred embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치(이하, '보색 영상 처리 장치'라 한다)(100)는 네트워크 인터페이스부(110), 제1 후보객체 결정부(120), 제2 후보객체 결정부(130), 최종객체 결정부(140), 보색 처리부(150), 저장부(160), 및 제어부(170)를 포함한다.Referring to FIG. 2 , a CCTV complementary color image processing device capable of object selection based on deep learning according to the present invention (hereinafter, referred to as a 'complementary color image processing device') 100 includes a network interface unit 110, a first candidate object It includes a determination unit 120, a second candidate object determination unit 130, a final object determination unit 140, a complementary color processing unit 150, a storage unit 160, and a control unit 170.

네트워크 인터페이스부(110)는 IP 카메라(200)와의 통신을 통해 IP 카메라(200)에 의해 촬영된 영상을 입력받는다. 또한, 네트워크 인터페이스부(110)는 후술하는 제어부(170)에 의해 생성되는 제어신호 혹은 관리자에 의한 제어신호를 IP 카메라(200)로 전송할 수 있다.The network interface unit 110 receives an image captured by the IP camera 200 through communication with the IP camera 200 . In addition, the network interface unit 110 may transmit a control signal generated by the controller 170 or a control signal by a manager to the IP camera 200 .

제1 후보객체 결정부(120)는 네트워크 인터페이스부(110)를 통해 IP 카메라(200)로부터 입력받은 영상으로부터 배경과 객체를 분리하고, 분리된 객체를 이용하여 움직임이 있는 객체를 선별한다. 제1 후보객체 결정부(120)에 관하여는 후술하는 도 3에서 보다 상세히 살펴본다.The first candidate object determination unit 120 separates a background and an object from an image received from the IP camera 200 through the network interface unit 110 and selects an object with motion using the separated object. The first candidate object determination unit 120 will be described in more detail in FIG. 3 to be described later.

제2 후보객체 결정부(130)는 네트워크 인터페이스부(110)를 통해 IP 카메라(200)로부터 입력받은 영상으로부터 객체를 선별하여 제2 후보객체를 결정한다. 제2 후보객체 결정부(130)에 관하여는 후술하는 도 4에서 보다 상세히 살펴본다.The second candidate object determination unit 130 determines the second candidate object by selecting an object from the image received from the IP camera 200 through the network interface unit 110 . The second candidate object determining unit 130 will be described in more detail in FIG. 4 to be described later.

최종객체 결정부(140)는 제1 후보객체 결정부(120)에 의해 결정된 제1 후보객체, 및 제2 후보객체 결정부(130)에 의해 결정된 제2 후보객체를 이용하여 최종 객체를 결정한다. 최종객체 결정부(140)에 관하여는 후술하는 도 5에서 보다 상세히 살펴본다.The final object determination unit 140 determines a final object by using the first candidate object determined by the first candidate object determination unit 120 and the second candidate object determined by the second candidate object determination unit 130. . The final object determining unit 140 will be described in more detail in FIG. 5 to be described later.

보색 처리부(150)는 최종객체 결정부(140)에 의해 결정된 최종 객체를 영상에 따라 결정되는 보색으로 오버랩(Overlap)하여 출력한다. 보색 처리부(150)의 동작에 의해, 영상 내에서 객체만 배경색과 대비되는 보색으로 처리되어 출력됨으로써, 관리자 혹은 사용자는 영상만을 통해 객체의 식별이 매우 용이해질 수 있다.The complementary color processing unit 150 overlaps the final object determined by the final object determining unit 140 with a complementary color determined according to the image and outputs the overlapped color. By the operation of the complementary color processing unit 150, only the object in the image is processed and output as a complementary color that contrasts with the background color, so that a manager or user can very easily identify the object through only the image.

이때, 보색 처리부(150)는 영상의 배경이 갖는 색상값의 평균을 산출한 후, 이 색상값의 평균에 의해 보색을 결정할 수 있다. 영상의 배경이 한 가지 색상으로 구성되었거나, 유사한 색상으로만 구성된 경우에는 문제가 되지 않지만, 영상의 배경이 다양한 색상으로 구성된 경우에는 보색을 결정하는 것이 어려울 수 있다. 이러한 경우, 보색 처리부(150)에서는 영상의 배경이 갖는 색상값들의 평균을 이용하여 보색을 결정하도록 한다. 보색 처리부(150)의 동작에 대하여는 후술하는 도 7 및 도 8에서 보다 상세히 살펴본다.In this case, the complementary color processing unit 150 may calculate an average of color values of the background of the image and then determine a complementary color based on the average of the color values. It does not matter if the background of the video is composed of one color or only similar colors, but it may be difficult to determine the complementary color if the background of the video is composed of various colors. In this case, the complementary color processing unit 150 determines the complementary color using the average of the color values of the background of the image. The operation of the complementary color processing unit 150 will be described in more detail in FIGS. 7 and 8 to be described later.

저장부(160)는 보색 영상 처리 장치(100)의 동작에 필요한 모든 정보를 저장한다. 일 예로, 저장부(160)에는 네트워크 인터페이스부(110)를 통해 입력된 영상이 일시적으로 저장될 수 있고, MOG2 모델 및 YOLACT 모델의 동작에 필요한 각종 정보들이 저장될 수 있다.The storage unit 160 stores all information necessary for the operation of the complementary color image processing device 100 . For example, the storage unit 160 may temporarily store an image input through the network interface unit 110, and may store various types of information necessary for the operation of the MOG2 model and the YOLACT model.

제어부(170)는 보색 영상 처리 장치(100)의 전반적인 동작을 제어한다. 즉, 제어부(170)는 네트워크 인터페이스부(110), 제1 후보객체 결정부(120), 제2 후보객체 결정부(130), 최종객체 결정부(140), 보색 처리부(150), 및 저장부(160)들 간의 신호 입출력을 제어한다.The controller 170 controls overall operations of the complementary color image processing device 100 . That is, the control unit 170 includes the network interface unit 110, the first candidate object determination unit 120, the second candidate object determination unit 130, the final object determination unit 140, the complementary color processing unit 150, and the storage Signal input and output between units 160 are controlled.

도 3은 도 2에 도시한 제1 후보객체 결정부의 상세 블록도이다.FIG. 3 is a detailed block diagram of the first candidate object determining unit shown in FIG. 2 .

도 3을 참조하면, 제1 후보객체 결정부(120)는 객체 분리부(122), 움직임 감지부(124), 및 움직임 객체 결정부(126)를 포함한다. 제1 후보객체 결정부(120)는 MOG2 모델에 기반하여 객체를 추출하는 것으로, 제1 후보객체를 결정한다.Referring to FIG. 3 , the first candidate object determination unit 120 includes an object separation unit 122, a motion detection unit 124, and a motion object determination unit 126. The first candidate object determination unit 120 determines the first candidate object by extracting an object based on the MOG2 model.

객체 분리부(122)는 영상으로부터 배경과 객체를 각각 분리하는 동작에 의해 객체를 분리하는 것으로, 움직임이 있는 객체의 선별이 가능하다. 객체 분리부(122)는 MOG2 모델에 기반하여 객체를 분리하는 것이므로, 이러한 객체 분리 방법은 이미 공지된 기술에 해당하므로 구체적인 설명은 생략한다.The object separation unit 122 separates objects by an operation of separating a background and an object from an image, and it is possible to select objects with motion. Since the object separation unit 122 separates objects based on the MOG2 model, since this object separation method corresponds to a known technology, a detailed description thereof will be omitted.

움직임 감지부(124)는 객체 분리부(122)에 의해 분리된 객체의 움직임을 감지한다. The motion detection unit 124 detects the motion of the object separated by the object separation unit 122 .

움직임 객체 결정부(126)는 움직임 감지부(124)에 의해 움직임이 감지된 객체를 제1 후보객체로 결정한다.The motion object determination unit 126 determines an object whose motion is detected by the motion detection unit 124 as a first candidate object.

도 4는 도 2에 도시한 제2 후보객체 결정부의 상세 블록도이다.FIG. 4 is a detailed block diagram of the second candidate object determining unit shown in FIG. 2 .

도 4를 참조하면, 제2 후보객체 결정부(130)는 객체 추출부(132), 및 객체 분류부(134)를 포함한다.Referring to FIG. 4 , the second candidate object determination unit 130 includes an object extraction unit 132 and an object classification unit 134 .

객체 추출부(132)는 영상으로부터 객체를 추출하는데, 이때 객체의 엣지 모양에 따른 추출이 가능하다. 객체 추출부(132)는 YOLACT 모델에 기반하여 객체를 추출하는 것으로, 이러한 객체 추출 방법은 이미 공지된 기술에 해당하므로 구체적인 설명은 생략한다.The object extraction unit 132 extracts an object from an image, and at this time, extraction according to the edge shape of the object is possible. The object extraction unit 132 extracts an object based on the YOLACT model, and since this object extraction method corresponds to a known technology, a detailed description thereof will be omitted.

객체 분류부(134)는 객체 추출부(132)에 의해 추출된 객체를 종류에 따라 분류한다. 객체의 종류는 매우 다양할 수 있으나, 본 실시예에서는 사람과 차량을 분류할 수 있다. 이는, 일반적으로 CCTV 시스템을 통해 감독하는 장소에서 위험 요소는 사람과 차량이 대다수이기 때문이다.The object classification unit 134 classifies the objects extracted by the object extraction unit 132 according to types. Types of objects may be very diverse, but in this embodiment, people and vehicles may be classified. This is because the majority of risk factors in a place supervised through a CCTV system are people and vehicles.

도 5는 도 2에 도시한 최종객체 결정부의 상세 블록도이다.5 is a detailed block diagram of the final object determination unit shown in FIG. 2;

도 5를 참조하면, 최종객체 결정부(140)는 오차범위 산출부(142), 제1 검증부(144), 제2 검증부(146), 및 결정부(148)를 포함한다.Referring to FIG. 5 , the final object determination unit 140 includes an error range calculation unit 142 , a first verification unit 144 , a second verification unit 146 , and a determination unit 148 .

오차범위 산출부(142)는 제1 후보객체 결정부(120) 및 제2 후보객체 결정부(130)에 의해 결정된 각각의 제1 후보객체 및 제2 후보객체의 누적 오차범위를 수학식 1에 의해 산출한다.The error range calculating unit 142 calculates the cumulative error range of each of the first candidate object and the second candidate object determined by the first candidate object determining unit 120 and the second candidate object determining unit 130 according to Equation 1. calculated by

수학식 1에서, 는 누적 오차범위, N은 제1 후보객체의 현재 픽셀값, M은 제2 후보객체의 현재 픽셀값, 은 과거에 결합된 제1 후보객체의 픽셀값, 는 과거에 결합된 제2 후보객체의 픽셀값, 은 제1 후보객체 및 제2 후보객체의 현재 위치값, 은 제1 후보객체 및 제2 후보객체의 이동값이다.In Equation 1, is the accumulated error range, N is the current pixel value of the first candidate object, M is the current pixel value of the second candidate object, is the pixel value of the first candidate object combined in the past, is the pixel value of the second candidate object combined in the past, is the current position value of the first candidate object and the second candidate object, is the movement value of the first candidate object and the second candidate object.

MAE는 평균 절대 오차(Mean Absolute Error)를 의미하는 것이다. 수학식 1에서 산출되는 및 는 다음 차례의 오차범위 산출부(142)의 동작 단계에서 및 로 적용된다.MAE stands for Mean Absolute Error. calculated from Equation 1 and In the operation step of the next error range calculation unit 142 and is applied as

제1 검증부(144)는 오차범위 산출부(142)에 의해 산출되는 누적 오차범위와 최소 범위값을 비교하여 그 비교 결과에 따라 제1 후보객체 및 제2 후보객체에 대한 1차 검증을 수행한다. 이때, 최소 범위값은 수학식 2에 의해 산출되는 값이다.The first verification unit 144 compares the accumulated error range calculated by the error range calculation unit 142 with the minimum range value, and performs primary verification on the first candidate object and the second candidate object according to the comparison result. do. At this time, the minimum range value is a value calculated by Equation 2.

수학식 2에서, 은 최소 범위값이고, N은 제1 후보객체의 현재 픽셀값, M은 제2 후보객체의 현재 픽셀값이다. 또한, 수학식 2에서 N+M은 제1 후보객체 및 제2 후보객체의 크기가 일치하는 최대 범위가 되고, 이 최대 범위의 역을 구하면 최소 범위가 된다.In Equation 2, is the minimum range value, N is the current pixel value of the first candidate object, and M is the current pixel value of the second candidate object. Also, in Equation 2, N+M is the maximum range in which the sizes of the first candidate object and the second candidate object match, and the inverse of this maximum range becomes the minimum range.

제2 검증부(146)는 제1 후보객체와 제2 후보객체의 위치값을 기설정된 기준값과 비교하여 2차 검증을 수행한다. 즉, 본 보색 영상 처리 장치(100)에서는 각 모델에 의해 각각 결정된 제1 후보객체와 제2 후보객체에 대하여 1차 및 2차에 해당하는 두 차례의 검증을 거쳐 최종 객체를 결정한다. 그러므로, 제2 검증부(146)의 동작은 제1 검증부(144)의 동작에 의한 1차 검증이 성공한 경우에만 수행되는 것이 바람직하다.The second verification unit 146 compares the position values of the first candidate object and the second candidate object with a preset reference value to perform secondary verification. That is, in the present complementary color image processing apparatus 100, the final object is determined through two rounds of first and second verification for the first candidate object and the second candidate object determined by each model. Therefore, the operation of the second verification unit 146 is preferably performed only when the primary verification by the operation of the first verification unit 144 succeeds.

결정부(148)는 제1 검증부(144) 및 제2 검증부(146)의 검증이 모두 성공한 경우, 제1 후보객체 및 제2 후보객체를 결합하여 최종 객체를 결정한다. 결정부(148)에 의해 결정되는 최종 객체는 MOG2 모델 및 YOLACT 알고리즘이 갖는 각각의 단점을 보완하여, 세그멘테이션 기법으로 객체를 추출하되, 움직임이 있는 객체에 대해서만 객체로 인정한 것이므로, 본 보색 영상 처리 장치(100) 객체 선별에 대한 매우 높은 인식률을 나타내는 효과를 갖는다.The determination unit 148 determines a final object by combining the first candidate object and the second candidate object when the first verification unit 144 and the second verification unit 146 succeed. The final object determined by the decision unit 148 compensates for the disadvantages of the MOG2 model and the YOLACT algorithm, and extracts objects using the segmentation technique, but recognizes only moving objects as objects. Therefore, this complementary color image processing device (100) It has the effect of showing a very high recognition rate for object selection.

도 6은 제1 후보객체 및 제2 후보객체를 이용하여 최종객체를 결정하는 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a method of determining a final object using a first candidate object and a second candidate object.

본 실시예에서는 동일한 영상을 입력받은 제1 후보객체 결정부(120) 및 제2 후보객체 결정부(130)에서 각각 제1 후보객체 및 제2 후보객체를 결정하는 상태를 예시하였다. A는 제1 후보객체 결정부(120)에서 MOG2 모델에 의해 객체를 추출한 상태를 예시한 것이고, B는 제1 후보객체 결정부(120)에서 YOLACT 모델에 의해 객체를 추출한 상태를 예시한 것이다.In this embodiment, a state in which the first candidate object determination unit 120 and the second candidate object determination unit 130 that receive the same image are respectively determined as the first candidate object and the second candidate object is exemplified. A is an example of a state in which the first candidate object determiner 120 extracts an object by the MOG2 model, and B is an example of a state in which the first candidate object determiner 120 extracts an object by the YOLACT model.

동일한 영상을 입력받았음에도 불구하고, 제1 후보객체 결정부(120) 및 제2 후보객체 결정부(130)에서 각각 사용하는 딥러닝 모델에 따라 영상에 차이가 있음을 확인할 수 있다.Even though the same image is received, it can be confirmed that there is a difference in the image according to the deep learning model used in the first candidate object determining unit 120 and the second candidate object determining unit 130 respectively.

제1 후보객체 결정부(120) 및 제2 후보객체 결정부(130)의 결과인 A 및 B의 두 영상을 이용하여, 최종객체 결정부(140)에서 최종 객체를 결정한다. 수학식 1 및 수학식 2에 의해 제1 검증부(144)에 의한 1차 검증이 성공한 경우, 제2 검증부(146)에서는 2차 검증을 수행한다.The final object determination unit 140 determines the final object using the two images A and B, which are results of the first candidate object determination unit 120 and the second candidate object determination unit 130 . According to Equations 1 and 2, when the first verification by the first verification unit 144 succeeds, the second verification unit 146 performs the second verification.

제2 검증부(146)의 2차 검증에서 반복 검증을 진행해 본 결과를 이용하여 기준값을 설정하였다. C는 기준값을 82%로 설정하였을 때의 결과이고, D는 기준값을 92%로 설정하였을 때의 결과이며, E는 기준값을 97%로 설정하였을 때의 결과를 보인다.In the second verification of the second verification unit 146, the reference value was set using the result of repeated verification. C is the result when the reference value is set to 82%, D is the result when the reference value is set to 92%, and E is the result when the reference value is set to 97%.

도시한 바와 같이, C와 D는 두 후보객체가 서로 일치하지 않는 상태로 나타남을 알 수 있다. 반면, E는 두 후보객체가 서로 일치하는 상태로 나타남을 알 수 있다. 이에 의해, 본 실시예에서는 제2 검증부(146)에 적용되는 기준값으로 97% 이상을 설정하도록 한다.As shown, it can be seen that C and D appear in a state where the two candidate objects do not match each other. On the other hand, in E, it can be seen that the two candidate objects appear in a state that matches each other. Accordingly, in this embodiment, 97% or more is set as the reference value applied to the second verification unit 146.

즉, 제2 검증부(146)는 제1 후보객체 및 제2 후보객체의 중첩값을 기준값인 0.97과 비교하여 두 후보객체의 중첩값이 0.97 이상인 경우에만 2차 검증이 성공한 것으로 판단한다.That is, the second verification unit 146 compares the overlap values of the first candidate object and the second candidate object with the reference value of 0.97, and determines that the second verification is successful only when the overlap value of the two candidate objects is 0.97 or more.

도 7은 본 발명에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치에 의해 획득되는 보색 영상의 결과물의 예시를 보인 도면이다.7 is a diagram showing an example of a result of a complementary color image obtained by a CCTV complementary color image processing apparatus capable of object selection based on deep learning according to the present invention.

본 실시예에서는, 최종객체 결정부(140)에 의해 최종 객체가 결정된 상태의 영상을 예시한 것이다. 다만, (a)는 배경에 푸른색이 많이 존재하는 상태의 영상을 예시한 것이고, (b)는 배경에 회색이 많이 존재하는 상태의 영상을 예시한 것이다.In this embodiment, an image of a state in which the final object is determined by the final object determining unit 140 is illustrated. However, (a) is an example of an image in a state in which a lot of blue is present in the background, and (b) is an example of an image in a state in which a lot of gray is present in the background.

도시한 바와 같이, 동일한 배경 및 동일한 객체를 갖는 영상이지만, 각 영상이 갖는 배경색에 따라 영상에 포함되어 있는 객체가 다른 색상으로 표현되어 있음을 알 수 있다.As shown, although the images have the same background and the same objects, it can be seen that the objects included in the images are expressed in different colors according to the background color of each image.

즉, (a)는 배경에 푸른색이 많으므로 보색 처리부(150)에서 객체에 빨간색을 오버랩하여 출력하도록 하였으며, (b)는 배경에 회색이 많으므로 보색 처리부(150)에서 객체에 노란색을 오버랩하여 출력하도록 하였다.That is, in (a), since there is a lot of blue in the background, the complementary color processing unit 150 overlaps and outputs red on the object, and in (b), since there is a lot of gray in the background, the complementary color processing unit 150 overlaps yellow on the object. so that it could be printed out.

이에 따라, 객체를 포함하고 있는 영상에서, 객체에 대한 정보가 추출되었음은 물론, 해당 객체가 배경과 보색에 의해 오버랩 처리되어 객체가 매우 뚜렷하게 육안으로 식별이 가능하다.Accordingly, information about the object is extracted from the image including the object, and the object is overlapped with the background by complementary colors, so that the object can be clearly identified with the naked eye.

도 8은 본 발명에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치에 의해 획득되는 보색 영상의 결과물의 다른 예시를 보인 도면이다.8 is a diagram showing another example of a result of a complementary color image obtained by a CCTV complementary color image processing apparatus capable of object selection based on deep learning according to the present invention.

이전 실시예에서는 한 영상에 하나의 객체만이 포함된 상태를 예로 들어 설명하였으나, 본 보색 영상 처리 장치(100)가 적용될 환경에서는 한 화면상에서도 여러 객체가 포함될 수 있다. 이에 따라, 본 실시예에서는 실제 환경에서의 영상에 보색 처리가 된 영상을 예시하였다.In the previous embodiment, a state in which only one object was included in one image was described as an example, but in an environment to which the complementary color image processing apparatus 100 is applied, several objects may be included in one screen. Accordingly, in this embodiment, an image in which a complementary color process is applied to an image in a real environment is exemplified.

예시한 바와 같이, 공사현장과 같은 환경에 본 보색 영상 처리 장치(100)가 적용될 수 있다. 이러한 환경에서는 다양한 위험 요소가 존재하기 때문에, 객체 예를 들면 사람에 대한 관리 감독이 매우 중요하다. As an example, the present complementary color image processing device 100 may be applied to an environment such as a construction site. Since various risk factors exist in this environment, management and supervision of objects, eg, people, is very important.

다양한 이유로, 영상 속에 사람이 포함되어 있을 경우에 육안으로는 쉽게 식별하기 어려운 상황들이 발생할 수 있다. 예를 들면, 사람이 영상의 배경과 유사한 색상의 옷을 착용하고 있거나, 사람이 구조물 등에 의해 일부가 가려져 잘 보이지 않는 경우 등이 발생할 수 있다.For various reasons, when a person is included in an image, situations that are difficult to easily identify with the naked eye may occur. For example, a case in which a person is wearing clothes of a color similar to the background of the image or a case in which a person is partially covered by a structure or the like may be difficult to see.

이에 의해, 관리자가 CCTV 영상을 모니터링하고 있더라도 사람의 식별이 용이하지 않으면, 위험 요소에 대한 통제가 어려우므로, 본 보색 영상 처리 장치(100)에서는 사람과 같은 객체를 배경과 대비되는 보색으로 처리하여 보여줌으로써, 객체가 육안으로 뚜렷하게 식별이 가능하도록 한다.Accordingly, even if the manager monitors the CCTV image, if it is not easy to identify a person, it is difficult to control the risk factor. Therefore, in the present complementary color image processing device 100, an object such as a person is processed as a complementary color contrasting with the background. By showing, the object can be clearly identified with the naked eye.

예시한 공사 현장의 영상에서는 여러 지점에 사람들이 존재하고, 작업에 따라 그 위치 및 형태도 매우 다양하다. 그럼에도 불구하고, 사람이 빨간색으로 오버랩되어 있으므로, 육안으로 매우 뚜렷하게 식별이 가능하다.In the illustrated video of the construction site, people exist at various points, and their location and form vary greatly depending on the work. Nevertheless, since the person is overlapped in red, it is very clearly identifiable with the naked eye.

도 9는 본 발명의 바람직한 실시예에 따른 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 방법을 설명하기 위한 흐름도이다.9 is a flowchart for explaining a CCTV complementary color image processing method capable of object selection based on deep learning according to a preferred embodiment of the present invention.

IP 카메라(200)는 설치된 장소에서 영상을 촬영하고, 촬영된 영상을 보색 영상 처리 장치(100)로 전송한다. 이에 의해, 보색 영상 처리 장치(100)에 영상이 입력된다(S310). 네트워크 인터페이스부(110)를 통해 입력받은 영상은 제1 후보객체 결정부(120) 및 제2 후보객체 결정부(130)로 제공된다.The IP camera 200 captures an image at the place where it is installed, and transmits the captured image to the complementary color image processing device 100 . Accordingly, an image is input to the complementary color image processing device 100 (S310). The image received through the network interface unit 110 is provided to the first candidate object determination unit 120 and the second candidate object determination unit 130 .

제1 후보객체 결정부(120)에서는 영상으로부터 배경과 객체를 분리하고, 분리된 객체를 이용하여 움직임이 있는 객체를 선별하는 동작에 의해 제1 후보객체를 결정한다(S320).The first candidate object determining unit 120 separates the background and the object from the image, and determines the first candidate object by an operation of selecting an object with motion using the separated object (S320).

제2 후보객체 결정부(130)에서는 객체를 엣지 모양에 따라 추출하고, 추출된 객체의 종류에 따라 분류하는 동작에 의해 제2 후보객체를 결정한다(S330).The second candidate object determination unit 130 determines the second candidate object by extracting objects according to the shape of the edge and classifying the extracted object according to the type (S330).

제1 후보객체 결정부(120)에 의해 제1 후보객체가 결정되고, 제2 후보객체 결정부(130)에 의해 제2 후보객체가 결정되면, 최종객체 결정부(140)에서 두 후보객체를 이용하여 최종 객체를 결정한다(S340). 최종객체 결정부(140)에서 최종 객체를 결정하는 동작은 도 5에서 설명한 바와 동일하며, 두 후보객체의 일치성을 검증하는 절차를 거쳤음에 따라, 객체 선별에 매우 정확성을 갖는 장점이 있다.When the first candidate object is determined by the first candidate object determination unit 120 and the second candidate object is determined by the second candidate object determination unit 130, the final object determination unit 140 determines the two candidate objects. The final object is determined by using (S340). The operation of determining the final object in the final object determination unit 140 is the same as that described in FIG. 5, and has the advantage of being very accurate in object selection as the procedure for verifying the correspondence of the two candidate objects has been performed.

최종객체 결정부(140)에 의해 최종 객체가 선별되면, 보색 처리부(150)에서는 영상의 배경색을 판단하고, 배경색에 의해 객체에 처리할 보색을 결정하며, 최종 객체에 결정된 보색을 오버랩하여 영상을 출력한다(S350). 보색 처리부(150)의 동작에 의해, 도 7 및 도 8에서 예시한 객체가 보색으로 처리된 영상을 제공받을 수 있다.When the final object is selected by the final object determination unit 140, the complementary color processing unit 150 determines the background color of the image, determines the complementary color to be processed for the object based on the background color, and overlaps the determined complementary color to the final object to display the image. output (S350). By the operation of the complementary color processing unit 150, the objects exemplified in FIGS. 7 and 8 may be provided with complementary color-processed images.

이러한 과정에 의해, 본 발명의 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 방법에 따르면, 두 딥러닝 모델에 의해 각각 검출되는 객체를 1차 및 2차 검증을 통해 검증함으로써, 매우 정확한 객체 검출이 가능하다. 또한, 두 차례의 검증을 통해 최종 결정되는 최종 객체를 영상의 배경색에 대한 보색으로 처리하여 출력함으로써, 객체를 육안으로 식별하는 것이 매우 용이하다.By this process, according to the CCTV complementary color image processing method capable of selecting objects based on deep learning of the present invention, by verifying objects detected by the two deep learning models through primary and secondary verification, very accurate object detection this is possible In addition, it is very easy to visually identify the object by processing and outputting the final object finally determined through two rounds of verification as a complementary color to the background color of the image.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

100 : 보색 영상 처리 장치 110 : 네트워크 인터페이스부
120 : 제1 후보객체 결정부 130 : 제2 후보객체 결정부
140 : 최종객체 결정부 150 : 보색 처리부
160 : 저장부 170 : 제어부100: complementary color image processing device 110: network interface unit
120: first candidate object determining unit 130: second candidate object determining unit
140: Final object determination unit 150: Complementary color processing unit
160: storage unit 170: control unit

Claims (10)

영상을 입력받는 네트워크 인터페이스부;
상기 입력받은 영상으로부터 MOG2 모델을 이용하여 배경과 객체를 분리하고, 상기 분리된 객체를 이용하여 움직임이 있는 객체를 선별하여 제1 후보객체를 결정하는 제1 후보객체 결정부;
상기 입력받은 영상으로부터 YOLACT 모델을 이용하여 객체를 선별하고, 제2 후보객체를 결정하는 제2 후보객체 결정부;
상기 결정된 제1 후보객체와 제2 후보객체를 이용하여 최종 객체를 결정하는 최종객체 결정부; 및
상기 결정된 최종 객체를 상기 영상의 배경색을 기준으로 선정된 보색으로 오버랩하여 출력하는 보색 처리부;를 포함하고,
상기 최종객체 결정부는,
상기 제1 후보객체와 상기 제2 후보객체의 누적 오차범위를 산출하는 오차범위 산출부;
상기 산출된 누적 오차범위를 이용하여 상기 제1 후보객체 및 상기 제2 후보객체를 검증하는 제1 검증부;
상기 제1 후보객체와 상기 제2 후보객체의 위치값을 기설정된 기준값과 비교하여 검증하는 제2 검증부;
상기 제1 검증부 및 상기 제2 검증부의 검증이 모두 성공한 경우, 상기 제1 후보객체와 상기 제2 후보객체를 결합하여 상기 최종 객체를 결정하는 결정부;를 포함하며,
상기 오차범위 산출부는, 하기의 수식에 의해 상기 누적 오차범위를 산출하는 것을 특징으로 하는 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치:

여기서, 는 상기 누적 오차범위, N은 상기 제1 후보객체의 현재 픽셀값, M은 상기 제2 후보객체의 현재 픽셀값, 은 과거에 결합된 제1 후보객체의 픽셀값, 는 과거에 결합된 제2 후보객체의 픽셀값, 은 제1 후보객체 및 제2 후보객체의 현재 위치값, 은 제1 후보객체 및 제2 후보객체의 이동값이다.
a network interface unit that receives an image;
a first candidate object determining unit which separates a background and an object from the input image using the MOG2 model and selects a moving object using the separated object to determine a first candidate object;
a second candidate object determining unit which selects an object from the input image using the YOLACT model and determines a second candidate object;
a final object determining unit determining a final object using the determined first and second candidate objects; and
Complementary color processing unit for overlapping and outputting the determined final object with a complementary color selected based on the background color of the image;
The final object determination unit,
an error range calculator configured to calculate a cumulative error range between the first candidate object and the second candidate object;
a first verification unit verifying the first candidate object and the second candidate object using the calculated cumulative error range;
a second verifying unit that compares the position values of the first candidate object and the second candidate object with a preset reference value to verify;
and a determination unit configured to determine the final object by combining the first candidate object and the second candidate object when the first verification unit and the second verification unit succeed,
The error range calculation unit calculates the cumulative error range by the following formula, CCTV complementary color image processing device capable of selecting objects based on deep learning, characterized in that:

here, is the accumulated error range, N is the current pixel value of the first candidate object, M is the current pixel value of the second candidate object, is the pixel value of the first candidate object combined in the past, is the pixel value of the second candidate object combined in the past, is the current position value of the first candidate object and the second candidate object, is the movement value of the first candidate object and the second candidate object.
 제 1 항에 있어서,
상기 제1 후보객체 결정부는,
상기 영상으로부터 배경과 객체를 각각 분리하는 객체 분리부;
상기 분리된 객체의 움직임을 감지하는 움직임 감지부; 및
상기 움직임이 감지된 객체를 상기 제1 후보객체로 결정하는 움직임 객체 결정부;를 포함하는 것을 특징으로 하는 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치.
According to claim 1,
The first candidate object determining unit,
an object separation unit separating a background and an object from the image;
a motion detector detecting a motion of the separated object; and
A CCTV complementary color image processing device capable of screening an object based on deep learning, characterized in that it comprises a;
 제 1 항에 있어서,
상기 제2 후보객체 결정부는,
상기 객체를 엣지 모양에 따라 추출하는 객체 추출부; 및
상기 추출된 객체를 종류에 따라 분류하는 객체 분류부;를 포함하는 것을 특징으로 하는 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치.
According to claim 1,
The second candidate object determining unit,
an object extractor extracting the object according to an edge shape; and
A CCTV complementary color image processing device capable of classifying objects based on deep learning, comprising: an object classification unit for classifying the extracted objects according to types.
 삭제delete 삭제delete 제 1 항에 있어서,
상기 제1 검증부는, 하기의 수식에 의해 최소 범위값을 산출하고, 상기 산출된 최소 범위값이 상기 누적 오차범위 이상이면, 상기 검증이 성공한 것으로 판단하는 것을 특징으로 하는 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치:

여기서, 은 상기 최소 범위값이고, N은 상기 제1 후보객체의 현재 픽셀값, M은 상기 제2 후보객체의 현재 픽셀값이다.
According to claim 1,
The first verification unit calculates a minimum range value by the following formula, and determines that the verification is successful when the calculated minimum range value is greater than or equal to the cumulative error range. Possible CCTV complementary color image processing devices:

here, is the minimum range value, N is the current pixel value of the first candidate object, and M is the current pixel value of the second candidate object.
 제 1 항에 있어서,
상기 보색 처리부는, 상기 영상의 배경이 갖는 색상값의 평균을 산출한 후, 상기 색상값의 평균에 의해 상기 보색을 결정하는 것을 특징으로 하는 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 장치.
According to claim 1,
The complementary color processing unit calculates an average of color values of the background of the image and then determines the complementary color by the average of the color values.
 영상을 입력받는 단계;
상기 입력받은 영상으로부터 MOG2 모델을 이용하여 배경과 객체를 분리하는 단계;
상기 분리된 객체를 이용하여 움직임이 있는 객체를 선별하여 제1 후보객체를 결정하는 단계;
상기 입력받은 영상으로부터 YOLACT 모델을 이용하여 객체를 선별하고, 제2 후보객체를 결정하는 단계;
상기 결정된 제1 후보객체와 제2 후보객체를 이용하여 최종 객체를 결정하는 단계; 및
상기 결정된 최종 객체를 상기 영상의 배경색을 기준으로 선정된 보색으로 오버랩하여 출력하는 단계;를 포함하고,
상기 최종 객체 결정하는 단계는,
상기 제1 후보객체와 상기 제2 후보객체의 누적 오차범위를 산출하는 단계;
상기 산출된 누적 오차범위를 이용하여 상기 제1 후보객체 및 상기 제2 후보객체를 검증하는 단계;
상기 제1 후보객체와 상기 제2 후보객체의 위치값을 기설정된 기준값과 비교하여 검증하는 단계;
상기 검증이 모두 성공한 경우, 상기 제1 후보객체와 상기 제2 후보객체를 결합하여 상기 최종 객체를 결정하는 단계;를 포함하며,
상기 누적 오차범위를 산출하는 단계는, 하기의 수식에 의해 상기 누적 오차범위를 산출하는 것을 특징으로 하는 딥러닝 기반의 객체 선별이 가능한 CCTV 보색 영상 처리 방법:

여기서, 는 상기 누적 오차범위, N은 상기 제1 후보객체의 현재 픽셀값, M은 상기 제2 후보객체의 현재 픽셀값, 은 과거에 결합된 제1 후보객체의 픽셀값, 는 과거에 결합된 제2 후보객체의 픽셀값, 은 제1 후보객체 및 제2 후보객체의 현재 위치값, 은 제1 후보객체 및 제2 후보객체의 이동값이다.Receiving an image;
Separating a background and an object from the input image using the MOG2 model;
determining a first candidate object by selecting a moving object using the separated object;
selecting an object from the input image using the YOLACT model and determining a second candidate object;
determining a final object using the determined first and second candidate objects; and
Overlapping and outputting the determined final object with a complementary color selected based on the background color of the image;
The step of determining the final object,
calculating a cumulative error range between the first candidate object and the second candidate object;
verifying the first candidate object and the second candidate object using the calculated cumulative error range;
verifying by comparing the position values of the first candidate object and the second candidate object with a preset reference value;
When all of the verification is successful, determining the final object by combining the first candidate object and the second candidate object;
In the step of calculating the cumulative error range, the CCTV complementary color image processing method capable of selecting objects based on deep learning, characterized in that for calculating the cumulative error range by the following formula:

here, Is the cumulative error range, N is the current pixel value of the first candidate object, M is the current pixel value of the second candidate object, is the pixel value of the first candidate object combined in the past, is the pixel value of the second candidate object combined in the past, is the current position value of the first candidate object and the second candidate object, is the movement value of the first candidate object and the second candidate object. 삭제delete 삭제delete
KR1020230044636A 2023-04-05 2023-04-05 Device and method for processing cctv image complementary color capable of selecting objects based on deep learning KR102575689B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230044636A KR102575689B1 (en) 2023-04-05 2023-04-05 Device and method for processing cctv image complementary color capable of selecting objects based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230044636A KR102575689B1 (en) 2023-04-05 2023-04-05 Device and method for processing cctv image complementary color capable of selecting objects based on deep learning

Publications (1)

Publication Number Publication Date
KR102575689B1 true KR102575689B1 (en) 2023-09-06

Family

ID=87973831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230044636A KR102575689B1 (en) 2023-04-05 2023-04-05 Device and method for processing cctv image complementary color capable of selecting objects based on deep learning

Country Status (1)

Country Link
KR (1) KR102575689B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150007137A (en) * 2013-07-10 2015-01-20 삼성전자주식회사 Electronic device and method for displaying object
KR102048948B1 (en) * 2019-04-30 2020-01-08 (주)제이엘케이인스펙션 Image analysis apparatus and method
KR102139582B1 (en) 2019-12-05 2020-07-29 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Multiple ROIs and an Object Detection DCNN and Driving Method Thereof
KR20210074569A (en) * 2019-12-12 2021-06-22 포항공과대학교 산학협력단 Apparatus and method for tracking multiple objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150007137A (en) * 2013-07-10 2015-01-20 삼성전자주식회사 Electronic device and method for displaying object
KR102048948B1 (en) * 2019-04-30 2020-01-08 (주)제이엘케이인스펙션 Image analysis apparatus and method
KR102139582B1 (en) 2019-12-05 2020-07-29 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Multiple ROIs and an Object Detection DCNN and Driving Method Thereof
KR20210074569A (en) * 2019-12-12 2021-06-22 포항공과대학교 산학협력단 Apparatus and method for tracking multiple objects

Similar Documents

Publication Publication Date Title
KR101935399B1 (en) Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm
US7778445B2 (en) Method and system for the detection of removed objects in video images
US7916944B2 (en) System and method for feature level foreground segmentation
US20140177946A1 (en) Human detection apparatus and method
KR101546933B1 (en) Apparatus for sensing fire
KR102195706B1 (en) Method and Apparatus for Detecting Intruder
JP6233624B2 (en) Information processing system, information processing method, and program
KR101541272B1 (en) Apparatus and method for detecting terrorism using irregular motion of peoples
KR101693959B1 (en) Fire detection System and Method using Features of Spatio-temporal Video Blocks
Russo et al. Smoke detection method based on LBP and SVM from surveillance camera
EP2000998B1 (en) Flame detecting method and device
KR101695127B1 (en) Group action analysis method by image
KR101656642B1 (en) Group action analysis method by image
KR102113489B1 (en) Action Detection System and Method Using Deep Learning with Camera Input Image
KR102046591B1 (en) Image Monitoring System and Method for Monitoring Image
KR102142315B1 (en) ATM security system based on image analyses and the method thereof
KR101270718B1 (en) Video processing apparatus and method for detecting fire from video
JP7125843B2 (en) Fault detection system
KR102575689B1 (en) Device and method for processing cctv image complementary color capable of selecting objects based on deep learning
KR20100077662A (en) Inteligent video surveillance system and method thereof
KR102081577B1 (en) Intelligence Fire Detecting System Using CCTV
KR102647139B1 (en) Apparatus and method for detecting abnormal behavior through deep learning-based image analysis
KR20210013865A (en) Abnormal behavior detection system and method using generative adversarial network
JP2005284652A (en) Video monitoring method and apparatus using moving vector
KR101539944B1 (en) Object identification method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant