KR102315386B1 - Object detecting system and operating method thereof - Google Patents

Object detecting system and operating method thereof Download PDF

Info

Publication number
KR102315386B1
KR102315386B1 KR1020190174291A KR20190174291A KR102315386B1 KR 102315386 B1 KR102315386 B1 KR 102315386B1 KR 1020190174291 A KR1020190174291 A KR 1020190174291A KR 20190174291 A KR20190174291 A KR 20190174291A KR 102315386 B1 KR102315386 B1 KR 102315386B1
Authority
KR
South Korea
Prior art keywords
points
area
point
image
processor
Prior art date
Application number
KR1020190174291A
Other languages
Korean (ko)
Other versions
KR20210081894A (en
Inventor
구형일
김용균
Original Assignee
아주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교 산학협력단 filed Critical 아주대학교 산학협력단
Priority to KR1020190174291A priority Critical patent/KR102315386B1/en
Publication of KR20210081894A publication Critical patent/KR20210081894A/en
Application granted granted Critical
Publication of KR102315386B1 publication Critical patent/KR102315386B1/en

Links

Images

Classifications

    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따르면, 학습 이미지에 포함된 오브젝트 영역과, 학습 이미지 상의 복수의 포인트들에 기초하여 생성된 포인트 영역 간 비중첩 면적이 최소가 되는 포인트들을 생성하도록 뉴럴 네트워크를 학습하는 단계, 사용자 인터페이스를 통해 입력 이미지를 수신하는 단계 및 뉴럴 네트워크를 이용하여 입력 이미지 상에 기 설정된 포인트 개수에 따라 복수의 포인트들을 생성한 출력 이미지를 생성하는 단계를 포함하는 오브젝트 검출 시스템의 동작 방법이 제공될 수 있다.According to an embodiment, learning a neural network to generate points having a minimum non-overlapping area between an object region included in a training image and a point region generated based on a plurality of points on the training image, a user interface; A method of operating an object detection system can be provided, comprising: receiving an input image through .

Description

오브젝트 검출 시스템 및 그 동작 방법{OBJECT DETECTING SYSTEM AND OPERATING METHOD THEREOF}Object detection system and its operation method

본 발명은 오브젝트 검출 시스템 및 그 동작 방법에 관한 것으로서, 보다 상세하게는 오브젝트 검출 시스템 및 그 동작 방법에 관한 것이다.The present invention relates to an object detection system and an operating method thereof, and more particularly, to an object detection system and an operating method thereof.

최근, 이미지 또는 영상 내에 포함된 도로 경계, 표지판, 도로 사인, 문서의 그림 영역, 텍스트 영역, 표 등의 오브젝트들을 검출하기 위한 연구가 활발하다.Recently, research for detecting objects such as road boundaries, signs, road signs, picture areas of documents, text areas, and tables included in an image or video is active.

종래의 방법들 중 오브젝트를 사각형 박스 형태로 검출하려는 노력이 있으나, 이 방법은 다양한 형상의 오브젝트에 대한 표현 방식이 매우 제한적이고, 정확성이 떨어지는 단점이 있다.Among the conventional methods, there is an effort to detect an object in the form of a rectangular box, but this method has disadvantages in that the expression method for objects of various shapes is very limited and the accuracy is low.

또는, 종래의 방법들 중 오브젝트의 경계를 점 단위로 인식하려는 노력이 있으나, 이 방법은 점의 위치를 인식하는 정확도가 낮고, 경계에 기하학적인 제한 조건을 부여하기 어려운 문제점들을 갖는다.
[선행기술문헌]
특허문헌 1: 한국공개특허공보 10-2015-0068005(2015.06.19 공개)
특허문헌 2: 한국공개특허공보 10-2013-0000828(2013.01.03 공개)Alternatively, among the conventional methods, there is an effort to recognize the boundary of an object in units of points, but this method has problems in that the accuracy of recognizing the position of the point is low, and it is difficult to apply a geometrical constraint to the boundary.
[Prior art literature]
Patent Document 1: Korean Patent Publication No. 10-2015-0068005 (published on June 19, 2015)
Patent Document 2: Korean Patent Publication No. 10-2013-0000828 (published on Jan. 3, 2013)

본 발명의 과제는, 이미지 내에서 오브젝트가 차지하는 면적을 이용하여 학습된 뉴럴 네트워크를 통해, 이미지 내에 포함된 오브젝트를 검출하는 오브젝트 검출 시스템 및 그 동작 방법을 제공하는 것이다. An object of the present invention is to provide an object detection system for detecting an object included in an image through a neural network learned using an area occupied by an object in an image, and an operating method thereof.

본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problems, and the problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. .

일 양상에 따르면, 학습 이미지에 포함된 오브젝트 영역과, 학습 이미지 상의 복수의 포인트들에 기초하여 생성된 포인트 영역 간 비중첩 면적이 최소가 되는 포인트들을 생성하도록 뉴럴 네트워크를 학습하는 단계, 사용자 인터페이스를 통해 입력 이미지를 수신하는 단계 및 뉴럴 네트워크를 이용하여 입력 이미지 상에 기 설정된 포인트 개수에 따라 복수의 포인트들을 생성한 출력 이미지를 생성하는 단계를 포함하는 오브젝트 검출 시스템의 동작 방법이 제공될 수 있다.According to an aspect, learning a neural network to generate points having a minimum non-overlapping area between an object region included in the training image and a point region generated based on a plurality of points on the training image, a user interface A method of operating an object detection system may be provided, comprising: receiving an input image through a neural network; and generating an output image in which a plurality of points are generated according to a preset number of points on the input image by using a neural network.

또, 뉴럴 네트워크를 학습하는 단계는, 오브젝트 영역과 포인트 영역 간 비중첩 면적과, 오브젝트 영역과 포인트 영역을 합한 영역의 면적의 비율이 최소가 되도록 역전파를 통해 뉴럴 네트워크를 업데이트할 수 있다.Also, in the learning of the neural network, the neural network may be updated through backpropagation such that a ratio of a non-overlapping area between an object region and a point region and an area of a region obtained by combining the object region and the point region is minimized.

다른 일 양상에 따르면, 이미지 및 이미지 상의 오브젝트 영역에 관한 마스크를 수신하는 단계 포인트 예측부를 통해, 기 설정된 포인트 개수에 따라 이미지 상에 포인트들을 생성하는 단계, 포인트들에 기초하여 포인트 영역을 생성하는 단계 및 오브젝트 영역과 포인트 영역 간 비중첩 면적에 기초하여, 포인트 예측부를 학습시키는 단계를 포함하는 오브젝트 검출 시스템의 구축 방법이 제공될 수 있다.According to another aspect, receiving an image and a mask for an object region on the image, generating points on an image according to a preset number of points through a point prediction unit, generating a point region based on the points and learning the point predictor based on the non-overlapping area between the object area and the point area.

또, 포인트 예측부는 뉴럴 네트워크를 이용하고, 포인트 예측부를 학습시키는 단계는, 오브젝트 영역과 포인트 영역 간 비중첩 면적이 최소가 되도록, 역전파를 통해 뉴럴 네트워크를 업데이트할 수 있다.In addition, the point predictor uses the neural network, and the step of learning the point predictor may update the neural network through backpropagation so that the non-overlapping area between the object region and the point region is minimized.

또, 오브젝트 검출 시스템의 구축 방법은 포인트들의 개수에 관한 사용자 입력을 수신하는 단계를 더 포함할 수 있다.Also, the method of constructing the object detection system may further include receiving a user input regarding the number of points.

또 다른 일 양상에 따르면, 학습 이미지에 포함된 오브젝트 영역과, 학습 이미지 상 복수의 포인트들에 기초하여 생성된 포인트 영역 간 비중첩 면적이 최소가 되는 포인트들을 생성하도록 학습된 뉴럴 네트워크를 이용하는 프로세서 및 입력 이미지 및 생성할 포인트들의 개수를 수신하는 사용자 인터페이스를 포함하고, 프로세서는 뉴럴 네트워크를 이용하여 입력 이미지 상에 포인트들의 개수에 따라 복수의 포인트들을 생성한 출력 이미지를 생성하고, 사용자 인터페이스는 출력 이미지를 출력하는, 오브젝트 검출 시스템이 제공될 수 있다.According to another aspect, a processor using a neural network trained to generate points having a minimum non-overlapping area between an object region included in the training image and a point region generated based on a plurality of points on the training image, and a user interface for receiving an input image and a number of points to be generated, wherein the processor generates an output image in which a plurality of points are generated according to the number of points on the input image by using a neural network, and the user interface is an output image An object detection system that outputs

또 다른 일 양상에 따르면, 메모리, 이미지, 이미지 상의 오브젝트 영역에 관한 마스크를 입력받는 사용자 인터페이스 및 프로그램을 실행함으로써 뉴럴 네트워크를 처리하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 기 설정된 포인트 개수에 따라, 이미지 상에서 포인트들을 생성하는 포인트 예측부, 포인트들에 기초하여 포인트 영역을 생성하는 영역 생성부 및 오브젝트 영역과 포인트 영역 간 비중첩 면적에 기초하여, 포인트 예측부를 업데이트하는 영역 비교부를 포함하는 오브젝트 검출 시스템이 제공될 수 있다.According to another aspect, a memory, an image, and at least one processor for processing a neural network by executing a program and a user interface that receives a mask regarding an object region on the image, wherein the at least one processor includes a preset number of points according to the method, including a point predictor that generates points on an image, a region generator that generates a point region based on the points, and a region comparator that updates the point predictor based on a non-overlapping area between the object region and the point region An object detection system may be provided.

본 발명에 따르면, 뉴럴 네트워크가 이미지 내에서 오브젝트가 차지하는 면적을 이용하여 학습되기 때문에, 이미지 내에 포함된 오브젝트를 검출하는 정확성 및 처리 속도가 향상될 수 있다.According to the present invention, since the neural network is learned using the area occupied by the object in the image, the accuracy and processing speed of detecting the object included in the image can be improved.

본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and the effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings.

도 1은 일 실시예에 따른 오브젝트 검출 시스템에 관한 블록 구성도이다.
도 2는 일 실시예에 따른 오브젝트 검출 시스템의 동작 방법에 관한 개념도이다.
도 3은 일 실시예에 따른 오브젝트 검출 시스템의 동작 방법에 관한 순서도이다.
도 4는 일 실시예에 따른 오브젝트 검출 시스템이 배경 이미지 상에서 검출한 오브젝트에 관한 도면이다.1 is a block diagram of an object detection system according to an embodiment.
2 is a conceptual diagram illustrating a method of operating an object detection system according to an exemplary embodiment.
3 is a flowchart illustrating a method of operating an object detection system according to an exemplary embodiment.
4 is a diagram of an object detected on a background image by an object detection system according to an exemplary embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다.Advantages and features of the present invention, and methods for achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다.However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms.

본 명세서에서 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The examples in this specification are provided so that the disclosure of the present invention is complete, and to fully inform those of ordinary skill in the art to which the present invention belongs, the scope of the invention, and the present invention is defined by the scope of the claims will only be

따라서, 몇몇 실시예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적 설명이 생략될 수 있다.Accordingly, in some embodiments, detailed descriptions of well-known components, well-known operations, and well-known techniques may be omitted to avoid obscuring the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase, and elements and operations referred to as 'comprising (or having)' do not exclude the presence or addition of one or more other elements and operations. .

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적 으로 이해될 수 있는 의미로 사용될 수 있을 것이다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs.

이하, 실시예를 통하여 본 발명을 보다 상세히 설명하기로 한다. 이들 실시예 는 오로지 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 요지에 따라 본 발명의 범위가 이들 실시예에 의해 제한되지 않는다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명한 것이다.Hereinafter, the present invention will be described in more detail through examples. These examples are only for illustrating the present invention in more detail, and it is obvious to those of ordinary skill in the art that the scope of the present invention is not limited by these examples according to the gist of the present invention. .

도 1은 일 실시예에 따른 오브젝트 검출 시스템(100)에 관한 블록 구성도이다.1 is a block diagram of an object detection system 100 according to an embodiment.

도 1을 참조하면, 오브젝트 검출 시스템(100)는 사용자 인터페이스(120), 프로세서(140) 및 메모리(160)를 포함할 수 있다.Referring to FIG. 1 , the object detection system 100 may include a user interface 120 , a processor 140 , and a memory 160 .

오브젝트 검출 시스템(100)는 이미지를 입력받고, 뉴럴 네트워크를 이용하여 입력된 이미지 내에서 적어도 하나의 오브젝트들을 검출하고, 검출한 오브젝트를 포함하는 이미지를 출력할 수 있다. 뉴럴 네트워크는 이미지 내에서 오브젝트가 차지하는 면적을 이용하여 학습될 수 있다.The object detection system 100 may receive an image, detect at least one object in the input image using a neural network, and output an image including the detected object. A neural network may be learned using an area occupied by an object in an image.

사용자 인터페이스(120)는 사용자 입력을 수신하고, 사용자에게 정보를 출력할 수 있다. 예를 들면, 사용자 인터페이스(120)는 사용자로부터 입력 이미지를 수신하고, 오브젝트가 검출된 이미지를 출력할 수 있다. 사용자 인터페이스(120)는 사용자 입력을 프로세서(140)에게 전달할 수 있고, 프로세서(140)로부터 출력할 정보를 수신할 수 있다. 사용자 인터페이스(120)는 버튼, 터치 스크린, 키보드, 카메라, 마이크 및 각종 센서 중 적어도 하나를 포함할 수 있다. The user interface 120 may receive a user input and output information to the user. For example, the user interface 120 may receive an input image from a user and output an image in which an object is detected. The user interface 120 may transmit a user input to the processor 140 and receive information to be output from the processor 140 . The user interface 120 may include at least one of a button, a touch screen, a keyboard, a camera, a microphone, and various sensors.

프로세서(140)는 오브젝트 검출 시스템(100)의 전반적 동작을 제어할 수 있다. 프로세서(140)는 메모리(160)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예를 들면, 프로세서(140)는 입력 이미지로부터 오브젝트를 검출하기 위한 전처리/후처리 과정, 오브젝트 검출 과정 및 뉴럴 네트워크의 업데이트 동작 등을 수행할 수 있다. The processor 140 may control the overall operation of the object detection system 100 . The processor 140 may process or execute programs and/or data stored in the memory 160 . For example, the processor 140 may perform a pre-processing/post-processing process for detecting an object from an input image, an object detection process, and an update operation of a neural network.

일 실시예에 따르면, 프로세서(140)는 그 기능에 따라 오브젝트의 영역일 것으로 예상되는 포인트들을 예측하는 포인트 예측부(142), 포인트들에 기초하여 면적을 갖는 포인트 영역을 생성하는 영역 생성부(144), 오브젝트가 차지하는 면적과, 포인트 영역이 차지하는 면적을 비교하는 영역 비교부 등을 포함할 수 있다. 각 구성들에 대해서는 도 2를 통해 더 자세히 설명한다.According to an embodiment, the processor 140 includes a point predictor 142 that predicts points expected to be regions of an object according to its function, and a region generator 142 that generates a point region having an area based on the points ( 144), an area comparison unit that compares the area occupied by the object with the area occupied by the point area, and the like. Each configuration will be described in more detail with reference to FIG. 2 .

프로세서(140)는 뉴럴 네트워크를 이용하여 오브젝트 검출 방법을 수행할 수 있다. 프로세서(140)는 수신되는 입력 데이터를 기초로 뉴럴 네트워크의 연산을 수행하고, 수행 결과를 기초로 정보 신호를 생성할 수 있다. 뉴럴 네트워크는 Convolutional Neural Networks(CNN), Recurrent Neural Networks(RNN), Deep Belief Networks, Restricted Boltzman Machines 등을 포함할 수 있으나 이에 제한되지 않는다.The processor 140 may perform an object detection method using a neural network. The processor 140 may perform an operation of the neural network based on received input data, and may generate an information signal based on a result of the execution. Neural networks may include, but are not limited to, Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), Deep Belief Networks, Restricted Boltzman Machines, and the like.

프로세서(140)의 다양한 동작 예들은 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 프로세서(140)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 프로세서(140)는 CPU, GPU, AP 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 프로세서(140)에 의해 구현될 수 있다.Various operation examples of the processor 140 may be implemented in a computer-readable recording medium using, for example, software, hardware, or a combination thereof. According to the hardware implementation, the processor 140 may include one processor core (Single Core) or a plurality of processor cores (Multi-Core). The processor 140 may be implemented using at least one of a CPU, a GPU, and an AP. In some cases, such embodiments may be implemented by processor 140 .

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 프로세서(140)에 의해 실행될 수 있다.According to the software implementation, embodiments such as a procedure or function may be implemented together with a separate software module for performing at least one function or operation. The software code may be implemented by a software application written in a suitable programming language. Also, the software code may be stored in the memory 160 and executed by the processor 140 .

메모리(160)는, 오브젝트 검출 시스템(100)의 동작을 위해 필요한 정보들을 기록할 수 있다. 메모리(160)는 예를 들면 OS(Operating System), 각종 프로그램들, 및 각종 데이터를 저장할 수 있다. 또, 메모리(160)는 뉴럴 네트워크 데이터, 예컨대, 파라미터들, 웨이트 맵 또는 웨이트 리스트를 저장할 수 있다.The memory 160 may record information necessary for the operation of the object detection system 100 . The memory 160 may store, for example, an operating system (OS), various programs, and various data. Also, the memory 160 may store neural network data, for example, parameters, a weight map, or a weight list.

메모리(160)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다.Examples of the memory 160 include a hard disk (HDD), a solid state drive (SSD), a flash memory, a read-only memory (ROM), a random access memory (RAM), and the like. This can be.

오브젝트 검출 시스템(100)는 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 로봇 장치, 스마트 TV, 스마트폰, 의료 디바이스, 모바일 디바이스, 영상 표시 디바이스, 계측 디바이스, IoT 디바이스 등에 적용될 수 있으며, 이 외에도 다양한 종류의 전자 디바이스들 중 적어도 하나에 탑재될 수 있다. The object detection system 100 includes a drone, a robot device such as an Advanced Drivers Assistance System (ADAS), a smart TV, a smartphone, a medical device, a mobile device, an image display device, a measurement device, and an IoT device. and the like, and may be mounted on at least one of various types of electronic devices.

오브젝트 검출 시스템(100)는 통신 모듈, 보안 모듈, 전력 제어 모듈 등을 더 포함할 수 있다. 오브젝트 검출 시스템(100)의 하드웨어 구성들 중 일부는 적어도 하나의 반도체 칩에 탑재될 수 있다. The object detection system 100 may further include a communication module, a security module, a power control module, and the like. Some of the hardware components of the object detection system 100 may be mounted on at least one semiconductor chip.

도 2는 일 실시예에 따른 오브젝트 검출 시스템의 동작 방법에 관한 개념도이고, 도 3은 그 동작 방법에 관한 순서도이다. 2 is a conceptual diagram of an operation method of an object detection system according to an embodiment, and FIG. 3 is a flowchart of an operation method thereof.

도 2를 참조하면, 오브젝트 검출 시스템(100)은 프로세서(140)의 동작 및 기능에 따라 구분할 때, 포인트 예측부(142), 영역 생성부(144) 및 영역 비교부(146) 등을 포함할 수 있다. 포인트 예측부(142), 영역 생성부(144) 및 영역 비교부(146) 등은 기능적으로 분류된 단위체이므로, 물리적으로 반드시 분리될 필요는 없으며, 하나의 프로세서(140)에서 구현될 수도 있고, 별도의 프로세서(140)에서 구현될 수도 있다. 일 실시예에 따르면, 오브젝트 검출 시스템(100)은 포인트 예측부(142), 영역 생성부(144) 및 영역 비교부(146) 중 일부만을 내부 구성 요소로 포함하고, 다른 구성들은 외부의 서버 또는 장치에 의해 수행될 수도 있다.Referring to FIG. 2 , the object detection system 100 may include a point prediction unit 142 , a region generation unit 144 , and a region comparison unit 146 when classifying according to the operation and function of the processor 140 . can Since the point predictor 142, the region generator 144, and the region comparison unit 146 are functionally classified units, they do not necessarily need to be physically separated, and may be implemented in one processor 140, It may be implemented in a separate processor 140 . According to an embodiment, the object detection system 100 includes only some of the point prediction unit 142, the area generation unit 144, and the area comparison unit 146 as internal components, and other components are external servers or It may also be performed by the device.

포인트 예측부(142)의 뉴럴 네트워크는 인공 지능(AI) 기술에 따른 추론 및 예측을 위한 연산을 수행한다. 구체적으로, 뉴럴 네트워크는 복수의 계층들을 통한 연산을 수행하는 딥 뉴럴 네트워크(DNN: Deep Neural Network)가 될 수 있다. 뉴럴 네트워크는 연산을 수행하는 내부의 계층(layer)의 개수에 따라서 계층의 개수가 복수일 경우, 즉 연산을 수행하는 뉴럴 네트워크의 심도(depth)가 증가하는 경우, 딥 뉴럴 네트워크(DNN)로 분류될 수 있다. 또한, 딥 뉴럴 네트워크(DNN) 연산은 컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다.The neural network of the point prediction unit 142 performs calculations for inference and prediction according to artificial intelligence (AI) technology. Specifically, the neural network may be a deep neural network (DNN) that performs an operation through a plurality of layers. A neural network is classified as a deep neural network (DNN) when the number of layers is plural according to the number of internal layers performing the operation, that is, when the depth of the neural network performing the operation increases. can be In addition, the deep neural network (DNN) operation may include a convolutional neural network (CNN) operation and the like.

도 3을 참조하면, 오브젝트 검출 시스템은, 먼저 이미지 및 이미지 상의 오브젝트 영역에 관한 마스크를 수신할 수 있다(S1100). 이후, 오브젝트 검출 시스템은 포인트 예측부(142)를 통해, 기 설정된 포인트 개수에 따라 이미지 상에 포인트들을 생성할 수 있다(S1200). 오브젝트 검출 시스템은 영역 생성부(144)를 통해 포인트들에 기초하여 포인트 연결 영역을 생성할 수 있다(S1300). 오브젝트 영역과 포인트 연결 영역 간 비중첩 면적에 기초하여, 포인트 예측부(142)를 학습시킬 수 있다(S1400). 또, 오브젝트 검출 시스템의 동작 방법은 포인트들의 개수에 관한 사용자 입력을 수신하는 단계를 더 포함할 수도 있다. 이하에서는 도 2를 참조하여, 각 단계에 대해 더 구체적으로 설명한다.Referring to FIG. 3 , the object detection system may first receive an image and a mask regarding an object region on the image ( S1100 ). Thereafter, the object detection system may generate points on the image according to the preset number of points through the point predictor 142 ( S1200 ). The object detection system may generate a point connection area based on the points through the area generator 144 ( S1300 ). Based on the non-overlapping area between the object region and the point connection region, the point predictor 142 may be trained (S1400). Further, the method of operation of the object detection system may further include receiving a user input regarding the number of points. Hereinafter, each step will be described in more detail with reference to FIG. 2 .

포인트 예측부(142)는, 학습된 뉴럴 네트워크를 이용하여 이미지 내에서 오브젝트로 예상되는 포인트들을 예측할 수 있다. 일 실시예에 따르면, 포인트들은 이미지 내에서 오브젝트가 포함된 영역인 오브젝트 영역의 경계일 수 있다. 또는 포인트들은 오브젝트 영역 내부에 포함되는 지점들일 수 있다.The point predictor 142 may predict points expected as objects in the image by using the learned neural network. According to an embodiment, the points may be boundaries of an object region, which is a region including an object in an image. Alternatively, the points may be points included in the object area.

포인트 예측부(142)는 예측한 포인트들이 정확하게 오브젝트를 검출하였는지에 관하여, 영역 비교부(146)로부터 역전파 방식으로 피드백을 받고, 뉴럴 네트워크를 업데이트할 수 있다. 반복적인 업데이트 및 학습을 통해, 포인트 예측부(142)는 오브젝트를 검출하는 데 활용되는 포인트들을 보다 정확하게 예측하여 생성할 수 있다.The point prediction unit 142 may receive feedback from the area comparison unit 146 in a backpropagation method as to whether the predicted points correctly detected the object, and update the neural network. Through iterative update and learning, the point predictor 142 may more accurately predict and generate points used to detect an object.

영역 생성부(144)는 포인트 예측부(142)로부터 복수의 포인트들에 관한 정보를 수신하고, 복수의 포인트들에 기초하여 포인트 영역을 생성할 수 있다. 일 실시예에 따르면, 영역 생성부(144)는 포인트들을 오브젝트의 경계로 인식하고, 포인트들을 연결하여 포인트들로 둘러싸인 포인트 영역을 생성할 수 있다. 또는 영역 생성부(144)는 포인트들을 오브젝트 내부의 지점들로 인식하고, 포인트들이 분포하는 지점들을 집합화하여 포인트 영역을 생성할 수 있다. The region generator 144 may receive information about a plurality of points from the point predictor 142 and generate a point region based on the plurality of points. According to an exemplary embodiment, the area generating unit 144 may recognize points as boundaries of an object, and connect the points to generate a point area surrounded by the points. Alternatively, the area generator 144 may recognize the points as points inside the object, and aggregate points where the points are distributed to generate the point area.

영역 비교부(146)는 포인트 예측부(142)의 학습을 위해서, 이미지 내 오브젝트 영역에 관한 정보인 마스크를 입력받을 수 있다. 마스크는 이미지 내 오브젝트 영역에 관한 일종의 정답(Ground truth)으로서, 오브젝트 검출 시스템은 마스크와, 포인트 영역 간 오차를 최소화하는 방향으로 포인트 예측부(142)를 학습시킬 수 있다.The region comparator 146 may receive a mask, which is information about an object region in an image, for learning of the point predictor 142 . The mask is a kind of ground truth about the object region in the image, and the object detection system may train the point predictor 142 in a direction that minimizes the error between the mask and the point region.

역전파(back-propagation)를 통해 뉴럴 네트워크의 업데이트가 가능하도록, 포인트 예측부(142), 영역 생성부(144) 및 영역 비교부(146) 등은 미분 가능하도록 설계된다.In order to update the neural network through back-propagation, the point predictor 142 , the region generator 144 , and the region comparison unit 146 are designed to be differentiable.

영역 비교부(146)는 마스크를 이용하여 획득한 오브젝트 영역과, 이미지 상에 생성한 복수의 포인트들을 연결한 포인트 연결 영역을 상호 비교할 수 있다. 구체적으로 영역 비교부(146)는, 오브젝트 영역과, 포인트 연결 영역 간 중첩 면적 및 비중첩 면적의 크기를 비교할 수 있다. The region comparison unit 146 may compare an object region obtained using a mask with a point connection region that connects a plurality of points generated on an image with each other. In more detail, the area comparison unit 146 may compare the size of the overlapping area and the non-overlapping area between the object area and the point connection area.

오브젝트 검출 시스템은 중첩 면적이 최대가 되고, 비중첩 면적이 최소가 되는 포인트들을 생성하도록 뉴럴 네트워크를 업데이트할 수 있다. The object detection system may update the neural network to generate points with a maximum overlap area and a minimum non-overlapping area.

예를 들면, 오브젝트 검출 시스템은 오브젝트 영역과 포인트 연결 영역 간 비중첩 면적과, 오브젝트 영역과 포인트 연결 영역을 합한 영역의 면적의 비율이 최소가 되도록 뉴럴 네트워크를 업데이트할 수 있다.For example, the object detection system may update the neural network so that the ratio of the non-overlapping area between the object area and the point connection area to the area of the area including the object area and the point connection area is minimized.

또는, 오브젝트 검출 시스템은 오브젝트 영역과 포인트 연결 영역 간 비중첩 면적의 제곱의 합이 최소가 되도록 뉴럴 네트워크를 업데이트할 수 있다.Alternatively, the object detection system may update the neural network so that the sum of the squares of the non-overlapping areas between the object region and the point connection region is minimized.

도 4는 오브젝트 검출 시스템이 배경 이미지 상에서 검출한 오브젝트에 관한 도면이다. 도 4를 참조하면, 학습 단계에서, 오브젝트 검출 시스템은 포인트 예측부(142) 및 영역 생성부(144)를 통해 생성된 포인트 영역(B1)과, 마스크를 통해 획득한 오브젝트 영역(A1) 간 중첩 면적이 최대가 되고, 비중첩 면적(S1)이 최소가 되도록 포인트 예측부(142)의 뉴럴 네트워크를 업데이트할 수 있다. 학습이 진행됨에 따라, 포인트 영역(B1)과 오브젝트 영역(A1) 간 비중첩 면적(S1)은 0으로 수렴할 수 있다.4 is a diagram of an object detected by the object detection system on a background image. Referring to FIG. 4 , in the learning step, the object detection system overlaps the point area B1 generated through the point prediction unit 142 and the area generation unit 144 and the object area A1 obtained through the mask. The neural network of the point predictor 142 may be updated so that the area becomes the maximum and the non-overlapping area S1 becomes the minimum. As learning proceeds, the non-overlapping area S1 between the point area B1 and the object area A1 may converge to zero.

학습 후, 오브젝트 검출 시스템은 입력 이미지를 수신할 수 있고, 입력 이미지 상에서 기 설정된 포인트 개수에 따라 복수의 포인트들을 생성함으로써, 입력 이미지 내의 오브젝트를 검출할 수 있다. 포인트의 개수는 사용자에 의해 설정될 수 있다. 또는 포인트 개수는 학습을 통해 오브젝트의 형상에 따라 포인트 예측부(142)에 의해 결정될 수도 있다.After learning, the object detection system may receive an input image, and may detect an object in the input image by generating a plurality of points according to a preset number of points on the input image. The number of points may be set by the user. Alternatively, the number of points may be determined by the point predictor 142 according to the shape of the object through learning.

이로써, 오브젝트 검출 시스템은 오브젝트의 형상에 따라, 다양한 형태의 다각형(polygon)으로 오브젝트를 검출할 수 있고, 보다 정확하고 신속하게 오브젝트를 검출할 수 있다.Accordingly, the object detection system can detect the object using polygons of various shapes according to the shape of the object, and more accurately and quickly detect the object.

본 발명의 당업자라면 본 발명이 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다는 것을 잘 알 것이다. 예를 들어, 본 발명은 컴퓨터-판독가능 매체에 의해 구현될 수 있다.Those skilled in the art will appreciate that the present invention may be implemented in combination with other program modules and/or as a combination of hardware and software. For example, the present invention may be embodied by a computer-readable medium.

컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독 가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독 가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다.Any medium accessible by a computer can be a computer readable medium, and such computer readable media includes volatile and nonvolatile media, transitory and non-transitory media, removable and non-transitory media. including removable media. By way of example, and not limitation, computer-readable media may include computer-readable storage media and computer-readable transmission media.

컴퓨터 판독 가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.Computer readable storage media includes volatile and nonvolatile media, temporary and non-transitory media, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. includes media. A computer-readable storage medium may be RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital video disk (DVD) or other optical disk storage device, magnetic cassette, magnetic tape, magnetic disk storage device, or other magnetic storage device. device, or any other medium that can be accessed by a computer and used to store the desired information.

컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.Computer readable transmission media typically embodies computer readable instructions, data structures, program modules or other data in a modulated data signal, such as a carrier wave or other transport mechanism, and the like. Includes any information delivery medium. The term modulated data signal means a signal in which one or more of the characteristics of the signal is set or changed so as to encode information in the signal. By way of example, and not limitation, computer-readable transmission media includes wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, and other wireless media. Combinations of any of the above are also intended to be included within the scope of computer-readable transmission media.

본 발명의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.Those of ordinary skill in the art will recognize that the various illustrative logical blocks, modules, processors, means, circuits, and algorithm steps described in connection with the embodiments disclosed herein are implemented in electronic hardware, (convenience For this purpose, it will be understood that it may be implemented by various forms of program or design code (referred to herein as "software") or a combination of both. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends upon the particular application and design constraints imposed on the overall system. A person skilled in the art may implement the described functionality in various ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present invention.

여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 저장 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선 채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.The various embodiments presented herein may be implemented as methods, apparatus, or articles of manufacture using standard programming and/or engineering techniques. The term “article of manufacture” includes a computer program, carrier, or media accessible from any computer-readable device. For example, computer-readable storage media include magnetic storage devices (eg, hard disks, floppy disks, magnetic strips, etc.), optical disks (eg, CDs, DVDs, etc.), smart cards, and flash drives. memory devices (eg, EEPROMs, cards, sticks, key drives, etc.). The term “machine-readable medium” includes, but is not limited to, wireless channels and various other media capable of storing, holding, and/or carrying instruction(s) and/or data.

제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 발명의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.It is understood that the specific order or hierarchy of steps in the presented processes is an example of exemplary approaches. Based on design priorities, it is to be understood that the specific order or hierarchy of steps in the processes may be rearranged within the scope of the present invention. The appended method claims present elements of the various steps in a sample order, but are not meant to be limited to the specific order or hierarchy presented.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention is not to be limited to the embodiments presented herein, but is to be construed in the widest scope consistent with the principles and novel features presented herein.

100 오브젝트 검출 시스템
120 사용자 인터페이스
140 프로세서
142 포인트 예측부
144 영역 생성부
146 영역 비교부
160 메모리100 object detection system
120 user interface
140 processors
142 Point Prediction Unit
144 area generator
146 Area Comparison Unit
160 memory

Claims (7)

프로세서에서, 학습 이미지에 포함된 오브젝트 영역과, 상기 학습 이미지 상의 복수의 포인트들에 기초하여 생성된 포인트 영역 간 비중첩 면적이 최소가 되는 포인트들을 생성하도록 뉴럴 네트워크를 학습하는 단계;
상기 프로세서에서, 사용자 인터페이스를 통해 입력 이미지를 수신하는 단계; 및
상기 프로세서에서, 상기 뉴럴 네트워크를 이용하여 상기 입력 이미지 상에 기 설정된 포인트 개수에 따라 복수의 포인트들을 생성한 출력 이미지를 생성하는 단계;를 포함하는 오브젝트 검출 시스템의 동작 방법.learning, in the processor, a neural network to generate points in which a non-overlapping area between an object region included in the training image and a point region generated based on a plurality of points on the training image is minimized;
receiving, at the processor, an input image through a user interface; and
and generating, in the processor, an output image in which a plurality of points are generated according to a preset number of points on the input image by using the neural network. 제1 항에 있어서,
상기 뉴럴 네트워크를 학습하는 단계는,
상기 오브젝트 영역과 상기 포인트 영역 간 상기 비중첩 면적과, 상기 오브젝트 영역과 상기 포인트 영역을 합한 영역의 면적의 비율이 최소가 되도록 역전파를 통해 상기 뉴럴 네트워크를 업데이트하는, 오브젝트 검출 시스템의 동작 방법.According to claim 1,
Learning the neural network comprises:
and updating the neural network through backpropagation such that a ratio of the non-overlapping area between the object area and the point area to an area of a region obtained by adding the object area and the point area to a minimum. 프로세서에서, 사용자 인터페이스를 통해 이미지 및 상기 이미지 상의 오브젝트 영역에 관한 마스크를 수신하는 단계;
상기 프로세서에서, 포인트 예측부를 통해, 기 설정된 포인트 개수에 따라 상기 이미지 상에 포인트들을 생성하는 단계;
상기 프로세서에서, 상기 포인트들에 기초하여 포인트 영역을 생성하는 단계; 및
상기 프로세서에서, 상기 오브젝트 영역과 상기 포인트 영역 간 비중첩 면적에 기초하여, 상기 포인트 예측부를 학습시키는 단계;를 포함하는 오브젝트 검출 시스템의 구축 방법.receiving, at the processor, an image and a mask relating to an object region on the image via a user interface;
generating, in the processor, points on the image according to a preset number of points through a point prediction unit;
generating, in the processor, a point area based on the points; and
and, in the processor, learning the point predictor based on a non-overlapping area between the object area and the point area. 제3 항에 있어서,
상기 포인트 예측부는 뉴럴 네트워크를 이용하고,
상기 포인트 예측부를 학습시키는 단계는,
상기 오브젝트 영역과 상기 포인트 영역 간 상기 비중첩 면적이 최소가 되도록, 역전파를 통해 상기 뉴럴 네트워크를 업데이트하는 오브젝트 검출 시스템의 구축 방법.4. The method of claim 3,
The point prediction unit uses a neural network,
The step of learning the point predictor is,
A method of constructing an object detection system for updating the neural network through backpropagation so that the non-overlapping area between the object region and the point region is minimized. 제3 항에 있어서,
상기 프로세서에서, 상기 사용자 인터페이스를 통해 포인트들의 개수에 관한 사용자 입력을 수신하는 단계;를 더 포함하는 오브젝트 검출 시스템의 구축 방법.4. The method of claim 3,
Receiving, in the processor, a user input regarding the number of points through the user interface; Method of constructing an object detection system further comprising. 학습 이미지에 포함된 오브젝트 영역과, 상기 학습 이미지 상 복수의 포인트들에 기초하여 생성된 포인트 영역 간 비중첩 면적이 최소가 되는 포인트들을 생성하도록 학습된 뉴럴 네트워크를 이용하는 프로세서; 및
입력 이미지를 수신하는 사용자 인터페이스;를 포함하고,
상기 프로세서는 상기 뉴럴 네트워크를 이용하여 상기 입력 이미지 상에 기 설정된 포인트들의 개수에 따라 복수의 포인트들을 생성한 출력 이미지를 생성하고,
상기 사용자 인터페이스는 상기 출력 이미지를 출력하는,
오브젝트 검출 시스템.a processor using a trained neural network to generate points having a minimum non-overlapping area between an object region included in the training image and a point region generated based on a plurality of points on the training image; and
a user interface for receiving an input image;
The processor generates an output image in which a plurality of points are generated according to a preset number of points on the input image by using the neural network,
The user interface outputs the output image,
object detection system. 메모리;
이미지, 상기 이미지 상의 오브젝트 영역에 관한 마스크를 입력받는 사용자 인터페이스; 및
프로그램을 실행함으로써 뉴럴 네트워크를 처리하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는
기 설정된 포인트 개수에 따라, 상기 이미지 상에서 포인트들을 생성하는 포인트 예측부, 상기 포인트들에 기초하여 포인트 영역을 생성하는 영역 생성부 및 상기 오브젝트 영역과 상기 포인트 영역 간 비중첩 면적에 기초하여, 상기 포인트 예측부를 업데이트하는 영역 비교부를 포함하는
오브젝트 검출 시스템.Memory;
a user interface for receiving an image and a mask for an object region on the image; and
at least one processor for processing a neural network by executing a program;
the at least one processor
A point prediction unit generating points on the image according to a preset number of points, an area generating unit generating a point area based on the points, and a non-overlapping area between the object area and the point area, the point including a region comparison unit for updating the prediction unit;
object detection system.
KR1020190174291A 2019-12-24 2019-12-24 Object detecting system and operating method thereof KR102315386B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190174291A KR102315386B1 (en) 2019-12-24 2019-12-24 Object detecting system and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190174291A KR102315386B1 (en) 2019-12-24 2019-12-24 Object detecting system and operating method thereof

Publications (2)

Publication Number Publication Date
KR20210081894A KR20210081894A (en) 2021-07-02
KR102315386B1 true KR102315386B1 (en) 2021-10-20

Family

ID=76897273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190174291A KR102315386B1 (en) 2019-12-24 2019-12-24 Object detecting system and operating method thereof

Country Status (1)

Country Link
KR (1) KR102315386B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153812A1 (en) * 2022-02-08 2023-08-17 주식회사 마인드포지 Electronic device for detecting object, and control method therefor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272448B1 (en) 2011-07-11 2013-06-07 광주과학기술원 Apparatus and method for detecting region of interest, and the recording media storing the program performing the said method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623989B1 (en) * 2016-08-01 2024-01-11 삼성전자주식회사 Image processing method and electronic device supporting the same
KR20180086048A (en) * 2017-01-20 2018-07-30 한화에어로스페이스 주식회사 Camera and imgae processing method thereof
KR20190096866A (en) * 2019-07-31 2019-08-20 엘지전자 주식회사 A Monitoring Method and Apparatus in the Vehicle, and a 3D Modeling Unit for Generating an Object Detection Mmodel therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272448B1 (en) 2011-07-11 2013-06-07 광주과학기술원 Apparatus and method for detecting region of interest, and the recording media storing the program performing the said method

Also Published As

Publication number Publication date
KR20210081894A (en) 2021-07-02

Similar Documents

Publication Publication Date Title
EP3561734B1 (en) Generating a machine learning model for objects based on augmenting the objects with physical properties
US20210090327A1 (en) Neural network processing for multi-object 3d modeling
US10269125B1 (en) Method for tracking object by using convolutional neural network including tracking network and computing device using the same
US20160098513A1 (en) Conflict detection for self-aligned multiple patterning compliance
US20210374611A1 (en) Artificial intelligence-driven quantum computing
KR20180109619A (en) Convolutional neural network processing method and apparatus
CN113168559A (en) Automated generation of machine learning models
CN111652250B (en) Remote sensing image building extraction method and device based on polygons and storage medium
US20210264274A1 (en) Secret sharing with a neural cryptosystem
KR20220059194A (en) Method and apparatus of object tracking adaptive to target object
US9436912B1 (en) Symmetric schema instantiation method for use in a case-based reasoning system
KR102315386B1 (en) Object detecting system and operating method thereof
KR102240403B1 (en) Image rectification method and image rectification apparatus
US20240005157A1 (en) Methods and systems for unstructured pruning of a neural network
US20210397948A1 (en) Learning method and information processing apparatus
KR102561799B1 (en) Method and system for predicting latency of deep learning model in device
KR102515935B1 (en) Method of creating training data for neural network model
US20230401829A1 (en) Training machine learning models based on unlabeled data
US20220114480A1 (en) Apparatus and method for labeling data
WO2023275765A1 (en) Systems and methods for operating an autonomous system
US20220300268A1 (en) Production compute deployment and governance
US20230046448A1 (en) Method and system for changing structure of deep learning model based on change in input resolution
US20230019779A1 (en) Trainable differential privacy for machine learning
US11861815B2 (en) Composite image creating method, composite image creating apparatus, and computer program stored in recording medium to execute the method
WO2023044661A1 (en) Learning reliable keypoints in situ with introspective self-supervision

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant