KR102448268B1 - Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm - Google Patents
Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm Download PDFInfo
- Publication number
- KR102448268B1 KR102448268B1 KR1020210171924A KR20210171924A KR102448268B1 KR 102448268 B1 KR102448268 B1 KR 102448268B1 KR 1020210171924 A KR1020210171924 A KR 1020210171924A KR 20210171924 A KR20210171924 A KR 20210171924A KR 102448268 B1 KR102448268 B1 KR 102448268B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- unit
- learning
- image
- class
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템에 관한 것으로, 보다 상세하게는, 카메라로부터 수집된 사람, 차량, 차량번호판을 포함하는 영상정보 데이터를 바탕으로 객체를 검출하고, 검출된 객체에 대하여 딥러닝 학습모델링을 통하여 객체를 자동으로 학습하여 판단하며, 상기 판단된 객체 정보에 대한 검증 후, 해당 객체 정보를 딥러닝 학습 모델링 데이터에 자동으로 배포, 갱신등록하여 정형화된 학습 데이터가 아닌 현장에 최적화된 학습 데이터를 생성하여 객체 분석 정확도를 향상시킬 수 있는 영상 분석 시스템에 관한 것이다.The present invention relates to an intelligent image analysis system for improving object analysis accuracy by automatic object learning, verification and distribution based on a deep neural network algorithm, and more particularly, image information including people, vehicles, and license plates collected from cameras Detects an object based on data, automatically learns and determines an object through deep learning learning modeling for the detected object, and after verifying the determined object information, automatically applies the object information to the deep learning learning modeling data It relates to an image analysis system that can improve object analysis accuracy by distributing, renewing, and registering learning data that is optimized for the field rather than standardized learning data.
Description
본 발명은 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템에 관한 것으로, 보다 상세하게는, 카메라로부터 수집된 사람, 차량, 차량번호판을 포함하는 영상정보 데이터를 바탕으로 객체를 검출하고, 검출된 객체에 대하여 딥러닝 학습모델링을 통하여 객체를 자동으로 학습하여 판단하며, 상기 판단된 객체 정보에 대한 검증 후, 해당 객체 정보를 딥러닝 학습 모델링 데이터에 자동으로 배포, 갱신등록하여 정형화된 학습 데이터가 아닌 현장에 최적화된 학습 데이터를 생성하여 객체 분석 정확도를 향상시킬 수 있는 영상 분석 시스템에 관한 것이다.The present invention relates to an intelligent image analysis system for improving object analysis accuracy by automatic object learning, verification and distribution based on a deep neural network algorithm, and more particularly, image information including people, vehicles, and license plates collected from cameras Detects an object based on data, automatically learns and determines an object through deep learning learning modeling for the detected object, and after verifying the determined object information, automatically applies the object information to the deep learning learning modeling data It relates to an image analysis system that can improve object analysis accuracy by distributing, renewing, and registering learning data that is optimized for the field rather than standardized learning data.
일반적으로, 객체 검출 및 분석(object detection and analysis)은 이미지 또는 동영상에서 특정 객체의 위치와 종류를 구별해내는 것으로, 이러한 객체 검출 및 분석을 위해서는 영상 정보를 수집하는 영상처리 시스템에 지능형 영상분석 기법을 적용하여 개별 오브젝트를 분류 및 인식하는 다양한 유형의 영상처리 시스템에 폭 넓게 사용 되고 있다.In general, object detection and analysis is to distinguish the location and type of a specific object in an image or video, and for such object detection and analysis, an intelligent image analysis technique is applied to an image processing system that collects image information. It is widely used in various types of image processing systems that classify and recognize individual objects by applying
이때, 상기 지능형 영상분석 기법은 인공지능 기술인 딥러닝을 이용한 요소 기술들로 구성되는데, 상기 인공지능 딥러닝은 미리 준비된 데이터를 학습시켜, 학습된 데이터를 기반으로 새로운 입력 데이터에 대하여 결과를 도출하는 일련의 과정이다.At this time, the intelligent image analysis technique is composed of element technologies using deep learning, an artificial intelligence technology. It is a series of processes.
즉, 이러한 객체 검출은 이미지 또는 동영상에서 특정 객체를 인식하기 위해서는 모델링된 학습데이터가 필요하다.That is, such object detection requires modeled learning data to recognize a specific object in an image or video.
따라서, 딥러닝 기반의 객체 검출 및 분석은 특징 추출 및 학습 알고리즘과 함께 중요한 것은 모델링된 학습 데이터의 수집에 있으며, 모델링된 학습데이터가 많이 제공 될수록 학습 효과는 향상될 수 있다.Therefore, in deep learning-based object detection and analysis, along with feature extraction and learning algorithms, what is important is the collection of modeled learning data, and the more the modeled learning data is provided, the more the learning effect can be improved.
이를 위해서, 다수의 모델링된 학습데이터가 필요하지만, 모델링된 학습데이터는 일반적으로 수동 작업으로 만들어지는 실정이므로, 방대한 양의 모델링된 학습데이터를 구하는 것은 쉽지 않다.To this end, a large number of modeled learning data is required, but since the modeled learning data is generally made by manual work, it is not easy to obtain a large amount of modeled learning data.
이에 따라, 객체 검출 및 분석을 위한 효과적인 학습을 위해서는, 자동적으로 모델링된 학습데이터를 생성하여 이용할 수 있도록 하는 방안이 필요하다.Accordingly, for effective learning for object detection and analysis, a method for automatically generating and using modeled learning data is required.
이를 위하여, 현재까지 개발된 딥러닝 기반의 객체 검출 및 분석과 관련한 특허기술들을 살펴 보면, 한국등록특허 10-1879735(등록일자 2018년07월12일)에 네트워크를 통해 다수의 장치로부터 수집한 영상 데이터를 입력받는 단계; 상기 영상 데이터에서 동일 객체가 존재하는 시간적으로 연속성이 있는 다수의 이미지를 검출하는 단계; 상기 다수의 이미지에서 객체를 탐지 및 추적하는 단계; 상기 다수의 이미지의 각 이미지에서 탐지 및 추적하여 인식된 객체와 인식률에 대한 정보를 데이터베이스화하여 단기경험 데이터베이스부에 저장하는 단계; 및 상기 단기경험 데이터베이스부를 조회하여, 상기 다수의 이미지에서 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 인식률이 기설정된 임계값 이상인 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여, 머신 러닝을 위한 레이블된 학습 데이터를 생성하는 단계를 포함하는 학습데이터 생성 방법이 개발된 바 있다.To this end, looking at the patent technologies related to object detection and analysis based on deep learning that have been developed so far, images collected from multiple devices through the network in Korea Patent No. 10-1879735 (registration date July 12, 2018) receiving data; detecting a plurality of temporally continuous images in which the same object exists in the image data; detecting and tracking objects in the plurality of images; Storing in a short-term experience database unit information on the object and recognition rate recognized by detecting and tracking each image of the plurality of images into a database; and if there is an image in which the recognition rate of a specific object in the plurality of images is greater than or equal to a preset threshold, by inquiring the short-term experience database unit, a specific object recognized in the image in which the recognition rate is greater than or equal to a preset threshold is used as the final recognition object. By labeling the image, a training data generation method including the step of generating labeled training data for machine learning has been developed.
또한, 한국등록특허 10-1987618(등록일자 2019년06월03일)에는 소정의 거리에 위치한 차량 이미지를 촬영하는 카메라; 상기 카메라와 연동되어 복수 대의 차량 이미지 데이터를 수신하고, 딥 러닝 인공신경망 및 번호판 특징 추출알고리즘을 이용해 차량 번호판을 객체화 하여 차량을 특정하는 메인 서버 및 상기 메인 서버와 연동되어 특정된 차량 외에 미출차 및 출차된 차량을 모니터링할 수 있는 모니터링 단말을 포함하고, 차량 번호판의 형태를 객체화시켜 차량을 특정할 수 있으며, 상기 번호판 특징 추출 알고리즘은, 상기 차량 이미지 데이터로부터 HOG(Histogram of Oriented Gradient) 방식을 이용하여 차량 전체 영역을 이미지화하여 검출하고, 이미지화된 차량 전체 영역에서 SVM(Support Vector Machine)를 통해 차량 번호판 영역을 인식하고, 인식된 차량 번호판 영역을 정규화하여, 정규화된 차량 번호판 영역을 수백차원의 특징 값을 가지도록 객체화 하고, 상기 메인 서버는, 입차 시 상기 번호판 특징 추출 알고리즘을 통해 객체화된 복수 대의 차량 번호판 영역 데이터와 출차되는 차량의 상기 번호판 특징 추출 알고리즘을 통해 객체화된 차량 번호판 영역 데이터의 유사도를 판별하여 상기 출차되는 차량을 특정하는 매칭부를 포함하며, 상기 매칭부는, 코싸인 유사도를 포함하는 유사도 판별 기법을 이용하여 유사도를 판별하는 것을 특징으로 하는 딥러닝 기반의 차량번호판 이미지 매칭 기법을 적용한 차량 번호판 특정 시스템이 공지되어 있다.In addition, Korean Patent No. 10-1987618 (registration date, June 03, 2019) discloses a camera for photographing an image of a vehicle located at a predetermined distance; A main server that interlocks with the camera to receive image data of a plurality of vehicles, uses a deep learning artificial neural network and a license plate feature extraction algorithm to objectify a vehicle license plate to specify a vehicle, It includes a monitoring terminal capable of monitoring the extracted vehicle, and can specify the vehicle by objectifying the shape of the license plate, and the license plate feature extraction algorithm uses a Histogram of Oriented Gradient (HOG) method from the vehicle image data. to image and detect the entire vehicle area, recognize the vehicle license plate area through SVM (Support Vector Machine) in the imaged entire vehicle area, normalize the recognized vehicle license plate area, and transform the normalized vehicle license plate area into hundreds of dimensions objectified to have a value, and the main server, when entering the vehicle through the license plate feature extraction algorithm, objectized through the license plate feature extraction algorithm of a plurality of vehicle license plate area data and the vehicle out of the vehicle The similarity of the vehicle license plate area data objectified A vehicle to which a deep learning-based license plate image matching technique is applied, characterized in that the matching unit determines the similarity using a similarity determination technique including a cosine similarity, wherein the matching unit includes a matching unit for determining and specifying the vehicle to be pulled out. License plate specific systems are known.
또한, 한국등록특허 10-2073971(등록일자 2020년01월30일)에는 단속현장을 촬영하여 검사 이미지를 생성하는 촬영장치 및 검사 이미지를 통해 차량 단속을 수행하는 서버를 이용한 딥러닝 기반의 차량 단속 방법에 있어서, 차량번호판을 포함하고 차량의 전면 또는 후면 부분을 포함하는 차량 부분 영역이 레이블된 학습 이미지를 학습하여 구축된 차량 검출 모델을 이용하여 검사 이미지에서 차량 후보 영역을 검출하는 단계; 상기 차량 후보 영역에서 후보번호인지를 식별하는 단계; 상기 차량 후보 영역에서 후보번호로 식별되면 촬영장치를 제어하여 단속 이미지를 획득하는 단계; 패턴인식 알고리즘과 단속 이미지를 이용하여 후보번호가 차량번호인지를 식별하는 단계; 상기 후보번호가 차량번호로 판별되면 검사 이미지에서 차량 후보 영역을 레이블링하는 단계 및 차량 후보 영역이 레이블된 검사 이미지를 딥러닝하여 차량 검출 모델을 업데이트하는 단계를 포함하고, 상기 서버는 차량 검출 모델을 이용하여 차량번호판의 식별이 가능한 차량을 검출하고, 검사 이미지보다 해상도가 높은 단속 이미지를 활용하여 차량 후보 영역에 실제로 차량이 존재하는지 검증하며, 상기 차량 후보 영역에 차량이 미존재하면 차량 후보 영역을 배경 후보 영역으로 정의하고, 후속적으로 촬영된 단속 이미지에서도 차량이 미존재하면 배경 후보 영역을 배경 영역으로 정의하는 단계를 더 포함하고, 상기 서버는 검사 이미지에서 배경 영역을 레이블링하고, 배경 영역이 레이블된 검사 이미지를 딥러닝하여 차량검출 모델을 업데이트하는 것을 특징으로 하는 딥러닝 기반의 차량 단속 방법이 공지되어 있다.In addition, Korean Patent No. 10-2073971 (registration date January 30, 2020) discloses a deep learning-based vehicle enforcement using a photographing device that generates an inspection image by photographing the enforcement site and a server that performs vehicle enforcement through the inspection image. A method, comprising: detecting a vehicle candidate region in an inspection image using a vehicle detection model constructed by learning a learning image in which a vehicle partial region including a license plate and including a front or rear portion of a vehicle is labeled; identifying whether a candidate number is a candidate number in the vehicle candidate area; obtaining an intermittent image by controlling a photographing device when a candidate number is identified in the vehicle candidate area; using a pattern recognition algorithm and an intermittent image to identify whether the candidate number is a vehicle number; When the candidate number is determined as the vehicle number, labeling the vehicle candidate area in the inspection image and updating the vehicle detection model by deep learning the inspection image labeled with the vehicle candidate area, wherein the server selects the vehicle detection model Detects a vehicle that can identify a license plate using The method further includes defining the background candidate region as a background candidate region, and defining the background candidate region as a background region if the vehicle does not exist in the subsequently photographed intermittent image, wherein the server labels the background region in the inspection image, A deep learning-based vehicle enforcement method is known, characterized in that the vehicle detection model is updated by deep learning the labeled inspection image.
또한, 한국등륵특허 10-2090907(등록일자 2020년03월12일)에는 차량번호인식기 및 상기 차량번호인식기와 통신하는 서버를 포함하는 차량 식별 시스템에 있어서, 상기 차량번호인식기는, 미리 설정된 2개의 노출값((exposure value)을 기초로, 적어도 하나의 차량과 관련된 HDR 영상을 획득하는 카메라; 상기 HDR 영상을 기초로 상기 적어도 하나의 차량번호 인식을 시도하는 제어부; 및 상기 제어부가 상기 적어도 하나의 차량번호 인식을 실패하는 경우, 상기 서버로 상기 HDR 영상을 전송하는 통신부;를 포함하고, 상기 서버는, 상기 HDR 영상을 기초로, SSD(Single Shot Detection) 딥러닝 알고리즘을 적용하여, 상기 HDR 영상 내에서 상기 적어도 하나의 차량을 인식하고, 차량의 번호판에 포함된 번호의 종류를 미리 학습하며, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 복수의 번호 정보를 추출하고, 상기 학습을 기초로 상기 복수의 번호 정보 간의 간격, 상기 복수의 번호 정보 각각의 크기 및 상기 복수의 번호 정보의 개수를 이용하여 상기 적어도 하나의 차량의 차량번호를 인식하며, 상기 인식한 상기 적어도 하나의 차량의 차량번호를 상기 차량번호인식기의 통신부로 전송하고, 상기 카메라는, 상기 2개의 노출 값 중 제 1 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 1 영상을 획득하고, 상기 2개의 노출 값 중 제 2 노출 값에 따른 상기 적어도 하나의 차량과 관련된 제 2 영상을 획득하며, 상기 제 1 영상과 상기 제 2 영상을 조합하여 1개의 HDR 영상을 획득하고, 상기 제 1 영상의 획득 과정 및 상기 제 2 영상의 획득 과정을 복수회 반복하여, 상기 HDR 영상을 복수개 획득하며, 상기 제어부는, 상기 복수의 HDR 영상을 기초로, 상기 차량번호인식기의 제어부가 상기 적어도 하나의 차량번호 인식을 시도하고, 상기 SSD 딥러닝 알고리즘은, 승용차, 버스, 오토바이, 사람 및 자전거를 대상으로 학습된 알고리즘이고, 상기 서버는, 상기 학습된 SSD 딥러닝 알고리즘을 기초로, 상기 승용차 및 버스에 대응되는 객체만을 추출함으로써, 상기 적어도 하나의 차량을 인식하며, 상기 서버는, 기울기 및 크기에 관계 없이, 상기 인식한 적어도 하나의 차량의 범위 내에 존재하는 모든 복수의 번호 정보를 추출하는 것을 특징으로 하는 차량 식별 시스템이 공지되어 있다.In addition, Korea Deungreuk Patent 10-2090907 (registration date March 12, 2020) in a vehicle identification system including a vehicle number recognizer and a server communicating with the vehicle number recognizer, the vehicle number recognizer, A camera that acquires an HDR image related to at least one vehicle based on an exposure value; a controller that attempts to recognize the at least one license plate number based on the HDR image; and the controller and a communication unit that transmits the HDR image to the server when the vehicle number recognition fails, wherein the server applies a single shot detection (SSD) deep learning algorithm based on the HDR image to the HDR image Recognizes the at least one vehicle within, learns in advance the type of number included in the license plate of the vehicle, extracts a plurality of number information existing within the range of the recognized at least one vehicle, and based on the learning The vehicle number of the at least one vehicle is recognized using the interval between the plurality of number information, the size of each of the plurality of number information, and the number of the plurality of number information, and the recognized vehicle number of the at least one vehicle transmits to the communication unit of the license plate recognition unit, the camera acquires a first image related to the at least one vehicle according to a first exposure value among the two exposure values, and a second exposure value among the two exposure values Obtaining a second image related to the at least one vehicle according to a value, obtaining one HDR image by combining the first image and the second image, obtaining the first image, and The acquisition process is repeated a plurality of times to acquire a plurality of HDR images, and the controller, based on the plurality of HDR images, the controller of the license plate recognizer attempts to recognize the at least one license plate number, and the SSD dip The learning algorithm is an algorithm trained on cars, buses, motorcycles, people and bicycles. The server recognizes the at least one vehicle by extracting only objects corresponding to the passenger car and the bus based on the learned SSD deep learning algorithm, and the server recognizes the at least one vehicle, regardless of the slope and size, A vehicle identification system is known, characterized in that it extracts all the plurality of number information existing within the range of the recognized at least one vehicle.
또한, 한국등록특허 10-2108854(등록일자 2020년05월04일)에는 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 제1 특징 맵을 추출하는 단계; 상기 제1 특징 맵에 기초하여, 상기 입력 영상에 포함된 객체를 검출하는 단계; 상기 입력 영상으로부터, 상기 제1 특징 맵의 해상도보다 높은 해상도를 가지는 제2 특징 맵을 추출하는 단계; 상기 검출된 객체의 영역에 기초하여, 상기 제2 특징 맵으로부터 제3 특징 맵을 추출하는 단계; 및 상기 제1 특징 맵 및 상기 제3 특징 맵에 기초하여, 상기 객체를 재 검출하는 단계를 포함하는, 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치가 공지되어 있다.In addition, Korean Patent Registration No. 10-2108854 (registration date May 04, 2020) includes the steps of receiving an input image; extracting a first feature map from the input image; detecting an object included in the input image based on the first feature map; extracting, from the input image, a second feature map having a higher resolution than that of the first feature map; extracting a third feature map from the second feature map based on the area of the detected object; and based on the first feature map and the third feature map, re-detecting the object. A method and apparatus for detecting a real-time object by a deep learning network model are known.
그러나, 상기 특허기술들에 공지된 딥러닝 기반의 객체 검출 및 분석 시스템은 특정 객체의 인식률이 기설정된 임계값 이상인 이미지가 있으면, 상기 인식률이 기설정된 임계값 이상인 이미지에서 인식된 특정 객체를 최종 인식 객체로 상기 다수의 이미지를 레이블링하여, 머신 러닝을 위한 레이블된 학습 데이터를 생성하거나, 또는 객체 특징 추출 알고리즘을 통해 객체화된 영역 데이터의 유사도를 판별하여 객체를 특정하거나, 또는 패턴인식 알고리즘과 검출 이미지를 이용하여 객체를 식별하고, 식별된 객체를 딥러닝하여 객체검출 모델을 업데이트하거나, 또는 학습된 SSD 딥러닝 알고리즘을 기초로, 상기 특정 객체만을 추출하는 기법을 이용한 객체 검출 및 분석 시스템으로 상기 특허들은 객체 검출 후 검출된 객체에 대해 딥러닝 학습 모델링을 통해 유사도 또는 기준값 비교 후 객체를 특정할 뿐, 딥러닝 학습 모델링을 통하여 판단된 객체 정보에 대한 검증 후 해당 객체 정보를 딥러닝 학습 모델링 데이터에 자동적으로 배포 및 생성에 의하여 학습 모델링 데이터가 자동으로 갱신되지 못하여 정확한 객체검출 및 분석이 불가능한 문제점이 있었다.However, in the deep learning-based object detection and analysis system known in the above patent technologies, if there is an image in which the recognition rate of a specific object is greater than or equal to a preset threshold, the recognition rate is greater than or equal to a preset threshold. By labeling the plurality of images with an object, labeled learning data for machine learning is generated, or an object is specified by determining the similarity of objectized region data through an object feature extraction algorithm, or a pattern recognition algorithm and a detection image to identify an object using , and update the object detection model by deep learning the identified object After object detection, they only specify the object after comparing the similarity or reference value through deep learning learning modeling for the detected object, and after verifying the object information determined through deep learning learning modeling, the object information is stored in the deep learning learning modeling data. There was a problem in that accurate object detection and analysis was impossible because the learning modeling data could not be automatically updated due to automatic distribution and generation.
본 발명은 상기 종래 문제점들을 해결하기 위하여, 카메라로부터 수집된 사람, 차량, 차량번호판을 포함하는 영상정보 데이터를 바탕으로 객체를 검출하고, 검출된 객체에 대하여 딥러닝 학습모델링을 통하여 객체를 자동으로 학습하여 판단하며, 상기 판단된 객체 정보에 대한 검증 후, 해당 객체 정보를 딥러닝 학습 모델링 데이터에 자동으로 배포, 갱신등록하여 정형화된 학습 데이터가 아닌 현장에 최적화된 학습 데이터를 생성하여 객체 분석 정확도를 향상시킬 수 있는 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템을 제공하는 것을 해결하고자 하는 과제로 한다.The present invention detects an object based on image information data including a person, vehicle, and license plate collected from a camera in order to solve the conventional problems, and automatically creates an object through deep learning learning modeling for the detected object It is determined by learning, and after verification of the determined object information, the object information is automatically distributed and updated to the deep learning learning modeling data to generate learning data that is optimized for the field rather than the standardized learning data, and object analysis accuracy It is a task to solve the problem to provide an intelligent image analysis system for improving the accuracy of object analysis by automatic object learning, verification, and distribution based on a deep neural network algorithm that can improve
본 발명은 상기 과제를 해결하기 위하여, 감시카메라를 포함하는 엣지 디바이스 또는 상기 엣지 디바이스를 포함하는 네트워크를 통해 수집된 광역 영상 데이터를 입력받는 영상입력부와, 최종 검출 목표 객체의 영상 데이터가 학습되어 모델링 저장된 학습 모델링 데이터 저장부와, 상기 영상입력부로부터 입력된 영상 데이터와 상기 학습 모델링 데이터 저장부에 저장되어 있는 모델링 데이터를 대비 분석하여 검출 객체에 대한 영상 데이터와 검출 객체 유형 및 위치 정보를 포함하는 메타데이터를 생성하고, 검출 객체 유형에 대한 점수를 산출하여 특정 객체 데이터를 검출하는 오브젝트 디텍터와, 상기 오브젝트 디텍터를 통해 검출된 특정 객체 데이터를 데이터 처리부로 전송하는 검출 객체 데이터 송신부와, 학습 모델링 데이터 수신부를 포함하여 구성되는 객체검출부와; In order to solve the above problem, the present invention provides an edge device including a surveillance camera or an image input unit for receiving wide-area image data collected through a network including the edge device, and the image data of the final detection target object is learned and modeled. A meta including a stored learning modeling data storage unit, image data input from the image input unit and modeling data stored in the learning modeling data storage unit, and image data for a detection object and detection object type and location information An object detector for generating data and calculating a score for a detection object type to detect specific object data, a detection object data transmitter for transmitting specific object data detected through the object detector to a data processing unit, and a learning modeling data receiving unit an object detection unit comprising a;
상기 검출 객체 데이터 송신부로부터 상기 특정 객체 데이터를 수신하는 검출객체 데이터 수신부와, 상기 검출객체 데이터 수신부에서 입력된 검출객체 데이터로부터 상기 오브젝트 디텍터에서 산출된 검출 객체 유형에 대한 점수에 의해 객체유형별로 분류하는 클래스분류부와, 클래스별 목표값이 설정입력되어 상기 클래스분류부로부터 입력된 검출 객체 유형에 대한 점수를 상기 클래스별 목표값과 비교하여 목표치 미만의 데이터를 학습 데이터로 활용되도록 클래스별 학습 모델 분류부로 전송하고, 목표치 이상의 데이터는 객체가 확정되었기 때문에 학습 데이터로 활용되지 않도록 삭제하는 클래스별 비교연산부와, 상기 클래스별 비교연산부로부터 입력된 목표치 미만의 데이터를 영상이미지와 라벨링데이터의 검출객체 데이터를 생성하여 class파일 기준으로 분류하는 클래스별 학습모델 분류부와, 상기 클래스별 학습모델 분류부에서 분류된 검출객체 데이터를 클래스별로 데이터셋으로 저장하는 클래스 데이터셋 저장부와, 상기 클래스 데이터셋 저장부로부터 입력된 데이터셋을 트레이닝부, 테스트부, 검증부 학습 데이터로 분류하되, 상기 트레이닝부, 테스트부, 검증부 데이터는 각각 영상이미지, 라벨링데이터, 이미지 컴파일 설정 파라미터 cfg파일, 객체 유형 설정 class파일로 구성하여 분류하는 병렬고속분류기를 포함하여 구성되는 데이터 처리부와; A detection object data receiving unit for receiving the specific object data from the detection object data transmitting unit, and a score for the detection object type calculated by the object detector from the detection object data input from the detection object data receiving unit Classifying by object type Classifying a class classification unit and classifying a learning model for each class so that the target value for each class is set and the score for the detection object type input from the class classification unit is compared with the target value for each class, and data less than the target value is used as learning data A comparison operation unit for each class that transmits to the unit and deletes data above the target value so that it is not utilized as learning data because the object is confirmed, and the data less than the target value input from the comparison operation unit for each class Image image and detection object data of labeling data A learning model classification unit for each class that is generated and classified based on the class file; Classify the data set input from the training unit, test unit, and verification unit learning data, but the training unit, test unit, and verification unit data are image image, labeling data, image compilation setting parameter cfg file, object type setting class file, respectively. a data processing unit configured to include a parallel high-speed classifier configured to classify;
상기 데이터 처리부의 병렬고속분류기로부터 입력되는 트레이닝부, 테스트부, 검증부 데이터를 딥러닝 학습을 통해 각각 학습을 수행하되, 상기 트레이닝부 테이터는 학습엔진을 통해 객체를 분석하고, 상기 학습엔진에서 분석된 데이터와 상기 병렬고속분류기로부터 입력되는 테스트부, 검증부 데이터를 분석하여 해당 검출객체 데이터에 대응하는 검출 객체 유형 점수 산출값을 산출하는 딥러닝 학습부와; The training unit, the test unit, and the verification unit data input from the parallel high-speed classifier of the data processing unit are each learned through deep learning learning, but the training unit data analyzes the object through the learning engine and analyzes it in the learning engine a deep learning learning unit that analyzes the obtained data and the test unit and verification unit data input from the parallel high-speed classifier and calculates a detection object type score calculation value corresponding to the detection object data;
상기 딥러닝 학습부를 통해 산출된 검출 객체 유형 점수 산출값을 상기 클래스별 비교연산부에서 입력되는 상기 클래스별 목표값과 비교하여 상기 딥러닝 학습부를 통해 산출된 검출 객체 유형 점수 산출값이 상기 클래스별 비교연산부에서 입력되는 상기 클래스별 목표값 미만인 경우에는 상기 병렬고속분류기로 피드백하여 재분류하고 상기 딥러닝 학습부를 재수행하여 상기 검출 객체 유형 점수 산출값이 상기 클래스별 목표값을 초과할 때까지 검증을 수행하는 데이터 검증부와, 상기 데이터 검증부를 통해 검증된 검출 객체 유형 점수 산출값을 최종 검출 목표 객체 기준값과 비교하여 기준값 미만의 경우 모델링 데이터 스케줄러를 통해 학습모델링전송부 및 상기 학습 모델링 데이터 수신부를 통해 상기 학습 모델링 데이터 저장부로 배포하여 갱신등록하고, 기준값 초과의 경우 최종 검출 목표 객체의 영상 데이터로 출력하는 기준값 비교부를 포함하여 구성되는 데이터검증배포부;를The detection object type score calculation value calculated through the deep learning learning unit by comparing the detection object type score calculation value calculated through the deep learning learning unit with the target value for each class input from the class-by-class comparison operation unit is compared for each class If it is less than the target value for each class input from the operation unit, it is fed back to the parallel high-speed classifier and reclassified, and the deep learning learning unit is re-performed to perform verification until the detection object type score calculation value exceeds the target value for each class a data verification unit that compares the detection object type score calculation value verified through the data verification unit with the final detection target object reference value, and if it is less than the reference value, through the modeling data scheduler, the learning modeling transmission unit and the learning modeling data receiving unit. A data verification distribution unit comprising a reference value comparison unit for distributing to the learning modeling data storage unit and registering the update, and outputting the image data of the final detection target object in case of exceeding the reference value;
포함하여 구성되는 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템을 과제의 해결수단으로 한다.An intelligent image analysis system for improving the accuracy of object analysis by automatic object learning, verification and distribution based on a deep neural network algorithm, including
상기 학습 모델링 데이터 저장부에는 이미지 컴파일 설정 파라미터 cfg파일, 객체 유형 설정 class파일, 객체 산출을 위한 weight(가중치)파일 및 트레이닝 학습 목록 데이터가 저장되어 상기 오브젝트 디텍터에서 검출 객체 유형 및 위치 정보를 포함하는 메타데이터를 생성하고, 검출 객체 유형에 대한 점수를 산출하여 특정 객체 데이터를 검출하도록 구성되는 것을 과제의 해결수단으로 한다.The learning modeling data storage unit stores an image compilation setting parameter cfg file, an object type setting class file, a weight (weight) file for object calculation, and training learning list data, including object type and location information detected by the object detector A method for solving the problem is to generate metadata and calculate a score for a detection object type to detect specific object data.
상기 최종 검출 목표 객체유형은 사람, 차량, 번호판, 건물을 포함하여 구성되는 것을 과제의 해결수단으로 한다.The final detection target object type is configured to include a person, a vehicle, a license plate, and a building as a means of solving the problem.
상기 병렬 고속분류기는 물체인식(Object Detection)을 수행하기 위해 테두리상자 조정(Bounding Box Coordinate)과 분류(Classification)를 동일 신경망 구조를 통해 동시에 실행하는 통합인식(Unified Detection) 심층 신경망 알고리즘에 의해 수행되는 것을 과제의 해결수단으로 한다.The parallel high-speed classifier is performed by a Unified Detection deep neural network algorithm that simultaneously executes Bounding Box Coordinate and Classification through the same neural network structure to perform object detection. as a means of solving the problem.
상기 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템은 ASIC(application specific integrated circuit) 또는 논리회로(AND, OR NAND gates)를 포함하는 프로그램과 이를 수행하기 위한 프로세서, 저장장치, 입력장치, 출력 장치를 포함하여 구성되는 것을 과제의 해결수단으로 한다.An intelligent image analysis system for improving object analysis accuracy by automatic object learning, verification and distribution based on the deep neural network algorithm is a program including an ASIC (application specific integrated circuit) or logic circuit (AND, OR NAND gates) and performing the same To be configured including a processor, a storage device, an input device, and an output device for the purpose of solving the problem.
본 발명에 따른 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템에 의하면 심층 신경망에 의해 여러 유형의 객체를 동시 다발적으로 인식할 수 있는 DNN 알고리즘을 적용하여 감시영역을 광역화함과 동시에 객체 인식 효율을 향상 시키고, 다중 객체 인식 일괄 처리 기술을 통해 다목적 성능을 발휘 할 수 있는 효과를 얻는다.According to the intelligent image analysis system for improving object analysis accuracy by automatic object learning, verification and distribution based on deep neural network algorithm according to the present invention, a DNN algorithm capable of recognizing multiple types of objects simultaneously by a deep neural network is applied Thus, the monitoring area is widened and the object recognition efficiency is improved, and multi-purpose performance can be achieved through the multi-object recognition batch processing technology.
또한, 딥러닝 기반의 기술을 통하여 감시 카메라로부터 인식된 객체 이미지에서 객체 검출을 수행하기 위해 객체의 종류와 위치를 추측하여 테두리상자(Bounding Box) 조정과 분류를 동일 신경망 구조에 의해 동시에 실행하여 단일 네트워크 환경에서 여러개의 테두리 상자에 대한 객체 확률 계산을 통해 해당 영역내의 객체에 대한 존재 유무 또는 유형별 객체 종류를 신속하고 정확하게 판별할 수 있는 효과가 있다.In addition, in order to perform object detection from the object image recognized by the surveillance camera through deep learning-based technology, the type and location of the object are guessed, and the adjustment and classification of the bounding box are simultaneously executed by the same neural network structure to make a single In a network environment, there is an effect that it is possible to quickly and accurately determine the existence of an object in the corresponding area or the type of object by type by calculating the object probability for several bounding boxes.
뿐만 아니라 객체 검출 데이터 정보를 수집하여 병렬 고속 분류기를 통해 학습 모델링 데이터를 분류하여 자동 학습을 통해 특징별 객체를 판단하고 판단된 객체 정보를 학습 모델링 데이터로 생성하여 자동 배포를 통해 객체 검출의 모델링 데이터로 활용하여 정형화된 학습 모델링 데이터가 아닌 설치 현장 객체 환경에 최적화된 모델링 데이터를 통해 객체 검출 및 판단에 정확도를 향상 시키는 효과가 있다.In addition, it collects object detection data information, classifies learning modeling data through a parallel high-speed classifier, determines objects by feature through automatic learning, generates the determined object information as learning modeling data, and automatically distributes modeling data for object detection It has the effect of improving the accuracy in object detection and judgment through modeling data optimized for the installation site object environment rather than the standardized learning modeling data.
도 1은 본 발명에 따른 영상 분석 시스템 전체 구성 블럭도,
도 2는 본 발명에 따른 객체검출 테두리상자 조정(Bounding Box Coordinate)과 분류(Classification)를 설명하는 사진
도 3은 본 발명에 따른 객체검출 테두리상자 조정(Bounding Box Coordinate)과 분류(Classification)를 설명하는 사진
도 4는 본 발명에 따른 객체검출 테두리상자 조정(Bounding Box Coordinate)과 분류(Classification)를 설명하는 사진1 is a block diagram of the overall configuration of an image analysis system according to the present invention;
Figure 2 is a picture explaining the object detection bounding box coordination (Bounding Box Coordinate) and classification (Classification) according to the present invention
3 is a picture for explaining the object detection bounding box coordination (Bounding Box Coordinate) and classification (Classification) according to the present invention;
Figure 4 is a picture explaining the object detection bounding box coordination (Bounding Box Coordinate) and classification (Classification) according to the present invention
이하에서는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예 및/또는 도면을 통하여 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예 및/또는 도면에 한정되지 않는다.Hereinafter, embodiments and/or drawings of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms, and is not limited to the embodiments and/or drawings described herein.
먼저, [도 1]에 도시된 바와 같이, 본 발명의 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템은, 감시카메라를 포함하는 엣지 디바이스 또는 상기 엣지 디바이스를 포함하는 네트워크를 통해 수집된 광역 영상 데이터를 입력받는 영상입력부(101)와, 최종 검출 목표 객체의 영상 데이터가 학습되어 모델링 저장된 학습 모델링 데이터 저장부(102)와, 상기 영상입력부(101)로부터 입력된 영상 데이터와 상기 학습 모델링 데이터 저장부(102)에 저장되어 있는 모델링 데이터를 대비 분석하여 검출 객체에 대한 영상 데이터와 검출 객체 유형 및 위치 정보를 포함하는 메타데이터를 생성하고, 검출 객체 유형에 대한 점수를 산출하여 특정 객체 데이터를 검출하는 오브젝트 디텍터(103)와, 상기 오브젝트 디텍터(103)를 통해 검출된 특정 객체 데이터를 데이터 처리부로 전송하는 검출 객체 데이터 송신부(104)와, 학습모델링데이터수신부(105)를 포함하여 구성되는 객체검출부(100)와; First, as shown in [Fig. 1], an intelligent image analysis system for improving object analysis accuracy by automatic object learning, verification and distribution based on a deep neural network algorithm of the present invention is an edge device including a surveillance camera or the edge An
상기 검출 객체 데이터 송신부(104)로부터 상기 특정 객체 데이터를 수신하는 검출객체 데이터 수신부(201)와, 상기 검출객체 데이터 수신부(201)에서 입력된 검출객체 데이터로부터 상기 오브젝트 디텍터(103)에서 산출된 검출 객체 유형에 대한 점수에 의해 객체유형별로 분류하는 클래스분류부(202)와, 클래스별 목표값이 설정입력되어 상기 클래스분류부(202)로부터 입력된 검출 객체 유형에 대한 점수를 상기 클래스별 목표값과 비교하여 목표치 미만의 데이터를 학습 데이터로 활용되도록 클래스별 학습 모델 분류부(204)로 전송하고, 목표치 이상의 데이터는 객체가 확정되었기 때문에 학습 데이터로 활용되지 않도록 삭제하는 클래스별 비교연산부(203)와, 상기 클래스별 비교연산부(203)로부터 입력된 목표치 미만의 데이터를 영상이미지와 라벨링데이터의 검출객체 데이터를 생성하여 class파일 기준으로 분류하는 클래스별 학습모델 분류부(204)와, 상기 클래스별 학습모델 분류부(204)에서 분류된 검출객체 데이터를 클래스별로 데이터셋으로 저장하는 클래스 데이터셋 저장부(205)와, 상기 클래스 데이터셋 저장부(205)로부터 입력된 데이터셋을 트레이닝부(207), 테스트부(208), 검증부(209) 학습 데이터로 분류하되, 상기 트레이닝부, 테스트부, 검증부 데이터는 각각 영상이미지, 라벨링데이터, 이미지 컴파일 설정 파라미터 cfg파일, 객체 유형 설정 class파일로 구성하여 분류하는 병렬고속분류기(206)를 포함하여 구성되는 데이터 처리부(200)와; A detection object
상기 데이터 처리부(200)의 병렬고속분류기(206)로부터 입력되는 트레이닝부, 테스트부, 검증부 데이터를 딥러닝 학습을 통해 각각 학습을 수행하되, 상기 트레이닝부 테이터는 학습엔진을 통해 객체를 분석하고, 상기 학습엔진에서 분석된 데이터와 상기 병렬고속분류기(206)로부터 입력되는 테스트부, 검증부 데이터를 분석하여 해당 검출객체 데이터에 대응하는 검출 객체 유형 점수 산출값을 산출하는 딥러닝 학습부(300)와; The training unit, the test unit, and the verification unit data input from the parallel high-
상기 딥러닝 학습부(300)를 통해 산출된 검출 객체 유형 점수 산출값을 상기 클래스별 비교연산부(203)에서 입력되는 상기 클래스별 목표값과 비교하여 상기 딥러닝 학습부(300)를 통해 산출된 검출 객체 유형 점수 산출값이 상기 클래스별 비교연산부(203)에서 입력되는 상기 클래스별 목표값 미만인 경우에는 상기 병렬고속분류기(206)로 피드백하여 재분류하고 상기 딥러닝 학습부(300)를 재수행하여 상기 검출 객체 유형 점수 산출값이 상기 클래스별 목표값을 초과할 때까지 검증을 수행하는 데이터 검증부(401)와, 상기 데이터 검증부(401)를 통해 검증된 검출 객체 유형 점수 산출값을 최종 검출 목표 객체 기준값과 비교하여 기준값 미만의 경우 모델링 데이터 스케줄러를 통해 학습모델링전송부(403) 및 상기 학습모델링데이터수신부(105)를 통해 상기 학습 모델링 데이터 저장부(102)로 배포하여 갱신등록하고, 기준값 초과의 경우 최종 검출 목표 객체의 영상 데이터로 출력하는 기준값 비교부(402)를 포함하여 구성되는 데이터검증배포부(400);를 포함하여 구성된다.The detection object type score calculated through the deep
이때, 상기 학습 모델링 데이터 저장부(102)에는 이미지 컴파일 설정 파라미터 cfg파일, 객체 유형 설정 class파일, 객체 산출을 위한 weight(가중치)파일 및 트레이닝 학습 목록 데이터가 저장되어 상기 오브젝트 디텍터(103)에서 검출 객체 유형 및 위치 정보를 포함하는 메타데이터를 생성하고, 검출 객체 유형에 대한 점수를 산출하여 특정 객체 데이터를 검출하도록 구성된다.At this time, the learning modeling
여기서, 상기 유형별 검출객체는 사람, 차량, 번호판을 포함하며, 건물 또는 기타 사물도 포함될 수 있음은 물론이다.Here, the detection object for each type includes a person, a vehicle, and a license plate, and of course, may also include a building or other object.
또한, 상기 병렬 고속분류기(206)는 물체인식(Object Detection)을 수행하기 위해 테두리상자 조정(Bounding Box Coordinate)과 분류(Classification)를 동일 신경망 구조를 통해 동시에 실행하는 통합인식(Unified Detection) 심층 신경망 알고리즘에 의해 수행된다.In addition, the parallel high-
즉, 머신러닝에서는 물체인식(Object Detection)은 특정이미지에서 테두리 상자(Bounding Box)를 통해 영역을 설정하고 해당 영역 내 물체의 존재 유무 또는 물체의 종류를 판별 하는 것이므로 물체인식(Object Detection)은 정확도 뿐만 아니라 신속성이 중요해지고 있는 추세이며, 기존 RCNN계열의 모델들은 일정 수준의 정확성은 있으나, 실제 적용하기에 신속성이 떨어지는 단점이 있는데, 즉, mAP: Mean Average Precision은 정확성이 있으나, 속도가 떨어지고, FPS: Frame Per Seconds는 속도는 빠르나 정확성이 떨어지는 단점이 있다.In other words, in machine learning, object detection is to set an area through a bounding box in a specific image and determine the presence or absence of an object or the type of object in the area, so object detection is accurate. In addition, speed is becoming more important, and the existing RCNN series models have a certain level of accuracy, but have a drawback in that they are not fast enough to be applied in practice. FPS: Frame Per Seconds is fast but has the disadvantage of low accuracy.
이에 따라, 이미지를 한 번 보는 것으로 객체의 종류와 위치를 추측하여 단일 네트워크를 통해 여러개의 테두리 상자(Bounding Box)에 대한 객체의 확률을 계산하는 물체인식(Object Detection)을 수행하기 위해 고안된 심층 신경망으로서, 테두리상자 조정(Bounding Box Coordinate)과 분류(Classification)를 동일 신경망 구조를 통해 동시에 실행하는 통합인식(Unified Detection)을 구현하는 딥러닝 네트워크기술이 개발되었다.Accordingly, a deep neural network designed to perform object detection, which estimates the type and location of an object by looking at an image once, and calculates the probability of an object for multiple bounding boxes through a single network As such, a deep learning network technology that implements Unified Detection that simultaneously executes Bounding Box Coordinate and Classification through the same neural network structure has been developed.
상기 딥러닝 네트워크기술은 이미지를 S*S개의 grid cell로 분할하고, 각 cell마다 하나의 객체 예측하며, Bounding Box를 통해 객체 위치 및 크기를 파악하여 그리드 별 테두리상자 정보, 신뢰 점수, 분류 클래스 확률을 산출한다.The deep learning network technology divides the image into S * S grid cells, predicts one object for each cell, and grasps the object location and size through the Bounding Box to determine bounding box information for each grid, confidence score, and classification class probability. to calculate
즉, [도 2]에 도시한 바와 같이, 이미지를 S*S개의 Grid로 나누고, 각 Grid cell은 B개의 Bounding Box와 각 Bounding Box에 대한 Confidence score를 가지며(만약 cell에 object가 존재하지 않으면 신뢰도 점수는 0), 각 Grid cell은 C개의 conditional class probability를 갖게 되며, 각각의 Bounding Box는 x,y,w,h,confidence로 구성된다.That is, as shown in [Fig. 2], the image is divided into S * S grids, and each grid cell has B Bounding Boxes and a Confidence score for each Bounding Box (if there is no object in the cell, the reliability The score is 0), each grid cell has C conditional class probabilities, and each bounding box is composed of x,y,w,h,confidence.
이때, (x,y)는 Bounding box의 중심점을 의미하며, grid cell의 범위에 대한 상대값이 입력되고, (w,h)는 전체 이미지의 width, height에 대한 상대값이 입력된다. At this time, (x,y) means the center point of the bounding box, relative values for the grid cell range are input, and (w,h) is input relative to the width and height of the entire image.
예를 들어, [도 3] 내지 [도 4]에 도시한 바와 같이, 만약 x가 grid cell의 가장 왼쪽에 있다면 x=0, y가 grid cell의 중간에 있다면 y=0.5, bbox의 width가 이미지 width의 절반이라면 w=0.5로 산출된다(Bounding Box - 테두리 상자, Confidence score - 신뢰도 점수)For example, as shown in [Fig. 3] to [Fig. 4], if x is the leftmost of the grid cell, x = 0, if y is in the middle of the grid cell, y = 0.5, the width of the bbox is the image If it is half the width, w=0.5 (Bounding Box - bounding box, Confidence score - confidence score)
한편, 본 발명은 하드웨어나 소프트웨어 사용에만 국한되지는 않으며, 다른 어떤 컴퓨팅 또는 처리 환경에 대해서도 적용 가능하다. 본 발명에서 설명하는 하드웨어, 소프트웨어 또는 하드웨어소프트웨어의 조합으로 구현될 수 있으며. 본 발명은 회로를 사용하여 구현될 수 있다. Meanwhile, the present invention is not limited to the use of hardware or software, and may be applied to any other computing or processing environment. It may be implemented by hardware, software, or a combination of hardware and software described in the present invention. The present invention can be implemented using circuits.
즉, 한 개 이상의 프로그램 가능한 논리회로, 즉 ASIC(application specific integrated circuit) 또는 논리회로(AND, OR NAND gates) 또는 프로세싱 장치(예를 들면 마이크로 프로세서, 컨트롤러)로 구현가능하다.That is, it may be implemented as one or more programmable logic circuits, that is, an application specific integrated circuit (ASIC) or logic circuits (AND, OR NAND gates) or a processing device (eg, a microprocessor, a controller).
또한, 본 발명은 프로그램 가능한 컴퓨터상에서 컴퓨터 프로그램으로 구현 가능하다. 이러한 컴퓨터는 프로세서, 저장장치, 입력장치, 출력 장치를 포함할 수 있다. 본 발명에서 설명한 내용을 구현하기 위해 프로그램 코드는 마우스 또는 키보드 입력장치로 입력될 수 있다. 이러한 프로그램들은 고차원적인 언어나, 객체지향적인 언어로 구현될 수 있다. 또한 어셈블리나 기계어 코드로 구현된 컴퓨터 시스템으로도 구현될 수 있다.In addition, the present invention can be implemented as a computer program on a programmable computer. Such a computer may include a processor, a storage device, an input device, and an output device. In order to implement the contents described in the present invention, the program code may be input with a mouse or keyboard input device. These programs can be implemented in a high-level language or an object-oriented language. It can also be implemented as a computer system implemented in assembly or machine code.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및/또는 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및/또는 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and a person skilled in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments and/or drawings disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to illustrate, and the scope of the technical spirit of the present invention is not limited by these embodiments and/or drawings. . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
100 : 객체검출부 101 : 영상입력부
102 : 학습 모델링 데이터 저장부 103 : 오브젝트 디텍터
104 : 검출 객체 데이터 전송부 105 : 학습 모델링 수신부
200 : 데이터 처리부 201 : 검출객체 데이터 수신부
202 : 클래스 분류부 203 : 클래스별 비교연산부
204 : 클래스별 학습 모델 분류부 205 : 클래스 데이터셋 저장부
206 : 병렬고속분류기 207 : 트레이닝부
208 : 테스트부 209 : 검증부
300 : 딥러닝 학습부 400 : 데이터검증배포부
401 : 데이터 검증부 402 : 기준값 비교부
403 : 학습 모델링 전송부100: object detection unit 101: image input unit
102: learning modeling data storage unit 103: object detector
104: detection object data transmitter 105: learning modeling receiver
200: data processing unit 201: detection object data receiving unit
202: class classification unit 203: class comparison operation unit
204: class-specific learning model classification unit 205: class dataset storage unit
206: parallel high-speed classifier 207: training unit
208: test unit 209: verification unit
300: deep learning learning unit 400: data verification distribution unit
401: data verification unit 402: reference value comparison unit
403: learning modeling transmission unit
Claims (5)
상기 검출 객체 데이터 송신부로부터 상기 특정 객체 데이터를 수신하는 검출객체 데이터 수신부와, 상기 검출객체 데이터 수신부에서 입력된 검출객체 데이터로부터 상기 오브젝트 디텍터에서 산출된 검출 객체 유형에 대한 점수에 의해 객체유형별로 분류하는 클래스분류부와, 클래스별 목표값이 설정입력되어 상기 클래스분류부로부터 입력된 검출 객체 유형에 대한 점수를 상기 클래스별 목표값과 비교하여 목표치 미만의 데이터를 학습 데이터로 활용되도록 클래스별 학습 모델 분류부로 전송하고, 목표치 이상의 데이터는 객체가 확정되었기 때문에 학습 데이터로 활용되지 않도록 삭제하는 클래스별 비교연산부와, 상기 클래스별 비교연산부로부터 입력된 목표치 미만의 데이터를 영상이미지와 라벨링데이터의 검출객체 데이터를 생성하여 class파일 기준으로 분류하는 클래스별 학습모델 분류부와, 상기 클래스별 학습모델 분류부에서 분류된 검출객체 데이터를 클래스별로 데이터셋으로 저장하는 클래스 데이터셋 저장부와, 상기 클래스 데이터셋 저장부로부터 입력된 데이터셋을 트레이닝부, 테스트부, 검증부 학습 데이터로 분류하되, 상기 트레이닝부, 테스트부, 검증부 데이터는 각각 영상이미지, 라벨링데이터, 이미지 컴파일 설정 파라미터 cfg파일, 객체 유형 설정 class파일로 구성하여 분류하는 병렬고속분류기를 포함하여 구성되는 데이터 처리부와;
상기 데이터 처리부의 병렬고속분류기로부터 입력되는 트레이닝부, 테스트부, 검증부 데이터를 딥러닝 학습을 통해 각각 학습을 수행하되, 상기 트레이닝부 테이터는 학습엔진을 통해 객체를 분석하고, 상기 학습엔진에서 분석된 데이터와 상기 병렬고속분류기로부터 입력되는 테스트부, 검증부 데이터를 분석하여 해당 검출객체 데이터에 대응하는 검출 객체 유형 점수 산출값을 산출하는 딥러닝 학습부와;
상기 딥러닝 학습부를 통해 산출된 검출 객체 유형 점수 산출값을 상기 클래스별 비교연산부에서 입력되는 상기 클래스별 목표값과 비교하여 상기 딥러닝 학습부를 통해 산출된 검출 객체 유형 점수 산출값이 상기 클래스별 비교연산부에서 입력되는 상기 클래스별 목표값 미만인 경우에는 상기 병렬고속분류기로 피드백하여 재분류하고 상기 딥러닝 학습부를 재수행하여 상기 검출 객체 유형 점수 산출값이 상기 클래스별 목표값을 초과할 때까지 검증을 수행하는 데이터 검증부와, 상기 데이터 검증부를 통해 검증된 검출 객체 유형 점수 산출값을 최종 검출 목표 객체 기준값과 비교하여 기준값 미만의 경우 모델링 데이터 스케줄러를 통해 학습모델링전송부 및 상기 학습 모델링 데이터 수신부를 통해 상기 학습 모델링 데이터 저장부로 배포하여 갱신등록하고, 기준값 초과의 경우 최종 검출 목표 객체의 영상 데이터로 출력하는 기준값 비교부를 포함하여 구성되는 데이터검증배포부;를 포함하여 구성되되,
상기 최종 검출 목표 객체유형은 사람, 차량, 번호판, 건물을 포함하여 구성되고,
상기 학습 모델링 데이터 저장부에는 이미지 컴파일 설정 파라미터 cfg파일, 객체 유형 설정 class파일, 객체 산출을 위한 weight(가중치)파일 및 트레이닝 학습 목록 데이터가 저장되어 상기 오브젝트 디텍터에서 검출 객체 유형 및 위치 정보를 포함하는 메타데이터를 생성하고, 검출 객체 유형에 대한 점수를 산출하여 특정 객체 데이터를 검출하도록 구성되며,
상기 병렬 고속분류기는 객체의 확률을 계산하기 위해 테두리상자 조정(Bounding Box Coordinate)과 분류(Classification)를 동일 신경망 구조를 통해 동시에 실행하는 통합인식(Unified Detection) 심층 신경망 알고리즘에 의해 수행되되, 상기 심층 신경망 알고리즘은 딥러닝 네트워크기술로서, 이미지를 S*S개의 grid cell로 분할하고, 각 cell마다 하나의 객체로 예측하며, Bounding Box를 통해 객체 위치 및 크기를 파악하여 그리드 별 테두리상자 정보, 신뢰 점수, 분류 클래스 확률을 산출하는 것을 특징으로 하는 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템
An edge device including a surveillance camera or an image input unit for receiving wide-area image data collected through a network including the edge device, a learning modeling data storage unit in which the image data of the final detection target object is learned and modeled, and the image; Image data input from the input unit and the modeling data stored in the learning modeling data storage unit are compared and analyzed to generate image data for the detection object and metadata including the detection object type and location information, and An object detector comprising: an object detector configured to calculate a score to detect specific object data; a detection object data transmitter configured to transmit specific object data detected through the object detector to a data processing unit; and a learning modeling data receiver;
A detection object data receiving unit for receiving the specific object data from the detection object data transmitting unit, and a score for the detection object type calculated by the object detector from the detection object data input from the detection object data receiving unit Classifying by object type Classifying a class classification unit and classifying a learning model for each class so that the target value for each class is set and the score for the detection object type input from the class classification unit is compared with the target value for each class, and data less than the target value is used as learning data A comparison operation unit for each class that transmits to the unit and deletes data above the target value so that it is not utilized as learning data because the object is confirmed, and the data less than the target value input from the comparison operation unit for each class Image image and detection object data of labeling data A learning model classification unit for each class that is generated and classified based on the class file; Classify the data set input from the training unit, test unit, and verification unit learning data, but the training unit, test unit, and verification unit data are image image, labeling data, image compilation setting parameter cfg file, object type setting class file, respectively. a data processing unit configured to include a parallel high-speed classifier configured to classify;
The training unit, the test unit, and the verification unit data input from the parallel high-speed classifier of the data processing unit are each learned through deep learning learning, but the training unit data analyzes the object through the learning engine and analyzes it in the learning engine a deep learning learning unit that analyzes the obtained data and the test unit and verification unit data input from the parallel high-speed classifier and calculates a detection object type score calculation value corresponding to the detection object data;
The detection object type score calculation value calculated through the deep learning learning unit by comparing the detection object type score calculation value calculated through the deep learning learning unit with the target value for each class input from the class-by-class comparison operation unit is compared for each class If it is less than the target value for each class input from the operation unit, it is fed back to the parallel high-speed classifier and reclassified, and the deep learning learning unit is re-performed to perform verification until the detection object type score calculation value exceeds the target value for each class a data verification unit that compares the detection object type score calculation value verified through the data verification unit with the final detection target object reference value, and if it is less than the reference value, through the modeling data scheduler, the learning modeling transmission unit and the learning modeling data receiving unit. A data verification distribution unit configured including a reference value comparison unit for distributing to the learning modeling data storage unit and registering the update, and outputting the image data of the final detection target object when the reference value is exceeded;
The final detection target object type is configured to include a person, a vehicle, a license plate, and a building,
The learning modeling data storage unit stores an image compilation setting parameter cfg file, an object type setting class file, a weight (weight) file for object calculation, and training learning list data, including object type and location information detected by the object detector is configured to generate metadata and calculate a score for a detection object type to detect specific object data;
The parallel high-speed classifier is performed by a Unified Detection deep neural network algorithm that simultaneously executes Bounding Box Coordinate and Classification through the same neural network structure to calculate the probability of an object. The neural network algorithm is a deep learning network technology that divides the image into S * S grid cells, predicts one object for each cell, and identifies the location and size of the object through the Bounding Box to determine the bounding box information for each grid, confidence score , intelligent image analysis system for improving object analysis accuracy by automatic learning, verification and distribution of objects based on deep neural network algorithm, characterized in that the classification class probability is calculated
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168277 | 2020-12-04 | ||
| KR20200168277 | 2020-12-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220079479A KR20220079479A (en) | 2022-06-13 |
| KR102448268B1 true KR102448268B1 (en) | 2022-09-28 |
Family
ID=81984183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210171924A KR102448268B1 (en) | 2020-12-04 | 2021-12-03 | Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102448268B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101879735B1 (en) | 2017-03-15 | 2018-07-18 | (주)넥셀 | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same |
| KR101935399B1 (en) | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102478335B1 (en) * | 2017-09-29 | 2022-12-15 | 에스케이텔레콤 주식회사 | Image Analysis Method and Server Apparatus for Per-channel Optimization of Object Detection |
| KR102108854B1 (en) | 2018-10-05 | 2020-05-12 | 재단법인대구경북과학기술원 | Real-time object detection method and apparatus by deep learning network model |
| KR101987618B1 (en) | 2019-02-26 | 2019-06-10 | 윤재민 | Vehicle license plate specific system applying deep learning-based license plate image matching technique |
| KR102073971B1 (en) | 2019-09-10 | 2020-02-05 | (주)서광시스템 | Vehicle enforcement system and method based on deep learning |
| KR102090907B1 (en) | 2019-10-15 | 2020-03-19 | 주식회사 넥스파시스템 | vehicle detection method and number cognition method using image enhancement and deep learning, and park systems using the method |
-
2021
- 2021-12-03 KR KR1020210171924A patent/KR102448268B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101879735B1 (en) | 2017-03-15 | 2018-07-18 | (주)넥셀 | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same |
| KR101935399B1 (en) | 2018-07-11 | 2019-01-16 | 주식회사 두원전자통신 | Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220079479A (en) | 2022-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9275289B2 (en) | Feature- and classifier-based vehicle headlight/shadow removal in video | |
| US9317752B2 (en) | Method for detecting large size and passenger vehicles from fixed cameras | |
| US8824742B2 (en) | Occupancy detection for managed lane enforcement based on localization and classification of windshield images | |
| US9014432B2 (en) | License plate character segmentation using likelihood maximization | |
| CN105469029B (en) | System and method for object re-identification | |
| US9552524B2 (en) | System and method for detecting seat belt violations from front view vehicle images | |
| US9514366B2 (en) | Vehicle detection method and system including irrelevant window elimination and/or window score degradation | |
| US9477892B2 (en) | Efficient method of offline training a special-type parked vehicle detector for video-based on-street parking occupancy detection systems | |
| Giannakeris et al. | Speed estimation and abnormality detection from surveillance cameras | |
| CN104303193A (en) | Clustering-based object classification | |
| CN110706261A (en) | Vehicle violation detection method and device, computer equipment and storage medium | |
| EP2860661A1 (en) | Mean shift tracking method | |
| CN109063790B (en) | Object recognition model optimization method and device and electronic equipment | |
| JP2005311691A (en) | Apparatus and method for detecting object | |
| Masmoudi et al. | Vision based system for vacant parking lot detection: Vpld | |
| CN111784744A (en) | Automatic target detection and tracking method based on video monitoring | |
| CN112562159A (en) | Access control method and device, computer equipment and storage medium | |
| CN111666848A (en) | Method, device and equipment for detecting arrival of transport vehicle and storage medium | |
| Soon et al. | Malaysian car number plate detection and recognition system | |
| CN117292338B (en) | Vehicle accident identification and analysis method based on video stream analysis | |
| WO2018173848A1 (en) | Object tracking system, intelligent imaging device, object feature quantity extraction device, object feature quantity extraction method, and recording medium | |
| CN111832349A (en) | Method and device for identifying error detection of carry-over object and image processing equipment | |
| Ghasemi et al. | A real-time multiple vehicle classification and tracking system with occlusion handling | |
| KR102448268B1 (en) | Intelligent image analysis system for accuracy enhancement of object analysis by auto learning, estimation and distribution of object based on Deep Neural Network Algorithm | |
| CN113761263A (en) | Similarity determination method and device and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |