KR20230075193A - Radar and camera fusion based vehicle recognition system - Google Patents

Radar and camera fusion based vehicle recognition system Download PDF

Info

Publication number
KR20230075193A
KR20230075193A KR1020210161544A KR20210161544A KR20230075193A KR 20230075193 A KR20230075193 A KR 20230075193A KR 1020210161544 A KR1020210161544 A KR 1020210161544A KR 20210161544 A KR20210161544 A KR 20210161544A KR 20230075193 A KR20230075193 A KR 20230075193A
Authority
KR
South Korea
Prior art keywords
radar
image
data
vehicle
unit
Prior art date
Application number
KR1020210161544A
Other languages
Korean (ko)
Other versions
KR102638711B1 (en
Inventor
신동진
황승연
염대선
나승인
Original Assignee
(주)노바코스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)노바코스 filed Critical (주)노바코스
Priority to KR1020210161544A priority Critical patent/KR102638711B1/en
Publication of KR20230075193A publication Critical patent/KR20230075193A/en
Application granted granted Critical
Publication of KR102638711B1 publication Critical patent/KR102638711B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a radar and a camera fusion-based vehicle recognition system, which can accurately recognize a vehicle by fusing camera image recognition technology capable of precisely classifying vehicle types through deep learning-based image processing and an advantage of radar capable of identifying a vehicle movement path and distinguishing the size of the vehicle even when a plurality of vehicles are recognized at the same time. The system comprises: a radar which projects a radar signal to a detection area and outputs the signal reflected from the vehicle in the detection area as a radar detection signal; a radar data processing unit which processes and refines the radar detection signal, extracts radar data, and detects and displays the vehicle; a camera image processing unit which extracts an image from images acquired by the camera, performs image labeling and classification processing, and detects the vehicle by processing the classified image data with a neural network model; a radar/image fusion unit which fuses the processed radar object information and image object information; and a vehicle recognition unit which processes the fused data with the detection neural network model and outputs a vehicle detection result.

Description

레이더와 카메라 융합 기반의 차량인식시스템{Radar and camera fusion based vehicle recognition system}Radar and camera fusion based vehicle recognition system {Radar and camera fusion based vehicle recognition system}

본 발명은 레이더와 카메라 융합 기반의 차량인식시스템에 관한 것으로, 특히 다수의 차량이 동시에 인식되더라도 차량의 이동 경로 파악이 가능하고 차량의 크기를 구분할 수 있는 레이더의 장점과 딥러닝 기반 영상 처리를 통해 차종을 정밀하게 분류할 수 있는 카메라 영상 인식 기술을 융합하여 정확하게 차량 인식이 가능하도록 한 레이더와 카메라 융합 기반의 차량인식시스템에 관한 것이다.The present invention relates to a radar and camera convergence-based vehicle recognition system. In particular, even if multiple vehicles are simultaneously recognized, the movement path of the vehicle can be grasped and the size of the vehicle can be distinguished through the advantages of radar and deep learning-based image processing. It relates to a radar and camera fusion-based vehicle recognition system that enables accurate vehicle recognition by converging camera image recognition technology that can accurately classify vehicle types.

일반적으로 자율주행 차량의 객체 인식, 도로의 교통을 감시하기 위해 레이더와 카메라 장비를 활용하여 차량을 인식하는 기술이 점차 증가하고 있다.In general, technology for recognizing vehicles by utilizing radar and camera equipment for object recognition of self-driving vehicles and monitoring traffic on the road is gradually increasing.

차량을 인식하기 위해서, 레이더와 카메라 장비가 많이 사용되는 데, 카메라는 2차원 영상을 도출하고, 레이더는 3차원 위치, 속도 등을 도출할 수 있어, 차량 인식에 많이 활용된다.In order to recognize a vehicle, radar and camera equipment are widely used. The camera derives a two-dimensional image, and the radar derives a three-dimensional position and speed, so it is widely used for vehicle recognition.

차량 인식을 위해 사용되는 장비들은 각기 다른 형태의 데이터를 도출하므로 개별적인 도출 정보를 이용하여 차량을 인식하는 데에는 한계가 있다.Since equipment used for vehicle recognition derives different types of data, there is a limit to vehicle recognition using individual derived information.

특히, 카메라 영상을 이용하여 차량을 인식하는 방법은, 야간/전천후 환경에서 발생하는 요인으로 인해 차량 인식에 한계가 있다.In particular, a vehicle recognition method using a camera image has limitations in vehicle recognition due to factors occurring in a night/all-weather environment.

따라서 서로 다른 형태의 데이터를 융합하여 차량을 인식하면 더욱 정밀하게 차량을 인식할 수 있으며, 이에 따라 서로 다른 형태의 데이터들을 하나로 융합하여 차량을 인식하는 융합 및 인식 기술이 요구되고 있다.Therefore, if the vehicle is recognized by converging different types of data, the vehicle can be recognized more precisely. Accordingly, a convergence and recognition technology for recognizing the vehicle by converging different types of data into one is required.

한편, 스쿨 존의 안전관리를 위해 종래에 객체 인식을 위해 제안된 기술이 하기의 <특허문헌 1> 에 개시되어 있다.Meanwhile, a technique conventionally proposed for object recognition for safety management of school zones is disclosed in <Patent Document 1> below.

<특허문헌> 에 개시된 종래기술은 영상센서와 무선 센서 네트워크를 이용한 상황인식 기반을 적용하여 스쿨 존 내에서의 영상을 모니터링하여 객체의 위치 및 추적하여 신속한 조치를 함으로써 범죄를 예방할 수 있는 스쿨존 안전관리 시스템을 제공한다.The prior art disclosed in <Patent Document> is a school zone safety that can prevent crime by applying a situational awareness base using an image sensor and a wireless sensor network to monitor images in the school zone to locate and track objects and take prompt action management system is provided.

이러한 종래기술은 카메라와 같은 영상 센서를 이용하여 영상 객체의 추적을 수행하는 방식으로서, 영상 센서만으로 객체를 정밀하게 검출하기에는 한계가 있다.This prior art is a method of tracking an image object using an image sensor such as a camera, and has limitations in precisely detecting the object only with the image sensor.

대한민국 등록특허 10-1372327호(2014.03.04. 등록)(스쿨존 안전관리 시스템 및 그 제공방법)Republic of Korea Patent No. 10-1372327 (registered on March 4, 2014) (School zone safety management system and its provision method)

따라서 본 발명은 상기와 같은 일반적인 카메라 또는 레이더를 단독으로 이용하여 차량을 인식할 때 발생하는 한계 및 종래기술에서 발생하는 한계를 해결하기 위해서 제안된 것으로서, 다수의 차량이 동시에 인식되더라도 차량의 이동 경로 파악이 가능하고 차량의 크기를 구분할 수 있는 레이더의 장점과 딥러닝 기반 영상 처리를 통해 차종을 정밀하게 분류할 수 있는 카메라 영상 인식 기술을 융합하여 정확하게 차량 인식이 가능하도록 한 레이더와 카메라 융합 기반의 차량인식시스템을 제공하는 데 그 목적이 있다.Therefore, the present invention is proposed to solve the limitations that occur when recognizing a vehicle using a general camera or radar alone as described above and the limitations that occur in the prior art, even if multiple vehicles are recognized at the same time, the movement path of the vehicle Radar and camera convergence-based technology that enables accurate vehicle recognition by converging the advantage of radar that can identify and distinguish the size of a vehicle and camera image recognition technology that can precisely classify vehicle types through deep learning-based image processing. Its purpose is to provide a vehicle recognition system.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "레이더와 카메라 융합 기반의 차량인식시스템"은,In order to achieve the above object, the "vehicle recognition system based on radar and camera fusion" according to the present invention,

레이더 신호를 감지 영역으로 투사하고 감지영역의 차량으로부터 반사된 신호를 레이더 검지 신호로 출력하는 레이더;a radar projecting a radar signal into a sensing area and outputting a signal reflected from a vehicle in the sensing area as a radar detection signal;

상기 레이더로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출하는 레이더 데이터 처리부;a radar data processor processing and refining a radar detection signal output from the radar, extracting radar data, and detecting and displaying a vehicle;

상기 감지 영역의 영상을 획득하는 카메라;a camera acquiring an image of the sensing area;

상기 카메라에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링 및 분류 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지하는 카메라 영상 처리부;a camera image processing unit extracting an image from the image acquired by the camera, labeling and classifying the image, and processing the classified image data into a neural network model to detect the vehicle;

상기 레이더 데이터 처리부에서 처리된 레이더 객체 정보와 상기 카메라 영상 처리부에서 처리된 영상 객체 정보를 융합시키는 레이더/영상 융합부; 및a radar/image fusion unit that fuses the radar object information processed by the radar data processing unit and the image object information processed by the camera image processing unit; and

상기 레이더/영상 융합부에서 융합된 매칭 데이터를 탐지 신경망 모델로 처리하여 차량 인식 결과를 출력하는 차량 인식부를 포함하는 것을 특징으로 한다.It is characterized in that it comprises a vehicle recognition unit that outputs a vehicle recognition result by processing matching data fused in the radar/image fusion unit with a detection neural network model.

또한, 본 발명에 따른 "레이더와 카메라 융합 기반의 차량인식시스템"은,In addition, the "vehicle recognition system based on radar and camera fusion" according to the present invention,

상기 차량 인식부에서 출력되는 레이더 및 영상 융합 인식 데이터, 원천 영상, 가공 데이터 셋, 학습 모델을 자율주행차량과 공공/민간 사이트를 공개해주는 레이더/카메라 융합 서비스부를 더 포함하는 것을 특징으로 한다.It may further include a radar/camera convergence service unit that discloses the radar and image convergence recognition data output from the vehicle recognition unit, source images, processed data sets, and learning models to autonomous vehicles and public/private sites.

상기에서 레이더 데이터 처리부는,In the above, the radar data processing unit,

상기 레이더에서 출력된 레이더 검지 신호를 레이더 로우 데이터로 수집하는 레이더 데이터 수집부;a radar data collection unit that collects radar detection signals output from the radar as radar raw data;

상기 레이더 데이터 수집부에서 수집한 레이더 로우 데이터를 가공 및 정체 처리하여 테이블 형태로 전처리하는 레이더 데이터 가공 및 정제부;a radar data processing and refinement unit for pre-processing the radar raw data collected by the radar data collection unit in the form of a table by processing and congestion processing;

상기 레이더 데이터 가공 및 정제부를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출하는 레이더 데이터 추출부;a radar data extraction unit extracting data used for radar vehicle detection and expression from the radar data preprocessed through the radar data processing and refinement unit;

상기 레이더 데이터 추출부에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량 감지를 하고, 감지한 차량 정보를 도로의 차선에 표출하는 객체 표출부를 포함하는 것을 특징으로 한다.An object display unit that detects a vehicle based on the size of the vehicle using attribute information of the radar data extracted on a time basis from the radar data extracted from the radar data extractor, and displays the detected vehicle information on the lane of the road. It is characterized by including.

상기에서 카메라 영상 처리부는,In the above, the camera image processing unit,

상기 카메라에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력하는 영상 데이터 수집부;an image data collection unit that collects image data captured by the camera, processes the collected image data into an image form that is sample data that can be used for a deep learning-based learning model, and outputs the image data;

상기 영상 데이터 수집부에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 차량의 이미지로 제공하는 이미지 추출부;an image extractor for extracting images frame by frame from the image data output from the image data collector and providing them as dynamic and static vehicle images required for learning;

상기 이미지 추출부에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장하는 이미지 라벨링 및 어노테이션부;The image provided by the image extraction unit is converted into a JPG format, and through the task of designating an Object ID for each vehicle to detect the converted image, the area of the vehicle is designated to label the image data, and the labeled image data is converted into XML format. an image labeling and annotation unit to store in a format;

상기 이미지 라벨링 및 어노테이션부를 통해 저장된 이미지 데이터를 신경망 모델로 처리하여, 카메라에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보를 출력하는 객체 탐지부를 포함하는 것을 특징으로 한다.and an object detection unit that processes image data stored through the image labeling and annotation unit with a neural network model, detects a vehicle from an image acquired by a camera, and outputs image object information.

상기에서 객체 탐지부는,In the above object detection unit,

Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축하는 신경망 모델 구축부;A neural network model building unit that builds a Yolo neural network model composed of a pretrained network and a training network;

상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할하고, 분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행하는 신경망 모델 학습부;In order to apply the image data labeled and annotated to the neural network model, it is divided into a training data set, a verification data set, and a test data set, and a verification data set from the classified data set is input to the completed Yolo neural network model. A neural network model learning unit that performs learning according to the neural network layer and hyperparameters;

상기 신경망 모델 학습부를 통해 생성되는 가중치 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장하여 가중치 파일을 생성하는 학습모델 및 가중치 파일 생성부;a learning model and weight file generation unit for generating a weight file by storing weight information in the weight file generated through the neural network model learning unit in a form in which weight values of actually learned neural network models are stored;

상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행하는 학습모델 검증부;a learning model verification unit that applies the verification data set generated through the classification of the data set to the learning model and re-learns a learning model that has not reached a target value to optimize the learning model;

상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인하는 정확도 평가부;an accuracy evaluation unit that applies the verification data set generated through the classification of the data set to a learning model and confirms whether or not an accuracy anomaly designated as a target value is recognized and detected;

상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 차량을 탐지하는 객체 탐지 모듈을 포함하는 것을 특징으로 한다.and an object detection module for detecting a vehicle by inputting image data to the optimized Yolo neural network learning model.

상기에서 레이더/영상 융합부는,In the above, the radar/image fusion unit,

카메라에서 추출된 이미지에서 차량의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선하고, 이미지를 2차원 형태의 좌표로 구성하여 카메라 영상 위치를 보정하는 과정, 레이더에서 출력된 레이더 데이터는 차량과 노이즈 데이터로 구분하여 타깃 대상을 설정하고, 레이더 데이터 Point X, Point Y를 통화 좌표로 구성하여 레이더 차량 대상을 감지하는 과정, 및 카메라와 레이더 데이터의 좌표축을 일치시킨 후 점 일치 및 하향식 방법을 사용하여 값의 오차를 줄이기 위한 보정을 수행하는 과정을 통해, 레이더와 카메라 차량을 융합하는 것을 특징으로 한다.In order to secure the visibility of the vehicle in the image extracted from the camera, maximum brightness processing is applied to improve the image quality, and the process of correcting the camera image position by composing the image into 2D coordinates, radar data output from the radar The process of setting the target target by dividing it into vehicle and noise data, configuring the radar data Point X and Point Y as currency coordinates to detect the radar vehicle target, and matching the coordinate axes of the camera and radar data, then point matching and top-down It is characterized in that the radar and the camera vehicle are fused through a process of performing correction to reduce the error of the value using the method.

상기에서 레이더/카메라 융합 서비스부는,In the above, the radar/camera fusion service unit,

상기 레이더 및 영상 융합 차량 데이터를 야간/전천후 환경에서도 정확도 높은 차량 인식률과 검출률을 갖는 차량 인식 데이터로 자율주행차량으로 제공하거나, 원천 영상 및 가공 데이터 셋 및 학습 모델을 공공 및 민간 사이트를 통해 공개해주는 것을 특징으로 한다.Provides the radar and image fusion vehicle data as vehicle recognition data with high accuracy and detection rate even in night/all-weather environments to autonomous vehicles, or discloses original image and processed data sets and learning models through public and private sites characterized by

본 발명에 따르면 레이더와 카메라를 통해 특정 영역의 차량 정보를 수집하고, 수집된 차량 정보를 레이더 및 영상 융합 알고리즘으로 매칭하여 차량의 인식률 및 검지율을 높일 수 있다.According to the present invention, vehicle information in a specific area is collected through a radar and a camera, and the collected vehicle information is matched with a radar and an image convergence algorithm to increase the recognition rate and detection rate of the vehicle.

또한, 인식률 및 검지율이 차량 인식 데이터 및 레이더와 카메라 융합 알고리즘을 공공/민간에 개방하여 인공지능 연구 및 서비스 개발에 활용되도록 도모해주며, 자율주행차량으로 전송하여 주행안전도를 확보할 수 있도록 도모해주는 효과도 있다.In addition, the recognition rate and detection rate promote the use of artificial intelligence research and service development by opening vehicle recognition data and radar and camera convergence algorithms to the public / private sector, and promote driving safety by transmitting to autonomous vehicles It has an effect.

도 1은 본 발명에 따른 레이더와 카메라 융합 기반의 차량인식시스템의 전체 구성도,
도 2는 도 1의 객체 탐지부의 실시 예 블록 구성도,
도 3은 추출된 레이더 데이터 예시도,
도 4는 레이더 데이터를 활용한 차량 감지 예시도,
도 5는 딥러닝 기반 차량 탐지 및 정확도 표출 방법 예시도,
도 6은 레이더와 카메라 융합 기반으로 차량을 인식하는 예시도이다.1 is an overall configuration diagram of a vehicle recognition system based on radar and camera fusion according to the present invention;
2 is a block diagram of an embodiment of the object detection unit of FIG. 1;
3 is an example of extracted radar data;
4 is an exemplary diagram of vehicle detection using radar data;
5 is an example of a deep learning-based vehicle detection and accuracy expression method;
6 is an exemplary diagram for recognizing a vehicle based on radar and camera convergence.

이하 본 발명의 바람직한 실시 예에 따른 레이더와 카메라 융합 기반의 차량인식시스템을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, a radar and camera fusion-based vehicle recognition system according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present invention described below should not be construed as being limited to a conventional or dictionary meaning, and the inventor may appropriately define the concept of the term in order to explain his/her invention in the best way. It should be interpreted as a meaning and concept consistent with the technical spirit of the present invention based on the principle that it can be.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents and equivalents that can replace them at the time of the present application It should be understood that variations may exist.

도 1은 본 발명의 바람직한 실시 예에 따른 레이더와 카메라 융합 기반의 차량인식시스템의 구성도로서, 레이더(110), 카메라(120), 레이더 데이터 처리부(130), 카메라 영상 처리부(140), 레이더/영상 융합(150), 차량 인식부(160), 레이더/카메라 융합 서비스부(170)를 포함할 수 있다.1 is a configuration diagram of a vehicle recognition system based on radar and camera convergence according to a preferred embodiment of the present invention, including a radar 110, a camera 120, a radar data processing unit 130, a camera image processing unit 140, and a radar /Image convergence 150, vehicle recognition unit 160, and radar/camera convergence service unit 170 may be included.

레이더(radar)(110)는 레이더 신호를 감지 영역으로 투사하고 감지영역의 차량으로부터 반사된 신호를 레이더 검지 신호로 레이더 데이터 처리부(130)로 출력하는 역할을 한다.The radar 110 serves to project a radar signal to a sensing area and output a signal reflected from a vehicle in the sensing area to the radar data processing unit 130 as a radar detection signal.

레이더 데이터 처리부(130)는 상기 레이더(110)로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출하는 역할을 한다.The radar data processor 130 processes and refines the radar detection signal output from the radar 110, extracts the radar data, and then detects and displays the vehicle.

이러한 레이더 데이터 처리부(130)는 상기 레이더(110)에서 출력된 레이더 검지 신호를 레이더 로우 데이터(Raw Signal)로 수집하는 레이더 데이터 수집부(131), 상기 레이더 데이터 수집부(131)에서 수집한 레이더 로우 데이터를 가공 및 정체 처리하여 테이블 형태로 전처리하는 레이더 데이터 가공 및 정제부(132), 상기 레이더 데이터 가공 및 정제부(132)를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출하는 레이더 데이터 추출부(133), 상기 레이더 데이터 추출부(133)에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량을 감지하고, 감지한 차량 정보를 도로의 차선에 표출하는 객체 표출부(134)를 포함한다.The radar data processor 130 includes a radar data collector 131 that collects the radar detection signal output from the radar 110 as radar raw data, and the radar collected by the radar data collector 131. Radar data processing and refinement unit 132 that processes raw data and pre-processes it in a table form Extracts data used for radar vehicle detection and expression from radar data pre-processed through the radar data processing and refinement unit 132 The radar data extractor 133 that detects the vehicle based on the size of the vehicle using the attribute information of the radar data extracted on the basis of time from the radar data extracted from the radar data extractor 133, An object display unit 134 for displaying vehicle information on a lane of the road is included.

카메라(120)는 상기 감지 영역의 영상을 획득하여 카메라 영상 처리부(140)에 전달하는 역할을 한다.The camera 120 serves to obtain an image of the detection area and transmit it to the camera image processing unit 140 .

카메라 영상 처리부(140)는 상기 카메라(120)에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링(labeling) 및 분류(Annotation) 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지하는 역할을 한다.The camera image processing unit 140 extracts an image from the image acquired by the camera 120, performs image labeling and classification processing, and processes the classified image data into a neural network model to design a vehicle. play a role in detection.

이러한 카메라 영상 처리부(140)는 상기 카메라(120)에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력하는 영상 데이터 수집부(141), 상기 영상 데이터 수집부(141)에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 객체의 이미지로 제공하는 이미지 추출부(142), 상기 이미지 추출부(142)에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장하는 이미지 라벨링 및 어노테이션부(143), 상기 이미지 라벨링 및 어노테이션부(143)를 통해 저장된 이미지 데이터를 딥러닝 기반 신경망 모델로 처리하여, 카메라(120)에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보를 출력하는 객체 탐지부(144)를 포함한다.The camera image processing unit 140 collects image data captured by the camera 120, processes the collected image data into an image form that is sample data that can be used for a deep learning-based learning model, and outputs image data. Collecting unit 141, image extracting unit 142 extracting images frame by frame from the image data output from the image data collecting unit 141 and providing them as images of dynamic and static objects required for learning, the image extracting unit The image provided in (142) is converted into a JPG format, and the image data is labeled by designating the area of the vehicle through the task of designating the Object ID for each vehicle to be detected for the converted image, and the labeled image data is formatted in XML format The image labeling and annotation unit 143 stored in , processing the image data stored through the image labeling and annotation unit 143 with a deep learning-based neural network model to detect the vehicle from the image acquired by the camera 120 and an object detection unit 144 outputting image object information.

상기 객체 탐지부(144)는 도 2에 도시한 바와 같이, Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축하는 신경망 모델 구축부(144a), 상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할하고, 분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행하는 신경망 모델 학습부(144b), 상기 신경망 모델 학습부(144b)를 통해 생성되는 가중치 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장하여 가중치 파일을 생성하는 학습모델 및 가중치 파일 생성부(144c), 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행하는 학습모델 검증부(144d), 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인하는 정확도 평가부(144e), 및 상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 차량을 탐지하는 객체 탐지 모듈(144f)을 포함한다.As shown in FIG. 2, the object detection unit 144 includes a neural network model building unit 144a that builds a Yolo neural network model composed of a pretrained network and a training network, and the image data labeled and annotated with the image data as the neural network model. A neural network model that is divided into a training data set, a verification data set, and a test data set in order to apply to the training data set, and inputs the verification data set from the classified data set to the Yolo neural network model that has been built to proceed with learning according to the neural network layer and hyperparameters. The learning unit 144b and the weight file generated through the neural network model learning unit 144b store weight information in a form in which the weight values of the actually learned neural network model are stored to create a learning model and weight file that creates a weight file. Unit 144c, a learning model verification unit 144d for optimizing the learning model by applying the verification data set generated through the classification of the data set to the learning model and relearning the learning model that has not reached the target value, the data set An accuracy evaluation unit 144e that applies the verification data set generated through classification to the learning model to determine whether or not an accuracy anomaly is recognized and detected as a target value, and image data is input into the optimized Yolo neural network learning model to detect the vehicle. It includes an object detection module 144f to detect.

레이더/영상 융합부(150)는 상기 레이더 데이터 처리부(130)에서 처리된 레이더 객체 정보와 상기 카메라 영상 처리부(140)에서 처리된 영상 객체 정보를 융합하는 역할을 한다.The radar/image fusion unit 150 serves to fuse the radar object information processed by the radar data processing unit 130 and the image object information processed by the camera image processing unit 140 .

차량 인식부(160)는 상기 레이더/영상 융합부(150)에서 융합된 매칭 데이터를 딥러닝 기반의 탐지 신경망 모델로 처리하여 차량 탐지 결과를 출력하는 역할을 한다.The vehicle recognition unit 160 serves to output a vehicle detection result by processing matching data fused in the radar/image fusion unit 150 with a deep learning-based detection neural network model.

레이더/카메라 융합 서비스부(170)는 상기 차량 인식부(160)에서 출력되는 레이더 및 영상 융합 차량 데이터를 차량 인식 데이터로 제공해주는 역할을 한다.The radar/camera convergence service unit 170 serves to provide radar and image convergence vehicle data output from the vehicle recognition unit 160 as vehicle recognition data.

이와 같이 구성된 본 발명의 바람직한 실시 예에 따른 레이더와 카메라 융합 기반의 차량인식시스템의 동작을 구체적으로 설명하면 다음과 같다.The operation of the vehicle recognition system based on the radar and camera fusion according to the preferred embodiment of the present invention configured as described above will be described in detail.

차량 감지용으로 설치된 레이더(radar)(110)는 레이더 신호를 미리 지정된 감지 영역으로 투사하고, 감지영역의 객체(차량)로부터 반사된 신호를 레이더 검지 신호로 레이더 데이터 처리부(130)로 출력한다.A radar 110 installed for detecting a vehicle projects a radar signal to a predetermined detection area, and outputs a signal reflected from an object (vehicle) in the detection area to the radar data processing unit 130 as a radar detection signal.

상기 레이더 데이터 처리부(130)는 상기 레이더(110)로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출한다.The radar data processing unit 130 processes and refines the radar detection signal output from the radar 110, extracts radar data, and detects and displays the vehicle.

즉, 레이더 데이터 처리부(130)의 레이더 데이터 수집부(131)는 상기 레이더(110)에서 출력된 레이더 검지 신호를 레이더 로우 데이터(Raw Signal)로 수집한다.That is, the radar data collection unit 131 of the radar data processing unit 130 collects the radar detection signal output from the radar 110 as radar raw data.

레이더 데이터 가공 및 정제부(132)는 상기 레이더 데이터 수집부(131)에서 수집한 레이더 로우 데이터(신호 형태)를 가공 및 정체 처리하여 테이블 형태로 전처리한다. 레이더 기기내 파싱 모듈(Radar Parsing Module)을 통해 테이블 형태로 변환된 로우 데이터의 신호를 수신받을 수 있는 서버의 목적지 IP를 설정하고 프로토콜을 이용하여 전송한다.The radar data processing and refinement unit 132 preprocesses the radar raw data (signal form) collected by the radar data collection unit 131 into a table form by processing and congestion processing. The destination IP of the server that can receive the signal of the raw data converted into a table through the parsing module in the radar device is set and transmitted using a protocol.

레이더 데이터 추출부(133)는 상기 레이더 데이터 가공 및 정제부(132)를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출한다. 여기서 추출된 레이더 데이터의 예시는 도 3과 같다.The radar data extraction unit 133 extracts data used for radar vehicle detection and expression from the radar data preprocessed through the radar data processing and refinement unit 132 . An example of radar data extracted here is shown in FIG. 3 .

추출된 데이터의 속성은 ID, Time, Lane, Point x, Point y, Velocity x, Velocity y, RCS로 구성된다.The attributes of the extracted data consist of ID, Time, Lane, Point x, Point y, Velocity x, Velocity y, and RCS.

여기서 ID는 차량의 고유 순번, Time은 차량이 탐지되었을 때 측정된 날짜와 시간, Lane는 차량이 탐지된 도로의 차선 번호, Point x는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 X 좌표 위치 값, Point y는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 Y 좌표 위치 값, Velocity x는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 X 좌표 속도 값, Velocity y는 레이더 기기 기준 2차원 형태의 좌표에서 차량이 탐지된 Y 좌표 속도 값, RCS(Radar Cross Section)는 레이더 반사 면적으로 감지된 차량이 레이더에 반사되어 측정되는 크기의 척도이다.Here, ID is the unique sequence number of the vehicle, Time is the measured date and time when the vehicle was detected, Lane is the lane number of the road where the vehicle was detected, and Point x is the X coordinate at which the vehicle was detected in the two-dimensional coordinates based on the radar device. Position value, Point y is the Y coordinate where the vehicle is detected at the 2D coordinates based on the radar device Position value, Velocity x is the X coordinate where the vehicle is detected at the 2D coordinates based on the radar device Speed value, Velocity y is the radar device The Y-coordinate speed value at which the vehicle is detected in the standard two-dimensional coordinates, RCS (Radar Cross Section), is a measure of the size of the vehicle detected as a radar cross section and reflected by the radar.

다음으로, 객체 표출부(134)는 상기 레이더 데이터 추출부(133)에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량을 감지하고, 감지한 차량 정보를 도로의 차선에 표출한다.Next, the object display unit 134 detects the vehicle based on the size of the vehicle using attribute information of the radar data extracted on the basis of time from the radar data extracted by the radar data extractor 133, and detects the vehicle. The vehicle information is displayed on the lane of the road.

즉, 감지된 차량의 시간을 기준으로 도로의 차선에 추출된 레이더 데이터의 속성인 ID, Time, Lane, Point x, Point y, Velocity x, Velocity y를 통해 차량의 크기에 따라 감지할 수 있는 차량의 종류인 6종(대형, 소형, 중형, 대형', 중형', 소형')에 대해서 RCS 값인 레이더 반사 면적을 이용하여 도 4와 같이 표출한다. 6종은 이륜차, 자동차, 트럭, 버스, 대형 트럭, 특수차 등을 포함할 수 있다.In other words, a vehicle that can be detected according to the size of the vehicle through ID, Time, Lane, Point x, Point y, Velocity x, and Velocity y, which are properties of radar data extracted on the lane of the road based on the time of the detected vehicle. For six types (large, small, medium, large', medium', small'), which are types of , are expressed as shown in FIG. 4 using the radar reflection area, which is the RCS value. Class 6 may include two-wheeled vehicles, cars, trucks, buses, heavy trucks, and special vehicles.

한편, 카메라(120)는 상기 감지 영역의 영상을 획득하여 카메라 영상 처리부(140)에 전달한다. 즉, 카메라(120)는 도로의 영상 데이터를 수집할 수 있는 곳을 사전 조사 후 도로의 표지판, 가로등, 신호등과 같은 다양한 장소에 설치되어 촬영을 통해 감지 영역의 영상을 획득한다.Meanwhile, the camera 120 acquires an image of the detection area and transmits it to the camera image processing unit 140 . That is, the camera 120 is installed in various places such as road signs, street lights, and traffic lights after pre-examination of places where image data of the road can be collected, and acquires images of the detection area through photography.

상기 카메라 영상 처리부(140)는 상기 카메라(120)에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링(labeling) 및 분류(Annotation) 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지한다.The camera image processing unit 140 extracts an image from the image acquired by the camera 120, performs image labeling and classification processing, and processes the classified image data into a neural network model to obtain a vehicle vehicle detect

예컨대, 카메라 영상 처리부(140)의 영상 데이터 수집부(141)는 상기 카메라(120)에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력한다. 즉, 높은 탐지율과 정확도를 위해 최소 10만 건 이상의 카메라 영상 데이터를 수집한다.For example, the image data collection unit 141 of the camera image processing unit 140 collects image data captured by the camera 120, and the collected image data is sample data that can be used for a deep learning-based learning model. It is processed and output in the form of an image. In other words, it collects at least 100,000 camera image data for high detection rate and accuracy.

이미지 추출부(142)는 상기 영상 데이터 수집부(141)에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 객체의 이미지로 제공한다.The image extraction unit 142 extracts images in units of frames from the image data output from the image data collection unit 141 and provides them as images of dynamic and static objects required for learning.

즉, 이미지 추출부(142)는 Python 프로그래밍 언어 기반 영상 처리 라이브러리 중 OpenCV를 활용하여 수집된 영상 데이터에서 프레임(Default: 30fps) 단위로 이미지를 추출한다. That is, the image extractor 142 extracts an image in units of frames (Default: 30 fps) from the collected image data using OpenCV among image processing libraries based on the Python programming language.

이어, 이미지 라벨링 및 어노테이션부(143)는 상기 이미지 추출부(142)에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 객체의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장한다.Subsequently, the image labeling and annotation unit 143 converts the image provided by the image extraction unit 142 into a JPG format, and designates an object area through an operation of designating an Object ID for each vehicle to be detected in the converted image. Image data is labeled, and the labeled image data is stored in an XML format.

여기서 이미지 라벨링 및 어노테이션 과정은 이미지의 의미를 확장하고, 메타데이터를 구성하여 고품질의 학습 데이터를 확보하는 과정이다. 라벨링 및 어노테이션에서 경계 상자(Bounding Box)로 그려지는 차량 종류는 6종으로 구성된다.Here, the image labeling and annotation process is a process of securing high-quality training data by expanding the meaning of images and constructing metadata. In labeling and annotation, vehicle types drawn as bounding boxes are composed of six types.

딥러닝 기반의 학습 모델인 Yolo 신경망 모델 학습을 위해 이미지에서 차량의 경계 상자를 표시하기 위한 오픈소스 기반 프로그램인 Yolo Mark를 활용한 라벨링 및 어노테이션을 수행한다.Labeling and annotation are performed using Yolo Mark, an open source-based program for displaying the bounding box of a vehicle in an image to train the Yolo neural network model, which is a deep learning-based learning model.

추출한 이미지를 대상으로 JPG 형태로 변환한 후 이미지를 불러와 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 데이터를 라벨링할 수 있다.Data can be labeled by designating the area of the vehicle by converting the extracted image into a JPG format, loading the image, and designating the Object ID for each vehicle to be detected.

유명한 이미지 라벨링 도구로 Object Detection 학습을 위해 영상에서 Bounding Box를 지정하여 라벨링을 수행하고, Bounding Box 정보들을 XML 형태의 포맷으로 저장한다. Python 및 Pyqt 기반의 프로그램을 이용할 수 있다.As a famous image labeling tool, labeling is performed by designating a bounding box in an image for object detection learning, and the bounding box information is saved in an XML format. Programs based on Python and Pyqt are available.

어노테이션 파일 저장 방식은 Object Detection Dataset 중 하나인 PASCAL VOC 포맷을 사용할 수 있다. XML 파일 안에는 수많은 태그(Tag) 들이 존재하지만, Object Detection 모델을 학습하기 위해 사용되는 태그들은 정해져 있다.The annotation file storage method can use the PASCAL VOC format, one of Object Detection Dataset. There are numerous tags in the XML file, but the tags used to learn the Object Detection model are fixed.

다음으로, 객체 탐지부(144)는 상기 이미지 라벨링 및 어노테이션부(143)를 통해 저장된 이미지 데이터를 신경망 모델로 처리하여, 카메라(120)에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보로 출력한다.Next, the object detection unit 144 processes the image data stored through the image labeling and annotation unit 143 into a neural network model, detects the vehicle from the image acquired by the camera 120, and outputs it as image object information. do.

즉, 객체 탐지부(144)의 신경망 모델 구축부(144a)는 Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축한다. XML 파일 안에는 수많은 태그(Tag)들이 존재하지만, Object Detection 모델을 학습하기 위해 사용되는 태그들은 정해져 있다. That is, the neural network model construction unit 144a of the object detection unit 144 builds a Yolo neural network model composed of a pretrained network and a training network. There are numerous tags in the XML file, but the tags used to learn the Object Detection model are fixed.

Pretrained Network는 GoogLeNet Layer를 이용하여 ImageNet 1000 - class Dataset를 사전에 학습한 결과를 저장하고 있는 레이어이다.The Pretrained Network is a layer that stores the results of pre-learning the ImageNet 1000-class Dataset using the GoogLeNet Layer.

Training Network는 Pretrained Network에서 학습한 특징을 이용하여 클래스 확률(Class probability)과 경계 상자(Bounding box)를 학습하고 예측하는 레이어이다.The training network is a layer that learns and predicts class probabilities and bounding boxes using features learned from the pretrained network.

Yolo 신경망 모델의 하이퍼 파라미터로 설정할 수 있는 값들은 객체를 감지할 클래스 개수, 학습률(Learning Rate), 손실 함수(Cost Function), 활성화함수(Activation Function)를 설정할 수 있다.Values that can be set as hyperparameters of the Yolo neural network model include the number of classes to detect objects, learning rate, cost function, and activation function.

여기서 클래스 개수는 신경망 모델을 통해 탐지할 차량의 개수, 학습률은 신경망 모델이 확률적 경사 하강법(SGD: Stochastic Gradient Descent)을 이용하여 오차를 줄여나갈 때 필요한 학습 비율, 활성화 함수는 레이어에 구성되어 있는 노드에서 다음 레이어의 노드로 이동할 때 사용하며, 클래스로 분류될 확률에 필요한 연산의 오차를 줄이는 비선형 함수를 각각 나타낸다.Here, the number of classes is the number of vehicles to be detected through the neural network model, the learning rate is the learning rate required when the neural network model uses Stochastic Gradient Descent (SGD) to reduce errors, and the activation function is composed of layers. It is used when moving from a node to a node of the next layer, and represents a nonlinear function that reduces the error of calculation required for the probability of being classified into a class.

Yolo 신경망 모델의 신경망 모델을 학습하고, 검증 데이터 셋을 이용하여 학습 모델을 검증하고 정확도를 평가하고, 낮은 수치가 측정되면 히든 레이어의 개수 및 하이퍼 파라미터를 조정하여 최적화하는 과정이 필요하다.It is necessary to train the neural network model of the Yolo neural network model, verify the learning model using the validation data set, evaluate the accuracy, and adjust the number of hidden layers and hyperparameters to optimize if low values are measured.

이어, 신경망 모델 학습부(144b)는 상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할한다. 전체 라벨링된 어노테이션 이미지 데이터 중 15%를 테스트 데이터 셋에 할당하고(1차 분할), 다음 나머지 85% 중 70%를 훈련 데이터 셋에 사용하며(2차 분할), 나머지 15%를 검증 데이터 셋에 할당한다(3차 분할). 여기서 중요한 사항은 데이터를 무작위로 나누어야 하며, 무작위가 아닌 방법으로 데이터를 나누면(예를 들어, 순서대로 상위 70%를 훈련 데이터 셋에 사용) 편향된 훈련 데이터 셋과 테스트 데이터 셋이 구성되고, 가령 시간 순서대로 저장된 원본 데이터의 상위 70%를 훈련 데이터 셋으로 사용하면, 모델이 특정 날짜만 학습하게 되어 편향이 커지고 탐지 정확도가 낮게 측정된다.Next, the neural network model learning unit 144b divides the image data on which the image labels and annotations are made into a training data set, a verification data set, and a test data set in order to apply the image data to the neural network model. 15% of the total labeled annotation image data is allocated to the test data set (first split), then 70% of the remaining 85% is used for the training data set (second split), and the remaining 15% is used for the validation data set. Allocate (third division). An important point here is that the data must be randomly divided, and if the data is divided in a non-random way (e.g. using the top 70% of the order for the training data set), a biased training and test data set is constructed, e.g. If the top 70% of the original data stored in order is used as a training data set, the model only learns on specific dates, resulting in large bias and low detection accuracy.

분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행한다.In the classified data set, the verification data set is input to the Yolo neural network model that has been built, and learning is performed according to the neural network layer and hyperparameters.

이어, 학습 모델 및 가중치 파일 생성부(144c)는 상기 신경망 모델 학습부(144b)를 통해 생성되는 가중치(weights) 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장한다. 모델 검증 및 정확도가 낮은 경우, 저장된 가중치 파일을 통해 재학습할 수 있으며, 학습된 이미지의 개수가 부족하여 이미지 라벨링 및 어노테이션 작업을 다시 수행하더라도 체크포인트(Checkpoint) 기능을 지니고 있어, 학습이 완료되었던 부분부터 추가 학습을 수행할 수 있기 때문에 빠른 속도로 모델 재학습이 가능하다.Next, the learning model and weight file generation unit 144c stores weight information in the weights file generated by the neural network model learning unit 144b in the form of storing the weight values of the actually learned neural network model. When the model validation and accuracy are low, it can be re-learned through the saved weight file, and even if the number of trained images is insufficient and image labeling and annotation work are performed again, it has a checkpoint function, so that learning is completed. Since additional learning can be performed from the part, it is possible to re-learn the model at a high speed.

다음으로, 학습모델 검증부(144d)는 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행한다.Next, the learning model verification unit 144d applies the verification data set generated through the classification of the data set to the learning model, re-learns the learning model that has not reached the target value, and optimizes the learning model.

아울러 정확도 평가부(144e)는 상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인한다.In addition, the accuracy evaluation unit 144e applies the verification data set generated through the classification of the data set to the learning model to confirm whether or not an accuracy anomaly is recognized and detected as a target value.

마지막으로, 객체 탐지모듈(144f)은 상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 객체를 탐지한다. Finally, the object detection module 144f detects an object by inputting image data to the optimized Yolo neural network learning model.

즉, 학습이 완료된 신경망 모델에 영상 데이터를 입력하여 6종의 차량을 탐지하고, 해당 차량이 6종 중 어떤 클래스에 포함되는지에 대한 정확도를 표출한다(IOU). 도 5는 Yolo 신경망 모델을 이용하여 차량 탐지 및 정확도를 표출한 예시이다.That is, image data is input into the trained neural network model to detect six types of vehicles, and the accuracy of which class the vehicle is included in is expressed (IOU). 5 is an example of expressing vehicle detection and accuracy using the Yolo neural network model.

IOU(Intersection Over Union)는 도 5의 하단 파란색과 빨간색으로 이루어진 예측 박스(합집합)와 상단 하얀색과 빨간색으로 이루어진 정답 박스(교집합)의 차이를 계산하여 정답확률을 예측한다. 이를 수식으로 표현하면 다음과 같다.Intersection Over Union (IOU) predicts the probability of correct answer by calculating the difference between the lower blue and red prediction box (union) and the upper white and red correct answer box (intersection) in FIG. 5 . Expressing this as a formula is:

Figure pat00001
Figure pat00001

예측한 차량에 대한 정보를 가지는 Bounding box와 정답 Box의 IOU를 통해서 임계 값(threshold)이 0.5 이상일 경우 일치하는 차량으로 판단한다.Through the Bounding box with information about the predicted vehicle and the IOU of the answer box, if the threshold is over 0.5, it is determined as a matched vehicle.

임계값이 높을수록 정답과 일치함을 의미하는데 기준 임계값을 너무 높게 한다면 검출률이 낮아지기 때문에 적당한 임계 값을 설정하는 것이 중요하다.The higher the threshold value, the more consistent with the correct answer. If the reference threshold value is too high, the detection rate will decrease, so it is important to set an appropriate threshold value.

이렇게 탐지된 영상 객체 데이터는 레이더/영상 융합부(150)에 전달한다.The detected image object data is transmitted to the radar/image fusion unit 150.

상기 레이더/영상 융합부(150)는 상기 레이더 데이터 처리부(130)에서 처리된 레이더 객체 정보와 상기 카메라 영상 처리부(140)에서 처리된 영상 객체 정보를 융합한다.The radar/image fusion unit 150 fuses the radar object information processed by the radar data processing unit 130 and the image object information processed by the camera image processing unit 140 .

여기서 레이더 데이터 및 영상 객체 데이터를 융합하는 방법은 3단계로 이루어진다.Here, the method of fusing radar data and image object data is performed in three steps.

1단계로서 카메라에서 추출된 이미지에서 객체의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선하고, 이미지를 도 6의 좌측 도면과 같이 2차원 형태의 좌표(X, Y)로 투영하고, 영상 처리의 라벨링 및 어노테이션 과정을 통해 생성된 메타 데이터의 차량크기인 Xwidth와 Yheight를 계산하여 분류할 클래스의 크기를 계산하며, 이를 수식으로 표현하면 다음과 같다.As a first step, in order to secure the visibility of the object in the image extracted from the camera, the image quality is improved by applying maximum brightness processing, and the image is projected into two-dimensional coordinates (X, Y) as shown in the left drawing of FIG. And, the size of the class to be classified is calculated by calculating the X width and Y height , which are the vehicle sizes of the meta data generated through the labeling and annotation process of image processing.

Figure pat00002
Figure pat00002

2단계로서 레이더로 측정한 데이터는 6종에 해당하는 차량과 이외 노이즈(Noise) 데이터로 구분하여 타깃 대상을 설정하고, 도 6의 우측 도면과 같이 추출된 레이더 데이터 Point X, Point Y를 통해 좌표(X, Y)와 RCS 값으로 구성하여 레이더 차량을 감지한다. 이를 수식으로 표현하면 다음과 같다.In the second step, the data measured by the radar is divided into six types of vehicles and other noise data, and the target is set, and the coordinates through the extracted radar data Point X and Point Y as shown in the right drawing of FIG. It is configured with (X, Y) and RCS values to detect radar vehicles. Expressing this as a formula is:

Figure pat00003
Figure pat00003

3단계로서 카메라 켈리브레이션 데이터 셋과 레이더 검지 데이터 셋의 값 범위를 0 ~ 1 사이로 정규화를 실시하고, 레이더/카메라의 좌표와 카메라 영상 위치 보정을 통해 계산된 Class Size와 레이더 차량 검지에서 발생하는 RCS 값의 임계 오차 값을 지정 및 계산한다. 이를 수식으로 표현하면 다음과 같다.As the third step, the value range of the camera calibration data set and the radar detection data set is normalized between 0 and 1, and the class size calculated through the coordinates of the radar/camera and the camera image position correction and the RCS value generated from radar vehicle detection Specify and calculate the critical error value of Expressing this as a formula is:

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

Figure pat00006
Figure pat00006

아울러 차량 인식부(160)는 상기 레이더/영상 융합부(150)에서 융합된 매칭 데이터를 탐지 신경망 모델로 처리하여 차량 인식 결과를 출력한다.In addition, the vehicle recognition unit 160 processes the matching data fused in the radar/image fusion unit 150 into a detection neural network model and outputs a vehicle recognition result.

다음으로, 레이더/카메라 융합 서비스부(170)는 상기 차량 인식부(160)에서 출력되는 레이더 및 영상 융합 차량 데이터 및 학습 모델을 공공/민간 부분 및 자율주행 차량 등에 제공해준다.Next, the radar/camera convergence service unit 170 provides radar and image convergence vehicle data and learning models output from the vehicle recognition unit 160 to public/private sectors and autonomous vehicles.

즉, 레이더 및 영상 융합 차량 데이터를 야간/전천후 환경에서도 정확도 높은 객체 인식률과 검출률을 갖는 차량 인식 데이터로 자율주행차량으로 제공하거나, 원천 영상 및 가공 데이터 셋 및 학습 모델을 공공 및 민간 사이트를 통해 공개해줄 수 있다.That is, radar and image convergence vehicle data are provided to autonomous vehicles as vehicle recognition data with high object recognition rate and detection rate even in night/all-weather environments, or original image and processed data sets and learning models are disclosed through public and private sites. can do it

자율주행 자동차 개발 및 상용화에서 주행안전도 확보가 가장 중요한 요소이다. 이를 위해 전방 및 주행차량 주변에 존재하는 다양한 정적/동적 객체의 인식과 검출 성능을 고도화 및 최적화하기 위한 AI, 빅데이터 기반 알고리즘 개발 등이 가속화되고 있다. 특히, 레이더, 카메라 융합 기술을 통해 야간/전천후 환경에서도 정확도 높은 차량 인식률과 검출률을 제공함으로써, 더 안전한 자율 주행 AI 기술을 실현할 수 있다. 주행 중 차량/보행자 관련 특수상황의 데이터를 대규모로 수집/정제/가공 등의 과정을 통해 자율주행차 관련 국내 중소·벤처·스타트업의 기술개발 촉진, 인공지능 산업육성, 데이터 기반 신서비스 사업모델 발굴 등 산업 경쟁력 강화를 위한 지원이 가능하다.Securing driving safety is the most important factor in the development and commercialization of autonomous vehicles. To this end, the development of AI and big data-based algorithms to advance and optimize the recognition and detection performance of various static/dynamic objects that exist in front and around the vehicle is being accelerated. In particular, safer self-driving AI technology can be realized by providing highly accurate vehicle recognition and detection rates even in night/all-weather environments through radar and camera convergence technology. Through the process of collecting/refining/processing data on special situations related to vehicles/pedestrians while driving on a large scale, promoting technology development of domestic small and medium-sized ventures/startups related to self-driving cars, fostering the artificial intelligence industry, and data-based new service business models Support for strengthening industrial competitiveness such as discovery is possible.

아울러 산출되는 원천 영상, 가공 데이터 셋, 학습모델 등을 공공/민간 사이트를 통해 공개함으로써, 인공지능 연구 및 서비스 개발 등에 자유롭게 활용될 수 있도록 기여할 수 있다.In addition, by disclosing the generated source images, processed data sets, learning models, etc. through public/private sites, it can contribute to free use in artificial intelligence research and service development.

특히, 데이터 활용성이 높아질 수 있도록 개방하는 데이터 셋의 개인 식별화 문제를 해소하여 관련 신기술 및 서비스 개발 확산에 기여할 수 있다.In particular, it can contribute to the development of related new technologies and services by resolving the problem of personal identification of open data sets so that the usability of data can be increased.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.Although the invention made by the present inventors has been specifically described according to the above embodiments, the present invention is not limited to the above embodiments, and it is common knowledge in the art that various changes can be made without departing from the gist of the present invention. It is self-evident to those who have

110: 레이더
120: 카메라
130: 레이더 데이터 처리부
131: 레이더 데이터 수집부
132: 레이더 데이터 가공 및 정제부
133: 레이더 데이터 추출부
134: 객체 표출부
140: 카메라 영상 처리부
141: 영상 데이터 수집부
142: 이미지 추출부
143: 이미지 라벨링 및 어노테이션부
144: 객체 탐지부
150: 레이더/영상 융합부
160: 차량 인식부
170: 레이더/카메라 융합 서비스부110: radar
120: camera
130: radar data processing unit
131: radar data collection unit
132: radar data processing and refinement unit
133: radar data extraction unit
134: object expression unit
140: camera image processing unit
141: image data collection unit
142: image extraction unit
143: image labeling and annotation unit
144: object detection unit
150: radar/image fusion unit
160: vehicle recognition unit
170: Radar/Camera Convergence Service Department

Claims (9)

레이더와 카메라 융합 기반으로 차량을 인식하기 위한 시스템으로서,
레이더 신호를 감지 영역으로 투사하고 감지영역의 차량으로부터 반사된 신호를 레이더 검지 신호로 출력하는 레이더;
상기 레이더로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 차량을 감지 및 표출하는 레이더 데이터 처리부;
상기 감지 영역의 영상을 획득하는 카메라;
상기 카메라에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링 및 분류 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 차량을 탐지하는 카메라 영상 처리부;
상기 레이더 데이터 처리부에서 처리된 레이더 차량 정보와 상기 카메라 영상 처리부에서 처리된 영상 차량 정보를 융합하는 레이더/영상 융합부; 및
상기 레이더/영상 융합부에서 융합된 매칭 데이터를 탐지 신경망 모델로 처리하여 차량 탐지 결과를 출력하는 차량 인식부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
A system for recognizing a vehicle based on radar and camera fusion,
a radar projecting a radar signal into a sensing area and outputting a signal reflected from a vehicle in the sensing area as a radar detection signal;
a radar data processor processing and refining a radar detection signal output from the radar, extracting radar data, and detecting and displaying a vehicle;
a camera acquiring an image of the sensing area;
a camera image processing unit extracting an image from the image acquired by the camera, labeling and classifying the image, and processing the classified image data into a neural network model to detect the vehicle;
a radar/image fusion unit that fuses the radar vehicle information processed by the radar data processing unit and the image vehicle information processed by the camera image processing unit; and
A vehicle recognition system based on radar and camera fusion, characterized in that it comprises a vehicle recognition unit for processing the matching data fused in the radar/image fusion unit with a detection neural network model and outputting a vehicle detection result.
 청구항 1에서, 상기 차량 인식부에서 출력되는 레이더 및 영상 융합 차량 데이터, 원천 영상, 가공 데이터 셋, 학습 모델을 자율주행차량과 공공/민간 사이트를 공개해주는 레이더/카메라 융합 서비스부를 더 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
The method of claim 1, further comprising a radar/camera convergence service unit that discloses radar and image convergence vehicle data, source images, processed data sets, and learning models output from the vehicle recognition unit to autonomous vehicles and public/private sites. A vehicle recognition system based on radar and camera convergence.
 청구항 1에서, 상기 레이더 데이터 처리부는,
상기 레이더에서 출력된 레이더 검지 신호를 레이더 로우 데이터로 수집하는 레이더 데이터 수집부;
상기 레이더 데이터 수집부에서 수집한 레이더 로우 데이터를 가공 및 정체 처리하여 테이블 형태로 전처리하는 레이더 데이터 가공 및 정제부;
상기 레이더 데이터 가공 및 정제부를 통해 전처리된 레이더 데이터에서 레이더 차량 감지 표출에 활용되는 데이터를 추출하는 레이더 데이터 추출부; 및
상기 레이더 데이터 추출부에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 차량의 크기를 기초로 차량을 감지하고, 감지한 차량 정보를 도로의 차선에 표출하는 객체 표출부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
In claim 1, the radar data processing unit,
a radar data collection unit that collects radar detection signals output from the radar as radar raw data;
a radar data processing and refinement unit for pre-processing the radar raw data collected by the radar data collection unit in the form of a table by processing and congestion processing;
a radar data extraction unit extracting data used for radar vehicle detection and expression from the radar data preprocessed through the radar data processing and refinement unit; and
An object displaying unit that detects a vehicle based on the size of the vehicle using attribute information of the radar data extracted on the basis of time from the radar data extracted from the radar data extraction unit, and displays the detected vehicle information on the lane of the road. Vehicle recognition system based on radar and camera fusion, characterized in that it comprises.
 청구항 1에서, 상기 카메라 영상 처리부는,
상기 카메라에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력하는 영상 데이터 수집부;
상기 영상 데이터 수집부에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 차량의 이미지로 제공하는 이미지 추출부;
상기 이미지 추출부에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 차량별로 Object ID를 지정하는 작업을 통해 차량의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장하는 이미지 라벨링 및 어노테이션부; 및
상기 이미지 라벨링 및 어노테이션부를 통해 저장된 이미지 데이터를 신경망 모델로 처리하여, 카메라에 의해 획득한 영상으로부터 차량을 탐지하여 영상 객체 정보를 출력하는 객체 탐지부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
The method of claim 1, wherein the camera image processing unit,
an image data collection unit that collects image data captured by the camera, processes the collected image data into an image form that is sample data that can be used for a deep learning-based learning model, and outputs the image data;
an image extractor for extracting images frame by frame from the image data output from the image data collector and providing them as dynamic and static vehicle images required for learning;
The image provided by the image extraction unit is converted into a JPG format, and through the task of designating an Object ID for each vehicle to detect the converted image, the area of the vehicle is designated to label the image data, and the labeled image data is converted into XML format. an image labeling and annotation unit to store in a format; and
and an object detection unit that processes the image data stored through the image labeling and annotation unit with a neural network model, detects the vehicle from the image acquired by the camera, and outputs image object information. recognition system.
 청구항 4에서, 상기 객체 탐지부는,
Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축하는 신경망 모델 구축부;
상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할하고, 분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행하는 신경망 모델 학습부;
상기 신경망 모델 학습부를 통해 생성되는 가중치 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장하여 가중치 파일을 생성하는 학습모델 및 가중치 파일 생성부;
상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행하는 학습모델 검증부;
상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인하는 정확도 평가부; 및
상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 차량을 탐지하는 객체 탐지 모듈을 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
In claim 4, the object detection unit,
A neural network model building unit that builds a Yolo neural network model composed of a pretrained network and a training network;
In order to apply the image data labeled and annotated to the neural network model, it is divided into a training data set, a verification data set, and a test data set, and a verification data set from the classified data set is input to the completed Yolo neural network model. A neural network model learning unit that performs learning according to the neural network layer and hyperparameters;
a learning model and weight file generation unit for generating a weight file by storing weight information in the weight file generated through the neural network model learning unit in a form in which weight values of actually learned neural network models are stored;
a learning model verification unit that applies the verification data set generated through the classification of the data set to the learning model and re-learns a learning model that has not reached a target value to optimize the learning model;
an accuracy evaluation unit that applies the verification data set generated through the classification of the data set to a learning model and confirms whether or not an accuracy anomaly designated as a target value is recognized and detected; and
A vehicle recognition system based on radar and camera fusion, characterized in that it comprises an object detection module for detecting a vehicle by inputting image data to the optimized Yolo neural network learning model.
 청구항 1에서, 상기 레이더/영상 융합부는,
카메라에서 추출된 이미지에서 객체의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선하고, 이미지를 2차원 형태의 좌표(X, Y)로 투영하고, 영상 처리의 라벨링 및 어노테이션 과정을 통해 생성된 메타 데이터의 차량크기인 Xwidth와 Yheight를 아래의 수식으로 계산하여 분류할 클래스의 크기를 계산하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
Figure pat00007

In claim 1, the radar / image fusion unit,
To secure object visibility in the image extracted from the camera, the image quality is improved by applying maximum brightness processing, the image is projected into 2D coordinates (X, Y), and the labeling and annotation process of image processing is performed. A vehicle recognition system based on radar and camera fusion, characterized in that the size of the class to be classified is calculated by calculating the X width and Y height , which are the vehicle sizes of the meta data generated through the formula below.
Figure pat00007

 청구항 6에서, 상기 레이더/영상 융합부는,
레이더로 측정한 데이터는 6종에 해당하는 차량과 이외 노이즈(Noise) 데이터로 구분하여 타깃 대상을 설정하고, 추출된 레이더 데이터 Point X, Point Y를 통해 좌표(X, Y)와 RCS 값으로 구성하여 아래와 같은 수식으로 레이더 차량을 감지하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
Figure pat00008

In claim 6, the radar / image fusion unit,
The data measured by the radar is divided into six types of vehicles and other noise data to set the target, and consists of coordinates (X, Y) and RCS values through the extracted radar data Point X and Point Y Radar and camera fusion-based vehicle recognition system, characterized in that for detecting the radar vehicle by the following formula.
Figure pat00008

 청구항 7에서, 상기 레이더/영상 융합부는,
카메라 켈리브레이션 데이터 셋과 레이더 검지 데이터 셋의 값 범위를 0 ~ 1 사이로 정규화를 실시하고, 레이더/카메라의 좌표와 카메라 영상 위치 보정을 통해 계산된 Class Size와 레이더 차량 검지에서 발생하는 RCS 값의 임계 오차 값을 지정하고 아래와 같은 수식으로 계산하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.
Figure pat00009

Figure pat00010

Figure pat00011

In claim 7, the radar / image fusion unit,
The value range of the camera calibration data set and the radar detection data set is normalized between 0 and 1, and the class size calculated through radar/camera coordinates and camera image position correction and the critical error of the RCS value generated from radar vehicle detection Radar and camera fusion-based vehicle recognition system, characterized in that the value is specified and calculated by the following formula.
Figure pat00009

Figure pat00010

Figure pat00011

 청구항 2에서, 상기 레이더/카메라 융합 서비스부는,
상기 레이더 및 영상 융합 차량 데이터를 야간/전천후 환경에서도 정확도 높은 차량 인식률과 검출률을 갖는 차량 인식 데이터로 자율주행차량으로 제공하거나, 원천 영상 및 가공 데이터 셋 및 학습 모델을 공공 및 민간 사이트를 통해 공개해주는 것을 특징으로 하는 레이더와 카메라 융합 기반의 차량인식시스템.


In claim 2, the radar / camera fusion service unit,
Provides the radar and image fusion vehicle data as vehicle recognition data with high accuracy and detection rate even in night/all-weather environments to autonomous vehicles, or discloses original image and processed data sets and learning models through public and private sites Vehicle recognition system based on radar and camera fusion, characterized in that.
KR1020210161544A 2021-11-22 2021-11-22 Radar and camera fusion based vehicle recognition system KR102638711B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210161544A KR102638711B1 (en) 2021-11-22 2021-11-22 Radar and camera fusion based vehicle recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210161544A KR102638711B1 (en) 2021-11-22 2021-11-22 Radar and camera fusion based vehicle recognition system

Publications (2)

Publication Number Publication Date
KR20230075193A true KR20230075193A (en) 2023-05-31
KR102638711B1 KR102638711B1 (en) 2024-02-22

Family

ID=86543879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161544A KR102638711B1 (en) 2021-11-22 2021-11-22 Radar and camera fusion based vehicle recognition system

Country Status (1)

Country Link
KR (1) KR102638711B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116944818A (en) * 2023-06-21 2023-10-27 台州必拓汽车配件股份有限公司 Intelligent processing method and system for new energy automobile rotating shaft
KR102602318B1 (en) * 2023-06-07 2023-11-17 (주)다올아이티에스 Multi-lane decting system that changes the detecting area
KR102640386B1 (en) * 2023-09-08 2024-02-27 주식회사 어반어소시에이츠 Apparatus for monitoring construction
KR102670326B1 (en) * 2023-09-05 2024-05-30 한국건설기술연구원 Method for providing intelligent road risk analysis based on edge computing using smart road lighting device and Road risk analysis platform based on smart road lighting device therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372327B1 (en) 2012-09-19 2014-03-12 (주)비트러스트 Safety management system of school zone and the service method
KR20180116749A (en) * 2017-04-17 2018-10-25 주식회사 비트센싱 Real Time Big Scale Traffic Data Collecting Method and Big Data Management System
KR20200071959A (en) * 2018-12-12 2020-06-22 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Ladar Sensor and Camera
KR20210122101A (en) * 2020-03-31 2021-10-08 주식회사 비트센싱 Radar apparatus and method for classifying object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372327B1 (en) 2012-09-19 2014-03-12 (주)비트러스트 Safety management system of school zone and the service method
KR20180116749A (en) * 2017-04-17 2018-10-25 주식회사 비트센싱 Real Time Big Scale Traffic Data Collecting Method and Big Data Management System
KR20200071959A (en) * 2018-12-12 2020-06-22 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Ladar Sensor and Camera
KR20210122101A (en) * 2020-03-31 2021-10-08 주식회사 비트센싱 Radar apparatus and method for classifying object

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102602318B1 (en) * 2023-06-07 2023-11-17 (주)다올아이티에스 Multi-lane decting system that changes the detecting area
CN116944818A (en) * 2023-06-21 2023-10-27 台州必拓汽车配件股份有限公司 Intelligent processing method and system for new energy automobile rotating shaft
CN116944818B (en) * 2023-06-21 2024-05-24 台州必拓汽车配件股份有限公司 Intelligent processing method and system for new energy automobile rotating shaft
KR102670326B1 (en) * 2023-09-05 2024-05-30 한국건설기술연구원 Method for providing intelligent road risk analysis based on edge computing using smart road lighting device and Road risk analysis platform based on smart road lighting device therefor
KR102640386B1 (en) * 2023-09-08 2024-02-27 주식회사 어반어소시에이츠 Apparatus for monitoring construction

Also Published As

Publication number Publication date
KR102638711B1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
KR102638711B1 (en) Radar and camera fusion based vehicle recognition system
Al-qaness et al. An improved YOLO-based road traffic monitoring system
US10614310B2 (en) Behavior recognition
CN109086756B (en) Text detection analysis method, device and equipment based on deep neural network
WO2017124990A1 (en) Method, system, device and readable storage medium for realizing insurance claim fraud prevention based on consistency between multiple images
WO2021114765A1 (en) Depth image-based method and system for anti-trailing detection of self-service channel
CN115170863A (en) Method, device and equipment for estimating risk based on multi-source data and storage medium
CN116964588A (en) Target detection method, target detection model training method and device
Poorani et al. Number plate detection using yolov4 and tesseract ocr
EP3786845A1 (en) Difficulty-adaptive training for machine learning modules
CN113879724B (en) Garbage classification system based on crowdsourcing intelligence
Harahap et al. Detection and simulation of vacant parking lot space using east algorithm and haar cascade
CN112232272B (en) Pedestrian recognition method by fusing laser and visual image sensor
KR20230133705A (en) Accidental situation detection system based on radar and camera convergence
US20240101149A1 (en) Apparatus and method of automatically detecting dynamic object recognition errors in autonomous vehicles
JP2021018823A (en) Method and system for improving detection capability of driving support system based on machine learning
CN114758216B (en) Illegal advertisement detection method and system based on machine vision
Kang et al. Verification method to improve the efficiency of traffic survey
Dhyani et al. Real-Time License Plate Detection and Recognition System using YOLOv7x and EasyOCR
KR102624702B1 (en) Method and device for recognizing vehicle number
KR20190101577A (en) real-time status information extraction method for train using image processing and system
US12046054B2 (en) Adaptive text recognition
Priya et al. Real-Time Image Segmentation and Object Tracking for Autonomous Vehicles
US20240221370A1 (en) Computer-implemented method and system for ascertaining a misclassification value during the classification of images into at least one image category by a classification algorithm
US20230237816A1 (en) Adaptive text recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right